数据采集、归档、报表

数据生产和消费

如何采集周期和订阅

采集方式：
块数据读取

网络设备：
端口状态
实时流量
设备运行状态
SNMP：

数据归档：

变量管理：
报表服务来源于：历史数据归档的数据访问。
数据整合到大的历史数据归档。

单机为什么用sqlite3：数据聚合少。
为什么存到远端：多站需要聚合分散的数据，需要大型数据库。

过程变量存储
什么时候存
周期
必要
改变

存什么
值、平均值、最大最小、极值实时值

存哪里
短期归档：单机库
长期归档：历史库

历史数据库：
为什么要压缩数据
数据采集量大
数据邻近度高
数据归档压缩算法：旋转门算法作为线性拟合的一中简单算法：高效率、压缩比高、实现简单、误差可控制。

系统设计归根结底的三要素：
计算、存储、网络直接决定了软件系统架构选取
以及缩小开发库选择范围

现场：车间厂级总公司

数据源分析汇总查询

报表
主运行数据库：历史存储服务
历史数据：归档数据库
直接访问数据库
第三方数据库：非核心数据的数据库

报表服务和图形服务的关系

报表分类：
汇总型：主要是前端展示。

数据库有加密算法
自己内部不加密
对外访问加密

独立数据表：权限控制
ODBC：多数据库

统计型报表：
算法多
时间不固定
支持复杂计算

关系型报表：

报表业务感觉属于后服务业务组

报表用于统计和分析，大数据层面的价值。

报表设计：
页面布局：数据展示
数据连接：核心数据：关系型数据库的联调复杂，SOCI ODBC搞定。
数据处理：统计、提取、输出服务（独立数据库/excel）
打印设置和参数：

主流是XML格式：很快定位查询。
将数据库转为XML。

报表系统的核心业务

数据产生：
1、数据库的表设计。
2、数据库的压缩、读取效率

数据消费：
3、UI布局。
4、UI数据分析。

存储服务和归档服务要测试
数据库吞吐量 400W/s
存储能力 10-15W事件/S
数据访问能力 100W事件/s

旋转门压缩转专利技术
二次过滤
满足CB/S架构

分布式服务器结构
容器化数据库服务 BAAS
集中式数据管理