一种大气成分观测数据采集边缘服务器系统及数据处理方法与流程

本发明属于大气观测领域，具体涉及一种大气成分观测数据采集边缘服务器系统及处理方法。

背景技术：

1、大气成分观测通过若干观测站进行，每个观测站中有多种类型的观测设备，比如大气分析仪、温压湿风设备、冷阱设备、质量流量控制计、标气压力等，根据设计厂家等不同，每种观测设备有独立接口和通信协议，并且观测的数据都有自己的测定方式方法、报警类型等。

2、现有技术中，观测站中的多种观测设备配备多个适配的电脑。在实际应用中，检测到的多种类型的观测数据都需要进行记录、报警，也需要实时显示，采集的不同类型的观测数据通过对应的通讯协议传输到对应的电脑中进行处理，这就造成了在同一个气象观测站中需要安装多台电脑；也有了很多种观测设备与电脑的连接方式，同时每种设备与电脑通讯的协议不同，就造成了现场数据众多，观测数据各自独立，形成了数据孤岛，无法在相同的时间维度上对数据进行统一分析，同时对数据的质量、有效性也很难进行分析。

3、而实际上对于同一时间的大气观测数据处理是需要使用不同的观测设备的数据进行横向对比，同时通过实时对比明确数据是否属于有效数据，而当前的气象观测站中是无法做到这一点的。在进行数据汇总分析时，多种类型观测数据之间无法相互参照，且获取数据时间也无法同步，这样气体观测人员在进行数据整编的时候就无法精准的进行质量控制，也难以对设备进行自动联动，进而也就无法实时获取数据对比，无法实时获取报警，也无法对数据回溯时进行横向对比，且现场电脑数量多，也造成了成本高昂，无法长期稳定运行等缺点。

技术实现思路

1、本发明为解决现有气象观测领域中进行大气成分观测时存在的设备多，数据整编困难等缺陷，提出一种大气成分观测数据采集边缘服务器系统及数据处理方法，以实现对不同观测数据汇总分析与质控。

2、本发明是采用以下的技术方案实现的：一种大气成分观测数据采集边缘服务器系统，包括核心主板和若干插件，核心主板采用基于arm架构的cpu单元，所述插件包括多个不同类型的外扩接口，以对接不同类型的观测设备，用以把观测站的所有观测设备采集的数据都集中在该边缘服务器系统上。

3、进一步的，所述cpu单元包括数据采集模块、数据监控模块、数据质控模块和数据存储模块；

4、所述数据采集模块通过多个线程对所有的观测设备进行数据采集，采集完后的数据建立数据队列并送往数据监控模块；数据监控模块根据预制的报警规则对观测数据进行处理，数据质控模块对采集到的数据进行整编、归档和质控处理，并将处理后的数据发送至数据存储模块进行存储。

5、进一步的，所述数据监控模块还包括联动处理模块，若在数据监控的同时发现有联动规则定义，则同时启动联动处理以启动相关联的观测设备。

6、进一步的，所述数据采集模块还包括协议自适应匹配模块，通过构建通讯协议数据库，并建立对相应设备指令集，结合握手、数据通信、数据回传和结束通信实现通讯对接及协议自适应。

7、进一步的，所述的外扩接口类型包括rs232/485、以太网口、usb接口、spf光纤接口、ad接口、da接口及设备自定义接口。

8、进一步的，所述核心主板上还设置有ad/da转换模块，以实现观测站现场温度、压力数据检测并根据要求进行电磁阀或继电器的开合动作，进而实现对设备的联动处理。

9、进一步的，所述边缘服务器系统还包括wifi/4g/5g/蓝牙通讯模块，以提供远程登录在线获取观测数据。

10、本发明另外还提出一种大气成分观测数据采集边缘服务器系统的数据处理方法，包括以下步骤：

11、步骤a、将所述边缘服务器系统接入到网络中，当系统开始运行时，首先数据采集模块分为多个线程对所有的观测设备进行数据采集处理，采集完后的数据建立数据队列并送往数据监控模块程序；

12、步骤b、针对接收的观测数据，数据监控模块程序根据预制的报警规则进行处理，对选择的观测设备进行数据报警操作；如果在监控的同时发现有联动规则定义，则同时启动联动处理以启动相关联的观测设备；

13、步骤c、数据质控模块程序对采集到的数据进行整编、归档，并根据质量标记规则实现质控处理；

14、步骤d、数据经过质控打标处理后，发往数据存储服务程序，数据存储服务程序则根据要求进行本地存储或发往服务器。

15、进一步的，所述步骤a中，在进行数据采集时，在观测设备多、通讯协议未指定的情况下通过协议自适应匹配模块实现对不同设备的的自适应通讯；

16、且在自适应协议的处理中采取软件插件框架协议，每一个观测设备的通信协议相当于一个插件，在有新的通讯协议加入时根据框架协议要求编写通信协议来扩充新的设备。

17、进一步的，所述步骤c中，具体通过以下方式实现质控：

18、(1)将实时存储的观测数据存为数据文件，并加载与之相对应的质量信息文件；

19、(2)对质量信息文件根据时间和事件进行重新排序和分段；

20、(3)按时间顺序，将观测数据文件与质量信息文件进行合并；

21、(4)采用不同的有效性质量扫描方法依次对观测数据文件的参数进行招描，并记录每个方法对观测数据中各参数扫描的结果，待所有有效性质量扫描方法完成后，对各方法结果合成形成一个完整的有效性质量扫描标注代码；

22、(5)根据有效性质量扫描标注代码，作出有效性综合质量标记，质量标记为有效、无效或可疑；

23、(6)然后采用不同的正确性质量扫描方法依次对观测数据文件的参数进行招描，并记录每个方法对观测数据中各参数扫描的结果，待所有正确性质量扫描方法完成后，对各方法结果进行合成，形成一个完整的正确性质量扫描标注代码；

24、(7)根据正确性质量扫描标注代码，给出正确性综合质量标记；

25、(8)根据有效性综合质量标记和正确性综合质量标记，给出有效性+正确性的综合质量标记。

26、与现有技术相比，本发明的优点和积极效果在于：

27、本方案设计边缘服务器，采用多接口设计可以接驳所有的气象大气观测设备，把所有观测设备数据进行整合，实现了大气观测多种设备的协议自适应，并且，该边缘服务器软件系统可以实现自动化的数据整编，实现大气观测数据的本地化质控处理，并通过人工设置规则对相应观测设备进行联动，实现多种设备之间的数据联动，从而解决了相同时间的数据无法相互印证、设备无法联动、数据不能实时质控等问题，并且有效降低了运维成本，提高数据质控标准化，本发明从硬件和软件两个维度上对观测站内的设备和数据进行统一的连接和整合，对大气观测领域的科学研究提供更加稳定真实的数据支撑。

技术特征：

1.一种大气成分观测数据采集边缘服务器系统，其特征在于，包括核心主板和若干插件，核心主板采用基于arm架构的cpu单元，所述插件包括多个不同类型的外扩接口，以对接不同类型的观测设备，用以把观测站的所有观测设备采集的数据都集中在该边缘服务器系统上。

2.根据权利要求1所述的大气成分观测数据采集边缘服务器系统，其特征在于：所述cpu单元包括数据采集模块、数据监控模块、数据质控模块和数据存储模块；

3.根据权利要求2所述的大气成分观测数据采集边缘服务器系统，其特征在于：所述数据监控模块还包括联动处理模块，若在数据监控的同时发现有联动规则定义，则同时启动联动处理以启动相关联的观测设备。

4.根据权利要求3所述的大气成分观测数据采集边缘服务器系统，其特征在于：所述数据采集模块还包括协议自适应匹配模块，通过构建通讯协议数据库，并建立对相应设备指令集，结合握手、数据通信、数据回传和结束通信实现通讯对接及协议自适应。

5.根据权利要求1所述的大气成分观测数据采集边缘服务器系统，其特征在于：所述的外扩接口类型包括rs232/485、以太网口、usb接口、spf光纤接口、ad接口、da接口及设备自定义接口。

6.根据权利要求3所述的大气成分观测数据采集边缘服务器系统，其特征在于：所述核心主板上还设置有ad/da转换模块，以实现观测站现场温度、压力数据检测并根据要求进行电磁阀或继电器的开合动作，进而实现对设备的联动处理。

7.根据权利要求1所述的大气成分观测数据采集边缘服务器系统，其特征在于：所述边缘服务器系统还包括wifi/4g/5g/蓝牙通讯模块，以提供远程登录在线获取观测数据。

8.基于权利要求4所述的大气成分观测数据采集边缘服务器系统的数据处理方法，其特征在于：包括以下步骤：

9.根据权利要求8所述的大气成分观测数据采集边缘服务器系统的数据处理方法，其特征在于：所述步骤a中，在进行数据采集时，在观测设备多、通讯协议未指定的情况下通过协议自适应匹配模块实现对不同设备的的自适应通讯；

10.根据权利要求8所述的大气成分观测数据采集边缘服务器系统的数据处理方法，其特征在于：所述步骤c中，具体通过以下方式实现质控：

技术总结
本发明公开一种大气成分观测数据采集边缘服务器系统及数据处理方法，所述系统采用多接口设计以接驳所有的气象大气观测设备，实现把所有观测设备数据的整合，并实现大气观测多种设备的协议自适应；另外，所述边缘服务器软件系统可以实现自动化的数据整编，通过大气观测数据的本地化质控处理，并结合人工配置实现对相应设备联动，进而实现了大气观测多种设备之间的数据联动，从而解决了相同时间的数据无法相互印证、设备无法联动、数据不能实时质控等问题，并且有效降低了运维成本，提高数据质控标准化，本发明从硬件和软件两个维度上对观测站内的设备和数据进行统一的连接和整合，对大气观测领域的科学研究提供更加稳定真实的数据支撑。

技术研发人员：张晓春,刘立新,施丽娟,迟文学,娄梦筠,孙万启,梁苗
受保护的技术使用者：中国气象局气象探测中心
技术研发日：
技术公布日：2024/1/13