一种具有人工智能的数据管理终端的制作方法

1.本发明涉及冷暖行业的物联网技术领域，具体涉及一种具有人工智能的数据管理终端。


背景技术：

2.随着物联网技术发展和逐渐深入到楼宇自动化和节能控制领域，大量末端设备包括群控系统、电能表、热能表、温湿度传感器、压力传感器、振动传感器、环境传感器、灯光控制器、风盘控制器、新风控制器需要被接入云楼宇平台，用于冷暖系统的自动化控制和节能优化控制。如何实现集中通讯网关设备的高并发，高可用和数据的高可靠性就显得非常重要。
3.由于各种末端设备支持的通讯协议各不相同，甚至物理层协议也不相同，例如：电表采用dlt
‑
645通讯、群控系统采用modbus
‑
tcp、热表采用modbusrtu，即使采用同样的协议，由于设备类型不同，也导致对应的数据类型，寄存器各不相同。目前的物联网接入网关不能同时支持多种不同协议和异构设备的接入，不同的硬件网关只能对有限的协议设备进行支持，如果接入新设备，往往需要更换硬件设备，导致浪费。而且，硬件网关无法在本地完成复杂的数据预处理，导致原始的、夹杂异常数据的信息直接传入云接收服务。当大量设备接入，云数据接收服务器需要很多的资源进行数据处理，使云平台的数据接收成为性能瓶颈。


技术实现要素：

4.本发明提出了一种具有人工智能的数据管理终端，其目的是：利用软件解决当前冷暖行业使用的硬件网关存在的并发能力弱、兼容性差、可扩展能力差的问题，并实现多协议、多设备并发通讯支持以及异构数据的预处理，提升数据传输的稳定性。
5.本发明技术方案如下：一种具有人工智能的数据管理终端，包括调度模块、数据采集模块、实时数据处理模块、通讯模块、数据转发模块和数据存储池，所述调度模块通过调度进程启动多个并发的数据采集进程、实时数据处理进程、通讯进程和数据转发服务器进程，每个进程同时和多进程并发数据存储内存池建立连接，实现各个进程对所述多进程并发数据存储内存池的并发访问；所述多进程并发数据存储内存池包括物理数据子内存池和变量数据子内存池。
6.所述数据采集进程对所述多进程并发数据存储内存池的访问过程包括：所述调度进程基于接入所述数据管理终端的连接设备的数量和类型，调用不同的采集模块，并分配唯一的物理数据子内存池id；多个数据采集进程根据唯一的id将采集到的传感器数据并发保存到对应的物理数据子内存池中，并读取变量数据子内存池的变量数据，将需要更新的数据写入所述数据采集模块的连接设备。
7.所述实时数据处理进程对所述多进程并发数据存储内存池的访问过程包括：所述调度进程调用实时数据处理进程任务，将内存池句柄分配给实时数据处理进
程，多个实时数据处理进程并发读取内存池数据，按自学习算法和预定义规则进行数据处理和归一化，并将处理后的数据进行回存。
8.所述通讯进程和数据转发服务器进程对所述多进程并发数据存储内存池的访问过程包括：所述调度进程根据连接云数据接收服务的数量调度多个通讯进程，并发访问变量数据子内存池，同时和多个云数据接收服务的数据交互；所述调度进程根据访问网关的连接建立相应的数据转发服务器进程，完成本地上位机和网关的数据交互。
9.进一步地，所述数据采集模块在数据采集过程中，对于不同类型的设备，由调度进程建立多个数据采集进程，每个数据采集进程的通讯部分使用动态链接库方式完成；对于支持多线程的网络端口，所述网络端口对应的通讯进程使用主从式线程模式完成数据读写，在现场读写发生堵塞时立刻打开新的线程完成后续设备通讯。
10.进一步地，实时数据处理进程对所述多进程并发数据存储内存池的访问过程中，所述实时数据处理模块根据多进程并发数据存储的格式和sosa/ssn本体的结构设计映射语言和算法,将数据流转换为符合sosa/ssn本体的数据流。
11.进一步地，所述实时数据处理进程对多进程并发数据存储内存池的访问过程中，所述自学习算法为多层前馈神经网络算法，所述自学习算法用于统计数据特性，所述数据特性包括数据范围特性、数据变化特性和数据时间特性；所述预定义规则包括数据转换规则、数据处理规则、数据报警规则和数据统计规则。
12.进一步地，所述通讯进程和数据转发服务器进程对所述多进程并发数据存储内存池的访问过程中，多进程通讯模块设置多个tcp长连接到云数据接收服务，将注册信息发送给云平台的虚拟ip地址，云平台服务器根据负载均衡原则，设定负载较低的数据接收服务反馈响应信息，完成通讯模块注册。
13.进一步地，所述多进程通讯模块和云接收服务建立长连接后，通讯模块定时向接收服务发送心跳数据包，所述心跳数据包包括网关唯一表示、虚拟设备标识和实时数据快照。
14.进一步地，所述网关与云平台服务器进行网络数据传输时，所述通讯模块对每个会话连接建立缓冲池，用于保证通讯缓存数据时序性和完整性；网络数据传输采用protocolbuf技术，将数据进行序列号处理。
15.进一步地，所述物理数据子内存池和变量数据子内存池相对应，所述实时数据处理进程对所述多进程并发数据存储内存池的访问过程中，所述实时数据处理进程对物理数据子内存池数据处理后存入对应的变量数据子内存池，对变量数据子内存池数据处理后存入对应的物理数据子内存池中。
16.进一步地，所述调度进程根据预配置文件启动多个并发的数据采集进程、实时数据处理进程、通讯进程和数据转发服务器进程。
17.相对于现有技术，本发明具有以下有益效果：（1）利用多进程并发数据存储模型进行数据存储，通过可扩展调度进程完成多并发进程对数据存储池的访问，解决了当前物联网接入环节现有硬件网关并发能力弱、硬件兼容性差、可扩展能力差的问题；
（2）通过多层前馈神经网络学习解决了现有硬件终端数据处理能力差，在大量设备接入场合难以实现高速、高可靠性的异构数据的同步io处理和归一化的问题；（3）数据采集模块使用多进程多线程同步模型和动态链接技术，实现了多协议、多设备并发通讯支持；（4）数据处理模块使用s
‑
sasml映射语言和算法,将数据流转换为符合sosa/ssn本体的rdf数据流，提高了数据处理效率；（5）通讯模块对每个会话建立缓冲池，保证了通讯缓存数据时序性和完整性；网络数据传输中基于缓存协议protobuf对虚拟数据进行序列化处理，保证了数据网络传输的集成性和完整性，避免了大数据量网络传输容易导致数据不完整的问题。
附图说明
18.图1为本发明的系统架构图；图2为本发明的数据流图。
具体实施方式
19.下面结合附图详细说明本发明的技术方案：如图1，一种具有人工智能的数据管理终端，包括调度模块、数据采集模块、实时数据处理模块、通讯模块、数据转发模块和数据存储池。网关硬件上电启动后，首先会启动数据引擎，建立数据存储池，然后启动调度引擎模块，调度模块根据预配置文件自动探测目前网关外部连接的设备类型，并根据设备类型调用相应的设备驱动动态链接库。
20.如图2，调度模块根据预配置信息，同步启动多个并发的数据采集进程、实时数据处理进程、通讯进程和数据转发服务器进程，每个进程同时和多进程并发数据存储内存池建立连接，实现各个进程对所述多进程并发数据存储内存池的并发访问。所述多进程并发数据存储内存池包括物理数据子内存池和变量数据子内存池。
21.在数据采集过程中，对于不同类型的设备，由调度进程建立多个数据采集进程，每个数据采集进程的通讯部分使用动态链接库方式完成；对于支持多线程的网络端口，所述网络端口对应的通讯进程使用主从式线程模式完成数据读写，在现场读写发生堵塞时立刻打开新的线程完成后续设备通讯，实现高并发非堵塞通讯模型。
22.具体地，数据采集模块基于接入所述数据管理终端的连接设备的数量和类型，自动确定进程和线程数量，实现多进程多线程的高并发非堵塞通讯。例如终端外接多块电表，多块热表，1个群控系统和多个温控器。所述数据管理终端的调度模块会启动电表数据采集进程1个，由于电表协议是基于串口的dlt
‑
645协议，不支持多线程采集，因此电表数据采集进程只会生成单线程采集。同样，热表通讯也是基于串行线路的modbus
‑
rtu协议，热表数据采集进程也会生成单线程采集进程。群控系统基于modbus
‑
tcp协议，但是因群控系统仅仅有一个502端口开放，因此群控系统数据采集进程同样生成单线程的采集。而风机盘管温控器使用自定义的网络协议，数据采集模块会根据负载情况，自动生成多线程模型，同步和多个风机盘管温控器进行并发通讯。
23.所述数据采集进程对所述多进程并发数据存储内存池的访问过程包括：所述调度进程基于接入物联网设备的数量和类型，相应调用数量和类型不同的采
集模块，并分配唯一的物理数据子内存池id。
24.多个数据采集进程根据唯一的id将采集到的传感器数据并发保存到对应的物理数据子内存池中，并读取变量数据子内存池的变量数据，将需要更新的数据写入连接设备。
25.所述实时数据处理进程对所述多进程并发数据存储内存池的访问过程包括：所述调度进程调用实时数据处理进程任务，将物理数据子内存池句柄和变量数据子内存池句柄分配给实时数据处理进程，多个实时数据处理进程并发读取物理数据子内存池和变量数据子内存池数据，按自学习算法和预定义规则进行数据处理和归一化，并将处理后的数据进行回存，物理数据内存池数据处理后存入对应的变量数据子内存池，变量数据子内存池数据处理后存入对应的物理变量内存池中。
26.具体地，所述调度进程调用实时数据处理进程任务，将物理数据子内存池存储的数据使用s
‑
sasml映射语言和算法,转换为符合sosa/ssn本体的rdf数据流并存入变量数据子内存池。
27.所述数据处理模块读取物理数据子内存池中数据时对关键数据进行规则判断，如果指定规则为自学习，则数据处理模块会将数据缓存，并基于bp多层前馈神经网络算法来统计数据特性，比如数据范围特性(不能为负，不能为0)，数据变化特性(只能正增长，只能负增长），数据时间特性（某一段时间数据平均值高）等。在后续数据处理中，对违反规则的数据进行处理，处理规则包括放弃，转换，报警等。也可以指定其他规则，比如数据转换规则：对物理数据子内存池采样的数据进行转换处理，包括量程缩放，数据类型变换（浮点和整数，浮点和长整数，整数和布尔，整数和位集转换）；数据处理规则，包括数据最大值切除，数据最小值切除，数据低通滤波（当数据变化率过高，则该次变化按预配置的变化率处理）；数据报警规则，包括超上限报警，超下限报警，范围外报警，位变化报警，字变化报警等；数据统计规则，包括平均值统计，累计值统计等。
28.所述实时数据处理进程利用基于bp的多层前馈神经网络处理技术对虚拟数据进行分析，分析转换后的数据质量，并根据分析结果调整映射算法，提高了数据转换的可靠性和精度。
29.所述通讯进程和数据转发服务器进程对rmp的访问过程包括：所述调度进程根据连接云数据接收服务的数量调度多个通讯进程，并发访问变量数据子内存池，同时和多个云数据接收服务的数据交互。
30.所述调度进程根据访问网关的连接建立相应的数据转发服务器进程，完成本地上位机和网关的数据交互。
31.优选地，多进程通讯模块设置多个tcp长连接到云数据接收服务，将注册信息发送给云平台的虚拟ip地址，云平台服务器根据负载均衡原则，设定负载较低的数据接收服务反馈响应信息，完成通讯模块注册。
32.通讯模块和云接收服务建立长连接后，定时向接收服务发送心跳数据包，所述心跳数据包包括网关唯一表示、虚拟设备标识和实时数据快照。
33.通讯模块对每个会话连接建立缓冲池，保证通讯缓存数据时序性和完整性。网络数据传输采用protocolbuf技术，将数据进行序列号处理。具体方法是开发.proto文件，并用proto程序进行编译，生成c++的序列号类和反序列化类，然后在通讯模块中调用序列化类对数据进行序列号；同时，对云数据接收服务下发的命令，进行反序列化解码，执行指定
的动作。