一种基于工业互联网平台的大数据处理方法和系统与流程

本发明涉及工业互联网领域，特别涉及一种基于工业互联网平台的大数据处理方法和系统。

背景技术：

1、近年来，新一轮科技革命和产业变革快速发展，互联网由消费领域向生产领域快速延伸，工业经济由数字化向网络化、智能化深度拓展，互联网创新发展与新工业革命形成历史性交汇，催生了工业互联网。工业互联网(industrial internet)是新一代信息通信技术与工业经济深度融合的新型基础设施、应用模式和工业生态，通过对人、机、物、系统等的全面连接，构建起覆盖全产业链、全价值链的全新制造和服务体系，为工业乃至产业数字化、网络化、智能化发展提供了实现途径，是第四次工业革命的重要基石。

2、常规的工业监控系统以plc为核心，主要以工控功能为主，plc处理模块上连接一些检测模块，进行信号采集与数据分析。现有的基于plc核心的工业监控系统中，若要进行工业互联网升级，需要在各个连接节点上布置网关，针对不同的数据信号，还需要加装对应数据采集板，这也就是现有技术中常用的基于“plc+数据采集板+网关”的工业监控系统，其存在着兼容性差，信号同步差的问题，同时在这种传统的工业监控系统中，难以搭建多媒体检测平台，如视频信号、音频信号等，信号之间的协调差，难以交叉分析处理。这种传统架构的工业监控系统，成本高，体积大，系统复杂，且存在着功能受限、数据传输速率低且信号延迟同步率差的问题，已经难以适应目前越来越智能的工业场景。

3、因此，需要提供一种基于工业互联网平台的大数据处理方法和系统，用于提高工业设备和作业人员监控的效率及质量。

技术实现思路

1、本说明书实施例之一提供一种基于工业互联网平台的大数据处理系统，包括：数据采集模块，包括多个设备数据采集单元及多个区域数据采集单元，其中，所述多个设备数据采集单元用于采集多个工业设备的状态数据，所述多个区域数据采集单元用于采集多个目标区域的作业人员的状态数据；数据传输模块，包括多个边缘服务器，每个所述边缘服务器上运行有至少一个虚拟主机，每个所述虚拟主机对应有至少一个设备数据采集单元和/或至少一个区域数据采集单元，所述虚拟主机用于接收对应的所述至少一个设备数据采集单元采集的工业设备的状态数据和/或至少一个区域数据采集单元采集的目标区域的作业人员的状态数据，进行数据预处理，生成所述工业设备对应的设备心跳数据包和/或所述目标区域对应的区域心跳数据包，并将所述设备心跳数据包和/或所述区域心跳数据包上传至数据处理云平台；数据处理模块，包括所述数据处理云平台，用于基于所述设备心跳数据包和/或所述区域心跳数据包进行数据分析，确定所述多个工业设备的状态及所述多个目标区域的作业人员的状态。

2、在一些实施例中，所述数据传输模块还包括多个服务器监测单元，一个所述服务器监测单元对应一个所述边缘服务器，所述服务器监测单元包括服务器监测组件及至少一个虚拟主机监测组件，一个所述虚拟主机监测组件对应所述服务器监测单元对应的所述边缘服务器的一个虚拟主机，其中，服务器监测组件用于获取对应的边缘服务器的状态数据，所述虚拟主机监测组件用于获取对应的虚拟主机的状态数据；所述数据传输模块还包括虚拟主机调度服务器，用于基于所述边缘服务器的状态数据及所述虚拟主机的状态数据，动态调整多个所述虚拟主机与所述多个设备数据采集单元和/或多个区域数据采集单元的对应关系。

3、在一些实施例中，所述工业设备的状态数据包括工业设备的多种类型的状态信息，所述目标区域的作业人员的状态数据包括所述目标区域的图像信息；所述虚拟主机进行数据预处理包括：对于对应的每个所述设备数据采集单元，基于所述设备数据采集单元在当前监测周期内采集的工业设备的多种类型的状态信息，生成工业设备的信息矩阵，通过去噪模型对所述工业设备的信息矩阵进行去噪，生成去噪后的工业设备的信息矩阵，并通过补全模型对所述去噪后的工业设备的信息矩阵进行补全，生成补全后的工业设备的信息矩阵；对于对应的每个所述区域数据采集单元，通过图像筛选模型基于预设条件集，对所述区域数据采集单元采集的目标区域的图像信息进行筛选。

4、在一些实施例中，所述虚拟主机进行数据预处理还包括：基于所述补全后的工业设备的信息矩阵，确定所述工业设备的故障概率，当所述工业设备的故障概率大于预设故障概率阈值时，将所述工业设备作为目标工业设备；根据所述目标工业设备的故障概率，确定所述目标工业设备对应的设备数据采集单元的最优数据采集频率；基于所述目标工业设备对应的设备数据采集单元的最优数据采集频率，通过负载预测模型预测所述虚拟主机的未来负载，并将预测的所述虚拟主机的未来负载上传至所述虚拟主机调度服务器；所述虚拟主机调度服务器基于所述边缘服务器的状态数据及所述虚拟主机的状态数据，动态调整多个所述虚拟主机与所述多个设备数据采集单元和/或多个区域数据采集单元的对应关系，包括：将上传未来负载的虚拟主机作为目标虚拟主机；基于每个所述边缘服务器的状态数据、每个所述虚拟主机的状态数据及所述目标虚拟主机的未来负载，从多个所述虚拟主机中确定待调度的虚拟主机，并对所述待调度的虚拟主机进行调度。

5、在一些实施例中，所述虚拟主机调度服务器基于每个所述边缘服务器的状态数据、每个所述虚拟主机的状态数据及所述虚拟主机的未来负载，从多个所述虚拟主机中确定待调度的虚拟主机，包括：基于每个所述边缘服务器的状态数据，确定目标边缘服务器，所述目标边缘服务器上运行的所有虚拟主机均作为待调度的虚拟主机；基于所述目标虚拟主机的未来负载及所述目标虚拟主机的状态数据，判断所述目标虚拟主机是否为待调度的虚拟主机。

6、在一些实施例中，所述虚拟主机调度服务器对所述待调度的虚拟主机进行调度，包括：对于每个所述待调度的虚拟主机，从所述多个边缘服务器中除所述目标边缘服务器和所述待调度的虚拟主机所在的边缘服务器以外的边缘服务器中确定最优边缘服务器，将所述待调度的虚拟主机迁移至所述最优边缘服务器；迁移后的虚拟主机还用于将所述最优数据采集频率下发至所述目标工业设备对应的设备数据采集单元，所述设备数据采集单元还用于按照所述最优数据采集频率采集所述目标工业设备的状态数据。

7、在一些实施例中，所述虚拟主机将所述设备心跳数据包和/或所述区域心跳数据包上传至数据处理云平台，包括：基于多个所述虚拟主机与所述多个设备数据采集单元及所述多个区域数据采集单元的对应关系和所述虚拟主机的相关信息，对所述设备心跳数据包和/或所述区域心跳数据包进行加密，将加密后的设备心跳数据包和/或区域心跳数据包上传至数据处理云平台。

8、在一些实施例中，所述数据处理模块基于所述设备心跳数据包和/或所述区域心跳数据包进行数据分析，确定所述多个工业设备的状态及所述多个目标区域的作业人员的状态，包括：建立设备关系图谱，其中，所述设备关系图谱用于记录所述多个工业设备的关联关系；对于每个所述工业设备，基于所述设备关系图谱确定关联的至少一个工业设备，基于所述工业设备的所述设备心跳数据包及所述关联的至少一个工业设备的设备心跳数据包，确定所述工业设备的状态。

9、在一些实施例中，所述数据处理模块基于所述设备心跳数据包和/或所述区域心跳数据包进行数据分析，确定所述多个工业设备的状态及所述多个目标区域的作业人员的状态，包括：建立区域关系图谱，其中，所述区域关系图谱用于记录所述多个目标区域的关联关系；对于每个所述目标区域，基于所述区域关系图谱确定关联的至少一个目标区域，基于所述目标区域的所述区域心跳数据包及所述关联的至少一个目标区域的区域心跳数据包，确定所述目标区域的作业人员的状态。

10、本说明书实施例之一提供一种基于工业互联网平台的大数据处理方法，包括：采集多个工业设备的状态数据；采集多个目标区域的作业人员的状态数据；虚拟主机接收对应的至少一个工业设备的状态数据和/或至少一个目标区域的作业人员的状态数据，进行数据预处理，生成所述工业设备对应的设备心跳数据包和/或所述目标区域对应的区域心跳数据包，并将所述设备心跳数据包和/或所述区域心跳数据包上传至数据处理云平台；数据处理云平台基于所述设备心跳数据包和/或所述区域心跳数据包进行数据分析，确定所述多个工业设备的状态及所述多个目标区域的作业人员的状态。

11、相比于现有技术，本说明书提供的一种基于工业互联网平台的大数据处理方法和系统，至少具备以下有益效果：

12、1、通过设置多个设备数据采集单元及多个区域数据采集单元，实现工业设备的状态数据和作业人员的状态数据的标准化采集，通过多个边缘服务器，并在边缘服务器上运行虚拟主机，实现多个工业设备的状态数据和多个作业人员的状态数据的同步预处理，提高了数据预处理的时效性，再基于数据处理云平台对设备心跳数据包和/或区域心跳数据包进行综合数据分析，较为准确地确定多个工业设备的状态及多个目标区域的作业人员的状态，实现了数据地自动采集、自动处理及数据融合分析，提高工业设备和作业人员监控的效率及质量；

13、2、根据工业设备的故障概率调整对应的设备数据采集单元的最优数据采集频率，使得设备数据采集单元后续采集的工业设备的状态数据的实时性更高，数据量更大，使得数据处理云平台可以更准确且更实时地判断工业设备是否发生故障；

14、3、动态调整多个虚拟主机与所述多个设备数据采集单元和/或多个区域数据采集单元的对应关系，可以有效保证数据预处理的有效进行及实时性；

15、4、基于多个虚拟主机与多个设备数据采集单元及多个区域数据采集单元的对应关系和虚拟主机的相关信息，对设备心跳数据包和/或区域心跳数据包进行加密，可以有效防止设备心跳数据包和/或区域心跳数据包的泄露；

16、5、基于设备关系图谱确定关联的至少一个工业设备，基于工业设备的设备心跳数据包及关联的至少一个工业设备的设备心跳数据包，确定工业设备的状态，实现对多个工业设备的设备心跳数据包的融合，使得确定的工业设备的状态更加准确，并且，基于区域关系图谱确定关联的至少一个目标区域，基于目标区域的区域心跳数据包及关联的至少一个目标区域的区域心跳数据包，确定目标区域的作业人员的状态，实现对多个目标区域的区域心跳数据包的融合，使得确定的目标区域的作业人员的状态更加准确。