一种工业互联网大数据平台及数据处理方法与流程

本发明涉及工业互联网领域，特别涉及一种工业互联网大数据平台及数据处理方法。

背景技术：

1、近年来，新一轮科技革命和产业变革快速发展，互联网由消费领域向生产领域快速延伸，工业经济由数字化向网络化、智能化深度拓展，互联网创新发展与新工业革命形成历史性交汇，催生了工业互联网。现在工业互联网上产生的数据也超过了娱乐互联网，如何处理工业互联网的海量数据成为了难题。

2、但是，现有的工业互联网大数据平台及数据处理方法只是对采集的数据信息了有效提炼，并未对应用工业互联网的工业生产平台上设备采集的数据进行异常数据的筛出，不利于后期人工维护，未实现异常数据的自动修复与存储。例如公开号为“cn115544319b”、专利名称为“工业互联网大数据平台及数据处理方法”，其方法包括以下步骤：数据采集模块、日志获取模块、设备确认模块以及数据获取模块，所述方法是在预设周期内采集待处理工业数据，判断所述待处理工业数据是否满足预设条件；若所述待处理工业数据满足所述预设条件，根据所述待处理工业数据获取待处理工业设备信息，并确定工业设备日志集；获取关键事件规则标识，通过所述关键事件规则标识在所述工业设备日志集中对所有工业设备信息进行匹配，以获得目标设备；根据所述目标设备对应的目标设备标识在所述待处理工业数据中进行匹配以获得有效工业数据。应用本发明实施例，实现了在工业生产过程中有效提炼数据的技术效果。但是该专利只是对采集的数据信息了有效提炼，并未对应用工业互联网的工业生产平台上设备采集的数据进行异常数据的筛出，不利于后期人工维护，未实现异常数据的自动修复与存储。

3、因此，本发明提出了一种工业互联网大数据平台及数据处理方法，用以对应用工业互联网的工业生产平台上设备采集的数据进行异常数据的筛出，实现异常数据的自动修复与存储。

技术实现思路

1、本发明提供一种工业互联网大数据平台及数据处理方法，用以根据工业生产平台上每个传感器在预设周期内的采集数据构建每个传感器的数据集合，便于后续获得数据集合中每个数值的向量表示，根据每个传感器的数据集合的所有数值精确地计算出每个数值的密度值与权值，根据密度值与权值可以获得传感器中每个数值的向量表示，便于后续簇类划分，基于每个传感器的数据集合中的所有数值的向量表示实现对数据集合中的所有数值进行簇类划分，实现对异常数据的检出，基于异常数据获得每个传感器的标注数据集合，有利于后续修复异常数据，通过将所有存在异常数据的传感器位置发送至工业生产平台的后台，提升后期人工维护的效率；通过对每个传感器的标注数据集合进行数据修复，获得每个传感器的修复数据集合，并将所有传感器的修复数据集合进行存储，实现所对异常数据的自动修复与存储。

2、本发明提供一种工业互联网大数据平台，包括：

3、数据获取模块，用于基于实时获取的工业生产平台上每个传感器在预设周期内的采集数据，得到每个传感器的数据集合；

4、数据处理模块，用于基于每个传感器的数据集合获得数据集合中每个数值的密度值与权值，基于密度值与权值获得传感器中每个数值的向量表示；

5、异常发送模块，用于基于每个传感器的数据集合中的所有数值的向量表示对数据集合中的所有数值进行簇类划分，获得数据集合的正常数据和异常数据，将每个传感器的数据集合中存在的异常数据进行标注，获得每个传感器的标注数据集合，并将所有存在异常数据的传感器位置发送至工业生产平台的后台；

6、数据修复模块，用于对每个传感器的标注数据集合进行数据修复，获得每个传感器的修复数据集合；

7、数据存储模块，用于将所有传感器的修复数据集合进行存储。

8、优选的，工业互联网大数据平台，数据获取模块，包括：

9、采集子模块，用于基于预设频率获取工业生产平台上每个传感器的采集数据，获得每个传感器的多个定频采集数值；

10、获取子模块，用于将每个传感器在预设周期内的多个定频采集数值当作每个传感器的集合构建数值；

11、集合子模块，用于将每个传感器的所有集合构建数值作为集合元素构建每个传感器的数据集合，其中集合元素的位置顺序与获取定频采集数值的时序相同。

12、优选的，工业互联网大数据平台，数据处理模块，包括：

13、密度值计算子模块，用于基于每个传感器的数据集合获得数据集合中每个数值的密度值；

14、权值计算子模块，用于基于每个传感器的数据集合获得数据集合中每个数值的权值；

15、向量表示子模块，用于将传感器中每个数值的密度值和权值分别作为每个数值的向量表示的第一元素和第二元素，获得传感器中每个数值的二维向量，并将获得的二维向量作为传感器中每个数值的向量表示。

16、优选的，工业互联网大数据平台，密度值计算子模块，包括：

17、序数定义单元，用于基于每个传感器的数据集合中集合元素的位置顺序对所有集合元素进行序数定义，获得每个传感器的数据集合的序数定义结果；

18、密度计算单元，用于获取每个传感器的数据集合中的最大值与最小值，基于数据集合中的最大值与最小值计算出每个传感器的数据集合中每个数值的密度值，如下：

19、

20、其中，q(xi)为每个传感器的数据集合中序数为i的数值的密度值，xi为每个传感器的数据集合中序数为i的数值，xmax为每个传感器的数据集合中的最大值，xmin为每个传感器的数据集合中的最小值，e为自然对数的底数，e取值为2.71828，π取值为3.1416。

21、优选的，工业互联网大数据平台，权值计算子模块，包括：

22、密度值获取单元，用于获取每个传感器的数据集合中所有数值的密度值；

23、计算单元，用于将每个传感器的数据集合中所有数值的密度值进行求和，获得和值，并将数据集合中每个数值的密度值与和值进行相除，获得对应数值的权值。

24、优选的，工业互联网大数据平台，异常发送模块，包括：

25、异常数据获取子模块，用于基于每个传感器的数据集合中的所有数值的向量表示对数据集合中的所有数值进行簇类划分，获得数据集合的正常数据和异常数据；

26、标注发送子模块，用于将每个传感器的数据集合中存在的异常数据进行标注，获得每个传感器的标注数据集合，并将所有存在异常数据的传感器位置发送至工业生产平台的后台。

27、优选的，工业互联网大数据平台，异常数据获取子模块基于每个传感器的数据集合中的所有数值的向量表示对数据集合中的所有数值进行簇类划分，获得数据集合的正常数据和异常数据的方法，包括：

28、s301：在每个传感器的数据集合中随机选取一个数值作为选取数值，基于预设距离算法计算出传感器的数据集合中每个数值的向量表示与选取数值的向量表示之间的距离，确定出数据集合中所有数值与选取数值的距离小于预设距离的数值个数；

29、s302：判断出数据集合所有数值中与选取数值的距离小于预设距离的数值个数是否超过预设阈值，若是，则将选取数值作为簇中心，并将簇中心及与簇中心之间的距离小于预设距离的所有数值归为一个簇类，否则，将选取数值作为数据集合的异常数据；

30、s303：对数据集合中除当前确定出的异常数据以外的剩余数据中当前未被归类的数值中随机选取一个数值作为选取数值，循环执行步骤s301至s302，直至数据集合中的所有数值都被归类或判定为异常数据时，获得数据集合的所有簇类和所有异常数据，并将数据集合中的所有簇类中的数值作为数据集合的正常数据。

31、优选的，工业互联网大数据平台，标注发送子模块，包括：

32、标注单元，用于对每个传感器的数据集合上的异常数据进行标注，获得每个传感器的标注数据集合；

33、发送单元，用于实时监测工业生产平台上的所有传感器是否存在标注数据集合，并将所有存在标注数据集合的传感器的位置发送至工业生产平台的后台。

34、优选的，工业互联网大数据平台，数据修复模块，包括：

35、标注数据获取子模块，用于获取所有标注数据集合，并将所有标注数据集合中的异常数据进行删除，并将删除位置作为空位，获得所有待修复数据集合；

36、数据修复子模块，用于获取所有待修复数据集合中的空位位置，在空位位置前后分别提取对应预设提取个数的数值并汇总，获得提取数据，求取提取数据中的所有数值的均值，并将均值填充至空位，将被填充所有空位后的待修复数据集合作为对应传感器的修复数据集合。

37、优选的，工业互联网数据处理方法，用于执行实施例1至9中任一一种工业互联网大数据平台，包括：

38、s1：基于实时获取的工业生产平台上每个传感器在预设周期内的采集数据，得到每个传感器的数据集合；

39、s2：基于每个传感器的数据集合获得数据集合中每个数值的密度值与权值，基于密度值与权值获得传感器中每个数值的向量表示；

40、s3：基于每个传感器的数据集合中的所有数值的向量表示对数据集合中的所有数值进行簇类划分，获得数据集合的正常数据和异常数据，将每个传感器的数据集合中存在的异常数据进行标注，获得每个传感器的标注数据集合，并将所有存在异常数据的传感器位置发送至工业生产平台的后台；

41、s4：对每个传感器的标注数据集合进行数据修复，获得每个传感器的修复数据集合；

42、s5：将所有传感器的修复数据集合进行存储。

43、本发明相对于现有技术产生的有益效果为：根据工业生产平台上每个传感器在预设周期内的采集数据构建每个传感器的数据集合，便于后续获得数据集合中每个数值的向量表示，根据每个传感器的数据集合的所有数值精确地计算出每个数值的密度值与权值，根据密度值与权值可以获得传感器中每个数值的向量表示，便于后续簇类划分，基于每个传感器的数据集合中的所有数值的向量表示实现对数据集合中的所有数值进行簇类划分，实现对异常数据的检出，基于异常数据获得每个传感器的标注数据集合，有利于后续修复异常数据，通过将所有存在异常数据的传感器位置发送至工业生产平台的后台，提升后期人工维护的效率；通过对每个传感器的标注数据集合进行数据修复，获得每个传感器的修复数据集合，并将所有传感器的修复数据集合进行存储，实现所对异常数据的自动修复与存储。

44、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的本技术文件中所特别指出的结构来实现和获得。

45、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。