一种基于大数据的工业信息管理系统及方法

本发明涉及工业信息管理，具体为一种基于大数据的工业信息管理系统及方法。

背景技术：

1、在大数据时代，工业信息源源不断地产生和积累，提供了大量丰富的价值，大量工业信息可以帮助企业做出更加准确的决策、提供更加个性化的服务、提高生产效率等，然而大部分的工业信息实际的利用率很低，大量低利用率的工业信息却依然被重复进行存储，占用大量的传输和存储资源，因此，如何更合理地对工业信息传输和存储方式进行管理成为了一个需要解决的问题。

技术实现思路

1、本发明的目的在于提供一种基于大数据的工业信息管理及方法，以解决上述背景技术中提出的问题。

2、第一方面，提供一种基于大数据的工业信息管理系统，包括：云平台、管理中心和终端设备模块；所述云平台与管理中心相互连接，用于存储所述终端设备模块上传的工业信息；所述管理中心与所述终端设备模块相互连接，用于存储工业信息的索引，所述索引包含了工业信息存储的位置信息；所述终端设备模块与所述云平台之间相互连接，用于获取工业信息，并将获取到的工业信息通过管理中心上传到云平台上。

3、终端设备模块由多个终端设备构成，终端设备上还包括分析模块，用于对本地的工业信息进行分析，通过管理中心获取工业信息的存储位置，根据工业信息的质量指标对工业信息执行操作；所述终端设备还通过管理中心获取工业信息的索引，根据索引从云平台上下载的工业信息。

4、所述云平台还用于根据工业信息的利用率数据，将工业信息从云平台中删除。

5、云平台、管理中心和终端设备模块上都包括通信单元，用于进行云平台与管理中心、云平台与终端设备模块、管理中心与终端设备模块以及终端设备模块内部之间的信息传输。

6、第二方面，提供一种基于大数据的工业信息管理方法，包括以下步骤：

7、s5-1，管理中心设定时间步长，并将设定时间的步长发送到云平台和终端设备，所述时间步长用于对工业信息的利用率进行评估；

8、s5-2，终端设备获取一个时间步长内的历史工业信息的使用次数数据，对历史工业信息的使用次数数据进行分析，得到工业信息的利用率数据；

9、s5-3，终端设备根据历史工业信息的利用率数据，对历史工业信息进行筛选，构建云平台上的初始工业信息库；

10、s5-4，终端设备获取新的工业信息时，对工业信息的质量进行评估，根据评估结果，终端设备对新的工业信息执行操作；

11、s5-5，当终端设备对新的工业信息执行操作后，经过一个时间步长，对存储在云平台上的所有工业信息的利用率进行评估，根据利用率的评估结果，对存储在云平台上的工业信息执行操作；

12、s5-6，在获取下一工业信息之前，返回步骤s5-4。

13、在步骤s5-2中，所述对历史工业信息的使用次数数据进行分析，得到工业信息的利用率数据，包括以下步骤：

14、获得一个时间步长内每个工业信息在所有终端设备上的使用次数，终端设备将使用次数数据上传到云平台，云平台利用公式根据使用次数计算利用率f；

15、

16、其中，x2为一个时间步长内使用工业信息的终端设备的个数，x1为一个时间步长t内，使用工业信息超过1次的终端设备中，每个终端设备使用工业信息的次数，n为使用工业信息超过1次的终端设备的个数，为使用工业信息超过1次的终端设备中，所有终端设备使用工业信息的平均次数；w1和w2为和x2的连接权值。

17、反映了工业信息的价值，工业信息的价值越高，使用次数才会越多，也越高；x2反映了工业信息的泛用性，工业信息的泛用性越高，使用该工业信息的终端设备就越多，x2也就越大；w1和w2根据对工业信息价值和泛用性的重视程度进行设置，越重视工业信息的价值，则w1越大，越重视工业信息的泛用性，则w2越大。

18、在步骤s5-3中，所述对历史工业信息进行筛选，构建初始云平台上的初始工业信息库，包括以下分析步骤：

19、s7-1，从云平台获得所有历史工业信息的利用率f数据；

20、s7-2，将步骤s7-1中得到的利用率f从大到小绘制在坐标系中，纵坐标为利用率，横坐标为反映利用率大小的编号，横坐标为1时，利用率f取得最大值，横坐标取得最大值时，利用率f取得最小值，横坐标最大值与工业信息个数相同；

21、s7-3，对除了横坐标为1和横坐标为最大值的其余利用率f数据点，分别计算每个数据点的前向差分和后向差分；以三个数据点(f1,t)，(f2,2t)和(f3,3t)为例，对于点(f2,2t)来说，前向差分计算公式为：后向差分计算公式为：前向差分反映了数据点之后的变化情况，后向差分反映了数据点之前的变化情况；

22、s7-4，计算步骤s7-3中每个数据点前向差分和后向差分的差值的绝对值，找出所有前向差分和后向差分的差值绝对值大于阈值l的数据点；对于利用率较高的工业数据来说，它们之间的利用率的变化幅度较小，利用率f的前向差分和后向差分差值的绝对值较小，不会大于阈值l；当出现前向差分和后向差分的差值绝对值大于阈值l的数据点时，意味着该数据点是两类数据点的分界点；对于利用率较低的工业数据来说，它们之间的利用率的变化幅度也比较小，利用率f的前向差分和后向差分差值的绝对值较小，也不会大于阈值l；阈值l由用户自行进行设置，可参照正态分布的3西格玛法则进行设置，约有68％的变化率数据位于均值的一个标准差范围内，约有95％的变化率数据位于均值的两个标准差范围内，约有99.7％的变化率数据位于均值的三个标准差范围内，常用工业信息在所有工业信息中的占比不会超过5％；

23、s7-5，将步骤s7-4获取的数据点中，横坐标最小的数据点对应的利用率f作为阈值k1，横坐标最大的数据点对应的利用率f作为阈值k2；利用率f数据点可能包括多个分界点，第一个分界点和最后一个分界点之间的数据点，处于利用率f从高变成低的过渡阶段，利用率f会以不同的变化率从高到低减少，第一个分界点和最后一个分界点之间的分界点，可用来区分利用率f的不同变化率；

24、s7-6，终端设备从云平台获取存储在本地的历史工业信息的利用率数据，将历史工业信息的利用率f和阈值k1比较，若工业信息的利用率f大于等于阈值k1，则终端设备将工业信息上传到云平台，若工业信息的利用率f小于阈值k1，则终端设备将工业信息的位置索引上传到管理中心。

25、在步骤s5-4中，所述对工业信息的质量进行评估，根据评估结果，终端设备对新的工业信息执行操作，包括以下分析步骤：

26、获取表征质量指标的特征数据yj，按照公式计算质量指标q，式中，m为质量指标q的特征个数，yj为质量指标q的特征值，uj为连接权值，终端设备将质量指标q大于等于阈值qmin的新的工业信息上传到云平台上，将质量指标q小于qmin的新工业信息的位置索引上传到管理中心；

27、所述阈值qmin的获取方式如下：

28、s8-1，获取新的工业信息的质量指标q数据，将质量指标q的均值作为qmin的初值；

29、s8-2，经过一个时间步长，终端设备将新的工业信息的使用次数数据上传到云平台，云平台计算新的工业信息的利用率f，获取上传到云平台的满足q≥qmin条件的新的工业信息在一个时间步长内的利用率f；

30、s8-3，找出步骤s8-2中所有满足利用率f大于等于k1条件的新的工业信息，将找出的新的工业信息所对应的质量指标q的最小值作为阈值qmin；

31、s8-4，当终端设备获取下一个工业信息时，不必再对阈值qmin重新赋予初值，直接重复步骤s8-2和s8-3更新阈值qmin的值。

32、具体地，质量指标q的特征可以包括完整性y1、准确性y2、及时性y3和相关性y4；其中相关性y4是新的工业信息和云平台之中的工业信息之间的相关性，云平台之中的工业信息利用率较高，与工厂业务的相关性较高，因此新的工业信息和云平台之中的工业信息之间的相关性，也可以反映新的工业信息和工厂业务之间的相关性；完整性反映了工业信息是否包含了所需的所有字段和记录，准确性反映了信息与实际情况相符的程度，及时性反映了工业信息与最新的环境相符的程度；工业信息越完整、准确性越高、信息越新、和工厂业务之间的相关性越高，被利用的频率就会越高；u1、u2、u3和u4为完整性y1、准确性y2、及时性y3和相关性y4的连接权值，反映了对完整性y1、准确性y2、及时性y3和相关性y4的重视程度，工厂业务对及时性y3的要求越高，那么连接权值u3就越高，工厂业务对准确性y2的要求越高，那么连接权值u2就越高。

33、具体地，完整性y1通过缺失值检查方式计算，y1＝1-d1，式中d1为缺失值所占的比例；准确性y2通过抽样抽查方式进行检验，从完整的工业信息中选择一部分样本进行分析和检查，以代表整体工业信息的特征和特性，通过对样本进行检查，确定样本中的错误比例d2，并将其推广到整个工业信息得到准确性y2，y2＝1-d2；及时性y3采用时间戳检查方式进行检验，获取当前时间t1和工业信息中包含的时间字段t2，云平台所有工业信息包含的时间字段最大值t3，将工业信息中的时间字段与当前时间进行比较，计算时间戳与当前时间的时间差t1-t2，通过时间差确定及时性y3，相关性y4通过pearson相关系数进行检验，pearson相关系数的取值范围在-1到1之间，其中-1表示完全的负相关，1表示完全的正相关，首先依次新的计算工业信息与云平台中工业信息的协方差矩阵，接着依次提取新的计算工业信息与云平台中工业信息的pearson相关系数zj，将zj的绝对值的平均值作为y4，其中j的取值范围为区间[1,v]之间的正整数，v为云平台中工业信息的个数；用户也可根据具体的信息特点和业务需求，选择合适的完整性y1、准确性y2、及时性y3和相关性y4的检验方式。

34、在步骤s5-5中，还包括以下分析步骤：

35、获得所有存储在云平台上工业信息的利用率数据f；

36、将利用率f与阈值k2比较，若工业信息的利用率f大于等于阈值k2，则云平台保留工业信息，若工业信息的利用率f小于阈值k2，则云平台将工业信息删除，同时终端设备将工业信息的位置索引上传到管理中心。

37、工业信息的利用率会随着时间变化而发生变化，当利用率减少时，需要将工业信息从云平台中删除以节省存储空间；当工业信息的利用率f位于过渡阶段时，工业信息的利用率变化可能是暂时的，当工业信息的利用率f小于阈值k2时，则可以确定工业信息的进入低利用率阶段，此时可以将工业信息从云平台中删除。

38、与现有技术相比，本发明所达到的有益效果是：获取工业信息的质量指标，根据质量指标将高利用率的工业信息上传到云平台提供给所有终端设备使用，低利用率的工业信息则储存在本地，可以节约云平台的存储空间，同时减少低利用率的工业信息进行传输时的资源浪费。