基于大数据分析的数据共享方法及系统与流程

本发明涉及数据传输共享，具体涉及一种基于大数据分析的数据共享方法及系统。

背景技术：

1、数据的交换共享是数据全生命周期中发挥价值的关键一环，实现数据共享，可以使更多的企业充分使用已有数据资源，减少资料收集、数据采集等重复劳动，而把精力重点放在开发新的应用程序及系统集成上。总的来说可以为企业带来例如：降低运营成本、增强业务能力、提高效率、集中访问数据以减少重复数据集、促进企业间的沟通与合作，加强联系等益处。

2、工业生产中各类传感器所采集的物联网数据，具有较高的回溯和共享价值，但是由于信号成分复杂，为了便于接受方在共享数据中找到各自需要的数据类型，需要在进行数据共享前需要将每类传感器数据进行聚类、打包传输；但是传感器电信号数据或多或少存在一定噪声干扰问题，而现有技术在对数据进行聚类时，未能有效消除噪声干扰，因此会降低信号聚类的准确率，从而导致在数据传输时数据的共享价值大打折扣。

技术实现思路

1、为了解决现有技术在对数据进行聚类时，未能有效消除噪声干扰，因此降低信号聚类的准确率，从而导致在数据传输时数据的共享价值大打折扣的技术问题，本发明的目的在于提供一种基于大数据分析的数据共享方法及系统，所采用的技术方案具体如下：

2、本发明提出了一种基于大数据分析的数据共享方法，所述方法包括：

3、获取每类传感器中待共享的历史信号，基于预设时间间隔将所述历史信号分段获得信号段，并任选一段作为目标信号，对所述目标信号进行经验模态分解获得分量信号；每个分量信号对应一个尺度；

4、根据所述目标信号对每个分量信号进行还原获得对应尺度下的还原信号；根据每个还原信号和分量信号的差异获得不同尺度下的残差信号；根据不同尺度下的残差信号获得每个采样点在不同尺度下的残差信号值；

5、以每个残差信号中每个采样点为中心，根据中心采样点对应的预设卷积长度内所有采样点的所有残差信号值，获得中心采样点在不同尺度下的卷积权重；根据每个分量信号和采样点的卷积权重获得每个采样点在不同尺度下的真实信号值；根据每个采样点在不同尺度下的真实信号值的变化情况筛选有效点；

6、根据每类传感器中信号段之间有效点的数量分布以及信号段之间的相似情况获得信号段之间的区别特征值；根据信号段之间的区别特征值对所有信号段进行聚类，获得聚类结果；

7、根据所述聚类结果对所有信号段进行传输，完成数据共享。

8、进一步地，所述根据所述目标信号对每个分量信号进行还原获得对应尺度下的还原信号，包括：

9、基于傅里叶变换分别获取所述目标信号和每个所述分量信号的频域信号；

10、将所述目标信号的频域信号与第一个分量信号的频域信号的比值作为第一个尺度下的基线信号；依次将前一个尺度下的基线信号与后一个分量信号的频域信号的比值作为后一个尺度下的基线信号；获取每个分量信号对应的基线信号；

11、将每个分量信号对应的基线信号分别还原为时域信号，获得不同尺度下的还原信号。

12、进一步地，所述根据每个还原信号和分量信号的差异获得不同尺度下的残差信号，包括：

13、将每个分量信号之后的所有分量信号进行叠加，作为每个尺度下的叠加信号；

14、将每个尺度下的叠加信号与还原信号的差值作为每个尺度下的残差信号；获得不同尺度下的残差信号。

15、进一步地，所述根据中心采样点对应的预设卷积长度内所有采样点的所有残差信号值，获得中心采样点在不同尺度下的卷积权重，包括：

16、将中心采样点在不同尺度下的残差信号值的均值作为中心采样点的信号均值；将中心采样点在每个尺度下的残差信号值与所述信号均值的差值作为中心采样点在每个尺度下的噪声突出值；

17、获取中心采样点在每个尺度下的噪声突出值与残差信号值的欧式范数；对所述欧式范数进行归一化后，获得中心采样点在不同尺度下的卷积权重。

18、进一步地，所述根据每个分量信号和采样点的卷积权重获得每个采样点在不同尺度下的真实信号值，包括：

19、根据每个残差信号中每个采样点对应的预设卷积长度中所有采样点的卷积权重，对每个残差信号对应的分量信号进行反卷积，获得每个采样点在不同尺度下的真实信号值。

20、进一步地，所述有效点的获取方法包括：

21、根据每个采样点在不同尺度下的真实信号值获取对应的差分序列，将差分序列中每个数值的绝对值作为每个采样点在每个尺度下对应的信号变化值；

22、将每个采样点对应的差分序列中所有信号变化值的平均值作为平均变化值；

23、根据每个采样点对应的所有信号变化值和所述平均变化值，计算每个采样点对应的变化值的方差；

24、将每个采样点对应的预设卷积长度内所有采样点对应的变化值的方差的和值进行负相关映射并归一化后，作为每个采样点的有效值；

25、将有效值大于或等于预设判断阈值的采样点作为有效点。

26、进一步地，所述信号段之间的区别特征值的获取方法包括：

27、基于所述预设卷积长度将每个信号段进行分段，获得区间信号；

28、获取每个区间信号中的有效点数量，将两个信号段对应的区间信号中有效点数量的差异进行归一化后作为有效权重；

29、将两个信号段对应的区间信号的均方误差与对应的有效权重相乘，作为区间区别度；

30、将两个信号段的所有区间区别度的均值作为信号段之间的区别特征值。

31、进一步地，所述聚类结果的获取方法包括：

32、基于手肘法获取所有信号段的最优k值；

33、利用k-means聚类算法根据所述最优k值和信号段之间的区别特征值对所有信号段进行聚类，获得聚类结果。

34、进一步地，所述根据所述聚类结果对所有信号段进行传输，完成数据共享，包括：

35、将所述聚类结果中每个聚类簇中的信号段作为同一类信号进行传输，完成数据共享。

36、本发明还提出了一种基于大数据分析的数据共享系统，所述系统包括：

37、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时可实现任意一项所述方法的步骤。

38、本发明具有如下有益效果：

39、本发明通过获取每类传感器中待共享的历史信号，并对其分段；然后通过经验模态分解获得分量信号，并且每个分量信号对应一个尺度；然后通过对信号段以及分量信号进行处理获得每个尺度下的残差信号，由于分量信号较规整且无实际有效信息，因此分量信号更适合作为噪声估测成分，所有通过将噪声估测成分还原后的还原信号获取到残差信号，从而表征出噪声估测成分与实际噪声成分之间的误差；然后基于采样点在不同尺度下的残差信号值以及分量信号获得每个采样点在不同尺度下的真实信号值；进而可以根据采样点在不同尺度下的真实信号值筛选出有效点；通过有效点的数量特征体现信号段的噪声成分，并将其作为信号段之间相似程度度量时的权重，获得信号段之间的区别特征值；从而使得信号段之间的相似度量结果能最大程度避免噪声干扰，最后在聚类时能够有效提高聚类结果的准确率，因此在根据聚类结果对数据进行传输时可以保证数据的共享价值，综上，本发明在对需要共享的数据进行聚类时，能够有效的消除噪声干扰，提高聚类准确率，进而保证数据的共享价值。