一种基于数据分析的测量数据异常监管系统及方法与流程

本发明涉及数据分析，具体为一种基于数据分析的测量数据异常监管系统及方法。

背景技术：

1、精密测量是指对物体或物理量进行高精度、高精确度的测量，使人们获取准确的数据和信息，从而更好地理解和应用于生产和科研实践。在工业制造中，精密测量用于检测产品的尺寸、形状、表面质量等，需要采用光学测量仪、电子测量仪器、机械测量仪器等多种测量设备和仪器。

2、但在实际测量中，这些仪器很容易出现异常，例如机械测量仪的偶然卡壳、光学测量仪的光栅干扰等，都会影响对材料板厚度的测量结果，从而在测量数据中表现出数据异常，与材料本身的异常数据混杂在一起，污染测量结果，从而影响精密测量仪器的测量效果，而由于不同材料物理特性的不同，分离这些数据会变得异常困难。

3、此外，在需要频繁测量的场景中，测量仪器在测量过程中会发生损耗，从而影响测量结果，对于一些寿命较短的仪器，频繁的标度调整会大大加重测量仪器探头的损耗并导致结果偏移，且在测量厚度的表面时，损耗的表现程度也不同，现有的损耗补偿通过经验公式来判断，不能精确反映出损耗对实测数据的影响情况。

技术实现思路

1、本发明的目的在于提供一种基于数据分析的测量数据异常监管系统及方法，以解决上述背景技术中提出的问题。

2、为了解决上述技术问题，本发明提供如下技术方案：一种基于数据分析的测量数据异常监管系统，包括：损耗累积模块、刚性测量模块、神经网络模块、回归调校模块和异常归类模块；

3、所述损耗累积模块用于计算仪器在测量过程受到的动态损耗，并将其折算为对测量数据的影响值；

4、所述刚性测量模块用于获取已测量的测量点，通过分析相邻测量点间曲率的大小，评估材料的刚性程度，计算测量点的分散率区间；

5、所述神经网络模块用于根据测量数据的特征构建多层神经网络模型，对数据进行拟合，得到材料的粗糙度特征；

6、所述回归调校模块用于根据损耗对测量数据的影响值处理已测量点，并将处理后的测量点拟合为线性回归函数；

7、所述异常归类模块用于根据材料的粗糙度和线性回归函数，提取测量数据中的异常点，计算所有异常点的分散率，通过其是否位于分散率区间中，分离仪器异常点与材料异常点。

8、进一步的，所述损耗累积模块包括：标度调节单元和损耗表现单元；

9、所述标度调节单元用于获取仪器每次进行测量时测量点的变化率，从而得到仪器标度的调节频率，从而计算出每次标度调节对仪器带来的损耗；

10、所述损耗表现单元用于根据仪器的损耗与测量点的特征，折算出测量数据的偏移量函数。

11、进一步的，所述刚性测量模块包括：函数生成单元、曲率计算单元和刚性数据单元；

12、所述函数生成单元用于获取已采集的测量点，构建测量结果与测量次数的函数，使用自适应双指数模型平滑方法将其拟合，得到目标函数；

13、所述曲率计算单元用于将目标函数二次求导，计算每个测量点对应位置的曲率；

14、所述刚性数据单元用于根据测量点间曲率的变化特征，得到材料整体上的刚性系数，根据刚性系数计算测量点的分散率区间。

15、进一步的，所述神经网络模块包括：深度学习单元和模型构建单元；

16、所述深度学习单元用于根据仪器特征选取合适的神经网络，并将历史测量数据输入所述神经网络，对网络进行训练；

17、所述模型构建单元用于将当前测量数据输入训练完毕的神经网络，进行回归性的分类计算。

18、进一步的，所述回归调校模块包括：损耗排除单元和线性回归单元；

19、所述损耗排除单元用于根据偏移量函数修正已测量的测量点，校准仪器损耗；

20、所述线性回归单元用于根据神经网络的分类计算，将已测量的所有测量点拟合为线性回归方程。

21、进一步的，所述异常归类模块包括：异常点提取单元、分散率判定单元和数据清洗单元；

22、所述异常点提取单元用于根据材料的粗糙度判断异常阈值，将与线性回归方程间偏差大于阈值的测量点标记为异常测量点；

23、所述分散率判定单元用于计算异常测量点的分散率；

24、所述数据清洗单元用于通过分析异常点的分散率是否位于分散率区间中，分离仪器异常点与材料异常点。

25、一种基于数据分析的测量数据异常监管方法，包括以下步骤：

26、s100.测量前，读取设备的初始累积损耗，测量过程中，读取每个测量点的两个相邻测量点，计算三个测量点的变化率，得到仪器的损耗累加值；

27、s200.测量结束后，读取已测量部分的测量数据，构建测量结果与测量次数的函数，使用双指数模型平滑方法将其拟合，得到目标函数，通过计算目标函数二阶导数的总变异量，得到材料的刚性系数；

28、s300.根据步骤s100中每一个点的累积损耗，折算出测量数据的偏移量函数，分析偏移量函数的变化率，结合步骤s200中得到的刚性系数，计算出材料的粗糙度；

29、s400.根据仪器测量特征构建神经网络模型，将已测量数据与损耗函数输入神经网络进行线性回归拟合，得到测量数据的标准回归函数，并计算出测量点的分散率区间；

30、s500.计算每个测量点与标准回归函数的偏差值，将偏差值超过材料粗糙度的测量点标记为异常测量点，进一步计算每一个异常测量点的分散程度，将分散程度位于分散率区间的异常测量点标记为材料异常，其余标记为设备异常，对设备异常的测量点数据进行清洗后，将数据输出给用户。

31、进一步的，步骤s100包括：

32、步骤s101.读取测量设备的初始累积损耗r0，所述初始累积损耗由上一次测量后的记录得到，初始值为0，设置仪器的进样步距、进样速度与探头高度后开始测量；

33、步骤s102.测量过程中，仪器每测量一个点的数据，则获取这个点前后两个点的数据值，将这三个点记为点1、点2和点3，测量值分别记为a1、a2和a3，则其变化率w=（|a1-a2|+|a3-a2|）/2e，所述e为设备的进样速度；

34、步骤s103.计算设备的损耗累加值r：

35、；

36、其中t为设备的使用寿命，c为仪器的进样步距，h为仪器的探头高度；

37、则仪器在点2处的初始累积损耗re=r0+∑r，其中∑r表示点2与本次测量中点2前所有测量点损耗累加值的和；

38、步骤s104，重复上述步骤，测量出每个测量点的累积损耗；

39、其中，第一个测量点与最后一个测量点的损耗累加值固定为0。

40、本发明能够通过分析三个相邻测量点的变化率，得到损耗表现基数与损耗累加值，并依靠累积算法判断仪器在测量过程中实际损耗对数据的影响值，对数据进行校准，能够有效避免仪器在长期使用过程中存在漂移或误差累积的情况，从而对测量数据造成影响。

41、进一步的，步骤s200包括：

42、步骤s201.测量完毕后，获取每个已采集测量点的测量值，以测量次数为横轴，测量值为纵轴建立直角坐标系，构建测量结果与测量次数的函数f0（x），其中x表示测量次数，且f0（x）＞0，所述f0（x）为表示测量点与测量值之间关系的散点函数；

43、步骤s202.使用双指数模型平滑方法将步骤s201中得到的函数f0（x）进行拟合，得到由平滑曲线构成的目标函数f（x）；

44、步骤s203.对f（x）进行二次求导，得到f（x）的一阶导函数f1(x)与二阶导函数f2（x）；

45、当f1(x)=0恒成立时，刚性系数固定为1，否则转到步骤s204；

46、步骤s204.通过计算目标函数二阶导数的总变异量，得到材料的刚性系数y：

47、；

48、其中，m为测量的总次数，m≥1，且y>0；所述刚性系数y越低，代表材料的硬度越高。

49、本发明能够考虑到刚性材料的异常数据会有一个跳变的过程，而柔性材料测量数据的变化较为缓和，通过测量数据分析出材料的硬度，从而判断结果中的异常值是否为设备异常。

50、进一步的，步骤s300包括：

51、步骤s301.根据每一个测量点的测量值与累积损耗，计算测量过程中测量值的偏移量p：

52、；

53、其中，d为仪器示值误差的最大值，由仪器的出厂规格得到，a为该测量点处的测量值；

54、步骤s302.根据材料的刚性系数与步骤s102中得到的各点变化率计算材料表面的粗糙度u：

55、；

56、其中，wi表示第i个测量点处的变化率；

57、该步骤能够确定筛选异常点时的阈值大小，在测量不同材料时，动态选取阈值大小，保证了测量数据的适应能力。

58、进一步的，步骤s400包括：

59、步骤s401.根据仪器特征选取合适的神经网络，并将该仪器的历史测量数据输入所述神经网络，对网络进行多层语义训练；

60、步骤s402.将每个测量点的测量值与偏差值输入训练完毕的神经网络，进行回归性的分类计算，将所有测量点拟合为线性回归函数，得到测量数据的标准回归函数z（x）；

61、步骤s403.按以下公式，确定测量点的分散率特征值k：

62、<mi>k</mi><mi>=</mi><mi>y</mi><mi>·</mi><mi>[1-</mi><mfrac><mstyle displaystyle="false"><munderover><mo>∑</mo><mi>x=1</mi><mi>m</mi></munderover><msup><mi>(z(x)-f0(x))</mi><mn>2</mn></msup></mstyle><mstyle displaystyle="false"><munderover><mo>∑</mo><mi>x-1</mi><mi>m</mi></munderover><msup><mi>(f0-f0(x))</mi><mn>2</mn></msup></mstyle></mfrac><mi>]</mi>；

63、其中，f0为f0（x）在定义域[1,m]内的均值，k>0；

64、若k>1，则测量点的分散率区间为(k，1-1/k)，若k≤1,则测量点的分散率区间为（0，k）；

65、该步骤通过计算回归性数据的离散程度，得到了测量数据在特定刚性系数下测量点的最大和最小聚集程度，位于聚集区间内的异常点，即可认为是由于材料缺陷而导致的测量异常。

66、进一步的，步骤s500包括：

67、步骤s501.获取误差函数v（x），所述v（x）=|f（x）-z(x)|，将x的值从1到m逐一代入误差函数v（x），当v（x）≥u时，将x对应的测量点标记为异常测量点；

68、步骤s502.按以下公式计算每个异常测量点的分散率：

69、；

70、其中，w1表示该异常测量点前一个异常测量点的变化率，w2表示该异常测量点后一个异常测量点的变化率，v（x1）表示该异常测量点的前一个异常测量点的测量值，表示该异常测量点的后一个异常测量点的测量值；

71、步骤s503.根据分散程度对异常测量点进行分类，若异常点分散程度l的值位于步骤s403中得到的分散率区间内，将其标记为材料异常点，否则，若异常点分散程度l的值位于分散率区间外，将其标记为仪器异常点；

72、步骤s504.清洗掉测量数据中的仪器异常点，将标记测量数据中的材料异常点做好标记，并把处理后的测量数据发送给用户。

73、本发明能够对测量数据中的异常点进行分离与清洗，有效缓解了由于设备仪器故障、数据采集错误或实验操作失误等原因而产生的数据污染，有效克服了传统测量过程中，测量数据产生系统性偏差的问题，提高了测量的准确性。

74、与现有技术相比，本发明所达到的有益效果是：

75、1.本发明能够通过分析三个相邻测量点的变化率，得到损耗表现基数与损耗累加值，并依靠累积算法判断仪器在测量过程中实际损耗对数据的影响值，对数据进行校准，能够有效避免仪器在长期使用过程中存在漂移或误差累积的情况，从而对测量数据造成影响，也有助于帮助确定仪器进行维护和校准的时间，保持仪器的性能和准确度，及时发现并修复测量问题。

76、2.本发明能够考虑到刚性材料的异常数据会有一个跳变的过程，而柔性材料测量数据的变化较为缓和，通过测量数据分析出材料的硬度，从而判断结果中的异常值是否为设备异常，从而对测量数据中的异常点进行分离与清洗，有效缓解了由于设备仪器故障、数据采集错误或实验操作失误等原因而产生的数据污染，提高了测量的准确性。

77、3.本发明能够通过人工神经网络对测量数据进行连续性拟合，输入仪器的损耗与材料的刚性系数，从而得到材料的标准厚度模型，并从中分辨出异常数据，有效克服了传统测量过程中，测量数据产生系统性偏差的问题，使实际测量数据能够为测量人员带来更高的参考价值。