一种用于分布式光纤传感器缺失数据的填补方法

本发明涉及缺失数据处理，特别涉及一种用于分布式光纤传感器缺失数据的填补方法。

背景技术：

1、分布式光纤传感器是在道路检测领域较有应用前景的一种传感器，因其极高的空间分辨率可以得到道路应变响应的空间分布情况。但是在应用过程中，会出现可能由于封装不规范、预应力施加不合理等原因而引起的大量响应数据缺失的问题，数据缺失对于后续道路性能分析会造成较大的影响。

2、目前较为普遍的数据填补方法大多是基于统计、基于预测或基于插值的方法，对于大量数据缺失的情况不适用，因此需要提出一种面对大量数据缺失的情况适用且能够适应分布式光纤传感器数据特点的方法。

技术实现思路

1、本发明提供了一种用于分布式光纤传感器缺失数据的填补方法，以解决现有技术对于大量数据缺失的情况不适用的技术问题。

2、为解决上述技术问题，本发明提供了如下技术方案：

3、一种用于分布式光纤传感器缺失数据的填补方法，其包括：

4、获取由分布式光纤传感器数据组成的数据集，并对所述数据集中的数据进行预处理，以对其中的缺失值进行填补，得到预处理后的数据集；

5、基于预处理后的数据集对预设的自相关神经网络模型进行训练，利用训练好的神经网络模型对待填充数据进行动态填补，输出填补后的数据；

6、对从神经网络模型输出的数据进行小波去噪，得到去噪后的数据；

7、对去噪后的数据进行局部误差消除，得到最终的缺失数据填补结果。

8、进一步地，对数据集中的数据进行预处理，以对其中的缺失值进行填补，包括：

9、将每一个缺失值都填补为其所在列数据的平均值。

10、进一步地，基于预处理后的数据集对预设的自相关神经网络模型进行训练，利用训练好的神经网络模型对待填充数据进行动态填补，输出填补结果，包括：

11、训练自相关神经网络模型表示为：

12、

13、yij＝ω(2)·yh+b(2)

14、其中，表示输入样本，yij表示网络模型的输出，ω(1)表示输入层神经元和隐藏层神经元的连接权重，ω(2)表示隐藏层神经元和输出层神经元的连接权重，b(1)表示隐藏层神经元的阈值，b(2)表示输出层神经元的阈值；

15、定义代价函数其中，xc为输入数据的未缺失值集合，xij为输入数据的第i行第j列的值，xm为输入数据的缺失值集合，为动态填补值，定义集合利用基于动量的随机梯度下降法对网络模型参数以及动态填补变量w进行更新得到w′，并进行循环迭代，直到满足指定的精度后输出填补后的数据结果yno。

16、进一步地，对从网络模型输出的数据进行小波去噪，得到去噪后的数据，包括：

17、对于从神经网络模型输出的数据yno进行n级的小波分解，得到第n级尺度的近似系数序列an和每一尺度上的细节系数序列bn，其中，n＝1，2，…，n，an与bn的计算公式如下所示：

18、

19、

20、其中，h表示小波分解中的低通滤波器，g表示小波分解中的高通滤波器，表示卷积运算；

21、应用软阈值对每一尺度的细节系数序列进行判别，当细节系数小于阈值时置零，当细节系数大于阈值时利用去噪函数进行处理，得到处理后的细节系数序列b′n：

22、

23、其中，阈值λ＝σ2lg(m)，m为数据序列的长度，σ是数据序列的标准方差值，计算方法为

24、利用an和细节系数序列b′n对数据进行小波重构，最终得到去噪后的数据yde。

25、进一步地，n的取值范围为3～8。

26、进一步地，对去噪后的数据进行局部误差消除，包括：

27、对神经网络模型输出的数据yno和去噪后的数据yde作差得到yerr；

28、对yerr进行单位化得到计算中每个样本与其他样本的差，得到差值序列dij，dij表示的第i个样本与其他样本的j个差值；

29、得到dij中的最大值dmax和最小值dmin，再通过式求出各差值数列的灰色关联系数，并由灰色关联系数得到灰色关联度r，并根据h＝-log(k)·r·log(r)得到目标样本与k个近邻样本的熵值，根据变异程度系数与熵值之间的关系v＝1-h计算得到变异程度系数；

30、由ω＝1/(k-1)·(1-v/sum(v))计算得出近邻样本的权重；根据权重求出目标样本的缺失值处的误差值，设定误差值的选取阈值；

31、当计算得到的误差值小于选取阈值时不采取操作，而当误差值大于选取阈值时则采用新计算得到的误差值对缺失值进行修正。

32、本发明提供的技术方案带来的有益效果至少包括：

33、本发明提供了一种用于分布式光纤传感器缺失数据的填补方法，该方法基于去跟踪自编码器的动态填补方案结合小波去噪及局部误差消除方法对分布式光纤传感器的缺失数据进行填补，此方法具有准确率高、处理效率高的特点。

技术特征：

1.一种用于分布式光纤传感器缺失数据的填补方法，其特征在于，包括：

2.如权利要求1所述的用于分布式光纤传感器缺失数据的填补方法，其特征在于，对所述数据集中的数据进行预处理，以对其中的缺失值进行填补，包括：

3.如权利要求1所述的用于分布式光纤传感器缺失数据的填补方法，其特征在于，基于预处理后的数据集对预设的自相关神经网络模型进行训练，利用训练好的神经网络模型对待填充数据进行动态填补，输出填补后的数据，包括：

4.如权利要求1所述的用于分布式光纤传感器缺失数据的填补方法，其特征在于，对从神经网络模型输出的数据进行小波去噪，得到去噪后的数据，包括：

5.如权利要求4所述的用于分布式光纤传感器缺失数据的填补方法，其特征在于，n的取值范围为3～8。

6.如权利要求1所述的用于分布式光纤传感器缺失数据的填补方法，其特征在于，对去噪后的数据进行局部误差消除，包括：

技术总结
本发明公开了一种用于分布式光纤传感器缺失数据的填补方法，其包括：获取由分布式光纤传感器数据组成的数据集，并对所述数据集中的数据进行预处理，以对其中的缺失值进行填补，得到预处理后的数据集；基于预处理后的数据集对预设的自相关神经网络模型进行训练，利用训练好的神经网络模型对待填充的缺失数据进行动态填补，输出填补后的数据；对于从神经网络模型输出的数据进行小波去噪，得到去噪后的数据；对去噪后的数据进行局部误差消除，得到最终的缺失数据填补结果。本发明具有准确率高、处理效率高的特点。

技术研发人员：孙凤艳,姜登介,郭洋,赵冠祎,杨海露
受保护的技术使用者：北京科技大学
技术研发日：
技术公布日：2024/1/13