一种基于数据差值的桥梁渐进式漂移数据清洗方法与流程

本发明属于桥梁健康监测数据分析研究领域，具体涉及一种基于数据差值的桥梁渐进式漂移数据清洗方法。

背景技术：

数据清洗是桥梁健康监测数据后续分析挖掘的基础，也是监测数据价值得以实现的步骤。随着国内桥梁健康监测系统技术的逐渐成熟和广泛使用，数据清洗的重要性也与日俱增。其中，监测数据漂移现象在桥梁健康监测过程中较为常见，其产生的主要原因在于传感器本身出现故障或者受到外界环境的干扰。数据漂移的表现形式为：监测数据会产生整体或部分偏移，在时域上某时段内局部向上或者局部向下偏移，出现一种不连续状况，但异常偏移部分数据的形态和趋势并无异常。

目前观测到的数据偏移分为主要两种情况，一种为整体式漂移，另一种为渐进式漂移。整体式漂移表现为，数据在某时段内整体向上或者向下漂移，这种漂移容易识别且方便设计算法进行修正；而对于渐进式漂移现象，该种形式的漂移识别较为困难，主要是由于其数据本身的波动较难识别。因此，针对上述数据异常的缺点，迫切需要发展一种针对渐进式漂移现象识别清洗的方法。

技术实现要素：

本发明所要解决的技术问题是针对上述现有技术的不足提供一种基于数据差值的桥梁渐进式漂移数据清洗方法，本基于数据差值的桥梁渐进式漂移数据清洗方法能准确有效地处理桥梁健康监测中信号波动较为平稳的渐进式漂移数据问题。

为实现上述技术目的，本发明采取的技术方案为：

一种基于数据差值的桥梁渐进式漂移数据清洗方法，包括以下步骤：

步骤1：获取传感器原始数据；

步骤2：计算原始数据之间相邻数据的差值；

步骤3：通过supersmoother算法对原始差值数据提取趋势数据，得到原始差值数据与趋势数据的差值；

步骤4：采用区间估计理论，根据原始差值数据与趋势数据的差值的均值和标准差，得到原始差值数据与趋势数据的差值的正常值的变化范围；

步骤5：寻找原始差值数据与趋势数据的差值处于置信区间以外的数据位置，确定原始数据中漂移异常值的位置并进行清洗。

作为本发明进一步改进的技术方案，所述的步骤1具体包括：

获取桥梁健康监测系统中传感器采集的原始数据{xi},i＝1,2,…,n，其中n为原始数据个数。

作为本发明进一步改进的技术方案，所述的步骤2具体包括：

通过计算{xi},i＝1,2,…,n之间相邻数据的差值，得到数值序列{di},i＝1,2,…,n-1，其中di＝xi+1-xi。

作为本发明进一步改进的技术方案，所述的步骤3具体包括：

步骤3.1：采用supersmoother算法提取原始差值数据的趋势数据{si},i＝1,2,…,n-1；

步骤3.2：计算di与si之间的差值进行分析，记为di＝di-si。

作为本发明进一步改进的技术方案，所述的步骤4具体包括：

步骤4.1：计算原始差值数据与趋势数据的差值{di},i＝1,2,…,n-1的均值μ和标准差σ；

其中：

步骤4.2：采用正态分布函数进行概率拟合，设满足保证率α，得到di正常值的波动范围(μ-ασ,μ+ασ)。

作为本发明进一步改进的技术方案，所述的步骤5具体包括：

步骤5.1：寻找原始差值数据与趋势数据的差值{di},i＝1,2,…,n-1中处于置信区间(μ-ασ,μ+ασ)以外的数据位置信息，记：{di},i＝1,2,…,n-1中小于μ-ασ的漂移异常值位置序列为j＝1,2,…m1，其中m1为差值小于下分位值的数据个数；{di},i＝1,2,…,n-1中大于μ+ασ的漂移异常值位置序列为k＝1,2,…m2，其中m2为差值大于上分位值的数据个数；

步骤5.2：j＝1,2,…m1和k＝1,2,…m2的集合即为原始数据中漂移异常值的位置，根据原始数据中漂移异常值的位置对原始数据中漂移异常值进行清洗。

本发明的有益效果为：针对渐进式漂移现象较为复杂，与数据本身变化结合在一起，故难以识别，本发明从相邻数据的差值角度出发，提出一种基于数据差值的桥梁渐进式漂移数据清洗方法，具有以下有益效果：

(1)本发明能够准确识别信号较为平稳的数据中渐进式漂移现象，提高原始数据的处理效率，且能够最大程度还原真实监测数据，为后续结构状态分析提供有效数据。对原始数据中漂移异常值能准确有效地进行清洗。

(2)本发明不需要用多个传感器进行信息融合，减少由于其他传感器数据质量较差而引起的数据分析误差；

(3)本发明能够在线实时识别渐进式漂移现象，方法实现过程中无需人工干预，方法实时性好、智能化程度高。

附图说明

图1是烈士河大桥2017年4月22日温度传感器第四通道数据的一维时程图。

图2是烈士河大桥2017年4月22日温度传感器第四通道相邻数据差值示意图。

图3是烈士河大桥温度数据差值的趋势数据图。

图4是烈士河大桥原始差值数据与趋势数据的差值示意图。

图5是烈士河大桥原始差值数据与趋势数据的差值统计分析图。

图6是烈士河大桥温度数据渐进式漂移最终清洗效果图。

具体实施方式

下面根据图1至图6对本发明的具体实施方式作出进一步说明：

一种基于数据差值的桥梁渐进式漂移数据清洗方法，包括以下步骤：

步骤1：获取传感器原始数据。

步骤1具体包括：

获取桥梁健康监测系统中传感器采集的原始数据{xi},i＝1,2,…,n，其中n为原始数据个数。

步骤2：计算原始数据之间相邻数据的差值。

步骤2具体包括：

通过计算{xi},i＝1,2,…,n之间相邻数据的差值，得到数值序列{di},i＝1,2,…,n-1，其中di＝xi+1-xi。

步骤3：通过supersmoother算法对原始差值数据提取趋势数据，得到原始差值数据与趋势数据的差值。

步骤3具体包括：

步骤3.1：采用supersmoother算法提取原始差值数据的趋势数据{si},i＝1,2,…,n-1；

步骤3.2：计算di与si之间的差值进行分析，记为di＝di-si。

步骤4：采用区间估计理论，根据原始差值数据与趋势数据的差值的均值和标准差，得到原始差值数据与趋势数据的差值的正常值的变化范围。其中原始差值数据与趋势数据的差值的正常值的变化范围也可称作原始差值数据与趋势数据的差值的正常变化范围。

步骤4具体包括：

步骤4.1：计算原始差值数据与趋势数据的差值{di},i＝1,2,…,n-1的均值μ和标准差σ；

其中：

步骤4.2：采用正态分布函数进行概率拟合，设满足保证率α，得到di正常值的波动范围(μ-ασ,μ+ασ)。

步骤5：寻找原始差值数据与趋势数据的差值处于置信区间以外的数据位置，确定原始数据中漂移异常值的位置并进行清洗。

步骤5具体包括：

步骤5.1：寻找原始差值数据与趋势数据的差值{di},i＝1,2,…,n-1中处于置信区间(μ-ασ,μ+ασ)以外的数据位置信息，记：{di},i＝1,2,…,n-1中小于μ-ασ的漂移异常值位置序列为j＝1,2,…m1，其中m1为差值小于下分位值的数据个数；{di},i＝1,2,…,n-1中大于μ+ασ的漂移异常值位置序列为k＝1,2,…m2，其中m2为差值大于上分位值的数据个数；

步骤5.2：j＝1,2,…m1和k＝1,2,…m2的集合即为原始数据中漂移异常值的位置，根据原始数据中漂移异常值的位置对原始数据中漂移异常值进行清洗。

下面以烈士河大桥为例，说明本发明的具体实施过程：

选取烈士河桥2017年4月22日温度传感器第四通道的数据，采样频率均为200hz，共17280000个数据。为提高计算效率，对数据重新采样，以1-min为时距，共1440个数据样本，图1展示了该温度数据的一维时程曲线。

其次，计算原始温度数据之间相邻数据的差值，其差值数据的示意图如图2所示。图中可以看出，差值波动大的位置和渐进式漂移产生的位置相同，表明可以使用数据差值来识别渐进式漂移现象。

然后，通过supersmoother算法对原始差值数据提取趋势数据，得到原始差值数据与趋势数据的差值，趋势数据如图3所示，原始差值数据与趋势数据的差值如图4所示，原始差值数据与趋势数据的差值统计分布图如图5所示。从图5中可以看出，原始差值数据与趋势数据的差值与正态分布较为接近，可以通过设置一定保证率以控制数据的正常区间。其中，计算得到原始差值数据与趋势数据的差值的均值为0.0005，标准差为0.0490，设置区间估计数据保证率为0.99，得到应变差值的正常波动区间为(-0.0480,0.0490)，进而得到渐进式漂移异常值个数为274个。最终的渐进式漂移识别清洗效果如图6所示。

本发明适用于各类传感器的监测数据处理，只要数据异常表现形式为渐进式漂移都可以采用本方法。不仅仅局限于上述的温度传感器。

以上算例表明本发明所提出的方法在较少传感器的情况下，能够有效准确识别信号较为稳定的数据中渐进式漂移现象，能够在线实时识别渐进式漂移现象，方法实时性好、智能化程度高，具有较好的工程应用价值。

本发明的保护范围包括但不限于以上实施方式，本发明的保护范围以权利要求书为准，任何对本技术做出的本领域的技术人员容易想到的替换、变形、改进均落入本发明的保护范围。