一种大坝位移数据的粗差剔除方法与流程

本发明涉及一种大坝位移数据的粗差剔除方法，属于大坝安全监测技术领域。

背景技术：

当前我国大坝安全监测总体处于特殊的阶段，很多老坝即将到达设计基准期，而一大批新坝正投运，因此对大坝安全监测指标进行预测从而提供安全监测决策辅助，就显得必要了。大坝的位移量则是大坝安全监测的主要指标之一，在大坝整体性态评估中占有重要的意义，其异常测值更应受到特别的重视和分析。而由测量系统和人为操作等因素引起的异常值，应将其视为粗差予以剔除，以避免干扰后续的分析和评估操作。

所谓粗差，是指在大坝位移量的时间序列中，与相邻时间的测值存在明显差异的突变点，其成因一般与大坝的真实性态和环境量的变化无直接关联。目前业界内普遍的粗差剔除方法,主要包括专家经验法和统计模型法。专家经验法主要依赖水工安全监测专家的工程经验来判定粗差，较为依赖主观认知；统计模型法主要依赖于某一种确定的策略，例如根据极值、变幅、与拟合值的残差的大小等，对数据的利用不够全面和深入，存在较大的误判和漏判的风险。

技术实现要素：

本发明所要解决的技术问题是克服现有技术的缺陷，提供一种大坝位移数据的粗差剔除方法，综合考虑了多种离群点数据识别方法,剔除大坝位移数据中的粗差。

为解决上述技术问题，本发明提供一种大坝位移数据的粗差剔除方法，包括以下步骤：

1）设定Dixon准则、Grubbs准则、Chauvenet准则、四分点准则这四种离群点判定准则的权重系数，以及设定粗差判定阈值；

2）计算原位移测值序列的均值和标准差，并基于回归模型计算残差序列；

3）根据Dixon准则判定疑似粗差；

4）根据Grubbs准则判定疑似粗差；

5）根据Chauvenet准则判定疑似粗差；

6）根据四分点准则判定疑似粗差；

7）对于每一个测值，都有4个疑似粗差判定结果，将结果为疑似粗差的准则的权重系数相加，再与粗差判定阈值相比，达到或者超过，即判定该测值为粗差。

前述的步骤1）中，每种离群点判定准则的权重系数的取值范围为1-100，四个权重系数的总和为100。

前述的步骤2）中，基于回归模型计算残差序列是指，根据大坝水平位移基础成因理论，确定影响大坝位移的因子以及位移量数据，然后使用最小二乘法进行回归拟合，得到回归模型及对应的拟合值序列，并和原位移测值序列作差从而计算出原位移测值序列的残差序列。

前述的步骤3）中，根据Dixon准则判定疑似粗差是指对于原位移测值序列升序排序，得到新的序列X，记D=(Xn-Xn-2)/ (Xn-X3)，对于序列中第k个测值，如果满足D(k,α)＞D，即判定该测值为疑似粗差，其中，n为原位移测值序列的总长度，Xn为序列X的第n个数值，α为显著性水平。

前述的显著性水平α取值为0.01。

前述的步骤4）中，根据Grubbs准则判定疑似粗差是指对于每个测值对应的残差V，当和原位移测值序列的标准差S满足：|V| ≥ G(n,a)*S时，即判定该测值为疑似粗差，其中，n为原位移测值序列的总长度，a为显著性水平。

前述的显著性水平a取值为0.05。

前述的步骤5）中，根据Chauvenet准则判定疑似粗差是指对于每个测值对应的残差V，当和原位移测值序列的标准差S满足：|V| ≥ Z（n）*S时，即判定该测值为疑似粗差，其中，n为原位移测值序列的总长度。

前述的步骤6）中，根据四分点准则判定疑似粗差是指对于残差序列按照升序进行排序，记Q1为新序列中值，Q2为新序列首值到Q1的中值，Q3为Q1到新序列末值的中值，则每个测值对应的残差V，满足：V ≥ 4* Q3 - Q1，或 V ≤ 4* Q1 - 3* Q3时，即判定该测值为疑似粗差。

本发明所达到的有益效果：

本法综合考虑了多种离群点数据识别方法,权衡了误判和漏判的可能性，为剔除大坝位移数据中的粗差提供了一种科学、合理的方法，从而使得监测资料能更精确的反应大坝实际的工作性态，为大坝安全的运行管理提供更可靠的决策辅助。

附图说明

图1是本发明方法流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，本发明的大坝位移数据的粗差剔除方法，包括以下步骤：

1、设定四个准则的权重系数，以及粗差判定阈值

设定Dixon准则、Grubbs准则、Chauvenet准则、四分点准则这四种离群点判定准则的权重系数，每个准则的权重系数的取值范围为1-100，四个权重系数的总和为100。

设定判断一个测值为疑似粗差的判定阈值，阈值范围为1-100，这样，对于每个测值，如果在某种准则下的判定结果为疑似粗差，则累加该准则对应的权重系数，最后得到该测值的权重系数和，与粗差判定阈值对比，达到或者超过即为粗差。

判定准则的权重系数和粗差阈值的设定机制，可灵活的根据实际样本的数据特性和质量来调整各法则的权重系数，并能更好的结合专家知识和历史经验，实现了本发明对于不同工程的在地化能力。

2、计算位移序列的均值，标准差，及基于回归模型的残差序列

首先，根据原位移测值序列，计算其均值和标准差。其次，确定回归模型的样本空间，根据大坝水平位移基础成因理论，影响大坝位移的因子包括库水位H、气温T、时效t等，本发明选取的因子为当日至昨日平均、前2至5天平均、前6至15天平均的H、H²、H³、H⁴、T，温度谐波因子sin(2πt/365)、cos(2πt/365)、sin(4πt/365)、cos(4πt/365)，以及t、㏑t，共计21个因子，效应量即为位移量数据，使用最小二乘法进行回归拟合，得到回归模型及对应的拟合值序列，并和原位移测值序列作差从而计算出原位移测值序列的残差序列。最后，相对于正常值，粗差与其拟合值的差值更为显著，因此可以根据残差来判定测值是否为粗差。

3、根据Dixon准则判定疑似粗差

对于原位移测值序列升序排序，得到新的序列X，记D=(Xn-Xn-2)/ (Xn-X3)，对于序列中第k个测值，如果满足D(k,α)＞D，即判定该测值为疑似粗差。其中，n为原位移测值序列的总长度，Xn为序列X的第n个数值，α为显著性水平，本发明采用0.01，D(k,α) 通过查Dixon检验临界值表可得。

4、根据Grubbs准则判定疑似粗差

对于每个测值对应的残差V，当和原位移测值序列的标准差S满足：|V| ≥ G(n,a)*S时，即判定该测值为疑似粗差。其中，n为原位移测值序列的总长度，a为显著性水平，本发明采用0.05，G(n,a)值则通过查Grubbs临界值表得出。

5、根据Chauvenet准则判定疑似粗差

对于每个测值对应的残差V，当和原位移测值序列的标准差S满足：|V| ≥ Z（n）*S时，即判定该测值为疑似粗差。其中，n为原位移测值序列的总长度，Z（n）通过查肖维勒系数表可得。

6、根据四分点法则判定疑似粗差

对于残差序列按照升序进行排序，记Q1为新序列中值，Q2为新序列首值到Q1的中值，Q3为Q1到新序列末值的中值，则每个测值对应的残差V，满足：V ≥ 4* Q3 - Q1，或 V ≤ 4* Q1 - 3* Q3时，即判定该测值为疑似粗差。

7、四种准则的判定结果综合加权

最后，对于每一个测值，都有4个疑似粗差判定结果，将结果为疑似粗差的准则的权重系数相加，再与粗差判定阈值相比，达到或者超过，即判定该测值为粗差。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。