一种工程安全监测数据离群值检测方法
【专利摘要】本发明涉及一种安全监测数据离群值检测方法，属于水电工程安全监测技术领域。本发明的方法是对于某一测点数据，将其按时间顺序排列。根据工程经验设置其合理最大允许偏差P。对于该测点的一次测值，选取其前面N次测值并计算得到平均值AVGx。若该值超出区间[AVGx?|P|，AVGx+|P|]，则为离群值。本方法的主要优点是简单，便于计算机编程实现；同时能充分使用资料分析人员的工程经验来进一步避免离群值判别过程中的误判发生。
【专利说明】
一种工程安全监测数据离群值检测方法
技术领域
[0001] 本发明属于水电工程安全监测技术领域，具体涉及一种安全监测数据离群值检测 方法。
【背景技术】
[0002] 近年来，随着安全监测工作在水电工程中越来越受重视，监测数据量越来越大。如 何快速准确的做好数据可靠性分析，识别出离群值是资料分析中的一个重点。
[0003] 离群值是指在数据中有一个或几个数值与其他数值相比差异较大。离群值可能是 错误数据，也可能是被测物体状态发生改变后产生的关键数据。
[0004] 目前，安全监测资料离群值判别有多种方法，比如:莱因达(PauTa)准则、格拉布斯 (Grubbs)准则、肖维纳(Chauvenet)准则......，但尚无一种方法能避免误判。在现实的资料 分析工作中，一方面现有的各种方法均居于数理统计，在离群值判别过程中均有自己的局 限，误判较为频繁;另一方面现有方法均未充分结合安全监测工作实际，未充分利用资料分 析人员的专业背景和经验。因此如何克服现有技术的不足是目前水电工程安全监测技术领 域亟需解决的问题。
【发明内容】
[0005] 本发明的目的是为了解决现有技术的不足，为有一定工程经验的安全监测资料分 析人员提供一种快速的、可以充分利用自己专业背景和经验的工程安全监测数据离群值判 别方法，进一步减少离群值判别过程中的误判。
[0006] 本发明的原理为:正常情况下，同一测点相近几次测值在一定幅度内跳动。超过该 跳动幅度数据，就是分析人员需要高度关注的离群数据。
[0007] 本发明的技术方案为： 一种工程安全监测数据离群值检测方法，按以下步骤进行： 步骤(1)，对于工程安全监测中的某一测点，将其所测得的值(即监测数据)按时间排列 为X"X2……Xx……Xn，并设置其合理最大允许偏差P; 步骤（2 )，对于该测点的某一次测值Xx，N〈X < n，获取该测值Xx的前面的N个测值，gp Xx-N,Xx-N+l,Xx-N+2,……Xx-i，然后计算这N个测值的平均值AVG X ; 步骤(3)，将区间[AVGX-1 P I，AVGX+ IP I ]作为Xx是否为离群值的评判标准；即当Xx超出了 区间[AVGX-1 P |，AVGX+ | P | ]时，Xx为离群值;当Xx未超出区间[AVGX- | P |，AVGX+1 P | ]时，Xx不为 呙群值； 监测数据从来源上分为人工测读和自动化测读两种。处理人工测读数据时，N为3~10; 处理自动化测读数据时，N为5~30;既有人工测读又有自动化测读数据时，N为5~10。
[0008] 进一步，优选的是工程安全监测数据为对应力应变、位移、温度、开合度或渗透压 力的监测数据，但不限于此。
[0009] 合理最大允许偏差P可根据资料分析人员自己的专业知识、经验、数据测读方式和 仪器测量误差来设置，也可根据文献或检测标准中所记载的误差来设置。
[0010] 本发明与现有技术相比，其有益效果为： 本发明可以抛开复杂的统计学计算，计算量小，原理简单，便于理解，便于通过计算机 编程来实现同时运算效率较高。此外，对于有工程背景的人来说，结合自己的工程经验和监 测仪器的测量精度，设置合理最大允许偏差P和常数N，能进一步避免离群值判别过程中的 误判发生。
[0011] 在使用C#开发的检测工具中，使用本方法判别远程数据库中1262个测点的197万 条数据仅需要35秒，误判90个点，准确率为93%;而采用莱茵达准则在相同的情下判别相同 的数据则需要75秒，误判342,准确率为73%(基准值和变幅较小测点数据容易产生误判）。使 用本方法的性能达到了莱茵达法则的214.28%，同时准确率高了 20%。
【附图说明】
[0012] 图1是本发明工程安全监测数据离群值检测方法的流程图。
[0013] 图2是本发明实施例须_计六16-1^-01开合度-时间曲线，其中实心的开合度为离 群值。
【具体实施方式】
[0014] 下面结合实施例对本发明作进一步的详细描述。
[0015] 本领域技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限定本发 明的范围。实施例中未注明具体技术或条件者，按照本领域内的文献所描述的技术或条件 或者按照产品说明书进行。
[0016] 实施例1 如图1所示，一种工程安全监测数据离群值检测方法，按以下步骤进行： 步骤（1)，对于工程安全监测中的某一测点，将其所测得的值按时间排列为Xi、X2…… Xx……Xn，并设置其合理最大允许偏差P; 步骤（2 )，对于该测点的某一次测值Xx，N〈x < n，获取该测值Xx的前面的N个测值，SP Xx-N,Xx-N+l,Xx-N+2,……Xh，然后计算这N个测值的平均值AVGX，； 步骤(3)，将区间[AVGx-1 P I，AVGX+ IP I ]作为Xx是否为离群值的评判标准；即当Xx超出了 区间[AVGX-1 P |，AVGX+ | P | ]时，Xx为离群值;当Xx未超出区间[AVGX- | P |，AVGX+1 P | ]时，Xx不为 呙群值； 本发明实施例所述的测点为某大坝的开合度观测，测量方法为采用测缝计A16-LFJ-01 测得开合度，其数据见表1和图2。
[0017]在表1中，使用本方法时：根据工程经验，设置合理最大允许偏差P=lmm，设置N=15。 计算得AVGx- | P |和AVGx+ | P |后判断开合度是否在该区间内，从而分析出离群值。由于被判 别为'离群值'的数据虽然满足条件大于AVGx- | P |，但未能满足小于AVGx+ | P |这一条件。故 为尚群值。
[0018]在表1中，当采用莱因达准则进行评判时:计算得全系列数据的平均值y=0.810,根 据公式
计算得标准差〇=0.126。对于任何一个测点乂5(，根据4 ；(-1||>3〇 来判定是否为离群值。
[0019] 表1测缝计A16-LFJ-01数据及离群值判别
以上两种方法检索成果相同，同时在图2中也可明显看出检索到的数据即为离群值，故 本方法检索准确。由于本方法只需计算前N个测值的平均值AVGX，再根据合理最大允许偏差 P，就可根据测值是否位于区间[AVGX-1P |，AVGX+1 P | ]就可判定是否为离群值。而莱茵达法则 则需要计算全系列平均值和标准差，再针对每一个成果根据I Xx-y | >3〇来判断是否为离群 值。本方法较莱茵达法则简单。格拉布斯(Grubbs )准则、肖维纳(Chauvenet)准则需要根据 情况查表得到相应的参数，再进行判别，不利于计算机开发中使用。
[0020]以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术 人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本 发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变 化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其 等效物界定。
【主权项】
1. 一种工程安全监测数据离群值检测方法，其特征在于，按以下步骤进行： 步骤（1)，对于工程安全监测中的某一测点，将其所测得的值按时间排列为XhX2…… Xx……Xn，并设置其合理最大允许偏差P ; 步骤(2)，对于该测点的某一次测值Xx，N〈x彡η，获取该测值Xx的前面的N个测值，即X x-N， Χχ-Ν+1,Χχ-Ν+2,……Xx-I，然后计算这N个测值的平均值AVG x，； 步骤(3)，将区间[AVGx- I P I，AVGx+ I P I ]作为Xx是否为离群值的评判标准；即当Xx超出了 区间[AVGx-1 P I，AVGx+ IP I ]时，Xx为离群值;当Xx未超出区间[AVGx- IP I，AVGx+1 P I ]时，Xx不为 呙群值； 其中，当步骤（1)所测得的值为人工测读的数据时，N为3~10;当步骤(1)所测得的值为 自动化测读的数据时，N为5~30;当步骤（1)所测得的值既有人工测读的数据，又有自动化 测读的数据时，N为5~10。2. 根据权利要求1所述的工程安全监测数据离群值检测方法，其特征在于:工程安全监 测数据为对应力应变、位移、温度、开合度或渗透压力的监测数据。
【文档编号】G06K9/62GK105930870SQ201610264999
【公开日】2016年9月7日
【申请日】2016年4月26日
【发明人】张宗亮, 汪国斌, 赵志勇, 张礼兵, 许后磊, 胡灵芝, 杨硕文, 张帅, 赵世明
【申请人】中国电建集团昆明勘测设计研究院有限公司