专利名称：一种改进53h算法的数据检验方法
技术领域：
本发明涉及一种数据检验方法，具体一种为火力发电厂热工在线动态测试数据粗大误差剔除的改进53H算法的数据检验方法。
背景技术：
随着大数据时代的到来，各行各业都面临着海量数据和信息的处理，数据的准确性甄别过程，粗大误差过滤就显得尤为重要。特别是对于火力发电厂，热工测量仪表的工作环境恶劣，噪声、高温、压力波、电磁波、机械振动等干扰频繁，测量数据可靠性和稳定性随之下降，测点容易发生突发故障。随着SIS的广泛推广和应用，火力发电厂的实时经济性监控面临的测量数据准确性问题愈来愈突出。个别测点故障会使得电厂综合指标以及上级单位的汇总指标出现明显异常，系统的数据统计成为无效数据。这就要求系统能够提供一种数据自检功能，能够主动对测点数据准确性给予甄别，必要时依据历史数据给出合理重构，同时给出报警提示。如图1所示，传统53H算法流程包括以下步骤:
(1)第一次平滑:对原始序列进行窗口长度为5的中值滤波形成序列X’，原始序列首尾各两点得不到平滑；
(2)第二次平滑:对序列X’进行窗口长度为3的中值滤波形成序列X’’，序列X’首尾各一点得不到平滑；
(3)第三次平滑:对序列X’’进行三点中心平滑形成序列X’ ’ ’，序列X’首尾各一点得不到平滑；
(4)比较原始序列和平滑序列X’’ ’对应数据的偏差:偏差上限值依据经验选取，偏差大于设定的偏差上限值则认为是突变，同时以平滑值代替，最后形成处理后序列，同时统计出突变点的总个数。传统53H算法流程的缺点之一是原始序列的首尾各四点得不到平滑和突变检验；之二是原始序列和平滑序列进行偏差比较时的限值确定过程较难。Tukey提出稳健性的53H算法，可以剔除突变数据。传统的53H算法对于动态测量数据的粗大误差剔除是一种很有效的办法，但存在的缺陷是不能对序列的前四点和后四点做平滑估计，因而无法对于前四点和后四点做在线检验和处理；有文献提出来的将首尾各八点分别反序排列后再进行平滑，对新平滑序列的首尾各八点再次进行反序排列即对应首尾各四点的平滑值，存在的问题是首或尾的八点前半段和后半段数据趋势差别大的时候，平滑效果较差。
发明内容
本发明所解决的技术问题在于提供一种改进53H的数据检验方法，以解决上述背景技术中的问题。本发明所解决的技术问题采用以下技术方案来实现: 一种改进53H算法的数据检验方法，包括以下步骤:
步骤(I):连续数据采集
通过采数接口程序从原始数据源采集模拟量数据，采集周期按照香农采样定律进行选取，得到时间序列数据；
步骤(2):序列特征量计算
计算序列的平均值和样本标准差，为特征量检验做准备；
步骤(3):特征量检验
依据平均值的限定范围来检验，如超出范围，则跳出检验，进入步骤(5);如在范围内则继续标准差检验，标准差不等于O时，进入步骤(3)，用改进53H算法做进一步检验；标准差等于O时，则跳出检验，进入步骤(5)；
步骤(4):改进53H算法检验
通过改进53H算法对序列所有点进行平滑，第一次平滑估计是对首尾两点引入五点三次端点平滑，第二次和第三次平滑估计是对首尾进行三点等权端点平滑，再比较原始序列和平滑序列的偏差，偏差大于偏差上限值则认为是突变，统计序列突变点个数，同时与设定的突变点个数上限值进行比较，进入步骤(5)；
步骤(5):数据状态信息提示
依据特征量检验、改进53H算法检验的结果给出相应的数据检验状态信息提示。步骤(I)中原始数据源为电厂分散控制系统。步骤(3)中平均值的限定范围按照步骤(I)中采集的模拟量数据的实际变化范围来确定。步骤(4)中设定的突变点个数上限值为数据总数的40%_60%。步骤(4)中偏差上限值等于相对不确定度和平滑值的乘积。有益效果:本发明与传统53H法相比，增加了序列特征量检验，使得53H法的检验结果更加可靠，提高检验效率和检验可靠性，实际操作性更强。新增的首尾两点平滑法是对传统53H法的补充，实现了对于序列首尾各四点的突变检验，且很好地跟踪了序列后或前的变化趋势。引入不确定度作为平滑值和原始值的偏差比较限值，避免了经验选取的随意性、无依据性和确定过程的繁琐性，使得检验设定更有理论依据。
图1为传统53H算法的流程图。图2为本发明的总流程图。图3为本发明中改进53H算法的详细流程图。
具体实施例方式为了使本发明的技术手段、创作特征、工作流程、使用方法达成目的与功效易于明白了解，下面进一步阐述本发明。如图2所示，一种改进53H算法的数据检验方法，包括以下步骤:
步骤(I):连续数据采集
通过采数接口程序从原始数据源如电厂分散控制系统等采集模拟量数据(一般不对数字量数据做处理)，采集周期按照香农采样定律进行选取，从而得到时间序列数据。步骤(2):序列特征量计算
计算序列的平均值和样本标准差，为特征量检验做准备。步骤(3):特征量检验
依据平均值的限定范围来检验，平均值的限定范围按照采集的模拟量数据的实际变化范围来确定；如超出范围，贝1J跳出检验，进入步骤(5)，给出“数据超出检验范围”的提示；如在范围内则继续标准差检验，标准差不等于0时，进入步骤(3)，用改进53H算法做进一步检验；标准差等于0时，则跳出检验，进入步骤(5)，给出“数据检验异常”的提示。步骤(4):改进53H算法检验
通过改进53H算法对序列所有点进行平滑，再比较原始序列和平滑序列的偏差，偏差大于偏差上限值则认为是突变，统计序列突变点个数，同时与设定的突变点个数上限值(一般设为数据总数的一半)进行比较，进入步骤(5)，如突变点个数超出突变点个数上限值，给出“数据检验异常”的提示；否则，给出“数据检验正常”的提示。步骤(5):数据状态信息提示
依据特征量检验、改进53H算法检验的结果给出数据检验状态信息提示，具体信息在上述步骤中已体现。如图3所示，改进53H算法流程是在传统53H算法流程上进行的改进，包括以下步骤:
步骤(I):第一次平滑:对原始序列首尾各两点进行了五点三次端点平滑，序列其他点的平滑算法和传统的相同，使得序列X’的数据个数和原始序列的一样；
步骤(2):第二次平滑:对序列X’的首尾各一点进行了三点等权端点平滑，序列其他点的平滑算法和传统的相同，使得序列X’ ’的数据个数和原始序列的一样；
步骤(3):第三次平滑:对序列X’ ’首尾各一点进行了三点等权端点平滑，序列其他点的平滑算法和传统的相同，序列X’ ’ ’首的数据个数和原始序列的一样；
步骤(4):比较原始序列和平滑序列X’ ’ ’对应数据的偏差；偏差上限值等于相对不确定度和平滑值的乘积。以上显示和描述了本发明的基本原理、主要特征及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明的要求保护范围由所附的权利要求书及其等效物界定。
权利要求
1.一种改进53H算法的数据检验方法，其特征是:包括以下步骤: 步骤(I):连续数据采集 通过采数接口程序从原始数据源采集模拟量数据，采集周期按照香农采样定律进行选取，得到时间序列数据； 步骤(2):序列特征量计算 计算序列的平均值和样本标准差，为特征量检验做准备； 步骤(3):特征量检验 依据平均值的限定范围来检验，如超出范围，则跳出检验，进入步骤(5);如在范围内则继续标准差检验，标准差不等于O时，进入步骤(3)，用改进53H算法做进一步检验；标准差等于O时，则跳出检验，进入步骤(5)； 步骤(4):改进53H算法检验 通过改进53H算法对序列所有点进行平滑，第一次平滑估计是对首尾两点引入五点三次端点平滑，第二次和第三次平滑估计是对首尾进行三点等权端点平滑，再比较原始序列和平滑序列的偏差，偏差大于偏差上限值则认为是突变，统计序列突变点个数，同时与设定的突变点个数上限值进行比较，进入步骤(5)； 步骤(5):数据状态信息提示 依据特征量检验、改进53H算法检验的结果给出相应的数据检验状态信息提示。
2.根据权利要求1所述的一种改进53H算法的数据检验方法，其特征是:步骤(I)中原始数据源为电厂分散控制系统。
3.根据权利要求1所述的一种改进53H算法的数据检验方法，其特征是:步骤(3)中平均值的限定范围按照步骤(I)中采集的模拟量数据的实际变化范围来确定。
4.根据权利要求1所述的一种改进53H算法的数据检验方法，其特征是:步骤(4)中设定的突变点个数上限值为数据总数的40%-60%。
5.根据权利要求1所述的一种改进53H算法的数据检验方法，其特征是:步骤(4)中偏差上限值等于相对不确定度和平滑值的乘积。
全文摘要
一种改进53H算法的数据检验方法，包括以下几个步骤连续数据采集、序列特征量计算、特征量检验、改进53H算法检验、数据状态信息提示。相比于传统算法，改进53H算法对首尾两点引入五点三次加权端部平滑以及三点等权端部平滑，并且引入不确定度作为平滑值和原始值的偏差比较限值，从而实现对原始序列所有数据的突变检验和数据重构。检验结果可靠，适合在线或离线数据处理，同时不确定度理论的引入避免了偏差限值选取过程中凭经验选取的随意性、无依据性和确定过程的繁琐性，使得检验参数设定更有理论依据。
文档编号G06F19/00GK103093078SQ20121054853
公开日2013年5月8日 申请日期2012年12月18日 优先权日2012年12月18日
发明者肖灵运, 刘元议, 邹光球, 张成煜, 向春波, 刘麟夫, 胡蓉, 李星, 谢小鹏, 姜文波, 王凯, 谢鹏, 刘巍 申请人:湖南大唐先一科技有限公司