一种基于数值关联性模型的异常数据探测及修正方法
【专利摘要】本发明公开了一种基于数据关联性模型的异常数据探测及修正方法，包括如下步骤：S1、展示模块定义异常数据判断条件，并将异常数据判断条件存储至源指标数据库中；S2、数据访问层遍历源指标数据库中的业务指标数据，判断其是否符合异常数据判断条件，将符合异常数据判断条件的业务指标数据在展示模块进行展示，同时执行步骤S3；S3、业务逻辑模块对符合异常数据判断条件的业务指标数据进行修正，并根据需要将修正后的数据存储至源指标数据库。本发明大大的提高了电网业务数据的准确性，提高了计算统计数据群的精度，使得统计分析结果更为可靠，为企业投资评价、效益分析等方面提供更为有利的数据支持。
【专利说明】一种基于数值关联性模型的异常数据探测及修正方法
【技术领域】
[0001]本发明涉及一种异常数据处理方法，具体涉及一种基于数值关联性模型的异常数据探测及修正方法。
【背景技术】
[0002]随着企业信息化的全面开展，企业对数据的依赖程度也逐步加大，数据信息日益成为企业重要的战略资源，数据质量的好坏直接关系到信息的准确程度，也影响了企业的生存和竞争能力。在智能电网推进的大背景下，电网企业基于自身的业务特色不断建立和改进现有的信息系统，基本覆盖了财务、营销、安全生产、协同办公、人力资源、物资、项目管理、综合等电力企业的主要业务范围。同时，在电网公司信息化建设的过程中，电网企业各应用系统所产生的业务数据急剧增加，关系型数据、文本型数据、实时数据等各种类型的电网企业业务数据呈海量增长，大量业务数据产生并积累。在业务数据产生的过程中，由于数据采集技术、统计口径、人员素质、管理机制等方面的差异和漏洞，导致相当一部分业务数据在准确性方面不满足业务需求，从而对企业的数据分析、数据处理、投资决策等工作带来严重的负面影响。数据作为信息系统的基础和核心，起着至关重要的作用，数据质量的高低对整个系统有直接的影响。好的数据质量是数据分析得到有意义结果的基本条件，而质量低劣的数据已经成为影响企业进行正确决策的重要因素。因此，电网企业对高质量数据的需求日益增长。
[0003]信息系统的信息质量主要是由数据质量及系统处理数据的业务过程所决定的。根据“进来的是垃圾，出去的也是垃圾”这一著名的论断，在数据集成的过程中进行数据质量的治理，对于提高信息系统的信息质量将起到至关重要的作用。准确性是数据价值的体现，也是衡量数据质量的重要标准。数据的准确性治理是指保证数据实际值与数据合理值的一致性，目前比较流行的判断数据准确性的方法有阈值标定校准、均值校准、关联方程式校准和人工校准等，其中，阈值标定校准是通过判断数据值是否在数据的合理波动区间范围内，来衡量数据的准确性；均值校准是指通过均值来衡量数据的偏差程度，进而判断数据是否准确；关联方程式校准是通过分析目标数据函数依赖关系中的约束条件，从而利用这种约束条件对目标数据进行校准；人工校准是指相关的专家技术人员利用丰富的领域知识发现业务数据中所存在的问题数据。这些方法能够寻找出不准确的数据，但如何修正这些不准确数据才是重点，因此，寻找一个数据准确性的治理方案显得尤为重要。
【发明内容】
[0004]发明目的:本发明的目的在于针对现有技术的不足，提供一种基于数据关联性模型的异常数据探测及修正方法，使工业生产的统计分析工作更加准确，为下一步的生产计划提供数据保障。
[0005]技术方案:本发明所述的一种基于数据关联性模型的异常数据探测及修正方法，包括彼此进行数据通信的源指标数据库、数据访问模块、业务逻辑模块和展示模块，包括如下步骤:
[0006]S1、展示模块定义异常数据判断条件，并将异常数据判断条件存储至源指标数据库中，同时，源指标数据库中还存储业务指标定义和业务指标数据；
[0007]S2、数据访问层遍历源指标数据库中的业务指标数据，判断其是否符合异常数据判断条件，将符合异常数据判断条件的业务指标数据在展示模块进行展示，同时执行步骤S3 ；
[0008]S3、业务逻辑模块对符合异常数据判断条件的业务指标数据进行修正，并根据需要将修正后的数据存储至源指标数据库。
[0009]本发明技术方案的进一步限定为，步骤SI中，展示模块定义的异常数据判断条件包括:阈值标定条件、历史趋势纵向校准条件和关联性横向校准条件，所述阈值标定条件为定义业务指标的最大值和最小值；所述历史趋势纵向校准条件为通过分析特定时间周期内的历史数据变化趋势，归纳出的线性回归方程式；所述关联性横向校准条件为分析指标之间的依赖关系确定的函数依赖表达式。
[0010]进一步地，步骤S3中，对符合异常数据判断条件的业务指标数据进行修正时，判断是否选择系统推荐的修正算法，如果选择，则执行所选择的修正算法，如果不选择，则重新定义修正算法进行修正。
[0011]进一步地，步骤S3中，对符合异常数据判断条件的业务指标数据进行修正的修正算法包括阈值中值修正，具体方法为:
[0012]Y1、取得符合异常数据判断条件的业务指标数据后，判断源指标数据库中是否存在该业务指标对用的阈值，如果存在，则取出该业务指标对应的最大值Vmax和最小值Vmin，如果不存在，则定义该指标对应的阈值存入源指标数据库中；
[0013]Y2、业务逻辑层计算阈值中值做为修正值，修正值V= (Vmax+Vmin) /2。
[0014]进一步地，步骤S3中，对符合异常数据判断条件的业务指标数据进行修正的修正算法包括函数依赖关系式修正，具体方法为:
[0015]H1、取得符合异常数据判断条件的业务指标数据后，判断源指标数据库中是否存在该业务指标对应的函数依赖关系式，如果存在，则提取该函数依赖关系式；如果不存在，则定义该业务指标对应的函数依赖关系式存入源指标数据库中；
[0016]H2、业务逻辑层根据取得的函数依赖关系式对异常数据进行修正，得到修正值。
[0017]进一步地，步骤S3中，对符合异常数据判断条件的业务指标数据进行修正的修正算法包括EM填充法，具体方法为:
[0018]E1、取得符合异常数据判断条件的业务指标数据后，判断指标数据库中是否存在该指标对应的样本预测群，如果存在，则提取该样本预测群；如果不存在，则定义该业务指标的样本预测群；
[0019]E2、以提取的样本预测群为基础，计算期望E，并对计算得到的期望E进行最大化处理，判断最大化处理后的结果是否满足方案中已经制定好的线性回归方程式，若不满足，则重新执行步骤E2，若满足，则此最大化处理的期望E即为修正值。
[0020]进一步地，所述计算期望E，并对计算得到的期望E进行最大化处理的方法为:
[0021]1、设fx(x/ Θ )表示观测数据密度，fY(y/ Θ )表示完全数据的密度，修正数据的假设等同一个边际化模型，z是修正值，亦可看作是某种多到少的映射X = M(Y)的应用，则X的密度为
【权利要求】
1.一种基于数据关联性模型的异常数据探测及修正方法，其特征在于，包括彼此进行数据通信的源指标数据库、数据访问模块、业务逻辑模块和展示模块，包括如下步骤: 51、展示模块定义异常数据判断条件，并将异常数据判断条件存储至源指标数据库中，同时，源指标数据库中还存储业务指标定义和业务指标数据； 52、数据访问层遍历源指标数据库中的业务指标数据，判断其是否符合异常数据判断条件，将符合异常数据判断条件的业务指标数据在展示模块进行展示，同时执行步骤S3 ； 53、业务逻辑模块对符合异常数据判断条件的业务指标数据进行修正，并根据需要将修正后的数据存储至源指标数据库。
2.根据权利要求1所述的一种基于数据关联性模型的异常数据探测及修正方法，其特征在于，步骤SI中，展示模块定义的异常数据判断条件包括:阈值标定条件、历史趋势纵向校准条件和关联性横向校准条件，所述阈值标定条件为定义业务指标的最大值和最小值；所述历史趋势纵向校准条件为通过分析特定时间周期内的历史数据变化趋势，归纳出的线性回归方程式；所述关联性横向校准条件为分析指标之间的依赖关系确定的函数依赖表达式。
3.根据权利要求1所述的一种基于数据关联性模型的异常数据探测及修正方法，其特征在于，步骤S3中，对符合异常数据判断条件的业务指标数据进行修正时，判断是否选择系统推荐的修正算法，如果 选择，则执行所选择的修正算法，如果不选择，则重新定义修正算法进行修正。
4.根据权利要求1所述的一种基于数据关联性模型的异常数据探测及修正方法，其特征在于，步骤S3中，对符合异常数据判断条件的业务指标数据进行修正的修正算法包括阈值中值修正，具体方法为: Y1、取得符合异常数据判断条件的业务指标数据后，判断源指标数据库中是否存在该业务指标对用的阈值，如果存在，则取出该业务指标对应的最大值Vmax和最小值Vmin，如果不存在，则定义该指标对应的阈值存入源指标数据库中； Y2、业务逻辑层计算阈值中值做为修正值，修正值V= (Vmax+Vmin) /2。
5.根据权利要求1所述的一种基于数据关联性模型的异常数据探测及修正方法，其特征在于，步骤S3中，对符合异常数据判断条件的业务指标数据进行修正的修正算法包括函数依赖关系式修正，具体方法为: H1、取得符合异常数据判断条件的业务指标数据后，判断源指标数据库中是否存在该业务指标对应的函数依赖关系式，如果存在，则提取该函数依赖关系式；如果不存在，则定义该业务指标对应的函数依赖关系式存入源指标数据库中； H2、业务逻辑层根据取得的函数依赖关系式对异常数据进行修正，得到修正值。
6.根据权利要求1所述的一种基于数据关联性模型的异常数据探测及修正方法，其特征在于，步骤S3中，对符合异常数据判断条件的业务指标数据进行修正的修正算法包括EM填充法，具体方法为: E1、取得符合异常数据判断条件的业务指标数据后，判断指标数据库中是否存在该指标对应的样本预测群，如果存在，则提取该样本预测群；如果不存在，则定义该业务指标的样本预测群； E2、以提取的样本预测群为基础，计算期望E，并对计算得到的期望E进行最大化处理，判断最大化处理后的结果是否满足方案中已经制定好的线性回归方程式，若不满足，则重新执行步骤E2，若满足，则此最大化处理的期望E即为修正值。
7.根据权利要求6所述的一种基于数据关联性模型的异常数据探测及修正方法，其特征在于，所述计算期望E，并对计算得到的期望E进行最大化处理的方法为: 1、设fx(x/Θ )表示观测数据密度，fY(y/ Θ )表示完全数据的密度，修正数据的假设等同一个边际化模型，z是修正值，亦可看作是某种多到少的映射X = M⑴的应用，则X的密度为
8.根据权利要求7所述的一种基于数据关联性模型的异常数据探测及修正方法，其特征在于，步骤III的E步时，当该期望值难以解析计算时，第t次E步操作可以由下面的两个步骤替代: (1)从fz/x(z/x，θω)中抽取独立同分布的修正数据集4'...j-，每个Zf邑用来修正观测阵的所有异常数据的一个向量，这样I = U，Zj)表示一个填充完整的数据阵，其中修正值由Zj代替；
【文档编号】G06F17/30GK103514259SQ201310350038
【公开日】2014年1月15日 申请日期:2013年8月13日 优先权日:2013年8月13日
【发明者】吴克河, 朱亚运, 党芳芳 申请人:江苏华大天益电力科技有限公司