一种基于数据来源二叉树的电力系统异常数据溯源方法
【技术领域】
[0001]本发明属于计算机技术领域，涉及一种数据异常溯源方法，特别是一种基于数据来源二叉树的数据异常溯源方法。
【背景技术】
[0002]以博客、社会网络、基于位置的服务为代表的新型信息发布方式的不断涌现，以及云计算、物联网、移动互联网等现代信息技术的迅猛发展，迅速增长的数据逐渐成为企业的核心资产。企业所需处理的数据大致来源于三个方面:(I)企业运营系统积累的数据；(2)Web 2.0带来的用户原创数据；(3)由感知式系统获得的监控数据。企业无不希望通过这些海量多源异构数据的聚合发现知识，构建企业级智能化应用，以便更加贴近消费者最真实的需求，从而创造更多的商机，提升企业的竞争力。
[0003]数据作为企业运营管理的灵魂，其质量问题日益显现并逐渐突出，这些数据质量问题主要表现为数据不正确、不一致、不完整等方面，亟需一套方案对电力系统数据质量进行全程有效管理。
【发明内容】
[0004]鉴于数据质量问题日益突出得不到有效解决的问题，本发明的目的是提供一种基于数据来源二叉树的电力系统异常数据溯源方法，通过基于数据来源树的数据异常溯源方法来检测数据异常，实现对电力行业运行监控的数据质量生命周期的各阶段数据异常进行有效的跟踪和管理，将异常数据反馈给业务部门、业务系统以完成异常数据反馈和修正。
[0005]本发明的目的通过以下技术方案实现:
一种基于数据来源二叉树的电力系统异常数据溯源方法，该方法首先实时获取电力数据，对数据进行标注；然后构建数据来源二叉树，并将二叉树转换成平衡二叉树；接着对构建的二叉树建立线索，方便进行数据的逆查询；最后完成对电力异常数据的反馈与整改；包括以下步骤:
O实时获取电力数据，对数据进行标注；
2)构建数据来源二叉树，并将二叉树转换成平衡二叉树，以创建数结点；
3)对构建的二叉树建立线索，方便进行数据的逆查询；
4)完成对电力系统异常数据的反馈与整改。
[0006]本发明步骤2)中，采用二叉树转平衡二叉树的算法，将数据来源二叉树转为平衡二叉树，该树满足任何一个节点的左右子树高度差的绝对值小于等于I。
[0007]步骤3)中，对二叉树添加线索，是针对每一个节点添加前驱和后继，当平台数据或目标数据被修改后，逆向快速地找到修改数据的原始来源表以及原始数据。
[0008]步骤4)中，对电力系统异常数据的反馈与整改过程如下:匹配二叉树顶点的有效数据和最底层的原始数据；如果不一致，则用顶点的数据对最底层的原始数据进行反馈和整改，并在展示层进行展示；如果最底层异常数据来源于源数据层系统，则将该整改需求分发给该异常数据源数据层系统进行修改，如果最底层异常数据来源于数据仓库的ETL处理异常，则将该错误发给数据仓库ETL编写人员。
[0009]本发明主要针对企业异常数据进行追溯，从数据写入、数据抽取、数据清洗、数据转换、数据装载到数据整改再到应用展示，形成整个数据异常闭环监测管理。在上述过程中主要通过基于数据来源树的数据异常溯源方法来检测数据异常，实现对电力行业运行监控的数据质量生命周期的各阶段数据异常进行有效的跟踪和管理，将异常数据反馈给业务部门、业务系统以完成异常数据反馈和修正。
[0010]本发明的有有益效果在于:通过对数据的来源追踪，在数据共享时解决数据的可信度、质量、版本信息等问题。在更新数据过程中，根据数据异常溯源过程能清楚的反应出原始数据库中数据的变化。本发明实现了对数据质量生命周期的各阶段数据异常进行有效的跟踪和管理，将异常数据反馈给相应的业务部门、业务系统以完成异常数据反馈和修正，保证了企业实时数据的可靠性。
【附图说明】
[0011 ] 图1为本发明的流程框架图。
【具体实施方式】
[0012]下面结合附图和【具体实施方式】对本发明所属方法进一步说明。
[0013]—种基于数据来源二叉树的电力系统异常数据溯源方法，包括:首先实时获取电力数据，对数据进行标注；然后构建数据来源二叉树，以创建叶节点；接着对构建的二叉树建立线索，方便进行数据的逆查询；最后完成对电力异常数据的反馈与整改。具体实施步骤如下:
O实时获取电力数据，对数据进行标注。
[0014]2)构建数据来源二叉树，并将二叉树转换成平衡二叉树，以创建数结点。
[0015]21)、在临时存储区中添加标注列，将底层电力系统抽取的数据临时存储在此列，作为树的最底层节点；
22)、当进入数据转换过程产生新的数据时，记录该新数据是由哪些叶节点产生，并将该数据视为节点保存在叶节点的上一层中；
23)、当数据进行增量更新时，若有效存储区的数据有变化，则将新的数据继续视为上一层节点保存在树中；
24)、当数据被平台或应用程序调用，将平台此数据作为树的上一层节点保存在树中；
25)、重复步骤22)、23)、24)，直至数据不再被更新或调用，结束对树节点的建立，认为此数据来源树建立完成。
[0016]26)、在所有兄弟节点之间加一条连接线，只保留节点与其长子的连线，去掉该节点与其它孩子的连线，将树转化成二叉树。
[0017]3)对构建的二叉树建立线索，方便进行数据的逆查询。
[0018]31)、输入当前需要添加线索的节点；
32)、访问该节点，并判断该节点的左孩子是否为空；若不为空，则访问左孩子，并为当前节点添加线索，获取其左孩子节点，并压入栈； 33)、若该节点的左孩子为空，则继续判断其右孩子是否为空；若不为空，则访问右孩子，并为当前节点添加线索，获取其右孩子节点，并压入栈；
34)、若该节点左右孩子均为空，则判断栈是否为空，若栈不为空，则栈顶元素出栈，获取其右孩子节点，判断其右孩子是否为空，若为空，则访问右孩子，并为当前节点添加线索，获取其右孩子节点，并压栈；；
35)、若其右孩子不为空，重复执行步骤34)。
[0019]4)完成对电力系统异常数据的反馈与整改。
[0020]对电力系统异常数据的反馈与整改过程如下:匹配二叉树顶点的有效数据和最底层的原始数据；如果不一致，则用顶点的数据对最底层的原始数据进行反馈和整改，并在展示层进行展示；如果最底层异常数据来源于源数据层系统，则将该整改需求分发给该异常数据源数据层系统进行修改，如果最底层异常数据来源于数据仓库的ETL处理异常，则将该错误发给数据仓库ETL编写人员。
【主权项】
1.一种基于数据来源二叉树的电力系统异常数据溯源算法，其特征在于该方法包括以下步骤: 1)实时获取电力数据，对数据进行标注； 2)构建数据来源二叉树，并将二叉树转换成平衡二叉树，以创建数结点； 3)对构建的二叉树建立线索，方便进行数据的逆查询； 4)完成对电力系统异常数据的反馈与整改。2.根据权利要求1中所述的基于数据来源二叉树的电力系统异常数据溯源方法，其特征在于:所述的步骤2)中，采用二叉树转平衡二叉树的算法，将数据来源二叉树转为平衡二叉树，该树满足任何一个节点的左右子树高度差的绝对值小于等于I ;具体如下: 21)在临时存储区中添加标注列，将底层电力系统抽取的数据临时存储在此列，作为树的最底层节点； 22)当进入数据转换过程产生新的数据时，记录该新数据是由哪些叶节点产生，并将该数据视为节点保存在叶节点的上一层中； 23)当数据进行增量更新时，若有效存储区的数据有变化，则将新的数据继续视为上一层节点保存在树中； 24)当数据被平台或应用程序调用，将平台此数据作为树的上一层节点保存在树中； 25)重复步骤22)、23)、24)，直至数据不再被更新或调用，结束对树节点的建立，认为此数据来源树建立完成； 26)在所有兄弟节点之间加一条连接线，只保留节点与其长子的连线，去掉该节点与其它孩子的连线，将树转化成二叉树。3.根据权利要求1中所述的基于数据来源二叉树的电力系统异常数据溯源方法，其特征在于:所述步骤3)中，对二叉树添加线索，是针对每一个节点添加前驱和后继，当平台数据或目标数据被修改后，逆向快速地找到修改数据的原始来源表以及原始数据；具体如下: 31)输入当前需要添加线索的节点； 32)访问该节点，并判断该节点的左孩子是否为空；若不为空，则访问左孩子，并为当前节点添加线索，获取其左孩子节点，并压入栈； 33)若该节点的左孩子为空，则继续判断其右孩子是否为空；若不为空，则访问右孩子，并为当前节点添加线索，获取其右孩子节点，并压入栈； 34)若该节点左右孩子均为空，则判断栈是否为空，若栈不为空，则栈顶元素出栈，获取其右孩子节点，判断其右孩子是否为空，若为空，则访问右孩子，并为当前节点添加线索，获取其右孩子节点，并压栈；； 35 )若其右孩子不为空，重复执行步骤34 )。4.根据权利要求1中所述的基于数据来源二叉树的电力系统异常数据溯源方法，其特征在于:所述步骤4)中，对电力系统异常数据的反馈与整改过程如下:匹配二叉树顶点的有效数据和最底层的原始数据；如果不一致，则用顶点的数据对最底层的原始数据进行反馈和整改，并在展示层进行展示；如果最底层异常数据来源于源数据层系统，则将该整改需求分发给该异常数据源数据层系统进行修改，如果最底层异常数据来源于数据仓库的ETL处理异常，则将该错误发给数据仓库ETL编写人员。
【专利摘要】本发明公开了一种基于数据来源二叉树的电力系统异常数据溯源方法，该方法包括以下步骤：首先实时获取电力数据，对数据进行标注；然后构建数据来源二叉树，并将二叉树转换成平衡二叉树，以创建节点；接着对构建的二叉树建立线索，方便进行数据的逆查询；最后完成对电力系统异常数据的反馈与整改。本发明实现了对数据质量生命周期的各阶段数据异常进行有效的跟踪和管理，将异常数据反馈给相应的业务部门、业务系统以完成异常数据反馈和修正，保证了企业实时数据的可靠性。
【IPC分类】G06F17/30
【公开号】CN105183911
【申请号】CN201510656171
【发明人】张斌, 王成现, 周红林
【申请人】国家电网公司, 江苏省电力公司, 江苏电力信息技术有限公司
【公开日】2015年12月23日
【申请日】2015年10月12日