专利名称：数据校验核心控制引擎技术的制作方法
技术领域：
本发明涉及面向对象的设计，构建可配置的数据校验规则，涉及一种数据校验核心控制引擎技术，尤其涉及一种数据校验核心控制校验方法。
背景技术：
在各个企业事业行政单位中，往往有很多系统在同时运行，其中各个系统中数据均存在独立性，并不能相互交换，往往在数据交换和数据的撷取的过程中，出现数据不匹配，数据缺失不完整的情况时有发生。
在实际的工作过程中，数据质量比较差对后续的工作会带来很多的困难。对海量的数据比对不可能人工进行。对每个元素的比对，不仅对人力物力的投入巨大，而且如采用人力成本相当昂贵，且非常容易出错。相关报表的统计绘制工作也会十分的繁重和困难。不仅不能分用户分等级分地域的出相关的报表，且如需指出这些数据错误与正确数据的相关差异，其工作量也是不可想象的。
传统人工校验相关数据，实时性也达不到要求，通常数据交换时，并不能当场发现数据问题。给相关的工作人员(操作者)带来非常多的不便，并不能马上知道哪些数据有哪些不足。
企业内的数据仓库，对数据的完整性、合理性、及时性都有一定的要求，且仓库中的数据来自各个系统，很有可能数据格式千差万别，同一数据格式不同，也就需要对数据的一致性提出更高的要求。
不同的系统对数据的需求也有差异。在传统数据校验中，又需要重新去编制一套新的方案，实施起来非常费时费力。对数据的要求也十分的苛刻，且可移植性比较差。几乎是换一个环境就基本不能用了。只能适用于当前库或当前表，且是在相关数据结构不变的情况下。
在现实的工作中，数据结构、用户需求不变几乎是不可能的。为顺应需求模型本技术就应运而生了。发明内容
本发明的任务是提供一种数据校验核心控制引擎技术，它克服了现有技术的困难，采用了面向对象和SOA等先进架构作为系统支撑，具有跨平台、跨服务等特性，具有兼容性好、可靠性强、可扩展性强、应用面广等优点。
本发明的技术解决方案如下一种数据校验核心控制校验方法，它包括以下步骤(1)集合待检测数据，预设校验条件；(2)判断待检测数据是否符合校验条件，若是，则执行步骤(3)；若否，则执行步骤(1)；(3)对数据进行校验，校检完整性的对象属性是否为空，若是，则执行步骤(4);若否，则执行步骤(1);(4)对校验结果，以日志方式保存；(5)判断校验是否成功，若是，则把合格数据输出给目标用户；若否，则执行步骤(1)。
所述步骤(5)还包括判断校验是否成功，若是，则通过消息通知模块发送短信或邮件给目标用户。
所述步骤(1)之后、步骤(2)之前还包括以下步骤(11)判断数据是否达到，若是，执行步骤(12)；若否，则结束；(12)判断先决条件有无配置，若是，执行步骤(13)；若否，则结束；(13)判断先决条件是否成立，若是，执行步骤(2)；若否，则结束。
所述步骤(3)还包括对每个属性都校验其是否为空，若是，则执行步骤(4);若否，则执行步骤(1)。
所述步骤(3)还包括对每个对象配置在公式内的属性是否符合都执行校验，若是，则执行步骤(4)；若否，则执行步骤(1)。
所述步骤(3)还包括把公式中的每个属性分段，对每段进行解析，提取对象、属性分开，把每个对象与属性合起来解析成机器语言。
本发明的特点是可视化配置，用用户语言进行配置，摒弃了生涩难懂的机器语言， 用户上手快，用户一看就可上手操作；对各种数据校验的公式配置灵活。
采用本发明的数据校验核心控制引擎技术，可根据用户配置，校验用户数据的合法性，并可生成相应的管理报表，对数据质量进行全方位的管控，使用户对数据质量管理更加直观、更加方便。
本发明的数据校验核心控制引擎技术具有以下优点1、本发明优点与系统松耦合，可作为插件使用。即在系统运行过程中，不影响其它功能的使用。它在后台默默的工作，且占用资源小。可随时拔插服务。对系统的依赖度也小。
2、可适应校验规则的随时变化，仅需修改公式即可，而不需要对源代码进行任何修改。
3、可维护性强，每个规则相互独立，不会改一个而牵动全局。
4、数据校验速度快，可以在很短的时间内，对数据进行多维度的校验，对数据无侵入，无修改，保证原始数据的真实性。
5、对历史数据进行保存，对每一组需要校验的数据都进行了保存，且为原始数据。
6、可追溯性强，可以对同一组数据的校验进行追溯，可以对单个数据元的修改进行历史比对。
7、防抵赖机制，对历史数据的校验，都进行了保护，可随时检查。
8、报表体系完备，可以对校验的结果进行多维度、多层次、跨区域地提供各式报表，用户界面简洁美观，友好性易用性非常好；自动对校验结果进行计算且报表速度快，数值准确实时，对数据管控提供强有力的支持。
图1是本发明的一种数据校验核心控制校验方法的流程图。
图2是本发明的数据校验交互拓扑结构图。
图3是本发明的一致性校验执行流程图。
图4是本发明的校验方式执行图。
图5是本发明中A依赖于B的示意图。
图6是本发明的数据质量核心控制示意图。
图7a、图7b、图7c、图7d、图7e是本发明的配置公式详解图。
图8是本发明的校验流程示意图。
图9是本发明的由公式生成机器语言的示意图。
图10是本发明的由公式提取集合生成机器语言的示意图。
图11是本发明的由公式提取属性与集合比对生成机器语言的示意图。
图12是本发明的准确性校验本对象校验的示意图。
图13是本发明对两个不同对象之间校验的示意图。
图14是本发明对两个不同对象之间属性与集合校验的示意图。
图15是本发明对两个不同对象之间多属性之间校验的示意图。
图16是本发明对两个不同对象之间多属性之间校验的另一示意图。
具体实施方式
下面结合附图和实施例对本发明作详细说明。
参看图1，本发明提供了一种数据校验核心控制校验方法，它包括以下步骤(I)集合待检测数据，预设校验条件。
(2)判断待检测数据是否符合校验条件，若是，则执行步骤(3)；若否，则执行步骤 (1)。
(3)对数据进行校验，校检完整性的对象属性是否为空，若是，则执行步骤(4)；若否，则执行步骤(1)。
(4)对校验结果，以日志方式保存。
(5)判断校验是否成功，若是，则把合格数据输出给目标用户；若否，则执行步骤 (I)0判断校验是否成功，若是，则通过消息通知模块发送短信或邮件给目标用户。
所述步骤(1)之后、步骤(2)之前还包括以下步骤(II)判断数据是否达到，若是，执行步骤(12)；若否，则结束。
(12)判断先决条件有无配置，若是，执行步骤(13)；若否，则结束。
(13)判断先决条件是否成立，若是，执行步骤(2)；若否，则结束。
所述步骤(3)还包括对每个属性都校验其是否为空，若是，则执行步骤(4);若否，则执行步骤(1)。
所述步骤(3)还包括对每个对象配置在公式内的属性是否符合都执行校验，若是，则执行步骤(4)；若否，则执行步骤(1)。
所述步骤(3)还包括把公式中的每个属性分段，对每段进行解析，提取对象、属性分开，把每个对象与属性合起来解析成机器语言。
本发明的根据数据校验引擎组成的结构，分为一致性、完整性、及时性、准确性等。
参看图2，为按照数据校验的基本流程。
一、公式配置 (1)及时性可对及时性配置采用用户可读语言，引擎对其智能解析。格式表名，时间之前/之后公式。如下所示用户交换数据表，上月10日18:00之前。
(2)完整性可对完整性采用等式、不等式配置或采用函数进行配置，引擎对其智能解析。配置示例如下a)如1 判断表中是否有为空字段。
用户表ID不可为空；OR用户表姓名，不可为空；OR用户表年龄，不可为空；OR 用户表性别，不可为空。
描述在用户表中ID、姓名、年龄、性别均不可为空。
b)如 2 日计划表、电力点号相似{(1，2，3，4，5，6，7，8，9，10，11，12，13，14，15，16， 17，18，19，20，21，22，23，24，25，26，27，28，29，30，31，32，33，34，35，36，37，38，39，40，41， 42，43，44，45，46，47，48，49，50，51，52，53，54，55，56，57，58，59，60，61，62，63，64，65，66， 67，68，69，70，71，72，73，74，75，76，77，78，79，80，81，82，83，84，85，86，87，88，89，90，91， 92,93,94,95,96)}。
描述在电力的日计划表中，如96个节点中，不能出现漏报的情况。且这96种情况是用户自定义的，无需在系统中预先设置其中的数值。
C)如3 电网购售电月报表、交易名称相似{(省内购电，省内购电，省外售电，省内售电)}。
描述电网购售电月报表中，交易名称只能出现四种情况省内购电、省内购电、 省外售电、省内售电，且这四种情况是用户自定义的，无需在系统中预先设置。
d)如4 次月电力用户与发电企业交易合同信息、合同编号相似{(上月电力用户与发电企业交易执行情况表.合同号)}。
引擎对用户配置进行解析成机器语言，并把相关的结果写入到校验结果中。
(3)准确性格式左边等式=右边等式。
如下所示用户交换数据、工时=用户交换数据、标准工时X0. 02可配置约束条件。可以配置约束控制区纬度、时间纬度、空间纬度等。约束按等式的左右两边分为左、右约束，对左右约束的不同对需校验的数据进行校验，只能校验符合约束条件的数据，对不符合条件的数据不进行校验。
(4) 一致性格式左边等式=右边等式。
如下所示Σ (上月发电权交易执行情况、本月完成交易电量)=Σ (上月电厂电量电价执行信息、 月度实际发电权交易电量)参看图3，当数据到达时先判断先决条件是否存在，如果没有配置先决条件，则直接对其进行校验。
二、执行校验方式参看图4，校验的执行分为自动校验、手动校验、自动手动校验默认为自动手动均可校验。
自动校验用户数据到达时，立即实时校验。
手动校验用户数据到达时，不进行任何校验，需要人工操作才可执行相关的校验。
三、校验先决条件参看图5，在校验时，可能出现相互校验的情况，即A依赖于B所示，B也可能依赖于C 或是也依赖于B。即两个数据都必须存在时才触发校验，如果不存在时则不触发校验。这样就摒弃了一些相互依赖的数据进行还校验，而产生错误或不该发生的错误校验数据。
当校验A时，先去找B中的数据有没有符合条件的记录，如果有则执行；如果没有， 则A不执行。AB也可以相互依赖。
四、数据质量核心控制机制参看图6，为数据质量核心控制流程。
(1)对校验公式控制，根据公式分析出相应的计算机语言，再计算出数据结果。
(2)对校验数据进行匹配测试，如果不符合条件，则不进行校验。
(3)对校验数据进行保存，以日志方式保存。
(4)可以根据数据校验的历史进行数据校验结果的追溯。
( 5 )根据校验结果自动生成分析报表。
(6)可以根据校验结果控制后续处理方式，如果校验数据不通过则驳回。如果校验数据通过则接受，把合格数据输出给目标用户。
(7)根据校验引擎计算结果，对校验结果的异常，可以邮件、短信、电话等方式通知用户，使用户可以及时了解对数据校验的情况进行跟踪。
五、配置的可视化从易用性、友好性等方面来分析，对需要配置的各种公式，提供可视化的操作界面。
对数据的多数据源，进行对象配置。
参看图7a、图7b、图7c、图7d、图7e，为配置公式详解图。
六、数据公式解析描述 (1)及时性校验需要校验的对象是否及时地到达指定的数据存放点，如它按时到达则表示通过校验检测，数据及时性则为及时。
参看图8，为校验执行流程。
写入校验结果，数据的上报是否及时。如不及时则把上报的时间和应上报的时间记录结果内以备后查。
(2)完整性执行流程如图8校验流程所示。
a)完整性的解析有如下几种状况 1)完整性的对象属性是否为空。
2)每个对象有很多的属性，每个属性对其的要求各有不同。如有些属性是必须的不能为空的，则需要对每个属性都必须校验其是否为空。
3)对每个对象配置在公式内的属性都执行校验。把公式的逻辑翻译成机器可执行的语言，并把校验结果返回对象。可由用户可选择地持久化。
4)过程把公式中的每个属性分段，对每段进行解析，提取对象、属性分开，把每个对象与属性合起来解析成机器语言。
图9表示了由公式生成机器语言的过程。
b)对象属性是否完整包含了另一个属性的集合。
1)先把a)中的过程解析一遍，不再赘述。
2)根据公式再把集合提取出来。
3)比对对象与集合中的异同，如果解析的对象在集合中没有找到就表示不通过， 否则就表示通过。
图10表示了由公式提取集合生成机器语言的过程。
c)对象属性是否完整包含了自定义的集合。
自定义集合是一个比较特殊的方式，因为没有实际的对象与之比较，如果需要与之比较则必须虚构一些对象与之比较，然而自定义的对象，每次都有不同。每个虚拟的对象都千差万别，而没有固定的模式或模板可以参照。自定义的对象必须每次自动生成，而且没有重复，且没有持久化，执行完后，虚拟对象就不存在了。对平台或系统来说没有产生垃圾数据，用完之后就不存在了，而且是线程安全的。可以同时N个用户并发使用，保障了系统的稳定和安全。
图11表示了由公式提取属性与集合比对生成机器语言的过程。
(3)准确性对准确性的校验，引擎则会自动解析，它也分几种情况a)对本对象的属性之间进行校验，不需依赖于其它对象。如图12所示，准确性校验本对象校验。
b)本对象的属性与其它对象进行校验。两个对象之间进行校验，两个校验为不同对象、相同或不同属性。如图13所示，两个不同对象之间校验。
C)本对象的属性与其它对象的集合进行校验。本对象与其他对象属性的多个数值进行校验，可以包含很多的可能，最小值、最大值、平均值、求和值等等多种函数。如图14所示，两个不同对象之间属性与集合校验。
(4) 一致性a)两个对象间的综合属性对比。可以把对象的多个属性综合来对比，看两边的等式是否一致。如图15所示，两个不同对象之间多属性之间校验。
b)两个对象多个属性与单个属性对比。如图16所示，两个不同对象之间多属性之间另一校验。
本发明的特点是可视化配置，用用户语言进行配置，摒弃了生涩难懂的机器语言， 用户上手快，用户一看就可上手操作；对各种数据校验的公式配置灵活。
采用本发明的数据校验核心控制引擎技术，可根据用户配置，校验用户数据的合法性，并可生成相应的管理报表，对数据质量进行全方位的管控，使用户对数据质量管理更加直观、更加方便。
当然，本技术领域内的一般技术人员应当认识到，上述实施例仅是用来说明本发明，而并非用作对本发明的限定，只要在本发明的实质精神范围内，对上述实施例的变化、 变型等都将落在本发明权利要求的范围内。
权利要求
1.一种数据校验核心控制校验方法，其特征在于，它包括以下步骤(1)集合待检测数据，预设校验条件；(2)判断待检测数据是否符合校验条件，若是，则执行步骤(3)；若否，则执行步骤(1)；(3)对数据进行校验，校检完整性的对象属性是否为空，若是，则执行步骤(4);若否，则执行步骤(1);(4)对校验结果，以日志方式保存；(5)判断校验是否成功，若是，则把合格数据输出给目标用户；若否，则执行步骤(1)。
2.如权利要求1所述的数据校验核心控制校验方法，其特征在于，所述步骤(5)还包括判断校验是否成功，若是，则通过消息通知模块发送短信或邮件给目标用户。
3.如权利要求1所述的数据校验核心控制校验方法，其特征在于，所述步骤(1)之后、 步骤(2)之前还包括以下步骤(11)判断数据是否达到，若是，执行步骤(12)；若否，则结束；(12)判断先决条件有无配置，若是，执行步骤(13)；若否，则结束；(13)判断先决条件是否成立，若是，执行步骤(2)；若否，则结束。
4.如权利要求1所述的数据校验核心控制校验方法，其特征在于，所述步骤(3)还包括对每个属性都校验其是否为空，若是，则执行步骤(4)；若否，则执行步骤(1)。
5.如权利要求1所述的数据校验核心控制校验方法，其特征在于，所述步骤(3)还包括对每个对象配置在公式内的属性是否符合都执行校验，若是，则执行步骤(4)；若否，则执行步骤(1)。
6.如权利要求1所述的数据校验核心控制校验方法，其特征在于，所述步骤(3)还包括把公式中的每个属性分段，对每段进行解析，提取对象、属性分开，把每个对象与属性合起来解析成机器语言。
全文摘要
本发明涉及一种数据校验核心控制引擎技术，该方法包括以下步骤集合待检测数据，预设校验条件；判断待检测数据是否符合校验条件；对数据进行校验，校检完整性的对象属性是否为空；对校验结果，以日志方式保存；判断校验是否成功，若是，则把合格数据输出给目标用户。本发明的特点是可视化配置，用用户语言进行配置，摒弃了生涩难懂的机器语言，用户上手快，用户一看就可上手操作；对各种数据校验的公式配置灵活。采用本发明的数据校验核心控制引擎技术，可根据用户配置，校验用户数据的合法性，并可生成相应的管理报表，对数据质量进行全方位的管控，使用户对数据质量管理更加直观、更加方便。
文档编号G06Q10/00GK102509156SQ20111028614
公开日2012年6月20日 申请日期2011年9月24日 优先权日2011年9月24日
发明者刘福斌, 卫哲鸣, 承林, 李 灿, 杨立兵, 洪元瑞, 芦越 申请人:上海华东电网信息通信有限公司, 华东电网有限公司