专利名称：通用数据质量管控适配器的实现方法和装置的制作方法
技术领域：
本发明涉及数据处理技术领域，特别是涉及一种通用数据质量管控适配器的实现方法和装置。
背景技术：
随着电信产业的发展，电信管理的设备日益增多，需要管理的相应数据也以指数级的方式增长着，数据质量问题日益突出，而用户对电信网络质量的要求越来越高，在这种情况下，自动发现网络问题将越来越重要。用于支持电信网络管理的电信支撑网数据，从产生到应用的各个处理过程中是否完整准确，关键的指标是否异常；涉及到运营商考核的数据，是否及时、准确地上报等都是日益得到关注的问题。因此，迫切需要一种数据质量管控系统，能够对业务系统的数据进行端到端处理过程全面监测，自动发现数据准确性、完整性、及时性、有效性等方面问题，并通过统计分析、关联、评估等多种方法对数据质量进行深度挖掘，发现数据质量的问题本质所在，从而提出数据质量改进和提升方案。数据质量管控系统，包括数据质量管控平台和适配器两部分。适配器用于采集与业务系统相关的数据，上报给管控平台，从而管控平台综合所有被管控系统的数据，达到对整个电信网络端到端处理过程的全面监测。现有数据质量管控系统中，针对不同的被管控业务系统(如话音业务网管系统， 数据业务网管系统，信令检测系统等)，需要根据业务系统的架构、接口、协议、业务流程等特点配置不同的数据质量管控适配器，这样，对于在线业务系统，会有较大的升级改造成本；其次，适配器可能需要随着业务系统升级增加新功能而进行相应的改造，如果改造时影响到业务系统接口部分，就需要对业务系统接口和数据质量管控系统平台都进行改造，会影响业务的稳定性，改造周期长、成本大，产生的效益也不好评估；第三，现有适配器往往需要依赖于各业务系统提供，改造量和复杂度不一，因此适配接口制订过程复杂漫长，很可能最后形成各方妥协的局面，造成接口要求达不到期望的后果；而且各业务系统改造周期、成本不一，造成项目投入评估缺乏准确、量化标准。鉴于此，就需要一种统一的、适应所有业务系统的通用数据质量管控适配器。
发明内容
本发明所要解决的技术问题是提供一种通用数据质量管控适配器的实现方法，可适应于各种不同的被管控业务系统，解决现有技术没有统一的通用数据质量管控适配器的问题。本发明还提供了一种通用数据质量管控适配器的自动实现装置，以保证上述方法在实际中的应用。为了解决上述问题，本发明公开了一种通用数据质量管控适配器的实现方法，包括提取被管控业务系统的业务处理流程和所处理的数据具备的属性，形成实体模型集； 列出所述实体模型集中每个模型对象的所有属性的类型、范围值和输入方式，以及，对该模型对象和数据质量有关操作的输入参数、处理流程和输出参数；按预设的规则建立所述模型对象之间的关联关系，生成通用数据质量管控适配器。然后所述适配器通过标准的数据质量开放接口，接入数据质量管控平台。优选的，所述按预设的规则建立所述模型对象之间的关联关系的方法具体为采用规则模板建立方式在预设的规则模板中按所述模型对象之间的输入输出顺序录入每个模型对象的属性及其相关操作，一次性导入所有关联关系，然后对每条完整规则进行验证； 或采用定制向导建立方式依据规则定制向导录入所述模型对象的属性及其相关操作，待每条完整的规则验证通过后，再进行下一条规则的设置。优选的，还包括新规则创建步骤确定新规则的规则名称、规则参数、规则具备的属性字段、规则的作用、规则存储方式、规则运行脚本以及规则脚本的运行条件。优选的，还包括数据质量管控适配接口测试步骤测试所述通用数据质量管控适配器与被管控业务系统的连接情况，以及，按上述关联关系进行各种信息交互，判断输出信息的正确性。优选的，还包括智能助手若规则验证失败，则智能助手会根据规则关键词自动从经验数据库检索具体原因和解决办法，并提供关联关系编辑界面进行修改。优选的，智能助手会自动在经验数据库中记录所述关联关系设置过程；或，增加或修改经验数据库信息，包括关键词、关键词解释和智能提示内容。优选的，还包括将所述适配器的配置信息备份至预设位置；或，依据所述预设位置保存的备份信息恢复所述适配器。优选的，所述预设的规则包括接口方式设置、数据源获取方式设置、信息解析规贝U、系统监控点设置、监控点的关联关系和每个监控点的核查内容，其中所述接口方式设置包括选择通信协议、接口类型、通信端口和IP地址；所述数据源获取方式设置包括配置相应数据源的唯一标识；所述信息解析规则包括每一类具体数据对象在所述数据质量管控平台的消息格式及数据映射关系；所述系统监控点设置包括监控点名称、作用、具备的信息类型和具体执行方式；所述监控点的关联关系通过设定系统监控点之间的数据处理的输入输出关系或者次序关系确定；所述每个监控点的核查内容包括数据的完整性、准确性、及时性、一致性指标的算法公式，如果上述算法公式中含有未经映射的字段，则需要在所述数据源中添加相应的数据对象并且在所述信息解析规则中建立映射关系。依据本发明的另一优选实施例，还公开了一种通用数据质量管控适配器的实现装置，包括实体模型提取单元、物理模型建立单元和适配器建立单元，其中所述实体模型提取单元用于提取被管控业务系统的业务处理流程和所处理的数据具备的属性，形成实体模型集；所述物理模型建立单元用于将所述实体模型提取单元生成的实体模型集具体化，列出所述实体模型集中每个模型对象的所有属性的类型、范围值和输入方式，以及，对该模型对象和数据质量相关操作，包括该操作的输入参数、处理流程和输出参数；所述通用适配器建立单元用于按预设的规则建立所述物理模型建立单元列出的模型对象之间的关联关系， 形成适应被管控业务系统的数据质量管控适配器。优选的，还包括新规则创建单元，用于确定新规则的规则名称、规则参数、规则具备的属性字段、规则的作用、规则存储方式、规则运行脚本以及规则脚本的运行条件。优选的，还包括适配器测试单元，用于测试所述通用数据质量管控适配器与被管控业务系统的连接情况，以及，按所述通用适配器建立单元建立的关联关系进行信息交互， 判断输出信息的正确性。优选的，还包括智能助手单元，用于判断通用适配器建立单元的规则验证是否成功，若否，则从智能助手数据库检索具体原因和解决办法，为用户提供关联关系编辑界面进行修改。优选的，还包括经验数据库维护单元，通过智能助手，自动记录所述通用适配器建立单元设置关联关系的过程；增加或修改经验数据库信息，包括关键词、关键词组合、操作或出现的问题解释，解决办法，示例。优选的，还包括数据备份恢复单元，用于将所述通用数据质量管控适配器的配置信息备份至预设位置；以及，依据所述预设位置保存的备份信息恢复所述通用数据质量管控适配器配置文件和经验数据库。优选的，所述通用适配器建立单元具体包括模板建立子单元和/或向导建立子单元，其中所述模板建立子单元用于为用户提供关联关系建立模板，使用户在预设的规则模板中按输入输出顺序录入每个模型对象的属性及其相关操作，一次性导入所有关联关系， 然后对每条完整规则进行验证；所述向导建立子单元用于为用户提供关联关系建立向导， 使用户依据规则定制向导录入所述模型对象的属性及其相关操作，待每条完整的规则验证通过后，再进行下一条规则的设置。优选的，还包括规则定制向导单元，用于接口方式设置、数据源获取方式设置、信息解析规则设置、系统监控点设置、监控点的关联关系设置和每个监控点的核查内容设置， 其中所述接口方式设置包括选择通信协议、接口类型、通信端口和IP地址；所述数据源获取方式设置包括配置相应数据源的唯一标识；所述信息解析规则设置内容包括每一类具体数据对象在所述数据质量管控平台的消息格式及数据映射关系；所述系统监控点设置内容包括监控点名称、作用、具备的信息类型和具体执行方式；所述监控点的关联关系设置包括设定系统监控点之间的数据处理的输入输出关系或者次序关系；所述每个监控点的核查内容设置包括数据的完整性、准确性、及时性、一致性指标的计算公式，如果上述算法公式中含有未经映射的字段，则需要在所述数据源中添加相应的数据对象并且在所述信息解析规则中建立映射关系。与现有技术相比，本发明具有以下优点本发明优选实施例通过对不同业务系统进行数据质量模型梳理，建立一套通用的设定规则，使新接入的被管控业务系统通过配置即可实现针对该系统的数据质量适配器， 然后通过数据质量标准开放接口，接入数据质量管控平台，实现该业务系统的数据质量管控；本发明实施例方案最大限度利用系统本身特性，最大程度降低升级改造工作，降低风险，提升价值；在进一步的优选实施例中，还支持一定程度特殊化处理，即新增规则制定和自定义脚本运行，更是极大扩充了适配范围。基于本发明优选实施例方案，被管控业务系统升级后，只需要对该系统规则清单进行适当修改即可，不需要适配接口进行改造。本发明进一步的优选实施例中，通过向导式规则适配、插件式新规则定制和智能组合验证，使规则配置简单易懂，且随时验证正确性；通过智能助手可以在线随时解答用户规则定制和验证过程中的出现的问题，通过智能记忆即可驱动适配器自动选择和关联相关模块，具有极大适应性和通用性；另外，经验数据库可以通过使用者不断补充知识，从而使智能助手具有更强大的支撑功能，使适配的智能性自行进行演进，可进一步提高对不同业务系统的适配能力。
图1是本发明通用数据质量管控适配器的实现方法第一实施例流程图；图2是本发明通用数据质量管控适配器的实现方法第二实施例流程图；图3-1是本发明通用数据质量管控适配器的实现方法具体实施例的规则导入模板示意图；图3-2是本发明通用数据质量管控适配器的实现方法具体实施例的接口和数据源选择向导示意图；图3-3是本发明通用数据质量管控适配器的实现方法具体实施例的解析规则设置向导示意图；图3-4是本发明通用数据质量管控适配器的实现方法具体实施例的监控点及其关联关系选择向导示意图；图3-5是本发明通用数据质量管控适配器的实现方法具体实施例的监控点核查内容设置向导示意图；图3-6是本发明通用数据质量管控适配器的实现方法具体实施例的“连接方式规贝U”验证向导示意图；图3-7是本发明通用数据质量管控适配器的实现方法具体实施例的新规则创建向导示意图；图3-8是本发明通用数据质量管控适配器的实现方法具体实施例的经验库录入向导示意图；图3-9是本发明通用数据质量管控适配器的实现方法具体实施例的数据备份设置界面示意图；图3-10是本发明通用数据质量管控适配器的实现方法具体实施例的数据恢复操作界面示意图；图4是本发明通用数据质量管控适配器的实现装置一实施例的结构框图。
具体实施例方式为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式
对本发明作进一步详细的说明。参照图1，示出了本发明通用数据质量管控适配器的实现方法第一实施例的流程， 具体包括以下步骤步骤SlOl 提取被管控业务系统的业务处理流程和所处理的数据具备的属性，形成实体模型集；对应于业务系统的业务处理流程，分析具备的属性，建立业务分析模型；对应于业务系统的处理的数据，分析具备的属性，建立数据模型。步骤S102 列出所述实体模型集中每个模型对象的所有属性以及该模型对象的与数据质量有关的操作；其中，每个模型对象的属性包括属性的类型、范围值和输入方式；该模型对象的与数据质量有关的操作包括输入参数、处理流程和输出参数；步骤S103 按预设的规则建立所述模型对象之间的关联关系，生成数据质量管控适配器。适配器生成后，适配器自动根据通信连接的配置信息，连接被管控业务系统，同时通过数据质量标准开放接口，接入数据质量管控平台，实现对该被管控业务系统的即时数据质量管控。本实施例基于被管控业务系统的数据模型和业务分析模型建立通用数据质量管控适配器，可适应于各种不同的被管控业务系统，解决现有技术没有统一的通用数据质量管控适配器的问题，在一套界面、一种操作模式下，可对不同系统进行的适配工作变成流水线生产。上述按预设的规则建立模型对象之间的关联关系，可以采用规则模板建立方式， 也可以采用定制向导建立方式，其中规则模板建立方式具体包括在预设的规则模板中按模型对象之间的输入输出顺序录入每个模型对象的属性及其相关操作，一次性导入所有关联关系，然后对每条完整规则进行验证；定制向导建立方式具体包括依据规则定制向导录入每个模型对象的属性及其相关操作，待每条完整的规则验证通过后，再进行下一条规则的设置。本发明进一步的优选实施例中包括的新规则创建步骤，包括确定新规则的规则名称、规则参数、规则具备的属性字段、规则的作用、规则存储方式、规则运行脚本以及规则脚本的运行条件等；可为未知的新系统，特别是有特殊化要求的系统提供运行脚本，因此，具有较强的可扩展行和适用性。在本实施例进一步的优选实施例中，还包括通用数据质量管控适配器进行测试的步骤测试该通用数据质量管控适配器与被管控业务系统的连接情况，以及，按上述关联关系进行信息交互并判断输出信息的正确性。在上述建立模型对象之间的关联关系过程中，若规则验证失败，则在线智能助手根据规则关键词自动从经验数据库检索具体原因、解决办法、具体示例等信息，并提供关联关系编辑界面进行修改。另外，在上述建立模型对象之间的关联关系过程中，系统会自动在经验数据库中记录关联关系设置过程，或提供增加、修改智能数据库信息(包括关键词、关键词组合、关键词解释和智能提示内容)的接口 ；基于该经验数据库引擎提供的智能助手， 可为用户在规则定制过程中随时提供帮助，当系统出现问题时，提供原因分析和修正办法； 通过经验数据库的不断积累，可为用户提供更多关于系统规则制订的帮助和提示，也能积累作为系统升级改造的需求来源；在部署方面，某个系统各种规则配置改动更新都自动记忆入库或文件，部署新机器时，只需要将库表内容或配置文件复制即可，不需要再次进行配置。另外，还可将该系统的适配器的配置信息转存到安全地方，当发生故障导致系统崩溃后，重装系统，并提供智能提示恢复相关数据。因本实施例方案可适应于各种不同的被管控业务系统，一套系统就可以根据规则为众多业务系统生成不同适配接口，适配升级一般只需要某些规则变更或者增加即可，因此，实施过程中，接入新的业务系统所需要的周期短、成本低、风险小、见效快。特别是适配升级方向明确，具有自完善能力的统一适配模型，可以使不同业务系统迅速融合，可避免大量的协商、配合工作，并能够避免大量重复劳动和无用劳动，管理效率得到提高。参照图2，示出了本发明通用数据质量管控适配器的实现方法第二实施例的流程， 在本优选实施例中，被管控业务系统以某通讯业务数据采集系统为例进行说明，按照预设的规则即将被管控的业务系统抽象成业务模型和数据模型。其业务模型即为被管控系统的业务流程，在数据采集系统中业务流程包括连接到被采集对象，判断数据源是否准备好， 采集、解析、计算或者转换，入库等步骤，在建立模型时，每一个步骤被抽象为业务模型包含的几个属性，获取每个属性信息就是其相关操作(即对每个步骤的操作方法)，属性信息所需要的消息结构，对应字段含义，以及所需要进行的处理。其数据模型即数据采集的内容， 包括性能和资源数据，这些数据都具有的属性包括专业类型(话务、传输、动环、数据、信令检测等)、所属数据层(数据源层，采集层，汇总层等)、数据类型(性能、资源、告警、知识、 派单等)、网元类型(omc、bsc、msc等)、时间(粒度)、地理、指标(掉话率等)等，具体的方法包括检测数据完整性、准确性、及时性、可追踪性等。因此数据质量规则，即系统中的业务模型和数据模型对象实例化，即为模型赋予实际值，包括建立规则名称(如规则统一采集数据源层性能数据omc某市，是说明对统一采集系统中某市omc网元数据源层的性能数据的数据质量管控)、规则属性(时间、类型、参数的各种维度，信息字段格式等)、规则相关操作(操作方法名、输入、输出、处理等)。该数据质量管控适配接口的实现方法流程具体包括步骤S201 对被管控业务系统的业务分析模型和数据模型进行模型梳理，形成实体模型集合；模型梳理过程具体包括首先选取要接入的业务系统，针对其业务分析模型(业务处理流程的关键点次序和内容)和处理的数据模型(数据的业务特点和具备的属性)两方面进行提炼，获得实体模型对象具备的属性和方法的集合。该通信业务数据采集系统的业务分析模型和数据模型即预设的规则包括接口协议设定、数据源获取方式设定、信息解析规则、关键处理环节-系统监控点的设置、监控点的关联关系(顺序关系、运算关系等)和每个监控点的核查内容等，其中接口方式协议设定包括选择通信协议和接口类型，如数据流、文件、数据库等，以及，具体的通信端口，IP地址等正确连接所需要的信息；数据源获取方式设定包括如何用唯一标识区别原始的各类数据，配置数据文件的唯一标识格式，根据配置的唯一标识格式获取相应的数据源；信息解析规则，对每一类具体数据对象的解析规则，用唯一标识进行区别，以xml 文件形式保存在系统中，包括如何用唯一标识区别(如信息类型)对原始各类数据进行解析，形成统一格式，发送给数据质量管控平台，信息解析规则本身需要根据实际应用的数据对象属性人工配置字段映射，即获得的数据源在数据质量管控系统中的消息格式，使得数据源中的消息格式与数据质量管控系统中的消息格式一致；
系统所具有的关键处理环节-系统监控点的设置包括监控点名、作用、具备的信息类型、具体执行方式等；监控点的关联关系通过设定系统监控点之间的数据处理的输入输出关系，或者次序关系确定；每个监控点支持的核查内容包括完整性、准确性(合理性)、及时性、一致性(波动性)等指标的算法公式，算法公式可根据不同的被管控系统对数据完整性、准确性、及时性、一致性的核查方法进行人工配置，公式中的各个子项都是在经信息解析规则映射后的字段集中。如果要公式中含有未经映射的字段，需要在数据源中添加相应的数据对象并且在信息解析规则进行映射。步骤S202 对上述实体模型集合物理化(即将上述实体模型输出为XML文件或其他格式)，列出每个模型对象的所有属性以及对该模型对象与数据质量有关的操作(包括验证完整性、准确性等)；将步骤S201提炼的实体模型集物理化，列出每个模型对象的属性类型、范围值和输入方式；对该模型对象与数据质量有关的操作包括输入参数、处理流程、输出参数(或返回值类型)等。步骤S203 判断上述模型对象是否需要新规则？若是，转步骤S204 ；否则，转步骤 S205 ；当被管控系统进行升级或改造时，如果数据模型和业务模型发生改变，则需要在原有模型基础上再次进行梳理，做相应的修改。步骤S204 创建新规则以及规则脚本的运行条件；本优选实施例方案，对未知系统可能存在现有规则不足的情况，即被监控业务系统可能存在某些特殊化规则部分，本优选实施例提供了新增规则设定方案，通过运行特殊化脚本(需要在页面录入脚本名、脚本运行路径、参数，脚本功能等)，生成某些系统的特别要求的功能，该特殊化脚本需要二次开发，作为插件接入现有通用适配器。上述新增规则设定方案具体为通过界面提供一个特殊化脚本运行界面(规则制订界面)，界面属性包括规则名、规则含义，规则执行命令和参数(即特殊化脚本)，脚本运行生成要求的规则结果格式，脚本运行界面提供脚本分类，不同类型脚本(比如数据源、信息类型、监控点信息或者新增规则的等)有不同要求格式，生成后也作为该适配接口的一部分。步骤S205 依据规则向导或在规则模板中录入模型对象的属性及其相关操作，并对每条完整规则进行验证；本优选实施例方案提供两种方式生成系统专属适配器一种是提供数据质量规则导入模板，将步骤S202中形成的物理模型按照规则模板要求录入信息，将规则一次性导入，然后对每条完整规则进行验证，如果验证失败，智能助手会给出具体原因和解决办法， 并提供规则编辑界面进行改进；另一种按照智能适配提供的向导式规则定制页面，使用者一步步填写，此过程每完成一条完整规则就可检验，验证通过后，再进行下一个规则的设置过程。另外，在上述专属适配器生产过程中，系统自动将生成过程的详细信息记录到经验数据库中，作为以后适配接口升级改造的参考资料。
步骤S206 判断上述规则验证是否成功？若是，转步骤S208 ；否则，转步骤S207 ；步骤S207 根据智能助手的提示修改相关模型对象，进行规则验证后，转步骤 S206 ；步骤S208 测试数据质量管控适配器与被管控业务系统的连接情况，并判断按上述关联关系交互信息的正确性；测试实现的原理就是该适配接口和实际被管控业务系统的连接，并按照规则设定进行信息交互，获取反馈结果显示，然后系统根据规则判别为正确或错误。步骤S209 将数据质量管控适配接口的配置信息备份至预设位置；本优选实施例方案中，所有适配数据会定时转存为文件，备份到其他安全地方，一旦发生异常导致系统崩溃或者数据库崩溃，则下次重新安装本系统后，智能助手会自动提示恢复相关设置，使用者选择备份的路径即可。另外，使用者利用上述方案进行规则制订过程中，如果对属性或者其相关操作 (方法)有问题时，可以向智能助手寻求帮助(根据不同规则页的不同位置关键词，或者关键字组合进行关联)；还可以通过关键词或关键词组合，对不同主题进行说明。对于系统设定和测试中出现的错误，智能助手根据错误关键词或者编号给出说明和修正办法。如，每个规则设定完后都支持进行测试，界面提供“测试”按钮，即可完成测试，如果失败，返回具体失败结果。如连接失败、数据源获取失败、解析失败、监控点信息获取失败、脚本运行失败等。使用者如果对智能助手的帮助不甚满意，可以将好的解决办法、示例或者改进方法录入经验数据库，从而使智能助手可以给出更好帮助。上述录入信息须按预设的步骤和格式进行，包括选择信息分类、选择关联的规则或者模块名，选择要提供的帮助主旨(答疑、示例、 解决办法)，然后根据录入格式录入上述信息。在本优选实施例中，智能助手信息内容包括关键词、关键词解释、问题答应、解决办法、演示示例等信息。所有定制工作完成后，系统就自动进行组装工作，生成统一接口方式和信息交换格式与数据质量管控平台连接的模块功能。一个完整的经过验证的适配器生成后，所有配置信息自动固化存储，部署新设备时，只需要通过界面将生成的包远程发送到指定设备目录，启动运行即可(因为规则清单已经写入配置，程序读取配置即可)。下面，针对某通讯业务数据采集系统，具体说明本发明数据质量管控适配器的实现过程首先，对被监控业务系统，即该数据采集系统的业务分析模型和数据模型进行模型梳理，形成实体模型集合。被监控业务系统的业务模型包括性能数据采集流程和资源数据采集流程，其中性能数据采集流程从前到后包括采集阶段、汇总阶段和计算呈现阶段；对于文件型数据源，采集阶段包括从OMC获取性能文件、解析文件、原始数据入库、数据计算等关键点；对于数据库型的数据源，采集阶段包括从OMC数据库读取原始数据写入采集数据库、数据计算等关键点；汇总阶段包括同步性能库、框架汇总、业务时间地理汇总等关键点；资源数据采集流程从前到后包括采集阶段、汇总阶段；对于文件型数据源，采集阶段包括从OMC获取资源文件、解析文件、原始数据入库、数据计算写入资源库等关键点；对于数据库型的数据源，采集阶段包括从OMC数据库读取原始数据写入采集数据库、数据计算写入资源库等关键点；汇总阶段包括同步性能库、提供对性能的关联等关键点。对上述业务流程的监控点包括各阶段及其关键点，监控指标和考核要求参见表1。表1、被监控业务系统的监控指标(KPI)和考核要求
权利要求
1.一种通用数据质量管控适配器的实现方法，其特征在于，包括提取被管控业务系统的业务处理流程和所处理的数据具备的属性，形成实体模型集； 列出所述实体模型集中每个模型对象的所有属性的类型、范围值和输入方式，以及，对该模型对象和数据质量有关操作的输入参数、处理流程和输出参数；按预设的规则建立所述模型对象之间的关联关系，生成通用数据质量管控适配器。
2.如权利要求1所述的方法，其特征在于，所述按预设的规则建立所述模型对象之间的关联关系的方法具体为采用规则模板建立方式在预设的规则模板中按所述模型对象之间的输入输出顺序录入每个模型对象的属性及其相关操作，一次性导入所有关联关系，然后对每条完整规则进行验证； 或采用定制向导建立方式依据规则定制向导录入所述模型对象的属性及其相关操作，待每条完整的规则验证通过后，再进行下一条规则的设置。
3.如权利要求2所述的方法，其特征在于，还包括新规则创建步骤确定新规则的规则名称、规则参数、规则具备的属性字段、规则的作用、规则存储方式、 规则运行脚本以及规则脚本的运行条件。
4.如权利要求2所述的方法，其特征在于，还包括数据质量管控适配接口测试步骤 测试所述通用数据质量管控适配器与被管控业务系统的连接情况，以及，按上述关联关系进行各种信息交互，判断输出信息的正确性。
5.如权利要求2所述的方法，其特征在于，还包括智能助手当规则验证失败时，用于根据规则关键词自动从经验数据库检索具体原因和解决办法，并提供关联关系编辑界面进行修改。
6.如权利要求2所述的方法，其特征在于，还包括智能助手会自动在经验数据库中记录所述关联关系设置过程； 或增加或修改经验数据库信息，包括关键词、关键词解释和智能提示内容。
7.如权利要求2所述的方法，其特征在于，还包括将所述适配器的配置信息备份至预设位置；或，依据所述预设位置保存的备份信息恢复所述适配器。
8.如权利要求1至7之一所述的方法，其特征在于，所述预设的规则包括接口方式设置、数据源获取方式设置、信息解析规则、系统监控点设置、监控点的关联关系和每个监控点的核查内容，其中所述接口方式设置包括选择通信协议、接口类型、通信端口和IP地址； 所述数据源获取方式设置包括配置相应数据源的唯一标识；所述信息解析规则包括每一类具体数据对象在所述数据质量管控平台的消息格式及数据映射关系；所述系统监控点设置包括配置监控点名称、作用、具备的信息类型和具体执行方式； 所述监控点的关联关系通过设定系统监控点之间的数据处理的输入输出关系或者次序关系；所述每个监控点的核查内容包括数据的完整性、准确性、及时性、一致性指标的算法公式，如果所述算法公式中含有未经映射的字段，则需要在所述数据源中添加相应的数据对象并且在所述信息解析规则中建立映射关系。
9.一种通用数据质量管控适配器的实现装置，其特征在于，包括实体模型提取单元、物理模型建立单元和适配器建立单元，其中所述实体模型提取单元用于提取被管控业务系统的业务处理流程和所处理的数据具备的属性，形成实体模型集；所述物理模型建立单元用于将所述实体模型提取单元生成的实体模型集具体化，列出所述实体模型集中每个模型对象的所有属性的类型、范围值和输入方式，以及，对该模型对象和数据质量相关操作，包括该操作的输入参数、处理流程和输出参数；所述通用适配器建立单元用于按预设的规则建立所述物理模型建立单元列出的模型对象之间的关联关系，形成适应被管控业务系统的数据质量管控适配器。
10.如权利要求9所述的装置，其特征在于，所述通用适配器建立单元具体包括模板建立子单元和/或向导建立子单元，其中所述模板建立子单元用于为用户提供关联关系建立模板，使用户在预设的规则模板中按输入输出顺序录入每个模型对象的属性及其相关操作，一次性导入所有关联关系，然后对每条完整规则进行验证；所述向导建立子单元用于为用户提供关联关系建立向导，使用户依据规则定制向导录入所述模型对象的属性及其相关操作，待每条完整的规则验证通过后，再进行下一条规则的设置。
11.如权利要求10所述的装置，其特征在于，还包括新规则创建单元，用于确定新规则的规则名称、规则参数、规则具备的属性字段、规则的作用、规则存储方式、规则运行脚本以及规则脚本的运行条件。
12.如权利要求10所述的装置，其特征在于，还包括适配器测试单元，用于测试所述通用数据质量管控适配器与被管控业务系统的连接情况，以及，按所述通用适配器建立单元建立的关联关系进行信息交互，判断输出信息的正确性。
13.如权利要求10所述的装置，其特征在于，还包括智能助手单元，用于判断通用适配器建立单元的规则验证是否成功，若否，则从智能助手数据库检索具体原因和解决办法，为用户提供关联关系编辑界面进行修改。
14.如权利要求10所述的装置，其特征在于，还包括经验数据库维护单元，通过智能助手，自动记录所述通用适配器建立单元设置关联关系的过程；增加或修改经验数据库信息， 包括关键词、关键词组合、操作或出现的问题解释，解决办法，示例。
15.如权利要求10所述的装置，其特征在于，还包括数据备份恢复单元，用于将所述通用数据质量管控适配器的配置信息备份至预设位置；以及，依据所述预设位置保存的备份信息恢复所述通用数据质量管控适配器配置文件和经验数据库。
16.如权利要求9至15之一所述的装置，其特征在于，还包括规则定制向导单元，用于接口方式设置、数据源获取方式设置、信息解析规则设置、系统监控点设置、监控点的关联关系设置和每个监控点的核查内容设置，其中所述接口方式设置包括选择通信协议、接口类型、通信端口和IP地址；所述数据源获取方式设置包括配置相应数据源的唯一标识；所述信息解析规则设置内容包括每一类具体数据对象在所述数据质量管控平台的消息格式及数据映射关系；所述系统监控点设置内容包括监控点名称、作用、具备的信息类型和具体执行方式； 所述监控点的关联关系设置包括设定系统监控点之间的数据处理的输入输出关系或者次序关系；所述每个监控点的核查内容设置包括数据的完整性、准确性、及时性、一致性指标的计算公式，如果上述算法公式中含有未经映射的字段，则需要在所述数据源中添加相应的数据对象并且在所述信息解析规则中建立映射关系。
全文摘要
本发明提供了一种通用数据质量管控适配器的实现方法和装置，所述方法包括提取被管控业务系统的业务处理流程和所处理的数据具备的属性，形成实体模型集；列出所述实体模型集中每个模型对象的所具备的属性以及对该模型对象与数据质量有关操作；按预设的规则建立所述模型对象之间的关联关系，形成某系统专属管控适配器；然后通过数据质量标准开放接口，接入数据质量管控平台，实现该系统的数据质量管理。本发明方案通过对不同业务系统进行数据质量模型梳理，建立一套通用的规则设定模板，使新接入的被管控业务系统通过配置即可实现针对该系统的数据质量适配器，可最大限度利用系统本身特性，最大程度降低升级改造工作，降低风险，提升价值。
文档编号H04L12/24GK102571403SQ20101061705
公开日2012年7月11日 申请日期2010年12月31日 优先权日2010年12月31日
发明者于艳华, 刘立潮, 杨金莲, 王海清 申请人:亿阳信通股份有限公司, 北京亿阳信通软件研究院有限公司