加工过程处 理、到数据质量诊断、再到数据质量评估、最后到数据质量问题分析与处理策略的全过程， 涵盖数据的产生、加工、应用的全过程。对企业级数据中心的数据质量的全方位控制与提升 可以起到有益的促进效果。其次，采用本发明实施例提供的技术方案，用户通过简单的操 作即可实现数据质量问题的自动诊断与报告，极大的减轻了企业数据质量管理人员的工作 量，提高了效率。再次，本实施例根据各数据之间的关联关系，对所有所述数据的质量检测 结果进行质量检测结果的归并处理，得出归并后的检测结果，以对数据进行进一步的分析， 提供系统、用户、表三级技术，通过全链分析对问题快速定位，从而为运维人员解决问题增 加效率，节省时间，也为公司节约人力资源成本。
[0025] 进一步的，上述实施例提供的所述方法还可以包括如下步骤： 根据所述归并后的检测结果，生成第一图谱信息，以使显示设备根据所述第一图谱信 息呈现相应的图谱视图。
[0026] 进一步的，上述实施例中提供的所述关联关系包括：数据血统关系、数据影响关系 和数据全链关系。
[0027] 进一步的，上述实施例提供的所述方法还可以包括如下步骤： 根据所述关联关系，生成第二图谱信息，以使显示设备根据所述第二图谱信息呈现相 应的图谱视图； 所述第二图谱信息包括：数据血统关系图谱、数据影响关系图谱或数据全链关系图谱。
[0028] 综述，本发明可通过如下措施来实现： 1)本发明实施例针对目前数据质量监控模型进行了研究，发现大部分的研究都是基于 某一个具体的数据质量问题的，因此，本发明实施例通过对数据质量监控过程的研究，将数 据质量管理手段融入到数据质量的监控过程中，提出了 一个数据质量全程监控的体系结构 模型，该模型为数据质量全程监控的实现提供了必要的支撑模型。并针对大型企业对数据 质量的要求，提出了数据质量全程监控的体系结构(如图2所示)，从数据入库、数据处理到 数据质量评估，并利用技术手段依次对其进行数据质量的全程监控。
[0029] 2)业务规则描述了业务对数据的内在要求，也反映了数据的内在联系。数据质量 管控平台构建了一个全面的数据质量规则库，并以此为中心来进行质量评估、问题诊断和 分析。实践证明这种模式在数据质量管理过程中是高效的。数据质量管控平台具有自动质 量信息采集、自动质量检查、自动问题识别和质量报告，从而极大地提高了数据质量管理的 效率和水平。该数据质量管控平台对于电力行业如何利用信息化手段来进行企业级数据中 心的数据质量管理具有一定的借鉴意义。
[0030] 3)通过对企业数据质量问题的深入剖析，归纳总结出常见质量问题的类别，从完 整性、准确性、一致性、及时性四方面进行数据质量度量，不同的质量度量需要不同的语法 来描述质量规则，总结出了企业数据质量规则体系，如表1所示。
[0031] 表1数据质量规则分类表
【主权项】
1. 一种企业级数据中心的数据处理方法，其特征在于，包括： 对所述数据中心的数据接口进行监控，获取所述数据接口输入或输出的第一数据； 获取所述数据中心中已存储的第二数据； 根据预设的数据质量检测规则，对所述数据中心中所有第一数据和第二数据，得出各 数据对应的质量检测结果； 根据数据关联关系判定规则，确定所述数据中心中所有第一数据和第二数据中各数据 之间的关联关系； 根据所述关联关系，对所有所述数据的质量检测结果进行质量检测结果的归并处理， 得出归并后的检测结果。
2. 根据权利要求1所述的企业级数据中心的数据处理方法，其特征在于，还包括： 根据所述归并后的检测结果，生成第一图谱信息，以使显示设备根据所述第一图谱信 息呈现相应的图谱视图。
3. 根据权利要求2所述的企业级数据中心的数据处理方法，其特征在于，所述关联关 系包括：数据血统关系、数据影响关系和数据全链关系。
4. 根据权利要求3所述的企业级数据中心的数据处理方法，其特征在于，还包括： 根据所述关联关系，生成第二图谱信息，以使显示设备根据所述第二图谱信息呈现相 应的图谱视图； 所述第二图谱信息包括：数据血统关系图谱、数据影响关系图谱或数据全链关系图谱。
5. 根据权利要求1所述的企业级数据中心的数据处理方法，其特征在于，所述根据预 设的数据质量检测规则，对所述数据中心中所有第一数据和第二数据，得出各数据对应的 质量检测结果，包括： 对所述数据中心中所有第一数据和第二数据进行完整性检测，得出各数据对应的完整 性检测结果； 对所述数据中心中所有第一数据和第二数据进行及时性检测，得出各数据对应的及时 性检测结果； 对所述数据中心中所有第一数据和第二数据进行准确性检测，得出各数据对应的准确 性检测结果。
6. 根据权利要求1所述的企业级数据中心的数据处理方法，其特征在于，所述对所述 数据中心的数据接口进行监控，获取所述数据接口输入或输出的第一数据，具体为： 对所述数据中心的数据接口进行ETL过程监控、OGG处理过程监控或DBlink处理过程 监控，获取所述数据接口输入或输出的第一数据。
7.-种企业级数据中心的数据处理装置，其特征在于，包括： 监控模块，用于对所述数据中心的数据接口进行监控，获取所述数据接口输入或输出 的第一数据； 获取模块，用于获取所述数据中心中已存储的第二数据； 检测模块，用于根据预设的数据质量检测规则，对所述数据中心中所有第一数据和第 二数据，得出各数据对应的质量检测结果； 确定模块，用于根据数据关联关系判定规则，确定所述数据中心中所有第一数据和第 二数据中各数据之间的关联关系； 归并模块，用于根据所述关联关系，对所有所述数据的质量检测结果进行质量检测结 果的归并处理，得出归并后的检测结果。
8. 根据权利要求7所述的企业级数据中心的数据处理装置，其特征在于，还包括： 第一生成模块，用于根据所述归并后的检测结果，生成第一图谱信息，以使显示设备根 据所述第一图谱信息呈现相应的图谱视图。
9. 根据权利要求7所述的企业级数据中心的数据处理装置，其特征在于，还包括： 第二生成模块，用于根据所述关联关系，生成第二图谱信息，以使显示设备根据所述第 二图谱信息呈现相应的图谱视图； 所述第二图谱信息包括：数据血统关系图谱、数据影响关系图谱或数据全链关系图谱。
10. 根据权利要求7所述的企业级数据中心的数据处理装置，其特征在于，所述检测模 块，具体用于： 对所述数据中心中所有第一数据和第二数据进行完整性检测，得出各数据对应的完整 性检测结果； 对所述数据中心中所有第一数据和第二数据进行及时性检测，得出各数据对应的及时 性检测结果； 对所述数据中心中所有第一数据和第二数据进行准确性检测，得出各数据对应的准确 性检测结果。
11. 根据权利要求7所述的企业级数据中心的数据处理装置，其特征在于，所述监控模 块，具体用于： 对所述数据中心的数据接口进行ETL过程监控、OGG处理过程监控或DBlink处理过程 监控，获取所述数据接口输入或输出的第一数据。
【专利摘要】本发明是关于一种企业级数据中心的数据处理方法及装置。其中，所述方法包括：对所述数据中心的数据接口进行监控，获取所述数据接口输入或输出的第一数据；获取所述数据中心中已存储的第二数据；根据预设的数据质量检测规则，对所述数据中心中所有第一数据和第二数据，得出各数据对应的质量检测结果；根据数据关联关系判定规则，确定所述数据中心中所有第一数据和第二数据中各数据之间的关联关系；根据所述关联关系，对所有所述数据的质量检测结果进行质量检测结果的归并处理，得出归并后的检测结果。本发明实施例能为运维人员解决问题增加效率，节省时间，也为公司节约人力资源成本。
【IPC分类】G06F17-30
【公开号】CN104699735
【申请号】CN201410665621
【发明人】刘显明, 朱正刚, 郝悍勇, 付萍萍, 潘理, 郑红, 于仕
【申请人】国家电网公司, 国网江西省电力公司信息通信分公司
【公开日】2015年6月10日
【申请日】2014年11月20日