企业级数据中心的数据处理方法及装置的制造方法
【技术领域】
[0001] 本发明涉及一种计算机领域，特别是涉及一种企业级数据中心的数据处理方法及 装直。
【背景技术】
[0002] 通过"十一五"信息化建设，电力行业各项业务已与信息化初步融合，信息系统内 业务数据逐渐丰富，数据共享需求迫切。但是数据质量及数据共享利用水平仍有待提升，一 是数据对分析决策支持度低，数据存在一数多源、统计口径不一致的现象；二是数据对生产 经营管理的支持度有待提高，数据质量参差不齐，部分数据无系统支持，缺乏统一标准和明 确的数据认责；三是一线人员数据录入工作量大，数据录入重复，业务功能重复；四是数据 质量管控相对滞后，管控工作片段化，没有形成完整的数据质量管控体系和全面有效的数 据质量保障机制，制约数据价值的充分发挥。因此，有必要围绕企业数据生命周期，实现从 业务系统数据入数据中心、到数据诊断、再到质量评估的一个数据质量的全程管控的模式 结构，夯实数据基础，改善数据质量，保障数据的准确、及时、有效和可信，最终实现数据资 产管理和使用标准化，最大限度的发挥数据资产的价值，提升数据中心的服务能力。
[0003] 如何提高数据质量，当前主要有两种主流的技术方案： 1)作为ETL整体解决方案一部分的数据质量管理，如IBM的quality Stage，这种解决 方案比较关注的是数据从联机交易系统通过抽取、转换到装载入数据中心过程中的数据质 量问题。
[0004] 2)与元数据管理解决方案结合的数据质量管理，如朗新公司的quality one 3.0。 这种解决方案主要以一组组关键业务指标为中心，通过部署在各个数据源的智能代理程序 收集关于该指标的信息，然后由后台质量管理组件按照一定的规则进行判断，从而识别潜 在的、隐藏的数据质量问题。
[0005] 这两种方案都有较大的局限性：对于第一种方案，首先往往无法覆盖到全企业数 据环境，其次很难覆盖到整个数据质量生命管理的全过程；对于第二种方案，一方面需要大 量的定制化开发，撰写并部署大量的智能代理程序，另一方面需要人工做大量的分析和处 理工作，工作强度和难度较大。
【发明内容】
[0006] 鉴于上述问题，提出了本发明以便于提供一种克服上述问题或者至少部分地解决 上述问题的企业级数据中心的数据处理方法及装置。
[0007] 依据本发明的第一个方面，提供了一种企业级数据中心的数据处理方法，包括： 对所述数据中心的数据接口进行监控，获取所述数据接口输入或输出的第一数据； 获取所述数据中心中已存储的第二数据； 根据预设的数据质量检测规则，对所述数据中心中所有第一数据和第二数据，得出各 数据对应的质量检测结果； 根据数据关联关系判定规则，确定所述数据中心中所有第一数据和第二数据中各数据 之间的关联关系； 根据所述关联关系，对所有所述数据的质量检测结果进行质量检测结果的归并处理， 得出归并后的检测结果。
[0008] 依据本发明的第二个方面，提供了一种企业级数据中心的数据处理装置，包括： 监控模块，用于对所述数据中心的数据接口进行监控，获取所述数据接口输入或输出 的第一数据； 获取模块，用于获取所述数据中心中已存储的第二数据； 检测模块，用于根据预设的数据质量检测规则，对所述数据中心中所有第一数据和第 二数据，得出各数据对应的质量检测结果； 确定模块，用于根据数据关联关系判定规则，确定所述数据中心中所有第一数据和第 二数据中各数据之间的关联关系； 归并模块，用于根据所述关联关系，对所有所述数据的质量检测结果进行质量检测结 果的归并处理，得出归并后的检测结果。
[0009] 借由上述技术方案，本发明实施例提供的技术方案至少具有下列优点： 1、本发明实施例提供的技术方案覆盖企业数据从数据源头到数据接口加工过程处理、 到数据质量诊断、再到数据质量评估、最后到数据质量问题分析与处理策略的全过程，涵盖 数据的产生、加工、应用的全过程。对企业级数据中心的数据质量的全方位控制与提升可以 起到有益的促进效果。
[0010] 2、采用本发明实施例提供的技术方案，用户通过简单的操作即可实现数据质量问 题的自动诊断与报告，极大的减轻了企业数据质量管理人员的工作量，提高了效率。
[0011] 3、本发明实施例根据各数据之间的关联关系，对所有所述数据的质量检测结果进 行质量检测结果的归并处理，得出归并后的检测结果，以对数据进行进一步的分析，提供系 统、用户、表三级技术，通过全链分析对问题快速定位，从而为运维人员解决问题增加效率， 节省时间，也为公司节约人力资源成本。
[0012] 上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段， 并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
[0013]
【附图说明】
[0014] 通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通 技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明 的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中： 图1示出了本发明实施例一提供的一种企业级数据中心的数据处理方法的流程示意 图； 图2示出了基于本发明实施例一提供的一种企业级数据中心的数据处理方法构建的 数据质量管控平台结构框架图； 图3示出了本发明实施例一提供的一种本发明实施例一提供的一种企业级数据中心 的数据处理方法中数据质量诊断及处理流程图； 图4a示出了本发明实施例一提供的一种企业级数据中心的数据处理方法中涉及的数 据血统关系图谱的实例示意图； 图4b示出了本发明实施例一提供的一种企业级数据中心的数据处理方法中涉及的数 据影响关系图谱的实例示意图； 图4c示出了本发明实施例一提供的一种企业级数据中心的数据处理方法中涉及的全 链关系图谱的实例示意图； 图5示出了本发明实施例二提供的一种企业级数据中心的数据处理装置的结构示意 图。
[0015]
【具体实施方式】
[0016] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是 本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员 在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0017] 如图1所示，本发明实施例一提供的一种企业级数据中心的数据处理方法的流程 示意图。如图1所示，本实施例一提供的所述方法，包括： 步骤101、对所述数据中心的数据接口进行监控，获取所述数据接口输入或输出的第一 数据。
[0018] 本步骤中对所述数据中心的数据接口进行的监控可以采用ETL过程监控、OGG处 理过程监控或DBlink处理过程监控，即，本步骤具体为： 对所述数据中心的数据接口进行ETL过程监控、OGG处理过程监控或DBlink处理过程 监控，获取所述数据接口输入或输出的第一数据。
[0019] 步骤102、获取所述数据中心中已存储的第二数据。
[0020] 步骤103、根据预设的数据质量检测规则，对所述数据中心中所有第一数据和第二 数据，得出各数据对应的质量检测结果。
[0021] 在具体实施时，本步骤可采用如下方法实现： 对所述数据中心中所有第一数据和第二数据进行完整性检测，得出各数据对应的完整 性检测结果； 对所述数据中心中所有第一数据和第二数据进行及时性检测，得出各数据对应的及时 性检测结果； 对所述数据中心中所有第一数据和第二数据进行准确性检测，得出各数据对应的准确 性检测结果。
[0022] 步骤104、根据数据关联关系判定规则，确定所述数据中心中所有第一数据和第二 数据中各数据之间的关联关系。
[0023] 步骤105、根据所述关联关系，对所有所述数据的质量检测结果进行质量检测结果 的归并处理，得出归并后的检测结果。
[0024] 首先，本实施例提供的技术方案覆盖企业数据从数据源头到数据接口