一种数据资源的管理方法及管理系统与流程

本发明涉及数据管理技术领域，更为具体来说，本发明为一种数据资源的管理方法及管理系统。

背景技术：

在信息化建设高峰期,燃气企业建成的信息系统要求具备跨部门或跨系统数据访问、共享、使用、迁移、整合的功能，虽然这有力支撑了近年来移动互联网等一系列新技术应用的扩展，但是传统的跨部门或跨系统的数据访问、共享、使用、迁移、整合过程存在如下问题。

一、数据混乱问题：包括不同系统在进行数据统一时导致的数据混乱问题、复杂业务的问题和内外协作引发的数据混乱问题、历史遗留数据的混乱问题以及缺乏统一的数据定义标准导致的数据混乱问题。

二、数据的可信度问题：由于传统的数据资源管理系统无法保证用户数据唯一性，其内部组织结构复杂，有用数据获取难度大；数据多元化、缺乏数据共享等原因导致难以确定数据的真实性和可靠性等问题。

对于上述技术问题，常规的解决方案是：通过技术人员进行手工维护。但是，常规方案不仅耗费了大量人力和物力，而且无法从根本上解决问题，新的数据混乱问题和可信度问题仍然会不断出现。

因此，如何有效解决燃气企业的信息系统中存在的数据混乱、数据可信度难以保证等问题，成为了本领域技术人员亟待解决的技术问题和始终研究的重点。

技术实现要素：

为解决现有燃气企业的信息系统中存在的数据混乱、数据可信度难以保证等问题，本发明创新地提出了一种数据资源的管理方法及管理系统，通过对数据资源优化管理的方式有效提高数据质量，从而实现数据的有效性、可访问性、一致性、安全性及可审计性。

为实现上述技术目的，本发明公开了一种数据资源的管理方法，所述管理方法包括如下步骤，

业务数据积累步骤，在进行业务工作的过程中，不断积累产生的业务数据；

业务数据提炼步骤，从业务数据中导出静态数据和共享数据，将静态数据和共享数据作为主数据，并抽取所述业务数据中的技术元数据；

主数据处理步骤，分析和整理所述主数据后，令主数据标准化；参照所述技术元数据，对所述主数据进行抽取、整合及清洗处理，并将清洗后的主数据进行发布。

通过对业务数据的积累和提炼、对主数据的处理等技术手段，本发明有效提高可数据资源的透明度和数据的可获取性，从而有效的解决了常规的数据资源管理存在的混乱问题和可信度问题，实现企业内部数据的融会贯通，从而加强了各部门之间的协作效率，有效降低城镇燃气企业的运营成本。

本发明在功能上可实现对数据的收集、组织、存储、制定数据标准、监管质量等目的，在内容上可实现包含对企业核心的、最需共享的主数据的管理和对元数据的管理。同时，本发明还能够达到制定企业数据标准的发布、监控数据质量、处理数据质量问题等技术目的。

进一步地，在主数据处理步骤中，还包括对清洗后的主数据进行挖掘的步骤，并将挖掘后的结果发送至数据仓库、数据交换和集成平台、决策分析支持系统及商务智能系统。

基于上述改进方案，本发明能够实现对数据资源的高效应用，实现对主数据、元数据的统一全生命周期管理，从而保证主数据的准确性、规范性、完整性及唯一性，提高数据质量，有效地为数据资源的深入挖掘工作提供支撑。

进一步地，所述管理方法还包括传输过程监控步骤；

所述传输过程监控步骤，包括对主数据导出过程、对技术元数据抽取过程、对主数据的抽取、整合、清洗处理过程及对清洗后的主数据的发布过程进行监控；根据监控结果确定用于存储当前被监控数据的数据库。

通过对数据传输过程的监控，本发明有效提高了燃气企业的安全管理能力，并可在此基础上进行安全分级和授权工作，从而极大地提高了数据资源的安全性和可靠性。

进一步地，所述管理方法还包括业务数据划分步骤；

所述业务数据划分步骤，在积累业务数据步骤后，将所述业务数据按照主题域的方式进行划分；所述主题域包括战略主题域、规划主题域、计划主题域、投资主题域、科研主题域、财务主题域、营销服务主题域、生产运营主题域、项目主题域、设备主题域、安全主题域、人力资源主题域、物资主题域及综合数据主题域；

在所述业务数据提炼步骤中，在不同的主题域下分别进行主数据导出操作和技术元数据抽取操作。

通过以主题域的方式划分业务数据，可更有针对性、更为合理地处理业务数据，使本发明涉及的数据资源管理更为科学和合理，有利于后期对主数据的发布和挖掘操作。本发明保证了燃气企业内部业务主题域和跨业务主题域等相关数据资源的实时性、含义及质量，保证了各系统重复性使用正确的业务数据。此过程整合、存储、同步及维护了企业内业务实体的特定实例，如将企业内财务数据、客户数据等做标准化处理。对于每一个实体，数据资源管理系统中保存的数据就是该数据的最终版本，也是所有信息系统必须参照的终版。

进一步地，在主数据处理步骤中，同时参照配置数据、规则数据及技术元数据，对所述主数据进行抽取、整合及清洗处理，对处理过程中产生的错误数据进行存储；其中，所述配置数据和规则数据通过手工录入的方式获取。

通过参照配置数据、规则数据及技术元数据的方式，使得本发明能够更好地获取主数据中的有价值的数据，从而实现对数据资源更科学、有效地管理，满足各个业务系统更为高效和准确使用的目的。

进一步地，所述业务工作包括企业生产业务工作、物料转移业务工作、事务处理业务工作、现金流动业务工作及客户交互业务工作。

本发明支持全方位的数据查询与展现，实现了跨系统、跨业务之间的统一数据视图，有效提高了报表数据准确性和生成速度，提升了数据利用和价值，提高了决策质量，实现快速应对新业务，并能够支持数据整合和报表合并。本发明基于业务数据的绩效分析和绩效管理的方式提升竞争力，支持市场分析、竞争分析、预测分析等各类业务分析，实现更好应对外部环境变化；本发明通过实现业务数据的规范化、标准化，提高数据质量，形成了唯一可信的数据资产，从而建成企业内统一数据管理体系，实现了业务数据的标准化，促进了业务流程标准化和优化；而通过实现数据共享，可支持企业业务协调与贯通。

进一步地，在主数据处理步骤中，通过统一信息编码的方式令主数据标准化。

基于上述改进的技术方案，使本发明达到了破除企业信息孤岛现象、规范业务管理流程、挖掘数据内在价值等技术目的。

本发明还公开了一种数据资源的管理系统，所述管理系统包括业务数据积累模块、抽取转换加载模块、主数据管理模块及元数据管理模块；

所述业务数据积累模块，用于在进行业务工作的过程中，不断积累并存储产生的业务数据；

所述抽取转换加载模块，用于将业务数据中的主数据导入主数据管理模块、将从业务数据中抽取的技术元数据导入元数据管理模块，还用于对主数据管理模块中的主数据进行抽取、整合及清洗处理，并用于将清洗后的主数据进行发布；

所述主数据管理模块，用于对所述主数据进行统一存储、管理及监控；

所述元数据管理模块，用于对所述技术元数据进行统一存储、管理及监控。

通过对业务数据的积累和提炼、对主数据的处理等技术手段，本发明有效提高可数据资源的透明度和数据的可获取性，从而有效的解决了常规的数据资源管理存在的混乱问题和可信度问题，实现企业内部数据的融会贯通，从而加强了各部门之间的协作效率，有效降低城镇燃气企业的运营成本。

本发明在功能上可实现对数据的收集、组织、存储、制定数据标准、监管质量等目的，在内容上可实现包含对企业核心的、最需共享的主数据的管理和对元数据的管理。同时，本发明还能够达到制定企业数据标准的发布、监控数据质量、处理数据质量问题等技术目的。

进一步地，所述管理系统还包括主数据挖掘模块；

所述主数据挖掘模块，用于对清洗后的主数据进行挖掘，并将挖掘后的结果发送至数据仓库、数据交换和集成平台、决策分析支持系统及商务智能系统。

基于上述改进方案，本发明能够实现对数据资源的高效应用，实现对主数据、元数据的统一全生命周期管理，从而保证主数据的准确性、规范性、完整性及唯一性，提高数据质量，有效地为数据资源的深入挖掘工作提供支撑。

进一步地，所述抽取转换加载模块，还用于对数据传输过程进行监控，包括对主数据导出过程、对技术元数据抽取过程、对主数据的抽取、整合、清洗处理过程及对清洗后的主数据的发布过程进行监控。

通过对数据传输过程的监控，本发明有效提高了燃气企业的安全管理能力，并可在此基础上进行安全分级和授权工作，从而极大地提高了数据资源的安全性和可靠性。

进一步地，所述管理系统还包括业务数据划分模块；

所述业务数据划分模块，用于将所述业务数据按照主题域的方式进行划分；所述主题域包括战略主题域、规划主题域、计划主题域、投资主题域、科研主题域、财务主题域、营销服务主题域、生产运营主题域、项目主题域、设备主题域、安全主题域、人力资源主题域、物资主题域及综合数据主题域。

本发明保证了燃气企业内部业务主题域和跨业务主题域等相关数据资源的实时性、含义及质量，保证了各系统重复性使用正确的业务数据。此过程整合、存储、同步及维护了企业内业务实体的特定实例，如将企业内财务数据、客户数据等做标准化处理。对于每一个实体，数据资源管理系统中保存的数据就是该数据的最终版本，也是所有信息系统必须参照的终版。

本发明的有益效果为：本发明通过对数据的积累、提炼、分析、挖掘等技术手段有效地解决了数据混乱和可信度问题，以达到提高数据资源的透明度和可获取性，进而达到企业内部数据的融会贯通、加强各部门之间的协作效率、有效降低城镇燃气企业的运营成本等技术目的。本发明能够保证主数据的完整性、一致性及准确性，包括数据集成、数据发布、数据质量、数据治理四大要素。本发明通过从多个业务系统中整合核心的、最需要共享的主数据，集中进行数据清洗和丰富，用服务的方式把统一、完整、准确、有权威性的主数据分发给燃气企业中需要使用这些数据的相关的交易型系统和分析型系统。

附图说明

图1为本发明数据资源的管理方法的流程示意图。

图2为本发明涉及数据的流向示意图。

图3为本发明数据资源的管理系统的结构示意图。

具体实施方式

下面结合说明书附图对本发明数据资源的管理方法及管理系统进行详细的解释和说明。

实施例一：

如图1、图2所示，本实施例公开了一种数据资源的管理方法，数据资源是维持现代企业正常运行的基本养分，其形成基于企业业务工作产生的数据，对于“数据资源”，应理解为包括主数据、元数据等对企业正常运行有帮助的所有相关数据。本实施例中，企业业务工作具体指燃气企业业务工作。具体来说，该管理方法包括如下步骤。

业务数据积累步骤，在进行业务工作的过程中，不断积累产生的业务数据；本实施例中，业务工作包括企业生产业务工作、物料转移业务工作、事务处理业务工作、现金流动业务工作及客户交互业务工作，上述的业务工作过程产生的数据正日益成为企业的重要资产，也是提升企业竞争力的基础要素。

本实施例中，该管理方法还包括业务数据划分步骤；具体来说，业务数据划分步骤：在积累业务数据步骤后，将业务数据按照主题域的方式进行划分；主题域包括战略主题域、规划主题域、计划主题域、投资主题域、科研主题域、财务主题域、营销服务主题域、生产运营主题域、项目主题域、设备主题域、安全主题域、人力资源主题域、物资主题域及综合数据主题域等。

业务数据提炼步骤，对所有的业务数据进行调查和分析，识别、梳理主数据后制定主数据标准，具体的主数据标准根据实际情况的需要而合理的制定，从业务数据中导出静态数据和共享数据，将静态数据和共享数据作为主数据，并抽取业务数据中的技术元数据；为针对性地进行主数据和技术元数据的处理，本实施例在业务数据提炼步骤中，在不同的主题域下分别进行主数据导出操作和技术元数据抽取操作，从而实现在前期的数据处理过程中即实现了初步的分类，以便于后期的处理。

在上述步骤中，本发明的管理方法还包括传输过程监控步骤；具体地，传输过程监控步骤包括对主数据导出过程、对技术元数据抽取过程、对主数据的抽取、整合、清洗处理过程及对清洗后的主数据的发布过程进行监控；根据监控结果确定用于存储当前被监控数据的数据库，比如按照数据的用途或类型分别进行存储等，实现具有不同作用的数据之间的区分。

主数据处理步骤，分析和整理主数据后，令主数据标准化；参照技术元数据，对主数据进行抽取、整合及清洗处理，并将清洗后的主数据进行发布，比如，将清洗后的主数据发布给各个业务系统使用，对于燃气企业来说，业务系统可包括客服系统、销售计费系统、资金管理系统、财务核算管理系统、物资管理系统、工程项目管理系统、设备资产管理系统、人力资源系统等。本实施例中，为提高抽取、整合及清洗的效果，在主数据处理步骤中，同时参照配置数据、规则数据及技术元数据，对主数据进行抽取、整合及清洗处理，对处理过程中产生的错误数据进行存储；其中，配置数据和规则数据通过手工录入的方式获取。本步骤中，还包括对清洗后的主数据进行挖掘的步骤，并将挖掘后的结果发送至数据仓库、数据交换和集成平台、决策分析支持系统及商务智能(bi)系统等，从而实现对数据资源的深入挖掘和利用。

针对燃气企业来说，本发明通过积累、分析、挖掘燃气企业生产数据和经营数据，以实现在应急抢修、事故预防、管道完整性管理、优化维检修策略、物资采购与调度等方面有效提高城镇燃气企业的安全管理能力；基于上述的方案，本发明通过提高数据资源的透明度和数据的可获取性，实现企业内部数据的融会贯通，从而加强了各部门之间的协作效率，有效降低城镇燃气企业的运营成本；另外，通过对城镇燃气企业大量基于用户的信息的挖掘、整合及定制化分析，可有效地实现指导创新燃气用户服务等技术目的。

本发明有效提高了数据质量，建立统一的主数据管理和运维机制，为各类基层业务经办单元准确提供统一的基本信息；建立数据资产目录，为数据资源管理系统的规划、建设、扩充及数据交换等提供元数据管理服务；建立一系列制度、流程作为各数据库建立需遵循的标准规范；并基于数据标准进行数据质量的监控、评估及优化，可以有效地开展数据安全分级和授权工作。

实施例二：

如图2、图3所示，基于与实施例一中涉及的数据资源的管理方法的相同的发明构思，本实施例对应提出了一种数据资源的管理系统，该管理系统包括业务数据积累模块、抽取转换加载模块、主数据管理模块、元数据管理模块、主数据挖掘模块及业务数据划分模块等。

业务数据积累模块，用于在进行业务工作的过程中，不断积累并存储产生的业务数据；本实施例中，业务工作可包括企业生产业务工作、物料转移业务工作、事务处理业务工作、现金流动业务工作以及客户交互业务工作等。

抽取转换加载模块，用于将业务数据中的主数据导入主数据管理模块、将从业务数据中抽取的技术元数据导入元数据管理模块，还用于对主数据管理模块中的主数据进行抽取、整合及清洗处理，并用于将清洗后的主数据进行发布；在本实施例中，抽取转换加载模块，还用于对数据传输过程进行监控，包括对主数据导出过程、对技术元数据抽取过程、对主数据的抽取、整合、清洗处理过程及对清洗后的主数据的发布过程进行监控。本实施例中，抽取转换加载模块具体是通过etl(extract-transform-load)工具实现，配置数据是指etl工具抽取等过程所需的清洗规则、数据库映射等配置数据。

主数据管理模块，用于对主数据进行统一集中的存储、管理及监控，从而形成了企业“黄金数据”。当然，除了抽取获得的主数据外，本发明的主数据管理模块也可支持手工录入、文件批量导入等功能，实现将一些其他方式得到的主数据手工录入至主数据管理模块，与通过导出的主数据一起通过主数据管理模块进行统一的存储和管理。

元数据管理模块，用于对技术元数据进行统一存储、管理及监控，本实施例中，元数据管理模块还包括对业务元数据进行管理，业务元数据也用于保证主数据质量，业务元数据可通过手工录入至管理系统中，可理解为本发明涉及的元数据包括技术元数据和业务元数据。元数据是保证数据质量的关键，通过元数据管理模块自动采集燃气企业已建和正在建的多个信息系统中的数据库对象信息，可管理企业数据资产的流程，并能集成、链接及集中管理多个来源的元数据，便于在燃气企业全局范围内妥善维护、分析、消费及解释数据。元数据管理模块通过重复使用有用数据，加强了一致性并消除了冗余。通过减少冗余或未使用数据，推进了硬软件整合并节省了成本。具体实施时，元数据管理模块中可构建中央元数据资料库，用于保存企业知识资产，降低了人员特别是关键员工流动带来的知识资产流失风险，且集成的元数据可帮助燃气企业了解数据类型、数据存储位置及其含义，从而最大限度降低信息复杂性、增加企业向业务用户进行数据交付的信心。

主数据挖掘模块，用于对清洗后的主数据进行挖掘，并将挖掘后的结果发送至数据仓库、数据交换和集成平台、决策分析支持系统及商务智能系统。本实施例通过对城镇燃气企业大量基于用户的信息的挖掘、整合及定制化分析，可有效地实现指导创新燃气用户服务等技术目的。

业务数据划分模块，也用于将业务数据按照主题域的方式进行划分；主题域包括战略主题域、规划主题域、计划主题域、投资主题域、科研主题域、财务主题域、营销服务主题域、生产运营主题域、项目主题域、设备主题域、安全主题域、人力资源主题域、物资主题域及综合数据主题域。

不仅如此，在本发明的技术启示下，还可根据需要设置数据质量管理模块、数据标准管理模块、数据安全管理模块、门户页面管理模块等，以完成对数据标准、数据质量、数据安全、门户页面等多个方面进行针对性管理。

比如，通过数据质量管理模块，可深化本发明的数据质量管理能力、构建业务系统联动机制，实现了业务系统核心数据稽核、业务系统元数据稽核、数据实体检查、处理过程检查及关键指标检查，实现了业务系统的全流程数据质量监控，可提前发现和及时处理数据质量问题。并根据数据质量评估指标和评估方法，实现对业务接口基础数据质量的评价，可发现数据质量潜在的问题和规律，作为数据质量改进的参考和依据。通过汇总、梳理、统计及分析数据质量管理模块的各种信息，可提供全面及时的数据质量报告，预防和控制扩大错误范围，便于数据质量管理信息总结、知识沉淀及经验重用。

再比如，通过数据标准管理模块，实现标准从计划下达、文本编写、意见征求、文件审核、文件发布、文件受控的全生命周期管理。针对燃气企业的企业需求，实现标准流程的定制，通过制定元数据的属性和代码，从元数据的描述方法、字段名命名规则、数据类型及格式的表示法三方面规范元数据的标准，该模块可实现流程定制及信息加密功能，通过结合互联网技术、数据库、信息加密技术，在数据标准化方面达到了以下作用：(1)实现标准化各项工作的集成管理和对标准信息进行管理统计。标准管理人员可对各部门应用的标准进行审核，提供网上标准借阅、标准订购等功能；(2)实现信息数据的及时传递，解决了上下级管理部门间标准化信息无法及时共享和传递的问题，并实现各部门通过浏览器浏览标准全文文本，能为各部门提供通用、灵活的检索途径，进行快速检索查询，(3)能够采集管理新标准文献，对新标准及时建档，完成新旧标准信息的替代工作，并规范业务流程和数据信息流程，达到按规定办理业务，申报材料违反规定的可通过系统的数据信息过滤进行提示，并由本发明提供强大的检索和分析功能，有效利用有价值信息，支持决策。

再比如，通过数据安全管理模块，可利用身份认证和访问控制、数据内容安全、监控审计三大安全保障技术，在应用安全、数据库安全、资源访问安全、存储安全四方面对燃气数据资源管理系统提供数据安全保障，实现了数据资源管理系统数据安全进行统一管理、集中监视、实时跟踪的统一平台，并主要提供应用访问安全、数据库安全管理、存储安全监控、数据安全等级管理、安全事件管理、安全事件知识库管理等能力。

在系统技术框架上，该数据资源的管理系统可以分为：操作系统层，数据抽取、整合、清洗、发布层，基础平台层及应用层。在本实施例中，操作系统层可通过ibmaix7.1操作系统实现；数据抽取、整合、清洗、发布层通过etl工具实现，etl工具具体可采用oracledataintegrator，并为oracledataintegrator部署oracledatabase11g数据库和独立的weblogic服务器，使用unieapdataexchange作为辅助etl工具；对于基础平台层及应用层，本实施例部署oracleebs套件，启用oracleproducthub模块对物资主数据进行管理、分发，而其他类别的主数据将基于unieap平台采用java技术进行二次开发实现，并采用weblogic套件做为web服务器，其中，物资主数据的存储使用oracleebs套件中自带的oracledatabase数据库，其他类别主数据存储使用独立部署的oracledatabase11g数据库，在实际应用中业务人员希望展现的是完整的主数据视图，因此本实施例中物资主数据库和其他类别的主数据库采用db-link技术进行数据库共享。本发明涉及的资源管理系统基于unieap平台采用java技术，开发元数据管理模块和门户页面管理模块，采用weblogic套件作为web服务器，分别部署，而元数据管理模块和门户页面管理模块所涉及的数据存储到主数据(物资以外)数据库中。

在本说明书的描述中，参考术语“本实施例”、“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明实质内容上所作的任何修改、等同替换和简单改进等，均应包含在本发明的保护范围之内。