一种数据融合的方法
【专利摘要】一种数据融合的方法，实现对结构化数据资源、非结构化数据资源、海量历史/准实时数据资源和电网空间四类数据资源的监管,包括以下步骤：1)现状与需求调研；2)数据资源梳理；3)数据资源管理；4)设计融合技术方案；5)设计融合应用场景；6)验证融合应用场景。本发明通过梳理四类数据资源，形成公司业务、应用、数据三层资源视图构成的全景视图，并通过构建统一关联模型，为企业各业务条线数据提供集成方案，彻底实现系统间、数据、图形、文件的一致性交换，不仅可有效支持设备异动、营配融合贯通等复杂业务，还将形成一系列数据维护管理标准和规范。
【专利说明】
一种数据融合的方法
技术领域
[0001]本发明涉及数据管理方法技术领域，具体地说是一种数据融合的方法。
【背景技术】
[0002]随着信息化建设工作的推进，国家电网公司相继建成了结构化数据中心、非结构化数据管理平台、海量历史/准实时数据管理平台及电网GIS数据平台(以下简称“四类数据中心”)，并为业务系统提供相应的共享交换、分析展示等数据服务。
[0003]自SG186工程、SG-ERP建设以来，建设了100余套业务系统，形成了大量、复杂的数据资源，而目前在企业级数据资源管理方面，没有形成统一的数据资源管理机制，技术支撑手段偏弱，因此公司迫切需要研究一整套适合于电力公司业务特点的企业级数据资源管理机制以及数据融合方案，实现对企业级数据资源的有效管理和综合利用，充分挖掘数据潜在价值，让公司各层人员能做到心中有“数”。
[0004]当前，在国家电网公司建设坚强智能电网和SG-ERP工程的新形势下，为了更好的支撑三集五大体系建设，构建了纵向贯通横向集成的一体化信息平台，建成了覆盖公司总部、省市、地市的业务信息系统，产生了大量多样化的数据。如何实现对企业级数据资源的有效管理和应用，以促进公司管理水平提升，是现阶段及未来需面临的一项巨大挑战。
【发明内容】
[0005]为了解决上述问题，本发明提供了一种数据融合的方法。
[0006]本发明解决其技术问题所采取的技术方案是:一种数据融合的方法，实现对结构化数据资源、非结构化数据资源、海量历史/准实时数据资源和电网空间四类数据资源的监管，其特征是，包括以下步骤:
[0007]步骤I)、对各业务条线、业务流程、业务应用、平台保障体系的建设、应用情况进行分析，实现对主要业务及应用系统现状和信息化基础支撑现状调研；
[0008]步骤2)、对企业全业务的信息进行数据资源梳理；
[0009]步骤3)、提出适应于公司的数据资源管理体系，明确数据管理的职责定位、管理范围及实施蓝图，从统一标准、统一接口、统一管理和统一应用四个方面推进数据管理工作；
[0010]步骤4)、设计融合技术方案；
[0011]步骤5)、根据公司数据资源梳理成果，结合四类数据固有的特征，分析与设计典型融合场景；
[0012]步骤6)、验证融合应用场景。
[0013]进一步地，步骤I)中所述的主要业务及应用系统现状调研涉及的对象包括人资集约化、财务集约化、物资集约化、大规划、大建设、大运行、大检修、大营销、协调办公和综合管理相关业务应用系统，涉及的调研内容包括各业务系统的业务现状调研、应用现状调研和数据现状调研；
[0014]信息化基础支撑现状调研的对象涉及数据中心、集成服务和信息展现相关信息支撑系统，涉及的调研内容包括各信息支撑系统的建设情况及应用情况。
[0015]进一步地，所述的步骤2)具体为:以业务现状为出发点，结合国家电网SG_EA企业架构的业务架构、应用架构和数据架构，制定行成以业务流程为主线，逐渐关联应用、数据的梳理模版、进而开展覆盖企业全业务的信息梳理工作。
[0016]进一步地，步骤3)中:
[0017]统一标准具体为:基于国网公司公共信息模型，构建四类数据中心统一的信息模型，实现语义统一;建立四类数据中心主数据标准，确保一个对象不出现多个定义，各个平台对数据的理解统一;制定统一的技术规范，规范四类数据中心平台的数据采集、数据处理和数据应用；
[0018]统一接口具体为:统一接口服务功能是数据资源管理工具设计中的一个功能模块，实现统一接口管理，快速建设新系统、推出新业务，快速完成系统与系统之间的数据集成；
[0019]统一管理具体为:在现有数据运维机制基础上，健全数据管理体系，建立数据认责机制，从组织与职责分工、管理制度、流程规范方面，全面保障四类数据中心融合的建设及运营;根据数据资源管理的需求，拓展数据资源管理工具功能，加强技术支撑；
[0020]统一应用具体为:遵循数据中心典型设计经验，对现有数据接入和访问技术进行规范，统一技术标准;建立统一数据分析展现平台，支持对数据的处理、数据分析、数据挖掘和展现功能。
[0021]进一步地，所述的数据管理体系具体为:建立完善的数据资源管理组织;完善执行细则，在概要设计阶段加强数据模型评审；在系统上线阶段要求实施项目组提供完整数据模型与元数据;在运行阶段加强数据模型变更管理。
[0022]进一步地，步骤4)中所述的技术方案具体包括数据集成、数据分析、数据展现和数据资源管理；
[0023]所述的数据集成指:目标数据库开放数据库表，源业务应用通过访问数据库将业务数据直接写入目标数据库；
[0024]所述的数据分析指:计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用；
[0025]所述的数据展现指:采用国网统推的大屏可视化平台进行展现，包括数据管理服务平台和信息应用综合查询分析系统(IAS);
[0026]所述的数据资源管理具体指:数据资源管理平台，包括对数据中心各个分层中的元数据进行管理的元数据管理和数据资源管理工具组件之一的主数据管理；
[0027]所述的元数据管理的管理内容包括模型、接口、编码、集成场景、数据区域、ETL程序、分析模型和分析数据模型；管理功能包括元数据检索、元数据获取、血缘分析、影响分析、数据地图和四大数据中心的资产台账管理功能；
[0028]所述的主数据管理的管理内容是核心的业务数据，包括各个业务系统中的实体；管理的功能包括统一主数据标准、提升主数据质量、实现主数据协同、提炼主数据价值。
[0029]进一步地，所述的数据集成的访问方式具体过程包括:
[0030]步骤41)、数据中心提供具有写权限的ODS及数据存储模型；
[0031]步骤42)、各业务应用系统根据数据中心编码规范完成数据组织及编码转换，根据相应的数据存储模型开发接口程序，实现业务数据推送至数据中心。
[0032]进一步地，所述的分析与设计典型融合场景具体包括:
[0033]步骤51)、分析融合场景的需求；
[0034]步骤52)、设计融合场景方案；
[0035]步骤53)、构建融合场景应用；
[0036]步骤54)、部署融合场景应用。
[0037]进一步地，所述的步骤51)具体指:基于业务与数据资源梳理成果，根据数据资源梳理和管理的成果，分析四类资源之间的关系，选取具有典型四类数据融合特征的应用场景，分析业务需求、功能需求和数据需求；
[0038]所述的步骤52)具体指:根据国家电网公司SG-EA设计方法论，在完成数据融合场景需求分析的基础上，设计应用场景的业务架构、应用架构和数据架构；
[0039]所述的步骤53)具体指:根据需求与设计，配置数据接口与展现场景，对个别配置无法实现的功能需求，通过定制化开发实现；
[0040]所述的步骤54)具体指:升级数据资源工具，并基于新版工具开展数据接入联调，建立数据融合关联，实施融合场景应用。
[0041]进一步地，所述的验证融合应用场景具体指:利用数据资源管理平台及可视化展现平台，实现对四类数据资源的统一管理及展现，验证四类数据中心融合方法。
[0042]本发明的有益效果是:本发明提供的一种数据融合的方法，从业务角度梳理四类数据资源，形成公司业务、应用、数据三层资源视图构成的全景视图，并通过构建统一关联模型，为企业各业务条线数据提供集成方案，彻底实现系统间、数据、图形、文件的一致性交换，不仅可有效支持设备异动、营配融合贯通等复杂业务，还将形成一系列数据维护管理标准和规范，可为各类系统的升级改造、业务融合提供信息基础。
【附图说明】
[0043 ]图1为本发明的流程图；
[0044]图2为本发明分析与设计典型融合场景流程图；
【具体实施方式】
[0045 ] 如图1至图2所示，本发明包括以下步骤:步骤I )、对各业务条线、业务流程、业务应用、平台保障体系的建设、应用情况进行分析，实现对主要业务及应用系统现状和信息化基础支撑现状调研；
[0046]步骤2)、对企业全业务的信息进行数据资源梳理；
[0047]步骤3)、提出适应于公司的数据资源管理体系，明确数据管理的职责定位、管理范围及实施蓝图，从统一标准、统一接口、统一管理和统一应用四个方面推进数据管理工作；
[0048]步骤4)、设计融合技术方案；
[0049]步骤5)、根据公司数据资源梳理成果，结合四类数据固有的特征，分析与设计典型融合场景；
[0050]步骤6)、验证融合应用场景。
[0051]本发明实现了对结构化数据资源、非结构化数据资源、海量历史/准实时数据资源和电网空间四类数据资源的监管。
[0052]步骤I)中所述的主要业务及应用系统现状调研涉及的对象包括人资集约化、财务集约化、物资集约化、大规划、大建设、大运行、大检修、大营销、协调办公和综合管理相关业务应用系统，涉及的调研内容包括各业务系统的业务现状调研、应用现状调研和数据现状调研；
[0053]信息化基础支撑现状调研的对象涉及数据中心、集成服务和信息展现相关信息支撑系统，涉及的调研内容包括各信息支撑系统的建设情况及应用情况。
[0054]步骤2)具体为:以业务现状为出发点，结合国家电网SG_EA(企业架构)的3层架构(业务架构、应用架构、数据架构)，制定行成以业务流程为主线，逐渐关联应用、数据的梳理模版、进而开展覆盖企业全业务的信息梳理工作。
[0055]步骤3)中
[0056]统一标准具体为:基于国网公司公共信息模型(SG-CIM)，构建四类数据中心统一的信息模型，实现语义统一；建立四类数据中心主数据标准，确保一个对象不出现多个定义，各个平台对数据的理解统一；制定统一的技术规范，规范四类数据中心平台的数据采集、数据处理和数据应用；
[0057]统一接口具体为:统一接口服务功能是数据资源管理工具设计中的一个功能模块，是实现统一接口管理的有效方式，不影响原有的系统，快速建设新系统、推出新业务，使系统能够重用已有的资源，不需删除现有系统功能及接口，快速完成系统与系统之间的数据集成；
[0058]统一管理具体为:在现有数据运维机制基础上，健全数据管理体系，建立数据认责机制，从组织与职责分工、管理制度、流程规范等方面，全面保障四类数据中心融合的建设及运营;根据数据资源管理的需求，拓展数据资源管理工具功能，加强技术支撑；
[0059]统一应用具体为:遵循数据中心典型设计经验，对现有数据接入和访问技术进行规范，统一技术标准;建立统一数据分析展现平台，设计一套能够满足现有公司数据分析需求的公共数据展现平台，支持对数据的处理、数据分析、数据挖掘和展现功能的专有平台。
[0060]数据管理体系具体为:建立完善的数据资源管理组织;完善执行细则，在概要设计阶段加强数据模型评审;在系统上线阶段要求实施项目组提供完整数据模型与元数据;在运行阶段加强数据模型变更管理。
[0061]如何确保数据管理工作有序开展，需要公司各个层面的理解与支持，建立完善的数据资源管理组织，是保障数据资源管理持续稳定开展的必要前提，明确的职责分工，能够减少不必要的投入，提高使用效率；同时，在开展实施数据管理方面，需要进一步完善执行细则，如在概要设计阶段加强数据模型评审；在系统上线阶段要求实施项目组提供完整数据模型与元数据;在运行阶段加强数据模型变更管理，构建数据治理体系，利用信息化手段提升数据治理综合能力，形成量化的闭环式数据治理长效机制，提升数据质量。
[0062]步骤4)中技术方案具体包括数据集成、数据分析、数据展现和数据资源管理；
[0063]数据集成指:目标数据库开放数据库表写入权限，源业务应用通过访问数据库将业务数据直接写入目标数据库;数据集成的访问方式具体过程包括:
[0064]步骤41)、数据中心提供具有写权限的ODS用户及数据存储模型；
[0065]步骤42)、各业务应用系统根据数据中心编码规范完成数据组织及编码转换，根据相应的数据存储模型开发接口程序，实现业务数据推送至数据中心。
[0066]数据分析指:计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用；
[0067]数据展现指:采用国网统推的大屏可视化平台，包含数据管理服务平台和信息应用综合查询分析系统(IAS)，进行展现；
[0068]数据资源管理具体指:数据资源管理平台，包括对数据中心各个分层中的元数据进行管理的元数据管理和数据资源管理工具组件之一的主数据管理；
[0069]元数据管理的管理内容包括模型、接口、编码、集成场景、数据区域、ETL程序、分析(挖掘)模型和分析数据模型;管理功能包括元数据检索、元数据获取、血缘分析、影响分析、数据地图和四大数据中心的资产台账管理功能;可自定义扩充元模型，以多维度、多视角展现数据中心数据资产全景。
[0070]主数据管理的管理内容是公司核心的业务数据，包括各个业务系统中的实体;管理的功能包括统一主数据标准、提升主数据质量、实现主数据协同、提炼主数据价值。管理好主数据，企业将拥有一个统一的主数据访问平台，一个集中的、内容丰富和干净的数据中心，能够为各业务部门提供一致的完整的共享信息平台，为企业业务流程和决策系统提供了一个真实的数据访问通道。主数据管理作为数据资源管理工具的组件之一，满足基于数据中心进行主数据清洗转换、全生命周期管理(查询、申请、审核、下载)、共享等。
[0071]数据资源管理实现的功能有数据质量管理、数据调度管理、数据链路监控、数据安全管理、数据访问服务、计算资源共享服务和分析资源共享服务。
[0072]根据公司数据资源梳理成果，结合四类数据固有的特征，开展典型融合场景需求分析与设计，通过构建数据资源管理平台及可视化展现平台，实现对四类数据资源的统一管理及展现。
[0073]分析与设计典型融合场景具体包括:
[0074]步骤51)、分析融合场景的需求；
[0075]步骤52)、设计融合场景方案；
[0076]步骤53)、构建融合场景应用；
[0077]步骤54)、部署融合场景应用。
[0078]步骤51)具体指:基于业务与数据资源梳理成果，根据数据资源梳理和管理的成果，分析四类资源之间的关系，选取具有典型四类数据融合特征的应用场景，分析业务需求、功能需求和数据需求；
[0079]步骤52)具体指:根据国家电网公司SG-EA设计方法论，在完成数据融合场景需求分析的基础上，设计应用场景的业务架构、应用架构和数据架构；
[0080]步骤53)具体指:根据需求与设计，配置数据接口与展现场景，对个别配置无法实现的功能需求，通过定制化开发实现；
[0081 ]步骤54)具体指:升级数据资源工具，并基于新版工具开展数据接入联调，建立数据融合关联，实施融合场景应用。
[0082]验证融合应用场景具体指:利用数据资源管理平台及可视化展现平台，实现对四类数据资源的统一管理及展现，验证四类数据中心融合方法。
[0083]上述虽然结合附图对本发明的【具体实施方式】进行了描述，但并非对本发明保护范围的限制，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
【主权项】
1.一种数据融合的方法，实现对结构化数据资源、非结构化数据资源、海量历史/准实时数据资源和电网空间四类数据资源的监管，其特征是，包括以下步骤: 步骤I)、对各业务条线、业务流程、业务应用、平台保障体系的建设、应用情况进行分析，实现对主要业务及应用系统现状和信息化基础支撑现状调研； 步骤2)、对企业全业务的信息进行数据资源梳理； 步骤3)、提出适应于公司的数据资源管理体系，明确数据管理的职责定位、管理范围及实施蓝图，从统一标准、统一接口、统一管理和统一应用四个方面推进数据管理工作； 步骤4)、设计融合技术方案； 步骤5)、根据公司数据资源梳理成果，结合四类数据固有的特征，分析与设计典型融合场景； 步骤6)、验证融合应用场景。2.根据权利要求1所述的一种数据融合的方法，其特征是，步骤I)中所述的主要业务及应用系统现状调研涉及的对象包括人资集约化、财务集约化、物资集约化、大规划、大建设、大运行、大检修、大营销、协调办公和综合管理相关业务应用系统，涉及的调研内容包括各业务系统的业务现状调研、应用现状调研和数据现状调研； 信息化基础支撑现状调研的对象涉及数据中心、集成服务和信息展现相关信息支撑系统，涉及的调研内容包括各信息支撑系统的建设情况及应用情况。3.根据权利要求1所述的一种数据融合的方法，其特征是，所述的步骤2)具体为:以业务现状为出发点，结合国家电网SG_EA企业架构的业务架构、应用架构和数据架构，制定行成以业务流程为主线，逐渐关联应用、数据的梳理模版、进而开展覆盖企业全业务的信息梳理工作。4.根据权利要求1所述的一种数据融合的方法，其特征是，步骤3)中: 统一标准具体为:基于国网公司公共信息模型，构建四类数据中心统一的信息模型，实现语义统一;建立四类数据中心主数据标准，确保一个对象不出现多个定义，各个平台对数据的理解统一;制定统一的技术规范，规范四类数据中心平台的数据采集、数据处理和数据应用； 统一接口具体为:统一接口服务功能是数据资源管理工具设计中的一个功能模块，实现统一接口管理，快速建设新系统、推出新业务，快速完成系统与系统之间的数据集成； 统一管理具体为:在现有数据运维机制基础上，健全数据管理体系，建立数据认责机制，从组织与职责分工、管理制度、流程规范方面，全面保障四类数据中心融合的建设及运营;根据数据资源管理的需求，拓展数据资源管理工具功能，加强技术支撑； 统一应用具体为:遵循数据中心典型设计经验，对现有数据接入和访问技术进行规范，统一技术标准;建立统一数据分析展现平台，支持对数据的处理、数据分析、数据挖掘和展现功能。5.根据权利要求4所述的一种数据融合的方法，其特征是，所述的数据管理体系具体为:建立完善的数据资源管理组织;完善执行细则，在概要设计阶段加强数据模型评审;在系统上线阶段要求实施项目组提供完整数据模型与元数据;在运行阶段加强数据模型变更管理。6.根据权利要求1所述的一种数据融合的方法，其特征是，步骤4)中所述的技术方案具体包括数据集成、数据分析、数据展现和数据资源管理； 所述的数据集成指:目标数据库开放数据库表，源业务应用通过访问数据库将业务数据直接写入目标数据库； 所述的数据分析指:计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用； 所述的数据展现指:采用国网统推的大屏可视化平台进行展现，包括数据管理服务平台和信息应用综合查询分析系统(IAS); 所述的数据资源管理具体指:数据资源管理平台，包括对数据中心各个分层中的元数据进行管理的元数据管理和数据资源管理工具组件之一的主数据管理； 所述的元数据管理的管理内容包括模型、接口、编码、集成场景、数据区域、ETL程序、分析模型和分析数据模型;管理功能包括元数据检索、元数据获取、血缘分析、影响分析、数据地图和四大数据中心的资产台账管理功能； 所述的主数据管理的管理内容是核心的业务数据，包括各个业务系统中的实体;管理的功能包括统一主数据标准、提升主数据质量、实现主数据协同、提炼主数据价值。7.根据权利要求6所述的一种数据融合的方法，其特征是，所述的数据集成的访问方式具体过程包括: 步骤41 )、数据中心提供具有写权限的ODS及数据存储模型； 步骤42)、各业务应用系统根据数据中心编码规范完成数据组织及编码转换，根据相应的数据存储模型开发接口程序，实现业务数据推送至数据中心。8.根据权利要求1所述的一种数据融合的方法，其特征是，所述的分析与设计典型融合场景具体包括: 步骤51)、分析融合场景的需求； 步骤52)、设计融合场景方案； 步骤53)、构建融合场景应用； 步骤54)、部署融合场景应用。9.根据权利要求8所述的一种数据融合的方法，其特征是，所述的步骤51)具体指:基于业务与数据资源梳理成果，根据数据资源梳理和管理的成果，分析四类资源之间的关系，选取具有典型四类数据融合特征的应用场景，分析业务需求、功能需求和数据需求； 所述的步骤52)具体指:根据国家电网公司SG-EA设计方法论，在完成数据融合场景需求分析的基础上，设计应用场景的业务架构、应用架构和数据架构； 所述的步骤53)具体指:根据需求与设计，配置数据接口与展现场景，对个别配置无法实现的功能需求，通过定制化开发实现； 所述的步骤54)具体指:升级数据资源工具，并基于新版工具开展数据接入联调，建立数据融合关联，实施融合场景应用。10.根据权利要求6所述的一种数据融合的方法，其特征是，所述的验证融合应用场景具体指:利用数据资源管理平台及可视化展现平台，实现对四类数据资源的统一管理及展现，验证四类数据中心融合方法。
【文档编号】G06F17/30GK105893593SQ201610239500
【公开日】2016年8月24日
【申请日】2016年4月18日
【发明人】严莉, 曲延盛, 张丞, 林鹏, 王丞远, 刘范范, 王岳, 赵忱, 李刚, 赵晓, 赵阳, 宫淑卿, 付本娟, 汤耀庭, 韩圣亚, 张悦, 张宏基
【申请人】国网山东省电力公司信息通信公司, 国家电网公司