一种基于SOA的电网数据资产管理平台的实现方法与流程

本发明属于电网数据资产管理技术领域，具体是涉及一种基于SOA的电网数据资产管理平台的实现方法。

背景技术：

随着信息通信技术的不断进步，其对中国电力工业的价值贡献正处于量变到质变的关键节点，而变化的本质就是电力信息通信与电力生产以及企业经营管理的深度融合，其最终表现形式是电力数据的爆发性增长，即电力大数据。经过多年的信息化建设，电网企业已经走过了以流程为中心的阶段，进入以数据为中心的阶段，构建数字化企业，提升企业运营效率是电网发展的迫切需求。随着电网企业经营业务发展及信息化水平的提高，急需高效管理、分析和利用不断产生的各类海量业务数据，将数据逐步转化为核心资产，充分挖掘数据资产价值，将企业管理从“业务驱动”转向“数据驱动”。因此，电网企业逐渐认识到数据时永恒不变的，是企业始终存在的最有价值的资产。

电网企业明确提出要将数据作为公司战略资产进行管理，树立数据资产管理理念，消除专业壁垒，实现企业数据资产利用效益的最大化。运营数据资产的归口管理部门，要加强运营数据资产整合管理和分析利用，挖掘数据资产价值。然而当前的管理手段和机制远远无法满足大数据平台对海量数据资产的管理能力要求，主要包括：

1)缺乏全局物理视图：如想要知道某一个数据库上面有多少数据表，有多少数据索引，有多少视图时缺乏可视化视图；

2)缺乏不同维度字典视图及相应IT化支持：在已存在系统中，有哪些关键业务数据，数据资产所有者是谁，谁做过修改或变更；

3)缺乏问题溯源：某张报表的A指标是如何算出来的，原始数据来源是哪里；

4)缺乏变更管理：为什么这个月数据库里面又多了100张报表，为什么这张表的一个字段被删掉了，什么时候被删掉的；

5)缺乏数据运行态管理：某张基础表的数据量有多少，数据增长情况如何；

6)缺乏审计稽核机制等，在设计文档中某一个表有10个字段，然后在数据库里面该表为什么有12个字段；

企业数据资产管理的主要对象是数据，面对海量业务数据，仅靠传统线下手段，数据台账管理、数据监测、数据模型、数据溯源等资产管理工作将难以开展，无法保证数据资产管理工作效率，因此亟需开发数据资产管理平台，从数据资产核心工作出发，依托支撑平台，实现对电网数据资产的全生命周期的监控和管理。

技术实现要素：

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于SOA的电网数据资产管理平台的实现方法，将企业数据作为核心资产管理，通过对运营数据的全过程有效管理和合理应用，不断挖掘数据价值，实现数据向信息的转化，继而形成业务价值，实现核心业务能力提升、信息价值链扩展和企业运营模式优化；同时，为深化数据治理工作、提升数据的质量，为公司及时、快速的监控企业经营健康情况提供有效途径。

技术方案：为实现上述目的，本发明的一种基于SOA的电网数据资产管理平台的实现方法，提供一种基于SOA的电网数据资产管理平台系统，该系统包括依次互通连接的数据存储层、数据持久层、技术组件层、应用组件层和展现层，所述应用组件层包括基本信息管理模块、全局视图管理模块、日常监测管理模块、溯源管理模块、价值评估管理模块和流程管理模块；

所述基本信息管理模块用于对数据资产库中数据资产进行基本信息管理；

所述全局视图管理模块用于展示数据资产全景视图并对该数据资产全景视图进行增删改操作；

所述日常监测管理模块依据数据资产全景视图对数据资产设置关键监控点，并日常监测数据资产关键监控点变化情况和其他情况；

所述溯源管理模块用于从数据资产源头对数据资产进行摸底及梳理，基于梳理结果产生并管理数据资产溯源全图，并对数据资产溯源全图进行动态维护以及溯源下进行查询功能，为数据资产人工监测工作提供支撑；

所述价值评估管理模块基于数据资产价值评估模型对所述数据资产溯源全图中节点分别进行价值评估，并按照价值评估模型计算数据资产价值；

所述流程管理模块用于将审核合格的数据资产进行归档；

所述方法包括以下步骤：

S1数据资产管理平台首先从一组数据资产管理系统中实时采集数据交易信息，并将该交易数据存储在数据资产库中；

S2所述基本信息管理模块对数据资产库中数据资产进行分类、台账、编码、业务对象、数据模型、规则和关联关系进行基本信息管理；

S3所述全局视图管理模块通过图形化方式展示数据资产全景视图并对该数据资产全景视图进行增删改操作；

S4所述日常监测管理模块依据所述数据资产全景视图对数据资产设置关键监控点，并日常监测数据资产关键监控点变化情况和其他情况；

S5所述溯源管理模块从数据资产源头对数据资产进行摸底及梳理，基于梳理结果产生并管理数据资产溯源全图，并对数据资产溯源全图进行动态维护以及溯源下进行查询功能，为数据资产人工监测工作提供支撑；

S6所述价值评估管理模块基于数据资产价值评估模型对所述数据资产溯源全图中节点分别进行价值评估，并按照价值评估模型计算数据资产价值；

S7所述流程管理模块用于将审核合格的数据资产进行归档。

进一步地，所述步骤S1中，通过捕获数据库日志技术实现实时采集数据交易信息，具体包括以下步骤：

S11在源端数据库和目标端数据库分别安装Agent进程；

S12应用系统对源端数据库进行操作，源端数据库中数据交易信息保存至日志文件中，日志文件包括已提交的交易信息、未提交的交易信息和Rollback交易信息；

S13源端数据库Agent进程对日志文件依次进行日志探测、日志分析、日志缓存和交易合成交易操作，将已提交的交易信息传递到传输队列，源端数据库Agent进程对传输队列中已提交的交易信息进行交易传输操作，将已提交的交易信息传送给目标端数据库；

S14目标端数据库Agent进程通过对已提交的交易信息依次进行交易接收、数据装载操作，最后将已提交的交易信息存储至目标端数据库中。

进一步地，所述步骤S13包括以下步骤：

日志探测：源端数据库Agent进程通过定期检查判断源端数据库中是否有新的交易产生，当确认有新的交易产生时，源端数据库Agent进程获取日志文件组及最新日志文件位置，源端数据库Agent进程对最新日志文件位置与上次读取的日志文件位置之间的日志文件进行分析；

日志分析：通过源端数据库Agent进程中日志分析功能对通过日志探测步骤得到的日志文件进行分析，得到源端数据库中全部交易指令，并将该交易指令转换成紧凑数据格式；

日志缓存：通过对源端数据库日志文件分析得到的交易指令保存至日志缓存文件夹中，交易指令通过交叉方式保存至日志缓存文件夹中，一个交易指令包括若干条SQL指令，若干个交易指令中若干条SQL指令通过相互穿插方式存储在日志缓存文件夹中，一个交易指令中若干条SQL指令通过非连续存储方式存储在日志缓存文件夹中，日志缓存文件夹中包括已提交的交易信息、未提交的交易信息和Rollback交易信息；

交易合成：交易合成模块对首先按照交易序号对SQL指令进行划分，然后以交易为单位将已提交的交易信息传递到传输队列，将未提交的交易信息保存在本地，将Rollback交易信息做丢弃处理；

交易传输：源端数据库Agent进程对传输队列中已提交的交易信息进行交易传输操作，传输模块从传输对队列中按照先进先出的原则读取交易信息并将该交易信息封装成TCP/IP数据包，最后将交易数据包传送给目标端数据库的接收模块。

进一步地，在交易合成操作步骤中，交易合成模块通过源端数据库日志文件得到保存的未提交交易信息已经提交时，则将该已提交交易信息发送至传输队列。

进一步地，所述步骤S14包括以下步骤：

交易接收：目标端数据库Agent进程通过对已提交的交易信息进行交易接收操作，接收模块在收到传输的交易数据包后，首先根据该交易数据包的包头描述的包大小进行传输合法性检查判断是否传输完整，如果传输不完整则将记录信息并反馈至源端数据库Agent进程进行重传；如果传输完整则将完整的交易数据包存入接收队列中；

数据装载：由数据装载模块按照交易的顺序从接收队列中装载交易信息至目标端数据库，数据装载模块将接收队列中的交易信息通过调用源端数据库I/O层接口和最底层函数将接收队列中交易信息写入到目标端数据库中。

进一步地，所述步骤S7包括以下步骤：

首先业务部门提出数据资产新增、变更或停用申请；

接着数据资产管理部门对业务部门的数据资产申请需求进行初审，初审未通过则退回业务部门；初审通过则进行细致核对，细致核对后如有问题，则由业务部门进行数据资产整改，业务部门针对数据资产存在的问题，记录数据资产整改情况，控制数据资产版本变更；

对符合准入规则的数据资产，由数据资产管理部门负责审核确认，对审核不通过的数据资产，则退回至业务部门；对审核通过的数据资产，业务部门完善数据资产业务属性，信息部门完善技术属性，形成完整的数据资产基础信息；

数据资产管理部门对完整的数据资产基础信息进行归档。

有益效果：本发明与现有技术比较，具有的优点是：

本发明方法通过捕获数据库日志方法来实现采集数据资产变更信息，以及台账管理、全景视图管理、日常监测管理、溯源管理、价值评估管理和流程管理等数据资产管理核心功能，实现电网数据资产的标准化管理，从业务、技术、管理等视角对数据资产进行全方位体现；针对运营数据资产进行集约、统一、规范管理，开展数据质量的管控与考核，推进数据得到有效的分析和利用，挖掘数据价值，实现数据资产价值最大化；采用数据资产实时监测技术，通过源头把控、关键节点监督、防篡改监控等手段，将企业数据逐步转化为可信、可用、再用的数据资产。

附图说明

图1是电网资产数据管理平台总体架构图。

图2是数据资产管理流程图。

图3是数据资产自动化采集原理图。

图4是数据库交易合成示意图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

本发明提出了一种基于SOA的电网数据资产管理平台的实现方法，该实现方法主要依据基于SOA的电网数据资产管理平台，基于SOA的电网数据资产管理平台现已成功应用那南方电网公司，将企业数据作为核心资产管理，通过对运营数据的全过程有效管理和合理应用，不断挖掘数据价值，实现数据向信息的转化，继而形成业务价值，实现核心业务能力提升，信息价值链扩展和企业运营模式优化；

一种基于于SOA的电网数据资产管理平台的实现方法，提供了一种基于SOA的电网数据资产管理平台系统，参照图1，该系统包括依次互通连接的数据存储层、数据持久层、技术组件层、应用组件层和展现层，应用组件层包括基本信息管理模块、全局视图管理模块、日常监测管理模块、溯源管理模块、价值评估管理模块和流程管理模块，数据资产库置于数据存储层中，由应用层中各功能模块相应对数据资产进行处理，其中，基本信息管理模块用于对数据资产库中数据资产进行基本信息管理；全局视图管理模块用于展示数据资产全景视图并对该数据资产全景视图进行增删改操作；日常监测管理模块依据数据资产全景视图对数据资产设置关键监控点，并日常监测数据资产关键监控点变化情况和其他情况；溯源管理模块用于从数据资产源头对数据资产进行摸底及梳理，基于梳理结果产生并管理数据资产溯源全图，并对数据资产溯源全图进行动态维护以及溯源下进行查询功能，为数据资产人工监测工作提供支撑；价值评估管理模块基于数据资产价值评估模型对所述数据资产溯源全图中节点分别进行价值评估，并按照价值评估模型计算数据资产价值；流程管理模块用于将审核合格的数据资产进行归档；本发明实现方法具体包括以下步骤：

数据资产管理平台首先从资产管理系统、营销管理系统、财务管理系统、人力资源管理系统、协同办公系统、综合管理系统等实时采集数据交易信息，这些数据交易信息保存至置于数据存储层中数据资产库内；基本信息管理模块对数据资产库内的数据资产进行分类、台账、编码、业务对象、数据模型、规则和关联关系进行基本信息管理；然后在该数据资产管理平台系统中的全局视图管理模块通过图形化方式展示数据资产全景视图并可对全景视图进行增、删改操作；接着日常监测管理模块依据数据资产全景视图，对数据资产设置关键监控点，日常监测数据资产关键监控点变化情况、数据及时性、完整性、准确性验证、数据篡改情况等；平台中的数据资产溯源管理模块可以从数据资产源头对数据资产进行摸底及梳理，基于梳理结果管理数据资产溯源全图，对数据溯源图进行动态委会以及溯源下进行查询功能，对数据资产人工监测提供支撑；在数据资产价值评估管理模块中，基于数据资产价值评估模型对数据溯源图中各个节点分别进行价值评估，并按照价值评估模型计算数据资产价值；

最后进入数据资产管理流程，流程管理模块用于将审核合格的数据资产进行归档，如图2所示，数据资产管理流程包括以下步骤，首先业务部门提出数据资产新增、变更或停用申请；数据资产管理部门对业务部门的数据资产需求进行初审，初审未通过则退回业务部门，初审通过则进行细致核对，如有问题，则由业务部门进行数据资产整改，业务部门针对数据资产存在的各类问题，记录数据资产的整改情况，控制数据资产变更；对于不符合准入规则的数据，则退回至业务部门，对符合准入规则的数据资产，由数据资产管理部门负责审核确认，对审核通过的数据资产，业务部门完善数据资产业务属性，信息部门完善技术属性，形成完整的数据资产基础信息，最后由数据资产管理部门负责对数据资产进行归档，得到归档日志；

以上所述数据资产管理平台首先从资产管理系统、营销管理系统、财务管理系统、人力资源管理系统、系统办公系统、综合管理系统等实时采集数据交易信息，本发明方法通过捕获数据库日志方法来实时采集数据资产变更信息，结合若干种数据资产管理模块核心功能，首先电网数据资产的标准化管理；本发明方法设置源端数据库系统、目标端数据库系统，目标端数据库系统即为上述数据资产库；当应用系统对源端数据库进行任何操作时，各种操作结果集信息将在日志文件中保存，源端数据库的所有更改都记录在日志文件中，当我们需要了解源端数据库中所作的交易时，可以通过对源端数据库日志文件进行分析；其中源端数据库为Oracle、SqlServer、DB2等数据库；

参照图3，通过捕获数据库日志方法来实时采集数据资产变更信息即源端数据库中数据交易信息，需要分别在源端数据库系统和目标端数据库系统(数据资产库)安装Agent进程；源端数据库Agent进程对源端数据库为Oracle、SqlServer、DB2等数据库日志文件进行监控，发现改变及时对目标数据库进行更新；当应用系统对源端数据库进行任何操作时，这些操作结果集(数据交易信息)都将在源端数据库日志文件RedoLog中保存，源端数据库Agent进程通过对实时获取的RedoLog日志文件进行分析，获得本次操作的交易指令，然后将这些交易指令经过格式转化生成紧凑数据格式，并实时通过网络传送到目标数据库系统；目标数据库Agent进程接收数据库包，经过校验码检查，确认正确的数据库包后，调用Oracle、SqlServer、DB2等数据库函数按照交易的先后顺序在目标数据库中执行该交易；应用系统对源端数据库进行操作，源端数据库中数据交易信息保存至日志文件中，日志文件包括已提交的交易信息、未提交的交易信息和Rollback交易信息；源端数据库Agent进程对日志文件依次进行日志探测、日志分析、日志缓存和交易合成交易操作，将已提交的交易信息传递到传输队列，源端数据库Agent进程对传输队列中已提交的交易信息进行交易传输操作，将已提交的交易信息传送给目标端数据库；目标端数据库Agent进程通过对已提交的交易信息依次进行交易接收、数据装载操作，最后将已提交的交易信息存储至目标端数据库中。具体步骤分为日志探测、日志分析、日志缓存、交易合成、交易传输和数据装载操作：

日志探测：源端数据库Agent进程通过定期检查Oracle、SqlServer、DB2等数据库Controle file中记录的当前SCN号来判断源端数据库中是否有新的交易产生，当确认有新的交易产生时，源端数据库Agent进程获取RedoLog(或者Transaction Log)日志文件组及最新日志文件位置，源端数据库Agent进程对最新日志文件位置与上次读取的日志文件位置之间的日志文件进行分析后，将分析数据保存在Log Cache文件中；

日志分析：Oracle、SqlServer、DB2等数据库的所有更改都记录在日志中，当我们需要了解数据库中所作的交易时，通过源端数据库Agent进程中日志分析功能对通过日志探测步骤得到的日志文件进行分析，得到源端数据库中全部交易指令，并将该交易指令转换成紧凑数据格式；紧凑型格式数据能够通过专有转换算法直接转换Oracle、SqlServer、DB2等数据库内部数据表达格式，在分析和转载时仅需要进行最小的格式转换，从而提高性能和效率。

日志缓存：通过对源端数据库日志文件分析得到的交易指令保存至日志缓存文件夹中，参照图4，交易指令通过交叉方式保存至日志缓存文件夹中，一个交易指令包括若干条SQL指令，若干个交易指令中若干条SQL指令通过相互穿插方式存储在日志缓存文件夹中，一个交易指令中若干条SQL指令通过非连续存储方式存储在日志缓存文件夹中，日志缓存文件夹中包括已提交的交易信息(已经Commit的交易)、未提交的交易信息(未Commit的交易)和Rollback交易信息；

交易合成：交易合成模块对首先按照交易序号对SQL指令进行划分，然后以交易为单位将已提交的交易信息传递到传输队列，将未提交的交易信息保存在本地，将Rollback交易信息做丢弃处理；为了提高系统的可控制性、保证逻辑完整性以及避免数据丢失，最好将复制的最小单位作为一个交易(Transaction)，这样在目标端数据库的交易装载更加容易控制；同时对于复制的数据而言，在目标端数据库中只有那些已经Commit的交易是有意义的，Rollback交易信息无需复制在目标端数据库中，因此不是复制每个交易指令，而是对抓取的数据进行交易整合后以交易为单位进行复制，并且只复制已经Commit的交易；参照图4，日志缓存文件中包括已提交的交易信息(已经Commit的交易)、未提交的交易信息(未Commit的交易)和Rollback交易信息，交易合成模块首先按照交易序号对SQL语句进行划分，然后以交易为单位将已经Commit的交易传递到传输队列，将T1交易和T2交易分别传输到传输队列中，将未Commit的交易保存在本地，将Rollback交易信息作丢弃处理；当交易合成模块通过日志得到保存的未Commit的交易已经提交，则该交易将会被立即发送到传输队列中。

交易传输：源端数据库Agent进程对传输队列中已提交的交易信息进行交易传输操作，传输模块从传输对队列中按照先进先出的原则读取交易信息并将该交易信息封装成TCP/IP数据包，最后将交易数据包传送给目标端数据库的接收模块。为了保证数据传输的安全性和可靠性，交易数据在传输之前首先存入源端数据库的传输队列中。

交易接收：目标端数据库Agent进程通过对已提交的交易信息进行交易接收操作，接收模块在收到传输的交易数据包后，首先根据该交易数据包的包头描述的包大小进行传输合法性检查判断是否传输完整，如果传输不完整则将记录信息并反馈至源端数据库Agent进程进行重传；如果传输完整则将完整的交易数据包存入接收队列中；

数据装载：由数据装载模块按照交易的顺序从接收队列中装载交易信息至目标端数据库，数据装载模块将接收队列中的交易信息通过调用Oracle、SqlServer、DB2等源端数据库I/O层接口和最底层函数将接收队列中交易信息写入到数据资产库中，使得装载端的性能和处理能力显著提高。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。