异构数据资源整合的方法与流程

本发明主要在电力报告的自动撰写的过程中提出了一种异构数据资源整合的方法，在这个基础上实现了一套完整的解决方案。

背景技术：
随着信息化的推进，像电力企业和政府部门等单位在分析报告撰写和数据决策分析的需求中，需要集成远程的一些异构数据作为分析的基础。然而需要整合的这些数据库系统各不相同，在存储方式上存在大量的数据错误；存储信息的数据结构上存在很大的差异；缺乏统一的数据描述标准，这样一种组织阻碍了单位主体信息化和数字化的进程。因此如何整合这些数据，提供一个统一的数据访问接口，为管理决策参考和分析报告撰写提供服务成为迫切要求。在目前的方法和实现方案中主要是基于C/S结构的数据整合方式，这种方式下需要在用户机器上安装客户端，对用户机器的要求很高同时客户端软件维护难度大；缺乏对工作流程的支持；在电力行业特殊背景需要大系统整合的情况下不支持，导致整合数据和数据使用分离在不同的系统中。

技术实现要素：
基于上面的大的背景下存在的问题，本发明提供了一种数据资源整合的方法，同时在这个方法的基础上我们实现了一整套解决方案。在B/S构架的基础上把数据源的定义，数据集的提取，映射关系定义、目的数据源定义和数据加载的流程通过工作流的方式松耦合灵活的解决了资源整合的问题，数据资源整合的方法，包括步骤：配置数据源连接，包括数据库的IP地址，数据库名称和访问权限信息；配置数据集的维护，包括对需要提取具体的数据表格或具体数据文件的指定；配置目的数据源，指定需要导入到哪个具体的目的数据库表中；配置映射关系，指定数据源中的数据导入到目的数据源的转化关系；根据所述映射关系，将所述数据集整合至所述目的数据源。通过以上方法和实现方案可以看出，数据整合放式的定义方式串联上整个数据资源的整合流程，一个整合定义，关联到具体的映射关系，映射关系中需要指定数据的来源和目的数据源，这样在具体执行中可以以一种工作流的方式异步整合数据。而且通过把数据资源整合的实现集成到数据的使用系统中，这样无缝的解决了数字鸿沟的问题，也避免了操作的跨系统问题。通过使用证明在电力行业的报告撰写中提供了很好的支撑，这种方案在其它领域也具有很好的推广性。附图说明图1为本发明实施中的异构数据资源整合的整体流程示意图；图2为本发明实施中的数据映射关系定义的功能示意图；图3为数据资源整合的整体结构图。具体实施方式下面结合附图以及具体的实施例，对本发明的方法和方案实现作进一步的描述。数据资源整合的方法，包括步骤：配置数据源连接，包括数据库的IP地址，数据库名称和访问权限信息；配置数据集的维护，包括对需要提取具体的数据表格或具体数据文件的指定；配置目的数据源，指定需要导入到哪个具体的目的数据库表中；配置映射关系，指定数据源中的数据导入到目的数据源的转化关系；根据所述映射关系，将所述数据集整合至所述目的数据源。通过以上方法和实现方案可以看出，数据整合放式的定义方式串联上整个数据资源的整合流程，一个整合定义，关联到具体的映射关系，映射关系中需要指定数据的来源和目的数据源，这样在具体执行中可以以一种工作流的方式异步整合数据。而且通过把数据资源整合的实现集成到数据的使用系统中，这样无缝的解决了数字鸿沟的问题，也避免了操作的跨系统问题。通过使用证明在电力行业的报告撰写中提供了很好的支撑，这种方案在其它领域也具有很好的推广性。参见图1所示，异构数据资源整合的方法，包括以下过程：过程一：数据资源整合定义过程定义一个具体数据整合的任务，在定义中指定整合的名称、映射关系和执行的调度规则等等信息。数据资源管理整合的模块通过属性的绑定形式，将执行过程中的信息关联起来，可以灵活的搭配具体的信息。过程二：数据源连接过程主要是定义和维护需要提取的数据的来源信息。包括数据库的所在的IP地址、数据库类型、数据库名称、数据库用户名和密码等等信息。通过这种定义方式，可以灵活的切换连接的方式。同时在数据库连接的实现中加入连接验证的功能，可以效验连接的有效性。过程三：数据集定义主要是定义需要提取的原数据的数据集合，其定义是建立在数据源连接的基础上。包括数据集名称定义，具体提取的数据库表和数据库表中列。过程四：目的数据源主要定义和维护整合后资源导入到的具体目的数据库和表格。包括对目的数据库的定义和数据表的指定。过程五：映射关系在此过程中定义了源数据和目的数据之间的一个映射关系，主要包括字段连接、字段截取、字段求和、字段取整、字段求平均值，字段类型转换和字段格式转换等等。样例如下：字段连接：字段Name=”中国”，字段Province=”广东”，连接后目的字段address=”中国广东”。字段截取：字段Company=”中国微软亚洲研究院”，截取后目的字段Company=”微软亚洲研究院”。字段求和：字段Salary={5000,10000,20000},求和后目的字段TotalSalary=35000。其它操作可以如上的实现机制。过程六：执行过程通过前面过程的实现，通过执行过程1可以异步的工作流形式提取数据源的数据，根据映射关系存放到目的数据库中。通过以上方法和实现方案可以看出，数据整合放式的定义方式串联上整个数据资源的整合流程，一个整合定义，关联到具体的映射关系，映射关系中需要指定数据的来源和目的数据源，这样在具体执行中可以以一种工作流的方式异步整合数据。而且通过把数据资源整合的实现集成到数据的使用系统中，这样无缝的解决了数字鸿沟的问题，也避免了操作的跨系统问题。在B/S构架的基础上把数据源的定义，数据集的提取，映射关系定义、目的数据源定义和数据加载的流程通过工作流的方式松耦合灵活的解决了资源整合的问题，使用证明在电力行业的报告撰写中提供了很好的支撑，这种方法在其它领域也具有很好的推广性。图3是数据资源整合的整体结构图。其中，本方法是基于B/S的架构实现。本方法是在电力行业特殊背景下的方案实现。本方法中整个整合过程是基于工作流的处理方式。工作流程的整个定义过程是在B/S的架构下去定义。工作流中定义的数据最终操作可以支持增量更新的机制。以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。