一种实现动态抽取指标的方法及装置与流程

本发明涉及决策分析系统技术领域，特别是涉及一种实现动态抽取指标的方法及装置。

背景技术：

决策分析系统利用现代信息技术和决策分析方法，通过建立数据库和分析模型，为企业的决策者提供及时、可靠的业务信息，帮助决策者对企业未来经营方向和经营目标进行量化的分析和论证，从而对企业生产经营活动作出科学的决策。决策分析系统建设的目标主要包括数据仓库系统和辅助决策支持系统两个方面。其总体目标是利用internet技术、WEB技术、数据仓库技术、信息安全技术，构建企业综合信息传递与信息共享的“综合信息库”的基本框架；以综合信息资源为重点，对信息进行数字化，数据库化及网络化开发，将分散的综合信息数据库进行标准链接、结构优化、规模扩容、网络互联、信息共享和综合应用开发，提高综合信息资源的系统性、权威性、适用性、及时性与共享性。形成企业信息资源的集成加工、交换发布、决策咨询、技术支持中心，逐步形成企业经营监测预警系统、模型预测系统、领导辅助决策支持系统等一批应用系统，为企业管理与调控，提供信息支持和决策支持。

在决策分析系统中，指标分析是业务模块重要的组成部分，而ETL是重要的技术手段。ETL(Extract-Transform-Load，数据抽取转换加载)是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。

Informatica PowerCenter是Informatica公司开发的世界级的企业数据集成平台，也是业界领先的ETL工具。Informatica PowerCenter使用户能够方便地从已有系统和数据源中抽取数据，用来建立、部署、管理企业的数据仓库，从而帮助企业做出快速、正确的决策。

现有使用较多的技术是针对每个指标开发不同的ETL程序，这种方案的缺点就是工作量较大，开发周期较长。

技术实现要素：

本发明的目的是提供一种实现动态抽取指标的方法及装置，目的在于解决现有技术工作量较大，开发周期较长的问题。

为解决上述技术问题，本发明提供一种实现动态抽取指标的方法，包括：

建立配置表，所述配置表用于存储待抽取指标的配置参数信息；

读取所述配置表，将所述配置参数信息转换为预设参数文件的格式，创建生成参数文件任务；

创建指标抽取任务，将配置表中的信息转化为ETL工具的配置文件；

通过所述生成参数文件任务以及所述指标抽取任务，对所述待抽取指标进行调度抽取。

可选地，所述配置参数信息包括：指标代码、指标名称、指标类型、抽取ETL文件夹名称、抽取名称、获取表名称以及获取表栏次信息。

可选地，所述创建指标抽取任务包括：

将目标类型选择为文件，并且将参数文件的路径选择为已建参数文件的路径。

可选地，还包括：

在所述配置表中插入新的待抽取指标的配置参数信息；

在指标抽取任务中修改与所述新的待抽取指标对应的抽取名称；

通过所述生成参数文件任务以及指标抽取任务对新的待抽取指标进行调度。

本发明还提供了一种实现动态抽取指标的装置，包括：

配置表建立模块，用于建立配置表，所述配置表用于存储待抽取指标的配置参数信息；

生成参数文件任务创建模块，用于读取所述配置表，将所述配置参数信息转换为预设参数文件的格式，创建生成参数文件任务；

指标抽取任务创建模块，用于创建指标抽取任务，将配置表中的信息转化为ETL工具的配置文件；

抽取模块，用于通过所述生成参数文件任务以及所述指标抽取任务，对所述待抽取指标进行调度抽取。

可选地，所述配置参数信息包括：指标代码、指标名称、指标类型、抽取ETL文件夹名称、抽取名称、获取表名称以及获取表栏次信息。

可选地，所述指标抽取任务创建模块具体用于：

将目标类型选择为文件，并且将参数文件的路径选择为已建参数文件的路径。

可选地，还包括：

添加抽取指标模块，用于在所述配置表中插入新的待抽取指标的配置参数信息；在指标抽取任务中修改与所述新的待抽取指标对应的抽取名称；通过所述生成参数文件任务以及指标抽取任务对新的待抽取指标进行调度。

本发明所提供的实现动态抽取指标的方法及装置，通过建立配置表，配置表用于存储待抽取指标的配置参数信息；读取所述配置表，将配置参数信息转换为预设参数文件的格式，创建生成参数文件任务；创建指标抽取任务，将配置表中的信息转化为ETL工具的配置文件；通过生成参数文件任务以及指标抽取任务，对待抽取指标进行调度抽取。本申请通过参数文件与数据库配置表相结合的形式，大大减少了为每个单独的指标都开发ETL的工作量，缩短了开发时间周期，提高了相关工作人员的工作效率。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的实现动态抽取指标的方法的一种具体实施方式的流程图；

图2为本发明所提供的实现动态抽取指标的方法中配置表的具体表结构；

图3为本发明所提供的实现动态抽取指标的方法中配置表的一种具体实施方式示意图；

图4为开发mapping的具体示意图；

图5为参数文件的设置示意图；

图6为开发mapping的具体示意图二；

图7为指标抽取任务的创建过程示意图；

图8为本发明所提供的实现动态抽取指标的方法的开发过程示意图；

图9为本发明实施例提供的实现动态抽取指标的装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明所提供的实现动态抽取指标的方法的一种具体实施方式的流程图如图1所示，该方法包括：

步骤S101：建立配置表，所述配置表用于存储待抽取指标的配置参数信息；

步骤S102：读取所述配置表，将所述配置参数信息转换为预设参数文件的格式，创建生成参数文件任务；

步骤S103：创建指标抽取任务，将配置表中的信息转化为ETL工具的配置文件；

步骤S104：通过所述生成参数文件任务以及所述指标抽取任务，对所述待抽取指标进行调度抽取。

本发明所提供的实现动态抽取指标的方法，通过建立配置表，配置表用于存储待抽取指标的配置参数信息；读取所述配置表，将配置参数信息转换为预设参数文件的格式，创建生成参数文件任务；创建指标抽取任务，将配置表中的信息转化为ETL工具的配置文件；通过生成参数文件任务以及指标抽取任务，对待抽取指标进行调度抽取。本申请通过参数文件与数据库配置表相结合的形式，大大减少了为每个单独的指标都开发ETL的工作量，缩短了开发时间周期，提高了相关工作人员的工作效率。

需要指出的是，本发明所提供的实现动态抽取指标的方法中，配置参数信息可以具体包括：指标代码、指标名称、指标类型、抽取ETL文件夹名称、抽取名称、获取表名称以及获取表栏次信息。

具体可以使用oracle数据库，在oracle数据库中建立一张配置表，用来存储需要抽取的指标的相关配置信息，包含：指标代码、指标名称、指标类型、抽取ETL文件夹名称、SESSION名称、获取表名称等信息，当然还可以包含其他信息，并不限于上述几种。本发明所提供的实现动态抽取指标方法中配置表的具体表结构如图2所示。

以“劳动生产率”指标为例，在配置表中插入“劳动生产率”指标的相关配置信息，关键信息为在informatica powercenter中session所在的文件夹，具体信息如图3配置表的一种具体实施方式示意图所示。

在上述任一实施例的基础上，本发明所提供的实现动态抽取指标的方法中创建指标抽取任务的过程可以具体为：

将目标类型选择为文件，并且将参数文件的路径选择为已建参数文件的路径。

具体地，开发一个将配置表中的信息转化为informatica powercenter的配置文件，这样指标的取数sql才能被session获取到。

(1)抽取的源表为视图，该视图将指标抽取sql和报告期拼成参数文件的格式，视图sql如下：

(2)开发mapping，开发mapping的具体示意图一如图4所示。

(3)开发task，目标类型选择为文件，并且路径选择为之前建参数文件的路径。另外需要注意的地方是分隔符选择为换行符，至此参数文件相关的开发工作已经完成。具体如图5参数文件的设置示意图所示。

参数文件相关的开发工作完成后，开发指标抽取的ETL的具体步骤如下：

(1)开发mapping，如图6开发mapping的具体示意图二所示；

(2)开发task，有两点需要重点注意，一是task的名称需要与配置表中session名称一致，二是源表的sql需要使用参数，具体如图7指标抽取任务的创建过程示意图所示。

进一步地，本发明还可以包括：

在所述配置表中插入新的待抽取指标的配置参数信息；

在指标抽取任务中修改与所述新的待抽取指标对应的抽取名称；

通过所述生成参数文件任务以及指标抽取任务对新的待抽取指标进行调度。

在上述实施例的基础上，假如还需要另外开发一个新指标B，则只需要在配置表中插入指标B的配置信息，然后复制task’FROM_DM_0001’,修改名称成为与指标B对应的session名称即可，最后将这些所有的指标以及参数配置文件的task放入workflow中进行调度即可。本发明所提供的实现动态抽取指标的方法的开发过程示意图如图8所示。

本实施例通过参数文件与数据库配置表相结合的形式，大大减少了为每个单独的指标都开发ETL的工作量，通过本发明可以仅仅通过增加配置记录，复制task并且修改名称等简单的操作就能完成一个指标的ETL开发工作，大大减少了相关工作人员的工作量，提高了工作效率。

下面对本发明实施例提供的实现动态抽取指标的装置进行介绍，下文描述的实现动态抽取指标的装置与上文描述的实现动态抽取指标的方法可相互对应参照。

图9为本发明实施例提供的实现动态抽取指标的装置的结构框图，参照图9实现动态抽取指标的装置可以包括：

配置表建立模块100，用于建立配置表，所述配置表用于存储待抽取指标的配置参数信息；

生成参数文件任务创建模块200，用于读取所述配置表，将所述配置参数信息转换为预设参数文件的格式，创建生成参数文件任务；

指标抽取任务创建模块300，用于创建指标抽取任务，将配置表中的信息转化为ETL工具的配置文件；

抽取模块400，用于通过所述生成参数文件任务以及所述指标抽取任务，对所述待抽取指标进行调度抽取。

作为一种具体实施方式，本发明所提供的实现动态抽取指标的装置中，所述配置参数信息可以具体包括：指标代码、指标名称、指标类型、抽取ETL文件夹名称、抽取名称、获取表名称以及获取表栏次信息。

在上述任一实施例的基础上，本发明所提供的实现动态抽取指标的装置中，指标抽取任务创建模块可以具体用于：

将目标类型选择为文件，并且将参数文件的路径选择为已建参数文件的路径。

优选地，本发明所提供的实现动态抽取指标的装置还可以包括：

添加抽取指标模块，用于在所述配置表中插入新的待抽取指标的配置参数信息；在指标抽取任务中修改与所述新的待抽取指标对应的抽取名称；通过所述生成参数文件任务以及指标抽取任务对新的待抽取指标进行调度。

本发明所提供的实现动态抽取指标的装置，通过建立配置表，配置表用于存储待抽取指标的配置参数信息；读取所述配置表，将配置参数信息转换为预设参数文件的格式，创建生成参数文件任务；创建指标抽取任务，将配置表中的信息转化为ETL工具的配置文件；通过生成参数文件任务以及指标抽取任务，对待抽取指标进行调度抽取。本申请通过参数文件与数据库配置表相结合的形式，大大减少了为每个单独的指标都开发ETL的工作量，缩短了开发时间周期。

本发明可以运用于国家电网人力资源辅助决策系统中，在该系统中完成了以人力资源关键指标体系、综合报表体系、业务分析模型和管理分析报告为主要内容的人力资源统计分析体系建设的目标，达到了与总部数据中心的集成，提供了和企业门户的典型接入方案。采用本发明所提供的方案，使用informatica powercenter作为ETL抽取工具，抽取了大量的指标用于主题分析。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的实现动态抽取指标的方法以及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。