一种数据指标映射的实现方法及系统与流程

本发明涉及数据库管理领域，具体涉及一种数据指标映射的实现方法及系统。

背景技术：

数据库被视为电子化的文件柜，用户可以对文件中的数据进行新增、查询、更新、删除等操作，具体指所有的数据以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，称为数据库。

随着数据库存储数据的便捷推动了数据库的高速发展，在现有的各类统计数据库中，缺少聚焦能源电力研究领域的专业数据库，能源电力研究领域的数据通过离散的数据指标分布在经济、能源、电力、环境、企业五大领域，因为数据量庞大，数据指标分布离散，在用户获取数据时，需根据工作要求，要在多个数据网站搜集数据，耗费大量时间和精力处理数据获取的问题，导致整个工作过程效率低。

技术实现要素：

为了解决现有技术中所存在的上述不足，本发明提供一种数据指标映射的实现方法及系统。为满足应用需求，需要基于现有的离散统计数据，整合汇总为覆盖全球经济、能源、电力、环境、企业五大领域的专业数据库。在数据指标的汇总过程中，采用高效精确的指标映射方法，实现数据指标的自动抽取和整合。

本发明提供的技术方案是：一种数据指标映射的实现方法，包括：

选定原始指标与需要映射的目标指标，并建立映射条件；

基于原始指标提取原始数据的属性，并基于所述映射条件将所述数据封装为目标指标对应的数据对象；

基于原始数据中的原始指标与数据对象中目标指标之间的关联关系，建立映射关系表；

将所述原始指标对应的数据值基于设定的计算公式进行计算，获得目标指标对应的数据值。

优选的，所述基于原始指标提取原始数据的属性，并基于所述映射条件将所述数据封装为目标指标对应的数据对象，包括：

基于原始数据提取原始指标的属性；

将所述原始指标的属性中与目标指标的属性不匹配的标签作为目标指标的二级指标进行映射；

将映射后的属性封装为目标指标对应的数据对象。

优选的，所述原始指标的属性，包括：

原始指标名称、数据值、单位、国家、时间和维度。

优选的，所述目标指标中数据的属性，包括：

目标指标名称，数据值，单位，国家和时间。

优选的，所述关联关系，包括：

目标指标的数据来源与原始数据的关系。

优选的，所述基于原始数据中的原始指标与数据对象中目标指标之间的关联关系，建立映射关系表，还包括：

将所述映射关系表存储到目标数据库中。

优选的，所述计算公式的设定，包括：

基于原始指标与目标指标之间的单位换算关系、原始指标的计算关系进行设定；

所述计算关系，包括四则运算、多次方、开方和高阶数据指标计算方法。

优选的，所述将所述原始指标对应的数据值基于设定的计算公式进行计算，获得目标指标对应的数据值，包括：

将所述原始指标对应的数据值基于设定的计算公式进行计算，获得目标指标对应的数据值；

将所述目标指标对应的数据值进行整合并保存至目标数据库。

基于同一发明构思，本发明提供了一种数据指标映射的实现系统，包括：界面层、交互层和逻辑层；

所述界面层，用于接收用户设定计算公式，并获取用户选定原始指标与需要映射的目标指标；

所述交互层，用于基于界面层发送的选定原始指标与需要映射的目标指标，组织逻辑层来协同处理，将所述原始指标对应的数据值基于设定的计算公式进行计算，获得目标指标对应的数据值；

所述逻辑层，用于为交互层提供组件，所述组件包括建立映射条件；基于原始指标提取原始数据的属性，并基于所述映射条件将所述数据封装为目标指标对应的数据对象；基于原始数据中的原始指标与数据对象中目标指标之间的关联关系，建立映射关系表。

优选的，所述系统，还包括：持久层；

所述持久层，用于为界面层、交互层和逻辑层与原始数据库和目标数据库的交互提供访问接口。

与现有技术相比，本发明的有益效果为：

本发明提供的技术方案，选定原始指标与需要映射的目标指标，并建立映射条件；基于原始指标提取原始数据的属性，并基于所述映射条件将所述数据封装为目标指标对应的数据对象；基于原始数据中的原始指标与数据对象中目标指标之间的关联关系，建立映射关系表；将所述原始指标对应的数据值基于设定的计算公式进行计算，获得目标指标对应的数据值，实现了对现有原始指标进行汇总生成目标指标，解决了用户长期面临的数据获取难题，节省用户在常用指标数据获取工作中投入的时间和精力，提升用户工作效率。

本发明提供的技术方案，系统可根据用户构建好的指标体系，自动从源数据中抽取对应指标，并且本发明提供了数据指标的二次计算工具，以原始数据为基础计算高阶统计指标，实现了快速生成用户需要的目标数据库。

附图说明

图1为本发明中一种数据指标映射的实现方法流程图；

图2为本发明实施例中一种数据指标映射的实现方法的详细流程图；

图3为本发明一种数据指标映射的实现系统的结构图。

具体实施方式

为了更好地理解本发明，下面结合说明书附图和实例对本发明的内容做进一步的说明。

实施例1

提供一种软件开发方法，实现对离散数据指标的整合、汇总，形成覆盖全球经济、能源、电力、环境、企业五大领域的专业数据库；同时软件提供多个指标的拟合计算工具，基于原始统计数据，可计算得出高阶统计数据。

如图1所示，本发明提供的一种数据指标映射的实现方法，包括：

步骤s1、选定原始指标与需要映射的目标指标，并建立映射条件；

步骤s2、基于原始指标提取原始数据的属性，并基于所述映射条件将所述数据封装为目标指标对应的数据对象；

步骤s3、基于原始数据中的原始指标与数据对象中目标指标之间的关联关系，建立映射关系表；

步骤s4、将所述原始指标对应的数据值基于设定的计算公式进行计算，获得目标指标对应的数据值。

如图2所示，本发明是通过以下步骤的：

步骤s1、选定原始指标与需要映射的目标指标，并建立映射条件；

步骤s2、基于原始指标提取原始数据的属性，并基于所述映射条件将所述数据封装为目标指标对应的数据对象，具体包括：

选定原始指标与需要映射的5e指标，提取原始指标数据的属性，包括指标、数据值、单位、国家、时间、维度，根据5e指标数据的属性类型—指标，数据值，单位，国家，时间—将提取的原始指标数据重新封装，将原始数据的维度作为5e指标数据的二级指标进行映射，然后将提取的各属性封装为映射后的5e数据对象。

步骤s3、基于原始数据中的原始指标与数据对象中目标指标之间的关联关系，建立映射关系表，具体包括：

将原始数据的指标与映射后的5e指标相关联，表明映射后5e指标的数据来源，建立映射关系表，将映射关系存储到数据库中，映射关系可为一对一、多对一。

步骤s4、将所述原始指标对应的数据值基于设定的计算公式进行计算，获得目标指标对应的数据值，具体包括：

计算公式依据具体指标的单位换算关系、原始指标的计算关系进行设定，包括四则运算、多次方、开方及其他高阶数据指标计算方法；设置完成后，根据计算公式将原始数据映射得到的5e数据对象的数据值进行计算得出最终结果，将结果进行整合，保存至数据库，完成指标映射。

实施例2

本实施例中以下列用户需求为例，通过本发明提供的发明构思，实现目标数据的获取：

现有5e数据库，其数据来自于包括世界银行、国际能源署、国家统计局等28个(截至2018年)机构/网站发布的原始数据，需要将原始数据通过计算映射至5e数据库，即目标数据库。

以5e数据库的“世界各国人均gdp”指标映射为例，要将世界银行发布的“全球各国gdp”和“各国人口”指标数据通过计算映射至5e数据库中“经济-社会-世界各国人均gdp”，则其映射关系：5e数据库的“世界各国人均gdp”指标来源为世界银行发布的“全球各国gdp”和“各国人口”指标。

世界银行发布的“全球各国gdp”指标数据包括中国、美国、日本、英国等大概200个国家的1960-2017年的gdp数据，“人口”指标包括中国、美国、日本、英国等大概200个国家的1960-2017年的人口数据，此为原始数据，提取原始数据对象的各个属性，以一个数据值为主体进行拆分及封装(即有多少数据值就有多少数据对象)，

数据对象1包括指标：全球各国gdp，时间：2017，国家：中国，单位：亿美元，数据值：122377；

数据对象2包括指标：人口，时间：2017，国家：中国，单位：百万，数据值：1390；

计算公式：gdp*100/人口，计算结果为8804，

映射到5e数据库中的目标指标的属性为：世界各国人均gdp，单位：美元，时间：2017，国家：中国，将其封装为5e数据对象，保存至5e数据库中，映射完成。

实施例3

基于同一发明构思，本发明实施例提供的一种数据指标映射的实现系统，包括：界面层、交互层和逻辑层；

所述界面层，用于接收用户设定计算公式，并获取用户选定原始指标与需要映射的目标指标；

所述交互层，用于基于界面层发送的选定原始指标与需要映射的目标指标，组织逻辑层来协同处理，将所述原始指标对应的数据值基于设定的计算公式进行计算，获得目标指标对应的数据值；

所述逻辑层，用于为交互层提供组件，所述组件包括建立映射条件；基于原始指标提取原始数据的属性，并基于所述映射条件将所述数据封装为目标指标对应的数据对象；基于原始数据中的原始指标与数据对象中目标指标之间的关联关系，建立映射关系表。

其中，所述系统，还包括：持久层；

所述持久层，用于为界面层、交互层和逻辑层与原始数据库和目标数据库的交互提供访问接口。

本实施例中的系统采用sg-uap开发平台进行开发，核心框架是统一应用开发平台的基础开发框架，为平台公共套件、业务应用系统的开发提供统一的基础设施，屏蔽底层的技术实现，简化具体功能的开发过程。

如图3所示，核心框架为应用系统提供了分层体系结构，分别是界面层、交互层、逻辑层和持久层。

√界面层：即数据的展示界面和用户的操作界面，基于ajax框架自主开发可复用的界面标签，可以灵活组合满足不同客户的需求。该层包含了用户选择定原始指标与目标5e指标、设置计算公式等操作。

√交互层：响应用户请求并将请求分发到不同展现组件，由展现组件组织逻辑层来协同处理这些请求，返回结果到界面层。

√逻辑层：提供通用组件，对通用业务逻辑、工具包以及公共套件提供的服务进行封装，以便业务逻辑的复用和组装；接收用户请求，并使用对应的逻辑方法进行处理，生成相关的响应结果。包括映射关系的确定、数据属性的提炼、数据对象的封装、数据的计算等操作。

√持久层：为业务系统与数据库的交互提供简单一致的接口，并优化了数据库操作性能。实现通用数据访问服务组件，进行多种形式的数据存取。

核心框架基于spring实现，利用spring容器管理展现构件和逻辑构件的注入；

持久层集成hibernate，支持不同数据库连接方式以及不同数据库访问；

基础功能包为核心框架提供服务交互、异常、日志、国际化等通用功能，以接口的形式提供。

图3所示的form标签、grid标签、tree标签、page标签均为jps开发中的常用标签；

http/json表示基于http协议收发json数据；

ormapping(objectrelationalmapping，是一种为了解决面向对象与关系型数据库存在的互不匹配的现象的技术)、datamapper(数据映射，即给定两个数据模型,在模型之间建立起数据元素的对应关系)、jdbc(javadatabaseconnectivity，java数据库连接)、dbcp(databaseconnectionpool，数据库连接池)和jndi(javanaminganddirectoryinterface，java命名和目录接口)。

本实施例中还提供了本领域技术人员在进行实践开发时，步骤描述如下：

√创建uap项目：启动uapstudio，创建一个磁盘目录(例如d:\uapworks\quickstart)用作当前会话的workspace，然后依次完成“创建uap项目”、“配置uap项目”、“创建模块项目”、“配置模块项目”、“验证开发环境”五个步骤。

√界面层创建：使用场景向导建模，通过简单参数配置，快速创建业务应用中典型的场景代码和ui模型(如：表格、级联表格、树表等)，基于此进行扩展开发，实现复杂的功能场景。

√交互层开发：根据界面层的请求，将请求分发到不同逻辑层方法中进行处理，此处编写对应的逻辑层处理接口。

√逻辑层开发：实现与交互层中的接口，编写对应的方法，进行逻辑判断、映射关系的确定、数据属性的提炼、数据对象的封装、数据的计算以及与持久层交互的接口开发。

√持久层的开发：实现与逻辑层中交互的接口，编写对应的数据存取方法，实现数据的读取与存储。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。