一种指标中心的制作方法

本发明涉及数据处理，特别是涉及一种指标中心。

背景技术：

1、数据仓库(datawarehouse，dw或dwh)，是为企业所有级别的决策制定过程提供所有类型数据支持的战略集合，它是单个数据存储。出于分析性报告和决策支持目的而创建，为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。

2、在互联网机构或金融机构的it部门中，都有数据仓库(简称数仓)的落地实践。数据在数仓中都是分门别类的存储。应用程序根据自身需要，定制开发逻辑获取数仓资源。

3、数据分析和决策需要依赖于量化的指标，而指标又来源于不同的业务场景、数据源和计算口径，因此需要有一套方法和工具来规范定义、开发和维护指标。指标中心作为一种数据指标管理系统，它可以将指标的组成部分解耦拆分，并在逻辑表中进行规范性的定义。在此基础上，后续可以按照一定规则进行自由拼装，实现自定义指标的功能。通过元数据中心、数据仓库或数据湖等方式来存储和提取指标，可以提高数据的可用性和响应速度，同时支持数据的可视化展示和分析。

4、传统数仓的概念是由etl工具进行数据过滤和清洗加工，将离散在各处的数据进行整合，将数据存储在数据仓库中，如图1所示。

5、现有方案虽然改进了传统etl数仓概念，主要宗旨是将指标规范化并与业务属性相结合，并且能够将公司级数据统合到一个系统中，方便非专业人员的使用，但是现有的指标中心存在以下问题：

6、1)数据源的获取以sql为主，缺乏其他形式的数据收集方案；

7、2)etl制作过程门槛较高，缺少成熟的低代码方案；

8、3)系统性能比较低，无法经受较大规模的访问；

9、4)仅仅保存数据集，缺少建模以及报表展示的功能。

技术实现思路

1、为解决现有技术存在的上述问题，本发明提供了一种指标中心。

2、为实现上述目的，本发明提供了如下方案：

3、一种指标中心，包括：

4、指标管理平台，用于创建指标，并将创建的指标存储在平台数据库中，实现平台数据库的维护配置；

5、指标驱动引擎应用，用于监测所述平台数据库中存储的指标进行监测，并根据所述指标管理平台在所述平台数据库的维护配置触发指标数据处理流程；

6、数据处理相关组件，植入有指标数据处理应用，用于向目标数据源发起数据请求，并根据配置对获取的指标数据进行处理，得到指标信息；

7、指标统合平台，用于根据设定条件对所述指标信息进行统合，以生成报表信息。

8、可选地，所述指标管理平台使用指标管理页面对指标进行创建；在指标创建过程中进行的编辑信息包括数据源信息、触发器信息和数据处理流程信息。

9、可选地，所述指标驱动引擎应用对平台数据库数据进行监测的过程中，当达到触发条件时，则自动调用指标处理流程，同时通过api的方式进行本地或第三方调用。

10、可选地，所述指标驱动引擎应用使用自动任务组件xxl-job对指标处理流程进行触发，并在指标处理流程的过程中选择执行方式；所述执行方式包括依赖执行方式和非依赖执行方式。

11、可选地，所述指标数据处理应用包括：

12、多源数据收集应用，用于根据配置的数据源信息从外部获取源数据；在获取源数据的过程中，通过指标管理平台保存的配置信息，调用其他指标数据作为变量，实现源数据的动态化需求；

13、低代码平台应用，在数据处理过程中存在固定的处理逻辑，采用所述处理逻辑处理数据，并在数据处理后使用sink将处理后的数据存入redis中等待进一步处理；固定的处理逻辑包括：行转列、列转行以及单列拆分为多行。

14、多语言数据处理应用，用于在数据处理过程中通过编写代码的方式对数据进行指标化处理；

15、数据建模应用，用于实现指标的结构化。

16、可选地，所述多源数据收集应用集成的功能包括：读取数据库、api、消息队列和文件；其中，数据库使用jdbc进行获取，api使用与api对应的组件进行处理。

17、可选地，多语言数据处理应用使用graalvm作为jvm，以支持多种编程语言在jvm中运行；在多语言数据处理应用中，使用python解释器执行脚本处理的备选方案，将执行结果存入redis；在编写脚本时利用redis中保存的执行结果。

18、可选地，指标的结构化的实现过程为：将处理后的指标结果集使用算法进行处理，得到一个ddl数据；首次执行时，数据建模应用在数据仓库中进行建表，以实现基于指标管理平台的配置决定在数据仓库中数据维度的目的。

19、可选地，所述指标统合平台根据客户需求定制化展示生成的报表信息。

20、可选地，所述指标统合平台还用于使用redis数据得到指标结果。

21、根据本发明提供的具体实施例，本发明公开了以下技术效果：

22、本发明提供的指标中心中，指标管理平台创建指标，并将创建的指标存储在平台数据库中，以实现平台数据库的维护配置；指标驱动引擎应用监测平台数据库中存储的指标进行监测，并根据指标管理平台在平台数据库的维护配置触发指标数据处理流程；植入有指标数据处理应用的数据处理相关组件，向目标数据源发起数据请求，并根据配置对获取的指标数据进行处理，得到指标信息；指标统合平台根据设定条件对指标信息进行统合，以生成报表信息，进而能够降低运维成本和数据一致性的解决方案要求，为简单场景提供一站式解决方案。

技术特征：

1.一种指标中心，其特征在于，包括：

2.根据权利要求1所述的指标中心，其特征在于，所述指标管理平台使用指标管理页面对指标进行创建；在指标创建过程中进行的编辑信息包括数据源信息、触发器信息和数据处理流程信息。

3.根据权利要求1所述的指标中心，其特征在于，所述指标驱动引擎应用对平台数据库数据进行监测的过程中，当达到触发条件时，则自动调用指标处理流程，同时通过api的方式进行本地或第三方调用。

4.根据权利要求3所述的指标中心，其特征在于，所述指标驱动引擎应用使用自动任务组件xxl-job对指标处理流程进行触发，并在指标处理流程的过程中选择执行方式；所述执行方式包括依赖执行方式和非依赖执行方式。

5.根据权利要求4所述的指标中心，其特征在于，所述指标数据处理应用包括：

6.根据权利要求5所述的指标中心，其特征在于，所述多源数据收集应用集成的功能包括：读取数据库、api、消息队列和文件；其中，数据库使用jdbc进行获取，api使用与api对应的组件进行处理。

7.根据权利要求5所述的指标中心，其特征在于，多语言数据处理应用使用graalvm作为jvm，以支持多种编程语言在jvm中运行；在多语言数据处理应用中，使用python解释器执行脚本处理的备选方案，将执行结果存入redis；在编写脚本时利用redis中保存的执行结果。

8.根据权利要求5所述的指标中心，其特征在于，指标的结构化的实现过程为：将处理后的指标结果集使用算法进行处理，得到一个ddl数据；首次执行时，数据建模应用在数据仓库中进行建表，以实现基于指标管理平台的配置决定在数据仓库中数据维度的目的。

9.根据权利要求1所述的指标中心，其特征在于，所述指标统合平台根据客户需求定制化展示生成的报表信息。

10.根据权利要求1所述的指标中心，其特征在于，所述指标统合平台还用于使用redis数据得到指标结果。

技术总结
本发明公开一种指标中心，涉及数据处理技术领域。本发明提供的指标中心中，指标管理平台创建指标，并将创建的指标存储在平台数据库中，以实现平台数据库的维护配置；指标驱动引擎应用监测平台数据库中存储的指标进行监测，并根据指标管理平台在平台数据库的维护配置触发指标数据处理流程；植入有指标数据处理应用的数据处理相关组件，向目标数据源发起数据请求，并根据配置对获取的指标数据进行处理，得到指标信息；指标统合平台根据设定条件对指标信息进行统合，以生成报表信息，进而能够降低运维成本和数据一致性的解决方案要求，为简单场景提供一站式解决方案。

技术研发人员：杨佳玮,郝春苗,陈向阳,李轩
受保护的技术使用者：奇点浩翰数据技术（北京）有限公司
技术研发日：
技术公布日：2024/1/15