一种融合维度模型的指标数据自动化计算方法及装置与流程

文档序号:32531038发布日期:2022-12-13 22:15阅读:42来源:国知局
一种融合维度模型的指标数据自动化计算方法及装置与流程

1.本发明涉及计算机领域,特别是一种融合维度模型的指标数据自动化计算方法及装置。


背景技术:

2.长久以来,企业在信息系统建设和使用的过程中,累积和生产着大量的甚至是海量的业务数据。近些年来,随着大数据技术的迅猛发展和企业数字化转型的需求越来越迫切,很多企业都已开始建设自己的数据中台、大数据处理平台等,依托于数据中台或数据处理平台加工、计算和分析业务数据,以期望挖掘和提炼出业务数据中所蕴藏着的价值,为企业实现以数据驱动经营决策提供支持。
3.无论是搭建数据中台,还是建设大数据处理平台,都面临着以下几个难于解决的问题:问题1:业务人员定义业务指标,技术人员将业务指标的计算逻辑实现为程序代码,业务指标与技术指标数据独立存在、缺少关联,难于将业务角度的指标管控与技术角度的实现结合起来;问题2:业务指标的计算逻辑实现为程序代码块,指标数据与数据模型间的关系隐藏在程序代码之中,缺少指标计算逻辑的建模,指标计算逻辑变更难于管理和维护;问题3:指标数据的加工处理越来越依赖大数据技术,大数据技术体系复杂,难于学习和使用,数据项目开发周期长,维护困难。


技术实现要素:

4.本发明的目的是为了解决上述问题,设计了一种融合维度模型的指标数据自动化计算方法及装置。
5.实现上述目的本发明的技术方案为,一种融合维度模型的指标数据自动化计算方法及装置,包括:接收指标定义和管理的需求,定义业务指标;创建数据模型,定义数据模型间的映射关系;以数据模型为基础,构建技术指标体系,关联技术指标与业务指标。
6.所述业务指标的定义包括指标的业务含义、计算公式、统计周期、统计维度、其它业务限定条件限制;指标的业务含义,是对指标在数据统计和分析方面的业务规则和业务意义的描述;指标的计算公式,是以计算表达式的方式定义如何加工和计算指标数据;指标的统计周期,是对指标计算的时间条件的限定;指标的统计维度,是对指标统计的业务实体对象、地域范围、业务类别类型等数据范围的定义;
其它业务限定条件限制,是对统计周期和统计维度之外的其它统计数据过滤条件的描述。
7.所述创建数据模型包括五种类型的数据表:贴源层表、整合层表、维度表、事实明细表、维度汇总表,这五种类型的数据模型构成了数据在数据平台内流通和转换的基础架构。
8.所述贴源层表用来对接业务应用数据,其表定义与业务应用系统的数据模型基本保持一致,在数据集成过程中作为目标端表,接收业务应用系统的数据。
9.整合层表以业务流程或活动为视角,对贴源层表进行汇聚和连接;汇聚是指将业务流程或活动一致、数据结构相似、数据范围不同的多张贴源层数据表识别出来,为这些贴源层表创建通用数据结构的整合层表;连接是指将同一业务流程或活动中相关的多张贴源层数据表识别出来,为这些贴源层表创建数据结构连接后的整合层表。汇聚意在将相同业务流程或活动、不同业务范围的数据合并到一起;连接意在将同一业务流程或活动、不同业务节点的数据合并到一起;在对贴源层表的数据模型进行汇聚和连接的基础上,整合层表对贴源层表的数据同时进行转储、加工和计算,即整合层的数据来源于贴源层,这通过定义整合层表与贴源层表间的数据映射关系实现。
10.所述数据映射的关系具体包括:定义映射关系中的目标表和来源表,定义来源表之间的连接关系;定义与目标表各字段相映射的来源表的字段,以及对来源表字段的加工计算逻辑。
11.所述维度描述了指标统计的业务实体对象、地域范围、业务类别类型等,是对指标数据进行统计和分析的视角。维度表定义了维度的数据模型,包括代理键、业务主键和维度属性等不同类型的字段;所述维度表的代理键是维度表的物理主键,唯一标识一条维度表记录;维度表的业务主键是维度实体的唯一业务标识,维度属性是维度实体的属性信息,在维度实体的属性信息变更后,维度表内会记录维度实体的新旧两条信息,两条记录的业务主键相同,代理键不同;维度表的数据来源可以是业务应用数据,这通过数据集成实现;也可以是贴源层数据,这通过定义维度表与贴源层表的数据映射关系实现。关于数据映射关系,详见前文的阐述。
12.所述事实明细表是将整合层表与维度表进行关联,明确整合层业务流程或活动视角的数据进行指标数据分析和统计的维度。事实明细表构建起星型模型或雪花模型,满足业务指标多维度统计分析的需要;在贴源层表能够对业务流程或活动的表达完整的条件下,事实明细表也可将贴源层表与维度表进行关联,构建星型模型或雪花模型;所述事实明细表包括度量属性和维度属性,度量属性是可进行数据分析和统计的属性,维度属性是进行维度表关联的属性;事实明细表的数据来源于对贴源层表、整合层表和维度表的转储、加工和计算,这通过定义事实表与贴源层表、整合层表、维度表间的数据映射关系来实现。
13.在进行数据模型建模之前,可为数据模型中使用到的通用属性预先定义数据元标
准,通过对数据元的标准化定义,保证通用属性在各数据模型中的数据类型、数据长度、数据精度等定义的一致性。
14.所述所述技术指标体系包括原子指标、衍生指标、复合指标三种类型的指标定义和时间限定的基础信息。
15.所述以明细事实表为基础,创建原子指标。原子指标定义的是对事实明细表度量字段的以聚合计算为主的计算逻辑。
16.所述在原子指标上叠加统计维度、统计周期和其它业务限定条件的限定,创建衍生指标。衍生指标定义的是有着完整业务含义的对业务数据进行分析统计的计算逻辑。在原子指标上叠加的统计维度必须是原子指标所依赖的事实明细表已关联的维度表,在原子指标上叠加的统计周期,也必须指定其所对应的明细事实表的日期型字段;衍生指标指定的统计维度可以是由单一维度表构成,也可由多张维度表组合而成,为明确其含义,以下统称为指标的“统计维度(组)”,统计维度(组),是指标数据汇总的范围和边界。
17.对于同一统计维度(组)范围内的衍生指标,指定相互间加减乘除的运算逻辑,创建复合指标。复合指标定义的是对衍生指标的再加工,主要适用于相同统计维度(组)、不同明细事实表间的指标数据的计算,以实现不同业务流程或活动间横向的数据联合统计和分析。
18.所述时间限定是以某一时间点为基准,界定了用于指标数据计算的业务数据的时间区间,是对指标数据统计周期的标准化定义。
19.将衍生指标、复合指标关联到已定义好的业务指标,建立起业务指标与技术指标的关联关系。
20.所述将同一统计维度(组)范围内的衍生指标和复合指标全部或者部分汇总到一起,创建维度汇总表,维度汇总表定义的是统计维度视角的指标数据的集合。维度汇总表由维度属性和指标属性构成,维度属性包括统计维度(组)中各维度表的所有维度属性,指标属性包括衍生指标和复合指标。
21.一种数据指标计算的方法,包括:将数据模型物理化到数据存储组件中;将数据模型间的映射关系生成数据映射计算模型;将衍生指标、复合指标的数据计算逻辑生成指标数据计算模型;在数据模型之上创建数据计算任务,生产指标数据。
22.所述数据模型物理化是指,在数据存储组件内为数据模型创建过程中定义的贴源层表、整合层表、维度表、事实明细表和维度汇总表等创建物理表。数据模型物理化的过程,是将数据建模中定义的业务元数据转化为存储组件相关的物理表的技术元数据的过程。指标数据的自动化计算需要依赖组件相关的技术元数据来实现。
23.所述在数据建模时,以数据模型为基础,已定义了数据模型间的映射关系。数据映射计算模型即是将以业务语言表达的数据模型间的映射关系转化为系统可识别和运算的标准化计算元素及元素间的关系。
24.所述在构建指标体系时,以数据模型为基础,已定义了衍生指标、复合指标的计算逻辑。指标数据计算模型即是将以业务语言表达的衍生指标、复合指标的计算逻辑转化为
系统可识别和运算的标准化计算元素及元素间的关系。
25.所述计算模型的标准化计算元素包括:函数、字段、字符串、数字、原子指标、衍生指标和运算符号等;函数定义的是对输入参数的标准计算逻辑,字段是对参与计算的数据模型中字段的引用,字符串和数字是计算中使用到的常量,原子指标是在衍生指标的计算模型中参与计算,衍生指标是在复合指标的计算模型中参与计算,运算符号是对其它元素的连结和操作。
26.所述以标准化计算元素表达的数据映射计算模型和指标计算模型,可通过计算机程序的处理和转化,自动生成大数据计算组件可执行的程序代码;所述数据计算任务,即是执行数据映射计算模型和指标数据计算模型的计算逻辑,数据任务建立在数据模型之上,由大数据计算组件执行,将计算结果数据存储在已经物理化的数据模型对应的数据表中。
27.所述可选的,数据任务可进行调度配置,指定任务执行的时间、周期、运行优先级、超时和告警设置等,由系统自动进行调度和执行。
28.一种指标体系构建和数据指标计算的装置,包括:业务指标管理单元,维护和定义业务指标;数据建模单元,创建数据模型并物理化,定义数据映射并生成计算模型;技术指标管理单元,构建技术指标体系,定义指标计算逻辑并生成计算模型;数据集成单元,接入业务系统数据,将其存储到数据贴源层;大数据存储单元,执行数据模型物理化,存储数据;指标数据计算单元,完成数据映射模型和指标数据模型计算,生产数据指标;任务调度单元,定义数据模型计算任务,配置调度信息并执行任务调度。
29.所述业务指标管理单元定义业务指标的业务含义、计算公式、统计周期、统计维度和其它业务限定条件限制等;业务指标管理单元对业务指标定义的内具体容进行维护,并管理业务指标与技术指标的关联关系。
30.所述数据集成单元定义对外部数据源的连接,通过配置数据集成任务在外部数据源与大数据存储组件的物理表间建立数据集成通道,进而通过调度数据集成任务将外部数据源的业务数据接入到贴源层的物理表中,完成数据集成。
31.所述数据建模单元进行数据建模设计,定义贴源层表、整合层表、维度表、事实明细表和维度汇总表的数据结构、字段属性、管理信息等,并将定义好的数据模型物理化为大数据存储组件内的物理表;数据建模单元定义数据映射关系,明确贴源层表、整合层表、维度表、事实明细表间的数据转储、加工和计算的逻辑关系,并将定义好的数据映射关系转化为数据映射计算模型。
32.所述技术指标计算单元以事实明细表、维度表为基础构建技术指标体系。定义原子指标对事实明细表字段的加工计算逻辑,定义衍生指标对原子指标的加工计算逻辑、定义复合指标对衍生指标的加工计算逻辑。通过层层递进的定义,将明细事实表的数据与统计维度(组)视角的指标数据间的加工计算逻辑层层关联起来,并进一步将其转化为指标数据计算模型。
33.所述大数据存储单元实际执行数据模型的物理化,通过适配器模式,将平台内标准化的数据模型定义转化为物理层的不同类型的大数据存储组件的物理表定义并创建物
理表。大数据存储单元实际管理和存储业务数据和指标数据。
34.所述指标数据计算单元实际执行数据映射计算模型和指标数据计算模型的计算逻辑,通过适配器模式,将平台内标准化的计算逻辑定义转化为不同类型的大数据计算引擎可执行的代码并执行数据计算。指标数据计算单元实际生产指标数据。
35.所述任务调度单元在前续步骤已关联了数据映射计算模型或指标计算数据模型的数据表之上设置数据计算任务,在数据任务之上配置调度属性,通过系统调度器,按调度属性的配置自动启动和管理数据计算任务。
36.利用本发明的技术方案制作的名称,在业务指标与技术指标间建立起关联,在数据模型与数据指标间建立起关联,通过标准化的数据模型和数据计算模型的定义,将从业务指标定义到指标数据产出的过程实现了数据计算逻辑的系统的可配置化、数据计算代码生成和数据计算任务执行的自动化。提高了业务指标的管理水平,提升了指标数据的产出效率和质量。
附图说明
37.图1为本技术实施例中数据指标构建和计算的概述流程图;图2为本技术实施例中数据模型架构图;图3为本技术实施例中数据指标体系架构图;图4为本技术实施例中数据中台功能结构示意图。
具体实施方式
38.下面结合附图对本发明进行具体描述,如图1-4所示,一种融合维度模型的指标数据自动化计算方法及装置,用以规范和标准化指标体系构建,在业务指标与技术指标、技术指标与数据模型间建立起关联关系,同时利用大数据处理技术自动化完成指标数据的计算,解决指标数据计算代码难于开发和维护的问题,提升指标数据的产出效率和质量。
39.本实施例提供的具体技术方案如下:第一方面,本实施例提供一种指标体系构建的方法,包括:接收指标定义和管理的需求,定义业务指标;创建数据模型,定义数据模型间的映射关系;以数据模型为基础,构建技术指标体系,关联技术指标与业务指标。
40.进一步的,业务指标的定义包括指标的业务含义、计算公式、统计周期、统计维度、其它业务限定条件限制等。指标的业务含义,是对指标在数据统计和分析方面的业务规则和业务意义的描述;指标的计算公式,是以计算表达式的方式定义如何加工和计算指标数据;指标的统计周期,是对指标计算的时间条件的限定;指标的统计维度,是对指标统计的业务实体对象、地域范围、业务类别类型等数据范围的定义;其它业务限定条件限制,是对统计周期和统计维度之外的其它统计数据过滤条件的描述。
41.进一步的,平台内的数据模型包括五种类型的数据表:贴源层表、整合层表、维度表、事实明细表、维度汇总表,这五种类型的数据模型构成了数据在数据平台内流通和转换的基础架构。
42.进一步的,贴源层表用来对接业务应用数据,其表定义与业务应用系统的数据模
型基本保持一致,在数据集成过程中作为目标端表,接收业务应用系统的数据。
43.进一步的,可选的,整合层表以业务流程或活动为视角,对贴源层表进行汇聚和连接。汇聚是指将业务流程或活动一致、数据结构相似、数据范围不同的多张贴源层数据表识别出来,为这些贴源层表创建通用数据结构的整合层表;连接是指将同一业务流程或活动中相关的多张贴源层数据表识别出来,为这些贴源层表创建数据结构连接后的整合层表。汇聚意在将相同业务流程或活动、不同业务范围的数据合并到一起;连接意在将同一业务流程或活动、不同业务节点的数据合并到一起。
44.进一步的,可选的,在对贴源层表的数据模型进行汇聚和连接的基础上,整合层表对贴源层表的数据同时进行转储、加工和计算,即整合层的数据来源于贴源层,这通过定义整合层表与贴源层表间的数据映射关系实现。
45.进一步的,数据映射的关系具体包括:定义映射关系中的目标表和来源表,定义来源表之间的连接关系;定义与目标表各字段相映射的来源表的字段,以及对来源表字段的加工计算逻辑。
46.进一步的,维度描述了指标统计的业务实体对象、地域范围、业务类别类型等,是对指标数据进行统计和分析的视角。维度表定义了维度的数据模型,包括代理键、业务主键和维度属性等不同类型的字段;进一步的,维度表的代理键是维度表的物理主键,唯一标识一条维度表记录;维度表的业务主键是维度实体的唯一业务标识,维度属性是维度实体的属性信息,在维度实体的属性信息变更后,维度表内会记录维度实体的新旧两条信息,两条记录的业务主键相同,代理键不同;进一步的,可选的,维度表的数据来源可以是业务应用数据,这通过数据集成实现;也可以是贴源层数据,这通过定义维度表与贴源层表的数据映射关系实现。
47.进一步的,事实明细表是将整合层表与维度表进行关联,明确整合层业务流程或活动视角的数据进行指标数据分析和统计的维度。事实明细表构建起星型模型或雪花模型,满足业务指标多维度统计分析的需要;进一步的,可选的,在贴源层表能够对业务流程或活动的表达完整的条件下,事实明细表也可将贴源层表与维度表进行关联,构建星型模型或雪花模型;进一步的,事实明细表包括度量属性和维度属性,度量属性是可进行数据分析和统计的属性,维度属性是进行维度表关联的属性;进一步的,可选的,事实明细表的数据来源于对贴源层表、整合层表和维度表的转储、加工和计算,这通过定义事实表与贴源层表、整合层表、维度表间的数据映射关系来实现。
48.进一步的,可选的,在进行数据模型建模之前,可为数据模型中使用到的通用属性预先定义数据元标准,通过对数据元的标准化定义,保证通用属性在各数据模型中的数据类型、数据长度、数据精度等定义的一致性。
49.进一步的,技术指标体系包括原子指标、衍生指标、复合指标三种类型的指标定义和时间限定的基础信息。
50.进一步的,以明细事实表为基础,创建原子指标。原子指标定义的是对事实明细表度量字段的以聚合计算为主的计算逻辑。
51.进一步的,在原子指标上叠加统计维度、统计周期和其它业务限定条件的限定,创建衍生指标。衍生指标定义的是有着完整业务含义的对业务数据进行分析统计的计算逻辑。在原子指标上叠加的统计维度必须是原子指标所依赖的事实明细表已关联的维度表,在原子指标上叠加的统计周期,也必须指定其所对应的明细事实表的日期型字段;进一步的,可选的,衍生指标指定的统计维度可以是由单一维度表构成,也可由多张维度表组合而成,为明确其含义,以下统称为指标的“统计维度(组)”,统计维度(组),是指标数据汇总的范围和边界。
52.进一步的,可选的,对于同一统计维度(组)范围内的衍生指标,指定相互间加减乘除的运算逻辑,创建复合指标。复合指标定义的是对衍生指标的再加工,主要适用于相同统计维度(组)、不同明细事实表间的指标数据的计算,以实现不同业务流程或活动间横向的数据联合统计和分析。
53.进一步的,时间限定是以某一时间点为基准,界定了用于指标数据计算的业务数据的时间区间,是对指标数据统计周期的标准化定义。
54.进一步的,可选的,将衍生指标、复合指标关联到已定义好的业务指标,建立起业务指标与技术指标的关联关系。
55.进一步的,将同一统计维度(组)范围内的衍生指标和复合指标全部或者部分汇总到一起,创建维度汇总表,维度汇总表定义的是统计维度视角的指标数据的集合。维度汇总表由维度属性和指标属性构成,维度属性包括统计维度(组)中各维度表的所有维度属性,指标属性包括衍生指标和复合指标。
56.本实施例提供一种数据指标计算的方法,包括:将数据模型物理化到数据存储组件中;将数据模型间的映射关系生成数据映射计算模型;将衍生指标、复合指标的数据计算逻辑生成指标数据计算模型;在数据模型之上创建数据计算任务,生产指标数据。
57.进一步的,数据模型物理化是指,在数据存储组件内为数据模型创建过程中定义的贴源层表、整合层表、维度表、事实明细表和维度汇总表等创建物理表。数据模型物理化的过程,是将数据建模中定义的业务元数据转化为存储组件相关的物理表的技术元数据的过程。指标数据的自动化计算需要依赖组件相关的技术元数据来实现。
58.进一步的,在数据建模时,以数据模型为基础,已定义了数据模型间的映射关系。数据映射计算模型即是将以业务语言表达的数据模型间的映射关系转化为系统可识别和运算的标准化计算元素及元素间的关系。
59.进一步的,在构建指标体系时,以数据模型为基础,已定义了衍生指标、复合指标的计算逻辑。指标数据计算模型即是将以业务语言表达的衍生指标、复合指标的计算逻辑转化为系统可识别和运算的标准化计算元素及元素间的关系。
60.进一步的,计算模型的标准化计算元素包括:函数、字段、字符串、数字、原子指标、衍生指标和运算符号等;函数定义的是对输入参数的标准计算逻辑,字段是对参与计算的数据模型中字段的引用,字符串和数字是计算中使用到的常量,原子指标是在衍生指标的计算模型中参与计算,衍生指标是在复合指标的计算模型中参与计算,运算符号是对其它元素的连结和操作。
61.进一步的,以标准化计算元素表达的数据映射计算模型和指标计算模型,可通过计算机程序的处理和转化,自动生成大数据计算组件可执行的程序代码;进一步的,数据计算任务,即是执行数据映射计算模型和指标数据计算模型的计算逻辑,数据任务建立在数据模型之上,由大数据计算组件执行,将计算结果数据存储在已经物理化的数据模型对应的数据表中。
62.进一步的,可选的,数据任务可进行调度配置,指定任务执行的时间、周期、运行优先级、超时和告警设置等,由系统自动进行调度和执行。
63.第三方面,本实施例提供一种指标体系构建和数据指标计算的装置,包括:业务指标管理单元,维护和定义业务指标;数据建模单元,创建数据模型并物理化,定义数据映射并生成计算模型;技术指标管理单元,构建技术指标体系,定义指标计算逻辑并生成计算模型;数据集成单元,接入业务系统数据,将其存储到数据贴源层;大数据存储单元,执行数据模型物理化,存储数据;指标数据计算单元,完成数据映射模型和指标数据模型计算,生产数据指标;任务调度单元,定义数据模型计算任务,配置调度信息并执行任务调度。
64.进一步的,业务指标管理单元定义业务指标的业务含义、计算公式、统计周期、统计维度和其它业务限定条件限制等;业务指标管理单元对业务指标定义的内具体容进行维护,并管理业务指标与技术指标的关联关系。
65.进一步的,数据集成单元定义对外部数据源的连接,通过配置数据集成任务在外部数据源与大数据存储组件的物理表间建立数据集成通道,进而通过调度数据集成任务将外部数据源的业务数据接入到贴源层的物理表中,完成数据集成。
66.进一步的,数据建模单元进行数据建模设计,定义贴源层表、整合层表、维度表、事实明细表和维度汇总表的数据结构、字段属性、管理信息等,并将定义好的数据模型物理化为大数据存储组件内的物理表;数据建模单元定义数据映射关系,明确贴源层表、整合层表、维度表、事实明细表间的数据转储、加工和计算的逻辑关系,并将定义好的数据映射关系转化为数据映射计算模型。
67.进一步的,技术指标计算单元以事实明细表、维度表为基础构建技术指标体系。定义原子指标对事实明细表字段的加工计算逻辑,定义衍生指标对原子指标的加工计算逻辑、定义复合指标对衍生指标的加工计算逻辑。通过层层递进的定义,将明细事实表的数据与统计维度(组)视角的指标数据间的加工计算逻辑层层关联起来,并进一步将其转化为指标数据计算模型。
68.进一步的,大数据存储单元实际执行数据模型的物理化,通过适配器模式,将平台内标准化的数据模型定义转化为物理层的不同类型的大数据存储组件的物理表定义并创建物理表。大数据存储单元实际管理和存储业务数据和指标数据。
69.进一步的,指标数据计算单元实际执行数据映射计算模型和指标数据计算模型的计算逻辑,通过适配器模式,将平台内标准化的计算逻辑定义转化为不同类型的大数据计算引擎可执行的代码并执行数据计算。指标数据计算单元实际生产指标数据。
70.进一步的,任务调度单元在前续步骤已关联了数据映射计算模型或指标计算数据模型的数据表之上设置数据计算任务,在数据任务之上配置调度属性,通过系统调度器,按
调度属性的配置自动启动和管理数据计算任务。
71.本发明通过一种指标体系构建和数据指标计算的方法及装置,在业务指标与技术指标间建立起关联,在数据模型与数据指标间建立起关联,通过标准化的数据模型和数据计算模型的定义,将从业务指标定义到指标数据产出的过程实现了数据计算逻辑的系统的可配置化、数据计算代码生成和数据计算任务执行的自动化。提高了业务指标的管理水平,提升了指标数据的产出效率和质量。
72.在本实施方案中,假定指标计算场景为通过销售业务数据统计最近7天内门店和商品两个维度的销售指标。
73.销售业务数据包括:销售订单表、销售订单明细表、门店表、商品表,本实施例中,仅对这四张表中进行指标计算的必要字段进行举例,其它字段在此不再赘述。
74.表1销售订单表,包括:订单id,订单状态,订单销售金额,订单时间,门店编码。
75.表2销售订单明细表,包括:订单明细id,订单id,商品编码,商品销售数量,商品销售价格。
76.表3门店表,包括:门店编码,门店名称,门店状态。
77.表4商品表,包括:商品编码,商品名称,商品分类。
78.要统计的指标数据包括:最近7天内门店销售总金额、最近7天内门店销售订单数、最近7天内门店订单平均销售额、最近7天内商品销售金额、最近7天内商品销售数量、最近7天内商品销售均价。
79.基于上述假定的指标计算场景,参阅图1所示,本技术实施例中,对数据指标构建和计算的流程详述如下:步骤100:定义业务指标,包括指标的业务含义、计算公式、统计周期、统计维度等。本实施例中,可定义最近7天内门店销售总金额、最近7天内门店销售订单数、最近7天内门店订单平均销售额、最近7天内商品销售金额、最近7天内商品销售数量、最近7天内商品销售均价6个业务指标,具体定义内容如下:最近7天内门店销售总金额:业务含义为以门店为单位,统计每个门店最近7天内的所有商品销售的总金额;计算公式为sum(销售订单表.订单销售金额);统计周期为最近7天;统计维度为门店维度;最近7天内门店销售订单数:业务含义为以门店为单位,统计每个门店最近7天内的销售订单的数量;计算公式为count(销售订单表.订单id);统计周期为最近7天;统计维度为门店维度;最近7天内门店订单平均销售额:业务含义为以门店为单位,统计每个门店最近7天内销售订单的平均销售额;计算公式为sum(销售订单表.订单销售金额)
÷
count(销售订单表.订单id);统计周期为最近7天;统计维度为门店维度;最近7天内商品销售金额:业务含义为以商品为单位,统计每款商品最近7天内所有门店的销售总金额;计算公式为sum(销售订单表.订单销售金额);统计周期为最近7天;统计维度为商品维度;最近7天内商品销售数量:业务含义为以商品为单位,统计每款商品最近7天内所有门店的销售总数量;计算公式为sum(销售订单表.商品销售数量);统计周期为最近7天;统计维度为商品维度;
最近7天内商品销售均价:业务含义为以商品为单位,统计每款商品最近7天内所有门店的销售均价;计算公式为sum(销售订单表.订单销售金额)
÷
sum(销售订单表.商品销售数量)。
80.步骤110:创建数据模型并物理化,定义数据模型间映射关系并生成数据映射计算模型;本实施例中,参阅图2所示,可按如下步骤创建数据模型:步骤200:定义与业务数据表同构的贴源层的销售订单表、销售订单明细表。销售订单表包括:订单id,订单状态,订单销售金额,订单时间,门店编码。销售订单明细表,包括:订单明细id,订单id,商品编码,商品销售数量,商品销售价格。
81.步骤210:定义聚合层的销售订单聚合表,包括:订单id,订单明细id,订单状态,订单时间,门店编码,商品编码,商品销售数量,商品销售价;映射关系为将贴源层的销售订单表、销售订单明细表以订单id关联起来,再与销售订单聚合表做同名字段的映射;步骤220:定义维度表的门店维度表和商品维度表;门店维度表包括:门店编码,门店名称,门店状态;商品维度表包括:商品编码,商品名称,商品分类。
82.步骤230:定义事实明细表的销售订单事实表,包括度量字段:订单id,商品销售数量,商品销售价格;维度字段:门店编码,商品编码。映射关系为以销售订单聚合表为主表,以门店编码关联门店维度表,以商品编码关联商品维度表,度量字段与销售订单聚合表做同名字段映射,维度字段与门店维度表、商品维度表做同名字段映射。
83.步骤240:定义维度汇总表的门店维度汇总表和商品维度汇总表。门店维度汇总表包括,维度字段:门店编码,门店名称,门店状态;指标字段:最近7天内门店销售总金额、最近7天内门店销售订单数、最近7天内门店订单平均销售额。商品维度汇总表包括,维度字段:商品编码,商品名称,商品分类;指标字段:最近7天内门店订单平均销售额、最近7天内商品销售金额、最近7天内商品销售数量、最近7天内商品销售均价。
84.步骤120:构建技术指标体系,关联业务指标,生成指标数据计算模型;本实施例中,参阅图3所示,可按如下步骤构建指标体系:步骤300:在销售订单事实表之上定义原子指标:销售金额=sum(商品销售价格*商品销售数量)、销售数量=sum(商品销售数量)、销售订单数=distinctcount(订单id);步骤310:定义时间限定:最近7天;步骤320:在原子指标之上附加时间限定和维度,定义衍生指标。最近7天内门店销售总金额:维度(门店维度)&时间限定(最近7天)&原子指标(销售金额)&时间标记字段(订单时间)&业务限定条件(订单状态=[已支付]);最近7天内门店销售订单数:维度(门店维度)&时间限定(最近7天)&原子指标(销售订单数)&时间标记字段(订单时间)&业务限定条件(订单状态=[已支付]);最近7天内商品销售金额:维度(商品维度)&时间限定(最近7天)&原子指标(销售金额)&时间标记字段(订单时间)&业务限定条件(订单状态=[已支付]);最近7天内商品销售数量:维度(商品维度)&时间限定(最近7天)&原子指标(销售数量)&时间标记字段(订单时间)&业务限定条件(订单状态=[已支付])。
[0085]
步骤330:在衍生指标之上定义复合指标。最近7天内门店订单平均销售额=最近7天内门店销售总金额
÷
最近7天内门店销售订单数、最近7天内商品销售均价=最近7天内商品销售金额
÷
最近7天内商品销售数量;步骤320与步骤330中定义的衍生指标,一方面可与业务指标相关联,另一方面计
算逻辑同步到汇总表相关指标字段。
[0086]
步骤130:通过数据集成,接入业务应用数据;本实施例中,在业务数据的销售订单表/销售订单明细表与数据中台内的销售订单表之间、在业务数据的门店表与数据中台内的门店维度表之间、在业务数据的商品表与数据中台的商品维度表之间,建立数据通道,通过数据集成将业务数据接入到数据中台中来。
[0087]
步骤140:在数据计算模型之上创建计算任务,生产指标数据;本实施例中,销售订单事实表、门店维度汇总表、商品维度汇总表,均可作为计算模型在其上创建计算任务,通过调度计算任务,生产指标数据。
[0088]
参阅图3所示,本技术实施例中,用于指标体系构建和数据指标计算的装置包括业务指标管理单元400、数据建模单元410、技术指标管理单元420、数据集成单元430、大数据存储单元440、指标数据计算单元450和任务调度单元460,其中,业务指标管理单元400用于定义业务指标的业务含义、计算公式、统计周期、统计维度和其它业务限定条件限制等;业务指标管理单元对业务指标定义的内具体容进行维护,并管理业务指标与技术指标的关联关系。
[0089]
数据建模单元410进行数据建模设计,定义贴源层表、整合层表、维度表、事实明细表和维度汇总表的数据结构、字段属性、管理信息等,并将定义好的数据模型物理化为大数据存储组件内的物理表;数据建模单元定义数据映射关系,明确贴源层表、整合层表、维度表、事实明细表间的数据转储、加工和计算的逻辑关系,并将定义好的数据映射关系转化为数据映射计算模型。
[0090]
技术指标计算单元420以事实明细表、维度表为基础构建技术指标体系。定义原子指标对事实明细表字段的加工计算逻辑,定义衍生指标对原子指标的加工计算逻辑、定义复合指标对衍生指标的加工计算逻辑。通过层层递进的定义,将明细事实表的数据与统计维度(组)视角的指标数据间的加工计算逻辑层层关联起来,并进一步将其转化为指标数据计算模型。
[0091]
数据集成单元430定义对外部数据源的连接,通过配置数据集成任务在外部数据源与大数据存储组件的物理表间建立数据集成通道,进而通过调度数据集成任务将外部数据源的业务数据接入到贴源层的物理表中,完成数据集成。
[0092]
大数据存储单元440实际执行数据模型的物理化,通过适配器模式,将平台内标准化的数据模型定义转化为物理层的不同类型的大数据存储组件的物理表定义并创建物理表。大数据存储单元实际管理和存储业务数据和指标数据。
[0093]
指标数据计算单元450实际执行数据映射计算模型和指标数据计算模型的计算逻辑,通过适配器模式,将平台内标准化的计算逻辑定义转化为不同类型的大数据计算引擎可执行的代码并执行数据计算。指标数据计算单元实际生产指标数据。
[0094]
任务调度单元460在前续步骤已关联了数据映射计算模型或指标计算数据模型的数据表之上设置数据计算任务,在数据任务之上配置调度属性,通过系统调度器,按调度属性的配置自动启动和管理数据计算任务。
[0095]
上述技术方案仅体现了本发明技术方案的优选技术方案,本技术领域的技术人员对其中某些部分所可能做出的一些变动均体现了本发明的原理,属于本发明的保护范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1