本发明涉及数据处理,特别涉及一种多维度指标数据的查询方法、装置、设备及存储介质。
背景技术:
1、指标数据是用来量化事物的一个工具,能够反映某一业务在单位时间内的规模、程度、比例,是业务人员了解一个行业运行规律的重要支撑。多维度指标即表示为从多个不同角度计算的同一个指标,可以更准确反映事物规律。
2、由于各行业数据量的不断增加,以及对多维度指标的需求不断细化、增多的原因,多维度指标数据的自身体量也大幅增加。常规关系型数据库已经难以应对数据的存储和查询需求,因此很多企业开始选择非关系型的分布式数据库来存储指标数据,比如hbase。但由于hbase自身设计限制,其查询性能主要依赖于主键的设计,如果主键设计不合理,也会导致查询性能低下,不满足业务要求。同样由于hbase的列不要求事先定义,可以动态增删,不同行的相同列可以采用不同的数据类型的特点,使得hbase使用起来灵活、方便,但同时也增加了开发和读取的难度。在现有的技术当中,多偏重于如何设计主键,对于指标本身,并没有一种通用化的方式进行数据的计算与查询。比如在增加维度的情况下,需要重新编写计算代码。对于不同维度的不同指标数据,也需要设计多个不同的接口进行数据的查询。进而因为数据接口不统一的原因,导致业务上层也不得不实现多个对应的方法。
技术实现思路
1、本申请实施例提供了一种多维度指标数据的查询方法、装置、设备及存储介质。为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部分不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念,以此作为后面的详细说明的序言。
2、第一方面,本申请实施例提供了一种多维度指标数据的查询方法,包括:
3、将业务数据与维度配置数据关联,得到基于维度的业务数据;
4、根据基于维度的业务数据,计算各维度的指标值,得到指标结果数据;
5、将指标结果数据存入hbase中,hbase中包含维度和指标的对应关系;
6、接收客户端的查询请求,根据查询请求中的维度信息和指标信息在hbase中查询对应的指标数据。
7、在一个可选地实施例中,将业务数据与维度配置数据关联,得到基于维度的业务数据,包括:
8、获取业务数据,业务数据包含实体id、时间、业务属性数据;
9、获取维度配置数据,维度配置数据包含实体id、多个空间维度数据;
10、将业务数据与维度配置数据关联,得到基于维度的业务数据,基于维度的业务数据包含实体id、时间、业务属性数据、多个空间维度数据。
11、在一个可选地实施例中,根据基于维度的业务数据,计算各维度的指标值,得到指标结果数据,包括:
12、对基于维度的业务数据按照空间维度进行分组,得到多组单维度数据,单维度数据包含空间维度、时间、业务属性数据;
13、根据业务属性数据,计算每个空间维度对应的指标数据,得到多组指标结果数据,指标结果数据包含空间维度、时间、指标值。
14、在一个可选地实施例中,将指标结果数据存入hbase中,hbase中包含维度和指标的对应关系,包括:
15、将时间维度、空间维度、时间戳以及空间维度id作为hbase的主键;
16、将与主键对应的不同指标作为hbase的列。
17、在一个可选地实施例中,接收客户端的查询请求,根据查询请求中的维度信息和指标信息在hbase中查询对应的指标数据,包括:
18、接收客户端的查询请求,查询请求包括时间维度、空间维度、指标信息;
19、调用预设的元数据系统,验证查询请求中的时间维度、空间维度、指标信息是否有效;
20、若查询请求中的时间维度、空间维度、指标信息有效,则根据时间维度、空间维度、指标信息构造hbase查询参数;
21、根据hbase查询参数从hbase中查询指标数据,得到标准数字格式的指标数据。
22、在一个可选地实施例中,得到标准数字格式的指标数据之后,还包括:
23、调用预设的元数据系统,获取预设的描述性文本格式的指标数据与标准数字格式的指标数据的对应关系,该对应关系记为第一映射关系;
24、根据第一映射关系将标准数字格式的指标数据转换成对应的描述性文本格式的指标数据,将描述性文本格式的指标数据返回到客户端。
25、在一个可选地实施例中,接收客户端的查询请求之前,还包括:
26、构建元数据系统;
27、元数据系统包含描述性文本格式的维度数据与标准数字格式的维度数据的对应关系、描述性文本格式的指标数据与标准数字格式的指标数据的对应关系以及维度数据和指标数据的有效性信息。
28、第二方面,本申请实施例提供了一种多维度指标数据的查询装置,包括:
29、关联模块,用于将业务数据与维度配置数据关联,得到基于维度的业务数据;
30、计算模块,用于根据基于维度的业务数据,计算各维度的指标值,得到指标结果数据;
31、存储模块,用于将指标结果数据存入hbase中,hbase中包含维度和指标的对应关系;
32、查询模块,用于接收客户端的查询请求,根据查询请求中的维度信息和指标信息在hbase中查询对应的指标数据。
33、第三方面,本申请实施例提供了一种电子设备,包括处理器和存储有程序指令的存储器,处理器被配置为在执行程序指令时,执行上述实施例提供的多维度指标数据的查询方法。
34、第四方面,本申请实施例提供了一种计算机可读介质,其上存储有计算机可读指令,计算机可读指令被处理器执行以实现上述实施例提供的一种多维度指标数据的查询方法。
35、本申请实施例提供的技术方案可以包括以下有益效果:
36、本申请实施例提供的多维度指标数据的查询方法,通过将业务数据与维度数据关联,根据关联的数据进行存储和查询,当有新的时空维度的指标需要计算时,只需要修改业务数据与关联维度的配置文件,就可以实现既有指标的快速计算,进而达到通过修改配置方式快速计算新增维度指标。针对不同指标的读取,可以采用同一个指标查询服务接口,降低开发测试工作量,同时有利于数据快速上线,提升数据分析人员的分析效率。
37、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
1.一种多维度指标数据的查询方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,将业务数据与维度配置数据关联,得到基于维度的业务数据,包括:
3.根据权利要求1所述的方法,其特征在于,根据所述基于维度的业务数据,计算各维度的指标值,得到指标结果数据,包括:
4.根据权利要求1所述的方法,其特征在于,将所述指标结果数据存入hbase中,所述hbase中包含维度和指标的对应关系,包括:
5.根据权利要求1所述的方法,其特征在于,接收客户端的查询请求,根据所述查询请求中的维度信息和指标信息在所述hbase中查询对应的指标数据,包括:
6.根据权利要求5所述的方法,其特征在于,得到标准数字格式的指标数据之后,还包括:
7.根据权利要求5所述的方法,其特征在于,接收客户端的查询请求之前,还包括:
8.一种多维度指标数据的查询装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括处理器和存储有程序指令的存储器,所述处理器被配置为在执行所述程序指令时,执行如权利要求1至7任一项所述的多维度指标数据的查询方法。
10.一种计算机可读介质,其特征在于,其上存储有计算机可读指令,所述计算机可读指令被处理器执行以实现如权利要求1至7任一项所述的一种多维度指标数据的查询方法。