一种时序数据处理方法、装置、计算机设备及介质与流程

文档序号:37370047发布日期:2024-03-22 10:22阅读:5来源:国知局
一种时序数据处理方法、装置、计算机设备及介质与流程

本申请涉及数据处理,尤其涉及一种时序数据处理方法、装置、计算机设备及介质。


背景技术:

1、目前,由于时序存储引擎存储量的限制,指标对应的时序数据一般仅可以保存一段时间(如1个月),对于超出保存有效期的指标,会基于过期删除策略而导致数据失效。并且,由于时序存储引擎查询的保护限制,对于高密度指标数据查询时通常仅允许从存储中获取到有限的时序数据,从而导致查询的准确性较低。因此,如何提高针对指标的时序数据的查询准确性,成为了当前的研究热点。


技术实现思路

1、本申请实施例提供了一种时序数据处理方法、装置、计算机设备及介质,可以有效提高时序数据的查询准确性。

2、本申请实施例第一方面公开了一种时序数据处理方法,所述方法包括:

3、获取原始指标集中各个原始指标对应的时序数据,并将所述各个原始指标对应的时序数据存储在实时集群中;

4、从所述实时集群的原始指标集中确定目标指标集,并对所述目标指标集中各个目标指标对应的时序数据进行降采样,得到相应目标指标的降采样时序数据,将所述各个目标指标的降采样时序数据存储在降采样集群中;

5、获取针对指定指标的数据查询请求,并确定所述指定指标对应的目标数据源,所述目标数据源包括实时集群和降采样集群中的一种或多种;

6、从所述目标数据源中查询所述指定指标对应的目标时序数据。

7、本申请实施例第二方面公开了一种时序数据处理装置,所述装置包括:

8、获取单元,用于获取原始指标集中各个原始指标对应的时序数据,并将所述各个原始指标对应的时序数据存储在实时集群中;

9、降采样单元,用于从所述实时集群的原始指标集中确定目标指标集,并对所述目标指标集中各个目标指标对应的时序数据进行降采样,得到相应目标指标的降采样时序数据,将所述各个目标指标的降采样时序数据存储在降采样集群中;

10、确定单元,用于获取针对指定指标的数据查询请求,并确定所述指定指标对应的目标数据源,所述目标数据源包括实时集群和降采样集群中的一种或多种;

11、查询单元,用于从所述目标数据源中查询所述指定指标对应的目标时序数据。

12、本申请实施例第三方面公开了一种计算机设备,包括处理器和存储器,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行上述第一方面的方法。

13、本申请实施例第四方面公开了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。

14、本申请实施例第五方面公开了一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括程序指令,所述程序指令被处理器执行时实现上述第一方面的方法。

15、在本申请实施例中,可以获取原始指标集中各个原始指标对应的时序数据,并可以将各个原始指标对应的时序数据存储在实时集群中;还可以从实时集群的原始指标集中确定目标指标集,并可以对目标指标集中各个目标指标对应的时序数据进行降采样,得到相应目标指标的降采样时序数据,以将各个目标指标的降采样时序数据存储在降采样集群中。进一步的,在获取针对指定指标的数据查询请求时,可以确定指定指标对应的目标数据源,以从目标数据源中查询指定指标对应的目标时序数据,该目标数据源可以包括实时集群和降采样集群中的一种或多种。通过实施上述方式,可以提高针对指标的时序数据的查询准确性。



技术特征:

1.一种时序数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对所述目标指标集中各个目标指标对应的时序数据进行降采样,得到相应目标指标的降采样时序数据,包括:

3.根据权利要求2所述的方法,其特征在于,所述将针对所述目标指标集的任务集分发至任务节点集中的各个任务节点,包括:

4.根据权利要求2所述的方法,其特征在于,所述任务节点集中包括参考任务节点,所述参考任务节点的子任务集中包括参考目标指标;所述调用所述各个任务节点对所分发的子任务集中目标指标的时序数据进行降采样,得到降采样时序数据,包括:

5.根据权利要求2所述的方法,其特征在于,还包括:

6.根据权利要求1-5任一项所述的方法,其特征在于,所述确定所述指定指标对应的目标数据源,包括:

7.根据权利要求6所述的方法,其特征在于,所述目标数据源为降采样集群以及实时集群;所述从所述目标数据源中查询所述指定指标对应的目标时序数据,包括:

8.一种时序数据处理装置,其特征在于,包括:

9.一种计算机设备,其特征在于,包括处理器和存储器,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。


技术总结
本申请实施例公开了一种时序数据处理方法、装置、计算机设备及介质,其中方法包括:获取原始指标集中各个原始指标对应的时序数据,并将各个原始指标对应的时序数据存储在实时集群中;从实时集群的原始指标集中确定目标指标集,并对目标指标集中各个目标指标对应的时序数据进行降采样,得到相应目标指标的降采样时序数据,将各个目标指标的降采样时序数据存储在降采样集群中;获取针对指定指标的数据查询请求,并确定指定指标对应的目标数据源,目标数据源包括实时集群和降采样集群中的一种或多种;从目标数据源中查询指定指标对应的目标时序数据,可以有效提高时序数据的查询准确性。

技术研发人员:王亚普,韩奇祺
受保护的技术使用者:行吟信息科技(上海)有限公司
技术研发日:
技术公布日:2024/3/21
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1