基于多维关联数据仓库切片表的数据回溯方法及装置与流程

本申请涉及计算机信息处理领域，具体而言，涉及一种基于多维关联数据仓库切片表的数据回溯方法、装置、电子设备及计算机可读介质。

背景技术：

1、数据仓库（data warehouse）作为提供所有类型数据的集合，为商业分析和公司策略决策提供空间和数据支持。数据仓库中基础表是从各个业务系统etl(extract,transform, and load)过来的维度事实表。事实表的记录在新增后，后面还会再更新，对于数仓etl来说，处理方式一般有两种，方式一是全量表同步：保留最新状态全量同步覆盖旧数据，方式二是快照表同步：在同步时点做切片全量同步当时状态，保留每个切片数据。由于上述两种方式不能针对所有的场景准确快速的获取想要的统计数据，这两种方式均存在着缺陷。

2、因此，需要一种新的基于多维关联数据仓库切片表的数据回溯方法、装置、电子设备及计算机可读介质。

3、在所述背景技术部分公开的上述信息仅用于加强对本申请的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、有鉴于此，本申请提供一种基于多维关联数据仓库切片表的数据回溯方法、装置、电子设备及计算机可读介质，能够快速准确的回溯历史数据，在回溯历史数据时避免引入时间错误数据，减少分析人员的统计难度，提升工作效率。

2、本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

3、根据本申请的一方面，提出一种基于多维关联数据仓库切片表的数据回溯方法，该方法包括：获取数据回溯目标和数据回溯日期；基于所述数据回溯目标在多个数据仓库切片表集合中确定目标数据仓库切片表集合，所述数据仓库切片表集合基于维度事实表以及日志型数据表关联得到；根据所述数据回溯日期在所述目标数据仓库切片表集合中确定至少一个目标切片表；在所述至少一个目标切片表中确定主键；基于所述主键对所述至少一个目标切片表中的数据进行数据回溯，生成回溯信息。

4、可选地，还包括：确定多个回溯目标；确定每个回溯目标对应的切片周期；基于所述切片周期获取每个回溯目标对应的多个增量数据；基于所述多个增量数据生成每个回溯目标对应的数据仓库切片集合。

5、可选地，基于所述切片周期获取每个回溯目标对应的多个增量数据，包括：确定每个回溯目标对应的维度事实表和日志型数据表；将所述维度事实表和所述日志型数据表进行关联；在每个切片周期获取所述回溯目标对应的维度事实表和日志型数据表的增量数据。

6、可选地，将所述维度事实表和所述日志型数据表进行关联，包括：根据所述回溯目标确定主键；基于所述主键将所述维度事实表和所述日志型数据表进行关联。

7、可选地，基于所述多个增量数据生成每个回溯目标对应的数据仓库切片集合，包括：获取所述回溯目标对应的维度事实表和日志型数据表的基础数据；通过所述多个增量数据生成多个数据仓库切片；根据所述基础数据和所述多个数据仓库切片生成每个回溯目标对应的数据仓库切片集合。

8、可选地，基于所述数据回溯目标在多个数据仓库切片表集合中确定目标数据仓库切片表集合，包括：根据所述回溯目标确定数据主题；根据所述数据主题在所述多个数据仓库切片表集合中确定目标数据仓库切片表集合。

9、可选地，根据所述数据回溯日期在所述目标数据仓库切片表集合中确定至少一个目标切片表，包括：将所述回溯日期按照所述目标切片表对应的切片周期进行拆分，生成多个时间节点；在所述目标数据仓库切片表集合中提取与所述多个时间节点对应的目标切片表。

10、可选地，基于所述主键对所述至少一个目标切片表中的数据进行数据回溯，生成回溯信息，包括：过滤所述至少一个目标切片表中的数据；根据所述回溯目标确定统计指标；按照所述主键由所述至少一个目标切片中提取数据；根据所述数据计算所述统计指标的数值。

11、可选地，过滤所述至少一个目标切片表中的数据，包括：提取所述至少一个目标切片表中的主键对应的主键时间；将所述回溯日期和所述主键时间进行比较；将所述至少一个目标切片表中所述主键时间晚于所述回溯日期的数据剔除。

12、可选地，还包括：根据所述回溯信息评估所述回溯目标对应的业务状态；和/或根据所述回溯信息调整所述回溯目标对应的业务策略；和/或根据所述回溯信息更新所述回溯目标对应的业务信息。

13、根据本申请的一方面，提出一种基于多维关联数据仓库切片表的数据回溯装置，该装置包括：回溯模块，用于获取数据回溯目标和数据回溯日期；目标模块，用于基于所述数据回溯目标在多个数据仓库切片表集合中确定目标数据仓库切片表集合；日期模块，用于根据所述数据回溯日期在所述目标数据仓库切片表集合中确定至少一个目标切片表；主键模块，用于在所述至少一个目标切片表中确定主键；回溯模块，用于基于所述主键对所述至少一个目标切片表中的数据进行数据回溯，生成回溯信息。

14、根据本申请的一方面，提出一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上文的方法。

15、根据本申请的一方面，提出一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上文中的方法。

16、根据本申请的基于多维关联数据仓库切片表的数据回溯方法、装置、电子设备及计算机可读介质，通过获取数据回溯目标和数据回溯日期；基于所述数据回溯目标在多个数据仓库切片表集合中确定目标数据仓库切片表集合，所述数据仓库切片表集合基于维度事实表以及日志型数据表关联得到；根据所述数据回溯日期在所述目标数据仓库切片表集合中确定至少一个目标切片表；在所述至少一个目标切片表中确定主键；基于所述主键对所述至少一个目标切片表中的数据进行数据回溯，生成回溯信息的方式，能够快速准确的回溯历史数据，在回溯历史数据时避免引入时间错误数据，减少分析人员的统计难度，提升工作效率。

17、应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

技术特征：

1.一种基于多维关联数据仓库切片表的数据回溯方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，还包括：

3.如权利要求2所述的方法，其特征在于，基于所述切片周期获取每个回溯目标对应的多个增量数据，包括：

4.如权利要求3所述的方法，其特征在于，将所述维度事实表和所述日志型数据表进行关联，包括：

5.如权利要求3所述的方法，其特征在于，基于所述多个增量数据生成每个回溯目标对应的数据仓库切片集合，包括：

6.如权利要求1所述的方法，其特征在于，基于所述数据回溯目标在多个数据仓库切片表集合中确定目标数据仓库切片表集合，包括：

7.如权利要求1所述的方法，其特征在于，根据所述数据回溯日期在所述目标数据仓库切片表集合中确定至少一个目标切片表，包括：

8.如权利要求1所述的方法，其特征在于，基于所述主键对所述至少一个目标切片表中的数据进行数据回溯，生成回溯信息，包括：

9.如权利要求8所述的方法，其特征在于，过滤所述至少一个目标切片表中的数据，包括：

10.如权利要求1所述的方法，其特征在于，还包括：

11.一种基于多维关联数据仓库切片表的数据回溯装置，其特征在于，包括：

12.一种电子设备，其特征在于，包括：

13.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至10中任一所述的方法。

技术总结
本申请涉及一种基于多维关联数据仓库切片表的数据回溯方法、装置、电子设备及计算机可读介质。该方法包括：获取数据回溯目标和数据回溯日期；基于所述数据回溯目标在多个数据仓库切片表集合中确定目标数据仓库切片表集合，所述数据仓库切片表集合基于维度事实表以及日志型数据表关联得到；根据所述数据回溯日期在所述目标数据仓库切片表集合中确定至少一个目标切片表；在所述至少一个目标切片表中确定主键；基于所述主键对所述至少一个目标切片表中的数据进行数据回溯，生成回溯信息。本申请能够快速准确的回溯历史数据，在回溯历史数据时避免引入时间错误数据，减少分析人员的统计难度，提升工作效率。

技术研发人员：蒋勃,王骞,柴耀晖,郑彦
受保护的技术使用者：北京淇瑀信息科技有限公司
技术研发日：
技术公布日：2024/2/8