数据对接方法和装置与流程

文档序号:12121124阅读:来源:国知局

技术特征:

1.一种数据对接方法,其特征在于,包括:

确定第一数据表、第二数据表和共有维度字段,其中,所述第一数据表和所述第二数据表为需要进行数据对接的数据表,所述共有维度字段为所述第一数据表和所述第二数据表中相同的维度字段;

根据所述第一数据表生成快照表,其中,所述快照表中包括至少一条快照记录,每条快照记录中至少包括与该条快照记录对应的唯一标识符、共有维度字段的值和生成快照记录的时间,且每条快照记录对应的唯一标识符不会发生变化;

检测所述第一数据表中共有维度字段的值是否发生变化;

当检测出所述第一数据表中共有维度字段的值发生变化时,更新所述快照表;以及

基于更新后的快照表对所述第一数据表和所述第二数据表进行数据对接。

2.根据权利要求1所述的方法,其特征在于,当检测出所述第一数据表中共有维度字段的值发生变化时,更新所述快照表包括:

确定所述第一数据表中共有维度字段的值发生变化的时间和变化后的共有维度字段的值;

根据所述第一数据表中值发生变化的共有维度字段对应的唯一标识符、共有维度字段的值发生变化的时间和变化后的共有维度字段的值生成快照记录,其中,所述快照记录包括的生成快照记录时间为所述第一数据表中共有维度字段的值发生变化的时间;以及

将所述快照记录添加至所述快照表中以更新所述快照表。

3.根据权利要求2所述的方法,其特征在于,基于更新后的快照表对所述第一数据表和所述第二数据表进行数据对接包括:

确定数据对接时间,其中,所述数据对接时间为所述第一数据表和所述第二数据表需要进行数据对接的时间;

在更新后的快照表中,分别获取每一个唯一标识符对应的至少一条快照记录;

分别在获取到的每一个唯一标识符对应的至少一条快照记录中,根据生成快照记录的时间查询在所述数据对接时间与每一个唯一标识符对应的目标快照记录,并获取所述目标快照记录中的共有维度字段的值;

根据所述数据对接时间、每一个唯一标识符、与所述每一个唯一标识符对应 的目标快照记录中的共有维度字段的值生成第一数据表的目标数据表;以及

根据第一数据表的目标数据表与第二数据表的共有维度字段进行数据对接。

4.根据权利要求3所述的方法,其特征在于,根据生成快照记录的时间查询在所述数据对接时间与每一个唯一标识符对应的目标快照记录包括:

分别判断每一个唯一标识符对应的至少一条快照记录中,是否存在生成快照记录的时间为所述数据对接时间的快照记录;

如果存在生成快照记录的时间为所述数据对接时间的快照记录,则将该快照记录作为目标快照记录;以及

如果不存在生成快照记录的时间为所述数据对接时间的快照记录,则分别在每一个唯一标识符对应的至少一条快照记录中,将生成快照记录的时间满足如下条件的快照记录作为目标快照记录:在所述数据对接时间之前,并且与所述数据对接时间间隔满足预设条件。

5.根据权利要求1至4中任一项所述的方法,其特征在于,检测所述第一数据表中共有维度字段的值是否发生变化包括:

检测所述第一数据表中是否存在新建所述共有维度字段的值、或编辑所述共有维度字段的值、或删除所述共有维度字段的值的情况;

当所述第一数据表中存在新建所述共有维度字段的值、或编辑所述共有维度字段的值、或删除所述共有维度字段的值的情况,确定所述第一数据表中共有维度字段的值发生变化;以及

当所述第一数据表中不存在新建所述共有维度字段的值的情况、且不存在编辑所述共有维度字段的值的情况、且不存在删除所述共有维度字段的值的情况,确定所述第一数据表中共有维度字段的值没有发生变化。

6.一种数据对接装置,其特征在于,包括:

确定单元,用于确定第一数据表、第二数据表和共有维度字段,其中,所述第一数据表和所述第二数据表为需要进行数据对接的数据表,所述共有维度字段为所述第一数据表和所述第二数据表中相同的维度字段;

生成单元,用于根据所述第一数据表生成快照表,其中,所述快照表中包括至少一条快照记录,每条快照记录中至少包括与该条快照记录对应的唯一标识符、共有维度字段的值和生成快照记录的时间,且每条快照记录对应的唯一标识符不会发生变化;

检测单元,用于检测所述第一数据表中共有维度字段的值是否发生变化;

更新单元,用于当检测出所述第一数据表中共有维度字段的值发生变化时,更新所述快照表;以及

数据对接单元,用于基于更新后的快照表对所述第一数据表和所述第二数据表进行数据对接。

7.根据权利要求6所述的装置,其特征在于,所述更新单元包括:

第一确定模块,用于确定所述第一数据表中共有维度字段的值发生变化的时间和变化后的共有维度字段的值;

第一生成模块,用于根据所述第一数据表中值发生变化的共有维度字段对应的唯一标识符、共有维度字段的值发生变化的时间和变化后的共有维度字段的值生成快照记录,其中,所述快照记录包括的生成快照记录时间为所述第一数据表中共有维度字段的值发生变化的时间;以及

更新模块,用于将所述快照记录添加至所述快照表中以更新所述快照表。

8.根据权利要求7所述的装置,其特征在于,所述数据对接单元包括:

第二确定模块,用于确定数据对接时间,其中,所述数据对接时间为所述第一数据表和所述第二数据表需要进行数据对接的时间;

第一获取模块,用于在更新后的快照表中,分别获取每一个唯一标识符对应的至少一条快照记录;

第二获取模块,用于分别在获取到的每一个唯一标识符对应的至少一条快照记录中,根据生成快照记录的时间查询在所述数据对接时间与每一个唯一标识符对应的目标快照记录,并获取所述目标快照记录中的共有维度字段的值;

第二生成模块,用于根据所述数据对接时间、每一个唯一标识符、与所述每一个唯一标识符对应的目标快照记录中的共有维度字段的值生成第一数据表的目标数据表;以及

数据对接模块,用于根据第一数据表的目标数据表与第二数据表的共有维度字段进行数据对接。

9.根据权利要求8所述的装置,其特征在于,所述第二获取模块包括:

判断子模块,用于分别判断每一个唯一标识符对应的至少一条快照记录中,是否存在生成快照记录的时间为所述数据对接时间的快照记录;

第一确定子模块,用于在存在生成快照记录的时间为所述数据对接时间的快照记录的情况下,则将该快照记录作为目标快照记录;以及

第二确定子模块,用于在不存在生成快照记录的时间为所述数据对接时间的快照记录的情况下,则分别在每一个唯一标识符对应的至少一条快照记录中,将生成快照记录的时间满足如下条件的快照记录作为目标快照记录:在所述数据对接时间之前,并且与所述数据对接时间间隔满足预设条件。

10.根据权利要求6至9中任一项所述的装置,其特征在于,所述检测单元包括:

检测模块,用于检测所述第一数据表中是否存在新建所述共有维度字段的值、或编辑所述共有维度字段的值、或删除所述共有维度字段的值的情况;

第三确定模块,用于当所述第一数据表中存在新建所述共有维度字段的值、或编辑所述共有维度字段的值、或删除所述共有维度字段的值的情况,确定所述第一数据表中共有维度字段的值发生变化;以及

第四确定模块,用于当所述第一数据表中不存在新建所述共有维度字段的值的情况、且不存在编辑所述共有维度字段的值的情况、且不存在删除所述共有维度字段的值的情况,确定所述第一数据表中共有维度字段的值没有发生变化。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1