基于数据库的数据融合方法、装置、电子设备及存储介质与流程

本技术涉及数据处理，尤其涉及一种基于数据库的数据融合方法、装置、电子设备及存储介质。

背景技术：

1、目前，大部分数据库均具有对应的数据备份和复制机制，但通常支持导出导入文件形式的数据备份与复制，用于解决数据备份、容灾和恢复等问题，因此，数据库之间传递数据越来越普遍。

2、相关技术中，基于goldengate软件能够提供数据容灾和数据复制功能，支持零宕机的数据库升级和迁移，以及实现亚秒级的数据实时同步，通常使用goldengate软件对同源数据库或相同业务的不同地域数据库进行数据复制，从而将源端和目标端中名称和内容比较相似的部分库表进行融合。

3、然而，当源端和目标端中库表名称不同、结构不同时，需要在源端对库表进行处理，以此导致影响实际生产，并且也不适用大规模的复杂数据融合。

技术实现思路

1、本技术提供一种基于数据库的数据融合方法、装置、电子设备及存储介质，用以解决现有技术中需要在源端处理库表所导致的影响实际生产且不适用大规模的复杂数据融合的缺陷，实现在不影响实际生产的前提下适用于大规模复杂数据融合的目的。

2、本技术提供一种基于数据库的数据融合方法，包括：

3、基于数据融合请求，将源数据库中的待融合数据同步至中间数据库中；

4、执行针对所述中间数据库中的所述待融合数据融合至所述目标数据库的融合操作；

5、其中，所述中间数据库用于表征所述待融合数据的属性信息和所述目标数据库中融合所述待融合数据的库表的属性信息。

6、根据本技术提供的一种基于数据库的数据融合方法，所述执行针对所述中间数据库中的所述待融合数据融合至所述目标数据库的融合操作，包括：

7、确定目标数据库没有所述待融合数据时，将所述中间数据库中的所述待融合数据同步至所述目标数据库中。

8、根据本技术提供的一种基于数据库的数据融合方法，所述目标数据库的数量为多个时，所述执行针对所述中间数据库中的所述待融合数据融合至所述目标数据库的融合操作，包括：

9、确定目标数据库没有所述待融合数据时，将所述待融合数据同步至所述中间数据库的临时源库中进行拆分操作，得到多个待融合数据；

10、将所述多个待融合数据转移至所述中间数据库的临时目标库中；

11、执行针对所述临时目标库中每个所述待融合数据融合至对应所述目标数据库中的融合操作。

12、根据本技术提供的一种基于数据库的数据融合方法，所述执行针对所述中间数据库中的所述待融合数据融合至所述目标数据库的融合操作，包括：

13、确定目标数据库中存在与所述待融合数据对应的第一库表时，基于所述待融合数据和所述第一库表的差异，执行针对所述中间数据库中所述待融合数据的数据转换操作；

14、将所述数据转换操作所得的目标待融合数据同步至所述目标数据库的所述第一库表中。

15、根据本技术提供的一种基于数据库的数据融合方法，所述待融合数据的数量为多个且多个所述待融合数据之间具备预设关系时，所述执行针对所述中间数据库中的所述待融合数据融合至所述目标数据库的融合操作，包括：

16、确定目标数据库中存在与多个所述待融合数据对应的第二库表时，执行针对所述中间数据库中多个所述待融合数据的合并操作，得到中间库表；

17、基于所述中间库表和所述第二库表的差异，执行针对所述中间数据库中所述中间库表的数据转换操作；

18、将所述数据转换操作所得的目标待融合数据同步至所述目标数据库的所述第二库表中。

19、根据本技术提供的一种基于数据库的数据融合方法，所述执行针对所述中间数据库中的所述待融合数据融合至所述目标数据库的融合操作，包括：

20、确定触发器收集到表征源数据库中库表数据发生变化的变更数据时，触发生成增量数据融合请求；

21、获取所述变更数据对应的待融合增量数据，并基于所述增量数据融合请求，执行针对所述待融合增量数据融合至所述目标数据库的增量融合操作。

22、根据本技术提供的一种基于数据库的数据融合方法，所述执行针对所述待融合增量数据融合至所述目标数据库的增量融合操作，包括：

23、获取所述待融合增量数据的实时性需求，并在预设的增量同步接口中选取与所述实时性需求匹配的目标增量同步接口；

24、基于所述目标增量同步接口，执行针对所述待融合增量数据融合至所述目标数据库的增量融合操作。

25、根据本技术提供的一种基于数据库的数据融合方法，在所述执行针对所述中间数据库中的所述待融合数据融合至所述目标数据库的融合操作之后，所述方法还包括：

26、获取所述融合操作结束时记录的当前融合任务及所述当前融合任务的任务明细数据；

27、基于所述当前融合任务及所述任务明细数据，更新预设的融合任务历史表和任务数据明细历史表。

28、根据本技术提供的一种基于数据库的数据融合方法，在所述执行针对所述中间数据库中的所述待融合数据融合至所述目标数据库的融合操作之后，所述方法还包括：

29、确定监控到表征触发器异常的第一异常信息时，记录所述第一异常信息并进行告警提示。

30、根据本技术提供的一种基于数据库的数据融合方法，在所述执行针对所述中间数据库中的所述待融合数据融合至所述目标数据库的融合操作之后，所述方法还包括：

31、确定监控到表征融合操作异常的第二异常信息时，输出告警指示信息，所述告警指示信息用于指示人工干预处理异常且针对所述第二异常信息对应的待融合数据支持重新融合操作。

32、根据本技术提供的一种基于数据库的数据融合方法，所述方法还包括：

33、确定所述源数据库和所述目标数据库存在相同库表和相同主键时，执行针对所述相同库表新增预设字段的增加操作；

34、基于所述相同主键和所述增加操作所得的所述预设字段，确定联合主键。

35、本技术还提供一种基于数据库的数据融合装置，包括：

36、同步模块，用于基于数据融合请求，将源数据库中的待融合数据同步至中间数据库中；

37、融合模块，用于执行针对所述中间数据库中的所述待融合数据融合至所述目标数据库的融合操作；

38、其中，所述中间数据库用于表征所述待融合数据的属性信息和所述目标数据库中融合所述待融合数据的库表的属性信息。

39、本技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于数据库的数据融合方法。

40、本技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于数据库的数据融合方法。

41、本技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于数据库的数据融合方法。

42、本技术提供的基于数据库的数据融合方法、装置、电子设备及存储介质，其中基于数据库的数据融合方法，基于数据融合请求，将源数据库中的待融合数据同步至中间数据库中，再执行针对中间数据库中的待融合数据融合至目标数据库的融合操作，以此通过使用中间数据库作为中转缓存区的方式实现针对待融合数据的相关处理操作，确保源数据库和目标数据库的实际生产不受影响；进一步的，由于中间数据库用于表征待融合数据的属性信息和目标数据库中融合待融合数据的库表的属性信息，因此使用中间数据库能够处理源数据库和目标数据库中库表名称不同、结构不同、字段不同、库表不同等各种情况下的数据融合操作，支持非同源的多个数据库的数据融合，也能保持源数据库和目标数据库的同时可访问性，实现数据在线融合，从而也能够在不影响实际生产的前提下实现大规模复杂数据融合的目的。