数据同步方法、电子设备和存储介质与流程

本公开涉及数据处理技术、微服务，尤其是一种数据同步方法、电子设备和存储介质。

背景技术：

1、在微服务架构体系中，微服务之间需进行数据同步，即将数据提供方中的微服务的数据同步至数据使用方中，以数供据使用方使用。

2、相关技术中，在数据使用方从数据提供方获取数据时，数据使用方通过调用数据提供方提供的数据接口以获取数据，然而，该种方式下，数据提供方需持续更新数据接口以满足不同数据使用方的需求，灵活性及通用性欠缺，且实现方式复杂。

技术实现思路

1、本公开实施例提供一种数据同步方法、电子设备和存储介质，以至少一定程度上解决相关技术中存在的问题。

2、本公开实施例的一个方面，提供一种数据同步方法，包括：

3、监听数据提供方的数据更新日志，并对所述数据更新日志进行解析得到所述数据提供方的更新数据，其中，所述数据提供方包括至少一个存储位置，所述更新数据存储于所述数据提供方的存储位置；

4、基于目标数据视图中指示的源数据位置，获取所述数据提供方中所述源数据位置的更新数据，所述目标数据视图由数据使用方自定义配置得到，所述源数据位置是所述数据使用方需获取的源数据在所述数据提供方的存储位置；

5、基于所述目标数据视图中指示的位置映射关系，确定所述源数据位置对应的目标数据位置，将所述更新数据同步至所述数据使用方的所述目标数据位置，所述目标数据位置是更新数据同步至所述数据使用方后的存储位置。

6、可选的，所述将所述更新数据同步至所述数据使用方的所述目标数据位置，包括：

7、基于所述目标数据视图中指示的数据映射关系，对所述更新数据进行数据整合，得到同步数据，所述数据映射关系用于指示所述源数据同步至所述数据使用方时的映射方式；

8、将所述同步数据写入所述目标数据位置。

9、可选的，所述数据映射关系包括字段映射关系以及函数映射关系；

10、所述基于所述目标数据视图中指示的数据映射关系，对所述更新数据进行数据整合，得到同步数据，包括：

11、基于所述字段映射关系，在所述更新数据对应的源字段中筛选得到目标字段，所述字段映射关系中指示有所述源字段与所述目标字段之间的映射关系；

12、基于所述函数映射关系，对所述目标字段的数据进行函数转换，得到所述同步数据，所述函数映射关系中指示有所述目标字段对应的映射函数。

13、可选的，所述位置映射关系包括数据库映射关系以及数据表映射关系；

14、所述基于所述目标数据视图中指示的位置映射关系，确定所述源数据位置对应的目标数据位置，包括：

15、基于所述数据库映射关系，确定所述更新数据所在的源数据库对应的目标数据库，所述源数据库是所述数据提供方的数据库；

16、基于所述数据表映射关系，确定所述更新数据所在的源数据表对应的目标数据表，所述源数据表是所述源数据库中的数据表；

17、所述将所述更新数据同步至所述目标数据位置，包括：

18、将所述更新数据同步至所述目标数据库的所述目标数据表中。

19、可选的，所述方法还包括：

20、基于所述目标数据视图中源位置配置项的第一配置内容，确定所述源数据位置；

21、基于所述第一配置内容以及所述目标数据视图中目标位置配置项的第二配置内容，确定所述位置映射关系；

22、基于所述目标数据视图中数据映射项的第三配置内容，确定所述数据映射关系。

23、可选的，所述方法还包括：

24、响应于所述数据提供方对自定义数据视图中源位置配置项的配置操作，配置所述第一配置内容；

25、响应于所述数据提供方对所述自定义数据视图中目标位置配置项的配置操作，配置所述第二配置内容；

26、响应于所述数据提供方对所述自定义数据视图中数据映射项的配置操作配置所述第三配置内容；

27、基于所述第一配置内容、所述第二配置内容以及所述第三配置内容，生成所述目标数据视图。

28、可选的，所述对所述数据更新日志进行解析得到所述数据提供方的更新数据之后，所述方法还包括：

29、将所述数据提供方的更新数据写入消息队列，所述消息队列用于存储所述数据提供方的更新数据；

30、所述获取数据提供方中所述源数据位置的更新数据，包括：

31、从所述消息队列中获取所述源数据位置的更新数据。

32、可选的，所述方法还包括：

33、响应于所述数据使用方的数据同步请求，创建同步任务线程，所述同步任务线程用于执行将更新数据同步至所述数据使用方的任务；

34、或者，

35、响应于所述目标数据视图创建完成，创建同步任务线程。

36、可选的，所述方法还包括：

37、在任务管理界面中显示所述同步任务线程的任务运行状态以及任务管理选项；

38、响应于接收到对所述任务管理选项的触发操作，执行所述任务管理选项对应的任务管理操作。

39、本实施例的另一个方面，提供一种数据同步装置，包括：

40、数据监听模块，用于监听数据提供方的数据更新日志，并对所述数据更新日志进行解析，得到所述数据提供方的更新数据，其中，所述数据提供方包括至少一个存储位置，所述更新数据存储于所述数据提供方的存储位置；

41、数据获取模块，用于基于目标数据视图中指示的源数据位置，获取所述数据提供方中所述源数据位置的更新数据，所述目标数据视图由数据使用方自定义配置得到，所述源数据位置是所述数据使用方需获取的源数据在所述数据提供方的存储位置；

42、数据同步模块，用于基于所述目标数据视图中指示的位置映射关系，确定所述源数据位置对应的目标数据位置，将所述更新数据同步至所述数据使用方的所述目标数据位置，所述目标数据位置是更新数据同步至所述数据使用方后的存储位置。

43、本实施例的另一个方面，提供一种电子设备，包括：

44、存储器，用于存储计算机程序；

45、处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述任一实施例所述的数据同步方法。

46、本实施例的另一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述任一实施例所述的数据同步方法。

47、本公开实施例中，提供一种可自定义配置的数据视图，数据使用方可通过自定义数据视图，设需获取的源数据的来源，以及设置源数据同步后的存储位置，使得数据同步平台可根据数据使用方自定义的目标数据视图，自动获取更新数据，并将更新数据写入自定义的存储位置中。在此过程中，数据同步平台通过监听数据提供方的数据更新日志以获取更新数据，从而可将更新数据同步至数据使用方，该过程中数据提供方无需为数据使用方开发数据接口，数据同步平台通过日志的监听以及自定义的数据视图即可将更新数据自动同步至数据使用方。且提供自定义的数据视图使得数据使用方进行可视化的配置，可灵活调整数据获取诉求，无需复杂的开发过程，有助于降低数据同步的开发成本，实现灵活的数据同步过程。

48、本公开实施例中，数据同步平台可根据目标数据视图指示的数据映射关系(字段映射关系以及函数映射关系)，自动对更新数据进行处理，得到数据使用方需使用的同步数据，无需数据使用方进行开发，可降低数据使用方的开发成本。

49、本公开实施例中，提供一种自定义的数据视图，使得数据使用方通过可视化的操作配置数据同步需求，无需复杂的开发过程，降低开发成本。且数据库与数据表均可设置一对一、一对多或多对一的映射关系，有助于提高跨服务场景下的数据同步效率。

50、下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。