数据同步方法、装置、电子设备及存储介质与流程

本发明实施例涉及计算机，尤其涉及一种数据同步方法、装置、电子设备及存储介质。

背景技术：

1、目前，在用户没有发生任何行为操作(如，对源集群中的业务数据进行新增或修改等操作)的情况下，可以直接从源集群同步全量数据到新的目标集群。在用户发生了一些行为操作的情况下，从源集群同步全量数据(包括存量数据和增量数据)到新的目标集群时，目前可以分为如下两步进行全量数据同步，先是让业务方开启双写功能，双写是当用户发生了一些行为操作后，会触发服务端将行为操作产生的增量数据双向写入，将增量数据分别写入源集群和新的目标集群中；然后从源集群中同步存量数据到新的目标集群。

2、但是，开启双写机制同步数据，容易造成数据丢失。

技术实现思路

1、本发明实施例提供一种数据同步方法、装置、电子设备及存储介质，用以保证数据同步的完整性。

2、第一方面，本发明实施例提供一种数据同步方法，该方法包括：

3、在数据同步任务中，响应于对源集群中部署的目标业务的业务数据的变更操作，将产生的增量业务数据缓存至外部的消息中间件，所述消息中间件包含有增量消费开关，所述增量消费开关用于控制所述消息中间件和新的目标集群之间进行数据流通；在预设时间内所述消息中间件中无数据更新的情况下，响应于对所述消息中间件的增量消费开关的开启操作，将缓存于所述消息中间件中的所述变更的业务数据同步至所述目标集群中；以及，将所述源集群中的存量业务数据同步至所述目标集群中，以完成所述数据同步任务。

4、可选地，响应于对源集群中部署的目标业务的业务数据的变更操作，将产生的增量业务数据缓存至外部的消息中间件，还包括：响应于数据同步指令，确定es源集群；根据所述es源集群，查询与所述es源集群关联的客户端；向所述客户端发起将增量数据缓存至所述消息中间件的指令，控制所述客户端将所述es源集群的增量数据缓存至所述消息中间件中。

5、可选地，将所述源集群中的存量业务数据同步所述目标集群中，包括：获取需要同步的存量业务数据对应的目录文件，并根据所述需要同步的存量业务数据对应的目录文件的扫描文件；以及，基于所述扫描文件在目标集群创建中进行目标文件配置；根据配置的目标文件对所述需要同步的存量业务数据对应的目录文件进行同步。

6、可选地，获取需要同步的存量业务数据对应的目标文件，包括：获取所述数据同步任务的任务需求，所述任务需求中包括所述数据同步任务的时间范围；遍历所述数据同步任务的时间范围内源集群文件目录，将处于所述数据同步任务的时间范围内的数据作为存量数据。

7、可选地，根据配置的目标文件对所述需要同步的存量业务数据对应的目录文件进行同步，包括：将所述源集群中所有待同步的存量业务数据对应的索引写入预设同步队列中；根据配置的目标文件，确定并行同步的并行任务数量和同步速度；启动所述并行任务数量对应的数据同步进程，根据所述同步速度分别将所述并行任务数量对应的待同步索引传输至所述目标集群。

8、可选地，还包括：完成所述数据同步任务后，根据预设规则进行同步数据验证，判断所述源集群的目录文件以及在预设时间内所述消息中间件中缓存的目录文件的总和与进行数据同步后的所述目标集群中的目录文件是否一致，并在判断结果一致的情况下输出同步完成信号。

9、可选地，还包括：在判断结果不一致的情况下，根据所述源集群的目录文件以及在预设时间内所述消息中间件中缓存的目录文件，对所述目标集群中的目录文件进行补充，以保证所述源集群的目录文件以及在预设时间内所述消息中间件中缓存的目录文件的总和与进行数据同步后的所述目标集群中的目录文件的一致性。

10、第二方面，本发明实施例提供一种数据同步装置，该装置包括：数据缓存模块，用于在数据同步任务中，响应于对源集群中部署的目标业务的业务数据的变更操作，将产生的增量业务数据缓存至外部的消息中间件，所述消息中间件包含有增量消费开关，所述增量消费开关用于控制所述消息中间件和新的目标集群之间进行数据流通；第一数据同步模块，用于在预设时间内所述消息中间件中无数据更新的情况下，响应于对所述消息中间件的增量消费开关的开启操作，将缓存于所述消息中间件中的所述变更的业务数据同步至所述目标集群中；以及，第二数据同步模块，用于将所述源集群中的存量业务数据同步至所述目标集群中，以完成所述数据同步任务。

11、第三方面，本发明实施例提供一种电子设备，包括：处理器、存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现以上方法中的步骤。

12、第四方面，本发明实施例提供一种存储有计算机程序的计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，致使所述一个或多个处理器执行以上方法中的步骤。

13、在本发明实施例中，将所有操作产生的增量数据先缓存至消息中间件中，在将源集群中的存量业务数据同步至新的目标集群中后，将缓存在消息中间件中的增量数据同步至目标集群中，避免了增量数据的丢失，保证了数据同步的完整性。

技术特征：

1.一种数据同步方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，响应于对源集群中部署的目标业务的业务数据的变更操作，将产生的增量业务数据缓存至外部的消息中间件，包括：

3.根据权利要求1所述的方法，其特征在于，将所述源集群中的存量业务数据同步所述目标集群中，包括：

4.根据权利要求3所述的方法，其特征在于，获取需要同步的存量业务数据对应的目标文件，包括：

5.根据权利要求3所述的方法，其特征在于，根据配置的目标文件对所述需要同步的存量业务数据对应的目录文件进行同步，包括：

6.根据权利要求2所述的方法，其特征在于，还包括：

7.根据权利要求6所述的方法，其特征在于，还包括：

8.一种数据同步装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：处理器、存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现权利要求1-7中任一项所述的方法。

10.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被一个或多个处理器执行时，致使所述一个或多个处理器执行权利要求1-7中任一项所述的方法。

技术总结
本发明公开了一种数据同步方法、装置、电子设备和存储介质。在本发明实施例中，将所有操作产生的增量数据先缓存至消息中间件中，在将源集群中的存量业务数据同步至新的目标集群中后，将缓存在消息中间件中的增量数据同步至目标集群中，避免了增量数据的丢失，保证了数据同步的完整性。

技术研发人员：关珍旭,李洪英
受保护的技术使用者：天津五八到家货运服务有限公司
技术研发日：
技术公布日：2024/3/31