一种基于流处理的数据同步的方法、系统、设备及介质与流程

文档序号:24725683发布日期:2021-04-16 15:58阅读:来源:国知局

技术特征:
1.一种基于流处理的数据同步的方法,其特征在于,包括以下步骤:按照类型对文件资源进行划分,并对划分后的每个类型设置对应的主题;获取待同步文件的文件流,并将所述文件流拆分成多个子文件流包,计算每个子文件流包的大小和摘要值;将每个子文件流包按顺序编号后写入本地缓冲区,并将每个子文件流包与对应的主题进行关联;根据所述主题将所述子文件流包发送给对应的目标节点,并在目标节点检验所述子文件流包的摘要值是否发生变化;以及响应于所述子文件流包的摘要值未发生变化,根据所述编号将属于同一个文件流的多个子文件流包进行合并以同步数据。2.根据权利要求1所述的方法,其特征在于,所述根据所述主题将所述子文件流包发送给对应的目标节点包括:响应于检测到有文件待发送,读取所述文件的数据包,并将所述数据包加密后通过网络传输到目标数据中心;以及通过所述目标数据中心解析所述数据包的主题,并通知所述订阅所述主题的节点处理所述主题对应的子文件流包。3.根据权利要求2所述的方法,其特征在于,所述在目标节点检验所述子文件流包的摘要值是否发生变化包括:订阅所述主题的节点从所述本地缓冲区中获取对应的子文件流包,并计算获取后的子文件流包的摘要值以判断所述摘要值是否发生变化。4.根据权利要求2所述的方法,其特征在于,方法还包括:判断是否在预设时间内接收到所述目标节点的处理响应;以及响应于在预设时间内接收到所述目标节点的处理响应,继续下一个数据包的传输。5.一种基于流处理的数据同步的系统,其特征在于,包括:划分模块,配置用于按照类型对文件资源进行划分,并对划分后的每个类型设置对应的主题;获取模块,配置用于获取待同步文件的文件流,并将所述文件流拆分成多个子文件流包,计算每个子文件流包的大小和摘要值;关联模块,配置用于将每个子文件流包按顺序编号后写入本地缓冲区,并将每个子文件流包与对应的主题进行关联;检验模块,配置用于根据所述主题将所述子文件流包发送给对应的目标节点,并在目标节点检验所述子文件流包的摘要值是否发生变化;以及执行模块,配置用于响应于所述子文件流包的摘要值未发生变化,根据所述编号将属于同一个文件流的多个子文件流包进行合并以同步数据。6.根据权利要求5所述的系统,其特征在于,所述检验模块配置用于:响应于检测到有文件待发送,读取所述文件的数据包,并将所述数据包加密后通过网络传输到目标数据中心;以及通过所述目标数据中心解析所述数据包的主题,并通知所述订阅所述主题的节点处理所述主题对应的子文件流包。
7.根据权利要求6所述的系统,其特征在于,所述检验模块配置用于:订阅所述主题的节点从所述本地缓冲区中获取对应的子文件流包,并计算获取后的子文件流包的摘要值以判断所述摘要值是否发生变化。8.根据权利要求6所述的系统,其特征在于,系统还包括判断模块,配置用于:判断是否在预设时间内接收到所述目标节点的处理响应;以及响应于在预设时间内接收到所述目标节点的处理响应,继续下一个数据包的传输。9.一种计算机设备,其特征在于,包括:至少一个处理器;以及存储器,所述存储器存储有可在所述处理器上运行的计算机指令,所述指令由所述处理器执行时实现权利要求1

4任意一项所述方法的步骤。10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1

4任意一项所述方法的步骤。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1