数据同步方法、装置、存储介质及处理器与流程

文档序号:36259297发布日期:2023-12-05 13:15阅读:来源:国知局

技术特征:

1.一种数据同步方法,其特征在于,所述数据同步方法包括:

2.根据权利要求1所述的方法,其特征在于,所述在确定数据库有新操作的情况下,从所述外部数据源获取待同步数据,包括:

3.根据权利要求1所述的方法,其特征在于,所述数据同步方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述批处理配置文件中包括cron表达式,所述基于所述批处理配置文件,将所述外部数据源中的待同步数据按照所述批处理编排流程进行处理,得到批处理数据,包括:

5.根据权利要求3所述的方法,其特征在于,所述批处理配置文件中包括分片参数,所述基于所述批处理配置文件,将所述外部数据源中的待同步数据按照所述批处理编排流程进行处理,得到批处理数据,并将所述批处理数据发送至目标位置,以实现数据同步,包括:

6.根据权利要求1所述的方法,其特征在于,所述将所述业务数据发送至目标位置,以实现数据同步,包括:

7.一种数据同步装置,其特征在于,所述数据同步装置包括:

8.根据权利要求7所述的装置,其特征在于,所述第一数据获取模块包括:

9.根据权利要求7所述的装置,其特征在于,所述数据同步装置还包括:

10.一种处理器,其特征在于,被配置成执行根据权利要求1至6中任意一项所述的数据同步方法。

11.一种机器可读存储介质,该机器可读存储介质上存储有指令,其特征在于,该指令在被处理器执行时使得所述处理器被配置成执行根据权利要求1至6中任意一项所述的数据同步方法。

12.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序在被处理器执行时实现根据权利要求1至6中任意一项所述的数据同步方法。


技术总结
本申请提供一种数据同步方法、装置、处理器及存储介质。数据同步方法包括:响应于实时数据同步指令,获取流处理配置文件;在外部数据源为数据库类型数据源的情况下,通过监听数据库的日志文件判断数据库是否有新操作,并在确定数据库有新操作的情况下,从外部数据源获取待同步数据;在外部数据源为非标准化数据源的情况下,从外部数据源采集得到待同步数据;基于流处理配置文件,将待同步数据转化为业务数据,并将业务数据发送至目标位置,以实现数据同步。从而实现对异构数据源的实时流式同步,数据同步基于流处理配置文件中的规则就可以实现,从而支持热加载,基于热加载能力,新上线的同步流程不会影响现有的同步任务,业务影响率极低。

技术研发人员:段雪超
受保护的技术使用者:中国建设银行股份有限公司
技术研发日:
技术公布日:2024/1/15
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1