一种数据同步及解析方法、装置及终端设备与流程

文档序号:30757357发布日期:2022-07-13 12:11阅读:来源:国知局

技术特征:
1.一种数据同步及解析方法,其特征在于,包括:构建数据同步程序包;根据目标数据库构建依赖参数,并监控所述目标数据库的日志信息;通过所述数据同步程序包构建数据同步接口,并在所述数据同步接口中引入所述依赖参数,得到数据同步程序;利用所述数据同步程序对所述日志信息进行序列化解析,并将解析后的数据同步至预设的数据存储系统。2.如权利要求1所述的数据同步及解析方法,其特征在于,所述数据同步程序包基于flink cdc构建。3.如权利要求2所述的数据同步及解析方法,其特征在于,所述构建数据同步程序包,包括:获取所述flink cdc的源文件,在所述源文件中添加封装语句及输入语句;利用所述输入语句引入预设的相关依赖至所述源文件中;通过所述封装语句对引入完相关依赖的源文件进行封装,得到所述数据同步程序包。4.如权利要求1所述的数据同步及解析方法,其特征在于,所述根据目标数据库构建依赖参数,包括:构建与所述目标数据库映射的映射参数;在所述映射参数中添加数据库参数;将所述映射参数与所述数据库参数作为所述依赖参数。5.如权利要求1所述的数据同步及解析方法,其特征在于,所述监控所述目标数据库的日志信息,包括:在所述目标数据库的配置文件中添加日志监控语句;重启添加完日志监控语句的目标数据库,通过所述日志监控语句实时监控所述目标数据库的日志信息。6.如权利要求4所述的数据同步及解析方法,其特征在于,所述在所述数据同步接口中引入所述依赖参数,得到数据同步程序,包括:在所述数据同步接口中引入所述依赖参数;在引入完依赖参数的数据同步接口中调用预设的自定义序列化类,得到所述数据同步程序。7.如权利要求6所述的数据同步及解析方法,其特征在于,所述利用所述数据同步程序对所述日志信息进行序列化解析,包括:利用所述数据同步程序获取所述目标数据库的日志信息;利用所述自定义序列化类创建json对象,并基于所述自定义序列化类将所述日志信息转化为预设类型的数据;将所述预设类型的数据封装在所述json对象中。8.一种数据同步及解析装置,其特征在于,包括:程序包构建模块,用于构建数据同步程序包;数据库监控模块,用于根据目标数据库构建依赖参数,并监控所述目标数据库的日志信息;
参数引用模块,用于通过所述数据同步程序包构建数据同步接口,并在所述数据同步接口中引入所述依赖参数,得到数据同步程序;数据同步模块,用于利用所述数据同步程序对所述日志信息进行序列化解析,并将解析后的数据同步至预设的数据存储系统。9.一种终端设备,其特征在于,所述终端设备包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。

技术总结
本申请提供了一种数据同步及解析方法、装置及终端设备,适用于数据处理技术领域,该方法包括:构建数据同步程序包,根据目标数据库构建依赖参数,并监控所述目标数据库的日志信息,通过所述数据同步程序包构建数据同步接口,并在所述数据同步接口中引入所述依赖参数,得到数据同步程序,利用所述数据同步程序对所述日志信息进行序列化解析,并将解析后的数据同步至预设的数据存储系统。本发明还提出一种数据同步及解析装置以及终端设备。本发明可以解决数据同步效率较低的问题。可以解决数据同步效率较低的问题。可以解决数据同步效率较低的问题。


技术研发人员:李林 王伟
受保护的技术使用者:辽宁华盾安全技术有限责任公司
技术研发日:2022.05.31
技术公布日:2022/7/12
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1