一种数据同步复制方法与流程

本发明涉及数据库，尤其涉及一种数据同步复制方法。

背景技术：

1、经过三年的建设，以国网云平台为基础，采用微服务架构的能源互联网电力营销系统(营销2.0)已基本完成，并正逐步在全网省进行推广运营。营销2.0旨在实现营销业务模式向“互联网+”新模式的转型，因此它广泛采用了“大云物移智”等最新的技术成果，同时积极地引入了互联网企业的架构理念。在架构设计上，营销2.0强调了技术先进性、实用性和开放性，构建了“活前端、大中台、强后台”的模式。该系统以企业的核心业务能力为基础，打造了一个企业级的大中台，支持前端应用的灵活创新，并实现核心业务的云化。同时，营销2.0也采用了一种柔性的应用模式，即创新应用属地化，以形成一个开放的生态系统，为客户创新赋能。

2、长期以来，oracle数据库因其性能稳定、功能强大和相关工具完备等优点，在国网信息系统中一直占据着重要地位，为信息化和数字化系统架构提供了关键支持。然而，经过江浙皖鲁闽等多地的实际应用评估，发现oracle数据库在业务支持、系统发展和运行维护方面存在显著的局限性，这些问题严重阻碍了营销2.0的发展。与此同时，国内分布式数据库，已经逐渐成熟，它们可以有效地弥补oracle在营销2.0中的不足。因此，使用国产数据库替换oracle数据库是实现营销2.0可持续发展的必然趋势。在营销2.0系统中，ogg是oracle提供的数据同步组件，在营销2.0系统中数据库间同步、系统容灾和备份等方面被广泛应用，而目前国产数据库管理系统缺乏与之匹配的组件工具。因此，在进行数据库国产化替代的过程中，需要针对营销2.0系统的实际需求，研发类似ogg的工具，即国产关系型数据库数据同步中间件，以实现数据的同步和备份。

技术实现思路

1、本发明的目的是提出一种数据同步复制方法，包括：

2、监听微服务数据的访问请求；

3、根据访问请求，针对数据库同步请求生成同步策略，并根据同步策略生成同步日志文件；

4、接收解析同步日志文件并发送给sql翻译中间件；

5、读取同步日志文件的最新数据，生成目标国产数据库适配的sql，并发送给目标国产数据库执行。

6、针对数据库同步请求生成其同步策略之前还包括：

7、判断当前数据访问请求是否为dml操作；若是，则数据同步复制微服务读取同步策略寄存器中的相关策略并拉取源数据库表相关信息；若否，则结束。

8、接收解析同步日志文件之前还包括：

9、判断当前消息队列是否存在未消费的日志消息；若是，则解析同步日志文件；若否，则结束。

10、针对数据库同步请求生成其同步策略具体包括以下步骤：

11、步骤a：拉取源数据库表同步策略信息，再转到步骤b；

12、步骤b：生成数据同步策略，再转到步骤c；

13、步骤c：暂存数据同步策略，监听源表策略变化，判断当前源表同步策略是否修改；若是，则转到步骤a；若否，则继续监听源表策略变化，直至当前源表同步策略修改，再转到步骤a。

14、一种数据同步复制装置，包括：

15、监听模块，用于监听微服务数据的访问请求；

16、生成模块，用于根据访问请求，针对数据库同步请求生成其同步策略，并根据同步策略生成同步日志文件；

17、接收模块，用于接收解析同步日志文件并发送给sql翻译中间件；

18、翻译模块，用于生成目标国产数据库适配的sql，并发送给目标国产数据库执行。

19、生成模块中针对数据库同步请求生成其同步策略之前还包括：

20、判断当前数据访问请求是否为dml操作；若是，则数据同步复制微服务读取同步策略寄存器中的相关策略并拉取源数据库表相关信息；若否，则结束。

21、接收模块中接收解析同步日志文件之前还包括：

22、判断当前消息队列是否存在未消费的日志消息；若是，则解析同步日志文件；若否，则结束。

23、生成模块中针对数据库同步请求生成其同步策略具体包括以下步骤：

24、步骤a：拉取源数据库表同步策略信息，再转到步骤b；

25、步骤b：生成数据同步策略，再转到步骤c；

26、步骤c：暂存数据同步策略，监听源表策略变化，判断当前源表同步策略是否修改；若是，则转到步骤a；若否，则继续监听源表策略变化，直至当前源表同步策略修改，再转到步骤a。

27、一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现数据同步复制方法中的各个步骤。

28、一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现数据同步复制方法中的各个步骤。

29、本发明的有益效果在于：

30、本发明能够实现数据更新时主动复制数据到多个“使用处”，支撑对营销数据的单向复制、广播复制、热备复制等数据同步方式，避免了频繁查询和访问原始数据库，减少了系统负载，从而提高了系统性能和稳定性。同时，本发明通过自动化数据同步，降低了人力成本和时间成本。

技术特征：

1.一种数据同步复制方法，其特征在于，包括：

2.根据权利要求1所述数据同步复制方法，其特征在于，针对数据库同步请求生成其同步策略之前还包括：

3.根据权利要求2所述数据同步复制方法，其特征在于，接收解析同步日志文件之前还包括：

4.根据权利要求2所述数据同步复制方法，其特征在于，针对数据库同步请求生成其同步策略具体包括以下步骤：

5.一种数据同步复制装置，其特征在于，包括：

6.根据权利要求5所述数据同步复制装置，其特征在于，所述生成模块中针对数据库同步请求生成其同步策略之前还包括：

7.根据权利要求6所述数据同步复制装置，其特征在于，所述接收模块中接收解析同步日志文件之前还包括：

8.根据权利要求6所述数据同步复制装置，其特征在于，所述生成模块中针对数据库同步请求生成其同步策略具体包括以下步骤：

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1～4任意一项所述数据同步复制方法中的各个步骤。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～4任意一项所述数据同步复制方法中的各个步骤。

技术总结
本发明公开了属于数据库技术领域的一种数据同步复制方法。具体包括：监听微服务数据访问请求；针对数据库同步请求生成其同步策略，并根据同步策略生成同步日志文件；接收解析同步日志文件并发送给SQL翻译中间件；生成目标国产数据库适配的SQL，并发送给目标国产数据库执行。本发明能够实现数据更新时主动复制数据到多个“使用处”，支撑对营销数据的单向复制、广播复制、热备复制等数据同步方式，避免了频繁查询和访问原始数据库，减少了系统负载，从而提高了系统性能和稳定性。

技术研发人员：唐文升,田田,李廷顺,林鸿,于雪霞,张小武,苏占文,朱平飞,沈志豪,胡一凡,刘泽三,王琰洁,刘歆一
受保护的技术使用者：北京中电普华信息技术有限公司
技术研发日：
技术公布日：2024/3/11