同步数据的方法、装置、设备和计算机可读介质与流程

本发明涉及计算机，尤其涉及一种同步数据的方法、装置、设备和计算机可读介质。

背景技术：

1、大数据平台经常需要通过离线管道，在多个数据源之间接入和推送数据。

2、在实现本发明过程中，发明人发现现有技术中至少存在如下问题：由于一些数据表中的数据量大，抽取速度慢，即使分片也需要反复人工调整参数进行尝试。因此，存在数据同步速度慢的技术问题。

技术实现思路

1、有鉴于此，本发明实施例提供一种同步数据的方法、装置、设备和计算机可读介质，能够加快数据同步的速度。

2、为实现上述目的，根据本发明实施例的一个方面，提供了一种同步数据的方法，包括：

3、探查数据库源服务器与数据库目标服务器之间的网络剩余带宽；

4、基于线性回归模型结合所述网络剩余带宽，设置数据传输通道的初始数量，所述线性回归模型是采用历史网络剩余带宽和数据传输通道的历史数量训练得到的；

5、按照所述初始数量，定位所述数据传输通道的数量区间，并将所述数量区间的最大值作为所述数据传输通道的同步数量；

6、采用所述同步数量的数据传输通道，启动所述数据库源服务器的数据同步至所述数据库目标服务器的任务，基于所述网络剩余带宽以同步数据。

7、所述探查数据库源服务器与数据库目标服务器之间的网络剩余带宽，包括：

8、采用数据统计工具，探查数据库源服务器与数据库目标服务器之间的网络剩余带宽。

9、所述方法还包括：

10、在采集库中建立采集表，所述采集表包括每个进程中网络剩余带宽和每个进程中数据传输通道的数量；

11、将所述每个进程中的网络剩余带宽作为历史网络剩余带宽，以及将所述每个进程中数据传输通道的数量作为历史数量，并以所述历史网络剩余带宽和数据传输通道的历史数量训练得到所述线性回归模型；

12、发布所述线性回归模型。

13、所述采集表还包括历史写入速度；

14、所述以所述历史网络剩余带宽和数据传输通道的历史数量训练得到所述线性回归模型，包括：

15、以所述历史网络剩余带宽、数据传输通道的历史数量和所述历史写入速度，训练得到所述线性回归模型；

16、所述基于线性回归模型结合所述网络剩余带宽，设置数据传输通道的初始数量，包括：

17、基于线性回归模型结合所述网络剩余带宽和当前写入速度，设置数据传输通道的初始数量。

18、所述历史网络剩余带宽和数据传输通道的历史数量训练得到所述线性回归模型，包括：

19、采用机器学习框架，以所述历史网络剩余带宽和数据传输通道的历史数量训练得到所述线性回归模型。

20、所述按照所述初始数量，定位所述数据传输通道的数量区间，并将所述数量区间的最大值作为所述数据传输通道的同步数量，包括：

21、按照所述初始数量，通过比较多个数量区间的极值，定位所述数据传输通道的数量区间；

22、将所述数量区间的最大值作为所述数据传输通道的同步数量，并将所述最大值作为重启任务的数据传输通道的同步数量。

23、所述将所述数量区间的最大值作为所述数据传输通道的同步数量，包括：

24、所述数量区间的最大值与所述初始数量的数量差大于预设数量差阈值，则将所述数量区间相邻的低数量区间的最大值，作为所述数据传输通道的同步数量。

25、根据本发明实施例的第二方面，提供了一种同步数据的装置，包括：

26、探查模块，用于探查数据库源服务器与数据库目标服务器之间的网络剩余带宽；

27、设置模块，用于基于线性回归模型结合所述网络剩余带宽，设置数据传输通道的初始数量，所述线性回归模型是采用历史网络剩余带宽和数据传输通道的历史数量训练得到的；

28、数量模块，用于按照所述初始数量，定位所述数据传输通道的数量区间，并将所述数量区间的最大值作为所述数据传输通道的同步数量；

29、同步模块，用于采用所述同步数量的数据传输通道，启动所述数据库源服务器的数据同步至所述数据库目标服务器的任务，基于所述网络剩余带宽以同步数据。

30、根据本发明实施例的第三方面，提供了一种同步数据的电子设备，包括：

31、一个或多个处理器；

32、存储装置，用于存储一个或多个程序，

33、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的方法。

34、根据本发明实施例的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述的方法。

35、上述发明中的一个实施例具有如下优点或有益效果：探查数据库源服务器与数据库目标服务器之间的网络剩余带宽；基于线性回归模型结合所述网络带宽，设置数据传输通道的初始数量，所述线性回归模型是采用历史网络带宽和数据传输通道的历史数量训练得到的；按照所述初始数量，定位所述数据传输通道的数量区间，并将所述数量区间的最大值作为所述数据传输通道的同步数量；采用所述同步数量的数据传输通道，启动所述数据库源服务器的数据同步至所述数据库目标服务器的任务，以同步数据。由于同步数量是网络带宽确定的，与网络带宽相匹配，充分利用网络带宽以同步数量的数据传输通道同步数据，能够加快数据同步的速度。

36、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

技术特征：

1.一种同步数据的方法，其特征在于，包括：

2.根据权利要求1所述同步数据的方法，其特征在于，所述探查数据库源服务器与数据库目标服务器之间的网络剩余带宽，包括：

3.根据权利要求1所述同步数据的方法，其特征在于，所述方法还包括：

4.根据权利要求3所述同步数据的方法，其特征在于，所述采集表还包括历史写入速度；

5.根据权利要求3所述同步数据的方法，其特征在于，所述历史网络剩余带宽和数据传输通道的历史数量训练得到所述线性回归模型，包括：

6.根据权利要求1所述同步数据的方法，其特征在于，所述按照所述初始数量，定位所述数据传输通道的数量区间，并将所述数量区间的最大值作为所述数据传输通道的同步数量，包括：

7.根据权利要求5所述同步数据的方法，其特征在于，所述将所述数量区间的最大值作为所述数据传输通道的同步数量，包括：

8.一种同步数据的装置，其特征在于，包括：

9.一种同步数据的电子设备，其特征在于，包括：

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。

技术总结
本发明公开了同步数据的方法、装置、设备和计算机可读介质，涉及计算机技术领域。该方法的一具体实施方式包括：探查数据库源服务器与数据库目标服务器之间的网络剩余带宽；基于线性回归模型结合所述网络剩余带宽，设置数据传输通道的初始数量，所述线性回归模型是采用历史网络剩余带宽和数据传输通道的历史数量训练得到的；按照所述初始数量，定位所述数据传输通道的数量区间，并将所述数量区间的最大值作为所述数据传输通道的同步数量；采用所述同步数量的数据传输通道，启动所述数据库源服务器的数据同步至所述数据库目标服务器的任务，基于所述网络剩余带宽以同步数据。该实施方式能够加快数据同步的速度。

技术研发人员：朱峰
受保护的技术使用者：京东科技控股股份有限公司
技术研发日：
技术公布日：2024/1/13