一种基于云原生的数据传输方法和系统与流程

本发明涉及互联网，尤其涉及一种基于云原生的数据传输方法和系统。

背景技术：

1、随着互联网的发展，异构数据源类型越来越多，在业务过程中需要进行异构数据之间相互传送，以及进行数据清洗、加工和分析。使用开源的数据同步工具，能够轻松进行异构数据源之间的相互传输，如datax、canal等数据同步工具。然而，现有的开源数据同步传输方式需要用户通过编写脚本文件，将异构数据源的配置信息组合起来，然后在服务器启动工具读取脚本文件，根据脚本文件内容进行数据传输，操作繁琐。并且在已有服务器上运行的方式会受限于服务器的物理内存和cpu等物理资源，难以进行动态扩缩容，影响用户体验。

技术实现思路

1、本发明提供了一种基于云原生的数据传输方法和系统，用于解决现有的开源数据同步传输方式操作繁琐且受限于服务器的物理资源，难以进行动态扩缩容，影响用户体验的技术问题。

2、有鉴于此，本发明第一方面提供了一种基于云原生的数据传输方法，包括：

3、通过web任务配置界面获取用户选择的任务参数，任务参数包括源头数据源类型、源头数据源信息、目标数据源类型和目标数源信息；

4、采用开源数据同步工具将任务参数自动生成脚本文件；

5、获取根据脚本文件预估的物理资源配置额；

6、将脚本文件和预估的物理资源配置额打包生成客户端执行程序，将客户端执行程序通过客户端提交到kubernetes运行；

7、获取客户端在kubernetes运行过程中上报的物理资源使用情况；

8、根据物理资源使用情况和预估的物理资源配置额判断是否需要动态调整客户端的物理资源；

9、若需要动态调整客户端的物理资源，则向kubernetes发送调整物理资源请求，使得kubernetes根据物理资源调整请求对客户端的物理资源进行动态调整，其中，调整物理资源请求携带物理资源调整策略。

10、可选地，根据物理资源使用情况和预估的物理资源配置额判断是否需要动态调整客户端的物理资源，包括：

11、判断物理资源使用是否达到预估的物理资源配置额的第一预置百分比并持续预置时长，若是，则判断为需要扩张客户端的物理资源；

12、判断物理资源使用是否低于预估的物理资源配置额的第二预置百分比并持续预置时长，若是，则判断为需要减少客户端的物理资源。

13、可选地，第一预置百分比为80％，第二预置百分比为30％。

14、可选地，若需要动态调整客户端的物理资源，则向kubernetes发送调整物理资源请求，使得kubernetes根据物理资源调整请求对客户端的物理资源进行动态调整，其中，调整物理资源请求携带物理资源调整策略，包括：

15、若需要动态调整客户端的物理资源，则根据预置资源使用规则生成物理资源调整策略，将物理资源调整策略加入调整物理资源请求，其中，物理资源调整策略包括扩张客户端的物理资源和减少客户端的物理资源中的任一种；

16、将调整物理资源请求发送至kubernetes，使得kubernetes根据物理资源调整请求对客户端的物理资源进行动态调整。

17、可选地，获取根据脚本文件预估的物理资源配置额，之前还包括：

18、对脚本文件内容进行校验。

19、本发明第二方面提供了一种基于云原生的数据传输系统，包括：

20、任务配置模块，用于通过web任务配置界面获取用户选择的任务参数，任务参数包括源头数据源类型、源头数据源信息、目标数据源类型和目标数源信息；

21、脚本生成模块，用于采用开源数据同步工具将任务参数自动生成脚本文件；

22、资源配置模块，用于获取根据脚本文件预估的物理资源配置额；

23、打包模块，用于将脚本文件和预估的物理资源配置额打包生成客户端执行程序，将客户端执行程序通过客户端提交到kubernetes运行；

24、上报模块，用于获取客户端在kubernetes运行过程中上报的物理资源使用情况；

25、判断模块，用于根据物理资源使用情况和预估的物理资源配置额判断是否需要动态调整客户端的物理资源；

26、资源调整模块，用于若需要动态调整客户端的物理资源，则向kubernetes发送调整物理资源请求，使得kubernetes根据物理资源调整请求对客户端的物理资源进行动态调整，其中，调整物理资源请求携带物理资源调整策略。

27、可选地，判断模块具体用于：

28、判断物理资源使用是否达到预估的物理资源配置额的第一预置百分比并持续预置时长，若是，则判断为需要扩张客户端的物理资源；

29、判断物理资源使用是否低于预估的物理资源配置额的第二预置百分比并持续预置时长，若是，则判断为需要减少客户端的物理资源。

30、可选地，第一预置百分比为80％，第二预置百分比为30％。

31、可选地，资源调整模块具体用于：

32、若需要动态调整客户端的物理资源，则根据预置资源使用规则生成物理资源调整策略，将物理资源调整策略加入调整物理资源请求，其中，物理资源调整策略包括扩张客户端的物理资源和减少客户端的物理资源中的任一种；

33、将调整物理资源请求发送至kubernetes，使得kubernetes根据物理资源调整请求对客户端的物理资源进行动态调整。

34、可选地，还包括：

35、校验模块，用于对脚本文件内容进行校验。

36、与现有技术相比，本发明提供的弱交流系统换相失败抑制方法和装置具备以下优点：

37、本发明提供的基于云原生的数据传输方法，用户无需手动便携脚本文件，只需要在web端选择对应的源头数据源类型、源头数据源信息、目标数据源类型和目标数源信息即可通过开源数据同步工具自动生成对应的执行脚本，再打包成客户端执行程序，通过客户端提交给kubernetes编排系统来运行，在运行过程中，客户端上报物理资源使用情况，从而判断是否需要动态调整物理资源，若需要调整，则通过kubernetes对客户端的物理资源进行动态调整，实现资源的动态扩缩容，不再受限于服务器的物理资源，解决了现有的开源数据同步传输方式操作繁琐且受限于服务器的物理资源，难以进行动态扩缩容，影响用户体验的技术问题。

38、本发明提供的基于云原生的数据传输系统，用于执行本发明提供的基于云原生的数据传输方法，其原理和所取得的技术效果与本发明提供的基于云原生的数据传输方法相同，在此不再进行赘述。

技术特征：

1.一种基于云原生的数据传输方法，其特征在于，包括：

2.根据权利要求1所述的基于云原生的数据传输方法，其特征在于，根据物理资源使用情况和预估的物理资源配置额判断是否需要动态调整客户端的物理资源，包括：

3.根据权利要求2所述的基于云原生的数据传输方法，其特征在于，第一预置百分比为80％，第二预置百分比为30％。

4.根据权利要求2所述的基于云原生的数据传输方法，其特征在于，若需要动态调整客户端的物理资源，则向kubernetes发送调整物理资源请求，使得kubernetes根据物理资源调整请求对客户端的物理资源进行动态调整，其中，调整物理资源请求携带物理资源调整策略，包括：

5.根据权利要求1所述的基于云原生的数据传输方法，其特征在于，获取根据脚本文件预估的物理资源配置额，之前还包括：

6.一种基于云原生的数据传输系统，其特征在于，包括：

7.根据权利要求6所述的基于云原生的数据传输系统，其特征在于，判断模块具体用于：

8.根据权利要求7所述的基于云原生的数据传输系统，其特征在于，第一预置百分比为80％，第二预置百分比为30％。

9.根据权利要求7所述的基于云原生的数据传输系统，其特征在于，资源调整模块具体用于：

10.根据权利要求6所述的基于云原生的数据传输系统，其特征在于，还包括：

技术总结
本发明公开了一种基于云原生的数据传输方法和系统，用户无需手动便携脚本文件，只需要在web端选择对应的源头数据源类型、源头数据源信息、目标数据源类型和目标数源信息即可通过开源数据同步工具自动生成对应的执行脚本，再打包成客户端执行程序，通过客户端提交给kubernetes编排系统来运行，在运行过程中，客户端上报物理资源使用情况，从而判断是否需要动态调整物理资源，若需要调整，则通过kubernetes对客户端的物理资源进行动态调整，实现资源的动态扩缩容，不再受限于服务器的物理资源，解决了现有的开源数据同步传输方式操作繁琐且受限于服务器的物理资源，难以进行动态扩缩容，影响用户体验的技术问题。

技术研发人员：林进华,吴丁,林嘉俊,韦明康,莫涵宇,谢睿
受保护的技术使用者：广州趣丸网络科技有限公司
技术研发日：
技术公布日：2024/1/11