基于Python的不同服务器间的数据上报方法及系统与流程

文档序号:35917970发布日期:2023-11-03 21:18阅读:48来源:国知局
基于Python的不同服务器间的数据上报方法及系统与流程

本发明涉及计算机数据处理,特别涉及基于python的不同服务器间的数据上报方法及系统。


背景技术:

1、现有技术中日常界面化办公大多数会在windows系统下(用a服务器表示),而数据存储服务多数部署在linux系统(用b服务器表示)。对于外部的服务器(用c服务器表示)的网络限制则会更多,仅限于与b服务器网络互通(即a服务器和c服务器之间是网络隔离的,b服务器和c服务器是互通的),但又需要在a服务器操作上报任务且有备份留存,此时,中间介质是b服务器,目标是c服务器。

2、那么,在网络不都互通的情况下借助数据库管理工具存在a服务器下的手动操作流程有以下两种方式:第一种、是在a服务器通过cli(cli:command-line interface,中文名为命令行界面,是指可在用户提示符下键入可执行指令的界面)模式直接执行mysqldump(mysqldump是一个数据库备份程序)命令获取数据备份文件且通过文件传输工具传输至b服务器,然后ssh(ssh:secure shell,是一种加密网络协议,用于在不安全的网络上安全地运行网络服务)远程连接b服务器执行source(mysql数据库中的导入命令)命令上报数据备份文件至c服务器并通过cli模式获取上报数据的记录手动抄录在excel文件留档。第二种、是在a服务器直接ssh远程连接b服务器通过cli模式执行mysqldump命令获取数据备份文件且通过文件传输工具传回至a服务器作备份,然后于b服务器继续执行source命令上报至c服务器并通过cli模式获取上报数据的记录手动抄录在excel文件留档。

3、但是,无论是方式一还是方式二,既要在a服务器留存备份又要上报数据至c服务器,其过程都是很繁琐的,再者对于多数据表上报的情况,需要执行多次备份命令和上报命令,故稍不留神手动操作就会出现数据漏报的情况。

4、因而现有技术还有待改进和提高。


技术实现思路

1、本发明的主要目的在于提供一种基于python的不同服务器间的数据上报方法及系统,旨在解决现有技术中在windows系统上将数据上报至外部服务器时,不能实现自动上报,且容易出现数据漏报的问题。

2、为了达到上述目的,本发明采取了以下技术方案:

3、一种基于python的不同服务器间的数据上报方法,所述基于python的不同服务器间的数据上报方法包括:

4、第一服务器检测第一数据是否存在,在检测到存在所述第一数据时,根据所述第一数据与第二服务器建立连接;

5、第三服务器检测第二数据是否存在,若检测到不存在所述第二数据,则创建所述第二数据;

6、所述第三服务器在与所述第二服务器建立连接后,所述第三服务器将第一脚本传输至所述第二服务器,以所述第二服务器在检测到不存在所述第二数据时,根据所述第一脚本建立所述第二数据;

7、所述第二服务器利用数据库备份程序对第三数据中的数据进行增量备份操作得到备份文件,并对所述备份文件中的备份数据进行统计得到统计文档,将所述统计文档传输至所述第三服务器;

8、所述第二服务器将所述备份数据传输至所述第三服务器。

9、所述基于python的不同服务器间的数据上报方法中,所述第一服务器检测第一数据是否存在,在检测到存在所述第一数据时,根据所述第一数据与第二服务器建立连接,之前包括:

10、所述第二服务器检测第三数据是否存在,若检测到不存在所述第三数据,接收导入的所述第三数据。

11、所述基于python的不同服务器间的数据上报方法中,所述第三服务器在与所述第二服务器建立连接后,所述第三服务器将第一脚本传输至所述第二服务器,以所述第二服务器在检测到不存在所述第二数据时,根据所述第一脚本建立所述第二数据,具体包括:

12、所述第三服务器利用远程传输工具与所述第二服务器建立连接后,所述第三服务器将所述第一脚本传输至所述第二服务器;

13、所述第二服务器检测是否存在所述第二数据,若检测到不存在所述第二数据,所述第二服务器根据所述第一脚本建立所述第二数据;

14、其中,所述远程传输工具为ssh工具;所述第一脚本为shell脚本。

15、所述基于python的不同服务器间的数据上报方法中,所述第二服务器利用数据库备份程序对第三数据中的数据进行增量备份操作得到备份文件,并对所述备份文件中的备份数据进行统计得到统计文档,将所述统计文档传输至所述第三服务器,具体包括:

16、所述第二服务器利用所述数据库备份程序对所述数据进行增量备份操作得到所述备份文件,并利用所述远程传输工具将所述备份文件传输至所述第三服务器;

17、所述第二服务器对所述备份文件中的备份数据进行统计得到备份数据量,并统计预设时期内的备份数据量得到所述统计文档;

18、所述第二服务器利用所述远程传输工具将所述统计文档传输至所述第三服务器,并利用增量条件更新所述第三数据。

19、所述基于python的不同服务器间的数据上报方法中,所述第一服务器检测所述第一数据是否存在,在检测到存在第一数据时,根据所述第一数据与第二服务器建立连接,还包括:

20、所述第一服务器检测所述第一数据是否存在,若检测到不存在所述第一数据时,创建所述第一数据,以所述第二服务器根据所述第一数据与所述第二服务器建立连接;

21、其中,所述第一服务器为外部服务器;所述第一数据包括:数据上报库表。

22、所述基于python的不同服务器间的数据上报方法中,所述第二服务器将所述备份数据传输至所述第三服务器,具体包括:

23、所述第二服务器执行所述备份文件,并将所述备份数据传输至第三服务器。

24、所述基于python的不同服务器间的数据上报方法中,所述第三服务器部署在windows系统上;所述第二数据包括:数据上报备份目录;所述第三数据包括:依赖sql库表。

25、所述基于python的不同服务器间的数据上报方法中,所述第二服务器部署在linux系统上;所述增量条件包括:所述备份数据的最后记录时间和字帧的id。

26、一种基于python的不同服务器间的数据自动上报系统,所述基于python的不同服务器间的数据上报系统包括:

27、第一服务器、第二服务器和第三服务器;所述第一服务器和所述第二服务器连接;所述第二服务器和所述第三服务器连接;

28、所述第一服务器用于检测所述第一数据是否存在,在检测到存在第一数据时,根据所述第一数据与第二服务器建立连接;

29、所述第三服务器用于检测第二数据是否存在,若检测到不存在所述第二数据,则创建所述第二数据;

30、所述第三服务器还用于在与所述第二服务器建立连接后,将第一脚本传输至所述第二服务器,以所述第二服务器在检测到不存在所述第二数据时,根据所述第一脚本建立所述第二数据;

31、所述第二服务器用于利用数据库备份程序对第三数据中的数据进行增量备份操作得到备份文件,并对所述备份文件中的备份数据进行统计得到统计文档,将所述统计文档传输至所述第三服务器;

32、所述第二服务器还用于将所述备份数据传输至所述第三服务器。

33、所述基于python的不同服务器间的数据上报系统中,所述第二服务器还用于检测第三数据是否存在,若检测到不存在所述第三数据,接收导入的所述第三数据;其中,所述第二服务器部署在linux系统上;所述第一数据包括:依赖sql库表。

34、相较于现有技术,本发明提供的一种基于python的不同服务器间的数据上报方法及系统,所述方法中第一服务器检测第一数据是否存在,在检测到存在第一数据时根据第一数据与第二服务器建立连接;第三服务器检测第二数据是否存在,若检测到不存在第二数据则创建第二数据;在与第二服务器建立连接后,第三服务器将第一脚本传输至第二服务器,以第二服务器在检测到不存在第二数据时根据第一脚本建立第二数据;第二服务器利用数据库备份程序对第三数据中的数据进行增量备份操作得到备份文件,并对备份文件中的备份数据进行统计得到统计文档,将统计文档传输至第三服务器;第二服务器将备份数据传输至第三服务器,实现自动、高效且精准地将数据上报至外部服务器中。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1