一种减少异地容灾平台公网带宽的日志收集方法及装置与流程

本发明涉及异地容灾日志收集，特别是涉及一种减少异地容灾平台公网带宽的日志收集方法及装置。

背景技术：

1、容灾平台是指通过web界面实现配置和管理的灾备软件控制模块。控制模块实现添加实时数据复制规则、定时数据复制以及应用高可用等规则实现数据容灾。生产服务器（工作机或源机source，简称工作机）和备份服务器（灾备机或目标端target，简称灾备机）的日志模块用于收集日志并发送到控制台。控制台（所在主机简称控制机）通过接收到的工作机和灾备机的日志来分析和定位数据容灾过程中遇到的错误。异地容灾平台是工作机和灾备机、控制台不在同一地域的应用场景。

2、现有的日志收集模块一般通过以下方式设置：首次登录控制台需要设置一个控制台地址，可以为域名和ip地址，确保节点（节点指工作机或灾备机）能访问到。注册节点时将控制台地址下发至节点，在执行容灾任务的过程中节点的日志模块收集相关日志并将日志通过该地址发往控制台。这种方案虽然配置简单，工作机和灾备机的日志模块发送到同一个控制台地址；但缺点在于当工作机和灾备机不在同一地域时，节点特别是灾备机的日志模块给控制台传送日志会占用公网资源。

技术实现思路

1、为克服上述现有技术存在的不足，本发明之目的在于提供一种减少异地容灾平台公网带宽的日志收集方法，以实现在异地容灾平台日志收集过程减少公网带宽资源，具有配置简单、灵活的优点。

2、为达上述目的，本发明提出一种减少异地容灾平台公网带宽的日志收集方法，包括如下步骤：

3、通过控制台增加私网地址，存在一个或一个以上私网地址使控制台与灾备机在同一局域网内；

4、设置控制台地址，通过通用唯一识别码映射所述控制台地址，将私网地址和公网地址增加至所述控制台，其中，所述控制台地址参数支持多个地址；

5、利用所述控制台配置节点信息，将所述灾备机的控制台地址设为私网地址，将工作机的控制台地址设为公网地址，所述控制台将所述私网地址下发至所述灾备机，将所述公网地址下发至所述工作机；

6、所述灾备机和所述工作机收集日志数据，并通过所设置的控制台地址向所述控制台发送日志数据，其中，所述灾备机通过私网地址发送，所述工作机通过公网地址发送。

7、进一步地，所述灾备机和所述工作机收集日志数据，包括：

8、所述灾备机的日志收集模块与所述工作机的日志收集模块收集任务日志，通过数据处理模块对日志数据进行压缩。

9、进一步地，所述方法还包括：

10、所述控制台接收所述日志数据，通过所述数据处理模块对所述日志数据解压。

11、进一步地，所述设置控制台地址，通过通用唯一识别码映射所述控制台地址，还包括：

12、编辑所述控制台地址时，所述通用唯一识别码保持不变；

13、无节点使用所述控制台地址时，所述控制台地址与所述通用唯一识别码一并删除；

14、有节点使用所述控制台地址时，所述通用唯一识别码禁止被删除。

15、进一步地，所述利用所述控制台配置节点信息，将所述灾备机的控制台地址设为私网地址，将工作机的控制台地址设为公网地址，所述控制台将所述私网地址下发至所述灾备机，将所述公网地址下发至所述工作机，还包括：

16、通过节点表保存所述灾备机和所述工作机设置的控制台地址，以及所述控制台地址对应的通用唯一识别码；

17、当所述控制台更新所述控制台地址时，根据所述通用唯一识别码同步更新至所述节点表和节点配置信息中。

18、进一步地，所述方法还包括：

19、响应于需要批量更新节点的控制台地址信息时，通过控制台更新多个节点的控制台地址信息，同时对多个节点设置控制台地址。

20、为达上述目的，本发明还提出一种减少异地容灾平台公网带宽的日志收集装置，包括：

21、局域网地址增加模块，用于通过控制台增加私网地址，存在一个或一个以上私网地址使控制台与灾备机在同一局域网内；

22、控制台地址设置模块，用于设置控制台地址，通过通用唯一识别码映射所述控制台地址，将私网地址和公网地址增加至所述控制台，其中，所述控制台地址参数支持多个地址；

23、节点信息配置模块，用于利用所述控制台配置节点信息，将所述灾备机的控制台地址设为私网地址，将工作机的控制台地址设为公网地址，所述控制台将所述私网地址下发至所述灾备机，将所述公网地址下发至所述工作机；

24、日志数据发送模块，用于所述灾备机和所述工作机收集日志数据，并通过所设置的控制台地址向所述控制台发送日志数据，其中，所述灾备机通过私网地址发送，所述工作机通过公网地址发送。

25、进一步地，所述日志数据发送模块，还用于：

26、所述灾备机的日志收集模块与所述工作机的日志收集模块收集任务日志，通过数据处理模块对日志数据进行压缩。

27、进一步地，所述装置还包括日志数据接收模块，用于：

28、所述控制台接收所述日志数据，通过所述数据处理模块对所述日志数据解压。

29、进一步地，所述控制台地址设置模块，还用于：

30、编辑所述控制台地址时，所述通用唯一识别码保持不变；

31、无节点使用所述控制台地址时，所述控制台地址与所述通用唯一识别码一并删除；

32、有节点使用所述控制台地址时，所述通用唯一识别码禁止被删除。

33、与现有技术相比，本发明由控制台支持多地址管理和数据处理模块组成，控制台进行节点配置时将控制台地址下发至节点，然后节点将日志数据进行数据压缩模块处理后发送至控制台实现；其中，数据处理模块包含数据压缩模块和数据解压模块，工作机和灾备机在日志发送前需经数据压缩模块处理，控制台接受到日志数据后需数据解压模块处理；本发明在工作机和灾备机在日志数据发送到控制台之前将数据压缩以减小数据量的方式减少网络带宽，异地容灾的场景下将控制台和灾备机置于同一局域网内，控制台privateip用于接收灾备机日志数据，使用public ip用于接受工作机日志数据，避免占用公网资源，从而达到减少公共网络带宽的目的。

技术特征：

1.一种减少异地容灾平台公网带宽的日志收集方法，包括如下步骤：

2.如权利要求1所述的一种减少异地容灾平台公网带宽的日志收集方法，其特征在于，所述灾备机和所述工作机收集日志数据，包括：

3.如权利要求2所述的一种减少异地容灾平台公网带宽的日志收集方法，其特征在于，所述方法还包括：

4.如权利要求1所述的一种减少异地容灾平台公网带宽的日志收集方法，其特征在于，所述设置控制台地址，通过通用唯一识别码映射所述控制台地址，还包括：

5.如权利要求4所述的一种减少异地容灾平台公网带宽的日志收集方法，其特征在于，所述利用所述控制台配置节点信息，将所述灾备机的控制台地址设为私网地址，将工作机的控制台地址设为公网地址，所述控制台将所述私网地址下发至所述灾备机，将所述公网地址下发至所述工作机，还包括：

6.如权利要求1所述的一种减少异地容灾平台公网带宽的日志收集方法，其特征在于，所述方法还包括：

7.一种减少异地容灾平台公网带宽的日志收集装置，包括：

8.如权利要求7所述一种减少异地容灾平台公网带宽的日志收集装置，其特征在于，所述日志数据发送模块，还用于：

9.如权利要求8所述一种减少异地容灾平台公网带宽的日志收集装置，其特征在于，所述装置还包括日志数据接收模块，用于：

10.如权利要求7所述一种减少异地容灾平台公网带宽的日志收集装置，其特征在于，所述控制台地址设置模块，还用于：

技术总结
本发明一种减少异地容灾平台公网带宽的日志收集方法及装置，该方法包括：通过控制台增加私网地址，存在一个或一个以上私网地址使控制台与灾备机在同一局域网内；设置控制台地址，通过通用唯一识别码映射控制台地址，将私网地址和公网地址增加至控制台，其中，控制台地址参数支持多个地址；利用控制台配置节点信息，将灾备机的控制台地址设为私网地址，将工作机的控制台地址设为公网地址，控制台将所述私网地址下发至灾备机，将公网地址下发至工作机；灾备机和工作机收集日志数据，并通过所设置的控制台地址向控制台发送日志数据，其中，灾备机通过私网地址发送，工作机通过公网地址发送；本发明可以在异地容灾平台日志收集过程减少公网带宽。

技术研发人员：温超,甘磊,陈勇铨,周华
受保护的技术使用者：上海英方软件股份有限公司
技术研发日：
技术公布日：2024/1/16