一种分布式服务监控与自动运维处理系统的制作方法

本发明涉及分布式自动运维处理，特别是涉及一种分布式服务监控与自动运维处理系统。

背景技术：

1、对于复杂业务系统，往往通过服务目录的形式对各种服务应用进行统一管理，建立访问服务资源的机制，同时管理用户资源，在实现本发明过程中，发明人发现这种框架难以满足多客户端节点向后台申请海量数据并要求实时传输的业务场景，海量数据实时传输也对服务运维带来难点。现有技术“浅谈信息化自动运维应用平台的设计与实现”(《信息通信》，2017年第8期)对自动运维应用平台开发相关技术以及平台模块功能进行简要的分析，并且对于平台的基本设计加以阐述，但该论文的技术特征在于数据库的备份与还原，目前还没有形成针对海量数据实时传输的自动运维处理架构，因此迫切需要建立适应海量数据实时传输的分布式服务监控与运维处理框架，能够统一监控各节点服务状态，根据网络流量状态监控信息自适应分配数据分发节点，并能够自动定位出现故障的节点，采用主备服务切换的形式保证系统能够正常推送实时数据给客户端，为系统运维人员减轻运维压力。

技术实现思路

1、发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种分布式服务监控与自动运维处理系统。

2、为了解决上述技术问题，本发明公开了一种分布式服务监控与自动运维处理系统，包括核心服务模块、业务服务模块、实时数据传输模块和客户端，

3、所述核心服务模块，用于面向客户端进行业务服务订阅和业务服务数据分发，对业务服务模块、实时数据传输模块和客户端进行状态监控、流量负载均衡和故障运维；

4、所述业务服务模块，用于向核心服务模块注册业务服务和提供业务服务，并将自身流量状态和订阅信息实时推送至核心服务模块；

5、所述实时数据传输模块，用于对实时传输的海量业务服务数据进行数据预处理，将预处理后的数据分发至客户端；将自身流量状态和订阅信息实时推送至核心服务模块；

6、所述客户端，用于向核心服务模块注册自身信息，订阅业务服务，接收分发的业务服务数据；将自身流量状态实时推送至核心服务模块。

7、进一步地，所述核心服务模块包括订阅分发单元，所述订阅分发单元用于业务服务模块的业务服务注册、实时数据传输模块注册和客户端注册，面向客户端进行业务服务订阅和业务服务数据分发；

8、所述业务服务数据分发包括对可靠性要求高的通用业务服务数据分发和对实时性要求高的业务服务数据分发，所述对可靠性要求高的通用业务服务数据分发包括：订阅分发单元收到客户端的订阅请求后，从业务服务模块获取业务服务数据，并转发至客户端；所述对实时性要求高的业务服务数据分发包括：订阅分发单元收到客户端的订阅请求后，调用实时数据传输模块对业务服务数据进行预处理，实时数据传输模块将预处理后的业务服务数据分发至客户端。

9、进一步地，所述实时数据传输模块包括数据处理分发单元和下级数据分发单元，

10、所述数据处理分发单元，用于对实时性要求高的业务服务数据进行预处理，所述预处理包括数据裁剪；将预处理后的业务服务数据分发至下级数据分发单元；

11、所述下级数据分发单元，用于将预处理后的业务服务数据分发至客户端。

12、进一步地，所述核心服务模块还包括监控单元，所述监控单元用于对业务服务模块、实时数据传输模块和客户端进行状态监控，包括：业务服务模块所在各节点、实时数据传输模块所在各节点和客户端所在各节点与监控单元建立心跳机制，每隔心跳包发送周期向监控单元发送心跳包，所述心跳包中包括当前节点的ip端口、网络流量信息、预设心跳包发送周期和服务订阅信息；监控单元进行心跳包检测，若监控单元在两个心跳包发送周期内没有收到节点心跳包则判定该节点断开，需要重启该节点或启用备用节点。

13、进一步地，所述心跳包发送周期大于或等于实时数据传输模块的数据传输周期，即数据发送步长，实现对海量数据实时传输模块的网络服务状态监控。各个节点的心跳发送周期可以根据需求进行配置，心跳包的最短时间间隔(心跳包最小发送周期tmin)应该等于实时数据传输模块的数据传输周期，这样设计的原因在于有些业务系统应用场景中，实时数据传输的过程不是连续的情况，而是海量实时数据以一个固定频率在系统中更新，这在网络流量变化上表现为瞬时上传流量或瞬时下载流量按照一定周期出现峰值，这个峰值流量信息是后台核心服务节点需要监控的有用信息。网络流量数据的内容包括当前时刻的每秒上传流量和下载流量，以心跳包发送周期t等于实时数据传输模块的数据传输周期的情况为例，心跳包中的网络流量数据应该是心跳包发送时间间隔内每秒流量数据的最大值。在实际业务场景中，心跳包的发送时间间隔可以在根据服务的实时性需求进行调整。核心服务模块通过解析心跳包获取各节点的网络状态信息，作为后面自动运维处理的量化依据。

14、进一步地，所述订阅分发单元在面向客户端进行注册时需要注册包括客户端所在节点的ip、接收的传输端口和客户端的角色权限在内的信息；在面向客户端进行业务服务订阅时，首先根据客户端的角色权限和业务需求分配和调用业务服务模块的对应业务服务接口；在对实时性要求高的业务服务数据分发时，首先根据客户端的角色权限分配数据处理分发单元进行数据预处理，并分配下级数据分发单元将预处理后的业务服务数据分发至客户端。

15、进一步地，所述实时数据传输模块所在各节点心跳包的网络流量信息包括上传流量数据和下载流量数据；

16、所述核心服务模块还包括流量负载均衡单元，所述流量负载均衡单元用于根据实时数据传输模块所在各节点的上传流量数据和下载流量数据，以及网络传输压力对实时数据传输模块所在各节点进行流量负载均衡，包括：所述流量负载均衡采用最少连接原则，将客户端海量数据分发请求分配到目前连接数最少的下级分发节点。选用该方式的原因在于核心服务模块根据客户端请求查询对应的数据处理分发单元所在的节点，根据用户权限裁剪海量数据后进一步下发给下级数据分发单元所在的节点，对于下级数据分发单元所在的节点来说，需要转发给每一路的数据都是一致的。当有新的客户端向核心服务模块发起对实时性要求高的业务服务数据订阅请求后，流量负载均衡单元首先根据客户端注册的角色权限查找对应的数据处理分发单元，然后将当前请求分配给连接数最少的下级数据分发单元所在的节点，若不存在连接数最少的下级数据分发单元或者当前可用的下级数据分发单元流量负载已达到上限，依据实时数据传输模块的节点注册信息，为客户端分配新的下级数据分发单元节点；当有多个客户端向核心服务模块发起对实时性要求高的业务服务数据订阅请求后，流量负载均衡单元根据各级数据分发节点在心跳包中返回的节点流量信息以及实时数据传输模块的节点注册信息，依据各节点负载考虑是否需要重新分配数据处理分发单元所在的节点和下级数据分发单元所在的节点。

17、进一步地，所述核心服务模块还包括运维单元，所述运维单元用于实现故障节点定位和维护；监控单元检测到某一节点心跳服务停发后，运维单元根据其他节点的流量变化对故障节点位置进行定位，对于数据处理分发单元所在的节点和客户端所在的节点按照优先级以队列的形式进行运维处理，所述运维处理包括重要服务节点采用主备服务形式，完成故障服务节点的切换重启以保证实时数据传输和服务器正常运行状态。

18、进一步地，监控单元检测到某一节点心跳服务停发后，运维单元根据其他节点的流量变化对故障节点位置进行定位包括：

19、客户端故障离线对各级流量监控的影响：客户端发送给核心服务模块的心跳包停发；对应的下级数据分发单元所在节点的每秒发送流量变化；相应数据处理分发单元所在节点的每秒发送流量变化；下级数据分发单元所在节点故障下线对各级流量监控的影响：与其相连的全部客户端心跳包发送正常，客户端心跳包中的流量数据记录相比之前有减少；故障下线的下级数据分发单元所在节点的心跳包停发，其他下级数据分发节点的心跳包正常；数据处理分发单元所在节点故障下线对各级流量监控的影响：与其相连的下级数据分发单元和客户端心跳包发送正常，心跳包中的流量记录相比之前有减少；故障下线的数据处理分发单元所在节点的心跳包停发，其他数据处理分发节点的心跳包正常；业务服务单元所在节点故障下线对各级流量监控的影响：故障下线的业务服务单元所在节点心跳包停发，其他节点心跳包正常。

20、监控单元检测到某节点在两个心跳包发送周期后仍然没有收到新的心跳数据，运维单元根据后台注册的节点类型对故障情况进行初步判断，然后查询其他相关节点心跳包中的流量变化是否符合所述客户端故障离线对各级流量监控的影响以及中间分发节点故障下线对各级流量监控的影响的预期，对故障节点进行定位。

21、进一步地，核心服务模块采用主备部署，包括主核心服务节点和备用核心服务节点，核心服务模块在正常运行状态采用主核心服务节点，主核心服务节点向备用核心服务节点发送包含自身状态信息的心跳包数据；当备用核心服务节点监测到主核心服务节点心跳数据停发后，将主核心服务节点的业务功能暂时切换到备用核心服务节点；待主核心服务节点恢复后，再将业务功能切换回主核心服务节点。

22、有益效果：

23、本技术针对业务场景既需要具备海量数据实时传输的功能模块，又需要注重数据传输可靠性的通用数据服务，构建分布式服务监控与自动运维处理框架，核心服务模块除了具备订阅分发功能，还负责对业务服务模块、实时数据传输模块和客户端进行流量状态运维监控，能够统一监控各节点服务状态，根据网络流量状态监控信息自适应分配数据分发节点，并能够自动定位出现故障的节点，采用主备服务切换的形式保证系统能够正常推送实时数据给客户端，为系统运维人员减轻运维压力，实现多种功能服务的统一管理和自动运维处理。