Hadoop集群监控方法、装置、系统、电子设备及存储介质与流程

本公开涉及大数据，尤其涉及一种hadoop集群监控方法、装置、电子设备及存储介质。

背景技术：

1、相关技术中的用于大规模hadoop集群的prometheus监控系统，没有实现高可用和水平扩展方案，单个prometheus性能有限，并不足以支撑大规模hadoop集群监控指标采集。

技术实现思路

1、本公开提供一种hadoop集群监控方法、装置、电子设备及存储介质，以解决相关技术中的问题。

2、本公开的第一方面实施例提出了一种hadoop集群监控方法，应用于监控服务端，该方法包括：

3、接收由至少一个监控终端中每个监控终端发送的监控终端信息及对应的监控终端上运行的第一prometheus实例的第一prometheus实例信息；

4、及，

5、获取目标hadoop集群的第一监控目标的第一监控目标信息；第一监控目标指目标hadoop集群中新出现的监控目标；

6、基于第一prometheus实例信息及第一监控目标信息，判断第一prometheus实例是够能够监控第一监控目标；

7、若判断结果为否，则向至少一个监控终端中的第二监控终端发送创建第二prometheus实例的指令；

8、接收第二监控终端发送的第二prometheus实例的第二prometheus实例信息，匹配第一监控目标与第二prometheus实例，以使第二prometheus实例监控第一监控目标。

9、在一实施例中，判断第一prometheus实例能够监控第一监控目标之后，本公开提供的方法还包括：

10、若判断结果为是，匹配第一监控目标与第一prometheus实例，以使第一prometheus实例监控第一监控目标。

11、在一实施例中，接收第二监控终端发送的第二prometheus实例的第二prometheus实例信息，匹配第一监控目标与第二prometheus实例，包括：

12、接收第二监控终端发送的第二prometheus实例的第二prometheus实例信息；

13、基于第二prometheus实例信息，通过服务注册模块为第二prometheus实例创建对应的监控目标目录；

14、基于监控目标信息，将第一监控目标注册到监控目标目录。

15、本公开的第二方面实施例提出了一种hadoop集群监控方法，应用于监控终端，该方法包括：

16、接收由监控服务端发送的创建第二prometheus实例的指令；

17、执行创建第二prometheus实例的指令，创建第二prometheus实例；

18、向监控服务端发送第二prometheus实例的第二prometheus实例信息；第二prometheus实例信息用于使监控服务端基于第二prometheus实例信息，将第一监控目标与第二prometheus实例相匹配；第一监控目标指目标hadoop集群中新出现的监控目标；

19、基于监控服务端发送的第一监控目标与第二prometheus实例的匹配结果，利用第二prometheus实例监控第一监控目标。

20、在一实施例中，基于监控服务端发送的第一监控目标与第二prometheus实例的匹配结果，利用第二prometheus实例监控第一监控目标，包括：

21、从服务注册模块中获取与第二prometheus实例对应的监控目标目录；监控目标目录指监控服务端通过服务注册模块为第二prometheus实例创建的监控目标目录；

22、利用第二prometheus实例监控监控目标目录中的第一监控目标。

23、在一实施例中，基于监控服务端发送的第一监控目标与第二prometheus实例的匹配结果，利用第二prometheus实例监控第一监控目标之后，本公开提供的方法还包括：

24、通过第二prometheus实例向victoriametrics发送监控结果，监控结果指第一监控目标的监控结果。

25、本公开的第三方面实施例提出了一种hadoop集群监控装置，应用于监控服务端，该装置包括：

26、第一接收单元，用于接收由至少一个监控终端中每个监控终端发送的监控终端信息及对应的监控终端上运行的第一prometheus实例的第一prometheus实例信息；

27、第一获取单元，用于获取目标hadoop集群的第一监控目标的第一监控目标信息；第一监控目标指目标hadoop集群中新出现的监控目标；

28、判断单元，用于基于第一prometheus实例信息及第一监控目标信息，判断第一prometheus实例是够能够监控第一监控目标；

29、第一发送单元，用于若判断结果为否，则向至少一个监控终端中的第二监控终端发送创建第二prometheus实例的指令；

30、第二接收单元，用于接收第二监控终端发送的第二prometheus实例的第二prometheus实例信息，匹配第一监控目标与第二prometheus实例，以使第二prometheus实例监控第一监控目标。

31、本公开的第四方面实施例提出了一种hadoop集群监控装置，应用于监控终端，该装置包括：

32、第三接收单元，用于接收由监控服务端发送的创建第二prometheus实例的指令；

33、执行单元，用于执行创建第二prometheus实例的指令，创建第二prometheus实例；

34、第二发送单元，用于向监控服务端发送第二prometheus实例的第二prometheus实例信息；第二prometheus实例信息用于使监控服务端基于第二prometheus实例信息，将第一监控目标与第二prometheus实例相匹配；第一监控目标指目标hadoop集群中新出现的监控目标；

35、监控单元，用于基于监控服务端发送的第一监控目标与第二prometheus实例的匹配结果，利用第二prometheus实例监控第一监控目标。

36、本公开的第五方面实施例提出了一种hadoop集群监控系统，包括：

37、监控服务端，用于接收由至少一个监控终端中每个监控终端发送的监控终端信息及对应的监控终端上运行的第一prometheus实例的第一prometheus实例信息；及，获取目标hadoop集群的第一监控目标的第一监控目标信息；第一监控目标指目标hadoop集群中新出现的监控目标；基于第一prometheus实例信息及第一监控目标信息，判断第一prometheus实例是够能够监控第一监控目标；若判断结果为否，则向至少一个监控终端中的第二监控终端发送创建第二prometheus实例的指令；接收第二监控终端发送的第二prometheus实例的第二prometheus实例信息，匹配第一监控目标与第二prometheus实例，以使第二prometheus实例监控第一监控目标。

38、至少一个监控终端，所属每个监控终端上部署至少一个prometheus实例；监控终端用于接收由监控服务端发送的创建第二prometheus实例的指令；执行创建第二prometheus实例的指令，创建第二prometheus实例；向监控服务端发送第二prometheus实例的第二prometheus实例信息；第二prometheus实例信息用于使监控服务端基于第二prometheus实例信息，将第一监控目标与第二prometheus实例相匹配；第一监控目标指目标hadoop集群中新出现的监控目标；基于监控服务端发送的第一监控目标与第二prometheus实例的匹配结果，利用第二prometheus实例监控第一监控目标；

39、服务注册模块，用于为第二prometheus实例创建对应的监控目标目录。

40、在一实施例中，系统还包括victoriametrics。

41、在一实施例中，victoriametrics用于存储第二prometheus实例发送监控结果，监控结果指第一监控目标的监控结果。

42、本公开的第六方面实施例提出了一种电子设备，包括：

43、至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开第一方面实施例，或本公开第二方面实施例中描述的方法。

44、本公开的第七方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开第一方面实施例，或本公开第二方面实施例中描述的方法。

45、综上，本公开提出了一种hadoop集群监控方法，该方法包括：监控服务端接收由至少一个监控终端中每个监控终端发送的监控终端信息及对应的监控终端上运行的第一prometheus实例的第一prometheus实例信息；及，获取目标hadoop集群的第一监控目标的第一监控目标信息；第一监控目标指目标hadoop集群中新出现的监控目标；监控服务端基于第一prometheus实例信息及第一监控目标信息，判断第一prometheus实例是否能够监控第一监控目标；若判断结果为否，则监控服务端向至少一个监控终端中的第二监控终端发送创建第二prometheus实例的指令；监控终端接收由监控服务端发送的创建第二prometheus实例的指令；监控终端执行创建第二prometheus实例的指令，创建第二prometheus实例；监控终端向监控服务端发送第二prometheus实例的第二prometheus实例信息；第二prometheus实例信息用于使监控服务端基于第二prometheus实例信息，将第一监控目标与第二prometheus实例相匹配；第一监控目标指目标hadoop集群中新出现的监控目标；监控服务端接收第二监控终端发送的第二prometheus实例的第二prometheus实例信息，匹配第一监控目标与第二prometheus实例，以使第二prometheus实例监控第一监控目标；监控终端基于监控服务端发送的第一监控目标与第二prometheus实例的匹配结果，利用第二prometheus实例监控第一监控目标。

46、本公开提供的方案，通过监控服务端接收由至少一个监控终端中每个监控终端发送的监控终端信息及对应的监控终端上运行的第一prometheus实例的第一prometheus实例信息；及，获取目标hadoop集群的第一监控目标的第一监控目标信息；基于第一prometheus实例信息及第一监控目标信息，判断第一prometheus实例是否能够监控第一监控目标；若判断结果为否，则向至少一个监控终端中的第二监控终端发送创建第二prometheus实例的指令；通过监控终端接收由监控服务端发送的创建第二prometheus实例的指令；执行创建第二prometheus实例的指令，创建第二prometheus实例；向监控服务端发送第二prometheus实例的第二prometheus实例信息；通过监控服务端接收第二监控终端发送的第二prometheus实例的第二prometheus实例信息，匹配第一监控目标与第二prometheus实例，监控终端基于监控服务端发送的第一监控目标与第二prometheus实例的匹配结果，利用第二prometheus实例监控第一监控目标。本公开提供的方案，将prometheus应用于hadoop集群监控中，实现了prometheus高可用和水平扩展，解决单个prometheus性能不足问题。

47、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。