消息队列监控方法、装置、电子设备和介质与流程

本公开涉及计算机技术领域，更具体地，涉及一种消息队列监控方法、一种消息队列监控装置、一种电子设备和一种计算机可读介质。

背景技术：

在安全软件的设计和实现中，报警功能是常见的功能之一，当异常事件发生时，需要对用户进行实时报警，以提醒用户处理。

在相关技术中，针对消息队列深度的监控主要通过设定固定阈值的方式实现。例如，在单位时间段内，检测队列深度平均值高于所设定阈值，则进行报警。然后，根据一段时间的报警情况，人工调整阈值，以适应当前队列运行状态。

在实现本发明构思的过程中，发明人发现相关技术中至少存在如下问题。设定固定阈值的方式进行报警往往是基于工作人员的历史经验设定监控阈值。然而，消息队列的深度受上下游系统运行状态(例如，上下游系统的调用请求量等)、系统自身性能(例如，内存、cup、存储等)以及网络情况等因素的实时波动影响。设定固定阈值的方式难以达到实时监控的目的。阈值设定过低，易造成大量误警的“报警风暴”、浪费运维人力。阈值设定过高，则增加漏报风险。而根据历史经验频繁试错式的“优化”阈值，更无疑在丧失自动化监控有效性的同时，增大了系统运行风险。

技术实现要素：

有鉴于此，本公开提供了一种消息队列监控方法、一种消息队列监控装置、一种电子设备和一种计算机可读介质。

本公开的一个方面提供了一种消息队列监控方法，包括：获取监控数据，基于所述监控数据，确定所述消息队列的当前可承载量和下一时刻的预测深度值，基于所述消息队列的当前可承载量确定所述消息队列的报警阈值，以及在所述消息队列的下一时刻的预测深度值超过所述报警阈值的情况下，确定所述消息队列处于阻塞状态。

根据本公开的实施例，所述方法还包括：在所述消息队列的下一时刻的预测深度值超过所述报警阈值的情况下，进行报警处理。

根据本公开的实施例，所述方法还包括：在所述消息队列的下一时刻的预测深度值超过所述报警阈值的情况下，累加计数值，所述计数值表示所述消息队列的下一时刻的预测深度值连续超过所述报警阈值的累计次数，在所述计数值超过计数阈值的情况下，进行报警处理。

根据本公开的实施例，所述基于所述监控数据，确定所述消息队列的当前可承载量和下一时刻的预测深度值，包括：将所述监控数据输入至经训练的神经网络中，得到所述消息队列的当前可承载量和下一时刻的预测深度值。

根据本公开的实施例，所述方法还包括：获取历史数据，所述历史数据包括历史监控数据和与所述历史监控数据对应的可承载量和下一时刻的深度值，基于所述历史数据，训练所述神经网络。

根据本公开的实施例，训练所述神经网络包括：基于弹性网络算法训练所述神经网络。

根据本公开的实施例，所述方法还包括：基于熵的离散化方法对所述历史数据进行离散处理，得到离散化历史数据。所述基于所述历史数据，训练所述神经网络，包括：基于所述离散化历史数据，训练所述神经网络。

根据本公开的实施例，所述基于所述离散化历史数据，训练所述神经网络，包括：获取多个时间点分别对应的离散化历史数据，基于各时间点的离散化历史数据确定各时间点的数据分组，基于预设时间段以及各时间点的数据分组，确定至少一个训练数据分组，使用所述至少一个训练数据分组训练所述神经网络。

根据本公开的实施例，所述监控数据包括所述消息队列的当前队列深度值、所述消息队列的单位时间入队列量、所述消息队列的单位时间出队列量、所述消息队列所在磁盘空间使用率、cpu使用率、内存使用率、网络连通性和网络即时网速中的至少一个。

根据本公开的实施例，所述获取监控数据包括通过日志收集系统采集操作系统日志、网络日志和应用日志中的至少一个。

本公开的另一个方面提供了一种消息队列监控装置，该装置包括获取模块、第一确定模块、第二确定模块和第三确定模块。其中，获取模块用于获取监控数据。第一确定模块用于基于所述监控数据，确定所述消息队列的当前可承载量和下一时刻的预测深度值。第二确定模块用于基于所述消息队列的当前可承载量确定所述消息队列的报警阈值。第三确定模块用于在所述消息队列的下一时刻的预测深度值超过所述报警阈值的情况下，确定所述消息队列处于阻塞状态。

根据本公开的实施例，所述装置还包括：第一报警模块，用于在所述消息队列的下一时刻的预测深度值超过所述报警阈值的情况下，进行报警处理。

根据本公开的实施例，所述装置还包括：第二报警模块，用于在所述消息队列的下一时刻的预测深度值超过所述报警阈值的情况下，累加计数值，所述计数值表示所述消息队列的下一时刻的预测深度值连续超过所述报警阈值的累计次数；在所述计数值超过计数阈值的情况下，进行报警处理。

根据本公开的实施例，所述基于所述监控数据，确定所述消息队列的当前可承载量和下一时刻的预测深度值，包括：将所述监控数据输入至经训练的神经网络中，得到所述消息队列的当前可承载量和下一时刻的预测深度值。

根据本公开的实施例，所述装置还包括训练模块，用于获取历史数据，所述历史数据包括历史监控数据和与所述历史监控数据对应的可承载量和下一时刻的深度值，基于所述历史数据，训练所述神经网络。

根据本公开的实施例，训练所述神经网络包括：基于弹性网络算法训练所述神经网络。

根据本公开的实施例，所述装置还包括处理模块，用于基于熵的离散化方法对所述历史数据进行离散处理，得到离散化历史数据。所述基于所述历史数据，训练所述神经网络，包括：基于所述离散化历史数据，训练所述神经网络。

根据本公开的实施例，所述基于所述离散化历史数据，训练所述神经网络，包括：获取多个时间点分别对应的离散化历史数据，基于各时间点的离散化历史数据确定各时间点的数据分组，基于预设时间段以及各时间点的数据分组，确定至少一个训练数据分组，使用所述至少一个训练数据分组训练所述神经网络。

根据本公开的实施例，所述监控数据包括所述消息队列的当前队列深度值、所述消息队列的单位时间入队列量、所述消息队列的单位时间出队列量、所述消息队列所在磁盘空间使用率、cpu使用率、内存使用率、网络连通性和网络即时网速中的至少一个。

根据本公开的实施例，所述获取监控数据包括通过日志收集系统采集操作系统日志、网络日志和应用日志中的至少一个。

本公开的另一个方面提供了一种电子设备，包括：一个或多个处理器，存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的方法。

本公开的另一个方面提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现如上所述的方法。

本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的可以应用消息队列监控方法的示例性系统架构；

图2示意性示出了根据本公开实施例的消息队列监控方法的流程图；

图3示意性示出了根据本公开实施例的监控系统的工作示意图；

图4示意性示出了根据本公开实施例的消息队列监控装置的框图；以及

图5示意性示出了根据本公开实施例的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。在使用类似于“a、b或c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b或c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。本领域技术人员还应理解，实质上任意表示两个或更多可选项目的转折连词和/或短语，无论是在说明书、权利要求书还是附图中，都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如，短语“a或b”应当被理解为包括“a”或“b”、或“a和b”的可能性。

本公开的实施例提供了一种消息队列监控方法和装置。该方法包括：获取监控数据，并基于该监控数据确定消息队列的当前可承载量和下一时刻的预测深度值。然后，基于消息队列的当前可承载量确定消息队列的报警阈值，以便在消息队列的下一时刻的预测深度值超过报警阈值的情况下，确定该消息队列处于阻塞状态。

图1示意性示出了根据本公开实施例的可以应用消息队列监控方法的示例性系统架构100。

需要注意的是，图1所示仅为可以应用本公开实施例的消息队列监控方法的系统架构示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104是用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

需要说明的是，本公开实施例所提供的消息队列监控方法一般可以由服务器105执行。相应地，本公开实施例所提供的消息队列监控装置一般可以设置于服务器105中。本公开实施例所提供的消息队列监控方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的消息队列监控装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

例如，终端设备101、102、103中的任意一个(例如，终端设备101，但不限于此)可以采集自身的监控数据，并将监控数据发送至服务器105。服务器105可以获得该监控数据，并基于该监控数据，确定该消息队列的当前可承载量和下一时刻的预测深度值。然后，基于消息队列的当前可承载量确定消息队列的报警阈值，以便在消息队列的下一时刻的预测深度值超过报警阈值的情况下，确定该消息队列处于阻塞状态。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2示意性示出了根据本公开实施例的消息队列监控方法的流程图。

如图2所示，该方法包括操作s201～s204。

在操作s201，获取监控数据。

在本公开实施例中，消息队列(messagequeue，简称mq)例如可以是一种缓存上下游交互信息(例如，文本、图片、音频或者邮件等)的存储容器。例如，消息队列可以是先进先出的数据结构，由上游应用将消息推向下游应用缓存后，等待外推或等待下游应用主动拉取。消息队列作为中间件广泛应用于分布式系统，可以用于解决应用耦合、异步消息、流量削峰等问题。

根据本公开实施例，可以通过日志收集系统采集操作系统日志、网络日志和应用日志中的至少一个以获取监控数据。

在本公开实施例中，监控数据可以包括消息队列的当前队列深度值、消息队列的单位时间入队列量、消息队列的单位时间出队列量、消息队列所在磁盘空间使用率、cpu使用率、内存使用率、网络连通性和网络即时网速中的至少一个。

例如，可以基于fluentd(td-agent)的系统日志采集方法，通过自主编程实现的日志采集脚本，实现对操作系统日志(例如，磁盘空间使用率、cpu使用率、内存使用率)、网络日志(例如，网络连通性、网络即时网速)、应用日志(例如，当前队列深度值、单位时间入队列量、单位时间出队列量)等日志文件的生成，然后td-agent客户端将所生成的日志文件发送到服务器端，以便服务器对采集到的监控数据进行下一步的数据处理。

在操作s202，基于监控数据，确定消息队列的当前可承载量和下一时刻的预测深度值。

在本公开一实施例中，可以将监控数据输入至经训练的神经网络中，得到消息队列的当前可承载量和下一时刻的预测深度值。本公开实施例通过经训练的神经网络对消息队列的当前可承载量和下一时刻的预测深度值进行预测，可以提高预测准确度。

在本公开另一实施例中，还可以基于监控数据，通过预设算法，确定消息队列的当前可承载量和下一时刻的预测深度值。预设算法例如可以是经拟合的算法，该算法例如可以表征监控数据与消息队列的当前可承载量和下一时刻的预测深度值之间的关联关系。

在本公开又一实施例中，还可以基于监控数据，通过预设的判断标准，确定消息队列的当前可承载量和下一时刻的预测深度值。预设的判断标准例如可以根据工作人员的经验调试的判断标准。例如，在监控数据为消息队列所在磁盘空间的使用率的情况下，可以判断当前磁盘空间使用率是否超过阈值(例如，80％)，如果超过，则可以适当调低消息队列的当前可承载量，从而降低报警阈值，以及时向用户进行警示。

可以理解，本公开实施例不限定基于监控数据确定消息队列的当前可承载量和下一时刻的预测深度值的具体方式和算法，本领域技术人员可以根据实际情况进行设定。

根据本公开实施例，在通过经训练的神经网络对消息队列的当前可承载量和下一时刻的预测深度值进行预测的场景下，本公开实施例可以通过如下方式训练该神经网络，以提高预测的准确性。

在本公开实施例中，可以获取历史数据，历史数据可以包括历史监控数据和与历史监控数据对应的可承载量和下一时刻的深度值，并基于历史数据，训练神经网络。

例如，可以获取t1时刻的消息队列的当前队列深度值、消息队列的单位时间入队列量、消息队列的单位时间出队列量、消息队列所在磁盘空间使用率、cpu使用率、内存使用率、网络连通性和网络即时网速作为历史输入训练数据。获取t1时刻对应的当前可承载量和下一时刻t2时刻的队列深度值作为历史输出训练数据。可以基于多个时刻的历史输入训练数据和其对应的历史输出训练数据训练该神经网络。

根据本公开实施例，历史输出训练数据中的下一时刻队列深度值可以直接通过下一时刻的历史数据获取。

根据本公开实施例，历史输出训练数据中的当前可承载量可以通过cpu使用率、内存使用率以及磁盘空间使用率来确定。例如，在队列处于某可承载量下时，cpu使用率、内存使用率以及磁盘空间使用率均低于阈值(例如，90％)且cpu使用率、内存使用率以及磁盘空间使用率中的至少一个接近阈值，则该可承载量可以认为是当前可承载量。例如，可以根据历史经验给出可承载量的初始值h0(初始值例如可以是历史数据的日常队列深度的均值)和单位时间队列消息增长量峰值m(例如，可以取历史数据中单位时间入队列与出队列消息数差值的最大正值)，并设定cpu使用率、内存使用率以及磁盘空间使用率的阈值为90％(仅为示意，本领域技术人员可以依据具体情况适当调高或调低)。可以根据可承载量的初始值h0、单位时间队列消息增长量峰值m以及cpu使用率、内存使用率以及磁盘空间使用率的情况来确定当前可承载量。例如，可以计算可承载量h1＝h0+m×n(n可以表示倍数，初始倍数可以设为1)，并根据可承载量h1的值去预估下一时刻cpu使用率、内存使用率以及磁盘空间使用率是否会突破阈值，如不会，则可以增大倍数n的取值(例如，将当前倍数n扩大两倍)，更新倍数值后再一次进行预估判断。如会超出阈值，则可以减小倍数n的取值(例如，将当前倍数n缩小两倍)，并依次逐步增减n的取值，直至预估到下一时刻cpu使用率、内存使用率以及磁盘空间使用率均低于阈值(例如，90％)且cpu使用率、内存使用率以及磁盘空间使用率中的至少一个接近阈值(例如，落在80％-90％区域内)，则将此时的h1确定为当前可承载量。

根据本公开实施例，可以通过获取历史监控数据作为训练神经网络的输入数据。在通过获取下一时刻的队列深度值作为神经网络的输出数据。通过获取下一个时刻的cpu使用率、内存使用率以及磁盘空间使用率的情况计算得到当前时刻的可承载量作为神经网络输出数据。从而可以基于该些数据训练神经网络，以使经训练的神经网络能够基于采集的监控数据预测该消息队列的当前可承载量和下一时刻的队列深度值。

在本公开实施例中，可以基于弹性网络算法训练神经网络。例如，可以应用弹性网络回归(elasticnetregression)机器学习算法训练该神经网络。弹性网络回归算法是一种可处理非线性可分数据的模型，可拟合一个适合数据点的曲面，且适用于特征变量之间存在高共线性(即两个特征值存在近似线性相关的关系)的情况。本公开实施例通过使用弹性网络回归算法训练神经网络可以降低部分指标项之间(例如，cpu使用率及内存使用率与单位时间进出队列量之间)相关性对模型训练的影响，降低数据高共线性，能够提供较好的拟合效果。

根据本公开实施例，还可以基于熵的离散化方法对历史数据进行离散处理，得到离散化历史数据，并基于离散化历史数据，训练上述神经网络。例如，可以获取多个时间点分别对应的离散化历史数据，基于各时间点的离散化历史数据确定各时间点的数据分组，基于预设时间段以及各时间点的数据分组，确定至少一个训练数据分组，并使用至少一个训练数据分组训练该神经网络。

例如，可以对历史监控数据进行组合和离散化处理。例如，可以在操作系统日志、网络日志和应用日志中的数据项中，选取拟合一个或多个关键指标项，进一步组成初始数据集。例如，仅选用消息队列的当前队列深度值、消息队列的单位时间入队列量、消息队列的单位时间出队列量、消息队列所在磁盘空间使用率、cpu使用率、内存使用率、网络连通性和网络即时网速中的一个或多个作为关键指标项，用以组成神经网络的输入训练集。

在本公开实施例中，还可以通过基于熵的离散化方法对历史监控数据进行处理。例如，获取预设时间段内各历史监控数据指标项的熵，进而据此将各历史监控数据指标项离散化处理得到可用于机器学习的训练数据集。

可以理解，在应用机器学习的过程中，对于具有连续属性的历史采集数据进行离散化处理有利于提高模型训练效率和准确度。连续属性离散化可以采取某种方法将连续的区间划分为小的区间，并将得到的小区间与离散的值关联起来。本公开实施例的基于熵的数据离散化可以适用于有监督学习，通常使用类别信息计算和确定分割点，是一种自顶向下的分裂技术。具体操作步骤如下：步骤1：定义区间的熵；步骤2：把每个值看做分割点，将数据分成两部分，在多种可能的分法中选择一种产生最小熵的分法；步骤3：再分成的两个区间内，找较大熵的区间，重复步骤1；步骤4：满足用户指定个数时，结束分裂过程。

例如，本公开实施例可以选择历史数据中一项或多项关键指标(队列长度、内存/cpu使用率等)作为分隔特征项，通过计算比较切分点两部分的熵之和选定最优切分点。可以理解，特征项的每一个历史取值都可以作为切分点，因此需要依次计算熵值，取值最少的作为最优切分点。

根据本公开实施例，数据离散化可以是指将原始的连续数据进行分组，使其变为一段段离散化的区间，其本质上是一种数据分箱或者分组的方法。本公开实施例使用基于熵的离散化方法，相比于直方图等其他离散化方法，降低了人为设置区间边界阈值的误差，且对于大批量样本集(监控数据单位时间数据量较大)具有较高的离散化效率。

例如，可以根据离散处理后的历史数据，应用elasticnet算法对神经网络进行训练。例如，首先，以时间为维度，对出/入队列缓存消息量、cpu使用率、内存使用率以及磁盘空间使用率等特征指标项应用基于熵的离散化，获得当前时间点的离散化数据，同时通过调整切分点的选取，确定最适合当前生产使用的数据分组；其次，对大量历史监控数据以时间段进行初步分组，再以组为单位进行迭代模型训练，以缩短模型训练时间，也保证了训练数据的时效性。最后，根据每个时间段的训练结果调优模型参数，输出当前时间点的预测数值。

根据本公开实施例，在基于监控数据，通过预设算法，确定消息队列的当前可承载量和下一时刻的预测深度值的场景下，本公开实施例可以通过如下算法实现：

y＝w1x1+w2x2+...+wixi+w0

其中，y是预测输出项，x是各个输入项(即消息队列的当前队列深度值、消息队列的单位时间入队列量、消息队列的单位时间出队列量、消息队列所在磁盘空间使用率、cpu使用率、内存使用率、网络连通性和网络即时网速中的一个或多个)，w为权值项。

对应的损失函数(函数值最小时为最优解w)可以表示为：

min(||xw-y||²+z1||w||+z2||w||²)

本公开实施例不限定具体的预设算法，本领域技术人员可以根据实际情况进行设定。

可以理解，本公开实施例可以基于消息队列的当前队列深度值、消息队列的单位时间入队列量、消息队列的单位时间出队列量、消息队列所在磁盘空间使用率、cpu使用率、内存使用率、网络连通性和网络即时网速中的一个或者多个预测得到或者计算得到当前可承载量和下一时刻的预设深度值，但不公开不限定预测或者计算的方法，本领域技术人员可以根据实际情况进行设定。

在操作s203，基于消息队列的当前可承载量确定消息队列的报警阈值。

根据本公开实施例，可以基于消息队列的当前可承载量和预设比例确定该消息队列的报警阈值。例如，可以将消息队列的当前可承载量的80％作为该消息队列的报警阈值。

在操作s204，在消息队列的下一时刻的预测深度值超过报警阈值的情况下，确定消息队列处于阻塞状态。

根据本公开实施例，若预测得到的下一时刻的预测深度值超过了确定的报警阈值，则可以确定该消息队列处于阻塞状态，可以进行报警处理，以通知用户。

在本公开一实施例中，可以响应于消息队列的下一时刻的预测深度值超过报警阈值，进行即时报警处理。

在本公开另一实施例中，还可以在消息队列的下一时刻的预测深度值超过报警阈值的情况下，累加计数值，该计数值可以表示该消息队列的下一时刻的预测深度值连续超过报警阈值的累计次数，在计数值超过计数阈值的情况下，进行报警处理。例如，响应于下一时刻的预测深度值超过报警阈值，开始计数，若预测模型下一次给出的下一时刻的预测深度值仍超过报警阈值，则累加1，若没有超过报警阈值，则清零。当累加值到达计数阈值时，则判定当前队列处于阻塞状态，进行报警处理。

在本公开又一实施例中，还可以取某一时间区间，通过计算该区间均值的方式，检测队列是否长期处于近乎满负载的临界状态，从而对潜在风险进行预警。例如，计算一段时间内预测得到的当前可承载量的均值和下一时刻的预测深度值的均值，基于均值确定该时间区间内消息队列是否处于阻塞状态。或者，也可以基于预测的深度值计算预测平均深度值，同时计算该组深度值的方差，筛除由于出现峰值毛刺导致的方差过大情况之后，当预测平均深度值达到预设阈值的一定百分比之后，判定队列处于阻塞状态，触发预警报出。

本公开实施例可以实时采集监控数据，并基于神经网络预测消息队列的当前可承载量和下一时刻的预测深度值，从而可以基于预测得到的当前可承载量和下一时刻的预测深度值确定队列当前时刻是否处于阻塞状态。很好地解决了固定阈值监控中阈值无法实时适配当前队列情况所导致的报警遗漏或报警风暴问题，降低了校验调优监控阈值过程中的人工成本，提高了系统报警准确率和有效性。

图3示意性示出了根据本公开实施例的监控系统的工作示意图。

如图3所示，该监控系统包括数据采集模块、数据预处理模块、模型训练模块、预测报警模块和统一监控平台。

数据采集模块将操作系统日志(磁盘空间使用率、cpu使用率、内存使用率)、网络日志(网卡端口链路连通性、网络即时网速)、应用日志(当前队列深度值、单位时间消息入队列量、单位时间消息出队列量)等历史监控数据采集形成日志文件，并传输给数据预处理模块。

数据预处理模块进一步将历史日志中的若干项指标数据组合，并离散化形成训练数据集，训练数据集达到一定规模后，根据预先选定的弹性回归算法训练预测模型；

预测报警模块根据上一步得到的预测模型结合数据采集模块实时获取的监控数据，预估该消息队列的当前可承载量和下一时刻的预测深度值，并根据当前可承载量更新报警阈值，同时根据下一时刻的预测深度值和更新后的报警阈值判断是否触发报警。

当预测报警模块判断下一时刻的预测深度值超出报警阈值时，组织报警信息上送统一监控平台，进行正式报警发布。

本公开实施例可以实时采集监控数据，并基于神经网络预测消息队列的当前可承载量和下一时刻的预测深度值，从而可以基于预测得到的当前可承载量和下一时刻的预测深度值确定队列当前时刻是否处于阻塞状态，在处于阻塞状态时，进行报警处理，以提醒用户。很好地解决了固定阈值监控中阈值无法实时适配当前队列情况所导致的报警遗漏或报警风暴问题，降低了校验调优监控阈值过程中的人工成本，提高了系统报警准确率和有效性。

图4示意性示出了根据本公开实施例的消息队列监控装置400的框图。

如图4所示，该装置400包括获取模块410、第一确定模块420、第二确定模块430和第三确定模块440。

获取模块410用于获取监控数据。

第一确定模块420用于基于所述监控数据，确定所述消息队列的当前可承载量和下一时刻的预测深度值。

第二确定模块430用于基于所述消息队列的当前可承载量确定所述消息队列的报警阈值。

第三确定模块440用于在所述消息队列的下一时刻的预测深度值超过所述报警阈值的情况下，确定所述消息队列处于阻塞状态。

根据本公开的实施例，所述装置还包括：第一报警模块，用于在所述消息队列的下一时刻的预测深度值超过所述报警阈值的情况下，进行报警处理。

根据本公开的实施例，所述装置还包括：第二报警模块，用于在所述消息队列的下一时刻的预测深度值超过所述报警阈值的情况下，累加计数值，所述计数值表示所述消息队列的下一时刻的预测深度值连续超过所述报警阈值的累计次数；在所述计数值超过计数阈值的情况下，进行报警处理。

根据本公开的实施例，所述基于所述监控数据，确定所述消息队列的当前可承载量和下一时刻的预测深度值，包括：将所述监控数据输入至经训练的神经网络中，得到所述消息队列的当前可承载量和下一时刻的预测深度值。

根据本公开的实施例，所述装置还包括训练模块，用于获取历史数据，所述历史数据包括历史监控数据和与所述历史监控数据对应的可承载量和下一时刻的深度值，基于所述历史数据，训练所述神经网络。

根据本公开的实施例，训练所述神经网络包括：基于弹性网络算法训练所述神经网络。

根据本公开的实施例，所述装置还包括处理模块，用于基于熵的离散化方法对所述历史数据进行离散处理，得到离散化历史数据。所述基于所述历史数据，训练所述神经网络，包括：基于所述离散化历史数据，训练所述神经网络。

根据本公开的实施例，所述基于所述离散化历史数据，训练所述神经网络，包括：获取多个时间点分别对应的离散化历史数据，基于各时间点的离散化历史数据确定各时间点的数据分组，基于预设时间段以及各时间点的数据分组，确定至少一个训练数据分组，使用所述至少一个训练数据分组训练所述神经网络。

根据本公开的实施例，所述监控数据包括所述消息队列的当前队列深度值、所述消息队列的单位时间入队列量、所述消息队列的单位时间出队列量、所述消息队列所在磁盘空间使用率、cpu使用率、内存使用率、网络连通性和网络即时网速中的至少一个。

根据本公开的实施例，所述获取监控数据包括通过日志收集系统采集操作系统日志、网络日志和应用日志中的至少一个。

根据本公开实施例，装置400例如可以执行上文参考图2描述的方法，在此不再赘述。

根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，获取模块410、第一确定模块420、第二确定模块430和第三确定模块440中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单元中实现。根据本公开的实施例，获取模块410、第一确定模块420、第二确定模块430和第三确定模块440中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获取模块410、第一确定模块420、第二确定模块430和第三确定模块440中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图5示意性示出了根据本公开实施例的电子设备的方框图。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图5所示，根据本公开实施例的电子设备500包括处理器501，其可以根据存储在只读存储器(rom)502中的程序或者从存储部分508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。处理器501例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))，等等。处理器501还可以包括用于缓存用途的板载存储器。处理器501可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在ram503中，存储有系统500操作所需的各种程序和数据。处理器501、rom502以及ram503通过总线504彼此相连。处理器501通过执行rom502和/或ram503中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom502和ram503以外的一个或多个存储器中。处理器501也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，系统500还可以包括输入/输出(i/o)接口505，输入/输出(i/o)接口505也连接至总线504。系统500还可以包括连接至i/o接口505的以下部件中的一项或多项：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被处理器501执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的rom502和/或ram503和/或rom502和ram503以外的一个或多个存储器。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。