一种基于搜索引擎的数据监控方法和系统的制作方法
【技术领域】
[0001 ]本发明涉及数据监控领域，更为具体而言，涉及一种基于搜索引擎的数据监控方 法和系统。
【背景技术】
[0002] 随着电子商务相关技术和业务的快速发展，平台化的监控方式满足不了日益增长 的各种不同数据的监控要求。目前，应用服务器为了满足不断多样化的大量应用需求，大多 以服务器集群的形式进行部署，而且应用的数量不断增加，各种不同应用之间的数据交互 更加复杂。因此，如何对集群形式的应用服务器系统中的各项数据进行有效监控，成为了数 据监控领域亟需解决的技术问题。
【发明内容】
[0003] 为解决上述技术问题，本发明提供了一种基于搜索引擎的数据监控方法和系统。
[0004] 根据本发明实施方式的第一方面，提供了一种基于搜索引擎的数据监控方法，该 方法可包括通过监控服务器端接收应用服务器上的监控数据，并将所述监控数据写入搜索 引擎以便所述搜索引擎对所述监控数据进行存储和索引；根据预设的监控指标从所述搜索 引擎获取对所述监控数据的统计数据，以便对超过监控阈值的指标发出报警信息。
[0005] 在本发明的一些实施方式中，所述应用服务器上的监控数据是由设置于所述应用 服务器的监控代理端采集，封装为JS0N格式，通过消息中间件发送至所述监控服务器端。
[0006] 在本发明的一些实施方式中，所述监控数据包括指标名称、指标采集时间和指标 对应的数值。
[0007] 在本发明的一些实施方式中，所述监控指标包括以下的一种或多种:CPU、内存、页 面访问量、页面响应时间、页面响应大小、异常响应码、访问地区排名、访问URL排名、来源 URL排名、进程、端口、JVM服务线程数、JVM堆内存使用、JVM装载类数目、数据库连接池和 ERROR级日志。
[0008] 在本发明的一些实施方式中，所述根据预设的监控指标从所述搜索引擎获取对所 述监控数据的统计数据包括:根据预设的监控指标从所述搜索引擎通过全文检索获取对所 述监控数据的统计数据。
[0009] 在本发明的一些实施方式中，所述报警信息包括:指标名称和所述指标的数值超 过所述监控阈值的时间。
[0010] 根据本发明实施方式的第二方面，提供了一种基于搜索引擎的数据监控系统，该 系统可包括:监控服务器端，用于接收应用服务器上的监控数据，并将所述监控数据写入搜 索引擎;搜索引擎，用于对所述监控数据进行存储和索引；所述监控服务器端，还用于根据 预设的监控指标从所述搜索引擎获取对所述监控数据的统计数据，以便对超过监控阈值的 指标发出报警信息。
[0011] 在本发明的一些实施方式中，所述系统还包括：监控代理端，设置于应用服务器 上，用于采集所述应用服务器上的监控数据，将所述监控数据封装为JSON格式，并通过消息 中间件发送至所述监控服务器端。
[0012] 在本发明的一些实施方式中，所述监控数据包括指标名称、指标采集的时间和指 标对应的数值。
[0013] 在本发明的一些实施方式中，所述监控指标包括以下的一种或多种:CPU、内存、页 面访问量、页面响应时间、页面响应大小、异常响应码、访问地区排名、访问URL排名、来源 URL排名、进程、端口、JVM服务线程数、JVM堆内存使用、JVM装载类数目、数据库连接池和 ERROR级日志。
[0014] 在本发明的一些实施方式中，所述监控服务器端根据预设的监控指标从所述搜索 引擎获取对所述监控数据的统计数据包括:根据预设的监控指标从所述搜索引擎通过全文 检索获取对所述监控数据的统计数据。
[0015] 在本发明的一些实施方式中，所述报警信息包括:指标名称和所述指标的数值超 过所述监控阈值的时间。
[0016] 实施本发明提供的基于搜索引擎的数据监控方法和系统，能够通过搜索引擎对非 结构化的应用日志等各类监控数据进行有效、高速的检索，及时对应用服务器的各类异常 情况进行监控和报警。
【附图说明】
[0017] 图1是根据本发明一种实施方式的基于搜索引擎的数据监控方法的流程示意图；
[0018] 图2是根据本发明一种实施方式的基于搜索引擎的数据监控系统的结构示意图；
[0019] 图3是根据本发明一种实施方式的基于搜索引擎的数据监控系统的结构示意图。
【具体实施方式】
[0020] 以下结合附图和【具体实施方式】对本发明的各个方面进行详细阐述。其中，众所周 知的模块、单元及其相互之间的连接、链接、通信或操作没有示出或未作详细说明。并且，所 描述的特征、架构或功能可在一个或一个以上实施方式中以任何方式组合。本领域技术人 员应当理解，下述的各种实施方式只用于举例说明，而非用于限制本发明的保护范围。还可 以容易理解，本文所述和附图所示的各实施方式中的模块或单元或处理方式可以按各种不 同配置进行组合和设计。
[0021 ]参见图1，图1是根据本发明一种实施方式的基于搜索引擎的数据监控方法的流程 示意图，该方法可包括：
[0022] S101，通过监控服务器端接收应用服务器上的监控数据，并将所述监控数据写入 搜索引擎以便所述搜索引擎对所述监控数据进行存储和索引；
[0023] S102,根据预设的监控指标从所述搜索引擎获取对所述监控数据的统计数据，以 便对超过监控阈值的指标发出报警信息。
[0024]在本发明的实施方式中，基于搜索引擎的数据监控方法可包括:步骤S101，通过监 控服务器端接收应用服务器上的监控数据，并将所述监控数据写入搜索引擎以便所述搜索 引擎对所述监控数据进行存储和索引。其中，应用服务器上的监控数据可以是由设置于应 用服务器上的监控代理Agent端采集，封装为JS0N格式，通过消息中间件(例如，分布式消息 中间件)发送至所述监控服务器Server端。
[0025] 需要说明的是，本发明的应用服务器可包括WEB应用服务器，一般以集群的形式向 外提供应用服务，例如，接收客户端的诸如查询、下单和支付之类的交易请求，对这些请求 进行处理，并记录相应的应用日志，例如交易成功、交易失败、交易异常等信息，并可将这些 日志信息依次分为inf 〇级别、warn ing级别和error级别。在应用服务器集群中的每台应用 服务器均设置一个监控代理Agent端，通过各个应用服务器上的监控Agent端采集该应用服 务器上的各类监控数据。监控Agent端在应用服务器上采集的监控数据可包括各种不同的 数据，从数据类型来划分，可包括:WEB访问日志、应用日志（例如，上面举例说明的交易成 功、交易失败、交易异常等日志信息）、操作系统的使用数据等等;从数据的结构来划分，一 条监控数据可包括：需要监控的指标名称、指标采集时间（例如，该指标名称对应指标的采 集时间）和指标对应的数值(例如，在该采集时间的时间点上指标名称对应指标的数值）。
[0026] 设置于应用服务器的监控Agent端在采集监控数据后，将这些监控数据解释成 JS0N格式，通过分布式消息中间件以消息队列的形式发送至监控服务器端，接着，监控服务 器端读取消息队列中的消息，并将消息以JS0N的格式写入搜索引擎(例如，基于lucene构建 的分布式搜索引擎等），搜索引擎可以实时地对消息进行索引和存储，而且通过JS0N格式也 可以对消息中的监控相关字段进行分词和索引，以便后续从搜索引擎中检索监控指标对应 的监控数据。
[0027]步骤S102中，监控服务器端根据预设的监控指标从搜索引擎获取对监控数据的统 计数据，例如，可通过全文检索检索搜索引擎中监控指标对应的监控数据，得到对这些监控 数据的统计数据，将这些统计数据保存以便后续监控显示，然后将统计得到的各项监控指 标的数值与指标相应的监控阈值进行比较，若超过(例如，大于或等于)监控阈值，则对超过 监控阈值的指标发出报警信息。其中，监控指标可包括下述的一种或多种:CPU、内存、页面 访问量、页面响应时间、页面响应大小、异常响应码(例如，40X、50X等响应码）、访问地区排 名、访问URL排名、来源URL排名、进程、端口、JVM服务线程数、JVM堆内存使用、JVM装载类数 目、数据库连接池、ERROR级日志。对于不同的监控指标，可设置相应的监控阈值，然而对于 其中的一些监控指标，也可以不设置监控阈值，例如访问地区排名、访问URL排名、来源URL 排