一种自动分类监控应用服务日志的方法及系统与流程

本发明涉及网络服务器管理的技术领域，更具体地，涉及一种自动分类监控应用服务日志的方法及系统。

背景技术：

应用程序(application，简称app)，为使用终端的用户提供与其它用户或服务器之间的交互功能，并且具有可视界面，方便用户获取交互信息。因此，应用程序由于便捷化、灵活化的操作方式广受人们喜爱，通过应用程序进行交互已然成为一种普遍的通讯方式。随着互联网用户的不断增加，应用程序服务器所服务的用户量也不断增加，并且所服务的用户的范围也不断扩大，为缓解服务器的服务压力，现在多采用多台应用服务器组成分布式服务器的服务器组为用户提供服务支持。

应用程序的用户在进行交互过程中，每时每刻都会产生各种应用请求、应用反馈等信息，每台服务器都会对其所服务的用户的行为生成应用日志，以记录每个用户进行的交互操作，在需要时调用这些记录的日志分析应用程序运行系统或客户端的操作，为服务状态进行监控或维护。但是现有技术中每台分布式服务器上都存储应用服务日志，在进行应用程序执行状态测试、调试或维护时，需要从各个应用服务器上调用数据现场分析，处理效率低，且从各个服务器上提取数据实时性差，不能满足对应用服务器进行监控的要求。根据应用日志也只能体现出当前个别用户或当前区域内用户的应用操作反应，不利于整体分析应用用户的数据，以得到针对性的应用分类策略。

并且，现有的应用服务器日志监控方式只能通过远程传输的方式定期将日志数据传输至监控方，再由相关维护人员解析这些日志以得到修复或维护应用程序执行系统的策略，使得应用程序执行系统处理的时效性较差，不能满足对应用程序日志监控实时性上的要求，导致应用日志监控效率低。

因此，提供一种对应用服务日志进行自动分类监控的方案是本领域亟待解决的问题。

技术实现要素：

有鉴于此，本发明提供了一种自动分类监控应用服务日志的方法及系统，解决了现有技术中不能自动分类监控应用服务器日志的技术问题。

为了解决上述技术问题，本发明提出一种自动分类监控应用服务日志的方法，包括：

接收应用服务器的应用服务日志数据，解析所述应用服务日志数据得到日志字段；

根据预先设置的日志分类信息将所述日志字段分发至对应的日志类别下，所述日志类别至少包括：客户端请求时间、客户端标识、客户端请求耗时、客户端请求所处区域及客户端所请求的故障内容；

根据预设的请求时间段，将所述客户端请求时间对应的所述日志字段分别对应至预设的请求时间段下；根据预设的客户端类别，将所述客户端标识对应的所述日志字段分别对应至预设的所述客户端类别下；根据预设的请求耗时段，将所述客户端请求耗时对应的所述日志字段分别对应至预设的所述请求耗时段下；根据预设的区域类别，将所述客户端请求所处区域对应的所述日志字段分别对应至所述预设的区域类别下；根据预设的故障内容类别，将所述客户端所请求故障内容对应的所述日志字段分别对应至所述预设的故障内容类别下；

根据所包含的所述日志字段数量，将各个所述请求时间段、客户端类别、请求耗时段、区域类别及故障内容类别分别从大到小排序，得到请求时间段排序、客户端类别排序、请求耗时段排序、区域类别排序及故障内容类别排序；

根据预设的图表展示方式将所述请求时间段排序、客户端类别排序、请求耗时段排序、区域类别排序及故障内容类别排序以图表的形式展现。

进一步地，根据预设的图表展示方式将所述请求时间段排序、客户端类别排序、请求耗时段排序、区域类别排序及故障内容类别排序以图表的形式展现，进一步为：

根据预设的图表展示方式将所述请求时间段排序、客户端类别排序、请求耗时段排序、区域类别排序及故障内容类别排序以图表的形式展现；

将所述请求时间段、客户端类别、请求耗时段、区域类别及故障内容类别所对应的日志字段以树形分支结构存储在搜索数据库中。

进一步地，该方法还包括：

在预设时间段内，所述请求时间段、客户端类别、请求耗时段、区域类别或故障内容类别下的所述日志字段数量达到或者超过预设的日志字段数量阈值时，将该请求时间段、客户端类别、请求耗时段、区域类别或故障内容类别反馈至应用服务日志的管理端口。

进一步地，该方法还包括：

接收所述客户端的服务日志信息的提取策略，按照所述提取策略从所述请求时间段排序、客户端类别排序、请求耗时段排序、区域类别排序及故障内容类别排序中分别提取对应的日志信息数据，并将提取的所述日志信息数据以预定的展现规则展示至所述客户端。

进一步地，该方法还包括：

根据所述客户端标识及故障内容，检测到数据库中存在所述客户端标识及故障内容对应的故障解除数据时，将所述故障解除数据发送至所述客户端。

为了解决现有技术中不能自动分类监控应用服务器日志的技术问题，本发明还提供了一种自动分类监控应用服务日志的系统，包括：

应用服务日志解析模块、应用服务日志分发模块、应用服务日志配置模块、应用服务日志排序模块及应用服务日志监控展示模块；其中，

所述应用服务日志解析模块，用于与所述应用服务日志分发模块相连接，接收应用服务器的应用服务日志数据，解析所述应用服务日志数据得到日志字段；

所述应用服务日志分发模块，用于与所述应用服务日志解析模块及应用服务日志配置模块相连接，根据预先设置的日志分类信息将所述日志字段分发至对应的日志类别下，所述日志类别至少包括：客户端请求时间、客户端标识、客户端请求耗时、客户端请求所处区域及客户端所请求的故障内容；

所述应用服务日志配置模块，用于与所述应用服务日志分发模块及应用服务日志排序模块相连接，根据预设的请求时间段，将所述客户端请求时间对应的所述日志字段分别对应至预设的请求时间段下；根据预设的客户端类别，将所述客户端标识对应的所述日志字段分别对应至预设的所述客户端类别下；根据预设的请求耗时段，将所述客户端请求耗时对应的所述日志字段分别对应至预设的所述请求耗时段下；根据预设的区域类别，将所述客户端请求所处区域对应的所述日志字段分别对应至所述预设的区域类别下；根据预设的故障内容类别，将所述客户端所请求故障内容对应的所述日志字段分别对应至所述预设的故障内容类别下；

所述应用服务日志排序模块，用于与应用服务日志配置模块及应用服务日志监控展示模块相连接，根据所包含的所述日志字段数量，将各个所述请求时间段、客户端类别、请求耗时段、区域类别及故障内容类别分别从大到小排序，得到请求时间段排序、客户端类别排序、请求耗时段排序、区域类别排序及故障内容类别排序；

所述应用服务日志监控展示模块，用于与所述应用服务日志排序模块相连接，根据预设的图表展示方式将所述请求时间段排序、客户端类别排序、请求耗时段排序、区域类别排序及故障内容类别排序以图表的形式展现。

进一步地，所述应用服务日志监控展示模块，进一步为：应用服务日志监控展示单元及应用服务日志监控数据存储单元；其中，

所述应用服务日志监控展示单元，用于与所述应用服务日志排序模块及应用服务日志监控数据存储单元相连接，根据预设的图表展示方式将所述请求时间段排序、客户端类别排序、请求耗时段排序、区域类别排序及故障内容类别排序以图表的形式展现；

所述应用服务日志监控数据存储单元，用于与所述应用服务日志监控展示单元相连接，将所述请求时间段、客户端类别、请求耗时段、区域类别及故障内容类别所对应的日志字段以树形分支结构存储在搜索数据库中。

进一步地，该系统还包括：

应用服务日志警报模块，用于与所述应用服务日志配置模块相连接，在预设时间段内，所述请求时间段、客户端类别、请求耗时段、区域类别或故障内容类别下的所述日志字段数量达到或者超过预设的日志字段数量阈值时，将该请求时间段、客户端类别、请求耗时段、区域类别或故障内容类别反馈至应用服务日志的管理端口。

进一步地，该系统还包括：

自定义应用服务日志信息提取模块，用于与所述应用服务日志排序模块相连接，接收所述客户端的服务日志信息的提取策略，按照所述提取策略从所述请求时间段排序、客户端类别排序、请求耗时段排序、区域类别排序及故障内容类别排序中分别提取对应的日志信息数据，并将提取的所述日志信息数据以预定的展现规则展示至所述客户端。

进一步地，该系统还包括：

故障解除模块，用于与所述应用服务日志配置模块相连接，根据所述客户端标识及故障内容，检测到数据库中存在所述客户端标识及故障内容对应的故障解除数据时，将所述故障解除数据发送至所述客户端。

与现有技术相比，本发明的自动分类监控应用服务日志的方法及系统，实现了如下的有益效果：

(1)本发明所述的自动分类监控应用服务日志的方法及系统，通过收集各个应用服务器上的日志进行统一分类管理监控后，以预设展现方式进行展示，相对于只在每台应用服务器上分析区域性的日志信息，有利于应用服务日志的集中化、系统化监控分析，并以最直观的展现形式进行展示，便于更好地利用日志反馈的问题针对性地配置解决方案。

(2)本发明所述的自动分类监控应用服务日志的方法及系统，通过收集各个应用服务器上的日志进行统一分类管理监控，还能够根据客户端所提出的数据提取策略对应用服务器的日志数据今星期自定义提取，满足不同用户的个性化需求。

(3)本发明所述的自动分类监控应用服务日志的方法及系统，通过收集各个应用服务器上的日志进行统一分类管理监控，配置预设的警报日志数量阈值，将存在急需解决的反馈问题及时提醒至管理端，以便及时提出解决策略，保证应用程序之间交互的稳定性。

当然，实施本发明的任一产品必不特定需要同时达到以上所述的所有技术效果。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1为本发明实施例1中所述自动分类监控应用服务日志的方法的流程示意图；

图2为本发明实施例2中所述自动分类监控应用服务日志的方法的流程示意图；

图3为本发明实施例3中所述自动分类监控应用服务日志的系统的结构示意图；

图4为本发明实施例4中所述自动分类监控应用服务日志的系统的结构示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

实施例1

如图1所示，为本实施例所述自动分类监控应用服务日志的方法的流程示意图，本实施例提供了一种集中监控应用服务器日志的方法，该方法包括如下的步骤：

步骤101、接收应用服务器的应用服务日志数据，解析应用服务日志数据得到日志字段。

每个应用服务器的日志数据都具有一定的数据格式，根据该数据格式解析应用服务器的数据即可得到日志的字段数据，而这些字段数据中包括有记录各个应用程序交互反馈的信息内容，因此，日志字段就反应了各个应用程序的运行状态情况。

步骤102、根据预先设置的日志分类信息将日志字段分发至对应的日志类别下，日志类别至少包括：客户端请求时间、客户端标识、客户端请求耗时、客户端请求所处区域及客户端所请求的故障内容。

客户端请求时间、客户端标识、客户端请求耗时、客户端请求所处区域及客户端所请求的故障内容，都能够体现出应用程序用户当前所处的区域性或属性特征，例如，如果在某个区域内的所有应用服务日志都反馈到该区域的连接反馈慢，可能就说明在该区域内的网络连接或传输不畅等问题。

步骤103、根据预设的请求时间段，将客户端请求时间对应的日志字段分别对应至预设的请求时间段下；根据预设的客户端类别，将客户端标识对应的日志字段分别对应至预设的客户端类别下；根据预设的请求耗时段，将客户端请求耗时对应的日志字段分别对应至预设的请求耗时段下；根据预设的区域类别，将客户端请求所处区域对应的日志字段分别对应至预设的区域类别下；根据预设的故障内容类别，将客户端所请求故障内容对应的日志字段分别对应至预设的故障内容类别下。

客户端请求时间、客户端标识、客户端请求耗时、客户端请求所处区域及客户端所请求的故障内容，都具有较多的信息内容，而对每个类别都做分段统计能够更加请准地体现出应用服务日志所反应的问题。例如，客户端请求耗时1秒、3秒、30秒等之间的差别是非常大的，其中所反馈的客户端应用程序运行情况或者服务器的反馈情况也大不相同，在有必要的情况下要提出解除日志问题的策略，但是在这之前就需要分段解析这些日志数据。

步骤104、根据所包含的日志字段数量，将各个请求时间段、客户端类别、请求耗时段、区域类别及故障内容类别分别从大到小排序，得到请求时间段排序、客户端类别排序、请求耗时段排序、区域类别排序及故障内容类别排序。

通过日志字段数量的排序能够直观地反映出各个应用程序在交互过程中出现的问题，以便在服务端按照紧急的情况顺序地提出较为合理的解决方案。

步骤105、根据预设的图表展示方式将请求时间段排序、客户端类别排序、请求耗时段排序、区域类别排序及故障内容类别排序以图表的形式展现。

图表展示通常是最直观，最容易被人们所接受的展现形式，应用服务器的管理人员也能够很方便地通过日志数据的分类排序图表得到日志中所反馈的集中性问题。

实施例2

如图2所示，为本实施例所述自动分类监控应用服务日志的方法的流程示意图，本实施例是在上述实施例1基础上提供的一种优选实施例，该方法包括如下步骤：

步骤201、接收应用服务器的应用服务日志数据，解析应用服务日志数据得到日志字段。

步骤202、根据预先设置的日志分类信息将日志字段分发至对应的日志类别下，日志类别至少包括：客户端请求时间、客户端标识、客户端请求耗时、客户端请求所处区域及客户端所请求的故障内容。

步骤203、根据预设的请求时间段，将客户端请求时间对应的日志字段分别对应至预设的请求时间段下；根据预设的客户端类别，将客户端标识对应的日志字段分别对应至预设的客户端类别下；根据预设的请求耗时段，将客户端请求耗时对应的日志字段分别对应至预设的请求耗时段下；根据预设的区域类别，将客户端请求所处区域对应的日志字段分别对应至预设的区域类别下；根据预设的故障内容类别，将客户端所请求故障内容对应的日志字段分别对应至预设的故障内容类别下。

步骤204、根据所包含的日志字段数量，将各个请求时间段、客户端类别、请求耗时段、区域类别及故障内容类别分别从大到小排序，得到请求时间段排序、客户端类别排序、请求耗时段排序、区域类别排序及故障内容类别排序。

步骤205、根据预设的图表展示方式将请求时间段排序、客户端类别排序、请求耗时段排序、区域类别排序及故障内容类别排序以图表的形式展现。

步骤206、将请求时间段、客户端类别、请求耗时段、区域类别及故障内容类别所对应的日志字段以树形分支结构存储在搜索数据库中。

步骤207、在预设时间段内，请求时间段、客户端类别、请求耗时段、区域类别或故障内容类别下的日志字段数量达到或者超过预设的日志字段数量阈值时，将该请求时间段、客户端类别、请求耗时段、区域类别或故障内容类别反馈至应用服务日志的管理端口。

预设时间段，可以是1天到30天。日志字段数量阈值，可以为大于或等于20条。

步骤208、接收客户端的服务日志信息的提取策略，按照提取策略从请求时间段排序、客户端类别排序、请求耗时段排序、区域类别排序及故障内容类别排序中分别提取对应的日志信息数据，并将提取的日志信息数据以预定的展现规则展示至客户端。

步骤209、根据客户端标识及故障内容，检测到数据库中存在客户端标识及故障内容对应的故障解除数据时，将故障解除数据发送至客户端。

实施例3

如图3所示，为本实施例所述自动分类监控应用服务日志的系统的结构示意图，本实施例所述系统用于实施上述实施例中所述自动分类监控应用服务日志的方法，该系统包括：应用服务日志解析模块301、应用服务日志分发模块302、应用服务日志配置模块303、应用服务日志排序模块304及应用服务日志监控展示模块305。

其中，应用服务日志解析模块301与应用服务日志分发模块302相连接，用于接收应用服务器的应用服务日志数据，解析应用服务日志数据得到日志字段。

应用服务日志分发模块302与应用服务日志解析模块301及应用服务日志配置模块303相连接，用于根据预先设置的日志分类信息将日志字段分发至对应的日志类别下，日志类别至少包括：客户端请求时间、客户端标识、客户端请求耗时、客户端请求所处区域及客户端所请求的故障内容。

应用服务日志配置模块303与应用服务日志分发模块302及应用服务日志排序模块304相连接，用于根据预设的请求时间段，将客户端请求时间对应的日志字段分别对应至预设的请求时间段下；根据预设的客户端类别，将客户端标识对应的日志字段分别对应至预设的客户端类别下；根据预设的请求耗时段，将客户端请求耗时对应的日志字段分别对应至预设的请求耗时段下；根据预设的区域类别，将客户端请求所处区域对应的日志字段分别对应至预设的区域类别下；根据预设的故障内容类别，将客户端所请求故障内容对应的日志字段分别对应至预设的故障内容类别下。

应用服务日志排序模块304与应用服务日志配置模块303及应用服务日志监控展示模块305相连接，用于根据所包含的日志字段数量，将各个请求时间段、客户端类别、请求耗时段、区域类别及故障内容类别分别从大到小排序，得到请求时间段排序、客户端类别排序、请求耗时段排序、区域类别排序及故障内容类别排序。

应用服务日志监控展示模块305与应用服务日志排序模块304相连接，用于根据预设的图表展示方式将请求时间段排序、客户端类别排序、请求耗时段排序、区域类别排序及故障内容类别排序以图表的形式展现。

实施例4

如图4所示，为本实施例所述自动分类监控应用服务日志的系统的结构示意图，本实施例是在上述实施例3基础上提供的一种优选实施例，该系统包括：应用服务日志解析模块401、应用服务日志分发模块402、应用服务日志配置模块403、应用服务日志排序模块404及应用服务日志监控展示模块405。

其中，应用服务日志解析模块401与应用服务日志分发模块402相连接，用于接收应用服务器的应用服务日志数据，解析应用服务日志数据得到日志字段。

应用服务日志分发模块402与应用服务日志解析模块401及应用服务日志配置模块403相连接，用于根据预先设置的日志分类信息将日志字段分发至对应的日志类别下，日志类别至少包括：客户端请求时间、客户端标识、客户端请求耗时、客户端请求所处区域及客户端所请求的故障内容。

应用服务日志配置模块403与应用服务日志分发模块302及应用服务日志排序模块404相连接，用于根据预设的请求时间段，将客户端请求时间对应的日志字段分别对应至预设的请求时间段下；根据预设的客户端类别，将客户端标识对应的日志字段分别对应至预设的客户端类别下；根据预设的请求耗时段，将客户端请求耗时对应的日志字段分别对应至预设的请求耗时段下；根据预设的区域类别，将客户端请求所处区域对应的日志字段分别对应至预设的区域类别下；根据预设的故障内容类别，将客户端所请求故障内容对应的日志字段分别对应至预设的故障内容类别下。

应用服务日志排序模块404与应用服务日志配置模块403及应用服务日志监控展示模块405相连接，用于根据所包含的日志字段数量，将各个请求时间段、客户端类别、请求耗时段、区域类别及故障内容类别分别从大到小排序，得到请求时间段排序、客户端类别排序、请求耗时段排序、区域类别排序及故障内容类别排序。

应用服务日志监控展示模块405与应用服务日志排序模块404相连接，用于根据预设的图表展示方式将请求时间段排序、客户端类别排序、请求耗时段排序、区域类别排序及故障内容类别排序以图表的形式展现。

应用服务日志监控展示模块405进一步为：应用服务日志监控展示单元451及应用服务日志监控数据存储单元452；其中，

应用服务日志监控展示单元451与应用服务日志排序模块404及应用服务日志监控数据存储单元452相连接，用于根据预设的图表展示方式将请求时间段排序、客户端类别排序、请求耗时段排序、区域类别排序及故障内容类别排序以图表的形式展现。

应用服务日志监控数据存储单元452与应用服务日志监控展示单元451相连接，用于将请求时间段、客户端类别、请求耗时段、区域类别及故障内容类别所对应的日志字段以树形分支结构存储在搜索数据库中。

可选地，上述系统还包括：应用服务日志警报模块406，与应用服务日志配置模块403相连接，用于在预设时间段内，请求时间段、客户端类别、请求耗时段、区域类别或故障内容类别下的日志字段数量达到或者超过预设的日志字段数量阈值时，将该请求时间段、客户端类别、请求耗时段、区域类别或故障内容类别反馈至应用服务日志的管理端口。

可选地，上述系统还包括：自定义应用服务日志信息提取模块407，与应用服务日志排序模块404相连接，用于接收客户端的服务日志信息的提取策略，按照提取策略从请求时间段排序、客户端类别排序、请求耗时段排序、区域类别排序及故障内容类别排序中分别提取对应的日志信息数据，并将提取的日志信息数据以预定的展现规则展示至客户端。

可选地，上述系统还包括：故障解除模块408，与应用服务日志配置模块403相连接，用于根据客户端标识及故障内容，检测到数据库中存在客户端标识及故障内容对应的故障解除数据时，将故障解除数据发送至客户端。

通过上述实施例可知，本发明的自动分类监控应用服务日志的方法及系统，达到了如下的有益效果：

(1)本发明所述的自动分类监控应用服务日志的方法及系统，通过收集各个应用服务器上的日志进行统一分类管理监控后，以预设展现方式进行展示，相对于只在每台应用服务器上分析区域性的日志信息，有利于应用服务日志的集中化、系统化监控分析，并以最直观的展现形式进行展示，便于更好地利用日志反馈的问题针对性地配置解决方案。

(2)本发明所述的自动分类监控应用服务日志的方法及系统，通过收集各个应用服务器上的日志进行统一分类管理监控，还能够根据客户端所提出的数据提取策略对应用服务器的日志数据今星期自定义提取，满足不同用户的个性化需求。

(3)本发明所述的自动分类监控应用服务日志的方法及系统，通过收集各个应用服务器上的日志进行统一分类管理监控，配置预设的警报日志数量阈值，将存在急需解决的反馈问题及时提醒至管理端，以便及时提出解决策略，保证应用程序之间交互的稳定性。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

虽然已经通过例子对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上例子仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。