专利名称：一种日志监控方法及系统的制作方法
技术领域：
本发明涉及日志处理技术领域，尤其涉及一种日志监控方法及系统。
背景技术：
目前，在计算机领域中，通常会对已经处理的操作进行记录，生成处理日志，用于后续能够从记录的处理日志中了解已经进行的操作情况，以及还可以根据记录的处理日志确定相应的后续操作策略。然而，在现有日志处理技术中，通常只是将生成的日志进行存储，日志管理人员在使用日志时，可以根据自身的需要对存储的日志进行查询，获取所需日志。 上述方案需要日志管理人员对于存储的日志内容比较熟悉，而且频繁的通过命令筛选的方式进行查询，对于处理资源的消耗较大，且无法及时了解最新生成日志的情况，从而导致对日志管理的效率较低。
发明内容
本发明实施例提供一种日志监控方法及系统，用以解决现有技术中存在的对日志管理效率较低的问题。本发明实施例提供一种日志监控方法，包括实时获取当前生成的指定主题的日志；采用非监督分类算法，基于指定主题对应的分类模型，对获取的所述日志进行分类；在监控界面展示所述日志以及所述日志所属的类别。本发明实施例还提供一种日志监控系统，包括日志采集服务器、日志中心服务器、日志分类服务器和日志监控服务器，其中所述日志采集服务器，用于实时生成日志，并对生成的日志进行主题划分，以及将划分了主题的日志推送给所述日志中心服务器；所述日志中心服务器，用于将指定主题的日志发送给所述日志分类服务器；并接收所述日志分类服务器返回的指定主题的日志所属的类别；以及将指定主题的日志以及该日志所属的类别发送给日志监控服务器；所述日志分类服务器，用于采用非监督分类算法，基于指定主题对应的分类模型，对接收的指定主题的日志进行分类，并将指定主题的日志所属的类别返回给所述日志中心服务器；所述日志监控服务器，用于在监控界面展示接收的指定主题的日志以及该日志所属的类别。本发明有益效果包括本发明实施例提供的方法日志监控方法中，将生成的日志划分不同的主题，针对指定主题的日志进行实时获取，并采用非监督分类算法，基于该指定主题对应的分类模型，对获取的该日志进行分类，然后在监控界面展示该日志以及该日志所属的类别，供日志管理人员查看，从而实现了对当前生成的日志的实时分类监控，避免了日志管理人员的主动查询，进而提高了对日志管理的效率。
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中图I为本发明实施例 提供的日志监控方法的流程图；图2为本发明实施例I提供的日志监控方法的流程图；图3为本发明实施例2提供的日志监控系统的结构示意图。
具体实施例方式为了给出提高日志管理效率的实现方案，本发明实施例提供了一种日志监控方法及系统，以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。本发明实施例提供一种日志监控方法，如图I所示，包括步骤101、实时获取当前生成的指定主题的日志。步骤102、采用非监督分类算法，基于指定主题对应的分类模型，对获取的该日志进行分类。步骤103、在监控界面展示该日志以及该日志所属的类别。下面结合附图，用具体实施例对本发明提供的方法及系统进行详细描述。实施例I :图2为本发明实施例I提供的日志监控方法的流程图，具体包括如下处理步骤步骤201、对当前生成的日志进行主题划分。本步骤中，对于当前最新生成的日志，将其划分到预先设置的各主题之一中，例如，可以针对处理不同业务应用生成的日志进行主题划分，将属于同一业务应用的日志划分为同一个主题，也可以针对处理不同类型的操作生成的日志进行主题划分，将属于同一类型操作的日志划分为同一个主题。 具体的，可以在生成的日志中添加主题标识，完成对日志的主题划分。步骤202、实时获取当前生成的指定主题的日志。本步骤中，对于已划分主题的日志，确定其所属主题是否为指定主题，如果是，则针对该日志进入后续对其进行分类的处理操作，如果不是，则可以存储到数据库中，以便后续查询使用，或者，也可以直接忽略不做任何操作。指定主题可以为满足日志分类推送条件的主题，日志分类推送条件可以由日志管理人员根据监控的需要进行灵活设置。步骤203、采用非监督分类算法，基于指定主题对应的分类模型，对获取的指定主题的该日志进行分类，具体可以如下在执行本步骤之前，可以采用非监督分类算法建立指定主题对应的分类模型，具体可以包括选择出已生成的该指定主题的多个日志，作为该指定主题的样本日志；并基于该指定主题的日志的实际特性，确定该指定主题对应的日志特征向量提取方式；然后按照确定的该指定主题对应的日志特征向量提取方式，对该指定主题的样本日志进行特征提取，得到每个样本日志的特征向量；然后基于每个样本日志的特征向量对这多个样本日志进行聚类处理，将得到的聚类结果所包括的各类别作为该指定主题所包括的类别；并根据每个类别所包括的样本日志确定该类别的特征向量，从而完成该指定主题对应的分类模型的建立。本步骤中，针对待分类的该指定主题的该日志，具体可以采用如下步骤对其进行分类，包括步骤A :按照该指定主题对应的日志特征向量提取方式，对获取的该指定主题的该日志进行特征向量提取，得到该日志的特征向量； 步骤B:从指定主题对应的分类模型包括的各类别的特征向量中，确定与该日志的特征向量相匹配的特征向量；其中，相匹配的条件可以根据实际需要进行灵活设置，例如，可以分别确定各类别的特征向量与该日志的特征向量之间的相关性，并将相关性最高的特征向量对应的类别确定为相匹配的特征向量；又如，还可以进一步的确定相关性最高的特征向量与该日志的特征向量之间的相关性，是否达到设定相关性阈值，如果达到，则将该相关性最高的特征向量对应的类别确定为相匹配的特征向量，否则，确定不存在相匹配的特征向量；步骤C :将相匹配的特征向量对应的类别确定为该日志归属的类别。本步骤中，如果未能够将获取的待分类的该指定主题的该日志，分配到该指定主题对应的分类模型包括的已有各类别中时，可以将该日志作为样本日志，与原有样本日志一起作为建立分类模型的样本日志，重新建立指定主题对应的分类模型，该重新建立的过程即相当于重新学习的过程，具体过程参考上述模型建立方式，在此不再进行详细描述。对于新建立的分类模型所包括的类别，可以建立与原分类模型所包括的类别的映射关系，以便能够将已分类的日志对应到新建立的分类模型所包括的类别中。本发明实施例中，所采用的非监督分类算法可以为现有技术中的各种非监督分类算法，例如，GMM (Gaussian Mixture Modules,高斯混合模型)算法。步骤204、在对获取的指定主题的该日志进行分类后，即可以在监控界面实时展示该日志以及该日志所属的类别，以供日志管理人员浏览，从而实现对日志的实时分类监控。较灵活的，日志管理人员可以根据实际需要设置意图监控的主题，相应的，仅针对该设置的主题的日志进行展示。进一步的，本发明实施例I中，为了能够让日志管理人员监控到更多的日志变化信息，还可以包括如下处理步骤步骤205、分别统计设定周期内生成的指定主题的每个类别的日志的数量，并在监控界面进行展示。其中，该设定周期可以根据实际需要进行灵活设置，也可以设置多个设定周期，例如，分别设置三个设定周期，包括每分钟、每小时和每天。在展示时，可以针对连续的多个设定周期和对应统计的数量，建立数量变化趋势图，并展示，以便更形象的向日志管理人员展示指定主题的各类别的日志变化情况。
进一步的，还可以分别统计设定周期内生成的指定主题的每个类别的日志的数量的增长率，并在监控界面进行展示，具体的展示方式在此不再进行详细描述。步骤206、对于每次统计得到的数量，还可以将该数量与设定数量阈值进行比较，当统计的一个类别的日志的数量大于设定数量阈值时，针对该类别进行报警，其中，设定数量阈值也可以是与该类别对应的，基于该类别日志的特性进行灵活设置的。相应的，对于每次统计得到的增长率，还可以将该增长率与设定增长率进行比较，当统计的一个类别的日志的数量的增长率大于设定增长率阈值时，针对该类别进行报警，其中，设定增长率阈值也可以是与该类别对应的，基于该类别日志的特性进行灵活设置的。本发明实施例I提供的上述方法中，对于已分类的日志和该日志所属的类别，以及统计的数量和增长率等信息，均可以存储到数据库中，以供后续查询使用。对于方法执行中使用的一些设置信息，例如，日志分类推送条件，设定数量阈值和设定增长率阈值等信息，以及建立的分类模型、建立分类模型所基于的样本日志和新建分类模型包括的各类别与原分类模型包括的各类别的映射关系等，也可以保存在数据库中，在需要使用时从数据 库中获取。采用本发明实施例I提供的日志监控方法，通过实时将生成的指定主题的日志进行分类处理，并对日志以及日志所属类别在监控界面的展示，实现了对当前生成的日志的实时分类监控，避免了日志管理人员的主动查询，进而提高了对日志管理的效率。并且，在对日志进行分类时，采用了非监督分类算法，由于非监督分类算法不需预先了解类别特征，而是根据各样本的特征进行类别的划分，并且当出现无法划分到已有类别中的日志时，可以将该日志作为样本重新进行类别划分，从而能够及时发现新类别的日
O另外，在对日志进行监控时，只需要在监控界面进行监控指令的输入，即可以实现按照需要对日志的实时监控，避免了直接对系统服务器的查询，提高了日志管理的安全性。实施例2 基于同一发明构思，根据本发明上述实施例提供的日志监控方法，相应地，本发明实施例2还提供了一种日志监控系统，其结构示意图如图3所示，具体包括日志采集服务器301、日志中心服务器302、日志分类服务器303和日志监控服务器304，其中日志采集服务器301，用于实时生成日志，并对生成的日志进行主题划分，以及将划分了主题的日志推送给日志中心服务器302 ；具体可以在日志采集服务器301上安装日志监控推送脚本，以便实时的进行上述日志主题划分和日志推送的处理；并且，日志采集服务器301可以为多个，以便能够更高效的进行日志采集和生成。日志中心服务器302，用于将指定主题的日志发送给日志分类服务器303;并接收日志分类服务器303返回的指定主题的日志所属的类别；以及将指定主题的日志以及该日志所属的类别发送给日志监控服务器304 ；具体的，日志中心服务器302可以从数据库305中获取日志分类推送条件，并具体用于将满足所述日志分类推送条件的指定主题的日志发送给所述日志分类服务器303 ；具体的，日志中心服务器302还可以根据日志监控服务器304发送的日志监控指令，向日志监控服务器304返回其指示的指定主题的日志以及日志所属的类别，例如，接收日志监控服务器304发送的携带主题标识的日志监控指令，并将携带的主题标识表征的主题的日志以及该日志所属的类别发送给日志监控服务器304。日志分类服务器303，用于采用非监督分类算法，基于指定主题对应的分类模型，对接收的指定主题的日志进行分类，并将指定主题的日志所属的类别返回给日志中心服务器 302 ；具体可以为按照指定主题对应的日志特征向量提取方式，对指定主题的日志进行特征向量提取，得到该日志的特征向量；从指定主题对应的分类模型包括的各类别的特征向量中，确定与该日志的特征向量相匹配的特征向量，其中，所述各类别各自的特征向量为基于指定主题的样本日志确定的；以及将相匹配的特征向量对应的类别确定为该日志归属的类别；更详细的分类处理方式，可参照上述方法中的描述，在此不再进行详细描述。日志监控服务器304，用于在监控界面展示接收的指定主题的日志以及该日志所·属的类别；具体可以将需要展示的内容发送至监控展示终端306，并由监控展示终端306在监控界面进行展示。进一步的，本发明实施例2提供的日志监控系统中，日志分类服务器303，还可以分别统计设定周期内生成的指定主题的每个类别的日志的数量，并存储到数据库305中；相应的，日志监控服务器304，还可以从数据库305中获取分别统计的设定周期内生成的指定主题的每个类别的日志的数量；并在监控界面分别针对每个类别展示统计的该类别的日志的数量；或者，还可以当统计的一个类别的日志的数量大于设定数量阈值时，进行报警。进一步的，日志分类服务器303，还可以分别统计设定周期内生成的指定主题的每个类别的日志的数量的增长率，并存储到数据库305中；相应的，日志监控服务器304，还可以从数据库305中获取分别统计的设定周期内生成的指定主题的每个类别的日志的数量的增长率；并在监控界面分别针对每个类别展示统计的该类别的日志的数量的增长率；或者，还可以当统计的一个类别的日志的数量的增长率大于设定增长率阈值时，进行报警。本发明实施例2提供的上述系统中，日志分类服务器303对于已分类的日志和该日志所属的类别，以及统计的数量和增长率等信息，均可以存储到数据库305中，以供后续查询使用，并且统计的数量的存储格式可以为“主题标识-类别标识-设定周期内生成的日志数量”，并且为了快速的实现信息存储，可以先将数据量较大的日志和日志分类结果存储到内存型存储服务器307中，然后由内存型存储服务器307再将日志和日志分类结果永久性的存储到数据库305中。对于其它一些设置信息，例如，日志分类推送条件，设定数量阈值和设定增长率阈值等信息，以及建立的分类模型、建立分类模型所基于的样本日志和新建分类模型包括的各类别与原分类模型包括的各类别的映射关系等，也可以保存在数据库中，在需要使用时从数据库中获取。上述各服务器的功能可对应于图I或图2所示流程中的相应处理步骤，在此不再赘述。
综上所述，本发明实施例提供的方案，包括实时获取当前生成的指定主题的日志；并采用非监督分类算法，基于指定主题对应的分类模型，对获取的该日志进行分类；以及在监控界面展示该日志以及该日志所属的类别。采用本发明实施例提供的方案，实现了对日志的实时分类监控，提高了对日志管理的效率。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围 之内，则本发明也意图包含这些改动和变型在内。
权利要求
1.一种日志监控方法，其特征在于，包括 实时获取当前生成的指定主题的日志； 采用非监督分类算法，基于指定主题对应的分类模型，对获取的所述日志进行分类； 在监控界面展示所述日志以及所述日志所属的类别。
2.如权利要求I所述的方法，其特征在于，还包括 分别统计设定周期内生成的指定主题的每个类别的日志的数量； 在监控界面分别针对每个类别展示统计的该类别的日志的数量；和/或，当统计的一个类别的日志的数量大于设定数量阈值时，进行报警。
3.如权利要求2所述的方法，其特征在于，在分别统计设定周期内生成的指定主题的每个类别的日志的数量之后，还包括 分别统计设定周期内生成的指定主题的每个类别的日志的数量的增长率； 在监控界面分别针对每个类别展示统计的该类别的日志的数量的增长率；和/或，当统计的一个类别的日志的数量的增长率大于设定增长率阈值时，进行报警。
4.如权利要求I所述的方法，其特征在于，采用非监督分类算法，基于指定主题对应的分类模型，对获取的所述日志进行分类，具体包括 按照指定主题对应的日志特征向量提取方式，对获取的所述日志进行特征向量提取，得到所述日志的特征向量； 从指定主题对应的分类模型包括的各类别的特征向量中，确定与所述日志的特征向量相匹配的特征向量，其中，所述各类别各自的特征向量为基于指定主题的样本日志确定的； 将相匹配的特征向量对应的类别确定为所述日志归属的类别。
5.一种日志监控系统,其特征在于,包括日志米集服务器、日志中心服务器、日志分类服务器和日志监控服务器，其中 所述日志采集服务器，用于实时生成日志，并对生成的日志进行主题划分，以及将划分了主题的日志推送给所述日志中心服务器； 所述日志中心服务器，用于将指定主题的日志发送给所述日志分类服务器；并接收所述日志分类服务器返回的指定主题的日志所属的类别；以及将指定主题的日志以及该日志所属的类别发送给日志监控服务器； 所述日志分类服务器，用于采用非监督分类算法，基于指定主题对应的分类模型，对接收的指定主题的日志进行分类，并将指定主题的日志所属的类别返回给所述日志中心服务器； 所述日志监控服务器，用于在监控界面展示接收的指定主题的日志以及该日志所属的类别。
6.如权利要求5所述的系统，其特征在于，所述日志分类服务器，还用于分别统计设定周期内生成的指定主题的每个类别的日志的数量，并存储到数据库中； 所述日志监控服务器，还用于从所述数据库中获取分别统计的设定周期内生成的指定主题的每个类别的日志的数量； 在监控界面分别针对每个类别展示统计的该类别的日志的数量；和/或，当统计的一个类别的日志的数量大于设定数量阈值时，进行报警。
7.如权利要求6所述的系统，其特征在于，所述日志分类服务器，还用于分别统计设定周期内生成的指定主题的每个类别的日志的数量的增长率，并存储到所述数据库中； 所述日志监控服务器，还用于从所述数据库中获取分别统计的设定周期内生成的指定主题的每个类别的日志的数量的增长率； 在监控界面分别针对每个类别展示统计的该类别的日志的数量的增长率；和/或，当统计的一个类别的日志的数量的增长率大于设定增长率阈值时，进行报警。
8.如权利要求5所述的系统，其特征在于，所述日志分类服务器，具体用于按照指定主题对应的日志特征向量提取方式，对指定主题的日志进行特征向量提取，得到该日志的特征向量；从指定主题对应的分类模型包括的各类别的特征向量中，确定与该日志的特征向量相匹配的特征向量，其中，所述各类别各自的特征向量为基于指定主题的样本日志确定的；以及将相匹配的特征向量对应的类别确定为该日志归属的类别。
9.如权利要求5所述的系统，其特征在于，所述日志中心服务器，还用于从数据库中获取日志分类推送条件，并具体用于将满足所述日志分类推送条件的指定主题的日志发送给所述日志分类服务器。
10.如权利要求5所述的系统，其特征在于，所述日志监控服务器，还用于向所述日志中心服务器发送日志监控指令，所述日志监控指令中携带指定主题的主题标识； 所述日志中心服务器，具体用于根据接收的所述日志监控指令中携带的所述主题标识，将所述主题标识表征的指定主题的日志以及该日志所属的类别发送给日志监控服务器。
全文摘要
本发明公开了一种日志监控方法及系统，包括实时获取当前生成的指定主题的日志；并采用非监督分类算法，基于指定主题对应的分类模型，对获取的该日志进行分类；以及在监控界面展示该日志以及该日志所属的类别。采用本发明实施例提供的方案，实现了对日志的实时分类监控，提高了对日志管理的效率。
文档编号G06F17/30GK102902752SQ20121035283
公开日2013年1月30日 申请日期2012年9月20日 优先权日2012年9月20日
发明者顾淼, 夏帆, 张晓龙, 符庆明, 张鹏 申请人:新浪网技术(中国)有限公司