对日志消息内容的面向语义分析的制作方法
【专利说明】对曰志消息内容的面向语义分析
【背景技术】
[0001] 设备、服务器、应用和其它计算机系统将系统、安全、应用和其它信息记入日志。必 须分析在运些日志中的消息W将原始数据变成可行动智能(actionable intelligence)。 不幸地，日志消息不总是良好指定的（即，采用形式语法），并且日志分析系统必须从示例数 据反向工程模式。现存的日志消息语法分析器(parser)要求整个日志消息要遵从由正则表 达式规定的指定模式W使得日志消息能够被语法分析(parse)。给定了日志消息和其类型， 语法分析器对照适当的正则表达式运行消息并提取感兴趣的元素。然而，为了利用语法分 析器，语法分析器必须具有整个消息结构和用于整个消息的正则表达式的先验知识。日志 消息实质上不像编程语言那样被严格地构成，而是代替地是被预定用于人类消费的简单构 成的片段的宽松混合(amalgams)。即使采用正则表达式语法分析整个消息，由于在日志消 息格式中的轻微变化正则表达式易受失败。因此，存在用于W更好的方式分析日志消息的 需要。
【附图说明】
[0002] 在W下详细描述和附图中公开本发明的各种实施例。
[0003] 图1是图解用于处理日志消息的系统的实施例的框图。
[0004] 图2是图解用于处理日志消息部分处理规则的过程的实施例的流程图。
[0005] 图3A示出了具有=个规则的值后(value-after )消息处理辨认器的示例。
[0006] 图3B示出了具有S个规则的直接消息处理辨认器的示例。
[0007] 图4是图解用于处理日志消息的过程的实施例的流程图。
[000引图5是图解用于使用值后辨认器/规则处理日志消息部分的过程的实施例的流程 图。
[0009] 图6是图解用于对规则处理的结果进行后期处理的过程的实施例的流程图。
[0010] 图7A是具有重叠识别的关键字和值的示例日志消息。
[0011] 图7B是具有重叠修饰语辨认器的识别关键字和值的示例日志消息。
[0012] 图8是图解用于使用直接辨认器/规则处理日志消息部分的过程的实施例的流程 图。
【具体实施方式】
[0013] 本发明可W W众多方式被实现，包括被实现为过程;装置;系统;物质的组成;体现 在计算机可读存储媒体上的计算机程序产品；和/或处理器，诸如被配置成执行存储在被禪 合到该处理器的存储器上和/或由其提供的指令的处理器。在该说明书中，运些实现、或者 本发明可能采取的任何其它形式可W被称为技术。一般而言，所公开过程的步骤顺序可W 在本发明的范围内被更改。除非W其它方式声明，可W将诸如处理器或存储器的被描述为 被配置成执行任务的组件实现为在给定的时间临时地被配置成执行该任务的通用组件或 是被制造用于执行该任务的指定组件。如在本文中使用的那样，术语"处理器"指的是被配 置成处理诸如计算机程序指令的数据的一个或多个设备、电路和/或处理核。
[0014] 在下面与图解本发明原理的附图一起提供了本发明的一个或多个实施例的详细 描述。关于运样的实施例描述本发明，但是本发明不被限于任何实施例。仅通过权利要求限 制本发明的范围并且本发明包括众多替换、修改和等价。在W下描述中陈述众多指定细节 W便提供对本发明的透彻理解。出于示例的目的提供运些细节并且可W在没有运些指定细 节中的一些或所有的情况下根据权利要求实践本发明。出于清楚的目的，没有详细描述本 发明设及的技术领域中已知的技术材料W便本发明没有不必要地被模糊。
[0015] 公开了处理日志消息。在一些实施例中，日志消息的一个或多个部分被识别W被 分离地提取。例如，代替利用一个正则表达式W语法分析整个日志消息，日志消息的一个或 多个部分使用一个或多个不同的正则表达式被识别W被提取。在一些实施例中，识别所述 部分包括捜索在日志消息内的关键字，其指示使用与该关键字相关联的提取规则要被分离 地提取的部分。使用与对应识别部分相关联的提取规则从每个识别部分提取值。例如，提取 规则的正则表达式被用于从识别部分(例如，从位于识别部分的对应匹配关键字之后的日 志消息内容)提取匹配值。
[0016] 图1是图解用于处理日志消息的系统的实施例的框图。日志源102包括一个或多个 系统、设备、软件组件、硬件组件、储存器、存储器和/或提供日志消息的任何其它源。例如， 日志源102包括存储日志消息的储存器。日志消息的示例包括系统日志消息、网络日志消 息、安全日志消息、储存日志消息、操作系统日志消息和应用日志消息。日志收集器104从日 志源102获得一个或多个日志消息。日志收集器104可W从日志源102获得一个或多个文件、 流式日志和/或过程的输出W获得一个或多个日志消息。日志收集器104可W是网络节点、 网络器具、过程、系统、设备和/或日志源102的系统的插件/模块。在一些实施例中，日志收 集器104周期性地从日志源102获得一个或多个日志消息。例如，日志收集器104在预确定的 周期间隔上检查新的日志消息。在一些实施例中，日志收集器104动态地从日志源102获得 一个或多个日志消息。例如，当生成日志消息时向日志收集器104提供日志消息。
[0017] 由日志收集器104获得的一个或多个日志消息被存储在日志高速缓冲存储器106 中。例如，日志高速缓冲存储器106存储要被处理/语法分析的日志消息。在一些实施例中， 日志高速缓冲存储器106被包括日志收集器104的设备。在一些实施例中，日志高速缓冲存 储器106被包括为日志处理器108的设备。在一些实施例中，日志高速缓冲存储器106被包括 在网络储存设备中。日志处理器108从日志高速缓冲存储器106获得日志用于处理。在替换 实施例中，不利用日志高速缓冲存储器106并且将由日志收集器104获得的一个或多个日志 直接地提供到日志处理器108。日志处理器108使用一个或多个处理规则处理每个获得的日 志消息。例如，日志消息的一个或多个部分被识别W被分离地提取并且使用对应的正则表 达式提取每个识别部分W从日志消息部分中提取所期望的数据。可W执行附加处理W解决 冲突和/或执行与识别部分的所提取的数据相关联的聚集(aggregation)。将日志处理器 108的结果存储在日志数据库110中。例如，将从日志消息的识别部分中提取的数据存储在 日志数据库110中。在一些实施例中，一个或多个其它组件利用日志数据库110的内容来提 供警报、分析日志消息趋势、捜索日志消息内容、和/或执行与所构成的日志消息内容相关 联的任何其它处理。例如，索引器索引日志数据库110的内容W使得能够进一步分析日志消 息内容。
[0018] 可W在一个或多个计算机、服务器、储存设备、联网组件、和/或虚拟组件/网络中 实现在图1中示出的组件。例如，在图1中示出的任何数目的组件可W被包括在相同的设备 中。在组件之间的连接可W包括W下中的一个或多个:直接或非直接物理通信连接、移动通 信网络、互联网、内联网、局域网、广域网、存储域网、W及将两个或更多系统、组件或储存设 备连接在一起的任何其它形式。可W存在其它通信路径并且简化了图1中的示例W清楚地 图解示例。虽然示出了组件的单个实例W简化图表，但是可W存在在图1中示出的组件中的 任意的附加实例。例如，可W存在在图1中示出的任何组件的其它实例。也可W存在在图1中 未示出的组件。
[0019] 图2是图解用于处理日志消息部分处理规则的过程的实施例的流程图。可W在图1 的日志处理器108上实现图2的过程。
[0020] 在202,接收一个或多个日志消息部分处理规则。在一些实施例中，从编码应如何 处理日志消息部分的用户/管理员接收规则。在一些实施例中，可W将一个或多个处理规则 指定到一起作为辨认器。例如，辨认器包括头部和一个或多个规则的规范，所述头部指定被 包括在辨认器中的一个或多个规则的共同配置元素。在一些实施例中，接收一个或多个日 志消息部分处理规则包括接收一个或多个遵从规则/辨认器的编程代码。在一些实施例中， 接收一个或多个日志消息部分处理规则包括接收一个或多个文件，并且每个文件可W包括 辨认器和/或一个或多个处理规则。可W接收各种类型的消