一种日志采集方法及系统与流程

本发明涉及日志处理相关技术领域，尤其是一种日志采集方法及系统。

背景技术：

在一个完整的信息系统里面，日志是一个非常重要的功能组成部分。它可以记录下系统所产生的所有行为，并按照某种规范表达出来。我们可以使用日志系统所记录的信息为系统进行排错，优化系统的性能，或者根据这些信息调整系统的行为。在安全领域，日志的重要地位尤甚，可以说是安全审计方面最主要的工具之一。日志的采集便于审计、存证，本发明提供了一种日志的采集方法及系统。

在现有技术中，网络日志采集主要为被动传输为主、无差别全量提取的日志采集方式。被动传输采集，即日志发送端和日志接收端的c/s模式，常见的如snmp、syslog、ftp、sftp等；使用日志代理采集的方式以实现日志的格式初始化、将客户端指定目录下的日志数据全量接收并转发给日志服务器，最后存放于文件系统中。

这种方法的缺陷或不足是：日志采集方式较为单一，被动传输日志的方式虽可适应一般的生产环境，但对于高精度高准度的安全生产环境下，此方式将失去其数据的可信价值，因为c/s架构下的发送端容易受网络波动的影响，若仅仅以被动传输的方式收集日志，当网络环境不稳定，造成网络中断、网络卡顿的情况，将使得日志传输过程丢包率骤升，甚至直接断开c/s模式下的socket连接，最后造成不可挽回的损失。无差别全量收集日志，容易产生较多无关审计价值的日志，当攻击者施加混淆目的，大量发送数据包给日志服务器，容易出现服务宕机、加大审计难度的问题。收集到的日志数据没有以结构化来存储，造成分类混乱，文本检索速度慢。

技术实现要素：

本发明所要解决的技术问题是，提供一种日志采集方法及系统。所述的日志采集方法及系统做到了全方位多维度日志审计，存储方法方便程序做数据调用，有利于程序做后续解析和存证。

本发明所要解决的上述技术问题，通过如下技术方案予以解决：

一种日志采集方法，其包括：

根据用户操作前端界面填写内容，获得配置参数；

根据获得的配置参数，分类过滤资产日志；

根据配置文件内的信息，将分类过滤后的日志全量转出；

将收集到的日志以多节点分流的形式进行存储于目标日志服务器的文件系统中。

优选地，以多节点分流的形式存储前，还包括：

对日志内容做预定义处理，识别日志协议的格式，过滤丢弃无用的数据包，保留的日志原文以时间节点做换行处理。

优选地，所述的日志全量转出是通过指定端口将数据转出，并开启端口监听线程。

优选地，所述多节点分流形式是通过多节点分流型服务端，将日志流量做信息分流处理，分为：存储流和解析流。采用多节点分流型的日志接收服务端程序，将日志文本以目录树的结构存储在文件系统中，同时能够将数据流实时与系统前台进行交互，达到实时展示数据的目的。

进一步优选地，所述存储流，是将日志流量按照不同来源进行标识，分类分目录存放于文件系统中，形成“目录结构树”。方便后续的程序调用，有利于提高检索速度。

进一步优选地，所述解析流，是将日志流量信息以输入流的形式传入日志接收器中处理成结构化数据。由于是数据流的形式，省去了解析文本文件的过程，大大加快了日志解析的速率。数据流可以通过程序方便地过滤筛选出需要的内容信息，并丢弃赘余无意义的文本。保证了数据的实时性要求。

进一步优选地，所述形成的目录结构树，是采用多级遍历树的方式进行查找，提高查询校验的准确性和可扩展性。

进一步优选地，分类分目录存放并可根据需要，定义第二级目录的标识，存放日志的原文。

本发明还提供一种日志采集系统，其包括：

获取单元，所述的获取单元用于根据操作前端界面填写的信息获得配置参数；

过滤单元，所述的过滤单元用于根据配置参数，有效分类过滤资产日志；

转出单元，所述的转出单元用于根据配置文件内的信息，将分类过滤后的日志全量转出；

存储单元，所述的存储单元用于将收集到的日志以多节点分流的形式存储于目标日志服务器的文件系统中。

进一步优选地，所述的日志采集系统还包括：

预定义处理单元，所述的预处理单元用于识别日志协议格式，过滤丢弃无用的数据包。

本发明的有益效果是：支持多种类型设备的采集方法，真正做到全方位多维度日志审计；采用树状节点文本存储，方便程序做数据调用，如：数据聚合统计和文本检索；采用日志解析方法，可解析杂乱文本，利用程序做后续解析与存证。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明所述的日志采集的流程示意图；

图2是本发明所述的日志采集系统的结构图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本流程，因此其仅显示与本发明有关的流程。

如图1所示，本发明一种日志采集方法，所述的方法具体为：

101.根据用户操作前端界面填写内容，获得配置参数；

102.根据获得的配置参数，分类过滤资产日志；

103.根据配置文件内的信息，将分类过滤后的日志全量转出；

104.将收集到的日志以多节点分流的形式进行存储于目标日志服务器的文件系统中。

步骤101，具体的根据用户操作前端界面输入的ip地址、资产名称、选择资产类型等信息，获得配置参数。其中，配置参数包含：资产ip、资产类型、资产型号、资产是否属于内网或外网、资产供应商、资产名字。

步骤102，根据获得的配置参数有效分类过滤资产日志。

步骤103，根据配置文件内的信息，从指定路径下将分类过滤后的日志全量转出，并对转出的日志做预定义处理，有效识别日志协议的格式，如syslog日志的pri标签，snmp的trap参数等，过滤丢弃无用的数据包。

步骤104，将收集到的日志以多节点分流的形式进行存储于目标日志服务器的文件系统中。具体的，存储流先将日志流量按照不同的来源进行标识，然后分类分目录存放于文件系统中，形成一颗“目录结构树”，并且采用多级遍历树的方式。可根据需要，定义第二级目录的标识，如：获取日志的日期。日期最后一级则为具体时间的文本文件，存放日志的原文。

如图2所示，本发明提供了一种日志采集系统

201.获取单元：根据操作前端界面填写的信息获得配置参数；

202.过滤单元：根据配置参数，有效分类过滤资产日志；

203.转出单元：根据配置文件内的信息，将分类过滤后的日志全量转出；

205.存储单元：收集到的日志以多节点分流的形式存储于目标日志服务器的文件系统中。

所述的日志采集系统还包括：

204.预定义处理单元：识别日志协议格式，过滤丢弃无用的数据包，保留的日志原文以时间节点做换行处理。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。