网络安全日志的自动化实时采集系统及其采集方法
【技术领域】
[0001] 本发明涉及网络安全，特别涉及网络安全日志的采集。
【背景技术】
[0002] 很多企业为了应对网络面临的安全威胁，在信息化过程中部署了防火墙、行为管 理设备、防病毒软件、IDS以及其他一些安全基础设施，拟通过这些安全基础设施来保护企 业的网络安全。这些安全基础设施均会在监控或防御的过程中产生一些与安全防护相关的 日志数据，这些数据通常能够反映出网络设备的行为，例如一些恶意攻击行为以及网络的 安全状况。那么对这些日志数据进行一定处理和分析就能够对网络状况进行更准确的评估 和预测，而各个安全设备上的安全日志是离散地存储在各个安全设备的机器上，并且由于 功能以及生产厂商的不同这些日志数据是异构的，导致安全设备的数据源根本不同，例如 防火墙数据源，防病毒数据源等等，导致不能利用统一的采集方式对不同的数据源进行采 集。同时，不同的安全设备可能采用不同的数据库存储系统，例如MySql、PostgreSql、SQL Server等。如何使用统一的采集框架又要应对不同的数据存储系统成了当前难以解决的问 题。
【发明内容】
[0003] 本发明所要解决的技术问题，就是提供一种网络安全设备日志的自动化实时采集 系统以实现对不同的网络安全设备上异构的安全日志进行实时的自动化采集，并将安全日 志进行标准化处理。
[0004] 本发明解决所述技术问题，采用的技术方案是，网络安全设备日志的自动化实时 采集系统，包括安全设备，还包括采集框架、安全事件数据单元及安全事件信息数据库；系 统将待采集的安全设备注册至采集框架中，系统扫描注册的安全设备的数据源种类，调用 采集框架中与数据源对应的采集函数对数据源进行采集，并将采集到的数据存储至安全事 件数据单元，系统提取安全事件数据单元中的存储数据，对其进行格式化后存储至安全事 件信息数据库。
[0005] 具体的，还包括数据库连接池，所述数据库连接池与安全设备数据库类型一一对 应，系统调用采集框架中与数据源对应的采集函数后，从数据库连接池中获取空闲连接，通 过该空闲连接对安全设备的数据库中的数据源进行采集。
[0006] 进一步的，所述数据库连接池中设置有清扫线程；
[0007] 所述清扫线程，根据预设周期清扫数据库连接池中空闲连接。
[0008] 具体的，系统采用入侵消息交换格式对提取的存储数据进行格式化。
[0009] 具体的，还包括数据恢复模块；
[0010] 所述数据恢复模块，用于当系统出现故障导致采集到的数据丢失时，对数据源进 行丢失数据的重新采集。
[0011] 网络安全设备日志的自动化实时采集方法，包括以下步骤：
[0012] 步骤1、系统将待采集的安全设备注册至采集框架中；
[0013] 步骤2、系统扫描注册的安全设备的数据源种类，调用采集框架中与数据源对应的 采集函数对数据源进行采集，并将采集到的数据存储至安全事件数据单元；
[0014] 步骤3、系统提取安全事件数据单元中的存储数据，对其进行格式化后存储至安全 事件信息数据库。
[0015] 具体的，所述步骤2中，系统调用采集框架中与数据源对应的采集函数后，从数据 库连接池中获取空闲连接，通过该空闲连接对安全设备的数据库中的数据源进行采集，所 述数据库连接池与安全设备数据库类型一一对应。
[0016] 进一步的，系统根据预设周期检测数据库连接池中的空闲连接，并采用清扫线程 对空闲连接进行清扫。
[0017] 具体的，所述步骤3中，系统采用入侵消息交换格式对提取的存储数据进行格式 化。
[0018] 具体的，系统根据预设的采集周期对数据源进行采集，在保持上一周期采集的数 据时最后一条记录自增ID，并根据记录的自增字段采集增量数据保证不重复采集，在开始 下一周期数据采集时将自增ID赋值为0。
[0019] 进一步的，系统获取新的采集周期时，先检查上一周期采集的数据，若发现还有未 采集的数据时提取该数据并存储至本次采集周期的数据列表中，然后再进行本次采集周期 的数据采集。
[0020] 具体的，还包括系统检测采集进行是否有误，是则做出处理，并将错误信息记录到 系统工作日志中，其中处理方式包括终止程序和重新采集。
[0021] 具体的，还包括当系统出现故障导致采集到的数据丢失时，对数据源进行丢失数 据的重新采集。
[0022] 本发明的有益效果是：系统对安全设备中数据源的采集使用相同的采集框架，但 采集过程中则有各自的实现，通过注册的方法将不同安全设备和其中的数据源注册给系 统，系统调用与数据源对应的采集过程相关函数对这些数据源进行采集，实现了利用统一 采集框架对不同的数据源进行采集的效果；
[0023]系统还设计有数据库连接池对不同类型的数据库操作进行封装，使用统一的接口 对不同数据库进行操作，并使用数据库连接池来高效的管理数据库的连接，系统通过数据 库连接池来间接地与数据库连接，而不直接操控数据库提供的原始应用程序编程接口；
[0024] 系统调用采集框架中与数据源对应的采集函数对数据源进行采集，并将采集到的 数据存储至安全事件数据单元后，系统从安全事件数据单元中提取数据利用入侵检测消息 交换格式对不同的数据源进行标准化后存储至安全事件信息数据库，实现了对不同数据源 的格式化；
[0025] 系统可以根据不同设备数据量的不同配置采集的周期，对于每个数据源使用单独 的线程进行轮询采集，多个数据源根据自己的周期并发采集，系统保存上一周期数据采集 最后一条记录的自增ID并根据记录的自增字段采集增量数据，在开始采集新一周期的数 据时将保存的自增ID赋值为0,从而保证不重复采集；
[0026] 系统还包括数据恢复模块是系统的一个功能模块，作为数据实时采集的补充，运 行数据恢复程序可以提取指定日期的数据；
[0027] 为了保证数据采集的完整性，系统在第一次判断安全设备当前周期为新的一周期 后并不马上开始采集数据，而是再检查一遍前一周期的数据，发现还未采集的数据便提取， 然后再开始采集新一周期的数据；
[0028] 系统会根据失败的错误类型做不同的处理，终止程序或者适当地重试，并将相应 出错信息记录到日志中。
【附图说明】
[0029] 图1为本发明网络安全设备日志的自动化实时采集系统实施例中数据采集流程 图。
【具体实施方式】
[0030] 下面结合附图及实施例详细描述本发明的技术方案：
[0031] 本发明针对现有技术中不能利用统一的采集方式对不同的数据源进行采集的问 题，提供一种网络安全设备日志的自动化实时采集系统，包括安全设备，还包括采集框架、 安全事件数据单元及安全事件信息数据库；系统将待采集的安全设备注册至采集框架中， 系统扫描注册的安全设备的数据源种类，调用采集框架中与数据源对应的采集函数对数据 源进行采集，并将采集到的数据存储至安全事件数据单元，系统提取安全事件数据单元中 的存储数据，对其进行格式化后存储至安全事件信息数据库。网络安全设备日志的自动化 实时采集方法，首先，系统将待采集的安全设备注册至采集框架中；其次，系统扫描注册的 安全设备的数据源种类，调用采集框架中与数据源对应的采集函数对数据源进行采集，并 将采集到的数据存储至安全事件数据单元；最后，系统提取安全事件数据单元中的存储数 据，对其进行格式化后存储至安全事件信息数据库。系统对安全设备中数据源的采集使用 相同的采集框架，但采集过程中则有各自的实现，通过注册的方法将不同安全设备和其中 的数据源注册给系统，系统调用与数据源对应的采集过程相关函数对这些数据源进行采 集，实现了利用统一采集框架对不同的数据源进行采集的效果；系统还设计有数据库连接 池对不同类型的数据库操作进行封装，使用统一的接口对不同数据库进行操作，并使用数 据库连接池来高效的管理数据库的连接，系统通过数据库连接池来间接地与数据库连接， 而不直接操控数据库提供的原始应用程序编程接口；系统调用采集框架中与数据源对应的 采集函数对数据源进行采集，并将采集到的数据存储至安全事件数据单元后，系统从安全 事件数据单元中提取数据利用入侵检测消息交换格式对不同的数据源进行标准化后存储 至安全事件信息数据库，实现了对不同数据源的格式化；系统可以根据不同设备数据量的 不同配置采集的周期，对于每个数据源使用单独的线程进行轮询采集，多个数据源根据自 己的周期并发采集，系统保存上一周期数据采集最后一条记录的自增ID并根据记录的自 增字段采集增量数据，在开始采集新一周期的数据时将保存的自增ID赋值为0,从而保证 不重复采集；系统还包括数据恢复模块是系统的一个功能模块，作为数据实时采集的补充， 运行数据恢复程序可以提取指定日期的数据；为了保证数据采集的完整性，系统在第一次 判断安全设备当前周期为新的一周期后并不马上开始采集数据，而是再检查一遍前一周期 的数据，发现还未采集的数据便提取，然后再开始采集新一周期的数据；系统会根据失败的 错误类型做不同的处理，终止程序或者适当地重试，并将相应出错信息记录到日志中。
[0032] 实施例1
[0033] 本例的网络安全设备日志的自动化实时采集系统，如图1所示，包括安全设备、数 据库连接池、采集框架、安全事件数据单元及安全事件信息数据库；
[0034]系统将待采集的安全设备注册至采集框架中，系统扫描注册的安全设备的数据源 种类，调用采集框架中与数据源对应的采集函数后，从数据库连接池中获取空闲连接，通过 该空闲连接对安全设备的数据库中的数据源进行采集，并将采集到的数据存储至安全事件 数据单元，系统提取安全事件数据单元中的存储数据，采用入侵消息交换格式对提取的存 储数据进行格式化后存储至安全事件信息数据库。
[0035] 其中，系统对安全设备中数据源的采集使用相同的采集框架，但采集过程中则有 各自的实现，通过注册的方法将不同安全设备和其中的数据源注册给系统，系统调用与数 据源对应的采集过程相关函数建立采集线程对这些数据源进行采集，采集数据时可同时搭 建多个采集线程，实现了利用统一采集框架对不同的数据源进行采集的效果。
[0