一种基于日志和snmp信息融合的网络安全态势感知分析方法
【专利摘要】本发明属于网络安全态势感知领域，具体涉及一种基于日志和SNMP信息融合的网络安全态势感知分析方法。本发明包括：基于日志和SNMP数据融合的数据采集；基于日志和SNMP数据融合的预处理；进行日志数据分析和SNMP数据分析；进行日志和SNMP数据的数据融合；进行日志和SNMP数据融合的可视化。本发明与单一分析日志数据或者SNMP数据源相比，这两种数据的结合，能较好的分析网络状态整体的运行趋势，两种数据结合分析更全面、精确；本系统的数据处理根据用户需求选择重要度高的进行处理，减轻了对大量数据处理的负担；本系统的采用阈值自动修正的方法，使用户自定义的阈值参数更加的精确，提高数据融合的准确性。
【专利说明】—种基于日志和SNMP信息融合的网络安全态势感知分析方法
【技术领域】
[0001]本发明属于网络安全态势感知领域，具体涉及一种基于日志和SNMP信息融合的网络安全态势感知分析方法。
技术背景
[0002]随着计算机及网络技术的发展，攻击手段日趋专业化，网络安全事件层出不穷，单一的防火墙和入侵检测系统等被动防御技术已经不能确保网络的安全，因此提高网络的主动防御能力是当今网络安全研究领域的主要方向，而对网络安全态势感知领域的研究尤为突出。
[0003]网络安全态势感知系统的数据源非常丰富，其中日志和SNMP数据占据重要位置。但是单独的SNMP分析或日志分析都存在着一定的缺陷。(I) SNMP代理无法为管理站提供某一目标集的历史数据，只能提供设备的当前状态或一个很短时间段内的数据，对分析网络的整体运行趋势造成了障碍。(2) SNMP协议检测粒度粗糙、数据资料简单且无法提供网络层以上的信息。(3)日志分析的正确性很大程度上取决于计算机系统时间的准确性。如果攻击者提前对计算机时钟进行了调整，那么在运行日志分析系统时就会产生误判断，从而影响分析结果。
[0004]而将两种数据源相结合，可以增加数据源的完整性和安全性:
[0005](I)SNMP存在不能为分析提供历史数据这一缺点，而日志则保存较长一段时间的信息，二者结合可以弥补SNMP不能提供历史数据的缺点。
[0006](2) SNMP检测粒度粗糙、数据资料简单且无法提供网络层以上的信息。而日志信息记录着网络系统发生的各种事件，同时可以提供网络层以上的信息。
[0007](3)引入SNMP数据对日志进行补充，并且SNMPv2和SNMPv3中还增加了相应的安全机制，这样通过验证和访问控制等方式解决了安全隐患的问题，弥补了日志信息容易被篡改或者删除的问题。
[0008]因此，本发明提出了一种将日志信息和SNMP数据信息进行融合分析的方法，弥补了单独日志和SNMP分析的不足之处。
[0009]目前国内一些专家和学者已经对该领域进行了初步研究，如纪乃丹等人提出了一种基于改进的事件场景关联融合模型F-ECS，引入模糊集理论，将SNMP数据与多源日志信息进行融合分析。弱化了集合边界，降低被误报率。但其知识库的建立对专家知识的依赖性比较强，漏报率较高；且阈值固定，检测精度降低。
【发明内容】
[0010]本发明的目的是提出一种面向大规模网络，对网络状态进行实时监控，并对网络中异常或攻击事件进行自动检测的基于日志和SNMP信息融合的网络安全态势感知分析方法。[0011]本发明的目的是这样实现的:
[0012](I)基于日志和SNMP数据融合的数据采集:
[0013](1.1)进行日志数据采集:
[0014](1.1.1)从网络设备中获取日志数据信息；
[0015](1.1.2)设置日志采集代理的采集日志格式:日志记录时间，源主机地址，目的地址，源端口号，目的端口号，SYN标志，服务类型；
[0016](1.1.3)启动采集代理，将采集到的日志数据存入源日志数据库；
[0017](1.2)进行SNMP数据采集:
[0018](1.2.1)使用时间片轮询的方式定时采集数据，轮询时间设为固定值；
[0019](1.2.2)读取采集配置文件，设置传感器ID、时间粒度、存储路径、服务器IP ；
[0020](1.2.3)设置SNMP采集代理的采集SNMP格式:标识符id、信息产生时间time、源主机地址IP、CPU使用率UsedCPU、内存使用率UsedMem、接口利用率UsedPort、流量Flux、丢包率PacketLoss、接口信息错误率PortErrorRate、响应时间ResponseTime ；
[0021](1.2.4)启动SNMP采集代理，将采集到的SNMP数据存入源SNMP数据库；
[0022](2)基于日志和SNMP数据融合的预处理:
[0023](2.1)日志数据预处理:
[0024](2.1.1)从源日志数据库中获取数据。
[0025](2.1.2)归一化处理，转化为统一的格式，时间time、源主机地址IP，目标主机与当前连接相同的连接次数countl、出现SYN错误的连接百分比serl、目标端口与当前连接相同的连接次数count2、出现SYN错误的连接百分比(针对服务)ser2 ；
[0026](2.1.3)将预处理后的日志数据存入日志数据库；
[0027](2.2) SNMP数据融合预处理:
[0028](2.2.1)从源SNMP数据库中获取数据；
[0029](2.2.2)归一化处理:将获得的源数据转换成[0，I]之间的数据，即除了标识符、信息产生时间、源主机地址外的每个属性除以各属性的最大允许值，获得相应的百分比；
[0030](2.2.3)将预处理后的SNMP数据存入SNMP数据库；
[0031](3)进行日志数据分析和SNMP数据分析:
[0032](3.1)进行SNMP数据分析:
[0033](3.1.1)从数据预处理中的SNMP数据库中获取数据；
[0034](3.1.2)计算事件基于SNMP的重要度，并与阈值进行比较；
[0035](3.1.3)将重要度高的事件存入安全事件数据库；
[0036](3.1.4)根据融合结果进行阈值修正；
[0037](4)进行日志和SNMP数据的数据融合:
[0038](4.1)采用五层模糊神经网络对日志信息和SNMP信息进行融合分析；
[0039](4.2)对五层模糊神经网络进行学习训练获得每层之间的权值；
[0040](4.3)将日志的每个字段和SNMP事件的重要度作为模糊神经网络输入层的输入；
[0041](4.4)将实际输出与期望输出值进行比较，如果输出层的实际输出不等于期望输出，则进入后向传播过程；
[0042](4.5)后向传播时，把误差信号按原来前向传播的通路反向传回，逐层递归的计算实际输出与期望输出的差值，根据误差的均方差调节权值，对隐含层的每个神经元的权系数进行修改，使误差趋于最小；
[0043](5)进行日志和SNMP数据融合的可视化:显示检测对象的网络安全态势和检测结
果O
[0044]模糊神经网络输入层的输入包括目标主机与当前连接相同的连接次数count 1、出现SYN错误的连接百分比serl、目标端口与当前连接相同的连接次数count2、出现SYN错误的连接百分比ser2、基于SNMP的重要度。
[0045]基于SNMP重要度的计算方法包括:
[0046](I)利用SNMP采集代理获得SNMP数据信息，进行归一化处理；
[0047](2)确定除了标识符、信息产生时间、源主机地址外每个属性的最大允许值，用?,_(1=1，2，…7)表示；
[0048](3)根据SNMP数据库中的信息求除了标识符、信息产生时间、源主机地址外每个
属性的平均值，用Λ (i=l,2,...?)表示；
[0049](4)计算事件基于SNMP的重要度P
【权利要求】
1.一种基于日志和SNMP信息融合的网络安全态势感知分析方法,其特征在于: (1)基于日志和SNMP数据融合的数据采集: (1.1)进行日志数据采集: (1.1.1)从网络设备中获取日志数据信息； (1.1.2)设置日志采集代理的采集日志格式:日志记录时间，源主机地址，目的地址，源端口号，目的端口号，SYN标志，服务类型； (1.1.3)启动采集代理，将采集到的日志数据存入源日志数据库； (1.2)进行SNMP数据采集: (1.2.1)使用时间片轮询的方式定时采集数据，轮询时间设为固定值； (1.2.2)读取采集配置文件，设置传感器ID、时间粒度、存储路径、服务器IP ； (1.2.3)设置SNMP采集代理的采集SNMP格式:标识符id、信息产生时间time、源主机地址IP、CPU使用率UsedCPU、内存使用率UsedMem、接口利用率UsedPort、流量Flux、丢包率 PacketLoss、接口信息错误率 PortErrorRate、响应时间 ResponseTime ； (1.2.4)启动SNMP采集代理，将采集到的SNMP数据存入源SNMP数据库； (2)基于日志和SNMP数据融合的预处理: (2.1)日志数据预处理: (2.1.1)从源日志数据库中获取数据。 (2.1.2)归一化处理，转化为统一的格式，时间time、源主机地址IP，目标主机与当前连接相同的连接次数countl、出现SYN错误的连接百分比serl、目标端口与当前连接相同的连接次数count2、出现SYN错误的连接百分比(针对服务)ser2 ； (2.1.3)将预处理后的日志数据存入日志数据库； (2.2) SNMP数据融合预处理: (2.2.1)从源SNMP数据库中获取数据； (2.2.2)归一化处理:将获得的源数据转换成[0，I]之间的数据，即除了标识符、信息产生时间、源主机地址外的每个属性除以各属性的最大允许值，获得相应的百分比； (2.2.3)将预处理后的SNMP数据存入SNMP数据库； (3)进行日志数据分析和SNMP数据分析: (3.1)进行SNMP数据分析: (3.1.1)从数据预处理中的SNMP数据库中获取数据； (3.1.2)计算事件基于SNMP的重要度，并与阈值进行比较； (3.1.3)将重要度高的事件存入安全事件数据库； (3.1.4)根据融合结果进行阈值修正； (4)进行日志和SNMP数据的数据融合: (4.1)采用五层模糊神经网络对日志信息和SNMP信息进行融合分析； (4.2)对五层模糊神经网络进行学习训练获得每层之间的权值； (4.3)将日志的每个字段和SNMP事件的重要度作为模糊神经网络输入层的输入； (4.4)将实际输出与期望 输出值进行比较，如果输出层的实际输出不等于期望输出，则进入后向传播过程； (4.5)后向传播时，把误差信号按原来前向传播的通路反向传回，逐层递归的计算实际输出与期望输出的差值，根据误差的均方差调节权值，对隐含层的每个神经元的权系数进行修改，使误差趋于最小； (5)进行日志和SNMP数据融合的可视化:显示检测对象的网络安全态势和检测结果。
2.根据权利要求1所述的一种基于日志和SNMP信息融合的网络安全态势感知分析方法，其特征在于:所述模糊神经网络输入层的输入包括目标主机与当前连接相同的连接次数count 1、出现SYN错误的连接百分比serl、目标端口与当前连接相同的连接次数count 2、出现SYN错误的连接百分比ser2、基于SNMP的重要度。
3.根据权利要求1或2所述的一种基于日志和SNMP信息融合的网络安全态势感知分析方法，其特征在于:所述基于SNMP重要度的计算方法包括: (1)利用SNMP采集代理获得SNMP数据信息，进行归一化处理； (2)确定除了标识符、信息产生时间、源主机地址外每个属性的最大允许值，用《广(i=l, 2，…7)表示； (3)根据SNMP数据库中的信息求除了标识符、信息产生时间、源主机地址外每个属性的平均值，用Λ (i=l,2/**7)表不； (4)计算事件基于SNMP的重要度P
4.根据权利要求3所述的一种基于日志和SNMP信息融合的网络安全态势感知分析方法，其特征在于: 所述的五层模糊神经网络为: 第一层:输入层，从前述数据分析阶段中获得日志和SNMP数据，包含5个节点，分别记为Xi, i=l, 2...5,用Cf表不第一层第i个节点的输出结果,把输入值直接传送给下一层O) - XiJ </<5 ； 第二层:隶属度函数层，实现输入变量的模糊化，输入的特征被分别映射到模糊集，每个特征的模糊集数为3，节点个数为输入变量的模糊集合数之和，用、μ ,j表示第二层每个节点的输出结果，用单一节点计算简单的隶属函数:
【文档编号】H04L29/06GK103905440SQ201410120989
【公开日】2014年7月2日 申请日期:2014年3月28日 优先权日:2014年3月28日
【发明者】王慧强, 梁晓, 郭方方, 吕宏武 申请人:哈尔滨工程大学