一种网络威胁检测系统及检测方法与流程

本发明涉及网络安全技术领域，尤其是涉及一种网络威胁检测系统及检测方法。

背景技术：

随着现代网络尤其是互联网的不断发展和应用，网络已成为人们生活和工作的一部分。与此同时，来自各个层面的网络威胁也与日俱增，层出不穷。如何发现和检测网络威胁保障网络安全摆在每个网络用户尤其是网络运维人员的面前。

目前，针对发现和检测网络威胁，一种是：被动式监测，主要是IDS、IPS及防火墙。IDS、IPS及防火墙主要是对流量进行被动的检测，产生海量的信息，并且存在较多的误报，另外系统提供的安全威胁问题运维人员无法准确定位或还原，导致网络运维人员要花极大的精力来维护网络安全威胁。

另一种是：主动扫描技术，主要是各种网络漏洞扫描器，通过扫描等手段对指定的远程或者本地计算机系统或网络的安全脆弱性进行检测，发现可利用的网络威胁。但是，主动扫描技术对当前的网络威胁状态无法及时感知，不能第一时间发现当前环境下的网络安全威胁。

技术实现要素：

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种网络威胁检出率高、误报率低的网络威胁检测系统及检测方法。

本发明的一个目的可以通过以下技术方案来实现：

一种网络威胁检测系统，包括：

网络数据获取模块，用于实时采集在互联网或局域网上所有的网络流量数据；

特征提取模块，用于获取所述网络流量数据的特征信息；

流量分析模块，用于调用流量分析特征库，根据所述特征信息对所述网络流量数据进行特征匹配，获得可疑网络威胁事件，存储于可疑网络威胁事件库中；

网络威胁确认模块，用于调用深度分析知识库中的检测规则构成测试语句，利用测试语句对所述可疑网络威胁事件进行深度检测，获得确实存在网络威胁的真实网络威胁事件，存储于真实网络威胁事件库中，所述深度分析知识库存储多种带有相应检测规则的威胁模型；

威胁态势生成模块，用于调用关联分析模型库对所述可疑网络威胁事件和真实网络威胁事件进行大数据分析及数据挖掘，得出多个真实网络威胁事件的关联关系或者某个真实网络威胁事件的发生频率，形成威胁态势。

所述网络流量数据包括网络设备、终端或服务器等设备上的网络数据，所述网络设备包括路由器、网关和分光器等，所述网络数据获取模块采用镜像方式获取网络流量中的网络数据包。

所述特征信息包括网络流量数据的五元组和数据载荷，所述五元组包括源IP地址、源端口、目标IP地址、目标端口和传输层协议。

所述网络数据获取模块部署于IDC机房、云计算数据中心、网络运营商出口或局域网等环境。

该系统还包括：

展示模块，用于将所述威胁态势进行web展示。

本发明的另一个目的可以通过以下技术方案来实现：

一种网络威胁检测方法，包括以下步骤：

1)实时采集在互联网或局域网上所有的网络流量数据；

2)获取所述网络流量数据的特征信息；

3)调用流量分析特征库，根据所述特征信息对所述网络流量数据进行特征匹配，获得可疑网络威胁事件，存储于可疑网络威胁事件库中；

4)调用深度分析知识库中的检测规则构成测试语句，利用测试语句对所述可疑网络威胁事件进行深度检测，获得确实存在网络威胁的真实网络威胁事件，存储于真实网络威胁事件库中，所述深度分析知识库存储多种带有相应检测规则的威胁模型；

5)调用关联分析模型库对所述可疑网络威胁事件和真实网络威胁事件进行大数据分析及数据挖掘，得出多个真实网络威胁事件的关联关系或者某个真实网络威胁事件的发生频率，形成威胁态势。

所述网络流量数据包括网络设备、终端或服务器等设备上的网络数据，所述网络设备包括路由器、网关和分光器等，所述网络数据获取模块采用镜像方式获取网络流量的网络数据包。

所述特征信息包括网络流量数据的五元组和数据载荷，所述五元组包括源IP地址、源端口、目标IP地址、目标端口和传输层协议。

进行所述特征匹配时，将实时采集的网络流量数据分发到多个处理器同时处理，且在同一个处理器内，利用多进程多线程技术进行数据处理。

该方法还包括：

将所述威胁态势进行web展示。

与现有技术相比，本发明具有以下有益效果：

(1)本发明通过多级分析引擎来进行网络安全威胁检测，合并压缩大量的海量信息并采用被动检测、主动检测-验证相结合来极大的提高网络威胁的检出率和降低误报率。

(2)本发明具有web展示功能，把网络威胁的切入点十分清晰的提供给运维人员，，便于管理人员对网络的威胁态势进行及时感知及维护网络的安全性。

(3)本发明依次利用流量分析特征库、深度分析知识库和关联分析模型库进行流量分析、深度检测和关联分析，流量分析特征库包含大量的规则特征，深度分析知识库包含多种威胁模型，关联分析模型库包含多种网络威胁的关联分析模型，分析速度快，精度高。

(4)本发明检测系统功能模块高内聚，模块间松耦合，系统可扩展性强，利用响应式交换页面，用户交互良好，具有良好的人性化设计。

(5)本发明网络数据获取模块可以部署到大型IDC机房、云计算数据中心、网络运营商出口等，也可以处于大的局域网中，为威胁检测提供充足的数据流量，有利于提高检测准确度。

(6)本发明利用并行计算技术，将大规模网络实时流量分发到多个处理器同时进行处理，在同一个处理器内，利用多进程多线程技术，对报文抓取、协议解析、数据存储等进行高效处理。

附图说明

图1为本发明检测方法的流程示意图；

图2为本发明检测系统的结构示意图；

图3为本发明实施例中JBoss威胁分析的流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例提供一种网络威胁检测方法，包括：

步骤101：实时采集在互联网或局域网上所有的网络流量数据。

该步骤中，支持多节点部署、100Gb以上聚合流量实时采集，可以实时采集在互联网或局域网上所有的网络流量数据，检测系统或者检测系统中的分析服务器可以捕获网络设备(比如路由器、网关或分光器等)上的网络数据，但并不限于此，也可以是终端、服务器上的网络数据等，或者采用镜像的方式，从网络设备(比如路由器，网关等)处获取网络数据包。

步骤102：获取所述网络流量数据中的五元组及数据载荷等，并对其中的恶意流量进行分析。

五元组包括源IP地址、源端口、目标IP地址、目标端口和传输层协议。其中，源IP地址，可能是攻击者的IP地址，也可能是被攻击者的IP地址。源端口是源IP地址对应的端口。目标IP地址可能是被攻击者的IP地址，也可能是攻击者的IP地址。目标端口是目标IP地址对应的端口。传输层协议可能是TCP协议或UDP协议，其中TCP协议包含FTP、HTTP、POP3、TELNET等协议。数据载荷主要包含载荷数据及URL等信息，其中URL在FTP、HTTP等协议下才有，URL可能是恶意URL，也可能是正常URL，载荷数据也就是人们常说的payload data，即有效载荷数据，记载着信息的那部分数据。

对恶意流量进行分析具体是：调用流量分析特征库，根据五元组及数据载荷对所述网络流量数据进行特征匹配，获得可疑网络威胁事件，存储于可疑网络威胁事件库中。

步骤103：对可疑网络威胁事件，通过深度分析知识库中的检测规则构成测试语句，利用测试语句来确认网络威胁是否真实存在，将发现的网络威胁事件存储到真实网络威胁事件库中。深度检测过程中，对识别出的某个可疑事件会进行多个测试语句来进行主动检测验证是否确实存在网络威胁。

步骤104：对可疑网络威胁事件及真实网络威胁事件进行大数据分析及数据挖掘，得出多个事件的关联关系或者某个事件的发生频率，形成威胁态势。

本发明中，依据对监测的网络流量进行威胁检测，找出五元组(源IP地址，源端口，目标IP地址，目标端口和传输层协议)及数据载荷等，对上述五元组及数据载荷进行流量分析发现可疑的网络威胁，形成可疑网络威胁事件，然后对可疑网络威胁事件进行深度分析对网络威胁进行确认，形成网络威胁事件，最后对可疑网络威胁事件及网络威胁事件进行大数据分析及数据挖掘，得出多个事件的关联关系或者某个事件的发生频率，形成威胁态势。本方法还可对所形成的威胁态势进行web展示。

通过对当前网络的持续检测，发现当下的实时网络威胁，从而形成网络威胁的整体安全态势，为网络维护人员和网络用户提供参考及帮助。

基于上述方法的实现过程，本发明实施例还提供一种网络威胁的监测系统，其框架流程示意图详见图2所示。该检测系统包括第一级引擎201、第二级引擎202和第三级引擎203。

第一级引擎201主要进行流量分析，获取可疑网络威胁事件。第一级引擎201包括网络数据获取模块204、特征提取模块205、流量分析特征库206、流量分析模块207和可疑网络威胁事件库208。网络数据获取模块204具体是获取大流量环境下(单点检测流量可达100G以上)镜像网络设备(路由器、交换机、分光器等)上的网络实时流量。特征提取模块205用于获取网络流量数据的特征信息，包括网络流量数据的五元组和数据载荷等。流量分析模块207调用流量分析特征库206，根据所述特征信息对所述网络流量数据进行特征匹配，获得可疑网络威胁事件，存储于可疑网络威胁事件库208中。

流量分析模块207解析TCP/UDP报文信息，保留流量分析系统分析后的报文，然后解析出TCP/UDP报文信息。TCP报首解析遵循RFC793，UDP报首解析遵循RFC768，HTTP报首解析遵守RFC2068。流量分析模块207的运行环境为CentOS 6.4及以上版本。

由于大流量环境，导致对系统的并发性要求比较高，能并行处理大流量下的大量数据。利用并行计算技术，将大规模网络实时流量分发到多个处理器同时进行处理，在同一个处理器内，利用多进程多线程技术，对报文抓取、协议解析、数据存储等进行高效处理。

流量分析特征库206包含了大量的规则特征，一条规则里面包含了恶意流量的各种特征，可能是一个特征，也可能是多个特征。

可疑网络威胁事件库208可以全部采用关系型数据库，也可以采用NoSql数据库。

为了采集到大流量下的数据，上述第一级引擎201可以部署到大型IDC机房、云计算数据中心、网络运营商出口等，为威胁检测提供充足的数据流量，也可以处于大的局域网中。

第二级引擎202主要进行威胁检测和验证分析，验证威胁是否真实存在。第二级引擎202包括网络威胁确认模块210、深度分析知识库209和真实网络威胁事件库211。

网络威胁确认模块210对可疑网络威胁事件，通过深度分析知识库209中的检测规则构成测试语句，利用测试语句来确认网络威胁是否真实存在，将形成的网络威胁事件存储到真实网络威胁事件库211；网络威胁确认模块210采用深度检测，对识别出的某个可疑事件会进行多个测试语句来进行主动检测验证是否确实存在网络威胁。

深度分析知识库209包含了多种威胁模型，每种模型包含1条或多条模型相关的威胁验证知识，威胁验证知识是安全人员经过大量的安全研究工作得到的研究成果，它可以极大的提高威胁的检出率和降低威胁的误报率。

真实网络威胁事件库211可以全部采用关系型数据库，也可以采用NoSql数据库。

第三级引擎203主要对可疑网络威胁事件及深度分析的真实网络威胁事件进行数据挖掘和统计，得出多个威胁事件的关联关系或者某个事件的发生频率。第三级引擎203包括威胁态势生成模块212、关联分析模型库213和威胁态势数据库214。

其中威胁态势生成模块212会利用关联分析模型库213及多种数据分析方法，对可疑网络威胁事件及深度分析的真实网络威胁事件进行数据挖掘和分析统计，得出多个威胁事件的关联关系或者某个事件的发生频率，存储于威胁态势数据库214中。

关联分析模型库213包含多种网络威胁的关联分析模型，包括但不限于僵尸网络的关联分析模型、常见Web应用(比如JBoss)的关联分析模型、网站后门与网页篡改的关联模型等。

威胁态势数据库214可以全部采用关系型数据库，也可以采用NoSql数据库。

本发明的另一实施例中，网络威胁的监测系统还包括展示模块215，用于将所述威胁态势进行web展示。web展示为网络威胁检测系统的Web部分，读取网络威胁历史事件数据或关联事件并显示在WEB界面中。该Web系统采用多层设计(表示层、业务层、数据层等)，功能模块高内聚，模块间松耦合，系统可扩展性强，利用响应式交换页面，用户交互良好，具有良好的人性化设计；对关联分析系统的可视化提供Web展示，便于管理人员对网络的威胁态势进行及时感知及维护网络的安全性。

本发明以一种以JBoss威胁分析为例，如图3所示，通过JBoss威胁来阐释本实例所述技术方案：在一个JBoss的网站应用中，可能存在多个网络威胁。

步骤301：获取JBoss的应用数据；

网络数据利用流量分析系统分析里面包含JBoss的应用数据，假设获取到该URL为http://192.168.1.1/jboss.jsp，其中192.168.1.1可以是IP，也可以是域名。

步骤302：/jmx-console/是否存在问题；

深度分析系统里面会构造如下URL：

http://192.168.1.1/jmx-console/并进行访问，如果返回内容存在JBoss JMX则认为存在安全威胁问题

步骤303：/idssvc/idssvc.jsp是否存在问题

深度分析系统里面会构造如下URL：

http://192.168.1.1/idssvc/idssvc.jsp并进行访问，如果返回内容包含VALUE＝"Send"则认为存在安全威胁问题。

步骤304：/iesvc/iesvc.jsp是否存在问题

深度分析系统里面会构造如下URL：

http://192.168.1.1/iesvc/iesvc.jsp并进行访问，如果返回内容包含VALUE＝"Send"则认为存在安全威胁问题。

步骤305：/wstats/wstats.jsp是否存在问题

深度分析系统里面会构造如下URL：

http://192.168.1.1/wstats/wstats.jsp并进行访问，如果返回内容存在VALUE＝"Send"则认为存在安全威胁问题。

步骤306：/zecmd/zecmd.jsp是否存在问题

深度分析系统里面会构造如下URL：

http://192.168.1.1/zecmd/zecmd.jsp并进行访问，如果返回内容存在VALUE＝"Send"则认为存在安全威胁问题。

步骤307：将存在威胁问题的URL存入威胁事件库

将步骤302-步骤306里面包含威胁问题的事件全部写入威胁事件库。

步骤308：将存在威胁问题的URL存入威胁事件库并进行关联展示

将同一个IP的多个JBoss威胁进行关联展示，形成威胁态势。