基于流量的网络状态快速感知系统的制作方法

文档序号:10515456
基于流量的网络状态快速感知系统的制作方法
【专利摘要】本发明公开了一种基于流量的网络状态快速感知系统。该系统包括:流量快速采集模块,实现基于传感器分布式部署、集中数据感知架构下的大规模网络的实时在线流量采集;网络状态快速感知模块,实现网络资产及其变动、网络活跃度、访问控制列表策略异常的快速感知;可视化模块,显示感知结果。本发明实现了网络流的快速采集,并将网络流分析的方法推广到网络感知领域中,采用时间分片的方法,同时引入二级数据库,实现了网络状态快速感知。
【专利说明】
基于流量的网络状态快速感知系统
技术领域
[0001]本发明涉及计算机网络安全技术领域,尤其涉及一种基于流量的网络状态快速感知系统。
【背景技术】
[0002]随着计算机、通信等信息技术的不断发展,特别是Internet的普及,使得网络成为人们日常工作、生活的重要组成部分。然而网络蓬勃发展的同时,计算机病毒、恶意攻击、信息窃取等安全威胁带来的问题也越来越严重,影响到用户的正常使用和信息的安全传递。保证计算机和网络系统的安全、正常运行已经成为企业、政府、军事部门等越来越关心的问题。
[0003]为了应对各类安全威胁,防火墙、入侵检测系统(IDS)、入侵防御系统(IPS)、防病毒软件、安全审计等网络安全设备或软件在网络中得到了广泛应用。多样的监测方式和事件报告机制给网络管理人员提供了关于网络安全海量的多元数据,但是目前却缺乏有效的手段将这些零散的信息进行融合,从而得到整个网络的安全状况和变化趋势信息,为网络管理人员的工作提供决策层面的支持。在这种背景下,研究人员将最早出现在航空领域的态势感知技术应用于网络,提出了网络安全态势感知,其主要目的就是从多元的安全信息中提取、精炼、融合生成宏观层面的网络安全信息,帮助管理人员及时处理网络中出现的各类安全问题。
[0004]从上世纪九十年代初开始,国外逐步展开了对网络安全态势感知的研究,并且受到了军、政等重要部门以及众多科研机构的重视。近年来,我国将信息系统安全技术列为21世纪重点发展领域,并作为国家863计划和国家自然科学基金的重点支持对象,明确指出对网络安全态势的研究,在提高我国网络系统的应急响应能力和保证国家战略发展安全等方面都具有十分重要的意义。网络安全态势感知技术的研究是网络安全领域必然要经历的下一个发展阶段,该项研究的开展会为网络安全技术提供一个更宽、更广的发展空间,增强网络安全管理手段的有效性和实时性。
[0005]网络安全态势研究之初,网络环境无论是规模、速度还是应用的多样性都无法与今天相比。相应地,对网络安全态势的研究也主要以中、小规模为主,选择的数据源多是各类日志记录。随着网络的迅猛发展,应用范围的延伸,规模的不断扩大,网络安全态势的研究也需要不断适应网络的发展,为建立集监控、防护、应急响应于一体的、实时的、动态的、主动的网络安全态势感知系统提供技术支持。
[0006]研究发现,现有网络态势感知系统存在如下不足:
[0007]I)缺乏原始数据,仅对网络安全设备或软件的记录日志分析,缺乏第一手的原始信息;
[0008]2)应用场景受限,随着网络信息技术的不断发展,企业面临海量信息处理的情况已普遍存在,现有网络态势感知系统多局限于局域网和单机的日志数据的收集和分析,尚不能适用于大规模网络的网络安全的态势评估。

【发明内容】

[0009]本发明要解决的技术问题在于针对现有技术中的缺陷,提供一种基于流量的网络状态快速感知系统,克服传统网络感知方法缺少原始数据、无法应用于大规模网络场景的问题,提高了网络感知结果的全面性、精确性、实时性。
[0010]本发明解决其技术问题所采用的技术方案是:一种基于流量的网络状态快速感知系统,包括:
[0011]网络流量快速采集模块,用于通过传感器进行大规模网络的实时在线流量快速采集和预处理;所述传感器在多个子网分布式部署;所述预处理包括对原始网络流进行解包、重组和解码将原始网络流转换形成流格式I ;所述流格式I为包括源IP,目的IP,源端口,目的端口,传输层协议,应用层协议,包数,字节数,标志位,开始时间,持续时间,结束时间的数据组;
[0012]所述网络流量快速采集模块还用于对采集到的流格式I的网络流定时打包,导出网络流临时文件,等待分析器提取接收;
[0013]网络状态快速感知模块,包括:
[0014]分析器,用于根据配置信息,将接收的流格式I的网络流分类进行格式转换,转换为流格式2后,打包存储为基于设定时间的文件系统,作为数据分析对象;最终的网络流分析对象即为流格式2的网络流;所述流格式2为包括流入流出类型,来源子网名,源IP,目的IP,源端口,目的端口,传输层协议,应用层协议,包数,字节数,标志位,开始时间,持续时间,结束时间等;
[0015]感知器,用于对流格式2的网络流进行数据分析,获取网络状态感知结果;
[0016]I)内存缓存和二级数据库读取和写入关键数据;
[0017]2)基于内存缓存和二级数据库中的关键数据,采用根据时间分片的方法,对比内存缓存和二级数据库中的关键数据分析当前时间片间隔内网络流元数,定时执行脚本快速分析网络流元数据,获取网络状态感知结果;所述网络状态感知结果包括网络资产及其变动、网络活跃度、访问控制列表策略异常;
[0018]3)根据网络状态感知结果同时更新内存缓存和二级数据库。所述内存为服务器内存,所述二级数据库设置在服务器上;
[0019]可视化模块,用于显示网络状态感知结果。
[0020]按上述方案,所述格式转换模块中设定时间为小时。
[0021]按上述方案,所述分析器中的关键数据包括资产信息、网络流量统计信息和访问控制列表(ACL)策略。
[0022]本发明产生的有益效果是:
[0023]1.本发明保存了网络原始流信息,与传统的单一 IDS源获取相比,感知结果更全面、精确;
[0024]2.本发明可应用于大规模网络和多数据源网络,在行业大数据和网络结构复杂的背景下,更具实用性;
[0025]3.本发明引入了内存数据库和二级数据库,保证了实时性和高响应,提高感知结果的精确性和有效性。
【附图说明】
[0026]下面将结合附图及实施例对本发明作进一步说明,附图中:
[0027]图1是本发明系统的工作流程图;
[0028]图2为系统实施方案的原理图;
[0029]图3为网络资产的新增和闪现快速感知步骤图;
[0030]图4为子网流量走势快速感知步骤图。
【具体实施方式】
[0031]为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
[0032]—种基于流量的网络状态快速感知系统,包括:
[0033]网络流量快速采集模块,用于通过传感器进行大规模网络的实时在线流量快速采集和预处理;所述传感器在多个子网分布式部署;所述预处理包括对原始网络流进行解包、重组和解码将原始网络流转换形成流格式I ;所述流格式I为包括源IP,目的IP,源端口,目的端口,传输层协议,应用层协议,包数,字节数,标志位,开始时间,持续时间,结束时间的数据组;
[0034]所述网络流量快速采集模块还用于对采集到的流格式I的网络流定时打包,导出网络流临时文件,等待分析器提取接收;
[0035]网络状态快速感知模块,包括:
[0036]分析器,用于根据配置信息,将接收的流格式I的网络流分类进行格式转换,转换为流格式2后,打包存储为基于设定时间的文件系统,作为数据分析对象;最终的网络流分析对象即为流格式2的网络流;所述流格式2为包括流入流出类型,来源子网名,源IP,目的IP,源端口,目的端口,传输层协议,应用层协议,包数,字节数,标志位,开始时间,持续时间,结束时间等;
[0037]感知器,用于对流格式2的网络流进行数据分析,获取网络状态感知结果;
[0038]I)内存缓存和二级数据库读取和写入关键数据;
[0039]2)基于内存缓存和二级数据库中的关键数据,采用根据时间分片的方法,对比内存缓存和二级数据库中的关键数据分析当前时间片间隔内网络流元数,定时执行脚本快速分析网络流元数据,获取网络状态感知结果;所述网络状态感知结果包括网络资产及其变动、网络活跃度、访问控制列表策略异常;
[0040]3)根据网络状态感知结果同时更新内存缓存和二级数据库。所述内存为服务器内存,所述二级数据库设置在服务器上;
[0041]可视化模块,用于显示网络状态感知结果。
[0042]本系统工作流程如图1所示,经由如下步骤:
[0043]1.网络流的分类汇聚
[0044]数据采集功能是本系统的基础,为网络流的统计分析提供基础。数据采集主要是对原始数据的采集,原始网络流经过解包、重组、解码等预处理,在采集器中转换形成流格式I输出。
[0045]系统涉及的网络流来自于“流”的概念,一个“流”,来自相同的子接口,有相同的源和目的IP地址,协议类型,相同的源和目的端口号,通常为5元组。步骤I记录的流格式I会记录流的其他关键信息,包括源IP,目的IP,源端口,目的端口,传输层协议,应用层协议,包数,字节数,标志位,开始时间,持续时间,结束时间等。
[0046]步骤I完成对原始数据的采集,原始网络流经过解包、重组、解码,根据有效载荷计算高层协议等,得出初始流格式。由于将网络流分析中的流获取的复杂工序从流分析器中分离出来,如流汇聚、流协议计算等工作,减少了分析器的负载,提升了分析器计算网络状态感知结果的效率。
[0047]2.网络流的打包与远程传输
[0048]采集器汇集采集到的流格式I的网络流定时打包导出网络流临时文件,等待分析器提取。如图2所示的系统实施方案部署图,每个子网部署一个采集器,经过网络流的分类汇聚、打包,生成网络流临时文件,进行远程传输。
[0049]3.网络流的格式转换与存储
[0050]分析器实时提取各采集器生成的网络流临时文件,根据配置信息,将流格式I的网络流分类进行格式转换,转换为流格式2后,打包存储为基于小时的文件系统,作为数据分析对象,最终的网络流分析对象即为格式2的网络流,总的来说,包括流入流出类型,来源子网名,源IP,目的IP,源端口,目的端口,传输层协议,应用层协议,包数,字节数,标志位,开始时间,持续时间,结束时间等。
[0051]4.网络状态快速感知
[0052]分析器在网络流分析的基础上,引入二级数据库,采用基于时间分片的方法,实现网络资产及其变动、网络活跃度、ACL策略异常等网络运行状态的快速感知。图2中分析器和二级数据库之前传输的数据包括子网配置信息、子网资产信息、子网活跃度基本信息、子网ACL策略、子网ACL策略异常信息等。
[0053]网络资产及其变动的快速感知,进一步包括:基于流量的新增资产的快速感知、基于流量的停用资产的快速感知、基于流量的闪现资产的快速感知,如图3所示,以新增和闪现网络资产的快速感知为例,实现包括如下步骤:
[0054]000.开始。假设资产已录入二级数据库的资产列表表,二级数据库中资产变动表初始为空,资产列表表包括资产IP、资产所属子网等,资产变动表包括IP、首次出现时间、变动类型(新增、闪现或停用)等;
[0055]001.资产录入。内存读取二级数据库中的子网配置信息和资产列表,子网配置信息包括子网名和子网所在网段,接着执行步骤002 ;
[0056]002.此步骤每隔一个时间分片执行一次。分析当前时间片间隔内的网络流,记录网络流中出现的所有IP和出现时间,对比子网配置信息、资产列表、资产变动表,获取在子网网段内、从未在资产列表出现过、不在资产变动表或在资产变动表但变动类型不是新增的IP,如果该IP不在资产变动表或在资产变动表中变动类型不为闪现,则执行003 ;如果该IP在资产变动表中变动类型为闪现,则进一步对比资产变动表中的该IP首次出现时间,如果该首次出现时间和当前出现时间的时间间隔超过7天,执行步骤004 ;
[0057]003.此时认为该IP首次出现,可视为闪现,在资产列表中加入该IP的相关信息,包括IP地址、当前出现时间、所在子网等,执行步骤005 ;
[0058]004.此时认为该IP在7天内持续多次出现,可视为新增,在资产变动表中将该IP变动类型标为新增,同时更新内存缓存,执行步骤005 ;
[0059]005.结束。
[0060]网络活跃度的快速感知,进一步包括:基于流量的网络流量走势情况的快速感知、基于流量的网络间互通情况的快速感知、基于流量的网络协议分布情况的快速感知,以一个月内的网络流量走势情况的快速感知为例,实现包括如下步骤:
[0061]100.开始。经过固定的时间间隔,脚本开始运行。
[0062]101.分析当前时间片间隔,读取子网配置表中的子网和子网网段信息,统计当前时间间隔内每个子网网段的流量统计信息,如果当前时间间隔包含新的一天的开始,则如果同时包含新的一月的开始,执行步骤103,不包含新的一月的开始执行步骤104 ;如果不包含新的一天的开始,执行步骤102 ;
[0063]102.将二级数据库的对应子网的日基本信息和月基本信息表中的当日对应流量统计值和当月流量统计值分别加上当前时间间隔的流量统计值,执行步骤105 ;
[0064]103.在二级数据库中的日基本信息表中和月基本信息表中分别插入新的一行,分别包括子网、日期、当前时间间隔内的流量统计值等和子网、月份、当前时间间隔内的流量统计值等,执行步骤105 ;
[0065]104.在二级数据库中的日基本信息表中加入一行,内容为子网名称、日期、当前时间间隔内的流量统计值等,并将对应子网的月基本信息表的当月流量统计值加上当前时间间隔内的流量统计值,执行步骤105 ;
[0066]105.结束。
[0067]ACL策略异常的快速感知,实现包括如下步骤:
[0068]A.内存读入二级数据库中的ACL策略,接着执行B ;
[0069]B.针对每条ACL策略,对比分析当前时间片间隔内网络流元数据,将源IP、源端口、目的IP、目的端口、协议等信息,如果某网络流违反ACL策略,将其关键信息,如来源子网、源IP、源端口、目的端口、协议、开始时间等写入二级数据库。
[0070]本发明由于采用分级处理的方法,将初始网络流采集的工作和网络流分析的工作分离开来,使分析器能够更专注于数据的分析工作,同时,采用基于时间分片的方法,引入内存数据库和二级数据库保存大量中间数据,在减少计算量的同时,极大地避免了重复计算,保证了网络感知结果的实时性。
[0071]5.可视化
[0072]控制台直接分析网络流数据或查询二级数据库,获取网络状态感知结果,将结果以曲线图、饼状图、互通图、表格等形式直观地在界面中进行展示。
[0073]应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
【主权项】
1.一种基于流量的网络状态快速感知系统,包括: 网络流量快速采集模块,用于通过传感器进行大规模网络的实时在线流量快速采集和预处理;所述传感器在多个子网分布式部署;所述预处理包括对原始网络流进行解包、重组和解码将原始网络流转换形成流格式I ;所述流格式I为包括源IP,目的IP,源端口,目的端口,传输层协议,应用层协议,包数,字节数,标志位,开始时间,持续时间,结束时间的数据组; 网络状态快速感知模块,包括感知器和分析器: 分析器,用于根据配置信息,将接收的流格式I的网络流分类进行格式转换,转换为流格式2后,打包存储为基于设定时间的文件系统,作为数据分析对象;最终的网络流分析对象即为流格式2的网络流;所述流格式2为包括流入流出类型,来源子网名,源IP,目的IP,源端口,目的端口,传输层协议,应用层协议,包数,字节数,标志位,开始时间,持续时间和结束时间; 感知器,用于对流格式2的网络流进行数据分析,获取网络状态感知结果; 1)内存缓存和二级数据库读取和写入关键数据; 2)基于内存缓存和二级数据库中的关键数据,采用根据时间分片的方法,对比内存缓存和二级数据库中的关键数据分析当前时间片间隔内网络流元数,定时执行脚本快速分析网络流元数据,获取网络状态感知结果;所述网络状态感知结果包括网络资产及其变动、网络活跃度、访问控制列表策略异常; 3)根据网络状态感知结果同时更新内存缓存和二级数据库。所述内存为服务器内存,所述二级数据库设置在服务器上; 可视化模块,用于显示网络状态感知结果。2.根据权利要求1所述的基于流量的网络状态快速感知系统,其特征在于,所述格式转换模块中设定时间为小时。3.根据权利要求1所述的基于流量的网络状态快速感知系统,其特征在于,所述分析器中的关键数据包括资产信息、网络流量统计信息和访问控制列表策略。4.根据权利要求1所述的基于流量的网络状态快速感知系统,其特征在于,所述可视化模块通过图表形式显示网络状态感知结果。
【文档编号】H04L29/08GK105871803SQ201510906243
【公开日】2016年8月17日
【申请日】2015年12月9日
【发明人】路海, 汤学明, 殷明勇, 崔永泉, 陈志文, 赵友桥, 刘帅, 王新宇, 李玲玉
【申请人】中国工程物理研究院计算机应用研究所
再多了解一些
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1