专利名称：面向内容的网络流量快速安检引擎的制作方法
技术领域：
本发明涉及一种特别涉及面向内容识别的网络流量检测技术，具体地说是一种面 向内容的网络流量快速安检引擎。
背景技术：
网络安全一直是严重困扰网络与信息应用的最大障碍，虽然长期以来业界不断开 发建设防火墙、入侵检测、入侵防护、防病毒、防木马、防钓鱼等各种网络安全工具，也取得 了较好的效果，但道高一尺魔高一丈，各种网络危害软件不断翻新、不断变异、不断演化，大 有愈演愈烈之势。而且随着网络带宽的不断提高，以及网络规模和用户规模的不断扩大，网 络流量正快速地呈爆炸式增长，从而使各种网络安全工具在性能上相形见绌，难以应付。更严重的是，与传统的黑客、病毒、木马等网络侵害相比，内容的安全性对人类、对 社会的破坏力更大。诸如各种黄色信息、黄色音像、黄色游戏、诲淫诲盗、网络诈骗、网络赌 博、有害宣传等等，已经严重影响着社会安全、民族安全、家庭安全、个人身健康。不幸的是， 防治处理这些有害网络内容的工具却非常有限，目前相关的实用产品还处在很初级的发展 那阶段，不仅在功能上比较简单，更在性能上甚为低下。要解决网络安全工具的功能和性能的瓶颈问题，除了开发功能更强效率更高的算 法以外，主要的途径是采用人工智能和软件系统硬件化技术。本发明就是在这一发展方向 上的一项深入探索和实践，采用基于策略的特征识别将流量分类，在此基础上通过流水线 式的多媒体语义特征识别处理，实现对网络流量的快速检测和内容的深度识别。
发明内容
本发明的目的是提供一种面向内容的网络流量快速安检引擎。本发明的目的是按以下方式实现的，主要由网络流量特征检测、网络内容流水线 式深度检测与处理、有害内容流量形迹统计分析、流量特征和内容特征库(特征控制寄存 器)四大子系统组成。基本工作步骤如下网络流量输入到“流/分组检测子系统”的缓存器，检测器根据特征寄存器中的各 种特征段同时对流/分组包进行匹配检测(主要检测形态和类型属性，不检测净荷内容)， 检测出的类型分为安全可信、异常有害、不确定三大类。然后根据策略控制器中的处理策 略，将异常有害的流/分组丢弃到垃圾箱，将安全可信的直接送到绿色直通通道；将不确定 的发送到内容深度检测处理子系统。(1)内容检测处理子系统，首先将不确定的内容存放到检测输入缓存区，经文本检 测器、声音检测器、图像检测器、以及关联检测器检测识别，然后传输到内容过滤缓存区。(2)在内容过滤缓存区，由文本过滤器、声音过滤器、图像过滤器根据前边各检测 器发来的相关识别信息，实施对流/分组进行过滤处理，将有害内容丢到垃圾箱，将良好内 容发送到流量合成器。
(3)流量合成器负责将绿色通道上的信息和经过过滤处理的良好信息整合成“安 全可信”的绿色流传送到后面的网络中。(4)内容特征控制寄存器存放各种不良内容的语义特征控制段(这些特征段可能 有很多条)，供各检测器/过滤器作为操作依据在内容检测与过滤流水线上对网络流进行处理。(5)流特征控制寄存器存放一系列有关各类网站、流量、分组包安全特征的模式信 息(特征段)和策略控信息，送到流/分组检测子系统的特征寄存器和策略控制器，以便控 制对网络流量的处理。(6)异常形迹统计分析子系统，接受各内容检测器发来的各种流的安全标识信 息——例如来自某网站或URL (信息地址)流量中内容的健康等级，经过一段时间的统计分 析，判断出各类流的安全或健康指数，当超过设定的阈值时，即发出相应的报告，报告接受 方可以是后台管理者，也可是各特征控制寄存器、策略控器，接受方据此修正控制信息。本发明的优异效果如下(1)将流量安全检测和内容检测过滤综合为一体的引擎架构，提高了二者之间的 配合效果，减少了二者之间许多耦合环节，可有效提高处理速度、降低实现成本；(2)流/分组包检测器通过对流量实施基于策略的分类处理，使得后续对内容检 测的规模大大减低，从而大幅度提高内容处理速度；(3)基于前馈式流水线技术的内容检测与处理结构，使得各个媒体维度的检测器 操作过程十分单纯快速——特别适合大规模地并发矢量运算或矩阵运算，并且将检测的结 果超前于被检分组包送到内容过滤器，能有效加快对分组的处理速度；(3)特征控制寄存器的设置，实现了控制与操作在结构上的独立性，保证了系统具 有可不断演进、不断扩展、不断升级、灵活配置等特性；(4)异常形迹分析功能的设计，可使引擎具有不断自学的功能，有利于不断提高检 测识别的效果和效率。
附图1为面向内容的网络流量快速安检引擎的结构示意图。
具体实施例方式参照附图对本发明的面向内容的网络流量快速安检引擎作以下详细地说明。本发明的面向内容的网络流量快速安检引擎，基于本发明的网络流量检测处理系 统，可统一高效地实现网络流量监控功能和不良网络内容检测过滤功能，而且能够在相对 较低的成本情况下，成倍地提高处理效率。特别是随着对网络流量内容识别的研究深入和 更好算法的提出，可以连续地实现对系统的升级扩展，从而能够保证流量检测效果和内容 过滤效果的理想性。这样的系统特别适合于大中型电信网络、大中型企事业网络、大中型互 联网节点、大型网络安全检测中心、大型网吧，以及对性能要求高对有害内容敏感的各种场 所，因此本发明具有广泛的应用前景和良好的实用价值。实施例基于本发明的网络流量检测与内容过滤引擎或系统，可以采用基于主机的软件实现，也可采用超大规模集成电路(如面向内容的网络流量快速安检引擎SIC、FPG面向内容 的网络流量快速安检引擎)用硬件来实现。后一种实现方式是主要发展方向，具体实现时 的方法和注意事项如下(1)各子系统最好在同一芯片上实现，特别是流量检测器、内容检测与过滤、特征 控制寄存器三个子系统，尽量放在同一芯片的相邻位置，以便保证运行高速度；(2)特征控制寄存器存放流/分组特征控制字段，这些字段的数量可能会很大。如 果特征字段的数量太大(比如超过几万条)，可考虑将特征控孩子寄存器分为二部分，一部 分放在检测器/过滤器所在的芯片上，另一部分放在另外的芯片上(特别是那些相对不常 用的特征段、对处理时间要求相对不严格的特征段)；(3)异常形迹分析子系统也尽量放在同一芯片上，因为该模块的出入信号线比较 多，放到外边不方便；(4)垃圾箱一般要放到芯片外部。特别是当系统不断成熟时，由于对流量的检测处 理很准确，所以垃圾箱可去掉；(5)流量合成器比较简单，所占用的片上资源很少，所以应尽量放到片上； (6)系统的其它部分如电源、网络接口、调试/监控接口、管理软件等，可参照成熟 的网络设备处理。
权利要求
面向内容的网络流量快速安检引擎，其特征在于，包括，网络流量特征检测、网络内容流水线式深度检测与处理、有害内容流量形迹统计分析、流量特征和内容特征控制寄存器四大子系统，工作步骤如下网络流量输入到“流/分组检测子系统”的缓存器，检测器根据特征寄存器中的各种特征段同时对流/分组包进行匹配检测，检测出的类型分为安全可信、异常有害、不确定三大类，然后根据策略控制器中的处理策略，将异常有害的流/分组丢弃到垃圾箱，将安全可信的直接送到绿色直通通道；将不确定的发送到内容深度检测处理子系统；其中1)内容检测处理子系统，首先将不确定的内容存放到检测输入缓存区，经文本检测器、声音检测器、图像检测器、以及关联检测器检测识别，然后传输到内容过滤缓存区；2)在内容过滤缓存区，由文本过滤器、声音过滤器、图像过滤器根据前边各检测器发来的相关识别信息，实施对流/分组进行过滤处理，将有害内容丢到垃圾箱，将良好内容发送到流量合成器；3)流量合成器负责将绿色通道上的信息和经过过滤处理的良好信息整合成“安全可信”的绿色流传送到后面的网络中；4)内容特征控制寄存器存放各种不良内容的语义特征控制段，供各检测器/过滤器作为操作依据在内容检测与过滤流水线上对网络流进行处理；5)流特征控制寄存器存放一系列有关各类网站、流量、分组包安全特征的模式信息和策略控信息，送到流/分组检测子系统的特征寄存器和策略控制器，控制对网络流量的处理；6)异常形迹统计分析子系统，接受各内容检测器发来的各种流的安全标识信息，包括来自某网站或URL流量中内容的健康等级，经过一段时间的统计分析，判断出各类流的安全或健康指数，当超过设定的阈值时，即发出相应的报告，报告接受方是后台管理者，或是各特征控制寄存器、策略控器，接受方据此修正控制信息。
全文摘要
本发明提供一种面向内容的网络流量快速安检引擎，主要在于系统由网络流量特征检测、网络内容流水线式深度检测与处理、有害内容流量形迹统计分析、流量特征和内容特征库(特征控制寄存器)四大子系统组成。步骤是先通过对流量外部特征的检测和基于策略的分类与处理，然后采用流水线检测处理过程，基于预先设置的特征库快速检测、识别所过流量。流水处理系统按功能分割，处理功能专一高效，且具有关联综合功能。特别设计的流量形迹分析器能够帮助系统不断积累定性的特征信息，使系统具有自学习功能，从而使性能不断提升。具有广泛的应用前景和良好的实用价值。
文档编号H04L29/06GK101815015SQ20101011164
公开日2010年8月25日 申请日期2010年2月22日 优先权日2010年2月22日
发明者苗再良 申请人:浪潮通信信息系统有限公司