一种基于众核网络处理器并可快速部署的数据包检测监控系统的制作方法
【专利摘要】本发明提出一种基于众核网络处理器并可快速部署的数据包检测监控系统。本发明由部署单元和众核网络处理器单元组成。部署单元包括程序配置、编译、载入功能和处理器单元状态监控功能；众核网络处理器内多个核心分为不同的工作组，包括控制管理组，报文处理转发组，报文重组组和本地控制组。控制管理组包括定时器处理模块，远程交互接口模块和控制核心模块；报文处理转发组包括数据包预处理模块，数据包检测分析模块和数据包转发模块；报文重组组包括数据报文重组模块；本地控制组包括本地接口模块和控制核心模块。本发明提供的系统可以快速自动化地进行配置并部署上线，在运行中可以满足大吞吐量网络的数据包检测需求，并具有灵活的配置功能。
【专利说明】—种基于众核网络处理器并可快速部署的数据包检测监控系统
【技术领域】
[0001]本发明涉及网络数据包深度检测领域，提出了一种基于众核网络处理器体系架构、可以快速部署的数据包检测监控系统。
【背景技术】
[0002]当前，网络中存在着一些不良信息，对网络环境造成了一定的污染。针对这种情况，需要有效的监管手段。而针对网络中数据包进行深度内容检测是必要的方法之一。通过对网络中数据包的内容进行解析，能够对网络中的数据流量和用户的上网行为进行监控，及时阻止网络内的不良信息的流通，快速定位追查源头，防止违规事件的发生。
[0003]由于对数据包进行深度的内容检测，需要对数据包的数据负载部分进行关键词匹配检测。相对于仅仅是检测数据包的协议层的协议头信息的检测系统，进行深度数据包检测需要更多的时间和资源，而在目前高速、大流量的网络环境下，数据包检测系统也需采用特定的体系结构，保证检测性能和用户的通信质量，否则，位于网络关键节点的数据包检测系统，将成为网络流量的瓶颈，影响整个网络的性能。同时，为满足日益多变的网络环境和结构，检测系统应提供丰富的管理配置接口，易于快速部署；针对不同的需求，应提供不同的内容检测、数据包转发过滤策略。
[0004]据此，本发明提出了一种基于众核网络处理器并可快速部署的数据包检测监控系统，该系统使用众核体系架构的网络处理器，将处理器内大量核心分为不同的处理工作组，众多核心并行工作，并且充分利用网络处理器内硬件单元，满足网络的性能需求。同时，本发明提出的检测监控系统的部署单元，可以满足检测系统快速部署上线的需求，并可使用管理配置接口，满足不同的检测监控需求。
【发明内容】
[0005]本发明提出的一种基于众核网络处理器并可快速部署的数据包检测监控系统，包括部署单元和众核网络处理器单元。
[0006]该系统的部署单元，用于配置、编译、部署运行于众核网络处理器单元上的程序并监控众核网络处理器单元运行状态，部署单元由如下组件组成:
[0007]操作系统；
[0008]程序编译环境；
[0009]程序配置文件；
[0010]程序部署接口；
[0011]状态监控与管理接口。
[0012]该系统的众核网络处理器单元，作为带有大量处理核心和专用硬件单元的处理器，负责对流入该单元的数据包进行深度报文检测并根据检测结果采取不同的报文转发策略，众核网络处理器带有专用的硬件模式匹配DFA单元和定时器单元，前者用于快速地进行敏感信息匹配检测，后者用于实现本系统的基于流的过滤和基于端到端的监控功能。
[0013]众核处理单元的众多处理核心工作在不同的工作组，执行不同的工作逻辑，包括:
[0014]控制管理组，负责与远程管理端进行交互，进一步包括定时器处理模块，远程交互接口模块和控制核心模块；
[0015]报文处理转发组，负责对数据包进行深度报文内容检测，进一步包括数据包预处理模块，数据包检测分析模块和数据包转发模块，其中除了敏感内容过滤功能外，还包括基于流的过滤和基于端到端的监控功能；
[0016]报文重组组，负责对分片的报文进行重组,包括数据报文重组模块；
[0017]本地控制组，负责与本地的串口进行交互，进一步包括本地接口模块和控制核心模块。
[0018]本发明的有益效果是:
[0019]本发明提供的系统可以快速自动化地进行配置并部署上线，在运行中充分利用众核网络处理器的众核并行处理功能，可以满足高速、大吞吐量网络的数据包检测需求。同时，本系统除了敏感内容过滤功能外，还包括基于流的过滤和基于端到端的监控功能以及分片重组功能，并具有灵活的配置功能，可满足复杂的内容检测策略的需求。
【专利附图】
【附图说明】
[0020]图1是本发明提出的众核并行数据包检测监控系统结构图；
[0021]图2是本发明提出的系统中基于流的过滤和基于端到端的监控功能流程图。
【具体实施方式】
[0022]下面结合附图对本发明进行进一步的具体描述。
[0023]如图1所示，本发明所述的一种基于众核网络处理器并可快速部署的数据包检测监控系统，其中包括:
[0024]1、部署单元(1)，用于配置、编译、部署运行于众核网络处理器单元上的程序并监控众核网络处理器单元运行状态，包括:
[0025]操作系统(2)，支持编译环境以及各类配置、部署和管理工具的运行；
[0026]程序编译环境(3)，提供编译器、加载库、第三方工具等，支持编译得到可运行于众核网络处理器上的程序；
[0027]程序配置文件(4)，包括参数设定文件和匹配模式表达式集合文件。参数设定文件用于设定程序初始运行的工作状态，以键值对的形式保存有各个参数的设置值，在程序编译时，编译工具根据该文件中的设置值，设定程序的初始化代码，保证程序运行时相关参数初始值即为配置文件所设置。匹配模式表达式集合文件含有预先定义的模式集合，每行为一个正则表达式规则，众核处理器单元将根据这些模式集合判定流入的数据报文的转发策略；
[0028]程序部署接口(5)，提供自动化工具，自动将编译完成的程序正确地载入众核网络处理器单元并使众核网络处理器单元启动运行，在该工具执行之后，众核网络处理器即正常启动并开始正常工作。[0029]状态监控与管理接口(6)，提供自动化工具，自动与众核网络处理器单元交互获取众核网络处理器单元的运行状态信息，并能正确捕获众核网络处理器单元运行发生的错误，在众核网络处理器单元发生错误时自动地调用程序部署接口重置众核网络处理器单
J Li o
[0030]2、本系统另一个功能单元是众核网络处理器单元(7)，作为带有大量核心的专用网络处理器，负责对流入该单元的数据包进行深度报文检测并根据检测结果采取不同的报文转发策略，在众核网络处理器单元中，众多处理核心工作在不同的工作组(12)，执行不同的工作逻辑，包括:
[0031]2-1报文处理转发组(8)，负责收取流入系统的数据报文并进行深度数据包检测，根据检测结果采取不同的转发策略将报文发出。包括:
[0032]数据包预处理模块:负责接收流入系统的数据包，并将带有特殊控制格式的UDP报文发送给控制管理组，将分片报文发送给报文重组组，将普通IP报文送往数据包检测分析模块；
[0033]数据包检测分析模块:负责将数据包送交众核网络处理器上的硬件模式匹配单元DFA (13)进行匹配检查，分析模式匹配检查操作操作结果，并将分析结论送交数据包转发模块，其结论包括:
[0034]I)命中过滤:该数据包在模式匹配中发生命中；
[0035]2)同一流命中:该数据包在模式匹配中未发生命中，但在该数据包流入系统之前一段时间内，流入系统的、与该数据包带有同一源IP地址和源端口号的数据包发生过模式匹配命中；
[0036]3)同一端到端命中:该数据包在模式匹配中位发生命中，但在该数据包流入系统之前一段时间内，流入系统的、与该数据包带有同一源IP地址和同一目的IP地址的数据包发生过模式匹配命中；
[0037]4)未命中:该数据包在模式匹配中未发生命中，且在该数据包流入系统之前一段时间内，流入系统的、与该数据包带有同一源IP地址和源端口号的数据包未发生过模式匹配命中，且在该数据包流入系统之前一段时间内，流入系统的、与该数据包带有同一源IP地址和目的IP地址的数据包未发生过模式匹配命中；
[0038]数据包转发模块:负责根据数据包检测分析模块的分析结论，对相应的数据包采取不同的转发策略，包括:
[0039]I)命中过滤:将数据包转发至预先设定的过滤用端口，设定报文流和报文端到端信息表，并设定定时器发送给控制管理组；
[0040]2)同一流命中:将数据包转发至预先设定的过滤用端口 ；
[0041]3)同一端到端命中:将数据包同时转发至预先设定的正常转发端口和预先设定的过滤用端口；
[0042]4)未命中:将数据包转发至预先设定的正常转发端口。
[0043]报文处理转发组中有大量的处理核心，所有处理核心并行工作，当有新的报文到达系统时，空闲的核心将会收取新报文并开始处理，从而使得众多报文在众多核心中并行被处理，从而保证了系统的报文处理速度性能要求。
[0044]2-2控制管理组(11)，由定时器处理模块和远程交互接口模块组成，其中的定时器处理模块负责接收系统中由报文处理转发组设定的多个定时器的到时报告，并根据到时的定时器信息，清除对应的报文流和报文端到端信息表中的记录。
[0045]远程交互接口模块，负责接受特定格式的UDP报文，此类报文的负载部分带有相关控制信息，此类控制信息由一个命令字和若干个参数值组成，根据不同的命令字和参数值，调用控制核心模块完成系统控制操作。
[0046]2-3本地控制组(9)，包括本地接口模块和与远程控制组共用的控制核心模块，本地接口模块通过串口设备接收本地输入命令，调用核心控制模块完成系统控制操作，并通过串口设备输出命令执行结果。
[0047]上述控制管理组和本地控制组都共用的一个控制核心模块，该模块是实际执行完成各类系统参数设置、系统状态反馈等操作的核心模块，并可被其他模块调用。
[0048]2-4报文重组组(10)，接收分片的IP报文，并将属于同一 IP报文的多个分片重组，并将重组后的报文提交给报文处理转发组。
[0049]众核网络处理器的众多核心分别位于上述不同的工作组中，并可在部署单元的配置文件中指派各个核心的工作组，同时，在系统运行时，也可通过部署单元的状态监控与管理接口使各个核心在不同工作组中转移，动态调整各工作组中核心数量，满足不同的网络状况需求。
[0050]上述报文处理转发组和控制管理组，会共用报文流和报文端到端信息表，且报文处理转发组会使用定时器(14)与控制管理组交互。报文流信息表，记录的是源IP和源端口的组合，代表了某一主机发出的某种网络业务；报文端到端信息表，记录的是源IP和目的IP的组合，代表了网络中两台主机的通信。图2所示的是系统利用上述的报文流信息表、报文端到端信息表和定时器，实现的基于流的过滤和基于端到端的监控的功能。在某一个数据包发生敏感信息匹配后，对于一段时间内的后续流量，系统将可拦截过滤所有与敏感信息数据包的同一源主机发出的同一网络业务的流量，同时转发并监控产生敏感信息通信的两台主机的之间的所有网络业务的流量；在设定的时间到时后，控制管理组负责清楚两个信息表中的相关记录，以免影响后续网络流量。
【权利要求】
1.一种基于众核网络处理器并可快速部署的数据包检测监控系统，其中包括: 部署单元，用于配置、编译、部署运行于众核网络处理器单元上的程序并监控众核网络处理器单元运行状态； 众核网络处理器单元，作为带有多个核心的网络处理器，负责对流入该单元的数据包进行深度报文检测并根据检测结果采取不同的报文转发策略； 其中，所述的部署单元包括: 操作系统，支持编译环境以及各类配置、部署和管理工具的运行； 程序编译环境，提供编译器、加载库、第三方工具等，支持编译得到可运行于众核网络处理器上的程序； 程序配置文件，包括参数设定文件和待检测模式表达式集合文件，参数设定文件用于设定程序初始运行的工作状态，待检测模式表达式集合文件含有预先定义的模式集合，众核网络处理器单元将根据这些模式集合判定流入的数据报文的转发策略； 程序部署接口，提供相关工具帮助将可执行的程序加载到众核网络处理器单元的程序加载位置和启动众核网络处理器单元； 状态监控和管理接口，提供相关工具帮助监控众核网络处理器单元的运行状态、获得运行时信息、运行时配置管理众核处理器单元并在众核网络处理器单元出错时重置众核网络处理器单元； 所述的众核网络处理器单元中，多个核心工作在不同的工作组，执行不同的工作逻辑，包括: 控制管理组，负责接收远程的控制报文并根据报文内容做出相应管理动作； 报文处理转发组，负责收取流入系统的数据报文并进行深度数据包检测，根据检测结果采取不同的转发策略将报文发出； 报文重组组，负责收取网络层出现分片的报文，将同一报文的多个分片重组后，再进行报文检测和转发； 本地控制组，通过处理器串口部件接收控制命令，并根据不同命令采取不同控制动作； 硬件模式匹配DFA单元，用于快速地进行敏感信息匹配检测； 定时器单元，用于实现基于流的过滤和基于端到端的监控功能。
2.根据权利要求1所述的一种基于众核网络处理器并可快速部署的数据包检测监控系统，其特征是，所述的部署单元的程序配置文件，以键值对的形式保存有各个参数的设置值，在程序编译时，编译工具根据该文件中的设置值，设定程序的初始化代码，保证程序运行时相关参数初始值即为配置文件所设置。
3.根据权利要求1所述的一种基于众核网络处理器并可快速部署的数据包检测监控系统，其特征是，部署单元的程序部署接口可提供自动化工具，自动将编译完成的程序正确地载入众核网络处理器单元并使众核网络处理器单元启动运行，在该工具执行之后，众核网络处理器即正常启动并开始正常工作。
4.根据权利要求1所述的一种基于众核网络处理器并可快速部署的数据包检测监控系统，其特征是，部署单元的状态监控和管理接口提供自动化工具，自动与众核网络处理器单元交互获取众核网络处理器单元的运行状态信息，并能正确捕获众核网络处理器单元运行发生的错误，在众核网络处理器单元发生错误时自动地调用程序部署接口重置众核网络处理器单元。
5.根据权利要求1所述的一种基于众核网络处理器并可快速部署的数据包检测监控系统，其特征是，众核网络处理器单元的控制管理组和报文处理转发组公用一个报文流记录表和报文端到端记录表，报文流记录表中记录的是发生匹配的报文所带有的源IP地址和源端口号的组合；报文端到端记录表中记录的是发生匹配的报文所带有的源IP地址和目的IP地址的组合。
6.根据权利要求1所述的一种基于众核网络处理器并可快速部署的数据包检测监控系统，其特征是，众核网络处理器单元的包括控制管理组和本地控制组，作为单元的管理组件，其中，控制管理组包括定时器处理模块，负责接收系统中由报文处理转发组设定的多个定时器的到时报告，并根据到时的定时器信息，清除对应的报文流和报文端到端信息表中的记录。控制管理组还包括远程交互接口模块，负责接受特定格式的UDP报文，此类报文的负载部分带有相关控制信息，此类控制信息由一个命令字和若干个参数值组成，根据不同的命令字和参数值，调用控制核心模块完成系统控制操作。 本地控制组的本地接口模块通过串口设备接收本地输入命令，调用核心控制模块完成系统控制操作，并通过串口设备输出命令执行结果。
7.根据权利要求1所述的一种基于众核网络处理器并可快速部署的数据包检测监控系统，其特征是，众核网络处理器单元的报文处理转发组包括: 数据包预处理模块:负责接收`流入系统的数据包，并将带有特殊控制格式的UDP报文发送给控制管理组，将分片报文发送给报文重组组，将普通IP报文送往数据包检测分析模块； 数据包检测分析模块:负责将数据包送交众核网络处理器上的模式匹配硬件单元进行匹配检查，分析模式匹配检查操作操作结果，并将分析结论送交数据包转发模块，其结论包括: (1)命中过滤:该数据包在模式匹配中发生命中； (2)同一流命中:该数据包在模式匹配中未发生命中，但在该数据包流入系统之前一段时间内，流入系统的、与该数据包带有同一源IP地址和源端口号的数据包发生过模式匹配命中； (3)同一端到端命中:该数据包在模式匹配中位发生命中，但在该数据包流入系统之前一段时间内，流入系统的、与该数据包带有同一源IP地址和同一目的IP地址的数据包发生过模式匹配命中； (4)未命中:该数据包在模式匹配中未发生命中，且在该数据包流入系统之前一段时间内，流入系统的、与该数据包带有同一源IP地址和源端口号的数据包未发生过模式匹配命中，且在该数据包流入系统之前一段时间内，流入系统的、与该数据包带有同一源IP地址和目的IP地址的数据包未发生过模式匹配命中； 数据包转发模块:负责根据数据包检测分析模块的分析结论，对相应的数据包采取不同的转发策略，包括: (I)命中过滤:将数据包转发至预先设定的过滤用端口，设定报文流和报文端到端信息表，并设定定时器；(2)同一流命中:将数据包转发至预先设定的过滤用端口；
(3)同一端到端命中:将数据包同时转发至预先设定的正常转发端口和预先设定的过滤用端口 ； (4)未命中:将数据包转发至预先设定的正常转发端口。
8.根据权利要求1所述的一种基于众核网络处理器并可快速部署的数据包检测监控系统，其特征是，众核网络处理器单元的报文重组组能够接收分片的IP报文，并将属于同一 IP报文的多个分片重组，并将重组后的报文提交给报文处理转发组。
9.根据权利要求1所述的一种基于众核网络处理器并可快速部署的数据包检测监控系统，其特征是，众核网络处理器单元的众多核心分别位于不同的工作组中，并可在部署单元的配置文件中指派各个核心的工作组，同时，在系统运行时，也可通过部署单元的状态监控与管理接口使各个核心在不同工作组中转移，动态调整各工作组中核心数量。
【文档编号】H04L12/26GK103618641SQ201310598644
【公开日】2014年3月5日 申请日期:2013年11月25日 优先权日:2013年11月25日
【发明者】周锋, 王方驰, 李小勇 申请人:北京邮电大学