专利名称：高性能网络数据处理平台系统和处理方法
技术领域：
本发明涉及高性能硬件平台及高速数据处理的组合技术，包括系统和处理方法，通过将网络数据进行统一收集及处理，从而实现数据的分流均衡，属于计算机网络应用领域。
背景技术：
在千兆网络技术不断普及后，对网络处理和安全产品性能的要求给传统x86架构的产品提出严峻的挑战。基于ASIC芯片技术的防火墙等安全产品开始出现。ASIC防火墙等安全产品通过专门设计的ASIC芯片逻辑进行硬件加速处理，因其在性能方面具备的突出优势，非常适合应用于模式简单、对吞吐量和时延指标要求较高的电信级大流量的处理。基于ASIC芯片技术的硬件安全产品虽然在性能上具有得天独厚的优势，但这种技术存在研发成本较高，灵活性受限制、无法支持太多的功能，产品更新换代周期长等方面的局限性。
NP(Network processor)可以说是介于x86和ASIC两者之间的技术，NP是专门为网络设备处理网络流量而设计的处理器，其体系结构和指令集对于防火墙常用的包过滤、转发、哈希表处理等算法和操作都进行了专门的优化，可以高效地完成TCP/IP栈的常用操作，并对网络流量进行快速的并发处理。使用NP开发的难度和灵活性都介于ASIC和x86构架之间。今天COTS硬件平台的主流使用还是基于第二代符合cPCI2.16规范PICMG平台。
CN01126714.3海量数据处理方法和系统涉及计算机应用系统中的数据采集及处理技术，具体涉及应用系统软件处理海量数据时根据一定特征高效采集相关数据并根据这些特征进行相关的预处理分析的方法。具体包括以下步骤应用系统从数据发生源采集数据，录入原始采集层的数据表中；根据原始数据的特征对数据进行第一次分类；根据数据的属性规则对已分类的数据进行二次分类；将分类后的数据录入中间数据层的数据表中；应用系统直接从中间数据表中采集数据进行进一步的运算；本发明对数据进行两次处理。
CN200510004126.7数据处理设备、以及与之一起使用的程序和方法，在数据处理设备中，当执行与多个访问请求源的通信时，所述数据处理设备能提高通信的响应性，其中，最多只有一个访问请求源具有写授权，而其它访问请求不具有写授权。管理设备向安全应用模块(SAM)发送要求获得在SAM中写授权的强连接请求。当确定未向其它管理设备分配强连接请求时，在保持与所述管理设备的弱连接的状态下，SAM向管理设备分配强连接，其中，所述弱连接具有读授权。
在网络安全威胁形势不断发生变化，应用和数据安全保障需求不断提升，需要大量对应用报文数据内容进行分析检查的时，会导致单独使用ASIC芯片加速技术或NP的系统性能会急剧下降。因此，单纯依赖ASIC芯片加速技术或NP线速的网络吞吐性能，并不足以打造出安全保障能力要求的线速安全产品硬件平台。
发明内容
本发明的主要目的是为高速网络环境下的多种网络安全设备、服务器集群提供一个统一有效的高速数据处理平台，该平台系统充分利用了各种硬件数据处理单元的优势并使之有效组合，实现了在千兆网络环境下数据处理的高效性。
本发明的内容是这样实现的高性能网络数据处理平台系统和处理方法，利用现有网络处理器、CPCI2.16等技术，充分综合分析各种技术的优点，构建一个实用的高性能网络数据处理平台系统。
通用的高速数据处理平台系统，由下列部分组成网络处理器、符合CPCI2.16系统数据交换支持系统、采用CPCI2.16的机箱作为系统数据交换支持系统，包括冗余电源、系统硬件故障自检单元，采用多块支持CPCI2.16的x86处理板构成数据接入及预处理板卡、数据处理和存储板卡、系统硬件故障自检单元，数据接入板采用高速网络处理器，并集成支持高速查表的三重内容可寻址存储器芯片和支持对内容进行模式检查、匹配和标记的协处理器芯片、CPCI2.16接口控制芯片构成数据处理及存储板卡，以及基于FPGA开发的协调多个芯片协同工作的控制器。构建一个实用的高性能网络数据处理平台系统。
高性能网络数据处理平台系统和处理方法，其特征是将通用的高速数据处理平台系统的接入板连接在企业主干网络上，提供可访问的数据接口，所有需要处理的数据通过接入板汇聚后，经过Hash处理均衡的转发给后面的数据处理和存储板卡，实现数据的线速转发和多个处理单元之间的数据均衡，并根据接入板对数据包所作的标记，继续进行检查处理，并将处理后的数据包发回接入板进行转发。
本发明处理方法，利用能够进行高速网络数据包处理的网络处理器芯片、对内容进行快速匹配的协处理器芯片、一种三重内容可寻址存储器、和一种通用的硬件平台，综合形成的系统，支持线速2、3、4层千兆以太网交换，可提供多个千兆以太网口，能够实现千兆线速的可编程。其QoS机制包括分级控制，优先级管理以及带宽保证，芯片内部基于共享存储器结构，包括MACs，地址查找CAM，入口地址表，带宽分配器，队列机，交换机和缓存等。所述的数据接入及预处理板卡，具有千兆线速接入和转发处理能力，并集成多个千兆光纤和RJ45网络接口。
本发明所述系统数据交换支持系统，包括冗余电源、系统数据交换通道、以及其他辅助支撑单元。
所述的数据处理和存储板卡，包括多个异构的处理单元，它们采用不同的芯片技术和硬件架构，可以用于完成不同的网络数据处理任务，但是，多个处理单元构成一个基于以太网的协作机群，应用系统的数据处理在集群上根据需要进行并行计算，实现负载均衡，在各处理单元间实现高效的通信和高效的处理同步机制，降低各并行处理单元间的数据依赖。
所述的数据接入及预处理板，提供数据接入及预处理(数据分发)的功能，使得接入板和处理单元之间合理分工，发挥两种硬件的各自处理性能的长处，最大限度地提高系统计算效能，为千兆线速的处理要求提供足够的性能保障。该功能的实现步骤如下步骤601接入板接入高速网络；步骤602所有需要处理的数据包经过接入板进行交换；步骤603接入板对接收到的报文根据接入板的内置线形策略进行简单规则检查和初步的筛选检查，丢弃不满足接入板内置策略的数据包，包括各种异常结构、不合法和不支持的数据包，确认数据包的下一步操作；步骤604经过603的处理后，剩余的数据包转交给接入板的规则表处理。接入板上针对数据的规则包括4种处理方式，即直接丢弃、直接转发，不做处理和提交给X86处理板的相应模块处理。除了需要提交给X86处理板进行处理的数据包以外，其他所有数据包根据根据处理规则，选择直接丢弃、不处理或进行线速转发；步骤605对需要进一步处理的数据包，接入板对其根据预置的Hash算法进行HASH计算，负载均衡的转发给多块数据处理和存储板卡进行后续工作；步骤607数据处理和存储板卡进行进一步的规则检查，并完成审计等动作；步骤608数据处理和存储板卡工作完成后，将数据包发回接入板进行转发。
所述的高速数据处理平台系统，具有较高的HA功能。首先，系统提供实时硬件故障自检模块，并在故障发生是发出报警，便于故障及时排除；其次，采用电源冗余设计和接入板卡的冗余设计。各个同类的处理板间组成一个具有对等计算能力的机群，互为冗余备份，单块板卡的故障不会影响到系统的正常运行；此外，还可利用备份的接入板卡与备份线路连接，取代传统的双机热备份方式。
采用CPCI2.16的机箱作为系统数据交换支持系统，它包括冗余电源、系统硬件故障自检单元，提供带宽最高可达32Gbitps的数据交换支持；数据接入板采用高速网络处理器，并集成支持高速查表的三重内容可寻址存储器芯片和支持对内容进行模式检查、匹配和标记的协处理器芯片、CPCI2.16接口控制芯片，以及基于FPGA开发的协调多个芯片协同工作的控制器。
将该接入板连接在企业主干网络上，对外提供可访问的数据接口，所有需要处理的数据通过接入板汇聚后，经过Hash处理均衡的转发给后面的数据处理和存储板卡，实现数据的线速转发和多个处理单元之间的数据均衡。
数据处理及存储板卡采用多块支持CPCI2.16的x86处理板，根据接入板对数据包所作的标记，继续进行检查处理，并将处理后的数据包发回接入板进行转发。
图1为高速数据处理平台系统的内部连接示意图。
图2为高速数据处理平台系统硬件交互示意图。
图3为高速数据处理平台系统进行数据处理的流程图。
图4为高速数据处理平台系统硬件示意图具体实施方式
以下结合附图和具体实施例对本发明做进一步说明如图1，整个系统由CPCI2.16机箱(包含电源及备份电源、数据交换支持系统、系统故障自检单元)、接入及前端处理单元(及其备份单元)、X86处理存储单元组成。
高速数据处理平台应用于实际网络中时，提供给用户的网络接口可以为1个(服务器集群)或多个(网络安全产品)，通过该接口用户可以对高速数据处理平台进行配置和管理，同时该接口也是处理平台的数据包接入点，直接与数据处理平台的接入数据板相连，所有需要处理的数据都通过该接口提交给数据处理平台。
接入数据板可以是一块也可以是多块，通过基于CPCI2.16的系统内部数据交换支持系统进行状态查询和切换，同时也通过CPCI2.16与后接X86数据处理存储板相连接，进行数据的转发和处理。
如图3，本平台系统的具体数据处理流程如下1、网络数据包传送至数据处理平台的外接接口；2、接入数据处理板对数据进行第一层次的分析，判断数据的合法性，判断内容主要包括数据包是否是正常的数据包、是否是满足接入数据处理板的过滤规则；3、如果数据包不满足接入数据板的合法性过滤规则，则该数据包被丢弃；4、如果数据包满足接入数据板的合法性过滤规则，则依据该数据包的源地址、源端口、目的地址、目的端口、源MAC地址、目的MAC地址六元组进行Hash，将数据包转发到与Hash值匹配的后接数据处理存储板上进行处理；5、后接数据处理存储板接收到从接入数据板上转发过来的数据后，进行相应的数据处理，并记录相应的日志；6、如果需要将处理结果返回，则后接数据处理存储板将返回结果发回接入数据板进行转发。
权利要求
1.高性能网络数据处理平台系统，由下列部分组成网络处理器、符合CPCI2.16系统数据交换支持系统、采用CPCI2.16的机箱作为系统数据交换支持系统，包括冗余电源、系统硬件故障自检单元，采用多块支持CPCI2.16的x86处理板构成数据接入及预处理板卡、数据处理和存储板卡、系统硬件故障自检单元，其特征是数据接入板采用高速网络处理器，并集成支持高速查表的三重内容可寻址存储器芯片和支持对内容进行模式检查、匹配和标记的协处理器芯片、CPCI2.16接口控制芯片构成数据处理及存储板卡，以及基于FPGA开发的协调多个芯片协同工作的控制器；构建一个实用的高性能网络数据处理平台系统。
2.高性能网络数据处理平台处理方法，其特征是将通用的高速数据处理平台系统的接入板连接在企业主干网络上，提供可访问的数据接口，所有需要处理的数据通过接入板汇聚后，经过Hash处理均衡的转发给后面的数据处理和存储板卡，实现数据的线速转发和多个处理单元之间的数据均衡，并根据接入板对数据包所作的标记，继续进行检查处理，并将处理后的数据包发回接入板进行转发。
3.根据权利要求2所述的高速数据处理平台处理方法，利用能够进行高速网络数据包处理的网络处理器芯片、对内容进行快速匹配的协处理器芯片、一种三重内容可寻址存储器、和一种通用的硬件平台，综合形成的系统，支持线速2、3、4层千兆以太网交换，可提供多个千兆以太网口，能够实现千兆线速的可编程。其QoS机制包括分级控制，优先级管理以及带宽保证，芯片内部基于共享存储器结构，包括MACs，地址查找CAM，入口地址表，带宽分配器，队列机，交换机和缓存等。
4.根据权利要求1所述的高速数据处理平台处理系统，其特征是数据交换支持系统设有冗余电源、系统数据交换通道、以及辅助支撑单元。
5.根据权利要求1所述的高速数据处理平台处理系统，其特征是设有具有千兆线速接入和转发处理能力，并集成多个千兆光纤和RJ45网络接口数据接入及预处理板卡。
6.根据权利要求1所述的高速数据处理平台处理系统，其特征是数据处理和存储板卡，包括多个异构的处理单元，它们采用不同的芯片技术和硬件架构，用于完成不同的网络数据处理任务；多个处理单元构成一个基于以太网的协作机群，应用系统的数据处理在集群上根据需要进行并行计算，实现负载均衡，在各处理单元间实现高效的通信和高效的处理同步机制，降低各并行处理单元间的数据依赖。
7.根据权利要求2或3所述的高速数据处理平台处理方法，其特征是所述数据接入及预处理板，提供数据接入及预处理(数据分发)的功能，使接入板和处理单元之间合理分工，发挥两种硬件的各自处理性能的长处，为千兆线速的处理要求提供足够的性能保障，该功能的实现步骤如下步骤601接入板接入高速网络；步骤602所有需要处理的数据包经过接入板进行交换；步骤603接入板对接收到的报文根据接入板的内置线形策略进行简单规则检查和初步的筛选检查，丢弃不满足接入板内置策略的数据包，包括各种异常结构、不合法和不支持的数据包，确认数据包的下一步操作；步骤604经过603的处理后，剩余的数据包转交给接入板的规则表处理。接入板上针对数据的规则包括4种处理方式，即直接丢弃、直接转发，不做处理和提交给X86处理板的相应模块处理。除了需要提交给X86处理板进行处理的数据包以外，其他所有数据包根据根据处理规则，选择直接丢弃、不处理或进行线速转发；步骤605对需要进一步处理的数据包，接入板对其根据预置的Hash算法进行HASH计算，负载均衡的转发给多块数据处理和存储板卡进行后续工作；步骤607数据处理和存储板卡进行进一步的规则检查，并完成审计等动作；步骤608数据处理和存储板卡工作完成后，将数据包发回接入板进行转发。
8.根据权利要求1或4所述的高速数据处理平台处理系统，其特征是所述的高速数据处理平台系统，提供实时硬件故障自检模块，并在故障发生是发出报警，便于故障及时排除；并采用电源冗余设计和接入板卡的冗余设计。
9.根据权利要求1或4所述的高速数据处理平台处理系统，其特征是各个同类的处理板间组成一个具有对等计算能力的机群，互为冗余备份，利用备份的接入板卡与备份线路连接，取代传统的双机热备份方式。
全文摘要
高性能网络数据处理平台系统，包括网络处理器、符合CPCI2.16系统数据交换支持系统、采用CPCI 2.16的机箱作为系统数据交换支持系统，包括冗余电源、系统硬件故障自检单元，采用多块支持CPCI 2.16的x86处理板构成数据接入及预处理板卡、数据处理和存储板卡、系统硬件故障自检单元，数据接入板采用高速网络处理器，并集成支持高速查表的三重内容可寻址存储器芯片和支持对内容进行模式检查、匹配和标记的协处理器芯片、CPCI2.16接口控制芯片构成数据处理及存储板卡，构建一个实用高性能网络数据处理平台系统。各处理单元间实现高效通信和高效的处理同步机制，降低各并行处理单元间数据依赖。
文档编号H04L12/28GK1838624SQ200610039900
公开日2006年9月27日 申请日期2006年4月26日 优先权日2006年4月26日
发明者蔡圣闻, 谢俊元, 谢立 申请人:南京大学, 江苏南大苏富特软件股份有限公司