专利名称：一种复合网络监测数据包的方法和用途的制作方法
一种复合网络监测数据包的方法和用途本发明涉及网络通信的监测技术领域，具体的说是一种监测数据包的数据结构或帧格式(Data Frame)定义和使用的方法即一种复合网络监测数据包的方法和用 途。如今，IP网络被广泛普及应用，网络中有各种影响网络正常使用的网络风暴，病毒或网络攻击以及网络欺诈等问题，常常会引起网络瘫痪，此时，网络维护及管理人员就需要通过对网络上的数据包进行抓取，基于抓取到的数据包进行分析，来对网上各种网络用户行为进行分析。通常会对抓取到的数据包进行过滤，丢弃不关心的数据包，将需要分析的数据包传输出来到其它计算机或专用设备进行处理，或通过人机界面呈现给相关人员。这些传输或呈现出来的数据包，被称为网络监测数据包。国内发明专利200810019283. 9公开了一种多语言的网络数据包高效过滤方法， 该发明通过事先设定的规则链表对数据包进行定义和过滤，筛选出需要的数据包进行传输，但是所得的数据包依然需要逐个发送，对于大批量的数据包来说无法一次性传输，使得传输效率变低。本发明的目的就是要解决现有技术的不足，提供一种“复合网络监测数据包”的方法及用途。为实现上述目的设计一种复合网络监测数据包的方法，包括服务器、交换器或路由器，数据采集设备，其特征在于该方法包括原始数据包获得和处理步骤A、原始数据包的获得步骤a、在服务器和服务器连接的交换机或路由器间串联一个分路器TAP，分路器TAP 的分路连接数据采集设备，所述的数据采集设备与后续处理机连接或两者为同一机器；b、经过分路器TAP实时复制经过交换机或路由器发送或接收的各种数据包并发送到数据采集设备，数据采集设备采集到的数据包为原始数据包；B、原始数据包处理a、通过数据采集设备采集过滤出来所有需要的原始数据包，并且通过数据采集设备的操作系统、驱动程序或应用程序对原始数据包进行保存；b、在数据采集设备输出端口存在最大数据包输出长度，后续处理机输入端口存在最大数据包输入长度，在这两者中取出最小的长度作为后续组包的极限长度M ；C、在数据采集设备上对采集到的原始数据包进行最大限度的组合和合并，每个数据包依次合并到前一个数据包的末尾，并形成一个复合网络监测数据包，该复合网络监测数据包的长度等于或小于所组合和合并的原始数据包，并且小于极限长度M，将剩下的原始数据包继续按照上述方法合并直到所有的数据包合并完成；d、将完成的复合网络监测数据包发送到后续处理机上；
e、后续处理机对接收到的复合网络监测数据包进行数据结构或帧格式Data Frame定义，并从这些带时间戳的网络检测数据包中提取全部或部分数据信息。所述的数据结构或帧格式定义其具体步骤如下数据采集设备可以采用任何网络层协议、任何传输层协议、任何会话层协议、任何表述层协议、任何应用层协议、任何内存复制或共享、任何存储器的存储和读取或共享方式发送到后续处理机的应用软件中进行后续处理。该方法的原始数据包的获得步骤还可以是以下步骤在交换机上设置镜像端口连接数据采集设备，所述的数据采集设备与后续处理机连接或两者为同一机器；经过分路器 TAP实时复制经过交换机或路由器发送或接收的各种数据包并发送到数据采集设备，数据采集设备采集到的数据包为原始数据包。所述的服务器可用网络终端设备代替。所述的数据采集设备与后续处理机连接或两者为同一机器。所述的操作系统是LINUX、WINDOWS或其他如实时操作系统的操作系统。所述方法的具体实现可以是通过C/C++语言，Java语言、OpenCL语言、FORTRAN语言、PERL语言或其他任何可实现的计算机语言的实现。所述的数据采集设备的硬件平台可以是基于CPU为核心构件的计算机、或FPGA为核心构件的硬件系统、或DSP为核心构件的硬件系统。所述的数据采集设备是C98IPmon。该方法应用于被监测的网络可以是计算机局域网或以太网、WIFI无线网络或 WLAN或包括自组织WLAN MESH网络、第二代或2G GSM或2G CMDA移动通信网络，第三代或 3G移动通信网络、第四代或LTE移动通信网络、企业内部网络、EPON无源光网络中、GPON无源光网络、智能交换光网络或ASON网络、ZigBee无线物联网、RFID无线物联网、PCIe协议的计算机联网、基于网络存储系统协议的计算机存储联网、基于云计算技术联网的网络、智能电网通信网络及调度网络、基于卫星通信的网络、基于微波通信的网络、泛在网络。本发明同现有技术相比，显著地减少网络监测数据采集设备发送监测数据包的次数(包括传输到本机的应用程序或传输到其它后续处理监测数据包的机器)；显著地减少监测数据包在网络中的传输次数以及由此给网络带来的负载压力；显著地减少网络监测数据采集设备和其它后续处理的负荷量和设备的能耗。
图1是本发明的设备连接示意图；图2是本发明通过交换机镜像端口采集数据包的设备连接示意图； 图3是本发明通过网络终端设备采集数据包的设备连接示意图4是本发明的流程示意图；图中1、服务器2、TAP分路器3、IP交换器或路由器4、数据采集器5、后续处理机。结合附图对本发明做进一步说明，这种装置的制造技术对本专业的人来说是非常清楚的。 1)网络数据包采集设备通过与被监测网络的一个或多个物理接口，实时地抓取被监测网络上的数据包(个数为W)。2)在网络数据包采集设备的操作系统，驱动程序或应用程序(以下简称程序)中， 通过事先设置的过滤规则，对这些数据包进行过滤；确定需要分析的数据包(个数为X的数据包，其数据包类型为数据包类型A)；3)将这些数据包类型A的X个数数据包存放在这些程序中对应的缓存空间里。4)依据这个网络数据包采集设备输出接口的最大容许输出的数据帧或数据包的长度L，定义一种合并H个数据包类型A的数据包，到一个组成复合网络监测数据包的方案 (简称数据包BP，其数据包类型B，要求这H个被组合的数据包的长度LH总合小于长度L)。5)网络数据包采集设备一次性地将这个复合网络监测数据包BP传输到本机的应用程序或远端的后续处理机。优化方案在计算机局域网(LAN)或以太网络中应用实现的技术方案实施案例。如果在一项网络协议分析过程中，我们只需要分析TCP协议的数据包。上述的技术方案可以按照下列实施案例实现步骤一数据采集以太网的网络数据包采集设备可以通过与以太网交换机提供的镜像端口的连接来抓取流经这个以太网交换机的网络数据包。以太网网络数据包采集设备也可以通过以太网电分路器或光分路器的连接方式来抓取流经这个以太网交换机的网络数据包。这些以太网电分路器或光分路器是跨接在以太网交换机和其它网络设备的电缆线或光缆线上。通过这些分路器与以太网网络数据包采集设备的连接，可以将流经这些电路或光路的以太网数据包传输到采集器。例如抓取到如下的五个以太网网络数据包(W = 5)抓取到的数据包1有54个字节长度，其内容表达为16进制如下01 00 01 00 00 00 7a 62 20 00 01 00 08 00 45 00 00 28 01 0000 00 6d 06 e2 a4 de ba 32 4f 3a 29 Ie f9 17 70 05 99 7f eb00 00 00 00 00 00 50 02 40 00 68 c2 00 00它是一个TCP数据包。抓取到的数据包2有54个字节长度，其内容表达为16进制如下01 00 01 00 00 00 7a 62 20 00 01 00 08 00 45 00 00 28 01 0000 00 6f 06 3a d6 3d 93 79 45 3a 29 Ie f9 17 70 05 99 7f 5500 00 00 00 00 00 50 02 40 00 c3 89 00 00它是一个TCP数据包。抓取到的数据包3有72个字节长度，其内容表达为16进制如下7a 62 20 00 01 00 01 00 01 00 00 00 08 00 45 00 00 3a 80 8000 00 80 11 ad 55 3a 29 Ie f9 b4 a8 ff 12 c5 82 00 35 00 26d5 38 3a 98 01 00 00 01 00 00 00 00 00 00 03 73 75 70 04 6c69 76 65 03 63 6f 6d 00 00 01 00 01
它是一个DNS协议的数据包。抓取到的数据包4有132个字节长度，其内容表达为16进制如下01 00 01 00 00 00 7a 62 20 00 01 00 08 00 45 00 00 76 85 8740 00 fa 11 ee 11 b4 a8 ff 12 3a 29 Ie f9 00 35 c5 82 00 62Ob 12 3a 98 81 80 00 01 00 02 00 00 00 00 03 73 75 70 04 6c69 76 65 03 63 6f 6d 00 00 01 00 01 cO Oc 00 05 00 01 00 00Ob be 00 20 03 73 75 70 04 6c 69 76 65 03 63 6f 6d 06 67 6c62 64 6e 73 09 6d 69 63 72 6f 73 6f 66 74 cO 15 cO 2a 00 0100 01 00 00 00 fc 00 04 41 36 a7 lb它是一个DNS协议的数据包。抓取到的数据包5有62个字节长度，其内容表达为16进制如下7a 62 20 00 01 00 01 00 01 00 00 00 08 00 45 00 00 30 80 8140 00 80 06 38 d3 3a 29 Ie f9 41 36 a7 lb 07 e6 00 50 05 Od6d 45 00 00 00 00 70 02 40 00 87 37 00 00 02 04 05 aO 01 0104 02它是一个TCP协议数据包。步骤二 数据过滤得到数据包类型A的数据包由于我们只需要分析TCP协议的数据包，网络数据包采集设备采集到上述以太网网络数据包后，在操作系统(例如LINUX或WINDOWS操作系统)的驱动程序(也可以在内核程序或应用程序)中，就可以上述的数据包3和4过滤掉，就只剩下我们需要的三个数据包(X = 3)TCP数据包1 抓取到的数据包1有54个字节长度，其内容表达为16进制如下01 00 01 00 00 00 7a 62 20 00 01 00 08 00 45 00 00 28 01 0000 00 6d 06 e2 a4 de ba 32 4f 3a 29 Ie f9 17 70 05 99 7f eb00 00 00 00 00 00 50 02 40 00 68 c2 00 00TCP数据包2 抓取到的数据包2有54个字节长度，其内容表达为16进制如下01 00 01 00 00 00 7a 62 20 00 01 00 08 00 45 00 00 28 01 0000 00 6f 06 3a d6 3d 93 79 45 3a 29 Ie f9 17 70 05 99 7f 5500 00 00 00 00 00 50 02 40 00 c3 89 00 00
TCP数据包3 抓取到的数据包5有62个字节长度，其内容表达为16进制如下7a 62 20 00 01 00 01 00 01 00 00 00 08 00 45 00 00 30 80 8140 00 80 06 38 d3 3a 29 Ie f9 41 36 a7 lb 07 e6 00 50 05 Od6d 45 00 00 00 00 70 02 40 00 87 37 00 00 02 04 05 aO 01 010402步骤三数据包类型A的数据包的存放上述分析过滤主要是在网络数据包采集设备的操作系统，驱动程序或应用程序中实现；仅保存后续分析处理需要的这3个数据包，存放在对应的这些程序中。步骤四组成复合网络监测数据包依据采集设备输出到本机应用程序或与远端后续处理机相连接的端口容许的最大数据包长度L (L = MTU。如果一个以太网端口只支持常规的帧格式，其最大负载数据包的长度大约就只有1518字节，即MTU = 1500 ；如果一个以太网端口支持巨帧(JumboFrame)格式即超长帧，其最大负载数据包的长度大约可以有9500字节，即MTU = 9500 ；如果一个以太网端口支持巨帧格式即超长帧，其最大负载数据包的长度大约可以有18000字节，即MTU =18000)。依据采集设备的硬件能力L可以是1500,9500或18000。经过过滤确定需要分析的数据包》= 3个)。后续处理服务器的千兆网卡一般都支持这三种三种MTU。并将数据报1，2和5组合成一个如下的长度为170字节的复合网络监测数据包 BP (数据包类型B)01 00 01 00 00 00 7a 62 20 00 01 00 08 00 45 00 00 28 01 00
00 00 6d 06 e2 a4 de ba 32 4f 3a 29 Ie f9 17 70 05 99 7f eb00 00 00 00 00 00 50 02 40 00 68 c2 00 00 01 00 01 00 00 007a 62 20 00 01 00 08 00 45 00 00 28 01 00 00 00 6f 06 3a d63d 93 79 45 3a 29 Ie f9 17 70 05 99 7f 55 00 00 00 00 00 0050 02 40 00 c3 89 00 00 7a 62 20 00 01 00 01 00 01 00 00 0008 00 45 00 00 30 80 81 40 00 80 06 38 d3 3a 29 Ie f9 41 36a7 lb 07 e6 00 50 05 Od 6d 45 00 00 00 00 70 02 40 00 87 3700 00 02 04 05 aO 01 01 04 02以上只是采用三个数据包(数据包类型Α)作为例子，对方法加以说明。在实际使用中，有H个这种类型的数据包可以组进这个BP数据包，只要这H个数据包的长度总合小于L。在这个例子中，复合网络监测数据包的具体内容用XX掩藏着了，其长度小于或等于这 H个数据包的长度总合。步骤五将BP数据包传出网络数据包采集设备一次性地并且实时地将这个复合网络监测数据包BP传输到本机的应用程序或远端的后续处理机。技术效果如果将62字节长度的数据包组装进一个1518字节的复合网络监测数据包，可以包含有24个。采用这种方法，就只需要传送一个数据包，而采用传统方法需要传送24个数据包。如果将62字节长度的数据包组装进一个9000字节的复合网络监测数据包，可以包含有145个。采用这种方法，就只需要传送一个数据包，而采用传统方法需要传送145个数据包。如果将62字节长度的数据包组装进一个18000字节的复合网络监测数据包，可以包含有145个。采用这种方法，就只需要传送一个数据包，而采用传统方法需要传送145 个数据包。这种新的技术方法将大大减少网络数据包采集设备的负载；同时，也减少传输网络和后续处理设备的负载。
权利要求
1.一种复合网络监测数据包的方法，包括服务器、交换器或路由器，数据采集设备，其特征在于该方法包括原始数据包获得和处理步骤A、原始数据包的获得步骤a、在服务器和服务器连接的交换机或路由器间串联一个分路器TAP，分路器TAP的分路连接数据采集设备，所述的数据采集设备与后续处理机连接或两者为同一机器；b、经过分路器TAP实时复制经过交换机或路由器发送或接收的各种数据包并发送到数据采集设备，数据采集设备采集到的数据包为原始数据包；B、原始数据包处理a、通过数据采集设备采集过滤出来所有需要的原始数据包，并且通过数据采集设备的操作系统、驱动程序或应用程序对原始数据包进行保存；b、在数据采集设备输出端口存在最大数据包输出长度，后续处理机输入端口存在最大数据包输入长度，在这两者中取出最小的长度作为后续组包的极限长度M ；C、在数据采集设备上对采集到的原始数据包进行最大限度的组合和合并，每个数据包依次合并到前一个数据包的末尾，并形成一个复合网络监测数据包，该复合网络监测数据包的长度等于或小于所组合和合并的原始数据包，并且小于极限长度M，将剩下的原始数据包继续按照上述方法合并直到所有的数据包合并完成；d、将完成的复合网络监测数据包发送到后续处理机上；e、后续处理机对接收到的复合网络监测数据包进行数据结构或帧格式DataFrame定义，并从这些复合网络检测数据包中提取全部或部分数据信息。
2.如权利要求1所述的一种复合网络监测数据包的方法，其特征在于所述的数据结构或帧格式定义其具体步骤如下数据采集设备可以采用任何网络层协议、任何传输层协议、 任何会话层协议、任何表述层协议、任何应用层协议、任何内存复制或共享、任何存储器的存储和读取或共享方式发送到后续处理机的应用软件中进行后续处理。
3.如权利要求1所述的一种复合网络监测数据包的方法，其特征在于该方法的原始数据包的获得步骤还可以是以下步骤在交换机上设置镜像端口连接数据采集设备，所述的数据采集设备与后续处理机连接或两者为同一机器；经过分路器TAP实时复制经过交换机或路由器发送或接收的各种数据包并发送到数据采集设备，数据采集设备采集到的数据包为原始数据包。
4.如权利要求1所述的一种复合网络监测数据包的方法，其特征在于所述的服务器可用网络终端设备代替。
5.如权利要求1所述的一种复合网络监测数据包的方法，其特征在于所述的数据采集设备与后续处理机连接或两者为同一机器。
6.如权利要求1所述的一种复合网络监测数据包的方法，其特征在于所述的操作系统是LINUX、WINDOWS或其他如实时操作系统的操作系统。
7.如权利要求1所述的一种复合网络监测数据包的方法，其特征在于所述方法的具体实现可以是通过C/C++语言，Java语言、OpenCL语言、FORTRAN语言、PERL语言或其他任何可实现的计算机语言的实现。
8.如权利要求1所述的一种复合网络监测数据包的方法，其特征在于所述的数据采集设备的硬件平台可以是基于CPU为核心构件的计算机、或FPGA为核心构件的硬件系统、或DSP为核心构件的硬件系统。
9.如权利要求1所述的一种复合网络监测数据包的方法，其特征在于所述的数据采集设备是C98IPmon。
10.权利要求1所述的一种复合网络监测数据包的方法，其特征在于该方法应用于被监测的网络可以是计算机局域网或以太网、WIFI无线网络或WLAN或包括自组织WLAN MESH 网络、第二代或2G GSM或2G CMDA移动通信网络，第三代或3G移动通信网络、第四代或LTE 移动通信网络、企业内部网络、EPON无源光网络中、GPON无源光网络、智能交换光网络或 ASON网络、ZigBee无线物联网、RFID无线物联网、PCIe协议的计算机联网、基于网络存储系统协议的计算机存储联网、基于云计算技术联网的网络、智能电网通信网络及调度网络、 基于卫星通信的网络、基于微波通信的网络、泛在网络。
全文摘要
本发明涉及网络监测数据包的帧格式定义和使用的技术领域，具体的说是一种复合网络监测数据包的方法和用途，在服务器和服务器连接的IP交换机或路由器间串联一个TAP分路器，TAP分路器的分路连接数据采集设备，所述的数据采集设备与后续处理机连接；经过TAP分路器实时复制由服务器发送的各种数据包并发送到数据采集设备，数据采集设备采集到的数据包为原始数据包；数据采集设备对原始数据包进行帧格式的定义；通过操作系统对原始数据包进行保存；在数据采集装置上对采集到的原始数据包进行的组合和合并，形成复合网络监测数据包；发送到后续处理机上进行后续处理，本发明显著地减少网络监测数据采集设备和其它后续处理的负荷量和设备的能耗。
文档编号H04L12/56GK102255770SQ20111015676
公开日2011年11月23日 申请日期2011年6月13日 优先权日2011年6月13日
发明者孙世敏 申请人:中亿企网实业发展(上海)有限公司