一种网络行为分析系统的制作方法

专利名称：：一种网络行为分析系统的制作方法
技术领域：
：本发明属于网络管理、网络性能分析与网络安全
技术领域：
，特别是涉及一种网络行为分析系统。
背景技术：
：现有关于网络管理、网络性能分析与网络安全等技术均存在一定的局限。网络管理系统主要是利用SNMP、RMON、Netflow、Sflow等协议，从路由器、交换机上采集通过每个接口的流量情况，从而给用户提供有关网络中各设备和链路的流量状况，但不能够分析网络的行为并找到性能下降的原因。网络性能测量与分析系统，主要是测量网络路径的连通性、时延、时延变化、瓶颈带宽、丢失率等，为网络性能的评估和应用系统的路径选择提供依据，但不能够分析网络的行为并找到故障点或瓶颈链路。网络安全系统主要是通过分组的深度解析，找到网络中存在的入侵行为，并发出报警信息，但不能够发现网络性能的下降或找到攻击流量的来源。相比之下，网络行为分析系统，通过探头采集网络中多条链路上的分组，或者通过SNMP、RMON、Netflow、Sflow等协议从网络设备采集流量数据，实现对网络中的应用、协议、连接、流量、内容、性能的多层次的全方位的综合分析，使得更容易定位故障点、瓶颈链路、找到性能下降的原因、发现攻击流的来源。这种系统的突出优点是提供人机交互的方式，使得网络管理人员可以利用网络行为分析的结果，实现容量规划、故障排除、问题预防、服务水平管理、应用层分析、基于应用识别的应用监控、基于数据源的网络监控、发现未知的应用或者攻击等。
发明内容本发明的目的在于克服现有技术的不足，提供一种网络行为分析系统。为了实现本发明目的，采用的技术方案如下一种网络行为分析系统，包括数据采集系统、通信系统和数据分析系统，所述数据采集系统从网络上采集信息，再对所采集的信息进行预处理，所述通信系统分别与数据采集系统和数据分析系统连接，把经过数据采集系统预处理后的数据传输到数据分析系统，所述数据分析系统对通信系统送来的数据进行网络行为分析和网络行为预测。上述技术方案中，所述的数据采集系统包含本地采集模块、远程采集模块、应用识别模块、响应时间测量模块、路径性能测量模块、分组捕获模块、数据预处理模块；所述本地采集模块、和/或远程采集模块从网络上采集信息，并选择通过应用识别模块、响应时间测量模块、路径性能测量模块、分组捕获模块的一个或多个进行处理，然后再通过数据预处理模块进行预处理，获取各项统计结果。所述本地采集模块采用如下三种方式接入网络(1)在两个网络设备之间，配置一台包括两块网卡的数据采集设备，数据采集设备的两块网卡分别通过网线与两个网络设备连接，使得流经这两个网络设备之间链路的所有分组都经过该数据采集设备；(2)釆用探测头把链路上的信号分接到数据采集设备的一块网卡，使得经过该链路的所有分组都分接到该数据采集设备；(3)采用网线把数据采集设备的一块网卡连接到网络设备的镜像口或者监控口，使得通过该网络设备的分组复制到数据采集设备；所述的远程采集模块每1分钟都通过SNMP、或RMON、或Netflow、或Sflow协议，从网络设备上采集一次数据。所述的应用识别模块对采集的信息分组进行解析，提取其应用层数据，并对应用层数据进行应用识别，把识别结果用一个整数值mark唯一标记；所述的响应时间测量模块测量请求包与响应包之间的时间差；所述的路径性能测量模块测量网络路径的性能；所述的分组捕获模块根据预设的条件对数据分组进行匹配，当匹配条件满足时，把对应连接的五元组信息、分组及其到达时间记录下来，所预设的条件包括关键词、和/或URL、和/或IP地址、和/或端口号；所述的数据预处理模块对采集到的信息分组进行预处理，获取各项统计结果。所述数据预处理模块包含分段处理子模块、内网IP处理子模块、外网IP处理子模块、端口处理子模块、三元组信息映射子模块、五元组信息处理子模块、数据统计子模块、保存数据子模块。所述的数据分析系统包含链路分析模块、主机分析模块、IP分组分析模块、连接分析模块、应用分析模块、协议字段分析模块、总体分析模块、历史分析和预测分析模块。本发明是一种内部网络管理、性能分析、网络安全检测系统，可以用于容量规划、故障排除、问题预防、服务水平管理、应用层分析、基于应用识别的应用监控、基于数据源的网络监控、发现未知的应用、定位网络攻击等。图l为本发明的系统总体结构图2为本发明的数据采集系统图3为本发明的数据分析系统图4为本发明的数据显示系统图5为本发明的数据通信系统图6为本发明的数据记录方式图7为本发明的内网地址段搜索前缀树IA和表D具体实施例方式下面结合附图对本发明做进一歩的说明。本发明的具体实施例如下-本发明的系统总体结构如附图l所示。一到多个数据采集系统、一个通信系统、一个数据分析系统和一个显示系统；数据采集系统负责从网络中各处的链路、路由器、交换机采集网络中的应用、协议、连接、流量、内容、性能等信息，并对所采集的信息进行预处理；通信系统负责把各个数据采集系统预处理后的数据传输到数据分析系统；数据分析系统负责对收集到的数据，进行即时的、历史的、选择性的网络行为分析和未来的网络行为预测。本发明的数据采集系统如附图2所示，它包含本地采集模块、远程采集模块、应用识别模块、响应时间测量模块、路径性能测量模块、分组捕获模块、数据预处理模块。每个子模块具体介绍如下1、本地采集模块，包括三种应用场景第一种应用场景是，在两个网络设备(即路由器或者交换机)之间，配置一台数据采集系统，数据采集系统的二块网卡分别通过网线与两个网络设备连接，使得流经这两个网络设备之间链路的所有分组都经过该数据采集设备；第二个应用场景是，用探测头把链路上的信号分接到数据采集设备的一块网卡，使得经过该链路的所有分组都可以分接到数据采集设备；第三种应用场景是，用网线把数据采集设备的一块网卡连接到网络设备的镜像口或者监控口，使得通过该网络设备的分组可以复制到数据采集设备。在第一种应用场景下，数据采集设备采集输入的所有分组，并把输入的所有分组不加改变地从另一个网卡转发出去；在第二、三种应用场景下，数据采集设,ii采集输入的分组，采集之后丢弃收到的分组。2、远程采集模块每1分钟，通过SNMP、RMON、Netflow、Sflow等协议，从路由器、交换机上采集一次流量数据。3、应用识别模块对采集的分组进行解析，提取其应用层数据，并对应用层数据进行应用识别；把识别结果用一个整数值mark标记，不同的mark值代表不同的应用。4、响应时间测量模块采取主动和被动测量的方式测量请求包与响应包之间的时间差。主动测量方式是仿真正常应用过程，向服务器发送请求分组，在收到来自服务器的响应分组时，测量请求包与响应包之间的时间差；被动测量方式，是监测向服务器方向传输的每一个包含应用层数据的分组的结尾时间Tcs和来自服务器的每一个包含应用层数据的分组的开始时间Tsc。即当收到C-S方向的分组时，如果其应用层数据长度大于0，则令Tcs等于其到达时间，并令flag二l;如果C-S方向接连来了多个包含应用层数据的分组，则前面分组的到达时间被后面的覆盖掉，Tcs记录的总是最新到达的包含应用层数据的分组的结尾时间；当开始接收一个S-C方向的分组时，令Tsc等于当前时间；如果其应用层数据长度等于O，则不做处理；如果其应用层数据长度大于O,则进行如下操作-如果flagi，则不计算应用层响应时间；-如果flag=l，则计算得到应用层服务响应时间art=Tsc_Tcs，并令flag=0;5、路径性能测量模块采用主动和被动测量方式测量路径的性能。第一种主动测量方式是在待测路径的一端发送探测分组序列，在待测链路的另一端测量相邻探测分组之间的时间间隔以及探测分组的丢失率，然后用测量得到的数据，统计计算得到路径的时延分布、可用带宽、利用率、分组丢失率等性能参数；第二种主动测量方式是在路径的一端发送TTL=n的探测分组，使得该探测分组在第n个路由器被丢弃并产牛一个ICMP包；通过测量探测包与返回的ICMP包之间的时间差，可以测量到第n个路由器的来回时延；通过测量ICMP包之间的时间间隔相对于原探测分组之间的时间间隔的改变量，测量时延分布、可用带宽、利用率、分组丢失率等性能参数；被动测量方式是，对每一个TCP连接进行来回时延RTT测量，具体方法如下当收到由AtoB方向传输的分组时，记录其到达时间和最后一个比特的序列号；当收到BtoA方向的对该分组的确认ACK时，计算来回时间rtt，但对于重传的分组不计算rtt;6、分组捕获模块根据预设的条件(即管理员所感兴趣的内容)关键词、URL、IP地址、端口号等，对分组进行匹配。当匹配条件满足时，把对应连接的全部信息(五元组、时间)及其分组记录下来。7、数据预处理模块对采集到的分组进行预处理，获取各项统计结果，并分别记录到数组{Fields],^1,…,A^和Flow[.]之中。Flow[.]的结构如附图6所示。数据预处理模块包含各协议字段值的分段处理子模块idx(a,.)、内网IP处理子模块inband(IP)、外网IP处理子模块outband(IP)、端口处理子模块portx(port)、三元组信息映射子模块3tuple(ipxl,ipx2,prtxl)、五元组信息处理子模块、数据统计子模块、保存数据子模块。各子模块具体如下a)各协议字段值的分段处理子模块idx(a,)设分组头部总共有iV个字段，每个字段的取值是一个二进制整数^e,/=1,其中&的常见取值为1，4，8，13，16，32;当&的取值小于等于8时，令/血,=^;否则，对fl,.进行分段处理，并用/血,代表a所属的段；例如令z'血,=M>/《a,.+a,.>>1)，其中M6械x)代表求x的最高不为0比特；最后，令idxO,.)返回/血,。b)内网IP处理子模块inband(IP)内网IP处理子模块是要检查给定IP是否属于内网IP地址列表IA，并把该IP映射为一个更短的唯一标识ipx。映射方法是，按照该IP在当前时间段内出现的先后顺序，在数组D[.]门内进行顺序编号，如附图7所示-设IP地址二a.b.c.d;—ip—count=l;-令i=IA[a],j=IA[i][b],k,][c];-如果i=0或j=0或k=0，则该IP不属于内网IP地址列表IA，令inband(IP)返回ipx=-l;;-否则它是内网IP，令其索引ipx等于它出现的先后顺序ip—count，即如果D[k][d]=0，则令D[k][d]=ip—count,ip—count++;-最后，令inband(IP)返回该IP对应的ipx=D[k][d];c)外网IP处理子模块outband(IP)外网IP处理子模块，是要把大于平均访问率的外网IP地址映射为比32比特更短的唯一标识ipx。具体做法是-令计数器ip—order的初值等于2;-用前一个统计周期的结果来决定本统计周期的外网IP集。设前一统计周期内自动建立的外网IP的前缀树为PT0，average0是平均每个外网IP被访问的次数；如果一个外网IP的被访问次数大于等于averageO，则该IP在当前统计周期内就具有了被顺序编号的资格。-建立当前统计周期的外网IP前缀树PT。当调用outband(IP)时，如果该IP在PT中不存在，则在PT中增加一条路径，代表该IP的前缀，并进一步检査该IP在PTO中是否具有被顺序编号的资格，如果有，则令X寸应于该IP的ipx=ip—order，并令ip—order力P1;否则令ipx=l，即把不具有编号资格的所有IP统一编号为1;最后，令outband(IP)返回该IP对应的ipx，并令对应于该IP的访问次数计数器加1。-计算平均每个外网IP被访问的次数average。设totalip是被访问的外网IP总数，totalref是PT被访问的次数。每次调用outband(IP)，totalref都加l;PT屮每出现一个新的外网IP，totalip都加l。在当前统计周期结束时，令average=totalref/totalip.d)端口处理子模块portx(port)按照port出现的先后顺序，顺序编号，把每一个port用其编号唯一标识。具体算法用前缀树El和E2实现-令计数器c初值是1，port—order初值是1;把端口号port分成二个字节，即令port-pl.p2;-令i二El[pl];如果iK)，则令i二c,El[pi;hc,C++;-令prtx=E2[i][p2];如果prtx=0贝U令prtx=port—order,E2[i][p2]=port—order,port—order++;-最后，令portx(port)返回prtx;e)三元组映射子模块3tuple(ipxl，ipx2,prtxl)该模块用于把三元组信息对应为一个唯一标识，即它出现的先后顺序，如附图6所示。具体做法是用三元组列表F来得到其顺序标号dx:-令key—order的初(t为1;-如果F[ipxl][ipx2][prtxl]=0，则令F[ipx1][ipx2][prtxl]=key—order,key_order++;-返回dx=F[ipxl][ipx2][prtxl];其中，三元组列表F中的F[ipxl][ipx2]用于记录那些不包含传输层协议的IPX寸之间的流量，例如icmp,igmp,st,egp,igp等。f)五元组信息处理子模块在出现新建连接时，先获取连接发起方的地址srcIP:srcPort和连接接受方的地址dstIP:dstPort，然后-判断服务器端口和客户机端口*令srvrIP:srvrPort=dstIP:dstPort;*如果srcPort<1024，则令srvrIP:srvrPort=srcIP:srcPort;*如果dstPort<1024,则令srvrIP:srvrPort-dstIP:dstPort;*相应地，把另一方命名为clntIP:clntPort;-再获取源目IP和端口的标识*令ipxl=inband(srvrIP);如果ipx1〈0，贝lj令ipxl=outband(srvrIP);*令ipx2=inband(clntIP);如果ipx2〈0，则令ipx2=outband(clntIP);*如果srvrPort存在，则令prtxl=portx(srvrPort);如果srvrPort不存在，例如icmp包等，令prtxl=0;g)数据统计子模块-在每个分组到达时执行的操作当一个分组到达时，由分组解析获得网络层头部和传输层头部各字段的取值^a2,再用所述的分段处理模块idx(W把各字段的取值A,"2，...，aw分段处理得到对应的索引值^q,/血2，...，z'血w;*获取五元组信息，并利用所述五元组处理模块得到ipxl,ipx2,prtxl;然后用dx=3tuple(ipxl,ipx2,prtxl)得到该连接的三元组信息对应的dx，这里不区别具有相同端口号的tcp和udp，例如53/udp和53/tcp,也不考虑client的端口号prtx2。*然后对各协议字段进行累加统计，设total—length是IP头部的分组长度，G是到达时间间隔，它等于给定值/血,出现的时间间隔，贝U，forz'=l,2,…，见令Field^成].pkts++，〃记录字段/取值^c,的总包数Field,.[/血,].bytes+=total」ength,〃记录字段/取值的总字节数Field,[/血,].gap+=〃字段/取值^c,'的总时间间隔*再对该分组所属的流进行累加统计，设Gcs是CtoS方向分组到达时间间隔，Cw是StoC方向分组到达时间间隔，则当该分组是x(xK:SorSC)方向传输的分组时，令Flow[dx].pkts.x++;Flow[dx].bytes.x+=totaljength;Flow[dx].gap.x+=G义；_在出现新建连接时攀记录该连接开始的时间start;*令？10界"(1乂].(:0皿++;〃记录具有相同三元组的连接的次数*记录该连接的五元组信息Flow[dx].5-tuple;-在连接结束时，设end就是系统当前时间*令Flow[dx].dwell+=end-start;〃记录连接持续的时间-在对该连接进行的应用识别结束时*令Flow[dx].app卜mark;〃记录应用识别结果；-累加应用层的响应时间*Flow[dx].resp+=art,并记录采集art样本数Flow[dx].resp—C++;-累加RTT时间*Flow[dx].rtt+=rtt，并记录采集的rtt样本的个数Flow[dx].rtt—C++;i)保存数据子模块每隔一个给定的时间interval,保存一次统计结果到数据库或者文件，保存的内容包括代表采集点的链路、路由器、交换机的ID,采集的时间time,统计结果(FieH.[.],纟=1,...，#}和Flow[.];其中采集点ID采用全局统一编号，由各数据采集系统从数据分析系统获取。最后对各数组{Fields,/=1,...^}和Flow[.]，以及各计数器进行初始化。Flow[.]的结构如附图6所示。本发明的数据分析系统如附图3所示，它包含链路分析模块、主机分析模块、IP分组分析模块、连接分析模块、应用分析模块、协议字段分析模块、总体分析模块、历史分析和预测分析模块。每个子模块具体介绍如下1、链路分析模块a)统计每条链路的流量，包括每条链路的输入字节数、分组数；输出字节数、分组数；b)统计每条链路的利用率、可用带宽、时延、丢失率；c)统计所有链路的流量分布、利用率分布、时延分布、丢失率分布；d)排序并定位最大利用率、最大时延或最大丢失率的链路。2、主机分析模块a)统计每个服务器的响应时间；b)统计每个主机的输入、输出流量；c)统计每个主机发起连接的次数、接受连接的次数、连接的持续时间；d)统计每个主机采用的应用类型；e)统计所有服务器的响应时间分布、输入输出流量分布、连接出入度分布、连接持续时间分布、应用类型分布；f)排序并定位具有最大或最小特征值的主机；3、IP分组分析模块a)统计每种分组类型(icmp，igmp,st,tcp,egp，igp,udp)的数据量、分组数、到达时间间隔分布、分组长度分布；b)统计分组类型的流量分布、平均间隔分布、平均长度分布；c)排序并定位具有最大或最小特征值的分组类型；4、连接(流)分析模块a)统计每个连接的输入、输出数据量和分组数；b)统计每个连接的持续时间；c)统计连接的到达时间间隔；d)统计每个连接的应用类型、使用的端口号；e)统计连接的流量分布、持续时间分布、到达时间间隔分布、应用类型分布、端口号分布；f)排序并定位具有最大或最小特征值的连接；'5、应用(端U)分析模块a)统计每种应用的上传流量、下载流量、总流量、发生频次；b)统计每种应用用到的端口号；c)统计每种应用的平均持续时间、平均响应时间、平均连接数；d)统计每种应用涉及到的Client数、Server数；e)统计应用的流量分布、频繁程度分布、端口号分布、平均持续时间分布、平均响应时间分布、平均连接数分布、Client数分布、Server数分布；f)排序并定位最大或最小特征值的应用；6、协议字段分析模块a)IP层各字段的统计分布，包括HeaderLength,ServiceType,TotalLength,Identification,FlagsDbit,FlagsMbit,FragmentOffset,TimetoLive,Protocol,IPOptions;b)传输层各字段的统计分布，包括S叫uenceNumber,AcknowledgementNumber,TCPURG,TCPACK,TCPPSH,TCPRST,TCPSYN,TCPFIN,Window,UrgentPointer,TCPOptions。7、总体分析模块分析网络的总体情况，并评估当前网络运行状况(好、中、差)。a)首先从各模块获得当前统计量和历史值的均值和方差，包括:1.每条链路j流量in/out/total字节速率15.各连接的流量2.每条链路流量in/out/total分组速率16.各连接的持续时间3.每条链路利用率17.平均新建连接率4.每条链路剩余带宽18.平均连接持续时间5.各链路中各类应用的含量19.平均连接数据量(in/out/total)6.各链路各种分组(icmp，igmp，st，top,egP,igP,udp)含量20.各应用类型含量(新建连接率、持续时间、数据量)7.每个服务器的响应时间21.各应用的各连接的流量8.每个IP的流量(in/out字节速率、in/out分组速率、总分组率、总字节率)22.各应用的平均持续时间、I/O字节数、响应时间9.每个IP的出度/s、入度/s、连接平均持续时间23.各应用类型含量、各应用使用的端U、未知应用及其端口10.每个IP的各应用类型含量、端口24.各应用的各连接的持续时间11.每个IP在链路j上的流量25.IP层各字段出现频次12.总分组速率、总字节速率26.传输层各字段出现频次13.平均每条链路上看到的分组长度分布、分组到达时间间隔分布27.各应用的各服务器的服务响应时间14.源IP流量b)正常程度测量设当前的各项统计量为;c,,...,x，其对应的均值方差分别为m,...,^，，...，，则每项统计量当前的异常程度为°",-评估网络运行状况(好、中、差)好如果max(船2;中如果2〈max(G〉53;差如果max(^〉3;并给出警示信息。9、历史分析和预测分析模块分析某个统计量的若干小时的历史数据、预测未来一段时间内的发展趋势、选取按给定门限、范围、指标确定的数据。本发明的数据显示系统如附图4所示，它包含输入界面和显示界面。输入界面包括功能模块选择界面、数据源命名界面、输入内网地址界面、统计时间间隔选择界面、分组筛选条件输入界面；显示界面提供各种菜单选择，以显示各项统计结果、统计分布、这些统计结果和统计分布的历史轨迹、按门限范围指标筛选的结果、未来的预测值、按预设条件捕获的分组内容等。数据显示系统具体介绍如下1、输入界面a)功能模块选择界面用户界面给出一个功能模块选择表格，把输入结果记录到logicselec[]。应用识别协议分析流量采集响应时间测量分组采集路径测量selec[]true/falsetrue/falsetrue/falsetrue/falsetrue/falsetrue/false数据采集系统根据selec[]的取值选择或不选择所对应的功能模块。b)数据源命名界面用户界面提供如下表格，用于输入数据采集系统的探测点、路由器端口(链路)、交换机端口、服务器等有关信息，并对它们进行命名和分组，以及对各个组命名。结果保存到表格element[][]:<table>tableseeoriginaldocumentpage18</column></row><table>数据采集系统把element[][]中的ID作为数据来源的标识。该标识可以由系统通过顺序编号自动产生。c)输入内网地址界面用户界面给出全部的内网地址段和掩码。后台程序把它细化到每个网络地址段都是24比特长，然后生成内网IP地址段查询表IA，它是一棵前缀树，如附图7所示。数据采集系统利用IA进行内网IP地址索引。d)统计时间间隔选择界面用户界面给出统计时间间隔interval。默认是1分钟，可以选择大于等于1分钟。数据采集系统将根据该时间周期统计和保存数据。e)筛选条件输入界面使得用户可以输入感兴趣的URLs,keywords,ports,applicationnumbers。数据采集系统将根据这些筛选条件记录符合条件的分组。2、显示界面提供各种菜单选择，以显示各项统计结果、统计分布、这些统计结果和统计分布，例如总体分析、链路分析、主机分析、分组分析、连接分析、协议分析应用分析、性能分析的当前情况、历史轨迹、按门限范围指标筛选的结果、未来的预测值、按预设条件捕获的分组内容等，如附图4所示。a)显示网络总体分布情况菜单_各链路的利用率、路径的可用带宽、时延分布；_所有网络单元列表数据采集系统、路由器、交换机、服务器、链路(包括所属组、名字、IP地址、域名等)；-监控点在网络拓扑中的分布图；_流量走向示意图显示网络拓扑中每个源IP产生的流量在各链路上的流量。b)显示排序结果菜单-按利用率排序所有链路-按服务响应时间排序所有服务器-按分组数排序各种协议的分组-按流量排序连接、按持续时间排序连接-按应用含量排序各应用类型-按出现的频次排序IP层各协议字段、传输层各协议字段C)显示链路分析结果菜单-显示按利用率排序所有链路(列出前10条)、每条链路利用率、乘除带宽。-点击右键进一步可选每条链路的流量(in/out字节速率、in/out分组速率、总分组率、总字节率)各禾中分组(icmp,igmp,st，tcp，egp,igp,udp)含量前10名按流量排序的连接各应用类型含量d)显示主机或服务器分析结果菜单-显示按服务响应时间排序所有服务器、服务响应时间。-点击右键进一步可选每个IP的流量(in/out字节速率、in/out分组速率、总分组率、总字节率)出度/s、入度/s、连接平均持续时间各应用类型含量、各应用使用的端口、未知应用及其端口e)显示IP分组分析结果菜单-显示总分组速率、总字节速率、到达时间间隔分布、分组长度分布、各禾中分组(icmp,igmp,st,tcp,egp,igp,udp)含l。-点击右键进一步可选IP层各字段统计按流量排序源IP各应用类型含量f)显示连接(流;i分析结果菜单-显示按流量排序连接(三元组)、按持续时间排序连接(三元组)、连接平均到达率、连接平均持续时间、连接平均传输的数据量(in/out/total)。-点击右键进一步可选各应用类型含量(按连接到达率、持续时间、数据量分别排序)传输层各字段统计每个连接的流量(in/out字节速率、in/out分组速率、总分组率、总字节率)g)显示应用(端口)分析结果菜单-显示各应用类型含量、各应用使用的端口、耒知应用及其端口。-点击右键进一步可选各应用的平均持续时间、1/0字节数、响应时间按流量排序的连接(三元组)按持续时间排序的连接(三元组)按服务响应时间排序的服务器捕获未知应用的分组h)显示协议字段分析结果菜单提供以下可选项-IP层分析HeaderLength,ServiceType,TotalLength,Identification,FlagsDbit,FlagsMbit,FragmentOffset,TimetoLive,Protocol,IPOptions-传输层分析SequenceNumber,AcknowledgementNumber,TCPURG,TCPACK,TCPPSH，TCPRST,TCPSYN,TCPFIN,Window,UrgentPointer,TCPOptions一各禾中分组(icmp,igmp,st,tcp，egp,igp，udp)含量i)显示路径性能分析结果菜单-显示网络主动测量得到的各链路的利用率、路径的可用带宽、时延分布等。j)显示总体分析结果菜单-显示当前网络运行状况(好、中、差)、报警/预警信息。_进一步提供以下可选项所有网络单元列表数据采集设备、路由器、交换机、服务器、链路(显示所属组、名字、IP地址、域名等)按利用率排序所有链路(列出前10条)按服务响应时间排序所有服务器各禾中分组(icmp,igmp,st,tcp,egp,igp,udp)含量按流量排序连接(三元组)、按持续时间排序连接(三元组)各应用类型含量各协议字段含量各链路的利用率、路径的可用带宽、时延分布监控点分布图流量走向示意图本发明的数据通信系统如附图5所示，它向所有数据采集系统传送全局配置参数，包括功能模块选择selec[]、数据源编号方案element[][]、内网IP地址表IA、统计时间周期interval、分组筛选条件、系统配置命令；并从数据采集系统读取经过预处理的数据。权利要求1、一种网络行为分析系统，其特征在于包括数据采集系统、通信系统和数据分析系统，所述数据采集系统从网络上采集信息，再对所采集的信息进行预处理，所述通信系统分别与数据采集系统和数据分析系统连接，把经过数据采集系统预处理后的数据传输到数据分析系统，所述数据分析系统对通信系统送来的数据进行网络行为分析和网络行为预测。2、根据权利要求l所述的网络行为分析系统，其特征在于所述的数据采集系统包含本地采集模块、远程采集模块、应用识别模块、响应时间测量模块、路径性能测量模块、分组捕获模块、数据预处理模块；所述本地采集模块、和/或远程采集模块从网络上采集信息，并选择通过应用识别模块、响应时间测量模块、路径性能测量模块、分组捕获模块的一个或多个进行处理，然后再通过数据预处理模块进行预处理，获取各项统计结果。3、根据权利要求2所述的网络行为分析系统，其特征在于所述本地采集模块采用如下三种方式接入网络(1)在两个网络设备之间，配置一台包括两块网卡的数据采集设备，数据采集设备的两块网卡分别通过网线与两个网络设备连接，使得流经这两个网络设备之间链路的所有分组都经过该数据采集设备；(2)采用探测头把链路上的信号分接到数据采集设备的一块网卡，使得经过该链路的所有分组都分接到该数据采集设备；(3)采用网线把数据采集设备的一块网卡连接到网络设备的镜像口或者监控口，使得通过该网络设备的分组复制到数据采集设备；所述的远程采集模块每1分钟都通过SNMP、或RMON、或Netflow、或Sflow协议，从网络设备上采集一次数据。4、根据权利要求2或3所述的网络行为分析系统，其特征在于所述的应用识别模块对釆集的信息分组进行解析，提取其应用层数据，并对应用层数据进行应用识别，把识别结果用一个整数值mark唯一标记；所述的响应时间测量模块测量请求包与响应包之间的时间差；所述的路径性能测量模块测量网络路径的性能；所述的分组捕获模块根据预设的条件对数据分组进行匹配，当匹配条件满足时，把对应连接的五元组信息、分组及其到达时间记录下来，所预设的条件包括关键词、和/或URL、和/或IP地址、和/或端口号；所述的数据预处理模块对采集到的信息分组进行预处理，获取各项统计结果。5、根据权利要求4所述的网络行为分析系统，其特征在于所述数据预处理模块包含分段处理子模块、内网IP处理子模块、外网IP处理子模块、端口处理子模块、三元组信息映射子模块、五元组信息处理子模块、数据统计子模块、保存数据子模块。6、根据权利要求l所述的网络行为分析系统，其特征在于所述的数据分析系统包含链路分析模块、主机分析模块、IP分组分析模块、连接分析模块、应用分析模块、协议字段分析模块、总体分析模块、历史分析和预测分析模块。全文摘要本发明提供一种网络行为分析系统，它通过一到多个数据采集系统从网络中各处的链路、路由器、交换机采集网络中的应用、协议、连接、流量、内容、性能等信息，并对所采集的信息进行预处理；通信系统把各个数据采集系统预处理后的数据传输到数据分析系统；数据分析系统对收集到的数据，进行即时的、历史的、选择性的网络行为分析和未来的网络行为预测；显示系统把网络行为分析结果显示给用户。本发明是一种内部网络管理、性能分析、网络安全检测系统，可以用于容量规划、故障排除、问题预防、服务水平管理、应用层分析、基于应用识别的应用监控、基于数据源的网络监控、发现未知的应用、定位网络攻击等。文档编号H04L12/24GK101562534SQ20091003973公开日2009年10月21日申请日期2009年5月26日优先权日2009年5月26日发明者余顺争申请人:中山大学