一种网络流量的分析方法和设备的制作方法

文档序号:7706625阅读:153来源:国知局

专利名称::一种网络流量的分析方法和设备的制作方法
技术领域
:本发明涉及通讯领域,尤其涉及一种网络流量的分析方法和设备。
背景技术
:随着网络技术的不断演进、规模的爆炸性发展,互联网应用已经从起初的科研领域逐渐延伸到当代社会生活的方方面面,越来越多基于网络的关键业务蓬勃兴起,网络成为人类提高生产力、提升生活质量的新的推动力。同时,随着网络技术的不断发展,网络中的数据流量也不断增加,提供NetStream(网络流量分析)技术是一种基于网络流信息的统计与发布技术,它可以对网络中的通信量和资源使用情况进行统计和发布,向网络管理人员提供访问通信量详细信息。NetStream定义了一种统计路由器/交换机输出的网络流量数据的方法,可利用网络中数据流创造价值,并可在最大限度减小对路由器/交换机性能影响的前提下提供详细的数据流统计信息。如图1所示,现有的NetStream技术的一个典型实现架构包括NTE(NetTrafficExporter,网络流量输出设备)、NTC(NetTrafficCollector,网络流量采集设备)以及NTP(NetTrafficProcessor,网络流量分析设备)。其中,NTE负责流量的采集和发送,用于对通过路由器/交换机的IP数据包进行采集和统计,并将采集的数据包以及统计数据以NetStream日志的形式发送给NTC。NTC负责收集和存储NTE发送的数据包及统计数据信息,并提供给NTP。NTP对NTC收集到的数据包及统计数据信息进行分析加工后,以直观的图表、报表等方式为网络规划、网络优化、网络监控、流量趋势分析、异常^r测等提供直接的数据依据。其中,NTE又可以进一步分为两部分,一部分是纯粹的交换路由功能模块,负责数据流量的转发;另一部分是NSM(NetStreamModule,支持NetStream5功能的模块)功能模块,负责对流量进行流分类统计并将统计结果发送给NTC。如图2所示,为现有技术中NTE设备的结构示意图,其中,NTE设备的交换路由功能模块具有镜像功能,将需要分析的数据流复制一份到NSM功能模块;NSM功能模块接收从交换路由功能模块发送的数据流,按照一定特征对数据流进行分析统计,并且组装成NetStream日志,以UDP(UserDatagramProtocol,用户数据净艮协议)才艮文格式送往NTC。现有技术中存在的问题在于,在一台NTE的交换路由功能模块中有多个镜像源端口的数据流需要送往NSM功能模块进行分析的情况下,如果数据流的流量较大,则受端口带宽的限制,将无法把所有镜像源的报文送往NSM功能模块处理。在这种情况下,只有通过进一步增加NSM功能模块数量或者减少需要分析的数据流,才可以保证待分析的流量能够到达NSM功能模块。
发明内容本发明提供一种网络流量的分析方法和设备,用于在数据流的流量较大的情况下,通过改善网络流量的采集方式以提升网络设备的数据流分析性能。本发明提供了一种网络流量的分析方法,应用于网络流量输出设备,包括根据设置的釆样率将待分析的流量进行采样并发送;对所述采样流量进行分析,并根据所述设置的采样率对所述分析结果进行还原。其中,所述根据设置的采样率将待分析的流量进行采样并发送前,还包括对采样所使用的采样率进行协商,并根据所述协商结果设置采样率。其中,所述根据设置的采样率将待分析的流量进行采样并发送包括根据设置的采样率,对待分析的流量中的报文按照所述采样率选择报文进行标识;当采样率为N时,从N个所述待分析的流量的报文中选择一个报文进行标识;将所述标识的^l艮文复制后发送,作为采样流量。其中,所述将所述标识的报文复制后发送包括将所述标识的报文复制后直接发送;或将所述标识的报文复制后,通过接入控制列表ACL进行识别,将识别后的报文经中央处理单元CPU发送;或将所述标识的报文复制后,经设备的环回端口发送。其中,所述对所述采样流量进行分析,并根据所述设置的采样率对所述分析结果进行还原包括对所述采样流量进行分析,获取报文计数统计信息;根据所述设置的采样率,对所述报文计数统计信息按照所述采样率进行还原;当报文计数统计信息为M、釆样率为N时,将所述报文计数统计信息还原为NxM。本发明还提供一种网络流量输出设备,包括交换路由模块和网络流量分析模块所述交换路由模块,用于根据设置的采样率将待分析的流量进行采样并发送给所述网络流量分析模块;所述网络流量分析模块,用于对所述交换路由模块发送的采样流量进行分析,并根据所述设置的采样率对所述分析结果进行还原。其中,所述网络流量分析模块,包括第一采样协商子模块,用于向所述交换路由模块发送协商请求,并根据所述交换路由模块发送的协商应答设置采样所使用的采样率;所述交换路由模块,包括第二采样协商子模块,用于接收所述网络流量分析模块发送的协商请求,并发送携带采样所使用的采样率的协商应答。其中,所述交换路由模块,还包括报文标识子模块,用于根据设置的采样率,对待分析的流量中的报文按照所述采样率选择才艮文进行标识;当釆样率为N时,从N个所述待分析的流量的报文中选择一个报文进行标识;报文复制发送子模块,用于将所述报文标识子模块标识的报文复制后向7所述网络流量分析模块发送,作为采样流量。其中,所述报文复制发送子模块具体用于将所述报文标识子模块标识的报文复制后直接向所述网络流量分析模块发送;或将所述报文标识子模块标识的报文复制后,通过接入控制列表ACL进行识别,将识别后的报文经中央处理单元CPU向所述网络流量分析模块发送;或将所述报文标识子模块标识的报文复制后,经设备的环回端口向所述网络流量分析模块发送。其中,所述网络流量分析模块,还包括分析结果获取子模块,用于对所述采样流量进行分析,获取报文计数统计信息;分析结果还原子模块,用于根据所述设置的采样率,对所述分析结果获取子模块获取的报文计数统计信息按照所述采样率进行还原;当报文计数统计信息为M、采样率为N时,将所述报文计数统计信息还原为NxM。与现有技术相比,本发明具有以下优点本发明中设置采样率对待分析的流量进行有选择性的采样,并对分析结果根据设置的采样率进行还原,从而通过改善网络流量的采集方式有效的提升了网络设备的数据流分析性能。为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。图1是现有技术中NetStream技术的一个典型实现架构示意图2是现有技术中NTE设备的结构示意图3是本发明中网络流量的分析方法的流程8图4是本发明的一应用场景中网络流量的分析方法的流程图5是本发明中网络流量输出设备的结构示意图6是本发明中网络流量输出设备的另一结构示意图。具体实施例方式下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。本发明提供了一种网络流量的分析方法,应用于网络流量输出设备,如图3所示,包括步骤s301、根据设置的采样率将待分析的流量进行采样并发送。步骤s302、对采样流量进行分析,并一艮据设置的采样率对分析结果进行还原。通过使用本发明提供的方法,设置采样率对待分析的流量进行有选择性的采样,并对分析结果根据设置的采样率进行还原,从而通过改善网络流量的采集方式有效的提升了网络设备的数据流分析性能。以下结合一个具体的应用场景对本发明中网络流量分析方法的具体实施方式进行描述。该方法应用于网络流量输出设备NTE中,由目前的NTE结构可知,NTE由交换路由功能模块和NSM功能模块两部分组成。本发明中通过设置采样率,使得交换路由功能模块按照采样率把需要分析的流量送往NSM模块,NSM模块根据接收到的流量进行分析后,按照预先设置的采样率把报文统计信息还原成原始的lt据,并发送至NTC。具体的,如图4所示,本应用场景中的网络流量分析方法包括步骤s401、NSM模块向交换路由功能模块发送协商请求。具体的,本发明中,可以在交换路由功能模块和NSM模块之间定义一种简单的交互协议,NSM模块接入系统后向交换路由功能模块发送协商请求,协商交换路由功能模块在将待分析的流量进行采样时所采用的釆样率。NSM模块同样需要获知该采样率,以在对交换路由功能模块发送的采样流量进行分析后,根据设置的采样率对分析结果进行还原。本发明的一具体实现中,协议报文的格式可以如下表1所示的格式表l、用于协商采样率的报文格式<table>tableseeoriginaldocumentpage10</column></row><table>使用如表1所示结构的报文时,对于NSM模块向交换路由功能模块发送的协商请求报文,报文中的目的MAC(DMAC)地址固定,为协议约定地址(如01-0F-E2-00-00-99。对于目的MAC地址为约定地址的报文,当源MAC地址为NSM模块的MAC时,将该报文转发到交换路由功能模块;当源MAC地址为交换路由功能模块的MAC地址时,将该报文转发到NSM模块);源MAC(SMAC)地址为NSM模块的MAC地址(对于交换路由功能模块向NSM模块发送的协商应答报文,源MAC地址为交换路由功能模块的MAC地址);协议类型Protocol为自定义(如0x8809);Type有两种一种为协商请求(0x01),另一种为协商应答(0x02),对于NSM模块向交换路由功能模块发送的协商请求,其Type为0x01,对于交换路由功能模块向NSM模块发送的协商应答,其Type为0x02;Rate为采样比,NSM模块向交换路由功能模块发送的协商请求中,Rate的值可以缺省为1。步骤s402、交换路由功能模块向NSM模块发送协商应答,NSM模块获得采样率。具体的,交换路由功能模块收到该协商请求后,发送协商应答,使用如表l所示结构的报文时,Type为0x02,Rate为用户预先配置的采样率。如果用户没有预先配置采样率,则交换路由功能模块可以不处理该协商请求直接丟弃,NSM模块在预设的等待时间内未接收到交换路由功能模块发送的协商应答时,采用缺省的采样率。交换路由功能模块也可以在向NSM模块发送的协商应答中,携带Rate的值为l。步骤s403、交换路由功能模块根据协商的采样率,对待分析的流量中的报文进行标识。具体的,交换路由功能模块根据协商的采样率对待分析的流量中的报文按照采样率选择报文进行标识。例如采样率为N(N4、2、3...)时,对于待分析的流量中的报文,从每N个报文中选择1个报文进行标识。步骤s404、交换路由功能模块将标识的报文复制,将复制后的报文向NSM模块发送。具体的,可以采用以下发送方式(l)将复制后的报文直接向NSM模块发送;或(2)在不能直接将复制后的报文向NSM模块发送时,将复制后的报文,通过ACL(AccessControlList,接入控制列表)进行重定向,将识别后的报文经CPU(CentralProcessingUnit,中央处理单元)向NSM模块发送;或(3)在不能直接将复制后的报文向NSM模块发送时,将复制的报文发送至设备的环回端口(可以由用户端口配置环回而成),由环回端口进入后再转发到NSM模块。步骤s405、NSM模块对接收到的采样流量进行分析,获取报文计数统计信息。具体的,NSM模块根据预先设置的报文计数统计方法,对接收到的采样流量中的报文进行逐个分析,获取报文计数统计信息。步骤s406、NSM模块根据设置的采样率,对报文计数统计信息按照进行还原。具体的,采样率为N(N4、2、3...)时,对于报文计数统计信息中的报文计数等数据,按照采样率进行还原。例如,报文计数统计信息中的DHCP报文数量为M时,将DHCP报文数量还原为N*M。之后,NSM模块将报文计数统计信息向NTC发送。另外需要说明的是,除了使用上述通过报文交互协商采样率的方法,还可以在交换路由模块和NSM模块预先设定固定的釆样率;也可以通过对现有的一些协议进行补充,如在SNMP(SimpleNetworkManagementProtocol,简li单网络管理协议)协议中增加相关MIB(ManagementInformationBase,管理信息库)项,完成交换路由模块和NSM模块的采样率协商。本发明提供的上述方法中,设置采样率对待分析的流量进行有选择性的采样,并对分析结果根据设置的采样率进行还原,从而通过改善网络流量的采集方式有效的提升了网络设备的数据流分析性能。本发明还提供一种网络流量输出设备,如图5所示,包括交换路由模块10和网络流量分析才莫块20:交换路由模块10,用于根据设置的采样率将待分析的流量进行采样并发送给网络流量分析模块20;网络流量分析模块20,用于对交换路由模块IO发送的采样流量进行分析,并根据设置的采样率对分析结果进行还原。本发明提供的网络流量输出设备中,如图6所示,具体的交换路由模块IO,可以进一步包括第二采样协商子模块11,用于接收网络流量分析模块20发送的协商请求,并发送携带采样所使用的采样率的协商应答。报文标识子模块12,用于根据设置的采样率,对待分析的流量中的报文按照采样率选择报文进行标识;当采样率为N时,从N个所述待分析的流量的报文中选择一个t艮文进行标识;报文复制发送子模块13,用于将报文标识子模块12标识的报文复制后向网络流量分析模块20发送,作为采样流量。具体用于将报文标识子模块12标识的报文复制后直接向网络流量分析模块20发送;或将报文标识子模块12标识的报文复制后,通过接入控制列表ACL进行识别,将识别后的报文经中央处理单元CPU向网络流量分析模块20发送;或将报文标识子模块12标识的报文复制后,经设备的环回端口向网络流量分析模块20发送。网络流量分析模块20,可以进一步包括第一釆样协商子模块21,用于向交换路由模块IO发送协商请求,并根据交换路由模块10发送的协商应答设置采样所使用的采样率;分析结果获取子模块22,用于对采样流量进行分析,获取报文计数统计4吕息5分析结果还原子模块23,用于根据设置的采样率,对分析结果获取子模块22获取的报文计数统计信息按照采样率进行还原;当报文计数统计信息为M、采样率为N时,将所述^^文计数统计信息还原为NxM。本发明提供的上述设备中,设置采样率对待分析的流量进行有选择性的采样,并对分析结果根据设置的采样率进行还原,从而通过改善网络流量的釆集方式有效的提升了网络设备的数据流分析性能。通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可以通过硬件实现,也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。本领域技术人员可以理解附图只是一个优选实施例的示意图,附图中的单元或流程并不一定是实施本发明所必须的。本领域技术人员可以理解实施例中的装置中的单元可以按照实施例描述进行分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的单元可以合并为一个单元,也可以进一步拆分成多个子单元。上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。权利要求1、一种网络流量的分析方法,应用于网络流量输出设备,其特征在于,包括根据设置的采样率将待分析的流量进行采样并发送;对所述采样流量进行分析,并根据所述设置的采样率对所述分析结果进行还原。2、如权利要求l所述的方法,其特征在于,所述根据设置的采样率将待分析的流量进行采样并发送前,还包括对采样所使用的釆样率进行协商,并根据所述协商结果设置采样率。3、如权利要求l所述的方法,其特征在于,所述根据设置的采样率将待分析的流量进行采样并发送包括根据设置的采样率,对待分析的流量中的报文按照所述采样率选择报文进行标识;当采样率为N时,从N个所述待分析的流量的报文中选择一个才艮文进行标识;将所述标识的^R文复制后发送,作为采样流量。4、如权利要求3所述的方法,其特征在于,所述将所述标识的报文复制后发送包括将所述标识的报文复制后直接发送;或将所述标识的报文复制后,通过接入控制列表ACL进行识别,将识别后的报文经中央处理单元CPU发送;或将所述标识的报文复制后,经设备的环回端口发送。5、如权利要求l所述的方法,其特征在于,所述对所述采样流量进行分析,并根据所述设置的采样率对所述分析结果进行还原包括对所述釆样流量进行分析,获取报文计数统计信息;根据所述设置的采样率,对所述报文计数统计信息按照所述采样率进行还原当报文计数统计信息为M、采样率为N时,将所述报文计数统计信息还原为NxM。6、一种网络流量输出设备,其特征在于,包括交换路由模块和网络流量分析模块所述交换路由模块,用于根据设置的采样率将待分析的流量进行采样并发送给所述网络流量分析;漠块;所述网络流量分析模块,用于对所述交换路由模块发送的采样流量进行分析,并根据所述设置的采样率对所述分析结果进行还原。7、如权利要求6所述的网络流量输出设备,其特征在于,所述网络流量分析模块,包括第一采样协商子模块,用于向所述交换路由模块发送协商请求,并根据所述交换路由模块发送的协商应答设置采样所使用的采样率;所述交换路由模块,包括第二采样协商子模块,用于接收所述网络流量分析模块发送的协商请求,并发送携带采样所使用的采样率的协商应答。8、如权利要求6或7所述的网络流量输出设备,其特征在于,所述交换路由模块,还包括报文标识子模块,用于根据设置的采样率,对待分析的流量中的报文按照所述采样率选择才艮文进行标识;当采样率为N时,从N个所述待分析的流量的报文中选择一个报文进行标识;报文复制发送子模块,用于将所述报文标识子模块标识的报文复制后向所述网络流量分析模块发送,作为采样流量。9、如权利要求8所述的网络流量输出设备,其特征在于,所述报文复制发送子模块具体用于将所述报文标识子模块标识的报文复制后直接向所述网络流量分析模块发送;或将所述报文标识子模块标识的报文复制后,通过接入控制列表ACL进行识别,将识别后的报文经中央处理单元CPU向所述网络流量分析模块发送;或将所述报文标识子模块标识的报文复制后,经设备的环回端口向所述网络流量分析模块发送。10、如权利要求6或7所述的网络流量输出设备,其特征在于,所述网络流量分析模块,还包括分析结果获取子模块,用于对所述采样流量进行分析,获取报文计数统计信息;分析结果还原子模块,用于根据所述设置的采样率,对所述分析结果获取子模块获取的报文计数统计信息按照所述采样率进行还原当报文计数统计信息为M、采样率为N时,将所述l艮文计数统计信息还原为NxM。全文摘要本发明公开了一种网络流量的分析方法和设备。该方法应用于网络流量输出设备,包括根据设置的采样率将待分析的流量进行采样并发送;对所述采样流量进行分析,并根据所述设置的采样率对所述分析结果进行还原。本发明中设置采样率对待分析的流量进行有选择性的采样,并对分析结果根据设置的采样率进行还原,从而通过改善网络流量的采集方式有效的提升了网络设备的数据流分析性能。文档编号H04L12/26GK101521630SQ200910131219公开日2009年9月2日申请日期2009年4月9日优先权日2009年4月9日发明者汪洪远申请人:杭州华三通信技术有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1