网络流量分析方法和设备的制作方法

文档序号:7691713阅读:171来源:国知局
专利名称:网络流量分析方法和设备的制作方法
技术领域
本发明涉及网络技术领域,尤其涉及一种网络流量分析方法和设备。
技术背景随着网络的应用越来越广泛,网络规模也日渐增长,网络中承载的业务 也越来越丰富。企业需要及时的了解到网络中承载的业务,掌握网络流量特 征、网络用户特征,以便使网络带宽配置最优化,并及时解决网络性能问题。 通过对网络流量的分析,可以帮助企业了解内部网络的运行状况,及时发现 并解决网络中的性能瓶颈问题、网络异常现象,也能方便企业进行网络优化、 网络设备投资、网络带宽优化等的参考,并方便网络管理员及时解决网络异 常问题。网络流量分析可以对两种类型的日志进行处理分析1、 支持网络流量统计的网络设备,将流量日志如NetStream、 NetFlow、 sFlow等以UDP (User Datagram Protocol,用户数据净艮协议)包的形式发往 NTC (NetTraffic Collector,网络流量采集器),NTC将日志处理入库。2、 探针式采集器可以直接从i殳备的镇/f象端口或通过TAP (Test Access Point,测试接入点)分流器采集网络流量信息,并通过流分类和统计,生成 流量日志,并处理入库。网络流量分析功能对上述两类日志进行流量分析实现网络监控、趋势分 析、应用监控、用户监控、网络规划等功能。图1是现有技术中一个网络流量分析的典型示意图,网络流量分析系统 包括三个部分,NTE (NetTraffic Exporter,网络设备)、NTC、 NTP( NetTraffic Processor,流量数据分析器)。处理流程如下所述对于支持网络流量分析的 NTE, NTE直接将流量日志(如NetStream、 NetFlow、 sFlow等)发送给NTC, NTC接收日志。对于NTE支持端口镜像,NTC能直接从镜像端口收集网络流量信息。NTP对NTC接收的日志从不同角度进4亍深度分析和加工处理。当网络中存在海量流量数据,超过了网络流量分析设备的处理能力时, 将导致网络流量分析系统的延迟,不能及时的反映网络状况,这就必然要求 对设备或探针式采集器对数据进行抽样,以减少数据量,增强网络流量分析 的实时性。目前,在大数据量下,对于设备/探针式采集器的抽样方法主要有 如下几种固定包数采样,即按照抽样比采样;固定时间周期釆样,即以设 定的时间周期为基准进行采样;探针式采集器自适应采样,即探针式采集器 可根据其接收日志性能,自动调整采样比。当前的i史备和探针式采集器抽样实现方案存在如下缺陷 固定包数采样和固定时间周期采样本质上是随机采样方法,不利于网络 曰志审计,流量趋势不能反映实际情况,特别是短暂性流量高峰情况。另夕卜, 上述的几种抽样方法只考虑了设备和采集器的性能,而并未考虑NTP的性能 要求,因此可能导致网络流量设备和网络流量采集设备达到了性能要求,但 网络流量分析设备未达到性能要求,从而导致了网络流量分析系统的延迟, 不能及时的反映网络状况。发明内容本发明提供一种网络流量分析方法和设备,用于将网络设备发送的数据 和网络流量采集设备采集的网络流量数据同时控制在网络流量分析设备的性 能指标内,避免整个网络流量分析系统因网络流量过大而导致的延迟。为达到上述目的,本发明提供一种网络流量分析方法,应用于包括网络 流量i殳备NTE、网络流量分析设备NTP以及网络流量采集设备NTC的网络, 包括以下步骤NTP对NTC处理的数据进行流量分析,根据分析结果以及当前NTC使用的第一采样粒度,获取第二采样粒度;所述NTP通知NTE以及NTC根据所述第二采样粒度进行采样。其中,所述NTP对NTC处理的数据进行流量分析,根据分析结果以及当前NTC使用的第一采样粒度,获取第二采样粒度的步骤具体包括取分析处理所耗时间占所迷NTP流量分析执行周期的百分比;所述NTP根据所述百分比以及第一采样粒度,获取第二采样粒度。其中,所述NTP通知NTE以及NTC根据所述第二采样粒度进行采样后,还包括所述NTP接收所述NTC返回的调整后的采样粒度; 所述NTP将所述调整后的采样粒度保存为第一采样粒度。 其中,所述NTC返回调整后的采样粒度的步骤具体包括 所述NTC比较所述第二采样粒度与当前使用的第 一采样粒度; 所述第二采样粒度大于等于所述第一采样粒度时,所述NTC使用所述第二采样粒度作为调整后的采样粒度;否则保持所迷第 一采样粒度作为调整后的釆样粒度。其中,所述NTP通知NTE以及NTC根据所述第二采样粒度进行采样后, 还包括所述NTE使用所述第二采样粒度作为调整后的采样粒度。 本发明还提供一种网络流量分析设备NTP,应用于包括网络流量设备NTE以及网络流量采集设备NTC的网络,包括流量分析单元,用于对NTC处理的数据进行流量分析; 采样粒度获取单元,用于根据所述流量分析单元的分析结果以及当前NTC使用的第一采样粒度,获取第二采样粒度;通知单元,用于通知NTE以及NTC根据所述采样粒度获取单元获取的第二采样粒度进行采样。其中,所述采样粒度获取单元进一步包括处理子单元,用于当所述流量分析单元将NTC在特定时间内处理入库后 的数据进行深度分析处理后,获取分析处理所耗时间占所述NTP流量分析执 行周期的百分比;获取子单元,用于根据所述处理子单元获取的百分比以及第一采样粒度, 获取第二采样粒度。其中,还包括采样粒度接收单元,用于接收所述NTC返回的调整后的釆样粒度; 采样粒度存储单元,用于将所述采样粒度接收单元接收的所述NTC返回的调整后的采样粒度保存为第 一采样粒度。本发明还提供一种网络流量采集设备NTC,应用于包括网络流量设备NTE以及网络流量分析设备NTP的网络,包括接收单元,用于接收网络流量分析设备NTP发送的第二采样粒度; 比较单元,用于比较所述第二采样粒度与当前使用的第 一采样粒度; 调整单元,用于当所述比较单元的比较结果为第二采样粒度大于等于所述第一采样粒度时,使用所述第二采样粒度作为调整后的采样粒度;否则保持所述第 一采样粒度作为调整后的采样粒度;通知单元,用于将所述调整单元得到的调整后的采样粒度通知所述网络流量分析i殳备NTP。与现有技术相比,本发明具有以下优点通过网络流量采集i殳备NTC和网络流量分析设备NTP进行流量分析时的 联动采样粒度调整,同时满足此两部分设备的性能指标,使网络流量分析系 统更加及时的反映网络状况。在网络流量分析系统的性能指标范围内,最大 限度的保存了网络流量数据,避免了流量细节信息的损失。


图l是现有技术中网络流量分析的典型示意图;图2是本发明中一种网络流量分析方法的流程图;图3是本发明提供的网络流量分析方法中NTP的处理流程示意图;图4是本发明提供的网络流量分析方法中NTC的处理流程示意图;图5是本发明提供的网络流量分析方法中NTE的处理流程示意图;图6是本发明提供的网络流量分析系统示意图。
具体实施方式
以下结合附图和实施例,对本发明的实施方式作进一步描述。本发明提供了一种网络流量分析方法,应用于包括网络流量设备NTE、 网络流量分析设备NTP以及网络流量采集设备NTC的网络中,该方法如图2 所示,包括以下步骤步骤s201 、 NTP对NTC处理的数据进行流量分析,根据分析结果以及当 前NTC使用的第一采样粒度,获取第二采样粒度。步骤s202、 NTP通知NTE以及NTC根据该第二采样粒度进行采样。之后,还包括步骤步骤s203、 NTP接收NTC返回的调整后的采样粒度。 步骤s204、 NTP将该调整后的采样粒度保存为第一釆样粒度。 以下结合一个具体的应用场景,描述本发明的具体实施方式
。 网络流量采集系统中包括NTP、 NTC以及NTE。初始化阶革殳,NTP将 NTC以及NTE的采样粒度初始化为1。采样开始后,NTP流量分析可以以定 时任务的方式以特定流量分析执行周期(如以IO分钟为周期)执行,在每个 流量分析执行周期内执行一次。每次定时任务中,NTP将NTC在该特定时间 内处理存储后的数据进行深度分析加工处理。深度分析加工处理具体包括 从流量、应用、会话等角度对流量日志进行分析处理。可以统计某一时段网 络所有流量、流量TopN,所有应用、应用TopN,所有来源主机、来源主机 TopN,所有目的主机、目的主机TopN,自定义主机组、主机组TopN等。深 度分析完成后,NTP根据分析所耗时间占流量分析执行周期的百分比A调整 采样粒度,并以报文的方式下发给NTC,或者以命令的方式更改NTE的采样 比。本发明的上述网络流量分析方法中,NTP执行的处理流程如图3所示, 包括以下步骤步骤s301、 NTP初始化采样粒度并通知NTC与NTE。 步骤s302、 NTP接收NTC处理入库的数据。步骤s303、 NTP判断是否到达进行流量分析的特定时间,是则进行步骤s304,否则进行步骤s302。步骤s304、 NTP对NTC在该特定时间内处理入库后的数据进行深度分析 力口工处理。加工处理。深度分析完成后,NTP获取所耗时间占流量分析执行周期的百分 比A。以流量分析执行周期为IO分钟为例。假设一个流量分析周期内的深度 分析时,处理完所有报文的时间为5分钟,则A- (5/10) x 100% =50%。 步骤s305、 NTP根据分析结果获取调整后的釆样粒度。 具体的,NTP根据所耗时间占流量分析执行周期的百分比A,获取新的 采样粒度。例如,调整采样比的方式可以为调整后的采样粒度=当前采样 粒度》A,以当前采样粒度为10、 A-50。/。为例,则调整后的采样粒度=10x 50% =5,即釆样粒度由IO调整为5,采样比由1/10提高到1/5。另外当调整 后的采样粒度的计算结果不为整数时,将结果向上取整。如果调整后的采样 粒度计算结果为10.3,则取调整后采样粒度的值为11,即采样比为1/11。 步骤s306、 NTP将调整后的采样粒度通知NTC与NTE。 具体的,NTP可以以报文的方式将调整后的采样粒度下发给NTC,并以 命令的方式更改设备的采样粒度为调整后的采样粒度。步骤s307、NTP接收NTC返回的调整后采样粒度并保存,返回步骤s302。 具体的,NTP接收NTC返回的调整后采样粒度并保存,用于在下一次流 量中使用该NTC返回的调整后釆样粒度作为当前采样粒度,计算新的调整后 的采样粒度。本发明的上述网络流量分析方法中,NTC执行的处理流程如图4所示, 包括以下步骤步骤s401、 NTC启动,根据NTP下发的初始化采样粒度进行数据采集。 步骤s402、 NTC将采集到的数据处理入库。 步骤s403、 NTC接收NTP下发的调整后的采样粒度。 步骤s404、 NTC进行采样粒度的调整,得到调整后采样粒度。具体的,NTC收到NTP下发的采样粒度B后,与现有的采样粒度C相 比较并进行调整,存在如下2种情况(1) B ^ C,则NTC的将当前使用的采 样粒度由C调整为B,即采样比为1/B。 ( 2 ) B < C,则NTC保持采样粒度为 C不变,即采样比为1/C。步骤s405、 NTC将调整后采样粒度通知NTP,返回步骤s402。本发明的上述网络流量分析方法中,NTE执行的处理流程如图5所示, 包括以下步骤步骤s501、 NTE启动,接收NTP下发的初始化采样粒度。步骤s502、 NTE进行数据采集。步骤s503、 NTE接收NTP下发的调整后的采样粒度。步骤s504、 NTE将采样粒度调整为NTP下发的调整后的采样粒度,返回 步骤s502。具体的,对于NTE, NTE接收到更改采样比的命令后,直接更改 采样比。本发明还提供一种网络流量分析系统,其结构如图6所示,包括网络 流量分析设备NTP 10、网络流量采集设备NTC 20以及网络流量设备NTE 30。 其中网络流量分析i殳备NTP 10,用于对NTC 20处理的数据进行流量分析, 根据分析结果以及当前NTC 20使用的第 一采样粒度,获取第二采样粒度并通 知NTE 30以及NTC 20根据该第二采样粒度进行采样。另外,接收NTC 20 返回的调整后的采样粒度,将该调整后的采样粒度保存为第一采样粒度。网络流量采集设备NTC 20,用于接收NTP IO下发的第二采样粒度时, 进行采样粒度的调整,得到调整后采样粒度并将该调整后采样粒度通知NTP 10。网络流量设备NTE 30,用于使用NTP IO下发的第二采样粒度作为调整 后的采样粒度。具体的,上述网络流量分析设备NTP10进一步包括流量分析单元11,用于对NTC 20处理的数据进行流量分析;采样粒度获取单元12,用于根据流量分析单元11的分析结果以及当前 NTC 20使用的第一采样粒度,获取第二采样粒度。该采样粒度获取单元12 进一步包括处理子单元121,用于当流量分析单元11将NTC在特定时间内 处理入库后的数据进行深度分析处理后,获取分析处理所耗时间占NTP的流 量分析执行周期的百分比;获取子单元122,用于根据处理子单元121获取的 百分比以及第一采样粒度,获取第二采样粒度。通知单元13,用于通知NTE 30以及NTC 20根据采样粒度获取单元12 获取的第二采样粒度进行釆样。还包括采样粒度接收单元14,用于接收NTC 20返回的调整后的采样粒度; 采样粒度存储单元15,用于将采样粒度接收单元14接收NTC 20返回的 调整后的采样粒度保存为第 一采样粒度。具体的,上述网络流量采集设备NTC20进一步包括 接收单元21,用于接收网络流量分析设备NTP发送的第二采样粒度; 比较单元22,用于比较所述第二采样粒度与当前使用的第 一采样粒度; 调整单元23,用于当比较单元22的比较结果为第二采样粒度大于等于所述第一采样粒度时,使用所述第二采样粒度作为调整后的采样粒度;否则保持所述第 一采样粒度作为调整后的采样粒度;通知单元24,用于将调整单元23得到的调整后的采样粒度通知网络流量分析设备NTPIO。通过使用本发明提供的方法和设备,通过网络流量采集设备NTC和网络 流量分析设备NTP进行流量分析时的联动采样粒度调整,同时满足此两部分 设备的性能指标,使网络流量分析系统更加及时的反映网络状况。在网络流 量分析系统的性能指标范围内,最大限度的保存了网络流量数据,避免了流 量细节信息的损失。通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件, 但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案 本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来, 该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台网络i史备执行本发明各个实施例所述的方法。以上公开的仅为本发明的几个具体实施例,但是,本发明并非局限于此, 任何本领域的技术人员能思之的变化都应落入本发明的保护范围。
权利要求
1. 一种网络流量分析方法,应用于包括网络流量设备NTE、网络流量分析设备NTP以及网络流量采集设备NTC的网络,其特征在于,包括以下步骤NTP对NTC处理的数据进行流量分析,根据分析结果以及当前NTC使用的第一采样粒度,获取第二采样粒度;所述NTP通知NTE以及NTC根据所述第二采样粒度进行采样。
2、 如权利要求1所述网络流量分析方法,其特征在于,所述NTP对NTC 处理的数据进行流量分析,根据分析结果以及当前NTC使用的第一采样粒度, 获取第二釆样粒度的步骤具体包括取分析处理所耗时间占所述NTP流量分析执行周期的百分比;所述NTP根据所述百分比以及第一采样粒度,获取第二采样粒度。
3、 如权利要求1所述网络流量分析方法,其特征在于,所述NTP通知 NTE以及NTC根据所述第二采样粒度进行采样后,还包括所述NTP接收所述NTC返回的调整后的采样粒度; 所述NTP将所述调整后的采样粒度保存为第一采样粒度。
4、 如权利要求3所述网络流量分析方法,其特征在于,所述NTC返回 调整后的采样粒度的步骤具体包括所述NTC比较所述第二采样粒度与当前使用的第 一采样粒度; 所述第二釆样粒度大于等于所述第一釆样粒度时,所述NTC使用所述第二采样粒度作为调整后的采样粒度;否则保持所述第 一采样粒度作为调整后的采样粒度。
5、 如权利要求1所述网络流量分析方法,其特征在于,所述NTP通知 NTE以及NTC根据所述第二采样粒度进行采样后,还包括所述NTE使用所述第二采样粒度作为调整后的采样粒度。
6 、 一种网络流量分析设备NTP,应用于包括网络流量设备NTE以及网 络流量采集设备NTC的网络,其特征在于,包括流量分析单元,用于对NTC处理的数据进行流量分析; 采样粒度获取单元,用于根据所述流量分析单元的分析结果以及当前NTC使用的第 一采样粒度,获取第二采样粒度;通知单元,用于通知NTE以及NTC根据所述采样粒度获取单元获取的 第二采样粒度进行采样。
7、 如权利要求6所述网络流量分析设备NTP,其特征在于,所述采样粒 度获取单元进一步包括处理子单元,用于当所述流量分析单元将NTC在特定时间内处理入库后 的数据进行深度分析处理后,获取分析处理所耗时间占所述NTP流量分析执 行周期的百分比;获取子单元,用于根据所述处理子单元获取的百分比以及第一采样粒度, 获取第二采样粒度。
8、 如权利要求6所述网络流量分析设备NTP,其特征在于,还包括 采样粒度接收单元,用于接收所述NTC返回的调整后的釆样粒度; 采样粒度存储单元,用于将所述采样粒度接收单元接收的所述NTC返回的调整后的采样粒度保存为第 一采样粒度。
9、 一种网络流量采集设备NTC,应用于包括网络流量设备NTE以及网 络流量分析设备NTP的网络,其特征在于,包括接收单元,用于接收网络流量分析设备NTP发送的第二采样粒度; 比较单元,用于比较所述第二采样粒度与当前使用的第 一采样粒度; 调整单元,用于当所述比较单元的比较结果为第二采样粒度大于等于所述第一采样粒度时,使用所述第二采样粒度作为调整后的釆样粒度;否则保持所述第 一采样粒度作为调整后的采样粒度;通知单元,用于将所述调整单元得到的调整后的釆样粒度通知所述网络流量分析il备NTP。
全文摘要
本发明公开了一种网络流量分析方法和设备。该方法应用于包括网络流量设备NTE、网络流量分析设备NTP以及网络流量采集设备NTC的网络,包括以下步骤NTP对NTC处理的数据进行流量分析,根据分析结果以及当前NTC使用的第一采样粒度,获取第二采样粒度;所述NTP通知NTE以及NTC根据所述第二采样粒度进行采样。本发明中通过网络流量采集设备NTC和网络流量分析设备NTP进行流量分析时的联动采样粒度调整,同时满足此两部分设备的性能指标,使网络流量分析系统更加及时的反映网络状况。在网络流量分析系统的性能指标范围内,最大限度的保存了网络流量数据,避免了流量细节信息的损失。
文档编号H04L12/24GK101267349SQ20081009439
公开日2008年9月17日 申请日期2008年4月29日 优先权日2008年4月29日
发明者朱海涛, 果 钟 申请人:杭州华三通信技术有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1