专利名称：一种广域网p2p流量监控方法及系统的制作方法
技术领域：
本发明涉及网络技术领域，尤其涉及一种广域网P2P流量监控方法及系统。
背景技术：
网络监控系统，目前的应用日益广泛，是网络安全防护的重要手段。网络监控系统 通过对网络状况的实时监控，达到对于特定安全事件的发现、网络资源的调配、网络流量的 管理等多方面的安全目的，是实现IT管理和控制的有效方法。随着网络的发展，目前的网络环境当中出现了越来越多的P2P类应用。P2P网络结 构及应用能够提高网络资源的利用率，提高资源共享率，是未来网络发展的一大趋势。但是 由于缺乏统一的标准和使用规范，P2P应用的出现也带来很多的弊端，这主要体现在对于网 络资源的滥用上，比如基于P2P架构的文件共享、视频播放等等应用，占用带宽过大，严重 影响其他正常网络业务的使用等等。随着P2P类的应用所带来的弊端日益严重，很多的网络安全产品考虑不同的措 施，希望对于P2P应用进行有效管理。目前对于P2P流量的识别，采用诸如角色识别技术 及管道流量技术等，只适用于微观网络当中。在广域网环境下，由海量的流量日志带来的存 储、处理等问题，使得传统的是识别技术变得很难应用甚至已经不可行。例如某些技术，统计网络当中节点并发的双向链接数量作为P2P应用的特征之 一。在广域网环境中，连接特征常常湮没在海量的流量数据当中，很难有效识别。又如某些 技术采用节点上下行流量对比技术，进行P2P应用的识别，也由于广域网环境当中流量模 式的不可预知性，以及由此带来的存储问题变得无法实施。网络规模的快速发展，需要提高宏观网络对各种安全事件的及时检测能力、应急 反应能力以及总体控制能力，需要进行广域网环境下的网络监控。有鉴于此，需要提供一种 针对广域网P2P流量的监控技术，以对广域网环境当中的P2P流量进行有效地识别和统计， 提高网络监控系统对于网络状况的准确把握，保证网络资源的最佳利用。
发明内容
本发明所要解决的技术问题是在于需要提供一种广域网P2P流量监控方法及系 统，以对广域网环境当中的P2P流量进行有效地识别和监控。为了解决上述技术问题，本发明首先提供了一种广域网P2P流量监控方法，包括以预设的时间间隔捕获网络报文，获得若干个时间间隔内的流量数据；依据协议类型以及IP地址及端口对比技术，对所述流量数据中涉及的网络节点 进行筛选，获得一筛选结果；计算当前时间间隔内，以所述筛选结果中的IP地址为源IP或目的IP的数据流量 并进行累加，获得一筛选流量；对所述若干个时间间隔内的数据流量，采用端口识别技术进行流量过滤，获得过 滤流量；
对所述筛选流量及过滤流量进行对比合并，获得P2P流量；根据所述若干个时间间隔获得的P2P流量生成监控结果。优选地，依据所述协议类型对所述网络节点进行所述筛选时，统计所述流量数据 中各连接所使用的传输层协议，保留相同源IP及目的IP之间同时有传输控制协议连接及 用户数据报协议连接的IP地址。优选地，依据所述IP地址及端口对比技术对所述网络节点进行所述筛选时，统计 所述源IP发送给不同所述目的IP的连接数量以及连接所使用的目的端口数量，保留所述 端口数量与所述连接数量的比值处于预设比值范围之内的源IP。优选地，根据所述筛选结果中源IP所在的连接，在所述若干个时间间隔内的总流 量以及连接持续时间，计算所述筛选结果中源IP所在的连接在所述当前时间间隔内的数
据流量。优选地，将所述筛选流量及过滤流量进行所述对比合并时，对于重复的流量只统 计一次。为了解决上述技术问题，本发明还提供了一种广域网P2P流量监控系统，包括采集模块，用于以预设的时间间隔捕获网络报文，获得若干个时间间隔内的流量 数据；筛选模块，与所述采集模块相连，用于依据协议类型以及IP地址及端口对比技 术，对所述流量数据中涉及的网络节点进行筛选，获得一筛选结果累加模块，与所述筛选模块相连，用于计算当前时间间隔内，以所述筛选结果中的 IP地址为源IP或目的IP的数据流量并进行累加，获得一筛选流量；分析模块，与所述采集模块相连，用于对所述若干个时间间隔内的数据流量，采用 端口识别技术进行流量过滤，获得过滤流量；统计模块，与所述累加模块及分析模块相连，用于对所述筛选流量及过滤流量进 行对比合并，获得P2P流量；监控模块，与所述统计模块相连，用于根据所述若干个时间间隔获得的P2P流量 生成监控结果。优选地，所述筛选模块，依据所述协议类型对所述网络节点进行所述筛选时，统计 所述流量数据中各连接所使用的传输层协议，保留相同源IP及目的IP之间同时有传输控 制协议连接及用户数据报协议连接的IP地址。优选地，所述筛选模块，依据所述IP地址及端口对比技术对所述网络节点进行所 述筛选时，统计所述源IP发送给不同所述目的IP的连接数量以及连接所使用的目的端口 数量，保留所述端口数量与所述连接数量的比值处于预设比值范围之内的源IP。优选地，所述累加模块，根据所述筛选结果中源IP所在的连接，在所述若干个时 间间隔内的总流量以及连接持续时间，计算所述筛选结果中源IP所在的连接在所述当前 时间间隔内的数据流量。优选地，所述统计模块，对所述筛选流量及过滤流量进行所述对比合并时，对于重 复的流量只统计一次。与现有技术相比，本发明在广域网环境下，通过对实际流量进行采集和分析，实现 了对其中的P2P应用进行识别和监控。本发明解决了局域网中细粒度的P2P应用流量识别统计技术在广域网中的不适用问题，融合传统P2P识别技术对广域网环境下进行P2P流量 监控，具有高效准确等优点。
图1是本发明广域网P2P流量监控方法实施例的流程示意图。图2是本发明中一监控结果示意图。图3是本发明广域网P2P流量监控系统实施例的组成示意图。
具体实施例方式以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用 技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。图1为本发明广域网P2P流量监控方法实施例的流程示意图。如图1所示，该方 法实施例主要包括如下步骤步骤S110，以预设的时间间隔捕获网络报文，获得若干个时间间隔内的流量数 据；步骤S120，依据协议类型以及IP地址及端口(IP、port)对比技术，对每个时间间 隔内的流量数据中涉及的网络节点进行筛选，获得一筛选结果，该筛选结果中包含有筛选 出的若干IP地址，这些IP地址即为进行P2P流量分析的对象；步骤S130，计算当前时间间隔内，以筛选结果中的IP地址为源IP或目的IP的数
据流量并进行累加，获得一筛选流量；步骤S140，对该若干个时间间隔内的数据流量，采用端口识别技术进行流量过滤， 获得过滤流量；步骤S150，对该筛选流量及过滤流量进行对比合并，获得P2P流量；步骤S160，根据该若干个时间间隔获得的P2P流量生成监控结果，并按照预定的 显示方式将该监控结果显示给管理员或用户。上述步骤S120，也即依据流量数据中使用的连接协议的类型以及使用的端口，对 该数据流量中所有IP地址进行筛选，获得该筛选结果。以表1所示样本说明上述步骤S120 中对流量数据所进行的网络节点筛选。表1中的流量数据样本为采用标准Netflow输出的 数据，样本如表1所示表 1
6 进行节点筛选时，关注的字段包括每个报文所使用的传输层协议、该报文发送的 源IP、目的IP、源端口、目的端口、连接持续时间和字节数。图1所示方法实施例中，从表1 所示的流量数据中得到如表2所示的筛选结果表2 表2中，流量的单位为KB，持续时间的单位为S。在进行节点筛选时首先统计流量数据中各连接所使用的传输层协议类型，判断在所有数据流量的IP 地址当中是否有相同的源IP及目的IP之间同时有传输控制协议(TCP)连接及用户数据报 协议(UDP)连接存在。如果有则保留，并丢弃不满足此条件的IP地址。例如表2中，源IP 20. 115. 16. 172 向目的 IP202. 102. 224. 136 及 169. 20. 108. 159 分别都有 TCP 连接及 UDP 连 接存在，此时保留这样的源IP地址。随后进行IP地址及端口数量的对比统计。分别统计上述筛选出的源IP发送给 不同目的IP的连接数量，以及这些连接当中所使用的目的端口数量。若端口数量与连接 数量的比值处于预先设定的比值范围之内，则保留该源IP地址，否则将该IP地址排除。 例如表2中源IP 20. 115. 16. 172的4个连接当中使用了 3个不同的目的端口，比值为 0. 75。假如预先设定的比值范围是(0. 5-1)，则保留20. 115. 16. 172这一源IP地址，并且该 20. 115. 16. 172IP地址即为前述步骤S120中的筛选结果。上述步骤S130中，根据筛选结果中源IP所在的连接在该若干个时间间隔内的总 流量以及连接持续时间，计算该连接在当前时间间隔内的流量。如果某连接的持续时间小 于等于一个时间间隔，则直接将该连接的流量值以进行累加，如果某连接的持续时间大于 一个时间间隔，则根据该连接上的总流量及其持续时间，获得一个时间间隔内的流量值以 进行累加。沿用表2所示的筛选结果，表3示出了筛选结果中的IP地址为源IP或目的IP 的连接表 3 表3中，流量的单位为KB，持续时间的单位为S。假定预先设定的时间间隔为1分钟，则连接1、2、4、5处于一个时间间隔之内，则直 接记录其流量值。对于连接3，其持续时间为30分钟，因此计算其在当前时间间隔内的数据 流量为8467. 19/30 = 282. 24KB (以连接上的总流量在每个时间间隔的平均值，作为该连接 当前时间间隔内的数据流量；在其它实施例中，也可采用连接上的总流量在每个时间间隔 的其它统计值作为该连接当前时间间隔内的数据流量)，据此，统计出的筛选结果总流量为 56. 99+64. 87+282. 24+0. 64 = 404. 74KB。上述步骤S140中，采用端口识别技术进行流量过滤，可以采用现有技术中的端口 识别技术，对该若干个时间间隔内的流量数据进行过滤，获得符合端口特征的数据流量，即 为过滤流量。比如一般BT的默认端口特征为6881-6890，电驴的端口特征为4672，获得的 过滤流量如表4所示表 4 表4中，流量的单位为KB，持续时间的单位为S。上述步骤S150中，将筛选流量及过滤流量进行对比，对于重复的流量只统计一 次，以免造成重复统计。比如对于过滤流量而言，排除已经统计在筛选流量中的部分，然后 进行合并获得P2P流量信息，也即对于过滤流量而言，对于已经统计在筛选流量中的部分， 应该去掉。或者对于筛选流量而言，应该去掉已经统计在过滤流量中的部分。对比表2所示的筛选流量以及表4所示的过滤流量，发现表2中的记录3与表4 中记录3是一样的，因此保留表2中的记录3的流量的话，就需要去掉表4中的记录3的流 量，据此得出的P2P流量为404. 74+577. 84+1354. 87/2 = 1660 (KB)。上述步骤S160中，预设的显示方式为柱状图。根据若干个时间间隔统计得出的 P2P流量信息生成的监控结果，如图2所示。图3是本发明广域网P2P流量监控系统实施例的组成示意图。请参考图1所示的 本发明广域网P2P流量监控方法实施例，图3所示的系统实施例主要包括采集模块310、 筛选模块320、累加模块330、分析模块340、统计模块350以及监控模块360，其中采集模块310，用于以预设的时间间隔捕获网络报文，获得若干个时间间隔内的流
量数据；筛选模块320，与该采集模块310相连，用于依据协议类型以及(IP、p0rt)对比技 术，对流量数据中涉及的网络节点进行筛选，获得一筛选结果，该筛选结果中包含有筛选出 的若干IP地址；
9
累加模块330，与该筛选模块320相连，用于计算当前时间间隔内，以筛选结果中 的IP地址为源IP或目的IP的数据流量，并进行累加，获得一筛选流量；分析模块340，与该采集模块310相连，用于对该若干个时间间隔内的数据流量， 采用端口识别技术进行流量过滤，获得过滤流量；统计模块350，与该累加模块330及分析模块340相连，用于对该筛选流量及过滤 流量进行对比合并，获得P2P流量；监控模块360，与该统计模块350相连，用于根据该若干个时间间隔统计得出的 P2P流量信息生成监控结果，并按照预定的显示方式将该监控结果显示给管理员或用户。上述筛选模块320，依据协议类型对网络节点进行筛选时，统计流量数据中各连接 所使用的传输层协议，保留相同源IP及目的IP之间同时有TCP连接及UDP连接的IP地址。上述筛选模块320，依据IP地址及端口对比技术对网络节点进行筛选时，统计源 IP发送给不同目的IP的连接数量以及连接所使用的目的端口数量，保留端口数量与连接 数量的比值处于预设比值范围之内的源IP。上述累加模块330，根据筛选结果中源IP所在的连接，在若干个时间间隔内的总 流量以及连接持续时间，计算筛选结果中源IP所在的连接在当前时间间隔内的数据流量。上述统计模块350，对筛选流量及过滤流量进行对比合并时，对于重复的流量只统 计一次，以避免造成重复统计。本发明融合了传统的基于端口的识别技术与流量识别技术，根据实际捕获的网络 报文中携带的特征进行识别，进而在一定程度上实现广域网环境下对于P2P应用的识别， 并在P2P应用识别基础之上利用所采集的流量数据进行总体P2P类应用的流量统计，最后 上报给用户或管理员。本发明可以真实反映当前广域网环境下P2P类应用流量状况，为网 络监控系统提供对于P2P类应用管理的保障。本发明解决了传统网络产品中对于P2P类应用采用端口识别带来的不准确性，以 及微观网络环境中进行P2P流量监控采用技术在广域网环境中的不适用性的技术难题。在 保证广域网环境下海量数据处理性能的前提下，在一定程度上实现了对于P2P类应用流量 的有效监控，为用户或管理人员提供实时准确的P2P流量信息，有助于管理系统或管理人 员对当前网络状况的准确把握及合理的应对突发的网络事件。本发明具有良好的实时性和 准确性，可广泛应用于宏观网络监控产品中。虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采 用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本 发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化， 但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。
权利要求
一种广域网P2P流量监控方法，其特征在于，包括以预设的时间间隔捕获网络报文，获得若干个时间间隔内的流量数据；依据协议类型以及IP地址及端口对比技术，对所述流量数据中涉及的网络节点进行筛选，获得一筛选结果；计算当前时间间隔内，以所述筛选结果中的IP地址为源IP或目的IP的数据流量并进行累加，获得一筛选流量；对所述若干个时间间隔内的数据流量，采用端口识别技术进行流量过滤，获得过滤流量；对所述筛选流量及过滤流量进行对比合并，获得P2P流量；根据所述若干个时间间隔获得的P2P流量生成监控结果。
2.如权利要求1所述的方法，其特征在于依据所述协议类型对所述网络节点进行所述筛选时，统计所述流量数据中各连接所使 用的传输层协议，保留相同源IP及目的IP之间同时有传输控制协议连接及用户数据报协 议连接的IP地址。
3.如权利要求1所述的方法，其特征在于依据所述IP地址及端口对比技术对所述网络节点进行所述筛选时，统计所述源IP发 送给不同所述目的IP的连接数量以及连接所使用的目的端口数量，保留所述端口数量与 所述连接数量的比值处于预设比值范围之内的源IP。
4.如权利要求1所述的方法，其特征在于根据所述筛选结果中源IP所在的连接，在所述若干个时间间隔内的总流量以及连接 持续时间，计算所述筛选结果中源IP所在的连接在所述当前时间间隔内的数据流量。
5.如权利要求1所述的方法，其特征在于将所述筛选流量及过滤流量进行所述对比合并时，对于重复的流量只统计一次。
6.一种广域网P2P流量监控系统，其特征在于，包括采集模块，用于以预设的时间间隔捕获网络报文，获得若干个时间间隔内的流量数据；筛选模块，与所述采集模块相连，用于依据协议类型以及IP地址及端口对比技术，对 所述流量数据中涉及的网络节点进行筛选，获得一筛选结果累加模块，与所述筛选模块相连，用于计算当前时间间隔内，以所述筛选结果中的IP 地址为源IP或目的IP的数据流量并进行累加，获得一筛选流量；分析模块，与所述采集模块相连，用于对所述若干个时间间隔内的数据流量，采用端口 识别技术进行流量过滤，获得过滤流量；统计模块，与所述累加模块及分析模块相连，用于对所述筛选流量及过滤流量进行对 比合并，获得P2P流量；监控模块，与所述统计模块相连，用于根据所述若干个时间间隔获得的P2P流量生成 监控结果。
7.如权利要求6所述的系统，其特征在于所述筛选模块，依据所述协议类型对所述网络节点进行所述筛选时，统计所述流量数 据中各连接所使用的传输层协议，保留相同源IP及目的IP之间同时有传输控制协议连接及用户数据报协议连接的IP地址。
8.如权利要求1所述的系统，其特征在于所述筛选模块，依据所述IP地址及端口对比技术对所述网络节点进行所述筛选时，统 计所述源IP发送给不同所述目的IP的连接数量以及连接所使用的目的端口数量，保留所 述端口数量与所述连接数量的比值处于预设比值范围之内的源IP。
9.如权利要求6所述的系统，其特征在于所述累加模块，根据所述筛选结果中源IP所在的连接，在所述若干个时间间隔内的总 流量以及连接持续时间，计算所述筛选结果中源IP所在的连接在所述当前时间间隔内的数据流量。
10.如权利要求6所述的系统，其特征在于所述统计模块，对所述筛选流量及过滤流量进行所述对比合并时，对于重复的流量只 统计一次。全文摘要
本发明公开了一种广域网P2P流量监控方法及系统，以对广域网环境当中的P2P流量进行有效地识别和监控。其中该方法包括捕获网络报文，获得若干个时间间隔内的流量数据；依据协议类型以及IP地址及端口对比技术，对流量数据中的网络节点进行筛选，获得一筛选结果；计算当前时间间隔内，以筛选结果中的IP地址为源IP或目的IP的数据流量并进行累加，获得一筛选流量；对若干个时间间隔内的数据流量，采用端口识别技术进行流量过滤，获得过滤流量；对筛选流量及过滤流量进行对比合并，获得P2P流量；根据若干个时间间隔获得的P2P流量生成监控结果。本发明通过对实际流量进行采集和分析，实现了对其中的P2P应用进行识别和监控。
文档编号H04L29/08GK101902365SQ200910084788
公开日2010年12月1日 申请日期2009年5月26日 优先权日2009年5月26日
发明者孙海波 申请人:北京启明星辰信息技术股份有限公司;北京启明星辰信息安全技术有限公司