专利名称：网络流量信息的记录方法以及相关装置的制作方法
技术领域：
本发明涉及计算机网络技术领域，尤其涉及一种网络流量信息的记录方法、网络 访问量排名信息的获取方法以及相关装置。
背景技术：
随着互联网业务的快速普及，通过对网络流量数据进行特征分析，来获知有价值 的点对多点的访问量排名信息，已成为研究的热点问题，例如，从网络流量中获得访问量高 的热门网站信息、或获取相互之间传输数据较多的IP地址对等。然而，由于现有存储器、 中央处理器等计算机硬件、软件的处理能力难以满足处理海量的全部网络流量数据的需 求，因此，现有的网络流量分析方案往往先在网络流量获取设备上使用抽样技术，根据预设 的抽样比例，从全部网络流量中抽取对应比例的网络流量样本(例如在预设抽样比例为 500 1时，从每500个网络报文中抽取1个网络报文)，再对抽取到的网络流量样本进行 报文字段匹配，并根据匹配结果进一步进行流向、协议、源IP地址、目的IP地址等方面的深 入统计分析。上述现有的基于抽样方案的网络流量分析技术由于难以采集到低概率的流量数 据，因此导致后续的分析处理会存在统计学方面的偏差；并且现有的基于报文字段匹配以 及对匹配结果进行统计的方案，处理较为复杂，处理所需的处理资源较多，例如要获得访问 量最高的网站时，需要统计抽取到的报文中具有相同目的地址的报文的数量，并对具有相 同目的地址的报文的数量进行排序才能够实现。
发明内容
本发明实施例提供一种网络流量信息的记录方法，用以解决现有的网络流量分析 技术精确性较低的问题。对应地，本发明实施例还提供了 一种网络流量信息的记录装置。另外，本发明实施例提供了一种网络访问量排名信息的获取方法以及一种网络访 问量排名信息的获取装置。本发明实施例提供的技术方案如下一种网络流量信息的记录方法，针对每个数据流执行确定承载该数据流的有向链路标识和地址特征值，以及该数据流的流量值，并判断是否已存在主键值为所述有向链路标识和所述地址特征值组合的记录；若判断结果为是，将已存在的记录对应的流量值修改为该已存在的记录对应的流 量值与确定出的流量值的和；若判断结果为否，则增加主键值为所述有向链路标识和所述地址特征值组合的记 录，且该记录对应的流量值为确定出的流量值。一种流量特征排名信息的获取方法，包括按照流量值对主键值为有向链路标识和地址特征值组合的所有记录进行排序；
根据排序后的记录分别对应的主键值中包含的有向链路标识和地址特征值，确定 所述有向链路标识和地址特征值对应的流量特征的排名信息。一种网络流量信息的记录装置，包括确定单元，用于针对每个数据流，确定承载该数据流的有向链路标识和地址特征 值，以及该数据流的流量值；判断单元，用于判断是否已存在主键值为确定单元确定出的向链路标识和地址特 征值组合的记录；记录修改单元，用于在判断单元的判断结果为是时，将已存在的记录对应的流量 值修改为该已存在的记录对应的流量值与确定出的流量值的和；记录增添单元，用于在判断单元的判断结果为否时，增加主键值为确定单元确定 出的有向链路标识和地址特征值组合的记录，且该记录对应的流量值为确定单元确定出的
流量值。一种流量特征排名信息的获取装置，包括排序单元，用于按照流量值对主键值为有向链路标识和地址特征值组合的所有记 录进行排序；确定单元，用于根据排序单元排序后的记录分别对应的主键值中包括的有向链路 标识和地址特征值，确定所述有向链路标识和地址特征值对应的流量特征的排名信息。本发明实施例提出的网络流量的记录方法根据每个数据流的有向链路标识、源IP 地址、目的IP地址、流量值来修改记录对应的流量值或增添新的记录，避免了现有技术仅 对抽样获得的网络报文样本进行分析而导致的分析结果不精确的问题。
图1为本发明实施例的主要实现原理流程图；图2为IP报文结构示意图；图3为本发明实施例中网络流量信息的记录装置的结构示意图；图4为本发明实施例中流量特征排名信息的获取装置的结构示意图。
具体实施例方式针对采用现有的基于抽样方案的网络流量分析技术来获取网络中点到多点访问 量信息时存在精确性不高，处理过程较为复杂的缺陷，本发明实施例提出的技术方案根据 每个数据流的流向、源IP地址、目的IP地址、流量值，来确定以上述四个属性的组合为主键 值的记录，并根据记录对应的流量值确定网络中点到多点的访问量排名信息，避免了现有 技术存在的上述缺陷，为获取点到多点访问量信息提供了可行方案。下面结合各个附图对本发明实施例技术方案的主要实现原理具体实施方式
及其 对应能够达到的有益效果进行详细的阐述。如图1所示，本发明实施例的主要实现原理流程如下步骤10，针对网络流量中的每个数据流，确定承载该数据流的有向链路标识和发 送该数据流的源IP地址，以及该数据流的流量值；步骤20，根据步骤10的确定结果，修改或增添记录，具体为判断在已有的存储结
5构中是否已存在主键值由步骤10确定出的有向链路标识和源IP地址组成的记录；若判断结果为是，将已存在的记录对应的流量值修改为该已存在的记录对应的流 量值与确定出的流量值的和；若判断结果为否，则增加主键值为由确定出的有向链路标识和源IP地址组成的 记录，且该记录对应的流量值为确定出的流量值。步骤30，根据步骤20中确定出的存储结构中的记录，获得网络中点到多点的访问 量排名信息。下面将依据本发明上述发明原理，详细介绍一个实施例来对本发明方法的主要实 现原理进行详细的阐述和说明。首先，建立以承载数据流的链路的有向链路标识Aspect与数据流的源IP地址为 键的记录表HaShMap_AS、以承载该数据流的有向链路标识Aspect与数据流的目的IP地址 为键的记录表HaShMap_AD、以承载该数据流的有向链路标识Aspect、数据流的源IP地址和 目的IP地址为键的记录表HaShMap_ASD，上述承载该数据流的有向链路标识Aspect可以为 承载数据流的不同网络之间的链路的标识信息信息，上述不同网络可以但不限为不同运营 商下属的骨干网，例如，承载在运营商A下属的网络1与运营商B下属的网络2之间第X链 路上的运营商A下属的网络1中的第一 IP地址发送给运营商B下属的网络2中的第二 IP 地址的数据流对应的有向链路标识可以表示为运营商A网络1-运营商B网络2-链路X。从互联网骨干网之间的互联光纤链路上采用分光复制方式，获得全部网络流量的 副本，由于IP地址之间互相通信产生的数据流通常包含一系列源IP地址和目的IP地址相 同的数据包，因此可以在流量获取设备中进行初步处理，将原始网络报文处理为源IP地址 与目的IP地址之间的数据流形式。进一步，针对全部网络流量中的每个数据流，确定承载该数据流的有向链路标识 和发送该数据流的源IP地址，以及该数据流的流量值，例如将获取到的源IP地址与目的IP 地址之间的数据流处理为多元组形式的数据结构PACKET，数据结构中至少包括承载该数据 流的有向链路标识、源IP地址、目的IP地址、流量值四个属性，其中流量值可以为数据流包 含的字节数或数据流包含的数据包数、以及其他可以反映数据流的流量特性的参数值。即 数据结构PACKET可以表示为PACKET (有向链路标识Aspect，源IP地址srcIP，目的IP地 址dstIP，字节数bytes)或PACKET (有向链路标识Aspect，源IP地址srcIP，目的IP地址 dstIP,数据包数pkts)，其中字节数bytes属性值为同属于一个数据流的所有数据包的内 容所占存储空间大小的总和，IP报文结构请参照附图2，该属性值可以通过求取同属于一 个数据流的每个数据包中的16位总长度字段中数值的总和来得到；数据包数pkts属性值 为同属于一个数据流的所有数据包的数量的总和，也可以将数据流处理为同时包含字节数 和数据包数的5元组(流向Aspect，源IP地址srcIP，目的IP地址dstIP，字节数bytes， 数据包数pkts)。在获得数据流对应的多元组后，可以丢弃数据流，将数据流处理为多元组 可以显著的降低存储数据流信息所需的存储空间。然后，根据上述处理得到的多元组，来确定记录表中的记录值，由于全部网络流量 可以被处理为至少一个多元组，对于每个多元组而言，根据该多元组确定记录表中记录值 的处理过程都是相似的，因此下面以数据流对应的多元组PACKET (运营商A网络1-运营商 B 网络 2-链路 X，201. 201. 201. 201,202. 202. 202. 202，IOOObytes, IOOpkts)，记录表中记录对应的流量值为字节数为例来介绍确定记录表中记录值的详细过程根据上述多元组结构中的有向链路标识“运营商A网络1-运营商B网络2-链路 X”和源IP属性值“201. 201. 201. 201”，在记录表HashMap_AS中查找键值为“运营商A网络 1-运营商B网络2-链路X”-“201. 201. 201. 201”的记录，若已存在记录RECORD (IOObytes)， 则根据多元组PACKET中的字节数属性值lOOObytes，将记录RECORD中的字节数属性值 修改为该记录原有的字节数属性值IOObytes与PACKET中字节数属性值IOOObytes之和 IlOObytes 修改后的记录为 RECORD(IlOObytes)；若不存在记录，则在记录表HaShMap_AS中添加键值为“运营商A网络1_运营商B 网络2-链路X”- “201. 201. 201. 201”的记录，该记录的字节数属性值为PACKET中的字节 数属性值lOOObytes，即新添加的记录为RECORD(IOOObytes)；若记录中的流量值为数据包数，则上述根据多元组确定记录表中的记录对应的流 量值的过程为根据上述多元组结构中的流向属性值“运营商A网络1-运营商B网络2-链 路X”和源IP属性值“201. 201. 201. 201”，在记录表HashMap_AS中查找键值为“运营商A网 络1-运营商B网络2-链路X”-“201. 201. 201. 201”的记录，若已存在记录RECORD (IOpkts)， 则根据多元组PACKET中的数据包数属性值lOOpkts，将记录RECORD中的数据包属性值 修改为该记录原有的数据包数属性值IOpkts与PACKET中数据包数属性值IOOpkts之和 llOpkts，修改后的记录为 RECORD(IlOpkts)；若不存在记录，则在记录表HaShMap_AS中添加键值为“运营商A网络1_运营商B 网络2-链路X”- “201. 201. 201. 201”的记录，该记录的数据包数属性值为PACKET中的数 据包数属性值lOObytes，即新添加的记录为RECORD(IOOpkts)；从以上描述可知，由于记录对应的流量值为字节数或数据包数时，根据数据流的 流量值来修改已存在记录对应的流量值或设置新增加的记录的流量值的处理过程是相似 的，因此以下将仅以流量值为字节数的情况对实施过程进行介绍。根据上述多元组结构中的有向链路标识“运营商A网络1-运营商B网络2-链路X” 和目的IP属性值“202. 202. 202. 202”，在记录表HashMap AD中查找键值为“运营商A网络 1-运营商B网络2-链路X”-“202. 202. 202. 202”的记录，若已存在记录RECORD (IOObytes)， 则根据多元组PACKET中的字节数属性值lOOObytes，将记录RECORD中的字节数属性值 修改为该记录原有的字节数属性值IOObytes与PACKET中字节数属性值lOOObytes之和 llOObytes，修改后的记录为 RECORD(IlOObytes)；若不存在记录，则在记录表HaShMap_AD中添加键值为“运营商A网络1_运营商B 网络2-链路X” - “202. 202. 202. 202”的记录，该记录的字节数属性值为PACKET中的字节 数属性值lOOObytes，即新添加的记录为RECORD(IOOObytes)。同理，根据上述多元组结构中的流向属性值“运营商A网络1-运营商B网络2-链 路X”、源IP属性值“201. 201. 201. 201”和目的IP属性值“202. 202. 202. 202”，在记录表 HashMap_ASD中查找键值为“运营商A网络1-运营商B网络2-链路Χ”-“201· 201. 201. 20 1”-“202. 202. 202. 202”的记录，若已存在记录RECORD (lOObytes)，则根据多元组PACKET中 的字节数属性值lOOObytes，将记录RECORD中的字节数属性值修改为该记录原有的字节数 属性值lOObytes与PACKET中字节数属性值lOOObytes之和llOObytes，修改后的记录为 RECORD(IlOObytes)；
若不存在记录，则在记录表HaShMap_ASD中添加键值为“运营商A网络1_运营商 B网络2-链路X”- “201. 201. 201. 201”- “202. 202. 202. 202”的记录，该记录的字节数属 性值为PACKET中的字节数属性值lOOObytes，即新添加的记录为RECORD(IOOObytes)。采用上述方法，确定记录表HashMap_AS、HashMap_AD、HashMap_ASD中的记录值 后，可以基于确定出的上述记录表来进行网络流量分析，例如，获取通过一条链路接收网络 流量最多的目的IP地址等，以下介绍基于上述确定出的记录表来确定网络中点到多点的 访问量排名信息的方案，具体过程如下获取通过一条链路接收数据量多少的目的IP地址的排名信息的过程为，按照流 量值从高到低的顺序对记录表HaShMap_AD中的所有记录进行排序，根据排序后得到的记 录分别对应的目的IP地址键值，即可获得通过一条链路接收数据量多少的目的IP地址 的排名信息。例如，请参照表1，记录表HashMap_AD中包含3个记录，分别为RECORDU REC0RD2、REC0RD3，其中，表 1
记录序号键值记录值RECORD1"运营商A网络1-运营商B网络 2-链路 X” - "202.202.202.202"IlOObytesRECORD2“运营商A网络1-运营商C网络 2-链路 Y” - "208.208.208.208"12000bytesRECORD3“运营商B网络1-运营商C网络 2-链路 Z，’ - "211.211.211.211"500bytes按照流量值从高到低的顺序对记录表HaShMap_AD中的所有记录进行排序后，获 得的记录序列为{REC0RD2，RECORD 1, REC0RD3}，根据该序列中第一位的REC0RD2对应的主 键值，可获知目的IP地址“208. 208. 208. 208”在运营商A网络1到运营商C网络2的链路 Y上接收的数据量最多；其次是REC0RD1对应的目的IP地址“202. 202. 202. 202”在运营商 A网络1到运营商B网络2的链路X上接收的数据量，然后是REC0RD3对应的目的IP地址 “211. 211. 211. 211”在运营商B网络到运营商C网络2的链路Z上接收的数据量。获取通过一条链路发送数据量多少的源IP地址的排名信息的过程为，按照流量 值从高到低的顺序对记录表HaShMap_AS中的所有记录进行排序，根据排序后得到的记录 分别对应的源IP地址键值，即可获得通过一条链路发送网络流量多少的源IP地址的排名 信息。例如，请参照表2，记录表HashMap_AS中包含3个记录，分别为REC0RD1、REC0RD2、 REC0RD3，其中，表2 按照流量值从高到低的顺序对记录表HaShMap_AS中的所有记录进行排序后，获 得的记录序列为{REC0RD2，RECORD 1, REC0RD3}，根据该序列中排在第一位的REC0RD2对应 的主键值，可以获知源IP地址“215. 215. 215. 215”在运营商A的网络1到运营商C的网络 2的链路Y上发送的数据量最多，其次是REC0RD1对应的源IP地址“212. 212. 212. 212”在 运营商A的网络1到运营商B的网络2的链路X上发送的数据量最多，然后是REC0RD3对 应的源IP地址“218. 218. 218. 218”在运营商B的网络1到运营商C网络2的链路Z上发 送的数据量最多。获取通过一条链路传输网络流量多少的源IP地址和目的IP地址对的排名信息的 过程为，按照流量值从高到低的顺序对记录表HaShMap_ASD中的所有记录进行排序，根据 排序后得到的记录分别对应的主键值中的源IP地址和目的IP地址，即可获得通过一条链 路相互之间传输网络流量多少的源IP地址和目的IP地址对的排名信息。例如，请参照表 3，记录表HashMap_ASD中包含3个记录，分别为RECORD 1、REC0RD2、REC0RD3，其中，表3 按照流量值从高到低的顺序对记录表HashMap ASD中的所有记录进行排序后，获 得记录序列为{REC0RD2，RECORD 1, REC0RD3}，根据该序列中第一位的REC0RD2对应的主键 值，可获知源IP地址“215. 215. 215. 215和目的IP地址“208. 208. 208. 208”对在运营商A的网络1到运营商C的网络2的链路Y上传输的数据量最多，其次是REC0RD1对应的源IP 地址“212. 212. 212. 212”和目的IP地址“202. 202. 202. 202”在运营商A的网络1到运营商 B的网络2的链路X上传输的数据量，然后是REC0RD3对应的源IP地址“218. 218. 218. 218” 和目的IP地址“211. 211. 211. 211”在运营商B的网络1到运营商C的网络2的链路Z上
传输的数据量。以上是以记录表HashMap_AS、HashMap_AD、HashMap_ASD中记录对应的流量值 为字节数为例，介绍获取点到多点排名信息的方案，在记录表HaShMap_AS、HashMap_AD, HaShMap_ASD中的记录对应的流量值为数据包数时，获取点到多点排名信息的方案与上述 方案相类似，在这里不再详述。另外，除了采用上述按照流量值从高到低的顺序对记录表中的记录进行排序之 外，也可以采用按照流量值从低到高的顺序进行排序，具体采用的排序方案可以依照需求 而定。本发明实施例提出的网络流量信息的记录方法，根据每个数据流的有向链路标 识、源IP地址、目的IP地址、流量值信息来修改记录对应的流量值或增添新的记录；并进一 步提出根据对已存在的记录对应的流量值进行排序来获得访问量排名信息，避免了现有技 术仅对抽样获得的网络报文样本进行分析而导致的分析结果不精确的问题；另外，由于记 录表中的记录或记录值是根据数据流的上述信息更新的，可以直接根据记录表的记录值来 获取网络访问量排名信息，从而简化了现有技术获取网络访问量排名信息时，对预定时间 段的大量报文样本进行解析以及对解析结果进行统计所需的繁琐处理步骤，从而减少了所 需占用的处理资源。相应地，请参照附图3，本发明实施例还提供了一种网络流量信息的记录装置，包 括确定单元301、判断单元302、记录修改单元303和记录增添单元304，其中，确定单元301，用于针对每个数据流，确定承载该数据流的有向链路标识和地址特 征值，以及该数据流的流量值；判断单元302，用于判断是否已存在主键值为确定单元301确定出的向链路标识 和地址特征值组合的记录；记录修改单元303，用于在判断单元302的判断结果为是时，将已存在的记录对应 的流量值修改为该已存在的记录对应的流量值与确定出的流量值的和；记录增添单元304，用于在判断单元302的判断结果为否时，增加主键值为确定单 元确定出的有向链路标识和地址特征值组合的记录，且该记录对应的流量值为确定单元确 定出的流量值。其中上述确定单元301针对每个数据流，确定的地址特征值为发送该数据流的源 IP地址、接收该数据流的目的IP地址、或发送该数据流的源IP地址和接收该数据流的目的 IP地址的组合。请参照附图4，本发明实施例还提出了一种用于基于附图3中的网络流量信息的 记录装置确定出的记录来获取流量特征排名信息的流量特征排名信息的获取装置，该装置 包括排序单元401和确定单元402，其中，排序单元401，用于按照流量值对主键值为有向链路标识和地址特征值组合的所 有记录进行排序；
确定单元402，用于根据排序单元401排序后的记录分别对应的主键值中包括的 有向链路标识和地址特征值，确定所述有向链路标识和地址特征值对应的流量特征的排名 fn息ο显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精 神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围 之内，则本发明也意图包含这些改动和变型在内。
权利要求
一种网络流量信息的记录方法，其特征在于，针对每个数据流执行确定承载该数据流的有向链路标识和地址特征值，以及该数据流的流量值，并判断是否已存在主键值为所述有向链路标识和所述地址特征值组合的记录；若判断结果为是，将已存在的记录对应的流量值修改为该已存在的记录对应的流量值与确定出的流量值的和；若判断结果为否，则增加主键值为所述有向链路标识和所述地址特征值组合的记录，且该记录对应的流量值为确定出的流量值。
2.如权利要求1所述的方法，其特征在于，所述地址特征值为发送该数据流的源IP地 址、接收该数据流的目的IP地址、或发送该数据流的源IP地址和接收该数据流的目的IP 地址的组合。
3.如权利要求1所述的方法，其特征在于，所述流量值为字节数或数据包数。
4.一种流量特征排名信息的获取方法，其特征在于，包括按照流量值对主键值为有向链路标识和地址特征值组合的所有记录进行排序； 根据排序后的记录分别对应的主键值中包含的有向链路标识和地址特征值，确定所述 有向链路标识和地址特征值对应的流量特征的排名信息。
5.如权利要求4所述的方法，其特征在于，所述地址特征值为发送该数据流的源IP地 址、接收该数据流的目的IP地址、或发送该数据流的源IP地址和接收该数据流的目的IP 地址的组合。
6.如权利要求5所述的方法，其特征在于，有向链路标识和发送该数据流的源IP地址 对应的流量特征排名信息为源IP地址在对应链路上发送数据流量的排名信息；有向链路标识和接收该数据流的目的IP地址对应的流量特征排名信息为目的IP地址 在对应链路上接收数据量多少的排名信息；有向链路标识、发送该数据流的源IP地址和接收该数据流的目的IP地址的组合对应 的流量特征排名信息为源IP地址和目的IP地址对在对应链路上传输数据量多少的排名信 肩、O
7.如权利要求4所述的方法，其特征在于，所述流量值为字节数或数据包数。
8.—种网络流量信息的记录装置，其特征在于，包括确定单元，用于针对每个数据流，确定承载该数据流的有向链路标识和地址特征值，以 及该数据流的流量值；判断单元，用于判断是否已存在主键值为确定单元确定出的向链路标识和地址特征值 组合的记录；记录修改单元，用于在判断单元的判断结果为是时，将已存在的记录对应的流量值修 改为该已存在的记录对应的流量值与确定出的流量值的和；记录增添单元，用于在判断单元的判断结果为否时，增加主键值为确定单元确定出的 有向链路标识和地址特征值组合的记录，且该记录对应的流量值为确定单元确定出的流量值。
9.如权利要求8所述的装置，其特征在于，所述确定单元针对每个数据流，确定出的地 址特征值为发送该数据流的源IP地址、接收该数据流的目的IP地址、或发送该数据流的源 IP地址和接收该数据流的目的IP地址的组合。
10. 一种流量特征排名信息的获取装置，其特征在于，包括排序单元，用于按照流量值对主键值为有向链路标识和地址特征值组合的所有记录进 行排序；确定单元，用于根据排序单元排序后的记录分别对应的主键值中包括的有向链路标识 和地址特征值，确定所述有向链路标识和地址特征值对应的流量特征的排名信息。
全文摘要
本发明公开了一种网络流量信息的记录方法以及相关装置，用以解决现有的网络流量分析技术精确性较低的问题。该方法包括确定承载该数据流的有向链路标识和发送该数据流的源IP地址，以及该数据流的流量值，并判断是否已存在主键值由确定出的有向链路标识和源IP地址组成的记录；若判断结果为是，将已存在的记录对应的流量值修改为该已存在的记录对应的流量值与确定出的流量值的和；若判断结果为否，则增加主键值为由确定出的有向链路标识和源IP地址组成的记录，且该记录对应的流量值为确定出的流量值。对应地，本发明还公开了一种网络访问量排名信息的获取方法以及相关装置。
文档编号H04L12/56GK101888303SQ20091005140
公开日2010年11月17日 申请日期2009年5月13日 优先权日2009年5月13日
发明者俞海腾, 步彤, 王卫, 王海峰 申请人:中国移动通信集团上海有限公司;南京联创科技股份有限公司