专利名称：一种基于流量特征分析的网络中间节点缓存优化方法
技术领域：
本发明属于计算机网络通信领域，具体涉及一种基于流量特征分析的网络中间节点缓存优化方法。
背景技术：
网络中间节点缓存是一种非常传统的用以解决网络资源不足的方法，通过将可能会被重复访问的数据缓存在网络中间节点中，可以很大程度上减轻网络负载，合理利用网络资源从而得到更好地网络服务质量。就传统的网络中间节点缓存策略而言，其设计没有符合中间节点编程透明性的重要原则，一般的设计模式都是针对于某一项已知的用户层协议规则进行相应的设计。然而，随着网络应用的爆炸式发展，网络当中存在了大量的私有协议以及公共协议的协议复用情况，这样导致传统的网络中间节点缓存策略无法覆盖目前数量众多的网络应用，其相应的 效果也大打折扣。流量特征分析技术在信息安全领域已经有非常多的应用与研究，从深度包解析的角度而言，目前已经提出了自动的生成协议状态机的算法，从而可以对非公有协议构建初步的协议状态机，还原协议交互过程；流量分类技术也渐渐引入了很多方法解决私有协议问题，其通过分析数据流的特征，将数据流进行聚类，从而判别数据流中的数据属于什么协议。以上的研究成果表明可以在中间节点实现编程透明化，即使得缓存策略的设计与优化不再依赖于某种特定协议的特性。
发明内容
本发明主要解决的问题是让网络中间节点缓存策略具有透明性，主要通过分析不同流量的不同特征，调整缓存资源分配策略，从而提升缓存命中率。本发明提供的基于流量特征分析的网络中间节点缓存优化方法，不针对于某一种特定的用户层协议，而是通过分析经过中间节点的流量的特征信息，结合缓存的命中率情况，建立相应的流量特征缓存预测模型，预测拥有某种类型特征的流量集合的缓存权重，从而分配该集合相应的缓存大小。当流量经过中间节点时，首先对流量进行分类，然后在为该类别所分配的缓冲区空间中，根据该空间的缓存状况，结合LRU算法确定流量应该如何被处理。定期的，系统会更新流量分类模型并重新分配缓存空间给新的不同分类，从而保证缓存策略与近期节点的流量状况有很强的相关性。本发明提供的一种网络中间节点流量缓存优化方法，主要根据拥有不同特征的流量具有不同的缓存需求的特点，对具有类似流量特征的数据流量进行聚类，分析每个聚类的缓存价值并进行相应的量化，再根据相应的量化值，调整对于不同聚类流量的缓存资源，从而实现缓存资源利用的最大化。本发明提供的一种基于流量特征分析的网络中间节点缓存优化方法，具体步骤如下
1)存的网络中间节点，，并设置系统的参数分类数目、命中率阈值和时间阈值，用户可以根据实际的需要，在系统部署时对这些关键的参数进行更改；
2)根据步骤I)所述的系统的分类数目，将缓存区平均分配为等大小缓存空间，当流量经过中间节点时，系统的流量统计模块开始统计数据的流量特征信息，对其进行量化和标准化，形成相应的向量存入数据库中；此时，系统会根据LRU算法来确定当前阶段的流量是否会被存入缓冲区当中；
3)在流量不断的经过中间节点并缓存的过程中，用户也不断的向缓存请求数据，当整个缓存的命中率达到步骤I)中预设的命中率阈值时，系统开始将数据库中的量化后的数据特征向量进行分类，得到多个流量分类，建立相应的流量分类模型；再将每个流量分类的缓存权重进行运算，根据运算得到的分类权重结果，建立缓存空间分配模型； 4)模型建好之后，系统根据建模的结果，重新分配缓存空间；当新的流量进入系统时，系统便依据新的流量分类模型确定该流量进入哪一个分类；当确定所属类别后，便在相应的缓存空间中，依据LRU算法，确定流量如何被处理；
5)系统进入正常运行后，用户可以通过对之前设定的命中率和时间阈值进行动态的调整，从而确定建模频率，定期对经过中间节点的流量进行分类，更新流量分类模型，再将每个流量分类的缓存权重进行运算，更新缓存空间分配模型，从而保证缓存分配策略与近期节点的流量情况紧密相关，实现缓存资源利用的最大化。本发明中，对于网络中间节点无论是网关代理还是路由器等，其主要的任务都是提供相应的网络服务，因此其缓存功能不能够消耗掉太多的运算资源，影响到其它主要的服务功能。本发明中，系统架构图如
图1，整个系统主要由模型生成模块、预测模块和流量统计模块三部分构成。模型生成模块，其主要利用采集的历史流量特征数据与历史分类的命中率数据生成相应的流量分类模型和缓存空间分配模型。预测模块用于对新的流量进行测算，看它属于哪一个分类，并根据域内缓存策略决定是否将该流量装入缓存，或者用其替换现有的使用较少的流量。流量统计模块主要负责建模所需要的数据统计，主要包括流量特征的提取量化以及每个缓存的数据流量的命中率信息。这些信息需要尽快的从流量中提取存储，以便后续建立模型及利用模型对流量进行分类之用。本发明中，聚类流程图如图2所示。本发明中利用聚类算法获得相应的流量分类模型，聚类算法模块的主要作用在于将流量统计模块统计的量化后的数据特征向量。其中，非常重要的是选取什么特征进行量化和利用什么样的算法进行聚类模型的构建。本发明采用目前较为流行的K-means聚类算法，该算法时间复杂度低，实现简单。本发明中，所述流量特征信息通过网络测量工具进行采集，所选取的流量特征向量元组包括连接交互时间统计、占用带宽、流量中数据包长度、流量数据量大小和交互间隔。这些元组的数值与流量的缓存价值息息相关。其直接反映了流量对于网络带宽资源的占用情况以及流量当中数据的多少。实验表明，带宽资源占用越高且单次连接中平均传输的数据量越多的流量拥有更高的缓存价值。鉴于模型的建立与相应的建模数据采集周期有关，不同的建模周期会影响到聚类模型建立的精准度，即如果周期过长，建模所采用的数据可能并非近期有效地流量统计数据，而建模周期过短则可能会让有些原本有效地数据无法发挥作用，并且频繁建模也会损耗相当大的运算效率。因此，在这里我们通过设定时间阈值与命中率阈值，即在给定时间周期建模的同时，当命中率低于一定的时候系统也会自动的重新建模，从而可以让系统建模频率更加具有适应性。本发明中，步骤3)中将每个聚类中平均加权的特征向量值通过计算，得到流量特征决定的缓存权重。首先，将所有等待输入模型的数据进行标准化处理，假设等待输入模型的的数据有n组，每组向量中有m个元组，利用以下公式对每一个元组数据进行标准化
权利要求
1.一种基于流量特征分析的网络中间节点缓存优化方法，其特征在于，通过分析经过中间节点的流量的特征信息，结合缓存的命中率情况，建立相应的流量特征缓存预测模型， 分配相应的缓存空间，具体步骤如下1)将系统部署在需要缓存的网络中间节点中，同时对分类数目，默认命中率，时间阈值等系统运行中将要用到的系统参数进行设置；2)根据步骤I)所述的系统的分类数目，将缓存区平均分配为等大小的缓存空间，当流量经过中间节点时，流量统计模块开始统计流量特征信息，对其进行量化和标准化，形成相应的向量存入数据库中；此时，系统会根据最近最少使用LRU算法来确定当前阶段的流量是否会被存入缓冲区当中；3)在流量不断的经过中间节点并缓存的过程中，用户也不断的向缓存请求数据，当整个缓存的命中率达到步骤I)中预设的命中率阈值时，系统开始将数据库中的量化后的数据特征向量进行分类，得到多个流量分类，建立相应的流量分类模型；再将每个流量分类的缓存权重进行运算，根据运算得到的分类权重结果，建立缓存空间分配模型；4)模型建好之后，系统根据建模的结果，重新分配缓存空间；当新的流量进入系统时， 系统便依据新的流量分类模型确定该流量进入哪一个分类；当确定所属类别后，便在相应的缓存空间中，依据LRU算法，确定流量如何被处理；5)系统进入正常运行后，用户可以通过对之前设定的命中率和时间阈值进行动态的调整，从而确定建模频率，定期对经过中间节点的流量进行分类，更新流量分类模型，再将每个流量分类的缓存权重进行运算，更新缓存空间分配模型，从而保证缓存分配策略与近期节点的流量情况紧密相关，提高缓存资源利用率。
2.根据权利要求1所述的方法，其特征在于所述系统主要由模型生成模块、预测模块及系统数据模块组成。
3.根据权利要求1所述的方法，其特征在于所述中间节点为路由器或者网关代理。
4.根据权利要求1所述的网络中间节点缓存优化方法，其特征在于，步骤I)中所述流量特征信息包括连接交互时间统计，占用带宽，流量中数据包长度，流量数据量大小，交互间隔；所述流量特征信息通过网络测量工具进行采集。
5.根据权利要求1所述的网络中间节点缓存优化方法，其特征在于步骤2)中所述对数据的流量特征进行量化和标准化，其利用以下公式进行数据处理
6.根据权利要求1所述的网络中间节点缓存优化方法，其特征在于步骤3)、步骤5) 中对流量进行分类采用k-means聚类算法。
7.根据权利要求1所述的网络中间节点缓存优化方法，其特征在于步骤3)中所述对每个流量分类的缓存权重进行运算，其公式如下
8.根据权利要求1所述的网络中间节点缓存优化方法，其特征在于步骤5)中缓存分配权重算法采用流量特征决定的缓存权重与流量命中率结合决定分类缓存比例的算法，具体数学公式如下
全文摘要
本发明属于计算机网络通信领域，具体为一种基于流量特征分析的网络中间节点缓存优化方法。本发明中当流量经过中间节点时，首先对流量进行分类，然后根据流量所属的类别，在该类别所被划分的缓冲区空间中，根据该区域的缓存状况，结合最近最少使用(LRU)算法确定流量应该如何被处理。定期的，系统会更新流量分类模型并重新分配缓存区空间给新的不同分类。本发明主要着眼于解决网络中间节点缓存策略的透明性问题，即设法保证网络中间节点缓存的算法设计与特定的用户层协议设计无关，并设法使得这种满足编程透明性的策略其效率到最优。
文档编号H04L12/811GK103023801SQ20121050602
公开日2013年4月3日 申请日期2012年12月3日 优先权日2012年12月3日
发明者赵进, 余浩淼, 王新 申请人:复旦大学