专利名称：一种互联网内容分发方法、系统及装置的制作方法
技术领域：
本发明涉及网络技术领域，尤其涉及一种互联网内容分发方法、系统及装置。
背景技术：
互联网的快速发展大大地加速了流媒体应用的发展，从而互联网用户也在 不断增加，导致网络流量巨大，流量拥塞带来的长时间等待和较高的丢包率， 与用户对服务质量的要求形成严重的矛盾。传统的采用互联网内容提供商(ICP， Internet Content Provider)直接提供流媒体内容服务的模式受到严重的 挑战。内容分发网络(CDN， Content Delivery Network)是解决这些问题的有效 办法。CDN通过实现用户对内容的就近访问来减少核心网流量以及中心服务 器负载，从而大大提高用户的感受度，从技术层面上解决了由于网络带宽小、 用户访问量大、网点分布不均匀、单点失效等导致的服务质量差的问题。CDN 的技术原理是通过在现有的互联网构架中，在靠近用户的网络"边缘"放置适当 数量的服务器作为代理，将网站的内容从核心网推向这些代理，从而减小传输 时延和网络抖动等，使得用户能得到高质量的内容服务。由于这种技术可以大 大緩解互联网的拥塞状况，所以网站有能力提供数据量巨大的流媒体等内容服 务。总之，CDN能将ICP的内容预先发布到网络的代理上，使得用户能够就 近快速访问互联网内容，从而为用户提供高质量的服务和降低中心节点的负 担。如何请求重定向和执行内容分发是影响CDN性能的两个关键技术。目前 CDN内容分发策略主要是基于阈值的拉(pull)策略和将ICP的内容按要求推送(push)到各个代理上的push策略。但是，这些策略存在以下不足1 )pull策略在用户访问行为变化较快的情况下，无法将内容预先分发给相 应代理，导致用户等待时延增加、核心网消耗增大。2 ) push策略需要巨大的存储空间和维持消耗，这对于商用的CDN来说是 不实际和不经济的。目前还有将push策略和pull策略相结合的内容分发方法代理将存储空 间分成两个部分，分别用于push策略和pull策略的内容分发。这种混合的方 法能够较好的解决上述两个不足，但是，却无法使CDN代理上的互联网内容 被访问的命中率显著提高。并且，目前的内容分发策略主要考虑了用户的时延 感受，并没有从商业CDN服务提供商角度考虑如何实现网络消耗最优化的商 业型内容分发。发明内容本发明实施例提供了一种互联网内容分发方法、系统及装置，用以减小网 络的带宽消耗，并且提高用户访问互联网内容的命中率。本发明实施例提供的一种互联网内容分发方法，应用于内容分发网络 CDN，该方法包括周期收集网络实时数据，并根据所述网络实时数据，确定当网络消耗最小 时的互联网内容的分发位置信息；根据所述互联网内容的分发位置信息，将互联网内容分发给所述CDN中 的代理服务器；所述代理服务器根据用户请求将自身存储的互联网内容发送给该用户。 本发明实施例提供的 一种互联网内容分发系统，应用于内容分发网络CDN,该系统包括网络信息收集单元、CDN中心节点单元以及至少一个代理服务器；所述网络信息收集单元，用于周期收集网络实时邀:据；所述CDN中心节点单元，用于根据所述网络实时数据，确定当网络消耗 最小时的互联网内容的分发位置信息；以及，根据所述互联网内容的分发位置 信息，将互联网内容分发给所述代理服务器；所述代理服务器，用于根据用户请求将自身存储的互联网内容发送给该用户。本发明实施例提供的一种服务器，应用于内容分发网络CDN,该服务器 包括决策单元，用于根据网络实时数据，确定当网络消耗最小时的互联网内容 的分发位置信息；内容分发执行单元，用于根据所述互联网内容的分发位置信息，将互联网 内容分发给所述CDN中的代理服务器。本发明实施例，通过周期收集网络实时数据，并根据所述网络实时数据， 确定当网络消耗最小时的互联网内容的分发位置信息，从而得到整体网络消耗 最小的内容分发决策；再根据所述互联网内容的分发位置信息，将互联网内容 分发给CDN中的代理服务器，所述代理服务器根据用户请求将自身存储的互 联网内容发送给该用户，从而实现了自适应的互联网内容分发，减小了网络的 带宽消耗，提高了用户访问互联网内容的命中率，并且满足网络流量和代理服 务器的负载均衡的要求。
图1为本发明实施例提供的一种互联网内容分发系统的结构示意图； 图2为本发明实施例提供的一种互联网内容分发方法的流程示意图；图；划分支和剪枝示意图；示意图；分支和剪枝图示意图f流程i整数规划具体实施方式
本发明实施例提供了一种互联网内容分发方法、系统及装置，应用于内容 分发网络CDN，根据网络的实时信息，利用整数规划的全局最优化算法来得 到整体网络消耗最小的互联网内容分发策略，从而减小网络的带宽消耗，提高 用户访问互联网内容的命中率，并且满足网络流量和代理服务器的负载均衡的 要求。以下本发明实施例中提到的内容即为用户需要访问的互联网内容，本发明 实施例中提到的文件，即为包含互联网内容的文件。本发明实施例所应用的CDN具有互作式的网络构架，任何两个代理 (Surrogate)服务器(简称代理)间可以通过核心网来实现合作，即相互请求 服务和提供服务。各个代理可以是某个单一的代理服务器，也可以是某个区域 内所有代理聚成的簇。CDN中没有设置中心存储节点，所有代理存储的内容 的并集是完整的CDN的内容。下面结合附图对本发明实施例进行详细说明。参见图1,本发明实施例提供的一种互联网内容分发系统包括网络信息 收集单元11、 CDN中心节点单元12和至少一个代理服务器13。网络信息收集单元ll,用于周期收集网络实时凝:据。网络信息收集单元11可以是代理服务器本身，也可以是特殊的设备，如 探测器。所述周期可以设为5分钟、半个小时、 一天等，可以根据要分发的文件(即 互联网内容)的访问频率的变化快慢来确定，如访问频率变化较快则周期可以设小一些，访问频率变化较慢则周期可以设大一些。CDN中心节点单元12,用于根据所述网络实时数据，确定当网络消耗最 小时的互联网内容的分发位置信息；以及，根据所述互联网内容的分发位置信 息，将互联网内容分发给CDN中相应的代理服务器13。代理服务器13，用于根据用户请求将自身存储的互联网内容发送给该用户。较佳地，所述CDN中心节点单元12包括数据管理单元121、信息处理 单元122、决策单元123和内容分发执行单元124。数据管理单元121，用于存储所述网络实时数据，并对所述收集到的网络 实时数据进行预处理，得到具有特定输入格式的网络实时数据，即冲艮据预先设 置的决策单元123的输入数据的格式生成有效的输入凄t据；以及，根据预先配 置的策略要求在相应的数据库中存储多个历史时期的有效格式的网络信息数 据。信息处理单元122，用于根据所述具有特定输入格式的网络实时数据，对 网络行为进行预测，得到网络预测数据。具体地，即根据预先配置的网络信息 预测策略，按预先设置的权重整合多个历史时期的网络数据得到对下一时期的 网络行为的预测信息。决策单元123,用于根据所述网络预测数据，确定当网络消耗最小时的互 联网内容的分发位置信息，也就是确定将哪个文件放到哪个代理上，其中，文 件的粒度可以是整个web文件、web文件簇、流媒体文件或者流媒体文件的片 段。较佳地，决策单元123可以按一定的时间间隔工作，即周期进行决策。 较佳地，所述决策单元123,利用整数线性规划算法确定所述互联网内容的分发位置信息，具体的整数线性规划算法可以是分支定界法或隐举法。内容分发执行单元124,用于根据所述互联网内容的分发位置信息，将互联网内容分发给所述CDN中相应的代理服务器。所述网络实时数据包括CDN中各个代理服务器上的各个互联网内容的 访问频率，以及各个代理服务器的可用存储容量、出口带宽、入口带宽和服务 负载容量。所述网络消耗包括核心网带宽消耗、本地存储消耗和内容维持消耗，以 及本地内容的初始化消耗。除此之外，对网络信息数据的收集、预处理以及预测等操作可以由代理来 完成，代理将网络预测凝:据发送给CDN中心节点单元12中的决策单元123。下面结合附图介绍 一 下本发明的方法实施例。参见图2,本发明实施例提供的一种互联网内容分发方法包括5201、 周期收集网络实时数据。5202、 对所述收集到的网络实时数据进行预处理，得到具有特定输入格式 的网络实时数据。5203、 根据所述具有特定输入格式的网络实时数据，对网络行为进行预测， 得到网络预测数据。5204、 根据所述网络预测数据，利用整数线性规划算法，确定当网络消耗 最小时的互联网内容的分发位置信息。5205、 根据所述互联网内容的分发位置信息，将互联网内容分发给CDN 中相应的代理服务器。5206、 所述代理服务器根据用户请求将自身存储的互联网内容发送给该用户。所述的网络实时数据包括每个代理上在这个周期内收到的对每个文件的请求访问的次数P狄；代理的可用存储空间代理的负载容量^;代理的核 心网入口带宽竭；核心网单位带宽消耗e";每个文件的维护消耗M"，不同的代理和文件的组合<|'，&>所对应的初始化消耗<:您'''；每个文件的比特率"。 参见图3，步骤S204，即内容分发策略的决策过程具体包括5301、 定时器检测决策周期是否到达，如果到达则执行步骤S302，否则 继续4企测。5302、 对整数限制^汰e (O,"进行相应的松弛，变为气A G
。 本发明实施例中，用X表示决策向量，^表示单个变量，当为1时，表示在第i个代理上存有第k个文件，否则，当X^为0时，表示在第i个代理上不存有第k个文件。也就是说，变量义^代表了文件的分发策略。5303、 假设本地存储消耗很小，可忽略不计，则对线性规划目标函数(即 核心网的总消耗)及其限制条件进行如下线性规划(P)飾Z! H (/v"c" (1 -义汰)++《ftSubject to: Z "^汰《"Z ^汰^ 1Z [P汰a (l — x汰)+ i汰M * ] s J丑/ ft^汰e
其中，公式(1)用于计算核心网总消耗的最小值，公式(2)、 (5 )分别为核心网总消耗取得最小值时的限制条件。公式(1)中的t表示时间，公式(2)中^表示文件的大小。(1)(2)(3)(4)(5)(3)、 (4)、S304、在步骤S303所得的结果中找出离整数最远的一个任意的如0.4和0.6离整数的距离都为0.4。将这个^的值分别置为0、 1,即加入相应的限 制条件，然后针对这两中分支进行整数规划。5305、 给定一个最小值的初始上界，本发明实施例中给出的初始上界设为 一个很大的数，即实际消耗值无法达到的数。对步骤S304得到的最优值和给 定的初始上界进行比较，舍去最优值大于初始上界的分支，即剪枝。分支和剪枝的过程如图4所示。5306、 判断所有的^是否都为整数，如果是，则执行步骤S307;否则， 执行步骤S304。即判断是否得到一个可行解，并将初始上界改为这个可行解的最优值。对于没有在步骤S305中舍去的并且没有得到的可行解，即^中仍有非整数值的 分支重复步骤S304、 S305、 S306,每次重复过程中都保留上次加入的限制条 件，且步骤S304得到的是上次重复所得到的各个分支对应的解集X，直到所有分支的所有^都为整数(0或1)为止。5307、 比较所有可行解对应的目标函数值，目标函数值最小的可行解即为 最优解，决策过程结束，执行步骤S205。步骤S205中，根据决策向量X,将互联网内容分发给相应的代理服务器。 较佳地，本发明实施例提供的决策过程可以根据实际的网络规模做适当的 简化计算，参见图5，本发明实施例提供的简化的决策过程包括5501、 定时器检测决策周期是否到达，如杲到达则执行步骤S502，否则 继续4企测。5502、 对整数限制x汰e (0'G进行相应的松弛，变为、A e
。5503、 假设本地存储消耗很小，可忽略不计，对线性规划目标函数(核心 网的总消耗)及其限制条件进行线性规划。这前三个步骤分别与步骤S301、 S301和S301相同。5504、 对步骤S503线性规划得到的结果和一根据网络节点数预定的阈值进行比较，将小于该阈值的解^汰置0，同时加入相应的^汰=0的限制条件。 这个值可以根据要求的决策准确程度来调整，准确程度要求高则设小一些，反之设大一些，如代理个数为100时，可设定该阈值为10_ 。5505、 从步骤S504中得到的解集X中找到距离整数最大的任意一个解"^，并将其分别置为0和1，即加入相应的限制条件，然后对每个分支进行 线性规划。5506、 对步骤S505得到的两个分支的最优值进行比较，舍去最优值大的 分支，即剪枝。分支和剪枝的过程如图6所示。5507、 判断所有的^是否都为整数，如果是，则执行步骤S508;否则， 执行步骤S504。对没有在步骤S506中舍去的并且没有得到的可行解，即^中仍有非整数 值的分支分别重复执行步骤S504、 S505、 S 506和S507,每次重复过程中都保 留上次加入的限制条件，且步骤S505得到的是上次重复所得到的各个分支对应的解集X，直到所有分支的所有、都为整数0或1为止。5508、 比较所有可行解对应的目标函数值，使得目标函数值最小的可行解 即为初步最优解。5509、 利用局部贪婪算法为剩余的可用存储空间分配文件，决策过程结束。 综上所述，本发明实施例采用特定设备从CDN代理端收集网络实时数据；CDN中心节点预处理这些网络实时数据，使这些网络实时数据具有特定的输 入格式；CDN中心节点利用整数线性规划的方法，根据输入的网络实时数据 做出具体的互联网内容分发决策，因此，采用该技术方案能够根据网络的全局 的实时信息把互联网内容分发到合适的节点，从而使得整个CDN的网络带宽 和维持消耗达到最小。明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及 其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
权利要求
1、一种互联网内容分发方法，应用于内容分发网络CDN，其特征在于，该方法包括周期收集网络实时数据，并根据所述网络实时数据，确定当网络消耗最小时的互联网内容的分发位置信息；根据所述互联网内容的分发位置信息，将互联网内容分发给所述CDN中的代理服务器；所述代理服务器根据用户请求将自身存储的互联网内容发送给该用户。
2、 根据权利要求1所述的方法，其特征在于，根据所述网络实时数据， 确定当网络消耗最小时的互联网内容的分发位置信息的步骤包括根据所述网络实时数据，对网络行为进行预测，得到网络预测数据； 根据所述网络预测数据，确定当网络消耗最小时的互联网内容的分发位置 信息。
3、 根据权利要求1所述的方法，其特征在于，所述互联网内容的分发位 置信息是利用整数M^'j算法确定的。
4、 根据权利要求1所述的方法，其特征在于，所述网络实时数据包括 CDN中各个代理服务器上的各个互联网内容的访问频率、各个代理服务器的可用存储容量、服务负载容量、入口带宽和/或出口带宽。
5、 根据权利要求1所述的方法，其特征在于，所述网络消耗包括 核心网带宽消耗、本地存储消耗、内容维持消耗和/或本地内容的初始化消耗。
6、 一种互联网内容分发系统，应用于内容分发网络CDN，其特征在于， 该系统包括网络信息收集单元、CDN中心节点单元以及至少一个代理服务 器；所述网络信息收集单元，用于周期收集网络实时凝:据； 所述CDN中心节点单元，用于根据所述网络实时数据，确定当网络消耗最小时的互联网内容的分发位置信息；以及，根据所述互联网内容的分发位置 信息，将互联网内容分发给所述代理服务器；所述代理服务器，用于根据用户请求将自身存储的互联网内容发送给该用户。
7、 根据权利要求6所述的系统，其特征在于，所述CDN中心节点单元包括决策单元，用于根据所述网络实时数据，确定当网络消耗最小时的互联网 内容的分发位置信息；内容分发执行单元，用于根据所述互联网内容的分发位置信息，将互联网 内容分发给所述CDN中相应的代理服务器。
8、 根据权利要求7所述的系统，其特征在于，所述CDN中心节点单元还 包括信息处理单元，用于根据所述网络实时数据，对网络行为进行预测，得到 网络预测数据；所述决策单元，根据所述网络预测数据，确定当网络消耗最小时的互联网 内容的分发位置信息。
9、 根据权利要求7或8所述的系统，其特征在于，所述决策单元，利用 整数线性规划算法确定所述互联网内容的分发位置信息。
10、 一种服务器，应用于内容分发网络CDN,其特征在于，该服务器包括..决策单元，用于根据网络实时数据，确定当网络消耗最小时的互联网内容 的分发位置信息；内容分发执行单元，用于根据所述互联网内容的分发位置信息，将互联网 内容分发给所述CDN中的代理服务器。
全文摘要
本发明公开了一种互联网内容分发方法、系统及装置，用以减小网络的带宽消耗，并且，提高用户访问互联网内容的命中率。本发明提供的一种互联网内容分发方法，应用于内容分发网络CDN，该方法包括周期收集网络实时数据，并根据所述网络实时数据，确定当网络消耗最小时的互联网内容的分发位置信息；根据所述互联网内容的分发位置信息，将互联网内容分发给所述CDN中相应的代理服务器；所述代理服务器根据用户请求将自身存储的互联网内容发送给该用户。通过本发明提供的方法，实现了自适应的互联网内容分发，减小了网络的带宽消耗，提高了用户访问互联网内容的命中率，并且满足网络流量以及代理服务器的负载均衡的要求。
文档编号H04L12/18GK101242432SQ200810101158
公开日2008年8月13日 申请日期2008年2月28日 优先权日2008年2月28日
发明者刘文予, 周在保, 玮 王, 臣 田, 陈金华 申请人:蓝汛网络科技(北京)有限公司