获取内容的方法、节点及内容网络的制作方法

文档序号:7762803阅读:654来源:国知局
专利名称:获取内容的方法、节点及内容网络的制作方法
技术领域
本发明涉及通信领域,特别涉及一种获取内容的方法、节点及内容网络。
背景技术
互联网技术自发明以来已经历了 40多年的发展历程,今天的互联网活跃着Web应 用、多媒体音视频应用、移动性、黑客攻击等多种元素。随着这些元素的持续壮大,也给互联 网带来了前所未有的挑战。特别是随着互联网规模不断增加以及高清视频/图片的日益流 行,最近几年互联网上传输的数据量出现了飞速增长。如何高效地从互联网中获取内容成 为一个日益关注的主题。现有技术中的互联网是基于主机的架构,其中,与互联网相连的任何一台计算机 都称为主机,每台主机都有一个唯一的IP (Internet Protocol,互联网协议)地址。在获取 内容时,通过IP地址选取需要连接的主机,并通过IP协议实现与传输内容对应的IP数据 包的传递。由于在互联网上传输的内容出现了爆炸式增长,而互联网基于IP协议进行内容 传输时,很多客户端同时向内容所在主机建立会话以获取内容,导致内容分发效率低下,造 成源服务器和网络拥堵;为了避免上述网络拥堵,需要不断扩大带宽、升级网络设备,这样 又增加了网络的投资成本;另外,黑客可以通过向同一主机发出大量内容请求而造成网络 瘫痪,因此目前的网络架构还存在不安全的弊端,无法适应内容的快速增长。

发明内容
为了使网络适应内容的快速增长,本发明实施例提供了一种获取内容的方法、节 点及内容网络。所述技术方案如下一方面,本发明实施例提供了一种获取内容的方法,所述方法包括接收内容请求,所述内容请求至少包括所要请求内容的标识;判断所述标识对应的内容是否能够从本地获取,如果是,则从本地获取所述标识 对应的内容;否则,根据所述标识查找名字解析系统得到存放所述标识对应的内容的目标节点,从所 述目标节点中获取所述标识对应的内容;其中,所述名字解析系统包括多级分布式哈希表DHT和全局内容解析结构,所述 全局内容解析结构支持名字聚合和最长匹配查找。另一方面,本发明实施例提供了一种获取内容的节点,所述节点包括内容代理模块,用于接收内容请求,所述内容请求至少包括所要请求内容的标识; 判断所述标识对应的内容是否能够从本地获取,如果是,则从本地获取所述标识对应的内 容;否则,向内容获取模块转发所述内容请求;内容获取模块,用于接收所述内容代理模块发送的所述内容请求,根据所述标识 查找名字解析系统得到存放所述标识对应的内容的目标节点,从所述目标节点中获取所述标识对应的内容,其中,所述名字解析系统包括多级分布式哈希表DHT和全局内容解析结 构,所述全局内容解析结构支持名字聚合和最长匹配查找。另一方面,本发明实施例还提供了一种内容网络,所述网络包括获取内容的节点 和传输网络所述获取内容的节点,用于接收内容请求,所述内容请求至少包括所要请求内容 的标识;判断所述标识对应的内容是否能够从本地获取,如果是,则从本地获取所述标识对 应的内容;否则,根据所述标识查找名字解析系统得到存放所述标识对应的内容的目标节 点,从所述目标节点中获取所述标识对应的内容;并通过所述传输网络将所述标识对应的 内容发送给客户端;其中,所述名字解析系统包括多级分布式哈希表DHT和全局内容解析结构,所述 全局内容解析结构支持名字聚合和最长匹配查找。在本发明实施例的网络架构下,内容并不是存储在某一个特定节点,当客户端获 取某一内容时,不会向某一个特定节点获取,而是就近在本地查找该内容;如果本地没有该 内容,则在DHT中查找到内容标识对应的内容存放位置列表,并在内容存放位置列表中获 取相应的目标节点以得到该内容。采用本发明实施例所述的方法,避免了当很多客户端同 时获取某一内容时所造成的网络拥堵;同时还提高了内容分发效率;从而减少了对网络设 备进行升级时造成的投资成本的浪费;避免了黑客向同一节点发出大量内容请求而造成的 网络瘫痪,提高了网络的安全性。


为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使 用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于 本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他
的附图。
图1是本发明实施例提供的内容网络中节点分布结构示意图2是本发明实施例一-提供的获取内容的方法流程图3是本发明实施例二提供的获取内容的方法流程图4是本发明实施例二提供的名称注册方法流程图5是本发明实施例二提供的策略获取方法流程图6是为本发明实施例三、四、五提供的具有全部功能的内容网络结构示意图
图7是本发明实施例三提供的内容代理模块结构示意图8是本发明实施例三提供的内容获取模块结构示意图9是本发明实施例三提供的第一种名字解析单元结构示意图10是本发明实施例J三提供的第二种名字解析单元结构示意图11是本发明实施例JΞ提供的内容路由单元结构示意图。
具体实施例方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方 式作进一步地详细描述。
本发明实施例构建了一个对内容感知、存储、路由、分发服务的网络架构,称为 CONA(Content-Oriented Network Architecture,面向内容的网络架构),该网络架构上的 节点称为CONA节点。参见图1,为内容网络中节点的分布结构;其中,多个节点构成一个 AS (Autonomous System,自治域);每个 AS 内具有多级 DHT (Distributed Hash Table,分布 式哈希表),每级DHT分别对应不同层次的基础网络设施,例如DSLAM (Digital Subscriber Line Access Multiplexer,数字用户线路接入复用器)设备层,以太网交换机层和边缘路 由层。每级DHT所对应的节点构成至少一个协作区域;一个协作区域是指一个区域内的 存储资源能够协同工作,形成一个更大的逻辑的存储资源;每个协作区域包含若干个节点, 其中具有DHT索引存储功能的节点为索引节点,每个协作区域中具有至少一个索引节点, 在索引节点上分布存储所述协作区域的DHT,形成一张完整的DHT,该协作区域的DHT包括 本协作区域及下一级DHT对应协作区域内所有节点存储内容对应的解析记录,包括内容名 称及对应的内容所在的节点的位置列表、元数据、签名和TTL(Time To Live,生存时间); 跨AS则采用全局内容解析结构,该全局内容解析结构可以为CREX (Content Resolution Exchange Point,内容解析交换点)树或全局DHT中的一种,CREX树或全局DHT中的解析 记录对归属同一 AS的内容进行了汇聚,且该CREX树或全局DHT存储在全局名字解析节点 中。实施例一本发明实施例提供了一种获取内容的方法,参见图2,该方法包括201 接收内容请求,该内容请求至少包括所要请求内容的标识;202 判断该标识对应的内容是否能够从本地获取,如果是,则执行步骤203,否 则,执行步骤204;203 从本地获取该标识对应的内容,流程结束;204:根据该标识查找名字解析系统得到存放该标识对应的内容的目标节点,从目 标节点中获取该标识对应的内容,流程结束。其中,名字解析系统包括多级DHT和全局内容解析结构,该全局内容解析结构支 持名字聚合和最长匹配查找。本发明实施例提供的技术方案,内容并不是存储在某一个特定节点,当客户端获 取某一内容时,不会向某一个特定节点获取,而是就近在本地缓存中查找该内容;如果本地 缓存中没有该内容,则在DHT中查找到内容标识对应的内容存放位置列表,并在内容存放 位置列表中获取相应的目标节点以得到该内容。采用本发明实施例所述的方法,避免了当 很多客户端同时获取某一内容时所造成的网络拥堵;同时还提高了内容分发效率;从而减 少了对网络设备进行升级时造成的投资成本的浪费;避免了黑客向同一节点发出大量内容 请求而造成的网络瘫痪,提高了网络的安全性。实施例二本发明实施例提供了一种获取内容的方法,参见图3,该方法流程具体如下301 接收内容请求,该内容请求至少包括所要请求内容的名称;具体地,节点接收来自用户客户端或其它节点的内容请求,内容请求中至少包括 需要获取的内容的标识,该标识可以是内容的名称、标志、代号等。
本发明实施例中,节点为CONA中的节点,即CONA节点,请求内容中的标识以内容 的名称为例进行说明,但并不限定于此。302 判断该名称对应的内容是否能够从本地获取,如果是,则执行步骤303,否 则,执行步骤304;303 从本地获取该名称对应的内容,并执行步骤307 ;节点接收到内容请求后,从内容请求中获取内容的名称,并判断该名称对应的内 容是否存储在本地的缓存中,即根据该名称查找本节点的缓存中是否存在该名称对应的内 容;如果存在,则从本节点的缓存中获取该名称对应的内容;如果不存在,则判断本地是否正在获取该名称对应的内容,即查询本节点的正在 获取内容信息表中是否存在该名称,如果存在,则等待本节点获取该内容;如果不存在,则 执行步骤304。其中,正在获取内容信息表包含本节点正在获取内容的名称,如果后续接收到的 内容请求是对同一内容的重复请求,则能在该正在获取内容信息表中找到该内容的名称, 那么只需等待前面的请求返回内容后一并响应,而无需重复获取该内容。通过对内容请求 的汇聚,当很多客户端同时向某一节点发送同一内容请求时,后续的请求不会被重复执行, 可以有效抵御DDoS (Distributed Denial of krvice,分布式拒绝服务攻击)和瞬间拥挤 (Flash Crowd)。本节点对内容的存储分为永久存储和缓存。本节点的缓存又可以分为本地缓存和 协作缓存。本地缓存和协作缓存由协作缓存全局策略结合本地信息得到的本地缓存策略来 调度。其中,协作缓存是将协作区域内各节点的存储能力组织起来构建一个互助的分布式 缓存系统,以提高本协作区域整体的缓存命中率和内容分发效率。304 根据名字解析系统查找该名称对应的内容存放位置;其中,名字解析系统包括多级DHT和全局内容解析结构,该全局内容解析结构支 持名字聚合和最长匹配查找。具体地,根据该名称在多级DHT中查找该名称对应的内容存放位置列表;首先在当前DHT中查找是否存在该名称对应的解析记录,其中,当前DHT的初始状 态为本节点所在的本地DHT,后续状态为当前正在查找的DHT。如果当前DHT中存在该名称 对应的解析记录,则获取该名称对应的解析记录中的内容存放位置列表,返回名称查询的 结果,该结果包括该名称对应的内容存放位置列表,还可以包括数据的签名等信息。其中, 内容存放位置列表中可能包含一个或多个该名称对应的内容所在的位置信息;如果当前DHT中不存在该名称对应的解析记录,且当前DHT不是本AS内的最高级 DHT,则向本AS内的上一级DHT中查找该名称,如果在上一级DHT中存在该名称,则返回名 称查询的结果,如果不存在,则继续向上一级DHT查找,直至获取该名称对应的解析记录中 的内容存放位置列表;此时,查找到的内容存放位置为内容存放位置列表,该内容在本AS 内,执行步骤305;如果当前DHT中不存在该名称对应的解析记录,且当前DHT是本AS内的最高级 DHT,则从全局内容解析结构中查找所述标识对应的内容归属的AS,即查找全局内容解析结 构中是否存在该名称对应的内容归属的AS,若不存在,则返回查找失败;若存在,则获取该 名称对应的内容归属的AS,包括AS ID (Identity,身份标识号码),还可以同时获取内容归属的AS的网关节点ID;此时,查找到的内容存放位置为内容归属的AS,该内容不在本AS 内,执行步骤306。305 对于该内容在本AS的情况,即在本AS内查找到该名称对应的解析记录中的 内容存放位置列表,则获取当前的TE-SS(Traffic Engineering-Server Select,流量工 程-服务器选择)策略,根据当前的TE-SS策略从内容存放位置列表中选择目标节点,并根 据当前TE-SS策略从目标节点中获取该名称对应的内容,并执行步骤307;具体地,根据当前的TE-SS策略中的SS策略在内容存放位置列表中选择目标节点 及每个目标节点的传输需求比例,再根据当前的TE-SS策略中的TE策略动态选择从每个目 标节点获取内容的传输路径。需要说明的是,该当前TE-SS策略预先根据用户行为信息和网络流量的动态变化 得到。在图5中的步骤501-505中有具体阐述。306 对于该内容不在本AS的情况,从该名称对应的内容归属的AS中的目标节点 获取该名称对应的内容,并执行步骤307 ;具体地,根据该名称对应的内容归属的AS ID向该AS转发内容请求,也可以根据 该AS的网关节点ID向该AS的网关节点转发内容请求;然后由网关节点从当前AS中的目 标节点获取该名称对应的内容后,直接从网关节点获取该名称对应的内容。如果网关节点 没有获取到该内容,则返回查找失败。如果该名称对应的内容归属的AS中的网关节点有多 个,可以根据路由策略选择多个网关节点向它们并发转发内容请求。上述查询过程中,跨级的名字查询,可以由当前处理请求的节点直接发起查找,也 可以通过网关节点发起查找。步骤304至步骤306中,分别描述了两种根据名称在名字解析系统中查找得到存 放该名称对应的内容的目标节点,并从该目标节点中获取该名称对应的内容的方式。其中 一种是所查找的内容在本AS内的情况,另一种是所查找的内容不在本AS内,需要在其他AS 域中查找的情况。其中,最优选的方式是可以先根据标识在本AS内查找,如果查找不到,则 在其他AS中查找;也可以直接分别在本AS中查找或者直接通过名字解析系统在所有AS中 查找。307 将获取到的内容发送给所有正在等待该内容的用户客户端或其它节点;其中,本节点在进行内容发送时,通过对传输层不同承载技术如IP、以太网 (Ethernet)、MPLS (Multi-Protocol Label Switching,多协议标签交换)、光纤(Fiber)或 无线(Wireless)的适配和优化,隐藏各种传输技术的差异而为节点提供统一的传输接口, 完成从内容到传输层报文或帧之间的分片、重组、重定序等工作。例如,针对城域网,可以使 CONA直接利用Khernet进行传输,并针对Khernet的特点进行优化,解决扩展性问题,使 CONA对网络的使用效率最高。进一步地,当节点发送内容时,还进行对承载网的拓扑感知和传输路径的控制,如 借助 BGP(Border Gateway Protocol,边界网关协议)、IS_IS(Intermediate System to Intermediate System Routing Protocol,中间系统到中间系统的路由选择协议)等协议 的扩展完成对承载网拓扑及流量信息的动态检测,并根据TE-SS策略选定的路径对内容进 行传输控制。308:将内容发送给用户客户端或其它节点后,根据当前的本地缓存策略,对本地缓存资源和协作缓存资源进行调度,流程结束。具体地,对本地缓存资源和协作缓存资源进行调度,包括分配本地缓存和协作缓 存的空间、选择内容副本放置位置和副本的替换等。其中内容副本是指在节点根据用户客 户端请求获取了所需要的内容后,将该内容在缓存中存储的内容。其中,本地缓存策略的获取包括获取协作缓存全局策略和本地信息;根据当前 的协作缓存全局策略结合本地信息生成本地缓存策略。当前协作缓存全局策略预先由CONA 根据用户行为信息和网络流量的动态变化中的至少一项得到。在图5中的步骤501-503和 506-507中有具体阐述。当用户发布内容,以及CONA节点缓存了内容时,都需要将内容注册到名字解析系 统中。参见图4,注册的具体方法如下401 接收注册请求,该注册请求至少包括内容的标识及所述内容的位置信息;其中,节点接收该注册请求,该注册请求可以来自于用户客户端或节点当用户主 动上传某个内容时,则用户的客户端会向某个节点发出注册请求;当用户通过某个节点获 取到了某个内容时,则该节点会发出注册请求。具体地,注册请求中的标识可以是内容的名称、标志、代号等。本发明实施例中,内 容的标识以内容的名称为例进行说明,但并不限定于此。注册请求中还可以包括数据签名 等信息。其中,向本节点所在协作区域的DHT注册时,内容的位置信息可以为本节点的位置 信息,如节点ID ;向上一级DHT注册时,内容的位置信息可以为该内容归属的协作区域的位 置信息,如协作区域ID ;向全局内容解析结构注册时,内容的位置信息可以为获取该内容 时需要经过的网关ID或该内容归属的AS ID。402 根据注册请求向当前DHT注册;其中,当前DHT的初始状态为本节点所在的本地DHT,即节点所在协作区域的DHT, 后续状态为当前正在注册的DHT。具体地,在本地所在协作区域的DHT中查找是否存在内容的名称对应的解析记 录;如果在节点所在协作区域的DHT中存在该名称对应的解析记录,则更新该解析记 录中的内容存放位置列表,即将本节点的位置信息更新到该解析记录中的内容存放位置列 表中,注册完成;否则增加该内容名称对应的解析记录,即将内容的名称及本节点的位置信息添加 到DHT中,并执行403。其中,解析记录中包括该名称及其对应的内容存放位置列表,还可以包括数据签 名^fn息。403 判断当前DHT是否为本AS内的最高级DHT,如果不是,则执行步骤404 ;否则 执行步骤405 ;404 根据该注册请求向本AS内的上一级DHT注册,并返回步骤403 ;如果在该级DHT中已经有该内容的解析记录,则更新该解析记录中的内容存放位 置列表,即将发送注册请求的节点所在的协作区域的位置信息更新到该解析记录中的内容 存放位置列表中,注册完成;否则增加该内容的解析记录,即将名称及发送注册请求的节点所在的协作区域的位置信息添加到该上一级DHT中,重复执行403 ;其中,本步骤中发送注册请求的节点为402中所述的节点。405 根据该注册请求向全局内容解析结构注册,流程结束;如果在全局内容解析结构中已经有该内容的解析记录,则更新该解析记录中的内 容存放位置列表,即将发送注册请求的节点所在的AS的位置信息或获取该内容时需要经 过的网关ID更新到该解析记录中的内容存放位置列表中,注册完成;否则增加该内容的解析记录,即将名称及发送注册请求的节点所在的AS的位置 信息或获取该内容时需要经过的网关ID添加到该全局内容解析结构中。其中,全局内容解析结构中采用结构化的名字空间,具有聚合特性。当一批内容的 名字具有相同的前缀且发布在同一区域(如相同的AS),只需要用该名字前缀在全局内容
解析结构中发布一条记录即可。例如,内容“www. huawei. com/pic/pl. jpg”、.....、“www.
huawei. com/pic/pn. jpg” 具有相同的前缀"www. huawei. com/pic/”,且存放在同一个 AS 下,则在全局内容解析结构中可以聚合成一个名字为“www. huawei. com/pic/”的解析记录。 聚合特性使得全局内容解析结构的扩展性大大提高。同时全局内容解析结构还支持最长匹 配查找。如在全局内容解析结构中有来自不同AS的两条解析记录,分别为“www. huawei. com/” 禾口"www. huawei. com/pic/”,贝内容"www. huawei. com/pic/pl. jpg” 在角军析时会找至Ij "www. huawei. com/pic/,,。其中,本发明实施例不对内容存放位置列表中存放的位置信息进行具体限定,可 以根据部署方案的不同有多种形式。例如,在多级DHT中,该位置信息既可以是存放该内 容的节点ID,也可以是该内容归属的协作区域ID,还可以是获取该内容时需要经过的网关 ID;而在全局内容解析结构中,该位置信息既可以是存放该内容的节点ID,也可以是获取 该内容时需要经过的网关ID,还可以是该内容归属的AS ID。另外,在CONA网络中的全局导航设备可以根据用户行为信息和网络流量的动态 变化得出每个域的TE-SS策略和协作缓存全局策略,并将策略推送到域内各个节点,应用 到各节点的内容选路和副本替换中,从而实现网络流量的最优和内容的高效分发的目标。 该全局导航设备可以位于某一节点,也可以是单独的设备。参见图5,得到TE-SS策略和协 作缓存全局策略的具体步骤如下501 获取网络流量的动态变化;全局导航设备定期搜集协作区域内的承载网动态拓扑,该承载网动态拓扑包括网 络流量的动态变化;具体地,搜集该协作区域内的承载网动态拓扑时,可以通过路由协议如OSPF(Open Shortest Path First,开放式最短路径优先)或IS-IS来搜集,也可以通过分布在该协作 区域内的各节点搜集该承载网动态拓扑。502 获取用户请求摘要;具体地,协作区域内的各节点接收用户客户端发送的内容请求,根据该内容请求 得到协作区域内各个节点的用户请求摘要,并向全局导航设备发送该用户请求摘要。其中,用户客户端发送的内容请求包括需要获取的内容的名称。节点对该内容请 求进行汇总,例如,对不同用户客户端发送的内容请求进行分类,对不同内容请求进行访问 量的统计等,得到用户请求摘要,该用户请求摘要包括但不限于内容的名称、该协作区域的信息和访问量等。503:根据协作区域内各个节点的用户请求摘要进行用户行为分析,得到用户行为 信息,当用于得到TE-SS策略时,执行步骤504,当用于得到协作缓存全局策略时,执行步骤 506 ;具体地,全局导航设备根据协作区域内各个节点的用户请求摘要进行用户行为分 析,得到用户行为信息。用户行为分析(User Profile Analysis)是指对用户的历史访问行为进行分析, 并基于分析结果得到的用户行为信息预测用户对特定内容的访问偏好,并根据对特定内容 的访问偏好得到用户的个人偏好。例如,经过对某一用户A的历史访问数据进行分析,发现 客户A偏好访问的内容为高尔夫、篮球及体育新闻,则用户A的个人偏好为体育。常用的预测方法有基于记忆的协同过滤(Memory Based Collaborative Filtering)和基于模型的协同过滤(Model Based Collaborative Filtering)。其中基于 记忆的协同过滤通过计算用户间的相似度以及其他用户对该内容的评价来预测用户对特 定内容的访问偏好。基于模型的协同过滤首先对用户建立一个概率模型,并基于用户的历 史访问数据,应用统计推断和贝叶斯学习的方法获得该用户的概率模型所对应的参数,然 后该用户模型根据该参数对特定内容进行预测,得到用户对特定内容的访问偏好。本发明实施例不对用户行为分析的方法进行具体限定,可以是基于记忆的协同过 滤或基于模型的协同过滤,也并不排除采用其它的方法。504 根据用户行为信息和网络流量的动态变化得到TE-SS策略;具体地,将用户行为信息和网络流量的动态变化作为输入,利用TE-SS联合优化 方法定期计算TE-SS策略(例如更改IP路由)。其中,TE-SS联合优化是一种利益合作博弈理论对TE和SS两个最优化问题实现合 作博弈,既解决了网络流量的最优路由问题,同时也解决了内容的高效分发问题,从而获得 了系统性能的全局最优。一种典型的TE-SS联合优化方法就是利用NBS(Nash Bargaining Solution,纳什议价解)来建立 TE-SS 的 COST (Cooperative Server selection and Traffic engineering,联合优化数学模型)。COST利用对偶分解理论将初始的联合优化问 题分解为两个类似于TE和SS的子优化问题和一个主优化问题。两个子问题之间通过共同 的对偶变量相互关联,而主问题则负责不断更新关联的对偶变量,最终使系统逼近最优解。 本发明实施例中,联合优化可以采用COST方法,也并不排除采用其它的方法,本发明实施 例对此不作具体限定。505 将TE-SS策略推送到域内各节点,流程结束;各节点将TE-SS策略存储在TE-SS策略库中,在后续的业务流程中应用该TE-SS 策略,为业务请求进行动态优化选路,对请求中的目标节点进行选择,当选择的目标节点为 多个时,确定每个目标节点的传输需求比例。506:根据用户行为信息和网络流量的动态变化中的至少一项得到协作缓存全局 策略;具体地,将用户行为信息或网络流量的动态变化作为输入,或将二者同时作为输 入,利用协作缓存的方法计算每个域的协作缓存全局策略。其中,常用的协作缓存的方法是 基于对内容流行度的统计预测建立起最小化网络传输代价的优化问题模型,通过启发式算法求解这一优化问题,得到接近最优的副本放置、替换策略。本发明实施例中,协作缓存的 副本放置及替换策略可以采用该方法,也并不排除采用其它的方法。507 将该协作缓存全局策略推送到域内各节点,流程结束;各节点根据协作缓存全局策略结合本地信息生成本地信息生成本地缓存策略,并 在后续的业务流程中应用该缓存策略,使域内每个节点贡献出来的一部分缓存资源相互协 作形成一个共享的虚拟缓存池。上述步骤可分为四组步骤501为第一组,负责收集拓扑。步骤502、503为第二 组,负责用户行为分析。步骤504、505为第三组,负责TE-SS策略的计算、推送和应用。步骤 506,507为第四组,负责协作缓存全局策略的计算、推送和应用。每组步骤可以定期进行,如 定期搜集拓扑,也可以有事件触发。每组步骤可以根据部署需要进行裁减,如可以单独裁减 掉第四组或第三组。第一组与第二组之间,以及第三组和第四组之间并无先后顺序,本实施 例中以先执行步骤501为例。本发明实施例提供的技术方案充分利用了先进的分布式计算、优化分解理论;通 过构建对内容感知、存储、路由、分发的网络架构,利用跨层的联合优化等技术,解决了现有 基于主机模式的^ternet所面临的问题,提供了一个基于分布式的,可扩展性强,高效率 的以内容存储/分发为中心的新一代网络。在本发明实施例的网络架构下,内容并不是存储在某一个特定节点,当客户端获 取某一内容时,不会向某一个特定节点获取,而是就近在本地缓存中查找该内容;如果本地 缓存中没有该内容,则在DHT中查找到内容标识对应的内容存放位置列表,并在内容存放 位置列表中获取相应的目标节点以得到该内容。采用本发明实施例所述的方法,避免了当 很多客户端同时获取某一内容时所造成的网络拥堵;同时还提高了内容分发效率;从而减 少了对网络设备进行升级时造成的投资成本的浪费;避免了黑客向同一节点发出大量内容 请求而造成的网络瘫痪,提高了网络的安全性。由于一个协作区域内的多个节点分布存储该协作区域的DHT,而不是每个节点存 储所有的DHT,当内容爆炸式增长时,缓解了每个节点的存储压力,增加了节点的处理能力, 具有分布式和可扩展性的特点。由于将协作区域内各节点的存储能力组织起来构建一个互助的分布式缓存系统, 使获取内容时不受限于单个节点的缓存,提高了存储的扩展性;通过应用当前的协作缓存 全局策略结合本地信息生成的本地缓存策略,对本地缓存资源和协作缓存资源进行调度, 提高了本协作区域整体的缓存命中率和内容分发效率。通过根据当前的TE-SS策略中的SS策略在内容存放位置列表中选择目标节点,再 根据当前的TE-SS策略中的TE策略进行动态优化选路,能够保证用户客户端能够通过最优 路径从最优节点中获取内容。由于采用具有聚合特性的结构化的名字空间,使系统的扩展性大大提高。实施例三参见图6,本发明实施例提供了一种获取内容的节点600,该节点包括内容代理模块601,用于接收内容请求,该内容请求至少包括所要请求内容的标 识;判断该标识对应的内容是否能够从本地获取,如果是,则从本地获取该标识对应的内 容;否则,向内容获取模块602转发该内容请求;
内容获取模块602,用于接收内容代理模块601发送的内容请求,根据所述标识查 找名字解析系统得到存放所述标识对应的内容的目标节点,从目标节点中获取该标识对应 的内容。名字解析系统包括多级DHT和全局内容解析结构,该全局内容解析结构支持名字 聚合和最长匹配查找。其中,参见图7,内容代理模块601具体包括请求接收单元601a,还包括本地缓存 查找单元601b和汇聚内容查找单元601c中的至少一项,其中请求接收单元601a,用于接收内容请求,该内容请求至少包括所要请求内容的标 识,并向本地缓存查找单元601b和汇聚内容查找单元601c中的至少一项发送该内容请 求;本地缓存查找单元601b,用于接收请求接收单元601a发送的内容请求,判断标识 对应的内容是否存储在本地缓存中,如果是,从本地缓存中获取该内容;否则向内容获取模 块602转发所述内容请求;汇聚内容查找单元601c,用于接收请求接收单元601a发送的所述内容请求,判断 本地是否正在获取该标识对应的内容,如果是,则等待本地获取该内容后获取该标识对应 的内容;否则向内容获取模块602转发所述内容请求。具体地,参见图8,内容获取模块602具体包括名字解析单元60 ,用于接收内容代理模块601发送的内容请求,根据DHT查找该 标识对应的内容存放位置列表,并向内容路由单元602b发送该内容存放位置列表;内容路由单元602b,用于接收名字解析单元60 发送的内容存放位置列表,根据 当前流量工程-服务器选择TE-SS策略在该内容存放位置列表中选择目标节点,从目标节 点中获取该标识对应的内容。其中,参见图9,名字解析单元60 具体包括请求接收子单元60加1,用于接收内容代理模块601发送的内容请求;查找子单元60加2,用于在当前DHT中查找是否存在该标识对应的解析记录,如果 存在,则获取该标识对应的解析记录中的内容存放位置列表;如果不存在,且当前DHT不是 本AS内的最高级DHT,则向本AS内的上一级DHT中查找,直至获取该标识对应的解析记录 中的内容存放位置列表;发送子单元60加3,用于向内容路由单元602b发送所述内容存放位置列表。进一步地,参见图10,名字解析单元60 还包括注册子单元60加4,用于接收注册请求,该注册请求至少包括内容的标识及该内容 的位置信息;在当前DHT中查找是否存在该标识对应的解析记录,如果存在,则更新该标识 对应的解析记录中的内容存放位置列表;否则在当前DHT中增加包含该标识及内容的位置 信息的解析记录,并判断当前DHT是否为本AS内的最高级DHT,如果不是,则向本AS内的上 一级DHT注册;如果是,则向全局内容解析结构注册。参见图11,本发明实施例提供的内容路由单元602b具体包括接收子单元602bl,用于接收名字解析单元60 发送的内容存放位置列表,向选 择子单元602b3发送该内容存放位置列表;流量工程-服务器选择TE-SS策略获取子单元602b2,用于获取当前TE-SS策略, 并向选择子单元602b3发送该当前TE-SS策略;
选择子单元602b3,用于接收由接收子单元602bl发送的内容存放位置列表和 TE-SS策略获取子单元602 发送的当前TE-SS策略,根据当前TE-SS策略从内容存放位置 列表中选择目标节点,并向内容获取子单元602b4发送目标节点的信息;内容获取子单元602b4,用于接收选择子单元602b3发送的目标节点的信息,根据 当前TE-SS策略从目标节点中获取标识对应的内容。同时,内容获取模块602具体用于如果当前DHT中不存在标识对应的解析记录,且当前DHT是本AS内的最高级DHT, 则从全局内容解析结构中查找该标识对应的内容归属的AS,从该AS中的目标节点获取该 标识对应的内容。进一步地,本发明实施例提供的节点还包括存储业务模块603,用于获取协作缓存 全局策略和本地信息;根据该协作缓存全局策略和本地信息得到本地缓存策略;根据该本 地缓存策略对获取到的内容进行缓存。更进一步地,本发明实施例提供的节点还包括应用业务模块604,用于获取用户的 内容请求,根据该内容请求得到用户请求摘要,向全局导航设备605发送该用户请求摘要。除了以上模块,本发明实施例提供的节点还包括全局导航设备605,该全局导航设 备605包括协作缓存控制器60 和联合优化控制器60 中的至少一项,其中协作缓存控制器60 ,用于获取应用业务模块604发送的用户请求摘要;根据该 用户请求摘要得到用户行为信息;根据该用户行为信息得到协作缓存全局策略。或者用于 获取网络流量的动态变化;根据该网络流量的动态变化得到协作缓存全局策略。或者用于 获取应用业务模块604发送的用户请求摘要和网络流量的动态变化;根据用户请求摘要得 到用户行为信息;根据该用户行为信息和网络流量的动态变化得到协作缓存全局策略。联合优化控制器60 ,用于获取网络流量的动态变化和应用业务模块604发送的 用户请求摘要;根据该用户请求摘要得到用户行为信息;根据该用户行为信息和网络流量 的动态变化得到TE-SS策略。本发明实施例提供的技术方案充分利用了先进的分布式计算、优化分解理论;通 过构建对内容感知、存储、路由、分发的网络架构,利用跨层的联合优化等技术,解决了现有 基于主机模式的^ternet所面临的问题,提供了一个基于分布式的,可扩展性强,高效率 的以内容存储/分发为中心的新一代网络。在本发明实施例的网络架构下,内容并不是存储在某一个特定节点,当客户端获 取某一内容时,不会向某一个特定节点获取,而是就近在本地缓存中查找该内容;如果本地 缓存中没有该内容,则在DHT中查找到内容标识对应的内容存放位置列表,并在内容存放 位置列表中获取相应的目标节点以得到该内容。采用本发明实施例所述的方法,避免了当 很多客户端同时获取某一内容时所造成的网络拥堵;同时还提高了内容分发效率;从而减 少了对网络设备进行升级时造成的投资成本的浪费;避免了黑客向同一节点发出大量内容 请求而造成的网络瘫痪,提高了网络的安全性。由于一个协作区域内的多个节点分布存储该协作区域的DHT,而不是每个节点存 储所有的DHT,当内容爆炸式增长时,缓解了每个节点的存储压力,具有分布式和可扩展性 的特点。由于将协作区域内各节点的存储能力组织起来构建一个互助的分布式缓存系统,使获取内容时不受限于单个节点的缓存,提高了存储的扩展性;通过应用当前的协作缓存 全局策略结合本地信息生成的本地缓存策略,对本地缓存资源和协作缓存资源进行调度, 提高了本协作区域整体的缓存命中率和内容分发效率。通过根据当前的TE-SS策略中的SS策略在内容存放位置列表中选择目标节点,再 根据当前的TE-SS策略中的TE策略进行动态优化选路,能够保证用户客户端能够通过最优 路径从最优节点中获取内容。由于采用具有聚合特性的结构化的名字空间,使系统的扩展性大大提高。实施例四本发明实施例提供了一种内容网络,参见图6,该网络包括获取内容的节点600和 传输网络607 获取内容的节点600,用于接收内容请求,该内容请求至少包括所要请求内容的 标识;判断该标识对应的内容是否能够从本地获取,如果是,则从本地获取该标识对应的内 容;否则,根据该标识查找名字解析系统得到存放该标识对应的内容的目标节点,从目标节 点中获取该标识对应的内容;并通过传输网络607将该标识对应的内容发送给客户端;其中,名字解析系统包括多级DHT和全局内容解析结构,该全局内容解析结构支 持名字聚合和最长匹配查找。具体地,获取内容的节点600用于判断该标识对应的内容是否能够从本地获取, 如果是,则从本地获取该标识对应的内容时,具体用于判断该标识对应的内容是否存储在 本地的缓存中,如果是,从本地的缓存中获取该内容;否则,判断本地是否正在获取该标识 对应的内容,如果是,则等待本地获取该内容后获取该标识对应的内容。获取内容的节点600用于根据该标识查找名字解析系统得到存放该标识对应的 内容的目标节点时,具体用于根据多级DHT查找该标识对应的内容存放位置列表,并根据 当前TE-SS策略在该内容存放位置列表中选择目标节点。获取内容的节点600用于根据多级DHT查找该标识对应的内容存放位置列表时, 具体用于在本地所在的DHT中查找是否存在该标识对应的解析记录,如果存在,则获取该 标识对应的解析记录中的内容存放位置列表;如果当前DHT中不存在该标识对应的解析记 录,且当前DHT不是本自治域AS内的最高级DHT,则向本AS内的上一级DHT中查找,直至获 取该标识对应的解析记录中的内容存放位置列表。获取内容的节点600还用于接收注册请求,该注册请求至少包括内容的标识及该 内容的位置信息;在本地所在的DHT中查找是否存在该标识对应的解析记录,如果存在,则 更新该标识对应的解析记录中的内容存放位置列表;否则在该DHT中增加包含该标识及该 内容的位置信息的解析记录,并判断当前DHT是否为本自治域AS内的最高级DHT,如果不 是,则向本AS内的上一级DHT注册;如果是,则向全局内容解析结构注册。进一步地,获取内容的节点600用于根据当前TE-SS策略在该内容存放位置列表 中选择目标节点时,具体用于获取当前TE-SS策略;根据该当前TE-SS策略从该内容存放位 置列表中选择目标节点;获取内容的节点600用于从目标节点中获取该标识对应的内容时,具体用于根据 该当前TE-SS策略从该目标节点中获取该标识对应的内容。获取内容的节点600用于根据该标识查找名字解析系统得到存放该标识对应的内容的目标节点,从该目标节点中获取该标识对应的内容时,具体用于从全局内容解析结 构中查找该标识对应的内容归属的自治域AS,从该AS中的目标节点获取该标识对应的内容。获取内容的节点600用于从该目标节点中获取该标识对应的内容之后,还用于获 取协作缓存全局策略和本地信息;根据该协作缓存全局策略和本地信息得到本地缓存策 略;根据该本地缓存策略对该内容进行缓存。另外,获取内容的节点600还用于获取用户的内容请求,根据该内容请求得到用 户请求摘要,向全局导航设备605发送该用户请求摘要。本发明实施例提供的获取内容的节点600还包括全局导航设备605。该全局导航设备605用于获取用户请求摘要;根据该用户请求摘要得到用户行为 信息;根据该用户行为信息得到协作缓存全局策略。或者,该全局导航设备605用于获取网络流量的动态变化;根据该网络流量的动 态变化得到协作缓存全局策略。或者该全局导航设备605用于获取用户请求摘要和网络流量的动态变化;根据用 户请求摘要得到用户行为信息;根据该用户行为信息和网络流量的动态变化得到协作缓存 全局策略。或者该全局导航设备605用于获取网络流量的动态变化和用户请求摘要;根据该 用户请求摘要得到用户行为信息;根据该用户行为信息和网络流量的动态变化得到TE-SS 策略。该全局导航设备605可以设置于获取内容的节点600中或为一个独立设备。本发明实施例提供的技术方案充分利用了先进的分布式计算、优化分解理论;通 过构建对内容感知、存储、路由、分发的网络架构,利用跨层的联合优化等技术,解决了现有 基于主机模式的^ternet所面临的问题,提供了一个基于分布式的,可扩展性强,高效率 的以内容存储/分发为中心的新一代网络。在本发明实施例的网络架构下,内容并不是存储在某一个特定节点,当客户端获 取某一内容时,不会向某一个特定节点获取,而是就近在本地缓存中查找该内容;如果本地 缓存中没有该内容,则在DHT中查找到内容标识对应的内容存放位置列表,并在内容存放 位置列表中获取相应的目标节点以得到该内容。采用本发明实施例所述的方法,避免了当 很多客户端同时获取某一内容时所造成的网络拥堵;同时还提高了内容分发效率;从而减 少了对网络设备进行升级时造成的投资成本的浪费;避免了黑客向同一节点发出大量内容 请求而造成的网络瘫痪,提高了网络的安全性。由于一个协作区域内的多个节点分布存储该协作区域的DHT,而不是每个节点存 储所有的DHT,当内容爆炸式增长时,缓解了每个节点的存储压力,具有分布式和可扩展性 的特点。由于将协作区域内各节点的存储能力组织起来构建一个互助的分布式缓存系统, 使获取内容时不受限于单个节点的缓存,实施例五为了使本发明的实施过程更加清楚,本发明实施例提供了一个详细的内容网络。 参见图6,该内容网络包括获取内容的节点600和传输网络607。该取内容的节点600通过所述传输网络607将获取的内容发送给客户端。其中,获取内容的节点600包括以下模块和单元1、内容代理模块601,具体包括以下功能用户的接入管理包括用户附着管理及移动性的管理,完成用户的认证、策略管 理、位置标签的分配等工作。作为用户和CONA网络之间的桥梁,通过和其它节点的交互为 用户发布/获取内容。内容代理模块601往往部署在网络的边缘,如DSLAM设备。流的管理衔接各个功能模块,形成对一个内容请求的完整处理过程。用于接收内 容请求,该内容请求至少包括所要请求内容的标识;判断该标识对应的内容是否能够从本 地获取,如果是,则从本地获取该标识对应的内容。否则向名字解析单元60 查询内容所 在位置。如果内容在本AS内的其它节点,则通过存储业务模块603获取该内容,如果存放 或缓存该内容的其它域(则借助名字解析单元60 的全局内容解析结构),则向这些域中 的边界节点发起内容请求;获取内容后向所有内容请求者返回该内容。其中,内容代理模块601具体包括本地缓存查找单元601b和汇聚内容查找单元 601c。其中,本地缓存查找单元601b用于判断该标识对应的内容是否存储在本地缓存中, 如果是,从本地缓存中获取该内容;汇聚内容查找单元601c用于判断本地是否正在获取该 标识对应的内容,如果是,则等待本地获取该内容后获取该标识对应的内容。汇聚内容请求通过设置正在获取内容信息表,使得后续对同一内容的重复请求 (通过内容名在该信息表中能够找到)无需重复获取内容,只需要等待前面的请求返回内 容后一并响应。通过对内容请求的汇聚,可以有效抵御DDoS和Flash Crowd的问题。2、名字解析单元60 ,该单元是CONA中的核心单元,用于根据DHT查找标识对应 的内容存放位置列表。具体包括以下功能支持多种工作模式在本协作区域或局域网内采用广播方式,类似ARP(AddreSS Resolution Protocol,地址解析协议)协议;在AS或城域网内采用多级DHT ;而跨AS则采 用全局内容解析结构。维护DHT的基于关键字的路由表(KBR,Key Based Routing)主要包括对具有名 字解析功能的节点的发现和状态检测,判断具有名字解析功能的节点是否添加到DHT中, 对KBR的状态同步等功能。构建多级DHT :C0NA在每个AS内或城域网内,构建多级DHT,分别对应不同层次的 基础网络设施,例如,DSLAM设备层,以太网交换机层和边缘路由器层。支持DHT基本操作支持DHT的写入、查找等功能,考虑到DHT的对等体(Peer)是 由状态相对稳定的网络设备构成,因此可以采用1跳(One-Hop)DHT查找。其中,名字解析单元60 中支持DHT写入的部分用于接收注册请求,所述注册请 求至少包括注册内容的标识及注册内容的位置信息;在当前DHT中查找是否存在该标识, 如果存在,则更新该标识对应的内容存放位置列表,注册完成;否则增加该标识及所述内容 的位置信息,并判断当前DHT是否为本AS内的最高级DHT,如果不是,则向本AS内的上一级 DHT注册;如果是,则向全局内容解析结构注册。名字解析单元60 中支持DHT查找的部分用于在当前DHT中查找是否存在所要 请求内容的标识,如果存在,则获取该标识对应的内容存放位置列表;如果不存在,且当前 DHT不是本AS内的最高级DHT,则向本AS内的上一级DHT中查找,直至获取该标识对应的内容存放位置列表;如果当前DHT中不存在该标识,且当前DHT是本AS内的最高级DHT,则 从全局内容解析结构中查找该标识对应的内容归属的AS,从该AS中的目标节点获取该标 识对应的内容存放位置列表。聚合特性和最长匹配查找全局内容解析结构中采用结构化的名字空间,具有聚 合特性。当一批内容的名字具有相同的前缀且发布在同一区域(如相同的AS),只需要用 该名字前缀在全局内容解析结构中发布一条记录即可。例如,内容“www. huawei. com/pic/
pi. jpg,,、.....、“www. huawei. com/pic/pn. jpg,,具有相同的前缀"www. huawei. com/pic/,,,
且存放在同一个AS下,则在全局内容解析结构中可以聚合成一个名字为“www. huawei. com/pic/”的解析记录。聚合特性使得全局内容解析结构的扩展性大大提高。同时全局内 容解析结构还支持最长匹配查找。如在全局内容解析结构中有来自不同AS的两条解析记 录,分另1J为“www. huawei. com/” 禾口“www. huawei. com/pic/”,贝Ij内容“www. huawei. com/pic/ pi. jpg” 在解析时会找到 “www. huawei. com/pic/”。3、内容路由单元602b,具体包括以下功能节点的逻辑拓扑管理主要通过节点的自动发现,节点故障检测等功能,完成节点 之间的逻辑拓扑管理。动态优化选路为来自上层存储业务模块603的内容层消息进行动态优化选路, 根据全局导航设备605下发的优化策略,对请求中的目标节点进行选择,确定每个目标节 点的传输需求比例,并进一步通过传输引擎模块606将传输需求映射到底层的传输网络 607。具体地,内容路由单元602b用于根据当前流量工程-服务器选择TE-SS策略在内容 存放位置列表中选择目标节点;从目标节点中获取所述标识对应的内容。其中,内容路由单 元602b具体包括接收子单元602bl,用于接收名字解析单元60 发送的内容存放位置列 表,流量工程-服务器选择TE-SS策略获取子单元602b2,用于获取当前TE-SS策略;选择 子单元602b3,用于根据所述当前TE-SS策略从内容存放位置列表中选择目标节点;内容获 取子单元602b4,用于根据该当前TE-SS策略从目标节点中获取对应的内容。内容的传输与交付通过传输引擎模块606提供的接口,完成内容在节点之间的 传输。4、存储业务模块603,具体包括以下功能DHT索引存储用于存储内容的元数据,包括内容存放位置列表,还可以包括数据 签名,TTL等信息。内容块存储用于内容块的永久存储和缓存。其中缓存又可以分为两类本地缓 存和协作缓存。本地缓存由本地的缓存替换算法来调度,协作缓存是将协作区域内设备的 存储能力组织起来相互协作形成一个共享的虚拟缓存池,以提高本协作区域的整体的缓存 命中率和内容分发效率。它由全局导航设备605中相对集中的协作缓存控制器下发的协作 缓存全局策略结合本地信息得到的本地缓存策略来调度。具体,该存储业务模块用于获取 协作缓存全局策略;根据该协作缓存全局策略和本地信息得到本地缓存策略;根据该本地 缓存策略对获取到的内容进行缓存。统一的存储服务接口 封装了用于内容存储的基本语义,隐藏了存储架构的细节, 为其它模块和装置提供统一的内容存储服务接口。5、应用业务模块604,具体包括以下功能
产生用户请求摘要协作区域内各节点的应用业务模块604接收用户客户端发送 的内容请求,根据该内容请求得到用户请求摘要,其中,用户客户端发送的内容请求包括 需要获取的内容的名称。对该内容请求进行汇总,例如,对不同用户客户端发送的内容请求 进行分类,对不同内容请求进行访问量的统计等,得到用户请求摘要,该用户请求摘要包括 但不限于内容的名称、该协作区域的信息和访问量等,并报告给全局导航设备605。6、全局导航设备605,具体包括以下功能协作缓存控制器60 用于获取用户行为信息和网络流量的动态变化;根据所述 用户行为信息和网络流量的动态变化中的至少一项得到协作缓存全局策略。具体地,它将 域内用户行为信息(对内容的请求)和网络流量的动态变化中的至少一项作为输入,应用 协作缓存的方法得出每个域的协作缓存全局策略,将该策略推送到域内节点,应用到存储 业务模块603,将域内每个节点贡献出来的一部分缓存资源相互协作形成一个共享的虚拟 缓存池。其中,常用的协作缓存的方法是基于对内容流行度的统计预测建立起最小化网络 传输代价的优化问题模型,通过启发式算法求解这一优化问题,得到接近最优的副本放置、 替换策略。本发明实施例中,协作缓存的副本放置及替换策略可以采用该方法,也并不排除 采用其它的方法。联合优化控制器60 用于获取用户行为信息和网络流量的动态变化;根据所述 用户行为信息和网络流量的动态变化计算TE-SS策略。具体地,它将域内用户行为信息(对 内容的请求)和网络流量的动态变化作为输入,利用优化分解理论,定期计算“TE-SS”的策 略(例如更改IP路由),然后将策略推送给域内的节点;其中,TE-SS联合优化是一种利益合作博弈理论对TE和SS两个最优化问题实现 合作博弈,既解决了网络流量的最优路由问题,同时也解决了内容的高效分发问题,从而获 得了系统性能的全局最优。一种典型的TE-SS联合优化方法就是利用NBS来建立TE-SS的 COST。COST利用对偶分解理论将初始的联合优化问题分解为两个类似于TE和SS的子优 化问题和一个主优化问题。两个子问题之间通过共同的对偶变量相互关联,而主问题则负 责不断更新关联的对偶变量,最终使系统逼近最优解。本发明实施例中,联合优化可以采用 COST方法,也并不排除采用其它的方法,本发明实施例对此不作具体限定。具体地,还包括用户行为分析对应用业务模块604上报的用户请求摘要进行分 析,输出的用户行为信息可反馈给联合优化控制器和协作缓存控制器,也可以被其他应用 程序使用,例如推荐。其中用户行为分析(User Profile Analysis)是指对用户的历史访问行为进行分析, 并基于分析结果得到的用户行为信息预测用户对特定内容的访问偏好,并根据对特定内容 的访问偏好得到用户的个人偏好。例如,经过对某一用户A的历史访问数据进行分析,发现 客户A偏好访问的内容为高尔夫、篮球及体育新闻,则用户A的个人偏好为体育。常用的预测方法有基于记忆的协同过滤(Memory Based Collaborative Filtering)和基于模型的协同过滤(Model Based Collaborative Filtering)。其中基于 记忆的协同过滤通过计算用户间的相似度以及其他用户对该内容的评价来预测用户对特 定内容的访问偏好。基于模型的协同过滤首先对用户建立一个概率模型,并基于用户的历 史访问数据,应用统计推断和贝叶斯学习的方法获得该用户的概率模型所对应的参数,然后该用户模型根据该参数对特定内容进行预测,得到用户对特定内容的访问偏好。本发明实施例不对用户行为分析的方法进行具体限定,可以是基于记忆的协同过 滤或基于模型的协同过滤,也并不排除采用其它的方法。7、传输引擎模块606,具体包括以下功能获取内容的节点600与承载技术无关的传输控制工作如对获取内容的节点600 请求消息的重传、对获取内容的节点600重复响应消息的丢弃、对获取内容的节点600接收 到的请求消息的流量控制等工作。获取内容的节点600到传输网络607不同承载技术的适配完成对不同承载技术 如IP,Ethernet、MPLS、Fiber或Wireless的适配。隐藏各种传输技术的差异而为获取内 容的节点600提供统一的传输接口,完成从内容到传输层报文或帧之间的分片、重组、重定
序等工作。针对特定承载技术的优化如在城域网,可以使CONA直接利用Khernet进行传 输,并针对Khernet的特点进行优化,解决扩展性问题,使CONA对网络的使用效率最高。承载网的拓扑感知和传输路径的控制借助BGP,IS-IS等协议的扩展完成对承载 网拓扑及流量信息的动态检测。并通过对目标节点发送内容的传输路径的控制,协助完成 TE-SS策略的联合优化目标。进一步地,本发明实施例提供的内容网络还包括传输网络607,用于向内容网络提 供一个可以传输内容的平台。本发明实施例不对传输网络607的形式进行具体限定,包括 但不限于 IP,Ethernet、(G)MPLS、Fiber 和 Wireless 等。上述内容代理模块601、名字解析单元60 、内容路由单元602b、存储业务模块 603、应用业务模块604、全局导航设备605和传输引擎模块606,为各自独立的物理设备,或 者由他们形成的任意组合位于同一物理设备,或者分别是一台物理设备上的独立进程,或 者一起做为一台物理设备上的一个进程。其中,全局导航设备605可设置于获取内容的节点600中或为一个独立设备单独设置。其中,在一台物理设备上可以集成存储业务模块603,负责内容块和DHT索引中至 少一项的存储,在CONA中构成一个纯存储设备。 在一台物理设备上可以集成名字解析单元60 和存储业务模块603 (仅需要存储 索引),负责内容名字解析条目的存储和查询,在CONA中构成一个纯名字解析设备。上述模块和装置可以根据运营商的需要,灵活组合,构建不同的设备形态,包括在实际部署中,允许上述各种形态的模块或设备混合组网。这使得组网更加灵活, 扩展性更好。如当业务处理能力不足时只需要增加一体化的业务交换设备的数量。如只需 要扩展内容存储容量,可以直接增加纯存储设备。当需要提高名字解析系统的处理能力时, 可以直接增加纯名字解析设备。本发明实施例提供的技术方案充分利用了先进的分布式计算、优化分解理论;通 过构建对内容感知、存储、路由、分发的网络架构,利用跨层的联合优化等技术,解决了现有 基于主机模式的^ternet所面临的问题,提供了一个基于分布式的,可扩展性强,高效率 的以内容存储/分发为中心的新一代网络。在本发明实施例的网络架构下,内容并不是存储在某一个特定节点,当客户端获取某一内容时,不会向某一个特定节点获取,而是就近在本地缓存中查找该内容;如果本地 缓存中没有该内容,则在DHT中查找到内容标识对应的内容存放位置列表,并在内容存放 位置列表中获取相应的目标节点以得到该内容。采用本发明实施例所述的方法,避免了当 很多客户端同时获取某一内容时所造成的网络拥堵;同时还提高了内容分发效率;从而减 少了对网络设备进行升级时造成的投资成本的浪费;避免了黑客向同一节点发出大量内容 请求而造成的网络瘫痪,提高了网络的安全性。由于一个协作区域内的多个节点分布存储该协作区域的DHT,而不是每个节点存 储所有的DHT,当内容爆炸式增长时,缓解了每个节点的存储压力,具有分布式和可扩展性 的特点。由于将协作区域内各节点的存储能力组织起来构建一个互助的分布式缓存系统, 使获取内容时不受限于单个节点的缓存,提高了存储的扩展性;通过应用当前的协作缓存 全局策略结合本地信息生成的本地缓存策略,对本地缓存资源和协作缓存资源进行调度, 提高了本协作区域整体的缓存命中率和内容分发效率。通过根据当前的TE-SS策略中的SS策略在内容存放位置列表中选择目标节点,再 根据当前的TE-SS策略中的TE策略进行动态优化选路,能够保证用户客户端能够通过最优 路径从最优节点中获取内容。由于采用具有聚合特性的结构化的名字空间,使系统的扩展性大大提高。需要说明的是上述实施例提供的获取内容的节点及内容网络在获取内容时,仅 以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由 不同的功能模块完成,即将获取内容的节点及内容网络的内部结构划分成不同的功能模 块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的获取内容的节点及内容 网络与获取内容的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再 赘述。 上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。本发明实施例中的全部或部分步骤,可以利用软件实现,相应的软件程序可以存 储在可读取的存储介质中,如光盘或硬盘等。以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和 原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
权利要求
1.一种获取内容的方法,其特征在于,所述方法包括 接收内容请求,所述内容请求至少包括所要请求内容的标识;判断所述标识对应的内容是否能够从本地获取,如果是,则从本地获取所述标识对应 的内容;否则,根据所述标识查找名字解析系统得到存放所述标识对应的内容的目标节点,从所述目 标节点中获取所述标识对应的内容;其中,所述名字解析系统包括多级分布式哈希表DHT和全局内容解析结构,所述全局 内容解析结构支持名字聚合和最长匹配查找。
2.根据权利要求1所述的方法,其特征在于,所述判断所述标识对应的内容是否能够 从本地获取,如果是,则从本地获取所述标识对应的内容,包括判断所述标识对应的内容是否存储在本地的缓存中,如果是,从本地的缓存中获取所 述内容;否则,判断本地是否正在获取所述标识对应的内容,如果是,则等待本地获取所述内容后获 取所述标识对应的内容。
3.根据权利要求1所述的方法,其特征在于,所述根据所述标识查找名字解析系统得 到存放所述标识对应的内容的目标节点,包括根据多级分布式哈希表DHT查找所述标识对应的内容存放位置列表,并根据当前流量 工程_服务器选择TE-SS策略在所述内容存放位置列表中选择目标节点。
4.根据权利要求3所述的方法,其特征在于,所述根据多级分布式哈希表DHT查找所述 标识对应的内容存放位置列表,包括在当前DHT中查找是否存在所述标识对应的解析记录,如果存在,则获取所述标识对 应的解析记录中的内容存放位置列表;如果不存在,且当前DHT不是本自治域AS内的最高级DHT,则向本AS内的上一级DHT 中查找,直至获取所述标识对应的解析记录中的内容存放位置列表。
5.根据权利要求3所述的方法,其特征在于,所述根据当前流量工程_服务器选择 TE-SS策略在所述内容存放位置列表中选择目标节点,包括获取当前TE-SS策略;根据所述当前TE-SS策略从所述内容存放位置列表中选择目标节点;所述从所述目标节点中获取所述标识对应的内容,包括根据所述当前TE-SS策略从所述目标节点中获取所述标识对应的内容。
6.根据权利要求5所述的方法,其特征在于,所述获取当前流量工程_服务器选择 TE-SS策略之前,还包括获取用户请求摘要和网络流量的动态变化; 根据所述用户请求摘要得到用户行为信息; 根据所述用户行为信息和网络流量的动态变化得到TE-SS策略。
7.根据权利要求1所述的方法,其特征在于,所述根据所述标识查找名字解析系统得 到存放所述标识对应的内容的目标节点,从所述目标节点中获取所述标识对应的内容,包 括从全局内容解析结构中查找所述标识对应的内容归属的自治域AS,从所述AS中的目标节点获取所述标识对应的内容。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括接收注册请求,所述注册请求至少包括内容的标识及所述内容的位置信息; 在当前DHT中查找是否存在所述标识对应的解析记录,如果存在,则更新所述标识对 应的解析记录中的内容存放位置列表;否则在所述DHT中增加包含所述标识及所述内容的位置信息的解析记录,并判断当前 DHT是否为本自治域AS内的最高级DHT,如果不是,则向本AS内的上一级DHT注册,如果是, 则向全局内容解析结构注册。
9.根据权利要求1所述的方法,其特征在于,所述从所述目标节点中获取所述标识对 应的内容之后,还包括获取协作缓存全局策略和本地信息;根据所述协作缓存全局策略和本地信息得到本地缓存策略;根据所述本地缓存策略对所述内容进行缓存。
10.根据权利要求9所述的方法,其特征在于,所述获取协作缓存全局策略之前,还包括获取用户请求摘要;根据所述用户请求摘要得到用户行为信息; 根据所述用户行为信息得到协作缓存全局策略。
11.根据权利要求9所述的方法,其特征在于,所述获取协作缓存全局策略之前,还包括获取网络流量的动态变化;根据所述网络流量的动态变化得到协作缓存全局策略。
12.根据权利要求9所述的方法,其特征在于,所述获取协作缓存全局策略之前,还包括获取用户请求摘要和网络流量的动态变化; 根据所述用户请求摘要得到用户行为信息;根据所述用户行为信息和网络流量的动态变化得到协作缓存全局策略。
13.根据权利要求6或10或12所述的方法,其特征在于,所述获取用户请求摘要,包括获取用户的内容请求,根据所述内容请求得到用户请求摘要。
14.一种获取内容的节点,其特征在于,所述节点包括内容代理模块,用于接收内容请求,所述内容请求至少包括所要请求内容的标识;判断 所述标识对应的内容是否能够从本地获取,如果是,则从本地获取所述标识对应的内容;否 则,向内容获取模块转发所述内容请求;内容获取模块,用于接收所述内容代理模块发送的所述内容请求,根据所述标识查找 名字解析系统得到存放所述标识对应的内容的目标节点,从所述目标节点中获取所述标识 对应的内容;其中,所述名字解析系统包括多级分布式哈希表DHT和全局内容解析结构,所述全局 内容解析结构支持名字聚合和最长匹配查找。
15.根据权利要求14所述的节点,其特征在于,所述内容代理模块包括请求接收单元,用于接收内容请求,所述内容请求至少包括所要请求内容的标识,并向 本地缓存查找单元发送所述内容请求;本地缓存查找单元,用于接收请求接收单元发送的所述内容请求,判断所述标识对应 的内容是否存储在本地的缓存中,如果是,从本地的缓存中获取所述内容;否则向汇聚内容 查找单元转发所述内容请求;汇聚内容查找单元,用于接收本地缓存查找单元发送的所述内容请求,判断本地是否 正在获取所述标识对应的内容,如果是,则等待本地获取所述内容后获取所述标识对应的 内容;如果否,则向内容获取模块转发所述内容请求。
16.根据权利要求14所述的节点,其特征在于,所述内容获取模块包括名字解析单元,用于接收所述内容代理模块发送的所述内容请求,根据多级分布式哈 希表DHT查找所述标识对应的内容存放位置列表,并向内容路由单元发送所述内容存放位 置列表;内容路由单元,用于接收所述名字解析单元发送的所述内容存放位置列表,根据当前 流量工程_服务器选择TE-SS策略在所述内容存放位置列表中选择目标节点,从所述目标 节点中获取所述标识对应的内容。
17.根据权利要求16所述的节点,其特征在于,所述名字解析单元包括 请求接收子单元,用于接收所述内容代理模块发送的所述内容请求;查找子单元,用于在当前DHT中查找是否存在所述标识对应的解析记录,如果存在,则 获取所述标识对应的解析记录中的内容存放位置列表;如果不存在,且当前DHT不是本自 治域AS内的最高级DHT,则向本AS内的上一级DHT中查找,直至获取所述标识对应的解析 记录中的内容存放位置列表;发送子单元,用于向内容路由单元发送所述内容存放位置列表。
18.根据权利要求17所述的节点,其特征在于,所述名字解析单元还包括注册子单元,用于接收注册请求,所述注册请求至少包括内容的标识及所述内容的位 置信息;在当前DHT中查找是否存在所述标识对应的解析记录,如果存在,则更新所述标识 对应的解析记录中的内容存放位置列表;否则在所述DHT中增加包含所述标识及所述内容 的位置信息的解析记录,并判断当前DHT是否为本自治域AS内的最高级DHT,如果不是,则 向本AS内的上一级DHT注册;如果是,则向全局内容解析结构注册。
19.根据权利要求16所述的节点,其特征在于,所述内容路由单元包括接收子单元,用于接收所述名字解析单元发送的所述内容存放位置列表,向所述选择 子单元发送所述内容存放位置列表;流量工程_服务器选择TE-SS策略获取子单元,用于获取当前TE-SS策略,并向选择子 单元发送所述当前TE-SS策略;选择子单元,用于接收所述接收子单元发送的所述内容存放位置列表和所述TE-SS策 略获取子单元发送的当前TE-SS策略,根据所述当前TE-SS策略从所述内容存放位置列表 中选择目标节点,并向内容获取子单元发送所述目标节点的信息;内容获取子单元,用于接收所述选择子单元发送的目标节点的信息,根据所述当前 TE-SS策略从所述目标节点中获取所述标识对应的内容。
20.根据权利要求14所述的节点,其特征在于,所述内容获取模块用于从全局内容解 析结构中查找所述标识对应的内容归属的自治域AS,从所述AS中的目标节点获取所述标 识对应的内容。
21.根据权利要求14所述的节点,其特征在于,所述节点还包括存储业务模块,用于获取协作缓存全局策略和本地信息;根据所述协作缓存全局策略 和本地信息得到本地缓存策略;根据所述本地缓存策略对所述内容进行缓存。
22.根据权利要求14所述的节点,其特征在于,所述节点还包括应用业务模块,用于获取用户的内容请求,根据所述内容请求得到用户请求摘要,向全 局导航设备发送所述用户请求摘要。
23.根据权利要求14所述的节点,其特征在于,所述节点还包括全局导航设备,所述全局导航设备包括协作缓存控制器,用于获取应用业务模块发送 的用户请求摘要;根据所述用户请求摘要得到用户行为信息;根据所述用户行为信息得到 协作缓存全局策略。
24.根据权利要求14所述的节点,其特征在于,所述节点还包括全局导航设备,所述全局导航设备包括协作缓存控制器,用于获取网络流量的动态变 化;根据所述网络流量的动态变化得到协作缓存全局策略。
25.根据权利要求14所述的节点,其特征在于,所述节点还包括全局导航设备,所述全局导航设备包括协作缓存控制器,用于获取应用业务模块发送 的用户请求摘要和网络流量的动态变化;根据所述用户请求摘要得到用户行为信息;根据 所述用户行为信息和网络流量的动态变化得到协作缓存全局策略。
26.根据权利要求14所述的节点,其特征在于,所述节点还包括全局导航设备,所述全局导航设备包括联合优化控制器,用于获取网络流量的动态变 化和应用业务模块发送的用户请求摘要;根据所述用户请求摘要得到用户行为信息;根据 所述用户行为信息和网络流量的动态变化得到TE-SS策略。
27.一种内容网络,其特征在于,所述网络包括获取内容的节点和传输网络;所述获取内容的节点,用于接收内容请求,所述内容请求至少包括所要请求内容的标 识;判断所述标识对应的内容是否能够从本地获取,如果是,则从本地获取所述标识对应的 内容;否则,根据所述标识查找名字解析系统得到存放所述标识对应的内容的目标节点,从 所述目标节点中获取所述标识对应的内容;并通过所述传输网络将所述标识对应的内容发 送给客户端;其中,所述名字解析系统包括多级分布式哈希表DHT和全局内容解析结构,所述全局 内容解析结构支持名字聚合和最长匹配查找。
28.根据权利要求27所述的网络,其特征在于,所述获取内容的节点用于判断所述标 识对应的内容是否能够从本地获取,如果是,则从本地获取所述标识对应的内容时,具体用 于判断所述标识对应的内容是否存储在本地的缓存中,如果是,从本地的缓存中获取所述 内容;否则,判断本地是否正在获取所述标识对应的内容,如果是,则等待本地获取所述内 容后获取所述标识对应的内容。
29.根据权利要求27所述的网络,其特征在于,所述获取内容的节点用于根据所述标 识查找名字解析系统得到存放所述标识对应的内容的目标节点时,具体用于根据多级分布式哈希表DHT查找所述标识对应的内容存放位置列表,并根据当前流量工程_服务器选择 TE-SS策略在所述内容存放位置列表中选择目标节点。
30.根据权利要求29所述的网络,其特征在于,所述获取内容的节点用于根据多级分 布式哈希表DHT查找所述标识对应的内容存放位置列表时,具体用于在当前DHT中查找是 否存在所述标识对应的解析记录,如果存在,则获取所述标识对应的解析记录中的内容存 放位置列表;如果不存在,且当前DHT不是本自治域AS内的最高级DHT,则向本AS内的上 一级DHT中查找,直至获取所述标识对应的解析记录中的内容存放位置列表。
31.根据权利要求27所述的网络,其特征在于,所述获取内容的节点还用于接收注册 请求,所述注册请求至少包括内容的标识及所述内容的位置信息;在当前DHT中查找是否 存在所述标识对应的解析记录,如果存在,则更新所述标识对应的解析记录中的内容存放 位置列表;否则在所述DHT中增加包含所述标识及所述内容的位置信息的解析记录,并判 断当前DHT是否为本自治域AS内的最高级DHT,如果不是,则向本AS内的上一级DHT注册; 如果是,则向全局内容解析结构注册。
32.根据权利要求29所述的网络,其特征在于,所述获取内容的节点用于根据当前流 量工程_服务器选择TE-SS策略在所述内容存放位置列表中选择目标节点时,具体用于获 取当前TE-SS策略;根据所述当前TE-SS策略从所述内容存放位置列表中选择目标节点;所述获取内容的节点用于从所述目标节点中获取所述标识对应的内容时,具体用于根 据所述当前TE-SS策略从所述目标节点中获取所述标识对应的内容。
33.根据权利要求27所述的网络,其特征在于,所述获取内容的节点用于根据所述标 识查找名字解析系统得到存放所述标识对应的内容的目标节点,从所述目标节点中获取所 述标识对应的内容时,具体用于从全局内容解析结构中查找所述标识对应的内容归属的自 治域AS,从所述AS中的目标节点获取所述标识对应的内容。
34.根据权利要求27所述的网络,其特征在于,所述获取内容的节点用于从所述目标 节点中获取所述标识对应的内容之后,还用于获取协作缓存全局策略和本地信息;根据所 述协作缓存全局策略和本地信息得到本地缓存策略;根据所述本地缓存策略对所述内容进 行缓存。
35.根据权利要求27所述的网络,其特征在于,所述获取内容的节点还用于获取用户 的内容请求,根据所述内容请求得到用户请求摘要,向全局导航设备发送所述用户请求摘要。
36.根据权利要求27所述的网络,其特征在于,所述获取内容的节点还包括全局导航设备,用于获取用户请求摘要;根据所述用户请求摘要得到用户行为信息; 根据所述用户行为信息得到协作缓存全局策略。
37.根据权利要求27所述的网络,其特征在于,所述获取内容的节点还包括全局导航设备,用于获取网络流量的动态变化;根据所述网络流量的动态变化得到协 作缓存全局策略。
38.根据权利要求27所述的网络,其特征在于,所述获取内容的节点还包括全局导航设备,用于获取用户请求摘要和网络流量的动态变化;根据所述用户请求摘 要得到用户行为信息;根据所述用户行为信息和网络流量的动态变化得到协作缓存全局策 略。
39.根据权利要求27所述的网络,其特征在于,所述获取内容的节点还包括 全局导航设备,用于获取网络流量的动态变化和用户请求摘要;根据所述用户请求摘要得到用户行为信息;根据所述用户行为信息和网络流量的动态变化得到TE-SS策略。
40.根据权利要求36至权利要求39任意一项权利要求所述的网络,其特征在于,所述 全局导航设备设置于所述获取内容的节点或为一个独立设备。
全文摘要
本发明公开了一种获取内容的方法、节点及内容网络,属于通信领域。方法包括接收内容请求,内容请求至少包括所要请求内容的标识;判断标识对应的内容是否能够从本地获取,如果是,则从本地获取标识对应的内容;否则,根据标识查找名字解析系统得到存放所述标识对应的目标节点,从目标节点中获取标识对应的内容;其中,名字解析系统包括多级DHT和全局内容解析结构,全局内容解析结构支持名字聚合和最长匹配查找。节点包括内容代理模块和内容获取模块。内容网络包括获取内容的节点和传输网络。本发明采用分布式方案构建一个CONA平台,通过引入优化策略提高了内容分发效率和网络的安全性、节约了网络投资成本,使网络更适应内容的快速增长。
文档编号H04L29/06GK102143199SQ20101051591
公开日2011年8月3日 申请日期2010年10月19日 优先权日2010年10月19日
发明者施广宇, 王国强, 范灵源, 谢海永 申请人:华为技术有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1