专利名称：基于Chord环和区域Chord环内节目收集方法
技术领域：
本发明属于网络通讯技术和流媒体技术领域，涉及基于Chord环和区域Chord环 内节目收集方法。
背景技术：
在计算机互联网上，技术的不断发展，在各阶段也出现了不同的问题。集中式服务 器方式暴露出负荷有限、过分依赖服务器。Peer-to-Peer (P2P)端对端，Peer是网络的参与 者即对等节点，既是资源(服务与内容)的提供者，又是资源(服务与内容)的获取者，是 一个分布式系统，解决集中式问题。P2P应用的基本问题是如何定位存有特定数据的节点，Chord是解决该问题的一 种分布式查找协议。Chord能够提供仅对于单个操作的支持提供一个Key，这个Key可映射 到这个节点。这样，在Chord的上层，数据的位置就很容易通过关联每个数据项的一个Key 来实现。并且在节点存储key/data项目对，以便于key的映射。Chord环利用Chord协议 构造的P2P应用的节点环。P2P的优点有系统内的节点是平等的关系，冗余存储、认证、性能、选择最近的服 务节点、分层命名等。但其缺点也同样明显，P2P的核心的操作是寻找特定数据的节点的位 置。在一个动态变化的P2P系统内精确的定位每一个含有特定数据的节点。Chord直接利 用key-node的操作，利用一致性哈希进行彼此的映射关系。一致性哈希可以保证每个节点 拥有独立的key值，而且在节点离开和加入时只需要对key值做很小的移动。在Chord中， 每个Chord节点需要关于其他节点的“路由信息”，在一个N个节点的系统中，每个节点只需 要维护0(log N)个节点的路由信息。离开和加入的信息交换不会超过O(Iog)。Chord区 别于其他的Peer-to-Peer查询协议有三个特点简单性，可证明正确性，可证明的表现性。 当结点nodeld加入Chord网络时，通过入口结点找到它的前续结点和后续结点，将自己加 入到Chord环中。但是，在P2P的实现中，采用Chord是多跳的DHT (Distributed Hash Table，分布 式散列表，也称分布式哈希表)算法(Multi-hop DHT)的一种，Chord算法并不完善，存在 网络的绕路问题。
发明内容
本发明目的是针对现有Chord协议和算法中存在的网络的绕路问题，提出一种 基于区域的Chord环和区域Chord环内节目收集方法。通过此种方法，能够解决上述不足 之处，有效改善P2P在hternet网中的应用。在一定范围内发挥出P2P技术的最大优势。本发明技术方案是基于Chord环和区域Chord环内节目收集方法，其特征是在 P2P系统中设有基本Chord环和多个区域Chord环；区域Chord环是由基本Chord环上区 域相同的节点组成，各区域Chord环上的节点互不重叠；每个节点都加入到基本Chord环和 本区域Chord环两个Chord环；每个区域Chord环的节点的类型除了基本节点，还包含节目收集服务器节点；此服务器具有较好的带宽性能，计算性能和磁盘性能，能缓存大量的节目节目收集服务器节点是一台服务器，节目(固有节目、新片节目、热点节目)收集 服务器节点具有基本的节点功能、节目的存储和维护、区域Chord环的节目信息全景表及 维护、对区域Chord环的节目信息搜索每个节点在执行Chord算法中的节目信息中，增加三段信息，一是区域信息，区域 信息是节点的IP和所属区域信息；二是节目类型，有新节目、热点和固有等类型；三是节目 访问次数，是对其进行汇总统计，用于热点排行；在节目收集服务器节点上通过接口进行固有节目的维护(通过此接口方便运营 商的管理员对固有节目的增加和删除操作)，监控固有节目的变化，通知到本区域Chord环 和基本Chord环的每个节点，做相应信息的更新；节目收集服务器节点收集区域Chord环的节目信息全景表，对区域Chord环的节 目信息全景表的维护，周期的将区域Chord环中的所有节点上的节目信息表进行汇总与统 计，形成节目收集服务器节点上的区域Chord环的节目信息全景表及更新；节目收集服务器节点在节目存储时将存储空间分出三种类型空间固有节目、新 节目和热点节目三个空间；节点节目搜索的顺序先在节目收集服务器节点上搜索，再到区域Chord环内搜 索，最后到基本Chord环上搜索，另一方面解决Chord环绕路的问题(由于大部分节点在区 域内进行数据交互，不影响到区域以外的网络带宽)。节目收集服务器节点对节目的增加与删除步骤如下固有节目的增加与删除是通过固有节目维护功能来完成的，对固有节目进行增加 或是删除；新节目的增加是通过新节目维护功能中节目缓存功能将该节目增加到新节目空 间；而删除则是通过新节目维护功能中节目清除功能，将该节目从新节目空间中删除；新节目就是相对本区域Chord环而言，不在本区域Chord环中而在基本Chord环 中的节目。当节点把新节目缓存到本区域Chord环中，节点在该区域Chord环中的节目信 息表中把该节目的类型标记为新节目；热点节目的增加是通过热点节目维护功能中节目缓存功能将该节目增加到热点 空间；而删除则是通过热点节目维护功能中节目清除功能，将该节目从热点节目空间中删 除；热点节目的数目，根据热点节目空间的磁盘大小来计算热点节目的数目；热点节目就是将一段时间内节目访问次数排行从大到小，排行前X(X =热点节目 的数目)的节目。节点节目搜索的顺序先在节目收集服务器节点上搜索，再到区域Chord环内搜 索，最后到基本Chord环上搜索，另一方面解决Chord环绕路的问题(由于大部分节点在区 域内进行数据交互，不影响到区域以外的网络带宽)。1.区域划分，根据节点所在的物理位置所属的地区和接入服务供应商构成子区 域，如果该子区域的节点数量比较多，就直接构成区域，如果该子区域节点数量少，可以把 几个子区域合并成一个区域。下面举例来说明，但对本发明不构成限制新疆自治区用户数量较少，将整个省只划着一个区域；江苏省用户数量较多，可能要分多个区域，如南京电信划着一个区域，南京 网通划着一个区域，扬州电信和扬州网通划着一个区域等等。2.节点加入，先获得本节点的区域信息，再加入基本Chord环，最后加入本区域 Chord环上。3.节点退出，先从区域Chord环退出，再从基本Chord环退出。4.普通节点节目管理包括当节点管理新节目时，需要该节点设置节目类型为新 节目；当节点管理不是新节目时，不需要设置节目类型，节目的节目类型为默认类型。5.节目收集服务器节点中新节目信息的维护功能，此功能包括如下几个部分A.变更通知当节目信息变更(添加或删除)时，通知到本区域Chord环和基本Chord环进行 相关信息的修改。B.监控新节目失效
检查新节目表，当发现新节目超过新节目保护期，如果该节目类型还是热点节目， 则不做处理，否则，可置新节目失效，把该节目类型设置为固有节目类型。C.新节目信息的增加通过区域Chord环的节目信息全景表，发现节目类型是新节目的节目，而该节目 又不在新节目表中，则将此节目信息加入到新节目表中。发送变更通知。D.新节目信息的删除检查新节目表，同时通过区域Chord环的节目信息全景表检查节目的节目类型， 发现在新节目表中但不是新节目的节目，则将此节目信息从新节目表中删除，同时把节目 文件从新节目空间中删除。发送变更通知。6.节目收集服务器节点中热点节目信息的维护功能，此功能包括如下几个部分A.变更通知通知到本区域Chord环和基本Chord环进行相关信息的修改。B.监控热点排行根据节目访问次数，进行从大到小的热点排行，得到热点节目。
把原来不是热点节目，现在是热点节目的节目设置节目类型为热点节目，把原来 是热点节目，现在不是热点节目的节目设置节目类型为固有节目。C.新节目转化为热点节目通过区域Chord环的节目信息全景表，发现既是新节目又是热点节目的节目，将 新节目空间下的该节目复制一份到热点节目空间下。将此节目信息加入到热点节目表中， 同时把该节目类型设置为仅热点节目类型。D.热点节目信息的增加通过区域Chord环的节目信息全景表，发现热点节目同时又不在热点节目表中的 节目，则将此节目信息加入到热点节目表中。发送变更通知。E.热点节目信息的删除检查热点节目表，同时通过区域Chord环的节目信息全景表，发现在热点节目表 中但不是热点节目的节目，则将此节目信息从热点节目表中删除，同时删除相应节目文件。 发送变更通知。
7.节目缓存功能，当一个节目信息被加入到新节目表中或热点节目表中，节目收 集服务器节点就会向拥有该节目的节点请求节目数据，并将数据存储在相应的空间中。8.节目收集服务器节点对节目的增加与删除功能如下A.增加固有节目的增加是通过固有节目维护功能来完成的，对固有节目进行增加。新节目的增加是通过新节目维护功能中节目缓存功能将该节目增加到新节目空 间。热点节目的增加是通过热点节目维护功能中节目缓存功能将该节目增加到热点空间。B.删除固有节目的删除是通过固有节目维护功能来完成的，对固有节目进行删除。新节目的删除则是通过新节目维护功能中节目清除功能，将该节目从新节目空间 中删除。热点节目的删除则是通过热点节目维护功能中节目清除功能，将该节目从热点节 目空间中删除。9.节目信息的搜索功能为，此功能包括如下几个部分A.提供搜索的要求在节目收集服务器节点空闲(通过预设值来控制)时提供搜索服务。好处是保障 节目收集服务器节点的基本功能的正常运行。B.搜索的顺序先从热点节目表中搜索，再到新节目表中搜索，再到区域Chord环中搜索，最后到 基本Chord环中搜索。好处是提高节目搜索命中率。C.获取数据的原则当查询到节目存放位置信息时，优先选用节目收集服务器节点以外的节点提供节 目数据的下载。好处是保证节目收集服务器节点的带宽尽量大。本发明的有益效果是，本发明在原Chord基础之上，提供了 一种区域性的P2P解决 方案，解决现有Chord算法存在网络的绕路问题，达到了发明的目的。
图1是基本Chord环与区域Chord环的节点和节目关系2是节目信息表图3是区域Chord环的节目信息全景表图4是节目搜索时序图
具体实施例方式下面详细说明本发明的具体实施方式
，此实施方式仅作为对本发明的解释，而并 非是对本发明的限制。本发明的具体实施方式
的步骤如下1.构建基本Chord环和区域Chord环先部署节目收集服务器节点，构建基本Chord环和区域Chord环。普通用户节点根据位置所属区域，加入到相应区域Chord环和基本Chord环。
节目收集服务器节点维护区域Chord环信息(全景表，热点节目表，新节目表)。如图1所示，基本Chord环与区域Chord环的节点和节目关系。2.节目收集服务器节点表的初始化工作节目收集服务器节点将建立区域Chord环的节目信息全景表、热点节目表、新节 目表。确定三种节目(固有节目、新片节目、热点节目)的空间分布，构成整个节目的分布。热点节目的数目，就可以根据热点节目空间的磁盘大小来计算出来。3.节目收集服务器节点的区域Chord环的节目信息全景表维护工作节目收集服务器节点周期将区域Chord环中的所有节点上的节目信息表进行汇 总与统计，形成节目收集服务器节点上的区域Chord环的节目信息全景表。周期保存这张 表到本地文件。此表如图3区域Chord环的节目信息全景表所示。4.节目收集服务器节点的固有节目管理工作节目收集服务器节点的固有节目，由运营商的管理员通过节目收集服务器节点上 提供的接口，通过此接口对固有节目的增加和删除操作。并且监控固有节目的变化，当发生 变化时通知到本区域Chord环和基本Chord环，做相应信息的更新。5.普通用户节点加入当一个普通用户A加入时，首先根据此普通用户A的IP地址区域的划分，取得区 域信息、基本Chord环的入口节点、区域Chord环的入口节点。将普通用户节点加入到基本 Chord环和自己的区域Chord环后。将其所拥有的节目加入到基本Chord环中，同时也加入 到查得的区域Chord环中，并初始化节目信息表，如图2所示的节目信息表。6.普通用户节点节目搜索当普通用户A，开始观看节目1时，通过区域Chord环的节目信息搜索功能进行查 询(先查询热点节目表，再查询新节目表，最后查询区域Chord环)，如果查得，查询结束，进 行区域内(在节目文件选用上，优先选用节目收集服务器节点以外的节点)的数据交互，观 看节目1。如果是在区域Chord环中查得，则节目信息表中二级访问次数就会加一；如果是 在节目收集服务器节点中查得(热点节目和新节目)，则区域Chord环的节目信息全景表中 一级访问次数就会加一。如果在区域Chord环中没有查得，到基本Chord环中查询，如果查得，查询结束，进 行区域外的数据交互，观看节目1，此时节目1将加入到普通用户A所属的区域Chord环中， 普通用户A将该节目的节目信息表中的节目类型设置为新节目。如果在基本Chord环中没有查得，返回查询失败。查询节目的顺序如图4节目搜索时序图所示。7.节目收集服务器节点的新节目缓存工作区域Chord环中的节目收集服务器节点新节目管理时，发现新节目1，它就会向普 通用户A请求节目1的数据进行新节目缓存。8.节目收集服务器节点的新节目中删除工作新节目维护周期检查新节目表，发现有过期(节目类型中没有新节目类型，就认 为过期)新节目，就直接从新节目(包括节目信息和节目文件)中删除。9.节目收集服务器节点的热点节目缓存工作
随着普通用户在不断的访问节目，区域Chord环的节目信息全景表中的访问次数 就会发生不同的变化，当一段时间内节目访问次数排行从大到小，排行前热点节目的数目 的就是热点节目。热点节目缓存，周期对热点节目表进行检查，发现有新的热点节目，就开 始缓存这些热点节目。10.节目收集服务器节点的热点节目维护工作热点节目维护通过监控热点排行，来改变一个节目的节目类型。符合热点节目标 准就将区域Chord环的节目信息全景表的节目类型中增加热点节目；不符合热点节目标准 就将区域Chord环的节目信息全景表的节目类型中的热点节目类型删除。11.节目收集服务器节点的热点节目清除工作热点节目维护通过清除功能，周期检测热点节目表，发现节目类型中没有热点节 目时，就对其空间下的相应热点节目进行删除，同时删除热点节目表中的信息。12.节目收集服务器节点的新节目转化为热点节目工作热点节目维护通过新节目转化为热点节目，周期检查区域Chord环的节目信息全 景表中节目类型，发现既是新节目又是热点节目的节目，就将新节目空间下的该节目复制 一份到热点节目空间下。再将此节目信息加入到热点节目表中，同时把该节目类型设置为 仅热点节目类型。13.节目收集服务节点节目信息更新通知当新节目与热点节目进行缓存或清除时，就要通知到本区域Chord环和基本 Chord环进行相关信息的修改。14.普通节点的非正常退出普通节点的非正常退出，将被节目收集服务器节点检测到，通过对比会发现节点 的退出和其拥有的节目也会被发现，此节目是非新节目，非热点节目，非固有节目，因为这 些节目在节目收集服务器节点上都有缓存，相应的节目节点依然存在。首先将区域Chord 环的节目信息全景表中的退出节点相关内容删除，通知到区域Chord环和基本Chord环，进 行相关信息的修改；再将节目信息统计表中的退出节目的相应节目信息进行删除，并通知 到区域Chord环和基本Chord环，进行相关信息的修改。15.节目收集服务节点非正常退出节目收集服务节点非正常退出，通过管理员的维护进行修复，当节目收集服务器 节点启动后，固有节目从固有节目空间中加载，新节目则从新节目空间中加载，同样热点节 目也从热点节目空间中加载。区域Chord环的节目信息全景表从本地加载，进行节目收集 服务器节点的恢复。
权利要求
1.基于Chord环和区域Chord环内节目收集方法，其特征是在P2P系统中设有基本 Chord环和多个区域Chord环；区域Chord环是由基本Chord环上区域相同的节点组成，各 区域Chord环上的节点互不重叠；每个节点都加入到基本Chord环和本区域Chord环两个 Chord环；每个区域Chord环的节点的类型除了基本节点，还包含节目收集服务器节点；节目收集服务器节点是一台服务器，节目收集服务器节点具有基本的节点功能、节目 的存储和维护、区域Chord环的节目信息全景表及维护、对区域Chord环的节目信息搜索； 每个节点在执行Chord算法中的节目信息中，增加三段信息，一是区域信息，区域信息 是节点的IP和所属区域信息；二是节目类型，有新节目、热点和固有等类型；三是节目访问 次数，是对其进行汇总统计，用于热点排行；在节目收集服务器节点上通过接口进行固有节目的维护，监控固有节目的变化，通知 到本区域Chord环和基本Chord环的每个节点，做相应信息的更新；节目收集服务器节点收集区域Chord环的节目信息全景表，对区域Chord环的节目信 息全景表的维护，周期的将区域Chord环中的所有节点上的节目信息表进行汇总与统计， 形成节目收集服务器节点上的区域Chord环的节目信息全景表及更新；节目收集服务器节点在节目存储时将存储空间分出三种类型空间固有节目、新节目 和热点节目三个空间；节点节目搜索的顺序先在节目收集服务器节点上搜索，再到区域Chord环内搜索，最 后到基本Chord环上搜索，另一方面解决Chord环绕路的问题。
2.根据权利要求1所述的基于Chord环和区域Chord环内节目收集方法，其特征是节 目收集服务器节点对节目的增加与删除步骤如下固有节目的增加与删除是通过固有节目维护功能来完成的，对固有节目进行增加或是 删除；新节目的增加是通过新节目维护功能中节目缓存功能将该节目增加到新节目空间；而 删除则是通过新节目维护功能中节目清除功能，将该节目从新节目空间中删除；新节目就是相对本区域Chord环而言，不在本区域Chord环中而在基本Chord环中的 节目。当节点把新节目缓存到本区域Chord环中，节点在该区域Chord环中的节目信息表 中把该节目的类型标记为新节目；热点节目的增加是通过热点节目维护功能中节目缓存功能将该节目增加到热点空间； 而删除则是通过热点节目维护功能中节目清除功能，将该节目从热点节目空间中删除； 热点节目的数目，根据热点节目空间的磁盘大小来计算热点节目的数目； 热点节目就是将一段时间内节目访问次数排行从大到小，排行前χ (x =热点节目的数 目)的节目。
3.根据权利要求1所述的基于区域Chord环和区域Chord环内节目收集方法，其特征 是节目收集服务器节点对新节目信息的维护的步骤A.变更通知当节目信息变更(添加或删除)时，通知到本区域Chord环和基本Chord环进行相关 信息的修改；B.监控新节目失效检查新节目表，当发现新节目超过新节目保护期，如果该节目类型还是热点节目，则不做处理，否则，可置新节目失效，把该节目类型设置为固有节目类型；C.新节目信息的增加通过区域Chord环的节目信息全景表，发现节目类型是新节目的节目，而该节目又不 在新节目表中，则将此节目信息加入到新节目表中。发送变更通知；D.新节目信息的删除检查新节目表，同时通过区域Chord环的节目信息全景表检查节目的节目类型，发现 在新节目表中但不是新节目的节目，则将此节目信息从新节目表中删除，同时把节目文件 从新节目空间中删除。发送变更通知。
4.根据权利要求1所述的基于区域Chord环和区域Chord环内节目收集方法，其特征 是节目收集服务器节点对热点节目信息的维护的步骤A.变更通知通知到本区域chord环和基本chord环进行相关信息的修改；B.监控热点排行根据节目访问次数，进行从大到小的热点排行，得到热点节目；把原来不是热点节目，现在是热点节目的节目设置节目类型为热点节目，把原来是热 点节目，现在不是热点节目的节目设置节目类型为固有节目；C.新节目转化为热点节目通过区域chord环的节目信息全景表，发现既是新节目又是热点节目的节目，将新节 目空间下的该节目复制一份到热点节目空间下。将此节目信息加入到热点节目表中，同时 把该节目类型设置为仅热点节目类型；D.热点节目信息的增加通过区域chord环的节目信息全景表，发现热点节目同时又不在热点节目表中的节 目，则将此节目信息加入到热点节目表中。发送变更通知；E.热点节目信息的删除检查热点节目表，同时通过区域chord环的节目信息全景表，发现在热点节目表中但 不是热点节目的节目，则将此节目信息从热点节目表中删除，同时删除相应节目文件，发送 变更通知。
全文摘要
基于Chord环和区域Chord环内节目收集方法，在P2P系统中设有基本Chord环和多个区域Chord环；区域Chord环是由基本Chord环上区域相同的节点组成；每个区域Chord环的节点的类型除了基本节点，还包含节目收集服务器节点；节目收集服务器节点是一台服务器，节目收集服务器节点具有基本的节点功能、节目的存储和维护、区域Chord环的节目信息全景表及维护、对区域Chord环的节目信息搜索；每个节点在执行Chord算法中的节目信息中，增加三段信息区域信息、节目类型和节目访问次数，通过此种方法一方面提高搜索效率，先在节目收集服务器节点上搜索，再到区域Chord环内搜索，最后到基本Chord环上搜索，解决Chord环绕路问题。
文档编号H04L29/08GK102055798SQ20101057927
公开日2011年5月11日 申请日期2010年12月9日 优先权日2010年12月9日
发明者仇大明, 季鹏程, 王彬 申请人:南京远古科技有限公司