用于内容分发系统的文件修复方法

专利名称：用于内容分发系统的文件修复方法
技术领域：
本发明涉及一种在用于分发内容的系统中进行文件修复的方法。
背景技术：
服务器与多个接收方之间的内容分发需要设置服务器与每个接 收方之间的点对点连接或设置多点连接。点对点连接允许以单播的方 式向每个接收方分发内容，并提供鲁棒的分发。然而，在有大量接收 方的情况下，需要对连接进行繁重的管理。这还可能显著增大网络上 的业务量。多播分发以更不鲁棒的分发提供了更小的网络负载。当使
用多播分发时，必须找到一种解决方案来修复接收过程中的差错；例 如，通过重传要求。作为对内容的多播传送的示例，IETF RFC 3926 定义了表示为FLUTE的基于单向传输的文件传送协议。该标准中定义 的该协议非常适于解决以下问题在客户端数量方面的可扩缩性，以 及在客户端所支持的带宽方面的非均匀性。然而FLUTE不提供完全可 靠的分发服务，尤其是在传输具有有限持续时间的情况下。在这种内 容传送机制的情况下，有必要支持周期性内容子集更新。那么，将在 FLUTE协议的基础上建立一种补充的、可靠的文件修复机制。在有大 量接收方的环境下，应适配差错恢复机制以对网络上的业务量进行优 化。
US 2003/182373 Al (SOTO JUAN CARLOS [US] ET AL) 25 September 2003公开了一种使用对等方法的差错恢复机制。这里公开 的方法是分散式的。
US 2006/023732 Al (VEDANTHAM RAMAKRIS丽A [US] ET AL) 2 February 2006公开了一种单播差错恢复机制。
NTT DOCOMO ET AL: "Point-to-point repair mechanism for MBMS file download service, Tdoc S4-040038" TECHNICALSPECIFICATION GROUP SERVICES AND SYSTEM ASPECTS, XX, XX, 23 February 2004, pages 1-4, XP002375819也公开了一种单播差错
恢复机制。

发明内容
本发明涉及一种在接收方、对等端接收方以及索引服务器的级处 对网络上的业务量负载进行优化的高效文件修复方法。
为此，本发明涉及一种在用于将内容分发至多于一个接收方的系
统中恢复文件的方法，该方法在第一接收方处包括以下步骤从发送 方接收推送多播形式的文件组；接收第二接收方的标识符，所述第二 接收方拥有在接收到的文件组中不包括的丢失文件；以及使用对等机 制、采用拉模式从所述第二接收方恢复丢失文件。
因为从发送方向接收方的文件传送不可靠，所以可能未正确接收 到一个或多个文件。意想不到的是，接收方不从文件组的发送方接收 丢失文件。接收方接收具有可用对等方式下载的丢失文件的另一接收 方的地址。该内容的接收方参与文件修复机制。这允许对网络中的负 载平衡进行优化以及降低服务器过载。
根据第一实施例，接收第二接收方的标识符的步骤包括以下步 骤将接收到的文件报告给服务器，以及从服务器接收第二接收方的 标识符。
接收方向服务器指示其已经正确接收到的文件。这使服务器可以 知道每个接收方处的丢失文件，从而知道哪个接收方需要哪个丢失文 件。这还使服务器向丢失了文件的接收方指示己正确接收到丢失文件 的接收方。
根据第二实施例，接收第二接收方的标识符的步骤包括以下步 骤接收要接收的文件组的标识符；在接收到的文件组当中检测丢失 文件；将丢失文件报告给服务器；以及从服务器接收第二接收方的标 识符。
向接收方指示其应接收的文件列表。然后该接收方可以检测丢失 文件，并将丢失文件指示给服务器。这就减小了网络上的上行业务量。实际上已接收到所有文件的接收方不向服务器发送任何指示。只有检 测到丢失文件的接收方向服务器发送请求。
根据第三实施例，接收第二接收方的标识符的步骤包括以下步
骤接收内容的每个接收方的标识符；接收要接收的文件组的标识符； 在接收到的文件组当中检测丢失文件；向其他接收方广播恢复丢失文 件的请求；以及从第二接收方接收第二接收方的标识符。
服务器不参与文件修复机制。文件恢复是在接收方间进行的。这 种分散模式腾出了服务器。
本发明的另一目的是提出一种在用于将内容分发至多于一个接 收方的系统中恢复文件的方法，该方法在服务器处包括以下步骤识 别要由所有接收方接收的文件组；针对每个接收方识别正确接收到的 文件的列表；向尚未正确接收文件的第一接收方指示已正确接收到文 件的第二接收方的标识符。
服务器对用于文件修复的集中式方法进行管理。服务器识别每个 接收方已经正确接收到的文件列表，然后就能够推出每个接收方中的 丢失文件。对于尚未正确接收文件的每个接收方，服务器指示己正确 接收到文件的对等端接收方。
本发明的另一目的是提出一种在用于将内容分发至多于一个接 收方的系统中恢复文件的方法，该方法在第一接收方处包括以下步骤 从发送方接收推送多播形式的文件组；从第二接收方接收恢复文件的 请求；如果在该文件组中有该文件，则将该文件发送至第二接收方； 以及如果在该文件组中没有该文件，则将请求转发给其他接收方。
每个接收方都参与文件修复机制。每个接收方使得修复机制的其 他接收方可以获得接收到的文件组。可以使用对等机制、采用拉模式 来下载文件组。
根据一个实施例，在已接收到文件组之后，包括以下步骤向服 务器指示接收到的文件组。
接收方澄清其已正确接收了的且其他接收方可获得的文件组。这 允许在集中模式下消除错误的请求。
根据一个实施例，根据表示为FLUTE协议的基于单向传输的文件
6传送协议来分发内容，该文件修复方法仅适用于在当前文件传送会话 期间接收到的文件。
文件组仅在一段时期(即，在当前文件传送会话期间)可在每个 接收方中获得。在该时期之后，文件不再可以用于修复。通过基于公 共客户端-服务器的文件修复机制，可以在内容服务器中获得该文件。
根据一个实施例，利用在FLUTE协议中定义的文件传送表来执行 检测丢失文件的步骤。
本发明的另一目的是提出一种计算机程序产品，包括程序代码指 令，所述程序代码指令用于在计算机上执行所述程序时，执行根据本 发明的过程步骤。"计算机程序产品"是指计算机程序承载物，所述计 算机程序承载物不仅可以是包含程序的存储空间，如磁盘或磁带，还 可以是信号，如电信号或光信号。


参考附图，通过以下实施例和实施的示例将更好地理解和示出且
决不限制本发明，附图中
图1是遵循实施例的系统的框图； 图2是遵循实施例的设备的框图； 图3是根据实施例的分发方法的流程图； 图4是在集中模式下文件修复机制的流程图；以及 图5是在分散模式下文件修复机制的流程图。
具体实施例方式
在图1和2中，所示方框仅仅是功能性实体，不必须与物理上分离 的实体相对应。即，可以以软件的形式来开发这些功能性实体，或在 一个或多个集成电路中实现这些功能性实体。
将以信息亭(kiosk)的数字订户线宽带网络为基础的服务布置在 诸如超市之类的零售商的建筑物(premises)中，客户可以在那里购 买表示为DVD的数字视频光盘。每个信息亭配备有本地存储器，以在 每个信息亭中以约10,000个标题的平均数量存储DVD内容。信息亭还
7配备有用户界面连接装置，以允许用户在信息亭处进行浏览以及通过 内容向导来选择信息亭中的内容，该DVD是直接烧制并打包在信息亭 内的。周期性地从具有增量更新的内容服务器部分地更新每个信息亭 中的内容，这是由服务的运营商来管理的。与当前视频租赁系统相比， 该系统的优点在于客户有权访问更多的内容参考，所有这些参考从不
脱销并且周期性更新。图U兑明了服务中涉及的设备；服务器5通过网 络4 (优选地为因特网)向多个信息亭l、 2、 3发送内容。信息亭是服 务器5的客户端。图1示出了3个信息亭，然而服务可能包括上千个信息 亭。当然，服务可能需要布置多于一个的服务器。多个服务器可以各 向信息亭提供内容的子集。如以下所述的，索引服务器6管理文件恢复。 服务器5和索引服务器6可以位于同一设备中或位于不同的设备中。
图2示出了服务器5和6以及信息亭的构造方框。通信模块1.2用于 通过因特网与其他设备发送和接收数据。处理模块1.3包括用于运行设 备的装置。该设备包括存储模块l.l，该存储模块l.l用于存储允许运 行该设备的数据、管理文件、以及固件。所有模块通过内部总线1.4 互连。
在服务器5中，存储模块包括内容参考。在索引服务器6中，存储 模块包括可从服务器5取回的、要传送的文件列表，其中每个文件都是 用标识符来识别的。在信息亭中，存储模块包括适于烧制和打包的内 容。图中未示出用于DVD烧制和打包的装置。服务器管理内容传送和 文件修复过程。当然，内容参考可以被包括在管理内容传送过程的第 一服务器中，至少第二服务器可以管理文件修复过程。
图3中概括说明了总体传送过程。
发信号通知2.1是触发(trigger off)下载阶段所必需的步骤，
多播传送2.2是从服务器向接收方组的多播内容传送阶段。
文件修复2.3分为2个步骤
-多播传送状态2.3.1是文件修复服务器(如果存在的话)达到与
己下载的文件有关的客户端状态的步骤。
-文件恢复2.3.2是客户端恢复丢失数据所必需的步骤。 接收报告2.5是客户端向运营商报告完整接收了内容的步骤。用于初始化连接的方法如下。当客户端连接到分发网络时，其向 服务器的IP地址广播表示为ARP请求的地址解析协议请求。服务器向
客户端发送单播ARP响应，指示该服务器的MAC地址。然后，客户端 使用表示为FTP的文件传输协议、用该客户端的注册和密码向服务器 标识该客户端自身。最后，如果标识成功，则客户端连接到服务器并 且可以接收内容。在将新的信息亭添加到网络时，该新的信息亭向集 中式的索引服务器发送其连接信息(IP地址、端口……)并且可以成 为对等端。
用于向信息亭分发文件的方法如下。内容传送机制与表示为VOD 的视频点播的方法密切相关，该视频点播是指表示为PushVOD的推送 式视频点播。实际上，在内容推送方法中，在运营商的控制下，将内 容存储在包括诸如硬盘之类的本地存储器在内的设备中。 一旦进行了 下载，就可以在客户请求时重放该内容。内容推送策略允许在不可能 实时传送或实时传送容易出错的区域传送内容。该策略允许以更低的 成本传送多个同时服务，这是由于与基于单播协议的现场直播服务或 VOD服务(如流模式VOD或下载模式VOD)相比，可以限制带宽消耗。
Push VOD内容传送机制意在仅对客户端设备中所存储的所有内 容和元数据的子集进行周期性更新。该更新策略被称作增量更新，可 以分为以下所述的步骤。
为了触发下载阶段，使用由运营商管理的带外信号通知机制来向 信息亭通报内容子集的更新。如在ETSI TS 102 034 vl.l.l (2005-03) Digital Video Broadcasting (DVB): Transport of MPEG2 Based DVB Services over IP Based Networks中定义的，该信号通知机制是基于 DVB-IP标准中使用的服务发现机制的。
在接收到该通报之后，信息亭启动下载阶段，已下载的数据被存 储于临时缓冲器中。该下载机制基于多播内容传送协议。IETF RFC 3926定义了表示为FLUTE的基于单向传输的文件传送协议。FLUTE非 常适于解决以下问题在信息亭数量方面的可扩縮性，以及在信息亭 所支持的带宽方面的非均匀性。FLUTE不提供完全可靠的分发服务， 尤其在传输具有有限持续时间的情况下，这是因为在这种内容传送机制下有必要支持周期性内容子集更新。在FLUTE协议的基础上建立补 充的可靠的文件修复机制。该文件修复是两级文件修复机制。
第一级是指为了恢复当前更新会话的文件而实施的文件修复。该 文件修复步骤被称作"针对当前传送会话的文件修复"。该文件修复机 制基于表示为P2P的对等协议。P2P是依赖于成员节点之间的信息检索 而不是依赖于从单个服务器进行的集中式检索的网络协议。在P2P模 型中，每个成员节点可以使信息适于分发，并且可以建立与任何其他 成员节点的直接连接以下载信息。实际上，在FLUTE内容多播传送会 话之后，内容几乎遍布信息亭；在每个信息亭中可能丢失一些内容片 段，然而下载了内容的绝大部分。在这种情况下，可以开发出一种基 于P2P协议的高效文件修复解决方案。该文件修复方法可被称作"拉式 P2P下载"。可以使接收方在会话中接收的内容(即，文件的子集)在 当前会话期间可由其他接收方获得。
第二级是指为了恢复先前更新会话的文件的文件修复。该文件修 复步骤被称作"针对先前传送会话的文件修复"，并且与用于当前更新 会话的文件修复策略不同。在这种环境下，在信息亭中在先前会话接 收的内容己被编译并存储为信息级。该内容不再适于如先前会话中的 文件形式，从而不再适于其他接收方。因此，不能实现网络业务量友 好的、基于P2P的文件修复机制，仅能实现更传统的基于客户端-服务 器的文件修复机制。在这种情况下，该文件修复级拟相似于在DVB-H IP Data-casting standard, DVB-CBMS， "IP Datacast over DVB-H; Content Delivery Protocols (CDP)"， DVB Document A101, 2005 December中采用的策略。在DVB-H IP数据广播标准(DVB-H IP Data-casting standard)中采用的文件修复策略仅是一级的文件修复策 略，并且采用集中的客户端-服务器"文件修复"模式。该文件修复策略
不利用以下机会在多播步骤之后内容几乎遍布信息亭的事实。
一旦已将内容和元数据的子集下载并存储在存储缓冲器中，并且 当达到了带外通报中所指定的内容释放时间时，将旧数据的子集与新 的下载的数据进行交换。当信息亭没有为客户所使用时，实施在旧和 新下载数据之间的该交换步骤。.信息亭被布置于零售商的建筑物中，并且在夜间不可操作。在旧内容与新内容之间的交换期间，信息亭必
须擦除它们的一些内容。在与FLUTE/TOI-l (传输对象标识符)相对
应的会话的第一传送文件中描述了要擦除的文件列表或目录。即使当 该文件为空时也始终传送该文件。在这种情况下不擦除内容。如果该 文件不是空的但没有传送内容，则信息亭实施擦除操作而不进行内容 下载。当然，交换机制可以以另一种方式出现，其中在交换机制期间
将信息亭设置成中止(suspended)模式。
一旦被更新和交换，整个新内容就对用户可用。
文件修复方法'如下所述。
根据优选实施例，使用集中模式。
索引服务器在将该信息取回到内容服务器的过程中得知已从内 容服务器传输的文件列表。
在"多播传送状态步骤"期间，每个信息亭向集中式的索引服务器 报告接收到的文件。索引服务器可以建立索引表，该索引表链接每个 信息亭的实际接收到的内容。
然后在"文件修复步骤"期间，服务器搜索丢失了内容的每个信息 亭在该服务器的索引表中的匹配。其向每个信息亭指示持有丢失内容 的对等端信息亭的列表。丢失了内容的信息亭打开与持有丢失文件的 一个或多个对等端之间的直接连接，并下载丢失内容。
图4中示出了集中式的方法。
在步骤l,每个信息亭向索引服务器发送文件列表，该文件列表 是由该信息亭与为了下载列表中文件而可访问的TCP端口号所共享 的。
在步骤2，索引服务器向每个信息亭确认文件列表的接收。 在步骤3，服务器检查接收到的文件列表，以找到每个信息亭中 丢失的文件。服务器利用有丢失文件的信息亭的列表向每个信息亭发 送指示。在图4中，服务器向信息亭l发送指示。在该步骤中，服务器 不指示与连接到信息亭的装置有关的任何信息。
在步骤4，信息亭l向服务器发送请求以下载所请求的文件。 在步骤5，服务器向持有所请求的文件的信息亭多播ARP请求。
ii这旨在收集信息亭的连接模式。
在步骤6，信息亭(信息亭2)是向服务器发送关于其可以连接到 信息亭l以进行文件传送的应答的第一个信息亭。
在步骤7，服务器发送作为拥有该文件的信息亭的信息亭2的IP地址。
在步骤8，该信息亭广播ARP请求，以用信息亭2的IP地址识别信息亭。
在步骤9，信息亭2利用其MAC地址的指示来响应信息亭1。
在步骤IO，信息亭1连接到信息亭2以获得该文件。
在步骤ll，信息亭2将该文件发送至信息亭1。
根据集中模式的变体实施例，每个信息亭可以依赖于FLUTE协议 来确定丢失的文件。实际上，FLUTE协议定义了表示为FDT的文件传 送表，其包含必须在当前会话中传输的文件的信息。FLUTE协议以多 播模式将来自内容服务器的FDT传输至所有信息亭。因为这可能受到 传输差错的影响，所以可以通过诸如前向差错保护之类的机制或通过 本身公知的在会话期间的FDT重传来提高FDT文件传输的可靠性。因 此，在"多播内容传送步骤"的结尾处，每个信息亭精确地知道必须在 会话中传输的文件以及已接收到的文件。然后每个信息亭可以向索引 服务器指示丢失的文件。服务器然后向该信息亭指示有丢失文件的另 一 (些)信息块的地址。该变体实施例允许最小化网络上的业务量； 这在假设几乎没有信息亭接收错误文件时是适用的。
根据第二实施例，文件修复是分散式的。索引服务器不参与文件 恢复步骤。每个信息亭可以确定对于在"多播内容传送步骤"的结尾处 完成内容的接收而言必要的文件组。在分散式模型中，使用泛滥 (flooding)机制在信息亭间分发"文件修复请求"消息。
发请求的信息亭中的算法如下
-信息亭识别出丢失了文件
-信息亭向其对等端信息亭广播请求，以询问该文件的可获得性。 -一旦信息亭接收到指示已经在另一信息亭处识别出该文件的消 息，就发起与那个信息亭的直接连接以得到该文件。
12因为在这种情况下不存在类似于索引服务器的中心坐标，所以可 以在"文件修复步骤"的开始处发起文件修复步骤而不用特定的"多播 传送状态步骤"。
信息亭中的算法如下-
-信息亭从另一信息亭接收文件丢失的请求，
-如果信息亭不具有该可得文件，则该信息亭转发该请求。
-如果信息亭具有该可得文件，则该信息亭沿着询问所经过的路
由发回响应消息，这是因为询问自身不包含发出请求的信息亭的标识
梓自
I Fl 'S、 o
为了对通过网络的消息散播加以限制—，每个消息包含表示为TTL 的生存时间字段，每当请求到达信息亭时，该生存时间字段在每一跳 处减一。当TTL字段为空时，丢弃该消息。
在将新的信息亭添加至网络时，新的信息亭向与其相连的其他信 息亭发送ping消息，以通报其自身。信息亭发回用于标识它们的pong 消息，还向它们的相邻信息亭传播ping消息。每个消息包含唯一标识 该消息的"描述符ID"。该ping消息不包含任何有效载荷，而pong消息 包括诸如IP地址和端口之类的联系信息以及诸如文件号、大小之类的 与共享的文件有关的信息。
图5中示出了分散模式。
在分散模式中使用两种类型的消息，请求R和成功应答S。发送请 求以向相邻信息亭询问丢失文件的可获得性。请求消息R包含所请求 的文件，包括文件的名称和大小。当信息亭不止一次接收到具有相同 "描述符ID"的相同请求消息时，其停下来转发该消息，以避免循环且 最小化业务量。当在信息亭中识别出所请求的文件时，将成功应答S 返回。成功消息S包含联系信息(IP地址、端口)以及与搜索准则(名 称、大小)相对应的文件。
在图5所示的情形中，信息亭1尚未接收到文件F。
在步骤A，信息亭1向其相邻信息亭3和信息亭4发送请求.
在步骤B，因为信息亭3和信息亭4不具有该可得文件F，所以它们 将该请求转发至它们各自的相邻信息亭。信息亭3向信息亭2和信息亭4转发，信息亭4向信息亭3和信息亭5转发。
在步骤C，信息亭2拥有文件F;信息亭2向信息亭3发送成功消息。 信息亭5将请求消息转发至信息亭2。
在步骤D，信息亭3将成功消息转发至信息亭1。
现在，信息亭1知道了丢失的文件F的位置。信息亭l打开与信息
亭5的连接以下载文件F。
实际上，请求消息可以包括由多于一个丢失文件组成的列表。当 信息亭具有列表中的一些文件时，该信息亭发送针对这些文件的成功
消息，而当该信息亭不具有所有文件时，该信息亭向其相邻信息亭转 发该请求。然后该请求的发起者在发送了成功消息的信息亭当中选择 更方便的信息亭以下载文件。
在第三实施例中，文件修复是部分集中式的。该实施例使用以下 方案服务器管理内容传送，至少另一服务器管理文件修复。该另一 服务器位于超节点中。向超节点动态地分配向信息亭网络的较小元件 (subpart)提供服务的任务。超节点对与这些超节点相连的信息亭所 共享的文件编索引，并且代表这些信息亭执行搜索请求。将所有请求 导向至元件的超节点。这样一来，与分散模式相比就减少了搜索时间。
1权利要求
1、一种用于恢复文件的文件修复方法，用在用于将内容分发至多于一个接收方的系统中，所述方法在第一接收方(1)处包括以下步骤-从发送方(5)接收推送多播形式的文件组；-将接收到的文件报告给服务器(6)；-从所述服务器接收第二接收方(2)的标识符，所述第二接收方(2)拥有在接收到的文件组中不包括的丢失文件；以及-使用对等机制、采用拉模式从所述第二接收方(2)恢复所述丢失文件。
2、 一种用于恢复文件的文件修复方法，用在用于将内容分发至多于一个接收方的系统中，所述方法在第一接收方(1)处包括以下步骤-接收要接收的文件组的标识符； -从发送方(5)接收推送多播形式的文件组； -在接收到的文件组当中检测丢失文件； -将所述丢失文件报告给服务器(6);-从所述服务器接收第二接收方(2)的标识符，所述第二接收方 (2)拥有在接收到的文件组中不包括的丢失文件；以及-使用对等机制、采用拉模式从所述第二接收方(2)恢复所述丢 失文件。
3、 根据权利要求l所述的方法，其中，接收第二接收方的标识符 的步骤包括以下步骤-接收所述内容的每个接收方的标识符；-接收要接收的文件组的标识符；-在接收到的文件组当中检测丢失文件；-向其他接收方广播恢复所述丢失文件的请求；以及-从所述第二接收方接收所述第二接收方的所述标识符。
4、 一种在用于将内容分发至多于一个接收方的系统中恢复文件的方法，所述方法在服务器(6)处包括以下步骤 _接收要由所有接收方接收的文件组的标识；-识别每个接收方正确接收到的文件的列表；以及-向未正确接收到文件的第一接收方(1)指示已正确接收到文件的第二接收方(2)的标识符。
5、 一种在用于将内容分发至多于一个接收方的系统中恢复文件 的方法，所述方法在第一接收方(1)处包括以下步骤-从发送方(5)接收推送多播形式的文件组； -从第二接收方(2)接收恢复文件的请求；-如果在所述文件组中有所述文件，则将所述文件发送至所述第二接收方(2);以及-如果在所述文件组中没有所述文件，则将所述请求转发至其他 接收方。
6、 根据权利要求5所述的方法，其中，在已接收到所述文件组之 后，所述方法包括以下步骤向服务器指示接收到的文件组。
7、 根据前述任一权利要求所述的方法，其中，根据表示为FLUTE 协议的基于单向传输的文件传送协议来分发所述内容，所述文件修复 方法仅适用于在当前文件传送会话期间接收到的文件。
8、 根据权利要求7和2或3所述的方法，其中，利用在FLUTE协议中定义的文件传送表来执行所述检测丢失文件的步骤。
全文摘要
本发明涉及一种在用于将内容分发至多于一个接收方的系统中恢复文件的文件修复方法，该方法在第一接收方处包括以下步骤从发送方接收推送多播形式的文件组；接收第二接收方的标识符，该第二接收方拥有在接收到的文件组中不包括的丢失文件；以及使用对等机制、采用拉模式从第二接收方恢复丢失文件。本发明的另一目的是提出一种在服务器中和在对等端设备中进行文件修复的方法。
文档编号H04L29/08GK101518033SQ200780033830
公开日2009年8月26日 申请日期2007年8月28日 优先权日2006年9月15日
发明者威廉·吕贝尔斯, 艾里克·戈蒂埃, 雷米·乌达耶 申请人:汤姆森许可贸易公司