用于多媒体内容的复用流传输的系统和方法
【专利摘要】本发明涉及一种用于多媒体内容的复用流传输的系统、服务器和客户端，包括：至少一个服务器(14)，能够通过一个或多个数据路径在流传输环境中将多媒体内容(20)发送至客户端(12)，其中，多媒体内容被所述服务器(14)解复用为多个子流(16，18)，其中每个子流包括唯一标记，使得客户端(12)能够将所述子流(16，18)复用为连续流。此外，本发明涉及一种用于多媒体内容的复用流传输的方法。
【专利说明】用于多媒体内容的复用流传输的系统和方法
【技术领域】
[0001]本发明涉及一种用于多媒体内容的复用流传输的系统。更具体地，本发明涉及一种用于多媒体内容的复用流传输的系统，其中多媒体流被分为多个子流以便随后在客户端接收机处重组。此外，本发明涉及一种用于多媒体内容的复用流传输的方法。
【背景技术】
[0002]与将整个多媒体文件传送至客户端然后播放的下载不同，流传输是客户端所消费的内容以小块发送至客户端的过程。现有流传输协议包括实时传输协议(RTP)或用户数据报协议下的MPEG传输流(MPEG TS/UDP)。另一方面，下载一般使用超文本传送协议(HTTP协议)来执行。
[0003]在娱乐和通信系统中，提供RTSP协议(实时传输流)作为用于控制流传输媒体服务器的网络控制协议。RTSP服务器经由实时传输协议(RTP)来进行流数据的传输。RTSP定义了用于控制流数据的回放的控制序列。因特网协议工程组(IETF)在RFC2326中定义了这些控制序列。
[0004]客户端向流传输服务器发起流传输会话。实时流传输已经变得越来越普遍用于经由因特网来传输TV频道(IPTV)。然而，必须提供手段来处理多媒体提供商与客户端之间变化的带宽速率。否则，将发生多媒体流的“定格”，这通常被消费者认为是讨厌的。
[0005]已经做出了各种尝试以向客户端提供可靠的流传输会话，以避免由于变化的带宽速率而导致多媒体内 容的定格。
[0006]在US 2010/0049865 Al中，示出了将多媒体流分组化为传输分组的方法，包括确
定应用数据单元是否要在第一传输会话和第二传输会话中传送。在确定应用数据单元要在第一传输会话和第二传输会话中传送时，将第一媒体采样的至少一部分分组化在第一分组中，将第二媒体采样的至少一部分分组化在第二分组中，第一媒体采样和第二媒体采样具有确定的解码顺序。最终，实现信号通知第一信息以标识第二媒体采样，第一信息与第一媒体采样相关联。
[0007]在通信理论中，预见到并发地或串行地使用多个网络或链路提供了不仅关于服务质量而且关于可缩放性的优点。可以受益于多链路环境的一种技术是例如可缩放视频编码。
[0008]SVC(可缩放视频编码)是基于H264的标准，提供了分层编码结构，其中基本层是完全H264AVC兼容的，增强层依赖于基本层或其他增强层。可缩放性域是时间、质量和空间。因此，增强层可以被编码以增强帧率、针对给定分辨率的质量以及视频序列的分辨率。
[0009]如果关于特定质量、帧率和分辨率来比较H264AVC序列和以使用两个或更多层的SVC编码的对等序列，已经表明SVC引入的开销需要约更多10%和15%的带宽。
[0010]多播/广播的SVC流由不同层组成，例如3层(基本层和两个增强层)，用于解决例如3个不同的终端分辨率。如果将SVC流与使用传统H264AVC编码的相同服务比较，将得到联播，即针对每个分辨率3个不同流，H264方案的开销大于100%。[0011 ] 在混合或组合联网中，构思是通过广播通道发送一些层(例如基本层)，并通过点对点发送其他层(例如增强层)。
[0012]这得到被分到两个网络/链路并在接收机中重组的流传输会话。
[0013]当将流分为两个子流以便随后重组时，需要以某种方式保存流分组的原始顺序。当将例如RTP流分为两个子流时，通过特定链路/网络传输的每个子流必须符合RTP，因此序号应当在接收机侧可用以检测重新排序的或丢失的分组。因此，对于每个链路和子流，对RTP分组重新编号，并且丢失了原始序号。
[0014]为了重组原始流，可以依赖于RTP时间戳。然而，原始流可以具有多个RTP分组，这些RTP分组具有相同时间戳，但是具有解码器要遵循的呈现顺序。
[0015]相应地，本领域需要提供一种用于多媒体内容的复用流传输的方法和系统，分别克服——至少部分克服——与现有技术系统相关联的问题。
【发明内容】
[0016]根据本发明，提供了一种用于多媒体内容的复用流传输的系统，包括:至少一个服务器，能够通过一个或多个数据路径在流传输环境中将多媒体内容发送至客户端，其中，多媒体内容被所述服务器解复用为多个子流，其中每个子流包括唯一标记，使得客户端能够将所述子流复用为连续流。
[0017]根据本发明的实施例，所述唯一标记包括时钟标记。
[0018]根据本发明的另一实施例，所述时钟标记包括比特序列，所述比特序列所具有的时间分辨率超过所述多媒体内容的帧率的分辨率。
[0019]根据本发明的另一实施例，不同子流是使用比特序列中与上述帧率定时信息相对应的比特来标识的。
[0020]根据本发明的另一实施例，所述时钟标记包括90kHz单位的33比特部分和27MHz单位的9比特部分。
[0021]根据本发明的另一实施例，所述流传输环境是MPEG2-TS流传输环境。
[0022]根据本发明的另一实施例，所述唯一标记包括首部扩展中的原始序号。
[0023]根据本发明的另一实施例，所述唯一标记包括每个子流的净荷部分中的原始序号。
[0024]根据本发明的另一实施例，所述流传输环境是RTP/RTSP流传输环境。
[0025]根据本发明的另一方面，提供了一种用于多媒体内容的复用流传输的方法，包括:提供多个子流，以通过一个或多个数据路径在流传输环境中将多媒体内容从一个或多个服务器发送至客户端，其中，每个子流包括唯一标记，使得客户端能够将所述子流复用为连续流。
[0026]本发明在其实施例中提出了解决问题的两种方案。第一实施例在于将原始序号保存在首部扩展中或每个RTP分组的净荷部分内。然而，最大传输单元(MTU)受到影响，在接收机侧，在重组之前需要恢复原始序号。此外，不是所有流传输格式都使用序号。对于MPEG2-TS，序号称为连续性计数器，并且被编码在4比特上(这是对丢失分组检测的严重限制，因为可能有几十个连续TS分组具有相同时间戳)。这是在非可靠网络(如因特网)上使用RTP来承载TS流的原因。[0027]第二实施例提出仅依赖于时间戳来恢复原始分组排序。在分割期间，对于具有相同时间戳的所有RTP分组，连续时间戳值递增I。这是可能的，因为时间戳分辨率远高于视频同步和显示所需的分辨率。例如，对于H264RTP的推荐时钟速率是90kHz。这意味着，在IOOHz的两个视频帧之间，时间戳值递增900。在接收机侧，在重组之前，执行逆操作。检测到具有新时间戳k的分组，对于每个连续分组，时间戳值递增I。
[0028]关于MPEG2-TS，只要在RTP上承载MPEG2-TS (其中在这种情况下，RTP时间戳通常完全不使用)，本发明就工作良好。
【专利附图】
【附图说明】
[0029]现在参照以下附图，以示例方式更详细地描述本发明，在附图中:
[0030]图1示出了根据本发明实施例的用于多媒体内容的复用流传输的系统的示意图；
[0031]图2示出了根据本发明实施例的流传输分组的进一步细节；
[0032]图3示出了根据本发明实施例的流传输分组的进一步细节；
[0033]图4示出了根据本发明实施例的流传输分组的进一步细节；以及
[0034]图5示出了根据本发明实施例的用于多媒体内容的复用流传输的系统的另一示意图。
[0035]在附图中，除非另外指明，相似的参考标记表示相似的部分。
【具体实施方式】
[0036]现在参照图1，示出了本发明的第一实施例。用于多媒体内容的复用流传输的系统10包括客户端12和能够在流传输环境中将多媒体内容发送至客户端12的服务器14。客户端12在图1中被描述为机顶盒12’以及显示器12”。服务器14将要在客户端12处显示的多媒体内容解复用为两个子流16和18，如图1示意性示出的。
[0037]作为示例，在图2中描述RTP流传输环境，作为原始RTP流的一部分。在图2中，示出了分组20，分组20包含将被置于两个不同的产生流中的多个网络抽象层单元(NALU)。为了方便，认为流正在传输以SVC编码的具有基本层和增强层的视频信号。
[0038]相应地，图2中示出的实现理解如RFC3984bis中描述的用于SVC的RTP净荷格式。然而应认识到，本发明适用于其他类型的内容，不限于使用SVC。
[0039]以下，将该流20分为分别传输基本层和增强层的两个产生流。例如，第一流可以通过广播网络来传输，而另一个通过宽带网络传送。应注意，本发明独立于选择将数据置于哪个流中或者在哪个网络上传送辅助流的规则。
[0040]通过提取NALU并将其置于新RTP分组中来实现两个产生流。利用RTP首部(见RFC3550) 和原始流的首部来实现新构建的分组，其中如图3所示修改序号22和时间戳24。
[0041]产生流是独立的。这意味着对于每个流，第一个RTP分组的产生是序号22的开始。针对每个新构建的分组，序号22递增I。
[0042]在图3所示的示例中，原始RTP时间戳值是123456789。该时间戳24指示原始RTP分组的访问单元中包含的视频或音频的呈现时间。NALU具有唯一呈现时间，不同NALU应当以其被产生从而被置于原始RTP分组中的相同顺序提供给解码器或更一般地呈现器。为了管理接收机中的呈现，修改了产生流的分组26和28的时间戳24。[0043]现在参照图4，在辅助流26中，首先发送原始分组的第一 NALU(基本层的一部分)。如果认为它是该流的第一个分组，将以被设置为I的序号22来产生它。
[0044]第二 NALU是增强层的一部分，是在产生流28中发送的。由于它也是该流的第一个分组，其序号22为I。
[0045]接下来的3个NALU是基本层的一部分。它们将以分别被设置为2、3和4的序号22在产生流26的3个RTP分组中传输。
[0046]最后的NALU是增强层的一部分，并属于产生流28。
[0047]相同的分割过程应用于所有原始流分组。无论在哪个辅助流中发送RTP分组，时间戳24构建如下:包含第一 NALU的RTP分组具有原始RTP分组的时间戳24，包含第i NALU的RTP分组具有原始RTP分组的时间戳24+(1-l).[0048]为了接收完整流，接收机或客户端12管理RTP会话。在呈现至解码器之前，通过应用与如上所述的算法对称的算法来重组流26和28 (见例如图5)。
[0049]如图5所示，重排序过程取得每个RTP接收缓冲器30的分组，以将其移入主流缓冲器32。这些RTP分组根据其时间戳24值的递增顺序置于主流缓冲器32中。这些分组的时间戳24被设置为组的第一个接收分组的时间戳24的值(在本示例中为123456789)。
[0050]具有连续时间戳值24的一组分组的净荷也可以被合并在单个RTP分组中。该新构建的分组具有连续组的第一个分组的时间戳24。在本示例中，该值将是123456789。一组相邻接收RTP分组可能过长而不能合并入单个RTP分组。按这种方式，构建具有相同时间戳的多个RTP分组。 [0051]当两个相邻接收RTP分组不具有连续时间戳时，这意味着其净荷不属于相同的原始RTP分组。在这种情况下，应在主流缓冲器中构建具有第二分组的时间戳的新RTP分组。该新的RTP分组将合并具有连续时间戳的后续接收RTP分组的净荷。
[0052]当发起流接收时，可以任意选择流的所有RTP分组中的第一 RTP分组的序号的值。
[0053]备选地，回顾上述SVC使用示例，接收机或客户端12可以决定仅解码两个RTP会话之一，通常是承载基本层的会话。当仅接收到单个RTP会话时，RTP分组的序号22是连续的，并允许检测丢失或重排序的分组。然而，接收RTP分组的时间戳24将展现出间隔，因为一些时间戳24由在另一会话上发送的分组使用。上述用于恢复原始时间戳24的算法需要如下调整。
[0054]第一个接收分组的时间戳24(记为分组i)用作序列的时间戳24(记为RTPtl)，其时间戳24保持不变。
[0055]如果以下分组k具有时间戳RTPk < RTP0+ (k_i) +阈值，则该分组属于序列，并且其时间戳被设置为RTh。如果该不等式为假，则该分组开始另一序列。
[0056]在MPEG2-TS中，存在被称为PCR(节目时钟参考)的时钟信息，允许同步发送方或服务器14与接收方或客户端12的时钟。它由33比特部分(90kHz单位)和9比特部分(27MHz单位)构成。当传输多媒体信息(如音频和视频)时，分组承载被称为PTS (呈现时间戳)和DTS (解码时间戳)的其他信息。PTS或DTS的精度是33比特，并参考PCR时钟。因此单位等于11毫秒。
[0057]假定视频帧率可以高至100帧每秒，需要几十毫秒的分辨率。PTS/DTS分辨率大大超过该分辨率，这给出了将上述机制也应用于MPEG2TS的机会。[0058]相应地，当将MPEG2-TS流分为两个子流时，PTS的值可以针对每个PES (分组基本流)分组递增1，导致递增PTS的连续序列。在接收时，具有紧接前一 PTS的PTS的PES分组被设置为序列的第一 PTS的值。要求是PTS或DTS必须存在于原始流的PES分组首部中。
[0059]相应地，本发明允许在不同网络之间分割流，而不丢失呈现时间戳或序号。此外，它维持了与现有协议相符的分组格式。
[0060]尽管这里仅公开了本发明的特定实施例，任何本领域技术人员将理解，可以做出本发明的其他修改、变化和可能。因此，这些修改、变化和可能应被认为落入本发明的精神和范围之内，从而形成这里描述和/或示例的本发明的一部分。
[0061]已经描述了本发明的优选实施例，显然，在本领域技术人员的能力之内，并且无需创造性能力，可以进行多种修改和实施例。相应地，本发明的范围由所附权利要求的范围限定。
[0062]这里记载的所有示例和条件语言预期用于教导目的，以帮助理解本发明的原理和发明人为改进现有技术而贡献的构思，并且应解释为不限于这些具体记载的示例和条件。
[0063]此外，这里记载本发明的原理、方案和实施例的所有描述以及其具体示例旨在包含其结构和功能的等效物。此外，这些等效物旨在包括当前已知的等效物以及将来开发的等效物，即所开发的执行相同功能的任何元件，而不论结构如何。
[0064]因此，例如，本领域技术人员可以理解，这里呈现的系统图表示实现本原理的示意性组件的概念视图。图中示出的各个元件的功能可以通过使用专用硬件以及能够与合适软件相关联执行软件的硬件来提供。当由处理器提供时，功能可以由单个专用处理器、单个共享处理器或多个单独处理器(其中一些可以是共享的)来提供。此外，显式使用术语“处理器”或“控制器”不应被解释为排他地指代能够执行软件的硬件，而可以隐式包括而不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”) 和非易失性存储器。还可以包括其他传统或定制硬件。
[0065]说明书中引用本原理的“一个实施例”或“实施例”及其其他变型指与该实施例相结合描述的特定特征、结构、特性等等包括在本原理的至少一个实施例中。因此，在说明书中各处出现的短语“在一个实施例中”或“在实施例中”以及任意其他变型不必都指相同实施例。
[0066]应理解，本原理可以以各种形式的硬件、软件、固件、专用处理器或其组合来实现。优选地，本原理可以实现为硬件和软件的组合。此外，软件优选地实现为在程序存储设备上有形实现的应用程序。应用程序可以上载至包括任何合适架构的机器并由其执行。优选地，机器实现在具有硬件的计算机平台上，所述硬件如一个或多个中央处理单元(CPU)、随机存取存储器(RAM)和输入/输出(I/O)接口。计算机平台还包括操作系统和微指令代码。这里描述的各个过程和功能可以是经由操作系统执行的微指令代码的一部分或应用程序的一部分(或其组合)。此外，各种其他外围设备可以连接至计算机平台，如附加数据存储设备和打印设备。
[0067]还应理解，由于本发明的构成系统组件和方法步骤中的一些优选地以软件实现，根据对本原理进行编程的方式，系统组件(或过程步骤)之间的实际连接可以不同于图中所示。给定这里的教导，本领域技术人员能够想到本原理的这些和类似实现或配置。
【权利要求】
1.一种用于多媒体内容的复用流传输的系统，包括:至少一个服务器(14)，能够使用实时流传输协议，通过一个或多个数据路径在流传输环境中将多媒体内容(20)发送至客户端(12)，其中，多媒体内容被所述服务器(14)解复用为多个子流(16，18)，其中每个子流(16,18)包括唯一时钟标记,所述时钟标记包括用于标识所述子流的比特序列，所述时钟标记不同于其他子流的任何其他时钟标记，使得所述客户端(12)能够通过根据所述唯一时钟标记来恢复原始分组排序，从而将所述子流(16，18)复用为连续流。
2.根据权利要求1所述的系统,其中,所述时钟标记格式是以超过所述多媒体内容的帧率的分辨率的时间分辨率来定义的。
3.根据权利要求1至2中任一项所述的系统，其中，不同子流是使用比特序列中与上述帧率定时信息相对应的比特来标识的。
4.根据权利要求1至3中任一项所述的系统，其中，所述时钟标记包括90kHz单位的33比特部分和27MHz单位的9比特部分。
5.根据权利要求1至4中任一项所述的系统，其中，所述流传输环境是MPEG2-TS流传输环境。
6.根据权利要求1所述的系统，其中，所述唯一标记包括首部扩展中的原始序号。
7.根据权利要求6所述的系统，其中，所述唯一标记包括每个子流的净荷部分中的原始序号。
8.根据权利要求6或7中任 一项所述的系统，其中，所述流传输环境是RTP/RTSP流传输环境。
9.一种用于多媒体内容的复用流传输的方法，包括:提供多个子流(16，18)，以使用实时流传输协议，通过一个或多个数据路径在流传输环境中将多媒体内容从一个或多个服务器(814)发送至客户端(12)，其中，每个子流(16，18)包括唯一时钟标记，所述时钟标记包括用于标识所述子流的比特序列，所述时钟标记格式所具有的时间分辨率超过所述多媒体内容的帧率的分辨率，所述时钟标记不同于其他子流的任何其他时钟标记，使得所述客户端能够通过将所述子流(16，18)复用为连续流。
10.根据权利要求9所述的方法,其中，所述唯一标记包括时钟标记,所述时钟标记包括比特序列,所述比特序列所具有的时间分辨率超过所述多媒体内容的帧率的分辨率。
11.根据权利要求10所述的方法，其中，不同子流是使用比特序列中与上述帧率定时信息相对应的比特来标识的。
12.根据权利要求9至11中任一项所述的方法，其中，所述流传输环境是MPEG2-TS流传输环境。
13.根据权利要求9所述的方法，其中，所述唯一标记包括首部扩展或每个子流的净荷部分中的原始序号。
14.根据权利要求9或13中任一项所述的方法，其中，所述流传输环境是RTP/RTSP流传输环境。
15.一种流传输服务器(14)，被配置为使用实时流传输协议，通过一个或多个数据路径将多媒体内容发送至客户端(12)，其中，要发送的所述多媒体内容被所述服务器(14)解复用为多个子流(16，18)，其中每个子流(16，18)包括唯一时钟标记，所述时钟标记包括用于标识所述子流的比特序列，所述时钟标记不同于其他子流的任何其他时钟标记，使得所述客户端(12)能够通过根据所述唯一时钟标记来恢复原始分组排序，从而将所述子流(16，18)重新复用为连续流。
16.根据权利要求15所述的流传输服务器(14)，其中，所述时钟标记格式是以超过所述多媒体内容的帧率的分辨率的时间分辨率来定义的。
17.一种流传输客户端设备(12)，被配置为从流传输服务器(14)接收多媒体内容(20)，所述流传输服务器适于使用实时流传输协议，通过一个或多个数据路径发送至所述客户端设备(12)，其中，所述客户端设备(12)接收的所述多媒体内容已经被所述服务器(14)解复用为多个子流(16，18)，其中每个子流(16，18)包括唯一时钟标记，所述时钟标记包括用于标识所述子流中的每个子流的比特序列，所述时钟标记格式所具有的时间分辨率超过所述多媒体内容的帧率的分辨率，子流的所述时钟标记不同于其他子流的任何其他时钟标记，使得接收到所述多媒体内容的所述客户端设备(12)能够通过根据所述唯一时钟标记来恢复原始分组排序，从而将所述子流(16，18)重新复用为连续流。
18.根据权利要求17所述的流传输客户端设备(12)，其中，所述时钟标记格式是以超过所述多媒体内容的帧率的分辨率的时间分辨率来定义的。
【文档编号】H04N21/63GK104025605SQ201280065199
【公开日】2014年9月3日 申请日期:2012年12月20日 优先权日:2011年12月29日
【发明者】纪尧姆·比绍, 伊冯·勒加卢瓦, 斯蒂芬妮·古阿什 申请人:汤姆逊许可公司