专利名称：具有时间可缩放性的交错播送的制作方法
技术领域：
本发明一般涉及数据通信系统，尤其涉及具有时间分集的数据传输。
背景技术：
许多传输系统如移动无线广播系统都遭受物理信道的难题。尤其是，除了衰减和 多普勒效应以外，信号可能完全被建筑物、树、杆和立交桥阻挡。这种条件可能容易造成接 收器端发生一秒或更长时间的信号丢失。为了解决这些问题，移动系统经常使用时间分集技术，如交叉；长块码如低密度 奇偶校验码(LDPC)或Turbo码；卷积码；以及多协议封装与前向纠错组合(MPE-FEC)。不 幸的是，这些系统一般都导致与时间分集成比例的延迟。对于该延迟，用户通常会感觉到长 的信道变换时间，这对于用户是非常令人反感的。数据流如视频数据的传输中经常使用的一种时间分集技术是交错播送。交错播送 提供一种通过发送冗余次流来防止信号丢失的方法，该冗余次流相对于主流可能发生了时 间移位。这允许接收器预先缓冲次流的分组，以替代传输中丢失的主流分组。现在有各种交错播送技术，它们不同之处在于次流中发送的冗余数据的类型。例 如，次流可以仅仅是以某一时间偏移交错的主流精确拷贝。另一种交错播送技术涉及与主流分开编码的次流的传输。当可缩放视频编码不可 得时(例如，对于不提供可缩放视频编解码器的规范或标准)，该次流完全独立于主流，且 只是代表相同源视频的独立编码流。因为视频解码器通常必须维护状态数据，如必定用于 对将来帧解码的预先解码参考帧，所以这种交错播送配置要求接收器为每种流都维护两种 独立解码器状态，这样给接收器带来额外的存储器负担。
发明内容
我们已看到，存在时间可缩放性技术，该技术允许对视频流进行编码，以致能够以 多种帧频解码和显示流。经过时间可缩放编码的视频流包含可以从中预测其它帧的参考 帧，以及附加的非参考帧。一般被称为“可随意处理”帧的非参考帧对于视频流其它帧的解 码是不必要的，因而可以丢弃，导致较低的视频显示帧频。在本发明的示例实施例中，将交错播送和时间可缩放性技术进行组合，以便在发 送主编码视频流以外，还发送次编码视频流，以致次流包含主流视频帧的子集。以某一时间 偏移(即交错)发送主流和次流，从而允许接收器预先缓冲次流，以替代不远将来丢失的主流。
通过在主流和次流中都发送视频参考帧，来减小丢失的编码视频数据的影响。如 果带宽受限，则在主流中发送的可随意处理的视频帧不必在次流中发送。在时间上交错主 流和次流，可以减小次流数据和主流数据一起丢失的可能性。接收器可以缓冲次流，使得当 发生主流丢失时，接收器可以求助于该次流数据。在本发明另一示例实施例中，可以在交错流中使用不同级别的保护。例如，可以向 传输更关键元素的次流提供高级防错，而向主流提供低级防错或者根本不提供防错。鉴于以上，并且通过阅读详细说明，显然其它实施例和特征也是可能的，并且在本 发明原理内。
现在参考附图举例说明根据本发明实施例的设备和/或方法的某些实施例，其 中图1是其中可以实施本发明的示例交错播送配置的框图；图2示出了图1的交错播送配置中的主流和次流及其复用组合的逻辑表示；图3示出了说明性情形，其中在图2的复用组合中发生了数据丢失，并且根据本发 明原理在接收器上重构数据。
具体实施例方式除本发明概念以外，附图所示元件都是众所周知的，将不详细描述。例如，除本发 明概念以外，假定熟悉离散多音(DMT)传输(也称为正交频分复用(OFDM)或编码正交频分 复用(COFDM))，在此不描述。而且，假定熟悉电视广播、接收器和视频编码，在此不详细描 述。例如，除本发明概念以外，假定熟悉当前和推荐的电视标准建议，如美国国家电视系统 委员会制式(NTSC)、逐行倒相制式(PAL)、顺序传送与存储彩色电视系统(SECAM)和高级电 视系统委员会(ATSC)、中国数字电视系统(GB) 20600-2006和手持数字视频广播(DVB-H)。 同样，除本发明概念以外，假定熟悉其它传输概念，如8电平残留边带(8-VSB)、正交调幅 (QAM)以及接收器部件，如射频(RF)前端(如低噪声模块、调谐器、降频变换器等)、解调 器、相关器、泄漏积分器和平方器。此外，除本发明概念以外，假定熟悉协议，如单向传输文 件传递(FLUTE)协议、异步分层编码(ALC)协议、网际协议(IP)和网际协议封装器(IPE)， 在此不描述。类似，除本发明概念以外，用于产生传输位流的格式化和编码方法(如运动图 象专家组(MPEG)-2系统标准(IS0/IEC 13818-1))是众所周知的，在此不描述。还应该注 意，可以利用常规编程技术来实施本发明概念，因而在此不描述。最后，图上相同附图标记 代表相似元件。图1是说明性配置100的框图，包括交错发送器103 ；复用器(MUX) 105 ；通信系 统107，可以包括通过各种媒介(如有线、光、无线)工作的多种部件(如连网、路由、开关、 传输部件)；以及接收器109。源101如视频编码器，向交错发送器103提供原始的数据单 元流，交错发送器103又将交错播送传输提供给MUX 105。MUX 105的输出连接到通信系统 107支撑的带宽受限传输信道，并提供给接收器109。接收器109又连接到附加部件，如用于 对接收数据解码的视频解码器111。另外，视频解码器111可以连接到用于显示解码视频数 据的显示设备113。注意，在该实施例中，每个数据单元都可以包含用于视频流的帧、帧的一
4部分或多帧的编码视频数据。另外，假定视频流是包含参考帧和可随意处理(disposable) 的非参考帧的时间可缩放视频流。如上所述，参考帧是可以从中预测其它帧的帧，并且被看 作是不可随意处理的，以提供连续视频。非参考帧对于视频流其它帧的解码是不必要的，因 而可以丢弃，由此导致较低的视频显示帧频。在2004年10月的ITU-T建议H. 264和ISO/ IEC 14496-10 (MPEG-4part 10)高级视频编码中，阐述了时间可缩放视频标准。注意，虽然相对于视频实施描述该实施例，但是本发明原理可应用于处理多种时 间可缩放数据如音频数据的系统。从发送器103到MUX 105的交错播送传输包括两个流。一个流是主流10，对应于 来自于源101的原始流，另一个流是次流20，可以是主流全部或一部分的拷贝。次流20相 对于主流10可以是时间移位的或交错的，在这种情况下，也可称为“交错”流。交错允许接 收器109预先缓冲次流20的数据单元，使得它们可以替代在传输中可能丢失或损坏的主流 10中对应数据单元。在图1的示例配置中，MUX 105将主流10和次流20交错排列到一个输出流30中， 以便通过通信系统107传输到接收器109。输出流30的带宽将通常大于主流10和次流20 每一个的带宽。可以由交错发送器103和/或MUX 105来确定分配给主流和次流每一个的 输出流30的带宽部分。例如，如交错发送器103所产生的主流和次流可以有相同的带宽， 且次流20包含主流10每个数据块的拷贝。然而，MUX 105可以选择次流20数据单元的子 集包括在输出流30中。作为选择，交错发送器103可以产生次流20，使得次流20包含主流 10数据单元的子集，且MUX 105将它在主流和次流上接收的数据单元传递给输出流30。图 2示出了这种情形。图2示出了根据本发明原理按时间发送的主流10、次流20和组合输出流30的逻 辑表示。主流数据单元用白色块表示，而次流数据单元用阴影块表示。次流20中的给定块 是主流10中具有相同数字标记的对应块的拷贝(例如，次块“0”和主块“0”代表相同的视 频帧，且包含相同数据)。在图2的说明性情况下，主流10包含来自于源101的原始流的全部数据单元，而 次流20只包含每隔一个的数据单元，即偶数编号单元。如上所述，某些数据单元如那些包 含参考帧的数据单元，是不可随意处理的，而其它数据单元是可随意处理的。在图2的例子 中，奇数编号块代表可随意处理数据单元，为清楚起见，被标记为“d”，而偶数编号块代表不 可随意处理数据单元。图2演示了本发明示范性实施例的两个重要特性。首先，次流20只包含来自主流 10的不可随意处理帧的拷贝，而不包含可随意处理帧的拷贝。其次，次流20在时间上早于 主流被交错，从而允许接收器缓冲冗余数据，以便替代丢失的主流数据单元。在图2所示例子中，显示两个流之间的偏移量为4个数据单元，即次流20比主流 10早4个数据单元被传输。为简单起见，图2所示的所有数据单元都具有相同的传输时间。 然而，实际上，编码帧的尺寸将基本上随帧而变，因此每帧(或者是图2中的数据单元)的 传输时间也随帧而变。实际上，交错偏移量典型地用时间而不是帧来表示；例如，次流帧可 以比等效的主流帧早4秒传输。本发明不限于任何特定的时间偏移量。对于给定实施例的 优选时间偏移量将取决于实施例特定的细节，如接收器上可用于缓冲的存储器以及错误丢 失特性。另外，次流可以在时间上晚于主流被交错。然而，实际上，优选地次流应该在主流之前。假定次流能提供防止主流丢失的保护机制，在时间上比主流晚发送次流将导致，在数 据丢失后的某一时刻保护才起作用。初始播放时，或者一旦发生第一次数据丢失，主流就将 必须暂停，以等待交错流的替换数据单元到来，由此导致观众感官质量下降。当次流在时间 上早于主流时，如图所示，则接收器能够在缓冲次流以防止将来数据丢失的同时，立即开始 未受保护主流的播放。在示范性实施例中，可以向主流和次流提供防错(例如turbo码、前向纠错等)。 可以向主流和次流，或者只向次流提供防错。也可以向主流和次流提供不同级别的防错，优 选地向次流提供更高级的防错。通过只将防错应用于次流，有可能减小防错方案的总开销。 这也带来以下优点允许接收器立即解码和播放未受保护的主流。因为优选地在主流之前 接收次流，所以在需要利用次流数据单元替代任何丢失的主流数据单元之前，应该有足够 的时间去校正任何次流数据单元中的错误。再次参考图2，在本发明说明性实施例中，流30显示出主流和次流可以组合起来 传输。如流30所表示的，主流10和次流20在时间上复用，以便通过单一物理信道进行顺 序传输。图2示出了将主流和次流交错排列的一个例子，其中在发送一个次流数据单元后， 接着发送两个主流数据单元。如从本发明说明可以理解的，多种交叉模式及主流数据单元 与次流数据单元之比都是可能的，并且通过本发明能够预期。注意，在图1所示配置中，源101提供单个流，该单个流作为两个流的交错播送传 输一部分，被发送器103重发。然而，这只是本发明原理可以应用的多种可能配置之一。例 如，本发明也可用于以下配置源101产生交错播送传输(具有两个流)，然后，该交错播送 传输被一个或多个交错播送收发器接收和重发。本发明可以设想源101、交错发送器103和 MUX 105的多种组合。而且，在某些应用中，和如图所示由交错发送器产生次流相反，如本发明设想的次 流可以是已经可得的。例如，规范可以为内容到移动设备的传输定义多种档次(profile)。 这些档次的流，可以从用于在具有小屏幕的简单移动电话上观看的很低分辨率/帧频/位 速率流，变化到用于能够呈现视频的较好移动设备(具有较大屏幕、更强的解码器等)的较 高分辨率/帧频/位速率流。系统可以在同一信道上以两种档次同时发送给定视频节目， 从而任一类型设备的用户都可以接收对于他们各自设备最优的视频。在这种应用中，本发 明的实施例将允许更大功率设备将较简单的流用作次流，以便为数据丢失的时段提供替代 视频。这将要求把较简单流识别为次流，并以相对于主流的某一时间偏移量发送次流。这 种实施的优点在于不需要信道上的任何附加带宽，因为次流是已经存在的。现在参考图3，图3示出了如应用于图2示例传输流30的本发明原理的说明性情 形。在图3所示情况下，在通过通信系统107将流30传送到接收器109的期间，发生了数 据丢失，因而接收器收到流30’，它是原始流30丢失了某些数据单元的型式。在这种情况 下，丢失了 6个连续数据单元4个主流单元，4、5d、6和7d ；以及两个次流单元，8和10。对于在次流中包括了对应拷贝的全部或某些主流数据单元，接收器109能够利用 接收的流30’中包含的冗余次流数据单元对全部或某些主流数据单元进行重构。在图3中， 序列40代表接收器109从流30’中的主流和次流数据单元重构的数据单元序列，并被接收 器109提供给解码器111。注意，序列40中的数据单元是按照它们的逻辑顺序的。如序列 40所示，因为在数据丢失之前发送了次流数据单元4和6，所以这些次流数据单元被提供给解码器111，以代替丢失的主流数据单元。而且，因为流30’中没有可随意处理数据单元5d 和7d的拷贝，所以这些数据单元不能被重构，且丢失了。一旦处理重构数据单元序列40，解码器111就将解码的视频帧提供给显示器113， 如序列50所示。序列50表示包含用于显示的视频数据帧的重构数据单元序列，且指示帧 被显示的时刻。如序列50所示，由于数据丢失的持续时间，使得帧频近似降为一半，观众对 此通常会感觉到短时间的不流畅运动。假定根据定义，可随意处理帧不用作参考帧，因而它 们的丢失也不影响流中的其它任何帧，则丢失的可随意处理帧的视觉影响应该是最小的， 而丢失的参考帧将影响流中的其它帧。虽然不必重构或隐藏丢失帧，但是本发明的实施不 排除这种措施。可以理解，上述配置的性能将取决于多种因素，包括次流中提供的冗余度以及数 据丢失事件的持续时间。例如，从重构数据单元序列40产生的视频的帧频将取决于组合流 30中的次流20所提供的冗余度。例如，如果次流20包含主流10中所有数据单元的拷贝， 即可随意处理和不可随意处理的数据单元的拷贝，则只要丢失数据单元的交错拷贝没有丢 失，就有可能能够在接收器109重构传输中丢失的所有数据单元。对于能够容忍暂时降低 的帧频的应用，如上所述，可以在次流20中只提供不可随意处理的数据单元。相比于周知的方法，本发明实施例有几个优点。如上所述，一种交错播送方法涉及 与主流分开编码的次流的传输。当可缩放视频编码不可得时(例如，对于不提供可缩放视 频编解码器的规范或标准)，该次流完全独立于主流，并且只是代表相同源视频的分开编码 流。典型的视频解码器必须维护状态数据，如必定可用于对将来帧解码的预先解码参考帧， 将来帧是从这些预先解码参考帧预测得到的。在主流和次流相互独立的情况下，接收器将 需要为每种流都维护两种独立的解码器状态，由此给接收器带来额外的存储器负担。假定 两种流是相关的，即，次流是主流的子集，可以只用一个解码器和相关状态存储器来实施上 述本发明示例配置。本发明原理可以和其它交错播送方法组合。例如，交错播送可以和空间可缩放视 频流一起使用，以致在主流中既提供较低分辨率基层流又提供较高分辨率增强层流，同时 在交错次流中提供较低分辨率基层流。这将提供对基层的保护，同时也通过不复制增强层 来节省带宽。鉴于以上，以上仅仅说明了本发明原理，因此应该理解，本领域技术人员将能够设 计虽然未在此明确描述，但体现本发明原理、且在本发明精神和范围内的诸多替换配置。例 如，可以在受存储程序控制的处理器如数字信号处理器中，实施本发明概念，该处理器执行 用于实现本发明原理方法的相关软件。此外，本发明原理适用于其它类型通信系统，如卫 星、无线保真(Wi-Fi)、蜂窝网络等。实际上，本发明概念也适用于固定和移动接收器。因 此，应该理解，可以对说明性实施例进行诸多修改，并且可以在不脱离本发明精神和范围的 情况下，设计其它配置。
权利要求
1.一种处理数据单元流的方法，包括接收主流数据单元，所述主流数据单元包含可随意处理和不可随意处理的数据单元； 接收次流数据单元，所述次流数据单元包括所述主流数据单元中包含的所述不可随意 处理的数据单元的拷贝；在所述主流和次流数据单元之间引入时间偏移；将所述时间偏移的主流和次流数据单元组合成组合数据单元流；以及发送所述组合数据单元流。
2.根据权利要求1所述的方法，包括 接收所述组合数据单元流的一部分；以及从所述接收的组合数据单元流部分，重构所述主流数据单元的一部分，其中所述重构 的主流数据单元部分包括，所述主流数据单元的所述不可随意处理的数据单元，以及所述 主流数据单元的所述可随意处理单元一部分。
3.根据权利要求1所述的方法，其中所述数据单元包含时间可缩放编码视频数据，所 述不可随意处理的数据单元包含代表参考帧的数据。
4.根据权利要求1所述的方法，其中所述组合步骤包括，将所述时间偏移的主流和次 流数据单元进行时间复用。
5.根据权利要求1所述的方法，其中所述主流和次流数据单元之间的所述时间偏移使 得所述次流在所述主流之前。
6.根据权利要求1所述的方法，其中所述数据单元包含包含视频和音频数据至少之 一
7.根据权利要求1所述的方法，包括向所述次流数据单元提供防错。
8.—种处理数据单元流的方法，包括接收组合数据单元流的一部分，所述组合数据单元流包含 主流数据单元，所述主流数据单元包含可随意处理和不可随意处理单元；以及 次流数据单元，所述次流数据单元包含所述主流数据单元中包括的所述不可随意处理 数据单元的拷贝，其中所述主流和次流数据单元之间存在时间偏移；以及从所述接收的组合数据单元流部分，重构所述主流数据单元的一部分，其中所述重构 的主流数据单元部分包括，所述主流数据单元的所述不可随意处理数据单元，以及所述主 流数据单元的所述可随意处理数据单元一部分。
9.根据权利要求8所述的方法，其中所述数据单元包含时间可缩放编码的视频数据， 所述不可随意处理数据单元包含代表参考帧的数据。
10.根据权利要求8所述的方法，其中所述时间偏移的主流和次流数据单元被时间复 用为所述组合数据单元流。
11.根据权利要求8所述的方法，其中所述主流和次流数据单元之间的所述时间偏移 使得所述次流在所述主流之前。
12.根据权利要求8所述的方法，其中所述数据单元包含视频和音频数据至少之一。
13.根据权利要求8所述的方法，其中向所述次流数据单元提供防错，所述方法包括纠 正所述接收的组合数据单元流部分中的所述次流数据单元中的错误。
全文摘要
在数据流如编码视频的传输中，以某一相对时间偏移(即交错)发送主流和次流的交错播送技术，允许接收器预先缓冲次流的帧，以替换可能在传输中丢失的主流帧。在说明性实施中，执行交错播送，其中次流包含主流中传输的编码视频帧的子集。主流包含对于正确解码视频数据必不可少的参考帧，以及不是必需的可随意处理帧。然而，次流包含参考帧的拷贝，并且可以包含某些可随意处理帧的拷贝，或者根本不包括可随意处理帧的拷贝。当主流和次流的交错排列流的帧丢失时，这种配置将允许接收器以暂时降低的帧频重构连续的视频流。
文档编号H04N7/24GK101999235SQ200980112772
公开日2011年3月30日 申请日期2009年4月7日 优先权日2008年4月11日
发明者戴维·安东尼·坎帕纳, 戴维·布赖恩·安德森, 阿伦·杰伊·斯坦 申请人:汤姆逊许可公司