专利名称：Mpeg-2系统上的多视图视频译码的制作方法
技术领域：
本发明涉及经编码的视频数据的输送。
背景技术：
数字视频能力可并入到广范围的装置中，所述装置包括数字电视、数字直播系统、 无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置等。数字视频装置实施例如以下各者的视频压缩技术以较有效地发射和接收数字视频信息描述于由 MPEG-2、MPEG-4、ITU-T H. 263 或 ITU-T H. 264/MPEG-4 第 10 部分(高级视频译码(AVC))定义的标准和所述标准的扩展部分中的视频压缩技术。视频压缩技术执行空间预测和/或时间预测以减少或移除视频序列中所固有的冗余。对于基于块的视频译码来说，可将视频帧或切片分割成宏块。可进一步分割每一宏块。使用关于相邻宏块的空间预测来编码经帧内译码(I)的帧或切片中的宏块。经帧间译码(P或B)的帧或切片中的宏块可使用关于同一帧或切片中的相邻宏块的空间预测或关于其它参考帧的时间预测。在已编码视频数据后，可通过多路复用器将所述视频数据包化以供发射或存储。 MPEG-2包括定义许多视频编码标准的输送级的“系统”章节。MPEG-2输送级系统可由 MPEG-2视频编码器使用，或由符合不同视频编码标准的其它视频编码器使用。举例来说， MPEG-4规定与MPEG-2的编码和解码方法不同的编码和解码方法，但实施MPEG-4标准的技术的视频编码器仍可利用MPEG-2输送级方法。一般来说，对“MPEG-2系统”的参考引用由 MPEG-2规定的视频数据的输送级。在本发明中，由MPEG-2规定的输送级还称作“MPEG-2输送流”或简称作“输送流”。同样地，MPEG-2系统的输送级还包括节目流。输送流和节目流一般包括用于递送类似数据的不同格式，其中输送流包含一个或一个以上“节目”，所述一个或一个以上“节目”包括音频与视频数据两者，而节目流包括一个节目，所述节目包括音频与视频数据两者。MPEG-2系统规格描述如何可将经压缩的多媒体(视频和音频)数据流与其它数据一起多路复用以形成适于数字发射或存储的单一数据流。在2006年5月的“信息技术-运动图片和相关联的音频的通用译码系统，推荐H. 222.0 ；国际标准组织IS0/IEC JTC1/SC29/WG11 ；运动图片和相关联的音频的译码 information Technology-Generic Coding of Moving Pictures and Associated Audio :Systems,Recommendation H. 222. 0 ； International Organisation for Standardisation, IS0/IEC JTC1/SC29/WG11 ；Coding of Moving Pictures and Associated Audio) ” 中指定 MPEG-2 系统的最新规格。MPEG 近来设计了在MPEG-2系统上的MVC的输送标准，且此规格的最新版本为“对IS0/IEC 13818-1 的研究MVC 的 2007/FPDAM4 输送(Study of IS0/IEC 13818-1 :2007/FPDAM4 Transport of MVC)”，MPEG doc. N10572, MPEG of IS0/IEC JTC1/SC29/WG11, Maui, Hawaii, USA,2009 年4月。
发明内容
一般来说，本发明描述用于改进MPEG-2 (运动图片专家组)系统中的多视图视频译码的技术。本发明的技术大体上扩展关于多视图视频译码(MVC)的MPEG-2输送级(例如，MPEG-2输送流和MPEG-2节目流)的能力。举例来说，本发明的技术实现待在输送级处发射的MVC视频流的非连续视图的发射。本发明的技术进一步使输送流(或节目)的子位流能够各自包括非连续视图。所述技术还使接收装置在接收包含多个子位流(各自具有非连续视图)的输送级流后能够即刻重新布置所述子位流中的视图以使得所述输送流被适当排序(即，在视图次序索引方面以递增次序排序)，使得解码器可适当地解码所述视图中的每一者的帧。在一个实例中，一种方法包括使用源装置建构数据结构，所述数据结构用于用信号通知对应的MPEG-2(运动图片专家组)系统标准位流包含场景的与第一视图次序索引相关联的第一视图和所述场景的与第二视图次序索引相关联的第二视图，其中所述第一视图次序索引和所述第二视图次序索引为非连续的。所述方法还包括输出所述数据结构，例如， 将所述数据结构发射到目的地装置或将所述数据结构存储到计算机可读媒体。在另一实例中，一种设备包括视频编码器，其编码场景的多个视图；多路复用器，其建构数据结构，所述数据结构用于用信号通知对应的MPEG-2 (运动图片专家组)系统标准位流包含所述场景的所述多个视图中的与第一视图次序索引相关联的第一视图和所述场景的所述多个视图中的与第二视图次序索引相关联的第二视图，其中所述第一视图次序索引和所述第二视图次序索引为非连续的；以及输出接口，其输出所述数据结构。在另一实例中，一种设备包括用于使用源装置建构数据结构的装置，所述数据结构用于用信号通知对应的MPEG-2(运动图片专家组)系统标准位流包含场景的与第一视图次序索引相关联的第一视图和所述场景的与第二视图次序索引相关联的第二视图，其中所述第一视图次序索引和所述第二视图次序索引为非连续的；以及用于输出所述数据结构的
直ο在另一实例中，一种计算机可读存储媒体编码有指令，所述指令致使处理器建构数据结构，所述数据结构用于用信号通知对应的MPEG-2(运动图片专家组)系统标准位流包含场景的与第一视图次序索引相关联的第一视图和所述场景的与第二视图次序索引相关联的第二视图，其中所述第一视图次序索引和所述第二视图次序索引为非连续的；且输出所述数据结构。在又一实例中，一种方法包括使用客户端装置从所接收的位流产生顺从多视图视频译码(MVC)标准的位流，所述所接收的位流包含主子位流和所述主子位流的嵌入式子位流，其中产生所述顺从MVC标准的位流包括确定所述主子位流的视图分量是否具有大于所述嵌入式子位流的视图分量的视图次序索引的视图次序索引，当所述主子位流的所述视图分量的所述视图次序索引大于所述嵌入式子位流的所述视图分量的所述视图次序索引时， 将所述嵌入式子位流的所述视图分量添加到所述所产生的位流，且当所述主子位流的所述视图分量的所述视图次序索引不大于所述嵌入式子位流的所述视图分量的所述视图次序索引时，将所述主子位流的所述视图分量添加到所述所产生的位流。所述方法进一步包括将所述所产生的位流输出到视频解码器。在另一实例中，一种设备包括接收器，其接收包含主子位流和所述主子位流的嵌入式子位流的位流；多路分用器，其从所述所接收的位流产生顺从多视图视频译码(MVC) 标准的位流，其中为了产生所述顺从MVC标准的位流，所述多路分用器确定所述主子位流的视图分量是否具有大于所述嵌入式子位流的视图分量的视图次序索引的视图次序索引， 在所述主子位流的所述视图分量的所述视图次序索引大于所述嵌入式子位流的所述视图分量的所述视图次序索引时，将所述嵌入式子位流的所述视图分量添加到所述所产生的位流，且在所述主子位流的所述视图分量的所述视图次序索引不大于所述嵌入式子位流的所述视图分量的所述视图次序索引时，将所述主子位流的所述视图分量添加到所述所产生的位流；以及视频解码器，其解码由所述多路分用器产生的所述位流。在另一实例中，一种设备包括用于从所接收的位流产生顺从多视图视频译码 (MVC)标准的位流的装置，所述所接收的位流包含主子位流和所述主子位流的嵌入式子位流；用于确定所述主子位流的视图分量是否具有大于所述嵌入式子位流的视图分量的视图次序索引的视图次序索引的装置；用于在所述主子位流的所述视图分量的所述视图次序索引大于所述嵌入式子位流的所述视图分量的所述视图次序索引时将所述嵌入式子位流的所述视图分量添加到所述所产生的位流的装置；以及用于在所述主子位流的所述视图分量的所述视图次序索引不大于所述嵌入式子位流的所述视图分量的所述视图次序索引时将所述主子位流的所述视图分量添加到所述所产生的位流的装置；以及用于将所述所产生的位流输出到视频解码器的装置。在另一实例中，一种计算机可读存储媒体编码有指令，所述指令用于致使可编程处理器使用客户端装置从所接收的位流产生顺从多视图视频译码(MVC)标准的位流，所述所接收的位流包含主子位流和所述主子位流的嵌入式子位流，所述指令包含用以进行以下操作的指令确定所述主子位流的视图分量是否具有大于所述嵌入式子位流的视图分量的视图次序索引的视图次序索引的指令；当所述主子位流的所述视图分量的所述视图次序索引大于所述嵌入式子位流的所述视图分量的所述视图次序索引时，将所述嵌入式子位流的所述视图分量添加到所述所产生的位流；以及当所述主子位流的所述视图分量的所述视图次序索引不大于所述嵌入式子位流的所述视图分量的所述视图次序索引时，将所述主子位流的所述视图分量添加到所述所产生的位流；以及将所述所产生的位流输出到视频解码
ο在下文的附图和描述中陈述一个或一个以上实例的细节。其它特征、目标和优点将根据描述和图式以及根据权利要求书显而易见。
图1为说明音频/视频(A/V)源装置将音频和视频数据输送到A/V目的地装置的实例系统的方框图。图2为说明多路复用器的组件的实例布置的方框图。图3为说明节目专有信息表的实例集合的方框图。图4为说明可包括于多视图视频译码(MVC)扩展描述符中的数据的实例集合的方框图。图5为说明可包括于层级描述符中的数据的实例集合的方框图。图6为说明实例MVC预测模式的概念图。图7为说明用于将包括具有非连续视图次序索引的视图的子集的MPEG-2系统流从服务器发送到客户端的实例方法的流程图。图8为说明用于组合两个或两个以上子位流的视图分量以产生使得所述视图分量具有递增视图次序索引的位流的实例方法的流程图。
具体实施例方式本发明的技术一般针对于增强MPEG_2(运动图片专家组)系统(S卩，关于输送级细节符合MPEG-2的系统)中的多视图视频译码(MVC)。举例来说，MPEG-4提供视频编码的标准，但大体上假定符合MPEG-4标准的视频编码器将利用MPEG-2输送级系统。因此，本发明的技术适用于符合 MPEG-2、MPEG-4、ITU-T H. 263, ITU-TH. 264/MPEG-4 或利用 MPEG-2 输送流和/或节目流的任何其它视频编码标准的视频编码器。具体来说，本发明的技术可用以修改用于MPEG-2输送流和节目流的在输送级处的语法元素。举例来说，本发明的技术包括描述符，其在输送流中发射以特定识别在所述输送流中发送的多视图视频数据中的每一视图。举例来说，服务器装置可提供各种服务，其中每一者包含多视图视频译码视频数据的特定视图的相应子集，其中可基于由客户端装置执行的应用程序、由客户端装置执行的解码器的容量、由客户端装置表达的偏好或其它选择准则来选择服务的视图的子集。根据本发明的技术，服务器装置可提供具有非连续视图次序索引的视图的子集。 在一个实例中，服务器装置特定地在MVC扩展描述符中用信号发送将包括于输送流中的视图中的每一者，所述MVC扩展描述符可包括于节目映射表(PMT)或节目流映射(PSM)中。在一些实例中，服务器装置可在单一输送流或节目流中发送多个子位流。通过使位流的视图能够为非连续的，本发明的技术还使对应于每一子位流的视图的视图次序索引能够为非连续的。虽然这些技术实现每一子位流中的非连续视图次序索引，但仍需要视图次序索引在子位流中递增，以便符合现有位流标准(例如，MPEG-2系统标准)。然而，因为第一子位流和第二子位流的视图可各自为非连续的，所以所述视图可关于视图次序索引而无序地到达客户端装置。本发明的技术还使客户端装置能够处理此类输送流以有效地将所述第一子位流和所述第二子位流的视图重新排序以使得所述视图的视图次序索引递增。具有非连续视图次序索引的视图组合可用于视图可缩放性，其可用于带宽调适、解码器效率
9且提供其它所述优点。举例来说，与将需要将所有视图发送到客户端装置且客户端装置解码具有连续视图次序索引的每一视图的常规技术对照，本发明的技术实现仅发送由客户端装置特定需要的那些视图，甚至当此情形导致具有非连续视图次序索引的视图时也如此。 以此方式，客户端装置可仅接收特定服务所需的那些视图，而非具有介入视图次序索引的所有视图。虽然在各章节中，本发明可个别地提及“输送流”或“节目流”，但应理解，本发明的技术大体上适用于MPEG-2输送流和节目流中的一者或两者。一般来说，本发明描述用于执行本发明的技术的实例描述符。描述符用以扩展流的功能性。本发明的描述符可由输送流和节目流两者使用以实施本发明的技术。本发明还使用以下术语，且提议将这些术语连同如以下所指示的术语的语义一起包括于当前MPEG-2系统标准的修订中· AVC视频子位流MVC位流的基础视图。· MVC的AVC视频子位流丢弃前缀NAL单元的MVC位流的基础视图。· MVC基础视图子位流AVC视频子流或MVC的AVC视频子位流。· MVC视图分量子集一个视图分量的NAL单元。· MVC view_id子集一个视图的NAL单元。· MVC视频子位流非基础视图的NAL单元。图1为说明音频/视频(A/V)源装置20将音频和视频数据输送到A/V目的地装置40的实例系统10的方框图。图1的系统10可对应于视频电话会议系统、服务器/客户端系统、广播器/接收器系统或视频数据从源装置(例如，A/V源装置20)发送到目的地装置(例如，A/V目的地装置40)的任何其它系统。在一些实例中，A/V源装置20和A/V目的地装置40可执行双向信息交换。即，A/V源装置20和A/V目的地装置40均可能够编码和解码(和发射和接收)音频和视频数据。在一些实例中，音频编码器沈可包含语音编码器，其还被称作声码器。在图1的实例中，A/V源装置20包含音频源22和视频源对。音频源22可包含 (例如)麦克风，麦克风产生表示待由音频编码器26编码的经俘获的音频数据的电信号。 或者，音频源22可包含存储先前记录的音频数据的存储媒体、例如计算机化合成器的音频数据产生器，或任何其它音频数据源。视频源M可包含产生待由视频编码器观编码的视频数据的视频相机，编码有先前记录的视频数据的存储媒体、视频数据产生单元，或任何其它视频数据源。原始音频和视频数据可包含模拟或数字数据。模拟数据可在由音频编码器 26和/或视频编码器观编码之前经数字化。在说话的参与者正说话时，音频源22可从所述说话的参与者获得音频数据，且视频源M可同时获得所述说话的参与者的视频数据。在其它实例中，音频源22可包含包含所存储的音频数据的计算机可读存储媒体，且视频源M 可包含包含所存储的视频数据的计算机可读存储媒体。以此方式，本发明中所描述的技术可应用于实况转播、串流、实时音频和视频数据或应用于经存档、经预记录的音频和视频数据。对应于视频帧的音频帧大体上为含有音频数据的音频帧，所述音频数据曾由音频源22俘获，同时，视频帧内所含有的视频数据由视频源M俘获。举例来说，在说话的参与者大体上通过说话而产生音频数据时，音频源22俘获所述音频数据，且同时(即，在音频源22正俘获音频数据时)视频源对俘获所述说话的参与者的视频数据。因此，音频帧可在时间上对应于一个或一个以上特定视频帧。因此，音频帧对应于视频帧大体上对应于音频数据和视频数据曾同时被俘获且音频帧和视频帧分别包含曾同时俘获的音频数据和视频数据的情况。在一些实例中，音频编码器沈可在每一经编码的音频帧中编码表示经编码的音频帧的音频数据曾被记录的时间的时戳，且类似地，视频编码器观可在每一经编码的视频帧中编码表示经编码的视频帧的视频数据曾被记录的时间的时戳。在所述实例中，音频帧对应于视频帧可包含音频帧包含时戳和视频帧包含相同时戳。A/V源装置20可包括内部时钟，音频编码器26和/或视频编码器洲可从内部时钟产生时戳，或音频源22和视频源M 可用内部时钟分别将音频与视频数据与时戳相关联。在一些实例中，音频源22可将对应于音频数据曾被记录的时间的数据发送到音频编码器沈，且视频源M可将对应于视频数据曾被记录的时间的数据发送到视频编码器28。在一些实例中，音频编码器沈可在经编码的音频数据中编码序列识别符以指示经编码的音频数据的相对时间排序，但未必指示音频数据曾被记录的绝对时间，且类似地，视频编码器观还可使用序列识别符以指示经编码的视频数据的相对时间排序。类似地，在一些实例中，序列识别符可经映射或另外与时戳相关。本发明的技术大体上针对于经编码的多媒体(例如，音频和视频)数据的输送，以及经输送的多媒体数据的接收和后续解译和解码。本发明的技术特定来说适用于多视图视频译码(MVC)数据(即，包含多个视图的视频数据)的输送。如图1的实例中所示，视频源 M可将场景的多个视图提供给视频编码器观。MVC可用于产生待由三维显示器(例如，立体或自动立体三维显示器)使用的三维视频数据。A/V源装置20可将“服务”提供给A/V目的地装置40。服务大体上对应于MVC数据的可用视图的子集。举例来说，MVC数据可用于八个视图，其以零到七排序。一个服务可对应于具有两个视图的立体视频，而另一服务可对应于四个视图，且又一服务可对应于所有八个视图。一般来说，服务对应于可用视图的任何组合(即，任何子集)。服务还可对应于可用视图以及音频数据的组合。根据本发明的技术，A/V源装置20能够提供对应于包括非连续视图次序索引的视图的子集的服务。一般来说，视图由视图识别符(还被称作“View_id”)表示。视图识别符大体上包含可用以识别视图的语法元素。在编码视图时，MVC编码器提供所述视图的view_ id。View_id可由MVC解码器用于视图间预测或由其它单元用于其它目的(例如，用于呈现)。视图间预测为用于参考处于共同时间位置的一个或一个以上帧而将一帧的MVC 视频数据编码为不同视图的经编码的帧的技术。下文更详细论述的图6提供用于视图间预测的一实例编码方案。一般来说，可在空间上、时间上和/或参考处于共同时间位置的其它视图的帧来预测性编码MVC视频数据的经编码的帧。因此，参考视图(从其预测其它视图) 大体上在各视图(参考视图充当参考)之前被解码，以使得在解码参考视图时这些经解码的视图可用于参考。解码次序未必对应于View_id的次序。因此，使用视图次序索引来描述视图的解码次序。视图次序索引为指示存取单元中的对应视图分量的解码次序的索引。数据的每一个别流(无论音频还是视频)被称作基本流。基本流为节目的单一经数字译码(可能经压缩)的分量。举例来说，节目的经译码的视频或音频部分可为基本流。在将基本流多路复用成节目流或输送流之前，可将其转换成经包化基本流(PES)。在同一节目内，流ID用以区别属于一个基本流的PES包与其它PES包。基本流的数据的基本单位为经包化基本流(PEQ包。因此，MVC视频数据的每一视图对应于相应基本流。类似地，音频数据对应于相应基本流。在图1的实例中，多路复用器30从视频编码器观接收包含视频数据的基本流且从音频编码器26接收包含音频数据的基本流。在一些实例中，视频编码器观和音频编码器沈可各自包括用于从经编码的数据形成PES包的包化器。在其它实例中，视频编码器观和音频编码器26可各自与用于从经编码的数据形成PES包的包化器介接。在另外其它实例中，多路复用器30可包括用于从经编码的音频和视频数据形成PES包的包化器。如本发明中所使用的“节目”可包含音频数据与视频数据的组合，例如，音频基本流和由A/V源装置20的服务递送的可用视图的子集。每一 PES包包括识别所述PES包所属的基本流的streamed。多路复用器30负责将基本流组合成构成节目流或输送流。节目流和输送流为以不同应用为目标的两个替代性多路复用。一般来说，节目流由用于一个节目的数据组成，而输送流可包含用于一个或一个以上节目的数据。多路复用器30可基于所提供的服务、将在其中传递流的媒体、待发送的节目的数目或其它考虑因素而编码节目流或输送流中的一者或两者。举例来说，当视频数据待编码于存储媒体中时，多路复用器30可较可能形成节目流，而当视频数据待经由网络而串流、作为视频电话的部分而广播或发送时，多路复用器30可较可能使用输送流。多路复用器30可能偏向于将节目流用于存储单一节目和从数字存储服务显示单一节目。节目流意欲用于无错误环境或较不易遇到错误的环境中，因为节目流相当易受错误影响。节目流仅包含属于其的基本流且通常含有具有可变长度包的包。在节目流中，从起作用的基本流导出的PES包被组织成“包裹”。包裹包含按照任何次序的包裹标头、任选的系统标头和从起作用的基本流中的任一者获得的任何数目个PES包。系统标头含有节目流的特性(例如，其最大数据速率、起作用的视频和音频基本流的数目、其它时序信息或其它信息)的概述。解码器可使用系统标头中所含有的信息以确定所述解码器是否能够解码节目流。多路复用器30可使用输送流来用于经由潜在的易于出错的信道同时递送多个节目。输送流为经设计以用于例如广播的多节目应用以使得单一输送流可容纳许多独立节目的多路复用。输送流包含一连串输送包，输送包中的每一者长188字节。使用较短固定长度的包意味着与节目流相比，输送流较不易受错误影响。另外，可通过经由标准错误防护过程(例如，李德-所罗门(Reed-Solomon)编码)处理每一 188字节长的输送包而给予所述包额外错误防护。举例来说，输送流的改进的错误弹性意味着其具有幸免于在广播环境中发现的易于出错的信道的较佳机会。可看出，输送流由于其增加的错误弹性和载运许多同时节目的能力明显为两个多路复用中的较佳者。然而，输送流为比节目流复杂的多路复用，且因此较难以建立和多路分用。输送包的第一字节为具有值0x47(十六进制47，二进制“01000111”，十进制71)的同步字节。单一输送流可载运许多不同节目，每一节目包含许多经包化基本流。多路复用器 30可使用十三位包识别符(PID)字段以区别含有一个基本流的数据的输送包与载运其它基本流的数据的输送包。确保每一基本流被给予唯一 PID值是多路复用器的责任。输送包的最后字节为连续性计数字段。多路复用器30使属于同一基本流的连续输送包之间的连续性计数字段的值递增。此使目的地装置(例如，A/V目的地装置40)的解码器或其它单元能够检测输送包的损失或增益，且有希望隐藏可能原本因此类事件所导致的错误。多路复用器30从音频编码器沈和视频编码器观接收节目的基本流的PES包，且从所述PES包形成对应的网络抽象层(NAL)单元。在HJ64/AVC (高级视频译码)的实例中，经译码的视频片段被组织成NAL单元，其提供解决例如视频电话、存储、广播或串流等应用的“网络友好的”视频表示。可将NAL单元分类成视频译码层(VCL)NAL单元和非VCL NAL单元。VCL单元含有核心压缩引擎且可包含块、宏块和/或切片级。其它NAL单元为非 VCLNAL 单元。多路复用器30可形成NAL单元，其包含识别NAL所属的节目的标头，以及有效负载(例如，音频数据、视频数据或描述NAL单元所对应的输送或节目流的数据)。举例来说， 在H. 264/AVC中，NAL单元包括1字节标头和不同大小的有效负载。在一个实例中，NAL单兀标头包含 priority_id 兀素、temporal_id 兀素、anchor_pic_flag 兀素、view_id 兀素、 non_idr_flag元素和inter_view_fag元素。在常规MVC中，保留由H. 264定义的NAL单元，除了前缀NAL单元和经MVC译码的切片NAL单元(其包括4字节MVC NAL单元标头和 NAL单元有效负载)之外。NAL标头的priority_id元素可用于简单的单路径位流调适过程。temporaljd 元素可用于指定对应NAL单元的时间级，其中不同时间级对应于不同帧速率。anChor_p i c_ flag元素可指示图片为锚定图片还是非锚定图片。可正确地解码锚定图片和在输出次序(即，显示次序)上在其后面的所有图片，而不解码在解码次序(即，位流次序)上的先前图片，且因此锚定图片和在输出次序(即，显示次序)上在其后面的所有图片可用作随机存取点。锚定图片和非锚定图片可具有不同相依性，其两者均在序列参数集合中用信号发送。将论述其它旗标且将在此章的以下章节中使用其它旗标。此类锚定图片还可被称作开放GOP (图片群组)存取点，而在n0n_idr_ flag元素等于零时，还支持闭合GOP存取点。n0n_idr_flag元素指示图片是瞬时解码器刷新(IDR)还是视图IDR(V-IDR)图片。一般来说，可正确地解码IDR图片和在输出次序或位流次序上在其后面的所有图片，而不解码在显示次序的解码次序上的先前图片。view_id元素包含可用以识别视图的语法信息，所述语法信息可用于MVC解码器内部的数据交互性以(例如)用于视图间预测，和解码器外部的数据交互性以(例如)用于呈现。inter_View_flag元素可指定对应NAL单元是否由其它视图用于视图间预测。为了传达基础视图的4字节NAL单元标头信息(其可顺从AVC)，在MVC中定义前缀NAL单元。 在MVC的情形下，基础视图存取单元包括视图的当前时间例子的VCL NAL单元以及其前缀 NAL单元，所述前缀NAL单元仅含有NAL单元标头。H. 264/AVC解码器可忽视前缀NAL单元。在其有效负载中包括视频数据的NAL单元可包含各种粒度等级的视频数据。举例来说，NAL单元可包含视频数据的块、宏块、多个宏块、视频数据的切片，或视频数据的整个帧。多路复用器30可从视频编码器观接收呈基本流的PES包的形式的经编码的视频数据。 多路复用器30可通过将streamed映射到(例如，数据库或其它数据结构中的)对应节目 (例如，节目映射表(PMT)或节目流映射(PSM))而将每一基本流与对应节目相关联。多路复用器30还可从多个NAL单元组合存取单元。一般来说，存取单元可包含用于表示视频数据的帧以及对应于所述帧的所述音频数据(此类在音频数据可用时)的一个或一个以上NAL单元。在对应于H. 264/AVC的实例中，存取单元可包含一个时间例子中的经译码的图片，其可呈现为主要经译码的图片。因此，存取单元可包含共同时间例子的所有音频和视频帧，例如，对应于时间X的所有视图。本发明还将特定视图的经编码的图片称作 “视图分量”。即，视图分量包含在特定时间处的特定视图的经编码的图片(或帧)。因此， 可将存取单元定义为包含共同时间例子的所有视图分量。多路复用器30还可将关于节目的数据嵌入于NAL单元中。举例来说，多路复用器 30可创建包含节目映射表(PMT)或节目流映射(PSM)的NAL单元。一般来说，PMT用以描述输送流，而PSM用以描述节目流。如下文关于图2的实例更详细地描述，多路复用器30 可包含数据存储单元或与数据存储单元交互，所述数据存储单元将从音频编码器26和视频编码器观接收的基本流与节目相关联，且相应地与相应输送流和/或节目流相关联。MPEG-2系统标准借助于“描述符”实现系统的扩展。PMT与PSM两者均包括描述符循环，一个或一个以上描述符可插入于描述符循环中。一般来说，描述符包含可用以扩展节目和/或节目元素的定义的结构。本发明描述用于执行本发明的技术的两个描述符MVC 扩展描述符和层级描述符。一般来说，本发明的MVC扩展描述符通过特定地识别嵌入于节目流或输送流中的视图的视图次序索引而增强常规的MVC扩展描述符，而本发明的层级描述符包括旗标，所述旗标指示相关联的节目元素是否提高因由层级描述符的元素参考的节目元素所产生的位流的视图的数目。例如ITU-T H. 261, H. 263, MPEG-U MPEG-2 和 H. 264/MPEG-4 第 10 部分等视频压缩标准利用运动补偿时间预测以减少时间冗余。编码器使用来自一些先前编码的图片(在本文中还被称作帧)的运动补偿预测以根据运动向量预测当前经编码的图片。在典型视频译码中存在三种主要图片类型。其为经帧内译码的图片(“I图片”或“I帧”)、经预测的图片(“P图片”或“P帧”)和双向预测的图片(“B图片”或“B帧”)。P图片仅使用在时间次序上在当前图片之前的参考图片。在B图片中，可从一个或两个参考图片预测B图片的每一块。这些参考图片可在时间次序上位于当前图片之前或之后。根据H. 264编码标准，作为一实例，B图片使用先前译码的参考图片的两个列表， 列表0和列表1。这两个列表可各自含有在时间次序上的过去和/或未来的经译码的图片。 可按以下若干方式中的一者预测B图片中的块来自列表0参考图片的运动补偿预测、来自列表1参考图片的运动补偿预测，或来自列表0参考图片与列表1参考图片两者的组合的运动补偿预测。为了得到列表0参考图片与列表1参考图片两者的组合，分别从列表0与列表1参考图片获得两个运动补偿参考区域。其组合将用以预测当前块。ITU-T H. 264标准支持以各种块大小进行的帧内预测，例如，针对明度分量的16 乘16、8乘8或4乘4以及针对色度分量的8 X 8 ；以及以各种块大小进行的帧间预测，例如， 针对明度分量的16X16、16X8、8X16、8X8、8X4、4X8和4X4以及针对色度分量的对应缩放的大小。在本发明中，“ X ”与“乘”可互换地使用以指代在垂直尺寸与水平尺寸方面的块的像素尺寸，例如，16X16像素或16乘16像素。一般来说，16X16块将具有垂直方向上的16个像素(y = 16)和水平方向上的16个像素(x = 16)。同样地，NXN块大体上具有垂直方向上的N个像素和水平方向上的N个像素，其中N表示非负整数值。可以行和列布置块中的像素。
小于16乘16的块大小可被称作16乘16宏块的分区。视频块可包含像素域中的像素数据的块，或(例如)在将例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换等变换应用于残余视频块数据之后的变换域中的变换系数的块，所述残余视频块数据表示经译码的视频块与预测性视频块之间的像素差。在一些情况下，视频块可包含变换域中的经量化的变换系数的块。较小视频块可提供较佳分辨率，且可用于定位包括高细节水平的视频帧。一般来说，宏块和各种分区(有时被称作子块)可被视为视频块。另外，切片可被视为多个视频块， 例如，宏块和/或子块。每一切片可为视频帧的可独立解码的单元。或者，帧自身可为可解码单元，或帧的其它部分可被定义为可解码单元。术语“经译码的单元”或“译码单元”可指代视频帧的任何可独立解码的单元，例如，整个帧、帧的切片、图片群组(GOP)(还被称作序列)，或根据适用的译码技术所定义的另一可独立解码的单元。术语宏块指代用于根据包含16X 16像素的二维像素阵列编码图片和/或视频数据的数据结构。每一像素包含色度分量和明度分量。因此，宏块可定义四个明度块，其各自包含8X8像素的二维阵列；两个色度块，其各自包含16X16像素的二维阵列；以及标头，其包含语法信息，例如，经译码块模式(CBP)、编码模式(例如，帧内(I)或帧间(P或B) 编码模式)、经帧内编码的块的分区的分区大小(例如，16X16、16X8、8X16、8X8、8X4、 4X8或4X4)，或经帧间编码的宏块的一个或一个以上运动向量。视频编码器观、视频解码器48、音频编码器沈、音频解码器46、多路复用器30和多路分用器38各自可在适用时实施为多种合适的编码器或解码器电路中的任一者，例如， 一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。视频编码器观和视频解码器48 中的每一者可包括于一个或一个以上编码器或解码器中，其中任一者可集成为组合式视频编码器/解码器(CODEC)的部分。同样地，音频编码器沈和音频解码器46中的每一者可包括于一个或一个以上编码器或解码器中，其中任一者可集成为组合式音频编码器/解码器(CODEC)的部分。包括视频编码器观、视频解码器48、音频编码器音频编码器沈、音频解码器46、多路复用器30和/或多路分用器38的设备可包含集成电路、微处理器和/或例如蜂窝式电话的无线通信装置。本发明的技术可提供优于用于MVC子位流的常规技术(其停用对一些操作点的信令特性的支持)的某些优点。与常规技术不同，本发明的MVC扩展描述符的语法元素和语义实现非连续视图次序索引值，因此使得有可能支持符合MVC且具有非连续的视图次序索引值的位流或子位流。本发明还提议用于信令视图增强的层级描述符，其使解码器能够确定MVC子位流依赖于其它视图以用于成功解码。为了提供对特性信令的较佳支持，如在所提议的MVC扩展描述符中用信号发送的视图次序索引值可任选地为非连续的。此外，可在MVC扩展描述符中用信号发送视图次序索引值或view_id值。作为一替代方案，可使用视图次序索引重新映射机制，其中通过修改现用的常规序列参数集合(SPS)MVC扩展中所定义的视图次序而在相符的MVC子位流经多路复用之前将此MVC子位流的视图的视图次序索引值映射到连续视图次序索引值。在此类机制中，常规MVC扩展描述符用以用信号发送视图ID而非视图次序索引，且因此，编码器可经重新配置以将所述视图编码成具有不同视图ID，同时解码器可经重新配置以根据经重新配置的编码次序而不同地解译常规MVC扩展描述符。举例来说，假设存在具有View_id 0, view_id 1和View_id 2的三个视图，其分别具有视图次序索引0、1和2。进一步假定服务仅需要视图0与视图2。编码器可以对应于视图ID 0、2、1的次序编码视图，以使得常规SPS MVC扩展描述符可用以用信号发送View_id值(以0、2、1的次序)。以此方式，视图2可具有视图次序索引1，以使得视图0与视图2的组合具有连续视图次序索引。另外，为了避免当MVC的AVC视频子位流存在时前缀NAL单元的重复，本发明提议应定义前缀MVC子位流，且在一些实例中，当存在至少一个MVC子位流时包括此类前缀MVC 子位流。此外，本发明提议属于基础视图的MVC专有SEI消息(S卩，在AVC规格的附件H中定义的SEI消息)或应用于MVC位流的所有视图的MVC SEI消息)可在此“前缀MVC子位流”内相关联，以实现在存储大小或带宽优化方面的有效存储和输送。本发明还提议可将相同想法应用于MPEG-2系统上的可缩放视频的输送，所述MPEG-2系统还被称作信息技术的修正3-运动图片和相关联的音频信息的通用译码系统(在本发明中被称作“MPEG-2系统”或“MPEG-2系统标准”)。在多路复用器30已从所接收的数据组合NAL单元和/或存取单元之后，多路复用器30将所述单元传递到输出接口 32以供输出。输出接口 32可包含(例如)发射器、收发器、用于将数据写入到计算机可读媒体(例如，光盘驱动器、磁性媒体驱动器(例如，软盘)) 的装置、通用串行总线(USB)端口、网络接口或其它输出接口。输出接口 32将NAL单元或存取单元输出到计算机可读媒体；34，例如，发射信号、磁性媒体、光学媒体、存储器、快闪驱动器或其它计算机可读媒体。最后，输入接口 36从计算机可读媒体34检索数据。输入接口 36可包含(例如) 光盘驱动器、磁性媒体驱动器、USB端口、接收器、收发器或其它计算机可读媒体接口。输入接口 36可将NAL单元或存取单元提供给多路分用器38。多路分用器38可将输送流或节目流多路分用成构成PES流，对所述PES流解包化以检索经编码的数据，且依据所述经编码的数据为音频还是视频流的部分(例如，如由流的PES包标头指示)而将所述经编码的数据发送到音频解码器46或视频解码器48。音频解码器46解码经编码的音频数据且将所述经解码的音频数据发送到音频输出42，而视频解码器48解码经编码的视频数据且将所述经解码的视频数据(其可包括流的多个视图)发送到视频输出44。视频输出44可包含使用场景的多个视图的显示器，例如，同时呈现场景的每一视图的立体或自动立体显示器。另外，例如当嵌入式子位流中的至少一个视图具有视图次序索引小于其中嵌入了所述嵌入式子位流的主子位流的视图的视图次序索引的视图时，多路分用器38可将一个或一个以上子位流的视图重新排序，以使得所述流的视图次序索引具有严格递增次序。以此方式，A/V目的地装置40可对应于包含从所接收的位流产生顺从MVC标准的位流的多路分用器的设备。图2为说明多路复用器30(图1)的组件的实例布置的方框图。在图2的实例中， 多路复用器30包括流管理单元60、视频输入接口 80、音频输入接口 82、经多路复用流输出接口 84，和节目专有信息表88。流管理单元60包括NAL单元建构器62、PMT建构器64、流识别符(流ID)查找单元66，和节目识别符(PID)指派单元68。在图2的实例中，视频输入接口 80和音频输入接口 82包括用于从经编码的视频
16数据和经编码的音频数据形成PES单元的相应包化器。在其它实例中，视频和/或音频包化器可存在于多路复用器30的外部。关于图2的实例，视频输入接口 80可由从视频编码器观接收的经编码的视频数据形成PES包，且音频输入接口 82可由从音频编码器沈接收的经编码的音频数据形成PES包。流管理单元60从视频输入接口 80和音频输入接口 82接收PES包。每一 PES包包括识别所述PES包所属的基本流的流ID。流ID查找单元66可通过查询节目专有信息表 88而确定PES包所对应的节目。S卩，流ID查找单元66可确定所接收的PES包对应于哪一节目。每一节目可包含多个基本流，而一般来说，一个基本流对应于仅一个节目。然而，在一些实例中，基本流可包括于多个节目中。因为各种服务可各自包括可用音频和视频流的各种子集，所以每一 PES包可包括于从多路复用器30输出的多个流中。因此，流ID查找单元66可确定PES包是否应包括于一个或一个以上输出流(例如，一个或一个以上输送或节目流)中，且特定来说，确定在所述输出流中的哪一者中包括所述PES包。在一个实例中，每一基本流对应于一节目。多路复用器30可负责确保每一基本流与一特定节目相关联，且相应地与一节目ID(PID)相关联。当接收包括未由多路复用器30 辨识出的流ID (例如，未存储于节目专有信息表88中的流ID)的PES包时，PID指派单元 68在节目专有信息表88中创建一个或一个以上新条目以将新的流ID与未使用的PID相关联。在确定PES包所对应的节目之后，NAL单元建构器62 (例如)通过将所述PES包与NAL单元标头(其包括所述PES包的流ID所对应的节目的PID)囊封在一起而形成包含所述PES包的NAL单元。在一些实例中，NAL单元建构器62或流管理单元60的另一子单元可形成包含多个NAL单元的存取单元。PMT建构器64使用来自节目专有信息表88的信息创建多路复用器30的对应输出流的节目映射表(PMT)。在另一实例中，流管理单元60可包含用于创建由多路复用器30输出的节目流的节目流映射的PSM建构器。在一些实例中，多路复用器30可包含PMT建构器 64和PSM建构器两者，且输出输送流和节目流中的一者或两者。在图2的实例中，PMT建构器64可建构包括由本发明规定的描述符(例如，MVC增强描述符和层级描述符，以及任何其它必要的描述符)的PMT和所述PMT的PMT数据。PMT建构器64可周期性地(例如，在特定时间周期之后或在已发射特定量的数据之后)发送输送流的后续PMT。PMT建构器64 可(例如)通过将PMT与对应的NAL单元标头(其包括对应PID)囊封在一起而将所创建的PMT传递到NAL单元建构器62以用于形成包含PMT的NAL单元。经多路复用流输出接口 84可从流管理单元60接收一个或一个以上NAL单元和/ 或存取单元，例如，包含PES包(例如，音频或视频数据)的NAL单元和/或包含PMT的NAL 单元。在一些实例中，在从流管理单元60接收对应于共同时间位置的一个或一个以上NAL 单元之后，经多路复用流输出接口 84可从所述NAL单元形成存取单元。经多路复用流输出接口 84在对应的输送流或节目流中发射所述NAL单元或存取单元以作为输出。图3为说明节目专有信息表88的实例集合的方框图。可基于输送包的PID值确定所述输送包所属的基本流。为了使解码器适当地解码所接收的数据，所述解码器需要能够确定哪些基本流属于每一节目。如包括于节目专有信息表88中的节目专有信息可明确指定节目与分量基本流之间的关系。在图3的实例中，节目专有信息表88包括网络信息表100、条件存取表102、节目存取表104，和节目映射表106。对于图3的实例来说，假定输出流包含MPEG-2输送流。在一替代实例中，输出流可包含节目流，在此情况下，可用节目流映射替换节目映射表106。MPEG-2系统规格指定载运于输送流中的每一节目具有与其相关联的一节目映射表(例如，节目映射表106)。节目映射表106可包括关于节目和所述节目所包括的基本流的细节。作为一个实例，被识别为节目编号3的节目可含有具有PID 33的视频基本流、具有PID 57的英文音频流，和具有PID 60的中文音频流。准许PMT包括一个以上节目。由MPEG-2系统规格指定的基础节目映射表可附有在所述MPEG-2系统规格内指定的许多描述符中的一些(例如，描述符108)。描述符108可包括MPEG-2系统规格的指定描述符中的任一者或全部。一般来说，描述符(例如，描述符108)传达关于节目或节目的分量基本流的其它信息。所述描述符可包括视频编码参数、音频编码参数、语言识别、摇摄和扫描信息、条件存取细节、版权信息，或其它此类信息。广播公司或其它用户可定义额外专用描述符。本发明使用两个描述符以便允许非连续视图次序索引载运于例如输送流或节目流等输出流中。如图2所示，本发明的两个描述符包括MVC扩展描述符110和层级描述符 112。在视频相关的分量基本流中，还存在层级描述符，其提供信息以识别含有分层译码的视频、音频和专用流的分量的节目元素。在多路复用器30的输出包含节目流的一实例中，节目专有信息表88可包括节目流映射(PSM)。PSM可提供对应节目流中的基本流的描述和所述基本流彼此的关系。在一些实例中，节目流映射还可对应于输送流。当载运于对应的输送流中时，PSM结构不应被修改。多路复用器30可通过将PES包的streamjd值设定成OxBC (即，十六进制值BC，其对应于二进制值10111100或十进制值188)而指示PSM存在于所述PES包中。多路复用器30将可用于输送流中的所有节目的完整列表维持于节目关联表104 中。多路复用器30还可将节目关联表嵌入于NAL单元中。多路复用器30可通过向NAL单元指派PID值0而指示所述NAL单元包括节目关联表。多路复用器30可在节目关联表104 中列出每一节目连同含有对应节目映射表的输送包的PID值。使用上文所提及的相同实例，指定节目编号3的基本流的实例节目映射表具有为1001的PID且另一 PMT具有为1002 的另一 PID。此信息集合可包括于节目关联表104中。网络信息表(NIT)和条件存取表(CAT):指定于PAT中的节目编号零具有特殊意义。具体来说，节目编号零用以指出到网络信息表的路线。所述表为任选的且当存在时，其意欲提供关于载运输送流的物理网络的信息，例如，信道频率、卫星转发器细节、调制特性、 服务发起者、可用替代性网络的服务名称和细节。如果输送流内的任何基本流被加扰，则必须存在条件存取表。所述表提供使用中的加扰系统的细节，且提供含有条件存取管理和权限信息的输送包的PID值。未在MPEG-2 内指定此信息的格式。图4为说明可包括于MVC扩展描述符110中的数据的实例集合的方框图。在图4 的实例中，MVC扩展描述符110包括描述符标签字段120、描述符长度字段122、平均位速率字段124、最大位速率字段126、保留字段128、时间识别符(ID)起始字段130、时间ID结束字段132、无补充增强信息(SEI)NAL单元存在字段134、一个或一个以上视图次序索引字段136，和一个或一个以上保留尾随位字段138。MVC扩展描述符110还指定对应于MVC子位流的操作点。下文的MVC扩展描述符110的字段的位深度对应于MVC扩展描述符的一个实例。其它实例可包括个别地用信号发送包括于对应位流或子位流中的每一视图的每一视图次序索引的其它位深度、值或范围。描述符标签字段120对应于包括于每一描述符中以特定地识别所述描述符的八位描述符标签字段，如由MPEG-2系统标准所陈述。MPEG-2系统标准定义特定描述符标签且将其它描述符标签值(例如，值36到63)标记为“保留”。本发明的技术提议将MVC扩展描述符110的描述符标签字段120的值设定成“49”，其对应于如MPEG-2系统规格中所指定的保留描述符标签中的一者。描述符长度字段122对应于还包括于每一描述符中的八位描述符长度字段，如由 MPEG-2系统标准所陈述。多路复用器30可将描述符长度字段122的值设定成等于紧接在描述符长度字段122之后的MVC扩展描述符110的字节的数目。因为MVC扩展描述符110 可(例如)基于包括于MVC扩展描述符110的特定例子中的视图次序索引136的数目而包含可变长度，所以多路复用器30计算MVC扩展描述符110的例子的大小且相应地设定所述描述符的例子的描述符长度字段122的值。平均位速率字段IM包含指示经重新组合的AVC视频流的平均位速率(以每秒千位计)的十六位字段。即，平均位速率字段1 描述当从MVC扩展描述符110所对应的输送流或节目流的构成部分组合视频流时所述视频流的平均位速率。在一些实例中，多路复用器30可将平均位速率字段IM的值设定成零以指示平均位速率未由MVC扩展描述符110 指示。最大位速率字段1 包含指示经重新组合的AVC视频流的最大位速率(以每秒千位计)的十六位字段。即，最大位速率字段1 描述当从MVC扩展描述符110所对应的输送流或节目流的构成部分组合视频流时所述视频流的最大位速率。在一些实例中，多路复用器30可将最大位速率字段1 的值设定成零以指示最大位速率未由MVC扩展描述符110 指示。时间ID起始字段130包含指示相关联的MVC视频子位流中所含有的所有NAL单元的NAL单元标头语法元素的temporaljd的最小值的三位字段。即，时间ID值包括于每一 NAL单元的标头中。一般来说，时间ID值对应于特定帧速率，其中相对较大的时间ID值对应于较高帧速率。举例来说，时间ID的值“0”可对应于15帧每秒(fps)的帧速率，时间 ID的值“1”可对应于30fps的帧速率。以此方式，在此实例中，将具有时间ID 0的所有图片聚集到一集合中可用以形成具有15fps的帧速率的视频片段，而将具有时间ID 0的所有图片和具有时间ID 1的所有图片聚集到不同集合中可用以形成具有30fps的帧速率的不同视频片段。多路复用器30确定MVC视频子位流的所有NAL单元的最小时间ID，且将时间 ID起始字段130的值设定成等于此所确定的最小时间ID值。时间ID结束字段132包含指示相关联的MVC视频子位流中所含有的所有NAL单元的NAL单元标头语法元素的时间ID的最大值的三位字段。因此，多路复用器30确定MVC 视频子位流的所有NAL单元的最大时间ID，且将时间ID起始字段130的值设定成等于此所确定的最大时间ID值。无SEI NAL单元存在字段134包含一位旗标，所述一位旗标在被设定成“ 1 ”时指
19示无补充增强信息NAL单元存在于相关联的视频子位流中。多路复用器30可确定一个或一个以上补充增强信息NAL单元是否已放置于位流中，且在位流中不存在SEI NAL单元时将无SEI NAL单元存在字段134的值设定成值“1”，而在至少一个SEI NAL单元存在于位流中时可将无SEI NAL单元存在字段134的值设定成值“0”。在一个方面中，本发明的技术描述对常规MVC扩展描述符的修改以包括一个或一个以上视图次序索引字段136，其使用如下表1中所展示的循环来表示。视图次序索引字段 136中的每一者包含指示相关联的MVC视频子位流中所含有的NAL单元中的对应一者的视图次序索引的值的10位字段。多路复用器30可根据MVC视频子位流中所包括的视图的视图次序索引而设定视图次序索引字段136的值。此外，可以递升次序用信号发送视图次序索引字段136的值。以此方式，MVC扩展描述符110可描述MVC视频子位流中所包括的视图的非连续视图次序索引。在图4的实例中，MVC扩展描述符110还包含保留尾随位字段138。本发明描述保留这些位以用于未来目的，而未指定如何必要地使用这些值。在各种实例中，可将保留尾随位表示为MVC扩展描述符110的位的一个单一连续保留片段，或表示为多个个别位上的循环。下表1描述本发明的MVC扩展描述符110的语法元素。表1还针对每一语法元素描述用以表示所述语法元素的位的数目和描述所述语法元素的类型的助记符。位的数目对应于当在经译码的位流中发射MVC扩展描述符110时分配给对应语法元素的位的数目。 在MPEG-2系统标准中使用助记符以描述在经译码的位流中使用的不同数据类型。本发明中所使用的助记符包括“uimsbf”，MPEG-2系统标准将其定义为使最高有效位在首的无正负号整数；以及“bslbf”，MPEG-2系统标准将其定义为左侧位在首的位串，其中“左侧”为在MPEG-2系统标准中编写位串的次序。表1的实例中的语法元素中的每一者对应于上文关于MVC扩展描述符110所描述的语法元素中的相应一者。具体来说，本发明提供表1中的“for”循环，以特定地用信号发送节目流或输送流中的每一视图的视图次序索引。以此方式，表1的MVC扩展描述符中的“for”循环可用以用信号发送对应的MPEG-2系统标准位流包含场景的与第一视图次序索引相关联的第一视图和所述场景的与第二视图次序索引相关联的第二视图，其中第一视图次序索引和第二视图次序索引为非连续的。表I-MVC扩展描述符
权利要求
1.一种产生多视图视频数据的方法，其包含使用源装置建构数据结构，所述数据结构用于用信号通知对应的MPEG-2(运动图片专家组)系统标准位流包含场景的与第一视图次序索引相关联的第一视图和所述场景的与第二视图次序索引相关联的第二视图，其中所述第一视图次序索引和所述第二视图次序索引为非连续的；以及输出所述数据结构。
2.根据权利要求1所述的方法，其中所述数据结构包含节目映射表，且所述位流包含 MPEG-2输送流。
3.根据权利要求1所述的方法，其中所述数据结构包含节目流映射，且所述位流包含 MPEG-2节目流。
4.根据权利要求1所述的方法，其中建构所述数据结构包含建构多视图视频译码MVC 扩展描述符，所述MVC扩展描述符包含包括于所述位流中的每一视图的个别视图次序索引值，其中所述个别视图次序索引值包含所述第一视图次序索引的值和所述第二视图次序索引的值，且其中以递增次序布置所述视图次序索引值。
5.根据权利要求4所述的方法，其中所述视图次序索引值包含第一视图次序索引值和第二视图次序索引值，其中所述第二视图次序索引值在所述MVC扩展描述符中紧接在所述第一视图次序索引值之后出现，且其中所述第二视图次序索引值与所述第一视图次序索引值之间的差大于一。
6.根据权利要求1所述的方法，其中建构所述数据结构进一步包含建构层级描述符， 所述层级描述符包含视图增强旗标字段的值，所述值指示相关联的节目元素提高因由所述层级描述符的层级嵌入式层索引字段的值参考的所述节目元素所产生的所述位流的视图的数目。
7.根据权利要求6所述的方法，其中建构所述层级描述符包含将所述视图增强旗标字段的所述值设定成值零。
8.根据权利要求6所述的方法，其进一步包含确定所述位流包括MVC的高级视频译码 AVC基础视图，其中建构所述层级描述符包含将所述层级描述符中的层级类型字段的值设定成一值，所述值指示所述位流包括包含所有前缀网络抽象层NAL单元的前缀MVC子位流， 所述NAL单元包含等于二十的类型值。
9.根据权利要求8所述的方法，其中设定所述层级类型字段的所述值包含将所述层级类型字段的所述值设定成值十四。
10.根据权利要求1所述的方法，其进一步包含建构包含所述第一视图的视图分量和所述第二视图的视图分量的存取单元，其中所述第一视图的所述视图分量在所述存取单元中紧接在所述第二视图的所述视图分量之前出现，以使得所述视图分量的所述第一视图次序索引和所述第二视图次序索引在所述存取单元中非连续地出现；以及输出所述存取单元。
11.一种用于产生多视图视频数据的设备，其包含视频编码器，其编码场景的多个视图；多路复用器，其建构数据结构，所述数据结构用于用信号通知对应的MPEG-2 (运动图片专家组)系统标准位流包含所述场景的所述多个视图中的与第一视图次序索引相关联的第一视图和所述场景的所述多个视图中的与第二视图次序索引相关联的第二视图，其中所述第一视图次序索引和所述第二视图次序索引为非连续的；以及输出接口，其输出所述数据结构。
12.根据权利要求11所述的设备，其中所述数据结构包含节目映射表，且所述位流包含MPEG-2输送流。
13.根据权利要求11所述的设备，其中所述数据结构包含节目流映射，且所述位流包含MPEG-2节目流。
14.根据权利要求11所述的设备，其中为了建构所述数据结构，所述多路复用器建构多视图视频译码MVC扩展描述符，所述MVC扩展描述符包含包括于所述位流中的每一视图的个别视图次序索引值，且其中所述视图次序索引值以递增次序布置。
15.根据权利要求14所述的设备，其中所述视图次序索引值包含所述第一视图次序索引的第一视图次序索引值和所述第二视图次序索引的第二视图次序索引值，其中所述第二视图次序索引值在所述MVC扩展描述符中紧接在所述第一视图次序索引值之后出现，且其中所述第二视图次序索引值与所述第一视图次序索引值之间的差大于一。
16.根据权利要求11所述的设备，其中为了建构所述数据结构，所述多路复用器进一步建构层级描述符，所述层级描述符包含视图增强旗标字段的值，所述值指示相关联的节目元素提高因由所述层级描述符的层级嵌入式层索引字段的值参考的所述节目元素所产生的所述位流的视图的数目。
17.根据权利要求16所述的设备，其中为了建构所述层级描述符，所述多路复用器将所述视图增强旗标字段的所述值设定成值零。
18.根据权利要求16所述的设备，其中所述多路复用器确定所述位流是否包括MVC的高级视频译码AVC基础视图，且当所述位流包括MVC的所述AVC基础视图时，所述多路复用器将所述层级描述符中的层级类型字段的值设定成一值，所述值指示所述位流包括包含所有前缀网络抽象层NAL单元的前缀MVC子位流，所述NAL单元包含等于二十的类型值。
19.根据权利要求18所述的设备，其中为了设定所述层级类型字段的所述值，所述多路复用器将所述层级类型字段的所述值设定成值十四。
20.根据权利要求11所述的设备，其中所述多路复用器建构包含所述第一视图的视图分量和所述第二视图的视图分量的存取单元，其中所述第一视图的所述视图分量在所述存取单元中紧接在所述第二视图的所述视图分量之前出现，以使得所述视图分量的所述第一视图次序索引和所述第二视图次序索引在所述存取单元中非连续地出现；且其中所述输出接口输出所述存取单元。
21.根据权利要求11所述的设备，其中所述设备包含以下各者中的至少一者集成电路；微处理器；以及无线通信装置，其包括所述视频编码器。
22.一种用于产生多视图视频数据的设备，其包含用于使用源装置建构数据结构的装置，所述数据结构用于用信号通知对应的MPEG-2(运动图片专家组)系统标准位流包含场景的与第一视图次序索引相关联的第一视图和所述场景的与第二视图次序索引相关联的第二视图，其中所述第一视图次序索引和所述第二视图次序索引为非连续的；以及用于输出所述数据结构的装置。
23.根据权利要求22所述的设备，其中所述数据结构包含节目映射表，且所述位流包含MPEG-2输送流。
24.根据权利要求22所述的设备，其中所述数据结构包含节目流映射，且所述位流包含MPEG-2节目流。
25.根据权利要求22所述的设备，其中所述用于建构所述数据结构的装置包含用于建构多视图视频译码MVC扩展描述符的装置，所述MVC扩展描述符包含包括于所述位流中的每一视图的个别视图次序索引值，其中所述个别视图次序索引值包含所述第一视图次序索引的值和所述第二视图次序索引的值，且其中所述视图次序索引值以递增次序布置。
26.根据权利要求25所述的设备，其中所述视图次序索引值包含第一视图次序索引值和第二视图次序索引值，其中所述第二视图次序索引值在所述MVC扩展描述符中紧接在所述第一视图次序索引值之后出现，且其中所述第二视图次序索引值与所述第一视图次序索引值之间的差大于一。
27.根据权利要求22所述的设备，其中所述用于建构所述数据结构的装置进一步包含用于建构层级描述符的装置，所述层级描述符包含视图增强旗标字段的值，所述值指示相关联的节目元素提高因由所述层级描述符的层级嵌入式层索引字段的值参考的所述节目元素所产生的所述位流的视图的数目。
28.根据权利要求27所述的设备，其中所述用于建构所述层级描述符的装置包含用于将所述视图增强旗标字段的所述值设定成值零的装置。
29.根据权利要求27所述的设备，其进一步包含用于确定所述位流包括MVC的高级视频译码AVC基础视图的装置，其中所述用于建构所述层级描述符的装置包含用于将所述层级描述符中的层级类型字段的值设定成一值的装置，所述值指示所述位流包括包含所有前缀网络抽象层NAL单元的前缀MVC子位流，所述NAL单元包含等于二十的类型值。
30.根据权利要求四所述的设备，其中所述用于设定所述层级类型字段的所述值的装置包含用于将所述层级类型字段的所述值设定成值十四的装置。
31.根据权利要求22所述的设备，其进一步包含建构包含所述第一视图的视图分量和所述第二视图的视图分量的存取单元，其中所述第一视图的所述视图分量在所述存取单元中紧接在所述第二视图的所述视图分量之前出现，以使得所述视图分量的所述第一视图次序索引和所述第二视图次序索引在所述存取单元中非连续地出现；以及输出所述存取单元。
32.—种编码有指令的计算机可读存储媒体，所述指令用于致使视频数据源装置的处理器建构数据结构，所述数据结构用于用信号通知对应的MPEG-2(运动图片专家组)系统标准位流包含场景的与第一视图次序索引相关联的第一视图和所述场景的与第二视图次序索引相关联的第二视图，其中所述第一视图次序索引和所述第二视图次序索引为非连续的；且输出所述数据结构。
33.根据权利要求32所述的计算机可读存储媒体，其中所述数据结构包含节目映射表，且所述位流包含MPEG-2输送流。
34.根据权利要求32所述的计算机可读存储媒体，其中所述数据结构包含节目流映射，且所述位流包含MPEG-2节目流。
35.根据权利要求32所述的计算机可读存储媒体，其中所述用以建构所述数据结构的指令包含用以建构多视图视频译码MVC扩展描述符的指令，所述MVC扩展描述符包含包括于所述位流中的每一视图的个别视图次序索引值，其中所述个别视图次序索引值包含所述第一视图次序索引的值和所述第二视图次序索引的值，且其中所述视图次序索引值以递增次序布置。
36.根据权利要求35所述的计算机可读存储媒体，其中所述视图次序索引值包含第一视图次序索引值和第二视图次序索引值，其中所述第二视图次序索引值在所述MVC扩展描述符中紧接在所述第一视图次序索引值之后出现，且其中所述第二视图次序索引值与所述第一视图次序索引值之间的差大于一。
37.根据权利要求32所述的计算机可读存储媒体，其中所述用以建构所述数据结构的指令进一步包含用以建构层级描述符的指令，所述层级描述符包含视图增强旗标字段的值，所述值指示相关联的节目元素提高因由所述层级描述符的层级嵌入式层索引字段的值参考的所述节目元素所产生的所述位流的视图的数目。
38.根据权利要求37所述的计算机可读存储媒体，其中所述用以建构所述层级描述符的指令包含用以将所述视图增强旗标字段的所述值设定成值零的指令。
39.根据权利要求37所述的计算机可读存储媒体，其进一步包含用以确定所述位流包括MVC的高级视频译码AVC基础视图的指令，其中建构所述层级描述符包含将所述层级描述符中的层级类型字段的值设定成一值，所述值指示所述位流包括包含所有前缀网络抽象层NAL单元的前缀MVC子位流，所述NAL单元包含等于二十的类型值。
40.根据权利要求39所述的计算机可读存储媒体，其中所述用以设定所述层级类型字段的所述值的指令包含用以将所述层级类型字段的所述值设定成值十四的指令。
41.根据权利要求32所述的计算机可读存储媒体，其进一步包含用以进行以下操作的指令建构包含所述第一视图的视图分量和所述第二视图的视图分量的存取单元，其中所述第一视图的所述视图分量在所述存取单元中紧接在所述第二视图的所述视图分量之前出现，以使得所述视图分量的所述第一视图次序索引和所述第二视图次序索引在所述存取单元中非连续地出现；以及输出所述存取单元。
全文摘要
多路复用器可产生MPEG-2(运动图片专家组)系统标准位流，所述MPEG-2系统标准位流包含具有非连续视图次序索引的视图。在一个实例中，一设备包含视频编码器，其编码场景的多个视图；多路复用器，其建构数据结构，所述数据结构用于用信号通知对应的MPEG-2(运动图片专家组)系统标准位流包含所述场景的所述多个视图中的与第一视图次序索引相关联的第一视图和所述场景的所述多个视图中的与第二视图次序索引相关联的第二视图，其中所述第一视图次序索引和所述第二视图次序索引为非连续的；以及输出接口，其输出所述数据结构。
文档编号H04N7/26GK102461167SQ201080024694
公开日2012年5月16日 申请日期2010年6月11日 优先权日2009年6月12日
发明者陈英, 马尔塔·卡切维奇 申请人:高通股份有限公司