专利名称：3d视频格式的制作方法
技术领域：
描述了涉及编码系统的实施方式。各种特定的实施方式涉及三维(3D)视频格式。
背景技术：
为了方便诸如三维电视(3DTV)和自由视点视频(FVV)之类的新的视频应用，可以使用包括传统的二维OD)视频和深度二者的3D视频(3DV)数据格式，以使额外的视频能够被呈现在用户端。这种3DV格式的示例包括2D加深度QD+Z)(其包括2D视频和相应的深度贴图)和分层深度视频LDV(其包括2D+Z中的数据和一个遮挡视频(occlusion video) 及一个遮挡深度(occlusion depth)).多视角加深度(MVD)是2D+Z的扩展，包括来自不同视点的多个2D+Z。视差增强立体图像(DES)是相当于来自不同视角的两个LDV的另一种格式。如何传送(编码并发送)这些数据格式是一个重要问题，因为必须在用户端联合使用不同分量。
发明内容
根据一个概括方面，一组图像被编码。该组图像包括视频图像和与该视频图像相对应的深度图像。该组图像中的图像被根据特定的3D视频格式相关联。该组图像被以利用该组图像中的图像之间的冗余的方式编码。编码后的图像被基于与这些图像有关的特定的3D视频格式，以特定顺序排列在比特流中。该特定顺序在比特流中被使用信令信息指示出来。根据另一概括方面，包括一组编码后的图像的比特流被访问，该组图像包括视频图像和与该视频图像相对应的深度图像。该组图像被根据特定的3D视频格式相关联。该组图像被以利用该组图像中的图像之间的冗余的方式编码。指示特定顺序的信令信息被访问，其中该组编码后的图像被以该特定顺序排列在比特流中。该特定顺序是以与该组图像有关的特定的3D视频格式为基础的。该组图像被使用信令信息解码。根据又一概括方面，视频信号被格式化为包括信息。该视频信号包括信令部分，该信令部分包括信令信息。该信令信息指示特定顺序，其中该组编码后的图像被以该特定顺序排列在比特流中。该特定顺序是以与该组图像有关的特定的3D视频格式为基础的。下面的描述和附图中阐述了一种或多种实施方式的细节。即使仅以一种特定方式进行描述，也应该明白实施方式可以被以各种方式配置或实现。例如，一种实施方式可以被作为一种方法执行，或者被实现为一种装置(诸如，被配置为执行一组操作的装置、或者存储用于执行一组操作的指令的装置)、或者被实现为一种信号。结合附图和权利要求，其他方面和特征将通过下面的详细描述变得显而易见。
图1是深度贴图(cbpth map)的示例。图2是示出LDV格式的四个分量的示例。图3是3DV编码器的实施方式的示意图。图4是3DV解码器的实施方式的示意图。图5是视频传输系统的实施方式的示意图。图6是视频接收系统的实施方式的示意图。图7是视频处理设备的实施方式的示意图。图8是示出对MVC结构中的MVD格式进行编码的示例的示意图。图9是示出对MVC结构中的LDV格式进行编码的示例的示意图。图10是示出对MVC结构中的DES格式进行编码的示例的示意图。图11是第一编码处理的实施方式的示意图。图12是第一解码处理的实施方式的示意图。图13是示出对MVC结构中的MVD格式进行编码的另一示例的示意图。图14是示出对MVC结构中的LDV格式进行编码的另一示例的示意图。图15是示出对MVC结构中的DES格式进行编码的另一示例的示意图。图16是第二编码处理的实施方式的示意图。图17是第二解码处理的实施方式的示意图。图18是示出对SVC结构中的LDV格式进行编码的示例的示意图。图19是第三编码处理的实施方式的示意图。图20是第三解码处理的实施方式的示意图。图21是第四编码处理的实施方式的示意图。图22是第四解码处理的实施方式的示意图。
具体实施例方式可以利用诸如既包括传统的2D视频又包括深度的数据格式之类的3DV数据格式， 来使例如附加的视频视图可以被呈现在用户端。但是，发明人认为缺陷在于，在诸如可缩放视频编码(SVC)和多视角视频编码(MVC)之类的当前标准中并不支持3DV格式。多视角视频序列是包括从不同视点捕捉相同场景的两个以上视频序列的一组视频序列。所以，在至少一种实施方式中，我们提出重新使用现有的对于高级视频编码(AVC) 的MVC或SVC扩展，在用信号指示如何正确提取3DV内容的帮助下发送3DV内容。可以利用包括但不限于例如，序列参数集(SPS)、画面参数集(PPS)、条带头、辅助增强信息(SEI) 消息等的任意高级语法来进行信号指示。在本申请中，其他信令机制也是可能的，并且是可以想到的。在至少一种实施方式中，我们提出使用SVC或MVC的构架来对3DV分量进行编码，而不要求系统级的同步。使用SVC或MVC中的技术，本原理可以更有效地利用分量间 (cross-component)冗余。另外，后向兼容性更加灵活，因为可以仅利用整个比特流的一部分来对传统的2D视频进行发送/解码(例如，用于SVC的基本层、或者MVC中的基本视图)。在至少一种实施方式中，我们还提出使用高级语法来用信号指示如何理解3DV背景中的视图(MVC中)或者层(SVC中)，从而使得3D显示器可以正确使用信息。在至少一种实施方式中，我们提出了用于用信号指示不同3DV格式的MVC和SVC 的构架中的“3DV格式SEI消息”。这种实施方式可能会具有以下优点中的一个以上优点、 或者全部优点 避免了对系统级的不同分量进行同步的需要，因为它们可以被以分层方式 (SVC)或者同步视角(MVC)方式相关联。 更好地利用了分量间冗余通过相对于利用交织法的AVC而言可以潜在地提供更高编码效率的SVC/MVC将使能分量间预测。 更灵活的后向兼容性在用户端，传统的2D视频应用只需要部分数据。应该明白，尽管至少一种实施方式涉及到SEI消息，但是以上所述的原理不限于使用SEI消息。所以，例如，可以使用包括但不限于SPS、PPS、条带头等的其他高级语法。3D视频(3DV)再现格式包括视频分量和深度分量二者，这些格式诸如是 2D+Z(MVD)和LDV(DES)等，并且随着3DV应用吸引了更多的市场关注而变得更加重要。图 1示出了根据本原理的实施例的可以应用本原理的与被称为“Leavingjaptop”的MPEG测试序列相对应的示例性深度贴图100。图2示出了根据本原理的实施例的可以应用本原理的LDV格式中的四种分量。具体地，左上部分201示出了 2D视频视图，右上部分202示出了深度，左下部分203示出了遮挡视频层，右下部分204示出了遮挡深度层。以上数据格式的编码和传输对于各种应用来说非常关键，并且是具有挑战性的。包括编码效率在内的诸如同步和后向兼容(对于传统的单视场2D视频)之类的功能应该被考虑，以使老式解码器可以根据比特流示出一些东西。相对简单的解决方案是多播，其中每个分量被独立编码并发送。这种方式的典型实施方式需要多个编码器/解码器、以及系统级或应用级的同步。换言之，多播的代价可以被简单地增加3DV分量的数目倍。另外，由于不同分量被独立编码，所以将无法利用分量之间的任何冗余。MPEG-C Part 3(IS0/IEC 23002-3)规定了一种用于 2D+Z 的系统架构。MPEG-C Part 3还要求视频和深度之间的系统级同步。可以利用任何现有的视频编码标准对视频和深度进行编码，但是视频和深度的编码被拆开进行，从而无法在这两种分量之间获得任何编码好处。MPEG-C Part 3中没有规定LDV (DES)。用于2D+Z (MVD)和LDV(DES)的编码方案还处于例如，MPEG的3DV组的探索阶段。为了将2D+Z (MVD)和LDV (DES)格式结合到诸如SVC和MVC之类的现有的编码机制中，在至少一种实施方式中，我们提出利用一些高级语法来用信号指示如何从SVC或MVC 比特流提取3DV分量。这种方法的好处在于，不需要系统级的不同3DV分量之间的同步，因为它们将被结合在编码后的比特流中(诸如，SVC中的基本/增强层或者MVC中的不同视角)。另一个潜在的好处在于，当以这种方式执行编码时可以去除分量间冗余。术语“3DV视图”在这里被定义为来自一个视图位置的数据组，其不同于MVC中使用的 “视角”。对于2D+Z格式，3DV视图包括两个分量序列，S卩，2D视图及其深度贴图。对于LDV格式，3DV视图包括四个分量序列，S卩，2D视图、深度贴图、遮挡视图、以及遮挡深度贴图。当MVC(SVC)解码器接收到包括所提出的SEI消息的比特流时，MVC(SVC)解码器可以通过3D显示器可以输出适当图像的方式来组成3DV数据。图3是根据本原理的实施例的可以应用本原理的3DV编码器300的实施方式的示意图。编码器300包括3D视图分量组成器355，该组成器具有与MVC/SVC编码器305的输入端进行信号通信的第一输出端。MVC/SVC编码器305的输出端以信号通信的方式与比特流复用器360的第一输入端连接。3D视图分量组成器355的第二输出端以信号通信的方式连接SEI消息组成器365的第一输入端。SEI消息组成器365的输出端以信号通信的方式连接比特流复用器360的第二输入端。3D视图分量组成器355的输入端可被用作编码器300的输入端，用于接收3DV内容(例如，一个或多个2D视图、深度、一个或多个遮挡视图、遮挡深度、一个或多个透明贴图等)。比特流复用器360的输出端可被用作编码器300 的输出端，用于输出3DV比特流。在这种实施方式中，MVC/SVC编码器305中的每个3DV分量编码器(未示出)是 MVC编码器或SVC编码器。在使用MVC编码器的情况中，每个3DV分量编码器是用于一个 SVC视图的SVC编码器。3D视图分量组成器355是用于发送SVC层或MVC视图的3DV分量以及发送这样的控制信息给SEI消息组成器365的分配器。SEI消息组成器365将SEI消息组成为比特流中的信号。比特流复用器360将复用该比特流。图4是根据本原理的实施例的可以应用本原理的3DV解码器400的实施方式的示意图。解码器400包括比特流解复用器460，该解复用器具有以信号通信的方式与SEI消息解析器465的输入端和MVC/SVC解码器405的输入端连接的输出端。SEI消息解析器465 的输出端以信号通信的方式与3D视图分量分解器455的第一输入端连接。MVC/SVC解码器 405的输出端以信号通信的方式与3D视图分量分解器455的第二输入端连接。比特流解复用器460的输入端可以被用作解码器400的输入端，用于接收3DV比特流。3D视图分量分解器455的输出端可以被用作解码器400的输出端，用于输出格式化后的3DV内容(例如， 一个或多个2D视图、深度、一个或多个遮挡视图、遮挡深度、一个或多个透明贴图等)。图3和图4示出了特定实施方式，但是可以预见其他实施方式。例如，另一种实施方式不具有图3 (或图4)的一个或多个块上的独立输入端。相反，单个输入端被用来接收多个信号。作为具体示例，比特流复用器360可以只具有一个输入端。单个输入端接收来自MVC/SVC编码器305的输出以及来自SEI消息组成器365的输出。另外，3D视图分量组成器355的另一种实施方式只具有单个输出端，该输出端既向SEI消息组成器365提供信号又向MVC/SVC编码器305提供信号。可以想到对于图4以及其他附图的实施方式以及贯穿说明书描述的实施方式的类似适应修改。图5示出了根据本原理的实施例的可以应用本原理的示例性视频传输系统700。 视频传输系统700可以是例如用于使用诸如(例如)卫星、线缆、电话线、或者陆地广播之类的各种媒介中的任意一种来发送信号的头端、或传输系统。可以通过互联网或者一些其他网络来提供传输。视频传输系统700能够生成并递送例如视频内容和深度。这是通过生成一个或多个编码后的信号来实现的，其中编码后的信号包括深度信息或者能够被用来在可能具有例如解码器的接收器端合成深度信息的信息。
视频传输系统700包括编码器710和能够发送编码后的信号的发送器720。编码器710接收视频信息，并基于深度信息和/或视频信息生成一个或多个编码后的信号。编码器710可以是例如以上详细描述的编码器300。编码器710可以包括子模块，这些子模块包括例如用于接收各种信息项并将这些信息项装配为结构化的格式以供存储或传输的装配单元。各种信息项可以包括例如，编码后或未编码的视频、编码后或未编码的深度信息、 以及诸如运动矢量、编码模式指示符、以及语法元素之类的编码后或未编码的元素。发送器720可以被用来例如发送具有代表编码后的画面和/或与其有关的信息的一个或多个比特流的节目信号。一般发送器执行诸如提供误差校正编码、对信号中的数据进行交织、使得信号中的能量随机化、以及将信号调制到一个或多个载波上之类的处理中的一个或多个处理的功能。发送器可以包括天线(未示出)，或者可以与天线接口。因此， 发送器720的各种实施方式可以包括或者被限制为调制器。图6示出了根据本原理的实施例的可以应用本原理的示例性视频接收系统800。 视频接收系统800可以被配置为通过诸如(例如)卫星、线缆、电话线、或者陆地广播之类的各种媒介接收信号。这些信号可以通过互联网或者一些其他网络被接收。视频接收系统800可以是例如蜂窝电话、计算机、机顶盒、电视机、或者接收编码后的视频并提供例如解码后的视频以供显示给用户或者以供存储的其他设备。所以，视频接收系统800可以将其输出提供给例如电视机的屏幕、计算机监控器、计算机(用于存储、 处理、或显示)、或者一些其他存储、处理、或显示设备。视频接收系统800能够接收并处理包括视频信息的视频内容。视频接收系统800 包括能够接收诸如在本申请的实施方式中描述的信号之类的编码后的信号的接收器810、 以及能够对所接收的信号进行解码的解码器820。接收器810可以被用于例如接收具有代表编码后的画面的多个比特流的节目信号。一般接收器执行诸如接收调制并编码后的数据信号、从一个或多个载波解调数据信号、 使信号中的能量去随机化、对信号中的数据进行解交织、以及对信号进行误差校正解码中的一个或多个处理的功能。接收器810可以包括天线(未示出)，或者可以与天线相接口。 接收器810的实施方式可以包括或者被限制为解调器。解码器820输出包括视频信息和深度信息的视频信号。解码器820可以是例如以上描述的解码器400。图7示出了根据本原理的实施例的可以利用本原理的示例性视频处理设备900。 视频处理设备900可以是例如机顶盒、或者接收编码后的视频并且提供例如解码后的视频以供向用户显示或者以供存储的其他设备。所以，视频处理设备900可以将其输出提供给电视机、计算机监控器、或者计算机或其他处理设备。视频处理设备900包括前端(FE)设备905和解码器910。前端设备905可以是例如被用来接收具有代表编码后的画面的多个比特流的节目信号、以及从多个比特流中选择一个或多个比特流以供解码的接收器。一般接收器执行诸如接收调制并编码后的数据信号、对数据信号进行解调、对数据信号的一个或多个编码(例如，信道编码和/或源编码) 进行解码、和/或对数据信号进行误差校正中的一个或多个处理的功能。前端设备905可以从例如天线(未示出)接收节目信号。前端设备905向解码器910提供所接收的数据信号。
解码器910接收数据信号920。数据信号920可以包括例如，一个或多个高级视频编码(AVC)、可缩放视频编码(SVC)、或者多视角视频编码(MVC)兼容的流。AVC更具体地指现有的国际标准化组织/国际电工委员会(IS0/IEC)移动画面专家组4(MPEG-4)，部分10，高级视频编码(AVC)标准/国际电信联盟，电信部门(ITU-T) H. 264 _ # (International Organization for Standardization/International Electrotechnical Commission(IS0/IEC)Moving Picture Experts Group-4(MPEG-4)Part 10 Advanced Video Coding (AVC) standard/International Telecommunication Union. Telecommunication Sector (ITU-T) H. 264 Recommendation)(下文中，称为 “HJ64/ MPEG-4 AVCStandard"或者其变型，诸如“AVC标准”或者简称为“AVC” )。MVC更具体地指AVC标准的多视角视频编码(MVC)扩展(附件H)，被称为H. 264/ MPEG-4 AVC, MVC扩展(“MVC扩展”或者简称为“MVC，，)。SVC更具体地指AVC标准的可缩放视频编码(SVC)扩展(附件G)，被称为H. 264/ MPEG-4 AVC, SVC扩展("SVC扩展”或者简称为“SVC，，)。解码器910对所接收的信号920的部分或全部进行解码，并提供解码后的视频信号930作为输出。解码后的视频930被提供给选择器950。设备900还包括接收用户输入 970的用户接口 960。用户接口 960基于用户输入970将画面选择信号980提供给选择器 950。画面选择信号980和用户输入970指示用户期望显示多个画面、序列、可缩放版本、视图、或者可用的编码后数据的其他选择中的哪一种。选择器950提供所选择的一个或多个画面作为输出990。选择器950使用画面选择信息980来选择解码后的视频930中的哪些画面作为输出990来提供。在各种实施方式中，选择器950包括用户接口 960，并且在其他实施方式中，由于选择器950直接接收用户输入970而不需要单独的接口功能被执行，所以不需要用户接口 960。选择器950可以用软件实现，或者可以被实现为例如集成电路。在一种实施方式中，选择器950被与解码器910结合在一起，并且在另一种实施方式中，解码器910、选择器950、 以及用户接口 960被全部集成在一起。在一个应用中，前端905接收各种电视节目的广播，并且选择一种进行处理。对一个节目的选择是以收看的期望频道的用户输入为基础的。尽管图7中没有示出对于前端设备905的用户输入，但是前端设备905接收到了用户输入970。前端905接收广播，通过解调广播频谱的相关部分并解码解调后的节目的任意外部编码(outer encoding)来处理期望的节目。前端905将解码后的节目提供给解码器910。解码器910是包括设备960和950 的集成单元。所以，解码器910接收用户输入，其中该用户输入是由用户提供的期望收看的节目中的视图的指示。解码器910对所选择的视图以及来自其他视图的任意需要的参考画面进行解码，并且将解码后的视图990提供在电视机(未示出)上进行显示。继续以上应用，用户可能期望切换所显示的视图，然后可以将新的输入提供给解码器910。在接收到来自用户的“视图改变”后，解码器910对旧视图和新视图、以及介于旧视图和新视图之间的任意视图进行解码。即，解码器910对由物理上位于拍摄旧视图的相机和拍摄新视图的相机之间的相机所拍摄的任意视图进行解码。前端设备905还接收标识旧视图、新视图、以及它们之间的视图的信息。这种信息可以由例如，解码器910或者具有关于视图位置的信息的控制器(图7中未示出)提供。其他实施方式可以使用具有与前端设备集成在一起的控制器的前端设备。解码器910提供所有这些解码后的视图作为输出990。后处理器(图7中未示出) 在这些视图之间进行内插以提供从旧视图到新视图的平滑过渡，并且将这种过渡显示给用户。在过渡到新视图之后，后处理器(通过一个或多个未示出的通信链路)向解码器910 和前端设备905通知只需要新视图。然后，解码器910仅提供新视图作为输出990。系统900还可以被用来接收一系列图像的多个视图，呈现用于显示的单个视图， 以及以平滑方式在各种视图之间切换。平滑方式可以包括在视图之间进行内插以移动到另一视图。另外，系统900还允许用户旋转对象或场景，或者观看对象或场景的三维再现。对象的旋转例如可以对应于从视图到视图的移动、在视图之间进行内插以获得视图之间的平滑过渡或者简单地获取三维再现。也就是说，用户可以“选择”内插后的视图作为将要显示的“视图”。应该明白，视频传输系统700、视频接收系统800、以及视频处理设备900全部可以被用来与本申请中描述的各种实施方式一起使用。例如，系统700、800和900可以被用于利用如上所述的3DV格式中的一种格式的数据进行操作，以及利用相关联的信令信息进行操作。实施例1 用于MVC的3DV格式SEI消息在MVC的架构中，3DV分量序列被作为不同的“视图”进行编码。所以，可以通过作为MVC的一个特征的视图间预测(inter-view prediction)来去除分量间冗余。例如，2D 视图和遮挡视图之间的冗余可以被有效去除。表1示出了根据实施例1的提议用于MVC的 3DV格式SEI消息的语法。注意，在本实施例中MVC比特流可以包括除3DV分量序列以外的更多视图。表 权利要求
1.一种方法，包括对包括视频图像和与所述视频图像相对应的深度图像的一组图像进行编码，其中所述一组图像根据特定的3D视频格式而相关，并且所述一组图像以利用所述一组图像中的图像之间的冗余的方式被编码；基于与所述图像有关的所述特定的3D视频格式，以特定顺序将编码后的图像排列在比特流中；以及使用信令信息来指示所述特定顺序。
2.根据权利要求1所述的方法，其中，所述信令信息包括在SEI消息或者其他高级语法中。
3.根据权利要求1所述的方法，其中，所述比特流遵循国际标准化组织/国际电工技术委员会运动图像专家组-4，部分10，高级视频编码标准/国际电信联盟，电信部门H. 264 推荐的可缩放视频编码扩展或多视角视频编码扩展中的一个或多个。
4.根据权利要求1所述的方法，其中，所述特定的3D视频格式的特定分量被分配给一个或多个特定视图或特定层，并且所述特定视图或所述特定层中的一个或多个能够被用作另一视图或另一层的参考，以利用它们之间的冗余。
5.根据权利要求1所述的方法，其中，所述特定的3D视频格式是多种不同的3D视频格式中的一种，所述编码后的图像可以根据所述3D视频格式进行排列，并且所述信令信息指示所述多种不同的3D视频格式中的所述特定的3D视频格式。
6.根据权利要求1所述的方法，其中，所述一组图像包括二维视频图像和相应的深度图像。
7.根据权利要求6所述的方法，其中，所述二维视频图像和所述相应的深度图像来自第一视点，并且所述一组图像还包括来自第二视点的另一二维视频图像和另一深度图像， 所述另一深度图像与所述另一二维视频图像相对应。
8.根据权利要求6所述的方法，其中，所述一组图像还包括遮挡视频图像和遮挡深度图像。
9.根据权利要求8所述的方法，其中，所述遮挡视频图像和所述遮挡深度图像来自第一视点，并且所述一组图像还包括来自第二视点的另一遮挡视频图像和另一遮挡深度图像，所述另一遮挡深度图像与所述另一遮挡视频图像相对应。
10.一种装置，包括用于对包括视频图像和与所述视频图像相对应的深度图像的一组图像进行编码的部件，其中所述一组图像根据特定的3D视频标准而相关，并且所述一组图像以利用所述一组图像中的图像之间的冗余的方式被编码；用于基于与所述图像有关的所述特定的3D视频格式，以特定顺序将所述编码后的图像排列在比特流中的部件；以及用于使用信令信息指示所述特定顺序的部件。
11.一种处理器可读介质，其上存储有用于使处理器至少执行以下处理的指令对包括视频图像和与所述视频图像相对应的深度图像的一组图像进行编码，其中所述一组图像根据特定的3D视频标准而相关，并且所述一组图像以利用所述一组图像中的图像之间的冗余的方式被编码；基于与所述图像有关的所述特定的3D视频格式，以特定顺序将所述编码后的图像排列在比特流中；以及使用信令信息指示所述特定顺序。
12.一种装置，包括被配置为至少执行以下处理的处理器对包括视频图像和与所述视频图像相对应的深度图像的一组图像进行编码，其中所述一组图像根据特定的3D视频标准而相关，并且所述一组图像以利用所述一组图像中的图像之间的冗余的方式被编码；基于与所述图像有关的所述特定的3D视频格式，以特定顺序将所述编码后的图像排列在比特流中；以及使用信令信息指示所述特定顺序。
13.一种装置，包括编码器(305)，用于对包括视频图像和与所述视频图像相对应的深度图像的一组图像进行编码，其中所述一组图像根据特定的3D视频标准而相关，并且所述一组图像以利用所述一组图像中的图像之间的冗余的方式被编码；比特流复用器(360)，用于基于与所述图像有关的所述特定的3D视频格式，以特定顺序将所述编码后的图像排列在比特流中；以及消息组成器(365)，用于使用信令信息指示所述特定顺序。
14.一种装置，包括编码器(305)，用于对包括视频图像和与所述视频图像相对应的深度图像的一组图像进行编码，其中所述一组图像根据特定的3D视频标准而相关，并且所述一组图像以利用所述一组图像中的图像之间的冗余的方式被编码；比特流复用器(360)，用于基于与所述图像有关的所述特定的3D视频格式，以特定顺序将所述编码后的图像排列在比特流中；消息组成器(365)，用于在所述比特流中使用信令信息指示所述特定顺序；以及调制器(720)，用于对包括编码后的图像和所述信令信息的信号进行调制。
15.一种方法，包括访问包括编码后的一组图像的比特流，其中所述一组图像包括视频图像和与所述视频图像相对应的深度图像，所述一组图像根据特定的3D视频格式而相关，并且所述一组图像以利用所述一组图像中的图像之间的冗余的方式被编码；访问指示特定顺序的信令信息，其中所述编码后的一组图像以所述特定顺序排列在所述比特流中，所述特定顺序基于与所述一组图像有关的所述特定的3D视频格式；以及使用所述信令信息对所述一组图像进行解码。
16.一种装置，包括用于访问包括编码后的一组图像的比特流的部件，其中所述一组图像包括视频图像和与所述视频图像相对应的深度图像，所述一组图像根据特定的3D视频格式而相关，并且所述一组图像以利用所述一组图像中的图像之间的冗余的方式被编码；用于访问指示特定顺序的信令信息的部件，其中所述编码后的一组图像以所述特定顺序排列在所述比特流中，所述特定顺序基于与所述一组图像有关的所述特定的3D视频格式；以及用于使用所述信令信息对所述一组图像进行解码的部件。
17.—种处理器可读介质，其上存储有使得处理器至少执行以下处理的指令访问包括编码后的一组图像的比特流，其中所述一组图像包括视频图像和与所述视频图像相对应的深度图像，所述一组图像根据特定的3D视频格式而相关，并且所述一组图像以利用所述一组图像中的图像之间的冗余的方式被编码；访问指示特定顺序的信令信息，其中所述编码后的一组图像以所述特定顺序排列在所述比特流中，所述特定顺序基于与所述一组图像有关的所述特定的3D视频格式；以及使用所述信令信息对所述一组图像进行解码。
18.一种装置，包括被配置为至少执行以下处理的处理器访问包括编码后的一组图像的比特流，其中所述一组图像包括视频图像和与所述视频图像相对应的深度图像，所述一组图像根据特定的3D视频格式而相关，并且所述一组图像以利用所述一组图像中的图像之间的冗余的方式被编码；访问指示特定顺序的信令信息，其中所述编码后的一组图像以所述特定顺序排列在所述比特流中，所述特定顺序基于与所述一组图像有关的所述特定的3D视频格式；以及使用所述信令信息对所述一组图像进行解码。
19.一种装置，包括比特流解复用器G60)，用于访问包括编码后的一组图像的比特流，其中所述一组图像包括视频图像和与所述视频图像相对应的深度图像，所述一组图像根据特定的3D视频格式而相关，所述一组图像以利用所述一组图像中的图像之间的冗余的方式被编码；消息解析器(465)，用于访问指示特定顺序的信令信息，其中所述编码后的一组图像以所述特定顺序排列在所述比特流中，所述特定顺序基于与所述一组图像有关的所述特定的 3D视频格式；以及解码器005)，用于使用所述信令信息对所述一组图像进行解码。
20.根据权利要求19所述的装置，其中，所述装置被实现在视频编码器或视频解码器中的至少一个中。
21.一种装置，包括解调器(810)，用于对包括比特流的信号进行解调，所述比特流包括编码后的一组图像，所述一组图像包括视频图像和与所述视频图像相对应的深度图像，所述一组图像根据特定的3D视频格式而相关，所述一组图像以利用所述一组图像中的图像之间的冗余的方式被编码；比特流解复用器G60)，用于访问指示特定顺序的信令信息，其中所述编码后的一组图像以所述特定顺序排列在所述比特流中，所述特定顺序基于与所述一组图像有关的所述特定的3D视频格式；以及解码器005)，用于使用所述信令信息对所述一组图像进行解码。
22.一种视频信号，该视频信号被格式化为包括信息，所述视频信号包括信令部分，所述信令部分包括指示特定顺序的信令信息，其中编码后的一组图像以所述特定顺序排列在比特流中，所述特定顺序基于与所述一组图像有关的特定的3D视频格式。
23.根据权利要求22所述的视频信号，还包括包括所述编码后的一组图像的编码后的画面部分，所述一组图像包括视频图像和与所述视频图像相对应的深度图像，并且所述一组图像根据所述特定的3D视频格式而相关，所述一组图像以利用所述一组图像中的图像之间的冗余的方式被编码。
24.一种包括信令部分的视频信号结构，所述信令部分包括指示特定顺序的信令信息， 其中编码后的一组图像以所述特定顺序排列在比特流中，所述特定顺序基于与所述一组图像有关的特定的3D视频格式。
25.—种处理器可读介质，其上存储有视频信号结构，所述视频信号结构包括信令部分，所述信令部分包括指示特定顺序的信令信息，其中编码后的一组图像以所述特定顺序排列在比特流中，所述特定顺序基于与所述一组图像有关的特定的3D视频格式。
全文摘要
多种实施方式涉及3D视频格式。一种或多种实施方式涉及为MVC和SVC提供适应性修改，以使3D视频格式被使用。根据一般方面，包括视频和深度的一组图像被编码。该组图像被根据特定的3D视频格式相关联，并且被以利用该组图像之间的冗余的方式编码。编码后的图像被基于与这些图像有关的特定的3D视频格式以特定顺序排列在比特流中。比特流中的该特定顺序被利用信令信息来指示。根据另一方面，包括该组编码后的图像的比特流被访问。信令信息也被访问。该组图像被利用信令信息来解码。
文档编号H04N13/00GK102326390SQ201080008695
公开日2012年1月18日 申请日期2010年2月19日 优先权日2009年2月19日
发明者波-林·莱, 田栋, 罗健聪 申请人:汤姆逊许可证公司