3d视频格式的制作方法
【专利说明】
[0001 ] 本申请是申请日为2010年2月19日，申请号为201080008695.8，名称为"3D视频格 式"的发明专利申请的分案申请。
技术领域
[0002] 描述了设及编码系统的实施方式。各种特定的实施方式设及Ξ维(3D)视频格式。
【背景技术】
[0003] 为了方便诸如Ξ维电视(3DTV)和自由视点视频(FVV)之类的新的视频应用，可W 使用包括传统的二维（2D)视频和深度二者的3D视频(3DV)数据格式，W使额外的视频能够 被呈现在用户端。运种3DV格式的示例包括2D加深度(2D+ZK其包括2D视频和相应的深度贴 图）和分层深度视频LDV(其包括2D+Z中的数据和一个遮挡视频(occlusion video)及一个 遮挡深度(occlusion d邱th))。多视角加深度(MVD)是2D+Z的扩展，包括来自不同视点的多 个2D+Z。视差增强立体图像(DES)是相当于来自不同视角的两个LDV的另一种格式。如何传 送(编码并发送)运些数据格式是一个重要问题，因为必须在用户端联合使用不同分量。
【发明内容】
[0004] 根据一个概括方面，一组图像被编码。该组图像包括视频图像和与该视频图像相 对应的深度图像。该组图像中的图像被根据特定的3D视频格式相关联。该组图像被W利用 该组图像中的图像之间的冗余的方式编码。编码后的图像被基于与运些图像有关的特定的 3D视频格式，W特定次序排列在比特流中。该特定次序在比特流中被使用信令信息指示出 来。
[0005] 根据另一概括方面，包括一组编码后的图像的比特流被访问，该组图像包括视频 图像和与该视频图像相对应的深度图像。该组图像被根据特定的3D视频格式相关联。该组 图像被W利用该组图像中的图像之间的冗余的方式编码。指示特定次序的信令信息被访 问，其中该组编码后的图像被W该特定次序排列在比特流中。该特定次序是W与该组图像 有关的特定的3D视频格式为基础的。该组图像被使用信令信息解码。
[0006] 根据又一概括方面，视频信号被格式化为包括信息。该视频信号包括信令部分，该 信令部分包括信令信息。该信令信息指示特定次序，其中该组编码后的图像被W该特定次 序排列在比特流中。该特定次序是W与该组图像有关的特定的3D视频格式为基础的。
[0007] 下面的描述和附图中阐述了一种或多种实施方式的细节。即使仅W-种特定方式 进行描述，也应该明白实施方式可W被W各种方式配置或实现。例如，一种实施方式可W被 作为一种方法执行，或者被实现为一种装置(诸如，被配置为执行一组操作的装置、或者存 储用于执行一组操作的指令的装置）、或者被实现为一种信号。结合附图和权利要求，其他 方面和特征将通过下面的详细描述变得显而易见。
【附图说明】
[000引图1是深度贴图（depth map)的示例。
[0009 ]图2是示出LDV格式的四个分量的示例。
[0010] 图3是3DV编码器的实施方式的示意图。
[0011] 图4是3DV解码器的实施方式的示意图。
[0012] 图5是视频传输系统的实施方式的示意图。
[0013] 图6是视频接收系统的实施方式的示意图。
[0014] 图7是视频处理设备的实施方式的示意图。
[0015] 图8是示出对MVC结构中的MVD格式进行编码的示例的示意图。
[0016] 图9是示出对MVC结构中的LDV格式进行编码的示例的示意图。
[0017] 图10是示出对MVC结构中的DES格式进行编码的示例的示意图。
[0018] 图11是第一编码处理的实施方式的示意图。
[0019] 图12是第一解码处理的实施方式的示意图。
[0020] 图13是示出对MVC结构中的MVD格式进行编码的另一示例的示意图。
[0021] 图14是示出对MVC结构中的LDV格式进行编码的另一示例的示意图。
[0022] 图15是示出对MVC结构中的DES格式进行编码的另一示例的示意图。
[0023] 图16是第二编码处理的实施方式的示意图。
[0024] 图17是第二解码处理的实施方式的示意图。
[0025] 图18是示出对SVC结构中的LDV格式进行编码的示例的示意图。
[00%]图19是第Ξ编码处理的实施方式的示意图。
[0027]图20是第Ξ解码处理的实施方式的示意图。
[00%]图21是第四编码处理的实施方式的示意图。
[0029] 图22是第四解码处理的实施方式的示意图。
【具体实施方式】
[0030] 可W利用诸如既包括传统的2D视频又包括深度的数据格式之类的3DV数据格式， 来使例如附加的视频视图可W被呈现在用户端。但是，发明人认为缺陷在于，在诸如可分层 视频编码(SVC)和多视角视频编码(MVC)之类的当前标准中并不支持3DV格式。多视角视频 序列是包括从不同视点捕捉相同场景的两个W上视频序列的一组视频序列。
[0031] 所W，在至少一种实施方式中，我们提出重新使用现有的对于高级视频编码(AVC) 的MVC或SVC扩展，在用信号指示如何正确提取3DV内容的帮助下发送3DV内容。可W利用包 括但不限于例如，序列参数集(SPS)、画面参数集(PPS)、条带头、辅助增强信息(SEI)消息等 的任意高级语法来进行信号指示。在本申请中，其他信令机制也是可能的，并且是可W想到 的。
[0032] 在至少一种实施方式中，我们提出使用SVC或MVC的构架来对3DV分量进行编码，而 不要求系统级的同步。使用SVC或MVC中的技术，本原理可W更有效地利用分量间（cross- component)冗余。另外，后向兼容性更加灵活，因为可W仅利用整个比特流的一部分来对传 统的2D视频进行发送/解码(例如，用于SVC的基本层、或者MVC中的基本视图）。
[0033] 在至少一种实施方式中，我们还提出使用高级语法来用信号指示如何理解3DV背 景中的视图(MVC中）或者层(SVC中），从而使得3D显示器可W正确使用信息。
[0034] 在至少一种实施方式中，我们提出了用于用信号指示不同3DV格式的MVC和SVC的 构架中的"3DV格式SEI消息"。运种实施方式可能会具有W下优点中的一个W上优点、或者 全部优点：
[0035] ?避免了对系统级的不同分量进行同步的需要，因为它们可W被W分层方式 (SVC)或者同步视角(MVC)方式相关联。
[0036] ?更好地利用了分量间冗余:通过相对于利用交织法的AVC而言可W潜在地提供 更高编码效率的SVC/MVC将使能分量间预测。
[0037] .更灵活的后向兼容性:在用户端，传统的2D视频应用只需要部分数据。
[0038] 应该明白，尽管至少一种实施方式设及到SEI消息，但是W上所述的原理不限于使 用SEI消息。所W，例如，可W使用包括但不限于SPS、PPS、条带头等的其他高级语法。
[0039] 3D视频(3DV)再现格式包括视频分量和深度分量二者，运些格式诸如是2D+Z(MVD) 和LDV(DES)等，并且随着3DV应用吸引了更多的市场关注而变得更加重要。图1示出了根据 本原理的实施例的可W应用本原理的与被称为"Leaving_Lapto护的MPEG测试序列相对应 的示例性深度贴图100。图2示出了根据本原理的实施例的可W应用本原理的LDV格式中的 四种分量。具体地，左上部分201示出了2D视频视图，右上部分202示出了深度，左下部分203 示出了遮挡视频层，右下部分204示出了遮挡深度层。W上数据格式的编码和传输对于各种 应用来说非常关键，并且是具有挑战性的。包括编码效率在内的诸如同步和后向兼容(对于 传统的单视场2D视频)之类的功能应该被考虑，W使老式解码器可W根据比特流示出一些 东西。
[0040] 相对简单的解决方案是多播，其中每个分量被独立编码并发送。运种方式的典型 实施方式需要多个编码器/解码器、W及系统级或应用级的同步。换言之，多播的代价可W 被简单地增加3DV分量的数目倍。另外，由于不同分量被独立编码，所W将无法利用分量之 间的任何冗余。
[0041] MPEG-C Part 3(IS0/IEC 23002-3)规定了一种用于2D+Z的系统架构。MPEG-C 化的3还要求视频和深度之间的系统级同步。可W利用任何现有的视频编码标准对视频和 深度进行编码，但是视频和深度的编码被拆开进行，从而无法在运两种分量之间获得任何 编码好处。MPEG-C Part 3中没有规定LDV(DES)。用于2D+Z(MVD)和LDV(DES)的编码方案还 处于例如，MPEG的3DV组的探索阶段。
[0042] 为了将2D+Z(MVD)和LDV(DES)格式结合到诸如SVC和MVC之类的现有的编码机制 中，在至少一种实施方式中，我们提出利用一些高级语法来用信号指示如何从SVC或MVC比 特流提取3DV分量。运种方法的好处在于，不需要系统级的不同3DV分量之间的同步，因为它 们将被结合在编码后的比特流中（诸如，SVC中的基本/增强层或者MVC中的不同视角）。另一 个潜在的好处在于，当W运种方式执行编码时可W去除分量间冗余。
[0043]
[0044] "3DV视图"在运里被定义为来自一个视图位置的数据组，其不同于MVC中使用的 "视角"。对于2D+Z格式，3DV视图包括两个分量序列，即，2D视图及其深度贴图。对于LDV格 式，3DV视图包括四个分量序列，即，2D视图、深度贴图、遮挡视图、W及遮挡深度贴图。
[0045] 当MVC (SVC)解码器接收到包括所提出的沈I消息的比特流时，MVC (SVC)解码器可 W通过3D显示器可W输出适当图像的方式来组成3DV数据。
[0046] 图3是根据本原理的实施例的可W应用本原理的3DV编码器300的实施方式的示意 图。编码器300包括3D视图分量组成器355,该组成器具有与MVC/SVC编码器305的输入端进 行信号通信的第一输出端。MVC/SVC编码器305的输出端W信号通信的方式与比特流复用器 360的第一输入端连接。3D视图分量组成器355的第二输出端W信号通信的方式连接SEI消 息组成器365的第一输入端。SEI消息组成器365的输出端W信号通信的方式连接比特流复 用器360的第二输入端。3D视图分量组成器355的输入端可被用作编码器300的输入端，用于 接收3DV内容(例如，一个或多个2D视图、深度、一个或多个遮挡视图、遮挡深度、一个或多个 透明贴图等）。比特流复用器360的输出端可被用作编码器300的输出端，用于输出3DV比特 流。
[0047] 在运种实施方式中，MVC/SVC编码器305中的每个3DV分量编码器(未示出）是MVC编 码器或SVC编码器。在使用MVC编码器的情况中，每个3DV分量编码器是用于一个SVC视图的 SVC编码器。3D视图分量组成器355是用于发送SVC层或MVC视图的3DV分量W及发送运样的 控制信息给SEI消息组成器365的分配器。SEI消息组成器365将SEI消息组成为比特流中的 信号。比特流复用器360将复用该比特流。
[0048] 图4是根据本原理的实施例的可W应用本原理的3DV解码器400的实施方式的示意 图。解码器400包括比特流解复用器460,该解复用器具有W信号通信的方式与SEI消息解析 器46 5的输入端和MVC/SVC解码器405的输入端连接的输出端。沈I消息解析器46 5的输出端 W信号通信的方式与3D视图分量分解器455的第一输入端连接。MVC/SVC解码器405的输出 端W信号通信的方式与3D视图分量分解器455的第二输入端连接。比特流解复用器460的输 入端可W被用作解码器400的输入端，用于接收3DV比特流。3D视图分量分解器455的输出端 可W被用作解码器400的输出端，用于输出格式化后的3DV内容(例如，一个或多个2D视图、 深度、一个或多个遮挡视图、遮挡深度、一个或多个透明贴图等）。