110解 码视频ES以恢复原始图像。能够在由PSI/PSIP处理器114确认的分组标识（PID)的基础 上执行视频解码器108以及音频解码器110的解码过程。在解码过程期间，视频解码器110 能够提取深度信息。此外，视频解码器110能够提取生成相机虚拟视图的图像所需的附加 信息，例如相机信息或者用于估计由前方物体所隐藏的遮蔽面的信息（例如诸如物体轮廓 的几何信息、物体透明度信息以及色彩信息）并且将附加信息提供至SD渲染器116。然而， 在本发明的其他实施例中，可以由传输分解器104将深度信息和/或附加信息相互分开。
[0042] PSI/PSIP处理器114从传输分解器104接收PSI/PSIP信息、解析PSI/PSIP信息 并且将所解析的PSI/PSIP信息存储于存储器（未示出）或者寄存器中以至能够在所存储 的信息的基础上进行广播。3D渲染器116能够使用经恢复的图像、深度信息、附加信息以及 相机参数来生成在相机虚拟位置处的色彩信息、深度信息等。
[0043] 此外，3D渲染器116通过使用经恢复图像以及有关经恢复图像的深度信息来执行 3D变形而在相机虚拟位置处生成虚拟图像。而在本实施例中，3D渲染器116被配置为与视 频解码器110分开的块，这仅为示例并且3D渲染器116可以被并入视频解码器110中。
[0044] 格式化器120根据广播接收器的显示模式将在解码过程中所恢复的图像（即由相 机所捕捉的实际图像）以及由3D渲染器116所生成的虚拟图像格式化，从而通过显示器 122显示3D图像。在此，由3D渲染器116对深度信息和在相机虚拟位置处虚拟图像的合成 以及由格式化器120进行的图像格式化可以响应于用户命令而选择性地被执行。换言之， 用户可以操纵远程控制器（未示出），从而使合成图像不被显示并且设置图像合成时间。
[0045] 如上所述，用于生成3D图像的深度信息被3D渲染器116所使用。然而，在其他实 施例中，深度信息可以被视频编译器110所使用。将对视频编译器110使用深度信息的各 种实施例给予描述。
[0046] 图2是根据本发明所应用的实施例的视频解码器的框图。
[0047] 参照图2,视频解码器110可以包括NAL解析单元200、熵解码单元210、逆量化单 元220、逆变换单元230、环内滤波器单元240、解码图片缓冲单元250、帧间预测单元260以 及帧内预测单元270。在此，比特流可以包括纹理数据和深度数据。虽然在图2中由一个比 特流代表纹理数据和深度数据，但是可以通过多个单独的比特流来传送纹理数据和深度数 据。换言之，能够通过一个比特流或多条单独的比特流来传送纹理数据和深度数据。在下 文中所述的图片可以是指纹理图片和深度图片。
[0048] NAL解析单元200在每个NAL的基础上执行解析，以便解码所接收的比特流。NAL 报头、NAL报头的扩展区域、序列报头（例如序列参数集）、序列报头的扩展区域、图片报头 (例如图片参数集）、图片报头的扩展区域、片报头、片头的扩展区域或者宏块部可以包括 各种类型的关于深度的属性信息。
[0049] 所接收的比特流可以包括相机参数。相机参数可以包括固有相机参数以及外部相 机参数。固有相机参数可以包括焦距、高宽比、主像点等，并且外部相机参数可以包括全局 坐标系中的相机位置信息等。
[0050] 熵解码单元210通过熵解码从所解析的比特流提取用于纹理图片和深度图片的 预测的量化变换系数以及编译信息。
[0051] 逆量化单元220将量化变换系数乘以预定的常数（量化参数）以至获取经变换的 系数并且逆变换单元230对系数进行逆变换以恢复纹理图片数据或者深度图片数据。
[0052] 帧内预测单元270使用所恢复的当前深度图片的深度信息或者深度图片数据来 执行帧内预测。在此，用于帧内预测的编译信息可以包括帧内预测模式以及帧内预测的分 区信息。
[0053] 环内滤波器单元240将环内滤波器应用于每个编译的宏块，以便减少块失真。环 内滤波单元240通过使块的边缘平滑而改善解码帧的纹理。基于边界强度以及边界周围的 图像样本梯度来选择滤波过程。将经滤波的纹理图片或深度图片输出或者存储在解码图片 缓冲单元250中以被用作参考图片。
[0054] 解码图片缓冲单元250存储或者打开先前编译的纹理图片或者深度图片用于帧 间预测。在此，为了将编译的纹理图片或深度图片存储于解码图片缓冲单元250中或者为 了打开所存储的编译纹理图片或深度图片，使用每个图片的frame_n Um(帧_编号）以及 P0C(Picture Order Count,图片顺序计数）。由于先前编译的图片可以包括对应于与当 前图片不同的视图的图片，因此能够使用用于识别图片视图的视图信息以及frame_n Um和 POC以便将先前编译的图片用作参考图片。
[0055] 此外，解码图片缓冲单元250可以使用有关视图的信息，以便生成用于图片的视 图间预测的参考图片列表。例如，解码图片缓冲单元250能够使用参考信息。参考信息是 指用于指示图片视图之间差异的信息。例如，参考信息可以包括视图的数目、视图识别号、 参考图片的数目、参考图片的深度视图识别号等。
[0056] 帧间预测单元260可以使用解码图片缓冲单元250中所存储的参考图片以及运动 向量来执行当前块的运动补偿。从视频信号提取当前块的相邻块的运动向量并且获取当前 块的运动向量预测值。使用运动向量预测值以及从视频信号所提取的差分向量来补偿当前 块的运动。可以使用一个参考图片或者多个图片来执行该运动补偿。
[0057] 在本说明书中，从广义上而言，能够将运动信息认为是包括运动向量以及参考索 引信息。此外，帧间预测单元260能够执行时间帧间预测以便执行运动补偿。时间帧间预 测可以是指使用对应于与当前纹理块相同的视图以及对应于与当前纹理块不同的时间的 参考图片以及当前纹理块的运动信息的帧间预测。能够将运动信息解释为包括运动向量以 及参考索引信息的信息。
[0058] 在由多台相机来获取多视图图像的情况下，除时间帧间预测之外，还可以执行视 图间帧间预测。视图间帧间预测可以是指使用对应于与当前纹理块不同的视图的参考图片 以及当前纹理块的运动信息的帧间预测。为与用于正常时间帧间预测的运动信息区分开， 将用于视图间帧间预测的运动信息称为视图间运动信息。因此，能够将视图间运动信息灵 活地解释为包括视差向量以及视图间参考索引信息的信息。在此，视差向量能够被使用用 于指定相邻视图的纹理块。
[0059] 将对在帧间预测单元260中执行当前纹理块的帧间预测的方法给予说明。
[0060] 图3是用于说明根据本发明的实施例的帧间预测单元的详细配置的框图。
[0061] 参照图3,帧间预测单元260可以包括候选列表生成器261以及帧间预测执行单元 262。根据本发明的帧间预测单元260可以参考并且重复使用当前纹理块的相邻块（对应 于当前纹理块的空间相邻块、时间相邻块或者参考视图的相邻块）的运动向量。换言之，帧 间预测单元260可以以预定顺序搜索相邻块并且重复使用相邻块的运动向量。具体地，帧 间预测单元260能够在相邻块中搜索可被用于帧间预测的运动向量以便生成运动向量的 候选列表并且通过选择在候选列表中所存储的运动向量之一而执行帧间预测。在此，候选 列表可以是指通过以预定顺序搜索当前纹理块以及当前纹理块的相邻块而生成的列表。
[0062] 候选列表生成器261能够生成能够被用于当前纹理块的帧间预测的运动向量候 选项的候选列表。具体地，候选列表生成器261能够以预定顺序在从熵解码单元接收的当 前纹理图片的当前纹理块以及当前纹理块的相邻块中搜索运动向量，并且以预定顺序将搜 索到的运动向量存储于候选列表中。
[0063] 根据本发明的候选列表生成器261能够仅将预定数目的运动向量存储于候选列 表中。换言之，能够被存储于候选列表中的运动向量的数目受到限制，并且当候选列表充满 以较高优先级搜索到的运动向量时，以较低优先级搜索到的运动向量不能被存储于候选列 表中。例如，如果能够被存储于候选列表中的运动向量的数目为7,则当第一至第七个运动 向量已经被存储于候选列表中时，第八个搜索到的运动向量就不能被存储于候选列表中。 替选地，当特指数目的运动向量已经被存储于候选列表中时，候选列表生成器261可以暂 停运动向量的搜索。
[0064] 根据前述过程，由于以较低优先级搜索到的运动向量未