基于非对称纹理及深度分辨率的视图合成的制作方法

基于非对称纹理及深度分辨率的视图合成的制作方法
【专利摘要】一种用于处理视频数据的设备包含处理器，所述处理器经配置以执行以下操作：在最小处理单元MPU中，使参考图片的深度图像的一个像素与所述参考图片的纹理图像的第一色度分量的一或多个像素相关联；在所述MPU中，使所述深度图像的所述一个像素与所述纹理图像的第二色度分量的一或多个像素相关联；及在所述MPU中，使所述深度图像的所述一个像素与所述纹理图像的明度分量的多个像素相关联。所述明度分量的所述像素的数目不同于所述第一色度分量的所述一或多个像素的数目及所述第二色度分量的所述一或多个像素的数目。
【专利说明】基于非对称纹理及深度分辨率的视图合成
[0001] 本申请案主张于2012年4月16号申请的第61/625,064号美国临时申请案的权 益，所述申请案的全部内容特此以引用的方式并入。

【技术领域】
[0002] 本发明涉及视频译码，且更确切地说，涉及用于对视频数据进行译码的技术。

【背景技术】
[0003] 可将数字视频能力并入到多种多样的装置中，所述装置包含数字电视、数字直播 系统、无线广播系统、个人数字助理（PDA)、膝上型计算机或桌上型计算机、数码相机、数字 记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、 视频电话会议装置及其类似者。数字视频装置实施视频压缩技术（例如，在由MPEG-2、 MPEG-4、ITU-T H. 263、ITU-T H. 264/MPEG-4 第 10 部分（高级视频译码（AVC))、当前在开发 过程中的高效率视频译码（HEVC)标准定义的标准及此些标准的扩展中所描述的视频压缩 技术）以更有效率地发射、接收及存储数字视频信息。
[0004] 视频压缩技术包含空间预测及/或时间预测以减少或移除视频序列中所固有的 冗余，且改进处理、存储及发射性能。另外，数字视频可以数种形式来译码，包含多视图视频 译码（MVC)数据。在一些应用中，MVC数据可在检视时形成三维视频。MVC视频可包含两个 视图且有时包含更多视图。发射、存储以及编码及解码与MVC视频相关联的所有信息可消 耗大量计算及其它资源，以及导致例如发射时延增加等问题。因而，替代单独地译码或以其 它方式处理所有视图，可通过译码一个视图及从经译码视图导出其它视图来增进效率。然 而，从现有视图导出额外视图可包含数个技术及资源相关挑战。


【发明内容】

[0005] -般来说，本发明描述与三维（3D)视频译码（3DVC)有关的技术，三维（3D)视频 译码（3DVC)将纹理及深度数据用于基于深度图像的渲染（depth image based rendering, DIBR)。举例来说，本发明中所描述的技术可与将深度数据用于纹理数据的扭曲及/或空洞 填补以形成目的地图片有关。纹理及深度数据可为用于3DVC的MVC加深度译码系统中的 第一视图的分量。目的地图片可形成第二视图，所述第二视图连同所述第一视图一起形成 一对视图以供3D显示。在一些实例中，所述技术可使参考图片的深度图像中的一个深度像 素与以下各者相关联以（例如）作为用于DIBR中的最小处理单元：参考图片的纹理图像的 明度分量中的多个像素、第一色度分量中的一或多个像素，及第二色度分量中的一或多个 像素。以此方式，处理循环可有效地用于视图合成，包含用于扭曲及/或空洞填补过程以形 成目的地图片。
[0006] 在一实例中，一种用于处理视频数据的方法包含在最小处理单元（MPU)中，使参 考图片的深度图像的一个像素与所述参考图片的纹理图像的第一色度分量的一或多个像 素相关联。所述MPU指示合成目的地图片中的像素所需的像素的关联。所述目的地图片及 所述参考图片的所述纹理分量在一起检视时形成三维图片。所述方法还包含：在所述MPU 中，使所述深度图像的所述一个像素与所述纹理图像的第二色度分量的一或多个像素相关 联；及在所述MPU中，使所述深度图像的所述一个像素与所述纹理图像的明度分量的多个 像素相关联。所述明度分量的所述像素的数目不同于所述第一色度分量的所述一或多个像 素的数目及所述第二色度分量的所述一或多个像素的数目。
[0007] 在另一实例中，一种用于处理视频数据的设备包含：至少一个处理器，其经配置以 在最小处理单元（MPU)中，使参考图片的深度图像的一个像素与所述参考图片的纹理图像 的第一色度分量的一或多个像素相关联。所述MPU指示合成目的地图片中的像素所需的像 素的关联。所述目的地图片及所述参考图片的所述纹理分量在一起检视时形成三维图片。 所述至少一个处理器还经配置以执行以下操作：在所述MPU中，使所述深度图像的所述一 个像素与所述纹理图像的第二色度分量的一或多个像素相关联；及在所述MPU中，使所述 深度图像的所述一个像素与所述纹理图像的明度分量的多个像素相关联。所述明度分量的 所述像素的数目不同于所述第一色度分量的所述一或多个像素的数目及所述第二色度分 量的所述一或多个像素的数目。
[0008] 在另一实例中，一种用于处理视频数据的设备包含用于在最小处理单元（MPU)中 使参考图片的深度图像的一个像素与所述参考图片的纹理图像的第一色度分量的一或多 个像素相关联的装置。所述MPU指示合成目的地图片中的像素所需的像素的关联。所述目 的地图片及所述参考图片的所述纹理分量在一起检视时形成三维图片。所述设备还包含用 于在所述MPU中使所述深度图像的所述一个像素与所述纹理图像的第二色度分量的一或 多个像素相关联的装置，及用于在所述MPU中使所述深度图像的所述一个像素与所述纹理 图像的明度分量的多个像素相关联的装置。所述明度分量的所述像素的数目不同于所述第 一色度分量的所述一或多个像素的数目及所述第二色度分量的所述一或多个像素的数目。
[0009] 在另一实例中，一种计算机可读存储媒体在其上存储有指令，所述指令在执行时 使一或多个处理器执行包含以下步骤的操作：在最小处理单元（MPU)中，使参考图片的深 度图像的一个像素与所述参考图片的纹理图像的第一色度分量的一或多个像素相关联。所 述MPU指示合成目的地图片中的像素所需的像素的关联。所述目的地图片及所述参考图片 的所述纹理分量在一起检视时形成三维图片。所述指令在执行时还使所述一或多个处理器 执行包含以下各者的操作：在所述MPU中，使所述深度图像的所述一个像素与所述纹理图 像的第二色度分量的一或多个像素相关联；及在所述MPU中，使所述深度图像的所述一个 像素与所述纹理图像的明度分量的多个像素相关联。所述明度分量的所述像素的数目不同 于所述第一色度分量的所述一或多个像素的数目及所述第二色度分量的所述一或多个像 素的数目。
[0010] 在另一实例中，一种视频编码器包含：至少一个处理器，其经配置以在最小处理单 元（MPU)中，使参考图片的深度图像的一个像素与所述参考图片的纹理图像的第一色度分 量的一或多个像素相关联。所述MPU指示合成目的地图片中的像素所需的像素的关联。所 述目的地图片及所述参考图片的纹理分量在一起检视时形成三维图片。所述至少一个处理 器还经配置以执行以下操作：在所述MPU中，使所述深度图像的所述一个像素与所述纹理 图像的第二色度分量的一或多个像素相关联；及在所述MPU中，使所述深度图像的所述一 个像素与所述纹理图像的明度分量的多个像素相关联。所述明度分量的所述像素的数目不 同于所述第一色度分量的所述一或多个像素的数目及所述第二色度分量的所述一或多个 像素的数目。所述至少一个处理器还经配置以执行以下操作：处理所述MPU以合成所述目 的地图片的至少一个MPU ;及对所述参考图片的所述MPU及所述目的地图片的所述至少一 个MPU进行编码。所述经编码MPU形成包括多个视图的经译码视频位流的部分。
[0011] 在另一实例中，一种视频解码器包含输入接口及至少一个处理器。所述输入接口 经配置以接收包括一或多个视图的经译码视频位流。所述至少一个处理器经配置以对所述 经译码视频位流进行解码。所述经解码视频位流包括多个图片，所述图片中的每一者包括 深度图像及纹理图像。所述至少一个处理器还经配置以执行以下操作：从所述经解码视频 位流的所述多个图片选择参考图片；及在最小处理单元（MPU)中，使参考图片的深度图像 的一个像素与所述参考图片的纹理图像的第一色度分量的一或多个像素相关联。所述MPU 指示合成目的地图片中的像素所需的像素的关联。所述目的地图片及所述参考图片的纹理 分量在一起检视时形成三维图片。所述至少一个处理器还经配置以执行以下操作：在所述 MPU中使所述深度图像的所述一个像素与所述纹理图像的第二色度分量的一或多个像素相 关联；及在所述MPU中，使所述深度图像的所述一个像素与所述纹理图像的明度分量的多 个像素相关联。所述明度分量的所述像素的数目不同于所述第一色度分量的所述一或多个 像素的数目及所述第二色度分量的所述一或多个像素的数目。所述至少一个处理器还经配 置以处理所述MPU，以合成所述目的地图片的至少一个MPU。
[0012] 一或多个实例的细节陈述于随附图式及以下描述中。其它特征、目标及优势将从 所述描述及所述图式以及从权利要求书而显而易见。

【专利附图】

【附图说明】
[0013] 图1为说明可利用本发明中所描述的技术的实例视频编码及解码系统的框图。
[0014] 图2为说明基于参考图片的纹理及深度分量信息从参考图片合成目的地图片的 方法的流程图。
[0015] 图3为说明视图合成的实例的概念图。
[0016] 图4为说明用于多视图译码的MVC预测结构的实例的概念图。
[0017] 图5为说明可实施本发明中所描述的技术的实例视频编码器的框图。
[0018] 图6为说明可实施本发明中所描述的技术的实例视频解码器的框图。
[0019] 图7为说明可在基于深度图像的渲染（DIBR)的一些实例中执行的升取样的概念 流程图。
[0020] 图8为说明在四分之一分辨率状况下根据本发明的扭曲的实例的概念流程图。

【具体实施方式】
[0021] 本发明涉及用于在发射及/或存储MVC加深度视频数据的过程中处理图片信息的 3DVC技术，MVC加深度视频数据可用以形成三维视频。在一些状况下，视频可包含在一起 检视时显现为具有二维效应的多个视图。此多视图视频的每一视图包含在时间上相关的- 维图片的序列。另外，组成不同视图的图片在时间上对准，使得在多视图视频的每一时间瞬 时，每一视图包含与所述时间瞬时相关联的二维图片。替代发送3D视频的第一视图及第二 视图，3DVC处理器可产生包含纹理分量及深度分量的视图。在一些状况下，3DVC处理器可 经配置以发送多个视图，其中（例如）根据MVC加深度过程，所述视图中的一或多者各自包 含纹理分量及深度分量。
[0022] 使用第一视图的纹理分量及深度分量，3DVC解码器可经配置以产生第二视图。此 过程可被称作基于深度图像的渲染（DIBR)。本发明的实例大体上涉及DIBR。在一些实例 中，本发明中所描述的技术可与根据对H. 264/AVC的3DVC扩展的3D视频译码有关，所述 3DVC扩展当前在开发中且有时被称作包含深度的MVC兼容性扩展（MVC+D)。在其它实例中， 本发明中所描述的技术可与根据对H. 264/AVC的另一 3DVC扩展的3D视频译码有关，所述 另一 3DVC扩展有时被称作对H. 264/AVC的AVC兼容性视频加深度扩展（3D-AVC)。以下实 例有时在基于对H. 264/AVC的扩展的视频译码的情境下描述。然而，本文中所描述的技术 还可在其它情境下应用，特别是在DIBR在3DVC应用中有用的情境下。举例来说，本发明的 技术可结合以下各者使用：高效率视频译码（HEVC)的多视图视频译码扩展（MV-HEVC)，或 根据高效率视频译码（HEVC)视频译码标准的基于HEVC的技术扩展（3D-HEVC)的多视图加 深度译码。
[0023] 在发射、存储或以其它方式处理可用以产生3D视频的数字数据的过程中，通常编 码及解码组成视频的部分或全部的数据。举例来说，编码及解码多视图视频数据通常被称 作多视图译码（MVC)。例如上文所描述的那些过程的一些3DVC过程可利用MVC加深度信 息。因此，在本发明中出于说明的目的而描述MVC的一些方面。MVC视频可包含两个视图且 有时包含更多视图，所述视图中的每一者包含数个二维图片。发射、存储以及编码及解码所 有此信息可消耗大量计算及其它资源，以及导致例如发射时延增加的问题。
[0024] 替代单独地译码或以其它方式处理所有视图，可通过对一个视图进行译码及使用 (例如）视图间译码从经译码视图导出其它视图来增进效率。举例来说，视频编码器可对 MVC视频的一个视图的信息进行编码，且视频解码器可经配置以解码经编码视图，且利用包 含于经编码视图中的信息来导出新视图，所述新视图在与经编码视图一起检视时形成三维 视频。
[0025] 从现有视频数据导出新视频数据的过程在以下实例中描述为合成新视频数据。然 而，此过程可用其它术语来提及，包含（例如）从现有视频数据产生新视频数据、从现有视 频数据建立新视频数据，等等。另外，从现有数据合成新数据的过程可以数个不同粒度等级 来提及，包含整个视图、包含个别图片的视图的部分及包含个别像素的个别图片的部分的 合成。在以下实例中，新视频数据有时被称作目的地视频数据或目的地图像、视图或图片， 且合成新视频数据的现有视频数据有时被称作参考视频数据或参考图像、视图或图片。因 此，目的地图片可被称作从参考图片合成。在本发明的实例中，参考图片可提供纹理分量及 深度分量，以用于合成目的地图片。参考图片的纹理分量可被视为第一图片。经合成目的 地图片可形成第二图片，第二图片包含可通过第一图片产生的纹理分量以支持3D视频。第 一图片及第二图片可在同一时间瞬时呈现不同视图。
[0026] MVC加深度或其它过程中的视图合成可以数种方式执行。在一些状况下，基于包含 于参考视图中的有时称作一深度图或多个深度图的内容而从参考视图或其部分来合成目 的地视图或其部分。举例来说，可形成多视图视频的部分的参考视图可包含纹理视图分量 及深度视图分量。在个别图片层级处，形成参考视图的部分的参考图片可包含纹理图像及 深度图像。参考图片（或目的地图片）的纹理图像包含图像数据，例如，形成图片的可检视 内容的像素。因此，从检视者的视角，纹理图像形成所述视图在给定时间瞬时的图片。
[0027] 深度图像包含可通过解码器使用以从包含纹理图像及深度图像的参考图片合成 目的地图片的信息。在一些状况下，从参考图片合成目的地图片包含使用来自深度图像的 深度信息使纹理图像的像素"扭曲"，以确定目的地图片的像素。另外，扭曲可导致目的地图 片中的空像素或"空洞"。在此些状况下，从参考图片合成目的地图片包含空洞填补过程，空 洞填补过程可包含从目的地图片的先前经合成的相邻像素预测目的地图片的像素（或其 它块）。
[0028] 为了在包含于MVC加深度视频中的多个数据层级之间进行区分，按粒度的递增次 序将术语视图、图片、图像及像素用于以下实例中。术语分量在不同粒度等级用以指代视频 数据的最终形成视图、图片、图像及/或像素的不同部分。如上文所提到，MVC视频包含多 个视图。每一视图包含在时间上相关的二维图片的序列。图片可包含多个图像，所述图像 包含（例如）纹理图像及深度图像。
[0029] 视图、图片、图像及/或像素可包含多个分量。举例来说，图片的纹理图像的像素 可包含明度值及色度值（例如，YCbCr或YUV)。因此，在一实例中，包含数个图片的数个纹 理图像的纹理视图分量可包含一个明度（下文中为"明度（luma)"）分量及两个色度（下 文中为"色度（chroma)"）分量，所述分量在像素层级包含一个明度值（例如，Y)及两个色 度值（例如，Cb及Cr)。
[0030] 从参考图片合成目的地图片的过程可在逐像素基础上执行。目的地图片的合成可 包含处理来自参考图片的多个像素值，包含（例如）明度、色度及深度像素值。在合成目的 地图片的部分的像素值的此集合为合成所需的最小信息集合的意义上，值的此集合有时被 称作最小处理单元（下文中为"MPU"）。在一些状况下，参考视图的明度及色度以及深度视 图分量的分辨率可不相同。在此些非对称分辨率纹理及深度情形下，从参考图片合成目的 地图片可包含额外处理以合成目的地图片的每一像素或其它块。
[0031] 作为一实例，Cb及Cr色度分量及深度视图分量的分辨率低于Y明度分量的分辨 率。举例来说，取决于取样格式，Cb、Cr及深度视图分量各自的分辨率可为相对于Y分量的 分辨率的四分之一。当此些分量的分辨率不同时，一些图像处理技术可包含升取样以产生 与参考图片相关联的像素值的集合，例如，产生可合成目的地图片的像素的MPU。举例来说， 可对Cb、Cr及深度分量进行升取样以使其分辨率与Y分量相同，且可使用此些经升取样的 分量（即，Y、经升取样的Cb、经升取样的Cr及经升取样的深度）产生MPU。在此状况下，对 执行视图合成，且接着对Cb、Cr及深度分量进行降取样。此升取样及降取样可增加时 延，且在视图合成过程中消耗额外电力。
[0032] 根据本发明的实例对MPU执行视图合成。然而，为了支持深度及纹理视图分量的 非对称分辨率，MPU可能未必需要来自明度、色度及深度视图分量中的每一者的仅一个像素 的关联。更确切地说，视频解码器或其它装置可使一个深度值与多个明度值及多个色度值 相关联，且更特定来说，视频解码器可使不同数目个明度值及色度值与所述深度值相关联。 换句话说，明度分量中的与深度视图分量的一个像素相关联的像素的数目及色度分量中的 与深度视图分量的一个像素相关联的像素的数目可不同。
[0033] 在一实例中，来自参考图片的深度图像的一个深度像素对应于色度分量的一或多 个像素（N)及明度分量的多个像素（M)。当遍历深度图且对像素进行映射时（例如，当基于 深度图像像素使纹理图像像素扭曲到目的地图片的像素，而非作为同一像素位置的一个明 度值、一个Cb值及一个Cr值的组合而产生每一 MPU时），视频解码器或其它装置可在MPU 中，使对应于Cb或Cr色度分量的Μ个明度值及N个色度值与一个深度值相关联，其中Μ及 Ν为不同数字。因此，在根据本发明中所描述的技术的视图合成中，每一扭曲可将参考图片 的一个MPU投影到目的地图片，而不需要进行升取样及/或降取样，从而以人工方式建立深 度视图分量与纹理视图分量之间的分辨率对称性。因此，可使用相对于使用需要升取样及 降取样的MPU而可减小时延及电力消耗的MPU来处理非对称深度及纹理分量分辨率。
[0034] 图1为说明根据本发明的技术的视频编码及解码系统10的一实例的框图。如图 1的实例中所展示，系统10包含经由链路15将经编码视频发射到目的地装置14的源装置 12。链路15可包含能够将经编码视频数据从源装置12移动到目的地装置14的各种类型 的媒体及/或装置。在一实例中，链路15包含使源装置12能够实时将经编码视频数据直 接发射到目的地装置14的通信媒体。可根据通信标准（例如，无线通信协议）来调制经编 码视频数据且将其发射到目的地装置14。通信媒体可包含任何无线或有线媒体，例如射频 (RF)频谱或物理传输线。另外，通信媒体可形成基于包的网络（例如，局域网、广域网或例 如因特网等全球网络）的部分。链路15可包含路由器、交换器、基站或可用于促进从源装 置12到目的地装置14的通信的任何其它设备。
[0035] 源装置12及目的地装置14可为广泛范围类型的装置，包含（例如）无线通信装 置，例如无线手持机、所谓的蜂窝式或卫星无线电电话，或可经由链路15传达视频信息的 任何无线装置，在所述状况下链路15为无线的。根据本发明的实例（其与译码或以其它方 式处理用于多视图视频中的视频数据的块有关）还可用于广泛范围的其它设定及装置中， 包含经由物理导线、光纤或其它物理或无线媒体进行通信的装置。
[0036] 所揭示的实例还可应用于独立装置中，所述独立装置未必与任何其它装置通信。 举例来说，视频解码器28可驻存于数字媒体播放器或其它装置中，且经由流式传输、下载 或存储媒体来接收经编码视频数据。因此，出于说明实例实施的目的而提供对彼此通信的 源装置12及目的地装置14的描绘。
[0037] 在一些状况下，装置12及16可以实质上对称方式操作，使得装置12及16中的每 一者包含视频编码及解码组件。因此，系统10可支持视频装置12与16之间的单向或双向 视频发射，例如，用于视频流式传输、视频播放、视频广播或视频电话。
[0038] 在图1的实例中，源装置12包含视频源20、深度处理单元21、视频编码器22及输 出接口 24。目的地装置14包含输入接口 26、视频解码器28及显示装置30。视频编码器 22或源装置12的另一组件可经配置以作为视频编码或其它过程的部分而应用本发明的技 术中的一或多者。类似地，视频解码器28或目的地装置14的另一组件可经配置以作为视 频解码或其它过程的部分而应用本发明的技术中的一或多者。如参看图2及图3将更详细 地描述，例如，视频编码器22或源装置12的另一组件或者视频解码器28或目的地装置14 的另一组件可包含基于深度图像的渲染（DIBR)模块，所述模块经配置以通过以下操作而 基于具有纹理及深度信息的非对称分辨率的参考视图（或其部分）来合成目的地视图（或 其部分）：处理包含不同数目个明度、色度及深度像素值的参考视图的最小处理单元。
[0039] 根据本发明的实例的一优势在于一个深度像素可对应于一个且仅一个MPU，而非 逐像素地进行处理，其中同一深度像素可对应于多个MPU中的明度及色度像素的多个经升 取样或经降取样的近似值且通过所述近似值进行处理。在根据本发明的一些实例中，多个 明度像素及一或多个色度像素在一个MPU中与一个且仅一个深度值相关联，且因此明度及 色度像素取决于相同逻辑而联合地处理。因此，如果（例如）基于深度值（例如，一个深度 像素），MPU扭曲到不同视图中的目的地图片，那么MPU的多个明度样本及每一色度分量的 一或多个色度样本可通过对应色彩分量的相对固定协调而同时扭曲到目的地图片中。另 夕卜，在空洞填补的情境下，如果检测到目的地图片的像素列中的数个连续空洞，那么可针对 明度样本的多个行及色度样本的多个行同时进行根据本发明的空洞填补。以此方式，可极 大地减少在作为根据本发明的视图合成的部分而使用的扭曲及空洞填补过程两者期间的 条件检查。
[0040] 参考多视图视频呈现来描述所揭示实例中的一些，其中可使用来自包含纹理及深 度视图数据的现有视图的经解码视频数据从现有视图合成多视图视频的新视图。然而，根 据本发明的实例可用于可需要DIBR的任何应用，包含2D到3D视频转换、3D视频呈现及3D 视频译码。
[0041] 再次参看图1，为了对视频块进行编码，视频编码器22执行帧内及/或帧间预测， 以产生一或多个预测块。视频编码器22从待编码的原始视频块减去预测块以产生残余块。 因此，残余块可表示正经译码的块与预测块之间的逐像素差。视频编码器22可对残余块执 行变换以产生变换系数的块。在基于帧内及/或帧间的预测性译码及变换技术之后，视频 编码器22可对变换系数进行量化。在量化之后，可通过编码器22根据熵译码方法执行熵 译码。
[0042] 由视频编码器22产生的经译码视频块可通过预测信息及数据的残余块表示，预 测信息可用以建立或识别预测性块，残余块可应用于预测性块以重新建立原始块。预测信 息可包含用以识别数据的预测性块的运动向量。使用运动向量，视频解码器28可能够重建 构可由视频编码器22使用以对残余块的预测性块进行译码。因此，给定残余块的集合及运 动向量的集合（及可能某一额外语法），视频解码器28可重建构视频帧或最初经编码的其 它数据块。基于运动估计及运动补偿的帧间译码可达成相对高的压缩量而无过量数据损 失，这是因为连续视频帧或其它类型的经译码单元常常为类似的。经编码视频序列可包含 残余数据块、运动向量（当帧间预测编码时）、用于帧内预测的帧内预测模式的指示，及语 法元素。
[0043] 视频编码器22还可利用帧内预测技术以相对于共同帧或切片或帧的其它子部分 的相邻视频块对视频块进行编码。以此方式，视频编码器22在空间上预测块。视频编码器 22可经配置以具有多种帧内预测模式，帧内预测模式一般对应于各种空间预测方向。
[0044] 先前帧间及帧内预测技术可应用于视频数据的序列的各种部分，包含表示视频的 帧（例如，序列中在特定时间瞬时的图片及其它数据）及每一帧的部分（例如，图片的切 片）。在MVC加深度或使用深度信息的其它3DVC过程的情境下，视频数据的此序列可表示 包含于多视图经译码视频中的多个视图中的一者。各种视图间及视图内预测技术还可应用 于MVC或MVC加深度中，以预测图片或视图的其它部分。视图间及视图内预测可包含时间 (具有或不具有运动补偿）及空间预测两者。
[0045] 如所提到，视频编码器22可应用变换、量化及熵译码过程，以进一步减小与残余 块的传达相关联的位速率，残余块由编码由视频源20提供的源视频数据而得到。变换技术 可包含（例如）离散余弦变换（DCT)或概念上类似的过程。或者，可使用小波变换、整数变 换或其它类型的变换。视频编码器22还可对变换系数进行量化，此一般涉及可能减少数据 量（例如，用以表示系数的位）的过程。熵译码可包含共同地压缩数据以用于输出到位流 的过程。经压缩数据可包含（例如）译码模式、运动信息、经译码块模式及经量化变换系数 的序列。熵译码的实例包含上下文自适应可变长度译码（CAVLC)及上下文自适应二进制算 术译码（CABAC)。
[0046] 源装置12的视频源20包含视频俘获装置（例如，视频相机）、含有先前俘获的视 频的视频存档或来自视频内容提供者的视频馈入。或者，视频源20可产生基于计算机图形 的数据以作为源视频，或实况视频、经存档视频及/或计算机产生的视频的组合。在一些状 况下，如果视频源20为视频相机，那么源装置12及目的地装置14可形成所谓的相机电话 或视频电话，或经配置以操纵视频数据的其它装置，例如平板计算装置。在每一状况下，可 由视频编码器22来对所俘获、预俘获或计算机产生的视频进行编码。视频源20俘获视图， 且将其提供到深度处理单元21。
[0047] MVC视频可通过两个或两个以上视图表示，所述视图一般表示来自不同视图视角 的类似视频内容。此多视图视频的每一视图包含在时间上相关的二维图片连同其它元素 (例如，音频及语法数据）的序列。对于MVC加深度译码来说，视图可包含多个分量，所述分 量包含纹理视图分量及深度视图分量。纹理视图分量可包含视频信息的明度及色度分量。 明度分量一般描述亮度，而色度分量一般描述色调。在一些状况下，多视图视频的额外视图 可基于参考视图的深度视图分量从参考视图导出。另外，视频源数据（无论如何获取）可 用以导出可建立深度视图分量的深度信息。
[0048] 在图1的实例中，视频源20将一或多个视图2提供到深度处理单元21，以用于计 算可包含于视图2中的深度图像。可针对由视频源20俘获的视图2中的对象确定深度图 像。深度处理单元21经配置以自动计算包含于视图2中的图片中的对象的深度值。举例来 说，深度处理单元21基于包含于视图2中的明度信息计算对象的深度值。在一些实例中， 深度处理单元21经配置以从用户接收深度信息。在一些实例中，视频源20俘获场景在不 同视角下的两个视图，且接着基于两个视图中的对象之间的像差计算场景中的对象的深度 信息。在各种实例中，视频源20包含标准二维相机、提供场景的立体视图的双相机系统、俘 获场景的多个视图的相机阵列，或俘获一视图加深度信息的相机。
[0049] 深度处理单元21将纹理视图分量4及深度视图分量6提供到视频编码器22。深 度处理单元21还可将视图2直接提供到视频编码器22。包含于深度视图分量6中的深度 信息可包含视图2的深度图图像。深度图图像可包含与待显示的区域（例如，块、切片或图 片）相关联的像素的每一区的深度值的图。像素的区包含单一像素或一或多个像素的群 组。深度图的一些实例为每一像素具有一个深度分量。在其它实例中，每一像素存在多个 深度分量。在其它实例中，每一深度视图分量存在多个像素。可以实质上类似于纹理数据 的方式（例如，相对于其它先前经译码深度数据使用帧内预测或帧间预测）对深度图进行 译码。在其它实例中，以不同于对纹理数据进行译码的方式对深度图进行译码。
[0050] 可在一些实例中估计深度图。当存在一个以上视图时，立体匹配可用以估计深度 图。然而，在2D到3D转换中，估计深度可更加困难。然而，通过各种方法估计的深度图可 用于基于DIBR的3D呈现。尽管视频源20可提供场景的多个视图，且深度处理单元21可 基于多个视图计算深度信息，但源装置12 -般可针对场景的每一视图发射一纹理分量加 深度信息。
[0051] 当视图2为静态图像数据时，视频编码器22可经配置以编码视图2作为（例如） 联合照相专家组（JPEG)图像。当视图2为视频数据的帧时，视频编码器22经配置以根据 例如以下各者的视频译码标准来对第一视图50进行编码：运动图片专家组（MPEG)、国际 标准组织（ISO) / 国际电工委员会（IEC)MPEG-l Visual、IS0/IEC MPEG-2 Visual、ISO/ IEC MPEG-4 Visual、国际电信联盟（ITU)H.261、ITU-T H.262、ITU-T H.263、ITU-T Η· 264/ MPEG-4、Η. 264高级视频译码（AVC)、即将到来的高效率视频译码（HEVC)标准（也称作 H. 265)，或其它视频编码标准。视频编码器22可包含深度视图分量6的深度信息连同纹理 视图分量4的纹理信息，以形成经译码块8。
[0052] 视频编码器22可包含DIBR模块或功能等效物，其经配置以通过以下操作而基于 具有纹理及深度信息的非对称分辨率的参考视图来合成目的地视图：处理包含不同数目个 明度、色度及深度像素值的参考视图的最小处理单元。举例来说，源装置12的视频源20可 仅将一个视图2提供到深度处理单元21，深度处理单元21又可仅将纹理视图分量4及深度 视图分量6的一个集合提供到编码器22。然而，可能需要或有必要合成额外视图，且对所述 视图进行编码以用于发射。因而，视频编码器22可经配置以基于参考视图2的纹理视图分 量4及深度视图分量6来合成目的地视图。视频编码器22可经配置以通过处理包含不同 数目个明度、色度及深度像素值的参考视图2的最小处理单元来合成新视图，即使视图2包 含纹理及深度信息的非对称分辨率仍是如此。
[0053] 视频编码器22经由链路15将经译码块8传递到输出接口 24,或将块8存储在存 储装置31处。举例来说，可经由链路15在位流中将经译码块8传送到目的地装置14的输 入接口 26,所述位流包含发信号信息连同经译码块8。在一些实例中，源装置12可包含根 据通信标准来调制经译码块8的调制解调器。调制解调器可包含各种混频器、滤波器、放大 器或经设计以用于信号调制的其它组件。输出接口 24可包含经设计以用于发射数据的电 路，包含放大器、滤波器及一或多个天线。在一些实例中，源装置12将包含具有纹理及深度 分量的块的经编码视频数据存储到存储装置31 (例如，数字视频光盘（DVD)、蓝光光盘、闪 存驱动器或其类似者）上，而非经由通信信道（例如，经由链路15)进行发射。
[0054] 在目的地装置14中，视频解码器28接收经编码视频数据8。举例来说，目的地装 置14的输入接口 26经由链路15或从存储装置31接收信息，且视频解码器28接收在输入 接口 26处接收的视频数据8。在一些实例中，目的地装置14包含解调制信息的调制解调 器。如同输出接口 24,输入接口 26可包含经设计以用于接收数据的电路，包含放大器、滤波 器及一或多个天线。在一些例子中，输出接口 24及/或输入接口 26可并入于包含接收电 路及发射电路两者的单一收发器组件内。调制解调器可包含各种混频器、滤波器、放大器或 经设计以用于信号解调制的其它组件。在一些例子中，调制解调器可包含用于执行调制及 解调制两者的组件。
[0055] 在一实例中，视频解码器28根据例如CAVLC或CABAC等熵译码方法来对所接收的 经编码视频数据8 (例如，经译码块）进行熵解码，以获得经量化系数。视频解码器28应用 反量化（解量化）及反变换功能以在像素域中重建构残余块。视频解码器28还基于经编 码视频数据中所包含的控制信息或语法信息（例如，译码模式、运动向量、定义滤波系数的 语法及其类似者）来产生预测块。视频解码器28计算预测块与经重建构残余块的总和，以 产生经重建构视频块以供显示。
[0056] 显示装置30向用户显示包含（例如）多视图视频的经解码视频数据，所述多视图 视频包含基于一或多个参考视图中所包含的深度信息合成的目的地视图。显示装置30可 包含多种一或多个显示装置中的任一者，例如阴极射线管（CRT)、液晶显示器（LCD)、等离 子体显示器、有机发光二极管（0LED)显示器或另一类型的显示装置。在一些实例中，显示 装置30对应于能够进行三维播放的装置。举例来说，显示装置30可包含结合由检视者佩 戴的眼镜来使用的立体显示器。眼镜可包含主动式框架眼镜，在所述状况下显示装置30与 主动式框架眼镜的透镜的交替开闭（shutter)同时地在不同视图的图像之间快速地交替。 或者，眼镜可包含被动式框架眼镜，在所述状况下显示装置30同时显示来自不同视图的图 像，且被动式框架眼镜可包含偏光透镜，偏光透镜一般在正交方向上偏光以在不同视图之 间进行滤波。
[0057] 视频编码器22及视频解码器28可根据视频压缩标准操作，视频压缩标准例如 ITU-T H. 264标准，或者描述为MPEG 4第10部分（高级视频译码（AVC))或HEVC标准。更特 定来说，作为实例，所述技术可应用于根据以下各者制订（formulate)的过程中：对H. 264/ AVC 的 MVC+D 3DVC 扩展、对 H. 264/AVC 的 3D-AVC 扩展、MVC-HEVC 扩展、3D-HEVC 扩展或其 类似者，或DIBR可能有用的其它标准。然而，本发明的技术不限于任何特定视频译码标准。
[0058] 在一些状况下，视频编码器22及视频解码器28可各自与音频编码器及解码器集 成，且可包含适当MUX-DEMUX单元或其它硬件及软件以处置共同数据流或单独数据流中的 音频及视频两者的编码。如果适用，那么MUX-DEMUX单元可遵照ITU H. 223多路复用器协 议或例如用户数据报协议（UDP)等其它协议。
[0059] 视频编码器22及视频解码器28各自可实施为一或多个微处理器、数字信号处理 器（DSP)、专用集成电路（ASIC)、现场可编程门阵列（FPGA)、离散逻辑、软件、硬件、固件，或 其任何组合。当本发明的技术中的任一者或全部以软件实施时，实施装置可进一步包含用 于存储及/或执行软件的指令的硬件，例如，用于存储指令的存储器及用于执行指令的一 或多个处理单元。视频编码器22及视频解码器28中的每一者可包含于一或多个编码器或 解码器中，其中的任一者可集成为在相应移动装置、订户装置、广播装置、服务器或其它类 型的装置中提供编码及解码能力的组合式编解码器的部分。
[0060] 视频序列通常包含一系列视频帧，其也被称作视频图片。视频编码器22对个别 视频帧内的视频块进行操作以便对视频数据进行编码，例如，经译码块8。视频块可具有固 定或变化的大小，且可根据指定译码标准而在大小上不同。每一视频帧可再划分成数个切 片。在ITU-T H. 264标准中，例如，每一切片包含一系列宏块，所述宏块各自还可划分成子 块。H. 264标准支持用于二维（2D)视频编码的各种块大小的帧内预测（例如，对于明度分 量的16xl6、8x8或4x4以及对于色度分量的8x8)以及各种块大小的帧间预测（例如，对于 明度分量的16x16、16x8、8xl6、8x8、8x4、4x8及4x4以及对于色度分量的对应按比例调整的 大小）。举例来说，在例如离散余弦变换（DCT)或概念上类似的变换过程等变换过程之后， 视频块可包含像素数据的块或变换系数的块。使用此些块大小配置的基于块的处理可扩展 到3D视频。
[0061] 较小视频块可提供较佳分辨率，且可用于包含高精细等级的视频帧的位置。一般 来说，可将宏块及各种子块视为视频块。另外，可将切片视为一系列视频块，例如宏块及/ 或子块。每一切片可为视频帧的可独立解码单元。或者，帧自身可为可解码单元，或帧的其 它部分可定义为可解码单元。ITU-T H. 264标准的2D宏块可通过（例如）以下操作扩展到 3D :与所述视频帧或切片的相关联明度及色度分量（S卩，纹理分量）一起对来自深度图的深 度信息进行编码。在一些实例中，深度信息经译码为单色视频。
[0062] 原则上，视频数据可再划分成任何大小的块。因此，尽管上文描述根据ITU-TH. 264 标准的特定宏块及子块大小，但其它大小可用以译码或以其它方式处理视频数据。举例来 说，根据即将到来的高效率视频译码（HEVC)标准的视频块大小可用以对视频数据进行译 码。HEVC的标准化努力部分基于称作HEVC测试模型（HM)的视频译码装置的模型。HM假 设视频译码装置优于根据（例如）ITU-T H. 264/AVC的装置的若干能力。举例来说，H. 264 提供九个帧内预测编码模式，而HM提供多达三十三个帧内预测编码模式。可扩展HEVC以 支持如本文中所描述的技术。
[0063] 除了用作2D视频译码或MVC过程的部分的帧间或帧内预测技术之外，还可使用来 自包含纹理及深度视图数据的现有视图的经解码视频数据从现有视图合成多视图视频的 新视图。视图合成可包含数个不同过程，包含（例如）扭曲及空洞填补。如上文所提到， 视图合成可作为DIBR过程的部分执行，以基于参考视图的深度视图分量从参考视图合成 一或多个目的地视图。根据本发明，多视图视频数据的视图合成或其它处理通过以下操作 而基于具有纹理及深度信息的非对称分辨率的参考视图数据执行：处理包含不同数目个明 度、色度及深度像素值的参考视图的MPU。包含不同数目个明度、色度及深度像素值的参考 视图的MPU的此视图合成或其它处理可在未对不同分辨率的纹理及深度分量进行升取样 及降取样的情况下执行。
[0064] 可形成多视图视频的部分的参考视图（例如，视图2中的一者）可包含纹理视图 分量及深度视图分量。在个别图片层级处，形成参考视图的部分的参考图片可包含纹理图 像及深度图像。深度图像包含可通过解码器或其它装置使用以从包含纹理图像及深度图像 的参考图片合成目的地图片的信息。如下文更详细描述，在一些状况下，从参考图片合成目 的地图片包含使用来自深度图像的深度信息使纹理图像的像素"扭曲"，以确定目的地图片 的像素。
[0065] 在一些状况下，目的地视图的目的地图片从参考视图的参考图片的合成可包含处 理来自参考图片的多个像素值，包含（例如）明度、色度及深度像素值。合成目的地图片的 部分的像素值的此集合有时被称作最小处理单元或"MPU"。在一些状况下，参考视图的明度 及色度以及深度视图分量的分辨率可不相同。
[0066] 根据本发明的实例对MPU执行视图合成。然而，为了支持深度及纹理视图分量的 非对称分辨率，MPU可未必需要使来自明度、色度及深度视图分量中的每一者的仅一个像素 相关联。更确切地说，装置（例如，源装置12、目的地装置14或另一装置）可使一个深度值 与多个明度值及一或多个色度值相关联，且更特定来说，所述装置可使不同数目个明度值 及色度值与所述深度值相关联。换句话说，明度分量中的与深度视图分量的一个像素相关 联的像素的数目及色度分量中的与深度视图分量中的一个像素相关联的像素的数目可不 同。以此方式，根据本发明的实例可在未对纹理及深度分量进行升取样及降取样的情况下， 执行包含不同数目个明度、色度及深度像素值的参考视图的MPU的视图合成或其它处理。
[0067] 在下文中参看图2及图3描述关于在MPU中不同数目个明度、色度及深度像素值 的关联及基于此MPU的视图合成的额外细节。还参看图2及图3描述包含（例如）扭曲及 空洞填补的可用于视图合成的特定技术。参看图4及图6描述实例编码器及解码器装置的 组件，且在图5中说明且参看图5描述实例多视图译码过程。以下实例中的一些描述在呈 现多视图视频以供检视的情境下MPU中的像素值的关联，及如通过包含DIBR模块的解码器 装置执行的视图合成。然而，在其它实例中，可使用其它装置及/或模块/功能配置，包含 在MPU中使像素值相关联及在编码器处作为MVC加深度过程的部分或在与编码器及解码器 分离的装置/组件处执行视图合成。
[0068] 图2为说明实例方法的流程图，所述方法包含在MPU中使参考图片的深度图像的 一个（例如，单一）像素与参考图片的纹理图像的第一色度分量的一或（在一些状况下） 一个以上像素相关联（100)。所述MPU指示合成目的地图片中的像素所需的像素的关联。 所述目的地图片及所述参考图片的纹理分量在一起检视时形成三维图片。图2的方法还包 含：在所述MPU中使所述深度图像的所述一个像素与所述纹理图像的第二色度分量的一或 (在一些状况下）一个以上像素相关联（102)，在所述MPU中使所述深度图像的所述一个像 素与所述纹理图像的明度分量的多个像素相关联（104)。所述明度分量的所述像素的数目 不同于所述第一色度分量的像素的数目及所述第二色度分量的像素的数目。举例来说，所 述明度分量的像素的所述数目可大于所述第一色度分量的像素的所述数目，且大于所述第 二色度分量的像素的所述数目。图2的方法还包含处理所述MPU以合成所述目的地图片的 像素（106)。
[0069] 此方法的功能可通过包含不同物理及逻辑结构的装置以数种不同方式执行。在一 实例中，图2的实例方法通过图3的框图中所说明的DIBR模块110进行。DIBR模块110或 另一功能等效物可包含于不同类型的装置中。在以下实例中，出于说明的目的，DIBR模块 110描述为实施于视频解码器装置上。
[0070] DIBR模块110可实施为一或多个微处理器、数字信号处理器（DSP)、专用集成电路 (ASIC)、现场可编程门阵列（FPGA)、离散逻辑、软件、硬件、固件，或其任何组合。当本发明的 技术中的任一者或全部以软件实施时，实施装置可进一步包含用于存储及/或执行软件的 指令的硬件，例如，用于存储指令的存储器及用于执行指令的一或多个处理单元。
[0071] 在一实例中，根据图2的实例方法，DIBR模块110在MPU中使不同数目个明度、色 度及深度像素相关联。如上文所描述，目的地图片的合成可包含处理来自参考图片的多个 像素值，包含（例如）明度、色度及深度像素值。合成目的地图片的部分的像素值的此集合 有时被称作MPU。
[0072] 在图3的实例中，DIBR模块110在MPU 112中使明度、色度及深度像素值相关联。 在MPU 112中相关联的像素值形成参考图片114的视频数据的部分，DIBR模块110经配置 以从所述参考图片114合成目的地图片116。参考图片114可为与多视图视频的视图的一 时间瞬时相关联的视频数据。目的地图片116可为与多视图视频的目的地视图的同一时间 瞬时相关联的对应视频数据。参考图片114及目的地图片116各自可为2D图像，所述2D 图像在一起检视时产生3D视频中的图像的此些集合的序列中的一个3D图像。
[0073] 参考图片114包含纹理图像118及深度图像120。纹理图像118包含一个明度分 量Y及两个色度分量Cb及Cr。参考图片114的纹理图像118可通过定义图像的像素位置 的色彩的数个像素值表示。详细来说，纹理图像118的每一像素位置可通过一个明度像素 值y及两个色度像素值cb及q定义，如图2中所说明。深度图像120包含与图像的不同像 素位置相关联的数个像素值d，所述像素值d定义参考图片114的对应像素的深度信息。深 度图像120的像素值可由DIBR模块110使用来（例如）通过下文中更详细描述的扭曲及 /或空洞填补过程合成目的地图像116的像素值。
[0074] 在图3的实例中，纹理图像118的两个色度分量Cb及Cr及通过深度图像120表 示的深度分量的分辨率为纹理图像118的明度分量Y的分辨率的四分之一。因此，在此实 例中，对于每个深度像素 d、第一色度分量的一像素 cb及第二色度分量的一像素 q，存在明 度分量的四个像素 yyyy。
[0075] 为了在单一MPU中处理参考图片114的像素而不需要对图片的不同分量进行升取 样及降取样（例如，对色度像素 cb及q以及深度像素 d进行升取样/降取样），DIBR模块 110经配置以在MPU 112中使单一深度像素 d与第一色度分量的单一像素 cb及第二色度分 量的单一像素 q以及明度分量的四个像素 yyyy相关联，如图3中所说明。
[0076] 应注意，尽管所揭示实例中的一些参考分辨率相同的深度及色度分量，但还包含 非对称分辨率的其它实例。举例来说，深度分量的分辨率可甚至比色度分量的分辨率低。在 一实例中，深度图像包含180x120的分辨率，纹理图像的明度分量的分辨率为720x480,且 色度分量各自的分辨率为360x240。在此状况下，根据本发明的MPU可使每一色度分量的4 个色度像素与每一明度分量的16个明度像素相关联，且一个MPU中的所有像素的扭曲可一 起通过一个深度图像像素控制。
[0077] 再次参看图3,在于MPU 112中使一个深度像素 d与第一色度分量的一个像素 cb 及第二色度分量的一个像素 q以及明度分量的四个像素 yyyy相关联之后，DIBR模块110 可经配置以从MPU合成目的地图片116的部分。在一实例中，DIBR模块110经配置以执行 一或多个过程以将参考图片114的一个MPU扭曲到目的地图片116的一个MPU，且还可实施 空洞填补过程以填补目的地图像中的在扭曲之后不包含像素值的像素位置。
[0078] 在一些实例中，给定图像深度及俘获源图像数据的相机模型，DIBR模块110可通 过首先将来自平面型2D坐标系统的坐标的像素投影到3D坐标系统中的坐标来使参考图片 114的像素"扭曲"。相机模型可包含计算方案，所述计算方案定义3D点与其到可用于此第 一投影的图像平面上的投影之间的关系。DIBR模块110可接着沿与目的地图片相关联的检 视角度的方向将所述点投影到目的地图片116中的像素位置。检视角度可表示（例如）检 视者的观察点。
[0079] -种扭曲方法是基于像差值。在一实例中，可针对与参考图片114中的给定深度 值相关联的每一纹理像素由DIBR模块110计算像差值。像差值可表不或定义参考图片114 中的给定像素将在空间上偏移以产生目的地图片116的像素的数目，目的地图片116在与 参考图片114 一起检视时产生3D图像。像差值可包含在水平、垂直或水平及垂直方向上的 位移。因此，在一实例中，参考图片114的纹理图像118中的像素可基于像差值由DIBR模 块110扭曲到目的地图片116中的像素，像差值是基于参考图片114的深度图像120中的 像素确定或通过所述像素定义。
[0080] 在包含立体3D视频的一实例中，DIBR模块110利用来自参考图片114的深度图像 120的深度信息，以确定将纹理图像118(例如，第一视图，例如左眼视图）中的像素水平地 移位多少像素从而合成参考图片114(例如，第二视图，例如右眼视图）中的像素。基于所 述确定，DIBR模块110可将所述像素置放于经合成的目的地图片116中，经合成的目的地 图片116最终可形成3D视频中的一个视图的部分。举例来说，如果像素位于参考图片114 的纹理图像118中的像素位置（x0，y0)处，那么DIBR模块110可基于通过深度图像120提 供的深度信息来确定所述像素应置放于目的地图片116中的像素位置（xO'，y0)处，所述 深度信息对应于位于参考图片114的纹理图像118中的（ X〇, yO)处的像素。
[0081] 在图3的实例中，DIBR模块110可基于通过深度像素 d提供的深度信息使MPU112 的纹理像素 yyyy、cb、q扭曲，以合成目的地图片的MPU 122。MPU 122包含四个经扭曲的 明度像素/ / / /及每一色度分量c/、c/ (S卩，单一 c/分量及单一 c/分量） 中的一者。因此，单一深度像素 d由DIBR模块110使用，以使四个明度像素及每一色度分 量的一个色度像素同时扭曲成目的地图片116。如上文所提到，借此可减少在由DIBR模块 110使用的两个扭曲过程期间的条件检查。
[0082] 在一些状况下，来自参考图片的多个像素映射到目的地图片的同一位置。结果可 为：在扭曲之后，目的地图片中的一或多个像素位置不包含任何像素值。在先前实例的情境 下，有可能DIBR模块110使位于参考图片114的纹理图像118中的（xO, yO)处的像素扭 曲到位于目的地图片116中的（X〇'，y0)处的像素。另外，DIBR模块110将位于参考图片 114的纹理图像118中的（xl，yO)处的像素扭曲到在目的地图片116中的同一位置（x(V， y〇)处的像素。此情形可导致不存在位于目的地图片116中的（xl'，y0)处的像素，S卩，在 (xl'，y〇)处存在空洞。
[0083] 为了处理目的地图片中的此些"空洞"，DIBR模块110可执行空洞填补过程，通过 所述空洞填补过程，类似于一些空间帧内预测译码技术的技术用以通过适当像素值来填补 目的地图片中的空洞。举例来说，DIBR模块110可利用与像素位置（xl'，y0)相邻的一或 多个像素的像素值来填补（xP，y〇)处的空洞。在一实例中，DIBR模块110可分析与像素 位置（xl'，yO)相邻的数个像素，以确定像素中的哪些像素（如果存在）包含适合于填补 W，y〇)处的空洞的值。在一实例中，DIBR模块110可用不同相邻像素的不同像素值来 反复地填补（xP，y〇)处的空洞。DIBR模块110可接着分析目的地图片116的包含（χΓ， yO)处的经填补空洞的区，以确定像素值中的哪一像素值产生最佳图像质量。
[0084] 前述或另一空洞填补过程可由DIBR模块110在目的地图片116中以逐像素行的 方式执行。DIBR模块110可基于参考图片114的纹理图像118的MPU 112来填补目的地图 片116的一或多个MPU。在一实例中，DIBR模块110可基于纹理图像118的MPU112同时填 补目的地图片116的多个MPU。在此实例中，由DIBR模块110执行的空洞填补可提供目的 地图片116的明度分量以及第一色度分量及第二色度分量的多个行的像素值。因为MPU含 有多个明度样本，所以目的地图片中的一个空洞可包含多个明度像素。空洞填补可基于相 邻的非空洞像素。举例来说，检验空洞的左方非空洞像素及右方非空洞像素，且使用具有对 应于较远距离的深度值的像素来设定空洞的值。在另一实例中，空洞可通过从附近非空洞 像素的内插来填补。
[0085] DIBR模块110可在MPU中反复地使来自参考图片114的像素值相关联，且处理MPU 以合成目的地图片116。目的地图片116因此可被产生，使得当与参考图片114一起检视时， 两个视图的两个图片产生3D视频中的图像的此些集合的序列中的一个3D图像。DIBR模块 110可对多个参考图片反复地重复此过程以合成多个目的地图片，从而合成参考视图，使得 在与参考视图一起检视时，两个视图产生3D。DIBR模块110可基于一或多个参考视图合成 多个目的地视图，以产生包含两个以上视图的多视图视频。
[0086] 以前述或另一方式，DIBR模块110或另一装置可经配置以基于在MPU中参考视图 的不同数目个明度、色度及深度值的关联而合成目的地视图或以其它方式处理多视图视频 的参考视图的视频数据。尽管图3预期到包含分辨率为参考图片的明度分量的分辨率的四 分之一的参考图片的深度及色度分量，但根据本发明的实例可应用于其它非对称分辨率。 一般来说，所揭示实例可用以在MPU中使一个深度像素 d与纹理图片的第一色度分量Cb及 第二色度分量Cr中的每一者的一或多个色度像素 c以及纹理图片的明度分量Y的多个像 素 y相关联。
[0087] 举例来说，纹理图像的两个色度分量Cb及Cr以及通过深度图像表示的深度分量 的分辨率可为纹理图像的明度分量γ的分辨率的一半。在此实例中，对于每个深度像素 d、 第一色度分量的一个像素 cb及第二色度分量的一个像素 q，存在明度分量的两个像素 yy。
[0088] 为了处理单一 MPU中的参考图片的像素而不需要对图片的不同分量进行升取样 及降取样，DIBR模块或另一组件可经配置以在MPU中使一个深度像素 d与第一色度分量的 一个像素 cb及第二色度分量的一个像素 q以及明度分量的两个像素 yy相关联。
[0089] 在于MPU 112中使一个深度像素 d与第一色度分量的一个像素 cb及第二色度分 量的一个像素 q以及明度分量的两个像素 yy相关联之后，DIBR模块可经配置以从MPU合 成目的地图片的部分。在一实例中，DIBR模块110经配置以使参考图片的所述MPU扭曲到 目的地图片的一个MPU，且还可以类似于上文参考图3的四分之一分辨率实例所描述的方 式的方式，填补目的地图像中的在扭曲之后不包含像素值的像素位置处的空洞。
[0090] 图4为更详细说明图1的视频编码器22的实例的框图。视频编码器22为本文中 称作"译码器"的专用视频计算机装置或设备的一实例。如图4中所展示，视频编码器22对 应于源装置12的视频编码器22。然而，在其它实例中，视频编码器22可对应于不同装置。 在其它实例中，其它单元（例如，其它编码器/解码器（CODEC))还可执行类似于由视频编 码器22执行的技术的技术。
[0091] 在一些状况下，视频编码器22可包含DIBR模块或其它功能等效物，其经配置以通 过以下操作而基于具有纹理及深度信息的非对称分辨率的参考视图来合成目的地视图：处 理包含不同数目个明度、色度及深度像素值的参考视图的最小处理单元。举例来说，视频源 可仅将一或多个视图提供到视频编码器，所述视图中的每一者包含纹理视图分量及深度视 图分量6。然而，可能需要或有必要合成额外视图，且对所述视图进行编码以用于发射。因 而，视频编码器22可经配置以基于现有参考视图的纹理视图分量及深度视图分量来合成 新目的地视图。根据本发明，视频编码器22可经配置以通过处理使一个深度值与多个明度 值及每一色度分量的一或多个色度值相关联的参考视图的MPU来合成新视图，即使参考视 图包含纹理及深度信息的非对称分辨率仍是如此。
[0092] 视频编码器22可执行视频帧内的块的帧内及帧间译码中的至少一者，但出于说 明的容易起见，帧内译码组件未展示于图2中。帧内译码依赖于空间预测以减少或移除给 定视频帧内的视频的空间冗余。帧间译码依赖于时间预测以减少或移除视频序列的邻近帧 内的视频的时间冗余。帧内模式（I模式）可指代基于空间的压缩模式。例如预测（P模 式）或双向（B模式）等帧间模式可指代基于时间的压缩模式。
[0093] 如图2中所展示，视频编码器22接收待编码的视频帧内的视频块。在一实例中， 视频编码器22接收纹理视图分量4及深度视图分量6。在另一实例中，视频编码器从视频 源20接收视图2。
[0094] 在图4的实例中，视频编码器22包含预测处理单元32、运动估计（ME)单元35、运 动补偿（MC)单元（MCU)、多视图视频加深度（MVD)单元33、存储器34、帧内译码单元39、第 一加法器48、变换处理单元38、量化单元40及熵译码单元46。对于视频块重建构，视频编 码器22还包含反量化单元42、反变换处理单元44、第二加法器51及解块单元43。解块单 元43为对块边界进行滤波以从经重建构视频移除成块效应假影的解块滤波器。如果包含 于视频编码器22中，那么解块单元43通常将对第二加法器51的输出进行滤波。解块单元 43可确定一或多个纹理视图分量的解块信息。解块单元43还可确定深度图分量的解块信 息。在一些实例中，一或多个纹理分量的解块信息可不同于深度图分量的解块信息。在一 实例中，如图4中所展示，与按照HEVC的"TU"相对比，变换处理单元38表示功能块。
[0095] 多视图视频加深度（MVD)单元33接收一或多个视频块（图2中标记为"视频块 (VIDEO BLOCK) "），所述视频块包括纹理分量及深度信息，例如纹理视图分量4及深度视图 分量6。MVD单元33将功能性提供到视频编码器22以对块单元中的深度分量进行编码。 MVD单元33可将纹理视图分量及深度视图分量以组合或单独方式提供到预测处理单元32， 所述分量呈使得预测处理单元32能够处理深度信息的格式。MVD单元33还可向变换处理 单元38用信号发送，深度视图分量包含于视频块内。在其它实例中，视频编码器22的每一 单元（例如，预测处理单元32、变换处理单元38、量化单元40、熵译码单元46等）包括除了 纹理视图分量外还处理深度信息的功能性。
[0096] 一般来说，视频编码器22以类似于色度信息的方式编码深度信息，这是因为运动 补偿单元37经配置以在计算同一块的深度分量的预测值时，再使用针对块的明度分量计 算的运动向量。类似地，视频编码器22的帧内预测单元可经配置以在使用帧内预测编码深 度视图分量时，使用针对明度分量选择（即，基于明度分量的分析）的帧内预测模式。
[0097] 预测处理单元32包含运动估计（ME)单元35及运动补偿（MC)单元37。预测处理 单元32预测像素位置以及纹理分量的深度信息。
[0098] 在编码过程期间，视频编码器22接收待译码的视频块（图2中标记为"视频块 (VIDEO BLOCK) ")，且预测处理单元32执行帧间预测译码以产生预测块（图2中标记为"预 测块（PREDICTION BLOCK) ")。预测块包含纹理视图分量及深度视图信息两者。具体来说， ME单元35可执行运动估计以识别存储器34中的预测块，且MC单元37可执行运动补偿以 产生预测块。
[0099] 或者，预测处理单元32内的帧内预测单元39可相对于在与待译码的当前块相同 的帧或切片中的一或多个相邻块执行当前视频块的帧内预测性译码，以提供空间压缩。
[0100] 通常将运动估计视为产生运动向量的过程，所述运动向量估计视频块的运动。举 例来说，运动向量可指示预测或参考帧（或其它经译码单元，例如，切片）内的预测块相对 于当前帧（或其它经译码单元）内的待译码的块的位移。运动向量可具有全整数或子整数 像素精度。举例来说，运动向量的水平分量及垂直分量两者可具有相应全整数分量及子整 数分量。参考帧（或帧的部分）在时间上可位于当前视频块所属的视频帧（或视频帧的部 分）之前或之后。运动补偿通常被视为从存储器34取得或产生预测块的过程，所述过程可 包含基于通过运动估计确定的运动向量来内插或以其它方式产生预测性数据。
[0101] ME单元35通过比较视频块与一或多个参考帧（例如，先前及/或后续帧）的参考 块来计算待译码的视频块的至少一个运动向量。参考帧的数据可存储于存储器34中。ME 单元35可执行具有分数像素精度的运动估计，所述运动估计有时被称作分数像素、分数图 元、子整数或子像素运动估计。分数像素运动估计可允许预测处理单元32预测处于第一分 辨率的深度信息，且预测处于第二分辨率的纹理分量。
[0102] -旦预测处理单元32(例如）使用帧内预测或帧间预测已产生预测块，那么视频 编码器22通过从正经译码的原始视频块减去预测块来形成残余视频块（图2中标记为"残 余块（RESID. BLOCK)")。此减去可在原始视频块中的纹理分量与预测块中的纹理分量之间 发生，以及用于原始视频块中的深度信息或来自预测块中的深度信息的深度图。加法器48 表示执行此减法运算的一或多个组件。
[0103] 变换处理单元38将变换（例如，离散余弦变换（DCT)或概念上类似的变换）应用 于残余块，进而产生包括残余变换块系数的视频块。应理解，变换处理单元38表示视频编 码器22的组件，与如通过HEVC定义的译码单元（⑶）的变换单元（TU)相对比，所述组件将 变换应用于视频数据的块的残余系数。举例来说，变换处理单元38可执行概念上类似于 DCT的其它变换，例如由H. 264标准定义的变换。举例来说，此些变换包含定向变换（例如， 卡忽南-拉维定理变换）、小波变换、整数变换、次频带变换或其它类型的变换。在任何状况 下，变换处理单元38将变换应用于残余块，从而产生残余变换系数的块。变换将残余信息 从像素域转换到频域。
[0104] 量化单元40对残余变换系数进行量化以进一步减小位速率。量化过程可减小与 系数中的一些或全部相关联的位深度。量化单元40可对深度图像译码残余物进行量化。在 量化之后，熵译码单元46对经量化变换系数进行熵译码。举例来说，熵译码单元46可执行 CAVLC、CABAC或另一熵译码方法。
[0105] 熵译码单元46还可对一或多个运动向量进行译码，且支持从预测处理单元32或 视频编码器22的其它组件（例如，量化单元40)获得的信息。一或多个预测语法元素可包 含译码模式、用于一或多个运动向量的数据（例如，水平及垂直分量、参考列表识别符、列 表索引及/或运动向量分辨率发信号信息）、所使用内插技术的指示、滤波系数的集合、深 度图像相对于明度分量的分辨率的分辨率的指示、深度图像译码残余物的量化矩阵、深度 图像的解块信息，或与预测块的产生相关联的其它信息。此些预测语法元素可在序列层级 中或在图片层级中提供。
[0106] -或多个语法元素还可包含明度分量与深度分量之间的量化参数（QP)差。QP差 可在切片层级处用信号发送，且可包含于纹理视图分量的切片标头中。其它语法元素还可 在经译码块单元层级处用信号发送，包含深度视图分量的经译码块模式、深度视图分量的 增量QP、运动向量差，或与预测块的产生相关联的其它信息。运动向量差可作为目标运动向 量与纹理分量的运动向量之间的增量值，或作为目标运动向量（即，正经译码的块的运动 向量）与来自块的相邻运动向量的预测子（例如，CU的PU)之间的增量值而用信号发送。 在通过熵译码单元46进行熵译码之后，可将经编码视频及语法元素发射到另一装置或存 档（例如，在存储器34中）以供稍后发射或检索。
[0107] 反量化单元42及反变换处理单元44分别应用反量化及反变换，以在像素域中重 建构残余块（例如）以供稍后用作参考块。经重建构残余块（在图2中标记为"经重建构 残余块（RECON. RESID. BLOCK) "）可表示提供到变换处理单元38的残余块的经重建构版本。 归因于由量化及反量化操作造成的细节的损失，经重建构残余块可不同于由求和器48产 生的残余块。求和器51对经重建构残余块及由预测处理单元32产生的经运动补偿的预测 块求和，以产生经重建构视频块以供存储于存储器34中。经重建构视频块可由预测处理单 元32用作参考块，所述参考块可用以随后对后续视频帧或后续经译码单元中的块单元进 行译码。
[0108] 图5为用于多视图视频译码的MVC(MVC)预测结构的一实例的图。一般来说，MVC 预测结构可用于MVC加深度应用，但进一步包含改进，视图借以可包含纹理分量及深度分 量两者。下文描述一些基本MVC方面。MVC为H. 264/AVC的扩展，且对H. 264/AVC的3DVC 扩展利用MVC的各种方面，但进一步包含视图中的纹理分量及深度分量两者。MVC预测结构 包含每一视图内的图片间预测及视图间预测两者。在图5中，预测由箭头指示，其中所指向 到的对象使用所指向对象用于预测参考。图5的MVC预测结构可结合时间优先解码次序布 置来使用。在时间优先解码次序中，每一存取单元可定义为含有在一输出时间瞬时所有视 图的经译码图片。存取单元的解码次序可与输出或显示次序不相同。
[0109] 在MVC中，视图间预测通过像差运动补偿支持，像差运动补偿使用H. 264/AVC运 动补偿的语法，但允许将不同视图中的图片置作参考图片。两个视图的译码还可由MVC支 持。在一实例中，被译码的经译码视图中的一或多者可包含通过处理MPU而合成的目的地 视图，根据本发明，所述MPU使一个深度像素与多个明度像素及每一色度分量的一或多个 色度像素相关联。在任何情况下，MVC编码器可采用两个以上视图作为3D视频输入，且MVC 解码器可对多视图表示进行解码。MVC解码器内的呈现器（renderer)可对具有多个视图的 3D视频内容进行解码。
[0110] 同一存取单元（即，具有同一时间瞬时）中的图片可为在MVC中帧间预测的视图。 当译码非基本视图中的一者中的图片时，如果图片在不同视图中但在同一时间瞬时内，那 么可将所述图片添加到参考图片列表中。可将视图间预测参考图片放置于参考图片列表的 任何位置中，正如任何帧间预测参考图片一样。
[0111] 在MVC中，可实现视图间预测，就好像另一视图中的视图分量为帧间预测参考一 般。可能视图间参考可在序列参数集（SPS)MVC扩展中用信号发送。可能视图间参考可通 过参考图片列表建构过程修改，所述过程实现对帧间预测或视图间预测参考的灵活排序。
[0112] 位流可用以在（例如）图1的源装置12与目的地装置14之间传送MVC加深度块 单元及语法元素。位流可遵照译码标准ITU H. 264/AVC，且详细来说，遵循MVC位流结构。 艮P，在一些实例中，位流符合或至少与H. 264/AVC的MVC扩展兼容。在其它实例中，位流符 合HEVC的MVC扩展或另一标准的多视图扩展。在另外其它实例中，使用其它译码标准。
[0113] 一般来说，作为实例，位流可根据以下各者制订：对H. 264/AVC的MVC+D 3DVC扩 展、对H. 264/AVC的3D-AVC扩展、MVC-HEVC扩展、3D-HEVC扩展或其类似者，或DIBR可有用 的其它标准。在H. 264/AVC标准中，定义网络抽象层（NAL)单元，以提供"网络友好"视频表 示寻址应用，例如视频电话、存储或流式传输视频。可将NAL单元分类为视频译码层（VCL) NAL单元及非VCL NAL单元。VCL单元可含有核心压缩引擎，且包括块、宏块（MB)及切片层 级。其它NAL单元为非VCL NAL单元。
[0114] 在2D视频编码实例中，每一 NAL单元含有一个字节NAL单元标头及具有变化大小 的有效负载。五个位用以指定NAL单元类型。三个位用于nal_ref_idc，nal_ref_idc指示 所述NAL单元关于通过其它图片（NAL单元）来参考的重要程度。举例来说，将nal_ref_ idc设定为等于0意谓NAL单元不用于帧间预测。因为扩展H. 264/AVC以支持3DVC，所以 NAL标头可类似于2D情形的NAL标头。举例来说，NAL单元标头中的一或多个位用以识别 出所述NAL单元为四分量NAL单元。
[0115] NAL单元标头还可用于MVC NAL单元。然而，在MVC中，除了首码NAL单元及MVC 经译码切片NAL单元之外，可保留NAL单元标头结构。MVC经译码切片NAL单元可包括四字 节标头及NAL单元有效负载，NAL单元有效负载可包含块单元，例如图1的经译码块8。MVC NAL 单兀标头中的语法兀素可包含 priority_id、temporal_id、anchor_pic_flag、view_ id、non_idr_flag及inter_view_flag。在其它实例中，其它语法元素包含于MVC NAL单元 标头中。
[0116] 语法元素 anchor_pic_flag可指示图片是锚定图片或是非锚定图片。锚定图片及 在输出次序（即，显示次序）上处于其之后的所有图片可正确地加以解码而无需解码在解 码次序（即，位流次序）上处于先前的图片，且因此可用作随机存取点。锚定图片及非锚定 图片可具有不同相依性，其两者可在序列参数集中用信号发送。
[0117] MVC中定义的位流结构的特征在于以下两个语法元素：view_id及temporal_id。 语法元素 view_id可指示每一视图的识别符。NAL单元标头中的此识别符使得能够在解码 器处容易识别NAL单元，且快速存取经解码视图以供显示。语法元素 temp〇ral_id可指示 时间可调性阶层，或间接地指示巾贞速率。举例来说，具有较小最大temporal_id值的包含 NAL单元的操作点可具有低于具有较大最大temporal_id值的操作点的帧速率。具有较高 temporal_id值的经译码图片通常取决于视图内具有较低temporal_id值的经译码图片， 但可不取决于具有较高temporal_id的任何经译码图片。
[0118] NAL单元标头中的语法元素 view_id及temporal_id可用于位流提取及调适两者。 语法元素 priority_id可主要用于简单的单路径位流调适过程。语法元素 inter_view_ flag可指示此NAL单元是否将用于视图间预测不同视图中的另一 NAL单元。
[0119] MVC还可使用序列参数集（SPS)，且包含SPS MVC扩展。参数集用于在H. 264/AVC 中发信号。序列参数集包括序列层级标头信息。图片参数集（PPS)包括不常改变的图片层 级标头信息。就参数集而论，并不总是针对每一序列或图片来重复此不常改变的信息，因此 改进译码效率。此外，参数集的使用实现标头信息的带外发射，从而避免为了错误回复而进 行冗余发射的需要。在带外发射的一些实例中，参数集NAL单元在与其它NAL单元不同的 信道上发射。在MVC中，视图相依性可在SPSMVC扩展中用信号发送。所有视图间预测可在 通过SPS MVC扩展指定的范围内进行。
[0120] 图6为更详细说明根据本发明的技术的图1的视频解码器28的实例的框图。视 频解码器28为本文中称作"译码器"的专用视频计算机装置或设备的一实例。如图5中所 展示，视频解码器28对应于目的地装置14的视频解码器28。然而，在其它实例中，视频解 码器28对应于不同装置。在其它实例中，其它单元（例如，其它编码器/解码器（CODEC)) 还可执行与视频解码器28类似的技术。
[0121] 视频解码器28包含熵解码单元52,熵解码单元52对所接收的位流进行熵解码， 以产生经量化系数及预测语法元素。位流包含经译码块及语法元素，经译码块具有每一像 素位置的纹理分量及深度分量以便呈现3D视频。预测语法元素包含以下各者中的至少一 者：译码模式、一或多个运动向量、识别所使用的内插技术的信息、用于内插滤波中的系数， 及与预测块的产生相关联的其它信息。
[0122] 将预测语法元素（例如，系数）转发到预测处理单元55。预测处理单元55包含深 度语法预测模块66。如果使用预测相对于固定滤波器的系数或相对于彼此来对所述系数进 行译码，那么预测处理单元55对语法元素进行解码，以定义实际系数。深度语法预测模块 66从纹理视图分量的纹理语法元素预测深度视图分量的深度语法元素。
[0123] 如果量化应用于预测语法元素中的任一者，那么反量化单元56移除此量化。反 量化单元56可以不同方式处理经编码位流中的经译码块的每一像素位置的深度及纹理分 量。举例来说，当以与纹理分量不同的方式对深度分量进行量化时，反量化单元56单独地 处理深度及纹理分量。举例来说，滤波器系数可根据本发明以预测方式译码及量化，且在此 状况下，反量化单元56由视频解码器28使用以按预测方式解码及解量化此些系数。
[0124] 预测处理单元55基于预测语法元素及存储于存储器62中的一或多个先前经解码 块以与上文关于视频编码器22的预测处理单元32详细描述的方式几乎相同的方式产生预 测数据。详细来说，预测处理单元55在运动补偿期间执行本发明的MVC加深度技术或其它 基于深度的译码技术中的一或多者，以产生并有深度分量以及纹理分量的预测块。预测块 (以及经译码块）可具有深度分量对纹理分量的不同精度。举例来说，深度分量可具有四分 之一像素精度，而纹理分量具有全整数像素精度。因而，本发明的技术中的一或多者由视频 解码器28使用，以产生预测块。在一些实例中，预测处理单元55可包含运动估计单元、运 动补偿单元及帧内译码单元。出于说明的简单及容易起见，运动补偿、运动估计及帧内译码 单元未展示于图5中。
[0125] 反量化单元56对经量化系数进行反量化（S卩，解量化）。反量化过程为针对H. 264 解码或针对任何其它解码标准定义的过程。反变换处理单元58将反变换（例如，反DCT或 概念上类似的反变换过程）应用于变换系数，以便在像素域中产生残余块。求和器64对残 余块及由预测处理单元55产生的对应预测块求和，以形成由视频编码器22编码的原始块 的经重建构版本。在需要时，还应用解块滤波器来对经解码块进行滤波，以便移除成块效应 假影。接着将经解码视频块存储于存储器62中，存储器62提供参考块以供后续运动补偿 且还产生经解码视频以驱动显示装置（例如，图1的装置28)。
[0126] 经解码视频可用以呈现3D视频。从由视频解码器28提供的经解码视频呈现的3D 视频中的一或多个视图可根据本发明来合成。举例来说，视频解码器28可包含DIBR模块 110，DIBR模块110可以如上文参看图3所描述的方式类似的方式起作用。因此，在一实例 中，DIBR模块110可通过处理包含于经解码视频数据中的参考视图的MPU来合成一或多个 视图，其中每一 MPU使一个深度像素与参考视图的纹理分量的多个明度像素及每一色度分 量的一或多个色度像素相关联。
[0127] 图7为说明可在基于深度图像的渲染（DIBR)的一些实例中执行的升取样的概念 流程图。此升取样可需要额外处理能力及计算循环，其对电力及处理资源的利用的效率较 低。举例来说，为了保证每一纹理分量与深度相同，色度分量以及深度图像可必须经升取样 到与明度相同的分辨率。在扭曲及空洞填补之后，对色度分量进行降取样。在图7中，扭曲 可在4:4:4域中执行。
[0128] 本发明中所描述的技术可解决参看图7描述且在图7中说明的问题，且（例如） 在深度图像的分辨率等于或低于纹理图像的色度分量的分辨率且低于纹理图像的明度分 量的分辨率时，支持深度图像及纹理图像的非对称分辨率。
[0129] 举例来说，深度分量的分辨率可与两个色度分量的分辨率相同，且深度及色度两 者的分辨率可为明度分量的分辨率的四分之一。此实例在图8中说明，图8为说明在四分 之一分辨率状况下扭曲的实例的概念流程图。在此实例中，图8可被视为在4:2:0域中扭 曲，其中深度及色度的大小相同。
[0130] 下文提供实例实施，其是基于最新工作草案"具有深度信息的AVC兼容视频的工 作草案1"。在此实例中，深度的分辨率为纹理明度的四分之一分辨率。
[0131] A. 1. 1. 1用于视图合成参考分量产生的3DVC解码过程
[0132] 此过程可在对纹理视图分量进行解码时调用，纹理视图分量指代合成参考分量。 此过程的输入为经解码纹理视图分量srcTexturePicY及在chroma_format_idc等于1的 情况下srcTexturePicCb及srcTexturePicCr，以及同一视图分量对的经解码深度视图分 量srcDepthPic。此过程的输出为合成参考分量vspPic的样本阵列，合成参考分量vspPic 由1个样本阵列vspPicY(当chroma_format_idc等于0时）或3个样本阵列vspPicY、 vspPicCb 及 vspPicCr (当 chroma_format_idc 等于 1 时）组成。
[0133] 为了导出输出，指定以下排序步骤。
[0134] 调用子条款A. 1. 1. 1.2中指定的图片扭曲及空洞填补过程，其中将设定到 srcTexturePictureY 的 srcPicY、设定至lj normTexturePicCb (当 chroma_format_idc 等 于1时）的81'。？；[(303、设定到1101'11^611：11代？；[(30(当（3111'01]^_；1^01'1]^1：_丨(1(3等于1时）的 srcPicCr及设定到normDepthPic的depPic作为输入，且将输出指派到vspPicY以及在 chroma_format_idc 等于 1 的情况下 vspPicCb 及 vspPicCr。
[0135] A. 1. 1. 1. 2图片扭曲及空洞填补过程
[0136] 此过程的输入为纹理视图分量的经解码明度分量srcPicY及在chroma_format_ idc等于1的情况下两个色度分量srcPicCb及srcPicCr,以及深度图片depPic。所有此 些图片具有相同空间分辨率。此过程的输出为合成参考分量vspPic的样本阵列，合成参考 分量vspPic由1个样本阵列vspPicY (当chroma_format_idc等于0时）或3个样本阵列 vspPicY、vspPicCb 及 vspPicCr (当 chroma_format_idc 等于 1 时）组成。如果 ViewIdTo 3DVAcquisitionParamIndex (当前视图的 view_id)小于 ViewIdTo3DVAcquisitionParamIn dex(输入纹理视图分量的view_id)，那么扭曲方向WarpDir设定到0,否则WarpDir设定到 1〇
[0137] 调用 A. 1. 1. 1. 2. 1 以产生查找表 dispTable。
[0138] 对于每一行i (i从0到height-1 (包含0及height-1)(其中height为深度阵 列的高度）），调用 A. 1. 1. 1. 2. 2,其中 srcPicY 的第 2*i 行及第（2*i+l)行（srcPicYRowO、 srcPicYRowl)、scrPicCb 的第 i 行 scrPicCbRow、scrPicCr 的第 i 行 scrPicCrRow、深度图 片的第 i 行 depPicRow 及 WarpDir 作为输入，且 vspPicY 的第 i 行 vspPicYRow、vspPicCb 的第2*i行及第（2*i+l)行vspPicCbRow及vspPicCr的第i行vspPicCrRow作为输出。
[0139] A. 1. 1. 2. 1从像差到深度的查找表产生过程
[0140] 对于每一 d(从 0 到 255)，如下设定 dispTable[d]:
[0141] -dispTable [d] = Disparity (d，ZNear[frame_num，index]，ZFar[frame_num， index]，FocalLengthX[frame-num，index]，AbsTX[index]_AbsTX[refIndex])，其中 index 及reflndex通过以下公式导出：
[0142] -index = ViewIdTo3DVAcquisitionParamIndex(当前视图的 view-id)
[0143] -refIndex = ViewIdTo3DVAcquisitionParamIndex(输入纹理视图分量的 Viewld)
[0144] A. 1. 1. 1. 2. 2行扭曲及空洞填补过程
[0145] 到此过程的输入为参考明度样本的两个行（srcPicYRowO、srcPicYRowl)、参考cb 样本的行scrPicCbRow及参考cr样本的行scrPicCrRow、深度样本的行depPicRow，及扭曲 方向WarpDir。此过程的输出为目标明度样本的两个行（vspPicYRowO、vspPicYRowl)、目标 cb样本的行vspPicCbRow，及目标cr样本的行vspPicCrRow。
[0146] 如下设定 PixelStep :PixelStep = WarpDir ? -1 :1。tempDepRow 经分配有与 depPicRow相同的大小。tempDepRow的每一值设定到-1。将RowWidth设定为深度样本行 的宽度。
[0147] 按次序进行以下步骤。
[0148] 1.设定 j = 0, prevK = 0, jDir = (RowWidth-1) *WarpDir
[0149] 2.设定 k = jDir+dispTable[depPicRow[jDir]]
[0150] 3.如果k小于RowWidth，且k等于或大于0，且tempDepRow [k]小于 depPicRow[jDir]，那么进行以下操作；否则转到步骤4。
[0151] -tempDepRow [k]设定到 depPicRow [jDir] ?
[0152] -调用像素扭曲过程A. 1. 1. 1. 2. 2. 1，其中输入包含此子条款的所有输入，以及位 置jDir及位置k。
[0153] -如果（k-preK)等于PixelStep，那么转到步骤4。
[0154] -否则，如果 PixelStep* (k-prevK)大于 1
[0155] -那么调用A. 1. 1. 1. 2. 2. 2以填补空洞，其中输入包含此子条款的所有输入及位 置对（prevK+PixelStep，k-PixelStep);
[0156] -否则（当WarpDir为0时，k小于或等于prevK，或当WarpDir为1时，k大于或 等于prevK)，按次序应用以下步骤：
[0157] -当 k 不等于 prevK 时，对于从 k+PixelStep 到 prevK (包含 k+PixelStep 及 prevK) 的每一 pos，将 tempDepRow [pos]设定到 _1。
[0158] -当 k 大于 0 且小于 RowWidth-1，且 tempDepRow[k_PixelStep]等于-1 时，将变 量holePos设定为等于k-PixelStep，且反复地使holePos减小PixelStep，直到以下条件 中的一者成立为止：
[0159] -holePos 等于 0 或 holePos 等于 RowWidth-1 ;
[0160] -tempDepRow[holePos]不等于 _1。
[0161] 调用A. 1. 1. 1. 2. 2. 2以填补空洞，其中输入包含此子条款的所有输入及位置对 (holePos+PixelStep, k-PixelStep)；
[0162] -将 prevK 设定到 k〇
[0163] 4.按次序应用以下步骤：
[0164] -j++。
[0165] -设定 jDir = jDir+PixelStep。
[0166] -如果j等于RowWidth，那么转到步骤5 ;否则转到步骤2。
[0167] 5.按次序应用以下步骤：
[0168] -如果 prevK 不等于（1-WarpDir) * (RowWidth-1)，那么调用 A. 1. 1. 1. 2. 2. 2 以填补空洞，其中输入包含此子条款的所有输入及位置对（prevK+PixelStep， (1-WarpDir)*(RowWidth-1))。
[0169] -终止过程。
[0170] A. 1. 1. 1. 2. 2. 1 像素扭曲过程
[0171] 到此过程的输入包含A. 1. 1. 1. 2. 2的所有输入，另外包含参考样本行处的位置 jDir及目标样本行处的位置k。此过程的输出为位置k处的vspPicYRowO、vspPicYRowl、 vspPicCbRow、vspPicCrRow 的经修改样本行。
[0172] -vspPicYRowO [2*k]设定为等于 srcPicYRowO [2*jDir];
[0173] -vspPicYRowO [2*k+l]设定为等于 srcPicYRowO [2*jDir+1];
[0174] -vspPicYRowl [2*k]设定为等于 srcPicYRowl [2*jDir];
[0175] -vspPicYRowl [2*k+l]设定为等于 srcPicYRowl [2* jDir+1];
[0176] -vspPicCbRow[k]设定为等于 srcPicCbRow[jDir];
[0177] -vspPicCrRow[k]设定为等于 srcPicCrRow[ jDir]。
[0178] A. 1. 1. 12. 2. 2空洞像素填补过程
[0179] 到此过程的输入包含I. 8. 4. 2. 2的所有输入，另外包含深度样本的行 tempDepRow、位置对（pi，p2)及行的宽度RowWidth。过程的输出为vspPicYRowO、 vspPicYRowl、vspPicCbRow、vspPicCrRow 的经修改样本行。
[0180] 如下设定 posLeft 及 posRight :
[0181] -posLeft = (pi < p2 ? pi, p2)；
[0182] -posRight = (pi < p2 ? p2, pi) 〇
[0183] 如下导出 posRef :
[0184] -如果 posLeft 等于 0,那么将 posRef 设定到 posRight+1 ;
[0185] -否贝丨』，如果 posRight 等于 RowWidth-1，那么将 posRef 设定到 posLeft-1 ;
[0186] -否则|，如果 tempDepRow[posLeft_l]小于 tempDepRow[posRight+1]，那么将 posRef 设定到 posLeft-1 ;
[0187] -否则，将 posRef 设定到 posRight+1 ?
[0188] 对于从 posLeft 到 posRight (包含 posLeft 及 posRight)的每一 pos，应用以下步 骤：
[0189] -vspPicYRowO[pos*2] = vspPicYRowO[posRef*2];
[0190] -vspPicYRowO[pos*2+l] = vspPicYRowO[posRef*2+l];
[0191] -vspPicYRowl[pos*2] = vspPicYRowl[posRef*2];
[0192] -vspPicYRowl[pos*2+l] = vspPicYRowl[posRef*2+l];
[0193] -vspPicCbRow[pos] = vspPicCrRow[posRef]；
[0194] -vspPicCbRow[pos] = vspPicCrRow[posRef]〇
[0195] 根据本发明的实例可提供数个优势，其涉及基于具有非对称深度及纹理分量分辨 率的参考视图来合成多视图视频的视图。根据本发明的实例使得能够使用MPU进行视图合 成，而不需要进行升取样及/或降取样以按人工方式建立深度及纹理视图分量之间的分辨 率对称性。根据本发明的实例的一优势在于一个深度像素可对应于一个且仅一个MPU，而非 逐像素地进行处理，其中同一深度像素可对应于多个MPU中的明度及色度像素的多个经升 取样或经降取样近似值且通过所述近似值进行处理。在根据本发明的一些实例中，多个明 度像素及一或多个色度像素在一个MPU中与一个且仅一个深度值相关联，且因此明度及色 度像素取决于相同逻辑而联合地处理。以此方式，在根据本发明的视图合成期间的条件检 查可极大地减少。
[0196] 术语"译码器"在本文中用以指代执行视频编码或视频解码的计算机装置或设备。 术语"译码器"一般指代任何视频编码器、视频解码器或组合的编码器/解码器（编解码 器）。术语"译码"指代编码或解码。术语"经译码块"、"经译码块单元"或"经译码单元" 可指代视频帧的任何可独立解码的单元，例如整个帧、帧的切片、视频数据的块，或根据所 使用的译码技术定义的另一可独立解码的单元。
[0197] 在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如 果以软件来实施，那么所述功能可作为一或多个指令或代码而存储于计算机可读媒体上或 经由计算机可读媒体来发射，且通过基于硬件的处理单元来执行。计算机可读媒体可包含 计算机可读存储媒体或通信媒体，计算机可读存储媒体对应于例如数据存储媒体等有形媒 体，通信媒体包含促进计算机程序（例如）根据通信协议从一处传送到另一处的任何媒体。 以此方式，计算机可读媒体一般可对应于（1)非暂时有形计算机可读存储媒体或（2)例如 信号或载波等通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以 检索用于实施本发明中所描述的技术的指令、代码及/或数据结构的任何可用媒体。计算 机程序产品可包含计算机可读媒体。
[0198] 作为实例而非限制，此些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或 其它光盘存储器、磁盘存储器或其它磁性存储装置、快闪存储器，或可用于存储呈指令或数 据结构的形式的所要代码且可由计算机存取的任何其它媒体。而且，任何连接被适当地称 作计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线（DSL)，或 例如红外线、无线电及微波等无线技术而从网站、服务器或其它远程源发射指令，那么同轴 缆线、光纤缆线、双绞线、DSL，或例如红外线、无线电及微波等无线技术包含于媒体的定义 中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时 性媒体，而是有关非暂时有形存储媒体。如本文中所使用，磁盘及光盘包含压缩光盘（⑶)、 激光光盘、光学光盘、数字多功能光盘（DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方 式再现数据，而光盘通过激光以光学方式再现数据。以上各物的组合还应包含于计算机可 读媒体的范围内。
[0199] 可通过例如一或多个数字信号处理器（DSP)、通用微处理器、专用集成电路 (ASIC)、现场可编程逻辑阵列（FPGA)或其它等效集成或离散逻辑电路等一或多个处理器 来执行指令。因此，如本文中所使用，术语"处理器"可指代前述结构或适合于实施本文中 所描述的技术的任何其它结构中的任一者。另外，在一些方面中，可将本文所描述的功能性 提供于经配置以用于编码及解码的专用硬件及/或软件模块内，或并入于组合式编解码器 中。而且，所述技术可完全实施于一或多个电路或逻辑元件中。
[0200] 本发明的技术可实施于广泛多种装置或设备中，包含无线手持机、集成电路（1C) 或1C的集合（例如，芯片组）。本发明中描述各种组件、模块或单元以强调经配置以执行所 揭示技术的装置的功能方面，但未必需要通过不同硬件单元实现。更确切地说，如上文所描 述，各种单元可组合于编解码器硬件单元中或由交互操作的硬件单元（包含如上文所描述 的一或多个处理器）的集合结合合适软件及/或固件来提供。
[0201] 已描述各种实例。此些及其它实例在以下权利要求书的范围内。
【权利要求】
1. 一种用于处理视频数据的方法，所述方法包括： 在最小处理单元MPU中，使参考图片的深度图像的一个像素与所述参考图片的纹理图 像的第一色度分量的一或多个像素相关联，其中所述MPU指示合成目的地图片中的像素所 需的像素的关联，且其中所述目的地图片及所述参考图片的所述纹理分量在一起检视时形 成三维图片； 在所述MPU中，使所述深度图像的所述一个像素与所述纹理图像的第二色度分量的一 或多个像素相关联；及 在所述MPU中，使所述深度图像的所述一个像素与所述纹理图像的明度分量的多个像 素相关联，其中所述明度分量的所述像素的数目不同于所述第一色度分量的所述一或多个 像素的数目及所述第二色度分量的所述一或多个像素的数目。
2. 根据权利要求1所述的方法，其进一步包括： 处理所述MPU以合成所述目的地图片的至少一个像素， 其中执行处理所述MPU，而不对所述深度图像、所述纹理图像的所述第一色度分量及所 述纹理图像的所述第二色度分量中的至少一者进行升取样。
3. 根据权利要求2所述的方法，其中处理所述MPU包括： 使所述MPU扭曲到所述目的地图片，以从所述参考图片的所述纹理图像及所述深度图 像产生所述目的地图片的所述至少一个像素。
4. 根据权利要求3所述的方法，其中使所述MPU扭曲到所述目的地图片包括基于所述 深度分量的所述一个像素来移位以下各者中的至少一者：所述第一色度分量的所述一或多 个像素、所述第二色度分量的所述一或多个像素，及所述明度分量的所述多个像素。
5. 根据权利要求3所述的方法，其中使所述MPU扭曲到所述目的地图片包括基于所述 深度分量的所述一个像素来移位所述第一色度分量、所述第二色度分量及所述明度分量的 所有所述像素。
6. 根据权利要求4所述的方法，其中使所述MPU扭曲到所述目的地图片包括基于所述 深度分量的所述一个像素来水平地移位以下各者中的至少一者：所述第一色度分量的所述 一或多个像素、所述第二色度分量的所述一或多个像素，及所述明度分量的所述多个像素。
7. 根据权利要求2所述的方法，其中执行所述处理，而不对所述深度图像、所述纹理图 像的所述第一色度分量或所述纹理图像的所述第二色度分量进行升取样。
8. 根据权利要求2所述的方法，其中处理所述MPU包括： 从与所述参考图片的所述深度图像及所述纹理图像相关联的所述MPU空洞填补所述 目的地图片的MPU，以产生所述目的地图片中的至少一个其它像素。
9. 根据权利要求2所述的方法，其中处理所述MPU包括： 从与所述参考图片的所述深度图像及所述纹理图像相关联的所述MPU同时空洞填补 所述目的地图片的多个MPU，其中所述空洞填补提供所述目的地图片的明度分量以及第一 色度分量及第二色度分量的多个行的像素值。
10. 根据权利要求1所述的方法， 其中所述参考图片的所述纹理图像包括多视图视频译码MVC存取单元的第一视图的 一个图片， 其中所述目的地图片包括所述多视图视频MVC存取单元的第二视图。
11. 根据权利要求1所述的方法，其中所述明度分量的所述像素的所述数目等于四，所 述第一色度分量的所述一或多个像素的所述数目等于一，且所述第二色度分量的所述一或 多个像素的所述数目等于一，使得所述MPU使所述深度图像的所述一个像素与所述纹理图 像的所述第一色度分量的一个像素、所述第二色度分量的一个像素及所述明度分量的四个 像素相关联。
12. 根据权利要求1所述的方法，其中所述明度分量的所述像素的所述数目等于二，所 述第一色度分量的所述一或多个像素的所述数目等于一，且所述第二色度分量的所述一或 多个像素的所述数目等于一，使得所述MPU使所述深度图像的所述一个像素与所述纹理图 像的所述第一色度分量的一个像素、所述第二色度分量的一个像素及所述明度分量的两个 像素相关联。
13. -种用于处理视频数据的设备，所述设备包括： 至少一个处理器，其经配置以执行以下操作： 在最小处理单元MPU中，使参考图片的深度图像的一个像素与所述参考图片的纹理图 像的第一色度分量的一或多个像素相关联，其中所述MPU指示合成目的地图片中的像素所 需的像素的关联，且其中所述目的地图片及所述参考图片的所述纹理分量在一起检视时形 成三维图片； 在所述MPU中，使所述深度图像的所述一个像素与所述纹理图像的第二色度分量的一 或多个像素相关联；及 在所述MPU中，使所述深度图像的所述一个像素与所述纹理图像的明度分量的多个像 素相关联，其中所述明度分量的所述像素的数目不同于所述第一色度分量的所述一或多个 像素的数目及所述第二色度分量的所述一或多个像素的数目。
14. 根据权利要求13所述的设备，其中所述至少一个处理器经配置以执行以下操作： 处理所述MPU以合成所述目的地图片的至少一个像素， 其中所述至少一个处理器经配置以处理所述MPU，而不对所述深度图像、所述纹理图像 的所述第一色度分量及所述纹理图像的所述第二色度分量中的至少一者进行升取样。
15. 根据权利要求14所述的设备，其中所述至少一个处理器经配置以至少通过以下操 作处理所述MPU : 使所述MPU扭曲到所述目的地图片，以从所述参考图片的所述纹理图像及所述深度图 像产生所述目的地图片的所述至少一个像素。
16. 根据权利要求15所述的设备，其中所述至少一个处理器经配置以至少通过以下操 作使所述MPU扭曲：基于所述深度分量的所述一个像素来移位以下各者中的至少一者：所 述第一色度分量的所述一或多个像素、所述第二色度分量的所述一或多个像素，及所述明 度分量的所述多个像素。
17. 根据权利要求16所述的设备，其中所述至少一个处理器经配置以至少通过以下操 作使所述MPU扭曲：基于所述深度分量的所述一个像素来移位所述第一色度分量、所述第 二色度分量及所述明度分量的所有所述像素。
18. 根据权利要求16所述的设备，其中所述至少一个处理器经配置以至少通过以下操 作使所述MPU扭曲：基于所述深度分量的所述一个像素来水平地移位以下各者中的至少一 者：所述第一色度分量的所述一或多个像素、所述第二色度分量的所述一或多个像素，及所 述明度分量的所述多个像素。
19. 根据权利要求14所述的设备，其中所述至少一个处理器经配置以处理所述MPU，而 不对所述深度图像、所述纹理图像的所述第一色度分量或所述纹理图像的所述第二色度分 量进行升取样。
20. 根据权利要求14所述的设备，其中所述至少一个处理器经配置以至少通过以下操 作处理所述MPU : 从与所述参考图片的所述深度图像及所述纹理图像相关联的所述MPU空洞填补所述 目的地图片的MPU，以产生所述目的地图片中的至少一个其它像素。
21. 根据权利要求14所述的设备，其中所述至少一个处理器经配置以至少通过以下操 作处理所述MPU : 从与所述参考图片的所述深度图像及所述纹理图像相关联的所述MPU同时空洞填补 所述目的地图片的多个MPU，其中所述空洞填补提供所述目的地图片的明度分量以及第一 色度分量及第二色度分量的多个行的像素值。
22. 根据权利要求13所述的设备， 其中所述参考图片的所述纹理图像包括多视图视频的第一视图的一个图片， 其中所述目的地图片包括所述多视图视频的第二视图，且 其中所述多视图视频在检视时形成三维视频。
23. 根据权利要求13所述的设备，其中所述明度分量的所述像素的所述数目等于四， 所述第一色度分量的所述一或多个像素的所述数目等于一，且所述第二色度分量的所述一 或多个像素的所述数目等于一，使得所述MPU使所述深度图像的所述一个像素与所述纹理 图像的所述第一色度分量的一个像素、所述第二色度分量的一个像素及所述明度分量的四 个像素相关联。
24. 根据权利要求13所述的设备，其中所述明度分量的所述像素的所述数目等于二， 所述第一色度分量的所述一或多个像素的所述数目等于一，且所述第二色度分量的所述一 或多个像素的所述数目等于一，使得所述MPU使所述深度图像的所述一个像素与所述纹理 图像的所述第一色度分量的一个像素、所述第二色度分量的一个像素及所述明度分量的两 个像素相关联。
25. -种用于处理视频数据的设备，所述设备包括： 用于在最小处理单元MPU中使参考图片的深度图像的一个像素与所述参考图片的纹 理图像的第一色度分量的一或多个像素相关联的装置，其中所述MPU指示合成目的地图片 中的像素所需的像素的关联，且其中所述目的地图片及所述参考图片的所述纹理分量在一 起检视时形成三维图片； 用于在所述MPU中使所述深度图像的所述一个像素与所述纹理图像的第二色度分量 的一或多个像素相关联的装置；及 用于在所述MPU中使所述深度图像的所述一个像素与所述纹理图像的明度分量的多 个像素相关联的装置，其中所述明度分量的所述像素的数目不同于所述第一色度分量的所 述一或多个像素的数目及所述第二色度分量的所述一或多个像素的数目。
26. -种计算机可读存储媒体，其上存储有在执行时使一或多个处理器执行包括以下 各者的操作的指令： 在最小处理单元MPU中，使参考图片的深度图像的一个像素与所述参考图片的纹理图 像的第一色度分量的一或多个像素相关联，其中所述MPU指示合成目的地图片中的像素所 需的像素的关联，且其中所述目的地图片及所述参考图片的所述纹理分量在一起检视时形 成三维图片； 在所述MPU中，使所述深度图像的所述一个像素与所述纹理图像的第二色度分量的一 或多个像素相关联；及 在所述MPU中，使所述深度图像的所述一个像素与所述纹理图像的明度分量的多个像 素相关联，其中所述明度分量的所述像素的数目不同于所述第一色度分量的所述一或多个 像素的数目及所述第二色度分量的所述一或多个像素的数目。
27. -种视频编码器，其包括： 至少一个处理器，其经配置以执行以下操作： 在最小处理单元MPU中，使参考图片的深度图像的一个像素与所述参考图片的纹理图 像的第一色度分量的一或多个像素相关联，其中所述MPU指示合成目的地图片中的像素所 需的像素的关联，且其中所述目的地图片及所述参考图片的所述纹理分量在一起检视时形 成三维图片； 在所述MPU中，使所述深度图像的所述一个像素与所述纹理图像的第二色度分量的一 或多个像素相关联； 在所述MPU中，使所述深度图像的所述一个像素与所述纹理图像的明度分量的多个像 素相关联，其中所述明度分量的所述像素的数目不同于所述第一色度分量的所述一或多个 像素的数目及所述第二色度分量的所述一或多个像素的数目； 处理所述MPU以合成所述目的地图片的至少一个MPU ;及 对所述参考图片的所述MPU及所述目的地图片的所述至少一个MPU进行编码， 其中所述经编码MPU形成包括多个视图的经译码视频位流的部分。
28. -种视频解码器，其包括： 输入接口，其经配置以接收包括一或多个视图的经译码视频位流；及 至少一个处理器，其经配置以执行以下操作： 对所述经译码视频位流进行解码，其中所述经解码视频位流包括多个图片，所述图片 中的每一者包括深度图像及纹理图像； 从所述经解码视频位流的所述多个图片选择参考图片； 在最小处理单元MPU中，使参考图片的深度图像的一个像素与所述参考图片的纹理图 像的第一色度分量的一或多个像素相关联，其中所述MPU指示合成目的地图片中的像素所 需的像素的关联，且其中所述目的地图片及所述参考图片的所述纹理分量在一起检视时形 成三维图片； 在所述MPU中，使所述深度图像的所述一个像素与所述纹理图像的第二色度分量的一 或多个像素相关联； 在所述MPU中，使所述深度图像的所述一个像素与所述纹理图像的明度分量的多个像 素相关联，其中所述明度分量的所述像素的数目不同于所述第一色度分量的所述一或多个 像素的数目及所述第二色度分量的所述一或多个像素的数目；及 处理所述MPU以合成所述目的地图片的至少一个MPU。
【文档编号】H04N13/00GK104221385SQ201380019905
【公开日】2014年12月17日 申请日期:2013年2月25日 优先权日:2012年4月16日
【发明者】陈颖, 卡西克·维拉, 建·魏 申请人:高通股份有限公司