用于3d视频编码的装置、方法和计算机程序的制作方法
【技术领域】
[0001] 本发明涉及用于视频编码和解码的装置、方法和计算机程序。
【背景技术】
[0002] 本节旨在于提供在权利要求中记载的本发明的背景或者上下文。本文中的描述可 以包括如下概念，这些概念可以被探求、但是未必是先前已经设想或者探求的概念。因此， 除非本文中另有指示，在本节中描述的内容不是在本申请中的说明书和权利要求书的现有 技术并且不因包含于本节中而被承认为现有技术。
[0003] 视频编码系统可以包括将输入视频变换成适合用于存储/传输的压缩的表示的 编码器和可以将压缩的视频表示解压回成可查看形式的解码器。编码器可以丢弃原有视频 序列中的一些信息以便以更紧凑形式表示视频，以例如实现视频信息在比以别的方式可能 需要的比特率更低的比特率的存储/传输。
[0004] 可伸缩视频编码是指编码结构，其中一个比特流可以包含内容在不同比特率、分 辨率、帧速率和/或其它类型的可伸缩性的多个表示。可伸缩比特流可以由提供可用最低 质量视频的基础层和在与更低层一起接收和解码时增强视频质量的一个或者多个增强层 构成。为了提高用于增强层的编码效率，该层的编码表示可以依赖于更低层。每层与所有 它的依赖层一起是视频信号在某个空间分辨率、时间分辨率、质量水平和/或其它类型的 可伸缩性的操作点的一个表示。
[0005] 当前考察和开发用于提供三维（3D)视频内容的各种技术。尤其是，密集研究已经 被聚焦于各种多视图应用，其中查看者能够仅看见来自具体视点的一对立体视频和来自不 同视点的另一对立体视频。用于这样的多视图应用的最可行方式之一已经证明是这样的方 式，其中向解码器侧提供仅有限数目的输入视图（例如单一或者立体视频加上一些补充数 据），并且所有需要的视图然后被解码器本地渲染（即合成）以在显示器上被显示。
[0006] 在对3D视频内容的编码中，可以使用视频压缩系统，诸如高级视频编码标准 H. 264/AVC或者H. 264/AVC的多视图视频编码MVC扩展。
【发明内容】
[0007] -些实施例提供用于执行反向视图合成预测的机制，其中基于用于视图的共同定 位的深度/视差块形成用于相同视图的当前纹理块的视图合成预测块。一些实施例指定编 码和解码操作集以及用于执行视图合成的操作集，该视图合成将允许用于回路内视图合成 预测的基于块的、低复杂性的实施方式。在一些实施例中，选择第一视图的帧的当前块以用 于编码，并且选择第一视图的帧的当前块以用于编码。获得与当前块的纹理块关联的测距 信息。基于测距信息推导参考第二视图中的参考帧的视差信息，并且基于视差信息推导参 考区域。通过使用参考区域以获得对当前块的预测来执行视图合成预测。
[0008] 根据本发明的第一方面，提供一种方法，该方法包括：
[0009] 获得表不第一视图的第一纹理图片的第一未压缩的纹理块；
[0010] 获得与第一未压缩的纹理块关联的测距信息；
[0011] 基于测距信息推导参考第二视图中的参考帧的视差信息；
[0012] 基于视差信息获得第二视图的参考采样；
[0013] 通过使用参考采样来执行视图合成预测以获得用于对第一未压缩的纹理块进行 编码的参考块。
[0014] 根据本发明的第二方面，提供一种装置，该装置包括至少一个处理器和包括计算 机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置为与至少一个处 理器一起使该装置：
[0015] 获得表示第一视图的第一纹理图片的第一未压缩的纹理块；
[0016] 获得与第一未压缩的纹理块关联的测距信息；
[0017] 基于测距信息推导参考第二视图中的参考帧的视差信息；
[0018] 基于视差信息获得第二视图的参考采样；
[0019] 通过使用参考采样来执行视图合成预测以获得用于对第一未压缩的纹理块进行 编码的参考块。
[0020] 根据本发明的第三方面，提供一种计算机
[0021] 获得表示第一视图的第一纹理图片的第一未压缩的纹理块；
[0022] 获得与第一未压缩的纹理块关联的测距信息；
[0023] 基于测距信息推导参考第二视图中的参考帧的视差信息；
[0024] 基于视差信息获得第二视图的参考采样；
[0025] 通过使用参考采样来执行视图合成预测以获得用于对第一未压缩的纹理块进行 编码的参考块。
[0026] 根据本发明的第四方面，提供一种装置，该装置包括：
[0027] 用于获得表示第一视图的第一纹理图片的第一未压缩的纹理块的部件；
[0028] 用于获得与第一未压缩的纹理块关联的测距信息的部件；
[0029] 用于基于测距信息推导参考第二视图中的参考帧的视差信息的部件；
[0030] 用于基于视差信息获得第二视图的参考采样的部件；
[0031] 用于通过使用参考采样来执行视图合成预测以获得用于对第一未压缩的纹理块 进行编码的参考块的部件。
[0032] 根据本发明的第五方面，提供一种方法，该方法包括：
[0033] 获得表示第一视图的第一纹理图片的第一编码的纹理块；
[0034] 获得与第一编码的纹理块关联的测距信息；
[0035] 基于测距信息推导参考第二视图中的参考帧的视差信息；
[0036] 基于视差信息获得第二视图的参考采样；
[0037] 通过使用参考采样来执行视图合成预测以获得用于对第一编码的纹理块进行解 码的参考块。
[0038] 根据本发明的第六方面，提供一种装置，该装置包括至少一个处理器和包括计算 机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置为与至少一个处 理器一起使该装置：
[0039] 获得表示第一视图的第一纹理图片的第一编码的纹理块；
[0040] 获得与第一编码的纹理块关联的测距信息；
[0041] 基于测距信息推导参考第二视图中的参考帧的视差信息；
[0042] 基于视差信息获得第二视图的参考采样；
[0043] 通过使用参考采样来执行视图合成预测以获得用于对第一编码的纹理块进行解 码的参考块。
[0044] 根据本发明的第七方面，提供一种包括一个或者多个指令的一个或者多个序列的 计算机程序产品，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时 使装置至少执行以下项：
[0045] 获得表示第一视图的第一纹理图片的第一编码的纹理块；
[0046] 获得与第一编码的纹理块关联的测距信息；
[0047] 基于测距信息推导参考第二视图中的参考帧的视差信息；
[0048] 基于视差信息获得第二视图的参考采样；
[0049] 通过使用参考采样来执行视图合成预测以获得用于对第一编码的纹理块进行解 码的参考块。
[0050] 根据本发明的第八方面，提供一种装置，该装置包括：
[0051] 用于获得表示第一视图的第一纹理图片的第一编码的纹理块的部件；
[0052] 用于获得与第一编码的纹理块关联的测距信息的部件；
[0053] 用于基于测距信息推导参考第二视图中的参考帧的视差信息的部件；
[0054]用于基于视差信息获得第二视图的参考采样的部件；
[0055] 用于通过使用参考采样来执行视图合成预测以获得用于对第一编码的纹理块进 行解码的参考块的部件。
[0056] 根据本发明的第九方面，提供一种视频编码器，其配置用于：
[0057] 获得表示第一视图的第一纹理图片的第一未压缩的纹理块；
[0058] 获得与第一未压缩的纹理块关联的测距信息；
[0059] 基于测距信息推导参考第二视图中的参考帧的视差信息；
[0060] 基于视差信息获得第二视图的参考采样；
[0061] 通过使用参考采样来执行视图合成预测以获得用于对第一未压缩的纹理块进行 解码的参考块。
[0062] 根据本发明的第十方面，提供一种视频解码器，其配置用于 ：
[0063] 获得表示第一视图的第一纹理图片的第一编码的纹理块；
[0064] 获得与第一编码的纹理块关联的测距信息；
[0065] 基于测距信息推导参考第二视图中的参考帧的视差信息；
[0066] 基于视差信息获得第二视图的参考采样；
[0067] 通过使用参考采样来执行视图合成预测以获得用于对第一编码缩的纹理块进行 解码的参考块。
【附图说明】
[0068] 为了更好地理解本发明，现在将通过示例的方式参照附图，在附图中：
[0069]图1示出立体相机设置的简化2D模型；
[0070] 图2不出多视图相机设置的简化模型；
[0071] 图3示出多视图自动立体显示器（ASD)的简化模型；
[0072] 图4示出基于DIBR的3DV系统的简化模型；
[0073] 图5图示视频加上深度数据的示例；
[0074] 图6图示在第一和第二编码的视图中的纹理与深度图像之间的水平-坚直和视差 对应的可视化；
[0075] 图7a示出用作用于帧内预测的候选的当前编码的块的空间邻域；
[0076] 图7b示出用作用于帧间预测的候选的当前编码的块的时间邻域；
[0077] 图8示出具有视图合成功能的多视图视频编码器的示例为简化框图；
[0078] 图9示出具有视图合成功能的多视图视频解码器的示例为简化框图；
[0079] 图10示意地示出适合用于采用本发明的一些实施例的电子设备；
[0080] 图11示意地示出适合用于采用本发明的一些实施例的用户设备；
[0081] 图12进一步示意地示出使用无线和有线网络连接而连接的采用本发明的实施例 的电子设备；
[0082] 图13示出根据示例实施例的编码方法为流程图；以及
[0083] 图14示出根据示例实施例的解码方法为流程图。
【具体实施方式】
[0084] 为了理解本发明的各种方面和与之有关的实施例，以下简要地描述视频编码的一 些密切有关的方面。
[0085] 在这一节中描述H. 264/AVC的一些关键定义、比特流和编码结构以及概念作为其 中可以实施一些实施例的视频编码器、解码器、编码方法、解码方法和比特流结构的示例。 本发明的方面不限于H.264/AVC，而是更确切地说对于本发明可以在其之上被部分地或者 完全地实现的一个可能基础给出描述。
[0086] H. 264/AVC标准由国际电信联盟（ITU-T)的电信标准化部门的视频编码专家组 (VCEG)和国际标准化组织（ISO) /国际电工委员会（IEC)的移动图片专家组（MPEG)的联合 视频团队（JVT)开发。H. 264/AVC标准由两个母标准化组织发布，并且它被称为ITU-T推 荐H. 264和IS0/IEC国际标准14496-10,还称为MPEG-4部分10高级视频编码