深度信号的编码的制作方法

专利名称：深度信号的编码的制作方法
技术领域：
描述了涉及编码系统的实现方式。各种特定的实现方式涉及深度信号的编码。
背景技术：
多视角视频编码(Multi-viewVideo Coding)(例如，H.264/MPEG-4AVC 的 MVC
扩展，或其他标准，以及非标准化方法)是为包括自由视点和3D视频应用、家庭娱乐和 监视在内的多种应用服务的关键技术。深度数据可与每个视角相关联并且例如用于视角 合成。在这些多视角应用中，所涉及的视频和深度数据的量一般是巨大的。因此，需要 帮助提高当前视频编码方案的编码效率的框架。

发明内容
根据一个大方面，利用与图像的经编码的第一部分相关联但不与图像的其他部 分相关联的第一部分运动向量来对第一部分解码。第一部分运动向量指示出参考图像中 将被用于对第一部分解码的相应部分，并且第一部分具有第一大小。处理第一部分深度 值。第一部分深度值为整个第一部分但不为其他部分提供深度信息。利用与图像的经编 码的第二部分相关联但不与图像的其他部分相关联的第二部分运动向量来对第二部分解 码。第二部分运动向量指示出参考图像中将被用于对第二部分解码的相应部分。第二部 分具有不同于第一大小的第二大小。处理第二部分深度值。第二部分深度值为整个第二 部分但不为其他部分提供深度信息。根据另一大方面，视频信号或视频信号结构包括以下片段。包括第一图像片 段，用于图像的经编码的第一部分。第一部分具有第一大小。包括第一深度片段，用于 第一部分深度值。第一部分深度值为整个第一部分但不为其他部分提供深度信息。包括 第一运动向量片段，用于在对图像的第一部分编码时使用的第一部分运动向量。第一部 分运动向量与第一部分相关联，但不与图像的其他部分相关联。第一部分运动向量指示 出参考图像中将被用于对第一部分解码的相应部分。包括第二图像片段，用于图像的经 编码的第二部分。第二部分具有不同于第一大小的第二大小。包括第二深度片段，用于 第二部分深度值。第二部分深度值为整个第二部分但不为其他部分提供深度信息。包括 第二运动向量片段，用于在对图像的第二部分编码时使用的第二部分运动向量。第二部 分运动向量与第二部分相关联，但不与图像的其他部分相关联。第二部分运动向量指示 出参考图像中将被用于对第二部分解码的相应部分。根据另一大方面，利用与图像的第一部分相关联但不与图像的其他部分相关联 的第一部分运动向量来对第一部分编码。第一部分运动向量指示出参考图像中将被用于对第一部分编码的相应部分。第一部分具有第一大小。确定第一部分深度值，该第一部 分深度值为整个第一部分但不为其他部分提供深度信息。利用与图像的第二部分相关联 但不与图像的其他部分相关联的第二部分运动向量来对第二部分编码。第二部分运动向 量指示出参考图像中将被用于对第二部分编码的相应部分，并且第二部分具有不同于第 一大小的第二大小。确定第二部分深度值，该第二部分深度值为整个第二部分但不为其 他部分提供深度信息。将经编码的第一部分、第一部分深度值、经编码的第二部分和第 二部分深度值组装到结构化格式中。一个或多个实现方式的细节在附图和以下描述中记载。即使是按一种特定的方 式来描述的，也应清楚实现方式可以按各种方式来配置或体现。例如，一种实现方式可 以被执行为方法、或者体现为装置，例如被配置为执行一组操作的装置或者存储用于执 行一组操作的指令的装置，或者被体现为信号。结合附图和权利要求考虑以下详细描 述，将清楚其他方面和特征。


图1是编码器的实现方式的示图。图2是解码器的实现方式的示图。图3是视频发送系统的实现方式的示图。图4是视频接收系统的实现方式的示图。图5是视频处理设备的实现方式的示图。图6是具有用于时间预测和视角间预测两者的层次化B图片的多视角编码结构的 实现方式的示图。图7是用于发送和接收具有深度信息的多视角视频的系统的实现方式的示图。图8是用于在深度(K = 3)的情况下从3个输入视角生成九个输出视角(N = 9) 的框架的实现方式的示图。图9是深度地图的示例。图10是相当于四分之一分辨率的深度信号的示例的示图。图11是相当于八分之一分辨率的深度信号的示例的示图。图12是相当于十六分之一分辨率的深度信号的示例的示图。图13是第一编码过程的实现方式的示图。图14是第一解码过程的实现方式的示图。图15是第二编码过程的实现方式的示图。图16是第二解码过程的实现方式的示图。图17是第三编码过程的实现方式的示图。图18是第三解码过程的实现方式的示图。
具体实施例方式在至少一种实现方式中，我们提出了对深度信号编码的框图。在至少一种实现 方式中，我们提出了对场景的深度值作为视频信号的一部分编码。在这里描述的至少一 种实现方式中，我们将深度信号视为用于间预测宏块(inter-predicted macroblock)的运动向量的额外分量。在至少一种实现方式中，在内预测宏块(intra-predictedmacroblock)的
情况下，我们将深度值作为单个值与内模式一起发送。从而，至少一些实现方式所解决的至少一个问题是对多视角视频序列(或单视 角视频序列)的深度信号的高效编码。多视角视频序列是从不同视点捕捉同一场景的两 个或更多个视频序列的集合。除了该场景以外，对于每个视角还可存在一深度信号，以 便可以利用视角合成来生成中间视角。图1示出了根据本发明原理的实施例的编码器100，本发明原理可应用到该编码 器100。编码器100包括组合器105，该组合器105具有与变换器110的输入发生信号通 信连接的输出。变换器110的输出与量化器115的输入发生信号通信连接。量化器115 的输出与熵编码器120的输入和逆量化器125的输入发生信号通信连接。逆量化器125的 输出与逆变换器130的输入发生信号通信连接。逆变换器130的输出与组合器135的第 一同相输入发生信号通信连接。组合器135的输出与内预测器145的输入和去块滤波器 150的输入发生信号通信连接。去块滤波器150去除例如沿着宏块边界的伪影。去块滤 波器150的第一输出与参考图片存储155 (用于时间预测)的输入和参考图片存储160 (用 于视角间预测)的第一输入发生信号通信连接。参考图片存储155的输出与运动补偿器 175的第一输入和运动估计器180的第一输入发生信号通信连接。运动估计器180的输 出与运动补偿器175的第二输入发生信号通信连接。参考图片存储160的第一输出与视 差估计器170的第一输入发生信号通信连接。参考图片存储160的第二输出与视差补偿 器165的第一输入发生信号通信连接。视差估计器170的输出与视差补偿器165的第二 输入发生信号通信连接。熵编码器120的输出、模式判决模块115的第一输出以及深度预测器和编码器 163的输出中的每一个可用作编码器100的各个输出，用于输出比特流。图片/深度分区 器的输入可用作编码器的输入，用于接收视角i的图片和深度数据。运动补偿器175的输出与开关185的第一输入发生信号通信连接。视差补偿器 165的输出与开关185的第二输入发生信号通信连接。内预测器145的输出与开关185的 第三输入发生信号通信连接。开关185的输出与组合器105的反相输入以及组合器135 的第二同相输入发生信号通信连接。模式判决模块122的第一输出决定哪个输入被提供 给开关185。模式判决模块122的第二输出与深度预测器和编码器163的第二输入发生信 号通信连接。图片/深度分区器161的第一输出与深度代表计算器162的输入发生信号通信连 接。深度代表计算器162的输出与深度预测器和编码器163的第一输入发生信号通信连 接。图片/深度分区器161的第二输出与组合器105的同相输入、运动补偿器175的第 三输入、运动估计器180的第二输入以及视差估计器170的第二输入发生信号通信连接。图1的一些部分也可以被单独或总体地称为编码器、编码单元或访问单元，例 如块110、115和120。类似地，例如，块125、130、135和150可被单独或总体地称为 解码器或解码单元。图2示出了根据本发明原理的实施例的解码器200，本发明原理可应用到该解码 器200。解码器200包括熵解码器205，该熵解码器205具有与逆量化器210的输入发生 信号通信连接的输出。逆量化器的输出与逆变换器215的输入发生信号通信连接。逆变换器215的输出与组合器220的第一同相输入发生信号通信连接。组合器220的输出与去 块滤波器225的输入和内预测器230的输入发生信号通信连接。去块滤波器225的第一 输出与参考图片存储240(用于时间预测)的输入和参考图片存储245(用于视角间预测) 的第一输入发生信号通信连接。参考图片存储240的输出与运动补偿器235的第一输入 发生信号通信连接。参考图片存储245的输出与视差补偿器250的第一输入发生信号通 信连接。比特流接收器201的输出与比特流解析器202的输入发生信号通信连接。比特 流解析器202的第一输出(用于提供残余比特流)与熵解码器205的输入发生信号通信连 接。比特流解析器202的第二输出(用于提供控制语法以控制开关255选择哪个输入) 与模式选择器222的输入发生信号通信连接。比特流解析器202的第三输出(用于提供 运动向量)与运动补偿器235的第二输入发生信号通信连接。比特流解析器202的第四 输出(用于提供视差向量和/或照明偏置)与视差补偿器250的第二输入发生信号通信连 接。比特流解析器202的第五输出(用于提供深度信息)与深度代表计算器211的输入 发生信号通信连接。应明白，照明偏置是可选的输入，并且取决于实现方式可以被使用 或不被使用。开关255的输出与组合器220的第二同相输入发生信号通信连接。开关255的 第一输入与视差补偿器250的输出发生信号通信连接。开关255的第二输入与运动补偿 器235的输出发生信号通信连接。开关255的第三输入与内预测器230的输出发生信号 通信连接。模式模块222的输出与开关255发生信号通信连接，用于控制开关255选择 哪个输入。去块滤波器225的第二输出可用作解码器200的输出。深度代表计算器211的输出与深度地图重建器212的输入发生信号通信连接。深 度地图重建器212的输出可用作解码器200的输出。图2的一些部分也可以被单独或总体地称为访问单元，例如比特流解析器202和 提供对特定的一条数据或信息的访问的任何其他块。类似地，例如，块205、210、215、 220和225可被单独或总体地称为解码器或解码单元。图3示出了根据本发明原理的实现方式的视频发送系统300，本发明原理可应用 到该视频发送系统300。视频发送系统300例如可以是用于利用诸如卫星、线缆、电话线 或陆地广播之类的多种介质中的任何一种来发送信号的头端或发送系统。可以经由因特 网或某种其他网络来提供发送。视频发送系统300能够生成和递送利用多种模式中的任何一种来编码的视频内 容。这例如可通过生成(一个或多个)经编码信号来实现，该(一个或多个)经编码信 号包括深度信息或能够在接收器端被用于合成深度信息的信息，该接收器端例如可具有 解码器。视频发送系统300包括编码器310和能够发送经编码信号的发送器320。编码 器310接收视频信息并根据其来生成(一个或多个)经编码信号。编码器310例如可以 是以上详细描述的编码器100。编码器310可包括子模块，其中例如包括组装单元，用于 接收各种信息并将其组装成结构化格式以便存储或传送。这各种信息例如可包括经编码 或未经编码的视频、经编码或未经编码的深度信息以及经编码或未经编码的诸如运动向 量、编码模式指示符和语法元素之类的元素。
发送器320例如可适合于发送节目信号，该节目信号具有一个或多个比特流， 这些比特流表示了经编码的图片和/或与之有关的信息。典型的发送器执行诸如以下各 项中的一项或多项之类的功能提供差错校正编码、交织信号中的数据、随机化信号中 的能量、以及将信号调制到一个或多个载波上。发送器可包括天线(未示出)或与之相 接口。因此，发送器320的实现方式可包括但不限于调制器。图4示出了根据本发明原理的实施例的视频接收系统400，本发明原理可应用到 该视频接收系统400。视频接收系统400可被配置为经由诸如卫星、线缆、电话线或陆地 广播之类的多种介质接收信号。可经由因特网或某种其他网络来接收这些信号。视频接收系统400例如可以是蜂窝电话、计算机、机顶盒、电视机或者其他设 备，其接收经编码的视频并且提供例如经解码的视频以供显示给用户或存储。从而，视 频接收系统400可将其输出提供给例如电视机的屏幕、计算机监视器、计算机(用于存 储、处理或显示)或者某种其他的存储、处理或显示设备。视频接收系统400能够接收和处理包括视频信息的视频内容。视频接收系统400 包括接收器410和解码器420，该接收器410能够接收经编码的信号，例如在本申请的实 现方式中描述的信号，该解码器420能够对所接收的信号解码。接收器410例如可适合于接收具有表示经编码的图片的多个比特流的节目信 号。典型的接收器执行诸如以下各项中的一项或多项之类的功能接收经调制和编码的 数据信号、从一个或多个载波中解调出数据信号、对信号中的能量解随机化、对信号中 的数据解交织、以及对信号进行差错校正解码。接收器410可包括天线(未示出)或与 之相接口。接收器410的实现方式可包括但不限于解调器。解码器420输出包括视频信息和深度信息的视频信号。解码器420例如可以是 以上详细描述的解码器200。图5示出了根据本发明原理的实施例的视频处理设备500，本发明原理可应用到 该视频处理设备500。视频处理设备500例如可以是机顶盒或其他设备，其接收经编码的 视频并且提供例如经解码的视频以供显示给用户或存储。从而，视频处理设备500可将 其输出提供给电视机、计算机监视器或者计算机或其他处理设备。视频处理设备500包括前端(FE)设备505和解码器510。前端设备505例如可 以是接收器，该接收器适合于接收具有表示经编码图片的多个比特流的节目信号并且从 这多个比特流中选择一个或多个比特流来解码。典型的接收器执行诸如以下各项中的一 项或多项之类的功能接收经调制和编码的数据信号、对数据信号解调、对数据信号的 一个或多个编码(例如，信道编码和/或信源编码)进行解码、和/或对数据信号进行差 错校正。前端设备505可从例如天线(未示出)接收节目信号。前端设备505向解码器 510提供所接收的数据信号。解码器510接收数据信号520。数据信号520例如可包括一个或多个与高级视 频编码(AVC)、可缩放视频编码(SVC)或者多视角视频编码(MVC)兼容的流。解码器 510对所接收的信号520的全部或一部分进行解码，并且提供经解码的视频信号520作为 输出。经解码的视频530被提供给选择器550。设备500还包括接收用户输入570的用 户接口 560。用户接口 560基于用户输入570向选择器550提供图片选择信号580。图片 选择信号580和用户输入570指示出用户期望显示可用的经解码数据的多个图片、序列、可缩放版本、视角或其他选择中的哪个。选择器550提供所选择的(一个或多个)图片 作为输出590。选择器550使用图片选择信息580来选择经解码的视频530中的图片之中 的哪个被提供作为输出590。在各种实现方式中，选择器550包括用户接口 560，而在其他实现方式中，不需 要用户接口 560，因为选择器550直接接收用户输入570，而不执行单独的接口功能。选 择器550例如可以用软件来实现或者实现为集成电路。在一种实现方式中，选择器550 与解码器510相结合，而在另外的实现方式中，解码器510、选择器550和用户接口 560 全都被集成。在一种应用中，前端505接收各种电视节目的广播并且选择一个来供处理。对 一个节目的选择是基于有关期望观看的频道的用户输入的。虽然在图5中没有示出对前 端设备505的用户输入，但前端设备505接收用户输入570。前端505接收广播，并且 通过对广播频道的相关部分解调并且对经解调的节目的任何外部编码进行解码，来处理 期望的节目。前端505将经解码的节目提供给解码器510。解码器510是包括设备560 和550的集成单元。解码器510从而接收用户输入，该用户输入是用户提供的、对在该 节目中期望观看的视角的指示。解码器510对所选视角以及来自其他视角的任何所需参 考图片进行解码，并且提供经解码的视角590以在电视机(未示出)上显示。继续以上应用，用户可能期望切换所显示的视角，于是可能向解码器510提供 新输入。在接收到来自用户的“视角改变”后，解码器510对旧视角和新视角两者以及 介于旧视角和新视角之间的任何视角进行解码。即，解码器510对从物理上位于拍摄旧 视角的相机和拍摄新视角的相机之间的相机拍摄的任何视角解码。前端设备505还接收 标识旧视角、新视角和其间的视角的信息。这种信息例如可由拥有关于视角的位置的信 息的控制器(图5中未示出)或者解码器510来提供。其他实现方式可使用具有与前端 设备集成的控制器的前端设备。解码器510提供所有这些经解码的视角作为输出590。后处理器(图5中未示出) 在视角之间进行内插以提供从旧视角到新视角的平滑转变，并且向用户显示此转变。在 转变到新视角后，后处理器(通过未示出的一个或多个通信链路)告知解码器510和前端 设备505:只需要新视角了。然后，解码器510只提供新视角作为输出590。系统500可用于接收图像的序列的多个视角，以及呈现单个视角以供显示，以 及以平滑的方式在各种视角之间切换。该平滑方式可涉及在视角之间内插以转移到另一 视角。此外，系统500可允许用户旋转对象或场景，或者以其他方式看到对象或场景的 三维表示。对象的旋转例如可对应于从一视角转移到另一视角，以及在视角之间内插以 获得视角之间的平滑转变或者就是获得三维表示。即，用户可以“选择”内插的视角作 为可显示的“视角”。多视角视频编码(例如，H.264/MPEG-4AVC的MVC扩展，或其他标准，以及
非标准化方法)是为包括自由视点和3D视频应用、家庭娱乐和监视在内的多种应用服务 的关键技术。此外，深度数据通常与每个视角相关联。深度数据例如用于视角合成。在 这些多视角应用中，所涉及的视频和深度数据的量一般是巨大的。因此，需要帮助提高 执行例如独立视角的联播(simulcast)的当前视频编码方案的编码效率的框架。由于多视角视频源包括相同场景的多个视角，因此在多个视角图像之间存在高度的相关性。因此，除了时间冗余之外还可以利用视角冗余，并且视角冗余是通过跨不 同的视角执行视角预测来实现的。 在实际情形中，多视角视频系统将利用稀疏放置的相机来捕捉场景，然后可通 过视角合成/内插，利用可用的深度数据和所捕捉的视角，来生成这些相机之间的视此外，一些视角可能只携带深度信息，于是随后在解码器处利用相关联的深度 数据来合成这些视角的像素值。深度数据也可用于生成中间虚拟视角。由于深度数据 是与视频信号一起传送的，所以数据量增大了。因此，出现了对高效压缩深度数据的需要。各种方法可用于深度压缩。例如，一种技术使用基于关注区域(Regionof Interest)的编码和对深度的动态范围的整形，以反映不同深度的不同重要性。另一种技术 对深度信号使用三角网格表示。另一种技术使用对分层深度图像进行压缩的方法。另一 种技术使用在小波域中对深度地图进行编码的方法。正如所公知的，层次化预测结构和 视角间预测对于彩色视频是有用的。具有层次化预测结构的视角间预测可以被额外应用 来对图6所示的深度地图序列进行编码。具体地，图6是示出具有用于时间预测和视角 间预测两者的层次化B图片的多视角编码结构的示图。在图6中，从左到右或从右到左 的箭头指示时间预测，从上到下或从下到上的箭头指示视角间预测。一些实现方式不是独立于彩色视频地对深度序列编码，而是可以重复利用来自 相应彩色视频的运动信息，该运动信息可能是有用的，因为深度序列常常更有可能同样 具有相同的时间运动。FTV (自由视点TV)是这样一个框架其包括多视角视频和深度信息的经编码表 示，并且目标在于在接收器处生成高质量的中间视角。这使能了用于自动多视角立体显 示(auto-multiscopic display)的自由视点功能和视角生成。图7示出了根据本发明原理的实施例的用于发送和接收具有深度信息的多视角 视频的系统700，本发明原理可应用于该系统700。在图7中，视频数据由实线指示，深 度数据由虚线指示，元数据由点线指示。系统700例如可以是但不限于自由视点电视系 统。在发送机侧710，系统700包括三维(3D)内容产生器720，其具有多个输入，用于 从相应的多个来源接收视频、深度和元数据中的一个或多个。这种来源可包括但不限于 立体相机711、深度相机712、多相机设置713以及2维/3维(2D/3D)转换过程714。 一个或多个网络730可用于传送与多视角视频编码(MVC)和数字视频广播(DVT)有关 的视频、深度和元数据中的一个或多个。在接收机侧740，基于深度图像的渲染器750执行基于深度图像的渲染以将信号 投影到不同类型的显示器。此应用情形可施加诸如窄角度获取(< 20度)之类的具体约 束。基于深度图像的渲染器750能够接收显示配置信息和用户偏好。基于深度图像的渲 染器750的输出可被提供给2D显示器761、M视角3D显示器762和/或头部跟踪立体 显示器763中的一个或多个。为了减少要传送的数据的量，相机的密集阵列(VI，V2...V9)可被二次采样，从 而只有稀疏的一组相机实际捕捉场景。图8示出了根据本发明原理的实施例的用于在深 度(K = 3)的情况下从3个输入视角生成九个输出视角(N = 9)的框架800，本发明原理可应用到该框架800。框架800包括支持多个视角的输出的自动立体3D显示器810、第 一基于深度图像的渲染器820、第二基于深度图像的渲染器830、以及用于经解码数据的 缓冲器840。经解码的数据是被称为多视角加深度(Multiple View PlusDepth，MVD)数 据的表示。九个相机由Vl至V9表示。三个输入视角的相应深度地图由Dl、D5和D9 表示。介于捕捉相机位置(例如，Pos 1、Pos 2、Pos 3)之间的任何虚拟相机位置可利用 可用深度地图(Dl、D5、D9)来生成，如图8所示。在这里描述的至少一种实现方式中，我们提出了解决提高深度信号的编码效率 的问题。图9示出了根据本发明原理的实施例的深度地图900，本发明原理可应用到该深 度地图900。具体地，深度地图900是用于视角0的。从图9可以看出，深度信号在许 多区域中都是相对平坦的(灰色的深浅表示深度，恒定的深浅表示恒定的深度)，意味着 许多区域具有不显著变化的深度值。在图像中存在许多平滑区域。结果，可以以不同区 域中的不同分辨率来对深度信号编码。为了创建深度图像，一种方法包括首先计算视差图像，并且基于投影矩阵来转 换成深度图像。在一种实现方式中，视差到视差图像的简单线性映射被表示如下
权利要求
1.一种方法，包括利用与图像的经编码的第一部分相关联但不与所述图像的其他部分相关联的第一部 分运动向量来对所述第一部分解码，所述第一部分运动向量指示出参考图像中将被用于 对所述第一部分解码的相应部分，并且所述第一部分具有第一大小；处理第一部分深度值，所述第一部分深度值为整个所述第一部分但不为其他部分提 供深度信息；利用与所述图像的经编码的第二部分相关联但不与所述图像的其他部分相关联的第 二部分运动向量来对所述第二部分解码，所述第二部分运动向量指示出所述参考图像中 将被用于对所述第二部分解码的相应部分，并且所述第二部分具有不同于所述第一大小 的第二大小；以及处理第二部分深度值，所述第二部分深度值为整个所述第二部分但不为其他部分提供深度信息。
2.如权利要求1所述的方法，其中，所述第一部分深度值是经编码的，并且处理所述 第一部分深度值包括对所述第一部分深度值解码。
3.如权利要求1所述的方法，其中，处理所述第一部分深度值包括以下各项中的一个 或多个解析所述第一部分深度值、对所述第一部分深度值解码、或者基于所述第一部 分深度值生成深度地图的至少一部分。
4.如权利要求1所述的方法，其中，处理所述第一部分深度值包括基于所述第一部分 深度值生成深度地图的第一部分，所述深度地图的第一部分对于所述图像的第一部分中 的每个像素具有单独的深度值。
5.如权利要求4所述的方法，其中所述第一部分深度值是在编码器处根据深度预测子确定的残余，并且 生成所述深度地图的第一部分包括生成对表示整个所述第一部分的实际深度的代表性深度值的预测； 将所述预测与所述第一部分深度值相组合，以确定所述图像的第一部分的重建的代 表性深度值；以及基于所述重建的代表性深度值来填充所述深度地图的第一部分。
6.如权利要求5所述的方法，其中，填充包括将所述重建的代表性深度值拷贝到所述 深度地图的整个第一部分。
7.如权利要求1所述的方法，其中，所述第一部分是宏块或子宏块，并且所述第二部 分是宏块或子宏块。
8.如权利要求1所述的方法，还包括提供经解码的第一部分和经解码的第二部分供显示ο
9.如权利要求1所述的方法，还包括访问包括所述第一部分深度值和所述第一部分运 动向量的结构。
10.如权利要求1所述的方法，其中，所述第一部分深度值是基于以下各项中的一个 或多个的所述第一部分的深度的平均值、所述第一部分的深度的中值、所述图像中的 邻居部分的深度信息、或者相应的时间或视角间部分中的一部分的深度信息。
11.如权利要求1所述的方法，其中所述第一部分深度值是在编码器处根据深度预测子确定的残余，并且 所述方法还包括生成对表示整个所述第一部分的实际深度的代表性深度值的预测， 并且所述预测是基于以下各项中的一个或多个的所述第一部分的深度的平均值、所述 第一部分的深度的中值、所述图像中的邻居部分的深度信息、或者相应的时间或视角间 部分中的一部分的深度信息。
12.如权利要求1所述的方法，其中，所述第一部分深度值是表示整个所述第一部分 的实际深度的代表性深度值。
13.如权利要求1所述的方法，其中，所述方法是在解码器处执行的。
14.如权利要求1所述的方法，其中，所述方法是在编码器处执行的。
15.—种装置，包括用于利用与图像的经编码的第一部分相关联但不与所述图像的其他部分相关联的第 一部分运动向量来对所述第一部分解码的装置，所述第一部分运动向量指示出参考图像 中将被用于对所述第一部分解码的相应部分，并且所述第一部分具有第一大小；用于处理第一部分深度值的装置，所述第一部分深度值为整个所述第一部分但不为 其他部分提供深度信息；用于利用与所述图像的经编码的第二部分相关联但不与所述图像的其他部分相关联 的第二部分运动向量来对所述第二部分解码的装置，所述第二部分运动向量指示出所述 参考图像中将被用于对所述第二部分解码的相应部分，并且所述第二部分具有不同于所 述第一大小的第二大小；以及用于处理第二部分深度值的装置，所述第二部分深度值为整个所述第二部分但不为 其他部分提供深度信息。
16.一种处理器可读介质，其上存储有用于使得处理器执行至少以下操作的指令 利用与图像的经编码的第一部分相关联但不与所述图像的其他部分相关联的第一部分运动向量来对所述第一部分解码，所述第一部分运动向量指示出参考图像中将被用于 对所述第一部分解码的相应部分，并且所述第一部分具有第一大小；处理第一部分深度值，所述第一部分深度值为整个所述第一部分但不为其他部分提 供深度信息；利用与所述图像的经编码的第二部分相关联但不与所述图像的其他部分相关联的第 二部分运动向量来对所述第二部分解码，所述第二部分运动向量指示出所述参考图像中 将被用于对所述第二部分解码的相应部分，并且所述第二部分具有不同于所述第一大小 的第二大小；以及处理第二部分深度值，所述第二部分深度值为整个所述第二部分但不为其他部分提供深度信息。
17.一种装置，包括被配置为执行至少以下操作的处理器利用与图像的经编码的第一部分相关联但不与所述图像的其他部分相关联的第一部 分运动向量来对所述第一部分解码，所述第一部分运动向量指示出参考图像中将被用于 对所述第一部分解码的相应部分，并且所述第一部分具有第一大小；处理第一部分深度值，所述第一部分深度值为整个所述第一部分但不为其他部分提 供深度信息；利用与所述图像的经编码的第二部分相关联但不与所述图像的其他部分相关联的第 二部分运动向量来对所述第二部分解码，所述第二部分运动向量指示出所述参考图像中 将被用于对所述第二部分解码的相应部分，并且所述第二部分具有不同于所述第一大小 的第二大小；以及处理第二部分深度值，所述第二部分深度值为整个所述第二部分但不为其他部分提供深度信息。
18.—种装置，包括用于执行以下操作的解码单元利用与图像的经编码的第一部分相关联但不与所述图像的其他部分相关联的第一部 分运动向量来对所述第一部分解码，所述第一部分运动向量指示出参考图像中将被用于 对所述第一部分解码的相应部分，并且所述第一部分具有第一大小；处理第一部分深度值，所述第一部分深度值为整个所述第一部分但不为其他部分提 供深度信息；利用与所述图像的经编码的第二部分相关联但不与所述图像的其他部分相关联的第 二部分运动向量来对所述第二部分解码，所述第二部分运动向量指示出所述参考图像中 将被用于对所述第二部分解码的相应部分，并且所述第二部分具有不同于所述第一大小 的第二大小；以及处理第二部分深度值，所述第二部分深度值为整个所述第二部分但不为其他部分提供深度信息。
19.如权利要求18所述的装置，其中，所述装置包括编码器。
20.—种解码器，包括解调器，用于接收和解调信号，所述信号包括图像的经编码的第一部分和代表深度 信息的第一部分的深度值，所述深度信息的第一部分对应于所述图像的第一部分； 解码单元，用于执行以下操作利用与图像的经编码的第一部分相关联但不与所述图像的其他部分相关联的第一部 分运动向量来对所述第一部分解码，所述第一部分运动向量指示出参考图像中将被用于 对所述第一部分解码的相应部分，并且所述第一部分具有第一大小，以及利用与所述图像的经编码的第二部分相关联但不与所述图像的其他部分相关联的第 二部分运动向量来对所述第二部分解码，所述第二部分运动向量指示出所述参考图像中 将被用于对所述第二部分解码的相应部分，并且所述第二部分具有不同于所述第一大小 的第二大小；以及处理单元，用于执行以下操作处理第一部分深度值，所述第一部分深度值为整个所述第一部分但不为其他部分提 供深度信息，以及处理第二部分深度值，所述第二部分深度值为整个所述第二部分但不为其他部分提 供深度信息。
21.—种视频信号结构，包括第一图像片段，用于图像的经编码的第一部分，所述第一部分具有第一大小； 第一深度片段，用于第一部分深度值，所述第一部分深度值为整个所述第一部分但 不为其他部分提供深度信息；第一运动向量片段，用于在对所述图像的第一部分编码时使用的第一部分运动向 量，所述第一部分运动向量与所述第一部分相关联，但不与所述图像的其他部分相关 联，所述第一部分运动向量指示出参考图像中将被用于对所述第一部分解码的相应部 分；第二图像片段，用于图像的经编码的第二部分，所述第二部分具有不同于所述第一 大小的第二大小；第二深度片段，用于第二部分深度值，所述第二部分深度值为整个所述第二部分但 不为其他部分提供深度信息；以及第二运动向量片段，用于在对所述图像的第二部分编码时使用的第二部分运动向 量，所述第二部分运动向量与所述第二部分相关联，但不与所述图像的其他部分相关 联，所述第二部分运动向量指示出参考图像中将被用于对所述第二部分解码的相应部 分。
22.—种被格式化为包括信息的视频信号，所述视频信号包括第一图像片段，用于图像的经编码的第一部分，所述第一部分具有第一大小；第一深度片段，用于第一部分深度值，所述第一部分深度值为整个所述第一部分但 不为其他部分提供深度信息；第一运动向量片段，用于在对所述图像的第一部分编码时使用的第一部分运动向 量，所述第一部分运动向量与所述第一部分相关联，但不与所述图像的其他部分相关 联，所述第一部分运动向量指示出参考图像中将被用于对所述第一部分解码的相应部 分；第二图像片段，用于图像的经编码的第二部分，所述第二部分具有不同于所述第一 大小的第二大小；第二深度片段，用于第二部分深度值，所述第二部分深度值为整个所述第二部分但 不为其他部分提供深度信息；以及第二运动向量片段，用于在对所述图像的第二部分编码时使用的第二部分运动向 量，所述第二部分运动向量与所述第二部分相关联，但不与所述图像的其他部分相关 联，所述第二部分运动向量指示出参考图像中将被用于对所述第二部分解码的相应部 分。
23.—种处理器可读介质，其上存储有视频信号结构，所述视频信号结构包括第一图像片段，用于图像的经编码的第一部分，所述第一部分具有第一大小；第一深度片段，用于第一部分深度值，所述第一部分深度值为整个所述第一部分但 不为其他部分提供深度信息；第一运动向量片段，用于在对所述图像的第一部分编码时使用的第一部分运动向 量，所述第一部分运动向量与所述第一部分相关联，但不与所述图像的其他部分相关 联，所述第一部分运动向量指示出参考图像中将被用于对所述第一部分解码的相应部 分；第二图像片段，用于图像的经编码的第二部分，所述第二部分具有不同于所述第一 大小的第二大小；第二深度片段，用于第二部分深度值，所述第二部分深度值为整个所述第二部分但不为其他部分提供深度信息；以及第二运动向量片段，用于在对所述图像的第二部分编码时使用的第二部分运动向 量，所述第二部分运动向量与所述第二部分相关联，但不与所述图像的其他部分相关 联，所述第二部分运动向量指示出参考图像中将被用于对所述第二部分解码的相应部 分。
24.—种方法，包括利用与图像的第一部分相关联但不与所述图像的其他部分相关联的第一部分运动向 量来对所述第一部分编码，所述第一部分运动向量指示出参考图像中将被用于对所述第 一部分编码的相应部分，并且所述第一部分具有第一大小；确定第一部分深度值，所述第一部分深度值为整个所述第一部分但不为其他部分提 供深度信息；利用与图像的第二部分相关联但不与所述图像的其他部分相关联的第二部分运动向 量来对所述第二部分编码，所述第二部分运动向量指示出参考图像中将被用于对所述第 二部分编码的相应部分，并且所述第二部分具有不同于所述第一大小的第二大小；确定第二部分深度值，所述第二部分深度值为整个所述第二部分但不为其他部分提 供深度信息；以及将经编码的第一部分、所述第一部分深度值、经编码的第二部分和所述第二部分深 度值组装到结构化格式中。
25.如权利要求24所述的方法，还包括提供所述结构化格式以供传送或存储。
26.如权利要求24所述的方法，其中，确定所述第一部分深度值是基于深度地图的第 一部分的，所述深度地图的第一部分对于所述图像的第一部分中的每个像素具有单独的 深度值。
27.如权利要求24所述的方法，还包括在组装之前对所述第一部分深度值和所述第二 部分深度值编码，以使得将所述第一部分深度值和所述第二部分深度值组装到所述结构 化格式中包括组装所述第一部分深度值和所述第二部分深度值的经编码版本。
28.如权利要求24所述的方法，还包括确定表示整个所述第一部分的实际深度的代表性深度值；生成对所述代表性深度值的预测；以及将所述预测与所述代表性深度值相组合以确定所述第一部分深度值。
29.如权利要求28所述的方法，其中，生成所述预测包括生成基于以下各项中的一个 或多个的预测所述第一部分的深度的平均值、所述第一部分的深度的中值、所述图像 中的邻居部分的深度信息、或者相应的时间或视角间部分中的一部分的深度信息。
30.如权利要求24所述的方法，其中，所述第一部分深度值是基于以下各项中的一个 或多个的所述第一部分的深度的平均值、所述第一部分的深度的中值、所述图像中的 邻居部分的深度信息、或者相应的时间或视角间部分中的一部分的深度信息。
31.如权利要求24所述的方法，其中，所述第一部分是宏块或子宏块，并且所述第二 部分是宏块或子宏块。
32.如权利要求24所述的方法，其中，组装还包括将所述第一部分运动向量组装到所 述结构化格式中。
33.如权利要求24所述的方法，其中，所述方法是在编码器处执行的。
34.—种装置，包括用于利用与图像的第一部分相关联但不与所述图像的其他部分相关联的第一部分运 动向量来对所述第一部分编码的装置，所述第一部分运动向量指示出参考图像中将被用 于对所述第一部分编码的相应部分，并且所述第一部分具有第一大小；用于确定第一部分深度值的装置，所述第一部分深度值为整个所述第一部分但不为 其他部分提供深度信息；用于利用与图像的第二部分相关联但不与所述图像的其他部分相关联的第二部分运 动向量来对所述第二部分编码的装置，所述第二部分运动向量指示出参考图像中将被用 于对所述第二部分编码的相应部分，并且所述第二部分具有不同于所述第一大小的第二 大小；用于确定第二部分深度值的装置，所述第二部分深度值为整个所述第二部分但不为 其他部分提供深度信息；以及用于将经编码的第一部分、所述第一部分深度值、经编码的第二部分和所述第二部 分深度值组装到结构化格式中的装置。
35.一种处理器可读介质，其上存储有用于使得处理器执行至少以下操作的指令 利用与图像的第一部分相关联但不与所述图像的其他部分相关联的第一部分运动向量来对所述第一部分编码，所述第一部分运动向量指示出参考图像中将被用于对所述第 一部分编码的相应部分，并且所述第一部分具有第一大小；确定第一部分深度值，所述第一部分深度值为整个所述第一部分但不为其他部分提 供深度信息；利用与图像的第二部分相关联但不与所述图像的其他部分相关联的第二部分运动向 量来对所述第二部分编码，所述第二部分运动向量指示出参考图像中将被用于对所述第 二部分编码的相应部分，并且所述第二部分具有不同于所述第一大小的第二大小；确定第二部分深度值，所述第二部分深度值为整个所述第二部分但不为其他部分提 供深度信息；以及将经编码的第一部分、所述第一部分深度值、经编码的第二部分和所述第二部分深 度值组装到结构化格式中。
36.一种装置，包括被配置为执行至少以下操作的处理器利用与图像的第一部分相关联但不与所述图像的其他部分相关联的第一部分运动向 量来对所述第一部分编码，所述第一部分运动向量指示出参考图像中将被用于对所述第 一部分编码的相应部分，并且所述第一部分具有第一大小；确定第一部分深度值，所述第一部分深度值为整个所述第一部分但不为其他部分提 供深度信息；利用与图像的第二部分相关联但不与所述图像的其他部分相关联的第二部分运动向 量来对所述第二部分编码，所述第二部分运动向量指示出参考图像中将被用于对所述第 二部分编码的相应部分，并且所述第二部分具有不同于所述第一大小的第二大小；确定第二部分深度值，所述第二部分深度值为整个所述第二部分但不为其他部分提 供深度信息；以及将经编码的第一部分、所述第一部分深度值、经编码的第二部分和所述第二部分深 度值组装到结构化格式中。
37.—种装置，包括编码单元，所述编码单元用于利用与图像的第一部分相关联但不与所述图像的其 他部分相关联的第一部分运动向量来对所述第一部分编码，所述第一部分运动向量指示 出参考图像中将被用于对所述第一部分编码的相应部分，并且所述第一部分具有第一大 小，并且所述编码单元用于利用与图像的第二部分相关联但不与所述图像的其他部分相 关联的第二部分运动向量来对所述第二部分编码，所述第二部分运动向量指示出参考图 像中将被用于对所述第二部分编码的相应部分，并且所述第二部分具有不同于所述第一 大小的第二大小；深度代表计算器，用于确定为整个所述第一部分但不为其他部分提供深度信息的第 一部分深度值，并且用于确定为整个所述第二部分但不为其他部分提供深度信息的第二 部分深度值；以及组装单元，用于将经编码的第一部分、所述第一部分深度值、经编码的第二部分和 所述第二部分深度值组装到结构化格式中。
38.—种编码器，包括编码单元，所述编码单元用于利用与图像的第一部分相关联但不与所述图像的其 他部分相关联的第一部分运动向量来对所述第一部分编码，所述第一部分运动向量指示 出参考图像中将被用于对所述第一部分编码的相应部分，并且所述第一部分具有第一大 小，并且所述编码单元用于利用与图像的第二部分相关联但不与所述图像的其他部分相 关联的第二部分运动向量来对所述第二部分编码，所述第二部分运动向量指示出参考图 像中将被用于对所述第二部分编码的相应部分，并且所述第二部分具有不同于所述第一 大小的第二大小；深度代表计算器，用于确定为整个所述第一部分但不为其他部分提供深度信息的第 一部分深度值，并且用于确定为整个所述第二部分但不为其他部分提供深度信息的第二 部分深度值；组装单元，用于将经编码的第一部分、所述第一部分深度值、经编码的第二部分和 所述第二部分深度值组装到结构化格式中；以及调制器，用于调制所述结构化格式。
全文摘要
描述了各种实现方式。若干实现方式涉及确定、提供或使用代表整个编码分区的深度值。根据一个大方面，利用与图像的经编码的第一部分相关联但不与图像的其他部分相关联的第一部分运动向量来对第一部分编码。第一部分具有第一大小。确定为整个第一部分但不为其他部分提供深度信息的第一部分深度值。利用与图像的第二部分相关联但不与图像的其他部分相关联的第二部分运动向量来对第二部分编码。第二部分具有不同于第一大小的第二大小。确定为整个第二部分但不为其他部分提供深度信息的第二部分深度值。
文档编号H04N7/26GK102017628SQ200980114566
公开日2011年4月13日 申请日期2009年4月24日 优先权日2008年4月25日
发明者尹鹏, 帕文·拜哈斯·潘迪特, 田东 申请人:汤姆逊许可证公司