专利名称：使用基于深度信息的视差估计的多视点视频编码的制作方法
技术领域：
描述了涉及编码系统的实现方式。多种具体实现方式涉及使用深度的视点间跳 过模式。
背景技术：
存在使用来自另一宏块的信息对当前宏块进行解码的一种或多种编码工具。一 种编码工具是使用深度信息对当前宏块进行解码的视点间跳过模式。本申请中指出了视 点间跳过编码工具的一个或多个缺点。
发明内容
根据总体方面，对来自多视点系统中第一视点的第一视点图像的一部分进行编 码。该部分是第一视点图像的全部或一部分。确定来自多视点系统中第二视点的第二视 点图像的一部分与第一视点图像的所述部分相对应。所述确定基于为第二视点图像的所 述部分提供深度信息的第二视点深度值。使用通过对第一视点图像的所述部分的编码而 得到的信息来对第二视点图像的所述部分进行编码。根据另一总体方面，视频信号或视频信号结构包括以下区段。第一视点图像区 段包括来自多视点系统中第一视点的第一视点图像的一部分的编码信息。所述第一视点 图像的所述部分包括第一视点图像的全部或一部分。第二视点图像区段段包括与第一 视点图像的所述部分相对应的、来自多视点系统中第二视点的第二视点图像的一部分。 第二视点深度区段段包括为第二视点图像的所述部分提供深度信息的深度值。第一视点 图像区段段、第二视点图像区段段和第二视点图像深度区段段是根据支持多视点编码而 不支持深度图编码的标准来格式化的。根据另一总体方面，对来自多视点系统中第一视点的第一视点图像的一部分的 编码进行解码。该部分是第一视点图像的全部或一部分。确定来自多视点系统中第二视 点的第二视点图像的一部分与第一视点图像的所述部分相对应。所述确定基于为第二视 点图像的所述部分提供深度信息的第二视点深度值。使用来自第一视点图像的解码部分 的信息来对第二视点图像的所述部分的编码进行解码。在附图和以下描述中产生了一种或多种实现方式的细节。尽管以具体方式描 述，然而应当清楚可以以多种方式来配置或体现这些实现方式。例如，实现方式可以以 方法的形式来执行，体现为设备，例如被配置为执行一组操作的设备或者用于执行一组 操作的设备存储结构，或者体现为信号。通过以下结合附图和权利要求考虑的详细描述，其他方面和特征将变得显而易见。
图1是编码器的实现方式的图。
图2是解码器的实现方式的图。
图3是视频发送系统的实现方式的图。
图4是视频接收系统的实现方式的图。
图5是视频处理设备的实现方式的图。
图6是对于一种实现方式标识了当前宏块的相邻宏块的图
图7是第一编码过程的实现方式的图。
图8是第一解码过程的实现方式的图。
图9是运动匹配的实现方式的图。
图10是第二编码过程的实现方式的图。
图11是第二解码过程的实现方式的图。
图12是第三编码过程的实现方式的图。
图13是第三解码过程的实现方式的图。
具体实施例方式视点间跳过是一种使用深度信息来对当前宏块进行解码的编码工具。发明人确 定视点间跳过的缺点是需要或假定深度图在解码器处可用。这在需要深度图来实现视点 合成的3DV架构下是可能的。在多视点视频编码(MVC)的情况下，没有指定深度图的 标准传输。因此，不能使用需要深度图的模式。在至少一个实现方式中，提出了一种使用利用深度的视点间跳过模式的架构。 在至少一个实现方式中，提出了使用视点间跳过作为用于多视点编码的编码模式。在本 文所描述的至少一个实现方式中，提出了通过发送对应宏块的深度而不是例如单独地发 送深度图来实现这种方法的修改。从原始视频序列和对应摄像机参数产生的深度信息不 仅可以有益于解码器端的视点合成，还可以有益于编码器处的编码效率。借助于深度信 息，对两个视点间画面之间对应关系的估计可以比传统方法更精确。在至少一个实现方 式中，引入了新的“跳过模式”，称作“深度跳过模式”。因此，至少一些实现方式解决的至少一个问题是，使用利用深度的视点间跳过 模式来高效地编码多视点视频序列。多视点视频序列是由从不同视点捕获某场景的两个 或多个视频序列组成的集合。此外，如上所述，在多视点视频编码(MVC)的情况下，没有指定深度图的标准 传输。因此，不可以使用需要深度图的模式。本文描述的至少一个实现方式通过在需要 时明确地发送深度信息(通常与深度图不同)来解决该问题。注意，“深度信息”是与 深度有关的各种信息的统称。一种类型的深度信息是“深度图”，所述深度图通常是指 逐像素深度图像。其他类型的深度信息可以包括例如针对每个编码块而不是每个编码像 素使用单个深度值。图1示出了示例性编码器100，根据本原理的实施例，可以对所述编码器100应用本发明。编码器100包括组合器105，组合器105具有以信号通信的方式与变换器110 的输入相连的输出。变换器110的输出以信号通信的方式与量化器115的输入相连。量 化器115的输出以信号通信的方式与熵编码器120的输入和逆量化器125的输入相连。逆 量化器125的输出以信号通信的方式与逆变换器130的输入相邻。逆变换器130的输出以 信号通信的方式与组合器135的第一非反向输入相连。组合器135的输出以信号通信的 方式与帧内预测器145的输入和解块滤波器150的输入相连。解块滤波器150去除例如 沿着宏块边缘的伪像。解块滤波器150的第一输出以信号通信的方式与参考画面存储装 置155的输入(用于时间预测)和参考画面存储装置160的第一输入(用于视点间预测) 相连。参考画面存储装置155的输出以信号通信的方式与运动补偿器175的第一输入和 运动估计器180的第一输入相连。运动估计器180的输出以信号通信的方式与运动补偿 器175的第二输入相连。参考画面存储装置160的第一输出以信号通信的方式与视差估 计器170的第一输入相连。参考画面存储装置160的第二输出以信号通信的方式与视差 补偿器165的第一输入相连。视差估计器170的输出以信号通信的方式与开关134的第 一输入相连。(基于深度的)视差转换器132的输出以信号通信的方式与开关134的第二 输入相连。视差选择器131的第一输出以信号通信的方式与开关134的控制输入相连， 以选择开关的第一或第二输入。开关134的输出以信号通信的方式与视差补偿器165的 第二输入相连。熵解码器120的输出、模式判定模块115的第一输出以及视差选择器131的输出 各自均可用作编码器100的相应输出，以输出比特流。视差选择器131还可以用于输出 多种形式的深度信息。可以存储或发送这样的深度信息，例如这样的深度信息可以用于 允许解码操作确定编码视点的全部或一部分的视差矢量。
组合器105的第一输入、运动补偿器175的第三输入、运动估计器180的第二输 入、视差估计器170的第二输入以及视差转换器132的第一输入各自都可用作编码器的相 应输入，以接收视点i的画面。视差转换器132的第二输入可用作到编码器100的输入， 用于接收带外深度(out-of-band-depth)。运动补偿器175的输出以信号通信的方式与开关185的第一输入相连。视差补 偿器165的输出以信号通信的方式与开关185的第二输入相连。帧内预测器145的输出 以信号通信的方式与开关185的第三输入相连。开关185的输出以信号通信的方式与组 合器105的反向输入和组合器135的第二非反向输入相连。模式判定模块115的输出确 定将哪个输入提供至开关185。图1的一部分也可以分别地或集体地称作编码器、编码单元或存取单元(例如， 块110、115和120)。类似地，例如块125、130、135和150可以分别地或集体地称作解
码器或解码单元。图2示出了示例性解码器200，根据本原理的实施例，本原理可以应用于所述解 码器200。解码器200包括熵解码器205，熵解码器205具有以信号通信的方式与逆量 化器210的输入相连的输出。逆量化器210的输出以信号通信的方式与逆变换器215相 连。逆变换器215的输出以信号通信的方式与组合器220的第一非反向输入相连。组合 器220的输出以信号通信的方式与解块滤波器225的输入和帧内预测器230的输入相连。 解块滤波器225的第一输出以信号通信的方式与参考画面存储装置240的输入(用于时间预测)和参考画面存储装置245的第一输入(用于视点间预测)相连。参考画面存储装 置240的输出以信号通信的方式与运动补偿器235的第一输入相连。参考画面存储装置 245的输出以信号通信的方式与视差补偿器250的第一输入相连。比特流接收机201的输出以信号通信的方式与比特流解析器202的输入相连。比 特流解析器202的第一输出(用于提供残差比特流)以信号通信的方式与熵解码器205的 输入相连。比特流解析器202的第二输出(用于提供控制语法以控制开关255选择哪个 输入)以信号通信的方式与模式选择器222的输入相连。比特流解析器202的第三输出 (用于提供运动矢量)以信号通信的方式与运动补偿器235的第二输入相连。比特流解析 器202的第四输出(用于提供照度偏移)以信号通信的方式与视差补偿器250的第二输入 相连。比特流解析器202的第五输出(用于提供视差控制语法)以信号通信的方式与视 差选择器204的输入相连。比特流解析器202的第六输出(用于提供视差矢量)以信号 通信的方式与开关211的第一输入相连。比特流解析器102的第七输出(用于提供带内 深度)以信号通信的方式与视差转换器203的第一输入相连。视差转换器203的输出以 信号通信的方式与开关211的第二输入相连。视差选择器204的输出确定将哪个输入提 供至开关211。开关的输出以信号通信的方式与视差补偿器250的第三输入相连。将意 识到，照度偏移是可选的输入，根据实现方式可以使用或可以不使用该照度偏移。开关255的输出以信号通信的方式与组合器220的第二非反向输入相连。开关 255的第一输入以信号通信的方式与视差补偿器250的输出相连。开关255的第二输入 以信号通信的方式与运动补偿器235的输出相连。开关255的第三输入以信号通信的方 式与帧内预测器230的输出相连。模式模块222的输出以信号通信的方式与开关255相 连，以控制开关255选择哪个输入。解块滤波器225的第二输出可用作解码器200的输 出。视差转换器203的第二输入可用作解码器200的输入，以接收带外深度。图2的一部分也可以分别地或集体地称作存取单元，例如，比特流解析器202和 使得可以存取特定数据或信息片的任何其他块。类似地，例如块205、210、215、220和 225可以分别地或集体地称作解码器或解码单元。图3示出了示例性视频发送系统300，根据本原理的实现方式，本原理可以应用 于所述视频发送系统300。视频发送系统300可以是例如用于使用诸如卫星、线缆、电话 线路、或地面广播等多种介质中的任何介质来发送信号的头端或发送系统。可以在因特 网或其他网络上提供发送。视频发送系统300可以产生和传递使用利用深度的视点间跳过模式来编码的视 频内容。这是通过产生编码信号来实现的，所述编码信号包括深度信息或能够用于在可 以例如具有解码器的接收机端合成深度信息的信息。视频发送系统300包括编码器310以及能够发送编码信号的发射机320。编码器 310接收视频信息并使用利用深度的视点间跳过模式从视频信息中产生编码信号。编码 器310可以是例如以上详细描述的编码器300。编码器310可以包括子模块，所述子模块 包括例如组装单元，所述组装单元用于接收多个信息片并将所述多个信息片组装成用于 存储或发送的结构格式。不同的信息片可以包括例如编码或非编码的视频、编码或非编 码的深度信息、以及编码或非编码的元素(例如，运动矢量、编码模式指示符、和语法 元素)。
发射机320例如可以适于发送节目信号，所述节目信号具有表示编码画面和/ 或其相关信息的一个或多个比特流。典型的发射机执行例如以下功能中的一个或多个功 能提供纠错编码、对信号中的数据进行交织、使信号中的能量随机化、以及将信号调 制到一个或多个载波上。发射机可以包括天线(未示出)或与天线接口连接。相应地， 发射机320的实现方式可以包括但不限于调制器。图4示出了示例性视频接收系统400，根据本原理的实施例，本原理可以应用于 所述视频接收系统400。视频接收系统400可以被配置为通过例如卫星、线缆、电话线路 或地面广播等多种介质来接收信号。可以通过因特网或其他网络来接收信号。视频接收系统400可以是例如蜂窝电话、计算机、机顶盒、电视或接收编码视 频并提供例如解码视频以向用户显示或用于存储的其他设备。因此，视频接收系统400 可以将其输出提供至例如电视屏幕、计算机监视器、计算机(以供存储、处理或显示)或 其他的存储、处理或显示设备。视频接收系统400可以接收和处理包括视频信息的视频内容。视频接收系统400 包括例如本申请的实现方式中描述的能够接收编码信号的接收机410，以及能够对接 收到的信号进行解码的解码器420。接收机410可以例如适于接收节目信号，所述节目信号具有表示编码画面的多 个比特流。典型的接收机执行例如以下功能中的一个或多个功能接收调制和编码的数 据信号、对来自一个或多个载波的数据信号进行解调、使信号中的能量去随机化、将信 号中的数据去交织、以及对信号进行纠错解码。接收机410可以包括天线(未示出)或 与天线接口连接。接收机410的实现方式可以包括或限于解调器。解码器420输出包括视频信息和深度信息的视频信号。解码器420例如可以是 以上描述的解码器400。图5示出了示例性视频处理设备500，根据本原理的实施例，本原理可以应用于 所述视频处理设备500。视频处理设备500可以例如是机顶盒或接收编码视频并提供例如 解码视频以向用户显示或存储的其他设备。因此，视频处理设备500可以将其输出提供 至电视、计算机监视器或计算机或其他处理设备。视频处理设备500包括前端(FE)装置505和解码器510。前端装置505可以是 例如接收机，所述接收机适于接收具有表示编码画面的多个比特流的节目信号，以及适 于选择一个或多个比特流以根据所述多个比特流进行解码。典型的接收机执行例如以下 功能中的一个或多个功能接收调制和编码数据信号、解调数据信号、对数据信号的一 个或多个编码(例如，信道编码和/或源编码)进行解码、和/或对数据信号进行纠错。 前端装置505可以接收来自例如天线(未示出)的节目信号。前端装置505将接收到的 数据信号提供至解码器510。解码器510接收数据信号520。数据信号520可以包括例如一个或多个与高级视 频编码(AVC)、可缩放视频编码(SVC)或多视点视频编码(MVC)兼容的流。AVC具体是指国际标准化组织/国际电子技术委员会(ISO/IEC)运动图像专家 组-4(MPEG_4)部分10高级视频编码(AVC)标准/国际电信联盟-电信部分(ITU-T) H.264推荐(下文中，“H.264/MPEG-4AVC标准”或其变体，如“AVC标准”，或简 称 “AVC” )。
MVC具体是指AVC标准的多视点视频编码(“MVC” )扩展(附录H)，称作 H.264/MPEG-4AVC, MVC 扩展(“MVC” 扩展或简称 “MVC”)。SVC具体是指AVC标准的可缩放视频编码(“SVC” )扩展(附录G)，称作 H.264/MPEG-4AVC, SVC 扩展(“SVC” 扩展或简称 “SVC”)。解码器510对接收信号520的全部或部分进行解码，并提供解码视频信号530作 为输出。将解码视频530提供至选择器550。设备500还包括接收用户输入570的用户解 码560。用户界面560基于用户输入570来向选择器550提供画面选择信号580。画面选 择信号580和用户输入570指示用户希望显示以下项目中的哪个多个画面、序列、可 缩放版本、视图或可用解码数据的其他选择。选择器550提供所选的画面作为输出590。 选择器550使用画面选择信息580来选择提供解码视频530的哪个画面作为输出590。在不同实现方式中，选择器550包括用户界面560，在其他实现方式中，由于选 择器550直接接收用户输入570而不执行单独的接口功能，所以选择器550可以例如以软 件形式实现或实现为集成电路。在一个实现方式中，选择器550与解码器510合并，在 另一个实现方式中，解码器510、选择器550和用户界面560合并在一起。在一个应用中，前端505接收多种电视节目的广播并选择一个电视节目来处 理。一个节目的选择基于要观看的期望频道的用户输入。尽管图5并未示出向前端装 置505的用户输入，然而前端装置505接收用户输入570。前端505接收广播并通过对 广播谱的相关部分进行解调以及对解调节目的任何外部编码进行解码，来处理期望的节 目。前端505将解码节目提供至解码器510。解码器510是包括装置560和550的集成 单元。因此解码器510接收用户输入，所述用户输入是由用户提供的对要在节目中观看 的期望视点的指示。解码器510对所选的视点以及来自其他视点的任何所需参考画面进 行解码，并提供解码视点590以显示在电视(未示出)上。继续上述应用，用户可能希望切换所显示的视点，然后可以向解码器510提供 新的输入。在接收到来自用户的“视点改变”之后，解码器510对旧视点和新视点以及 在旧视点与新视点之间的任何视点进行解码。即，解码器对从物理上位于捕获旧视点的 摄像机与捕获新视点的摄像机之间的摄像机得到的任何视点进行解码。前端装置505还 接收标识旧视点、新视点以及两者之间视点的信息。该信息可以例如由具有与视点位置 有关的信息的控制器(图5中未示出)或者解码器510来提供。其他实现方式可以使用 具有控制器的前端装置，所述控制器与前端装置相集成。解码器510提供所有这些解码视点作为输出590。后处理器(图5中未示出)在 视点之间进行内插，以提供从旧视点到新视点的平滑过渡，并向用户显示这种过渡。在 过渡到新视点之后，后处理器通知(通过一个或多个通信链路，未示出)解码器510和前 端装置505只需要新视点。此后，解码器510仅提供新视点作为输入590。系统500可以用于接收图像序列的多个视点，提供用于显示的单个视点，以及 以平滑的方式在多个视点之间切换。平滑方式可以包括在视点之间进行内插以移到另一 视点。此外，系统500可以允许用户旋转对象或场景，或允许用户看到对象或场景的三 维表示。对象的旋转例如可以对应于从一个视点移到另一视点，并且在视点之间进行 内插，以得到视点之间的平滑过渡或仅得到三维表示。即，用户可以“选择”内插的视 点作为要显示的“视点”。
使用深度图来寻找视点间对应关系假定点M(x，y，z) (z是得自于深度图)以坐标(ul，vl)投影在摄像机平面1 上，以坐标(u2，v2)投影在摄像机平面2上。点(X，y，z)来自与摄像机设置无关的 真实坐标系，并且标识了 3D点的位置。点(ul，vl)是3D点(χ，y，z)投影到视点1 的摄像机坐标系中的投影坐标。类似地，点(u2，v2)是3D点(χ，y，z)投影到视点2 的摄像机坐标系中的投影坐标。如下从摄像机参数K、R和T得出点矩阵P:P = K · [R|T](1)其中K是本征矩阵，R是旋转矩阵，T是变换矢量，等式1指示矩阵R被矩阵 T右合并且合并结果乘以矩阵K。对于视点1和视点2，根据等式(2)和等式(3)，视点2中的像素(U2，v2)将 在视点1中找到其对应像素(ul，vl)。这里Pl和P2如下表示视点1和视点2的投影矩 阵
权利要求
1.一种方法，包括对来自多视点系统中第一视点的第一视点图像的一部分进行编码，所述部分是所述 第一视点图像的全部或部分；确定来自多视点系统中第二视点的第二视点图像的一部分与第一视点图像的所述部 分相对应，其中，所述确定基于第二视点深度值，所述第二视点深度值提供了第二视点 图像的所述部分的深度信息；以及使用通过对第一视点图像的所述部分进行编码而得到的信息来对第二视点图像的所 述部分进行编码。
2.根据权利要求1所述的方法，其中，第一视点图像的编码部分、第二视点图像的编 码部分以及编码的第二视点深度值是根据支持多视点编码而不支持深度图编码的标准而 编码的。
3.根据权利要求2所述的方法，其中，所述标准是MVC标准。
4.根据权利要求1所述的方法，还包括提供第一视点图像的编码部分、第二视点 图像的编码部分以及第二视点深度值，用于存储或传输。
5.根据权利要求4所述的方法，其中，所述提供包括将第一视点图像的编码部 分、第二视点图像的编码部分以及第二视点深度值组装成结构化格式。
6.根据权利要求1所述的方法，还包括对第二视点深度值进行编码。
7.根据权利要求1所述的方法，其中，第二视点深度值是针对给定的宏块或宏块的一 部分的单个值。
8.根据权利要求1所述的方法，其中，确定所述第二视点图像的一部分与第一视点图 像的所述部分相对应包括使用卷曲处理，所述卷曲处理包括以下操作基于点在第二视点图像的所述部分中的位置，来确定所述点在真实空间中的位置，以及基于所述点在真实空间中的位置，来确定所述点在第一视点图像的所述部分中的位置。
9.根据权利要求1所述的方法，还包括确定第二视点图像的所述部分的视点差矢 量，所述视点差矢量指示第二视点图像的所述部分的位置与第一视点图像的所述部分的 位置之间的差异，所述视点差矢量是基于第二视点深度值来确定的。
10.根据权利要求9所述的方法，其中确定视点差矢量还基于细化以使视点差矢量更适合于编码而不是合成。
11.根据权利要求9所述的方法，还包括 形成基于视点差矢量预测值的视点差矢量；以及 基于视点差矢量预测值来对视点差矢量进行编码。
12.根据权利要求9所述的方法，还包括基于根据深度而得到的、针对第一视点图像的所述部分的视点差矢量，来形成视点 差矢量预测值；以及基于视点差矢量预测值来对视点差矢量进行编码。
13.根据权利要求1所述的方法，其中对第二视点图像的所述部分进行编码包括设置指示以下情况的标志将使用第一视点图像的所述部分的重构，来重构第二视点图像的所述部分。
14.根据权利要求1所述的方法，其中对第二视点图像的所述部分进行编码包括使用通过对第一视点图像的所述部分进 行编码而得到的运动矢量，以及确定第二视点图像的所述部分与所述运动矢量从第二视 点图像所指向的参考图像之间的残差。
15.根据权利要求1所述的方法，其中 第一视点图像包括来自视频序列的画面，以及对第一视点图像的所述部分进行编码包括对画面的宏块进行编码。
16.根据权利要求1所述的方法，其中，至少所述第二视点图像被包含在视频序列 中，所述视频序列由多个图像形成，并且针对所述多个图像中的每个图像，具有至少一 个视点差矢量。
17.根据权利要求1所述的方法，其中，至少所述第二视点图像被包含在视频序列 中，所述视频序列由多个图像形成，并且针对所述多个图像中的每个图像，具有多个视点差矢量。
18.根据权利要求1所述的方法，其中，所述方法是在编码器中实现的。
19.根据权利要求1所述的方法，还包括将第一视点图像的所述部分的照度与第二视点图像的所述部分的照度相比较；以及 基于比较结果来确定针对第二视点图像的所述部分的照度偏移。
20.—种设备，包括用于对来自多视点系统中第一视点的第一视点图像的一部分进行编码的装置，所述 部分是所述第一视点图像的全部或部分；用于确定来自多视点系统中第二视点的第二视点图像的一部分与第一视点图像的所 述部分相对应的装置，其中，所述确定基于第二视点深度值，所述第二视点深度值提供 了第二视点图像的所述部分的深度信息；以及用于使用通过对第一视点图像的所述部分进行编码而得到的信息来对第二视点图像 的所述部分进行编码的装置。
21.一种处理器可读介质，在所述处理器可读介质上存储有用于使处理器执行至少以 下操作的指令对来自多视点系统中第一视点的第一视点图像的一部分进行编码，所述部分是所述 第一视点图像的全部或部分；确定来自多视点系统中第二视点的第二视点图像的一部分与第一视点图像的所述部 分相对应，其中，所述确定基于第二视点深度值，所述第二视点深度值提供了第二视点 图像的所述部分的深度信息；以及使用通过对第一视点图像的所述部分进行编码而得到的信息来对第二视点图像的所 述部分进行编码。
22.—种设备，包括被配置为至少执行以下操作的处理器对来自多视点系统中第一视点的第一视点图像的一部分进行编码，所述部分是所述 第一视点图像的全部或部分；确定来自多视点系统中第二视点的第二视点图像的一部分与第一视点图像的所述部分相对应，其中，所述确定基于第二视点深度值，所述第二视点深度值提供了第二视点 图像的所述部分的深度信息；以及使用通过对第一视点图像的所述部分进行编码而得到的信息来对第二视点图像的所 述部分进行编码。
23.—种设备，包括视差转换器，用于确定来自多视点系统中第二视点的第二视点图像的一部分与来自 多视点系统中第一视点的第一视点图像的一部分相对应，第一视点图像的所述部分是第 一视点图像的全部或部分，其中，所述确定基于第二视点深度值，所述第二视点深度值 提供了第二视点图像的所述部分的深度信息；以及编码单元，用于使用通过对第一视点图像的所述部分进行编码而得到的信息来对第 二视点图像的所述部分进行编码。
24.根据权利要求23所述的设备，还包括输出单元，用于提供第一视点图像的编 码部分、第二视点图像的编码部分以及第二视点深度值，用于存储或传输。
25.—种设备，包括视差转换器，用于确定来自多视点系统中第二视点的第二视点图像的一部分与来自 多视点系统中第一视点的第一视点图像的一部分相对应，第一视点图像的所述部分是第 一视点图像的全部或部分，其中，所述确定基于第二视点深度值，所述第二视点深度值 提供了第二视点图像的所述部分的深度信息；编码单元，用于使用通过对第一视点图像的所述部分进行编码而得到的信息来对第 二视点图像的所述部分进行编码；以及调制器，用于对信号进行调制，所述信号包括第一视点图像的所述部分以及第二视 点图像的所述部分的编码。
26.—种被格式化为包括信息的视频信号，所述视频信号包括第一视点图像区段，包括来自多视点系统中第一视点的第一视点图像的一部分的编 码信息，所述部分是第一视点图像的全部或部分；第二视点图像区段，包括来自多视点系统中第二视点的第二视点图像的一部分的编 码信息，第二视点图像的所述部分与第一视点图像的所述部分相对应；以及第二视点深度区段，包括第二视点深度值的信息，所述第二视点深度值提供了第二 视点图像的所述部分的深度信息，其中，第一视点图像区段、第二视点图像区段以及第二视点深度区段是根据支持多 视点编码而不支持深度图编码的标准来格式化的。
27.—种视频信号结构，包括第一视点图像区段，包括来自多视点系统中第一视点的第一视点图像的一部分的编 码信息，所述部分是第一视点图像的全部或部分；第二视点图像区段，包括来自多视点系统中第二视点的第二视点图像的一部分的编 码信息，第二视点图像的所述部分与第一视点图案的所述部分相对应；以及第二视点深度区段，包括第二视点深度值的信息，所述第二视点深度值提供了第二 视点图像的所述部分的深度信息，其中，第一视点图像区段、第二视点图像区段以及第二视点深度区段是根据支持多视点编码而不支持深度图编码的标准来格式化的。
28.一种存储有视频信号结构的处理器可读介质，包括第一视点图像区段，包括来自多视点系统中第一视点的第一视点图像的一部分的编 码信息，所述部分是第一视点图像的全部或部分；第二视点图像区段，包括来自多视点系统中第二视点的第二视点图像的一部分的编 码信息，第二视点图像的所述部分与第一视点图案的所述部分相对应；以及第二视点深度区段，包括第二视点深度值的信息，所述第二视点深度值提供了第二 视点图像的所述部分的深度信息，其中，第一视点图像区段、第二视点图像区段以及第二视点深度区段是根据支持多 视点编码而不支持深度图编码的标准来格式化的。
29.—种方法，包括对来自多视点系统中第一视点的第一视点图像的一部分的编码进行解码，所述部分 是第一视点图像的全部或部分；确定来自多视点系统中第二视点的第二视点图像的一部分与第一视点图像的所述部 分相对应，其中，所述确定基于第二视点深度值，所述第二视点深度值提供了第二视点 图像的所述部分的深度信息；以及使用来自第一视点图像的解码部分的信息来对第二视点图像的所述部分的编码进行 解码。
30.根据权利要求29所述的方法，其中对第二视点图像的所述部分进行解码包括读取指示以下情况的标志将使用第一视 点图像的所述部分的重构，来重构第二视点图像的所述部分。
31.根据权利要求30所述的方法，还包括存取照度偏移，所述照度偏移指示第一视点图像的所述部分的照度与第二视点图像 的所述部分的照度之差；以及基于照度偏移来调整第二视点图像的所述部分的重构的照度。
32.根据权利要求29所述的方法，其中对第二视点图像的所述部分进行解码包括使用来自第一视点图像的解码部分的运 动矢量，以及确定第二视点图像的所述部分与所述运动矢量从第二视点图像所指向的参 考图像之间的残差。
33.根据权利要求29所述的方法，还包括处理第二视点深度值。
34.根据权利要求33所述的方法，其中，处理第二视点深度值包括以下操作中的一个 或多个根据接收到的信号来解析第二视点深度值，或对第二视点深度值进行解码。
35.根据权利要求29所述的方法，其中，以根据支持多视点编码而不支持深度图编 码的标准而结构化的格式，来接收第一视点图像的编码部分以及第二视点图像的编码部 分。
36.根据权利要求35所述的方法，其中，所述标准是MVC标准。
37.根据权利要求29所述的方法，其中，第二视点深度值是针对给定的宏块或宏块的 一部分的单个值。
38.根据权利要求29所述的方法，还包括确定第二视点图像的所述部分的视点差矢量，所述视点差矢量指示第二视点图像的所述部分与第一视点图像的所述部分的位置 之差，所述视点差矢量是基于第二视点深度值来确定的。
39.根据权利要求29所述的方法，还包括形成第二视点图像的所述部分的视点差矢量预测值，所述视点差矢量预测值指示第 二视点图像的所述部分与第一视点图像的所述部分的位置之差，所述视点差矢量预测值 是基于第二视点深度值来确定的；以及基于视点差矢量预测值来对视点差矢量进行解码。
40.根据权利要求29所述的方法，包括基于根据深度而得到的、针对第一视点图像的所述部分的视点差矢量，来形成视点 差矢量预测值；以及基于视点差矢量预测值来对视点差矢量进行解码。
41.根据权利要求29所述的方法，其中，所述方法是在解码器中实现的。
42.根据权利要求29所述的方法，其中，所述方法是在编码器中作为编码过程的一部 分而实现的。
43.—种设备，包括用于对来自多视点系统中第一视点的第一视点图像的一部分的编码进行解码的装 置，所述部分是第一视点图像的全部或部分；用于确定来自多视点系统中第二视点的第二视点图像的一部分与第一视点图像的所 述部分相对应的装置，其中，所述确定基于第二视点深度值，所述第二视点深度值提供 了第二视点图像的所述部分的深度信息；以及用于使用来自第一视点图像的解码部分的信息来对第二视点图像的所述部分的编码 进行解码的装置。
44.一种处理器可读介质，在所述处理器可读介质上存储有用于使处理器执行至少以 下操作的指令对来自多视点系统中第一视点的第一视点图像的一部分的编码进行解码，所述部分 是第一视点图像的全部或部分；确定来自多视点系统中第二视点的第二视点图像的一部分与第一视点图像的所述部 分相对应，其中，所述确定基于第二视点深度值，所述第二视点深度值提供了第二视点 图像的所述部分的深度信息；以及使用来自第一视点图像的解码部分的信息来对第二视点图像的所述部分的编码进行 解码。
45.一种设备，包括被配置为执行至少以下操作的处理器对来自多视点系统中第一视点的第一视点图像的一部分的编码进行解码，所述部分 是第一视点图像的全部或部分；确定来自多视点系统中第二视点的第二视点图像的一部分与第一视点图像的所述部 分相对应，其中，所述确定基于第二视点深度值，所述第二视点深度值提供了第二视点 图像的所述部分的深度信息；以及使用来自第一视点图像的解码部分的信息来对第二视点图像的所述部分的编码进行 解码。
46.—种设备，包括视差转换器，用于确定来自多视点系统中第二视点的第二视点图像的一部分与来自 多视点系统中第一视点的第一视点图像的所述部分相对应，第一视点图像的所述部分是 所述第一视点图像的全部或部分其中，所述确定基于第二视点深度值，所述第二视点深 度值提供了第二视点图像的所述部分的深度信息；以及解码单元，用于使用来自第一视点图像的解码部分的信息来对第二视点图像的所述 部分的编码进行解码。
47.—种设备，包括解调器，用于接收并解调信号，所述信号包括来自多视点系统中第一视点的第一视 点图像的一部分的编码，第一视点图像的所述部分是所述第一视点图像的全部或部分， 所述信号包括来自多视点系统中第二视点的第二视点图像的一部分的编码；视差转换器，用于确定第二视点图像的所述部分与第一视点图像的所述部分相对 应，所述确定基于第二视点深度值，所述第二视点深度值提供了第二视点图像的所述部 分的深度信息；以及解码单元，用于使用来自第一视点图像的解码部分的信息来对第二视点图像的所述 部分的编码进行解码。
全文摘要
描述了多种实现方式。若干实现方式涉及使用深度信息来确定对应参考块的一个或多个编码模式。根据总体方面，对来自多视点系统中第一视点的第一视点图像的一部分进行编码。所述部分是第一视点图像的全部或部分。确定来自多视点系统中第二视点的第二视点图像的一部分与第一视点图像的所述部分相对应。所述确定基于第二视点深度值，所述第二视点深度值提供了第二视点图像的所述部分的深度信息。使用通过对第一视点图像的所述部分进行编码而得到的信息来对第二视点图像的所述部分进行编码。
文档编号H04N7/50GK102017627SQ200980114390
公开日2011年4月13日 申请日期2009年4月23日 优先权日2008年4月25日
发明者尹鹏, 普尔温·比贝哈斯·潘迪特, 田冬 申请人:汤姆森许可贸易公司