视频和深度编码的制作方法

专利名称：视频和深度编码的制作方法
技术领域：
描述了涉及编码系统的实现方式。多种具体的实现方式涉及视频和深度编码。
背景技术：
已广泛认识到多视点视频编码(MVC)适用于多种应用的关键技术，这些应用包括 例如自由视点和三维(3D)视频应用、家庭娱乐和监控。深度数据可与每个视点相关联。对 于创建额外视点的视点合成来说深度数据是有用的。在多视点应用中，所涉及的视频和深 度数据的量可能是庞大的。因此，需要一种框架来帮助提高对例如使用深度数据或者对独 立视点执行同时联播的当前视频编码方案的编码效率。

发明内容
根据一个总地方面，选择一图片的视频信息的分量。针对所选视频信息或者针对 所述图片的深度信息确定运动向量。基于所确定的运动向量对所选视频信息编码。基于所 确定的运动向量对所述深度信息编码。生成指示所选视频信息和所述深度信息各自基于所 确定的运动向量被编码的指示符。生成一个或多个数据结构，所述数据结构总地包括经编 码的视频信息、经编码的深度信息和所生成的指示符。根据另一个总地方面，一种信号被格式化来包括数据结构。该数据结构包括一图 片的经编码的视频信息、所述图片的经编码的深度信息、以及一指示符。该指示符指示所述 经编码的视频信息和所述经编码的深度信息是基于针对视频信息或针对深度信息所确定 的运动向量而被编码的。根据另一个总地方面，接收数据，所述数据包括一图片的视频分量的经编码的视 频信息、所述图片的经编码的深度信息、以及指示所述经编码的视频信息和所述经编码的 深度信息基于针对视频信息或针对深度信息所确定的运动向量而被编码的指示符。生成在 对所述经编码的视频信息和所述经编码的深度信息解码时使用的运动向量。基于所生成的 运动向量对所述经编码的视频信息进行解码来产生所述图片的经解码的视频信息。基于所 生成的运动向量对所述经编码的深度信息进行解码来产生所述图片的经解码的深度信息。在附图和下面的描述中阐述了一种或多种实现方式的细节。即使以一种特定方式 进行了描述，也应当清楚可以以多种方式配置或实现这些实现方式。例如，一种实现方式可 以作为方法执行，或者实现为设备，例如，配置来执行一组操作的设备或者存储用于执行一 组操作的指令的设备，或者实现在信号中。结合附图和权利要求书，从下面的详细描述中将 清楚其他方面和特征。


图1是具有八个视点(view)的多视点视频编码系统的编码结构的实现方式的示 图。图2是具有三个视点的多视点视频加深度编码系统的编码结构的实现方式的示 图。图3是对视点i的深度数据的预测的实现方式的框图。图4是用于编码多视点视频内容和深度的编码器的实现方式的框图。图5是用于解码多视点视频内容和深度的解码器的实现方式的框图。图6是视频发送器的实现方式的框图。图7是视频接收器的实现方式的框图。图8是视点和深度数据的排序的实现方式的示图。图9是视点和深度数据的排序的另一种实现方式的示图。图10是编码过程的实现方式的流程图。图11是编码过程的另一种实现方式的流程图。图12是编码过程的又一种实现方式的流程图。图13是解码过程的实现方式的流程图。图14是解码过程的另一种实现方式的流程图。图15是编码器的另一种实现方式的框图。图16是解码过程的另一种实现方式的流程图。图17是解码器的另一种实现方式的框图。
具体实施例方式在至少一种实现方式中，给出了一种框架用于对多视点视频加深度数据进行编 码。另外，还提出了可以提高对视频和深度数据进行编码的编码效率的多种方式。此外，还 描述了深度信号可以使用另一深度信号和视频信号来提高编码效率的方法。所解决的多个问题之一是对多视点视频序列进行高效编码。多视点视频序列是从 不同视点捕捉同一场景的一组两个或更多个视频序列。尽管可将深度数据与多视点内容的 每个视点相关联，但是在一些多视点视频编码应用中视频和深度数据的量可能是庞大的。 因此，需要一种框架来帮助提高对例如使用深度数据或者对独立视点执行同时联播的当前 视频编码方案的编码效率。由于多视点视频源包括同一场景的多个视点，所以一般在多个视点图像之间存在 高度相关性。因此，除时间冗余外还可以利用视点冗余，并且这是通过在不同视点之间执行 视点预测来实现的。在一个实际情景中，将使用不同种类的相机或者未完美校准的相机构建包括大量 相机的多视点视频系统。对于如此多的相机，解码器的存储器需求可能增大到非常大的量， 并且还可能增加了复杂度。另外，某些应用可能仅要求对一组视点中的一些视点进行解码。 结果，可能不必完全重构不需要输出的视点。另外，一些视点可能仅承载了深度信息，并且随后利用相关联的深度数据在解码 器出被合成。也可以使用深度数据来生成中间可视视点。
H. 264/AVC的当前多视点视频编码扩展(下文也称作“MVC规范”)规定了仅编码 视频数据的构架。MVC规范利用时间和视点间依赖关系来提高编码效率。图1中示出了具 有8个视点的多视点视频编码系统的示例性编码结构100，该编码结构100是MVC规范所支 持的。图1中的箭头示出了依赖关系结构，其中箭头从参考图片指向基于该参考图片被编 码的图片。在高层，通知语法来指示不同视点之间的预测结构。该语法在表1中示出。具 体而言，根据一种实现方式，表1示出了符合MVC规范的序列参数集合。表 1 为了进一步提高编码效率，提出了诸如照明补偿和运动跳过模式之类的多个工 具。下面简要描述运动跳过工具。多视点视频编码的运动跳过模式提出运动跳过模式来提高多视点视频编码的编码效率。运动跳过模式至少基于如 下概念两个相邻视点之间存在运动相似性。运动跳过模式直接根据同一时刻相邻视点中的对应宏块来推断运动信息，例如， 宏块类型、运动向量和参考索引。该方法可被分解为两个阶段，例如第一阶段中搜索相应 宏块、以及第二阶段中导出运动信息。在该示例的第一阶段中，使用全局不等向量(global disparity vector，⑶V)来指示相邻视点的图片中的对应位置。该方法利用该全局不等向 量来定位向量视点中的对应宏块。全局不等向量是在当前图片和向量视点的图片之间以宏 块大小为单位测量出的，从而GDV是指示宏块大小单位的位置的粗略向量。可以周期地估 计和解码该全局不等向量，例如每个锚定图片(anchor picture)。在该情形中，可以利用来 自锚定图片的最近全局不等向量来对非锚定图片的全局不等向量进行插值。例如，当前图 片c的GDV为GDVc = wl*⑶Vl+w2*GDV2，其中wl和w2是基于当前图片分别与锚定图片1 和锚定图片2之间的距离的倒数的加权因子。在第二阶段中，从向量视点的图片中的对应 宏块导出运动信息，并且拷贝该运动信息以应用到当前宏块。对于在当前宏块被定位于联合多视点视频模型(JMVM)中定义的基本视点的图片中或者锚定图片中的情形，优选禁用运动跳过模式。这是因为来自邻居视点的图片被用来 给出用于帧间预测处理的另一种方法。即，对于运动跳过模式，意在借用来自参考视点的编 码模式/帧间预测信息。但是基本视点不具有参考视点，而锚定图片是帧内编码的，所以没 有执行帧间预测。因此，对于这些情形优选禁用MSM0注意，在JMVM中，GDV被发送。为了向解码器通知使用运动跳过模式，例如在多视点视频编码的宏块层语法的头 部中包括了一个新的标志，motion_skip_flag。如果motion_skip_f lag被开启，则当前宏 块从相邻视点的对应宏块中导出宏块类型、运动向量和参考索引。与视频数据分离的编码深度数据联合视频组(JVT)正工作的当前多视点视频编码规范规定了仅编码视频数据的 框架。结果，不能完全支持要求利用深度来生成中间视点(例如，自由视点TV(FTV)、浸入式 媒体和3D电话会议)的应用。在该框架中，随后可将重构的视点用作视点的时间预测之外 的视点间参考。图1根据本原理的一种实现方式示出了本原理可应用到的、具有八个视点 的多视点视频编码系统的示例性编码结构100。在至少一种实现方式中，提出了在多视点视频编码框架中添加深度。深度信号也 可以使用与用于每个视点的视频信号的框架类似的框架。这可以通过将深度考虑为另一组 视频数据并且利用用于视频数据的同一组工具来实现。图2根据本原理的一种实现方式示 出了本原理可应用到的、具有三个视点的多视点视频加深度编码系统的另一个示例性编码 结构200(从上到下示出了 前2行图片中第一视点的视频和深度、中间两行图片中第二视 点的视频和深度、后两行图片中第三视点的视频和深度)。在该示例的框架中，仅深度编码将使用来自运动跳过和视点间预测的深度数据的 信息，而视频编码不使用。这种具体实现方式意在独立于视频信号对深度数据进行编码。 然而，可以以运动跳过和视点间预测被应用到视频信号的类似方式来将它们应用到深度信 号。为了提高编码深度数据的编码效率，提出了视点i的深度数据可以使用以下信息来自 时间j的其他深度数据的边信息(side information)，例如视点间预测和运动信息(运动 跳过模式)、视点合成信息等；以及来自与视点i相对应的关联视频数据的这种边信息。图3 示出了视点i的深度数据的预测300。T0、T1和T2对应于不同的时间实例。尽管示出了在 从视点i的视频数据和视点j的深度数据预测时仅可从同一时间实例预测视点i的深度， 但是这仅是一个实施例。其他系统可以挑选使用任何时间实例。另外，其他系统和实现方 式可以来自从多个视点和时间实例的深度数据和/或视频数据的信息的组合来预测视点i 的深度数据。为了指示视点i的深度数据是否使用来自其相关联的视频数据视点i或来自另一 视点j的深度数据的运动模式和其他预测信息，提出了利用语法元素来对此进行指示。语 法元素可以是例如在宏块级通知的，或者是以属于深度数据的当前网络抽象层(NAL)单元 为条件的。当然，这种通知也可以在另一级别发生，同时维持本原理的精神。表2根据一种实现方式示出了运动跳过模式的宏块层的语法元素。表2 如果参考图片(深度或视频)的分辨率低于当前正被编码的深度图片，则编码器 可以选择不根据该参考图片执行运动和模式解释。有多种可将深度信息发送到解码器的方法。下面为了说明目的而描述这些方法中 的若干种。但是，应当理解本原理不限于仅下面的方法，因此也可以使用其他方法来将深度 信息发送给解码器，同时维持本原理的精神。图4根据本原理的一种实现方式示出了本原理可应用到的一种示例性多视点视 频编码(MVC)编码器400。编码器400包括组合器405，组合器405的输出以信号通信方式 与变换器410连接。变换器410的输出以信号通信方式与量化器415的输入连接。量化器 415的输出以信号通信方式与熵解码器420的输入和逆量化器425的输入连接。逆量化器 425的输出以信号通信方式与逆变换器430的输入连接。逆变换器430的输出以信号通信 方式与组合器435的第一正相输入连接。组合器435的输出以信号通信方式与帧内预测器 445的输入和解块滤波器450的输入连接。解块滤波器450的输出以信号通信方式与参考 图片存储单元455 (用于视点i)的输入连接。参考图片存储器455的输出以信号通信方式 与运动补偿器475的第一输入和运动估计器480的第一输入连接。运动估计器480的输出 以信号连接方式与运动补偿器475的第二输入连接。参考图片存储单元460 (用于其他视点)的输出以信号通信方式与不等/照明估 计器470的第一输入和不等/照明补偿器465的第一输入连接。不等/照明估计器470的 输出以信号连接方式与不等/照明补偿器465连接。熵解码器420的输出可用作编码器400的输出。组合器405的同相输入可用作编 码器400的输入，并且以信号通信方式与不等/照明估计器470的第二输入以及运动估计 器480的第二输入连接。开关485包括以信号通信方式与运动补偿器475的输出连接的第 一输入、以信号通信方式与不等/照明补偿器465的输出连接的第二输入、以及以信号通信 方式与帧内预测器445的输出连接的第三输入。模式判决模块440的输出连接到开关485，用于控制开关485选择哪个输入。图5根据本原理的一种实现方式示出了本原理可应用到的示例性多视点视频编 码(MVC)解码器。解码器500包括熵解码器505，熵解码器505的输出以信号通信方式与逆 量化器510的输入连接。该逆量化器的输出以信号通信方式与逆变换器515的输入连接。 逆变换器515的输出以信号通信方式与组合器520的第一同相输入连接。组合器520的输 出以信号通信方式与解块滤波器525的输入和帧内预测器530的输入连接。解块滤波器 525的输出以信号通信方式与参考图片存储单元540 (用于视点i)的输入连接。参考图片 存储单元540的输出以信号通信方式与运动补偿器535的第一输入连接。参考图片存储单元545 (用于其他视点)的输出以信号通信方式与不等/照明补 偿器550的第一输入连接。熵解码器505的输入可用作到解码器500的输入，用于接收残余比特流。此外，模 式模块560的输入也可用作到解码器500的输入，用于接收控制语法，控制语法用来控制开 关555选择哪个输入。此外，运动补偿器535的第二输入用作解码器500的输入，用于接收 拥到向量。另外，不等/照明补偿器550的第二输入可用作解码器500的输入，用于接收不 等向量和照明补偿语法。开关555的输出以信号通信方式与组合器520的第二同相输入连接。开关555的
12第一输入以信号通信方式与不等/照明补偿器550的输出连接。开关555的第二输入以信 号通信方式与运动补偿器535的输出连接。开关555的第三输入以信号通信方式与帧内预 测器503的输出连接。模式模块560的输出以信号通信方式与开关555连接，用于控制开 关555选择哪个输入。解块滤波器525的输出可用作该解码器的输出。图6根据本原理的一种实现方式示出了本原理可应用到的视频发送系统600。视 频发送系统600例如可以是头端或者发送系统，用于利用诸如卫星、线缆、电话线或者陆地 广播之类的多种媒介来发送信号。可以通过因特网或者一些其他网络来提供这种发送。视频发送系统600能够生成并递送包括视频和深度信息的视频内容。这是通过生 成包括视频和深度信息的(一个或多个)经编码信息实现的。视频发送系统600包括编码器610和能够发送经编码信号的发送器620。编码器 610接收视频信息和深度信息，并且从其生成(一个或多个)经编码信号。编码器610可以 是例如上述编码器300。发送器620可以例如适于发送具有代表经编码图片和/或与所述图片相关的信息 的一个或多个比特流的节目信号。典型的发送器执行例如以下功能中的一个或多个提供 纠错编码、对信号中的数据进行交织、使信号中的能量随机化、对一个或多个载波上的信号 进行调制。发送器可以包括天线(未示出)或者与天线接口。图7示出了视频接收系统700的一种实现方式的图示。视频接收系统700可配置 来通过诸如卫星、线缆、电话线或者陆地广播之类的多种媒介接收信号。可通过因特网或者 一些其他网络接收这些信号。视频接收系统700可以是例如蜂窝电话、计算机、机顶盒、电视机，或者接收经编 码视频并且提供例如经解码视频以显示给用户或者存储的其他设备。因此，视频接收系统 700可以将其输出提供给例如电视机的屏幕、计算机监视器、计算机(用于存储、处理或显 示)、或者一些其他存储、处理或显示设备。视频接收系统700能接收和处理包括视频和深度信息的视频内容。这是通过接收 包括视频和深度信息的(一个或多个)经编码信号实现的。视频接收系统700包括能接收经编码信号(例如在本申请的实现方式中描述的信 号)的接收器710和能对所接收的信号解码的解码器720。接收器710可以例如适于接收具有代表经编码图片的多个比特流的节目信号。典 型的接收器执行例如以下功能中的一个或多个接收经调制和编码的数据信号、对来自一 个或多个载波的数据信号解调、对信号中的能量去随机化、对信号中的数据去交织、以及对 信号执行纠错编码。接收器710可以包括天线(未示出)或者与天线接口。解码器720输出包括视频信息和深度信息的视频信号。解码器720可以例如是上 述解码器400。实施例1可以将深度与视频数据以下述方式交织，使得在视点i的视频数据之后，接着是 其相关联的深度数据。图8示出了视点和深度数据的排序800。在该情形中，一个访问单元 可被考虑为包括一个给定时间实例的所有视点的视频和深度数据。为了区分一个网络抽象 层单元的视频和深度数据，提出了例如在较高层添加语法元素，该语法元素指示该切片属 于视频或深度数据。该高层语法可以网络抽象层单元头部、切变头部、序列参数集(SPS)、图片参数集(PPS)、补充增强信息(SEI)消息等中给出。表3中示出了在网络抽象层单元头部 中添加该语法的一个实施例。具体而言，表3根据一个实施例示出了 MVC规范的网络抽象 层单元头部。表3 在一个实施例中，例如在与表2相对应的实施例中，语法元素d印th_flag可以具 有以下语义depth_flag等于0表示网络抽象层单元包括视频数据。depth_flag等于1表示NAL单元包括深度数据。可以针对其他编码标准或者不针对具体的编码标准裁剪其他实现方式。实现方式 可以组织视频和深度数据，以使得对于给定的内容单元深度数据跟随视频数据，或者反之。 内容单元可以是例如来自给定视点的图片序列、来自给定视点的单个图片、或者来自给定 视点的图片的子图片部分(例如，切片、宏块或者子宏块部分)。内容单元可以或者是例如 来自给定时间实例的所有可用视点的图片。实施例2可以独立于视频信号发送深度。图9示出了视点和深度数据的另一个排序900。 所给出的表2中的高层语法改变仍可应用于该情形。应当注意，深度数据仍作为比特流的 一部分与视频数据一起被发送(尽管其他实现方式分离地发送深度数据和视频数据)。可 以进行交织使得针对每个时间实例视频和深度被交织。实施例1和2被认为涉及深度数据的带内发送，因为深度数据被作为比特流的一 部分与视频数据一起被发送。实施例2产生了 2个流(视频一个和深度一个)，这2个流可 在系统级或应用级被合并成一个。实施例2从而允许在合并的流中视频和深度数据的多种 不同配置。此外，这2个分离的流也可以被不同地处理，在深度数据关键的应用中提供例如 对深度数据的额外纠错(与对视频数据的纠错相比)。实施例3
对于不支持深度数据的使用的某些应用可以不要求深度数据。在这些情形中，可 以在带外发送深度数据。这意味着视频和深度数据被去耦合，并且通过任意介质经由分离 的信道发送。深度数据仅对于利用该深度数据来执行视点合成的应用是必须的。结果，即 使深度数据未到达这些应用的接收器，这些应用仍可以正常工作。在使用深度数据的情形中，例如但不限于FTV和侵入式电话会议，可以保证对(带 外发送的)深度数据的接收从而使得应用可以及时地使用深度数据。对作为视频数据分量的深度数据编码假定作为视频编码器的输入的视频信号包括亮度和色度数据。与第一方案不同， 将深度图作为视频信号的附加分量对待。下面给出将H. 264/AVC修改为包括深度图，该深 度图作为亮度和色度数据之外的输出。应当理解，该方法可应用于其他标准、视频编码器和 /或视频解码器，同时维持本原理的精神。在具体实现方式中，视频和深度在同一 NAL单元 中。实施例4与色度分量类似，可以在亮度分量之外的位置处对深度进行采样。在一个实施例 中，可以按照4:2:0,4:2:2和4:4:4对深度进行采样。与H. 264/AVC中的4:4:4简档类似， 可以与亮度/色度分量独立地编码深度分量(独立模式)，或者与亮度/色度分量组合地编 码(组合模式)。为了实现该特征，给出了如表4所示对序列参数集的修改。具体而言，表 4根据一种实现方式示出了能指示深度采样格式的修改后的序列参数集。表 4 d印th_format_idc i吾法元素的语义如下d印th_format_idC将相对于亮度采样的深度采样指定为色度采样位置。d印th_ format_idc的值应在0到3包括0和3的范围内。当d印th_format_idc未出现时，应当推 断其等于0 (无深度图出现)。根据通过d印th_f0rmat_idC指定的深度采样格式表5中指 定 了变量 SubWidthD 和 SubHe ightD。 表 5在该实施例中，ckpth_format_idc和chroma_format_idc应当具有相同的值并且 不等于3，使得深度解码类似于色度分量的解码。包括预测模式的编码模式、以及参考列表 索引、参考索引和运动向量都是从色度分量导出的。语法COded_blOCk_pattern应被扩展 来指示深度变换系数是如何被编码的。一个示例是使用以下公式。CodedBlockPatternLuma = coded_block_pattern% 16CodedBlockPatternChroma = (coded_block_pattern/16)% 4CodedBlockPatternDepth = (coded_block_pattern/16)/4CodedBlockPatternDepth的值O意味着所有深度变换级别都等于O。 CodedBlockPatternDepth的值1意味着一个或多个深度DC变换系数级别应为非零值，并且 所有深度AC变换系数级别都为O。CodedBlockPatternDepth的值2意味着零个或多个深 度DC变换系数级别为非零值，并且一个或多个深度AC变换系数级别应为非零值。深度残 余被如表5中所示编码。表 5
实施例5在本实施例中，d印th_format_idC等于3，即，深度是在与亮度相同的位置被采样 的。包括预测模式的编码模式、以及参考列表索引、参考索引和运动向量都是从亮度分量导 出的。语法c0ded_bl0ck_pattern可以与实施例4中相同的方式被扩展。实施例6在实施例4和5中，运动向量被设置为与亮度分量或色度分量相同。如果可以基 于深度数据对运动向量求精(refine)，则可以提高编码效率。如表6所示给出了运动求精 向量。可以利用本领域中多种已知的或者已开发的技术中的任意技术来执行求精。表6 建议语法的语义如下d印thjn0ti0n_refine_flag指示对于当前宏块是否使能了运动求精。值1意味着 从亮度分量拷贝来的运动向量将被求精。否则，对于当前向量将不执行求精。motion_refinement_listO_x, motion_refinement_listO_y 出现时指示出，如果 对于当前宏块设置了 d印th_m0ti0n_refine，则LISTO运动向量将被与通知的求精向量相 加。motion_refinement_listl_x, motion_refinement_listl_y 出现时指示出，如果 对于当前宏块设置了 d印th_m0ti0n_refine，则LISTl运动向量将被与通知的求精向量相 加。注意，表格中的上述部分在表格中一般用斜体标明。图10根据本原理的一种实现方式示出了用于编码视频和深度信息的一种方法 1000。在S1005(注意，“S”表示步骤，也称作操作，所以“S1005”可读作“步骤S1005，，)，选 择相对于亮度和/或色度的深度采样。例如，所选择的深度采样可以处于与亮度采样位置
18相同的位置或者不同的位置。在S1010，基于视频信息生成运动向量MV115在步骤S1015，利 用运动向量MV1编码视频信息。在S1020，计算出利用MV1的深度编码速率失真成本RD115在S1040，基于深度信息生成运动向量MV2。在S1045，计算出利用MV2的深度编码 速率失真成本RD2。在S1025，判断1^是否小于RD2。如果是，则控制前进到S1030。否则控制前进到 S1050。在S1030，将d印th_data设置为0，并且将MV设置MV115在S1050，将d印th_data设置为1，并且将MV设置MV2。“D印th_data”可被称作标志，并且指示正在使用的运动向量。所以，d印th_data 等于0意味着应当使用来自视频数据的运动向量。即，与当前深度数据相对应的视频数据 被用于当前宏块的运动预测。而d印th_data等于1意味着应当使用来自深度数据的运动向量。S卩，在运动预测 的依赖关系结构中所指示的另一个视点的深度数据被用于当前宏块的运动预测。在S1035，利用MV对深度信息进行编码(d印th_data被封装到比特流中)。在 S1055，判断是否要在带内发送深度。如果是，则控制前进到S1060。否则，控制前进到 S1075。在S1060，判断是否要将深度作为视频分量处理。如果是，则控制前进到S1065。否 则，控制前进到S1070。在S1065，生成数据结构来包括视频和深度信息，同时深度信息被作为(例如，第 四)视频分量处理(例如，通过交织视频和深度信息使得视点i的深度数据跟随在视点i 的视频数据之后)，并且d印th_data被包括在该数据结构中。视频和深度是在宏块级别被 编码的。在S1070，生成数据结构来包括视频和深度信息，同时不将深度信息作为视频分量 处理(例如，通过交织视频和深度信息使得视频和深度信息针对每个时间实例被交织)，并 且d印th_data被包括在该数据结构中。在S1075，生成数据结构来包括视频信息但是不包括深度信息，以便与该数据结构 分离地发送深度信息。D印th_data可被包括在该数据结构中，或者作为分离的深度数据。 注意，可将视频信息包括在任何类型的格式化数据中，而不管该格式化数据被称作数据结 构还是其他。此外，可以生成另一个数据结构来包括深度信息。可以在带外发送深度数据。 注意，d印th_data可与视频数据(例如，在包括视频数据的数据结构中)和/或深度数据 (例如，在包括该深度数据的数据结构中)一起被包括。图11根据本原理的一种实现方式示出了用于编码视频和深度信息的方法。在 S1110，基于视频信息生成运动向量MV115在S1115，利用MV1对视频信息进行编码(例如，通 过确定视频信息和参考图片中的视频信息之间的残余)。在S1120，将MV1求精为MV2来最 佳编码深度。对运动向量进行求精的一个示例包括在由运动向量指向的区域附近执行局部 化搜索来判断是否找到更好的匹配。在S1125，生成求精指示符。在S1130，对经求精的运动向量MV2进行编码。例如， 可以确定MV2与MV1之间的差并对其编码。在一种实现方式中，求精指示符是在宏块层中设置的标志。表6可被修改来提供
19可以如何发送这种标志的示例。表6是早期给出用在将深度作为第四维度处理的实现方式 中的。但是，也可以在不同的、更宽广的上下文中使用表6。在本上下文中，也可以使用表 6，并且可以使用下面的语法语义(而不是在表6中原始给出的语法的语义)。此外，在允许 重新应用表6的语义中，如果d印th_m0ti0n_refine_flag被设置为1，则经编码的MV将被 示为对从视频信号拷贝的运动向量的求精向量。对于对表6的重新应用，所提出的语法的语义如下d印th_m0ti0n_refine_flag指示对于当前宏块是否使能了运动求精。值1意味着 将对从视频信号拷贝的运动向量求精。否则，不执行对运动向量的求精。motion_refinement_listO_x, motion_refinement_list0_y 出现时指示出，如果 对于当前宏块设置了 d印th_m0ti0n_refine，则LISTO运动向量将被与通知的求精向量相 加。motion_refinement_listl_x, motion_refinement_listl_y 出现时指示出，如果 对于当前宏块设置了 d印th_m0ti0n_refine，则LISTl运动向量将被与通知的求精向量相 加。注意，表格中的上述部分在表格中一般用斜体标明。在S1135，利用MV2对残余深度编码。这类似于S1115中对视频的编码。在S1140， 生成数据结构来包括求精指示符(以及视频信息和可选地包括深度信息)。图12根据本原理的一种实现方式示出了在运动向量求精和差值化的情况下对视 频和深度信息编码的方法。在S1210，基于视频信息生成运动向量MV115在S1215，利用MV1 编码视频信息。在S1220，将MV1求精为MV2来最佳编码深度。在S1225，判断驟工是否等于 MV2。如果是，则控制前进到S1230。否则，控制前进到S1255。在S1230，将求精指示符设置为0(假)。在S1235，对该求精指示符编码。在S1240，如果求精指示符被设置为真(根据 S1255)，则对差值运动向量编码(MV2-MV1^在S1245，利用MV2对残余深度编码。在S1250， 生成数据结构来包括该求精指示符(以及视频信息，可选地包括深度信息)。在S1255，将求精指示符设置为1 (真)。图13根据本原理的一种实现方式示出了用于解码视频和深度信息的方法。在 S1302，接收到一个或多个比特流，所述比特流包括图片的视频分量的经编码视频信息、该 图片的经编码深度信息、以及指示符d印th_data (其通知是否通过视频信息或深度信息确 定了运动向量)。在S1305，提取出该图片的视频分量的经编码视频信息。在S1310，从比特 流中提取出该图片的经编码深度信息。在S1315，解析指示符d印th_data。在S1320，判断 d印th_data是否等于0。如果是，则控制前进到S1325。否则，控制前进到S1340。在S1325，基于视频信息生成运动向量MV。在S1330，利用运动向量MV对视频信号解码。在S1335，利用运动向量MV对深度 信号解码。在S1345，输出包括视频和深度信息的图片。在S1340，基于深度信息生成运动向量MV。注意，如果经求精运动向量曾被用于编码深度信息，则在S1335之前，可以提取出 求精信息并且生成经求精的MV。随后在S1335中，可以使用该经求精的MV。参考图14，示出了过程1400。过程1400包括选择图片的视频信息的分量(1410)。该分量可以是例如亮度、色度、红、绿或者蓝。过程1400包括为所选视频信息或者为图片的深度信息确定运动向量(1420)。可 以例如如在图10的操作1010和1040中所述执行操作1420。过程1400包括基于所确定的运动向量对所选视频信息(1430)和深度信息(1440) 进行编码。可以例如分别如在图10中的操作1015和1035中所述执行操作1430和1440。过程1400包括生成指示所选视频信息和深度信息基于所确定的运动向量被编码 的指示符(1450)。可以例如如在图10中的操作1030和1050中所述执行操作1450。过程1400包括生成一个或多个数据结构，所述数据结构总地包括经编码视频信 息、经编码深度信息和所生成的指示符(1460)。可以例如如在图10中的操作1065和1070 中所述执行操作1460。参考图15，示出了设备1500，例如H. 264编码器。现在提供设备1500的结构和操 作的示例。设备1500包括接收要被编码的视频的选择器1510。选择器1510选择图片的视 频信息的分量，并将所选视频信息1520提供给运动向量生成器1530和解码器1540。选择 器1510可以执行过程1500的操作1410。运动向量生成器1530还接收图片的深度信息，并且为所选视频信息1520或该深 度信息确定运动向量。运动向量生成器1530可以以例如类似于图4的运动估计块480的 方式操作。运动向量生成器1530将运动向量1550提供给解码器1540。解码器1540还接收图片的深度信息。解码器1540基于所确定的运动向量对所选 视频信息进行编码，并且基于所确定的运动向量对深度信息进行编码。解码器1540将经编 码的视频信息1560和经编码的深度信息1570提供给生成器1580。解码器1540可以以例 如类似于图4中的块410-435、450、455和475的方式操作。其他实现方式可以例如属于分 离的编码器对视频和深度进行编码。解码器1540可以执行过程1400的操作1430和1440。生成器1580生成指示所选视频信息和深度信息基于所确定的运动向量被编码的 指示符。生成器1580还生成一个或多个数据结构(示作输出1590)，所述数据结构总地包 括经编码视频信息、经编码深度信息和所生成的指示符。生成器1580可以例如以与图4中 的、产生编码器400的输出比特流的熵编码块420类似的方式操作。其他实现方式可以例 如使用分离的生成器来生成指示符和(一个或多个)数据结构。此外，例如可由运动向量 生成器1530或编码器1504生成指示符。生成器1580可以执行过程1400的操作1450和 1460。参考图16，示出了过程1600。过程1600包括接收数据(1610)。该数据包括图片 的视频分量的经编码视频信息、该图片的深度信息、以及指示所述经编码视频信息和经编 码深度信息基于针对该视频信息或深度信息确定的运动向量被编码的指示符。该指示符可 称作运动向量源指示符，其中该源例如是视频信息或深度信息。可以例如如上针对图13中 的操作1302所述执行操作1610。过程1600包括生成用于对经编码视频信息和经编码深度信息进行解码的运动向 量(1620)。可以例如如上针对图13中的操作1340所述执行操作1620。过程1600包括基于所生成的运动向量对经编码视频信息进行解码(1330)来产生 图片的经解码视频信息(1630)。过程1600还包括基于所生成的运动向量对经编码深度信 息进行解码(1335)来产生图片的经解码深度信息(1640)。可以例如分别如上针对图13中的操作1330和1335所述执行操作1630和1640。参考图17，示出了设备1700，例如H. 264解码器。现在提供设备1700的结构和操 作的示例。设备1700包括配置来接收数据的缓冲区1710，所述数据包括(1)图片的视频 分量的经编码视频信息；(2)该图片的经编码深度信息；以及(2)指示所述经编码视频信息 和经编码深度信息基于针对该视频信息或深度信息确定的运动向量被编码的指示符。缓冲 区1710可以例如以与图5的、接收经编码信息的熵解码块505类似的方式操作。缓冲区 1710可以执行过程1600的操作1610。缓冲区1710将经编码视频信息1730、经编码深度信息1740和指示符1750提供给 包括在设备1700中的运动向量生成器1760。运动向量生成器1760生成用于对经编码视 频信息和经编码深度信息进行解码的运动向量1770。注意，运动向量生成器1760可以以 多种方式生成运动向量1770，包括基于先前接收到的视频和/或深度数据来生成运动向量 1660、或者通过拷贝已针对先前接收到的视频和/或深度数据生成的运动向量来生成运动 向量1660。运动向量生成器1760可以执行过程1600的操作1620。运动向量生成器1760 将运动向量1770提供给解码器1780。解码器1780还接收经编码视频信息1730和经编码深度信息1740。解码器1780 配置来基于所生成的运动向量1770对经编码视频信息1730进行解码来产生图片的经解码 视频信息。解码器1780还配置来基于所生成的运动向量1770对经解码深度信息1740进 行解码来产生图片的经解码深度信息。经解码视频和深度信息在图17中被示为输出1790。 输出1790可以以多种方式和数据结构被格式化。此外，经解码视频和深度信息不需要作为 输出被提供，或者作为替换可以在输出之前被转换成另一种格式(例如适于在屏幕上显示 的格式)。解码器1780可以例如以与图5中的、对所接收的数据进行解码的块510-525、535 和540类似的方式操作。解码器1780可以执行过程1600的操作1630和1640。这里从而提供了多种实现方式。这些实现方式包括例如(1)使用来自对视频数 据进行编码的信息来对深度数据进行编码；(2)使用来自对深度数据进行编码的信息来对 视频数据进行编码；(3)将深度数据作为第四(或者附加)维度或分量来与视频的Y、U和 V —起编码；以及/或者(4)将深度数据作为与视频数据分离的信号进行编码。此外，这些 实现方式可用在多视点视频编码框架的上下文中、另一种标准的上下文中、或者在不涉及 标准的上下文中(例如推荐等)。从而提供了具有特定特征和方面的一种或多种实现方式。然而，所述实现方式的 特征和方面也可以适用于其他实现方式。这些实现方式可以利用多种技术来通知信息，所 述技术包括但不限于SEI消息、其他高层语法、非高层语法、带外信息、数据流数据和隐含 的信号通知。另外，尽管在特定上下文中描述了这里所述的实现方式，但是这些描述绝不应 被作为对这些实现方式或上下文的特征和概念的限制。另外，许多实现方式可以被实现在编码器和解码器之一或二者中。在说明书中提到本原理的“一个实施例”、“实施例”、“一种实现方式”或者“实现方 式”以及它们的其他变体意指结合该实施例描述的特定特征、结构、特性等被包括在本原理 的至少一个实施例。因此，在整个说明书中多个地方出现短语“在一个实施例中”、“在实施 例中”、“在一种实现方式中”或者“在实现方式中”以及任意其他变体不一定指同一实施例。应当理解，使用“/”、“和/或”和“XXX中的至少一个”(例如，在“A/B”、“A和/或
22B”和“A和B中至少一个”的情形中)意图包括仅选择第一列出选项(A)、仅选择第二列出 选项(B)、或者选择两个选项(A和B)。作为另一个示例，在“A、B和/或C”和“A、B和C中 至少一个”的情形中，这种短语用法意图包括仅选择第一列出选项(A)、仅选择第二列出选 项(B)、仅选择第三列出选项(C)、仅选择第一和第二列出选项(A和B)、仅选择第一和第三 列出选项(A和C)、仅选择第二和第三列出选项(B和C)、或者选择所有三个选项(A和B和 C)。对于多个列出项目这可以相应扩展，本领域和相关领域技术人员能够容易地明白这点。这里所述的实现方式可以实现在例如方法或过程、设备、或者软件程序中。即使仅 在一种实现方式的上下文中进行了讨论(例如，仅作为方法进行了讨论)，也可以以其他形 式(例如，设备或程序)实现这里所述的特征的实现方式。设备可以在例如合适的硬件、软 件和固件中实现。方法可以在例如设备中，设备例如是一般称作处理设备的处理器，包括例 如计算机、微处理器、集成电路、或者可编程逻辑器件。处理器还可以包括通信设备，例如计 算机、蜂窝电话、便携式/个人数字助理(“PDA”)和实现最终用户之间的信息传输的其他 设备。这里所述的各个过程和特征的实现方式可以实现在多种不同的装备和应用中，具 体而言，例如与数据编码和解码相关联的装备或应用中。装备的示例包括视频编码器、视频 解码器、视频编解码器、web服务器、机顶盒、膝上型计算机、个人计算机、蜂窝电话、PDA和 其他通信设备。应当清楚，装备可以是移动的甚至于安装在移动车辆中。另外，方法可通过由处理器执行的指令实现，并且这种指令(和/或由实现方式产 生的数据值)可存储在处理器可读介质中，例如集成电路、软件载体或其他存储设备中，所 述其他存储设备例如是硬盘、光盘、随机存取存储器(“RAM”)或只读存储器(“ROM”)。指 令可形成有形包含在处理器可读介质中的应用程序。指令可以在例如硬件、固件、软件或者 其组合中。可以在例如操作系统、分离的应用或者二者中找到指令。处理器可被表征为例 如配置来执行过程的设备和包括具有用于执行过程的指令的处理器可读介质的设备二者。本领域技术人员将明白，这些实现方式可以产生格式化来承载例如可被存储或发 送的信息的多种信号。信息可包括例如用于执行方法的指令、或者由上述实现方式之一产 生的数据。例如，信号可被格式化来承载用于写或者读所述实施例的语法的规则作为数据， 或者承载由所述实施例写入的实际语法值作为数据。这样的信号可被格式化为例如电磁波 (例如，使用频谱的射频部分)或者基带信号。格式化可以包括例如对数据流进行编码和利 用经编码数据流对载波进行调制。信号承载的信息可以例如是模拟信号或者数字信号。可 以通过已知的多种不同有线或无线链路发送信号。已描述了多种实现方式。但是，将理解可以作出多种修改。例如，不同实现方式的 元素可被组合、补充、修改或者移除来得到其他实施例。另外，本领域技术人员将理解，可以 用其他结构和过程来替换这里公开的那些，从而得到的实现方式将以(一种或多种)至少 基本相同的方式来执行(一种或多种)至少基本相同的功能，来实现(一个或多个)与这 里公开的实现方式至少基本相同的结果。因此，这些和其他实现方式可由本申请所预期，并 且在所附权利要求书的范围内。
权利要求
一种方法，包括选择(1410)一图片的视频信息的分量；针对所选视频信息或者针对所述图片的深度信息确定(1420，1010，1040)运动向量；基于所确定的运动向量对所选视频信息编码(1430，1015)；基于所确定的运动向量对所述深度信息编码(1440，1035)；生成(1450，1030，1050)指示所选视频信息和所述深度信息基于所确定的运动向量被编码的指示符；以及生成(1460，1065，1070)一个或多个数据结构，所述数据结构总地包括经编码的视频信息、经编码的深度信息和所生成的指示符。
2.如权利要求1所述的方法，其中基于所确定的运动向量对所选视频信息编码包括确定(1015)所选视频信息和一参考 视频图片中的视频信息之间的残余，其中所述参考视频图片中的视频信息由所确定的运动 向量指向；并且基于所确定的运动向量对所述深度信息编码包括确定(1035)所述深度信息和一参考 深度图片中的深度信息之间的残余，其中所述参考深度图片中的深度信息由所确定的运动 向量指向。
3.如权利要求1所述的方法，其中确定运动向量包括针对所选视频信息确定(1010,1110)所述运动向量，基于所确定的运动向量对所选视频信息编码包括确定(1015,1115)所选视频信息和 一参考视频图片中的视频信息之间的残余，其中所述参考视频图片中的视频信息由所确定 的运动向量指向，并且基于所确定的运动向量对所述深度信息编码包括对所确定的运动向量求精(1120)来产生经求精运动向量；以及确定(1135)所述深度信息和一参考深度图片中的深度信息之间的残余，其中所述参 考深度图片中的深度信息由所述经求精运动向量指向。
4.如权利要求3所述的方法，还包括生成(1230,1255)指示所确定的运动向量和所述经求精运动向量之间的差值的求精 指示符；以及将所述求精指示符包括(1140,1250)到所生成的数据结构中。
5.如权利要求1所述的方法，其中所述图片是帧中的宏块。
6.如权利要求1所述的方法，还包括生成(1030,1050)对所述图片中的一特定切片属 于所选视频信息或所选深度信息的指示，并且其中所述数据结构还包括对于所述特定切片 的所生成的所述指示。
7.如权利要求6所述的方法，其中所述指示是利用至少一个高层语法元素提供的。
8.如权利要求1所述的方法，其中所述图片对应于多视点视频内容，并且所述数据结 构是通过如下操作生成的对所述图片的给定视点的所述深度信息和所选视频信息进行交 织，以使得所述图片的所述给定视点的所述深度信息跟随在所述图片的所述给定视点的所 选视频信息之后(1065)。
9.如权利要求1所述的方法，其中所述图片对应于多视点视频内容，并且所述数据结构是通过如下操作生成的对在给定时间实例处所述图片的给定视点的所述深度信息和所 选视频信息进行交织，以使得在所述给定时间实例处所述图片的给定视点的经交织后的深 度信息和所选视频信息在所述给定时间实例处所述图片的另一视点的经交织后的深度信 息和所选视频信息之前(1065)。
10.如权利要求1所述的方法，其中所述图片对应于多视点视频内容，并且所述数据结 构是通过如下操作生成的对所述深度信息和所选视频信息进行交织，以使得所述深度信 息和所选视频信息针对每个时间实例按照视点被交织(1070)。
11.如权利要求1所述的方法，其中所述图片对应于多视点视频内容，并且所述数据结 构是通过如下操作生成的对所述深度信息和所选视频信息进行交织，以使得多个视点的 深度信息和多个视点的所选视频信息针对每个时间实例被交织。
12.如权利要求1所述的方法，其中所述数据结构是通过将所述深度信息布置为所选 视频信息的附加分量而生成的，所选视频信息还包括至少一个亮度分量和至少一个色度分 量(1065)。
13.如权利要求1所述的方法，其中相同采样被用于所述深度信息和视频信息的所选分量。
14.如权利要求13所述的方法，其中视频信息的所选分量是亮度分量或色度分量 (1005)。
15.如权利要求1所述的方法，其中所述方法是由编码器执行的。
16.一种设备，包括 用于选择一图片的视频信息的分量的装置；用于针对所选视频信息或者针对所述图片的深度信息确定运动向量的装置；用于基于所确定的运动向量对所选视频信息编码的装置；用于基于所确定的运动向量对所述深度信息编码的装置；用于生成指示所选视频信息和所述深度信息基于所确定的运动向量被编码的指示符 的装置；以及用于生成一个或多个数据结构的装置，所述数据结构总地包括经编码的视频信息、经 编码的深度信息和所生成的指示符。
17.—种处理器可读介质，其上存储的指令用于使处理器执行至少以下步骤选择一图片的视频信息的分量；针对所选视频信息或者针对所述图片的深度信息确定(1010,1040)运动向量；基于所确定的运动向量对所选视频信息编码(1015)；基于所确定的运动向量对所述深度信息编码(1035)；生成(1030,1050)指示所选视频信息和所述深度信息基于所确定的运动向量被编码 的指示符；以及生成(1065,1070) —个或多个数据结构，所述数据结构总地包括经编码的视频信息、 经编码的深度信息和所生成的指示符。
18.一种设备，包括处理器，所述处理器配置来执行至少以下步骤选择一图片的视频信息的分量；针对所选视频信息或者针对所述图片的深度信息确定(1010,1040)运动向量；3基于所确定的运动向量对所选视频信息编码(1015)；基于所确定的运动向量对所述深度信息编码(1035)；生成(1030,1050)指示所选视频信息和所述深度信息基于所确定的运动向量被编码 的指示符；以及生成(1065,1070) —个或多个数据结构，所述数据结构总地包括经编码的视频信息、 经编码的深度信息和所生成的指示符。
19.一种设备(1500)，包括选择器(1510)，用于选择一图片的视频信息的分量；运动向量生成器(1530)，用于针对所选视频信息或者针对所述图片的深度信息确定运 动向量；编码器(1540)，用于基于所确定的运动向量对所选视频信息编码，并且用于基于所确 定的运动向量对所述深度信息编码；以及生成器(1580)，用于生成指示所选视频信息和所述深度信息基于所确定的运动向量被 编码的指示符，并且用于生成一个或多个数据结构，所述数据结构总地包括经编码的视频 信息、经编码的深度信息和所生成的指示符。
20.如权利要求19所述的设备，其中所述设备包括一编码器，该编码器包括所述选择 器、所述运动向量生成器、所述编码器、指示符生成器和流生成器。
21.一种信号，该信号被格式化以包括数据结构，所述数据结构包括一图片的经编码的 视频信息、所述图片的经编码的深度信息、以及指示所述经编码的视频信息和所述经编码 的深度信息基于针对所述视频信息或针对所述深度信息所确定的运动向量而被编码的指 示符。
22.一种处理器可读介质，其上存储有数据结构，所述数据结构包括一图片的经编码的 视频信息、所述图片的经编码的深度信息、以及指示所述经编码的视频信息和所述经编码 的深度信息基于针对所述视频信息或针对所述深度信息所确定的运动向量而被编码的指 示符。
23.一种方法，包括接收(1610,1302)数据，所述数据包括一图片的视频分量的经编码的视频信息、所述 图片的经编码的深度信息、以及指示所述经编码的视频信息和所述经编码的深度信息基于 针对所述视频信息或针对所述深度信息所确定的运动向量而被编码的指示符；生成(1620，1325，1340)在对所述经编码的视频信息和所述经编码的深度信息解码时 使用的运动向量；基于所生成的运动向量对所述经编码的视频信息进行解码(1630,1330)来产生所述 图片的经解码的视频信息；以及基于所生成的运动向量对所述经编码的深度信息进行解码(1640,1335)来产生所述 图片的经解码的深度信息。
24.如权利要求23所述的方法，还包括生成(1345)包括所述经解码的视频信息和所述经解码的深度信息的数据结构；存储所述数据结构以用在至少一个解码中；以及显示所述图片的至少一部分。
25.如权利要求23所述的方法，还包括接收(1302)在所接收到的数据结构中的、对所 述图片中的一特定切片属于所述经编码的视频信息或所述经编码的深度信息的指示。
26.如权利要求25所述的方法，其中所述指示是利用至少一个高层语法元素提供的。
27.如权利要求23所述的方法，其中所接收到的数据是与被布置为所述图片的额外视 频分量的所述经编码的深度信息一起接收到的。
28.如权利要求23所述的方法，其中所述方法是由解码器(500，720)执行的。
29.一种设备，包括用于接收数据的装置，所述数据包括一图片的视频分量的经编码的视频信息、所述图 片的经编码的深度信息、以及指示所述经编码的视频信息和所述经编码的深度信息基于针 对所述视频信息或针对所述深度信息所确定的运动向量而被编码的指示符；用于生成在对所述经编码的视频信息和所述经编码的深度信息解码时使用的运动向 量的装置；用于基于所生成的运动向量对所述经编码的视频信息进行解码来产生所述图片的经 解码的视频信息的装置；以及用于基于所生成的运动向量对所述经编码的深度信息进行解码来产生所述图片的经 解码的深度信息的装置。
30.一种处理器可读介质，其上存储的指令用于使处理器执行至少以下步骤接收(1302)数据，所述数据包括一图片的视频分量的经编码的视频信息、所述图片的 经编码的深度信息、以及指示所述经编码的视频信息和所述经编码的深度信息基于针对所 述视频信息或针对所述深度信息所确定的运动向量而被编码的指示符；生成(1325,1340)在对所述经编码的视频信息和所述经编码的深度信息解码时使用 的运动向量；基于所生成的运动向量对所述经编码的视频信息进行解码(1330)来产生所述图片的 经解码的视频信息；以及基于所生成的运动向量对所述经编码的深度信息进行解码(1335)来产生所述图片的 经解码的深度信息。
31.一种设备，包括处理器，所述处理器配置来执行至少以下步骤接收(1302)数据，所述数据包括一图片的视频分量的经编码的视频信息、所述图片的 经编码的深度信息、以及指示所述经编码的视频信息和所述经编码的深度信息基于针对所 述视频信息或针对所述深度信息所确定的运动向量而被编码的指示符；生成(1325,1340)在对所述经编码的视频信息和所述经编码的深度信息解码时使用 的运动向量；基于所生成的运动向量对所述经编码的视频信息进行解码(1330)来产生所述图片的 经解码的视频信息；以及基于所生成的运动向量对所述经编码的深度信息进行解码(1335)来产生所述图片的 经解码的深度信息。
32.一种设备(1770)，包括缓冲器(1710)，用于接收数据，所述数据包括一图片的视频分量的经编码的视频信息、 所述图片的经编码的深度信息、以及指示所述经编码的视频信息和所述经编码的深度信息基于针对所述视频信息或针对所述深度信息所确定的运动向量而被编码的指示符；运动向量生成器(1760)，用于生成在对所述经编码的视频信息和所述经编码的深度信 息解码时使用的运动向量；以及解码器(1780)，用于基于所生成的运动向量对所述经编码的视频信息进行解码来产生 所述图片的经解码的视频信息，并且用于基于所生成的运动向量对所述经编码的深度信息 进行解码来产生所述图片的经解码的深度信息。
33.如权利要求32所述的设备，还包括组装器(525)，用于生成包括所述经解码的视频 信息和所述经解码的深度信息的数据结构。
34.如权利要求32所述的设备，其中所述设备包括一解码器，所述解码器包括所述缓 冲器、所述运动向量生成器和解码器。
35.一种设备，包括解调器(710)，其被配置来接收并解调信号，所述信号包括一图片的视频分量的经编码 的视频信息、所述图片的经编码的深度信息、以及指示所述经编码的视频信息和所述经编 码的深度信息基于针对所述视频信息或针对所述深度信息所确定的运动向量而被编码的 指示符；以及解码器(720)，其被配置来执行至少以下步骤生成在对所述经编码的视频信息和所述经编码的深度信息解码时使用的运动向量， 基于所生成的运动向量对所述经编码的视频信息进行解码来产生所述图片的经解码 的视频信息，并且基于所生成的运动向量对所述经编码的深度信息进行解码来产生所述图片的经解码 的深度信息。
36.一种设备，包括编码器(400，610)，其被配置来执行以下步骤 选择一图片的视频信息的分量，针对所选视频信息或者针对所述图片的深度信息确定运动向量， 基于所确定的运动向量对所选视频信息编码， 基于所确定的运动向量对所述深度信息编码，生成指示所选视频信息和所述深度信息基于所确定的运动向量被编码的指示符，以及 生成一个或多个数据结构，所述数据结构总地包括经编码的视频信息、经编码的深度 信息和所生成的指示符；以及调制器，其被配置来调制并发送所述数据结构。
全文摘要
描述了多种实现方式。若干实现方式涉及视频和深度编码。一种方法包括选择一图片的视频信息的分量。针对所选视频信息或者针对所述图片的深度信息确定运动向量(1010，1040)。基于所确定的运动向量对所选视频信息编码(1015)。基于所确定的运动向量对所述深度信息编码(1035)。生成指示所选视频信息和所述深度信息基于所确定的运动向量被编码的指示符(1030，1050)。生成一个或多个数据结构，所述数据结构总地包括经编码的视频信息、经编码的深度信息和所生成的指示符(1065，1070)。
文档编号H04N7/26GK101911700SQ200880124580
公开日2010年12月8日 申请日期2008年12月18日 优先权日2008年1月11日
发明者尹鹏, 帕文·拜哈斯·潘迪特, 田东 申请人:汤姆逊许可证公司