用于预测运动矢量和视差矢量的图像处理方法和设备的制造方法
【技术领域】
[0001] 下面的描述设及对=维（3D)视频的有效压缩和解压缩，更具体地，设及一种用于 估计运动矢量和视差矢量的图像处理方法和设备。
【背景技术】
[0002] 立体感图像指与图像信息一起同时提供关于深度和空间的形状信息的S维（3D) 图像。不同于仅向用户的左眼和右眼分别提供不同视点的图像的立体图像，所述立体感图 像在用户改变用户的观看点时看起来就像是从不同方向被看到一样。因此，从多个不同视 点拍摄的图像被用于创建立体感图像。
[0003] 由于从不同视点拍摄的用于创建立体感图像的图像具有大量的数据，因此考虑到 网络基础设施、地面宽带等，使用针对单视点视频编码（诸如，MPEG-2、H. 264.AVC和肥VC) 进行优化的编码设备来对图像进行压缩几乎是难W实现的。
[0004] 因此，需要一种为了创建立体感图像而进行优化的多视点图像编码设备。具体而 言，需要一种用于有效地减少时间与视点之间的冗余的技术。
【发明内容】
[000引技术方案
[0006] 根据实施例的图像处理方法可包括：识别与彩色图像的当前块相应的深度图像； 基于包括在所述深度图像中的像素的深度值来确定当前块的视差矢量。
[0007] 根据实施例的图像处理方法可包括：识别与彩色图像的当前块邻近的至少一个邻 近块的视差矢量；当邻近块不具有视差矢量时，使用与彩色图像相应的深度图像来确定邻 近块的视差矢量；基于所述至少一个邻近块的视差矢量来确定当前块的视差矢量。
[000引根据实施例的图像处理方法可包括：使用与彩色图像的当前块邻近的至少一个邻 近块的视差矢量来确定彩色图像的当前块的视差矢量；使用确定的当前块的视差矢量来确 定当前块的运动矢量。
[0009] 根据实施例的图像处理方法可包括：识别与彩色图像的当前块邻近的至少一个邻 近块的运动矢量；当邻近块不具有运动矢量时，使用与彩色图像相应的深度图像来确定邻 近块的运动矢量；基于所述至少一个邻近块的运动矢量来确定当前块的运动矢量。
[0010] 根据实施例的图像处理设备可包括：深度图像识别器，被配置为识别与彩色图像 的当前块相应的深度图像；视差矢量确定器，被配置为基于包括在所述深度图像中的像素 的深度值来确定当前块的视差矢量。
[0011] 根据实施例的图像处理设备可包括：视差矢量提取器，被配置为提取与彩色图像 的当前块邻近的至少一个邻近块的视差矢量；视差矢量确定器，被配置为基于所述至少一 个邻近块的视差矢量来确定当前块的视差矢量。
[0012] 根据实施例的图像处理设备可包括：视差矢量确定器，被配置为使用与彩色图像 的当前块邻近的至少一个邻近块的视差矢量来确定彩色图像的当前块的视差矢量；运动矢 量确定器，被配置为使用确定的当前块的视差矢量来确定当前块的运动矢量。
[0013] 根据实施例的图像处理设备可包括：运动矢量提取器，被配置为提取与彩色图像 的当前块邻近的至少一个邻近块的运动矢量；运动矢量确定器，被配置为基于所述至少一 个邻近块的运动矢量来确定当前块的运动矢量。
【附图说明】
[0014] 图1是用于描述根据实施例的编码设备和解码设备的操作的框图。
[0015] 图2是示出根据实施例的用于预测当前块的视差矢量的图像处理设备的框图。
[0016] 图3是示出根据实施例的用于预测当前块的运动矢量的图像处理设备的框图。
[0017] 图4是示出根据另一实施例的用于预测当前块的运动矢量的图像处理设备的框 图。
[001引图5是示出根据另一实施例的用于预测当前块的运动矢量的图像处理设备的框 图。
[0019] 图6示出根据实施例的多视点视频的结构。
[0020] 图7示出根据实施例的在对当前块进行编码时使用的参考图像。
[0021] 图8是用于描述根据实施例的编码设备的操作的示图。
[0022] 图9是用于描述根据实施例的解码设备的操作的示图。
[0023] 图10是示出根据实施例的预测当前块的视差矢量的处理的示图。
[0024] 图11是示出根据实施例的预测当前块的针对跳过模式和直接模式的运动矢量的 处理的示图。
[0025] 图12是示出根据实施例的使用视差矢量来预测当前块的运动矢量的处理的示 图。
[0026] 图13是示出根据实施例的预测当前块的针对帖间模式的运动矢量的处理的示 图。
[0027] 图14是示出根据实施例的用于预测当前块的视差矢量的图像处理方法的流程 图。
[002引图15是示出根据实施例的用于预测当前块的运动矢量的图像处理方法的流程 图。
[0029] 图16是示出根据另一实施例的用于预测当前块的运动矢量的图像处理方法的流 程图。
[0030] 图17是示出根据另一实施例的用于预测当前块的运动矢量的图像处理方法的流 程图。
[0031] 最优实施方式
[0032] 在下文中，将参照附图对实施例进行描述。提供下面的具体的结构和功能描述仅 是为了描述实施例，因此，本发明的范围不应被解释为限于实施例。根据实施例的图像处理 方法可由图像处理设备执行。相同的标号表示相同的组成元件。
[0033] 在描述实施例之前，在实施例或权利要求中公开的术语可被如下定义；
[0034] (1)当前块（当前彩色块）；表示彩色图像的将被编码或解码的块。
[0035] (2)当前彩色图像；表示包括当前块的彩色图像。详细地讲，当前彩色图像表示包 括将被编码或解码的块的彩色图像。
[0036] (3)与当前块相应的深度图像（相应深度图像）；表示与包括当前块的彩色图像或 当前彩色图像相应的深度图像。
[0037] (4)邻近块（当前块周围的邻近块）；表示与当前块邻近的已编码或已解码的至少 一个块。例如，邻近块可位于当前块的上端、当前块的右上端、当前块的左边或当前块的左 上端。
[003引 （5)相应块（相应深度图中的共同定位（Colocated)的深度块）；表示包括在与当 前块相应的深度图像中的深度图像块。例如，相应块可包括与彩色块相应的深度图像中与 当前块位于相同位置的块。
[0039] (6)宏块（共同定位的深度宏块）；表示深度图像的包括相应块的上位概念的深度 图像块。
[0040] (7)相邻彩色图像（包括当前彩色块的彩色图像周围的相邻彩色图像）；表示视点 不同于包括当前块的彩色图像的视点的彩色图像。相邻彩色图像可W是在执行针对当前块 的图像处理之前被编码或解码的彩色图像。
[0041] 图1是用于描述根据实施例的编码设备和解码设备的操作的框图。
[0042] 根据实施例的编码设备110可对=维（3D)视频进行编码，可比特流的形式创 建编码后的数据，并可将创建出的数据发送到解码设备120。3D视频可包括从多个不同视 点拍摄的彩色图像和深度图像。3D视频具有时间上连续的图像之间存在的时间冗余W及不 同视点的图像之间存在的视点间冗余。编码设备110可通过有效地消除时间冗余和视点间 冗余来对3D视频进行有效编码。编码设备110可通过在对3D视频进行编码的处理期间最 大程度地消除图像之间的冗余来提高编码效率。
[0043] 编码设备110和解码设备120可执行基于块的预测来消除彩色图像之间的冗余。 编码设备110和解码设备120可使用深度图像来有效地消除彩色图像之间的冗余。编码设 备110和解码设备120可使用邻近块的运动矢量或时间运动矢量来消除时间冗余，并可使 用邻近块的视差矢量或视点间运动矢量W及与彩色图像相应的深度图像来消除视点间冗 余。编码设备110可通过在对3D视频的彩色图像进行编码的处理期间对运动矢量进行有 效编码来最小化彩色图像之间的冗余。
[0044] 与彩色图像相应的深度图像的尺寸可与彩色图像的尺寸不同。当深度图像的尺寸 与彩色图像的尺寸不同时，编码设备110和解码设备120可将深度图像的尺寸调整到与彩 色图像的尺寸相同。例如，当深度图像的尺寸小于彩色图像的尺寸时，编码设备110和解码 设备120可通过对深度图像进行上采样来调整深度图像的尺寸，使得深度图像的尺寸变得 等于彩色图像的尺寸。
[0045] 根据另一实施例，不管深度图像的尺寸与彩色图像的尺寸之间的差别如何，深度 图像的原始尺寸可按照原样被使用。当使用深度图像的原始尺寸时，不需要对深度图像的 尺寸进行采样的处理，因此，可降低复杂度，并还可减小需要的内存量。
[0046] 将参照图2至图17进行描述的图像处理设备可被实现在图1的编码设备110或 解码设备120的内部或外部。
[0047] 图2是示出根据实施例的用于预测当前块的视差矢量的图像处理设备的框图。
[0048] 参照图2,图像处理设备200可包括深度图像识别器210和视差矢量确定器220。
[0049] 深度图像识别器210可识别与彩色图像的当前块相应的深度图像。当不存在与彩 色图像相应的深度图像时，深度图像识别器210可使用与当前块邻近的邻近块、包括当前 块的彩色图像的相邻彩色图像或另一深度图像来估计与当前块相应的深度图像。
[0050] 视差矢量确定器220可基于与当前块相应的深度图像的深度信息来识别当前块 的视差矢量。视差矢量确定器220可识别包括在深度图像中的像素之中的至少一个像素， 并可将识别出的像素的深度值之中的最大深度值转换为当前块的视差矢量。
[0化1] 例如，视差矢量确定器220可基于与当前块相应的深度图像的相应块中包括的像 素的深度值来确定当前块的视差矢量。视差矢量确定器220可识别与当前块相应的深度图 像的相应块中包括的像素之中的至少一个像素。视差矢量确定器220可将识别出的像素的 深度值之中的最大深度值转换为视差矢量，并可将转换出的视差矢量确定为当前块的视差 矢量。视差矢量确定器220可将包括在深度图像的相应块中的全部像素的深度值之中的