用于预测运动矢量和视差矢量的图像处理方法和设备的制造方法_3

文档序号:8386261阅读:来源:国知局
中值滤波,并可将中值滤波的结果确定为 当前块的视差矢量。
[0076] 运动矢量确定器420可使用确定的当前块的视差矢量来确定当前块的运动矢量。 运动矢量确定器420可使用当前块的视差矢量来识别包括当前块的彩色图像的相邻彩色 图像中的一位置,并可将识别出的位置处的运动矢量确定为当前块的运动矢量。
[0077] 当在识别出的位置处不存在运动矢量时,运动矢量确定器420可使用当前块的邻 近块来确定当前块的运动矢量。运动矢量确定器420可基于邻近块的运动矢量和视差矢量 中的至少一个来确定当前块的运动矢量。当运动矢量确定器420不能够使用邻近块的运动 矢量或视差矢量来确定当前块的运动矢量时,运动矢量确定器420可将零运动矢量确定为 当前块的运动矢量。
[007引图5是示出根据另一实施例的用于预测当前块的运动矢量的图像处理设备的框 图。
[0079] 参照图5,图像处理设备500可包括运动矢量提取器510和运动矢量确定器520。
[0080] 运动矢量提取器510可提取与彩色图像的当前块邻近的邻近块的运动矢量。运动 矢量提取器510可确定在邻近块中是否存在运动矢量,并可在邻近块不具有运动矢量时, 使用彩色图像的深度图像来确定邻近块的运动矢量。运动矢量提取器510可从不同视点的 彩色图像获取不存在运动矢量的邻近块的运动矢量,并可使用深度图像来从所述不同视点 的彩色图像获取邻近块的运动矢量。根据另一实施例,运动矢量提取器510可基于深度图 像的深度信息来直接确定邻近块的运动矢量,而无需确定在邻近块中是否存在运动矢量。
[0081] 为了确定邻近块的运动矢量,运动矢量提取器510可使用深度图像来获取视差矢 量。运动矢量提取器510可识别包括在与当前块相应的深度图像中的至少一个像素,并可 基于识别出的至少一个像素的深度值来获取视差矢量。例如,运动矢量提取器510可将与 当前块相应的深度图像的相应块中包括的一个或更多个像素的深度值之中的最大深度值 转换为视差矢量。运动矢量提取器510可在获取视差矢量的处理期间使用相机参数信息。 运动矢量提取器510可使用视差矢量,从包括当前块的彩色图像的相邻彩色图像估计邻近 块的运动矢量。可选地,运动矢量提取器510可将位于与当前块相应的深度图像的预定区 域中的像素的深度值之中的最大深度值转换为视差矢量,并可使用转换出的视差矢量,从 包括当前块的彩色图像的相邻彩色图像估计邻近块的运动矢量。
[0082] 运动矢量提取器510可基于深度图像的包括相应块的宏块来确定邻近块的运动 矢量。例如,运动矢量提取器510可将包括在宏块中的像素的深度值之中的最大深度值转 换为视差矢量,并可将由转换出的视差矢量指示的位置处的运动矢量确定为邻近块的运动 矢量。可选地,运动矢量提取器510可将包括相应块的宏块中包括的像素的深度值之中的 最大深度值转换为邻近块的视差矢量,并可使用转换出的视差矢量来估计邻近块的运动矢 量。
[0083] 运动矢量提取器510还可仅使用与当前彩色图像相应的深度图像内的预定像素 来确定邻近块的运动矢量。例如,运动矢量提取器510可将包括在深度图像中的预定单个 像素的深度值转换为视差矢量,并可将由转换出的视差矢量指示的位置处的运动矢量确定 为邻近块的运动矢量。
[0084] 当在由视差矢量指示的位置处不存在运动矢量时,运动矢量提取器510可将零运 动矢量确定为邻近块的运动矢量。另外,在当前块的参考图像索引与从不同视点的彩色图 像获取的参考图像索引不同时,运动矢量提取器510也可将零运动矢量确定为邻近块的运 动矢量。
[0085] 运动矢量确定器510可基于邻近块的运动矢量来确定当前块的运动矢量。例如, 运动矢量确定器520可对邻近块的运动矢量应用中值滤波,并可将中值滤波的结果确定为 当前块的运动矢量。
[0086] 图6示出根据实施例的多视点图像的结构。
[0087]图6示出根据实施例的当接收到立个视点(例如,左视点、中屯、视点和右视点)的 图像时,用于使用一组画面佑0巧"8"来执行编码的多视点视频编码(MVC)方法。GOP指示 从I帖开始的一组连续图像。
[008引由于在多视点图像编码处理期间分层的B画面或分层的B帖的概念被用于时间轴 和视点轴,因此可减小图像之间的冗余。
[0089] 图1的编码设备110可基于图6的多视点图像的结构,顺序地对左图像(也称为左 画面(I-视点))、右图像(也称为右画面(P-视点))和中屯、图像(也称为中屯、画面炬-视 点))进行编码,因此可对与=个视点相应的图像进行编码。
[0090] 在对左图像进行编码的处理期间,可使用运动估计来从先前的图像估计与左图像 相似的区域,并可使用关于估计的区域的信息来减少时间冗余。由于右图像将在左图像被 编码之后通过参照编码后的左图像而被编码,因此,除了使用运动估计减少时间冗余之外, 还可使用视差估计来减少视点间冗余。另外,由于通过参照已经被编码的左图像和右图像 中的全部,使用视差估计来对中屯、图像进行编码,因此,可减少视点间冗余。
[0091] 参照图6,在多视点图像编码处理期间,无需使用不同视点的图像而被编码的图像 (例如,左图像)可被定义为I-视点图像。通过单向预测不同视点的图像而被编码的图像 (例如,右图像)可被定义为P-视点图像。通过双向预测不同视点的图像而被编码的图像 (例如,中屯、图像)可被定义为B-视点图像。
[0092] 图7示出根据实施例的用于对当前块进行编码的参考图像。
[0093] 当对包括在当前彩色图像中的当前块进行编码时,图像处理设备可使用相邻彩 色图像720、730、740和750作为参考图像。例如,图像处理设备可从相邻彩色图像720、 730、740和750之中识别与当前块最相似的相似块,并可对当前块与相似块之间的残差信 号进行编码。在H. 264/AVC的情况下,用于使用参考图像来估计相似块的编码模式可包括 SKIP(仅P条带)/直接(仅B条带)模式、16x16模式、16x8模式、8x16模式、P8x8模式 等。在高效视频编码(肥VC)的情况下,用于使用参考图像来估计相似块的编码模式可包括 SKIP模式、Merge模式、2NX2N模式、2化N模式、NX2N模式等。
[0094] 在对当前块进行编码的处理期间,图像处理设备可使用基于时间而与当前彩色图 像邻近的相邻彩色图像720和730作为参考图像来减少时间冗余。另外,为了减少视点间 冗余,图像处理设备可使用就视点而言与当前彩色图像邻近的相邻彩色图像740和750作 为参考图像。图像处理设备可使用相邻彩色图像720和730(即,Refl图像和Ref2图像) 来获取运动信息,并可使用相邻彩色图像740和750 (即,Re巧图像和Ref4图像)来获取 视差f目息。
[0095] 图8是用于描述根据实施例的编码设备的操作的示图。
[0096] 详细地讲,图8示出对彩色图像进行编码的编码设备的处理。根据实施例,编码设 备的彩色图像编码处理可如下。编码设备可在操作810接收彩色图像,并可在操作845选 择编码模式。编码设备可确定彩色图像与从块预测得到的预测图像之间的残差信号。编码 设备可在操作815对残差信号进行变换,并可在操作820和825执行量化和滴编码。
[0097] 块预测处理可包括用于减小时间冗余的时间预测处理W及用于减小视点间冗余 的视点间预测处理。
[009引为了在后续彩色图像中进行准确预测,可在操作875执行去块滤波处理。在操作 830和835,可对在操作820量化的图像执行反量化处理和逆变换处理,W在操作875执行 去块滤波处理。通过操作875的去块滤波处理创建的参考图像可被存储并被用于后续彩色 图像的编码处理。
[0099] 编码设备可通过帖内预测850、运动估计/补偿855或视差估计/补偿860来执行 预测处理,W消除时间冗余和视点间冗余。图像处理设备可执行运动估计/补偿855和视 差估计/补偿860处理。对于运动估计/补偿855,图像处理设备可在操作865基于相机参 数840将深度信息870 (例如,深度值)转换为视差信息(例如,视差矢量),并可执行运动 估计/补偿855处理。可选地,对于视差估计/补偿860,图像处理设备可在操作865将深 度信息870 (例如,深度值)转换为视差信息(例如,视差矢量),并可执行视差估计/补偿 860处理。
[0100] 根据通过块预测得到的预测图像与原始图像之间的相似度的增加,残差信号的量 减小,该会导致减小被编码并由此被创建的比特量。因此,为了对3D视频进行有效编码,运 动估计/补偿855和视差估计/补偿860处理是很重要的。
[0101] 在运动估计/补偿855处理期间,图像处理设备可通过使用邻近块的运动矢量信 息、关于不同视点的彩色图像的编码信息或与当前块相应的深度图像,执行对当前块的运 动估计/补偿855处理。另外,在视差估计/补偿860处理期间,图像处理设备可通过使 用邻近块的视差矢量信息、关于不同视点的彩色图像的编码信息或与当前块相应的深度图 像,执行对当前块的视差估计/补偿860处理。
[0102] 图9是用于描述根据实施例的解码设备的操作的示图。
[0103] 解码设备可W可逆地执行由图8的编码设备执行的操作,W通过对编码的比特流 进行解码来输出彩色图像。根据实施例,解码设备的3D图像数据解码处理可如下。解码设 备可在操作905接收包括编码的3D图像数据的比特流,并可在操作910执行滴解码。
[0104] 解码设备可执行反量化915和逆变换920处理,并可在操作940选择解码模式。解 码设备可通过帖内预测945、运动估计/补偿950或视差估计/补偿955处理来对比特流进 行有效解码。
[01化]图像处理设备可执行运动估计/补偿950和视差估计/补偿955处理。对于运动 估计/补偿950,图像处理设备可在操作960基于相机参数935将深度信息950转换为视 差信息,并可使用转换信息来执行运动估计/补偿950处理。可选地,对于视差估计/补偿 955,图像处理设备可在操作960基
当前第3页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1