用于预测运动矢量和视差矢量的图像处理方法和设备的制造方法_4

文档序号:8386261阅读:来源:国知局
于相机参数935将深度信息965转换为视差信息,并可 执行视差估计/补偿955处理。
[0106] 在运动估计/补偿950处理期间,图像处理设备可通过使用邻近块的运动矢量信 息、关于不同视点的彩色图像的解码信息或与当前块相应的深度图像,执行对当前块的运 动估计/补偿950处理。另外,在视差估计/补偿955处理期间,图像处理设备可通过使 用邻近块的视差矢量信息、关于不同视点的彩色图像的解码信息或与当前块相应的深度图 像,执行对当前块的视差估计/补偿955处理。
[0107] 为了对后续彩色图像进行解码,可执行去块滤波925处理。通过去块滤波925处 理创建的参考图像可被存储并用于对后续彩色图像的解码处理。
[010引图10是示出根据实施例的预测当前块的视差矢量的处理的示图。
[0109] 参照图10,块Cb表示彩色图像中将被编码的当前块。块A、B和C表示在与当前 块邻近的位置处存在的邻近块。为了预测当前块的视差矢量,图像处理设备可识别邻近块 A、B和C的视差矢量,并可对识别出的视差矢量应用中值滤波。
[0110] 当在邻近块A、B和C之中存在不存在视差矢量的块时,图像处理设备可用预定视 差矢量来代替不存在视差矢量的邻近块的视差矢量。例如,假设在邻近块A中不存在视差 矢量。为了确定邻近块A的视差矢量,图像处理设备可将包括在与当前块相应的深度图像 中的像素的深度值之中的最大深度值转换为视差矢量。可选地,图像处理设备可将包括在 深度图像中的部分像素的深度值之中的最大深度值转换为邻近块A的视差矢量。例如,图 像处理设备可将在预定区域(诸如,与当前块相应的深度图像的相应块内的拐角)中存在 的像素的深度值之中的最大深度值转换为视差矢量。可选地,图像处理设备可将位于预定 区域(诸如,与当前块相应的深度图像的包括相应块的宏块内的拐角)中的像素的深度值 之中的最大深度值转换为视差矢量。图像处理设备可将转换出的视差矢量确定为邻近块A 的视差矢量,并可通过对邻近块A、B和C的视差矢量应用中值滤波来确定当前块Cb的视差 矢量。
[0111] 图像处理设备可基于深度图像的包括相应块的宏块来确定当前块Cb的视差矢 量。例如,图像处理设备可将包括在宏块中的像素的深度值之中的最大深度值转换为当前 块Cb的视差矢量,或者可将包括在宏块中的预定像素的深度值之中的最大深度值转换为 当前块Cb的视差矢量。另外,图像处理设备还可仅使用与当前块Cb相应的深度图像内的 预定像素。例如,图像处理设备可将包括在与当前块Cb相应的深度图像中的单个像素的深 度值转换为视差矢量,并可将转换出的视差矢量确定为当前块Cb的视差矢量。
[0112] 为了将深度值转换为视差矢量,图像处理设备还可使用相机参数信息。通过图10 得出的当前块的视差矢量和运动矢量中的每一个可被用作基于16xl6、16x8、8xl6和P8x8 模式的预测视差矢量。图像处理设备可通过经由预测视差矢量执行视差估计来估计当前块 的最终视差矢量。
[0113] 在下文中,将描述由图像处理设备预测当前块的视差矢量的处理。
[0114] 在操作1010,图像处理设备可识别当前块Cb的邻近块A、B和C的视差矢量。在 操作1020,图像处理设备可确定邻近块的视差矢量是否存在。
[0115] 当存在不存在视差矢量的邻近块时,在操作1030,图像处理设备可确定不存在视 差矢量的邻近块的视差矢量。例如,图像处理设备可识别包括在与当前块相应的深度图像 中的像素之中的至少一个像素,可将识别出的像素的深度值之中的最大深度值转换为视差 矢量,并可将转换出的视差矢量确定为不存在视差矢量的邻近块的视差矢量。为了确定邻 近块的视差矢量,图像处理设备还可仅使用与当前彩色图像相应的深度图像内的预定像 素。例如,图像处理设备可将包括在该深度图像中的预定单个像素的深度值转换为视差矢 量,并可将转换出的视差矢量确定为邻近块的视差矢量。
[0116] 图像处理设备可基于与当前块相应的深度图像的相应块内的像素或包括相应块 的宏块内的像素,将深度值转换为视差矢量。例如,图像处理设备可将包括在深度图像的相 应块或宏块中的像素的深度值之中的最大深度值转换为邻近块的视差矢量,或者可将位于 相应块或宏块的预定区域中的像素的深度值之中的最大深度值转换为邻近块的视差矢量。
[0117] 在操作1040,图像处理设备可对邻近块的视差矢量应用中值滤波。在操作1050, 图像处理设备可将经过中值滤波的视差矢量确定为当前块Cb的视差矢量。图像处理设备 可对当前块Cb的视差矢量进行编码。
[0118] 除了代替视差矢量的上述处理之外,还可实施下面的实施例。详细地讲,图像处理 设备可直接对与当前块Cb相应的深度图像的相应块中包括的像素的深度值之中的最大深 度值进行转换,而无需使用当前块Cb的邻近块A、B和C的视差矢量。可选地,为了对视差 矢量进行转换,图像处理设备还可仅使用与当前块Cb相应的深度图像的相应块中包括的 部分像素的深度值。例如,图像处理设备可将位于相应块的拐角处的像素和位于相应块的 中屯、处的像素的深度值之中的最大深度值转换为视差矢量。图像处理设备可在将深度值转 换为视差矢量的处理期间使用相机参数信息。图像处理设备可将转换出的视差矢量确定为 当前块的视差矢量。在一实施例中,确定的当前块的视差矢量可在针对帖间模式的视差估 计处理期间提供初始点。
[0119] 图11是示出根据实施例的预测当前块的针对跳过模式和直接模式的运动矢量的 处理的示图。
[0120] 图11示出确定彩色图像中的当前块Cb的针对跳过模式和直接模式的最终运动矢 量的处理。在跳过模式和直接模式下,不执行运动估计和视差估计。块A、B和C表示在与 当前块Cb邻近的位置处存在的邻近块。
[0121] 图像处理设备可使用邻近块A、B和C的视差矢量来预测当前块Cb的运动矢量。当 对P-视点图像或B-视点图像进行编码/解码时,图像处理设备可使用已被编码/解码的 I-视点图像的信息来预测针对跳过模式和直接模式的运动矢量。另外,当不同视点的P-视 点图像或B-视点图像已被编码/解码时,图像处理设备还可使用P-视点图像和B-视点图 像W及I-视点图像来预测针对跳过模式和直接模式的运动矢量。
[0122] 在操作1110,图像处理设备可识别与彩色图像中的当前块Cb邻近的邻近块的视 差矢量。在操作1120,图像处理设备可确定邻近块的视差矢量是否存在。
[0123] 当存在不存在视差矢量的邻近块时,在操作1130,图像处理设备可使用深度图像 来确定不存在视差矢量的邻近块的视差矢量。图像处理设备可识别包括在与当前块Cb相 应的深度图像中的像素之中的至少一个像素,并可将识别出的像素的深度值之中的最大深 度值转换为视差矢量。图像处理设备可将转换出的视差矢量确定为不存在视差矢量的邻近 块的视差矢量。另外,图像处理设备可仅使用包括在深度图像中的部分像素的深度值来将 深度值转换为视差矢量。例如,图像处理设备可对包括在与当前块Cb相应的深度图像中的 预定单个像素的深度值进行转换,并可将转换出的视差矢量确定为邻近块的视差矢量。图 像处理设备可在将深度值转换为视差矢量的处理期间使用相机参数信息。
[0124] 图像处理设备可基于与当前块相应的深度图像的相应块或包括相应块的宏块,确 定邻近块的视差矢量。例如,图像处理设备可将包括在相应块或宏块中的像素的深度值之 中的最大深度值转换为邻近块的视差矢量,或者可将包括在相应块或宏块中的预定像素的 深度值之中的最大深度值转换为邻近块的视差矢量。
[01巧]在操作1140,图像处理设备可对邻近块的视差矢量应用中值滤波。在操作1150, 图像处理设备可使用经过中值滤波的视差矢量来确定当前块Cb的运动矢量。图像处理设 备可将由经过中值滤波的视差矢量指示的位置处的运动矢量确定为当前块Cb的运动矢 量。例如,当经过中值滤波的视差矢量指示I-视点图像时,图像处理设备可识别在与当前 彩色图像相同的时区中存在的I-视点图像中由经过中值滤波的视差矢量指示的位置,并 可使用识别出的位置处的运动信息来确定当前块Cb的运动矢量。
[01%] 当在由经过中值滤波的视差矢量指示的位置处不存在运动矢量时,图像处理设备 可使用当前块Cb的邻近块A、B和C来确定当前块Cb的运动矢量。图像处理设备可使用邻 近块A、B和C的参考图像索引之中的最小索引作为当前块Cb的参考图像索引。例如,在 P-画面的情况下,参考图像索引为"0"。
[0127] 当参考图像索引指示同一视点的彩色图像时,图像处理设备可将对邻近块A、B和 C的运动矢量应用中值滤波的结果确定为当前块Cb的运动矢量。当参考图像索引指示不同 视点的彩色图像时,图像处理设备可将对邻近块A、B和C的视差矢量应用中值滤波的结果 确定为当前块Cb的运动矢量。在除了W上两种情况之外的其他情况下,图像处理设备可将 零运动矢量确定为当前块Cb的运动矢量。
[0128] 在操作1160,图像处理设备可使用确定的当前块Cb的运动矢量作为针对跳过模 式和直接模式的运动矢量。另外,图像处理设备可使用由经过中值滤波的视差矢量指示的 位置处的参考图像索引作为跳过模式和直接模式下的参考图像索引。
[0129] 图12是示出根据实施例的使用视差矢量来预测当前块的运动矢量的处理的示 图。
[0130] 参照图12,图像处理设备可使用当前彩色图像1210中的当前块1230的视差矢量 1240来确定当前块1230的运动矢量1260。例如,图像处理设备可对邻近块的视差矢量应 用中值滤波,W确定当前块1230的视差矢量1240。图像处理设备可识别参考图像1220内 由经过中值滤波的视差矢量1240指示的位置,并可将识别出的位置处的运动矢量确定为 当前块1230的运动矢量1260。
[0131] 图13是示出根据实施例的预测当前块的针对帖间模式的运动矢量的处理的示 图。
[0132] 参照图13,块Cb表示彩色图像中将被编码的当前块。块A、B和C表示在与当前 块Cb邻近的位置处存在的邻近块。为了预测当前块Cb的运动矢量,图像处理设备可使用 邻近
当前第4页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1