侦测遮挡区域的方法以及装置的制造方法
【技术领域】
[0001]本发明有关于图像处理。具体来说，有关于在视频序列的图像中侦测遮挡区域(occlus1n area)。
【背景技术】
[0002]遮挡区域是场景(scene)的一部分,这一部分由于被前景物体堵塞(blockage)从而在连续的多个图像中的一个巾贞中可见(visible),而在其相邻巾贞中不可见(invisible)。连续的多个图像中的每一个是图像系统获取的图像或者是依据获取图像获得的插值图像(或称为插值帧)。对于相机获取的连续的多个图像来说，遮挡区域的存在的原因是物体与相机之间的相对位置的变化。当图像的一部分是不可见时，由于投影，至少一个背景物体的至少一部分被距离相机更近的前景物体遮挡(cover)。相反，前景物体在场景中距离相机越远，背景就越不被遮挡。背景中的在被遮挡或者未被遮挡中变化的一部分被称为遮挡区域.当区域在遮挡与未被遮挡中变化时，在相邻图像中的唯一匹配区域就不能通过运动估计来成功找到。因此，需要关注遮挡的问题，否则在时序插值时可能出现伪影(artifacts)。
[0003]在传统的方法中，遮挡的侦测是依据与两个连续的图像之间的两个运动向量相关的像素差来进行的(美国专利申请号7，995，793)。两个运动向量中的一个可以是0，其对应于背景，背景对于相机来说相对稳定。图1举例说明了依据两个连续帧之间的两个运动向量进行遮挡侦测，帧(t)与帧(t+Ι)是由图像系统获取。帧(t+δ)是依据帧(t)与帧(t+Ι)的时序插值帧。其中“b”表示背景区域，“f”表示前景区域，“ο”表示遮挡区域。决定两个运动向量(即MVl与MV2)来描述两个帧之间的运动，其中MVl = O对应于背景区域的O运动。
[0004]帧(t+ δ )是依据两个运动向量其中之一将帧(t)投影至帧(t+Ι)来形成。举例来说，帧α+δ)中的区域111是将帧(t)中的区域101依据运动向量MVl投影至帧(t+1)中的区域121，由于区域101与区域121之间通过使用运动向量MVl实现较佳匹配(在图1中以实线双向箭头表示)。相似地，帧(t+δ)中的区域112是通过依据运动向量MV2将帧(t)中的区域102投影至帧(t+Ι)中的区域122，由于区域102与区域122之间通过使用运动向量MV2实现较佳匹配(在图1中以实线双向箭头表示)。然而，对于帧(t+δ)中的区域113来说，没有运动向量能够实现帧(t)与帧(t+Ι)之间对应区域(例如帧(t+Ι)的区域123)的较佳匹配(在图1中以虚线双向箭头表示)。换言之，无论使用两个运动向量中的哪一个，与帧(t+δ)中的区域113相关的在帧⑴与帧(t+Ι)的对应区域之间的像素差较大。
[0005]尽管上述方法能够在一定程度上成功，依然需要一种改进的遮挡侦测方法，来提高侦测的准确性以及/或者降低计算的复杂度。
【发明内容】
[0006]本发明的目的之一是提供一种在当前图像中侦测遮挡区域的方法与装置。
[0007]依据本发明的实施例，提出一种侦测当前图像中的遮挡区域的方法，该方法包含:依据第一相邻图像以及第二相邻图像决定当前区块的运动向量，其中该当前图像在时序上位于该第一相邻图像以及该第二相邻图像之间；依据该第一相邻图像中的第一参考区块以及该第二相邻图像中的第二参考区块决定该当前区块的区块差值，其中该第一参考区块以及该第二参考区块使用该当前区块以及该运动向量来定位；接收预测区块差值；以及依据该区块差值以及该预测区块差值决定该当前区块是否是遮挡区块。
[0008]依据本发明的另一实施例，提出一种侦测当前图像中的遮挡区域的装置，该装置包含一个或多个电子电路，其中该一个或多个电子电路被配置为:依据第一相邻图像以及第二相邻图像决定当前区块的运动向量，其中该当前图像在时序上位于该第一相邻图像以及该第二相邻图像之间；依据该第一相邻图像中的第一参考区块以及该第二相邻图像中的第二参考区块决定该当前区块的区块差值，其中该第一参考区块以及该第二参考区块使用该当前区块以及该运动向量来定位；接收预测区块差值；以及依据该区块差值以及该预测区块差值决定该当前区块是否是遮挡区块。
[0009]依据本发明的又一实施例，提供一种侦测当前图像中的遮挡区域的装置，该装置包含:运动估计单元，依据与两个相邻图像相关的像素执行运动估计，并且输出当前区块的区块差值与运动向量；以及遮挡侦测单元，从该运动估计单元接收到的该当前区块的区块差值与运动向量，来侦测该当前区块是否是遮挡区块，其中该遮挡侦测单元包含:区块差值预测器，产生预测区块差值；以及遮挡侦测器，依据该区块差值以及该预测区块差值决定该当前区块是否是遮挡区块。
[0010]依据本发明所提供的以区块为基础的方法能够在侦测图像的遮挡区域时提高侦测的准确性或者降低计算的复杂度。
【附图说明】
[0011]图1举例说明了依据两个连续帧之间的两个运动向量进行遮挡侦测。
[0012]图2是依据本发明实施例在一个插值帧的两个相邻帧上执行双向运动估计的匹配区块的示意图。
[0013]图3是依据本申请一个实施例的针对每一区块通过比较SAD以及预测SAD来侦测遮挡区块的示意图。
[0014]图4A是依据本发明一个实施例决定用于遮挡侦测的运动向量的示意图。
[0015]图4B是决定图4A中所示的插值帧中每一区块的SAD的举例说明。
[0016]图5A是依据本发明另一个实施例决定用于遮挡侦测的运动向量的示意图。
[0017]图5B是决定图5A中所示的插值帧中每一区块的SAD的另一举例说明。
[0018]图6A是使用两个相邻帧中的匹配区块来预测插值帧的举例说明。
[0019]图6B是依据两个获取帧执行运动估计来获得运动向量的举例说明。
[0020]图7A使用两个相邻帧中的匹配区块来预测插值帧的另一举例说明。
[0021]图7B是依据两个获取帧执行运动估计来获得运动向量的另一举例说明。
【具体实施方式】
[0022]在本发明中，提供一种基于区块(block-based)的依据两个相邻图像侦测一个图像的遮挡区域的方法。当前图像可以是一个已经存在的图像或者是两个相邻图像之间的插值图像。处理当前图像的每一个区块来决定其是否是一个遮挡区块(occlus1n block)。一个遮挡区块是包含一个或者多个遮挡像素的像素区块。换句话说，遮挡区块中的至少一个像素是位于图像的遮挡区域内。
[0023]图2是依据本发明实施例在一个插值帧的两个相邻帧上执行双向运动估计的匹配区块的示意图。帧200与帧220是获取的两个连续图像，其中帧220是相应帧200时序上较晚的帧。帧200包含区域201所示的背景区域，以及区域202所示的前景区域。帧220也包含区域221所示的背景区域，其与帧200的区域201匹配。帧220的区域222所示的前景区域与区域202的一部分匹配。帧220也包含一个新近未被遮挡的、由区域225所示的区域，该区域不能与帧200中的任何区域匹配。帧200中包含区块bQ-b19，帧220中包含区块C1-C1915帧200与帧220中的匹配区块是通过双向运动估计来找到。帧200与帧220中的匹配区块的关系可以通过使用运动估计技术来决定。举例来说，如图2中的箭头所示，针对前景区域获得运动向量MVf。可使用以区块为基础的运动估计，并且其技术内容被本领域技术人员所熟知。因此省略其具体描述。须注意的是每一箭头的长度与任何双向运动向量的长度无关。相似地，在背景区域也应用运动估计，从而决定运动向量MVb以及帧20与帧220之间的匹配区块。在图2所示的例子中，区域221中的区块C(l、C1, c2、c3、C4以及c5分别与区域201中的区块1^2、133、134、135、136以及b7匹配。相似地，区域222中的区块c12、c13、c14、c15、c16、c17、C18 以及 C19 分别与区域 202 中的区块 b8、b9、b10> bn、b12、b13、b14、以及 b15 匹配。对于遮挡区域225来说，帧200中没有区块与新近未被遮挡的区块c6、c7, c8, c9, C10以及C11匹配。
[0024]帧200与帧220是用来形成插值帧210。帧210中包含区块ai_a19。如图2所示，帧210包含背景区域211，新近未被遮挡背景区域215以及前景区域212。背景区域211是依据帧200中的对应区域201以及帧220中的区域221插值获得。相似地，前景区域212是依据帧200中的区域202以及帧220中的区域222插值获得。区块a”a2、a3、a4、a5以及a6是分别依据匹配区块对(b2, c0)、(b3, C1)、(b4, c2)、(b5, c3)、(b6, c4)以及(b7, c5)插值。区块a1(l至a17是依据匹配区块对(b8, c12)至(b15, c19)插值获得。区块a。、a7、a8、a9、a18、a19是依据帧200与帧220匹配区块对插值获得，在此不再赘述。在图2中，运动向量MVb与MVf的大小正是帧200与帧220之间匹配区块的指示。如在运动估计的技术中所熟知的，区块匹配在2维空间执行，