专利名称：提取对象区域的方法
技术领域：
本发明涉及在运动图像中提取对象区域的方法，特别涉及一种改进的提取对象区域的方法，其可以通过细化假定的对象区域的边界而精确地提取当前帧的对象区域。
另一方面，在下面的应用中，当给出假定的对象区域时，自动检测对象区域的精确边界的方法是非常有用的。视频/图像的编辑/修饰功能近来，利用移动通信终端或PDA的视频邮件服务已普遍使用。用户可脱机编辑视频邮件的图像。这里，由用户粗略划分的对象区域被自动细化从而容易地划分。一般来说，当用户想要通过在他/她的脸部或身体区域周围生成各种修饰屏幕来编辑视频邮件时，这样的细化算法是非常有用的。用户也可利用提取对象区域的方法，用他/她的照片和明星的照片来生成合成照片。用于搜索的基于对象的静止图像信息提取为了在图像搜索这样的搜索领域获得高性能，必须进行基于对象的搜索。也就是说，当为整个图像进行基于兴趣区的搜索，而不是相似性搜索时，可提高搜索性能。但是，很难从静止图像中划分有意义的对象区域。为了克服上述问题，半自动划分对象区域的方法已普遍使用。当用户粗略标出兴趣区时，可自动精确地提取对象区域。热点数据提取根据数字电视和交互电视的发展，热点技术得到了许多关注，此技术用于在用户看电视的过程中指出特定产品时，向用户提供此产品的信息。为了提供热点功能，必须预先划分对象区域。但是，现有技术不能全自动地划分对象区域。相反，正在积极研究使内容提供商能够容易地半自动提取对象区域的各种方法。从运动图像中自动提取对象的算法如上所述，此算法用于全自动地提取对象区域。在此，细化处理把基于运动而粗略提取的对象区域细化成真正精确的边界区域，这对于包括背景切换在内的应用是非常有用的。
另一方面，已对提取对象区域的普通方法进行了各种研究。下面将说明有代表性的方法。一般来说，提取对象区域或兴趣区的方法可在静止相机或移动相机获得的图像上进行。从移动相机获得的图像上提取兴趣区比从静止相机上的提取更困难。因此，大部分现有研究都在静止相机获得的图像上进行。
通过提取移动区，从静止相机获得的图像中划分对象区域。但是，在相机获得的图像中，由于噪声，在静止背景和移动对象中会出现运动，或者由于对象边界区域的阴影，会得到变形的对象区域。只利用运动信息来提取精确的对象区域是很困难的。因此，按照颜色或纹理来划分区域。基于运动信息和颜色相似性把划分的区域归组，且重组成一个对象区域。但是这需要很长的处理时间。
另外，从运动图像中提取对象区域的方法一般包括提取初始对象区域的步骤，及对象区域跟踪步骤，用于由所提取的对象区域预测后续帧的对象区域。在没有任何信息的初期提取对象区域是很困难的，且经常要利用复杂的算法。但是，当对每个帧使用这样的复杂算法时，就不能实现实时处理。因此，利用精确但复杂的算法提取初始对象区域，利用简单的预测方法在下一帧中由所提取的区域生成修正的对象区域，由此预测下一帧的对象区域。
在此，在用户的帮助下，或在特定条件下，例如当存在很多运动时，根据半自动提取方法可提取初始对象区域。当在所提取区域的基础上提取下一帧的对象区域时，利用运动信息或颜色信息来进行实时处理。
如上所述，把用于将给定对象区域修正为精确对象区域的细化处理与手工区域提取方法混合，这在自动对象区域提取领域是非常有用的。当使用运动信息时，由于运动引起的边界阴影或残留图像，无法精确提取对象区域。这样，就需要可精确修正粗略提取对象区域的细化处理。当运动很慢时，先前帧的对象区域和当前帧的对象区域具有微小的差别。因此，在前期通过细化处理修正先前帧的对象区域，由此跟踪当前帧的对象区域。
细化处理大多利用颜色信息进行。例如，当具有相同颜色的区域与给定对象的边界区域不同时，可用具有相同颜色的区域边界对其进行修正。在此，计算作为基础提供的对象区域(简称‘参考区域’)的边界像素和毗连像素之间的颜色差异。当两像素间的颜色差异小于一个阈值，且毗连像素和当前兴趣区的边界像素之间的距离小于一个阈值时，将此像素包括在当前对象区域中。若不是，则不包括在当前对象区域中。
当参考区域的边界和真实对象区域的边界非常接近时，此方法非常有效。但是，如上所述，仅利用运动信息或利用先前帧的对象区域获得参考区域。因此，只有当对象很少移动时参考区域才与真实对象区域的边界接近。
另外，当对象很少移动时，先前帧的对象区域与当前区域非常相似而不需要细化处理。另外，在参考区域远离真实对象区域边界的情况下，上述算法会产生不精确的边界。
可以根据该算法修正在跟踪处理中变形的对象区域边界。但是当对象区域快速移动时，会得到不精确的边界。在此情况下，修正不精确的边界。正如前面讨论的，由于图像的噪声，现有方法不能把区域扩展到想要的边界，或错误地把区域扩展到非对象区。
因此，本发明的一个目的是提供一种细化粗略提取的参考区域边界而提取精确对象区域的方法，从而解决上述问题。
本发明的另一个目的是提供一种提取对象区域的方法，其可以克服区域边界的模糊并进行实时处理。
通过提供一种提取对象区域的方法可实现本发明的这些和其它目的与优点，该方法包括利用从先前帧提取的参考区域边界像素和边缘像素之间的颜色差异，修正参考区域边界；确定是否要把在修正的参考区域边界像素的预定范围内扩展的扩展区域包括到修正后的参考区域中。
根据该提取对象区域的方法，修正参考区域边界的步骤包括通过在周围的四个方向上从边界像素移动一个像素，定义边缘像素，其与参考区域边界像素之间有大于第一阈值的颜色差异；当存在于边界像素和边缘像素之间的毗连像素和边界像素间的颜色差异小于第二阈值时，修正毗连像素的状态。
根据该提取对象区域的方法，确定是否向修正的参考区域添加扩展区域的步骤包括标明包含与修正的参考区域边界像素之间具有小于第三阈值的颜色差异的像素的扩展区域；利用扩展区域与周围区域之间的平均颜色差异，选择具有最小平均颜色差异的周围区域；若选择的周围区域在参考区域中，则把扩展区域包括在参考区域中，或者若选择的周围区域不在参考区域中，则从参考区域中除去扩展区域，从而对修正过的参考区域边界进行修正。
根据本发明的另一方面，提取对象区域的方法包括利用与参考区域边界像素最接近的边缘像素修正参考区域边界；在修正过的参考区域边界像素的预定范围内扩展区域，在颜色相似性方面对此区域和周围区域进行比较，并对修正过的参考区域边界进行修正。
根据该提取对象区域的方法，修正参考区域边界的步骤包括当和参考区域边界像素间的颜色差异大于第一阈值的像素第一次出现在边界像素周围的像素中时，将其确定为边缘像素；在边界像素和边缘像素间直线上的像素中，检测和参考区域边界像素的颜色差异小于第二阈值的像素，并确定是否向兴趣区增加该像素。
根据该提取对象区域的方法，对修正过的参考区域边界进行修正的步骤包括在处于边缘像素的预定范围内的像素中，将和修正过的参考区域边界像素之间的颜色差异小于第三阈值的像素标明为一组，并扩展此区域；检测平均颜色值最接近于扩展区域的周围区域；确定是否向兴趣区增加周围区域。
所述预定范围可以是从参考区域边界像素出发覆盖N个像素的正方形。
根据本发明的另一个方面，提取对象区域的方法包括利用参考区域边界像素和边缘像素之间的颜色差异修正参考区域的边界；在修正过的参考区域边界像素的预定范围内扩展该区域；检测颜色相似性最接近于扩展区域的周围区域，并对修正过的参考区域边界进行修正。
所述的边缘像素是在接近于边界像素的像素中，和参考区域边界像素的颜色差异大于第一阈值的像素。
另外，在参考区域边界像素和边缘像素之间直线上的像素中，确定是否把与参考区域边界像素的颜色差异小于第二阈值的像素添加到兴趣区中。
利用包括在最接近的周围区域中的兴趣区分布对修正过的参考区域边界进行修正。
根据本发明的另一个方面，提取对象区域的方法包括根据先前帧的运动信息提取参考区域；利用参考区域的边界像素和边缘像素之间的颜色差异，修正参考区域的边界；在修正过的参考区域边界像素的预定范围内扩展此区域；在扩展区域的四个方向上标明周围区域；利用扩展区域和周围区域之间的平均颜色差异，选择具有最小平均颜色差异的周围区域；若选择的周围区域在参考区域中，则在参考区域中包括扩展区域，或者若选择的周围区域不在参考区域中，则从参考区域中除去扩展区域，从而对修正过的参考区域边界进行修正。
在参考区域边界像素和边缘像素之间直线上的像素中，对与参考区域边界像素问的颜色差异小于第二阈值的像素进行修正参考区域边界的步骤。
本发明的其它优点、目的和特征有一部分将在以下的说明书中进行阐述，有一部分则对于本领域的技术人员经过对以下内容的检验后会变得明了，或者通过本发明的实践而体验到。所附的权利要求书具体指出了本发明的目的和优点。
优选实施例详述以下参照附图对根据本发明优选实施例提取对象区域的方法进行详细说明。
图1显示的是根据本发明提取对象区域的过程流程图。参照图1，提取对象区域的方法包括检测与参考区域边界像素最接近的边缘像素，修正参考区域的边界(步骤100)，在修正过的参考区域边界像素的预定范围内扩展该区域，在颜色相似性方面对该区域与周围区域进行比较，对修正过的参考区域边界进行修正(步骤200)。
以下参照图2详细说明用于提取对象区域的方法的步骤100。
图2显示的是根据本发明，利用最接近于边界像素的边缘像素修正参考区域边界的过程的流程图。如图2所示，根据运动信息，可从先前帧获得对象区域(步骤111)。在下文中，将此对象区域称作“参考区域”。参考区域表示在每个像素中，兴趣区由in(1)指示，其它区域，即非兴趣区由out(0)指示的图像。在此，兴趣区或非兴趣区表示由in(1)或out(0)指示的各个像素的区域。参考区域可根据提取对象区域的现有方法提取。
利用参考区域中指示为兴趣区的in(1)可获得对应于兴趣区边缘的边界像素(步骤121)(图3)。通过标明参考区域每个方向上由in(1)指示的兴趣区和由out(0)指示的非兴趣区之间的区别区域，可获得边界像素。
判断参考区域边界像素和毗连像素之间的颜色差异是否大于第一阈值Th1(步骤131)。在此，颜色差异意味着每个像素颜色值的差异。具体地，颜色差异表示了参考区域边界像素的颜色值和毗连像素颜色值之间的差异。毗连像素是存在于参考区域边界像素周围，即四个方向上的像素。
作为判断结果，当毗连像素和参考区域边界像素之间的颜色差异大于第一阈值时，将毗连像素确定为边缘像素(步骤141)。
通过在边界像素周围的四个方向上移动一个像素，确定边缘像素，其与参考区域边界像素之间有大于第一阈值Th1的颜色差异。相应的，在每个方向上，在边缘像素和边界像素之间有一个或多个毗连像素。
确定每个方向上最接近于参考区域边界像素的边缘像素是非常重要的。
确定边缘像素后，在参考区域边界像素和边缘像素间直线上的毗连像素中，判断毗连像素和参考区域边界像素间的颜色差异是否小于第二阈值Th2(步骤151)。
作为判断结果，当毗连像素和边界像素之间的颜色差异小于第二阈值Th2时，修正相应毗连像素的状态(步骤161)。也就是说，当毗连像素由表示兴趣区的in(1)指示时，把它指示为表示非兴趣区的out(0)。相反，当毗连像素由表示非兴趣区的out(0)指示时，则把它指示为表示兴趣区的in(1)。
当错误地指示当前兴趣区时，参考区域的边界可从真实对象区域中凹进或凸起。为了防止此问题，步骤161修正相应的毗连像素的状态，并精确区别边界。
优选地，第二阈值Th2小于第一阈值Th1。
现在参照图3说明修正参考区域边界的过程。图3显示的是根据本发明，修正参考区域边界的过程的概念图，特别是处理多个边界像素中一个边界像素的过程。如图3所示，参考区域分成in(1)指示的兴趣区和out(0)指示的非兴趣区。在兴趣区和非兴趣区之间存在一个边界线。沿着边界线有边界像素。
在步骤131中，通过从边界像素BP1的周围四个方向上移动一个像素(P11、P21、P31和P41都是毗连像素)而获得和边界像素BP1的颜色差异大于第一阈值Th1的像素，即边缘像素。在此，当利用颜色差异比较边界像素和毗连像素P11、P21、P31和P41时，若并不存在和边界像素BP1的颜色差异大于第一阈值Th1的像素，则可通过从四个方向上进一步移动一个像素(P12、P22、P32和P42)而获得和边界像素BP1的颜色差异。
假设毗连像素P32和边界像素BP1之间的颜色差异大于第一阈值Th1。步骤151首先获得边界像素BP1和边界像素BP1和毗连像素P32之间的毗连像素P31与P32之间的颜色差异。当毗连像素P31和BP1之间的颜色差异小于第二阈值Th2时，毗连像素P31的状态将从out(0)变成in(1)，然后对兴趣区进行细化处理。
通过上述过程修正了参考区域的边界。在作为参考区域边界像素的区域边界近似于真实对象区域边界的情况下，将很少产生错误。但是，当其远离真实对象区域的边界时，最接近的边界像素就不是真实对象区域的边界像素，而是另一个背景边缘。因此，修正的结果在错误方向上扩展区域或者不能向外扩展区域。
运动图像有许多边缘。当参考区域与兴趣区非常不同时，利用像素单元颜色差异的算法，可将参考区域修正成非常近似于参考区域的边界像素。示范结果如图4所示。图4显示的是根据本发明，利用参考区域的边缘像素修正参考区域的边界的示例。图4A显示的是参考区域近似于真实兴趣区的状态，图4B显示的是错误确定参考区域的状态。
为了解决上述问题，如图1的步骤200所示，可进行的过程是在已修正的参考区域的预定范围内扩展区域，在颜色相似性方面对扩展区域与周围区域进行比较，对修正过的参考区域边界进行修正。
图5显示的是根据本发明，利用扩展区域和周围区域之间的颜色相似性，对已修正的参考区域进行再次修正的过程的流程图。参照图5，可获得修正的参考区域，并从修正的参考区域获得边界像素(步骤211和221)。
判断存在和步骤221获得的边界像素之间颜色差异小于第三阈值Th3的像素。
作为判断结果，当存在像素和步骤221获得的边界像素的颜色差异小于第三阈值Th3时，标明包含相应像素的预定范围的扩展区域(步骤241)。优选地，所述预定范围可包括构成离边界像素距离为N的正方形的正方形像素。在此，预定范围是可控的，例如在本发明中是离边界像素30个像素的垂直/水平距离内。因此，可把包括在30个像素的垂直/水平距离内的像素标明为一个扩展区域。
选择和扩展区域间的平均颜色差异最小的毗连区域(步骤251)。
也就是说，当标明了扩展区域后，在四个方向上标明构成和扩展区域一样大的正方形的周围区域。在此，对一个扩展区域可标明四个周围区域。因此，利用扩展区域和周围区域中包含的颜色值，计算每个区域的平均颜色值。因此，利用表示扩展区域的平均颜色值和周围区域的差异的平均颜色差异，选择具有最小平均颜色差异的周围区域。
如上所述，若所选的周围区域在参考区域内(步骤261)，则通过将扩展区域包括到参考区域中(步骤271)，或者若所选的周围区域不在参考区域内(步骤261)，则通过将扩展区域从参考区域中排除(步骤281)，从而对已修正参考区域边界进行修正。
如图5所示，通过扩展区域修正参考区域边界的方法可在从先前帧提取的参考区域的基础上修正参考区域的边界，而不用利用步骤100中修正的参考区域。也就是说，通过省略图1中的步骤100并利用现有参考区域，步骤200可修正参考区域的边界。
但是，当只通过图1的步骤200修正参考区域的边界时，应当利用具有较小颜色差异的像素来扩展此区域。在由于亮度而产生颜色差异的情况下，即使是在同一区域中，会无法充分扩展此区域。另外，当利用较大的颜色差异扩展区域时，区域边界可能超过参考区域。图6显示了一个示例结果。
图6显示的是根据本发明，在参考区域的基础上利用颜色相似性修正参考区域的示例。图6A显示的是参考区域与真实兴趣区近似的状态，图6B显示的是错误选择参考区域的状态。
另一方面，根据本发明的优选实施例，当利用颜色相似性，在参考区域的基础上修正边界和基于已修正的参考区域而再次修正时，上述问题可圆满解决。
图7显示的是根据本发明，利用颜色相似性，基于参考区域而修正边界和基于已修正的参考区域再次修正边界的示例。图7A显示的是参考区域与真实兴趣区近似的状态，图7B显示的是错误选择参考区域的状态。
虽然这些区域具有相同的颜色信息，但用于步骤100的两个阈值Th1、Th2和用于步骤200的阈值Th3具有不同的作用，并且适当使用通过这三个阈值过滤的像素，以便于通过步骤100和200提取完整的边界来基于颜色两次修正参考区域的边界。优选地，本发明的阈值满足‘Th1＞Th2＞Th3’。
如上所述，根据本发明，通过两次利用颜色差异修正粗略提取的参考区域的边界，可精确提取对象区域。
另外，通过细化参考区域的边界，可以克服由于复杂背景或噪声而导致的对象区域边界的模糊，并可进行快速的实时处理。
对于用于基于对象的图像编码和视频邮件的视频编辑工具、用于基于对象搜索数据的搜索信息提取工具和热点TV节目图像数据工具，具有上述优点的本发明非常有用。
以上参照特定的优选实施例对本发明进行了说明与描述，但本领域技术人员可以理解，在不脱离权利要求书所限定的精神和范围的情况下，可以进行形式和细节上的各种修改。
上述的实施例和优点仅仅是示例性的，并不构成对本发明的限定。本技术可以适用于其它类型的设备。本发明的说明书仅是说明性的，它并不限制权利要求的范围。对于本领域技术人员显然可以有各种替换、改进和变化。
权利要求
1.一种提取对象区域的方法，包括利用从先前帧提取的参考区域的边界像素和边缘像素之间的颜色差异，修正参考区域的边界；以及确定是否包括在修正后的参考区域边界像素的预定范围内扩展的扩展区域作为参考区域。
2.根据权利要求1所述的方法，其中修正参考区域边界的步骤包括通过在边界像素周围的四个方向上移动一个像素，定义与参考区域边界像素之间有大于第一阈值的颜色差异的边缘像素；以及当毗连像素和边界像素间的颜色差异小于第二阈值时，修正存在于边界像素和边缘像素之间的毗连像素的状态。
3.根据权利要求2所述的方法，其中第二阈值小于第一阈值。
4.根据权利要求2所述的方法，其中毗连像素的状态从兴趣区转换为非兴趣区，或从非兴趣区转换为兴趣区。
5.根据权利要求1所述的方法，其中确定是否向修正的参考区域添加扩展区域的步骤包括标明包含与修正过的参考区域边界像素之间的颜色差异小于第三阈值的像素的扩展区域；利用扩展区域与周围区域之间的平均颜色差异，选择具有最小平均颜色差异的周围区域；以及若选择的周围区域在参考区域中，则在参考区域中包括扩展区域，或者若选择的周围区域不在参考区域中，则从参考区域中除去扩展区域，从而对修正过的参考区域边界进行修正。
6.根据权利要求1所述的方法，其中所述的预定范围包括构成离参考区域边界距离为N的正方形的正方形像素。
7.根据权利要求5所述的方法，其中，当所选择的周围区域的兴趣区分布占大多数时，把所选择的周围区域指示为兴趣区，当所选择的周围区域的兴趣区分布不占大多数时，把所选择的周围区域指示为非兴趣区。
8.根据权利要求5所述的方法，其中第三阈值小于第二阈值。
9.一种提取对象区域的方法，包括利用参考区域边界像素和边缘像素之间的颜色差异，修正参考区域的边界；在修正过的参考区域边界像素的预定范围内扩展该区域；以及按颜色相似性检测最接近于扩展区域的周围区域，并对修正过的参考区域边界进行修正。
10.根据权利要求9所述的方法，其中所述的边缘像素是在接近于边界像素的像素中，和参考区域边界像素之间的颜色差异大于第一阈值的像素。
11.根据权利要求9所述的方法，其中，在存在于参考区域边界像素和边缘像素间直线上的像素中，确定是否把和参考区域边界像素之间的颜色差异小于第二阈值的像素添加到兴趣区中。
12.根据权利要求9所述的方法，其中所述的扩展区域包括和所述边界像素之间的颜色差异小于第三阈值的像素。
13.根据权利要求9所述的方法，其中，利用包含在最接近的周围区域中的兴趣区分布对修正过的参考区域边界进行修正。
14.一种提取对象区域的方法，包括根据先前帧的运动信息提取参考区域；利用参考区域边界像素和边缘像素之间的颜色差异，修正参考区域的边界；在修正过的参考区域边界像素的预定范围内扩展此区域；标明扩展区域在四个方向上的周围区域；利用扩展区域和周围区域之间的平均颜色差异，选择具有最小平均颜色差异的周围区域；以及若选择的周围区域在参考区域中，则在参考区域中包括扩展区域，或者若选择的周围区域不在参考区域中，则从参考区域中除去扩展区域，从而对修正过的参考区域边界进行修正。
15.根据权利要求14所述的方法，其中，在参考区域边界像素和边缘像素间直线上的像素中，对和参考区域边界像素之间的颜色差异小于第二阈值的像素进行修正参考区域边界的步骤。
全文摘要
本发明公布了一种提取对象区域的方法，该方法可精确地修正粗略提取的对象区域(参考区域)。通过检测最接近于参考区域边界像素的边缘像素，可以修正参考区域的边界。此后，从已修正的参考区域中标明扩展区域，且利用扩展区域和周围区域之间的颜色差异选择具有最小颜色差异的周围区域。最后，利用包含在所选择的周围区域中的兴趣区分布，对修正过的参考区域边界进行修正。结果，通过两次修正参考区域而防止边界模糊，从而可更精确地提取对象区域。
文档编号G06T5/00GK1411282SQ0214404
公开日2003年4月16日 申请日期2002年9月29日 优先权日2001年10月8日
发明者李振秀, 柳在信 申请人:Lg电子株式会社