专利名称：提取对象区域的方法
技术领域：
本发明涉及在运动图像中提取对象区域的方法，该方法可以通过利用对象的运动程度来快速提取对象区域。
在监视摄像机环境下，如果在没有运动对象存在的情况下捕获到一个瞬时运动，则认为是出现了一个对象，随后在运动生成区域提取和跟踪对象区域。因为背景通常是固定的并且在监视摄像机环境下很少发现运动，所以利用运动信息可以相对容易地跟踪对象。
最近，基于对象的编码方法已经集中于执行少量数据或背景变化的图像通讯。用于此种用途的标准编码方法是MEPG-4。此外，已经进行了许多尝试去根据不同方法通过对对象区域和背景区域进行编码来实现有效的数据网络。
如上所述，在图像通讯环境下，当一个图像被显示出来时，大部分运动的对象就出现在屏幕上。运动对象相对于屏幕尺寸的比例要大于其相对于监视摄像机的比例。从而，在图像通讯环境下，难于利用运动信息来提取或跟踪对象区域。
因此，已经提出了多种提取或跟踪对象区域的方法。
其中之一，有一种方法通过利用运动信息和边缘信息来初始化对象区域并按如下方式提取对象区域。首先，把先前帧的对象区域在预定方向上平移，并且与当前帧的边缘相重叠。最大重叠区域的方向就被认为是运动方向，而重叠边缘被认为是新对象区域的部分边缘。随后，获得先前帧和当前帧之间的差异，并且在差异生成区域中当前帧的边缘区域也被认为是对象区域的部分边界。对通过这两种方法得到的边缘区域进行“或”运算，以获取当前帧的对象区域。
然而，上述方法不能在有复杂边缘的背景图像中得到精确的边缘。
还有另一种方法是按颜色将给定图像分割成若干区域并将它们再次合并来构成对象区域。在此，子区域是按“分水岭”方法进行划分的，并且可以在运动和颜色近似性的基础上对近似运动信息和颜色信息的区域进行合并。此外，也可以仅利用颜色信息来合并这些区域。然而，此种基于图像分割/合并的算法通常需要很长的处理时间，因此难以应用于实时对象跟踪算法。如果用户穿着有复杂图案的衣服，就难以按颜色来合并区域。
还有一种方法，在用户的帮助下提取初始对象区域，并跟踪被提取的区域是如何按时间移动的。然而此方法同样要花费较长的时间，因此也不能用于实时处理。
现在将详细介绍一种从运动图像中提取对象区域的常规方法。
图1显示的是从运动图像中提取对象区域的方法的概念图。参照图1，这种提取对象区域的方法包括一个提取初始对象区域的步骤(步骤111)和跟踪所提取的对象区域的步骤(步骤121)。在此，在没有关于对象区域的任何信息的情况下，步骤111利用自动或半自动算法来从先前帧中提取对象区域。
步骤121根据从先前帧中提取出来的对象区域来跟踪当前帧的对象区域。它使用了比初始对象区域提取更快的算法。
另一方面，除了这两个基本步骤，即步骤111和121之外，还可以利用对象区域重构步骤(步骤141)。当对象区域被跟踪了很长一段时间后，在跟踪过程中产生的误差就会累积增加。为了防止误差增加，重构处理必须周期性地或每当遇到特定条件时就执行。为此可以添加一个用以提供周期值或特定条件并对它进行判断的附加步骤(步骤131)。
还可以包括细化对象区域的步骤(步骤151)。步骤151根据对象的运动细化并修改所提取的对象区域的不精确边界。
上述方法用于在人工的良好照明下获得的运动图像，比如说新闻数据。
然而，由于下面的原因，这些方法对于诸如图像通讯的实际环境并不实用。也就是说，由于照明本身的噪声或图像捕捉设备的特性而可能会产生问题。
图像通讯大部分在室内进行，并且通常使用荧光灯作为内部照明。众所周知，荧光灯闪烁严重。即使这种闪烁是不能被肉眼感知的，但是分析所拍摄的数据时，即使是在非运动区域内，由于荧光灯的照明特性也会在两个时间上不同的帧之间生成差异。在边缘区域内这种差异变得更加严重。此外，PC摄像机比摄像机的图像品质更低。从而，在整个图像中就可能产生噪声，尤其是用户的运动会改变照明。
另一方面，对象运动得越厉害，在相应位置中的两个帧就有越大的差异；而对象运动得越小，两个帧的差异就越小。即使在非运动位置中两个帧也会有差异。这种差异可能会大于少量运动对象的边界中生成的差异，并小于在大量运动对象的边界中生成的差异。
因此，当假定在差异很大时生成差异以除去由于技术问题而产生的噪声，那么小运动就可能被忽略。当需要发现小运动时，又会检测到背景图像的噪声。因此，强烈要求通过识别对象的运动来提取当前帧的对象区域。
因此，本发明的一个目的是通过提供一种在运动图像中提取对象区域的方法来解决上述问题，该方法能够通过区分对象的运动程度来提取当前帧的对象区域。
本发明的另一目的是提供一种提取对象区域的方法，当对象有大量运动时，它可以利用变化检测图像(change detected image，CDI)来提取当前帧的对象区域。
本发明的另一个目的是提供一种提取对象区域的方法，当对象有大量运动而误差增加时，它能够根据本发明的对象提取方法来重构当前帧的对象区域。
本发明的上述那些和其他的目的及优点可以通过提供一种在运动图像中提取对象区域的方法来达到，该方法利用基于对象运动程度的不同方法来提取当前帧的对象区域。
对象运动程度表示先前帧和当前帧之间的对象位移。
当对象几乎没有运动时，先前帧的对象区域可以由当前帧的对象区域来取代。
当对象有大量运动时，可以利用基于当前帧和先前帧之间的差异所生成的CDI来提取当前帧的对象区域。
根据本发明的另一方面，用以在运动图像中提取对象区域的方法包括如下步骤根据两个时间不同的帧之间的差异来生成CDI(变化检测图像)；比较CDI的对象区域和先前帧的对象区域；以及根据比较的结果来修改先前帧的对象区域。
根据该提取对象图像的方法，修改先前图像的对象区域的步骤包括从四个方向的边沿向内扫描CDI和先前帧；从CDI对象区域的轮廓和先前帧对象区域的轮廓之间检测出在扫描方向上首先出现的轮廓；以及当先前帧对象区域的轮廓首先检测出时，收缩或扩展先前帧的对象区域，直到其与CDI对象区域的轮廓相吻合。
修改先前图像的对象区域的步骤还包括当CDI的对象区域的轮廓首先检测到时，收缩或扩展先前帧的对象区域，直到其与先前帧对象区域的轮廓相吻合。
本发明的其它优点、目的和特征有一部分将在以下的说明书中进行阐述，有一部分则对于本领域的技术人员经过对以下内容的检验后会变得明了，或者通过本发明的实践而体验到。所附的权利要求书具体指出了本发明的目的和优点。
图4显示的是根据本发明从先前帧中获取的先前模型的示意图；图5显示的是根据本发明的变化检测图像的示意图；图6显示的是根据本发明的闭合图像的示意图；图7显示的是根据本发明利用闭合形态来提取对象区域的过程示意图；图8显示的是根据本发明的精确模型的示意图；图9显示的是根据本发明在先前模型和闭合模型之间的局部收缩和扩展的概念图；图10显示的是根据本发明利用开放形态来提取对象区域的过程示意图；图11显示的是根据本发明的简化模型的示意图；以及图12显示的是根据本发明的重绘模型的示意图。
优选实施例详细说明现在将结合附图对根据本发明优选实施例的提取对象区域的方法进行详细阐述。
根据本发明，利用基于对象运动程度的不同方法来提取当前帧的对象区域。在此，对象运动程度表示先前帧和当前帧之间的对象位移。尤其是当对象有大量运动时，可以利用基于当前帧和先前帧之间的差异所生成的CDI来修改先前帧的对象区域，从而提取出当前帧的对象区域。如果利用CDI来提取当前对象区域，那么可以忽略由于噪声而产生的差异，从而可以提取出精确的对象区域。
图2显示的是根据本发明提取对象区域的过程的流程图。如图2所示，从运动图像中获得先前帧和当前帧(步骤211)。
在此，根据先前帧和当前帧来判断运动(步骤221)。也就是，确认对象是有很小还是很大的运动。这可以通过利用先前帧和当前帧之间的像素值的差异来判断。当像素值差异很小时，对象就几乎没有运动，而当像素值差异很大时，对象就有大量运动。
依照判定结果，当对象有少量运动时，先前帧的对象区域替代当前帧的对象区域，从而就提取出了当前帧的对象区域(步骤231)。
另一方面，当对象有大量运动时，具有超过一个预定临界值的像素值差异的像素被置值以生成CDI(步骤241)。在此，“置值”指的是将相应像素从“OFF”状态改变为“ON”状态。从而，处于“ON”状态的像素被认为具有大量运动。同时，分别由先前帧和当前帧生成先前模型和原始图像。原始图像如图5所示，先前模型如图4所示，而CDI如图5所示。
如图5所示，CDI仅显示先前帧和当前帧之间的差异生成区域。也就是，CDI显示具有边缘的边界的大运动部分。
在此，为了从CDI中除去小槽或孔洞，使用闭合形态(闭合图像)来简化CDI。图6显示了闭合图像。如图7所示，闭合形态从对象区域中除去小槽或孔洞，并通过连续执行扩展和侵蚀过程来连接细小的分离点。如图6所示，图5中的CDI的点通过闭合形态转化为边。依据本发明，元素直径被定义为15个像素，但是也可以变化。
另一方面，从四个方向的边部向内扫描CDI和先前帧(步骤251)。可以由通过闭合形态法简化的闭合图像来替代CDI。在此，执行扫描过程以将CDI的对象区域轮廓与先前帧对象区域轮廓进行比较，并且检测CDI的置值像素是否比先前帧的像素更早显示出来。也就是说，当对象有大量运动时，在CDI的对象区域轮廓和先前帧的对象区域轮廓之间存在预定间隙。当在扫描方向上执行扫描过程时，CDI和先前帧中至少有一个要早于另一个而检测出来。在此，扫描过程在四个方向上执行，即从左到右，从右到左，从上到下以及从下到上。
根据检测结果来修改先前帧的对象区域(步骤261)。
根据扫描结果，如果在扫描方向上先前帧的对象区域轮廓的未置值像素比CDI对象区域轮廓的未置值像素先出现，则位于先前帧的对象区域轮廓与CDI对象区域轮廓之间的像素以及包含在先前帧的对象区域中的像素将被置值。也就是，先前帧的对象区域被扩展到与CDI的对象区域一样大。
相反，如果在扫描方向上先前帧的对象区域轮廓的置值像素比CDI对象区域轮廓的置值像素先出现，则位于先前帧的对象区域轮廓与CDI对象区域轮廓之间的像素以及包括在先前帧的对象区域中的像素将被复位。也就是，先前帧的对象区域被收缩到与CDI的对象区域一样大。
图9显示了收缩或扩展先前帧的对象区域的过程。当CDI的对象区域轮廓先出现时，先前帧的对象区域的收缩或扩展可以按相同的方式应用。
也就是说，根据步骤251的检测结果，当CDI的对象区域轮廓比先前帧的对象区域轮廓先出现时，如果位于两个轮廓之间的像素和包含在先前帧的对象区域中的像素是置值的，那么包含在先前帧中的对象区域中的像素就可以被复位以与先前帧的对象区域轮廓相吻合。
除此之外，为了收缩先前帧的对象区域，当复位位于两个轮廓之间的像素和包含在先前帧的对象区域中的像素时，包含在先前帧中的像素就可以被置值以与先前帧的对象区域轮廓相吻合。在此，前者表示对象区域的收缩，而后者表示对象区域的扩展。
在收缩或扩展先前帧的对象区域的方法中，扫描方向从左移到右，但也可以从右移到左，从上到下或从下到上。而且，当通过放大或缩小来改变屏幕时，可以在所有方向上执行收缩或扩展过程。
图8中显示了在步骤261中获得的精细图像。
精细图像可以通过根据开放形态(图10)除去细线而得以简化。图12显示了这样获得的简化图像。
另外，可以通过根据闭合形态去除小孔而对简化图象进行再次简化。图12显示了这样获得的重绘图像。因此，重绘图像就成为了当前帧的对象区域。在省略了开放形态和闭合形态的情况下，在步骤261中获得的精细图像就是当前帧的对象区域。
另一方面，对象区域跟踪算法通常使用一种利用先前帧的对象区域来跟踪当前帧的对象区域的方法。在这种情况下，在跟踪过程中少量产生的错误就会随时间推移而积累。在每秒15帧的实时图像显示中误差增长速率是非常高的。因此，就必须要周期性地或者在特定情况下重新提取精确的对象区域。
然而，当周期性地重构对象区域时，如果误差增长速率很高，周期就必须缩短。因为关于误差增长的信息无法获取，所以对象区域就难以重构。此外，重构算法与初始对象区域提取算法相似，从而需要比跟踪算法更长的时间。
当对象很少有运动时，误差增长就减弱。这样就可以省略重构过程。当对象有大量运动时，执行重构过程。也就是说，当存在大量运动时，关于对象区域的信息就很充分。因此，通过利用对象区域信息可以很容易地进行重构过程。
根据本发明，当有大量运动时，通过利用两个帧之间的差异来提取对象区域。关于对象区域的信息在大量运动存在下相对精确。
根据本发明的对象区域提取算法在大量运动存在下通过利用当前帧的运动信息而不是先前帧的运动信息来重构对象区域。那是因为在图6所示的大量的运动中大部分区域边界在CDI中很清晰。
相反，在存在少量运动的条件下区域边界就不清晰，这样就可以原样使用先前模型的边界。在这种情况下，跟踪算法就与重构算法一样，从而不会出现时间的问题。
如前面所述，根据本发明，提取对象区域的方法可以有效地应用于如图像通讯中运动图像的基于对象的编码，以及进行实时处理。
此外，提取对象区域的方法执行像素单元区域划分，从而适于需要精确划分技术的应用，如背景转换。
而且，提取对象区域的方法单独提供了提取初始对象区域的算法和由先前帧的对象区域跟踪当前帧的对象区域的算法，因此可以有效地利用此算法。
而且，当对象具有大量运动时，提取对象区域的方法通过自动利用大量的运动信息来将对象区域重构为更精确的区域，以根据不同状态下的优化方法来提取对象区域。
在参照其优选实施例对本发明进行展示和说明时，本领域技术人员应该了解到可以在权利要求限定的本发明的宗旨和范围内进行形式和细节上的各种变化。
上述的实施例和优点仅仅是示例性的，并不对本发明构成限制。本发明可以容易地应用于其它类型的装置。本发明的说明书是用于进行说明，不限制权利要求的范围。对于本领域的技术人员，很显然可以有很多的替换、改进和变化。
权利要求
1.一种在运动图像中提取对象区域的方法，包括确定对象运动程度，它表示先前帧和当前帧之间的对象位移；当对象有很小的运动时，用当前帧的对象区域替代先前帧的对象区域；以及当对象有大量运动时，利用基于当前帧和先前帧之间的差异生成的CDI(变化检测图像)来提取当前帧的对象区域。
2.根据权利要求1所述的方法，其特征在于，根据闭合形态法简化CDI。
3.根据权利要求1所述的方法，其特征在于，通过比较CDI的对象区域轮廓与先前帧的对象区域轮廓来收缩或扩展先前帧的对象区域。
4.根据权利要求3所述的方法，其特征在于，按照开放形态法对先前帧的被收缩或扩展的对象区域进行简化，然后按照闭合形态法进行再简化。
5.根据权利要求3所述的方法，其特征在于，通过从四个方向边缘向内扫描CDI和先前帧来执行所述的比较。
6.根据权利要求3所述的方法，其特征在于，先前帧对象区域的收缩步骤是，当先前帧的对象区域轮廓的置值像素比CDI的对象区域轮廓的置值像素先出现时，对位于先前帧的对象区域轮廓和CDI的对象区域轮廓之间的像素以及包含在先前帧的对象区域中的像素进行复位。
7.根据权利要求3所述的方法，其特征在于，先前帧对象区域的扩展步骤是，当先前帧的对象区域轮廓的未置值像素比CDI的对象区域轮廓的未置值像素先出现时，对位于先前帧的对象区域轮廓和CDI的对象区域轮廓之间的像素以及包含在先前帧的对象区域中的像素进行置值。
8.一种在运动图像中提取对象区域的方法，包括根据两个时间不同的帧之间的差异来生成CDI(变化检测图像)；将CDI的对象区域与先前帧的对象区域进行比较；以及根据比较结果修改先前帧的对象区域。
9.根据权利要求8所述的方法，还包括在比较之前根据闭合形态法来简化CDI。
10.根据权利要求8所述的方法，还包括根据开放形态法来简化修改过的先前帧对象区域；以及利用闭合形态法对根据开放形态法简化过的对象区域进行简化。
11.根据权利要求8所述的方法，其特征在于，所述比较是在CDI的对象区域轮廓与先前帧的对象区域轮廓的位置变化的基础上进行的。
12.根据权利要求8所述的方法，其特征在于，修改先前图像的对象区域的步骤包括从四个方向的边缘向内扫描CDI和先前帧；检测CDI对象区域轮廓与先前帧对象区域轮廓中在扫描方向上最先出现的轮廓；以及当首先检测到先前帧的对象区域轮廓时，收缩或扩展先前帧的对象区域直到它能够与CDI的对象区域轮廓相吻合。
13.根据权利要求12所述的方法，其特征在于，先前帧对象区域的收缩是这样一个步骤，当位于先前帧的对象区域轮廓和CDI的对象区域轮廓之间的像素以及包含在先前帧的对象区域中的像素被置值时，对包含在先前帧对象区域中的像素进行复位以与CDI的对象区域轮廓相吻合。
14.根据权利要求12所述的方法，其特征在于，先前帧对象区域的扩展是这样一个步骤当位于先前帧的对象区域轮廓和CDI的对象区域轮廓之间的像素以及包含在先前帧的对象区域中的像素未置值时，对包含在先前帧对象区域中的像素进行置值以与CDI的对象区域轮廓相吻合。
全文摘要
本发明公开了一种在运动图像中提取对象区域的方法，它能够利用基于对象运动程度的不同方法来提取对象区域。尤其是当对象具有大量运动时，通过对先前帧与根据先前帧和当前帧之间的差异而生成的CDI(变化检测图像)进行比较来修改先前帧的对象区域。从而，本发明可以应用于需要进行实时处理的图像通讯，也可以通过将对象区域划分为像素单元而应用于需要精确背景改变的技术中。
文档编号G06T5/00GK1411281SQ0214443
公开日2003年4月16日 申请日期2002年9月27日 优先权日2001年9月29日
发明者李振秀, 柳在信 申请人:Lg电子株式会社