专利名称：在动态图像中搜寻移动小物体的方法
技术领域：
本发明是有关于一种在动态图像中搜寻移动小物体的方法。
背景技术：
对于一动态图像的显示，其一般会有背景图像与前景图像。背景图像例如是环境的整体图像，而前景图像例如是在此环境图像中的一移动小物体的图像。背景图像与前景图像一般都会移动。当利用摄影机拍摄此动态场景时，是一固定的帧速率摄取图像，即是例如每秒拍取24个图像帧。此数字的图像相对于一般的播放速度，例如每秒60个帧的播放速度不会一致。因此配合图像播放模式，其需要在两个帧之间插入另一个帧。然而由于移动小物体所占的面积较小，且移动方向一般会与背景的移动方向不一致，因此在做插入帧时，移动小物体可能会消失或不准确。如何能将移动小物体更准确寻找出也是要提升影响质量所需要考虑的因素其一。
发明内容
本发明提供一种在动态图像中搜寻移动小物体的方法，在插入图像时可以较为准确搜寻出动态图像中的移动小物体。本发明提出一种在动态图像中搜寻移动小物体的方法，用于在一第一图像面与一第二图像面之间插入一插入图像面。此方法包括选择在该插入图像面中的一插入区域。以该插入区域的一位置为一参考区域，在一预定范围内的多个区域(local-region)与该参考区域构成多个延伸方向，分别与该第一图像面与该第二图像面交会得到多对区域图像数据，该每一对区域图像数据有在该第一图像面的一第一区域区域数据以及该第二图像面的一第二区域图像数据。计算该每一对区域图像数据的该第一区域图像数据与该第二区域图像数据之间的一差异值，其中当该差异值小于一设定值时，所对应的该延伸方向视为至少一初阶移动向量。取得该第一图像面与该第二图像面之间的一全体移动向量。比较该至少一移动向量与该全体移动向量之间的一移动向量差异是否大于一设定值，其中如果该移动向量差异大于该设定值，则对应该延伸方向的该第一区域图像数据与该第二区域图像数据被识别为一移动小物体的图像。依据本发明一实施例，本发明的方法可以还包括一确认步骤。确认步骤包括:由该第一图像面向该第二图像面寻找出一第一移动小物体，且得到一第一移动向量；由该第二图像面向该第一图像面寻找出一第二移动小物体，且得到一第二移动向量；检视是否该第一移动向量与该第二移动向量实质上是一致；以及如果该第一移动向量与该第二移动向量实质上是一致，则检视该第一移动向量或该第二移动向量是否也与对应该移动小物体的该移动向量实质上一致，如果不一致则丢弃该移动小物体。依据本发明一实施例，本发明的方法可以还包括一确认步骤。确认步骤包括:由该第一图像面中被识别出的该移动小物体，向该第二图像面寻找出一第一移动小物体，且得到一第一移动向量；由该第二图像面中被识别出的该移动小物体，向该第一图像面寻找出一第二移动小物体，且得到一第二移动向量；检视是否该第一移动向量与该第二移动向量实质上是一致；以及如果该第一移动向量与该第二移动向量实质上是一致，则检视该第一移动向量或该第二移动向量是否也与对应该移动小物体的该移动向量实质上一致，如果不一致则丢弃该移动小物体。本发明也提出一种在动态图像中搜寻移动小物体的方法，用于在一动态图像显示数据中的相邻的一第一图像帧与一第二图像帧之间插入一插入图像帧。此方法包括:选择在该插入图像帧中的一插入区域。选择通过该插入区域预定的多个延伸方向。分别以该些延伸方向同时向该第一图像帧及该第二图像帧交会得到一第一区域图像数据与一第二区域图像数据，分析该些延伸方向是否符合相同图像物体移动的条件，且以对应的该延伸方向得到至少一移动向量。取得该第一图像面框与该第二图像帧之间的一全体移动向量。比较该至少一移动向量与该全体移动向量之间的一移动向量差异是否大于一设定值，其中如果该移动向量差异大于该设定值，则对应的该第一区域图像数据与该第二区域图像数据被视为一移动小物体。为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
图1绘示依据本发明对两个图像帧所解决的问题示意图。图2绘示对应图1在时间轴上,前景图像与背景图像的移动变化示意图。图3绘示根据本发明一实施例，插入图像帧时寻找移动小物体的机制示意图。图4绘示依据本发明一实施例，一种在动态图像中搜寻移动小物体的方法流程示意图。图5绘示依据本发明一实施例，寻找移动小物体的机制示意图。[主要元件标号说明]100:图像帧102、102’:前景图像104、104’:背景图像106:图像帧108:图像帧110:附近区域S200-S212:步骤
具体实施例方式对于所拍摄到的数字动态图像，其前一个图像帧与后一个图像帧的内容会不一样,且会有移动物体。图1绘示依据本发明对两个图像帧所解决的问题示意图。参阅图1，图像帧100，也称为帧I，是所摄取的图像数据，其相对于一个时间点的显示是一个图像画面。图像画面是多个像素组成像素阵列，而像素阵列也例如还可以切割成区块来分析处理。者是取决于实际的安排。当前的图像帧106，也称为帧P，是紧接于先前图像帧100后的当前一个图像数据，其也是一个图像画面。图像帧100的内容一般可以分为背景图像104与前景图像102。前景图像102可能是移动的小物体。背景图像104是环境场景的图像。一般而言，背景图像104占图像的大部分，且可能会有移动。而前景图像102是较小的移动的小物体，且移动方向一般是与背景图像104的移动方向不同。于图像帧106，由于一动的原因，前景图像102’会有移动，同时背景图像104’也会移动。当然，背景图像104’也可能是静止。图2绘示对应图1在时间轴上，前景图像与背景图像的移动变化示意图。参阅图2，在图像帧100上会有背景图像104以及前景图像102。如果背景图像104与前景图像102都在移动，且一般情况是会往不同方向移动。因此在经过一小时间间隔后所拍摄到的图像帧106，前景图像102会移动到前景图像102’，背景图像104会移动到前景图像104’。移动的变化程度一般是以移动向量(motion vector,MV)来表示,其代表一个相同对象从图像帧100到图像帧106的移动量与方向。移动向量是本领域技术人员所了解常用参数，其细部不再进一步描述。图3绘示根据本发明一实施例，插入图像帧时寻找移动小物体的机制示意图。参阅图3，由于一般的实际拍摄的帧速率比播放的帧速率小，例如在相邻两个实际拍摄的图像帧100、106之间需要插入另一张图像帧108，又称为帧T，其例如是在时间中间点会插入帧T。就图像识别而言，在图像帧100与图像帧106要确定是否释相同图像内容的方式，例如会采用一般所知的绝对差异总和值(Sum of Absolute Difference, SAD),其是在图像帧100的一个图像区块与在图像帧106的相同形状的一个图像区块之间的所有像素值绝对差异的总和。就理想状况，如果所检测的图像区块是相同的内容，则就会吻合，因此SAD值会趋近于O。换句话说，如果SAD值小于一个程度，其代表在图像帧100与在图像帧106上所检测的图像区块可以视为是相同对象，因此可以算出其移动向量。在图像帧108所要插入的一插入区域D，其需要由图像帧100与图像帧106的数据来做插入，因此需要找出对应相同的区域(local-region)图像。对应插入区域D的位置，从图像帧100到图像帧106通过插入区域D的图像除了会包含属于背景图像104的图像还可能会包含前景图像102的图像，其例如是移动小物体的图像。属于前景图像102与背景图像104的区域图像的SAD值都会符合小于要选取的设定值，但是有不同的移动向量。如果移动向量的错误选择会导致小物体消失的可能。本发明也因此提出能更有效检测出小物体的移动，以至少可以减少小物体消失的可能。通过插入区域D的位置为参考，可以选择多个延伸方向使与图像帧100及图像帧106分别交会，得到分别的区域图像，通过每一个延伸方向的SAD值来判断是否属于相同图像内容，也同时可以得到移动向量。一对的区域图像，会包含在图像帧100的区域图像，对应标号102或104，以及在图像帧106的区域图像，对应标号102’或104’。通过插入区域D的背景图像104的对应区域图像，从图像帧100到图像帧106或是从图像帧106到图像帧100会有移动向量mvl。如果同时也有移动小物体的前景图像102也通过插入区域D时，其也会产生小SAD值而被选择到，且有移动向量mvO。由于图像帧100、图像帧106、图像帧108在显示的图像面都是相同大小的显示画面，因此通过插入区域D的延伸方向在图像面上可以转换成与插入区域D的相对位置。换句话说，要寻找可能的移动小物体的范围可以以插入区域D为参考，在设定的一附近区域110内即可，且寻找密度也依处理能力而定。接着,要区分移动小物体的方式是与一全体移动向量(globe motion vector)来比较。就图像帧100到图像帧106而言，其移动小物体所占的显示面积为较小部分，因此仍会有统计出来的全体移动向量，代表接近背景图像的移动程度。移动小物体的移动方向基本上会与背景图像的移动方向有所不同。因此，将所得到的属于相同对象的移动向量与一全体移动向量相比较，如果与全体移动向量的差异大于一个设定程度就可以认定是属于移动小物体所产生。因此，在插入此插入区域D的图像就需要考虑移动小物体的图像，而减少移动小物体消失的可能。另外，如果没有寻找到移动小物体，对此插入区域D就无需考虑是否有移动小物体。接着，当有移动小物体时，可以进一步作确认。确认的方式是直接由图像帧100向图像帧106寻找移动小物体且计算出移动向量以及直接由图像帧100向图像帧106寻找移动小物体且计算出移动向量。由二个方向所寻找到移动向量要一致。从图3的机制可以分成几个步骤。图4绘示依据本发明一实施例，一种在动态图像中搜寻移动小物体的方法流程示意图。参阅图4，搜寻移动小物体的方法可以用于在一第一图像面与一第二图像面之间插入一插入图像面。于步骤S200，选择在插入图像面中的一插入区域D。于步骤S202，以插入区域D的一位置为一参考区域，在一预定范围内的多个区域(local region)与参考区域构成多个延伸方向，分别与第一图像面与第二图像面交会得到多对区域图像数据。每一对区域图像数据有在该第一图像面的一第一区域图像数据以及该第二图像面的一第二区域图像数据。于步骤S204，计算每一对区域图像数据的第一区域图像数据与第二区域图像数据之间的一差异值，其中当差异值小于一设定值时，所对应的该延伸方向视为至少一初阶移动向量。于步骤S206，取得第一图像面与第二图像面之间的一全体移动向量。于步骤S208，比较该至少一移动向量与该全体移动向量之间的一移动向量差异是否大于一设定值。于步骤S210，如果移动向量差异大于设定值，则对应延伸方向的第一区域图像数据与第二区域图像数据被识别为一移动小物体的图像。于步骤S212，如果移动向量差异不大于设定值，则此区域图像是背景图像。理论上，如果图像帧I图像帧P确实包含移动小物体，则必定可以找得到对应的区域图像。因此，如果需要的话可以再做重复的确认。图5绘示依据本发明一实施例,寻找移动小物体的机制示意图。参阅图5,要确认所寻找的移动小物体是否正确的方法包括由图像帧I向图像帧P寻找出一移动小物体且得到第一移动向量mv2。再由图像帧P向图像帧I寻找出一移动小物体，且得到第二移动向量mv3o如果移动向量mv与移动向量mv3实质上是一致且与全体移动向量不同，则就可以判定是移动小物体。另一方面也就是说，由两个图像帧从双方向所寻找出的移动小物体的移动向量与图3的移动小物体的移动向量mvO实质上一致，就确认是移动小物体。如果不一致则丢弃该移动小物体。另一个确认方式是由图像帧I中被图3所识别出的移动小物体，向图像帧P寻找出第一移动小物体，且得到一第一移动向量mv2。由图像帧P中被图3被识别出的移动小物体，向图像帧I寻找出第二移动小物体，且得到一第二移动向量。检视是否第一移动向量与第二移动向量实质上是一致。如果第一移动向量与第二移动向量实质上是一致，则检视该第一移动向量或该第二移动向量是否也与对应由图3所检视出的移动小物体的移动向量mvO实质上一致。如果有不一致的情形则丢弃此所检视出的移动小物体。又从另一方来看，在动态图像中搜寻移动小物体的方法，可以用于在一动态图像显示数据中的相邻的一第一图像帧与一第二图像帧之间插入一插入图像帧。此方法包括:选择在该插入图像帧中的一插入区域。选择通过该插入区域预定的多个延伸方向。分别以该些延伸方向同时向该第一图像帧及该第二图像帧交会得到一第一区域图像数据与一第二区域图像数据，分析该些延伸方向是否符合相同图像物体移动的条件，且以对应的该延伸方向得到至少一移动向量。取得该第一图像面框与该第二图像帧之间的一全体移动向量。比较该至少一移动向量与该全体移动向量之间的一移动向量差异是否大于一设定值，其中如果该移动向量差异大于该设定值，则对应的该第一区域图像数据与该第二区域图像数据被视为一移动小物体。要完成插入图像的全部图像数据，可以依照相同机制，改变插入区域的位置，使插入图像的全部区域都插入图像数据。虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视所附的权利要求范围所界定者为准。
权利要求
1.一种在动态图像中搜寻移动小物体的方法，用于在一第一图像面与一第二图像面之间插入一插入图像面，包括: 选择在该插入图像面中的一插入区域； 以该插入区域的一位置为一参考区域，在一预定范围内的多个区域与该参考区域构成多个延伸方向，分别与该第一图像面与该第二图像面交会得到多对区域图像数据，该每一对区域图像数据有在该第一图像面的一第一区域图像数据以及该第二图像面的一第二区域图像数据； 计算该每一对区域图像数据的该第一区域图像数据与该第二区域图像数据之间的一差异值，其中当该差异值小于一设定值时，所对应的该延伸方向视为至少一初阶移动向量; 取得该第一图像面与该第二图像面之间的一全体移动向量；以及比较该至少一移动向量与该全体移动向量之间的一移动向量差异是否大于一设定值，其中如果该移动向量差异大于该设定值，则对应该延伸方向的该第一区域图像数据与该第二区域图像数据被识别为一移动小物体的图像。
2.根据权利要求1所述的在动态图像中搜寻移动小物体的方法，还包括一确认步骤，其中该确认步骤包括:由该第一图像面向该第二图像面寻找出一第一移动小物体，且得到一第一移动向量；由该第二图像面向该第一图像面寻找出一第二移动小物体，且得到一第二移动向量；检视是否该第一移动向量与该第二移动向量实质上是一致；以及如果该第一移 动向量与该第二移动向量实质上是一致，则检视该第一移动向量或该第二移动向量是否也与对应该移动小物体的该移动向量实质上一致，如果不一致则丢弃该移动小物体。
3.根据权利要求1所述的在动态图像中搜寻移动小物体的方法，还包括一确认步骤，其中该确认步骤包括: 由该第一图像面中被识别出的该移动小物体，向该第二图像面寻找出一第一移动小物体，且得到一第一移动向量； 由该第二图像面中被识别出的该移动小物体，向该第一图像面寻找出一第二移动小物体，且得到一第二移动向量； 检视是否该第一移动向量与该第二移动向量实质上是一致；以及如果该第一移动向量与该第二移动向量实质上是一致，则检视该第一移动向量或该第二移动向量是否也与对应该移动小物体的该移动向量实质上一致，如果不一致则丢弃该移动小物体。
4.根据权利要求1所述的在动态图像中搜寻移动小物体的方法，其中该第一区域图像数据与该第二区域图像数据之间的该差异值是像素绝对差异值的总和。
5.根据权利要求1所述的在动态图像中搜寻移动小物体的方法，其中该插入区域包含多个像素。
6.根据权利要求1所述的在动态图像中搜寻移动小物体的方法，其中该第一图像面与该第二图像面是一动态图像的相邻的二个帧，该插入图像面是在该二个帧之间要插入的一插入帧。
7.根据权利要求1所述的在动态图像中搜寻移动小物体的方法，其中该插入区域会移动于该插入图像面的一全部区域而完成该全部区域的图像插入。
8.根据权利要求1所述的在动态图像中搜寻移动小物体的方法，其中该插入区域的插入图像数据是根据该移动向量的值做图像插入。
9.一种在动态图像中搜寻移动小物体的方法，用于在一动态图像显示数据中的相邻的一第一图像帧与一第二图像帧之间插入一插入图像帧，包括: 选择在该插入图像帧中的一插入区域； 选择通过该插入区域预定的多个延伸方向； 分别以该多个延伸方向同时向该第一图像帧及该第二图像帧交会得到一第一区域图像数据与一第二区域图像数据，分析该多个延伸方向是否符合相同图像物体移动的条件，且以对应的该延伸方向得到至少一移动向量； 取得该第一图像帧与该第二图像帧之间的一全体移动向量；以及比较该至少一移动向量与该全体移动向量之间的一移动向量差异是否大于一设定值，其中如果该移动向量差异大于该设定值，则对应的该第一区域图像数据与该第二区域图像数据被视为一移动小物体。
10.根据权利要求9所述的在动态图像中搜寻移动小物体的方法，还包括一确认步骤，其中该确认步骤包括: 由该第一图像帧向该第二图像帧寻找出可能的一第一移动小物体，且得到一第一移动向量; 由该第二图像帧向该第一图像帧寻找出可能的一第二移动小物体，且得到一第二移动 向量; 检视是否该第一移动向量与该第二移动向量实质上是一致；以及如果该第一移动向量、该第二移动向量、对应该移动小物体的该移动向量三者有不一致时，丢弃该移动小物体的识别。
11.根据权利要求9所述的在动态图像中搜寻移动小物体的方法，其中该第一区域图像数据与该第二区域图像数据之间的该差异值是像素绝对差异值的总和。
12.根据权利要求9所述的在动态图像中搜寻移动小物体的方法，还包括一确认步骤，其中该确认步骤包括: 由该第一图像面中被识别出的该移动小物体，向该第二图像面寻找出一第一移动小物体，且得到一第一移动向量； 由该第二图像面中被识别出的该移动小物体，向该第一图像面寻找出一第二移动小物体，且得到一第二移动向量； 检视是否该第一移动向量与该第二移动向量实质上是一致；以及如果该第一移动向量与该第二移动向量实质上是一致，则检视该第一移动向量或该第二移动向量是否也与对应该移动小物体的该移动向量实质上一致，如果不一致则丢弃该移动小物体。
全文摘要
一种搜寻移动小物体的方法，用于在相邻的二图像帧之间插入一插入图像帧。此方法包括选择在该插入图像帧中的一插入区域。选择通过该插入区域预定的多个延伸方向。分别以该些延伸方向同时向二图像帧交会，分析该些延伸方向是否符合相同图像物体移动的条件，且以对应的该延伸方向得到至少一移动向量。取得该第一图像帧与该第二图像帧之间的一全体移动向量。比较该至少一移动向量与该全体移动向量之间的一移动向量差异是否大于一设定值。如果该移动向量差异大于该设定值，则对应的该第一区域图像数据与该第二区域图像数据被视为一移动小物体。
文档编号G06T7/20GK103150542SQ20111040223
公开日2013年6月12日 申请日期2011年12月6日 优先权日2011年12月6日
发明者张孝恩, 陈翠琴, 林义峰, 姜建德 申请人:联咏科技股份有限公司