专利名称：：移动物体检测装置与方法
技术领域：
：本发明涉及一种移动物体检测(movingobjectdetection)装置与方法。
背景技术：
：监控系统常于场景旁架设固定摄影机做监控，分析影像时，可使用如背景相减(backgroundsubtraction)或连续画面差异(framedifference)等技术将背景消除而检测移动前景。当摄影机架设于移动载具之上时，处理与分析所撷取的影像，要面对的问题包括影像背景持续变动、移动物体相对于广阔区域较小且移动速度相对变慢等问题，使得于空照影像(aerialimage)的移动物体检测相较于固定式摄影机来得复杂。相关技术研究例如运用自动智能视觉监控技术于未来城市与战场，其移动物体的检测是利用仿射模型的形变(affinewarping)技术，将连续的输入影像彼此对正(registration)，使影像稳定(stabi1ization)后，计算连续两幅稳定后影像的正交流(normalflow)，来检测出移动物体。并利用四连通标记(4-connectivityconnectedcomponentlabeling)技术来标记移动物体，且对每幅影像上标记好的物体，考虑质心位置、主轴方向、长度等属性，计算相邻影像上物体之间的相似度与关联性，来追踪移动物体。移动物体检测可分为光流法(opticalflow)与帧差法(framedifference)。光流法是藉由计算影像的各像素于时间上的动量，比较显著移动(dominantmotion)与局部移动(localmotion)，将移动物体从背景区分出来；当物体或背景较大且均勻时，难以计算影像画面的光流。帧差法是藉由影像对齐(alignment)的方法将相邻影像对齐后，利用帧差计算将移动物体从背景区分出来；当物体颜色均勻且体积较大时，容易得到破碎的结果。移动物体检测的现有技术有很多，例如台湾专利公开号200823800揭示的视讯对象分割方法。如图1的范例流程所示，此视讯对象分割方法是藉由计算一目前影像Fn的像素值与前一影像Flri的对应像素的差值，再利用此差值与此像素进行多层式背景注册，以取出一背景Bn，然后利用背景Bn去除影像的背景区域。最后，利用去除亮度平均值的背景Bn’去除已去除亮度平均值的影像Fn’的背景区域，藉以取得前景影像。如图2的范例流程所示，中国专利公开号CN101087413揭示的视频序列中运动物体的分割方法是对目前影像和前一影像进行帧差及其统计分析，并结合边缘检测的结果，得到移动物体的轮廓，再利用水平与垂直方向的填充方法得到运动物体，此分割方法适用于单一移动物体的检测。移动物体追踪可分为三种方法，第一种是藉由点光流(KLTTracker)的追踪，将相邻画面的物体关联起来；第二种是计算出物体的外貌或运动特征，将相邻画面的移动物藉由设定一闸值来判断相关性，或是基于多重假设追踪法(MultipleHypothesisTracker,MHT)或结合机率数据关联法(JointProbabilityDataAssociation，JPDA)，并考虑画面中多数移动物体的特征，来算出最佳的匹配机率；第三种是利用滤波器的技术如粒子滤波器(particlefilter)来进行移动物体的追踪。移动物体追踪的现有技术，例如美国专利公开号2007/0250260的文献中所揭示的以无人驾驶的航空载具来独自追踪移动目标的方法与系统(MethodandSystemforAutonomousTrackingofaMobileTargetbyanUnmannedAerialVehicle)。如图3的范例所示，空照追踪系统300藉由一架备有传感器314的航空载具312来独自追踪地面移动车辆310。空照追踪系统300同时模型化地面移动车辆310与飞机的运动模式，辅以卡曼滤波器的预测与更新功能，来追踪地面移动车辆310，其中，传感器314所投射的视野(FieldofView，F0V)318有一个地面上的视野圈(F0Vcircle)320，并且传感器314的视角等于在航空载具312的垂直下方的正圆锥的锥角θ。美国专利号7136506的文献中，揭示一种视讯相关追踪系统(VideoCorrelationTrackingsystem)，藉由比对连续影像中的影像样板(imagepatch)的相关性，作为移动物体追踪的依据，其中，由使用者于初始影像上给定需要追踪的物体位置及范围。美国专利公开号US2009/0022366的文献中，揭示一种影像分析系统，此影像系来自非静态摄影机(Non-staticCamera)，此系统利用一台有其固定搜索路径的摄影机来监控一广大区域，藉由影像拼接技术建立全景图，并辅以背景相减技术检测出移动物体。美国专利公开号2007/0268364的文献中，揭示一种移动物体检测系统，先针对连续影像来进行影像对位，再计算画面中像素的移动相似度。具有一致移动相似度的区域若符合物体大小等条件，则判定为移动物体。此系统所获得的移动物体不一定会具有完整的轮廓。
发明内容本揭示的实施范例可提供一种移动物体检测装置与方法。在一实施范例中，所揭示的是关于一种移动物体检测装置。此移动物体检测系统包含一帧差模块(FrameDifferenceModule)、一候选区域搜寻模块(CandidateSearchModule)、以及一移动物体融合模块(MovingObjectFusionModule)。帧差模块针对一移动物体的每两连续影像，分别以目前时间影像与前一时间影像来表示，算出相对应于此两连续影像的一帧差影像。候选区域搜寻模块将目前时间影像分割成多个具有同性质的区域后，从这些被分割的区域中判断出多个均勻区块，再从这些均勻区块中检测出至少一候选区域。移动物体融合模块融合所得的帧差影像与此至少一候选区域，辅以一渐进式形变技术，取得此移动物体的位置与其完整的轮廓。在另一实施范例中，所揭示的是关于一种移动物体检测方法，此方法包含针对一移动物体的每两连续影像，算出相对应于此两连续影像的一帧差影像，此两连续影像分别以目前时间影像与前一时间影像来表示；将目前时间影像分割成多个具有同性质的区域，并从这些被分割区域中判断出多个均勻区块，再从这多个均勻区块中检测出至少一候选区域；以及融合所得的帧差影像与此至少一候选区域，辅以一渐进式形变技术，取得此移动物体的位置与其完整的轮廓。在另一实施范例中，所揭示的是关于一种计算机程序产品，此计算机程序产品可包含至少一程序储存设备、以及由指令组成的一程序(aprogramofinstructions)0此至少一程序储存设备是可被一数字处理装置(DigitalProcessingApparatus,DPA)读取的储存设备。由指令组成的程序具体实施在此程序储存设备上，并且可被此数字处理装置执行(executablebytheDPA)以履行(perform)—移动物体检测方法，此方法包含针对一移动物体的每两连续影像，算出相对应于此两连续影像的一帧差影像，此两连续影像分别以目前时间影像与前一时间影像来表示；将目前时间影像分割成多个具有同性质的区域，并从该多个被分割区域中判断出多个均勻区块，再从该多个均勻区块中检测出至少一候选区域；以及融合所得的帧差影像与此至少一候选区域，辅以一渐进式形变技术，取得此移动物体的位置与其完整的轮廓。现结合下列附图对实施范例的详细说明及权利要求，将上述及本揭示的其它优点详述于后。图1是一种视讯对象分割方法的一个范例流程图。图2是一种视频序列中运动物体的分割方法的一个范例流程图。图3是一种空照追踪系统的一个范例示意图。图4是一种移动物体检测装置的一个范例示意图，与所揭示的某些实施范例一致。图5是差值影像计算的一个范例示意图，与所揭示的某些实施范例一致。图6是检测候选区域的一个范例流程图，与所揭示的某些实施范例一致。图7A至图7C是一范例示意图，说明相接于影像边缘的候选区域筛选，与所揭示的某些实施范例一致。图8A是一个范例流程图，说明检测出的物体内部破洞而被分裂为多个对象，与所揭示的某些实施范例一致。图8B是一范例流程图，说明候选区域实际上并不一定仅包含一个实体对象，与所揭示的某些实施范例一致。图9是一范例流程图，说明如何融合影像分割信息与差值影像信息来进行物体形变，与所揭示的某些实施范例一致。图10是图9的各步骤的范例实现结果，与所揭示的某些实施范例一致。图11是一范例示意图，说明移动物体融合模块的形变与融合所得的结果，与所揭示的某些实施范例一致。图12A与图12F分别为来源影像与目标影像的范例示意图，而图12B至图12E是藉由渐进式形变技术产生的过程影像的示意图，与所揭示的某些实施范例一致。图13A至图13F是来源影像与各形变过程影像取联集的对应结果，与所揭示的某些实施范例一致。图14是一范例流程图，说明移动物体检测方法的运作流程，与所揭示的某些实施范例一致。图15是一范例示意图，说明藉由运动模型与观测模型，持续预测及更新移动物体的状态，来达到移动物体的追踪，与所揭示的某些实施范例一致。图16是移动物体追踪的一范例流程图，与所揭示的某些实施范例一致。图17A是移动物体猜想与前景检测矩形的关联矩阵的一个范例示意图，与所揭示的某些实施范例一致。图17B是关联矩阵与事件分析处理的一个范例示意图，与所揭示的某些实施范例一致。-范例示意图，与所揭示的某些实施范例一致。图18是计算机程序产品的-附图符号说明Fn目前影像Flri前一影像Bn背景Bn’去除亮度平均值的背景Fn'去除亮度平均值的影像300空照追踪系统310地面移动车辆312航空载具314传感器318视野320视野圈θ锥角400移动物体检测装置410帧差模块414前一时间影像420候选区域搜寻模块430移动物体融合模块434移动物体的轮廓520帧差影像累积524帧差影像η412目前时间影像416帧差影像422候选区域432移动物体的位置510全域运动估测阶段522帧差影像530限制条件滤除阶段610将影像中具有同性质的图素分割出来后，形成多个分割区域620分析此多个分割区域，来判断出均勻的区块630检验每一检测出来的均勻区块，观察此均勻区块的内部是否存在不同的区域、或是此均勻区块的周围和影像边缘相接的区域，以找出候选区域的同一702均勻区块725进出区域735缺口联机801-803物件810车辆820候选区域910根据输入的累积差值影像0的信息与分割标记L的信息，在该分割标记L所属715内部区域730进出区域的轮廓805实际物体轮廓815路面标志个「候选区域」内，找出落在该候选区域内的「差值影像」集合ο925从「差值影像」集合ο中取出两个最相邻的差值影像(O1,O2)935计算两差值影像(O1,O2)的中心的联机，并在此联机上，以一形变方式合并成另一差值影像0’945再将差值影像0’插「差值影像」集合ο中955取得ο与「候选区域」的交集ο’965所有分割区域相对应的分割标记L皆被处理IOlOa差值影像集合IOlOb候选区域1011-1013三个差值影像1035合并而成的另-值影像-差1055最终合并而成的差值影像1110差值影像屏蔽1115候选区域1130移动物体的完整轮廓1410针对一移动物体的每两连续影像，算出相对应于此两连续影像的一帧差影像1420将目前时间影像分割成多个具有同性质的区域，并从这些被分割区域中判断出多个均勻区块，再从这多个均勻区块中检测出至少一候选区域1430利用一移动物体融合模块来融合所得的多张帧差影像与此至少一候选区域，并辅以一渐进式形变技术，取得此移动物体的位置与其完整的轮廓1800计算机程序产品1810程序储存设备1820由指令组成的程序1830数字处理装置具体实施例方式本揭示的实施范例是针对连续影像，以帧差运算、影像分割(imagesegmentation)等技术为基础，并融合渐进式形变(morphing-based)技术，自动且完整地检测出移动物体的位置与轮廓。也可以再结合移动物体追踪技术来剃除假警报信息，并利用其预测与修正的特性，来得到稳定而准确的移动物体检测结果。以下详细说明此实施范例的内涵。图4是一种移动物体检测装置的一个范例示意图，与所揭示的某些实施范例一致。在图4的范例中，移动物体检测装置400包含一帧差模块410、一候选区域搜寻模块420、以及一移动物体融合模块430。帧差模块410针对一移动物体的每两连续影像，分别以目前时间影像412与前一时间影像414来表示，以一帧差运算来算出相对应于此两影像412与414的一帧差影像416，并传送至移动物体融合模块430。当目前时间影像412与前一时间影像414是撷取自移动中的该移动物体的两连续影像时，可先藉由一影像对齐模块，将前一时间影像414对齐到目前时间影像412，然后，帧差模块410再算出对齐后两影像的帧差影像。候选区域搜寻模块420可利用一影像分割技术，将输入的目前时间影像412分割成多个具有同性质的区域后，从这些被分割的区域中判断出多个均勻区块，再从这些均勻区块中检测出候选区域422，并传送候选区域422至移动物体融合模块430。移动物体融合模块430融合所得的帧差影像416与候选区域422，辅以一渐进式形变技术，逐步地将属于同一单一对象的区域拼凑起来，以检测出此移动物体的位置432以及完整的此移动物体的轮廓434。当两连续影像是撷取自正在移动的该移动物体时，帧差模块410可将二帧影像的重复区域内的特征点找出，并计算出二帧影像中特征点的对应关系，就可将二帧影像对齐。例如，帧差模块410可用角点来做为特征点，然后算出这些特征点以及此特征点的配对。特征点的选取可以从观察一张影像中局部的矩形区域，将此矩形区域影像中不同的方向作些微的移动，來了解此矩形区域中灰阶变化的强弱。矩形区域中灰阶变化的强弱可分为三种情况。第一种情况是，如果在矩形区域移动的影像中灰阶值的变化是趋于平坦，则不管此矩形区域要往哪个方向移动，在矩形区域中的灰阶并不会有特别明显的变化。第二种情况是，如果矩形区域在边或是线的影像区域中移动，则当此矩形区域沿着边或线的方向与边或线垂直，其灰阶变化会相当强烈。第三种情况是，如果矩形区域在具有特征点的影像区域中移动，则不管哪一个方向的移动都会造成此矩形区域中强烈的灰阶变化。根据此三种情况，矩形区域在各方向移动后其变化的总和有多种演算范例，例如KLT算法，将此总和以一2*2的对称矩阵Z来表示，然后经由矩阵Z的两特征值入工与入2的大小可以得知此矩形区域中灰阶强度的变化。找出影像中的特征点后，可将特征点与前一幅影像中的特征点进行连结。所有连结成功的特征点中大部分均为固定的地面，因此可针对此特征点的集合计算出地面的移动模式，有效将二幅连续的影像对齐。理想上，经过影像对齐后，除了地面移动对象外，静态对象在前后影像中应处于相同的位置。此时仅需要对前后两张连续影像做帧差运算后，所得的差值即为移动对象的区域。然而，实际上仍然无法得到准确的结果。其原因例如是来自于影像对齐计算的不准确、画面的缩放(摄影机拍摄高度)造成的物体大小不一致、光线条件不同、取像时的噪声，画面变形，以及其它随机误差等多种可能因素。这些因素可能造成相当大的影响，例如对象区域忽然剧烈变化而造成所检测到的移动对象区域不正确、或是所累积的误差影响到后续的对象追踪。这些误差皆具有暂时性与随机性的共通特性。所以，帧差模块410也可以利用一累积差值的方式，将数张帧差影像以权重分配的方式累积起来。图5是差值影像计算的一个范例示意图，与所揭示的某些实施范例一致。在图5的范例中，为方便说明，假设累积的前后差值影像的个数N等于1。在全域运动估测(GlobalMotionEstimation)阶段510时，将两两连续影像经由运动流估测(motionflowestimation)、滤除分离点(filteringoutlier)后，取得影像对齐参数后，利用此对齐参数，计算单应性(homography)转换矩阵，得到转换后的前后影像，即转换后的影像㈣与转换后的影像n。于帧差影像累积(DifferenceAccumulation)阶段520时，将转换后的前后影像相减，亦即帧差影像^=(转换后的影像J-(影像n_2)，帧差影像=(转换后的影像)_(影像η)，得到两张帧差影像，如标号522与524所示。而累积的差值影像(accumulatedframedifference)可用累积的帧差影像^与帧差影像n，以权重分配的方式加总后来求得。令D为前后影像的差值影像，w为视应用场景所预先定义的权重，则累积差值影像D'n的范例公式可表示如下权利要求1.一种移动物体的检测装置，包含一帧差模块，针对一移动物体的每两连续影像，算出相对应于该两连续影像的一帧差影像，该两连续影像分别表示为目前时间影像与前一时间影像；一候选区域搜寻模块，将该目前时间影像分割成多个具有同性质的区域后，从该被分割的多个区域中判断出多个均勻区块，再从该多个均勻区块中检测出至少一候选区域；以及一移动物体融合模块，融合所得的多张帧差影像与该至少一候选区域，辅以一渐进式形变技术，取得该移动物体的位置与其完整的轮廓。2.如权利要求1所述的装置，其中该移动物体融合模块还包括一形变模块，该形变模块选取位于该移动物体的该至少一候选区域内的差值影像屏蔽，以该渐进式形变技术合并成单一对象并传送给该融合模块；以及一融合模块，该融合模块融合该至少一候选区域内与该形变模块产生的单一对象，而得到该移动物体的完整轮廓。3.如权利要求1所述的装置，其中该多个均勻区块被筛选出两类区域，一类是该多个均勻区块内部包含的区域，另一类是该多个均勻区块的周围存在和影像边缘相接的区域。4.如权利要求1所述的装置，其中该移动物体融合模块通过该渐进式形变技术，在一来源影像与一目标影像间，产生出多个连续且平滑的过程影像。5.如权利要求4所述的装置，其中该移动物体的完整轮廓是该来源影像与整个形变过程影像取得联集后的结果。6.如权利要求1所述的装置，其中该帧差模块产生的该帧差影像是由数张差值影像累积起来的一累积差值影像。7.如权利要求1所述的装置，该装置还包括一移动物体追踪模块，来预测、补偿并更新该移动物体的位置。8.如权利要求7所述的装置，其中该移动物体追踪模块是藉由该移动物体的一运动模型与一观测模型，持续预测及更新该移动物体的状态，来达到该移动物体的追踪。9.如权利要求8所述的装置，其中该移动物体追踪模块里使用一追踪器，该追踪器具有两种清单，一种是目前时刻的移动物体清单，另一种是之前时刻所追踪的移动物体猜想清单。10.如权利要求1所述的装置，该装置还包括一影像对齐模块，并且当该两连续影像是撷取自正在移动的该移动物体时，该影像对齐模块先将该前一时间影像对齐到该目前时间影像后，该帧差模块再算出对齐后两影像的帧差影像。11.一种移动物体的检测方法，应用于一移动物体的检测装置中，该方法包含针对一移动物体的每两连续影像，算出相对应于该两连续影像的一帧差影像，该两连续影像分别以一目前时间影像与一前一时间影像来表示；将该目前时间影像分割成多个具有同性质的区域，并从该多个被分割区域中判断出多个均勻区块，再从该多个均勻区块中检测出至少一候选区域；以及采用一移动物体融合模块来融合所得的多张帧差影像与该至少一候选区域，并辅以一渐进式形变技术，取得该移动物体的位置与其完整的轮廓。12.如权利要求11所述的方法，其中该融合所得的多张帧差影像与该至少一候选区域，辅以该渐进式形变技术还包括根据输入的至少一累积差值影像的信息与至少一分割标记的信息，在每一分割标记所属的同一候选区域内，找出落在该候选区域内的一相对应的差值影像集合；如果该差值影像集合里的差值影像数大于1，则从该差值影像集合中，取出至少两帧最相邻的差值影像，并将该至少两帧差值影像以一形变方式合并成另一差值影像，再将该另一差值影像插入该差值影像集合中，并取得该差值影像集合与该候选区域的交集；以及重复上述步骤，直到所有输入的分割区域相对应的分割标记皆被处理为止。13.如权利要求11所述的方法，其中从该多个均勻区块中检测出该至少一候选区域还包括检验该多个均勻区块中每一均勻区块，观察该均勻区块的内部是否存在不同的区域、或是该均勻区块的周围和影像边缘相接的区域，以找出该至少一候选区域。14.如权利要求11所述的方法，其中该帧差影像是将数张差值影像以一权重分配的方式累积起来的一累积差值影像。15.如权利要求11所述的方法，其中该渐进式形变技术在一来源影像与一目标影像间，藉由一影像内插技术来产生多张连续且平滑的过程影像。16.如权利要求13所述的方法，其中该均勻区块的周围和影像边缘相接的区域的轮廓长度与缺口联机长度的比例高于一阈值。17.如权利要求11所述的方法，该方法还包括藉由该移动物体的一运动模型与一观测模型，持续预测及更新该移动物体的状态，以追踪该移动物体。18.如权利要求17所述的方法，其中追踪该移动物体还包括输入之前时刻所追踪的一移动物体猜想清单，然后藉由一滤波器来预测其在目前时间的状态；对于目前时刻的一输入影像，藉由取得的该移动物体的位置与其完整的轮廓，获得一目前时刻的移动物体清单；建立一关联矩阵，来描述该两清单的元素的空间相关性；将该关联矩阵的行与列进行加总运算，并根据其值做出对应的事件处理；以及根据该对应的事件处理，更新该移动物体猜想清单。19.如权利要求18所述的方法，其中该移动物体猜想清单记录着之前时刻所追踪的多个移动物体猜想，而该目前时刻的移动物体清单记录着多个前景物体矩形。20.如权利要求18所述的方法，其中该关联矩阵的行与列进行加总运算后的值反应出相对应的一移动物体的新增、消失、稳定追踪，以及多个移动物体相互间的合并、分裂的其中一事件。21.一种计算机程序产品，包含至少一程序储存设备，可被一数字处理装置读取；以及由多条指令组成的一程序，具体实施在该程序储存设备上，并且可被该数字处理装置执行以履行一移动物体检测方法，该方法包含针对一移动物体的每两连续影像，算出相对应于该两连续影像的一帧差影像，该两连续影像分别以一目前时间影像与一前一时间影像来表示；将该目前时间影像分割成多个具有同性质的区域，并从该多个被分割区域中判断出多个均勻区块，再从该多个均勻区块中检测出至少一候选区域；以及融合所得的帧差影像与该至少一候选区域，辅以一渐进式形变技术，取得该移动物体的位置与其完整的轮廓。22.如权利要求21所述的计算机程序产品，该计算机程序产品还连接至一移动物体追踪模块，以预测、补偿并更新该移动物体的位置。23.如权利要求21所述的计算机程序产品，其中该至少一程序储存设备是计算机可读取的媒体。24.如权利要求21所述的计算机程序产品，其中该移动物体检测方法还包括藉由该移动物体的一运动模型与一观测模型，持续预测及更新该移动物体的状态，以追踪该移动物体。全文摘要一种移动物体检测装置与方法，针对一移动物体的每两连续影像算出相对应于此两连续影像的一帧差影像，并且将目前时间影像分割成多个具有同性质的区域后，从这些被分割的区域中判断出多个均匀区块，再从这些均匀区块中检测出至少一候选区域，接着融合所得的帧差影像与此至少一候选区域，辅以一渐进式形变技术，取得此移动物体的位置与其完整的轮廓。文档编号H04N5/14GK102111530SQ20091025999公开日2011年6月29日申请日期2009年12月24日优先权日2009年12月24日发明者吴易达,周正全,石明于,高肇宏,黄钟贤申请人:财团法人工业技术研究院