专利名称：兴趣区域的追踪系统、方法及计算机程序产品的制作方法
技术领域：
本发明涉及智能监控领域，尤其涉及一种兴趣区域(Region-Of-Interest，简称 R0I)的追踪系统、方法及计算机程序产品。
背景技术：
智能型监控系统逐渐崛起后，一些技术的开发是后端系统中利用图像分析技术来提取有意义的事件信息。固定式摄影机的监控范围有限并存在监视死角。当事件发生的区域广大时，固定式摄影机无法获得整体事件的监控画面。有些技术的探索是通过在高空运载工具，例如热气球、无人驾驶飞机等，架设摄影机来俯视地面摄影并分析图像监测事件， 辅助地面监控系统进行大范围区域的监测，达到无死角的全面性监控。飞行工具上利用计算机视觉对地面物体进行追踪的技术中，针对移动物体监测的技术，例如，可通过仿射模型的形变(affine warping)技术，先将一移动物体的连续的输入图像彼此对正(registration)后，计算连续两帧稳定的(stabilized)图像的正交流(normal flow)，监测出移动物体。然后以四连通标记^-connectivity connected component labeling)技术给予标记。再针对每帧图像上标记好的物体，考虑其属性，例如， 质量中心位置、主轴方向、长度等属性，来计算出相邻图像上物体之间的相似度，并给予关联，进而追踪此移动物体。移动物体追踪主要有三种策略。一为通过点光流的追踪(KLT Tracker)，将相邻画面的物体关联起来。二为计算出物体的外貌或运动特征，将相邻画面的移动物，通过设定一阈值来判断相关性，或考虑画面中多数移动物体的特征来算出最佳的匹配机率。三为通过滤波器技术如粒子滤波器(particle filter)来进行移动物体的追踪。视觉式的兴趣区域追踪有基于图像样板(image template)比对或基于特征点追踪的兴趣区域追踪法。前者的追踪技术是根据兴趣区域的图像特征，在下一帧图像内搜寻最大相似响应的区域，例如平均值移位法(meanshift scheme)，为利用平均值移位法所算出的特征空间的梯度信息，快速找到追踪的目标区域。后者的追踪技术是在兴趣区域监测特征点，并通过光流法追踪前后两帧图像的特征点的对应关系，通过此关系作为追踪整个兴趣区域的依据，例如随机样本相合法(Random sample Consensus，简称RANSAC)，为基于大数法则，利用随机方式选取数个特征点，来估测前、后帧图像兴趣区域的单应性转换关系 (homography)，并且利用重复递归的方式来找出与所有特征点最匹配的单应性转换。当正确或合适此转换的点(inlier)过少时，此RANSAC法需要重复执行多次循环，耗费大量运算资源来得到可靠的追踪结果。视觉式的兴趣区域追踪的相关专利如美国专利号6757434的文献，其公开了一种视频图像上追踪兴趣区域的技术，可用于图像压缩编码。如图1所示，此技术针对第k-1 帧图像上的兴趣区域110，先利用边界投影方式在第k帧图像上预测兴趣区域的边缘位置 120，再逆向于第k-Ι帧图像上寻找匹配点130。另一篇美国专利公开号US2010/0045800的文献中，其技术是将兴趣区域区分为内圈及外圈，并分别计算此内外圈的色彩直方图作为特征，并将其作为追踪的依据。图像上追踪兴趣区域的相关论文如Region-of-interest Tracking basedon Keypoint Trajectories on a Group of Pictures, International Workshop onContent-based Multimedia hdexing，2007，其公开了一种通过特征点在图像上追踪兴趣区域的技术，此技术通过M-估测器来估算前后两帧兴趣区域的仿射转换(affine transform)，并通过一最佳化算法来解M-估测器的问题。此技术利用统计的意义剔除粗差点(outlier)，但此最佳化过程会耗费大量的运算资源。目前，飞行工具上物体追踪技术往往需要大量且复杂的运算资源。基本上，需要仰赖个人计算机等级以上的运算装置来达到实时运算，而飞行工具上也往往有其负载的限制，因而适合搭载较轻巧的嵌入式系统。所以，物体追踪的演算机制需要运算速度快并且有效率。
发明内容
本发明公开的实施例可提供一种兴趣区域的追踪系统、方法及计算机程序产品。在一实施例中，所公开的是关于一种兴趣区域的追踪系统。此系统包括一特征点监测与追踪模块(feature point detecting and tracking module)、一线性转换模块 (linear transformation module) >一5 -: (estimationand update module) > 以及一粗差点去除模块(outlier reiection module)。特征点监测与追踪模块在一初始时间时，将一图像画面的一兴趣区域先作一局部特征点的监测，然后对此监测到的至少一特征点进行追踪。线性转换模块利用所追踪的多个对应的特征点，来求出前后两帧图像画面的兴趣区域的转换关系。预测及更新模块在一目前时间，对此兴趣区域的移动位置作预测及修正。粗差点去除模块通过预测及更新模块对兴趣区域的修正结果，将落在兴趣区域之外的至少一粗差点去除。在另一实施例中，所公开的是关于一种兴趣区域的追踪方法。此方法包括在一初始时间时，通过一特征点监测与追踪模块将一图像画面的一兴趣区域先作一局部特征点的监测，然后对此监测到的至少一特征点进行追踪；根据所追踪的多个对应的特征点，由一线性转换模块来求出前后两帧图像画面的兴趣区域的转换关系；通过一预测及更新模块，在一目前时间对兴趣区域的移动位置作预测及修正；根据预测及更新模块对兴趣区域的修正结果，通过一粗差点去除模块将落在兴趣区域之外的至少一粗差点去除；以及设定一特征点再监测的条件，来对目前时间的兴趣区域进行特征点的再监测，以获得在一稳定度范围内的追踪结果。在另一实施例中，所公开的是关于一种兴趣区域的追踪装置。此装置包括一存储器以及存储于此存储器的一可执行的计算机程序。此计算机程序通过一处理器来执行在一初始时间时，通过一特征点监测与追踪模块将一图像画面的一兴趣区域先作一局部特征点的监测，然后对此监测到的至少一特征点进行追踪；根据所追踪的多个对应的特征点，由一线性转换模块来求出前后两帧图像画面的兴趣区域的转换关系；通过一预测及更新模块，在一目前时间对兴趣区域的移动位置作预测及修正；根据预测及更新模块对兴趣区域的修正结果，通过一粗差点去除模块将落在兴趣区域之外的至少一粗差点去除；以及设定一特征点再监测的条件，来对目前时间的兴趣区域进行特征点的再监测，以获得在一稳定度范围内的追踪结果。本发明各实施例可以产生如下的有益效果可以得到稳定且平滑的兴趣区域的追踪，此类兴趣区域可以是移动物、背景或同时包括移动物及背景。
图1是一范例示意图，说明一种视频图像上追踪兴趣区域的技术。图2是兴趣区域追踪技术的应用场景的一个范例示意图，与所公开的某些实施例一致。图3是兴趣区域的追踪系统的一个范例示意图，与所公开的某些实施例一致。图4A至图4C是范例示意图，分别说明矩形区域在图像中移动的三种情况，与所公开的某些实施例一致。图5A是一范例示意图，说明特征点监测与追踪模块对行驶中的汽车的一兴趣区域作特征点监测，其中“ + ”为监测到的特征点，与所公开的某些实施例一致。图5B是一范例示意图，说明特征点监测与追踪模块利用光流法进行特征点的追踪，其中“_”为行驶中的汽车的移动向量，与所公开的某些实施例一致。图6A至图6C是范例示意图，说明线性转换模块求出的前后两帧图像画面的兴趣区域的转换关系，与所公开的某些实施例一致。图7A至图7C是范例示意图，说明预测及更新模块利用卡曼滤波器，进行滤波及兴趣区域估测，与所公开的某些实施例一致。图8是粗差点移除的一个范例示意图，与所公开的某些实施例一致。图9是兴趣区域的追踪方法的一范例流程图，与所公开的某些实施例一致。图10是一范例示意图，说明兴趣区域的追踪的计算机程序产品及其应用场景，与所公开的某些实施例一致。本附图的元件符号简要说明110-兴趣区域；120-兴趣区域的边缘位置；130-匹配点；It_t时间的串流图像；It+n-时间t+n的图像画面；ROIt-时间t的兴趣区域；R0It+n-时间t+n的兴趣区域；300-兴趣区域的追踪系统； 310-特征点监测与追踪模块；312-兴趣区域；314-特征点；320-线性转换模块；324-单应性转换；330-预测及更新模块；334-修正结果；333-符合一特征点再监测条件？ 344-符合一终止条件？340-粗差点去除模块；355-删除此兴趣区域；377-重新进行特征点监测；366-输入新图像画面并将时间t力口 1 ；410、420、430-矩形区域；500-行驶中的汽车；512-兴趣区域；a、b-不同时间的广角摄影机位置；
Pa-前帧图像画面的兴趣区域在位置a的投影；Pb-后帧图像画面的兴趣区域在位置b的投影；Hba-单应性转换矩阵；710-t时间时的兴趣区域；720-预测出的t+Ι时间的兴趣区域；725-监测出的t+Ι时间的兴趣区域；730-被修正后的t+Ι时间的兴趣区域；801 804被去除的粗差点；810-t时间时，图像画面上兴趣区域；820-t+l时间时，图像画面上的兴趣区域；910-在一初始时间时，通过一特征点监测与追踪模块来点选一图像画面的一兴趣区域，并对此兴趣区域作一局部特征点的监测，及对此监测到的至少一特征点进行追踪；920-根据所追踪的多个对应的特征点，由一线性转换模块来求出前后两帧图像画面的兴趣区域的转换关系；930-通过一预测及更新模块，在一目前时间对兴趣区域的移动位置作预测及修正；940-根据预测及更新模块对兴趣区域修正的结果，通过一粗差点去除模块将落在兴趣区域之外的至少一粗差点去除；950-设定一特征点再监测的条件，来对目前时间的兴趣区域进行特征点的再监测，以获得在一稳定度范围内的追踪结果；1000计算机程序产品； 1010存储器；1020计算机程序；1030处理器。
具体实施例方式本发明公开了一种图像式的兴趣区域的追踪技术，此追踪技术结合特征点估测与追踪、单应性转换矩阵估测(homography transform estimation)、滤波器追踪(filtering for tracking)以及粗差点去除技术，来进行兴趣区域的追踪。此类兴趣区域可以是移动物体(moving object)、或是固定背景(background)、或是同时含有移动物体及背景。移动物体例如是行驶中的汽车、轮船等，固定背景例如是地貌、建筑物等。兴趣区域的边界可以是规则或不规则的形状(irregular in shape)。通过基于特征点追踪的单应性透视投影转换，可推算出兴趣区域的移动情况。通过滤波器的预测及更新能力，可稳定且平滑地追踪兴趣区域。通过滤波器的追踪结果，来重新估测单应性转换矩阵，并去除粗差点。图2是兴趣区域追踪技术的应用场景的一个范例示意图，与所公开的某些实施例一致。图2的范例中，假设在一空中飞行器上，架设一广角摄影机及另一回转式(Pan/Tilt) 摄影机。广角摄影机能有效观看大范围场景，PT摄影机有两个角度的自由度(pan与tilt)， 可旋转并局部放大广角摄影机视野内的特定范围，以取得高分辨率的图像信息。此广角摄影机实时图像提取，将所取得的串流图像It回传至地表伺服端的用户，用户可通过如鼠标或触控式屏幕，在t时间点选串流图像It上的兴趣区域R0It，再通过无线信号回传至空中飞行器端，驱动此回转式摄影机聚焦于点选的兴趣区域，来拍摄高分辨率的放大图像，提供地表用户更为精细的信息。图2的应用场景中，由于数据传输的延迟，此时广角摄影机所取得的图像将为 t+n时间的图像画面，与串流图像It的取像时间已有时间差n，其中η等于图像由空中飞行器传输至地表服务器所需的时间，因此，用户所点选的兴趣区域的位置，与空中飞行器上实时取得图像上的位置必然有所差距，因此必须通过兴趣区域追踪技术，在系统暂存的历史图像中，由图像It快速追踪兴趣区域ROIt至图像It+n，才能够将回转式摄影机驱动至准确位置，所以追踪速度需越快越好，并且至少要大于取像速度，例如大于30帧/秒(frames/ sec)。而此时兴趣区域追踪技术需处理至少存储由时间点t至t+n的所有图像画面的队列式图像缓冲区，并由时间t的图像开始追踪兴趣区域ROIt的位置直到时间t+n的兴趣区域 R0I_在图像画面1_中移动的位置。除了图2的应用场景外，此兴趣区域追踪技术还可应用于如下的场景农渔牧观测及资源研究、地形地貌侦照及监控、气象观测及资料收集、交通监视与管控、台风油污森林火灾的灾情调查、空中观测与摄影、核生化污染及环境监测、海难搜救、水土保持、土石流道路破坏、边境巡逻、海域渔场巡视保护、建筑物及房间内的图像分析、电力线或输油管线沿线监看、与取代高价格的卫星等。图3是兴趣区域的追踪系统的一个范例示意图，与所公开的某些实施例一致。图 3的范例中，兴趣区域的追踪系统300可包括一特征点监测与追踪模块310、一线性转换模块320、一预测及更新模块330、以及一粗差点去除模块340。特征点监测与追踪模块310在一初始时间(t = 0)时，将一图像画面It的一兴趣区域312先作一局部特征点的监测，例如利用Harris特征点监测法来进行此局部特征点的监测，然后对此图像画面It的特征点进行追踪，例如利用光流法进行特征点(feature point)的追踪。将兴趣区域312输入特征点监测与追踪模块310有多种方式，例如，可由一用户通过如鼠标或触控式屏幕点选一图像画面It的一区域后，输入此区域至特征点监测与追踪模块310。线性转换模块320利用特征点监测与追踪模块310所追踪的多个对应的特征点314，来求出前后两帧图像画面，即It与It+1，的兴趣区域的转换关系。此转换关系即所谓的单应性转换324，可推算出兴趣区域的移动情况。再通过预测及更新模块330，例如利用卡曼滤波器，对兴趣区域的移动位置作预测及修正，而粗差点去除模块340通过预测及更新模块330对兴趣区域的修正结果334，将落在兴趣区域之外的粗差点去除。其中，如标号333所示，兴趣区域的追踪系统300可设定是否进行一特征点再监测的条件，例如当可靠的特征点数量小于一预设阀值时，如小于初始点数的某一百分比时，则如标号377所示，重新进行特征点监测，来得到稳定且可靠的兴趣区域的追踪结果。一兴趣区域的追踪如标号344所示，也可以设定是否符合一终止条件，例如当此兴趣区域位于画面边缘时，则停止对此兴趣区域的追踪，换句话说，删除此兴趣区域，如标号355所示。否则，如标号366所示，输入新图像画面并将时间t加1，然后，特征点监测与追踪模块310再利用光流法进行新图像画面的特征点的追踪。以下以一行驶中的汽车为例，并配合附图来说明兴趣区域的追踪系统300中各模块的运行原理和结果。
兴趣区域的选取与特征点监测的原理，举例说明如下。当用户选好一兴趣区域后， 此兴趣区域假设为一 WXH的矩形，W与H分别为此矩形的宽与长。首先在此矩形内取得最大响应的m个Harris特征点，此m个特征点的选取是观察一帧图像画面中局部的矩形区域， 将此矩形区域在图像中以不同的方向作微小的移动，来了解矩形区域中灰度变化的强弱， 矩形区域可分为三种情况(1)在矩形区域移动的图像中，若灰度值的变化是趋于平坦，则无论此矩形区域要往哪个方向移动，此矩形区域中的灰度并不会有特别明显的变化，如图 4A的矩形区域410的范例所示；(2)若矩形区域在边或是线的图像区域中移动，则当矩形区域沿着边或线的方向与边或线垂直，则灰度变化将会相当强烈，如第四B图的范例所示，矩形区域420沿着右边的方向移动，则其右边区域的灰度变化相当强烈；C3)若矩形区域在具有特征点的图像区域中移动，则无论哪一个方向的移动都会造成此矩形区域中强烈的灰度变化，如图4C的范例所示，矩形区域430无论沿着左右或上下的方向移动，都会造成矩形区域430中强烈的灰度变化。依此，此矩形区域在各方向移动后，其变化的总和可以用公式(1)来表示El>y =I h^u^y'h.v I(1)其中wu,v表示所定义的矩形区域，若点(u，v)的位置在区域中，则wu,v的值为1，否则为ο ；Iu,v为图像当中，点在(U，V)坐标的灰度值；X与y则分别表示在X方向及y方向的
移动量。式⑴可以泰勒展开式展开并估算出图像I在χ方向以及y方向的梯度后，公式 (1)可以进一步简化为Ex, y = Ax2+2Cxy+By2(2)其中，^g2 ，-IfJ^i-dBJ-.^为了减少图像中噪声的影响，将二元的mi，v以Gaussian函数来取代，而公式O) 以矩阵来表示如下Exjy= (x,y)Z(x, y)T(3)其中，Z是一个2X 2的灰度强度变化且对称(symmetric)的矩阵，
「 .'Λ Cz= c B令λ π λ 2为矩阵Z的特征值，经由对λ工与λ 2的大小可以得知(1)若λ ρ λ 2 的值都很小，则表示该区域的灰度变化不明显；(2)若λ ρ λ 2的值为一大一小，则表示该区域有边或是线的存在；(3)若λ” λ2的值都很大，则表示该区域无论在哪一个方向，其灰度变化都很强烈，也就是该区域中有特征点的存在。因此，可设定一灰度强度变化响应函数 R(Z)来判断该点是否为特征点R (Z) = det (Z) _k · trace2 (Z)= A1A^k · (A^A2)2(4)其中k为一常数值，det (Z)为矩阵Z的行列式值，trace (Z)为矩阵Z的对角线的总和(sum of the main diagonal) 0通过R的计算，即可挑选出兴趣区域内灰度强度变化响应最大的前m个点，作为后续追踪的依据，并加入于特征点的追踪列表中M= {P1，P2，...， P1J。此特征点的追踪列表可存储于特征点监测与追踪模块310中。
图5A的范例中，特征点监测与追踪模块310在一初始时间(t = 0)时，对行驶中的汽车500点选一兴趣区域512，然后对此兴趣区域512先作一局部特征点的监测，其中， 十字标记“ + ”为监测到的特征点。图5B是特征点监测与追踪模块310利用光流法进行特征点的追踪，其中，线段标记“_”为行驶中的汽车500的移动向量(motion vector)。图5B 的估测特征点在下帧图像画面上的位置，及特征点的追踪的原理，举例说明如下。假设同一特征点pi在连续时间t与t+Ι，在图像画面上具有外貌的不变性，即 It(X，y) = It+1(x+u, y+v), (u, ν)表示该点的移动向量。可通过泰勒展开式将此式子之后项展开为
权利要求
1.一种兴趣区域的追踪系统，其特征在于，该系统包括一特征点监测与追踪模块，在一初始时间时，将一图像画面的一兴趣区域先作一局部特征点的监测，然后对该监测到的至少一特征点进行追踪；一线性转换模块，利用所追踪的多个对应的特征点，来求出前后两帧图像画面的兴趣区域的转换关系；一预测及更新模块，在一目前时间，对该兴趣区域的移动位置作预测及修正；以及一粗差点去除模块，通过该预测及更新模块对该兴趣区域的修正结果，将落在该兴趣区域之外的至少一粗差点去除。
2.根据权利要求1所述的追踪系统，其特征在于，该兴趣区域是一移动物体、或是一固定背景、或是同时含有该移动物体及该固定背景。
3.根据权利要求1所述的追踪系统，其特征在于，该系统设定一特征点再监测的条件， 来对该目前时间的兴趣区域进行特征点的再监测。
4.根据权利要求1所述的追踪系统，其特征在于，当该兴趣区域的至少一边界点离开该图像画面的一有效区域时，该系统即停止追踪该兴趣区域。
5.根据权利要求1所述的追踪系统，其特征在于，该前后两帧图像画面的兴趣区域的转换关系是一种单应性转换的关系。
6.根据权利要求1所述的追踪系统，其特征在于，该预测及更新模块为利用一卡曼滤波器，对兴趣区域的移动位置作预测及修正。
7.根据权利要求3所述的追踪系统，其特征在于，该特征点监测与追踪模块备有一特征点的追踪列表，用来存储该兴趣区域内灰度强度变化响应最大之前m个点，m为大于1的整数。
8.一种兴趣区域的追踪方法，其特征在于，运作在一追踪系统上，该方法包括在一初始时间时，通过一特征点监测与追踪模块将一图像画面的一兴趣区域先作一局部特征点的监测，然后对该监测到的至少一特征点进行追踪；根据所追踪的多个对应的特征点，由一线性转换模块来求出前后两帧图像画面的兴趣区域的转换关系；通过一预测及更新模块，在一目前时间对该兴趣区域的移动位置作预测及修正；根据该预测及更新模块对兴趣区域修正的结果，通过一粗差点将落在该兴趣区域之外的至少一粗差点去除；以及设定一特征点再监测的条件，来对该目前时间的兴趣区域进行特征点的再监测，以获得在一稳定度范围内的追踪结果。
9.根据权利要求8所述的追踪方法，其特征在于，该方法还包括当该兴趣区域的至少一边界点离开该图像画面的一有效区域时，即停止追踪该兴趣区域。
10.根据权利要求8所述的追踪方法，其特征在于，该特征点再监测的条件为当该至少一特征点的点数少于一初始特征点数的一预定比值的情形发生时。
11.根据权利要求8所述的追踪方法，其特征在于，该前后两帧图像画面的兴趣区域的转换关系是一种单应性透视投影转换关系。
12.根据权利要求8所述的追踪方法，其特征在于，在该局部特征点的监测中，该方法设定一灰度强度变化响应函数R(Z)来判断该兴趣区域中的一点是否为一特征点，Z为一灰度强度变化且对称的矩阵。
13.根据权利要求12所述的追踪方法，其特征在于，通过该灰度强度变化响应函数R的计算，来挑选出该兴趣区域内灰度强度变化响应最大的前m个点，作为后续追踪的依据并加入一特征点的追踪列表中，m为大于1的整数。
14.根据权利要求8所述的追踪方法，其特征在于，该前后两帧图像画面上兴趣区域的所有特征点P,t与其对应点P,t+1，若其满足式子|p,t+1-HKra*p,t| > Y，则视对应点P,w为粗差点并予以去除，Y是一预设的阀值，Hm为该前后两帧图像画面的兴趣区域的转换关系， t与t+Ι分别代表前后两时间点。
15.一种兴趣区域的追踪的计算机程序产品，其特征在于，该计算机程序产品包括一存储器以及存储在此存储器的一可执行的计算机程序，该计算机程序通过一处理器来执行在一初始时间时，通过一特征点监测与追踪模块将一图像画面的一兴趣区域先作一局部特征点的监测，然后对该监测到的至少一特征点进行追踪；根据所追踪的多个对应的特征点，由一线性转换模块来求出前后两帧图像画面的兴趣区域的转换关系；通过一预测及更新模块，在一目前时间对该兴趣区域的移动位置作预测及修正；根据该预测及更新模块对兴趣区域的修正结果，通过一粗差点去除模块将落在该兴趣区域之外的至少一粗差点去除；以及设定一特征点再监测的条件，来对目前时间的兴趣区域进行特征点的再监测，以获得在一稳定度范围内的追踪结果。
16.根据权利要求15所述的计算机程序产品，其特征在于，该处理器还包括该特征点监测与追踪模块、该线性转换模块、该预测及更新模块、以及该粗差点去除模块。
全文摘要
本发明公开了一种兴趣区域的追踪系统、方法及计算机程序产品。该兴趣区域追踪系统通过一特征点监测与追踪模块在一初始时间时，将一图像画面的一兴趣区域先作一局部特征点的监测，然后对此监测到的至少一特征点进行追踪；一线性转换模块利用所追踪的多个对应的特征点，来求出前后两帧图像画面的兴趣区域的转换关系；一预测及更新模块在一目前时间，对此兴趣区域的移动位置作预测及修正；一粗差点去除模块通过此预测及更新模块对兴趣区域的修正结果，去除落在兴趣区域之外的至少一粗差点。通过本发明各实施例，可以得到稳定且平滑的兴趣区域的追踪，此类兴趣区域可以是移动物、背景或同时包括移动物及背景。
文档编号G06T7/20GK102456226SQ20101052232
公开日2012年5月16日 申请日期2010年10月22日 优先权日2010年10月22日
发明者石明于, 黄钟贤 申请人:财团法人工业技术研究院