目标检测与追踪方法及系统的制作方法
【专利摘要】一种目标检测与追踪方法及系统。在此方法中，首先提取视频中的一画面作为第一画面，并扫描第一画面以检测目标物在第一画面中的显示区域。接着根据显示区域占据第一画面的面积比例，以及视频中接续在第一画面之后的至少一参考画面来追踪该目标物，并记录被追踪的目标物的抗缩放及抗旋转特征。随后，利用抗缩放及抗旋转特征来辨识目标物是否出现在某一特定画面中。
【专利说明】目标检测与追踪方法及系统
【技术领域】
[0001]本发明涉及一种目标检测与追踪方法及系统，且特别涉及一种在复杂环境中针对一或多个目标进行即时检测与追踪的方法及系统。
【背景技术】
[0002]近年来，视觉监控技术不断精进且被广泛地应用在各项领域之中。以智慧型运输系统(Intelligent Transportat1n System, ITS)为例，其运用视觉监控技术进行测距及动态物体检测来提供预先警告驾驶人不当的驾驶行为以及适应性速度控制等功能，如此避免碰撞以预防肇事产生，并可确保行车速度不超过安全范围。
[0003]现有的测距技术是采用雷达或激光等基于硬件的方式来进行，然而以雷达为基础的技术虽然拥有准确的深度讯息和较长的检测距离，但昂贵的硬件成本导致其普及化不易。而现有的动态物体检测技术在具有复杂背景的环境下则容易造成高误判率。目前对物体进行检测与追踪的技术多半需要在较单纯的背景环境下才能达到良好的效果，且为了达到稳健的检测效果又必须耗费大量的运算成本，难以同时顾及系统效能与准确率。
【发明内容】
[0004]有鉴于此，本发明提供一种目标检测与追踪方法及系统，可在明暗度差异大、画面具有频繁动态，以及背景复杂程度高等多种环境中，提供快速且稳健的目标物检测与追踪机制。
[0005]本发明的目标检测与追踪方法包括下列步骤:首先提取视频中的一画面(frame，又称之为“影格”)作为第一画面，并扫描第一画面以检测目标物在第一画面中的显示区域。接着，根据显示区域占据第一画面的面积比例，以及视频中接续在第一画面之后的至少一参考画面来追踪目标物，并记录被追踪的目标物的抗缩放及抗旋转特征。随后，利用抗缩放及抗旋转特征来辨识目标物是否出现在特定画面中。
[0006]本发明的一实施例中，目标检测与追踪方法还包括:取得多个训练正样本与多个训练负样本，提取各训练正样本与各训练负样本的纹理特征，并利用各训练正样本与各训练负样本的纹理特征，以及一分类器融合算法来训练目标物分类器。
[0007]在本发明的一实施例中，上述扫描第一画面以检测目标物在第一画面中的显示区域的步骤包括:以η个目标物分类器组成级联式(cascade)分类器，其中η为正整数。利用级联式分类器对第一画面进行η次扫描程序，以检测出目标物在第一画面中的显示区域。其中每一次的扫描程序包括:在第一画面中依照特定方向移动检测视窗以完整扫描第一画面，并随后缩小第一画面的尺寸。
[0008]在本发明的一实施例中，上述根据显示区域占据第一画面的面积比例，以及视频中接续在第一画面之后的至少一参考画面，对目标物进行追踪的步骤包括:判断面积比例是否超过预设值。如果面积比例不超过预设值，则从显示区域提取出关于目标物的至少一特征点，并利用提取自显示区域的上述特征点与上述参考画面，对目标物进行追踪。如果面积比例超过预设值，则从显示区域内的多个子区域，分别提取出关于目标物的至少一特征点，并利用提取自上述子区域的上述特征点与上述参考画面，对目标物进行追踪。
[0009]在本发明的一实施例中，上述子区域为显示区域的左上角区域及右下角区域。
[0010]在本发明的一实施例中，上述子区域彼此不重叠或部分重叠。
[0011]在本发明的一实施例中，上述参考画面包括:相邻于第一画面的第二画面，以及相邻于第二画面的第三画面。而根据显示区域占据第一画面的面积比例，以及视频中接续在第一画面之后的参考画面，对目标物进行追踪的步骤包括:从第一画面提取出关于目标物的至少一特征点,根据卡尔曼(Kalman filter)滤波器,计算第二画面中的预估范围，并执行光流追踪(Optical flow)算法来估计提取自第一画面的上述特征点在第二画面的预估范围内的移动信息。接着，从第二画面提取出关于目标物的至少一特征点，根据卡尔曼滤波器计算第三画面中的预估范围，并执行光流追踪算法来估计提取自第二画面的上述特征点在第三画面的预估范围内的移动信息。
[0012]在本发明的一实施例中，目标检测与追踪方法还包括:利用加速强健特征提取(Speeded Up Robust Features, SURF)算法建立抗缩放及抗旋转特征。
[0013]在本发明的一实施例中，上述特定画面是时序上在所有参考画面之后的任意画面，而利用抗缩放及抗旋转特征来辨识目标物是否出现在特定画面中的步骤包括:从特定画面提取出待辨识特征，比对待辨识特征与抗缩放及抗旋转特征。当待辨识特征符合抗缩放及抗旋转特征时，则判定目标物出现于特定画面中。
[0014]本发明的目标检测与追踪系统包括:相互耦接的存储单元与处理单元。存储单元记录多个模块，而处理单元存取并执行存储单元中的上述模块。上述模块包括:检测模块、追踪模块以及辨识模块。检测模块提取视频中的一画面作为第一画面，并扫描第一画面以检测目标物在第一画面中的显示区域。追踪模块根据显示区域占据第一画面的面积比例，以及视频中接续在第一画面之后的至少一参考画面来追踪目标物，并记录被追踪的目标物的抗缩放及抗旋转特征。辨识模块利用抗缩放及抗旋转特征来辨识目标物是否出现在特定画面中。
[0015]基于上述，本发明的目标检测与追踪方法及系统是利用基于机器学习的算法和级联式架构来即时检测复杂动态场景中的目标物，再利用结合光流追踪算法和卡尔曼滤波器的追踪机制，对目标物进行追踪。本发明的目标检测与追踪方法及系统可广泛地应用于各种环境，并提供快速且稳健的检测与追踪效果。
[0016]为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
【专利附图】
【附图说明】
[0017]图1是依照本发明一实施例所绘示的目标检测与追踪系统的方块图。
[0018]图2是依照本发明一实施例所绘示的目标检测与追踪方法的流程图。
[0019]图3是依照本发明一实施例所绘示的训练目标物分类器的示意图。
[0020]图4是依照本发明一实施例所绘示的级联式分类器的示意图。
[0021]图5是依照本发明一实施例所绘示的级联式分类器进行数次扫描程序的示意图。
[0022]图6A至6C是依照本发明数个实施例所绘示的提取目标物的特征点的示意图。
[0023]图7是依照本发明一实施例所绘示的在相邻画面中，对目标物进行追踪的示意图。
[0024]图8是依照本发明一实施例所绘示的辨识目标物是否出现在特定画面的流程图。
[0025]【符号说明】
[0026]100:目标检测与追踪系统
[0027]110:存储单元
[0028]111:训练模块
[0029]113:检测模块
[0030]115:追踪模块
[0031]117:辨识模块
[0032]120:处理单元
[0033]S210?S230:本发明一实施例所述的目标检测与追踪方法的各步骤
[0034]310:训练正样本
[0035]320:训练负样本
[0036]330:特征提取单元
[0037]340:训练单元
[0038]400:级联式分类器
[0039]Q、C2、C3、C4:目标物分类器
[0040]F1:第一画面
[0041]NDR1, NDR2, NDR3> NDR4:非目标物区域
[0042]DR:显示区域
[0043]W:检测视窗
[0044]60:目标物
[0045]63:显示区域
[0046]63’:缩小区域
[0047]65,67:子区域
[0048]+:特征点
[0049]HR3:预估范围
[0050]O。02、O3:光流运算区域
[0051]S810?S850:本发明一实施例所述的辨识目标物是否出现在特定画面的各步骤
【具体实施方式】
[0052]图1是依照本发明一实施例所绘示的目标检测与追踪系统的方块图。请参阅图1，本实施例的目标检测与追踪系统100可实作于计算机系统、工作站、服务器，或任何具备运算及处理能力的电子装置。目标检测与追踪系统100包括:相互耦接的存储单元110与处理单元120，其功能分述如下:
[0053]存储单元110例如是随机存取存储器(Random Access Memory, RAM)、只读存储器(Read-Only Memory, ROM)、快闪存储器(Flash memory)、硬盘或其他类似装置或这些装置的组合，而用以记录可由处理单元120执行的多个模块，这些模块可载入处理单元120以执行目标物的检测与追踪功能。
[0054]处理单兀120可以是中央处理单兀(Central Processing Unit, CPU),或是其他可编程的一般用途或特殊用途的微处理器(MiCToprocessor)、数字信号处理器(DigitalSignal Processor, DSP)、可编程控制器、特殊应用集成电路(Applicat1n SpecificIntegrated Circuits, ASIC)、可编程逻辑装置(Programmable Logic Device, PLD)或其他类似装置或这些装置的组合。处理单元120能存取并执行记录在存储单元110中的各个模块，使目标检测与追踪系统100对一或多个目标物进行即时检测与追踪。
[0055]记录在存储单元110中的模块包括:训练模块111、检测模块113、追踪模块115以及辨识模块117，上述模块可为计算机程序并在处理单元120的执行下实现目标物的检测与追踪功能；以下即举实施例说明目标检测与追踪系统100的详细运作方式。
[0056]图2是依照本发明一实施例所绘示的目标检测与追踪方法的流程图，请同时参阅图1与图2。在本实施例中，目标检测与追S示系统100可接收由网络摄像机(或其他视频拍摄装置)在各种环境(例如，高速公路、市郊或市区街道，但不限于此)下拍摄的视频(video，又称之为“影片”)，并对视频中属于特定种类的目标物进行检测与追踪。其中，视频包括多张静态的画面(frame)，而目标物可以是车辆、人脸，或其他种类的物件。首先在步骤S210中，检测模块113提取视频中的一画面(影格)作为第一画面(第一影格)，并扫描第一画面，以检测目标物在第一画面中的显示区域。
[0057]详细地讲，为了让检测模块113在线上检测阶段能检测出目标物是否出现在某一画面(影格)，以及目标物在该画面中的显示区域，在本实施例中，训练模块111将在离线训练阶段取得大量的训练正、负样本，并通过机器学习方法来训练出能区分目标物与背景的目标物分类器。图3是依照本发明一实施例所绘示的训练目标物分类器的示意图。如图3所示，训练模块111取得多个训练正样本310与多个训练负样本320。其中，训练正样本310是包含与目标物具有相同种类的物件的图片，而训练负样本320则是不包含与目标物具有相同种类的物件的图片。训练模块111利用特征提取单元330分别提取所有训练正样本310与训练负样本320的纹理特征。举例来说，特征提取单元330可结合积分图像技术来快速取得每一训练正样本310与训练负样本320中明显的纹理特征，上述纹理特征例如是类哈尔(Haar-1ike)特征，但本发明并不局限于此。尔后，训练模块111利用训练单元340对各训练正样本与各训练负样本的纹理特征执行一分类器融合(Classifier Fus1n)算法,进而训练出一目标物分类器。举例来说，训练单元340是以适应性增益(Adaptive Boosting)算法训练出一个可以区分正样本(即，与目标物具有相同种类的物件)和负样本(即，与目标物具有不同种类的物件)的目标物分类器，此目标物分类器是由多个弱分类器所组成，这是能够区别欲检测的目标物的基本元件。
[0058]在线上检测阶段，为了兼顾检测速度与准确性，检测模块113以η个(η为正整数)目标物分类器组成一级联式(cascade)分类器，并利用级联式分类器对第一画面进行η次扫描程序以检测出目标物在第一画面中的显示区域。由于级联式分类器能尽早排除第一画面中不可能是目标物的区域，因此可以大幅提升检测速度。图4是依照本发明一实施例所绘示的级联式分类器的示意图，请参阅图4，在此范例中，假设检测模块113是以4个目标物分类器C1至C4组成级联式分类器400。第一画面F1会经过目标物分类器C1至C4的层层检测，而每一层级的目标物分类器会从第一画面F1中排除不属于目标物的非目标物区域(SP，非目标物区域NDR1至NDR4),而通过所有目标物分类器C1至C4的区域即为目标物的显示区域DR。
[0059]图5是级联式分类器400进行4次扫描程序的示意图。请参阅图5，为了找出目标物在第一画面F1中的显示区域，在每一次的扫描程序中，级联式分类器400会在第一画面F1中依照特定方向移动检测视窗W，以完整扫描第一画面F1，特定方向例如是先由左至右、再由上至下地扫描第一画面匕。随后，级联式分类器400缩小第一画面F1的尺寸，再进行下一次的扫描程序，据此能找出第一画面F1中，具有不同大小的目标物的显示区域。图5所示的扫描方式又称为图像金字塔式的扫描。
[0060]如上所述，检测模块113能检测出第一画面中，属于特定种类的所有目标物的显示区域，然而为了方便说明，在以下假设第一画面中，仅具有一个目标物，因此检测模块113仅检测出一个目标物的显示区域。
[0061]在检测模块113检测出目标物的显示区域后，本实施例的追踪模块115会利用结合卡尔曼滤波器(Kalman filter)及光流追踪(Optical flow)算法的追踪机制,来达到快速且稳定的目标物追踪效果。详细地讲，如步骤S220所示，追踪模块115根据显示区域占据第一画面的面积比例，以及视频中接续在第一画面之后的至少一参考画面来追踪目标物，并记录被追踪的目标物的抗缩放及抗旋转特征。在本实施例中，追踪模块115仅会对画面的某部分(或某些部分)执行光流追踪算法，而不会对整张画面进行追踪。举例来说，在检测模块113检测出显示区域后，追踪模块115仅利用光流追踪算法，对显示区域(或显示区域内的一或多个更小的区域)进行运算，对于提取自目前画面的部分区域的特征点，在下一张画面中，找出特征点的移动位置，以进行目标物的追踪。以下以数个范例来说明追踪模块115如何提取用于光流追踪算法的特征点。
[0062]一般来说，由于视频捕捉的是目标物在环境中的移动状态，因此同一个目标物在不同画面中的大小也不尽相同。当欲追踪的目标物十分靠近拍摄视频的网络摄像机时，目标物的显示区域在画面中所占据的面积比例便相当大。由于追踪模块115需要对较大的区域进行运算处理，因而会导致运算效率低落的情况产生。为了提升处理速度，针对画面中过大的目标物，追踪模块115仅利用目标物的数个局部区域的信息来进行追踪处理，如此便能降低画面中过大的目标物的运算时间成本。
[0063]具体而言，在本实施例中，追踪模块115会判断目标物的显示区域占据第一画面的面积比例是否超过一预设值，预设值与视频的解析度及画面的大小有关，可经由实验决定其适当的数值。如果面积比例不超过预设值，表示目标物相较于第一画面来说不至于过大，因此追踪模块115将目标物视为一整体来处理，而从显示区域提取出关于目标物的至少一特征点，并利用提取自显示区域的上述特征点与参考画面对目标物进行追踪。倘若面积比例超过预设值，表示目标物在第一画面中占据了较大的面积，追踪模块115会将目标物分为数个部分来进行追踪。基此，追踪模块115在显示区域内定义多个子区域，并分别从这些子区域中，提取出关于目标物的至少一特征点，再利用提取自各子区域的特征点与参考画面来对目标物进行追踪。
[0064]图6A至6C是依照本发明的数个实施例所绘示的提取目标物的特征点的示意图。在图6A中，假设目标物60 (车辆)在第一画面F1中的显示区域63占据第一画面F1的面积比例并未超过预设值。在一实施例中，追踪模块115直接从显示区域63中，提取出关于目标物的一或多个特征点。在另一实施例中，由于显示区域63的边缘处可能涵盖到不属于目标物的背景，为了避免提取到的特征点是属于背景区，追踪模块115会取得显示区域63向中心内缩的一个缩小区域63’，并从此缩小区域63’中，提取出关于目标物60的一或多个特征点(在图6A中，以符号“ + ”表示)。然而只要显示区域63占据第一画面F1的面积比例不超过预设值，追踪模块115便会将目标物视为一整体来进行追踪。
[0065]在图6B所示的范例中，假设目标物60在第一画面F1中的显示区域63占据第一画面F1的面积比例超过预设值，追踪模块115为了将目标物60分为数个部分来进行追踪，首先在第一画面F1中定义两个子区域65与67，并分别在子区域65与67中提取出关于目标物60的一或多个特征点(在图6B中，以符号“ + ”表不)。在本实施例中，子区域65为显示区域63的左上角区域，而子区域67为显示区域63的右下角区域，此时两个子区域有部分重叠。须特别说明的是，子区域65与67的大小可以是预设的固定大小，也可随显示区域63的大小动态调整。而由于显示区域63的边缘处可能包含不属于目标物的背景，为了避免提取到的特征点是位于背景中，因此子区域65与67的位置并不会完全靠近显示区域63的边缘，而是向显示区域63的中心内缩一特定距离。
[0066]在图6C所示的实施例中，假设目标物60在第一画面F1中的显示区域63占据第一画面F1的面积比例超过预设值，追踪模块115在第一画面F1中，定义两个子区域65与67，并分别在子区域65与67中，提取出关于目标物60的一或多个特征点(在图6C中，以符号“ + ”表示)，进而将目标物60分为数个部分来进行追踪。如图6C所示，在此范例中，子区域65与67彼此互不重叠。
[0067]在图6B与6C的实施例中，虽然是将两个子区域定义为显示区域63的左上角区域与右下角区域，但本发明并不局限于此。换句话说，在其他实施例中，追踪模块115也可定义两个以上的子区域，且各子区域的位置也不局限于显示区域的左上角区域或右下角区域。
[0068]从另一方面来看，传统的光流追踪算法是在提取特征点后，针对同一套特征点的动向进行追踪。但由于本实施例是应用在明暗变化量大的复杂环境，为了适应场景变化，追踪模块115每次提取的一套特征点，只会用来进行一次光流追踪程序。详细地讲，追踪模块115针对每个画面，都将提取一套特征点，而对于此套特征点，只进行一次光流追踪程序，随即在新的画面中，再次提取新的一套特征点，由于每套特征点的使用时间很短，如此可以避免传统光流追踪算法必须维持在一致亮度的限制。在本实施例中，追踪模块115是利用卡尔曼滤波器，预估特征点在下一画面中可能出现的范围，以兼顾追踪速度与准确性。
[0069]具体来说，假设被用于追踪目标物的参考画面包括:相邻于第一画面的第二画面，以及相邻于第二画面的第三画面。首先，追踪模块115从第一画面中，提取出关于目标物的至少一特征点(以下将提取自第一画面的上述特征点称为第一组特征点)，第一组特征点是提取自目标物在第一画面的显示区域。接着，追踪模块115根据卡尔曼滤波器，计算第二画面中的预估范围，此预估范围是第一组特征点在第二画面中可能位于的区域。随后，追踪模块115执行光流追踪算法来实际估计第一组特征点在第二画面的预估范围内的移动信息。在完成第一与第二画面之间的光流追踪程序后，追踪模块115舍弃第一组特征点，而重新从第二画面提取出关于目标物的至少一特征点(例如，从目标物在第二画面的显示区域中提取特征点，或从比显示区域更小的一或多个小区域中提取出特征点，以下将提取自第二画面的上述特征点称为第二组特征点)，再根据卡尔曼滤波器，计算第三画面中的预估范围(即，第二组特征点在第三画面中可能位于的区域)，并执行光流追踪算法来实际估计第二组特征点在第三画面的预估范围内的移动信息，如此完成第二与第三画面之间的光流追踪程序，以此类推。
[0070]图7绘示的是追踪模块115利用视频中三张相邻的画面来追踪目标物的示意图。其中，预估范围&、1?2、1?3是根据卡尔曼滤波器计算而得，此为提取自前一张画面的特征点可能出现的区域。而较小的光流运算区域OpOy O3，则是提取自前一张画面的特征点的实际座落之处。由于目标物在环境中移动会使得目标物在各画面中的大小不一致，故如图7所示，预估范围H R3及光流运算区域Op 02、O3的大小会有所改变。然而，光流追踪算法和卡尔曼滤波器的交互作用可避免因上述情况而导致追踪失误的结果。必须特别说明的是，图7虽然是以三张相邻的画面来说明追踪目标物的方式，但画面的数量并不局限于三张，只要是结合光流追踪算法和卡尔曼滤波器进行追踪，且提取自一画面的一套特征点只进行一次光流追踪程序，便属于本发明的追踪|旲块115的范围。
[0071]在本实施例中，一旦开始对一目标物进行追踪，追踪模块115便利用加速强健特征提取(Speeded Up Robust Features, SURF)算法,建立目标物的抗缩放及抗旋转特征,并将其存储下来。抗缩放及抗旋转特征让目标检测与追踪系统100能对此目标物做长期追踪，无论目标物是否一度消失于视频，只要此目标物再次出现在视频中，则目标检测与追踪系统100便可利用其抗缩放及抗旋转特征来确认目标物的身份。如图2的步骤S230所示，辨识模块117利用抗缩放及抗旋转特征辨识目标物是否出现在特定画面中。举例来说，特定画面是指时序上出现在参考画面之后的任意画面。
[0072]图8是依照本发明一实施例所绘示的辨识目标物是否出现在特定画面的流程图。请参阅图8，首先如步骤S810所示，辨识模块117从特定画面提取出待辨识特征。接着在步骤S820中，辨识模块117将待辨识特征与先前存储的抗缩放及抗旋转特征进行比对。举例而言，辨识模块117是采用第K个最近邻近者(Kth Nearest Neighbor，KNN)算法来进行比对动作。接下来，如步骤S830所示，辨识模块117依比对结果，判断待辨识特征是否符合抗缩放及抗旋转特征。如果待辨识特征不符合抗缩放及抗旋转特征，如步骤S840所示,辨识模块117判定目标物未出现于特定画面中。反之，如果待辨识特征符合抗缩放及抗旋转特征，则如步骤S850所示，辨识模块117判定目标物出现于特定画面中。
[0073]在上述实施例中，虽然是针对一个目标物进行检测与追踪，但必须特别说明的是，目标检测与追踪系统100可针对视频中的数个目标物进行同步检测与追踪。每当检测模块113在新的画面中检测到目标物的显示区域时，追踪模块115会先判断此目标物是否为先前已开始追踪的物件。接下来，再通过结合光流追踪算法以及卡尔曼滤波器的追踪机制进打追踪，并存储追踪结果(例如，目标物的位直和大小)。
[0074]综上所述，本发明的目标检测与追踪方法及系统，先利用分类器融合算法和提取自大量训练正、负样本的纹理特征，训练出目标物分类器，以区分画面中的目标物与背景区域，据此，即便在动态环境下，依旧能检测出目标物的所在位置。而对于已检测到的目标物，则进一步利用结合卡尔曼滤波器和光流追踪算法的追踪机制，从而达到快速且稳定的追踪效果。一旦目标物被追踪,则即时建立并存储此目标物的抗缩放及抗旋转特征,如此一来，即便目标物暂时消失于视频，当此目标物再次出现在视频之际，可利用抗缩放及抗旋转特征辨识出此目标物的身份。本发明的目标检测与追踪方法及系统能在动态环境下达到快速且精确的追踪的效果。
[0075]虽然本发明已以实施例公开如上，然其并非用以限定本发明，本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视所附权利要求书界定范围为准。
【权利要求】
1.一种目标检测与追踪方法，包括: 提取一视频中的一画面作为一第一画面，并扫描该第一画面，以检测一目标物在该第一画面中的一显示区域； 根据该显示区域占据该第一画面的一面积比例，以及该视频中接续在该第一画面之后的至少一参考画面来追踪该目标物，并记录被追踪的该目标物的一抗缩放及抗旋转特征；以及 利用该抗缩放及抗旋转特征，辨识该目标物是否出现在一特定画面中。
2.如权利要求1所述的方法，其中在提取该视频中的该画面作为该第一画面之前，该方法还包括:取得多个训练正样本与多个训练负样本；提取各这些训练正样本与各这些训练负样本的一纹理特征；以及利用各这些训练正样本与各这些训练负样本的该纹理特征，以及一分类器融合算法，训练一目标物分类器， 而扫描该第一画面，以检测该目标物在该第一画面中的该显示区域的步骤，包括:以η个该目标物分类器组成一级联式分类器，其中η为正整数；以及利用该级联式分类器对该第一画面进行η次扫描程序，以检测出该目标物在该第一画面中的该显示区域，其中各该η次扫描程序包括:在该第一画面中，依照一特定方向移动一检测视窗，以完整扫描该第一画面并随后缩小该第一画面的尺寸。
3.如权利要求1所述的方法，其中根据该显示区域占据该第一画面的该面积比例，以及该视频中接续在该第一画面之后的该至少一参考画面，对该目标物进行追踪的步骤，包括: 判断该面积比例是否超过一预设值； 如果否，则从该显示区域提取出关于该目标物的至少一特征点，并利用提取自该显示区域的该至少一特征点与该至少一参考画面，对该目标物进行追踪；以及 如果是，则从该显示区域内的多个子区域，分别提取出关于该目标物的至少一特征点，并利用提取自这些子区域的该至少一特征点与该至少一参考画面，对该目标物进行追踪，其中这些子区域为该显示区域的一左上角区域及一右下角区域，且这些子区域彼此不重叠或部分重叠。
4.如权利要求1所述的方法，其中该至少一参考画面包括:相邻于该第一画面的一第二画面，以及相邻于该第二画面的一第三画面，而根据该显示区域占据该第一画面的该面积比例，以及该视频中接续在该第一画面之后的该至少一参考画面，对该目标物进行追踪的步骤，包括: 从该第一画面提取出关于该目标物的至少一特征点； 根据一卡尔曼滤波器，计算该第二画面中的一预估范围； 执行一光流追踪算法来估计提取自该第一画面的该至少一特征点，在该第二画面的该预估范围内的移动信息； 从该第二画面提取出关于该目标物的至少一特征点； 根据该卡尔曼滤波器，计算该第三画面中的一预估范围；以及 执行该光流追踪算法来估计提取自该第二画面的该至少一特征点，在该第三画面的该预估范围内的移动信息。
5.如权利要求1所述的方法，其中该特定画面是时序上在该至少一参考画面之后的任意画面，该抗缩放及抗旋转特征是利用一加速强健特征提取算法所建立，而利用该抗缩放及抗旋转特征，辨识该目标物是否出现在该特定画面中的步骤，包括: 从该特定画面提取出一待辨识特征； 比对该待辨识特征与该抗缩放及抗旋转特征；以及 当该待辨识特征符合该抗缩放及抗旋转特征时，判定该目标物出现于该特定画面中。
6.一种目标检测与追踪系统，包括: 一存储单元，记录多个模块；以及 一处理单元，耦接该存储单元，以存取并执行该存储单元中的这些模块，这些模块包括: 一检测模块，提取一视频中的一画面作为一第一画面，并扫描该第一画面，以检测一目标物在该第一画面中的一显示区域； 一追踪模块，根据该显示区域占据该第一画面的一面积比例，以及该视频中接续在该第一画面之后的至少一参考画面来追踪该目标物，并记录被追踪的该目标物的一抗缩放及抗旋转特征；以及 一辨识模块，利用该抗缩放及抗旋转特征，辨识该目标物是否出现在一特定画面中。
7.如权利要求6所述的目标检测与追踪系统，其中这些模块，还包括: 一训练模块，取得多个训练正样本与多个训练负样本，提取各这些训练正样本与各这些训练负样本的一纹理特征，并利用各这些训练正样本与各这些训练负样本的该纹理特征，以及一分类器融合算法训练一目标物分类器， 而该检测模块以η个该目标物分类器组成一级联式分类器，并利用该级联式分类器对该第一画面进行η次扫描程序，以检测出该目标物在该第一画面中的该显示区域，其中各该η次扫描程序包括:在该第一画面中，依照一特定方向移动一检测视窗，以完整扫描该第一画面并随后缩小该第一画面的尺寸，而η为正整数。
8.如权利要求6所述的目标检测与追踪系统，其中该追踪模块判断该显示区域占据该第一画面的该面积比例是否超过一预设值， 如果否，则从该显示区域提取出关于该目标物的至少一特征点，并利用提取自该显示区域的该至少一特征点与该至少一参考画面对该目标物进行追踪， 如果是，则从该显示区域内的多个子区域，分别提取出关于该目标物的至少一特征点，并利用提取自这些子区域的该至少一特征点与该至少一参考画面对该目标物进行追踪，其中这些子区域为该显示区域的一左上角区域及一右下角区域，且这些子区域彼此不重叠或部分重叠。
9.如权利要求6所述的目标检测与追踪系统，其中该至少一参考画面包括:相邻于该第一画面的一第二画面，以及相邻于该第二画面的一第三画面，而该追踪模块从该第一画面提取出关于该目标物的至少一特征点，根据一卡尔曼滤波器，计算该第二画面中的一预估范围，以及执行一光流追踪算法来估计提取自该第一画面的该至少一特征点在该第二画面的该预估范围内的移动信息，并且从该第二画面提取出关于该目标物的至少一特征点，根据该卡尔曼滤波器，计算该第三画面中的一预估范围，以及执行该光流追踪算法来估计提取自该第二画面的该至少一特征点在该第三画面的该预估范围内的移动信息。
10.如权利要求6所述的目标检测与追踪系统，其中该特定画面是时序上在该至少一参考画面之后的任意画面，该追踪模块利用一加速强健特征提取算法，建立该抗缩放及抗旋转特征，而该辨识模块从该特定画面提取出一待辨识特征，比对该待辨识特征与该抗缩放及抗旋转特征，且当该待辨识特征符合该抗缩放及抗旋转特征时，判定该目标物出现于该特定画面中。
【文档编号】G06K9/66GK104252629SQ201310349397
【公开日】2014年12月31日 申请日期:2013年8月12日 优先权日:2013年6月26日
【发明者】范钦雄, 赵修鼎 申请人:范钦雄