一种基于机器视觉的夜间车辆目标稳定跟踪方法
【专利摘要】本发明提出了一种基于机器视觉的夜间车辆目标稳定跟踪方法。本发明通过判断稳定跟踪队列的状态，将原始图像传送给车辆跟踪或者检测模块处理；车辆跟踪模块接收图像之后，将使用稳定跟踪队列进行目标跟踪；然后，将稳定跟踪队列成功跟踪过的区域在图像中标记，将标记后的图像传给车辆检测模块；车辆检测模块对接收的图像进行检测，得到检测结果；最后，使用预跟踪队列对检测结果进行筛选，得到连续命中的目标作为稳定跟踪目标，并将其加入至稳定跟踪队列。该方法适用于基于视觉的夜间车载道路目标检测系统，增强目标检测跟踪系统的鲁棒性。本发明可用于车辆智能防撞预警领域及车辆跟踪【技术领域】。
【专利说明】一种基于机器视觉的夜间车辆目标稳定跟踪方法
【技术领域】
[0001]本发明属于基于视觉的车辆智能防撞预警(Vehicle Intelligent CollisionWarning)领域，特别涉及一种基于机器视觉的夜间道路车辆目标的稳定跟踪方法。
【背景技术】
[0002]二十世纪九十年代以来，全球各国开始进行智能运输系统(ITS)的建设。ITS通过利用先进的信息技术将人、车、路三者灵活的结合起来，ITS中一个重要的子系统就是车辆智能防撞预警系统(Vehicle Intelligent Collision Warning System),车辆检测模块以及跟踪模块是该系统的重要组成部分。
[0003]目前用于车载系统场景的基于视觉的车辆跟踪算法可以归纳为三类:基于模板、基于卡尔曼滤波和基于邻域的跟踪方法。基于模板的方法很大程度上依赖于特征提取匹配算法，准确度对模板依赖程度高。基于卡尔曼滤波的方法需要对图像进行遍历检测，占用系统资源多，计算时间长。基于邻域的跟踪方法在目标高概率出现的区域进行检测跟踪，与搜索整个图像区域相比可以大幅减少计算量，时间性能好，但是存在因行驶路况差而引起的摄像头震动所导致跟踪目标易丢失的问题，因摄像头震动而带来跟踪目标丢失如图1 (a)所示。
[0004]针对基于邻域跟踪方法的上述缺陷，本发明提出一种采用预跟踪队列和稳定跟踪队列的双队列跟踪方法。本发明在基于邻域跟踪方法的基础上，使用预跟踪队列筛选连续命中的检测目标作为跟踪目标，以增强跟踪方法的稳定性，使用稳定跟踪队列加强对跟踪目标丢失的容错性，因此，减少因行驶路况差而引起的车载摄像头震动导致的图像跟踪目标丢失的情况，从而增强邻域图像目标检测跟踪方法的抗干扰性。该方法适用于基于视觉的车载道路目标检测系统，增强目标检测跟踪系统的鲁棒性。
【发明内容】
[0005]针对基于单目视觉夜间车载系统的道路车辆目标检测跟踪的应用场景中，传统的基于邻域的车辆跟踪方法易受到车载摄像头震动、图像抖动、容易引起检测跟踪目标丢失的问题，本发明公开了一种基于单目视觉的夜间道路车辆目标的稳定跟踪方法，用于车载夜间道路目标的稳定检测与跟踪。
[0006]本发明在基于邻域的跟踪方法的基础上，通过使用预跟踪队列方法获取稳定目标，使用稳定跟踪队列方法在邻域内对稳定目标进行跟踪，同时还采用已跟踪区域标记的策略，在进行跟踪时能够缩小检测与跟踪区域，提高实时性，还能够增强跟踪方法对摄像头震动而造成目标丢失的抗干扰性，以及跟踪方法的稳定性和准确性。发明解决其技术问题的技术方案如下:
[0007]假设摄像机安装在车辆前挡风玻璃中间并朝向正前方，即摄像机的俯仰角、航偏角、旋转角均为零。
[0008]Stepl:接收原始图像。车辆跟踪模块从摄像头接收到一巾贞原始图像srclmg输入，判断稳定跟踪队列是否为空，如果非空，则由车辆跟踪模块处理srclmg，跳至Step2 ;如果为空，则将srclmg交由车辆检测模块直接处理,跳至Step4。
[0009]Step2:使用基于邻域的稳定跟踪队列方法跟踪目标。利用稳定跟踪队列，在稳定跟踪队列元素的邻域中对srclmg进行跟踪，得到跟踪结果，并更新稳定跟踪队列各个元素。
[0010]St印3:标记已跟踪区域。使用上一步骤中已经更新的稳定跟踪队列各元素的信息，对srclmg中进行已跟踪目标区域的标记。
[0011]Step4:车辆检测模块对其接收的不同图像而进行重载，然后由车辆检测模块进行检测得到检测结果。
[0012]Step5:使用预跟踪队列方法筛选检测结果。从上一步骤中得到车辆检测结果，使用预跟踪队列进行筛选，从而得到连续命中的稳定跟踪目标，最后将稳定跟踪目标作为新的元素加入至稳定跟踪队列，再跳至St印1，直到摄像头不再输入新的图像。
[0013]本发明具有的有益效果是:
[0014]1、使用预跟踪队列方法筛选连续命中的检测目标作为跟踪目标，减少了车辆检测模块的部分错误检测结果对跟踪结果的负面影响，增强了跟踪结果的稳定性。
[0015]2、具有生命周期的稳定跟踪队列的元素对跟踪目标丢失具有一定的容错性，从而能减少因摄像头震动而造成的跟踪目标丢失，提高跟踪方法的抗干扰性
[0016]3、采用已跟踪区域标记的策略，通过稳定跟踪队列的跟踪结果来标记已跟踪区域，再将此图像作为车辆检测模块的输入，使得车辆检测过程中所需检测区域减少，节省了车载系统计算资源，提高了运行速度。
【专利附图】
【附图说明】
[0017]图1(a)是因车辆震动而造成跟踪目标丢失的示例图。
[0018]图1 (b)是本发明的稳定跟踪队列方法增强了对车辆震动的抗干扰性的示例图。
[0019]图2是本发明用于车载系统的车辆跟踪方法流程图。
[0020]图3(a)是车辆检测结果中有误检结果的示例图。
[0021]图3(b)是本发明的预跟踪队列方法去除误检之后的示例图。
【具体实施方式】
[0022]下面结合附图，对本发明的具体实施方案作进一步详细描述。
[0023]本发明主用于在已有的单目视频图像的夜间车辆目标检测信息的基础上，根据历史视频图像帧的检测跟踪结果对后续图像帧中的车辆目标位置进行连续稳定跟踪检测，解决夜间前方车辆的尾灯目标信息因路况差引起的图像目标抖动，造成跟踪目标易丢失的问题，增强夜间道路目标跟踪的鲁棒性，提高车载夜间车辆目标检测的准确率。
[0024]参照图2执行步骤来说明本发明的实施过程:
[0025]步骤I一接收原始图像:
[0026]车辆跟踪模块从摄像头接收到一帧原始图像srclmg输入，判断稳定跟踪队列是否为空，如果非空，则由车辆跟踪模块继续处理srclmg，跳至步骤2 ;如果为空，则将srclmg交由车辆检测模块直接处理，跳至步骤4。[0027]步骤2—基于邻域的稳定跟踪队列方法:
[0028]本步骤是在稳定队列元素的邻域中，根据目标的特征对目标进行跟踪。车辆检测结果集、预跟踪队列、稳定跟踪队列的每一个元素，都有一个特征的集合(例如夜间车辆车灯的面积、高宽比等)来描述这个元素即车辆在图像中的特征。在这里把描述车辆在图像中特征的集合定义为特征集。设STL代表稳定跟踪队列，STLi为STL的第i个元素，
VECTORm^ STLi的特征集，AREAsm,为STLi在前一帧出现的区域，enArea为邻域范围
系数，thresSil1表示31^在被检测出时所用的阈值集，α表示跟踪阈值集的系数，lnSTL,
表示STLi的生命周期，MAXLN为STL元素的最大生命周期，NMstl为STL的元素数量。本发明的稳定跟踪队列方法增强了对车辆震动的抗干扰性的效果如图1(b)所示。基于邻域的稳定跟踪队列方法具体实施步骤如下:[0029]Stepl:在 srclmg 中的 ‘4REA丨丨 *enArea 中，是否能让 1,队 T0RSrLj 在
* α的约束下全部的特征匹配成功。如果能，将HCTORyni中所有在srclmg中的特征更新，跳至Step2,如果不能,则跳至Step3。
[0030]Step2:使用Stepl中的命中结果更新STLi在srclmg中的%。同时使lnSIZ;加一，直到LNSTLi达到MAXLN。跳至St印4。
[0031]Step3: LNSTl减一，当等于零时，将STLi从STL中删除并将NMSTl减一。跳至 Step4。
[0032]Step4:1加一,如果i大于NMsix时，该算法结束。否则,跳至Stepl。
[0033]步骤3—标记已跟踪区域:
[0034]因为车载系统应用场景具有稳定跟踪目标不会突然消失，即目标出现连续性特点和目标只是向邻近区域移动的特点。本步骤是利用上述特点，根据车辆跟踪模块在上一个步骤中，成功跟踪目标更新之后的特征集，推算出新的跟踪目标的区域之后，再将其标记到图像传输给车辆检测模块。算法具体如下:
[0035]Input = StaTrackList-稳定跟踪队列srclmg-摄像头输入的原始图像
[0036]Output:1ableImg-标记之后的图像
[0037]for each StaTrackList [i].vector inStaTrackListdoUpdateStaTrackList[i].areausingStaTrackList[i].vector;
[0038]end for
[0039]for each StaTrackList [i].area inStaTrackList do I ab e I Img.label(StaTrackList[i].area);
[0040]end for
[0041]设IableImg为标记跟踪区域之后的图像，lablelmg.1able表示使用输入的参数将 lablelmg 标记，StaTrackList [i].vector 与 StaTrackList [i].area 分别表不稳定跟踪队列的第i个元素的特征集和第i个元素在前一帧出现的区域。经过上述算法标记之后，将lablelmg作为输入图像传输至车辆检测模块。[0042]步骤4一车辆检测模块接收输入图像并检测:
[0043]车辆检测模块对其接收的不同图像而进行重载，然后由车辆检测模块进行检测得到检测结果。当在步骤I中如果STL不为空时，车辆检测模块接收的输入图像为标记跟踪区域之后的图像lablelmg，而STL为空时，车辆检测模块接收的输入图像为srclmg。在经过对输入图像检测之后，得到检测结果集DR传入至车辆跟踪模块作为预跟踪队列的输入。
[0044]步骤5—使用预跟踪队列方法筛选检测结果:
[0045]本步骤主要是利用上一步骤得到的DR，使用预跟踪队列进行筛选，从而得到连续命中的稳定跟踪目标，最后将稳定跟踪目标作为新的元素加入至稳定跟踪队列，而DR中的误检结果如图3 (a)所示。设DRi SDR中的第i个元素，NMdk SDR中元素的数量，PTL代表预
跟踪队列，PTLj为PTL的第j个元素，NMm为PTL中元素的数量，VECT0RnRi与似:蘭丨
分别为DRi的特征集与PTh的特征集，ΗΤΜρτι^--、连续命中次数，flagPtlj'为PTh是
否为连续命中目标的标记，MAXHTM是检测目标能够成为稳定跟踪目标的连续命中次数。当本步骤执行完毕时，跳至步骤I。本发明的预跟踪队列方法去除误检之后的效果如图3(b)所示。预跟踪队列方法具体实施步骤如下:
[0046]Stepl:将作〔廳叫与服廳”几丨进行特征的匹配，如果不能全部匹配成功跳至Step2,如果能全部匹配成功则跳至Step3。
[0047]Step2:将j加一，如果j大于NMpix，则跳至Step4,否则，跳至Stepl。
[0048]Step3:将抑Mpm,.加一，FLAGptl^ 赋值为 true,恤果HTMpTLj 等于嫩xhtm,则将
PTLj作为新的元素加入STL并从PTL中删除，NMptl减一。跳至St印4。
[0049]Step4:1加一，j赋值为I,如果i大于NMdk时。跳至Step5。否则，跳至Stepl。
[0050]St印5:令j e [I, NMptJ，对于任意j，如果flagHLj的值不为true，则将PTLj从预跟踪队列中删除。算法到此结束。
【权利要求】
1.一种基于机器视觉的夜间车辆目标稳定跟踪方法，其特征在于该方法包括以下步骤: 步骤1:接收原始图像: 车辆跟踪模块从摄像头接收到一帧原始图像srclmg输入，判断稳定跟踪队列是否为空，如果非空，则由车辆跟踪模块处理图像srclmg，跳至步骤2 ;如果为空，则将图像srclmg交由车辆检测模块直接处理，跳至步骤4 ; 步骤2:使用基于邻域的稳定跟踪队列方法跟踪目标: 利用稳定跟踪队列，在稳定跟踪队列元素的邻域中对图像srclmg进行跟踪，得到跟踪结果，并更新稳定跟踪队列各个元素，具体是: 设STL代表稳定跟踪队列，STLi为STL的第i个元素，vect0rSH,为STLi的特征集，施~叫为STLi在前一帧出现的区域，enArea为邻域范围系数，THRES叫表示STLi在被检测出时所用的阈值集，α表示跟踪阈值集的系数，iivSHi表示STLi的生命周期，MAXLN为STL元素的最大生命周期，NMstl为STL的元素数量，执行以下步骤: ， 2-1.在图像srclmg中的AREA^enArea中，是否能让[队^rStl1在THRES叫* α的约束下全部的特征匹配成功；如果能，将中所有在图像srclmg中的特征更新，跳至2-2，如果不能，则跳至2-3 ； ，2-2.使用2-1中的命中结果更新STLi在srclmg中的VECTOR叫;同时使LN叫加一，直到zi vCTXi达到MAXLN，跳至2-4 ； ，2-3.lnSTL1减一，ALNSTh等于零时，将从STL中删除并将NMm减一，跳至2_4 ； ，2-4.1加一，如果i大于NMstl时，则结束；否则，跳至2-1 ； 步骤3:标记已跟踪区域: 使用上一步骤中已经更新的稳定跟踪队列各元素的信息，对图像srclmg中进行已跟踪目标区域的标记； 步骤4:车辆检测模块对其接收的不同图像进行重载，然后由车辆检测模块进行检测得到检测结果； 步骤5:使用预跟踪队列方法筛选检测结果: 从上一步骤中得到车辆检测结果，使用预跟踪队列进行筛选，从而得到连续命中的稳定跟踪目标，最后将稳定跟踪目标作为新的元素加入至稳定跟踪队列，再跳至步骤1，直到摄像头不再输入新的图像；具体是: 设DRi为DR中的第i个元素，NMde为DR中 元素的数量，PTL代表预跟踪队列，PTLj为PTL的第j个元素，NMptl为PTL中元素的数量，VECT0RDRi与νΕΟ?^ 〃，V别为DRi的特 征集与PTh的特征集，htmPTLj为PTh连续命中次数，flagPTLi为PTh是否为连续命中目标的标记，MAXHTM是检测目标能够成为稳定跟踪目标的连续命中次数，执行以下步骤:5-1.将作CTORdri与进行特征的匹配，如果不能全部匹配成功跳至5-2，如果能全部匹配成功则跳至5-3 ； 5-2.将j加一，如果j大于NMm，则跳至5-4，否则，跳至5-1 ； 5-3.将HTMPTLj加一，flagPTL1-赋值为 true，如果imwPrz7 等于MAXHTM，则将 PTLj 作为新的元素加入STL并从PTL中删除，NMptl减一，跳至5-4 ； 5-4.1加一，j赋值为1，如果i大于NMdk时；跳至5-5 ;否则，跳至5-1 ； 5-5.令j e [I, NMptl],对于任意j，如果的值不为true，则将PTLj从预跟踪队列中删除。`
【文档编号】G06K9/62GK103886292SQ201410105323
【公开日】2014年6月25日 申请日期:2014年3月20日 优先权日:2014年3月20日
【发明者】徐向华, 李枭, 任新成, 周士杰 申请人:杭州电子科技大学