基于视觉注意和均值漂移的目标检测与跟踪方法
【专利摘要】本发明公开了一种基于视觉注意和均值漂移的目标检测与跟踪方法。该方法首先使用视觉注意方法提取图像序列中第一帧图像的显著区域，去除背景因素的干扰，得到运动目标；再将传统均值漂移方法中核函数的固定带宽改为动态变化的带宽，使用改进的均值漂移方法对检测出的运动目标进行跟踪。实验结果表明，本发明适用于红外和可见光图像序列，跟踪效果较好。另外，本发明还可提供运动目标的位置信息，为精确定位目标提供了可能。它在夜视侦查、安防监控等军事和民事领域有着广阔的应用前景。
【专利说明】基于视觉注意和均值漂移的目标检测与跟踪方法
【技术领域】
[0001]本发明涉及一种目标跟踪处理【技术领域】的方法，特别是一种基于视觉注意和均值漂移的目标检测与跟踪方法，可用于红外和可见光图像序列。
【背景技术】
[0002]目标检测与跟踪技术就是针对一段视频图像序列中检测出感兴趣区域(一般是运动目标)，并实时得到它的一些相关信息，比如位置、大小、速度、加速度等。
[0003]目前，比较成熟的目标检测与跟踪方法大多是基于像素级的，大体可以分为以下两大类:
[0004](I)先检测后跟踪，不依赖先验知识，直接从视频图像序列中检测目标，提取出感兴趣目标，最终实现运动目标的跟踪。如阈值分割，基于形态学的滤波器，小波变换等。首先对图像进行预处理，通常包括杂波抑制，去噪和图像增强等，尽可能地滤除背景和噪声，减少随机因素的影响；然后设定阈值，将高于阈值的像素单元作为观测值输入跟踪方法中；最后由跟踪方法对每一次观测值进行航迹关联，根据目标的运动特性区分真实目标和噪声，从而达到跟踪目标的目的。
[0005](2)先跟踪后检测，依赖于先验知识，为运动目标建立运动模型，把与目标特征信息(包括灰度直方图、梯度、光流场等特征信息)相匹配的区域作为运动目标。该类方法主要包括动态规划检测跟踪方法、帧相关检测跟踪方法、基于神经网络检测跟踪方法和基于贝叶斯估计检测跟踪方法等。方法步骤一般为先观测目标的运动特性，得到所有可能的目标运动轨迹，然后根据目标的特征(比如灰度特征、梯度特征等)来取得目标轨迹的后验概率。在这个过程中，如果某个轨迹的后验概率大于设定的阈值，这时认为该轨迹为真实目标的轨迹。因此这类问题的研究转化到求解候选目标轨迹的后验概率问题。
[0006]先检测后跟踪类方法结构相对简单，易于实现，信噪比比较高的情况下具有较好的跟踪性能，然而当低信噪比的情况下，降低阈值，会出现较高的虚警率，而且会加大后续航迹关联方法的负担，使计算量大大增加；而先跟踪后检测类方法是基于目标运动特性的检测与跟踪技术，利用运动特性来描述目标，相对来说，计算量较大，很多该类方法不能保证跟踪效果的实时性，且方法的可靠性还需改进。
[0007]用传统的视觉注意方法检测运动目标时，计算量较大，对每帧图像处理的时间较长，难以满足实时性的要求，且无法排除背景因素的干扰；用传统的均值漂移方法跟踪目标时，采用目标的颜色直方图作为搜索特征，通过不断迭代而逐渐收敛于目标的真实位置，从而达到跟踪的目的，这是一种半自动的目标跟踪方法，需要在起始帧内选中跟踪目标，并建立概率模型。另外，当目标运动较快或者目标被遮挡时，传统的均值漂移方法通常无法搜索到目标位置。对于视觉注意和均值漂移这两种图像处理方法的结合，国内也有学者做了这方面的工作，首先用视觉注意方法对图像进行处理，得到显著区域，再使用均值漂移方法在每个显著区域中迭代得到匹配区域，从而达到目标跟踪的目的，这种方法对于目标运动过快有较好的结果，但是每帧图像都要先使用视觉注意方法得到显著区域，再使用均值漂移方法进行目标跟踪，计算量很大，目标跟踪领域很重要的实时性要求不能得到满足。
【发明内容】
[0008]本发明的目的在于提供一种基于视觉注意和均值漂移的目标检测与跟踪方法，从而对红外或可见光图像序列中的运动目标进行实时跟踪。
[0009]实现本发明的目的的技术解决方案为:一种基于视觉注意和均值漂移的目标检测与跟踪方法，步骤如下:
[0010](I)利用摄像头采集场景图像；
[0011](2)判断当前图像是否为第一帧图像；如果是则执行步骤(4)，否则执行步骤(3)；
[0012](3)判断上一帧图像是否有跟踪窗口返回；如果有则执行步骤(14)，否则执行步骤⑷；
[0013](4)将步骤(I)采集到的图像进行高斯金字塔分解，产生8个不同分辨率的子图像；
[0014](5)分别提取原图像及8层子图像的颜色、亮度、方向等特征图像；
[0015](6)使用中央周边差算子和非线性归一化操作处理各特征图像；
[0016](7)将步骤(6)处理后的各特征图线性组合生成各特征显著图，再生成总显著图；
[0017](8)经胜者全赢和禁止返回机制得到显著区域；
[0018](9) 二值化显著区域；
[0019](10)判断是否存在目标；如果存在则执行步骤(11)，否则执行步骤(I);
[0020](11)提取运动目标；
[0021](12)将提取的运动目标作为跟踪目标并建立跟踪窗口 ；
[0022](13)计算核函数跟踪窗口的灰度值概率分布并返回跟踪窗口作为下一帧图像的搜索窗口 ；返回步骤(I);
[0023]( 14)计算搜索窗口的灰度值概率分布；
[0024]( 15)计算搜索窗口的质心，并移动搜索窗口到质心，判断迭代次数是否达到20次；如果是则停止计算，返回步骤(1)，并置下一帧图像为第一帧图像，否则执行步骤(16)；
[0025](16)判断移动距离是否大于预先设置的固定阈值，如果是则返回步骤(14)，否则执行步骤(17)；
[0026](17)将步骤(16)所得到的的最佳匹配区域作为下一帧的跟踪目标区域，并将其对应的权值矩阵作为下一帧跟踪目标的权值矩阵，返回步骤(I)。
[0027]本方法先使用视觉注意模型得到图像的显著区域，再二值化图像以去除背景因素的干扰，再判断是否存在运动目标，如果有，则提取运动目标，再使用均值漂移方法对运动目标进行跟踪，这里把均值漂移方法中核函数的固定带宽改为动态变化的带宽，可以适应目标大小、形状的变化。整个方法检测及跟踪效果较好，且满足目标跟踪的实时性要求。
[0028]本发明与现有技术相比，其显著特点:(1)该方法结合了视觉注意和均值漂移两者的优点，又对这两种方法分别进行了改进，直接模拟人眼视觉特性，首先检测出目标然后再使用均值漂移进行跟踪，不需要手动选择跟踪目标(2)使用改进的视觉注意方法对运动目标进行检测，去除背景因素干扰后，可以检测出移动很慢乃至接近静止的运动目标。(3)将均值漂移方法的核函数固定带宽改为动态变化的带宽，这既保留了传统的均值漂移方法计算量不大，能做到实时跟踪的优点，又能在运动目标大小发生变化时，不丢失目标。(4)当场景出现变化或者剧烈抖动的时候，不会跟丢目标(5 )方法还提供了运动目标的运动信息，为精确定位提供了可能。
【专利附图】
【附图说明】
[0029]图1是本发明基于视觉注意和均值漂移的目标检测与跟踪方法的总流程图。
[0030]图2是本发明基于视觉注意方法的流程图。
[0031]图3是本发明运动目标提取的流程图。
[0032]图4是本发明均值漂移方法的流程图。
[0033]图5是本发明第一次有目标出现的红外及可见光图像。
[0034]图6是本发明由红外及可见光图像得到的相应亮度、颜色、方向的特征显著图像。
[0035]图7是本发明生成的红外及可见光图像的总显著图。
[0036]图8是本发明生成的红外及可见光图像的显著区域。
[0037]图9是本发明去除背景因素干扰后红外及可见光图像的显著区域。
[0038]图10是本发明基于视觉注意的运动目标检测的红外及可见光图像。
[0039]图11是本发明原始红外图像及均值漂移方法的跟踪结果。
[0040]图12是本发明原始可见光图像及均值漂移方法的跟踪结果。
【具体实施方式】
[0041]下面结合附图对本发明作进一步详细描述。
[0042]本发明的基于视觉注意和均值漂移的目标检测与跟踪方法包括步骤(1)到步骤
(17)，如图1所示。其中，改进的视觉注意方法包括步骤(4)到步骤(9)，如图2所示；目标提取方法包括步骤(11)，如图3所示；改进的均值漂移方法包括步骤(12)到步骤(17)，如图4所示。
[0043]步骤(1)、利用摄像头采集场景图像；
[0044]步骤(2)、判断当前帧是否为第一帧图像；如果是则执行步骤(4)，否则执行步骤
(3)；
[0045]步骤(3)、判断上一帧是否有跟踪窗口返回；如果有则执行步骤(14)，否则执行步骤⑷;
[0046]步骤(4)、将步骤(1)采集到的图像进行高斯金字塔分解，产生8个不同分辨率的子图像；
[0047]第一、根据高斯模板的如下性质:
[0048](a)可分离性:w(m, n) = w(m)w(n)
[0049](b)对称性:w(m) = w(-m)
[0050]( C )归一化性:
【权利要求】
1.一种基于视觉注意和均值漂移的目标检测与跟踪方法，其特征在于步骤如下: (1)利用摄像头采集场景图像； (2)判断当前图像是否为第一帧图像；如果是则执行步骤(4)，否则执行步骤(3)； (3)判断上一帧图像是否有跟踪窗口返回；如果有则执行步骤(14)，否则执行步骤 (4)；.(4)将步骤(1)采集到的图像进行高斯金字塔分解，产生8个不同分辨率的子图像； (5)分别提取原图像及8层子图像的颜色、亮度、方向等特征图像； (6)使用中央周边差算子和非线性归一化操作处理各特征图像； (7)将步骤(6)处理后的各特征图线性组合生成各特征显著图，再生成总显著图； (8)经胜者全赢和禁止返回机制得到显著区域； (9)二值化显著区域； (10)判断是否存在目标；如果存在则执行步骤(11)，否则执行步骤(1); (11)提取运动目标； (12)将提取的运动目标作为跟踪目标并建立跟踪窗口； (13)计算核函数跟踪窗口的灰度值概率分布并返回跟踪窗口作为下一帧图像的搜索窗口 ；返回步骤(1)； (14)计算搜索窗口的灰度值概率分布； (15)计算搜索窗口的质心，并移动搜索窗口到质心，判断迭代次数是否达到20次；如果是则停止计算，返回步骤(1 )，并置下一帧图像为第一帧图像，否则执行步骤(16); (16)判断移动距离是否大于预先设置的固定阈值，如果是则返回步骤(14)，否则执行步骤(17)； (17)将步骤(16)所得到的的最佳匹配区域作为下一帧的跟踪目标区域，并将其对应的权值矩阵作为下一帧跟踪目标的权值矩阵，返回步骤(1)。
2.根据权利要求1所述的基于视觉注意和均值漂移的目标检测与跟踪方法，其特征在于，步骤(4)所述的高斯金字塔分解的步骤为: .4.1根据高斯模板的如下性质:
.1)可分离性:w (m, n) = w (m) w (n) .2)对称性:w (m) =w (-m) .3)归一化性:
3.根据权利要求1所述的基于视觉注意和均值漂移的目标检测与跟踪方法，其特征在于，步骤(5)所述的提取亮度、颜色、方向特征图像的方法为: 売度特征提取: 设r(S)，g(S)，b(S)，分别表示图像的红色、绿色和蓝色通道，其中5表示金字塔的层数，取值范围是[0，1，…，8]，则金字塔结构中每一层图像的亮度特征I(S)为: 1(6) = (r(6)+g(6)+b(6))/3 (2) 颜色特征提取: 使用1(3)对1"(6)，8(6)，13(6)进行归一化，且只对亮度大于整副图像最大亮度值的十分之一的区域进行归一化，其它区域的r，g，b值设为O，得到广义上的红、绿、蓝和黄四个通道: R(S) =r(6)-(g(6)+b(6))/2 (3) G(6) = g(6)-(r(6)+b(6))/2 (4) B(S) =b(6)-(r(6)+g(6))/2 (5) Y(S) = (r(6)+g(6))-2*(|r(6)-g(6) |+b(6)) (6) 对灰度图像(r(S)=g(S)=b(S))，红-绿和蓝-黄通道分别为: RG(S) = R(S)-G(S) I (7) BY(S) = B(S)-Y(S) I (8) 方向特征提取: 二维Gabor滤波器的数学表达式如下:
4.根据权利要求1所述的基于视觉注意和均值漂移的目标检测与跟踪方法，其特征在于，步骤(6)所述的中央周边差算子和非线性归一化操作的方法为:.6.1:取金字塔结构中的第2、3、4层为中央层，每一个中央层对应的周边层为中央层的层数加3和4，即当中央层取第2层时，对应的周边层为第5层和第6层，以此类推；然后对像素较少的周边层进行插值，将像素放大至与对应的中央层像素一样，最后进行对应像素的相减操作； 根据中央周边层的相减操作原理，设c表示金字塔结构的中央层，取值范围为{2，3，4} ;c+s表示金字塔结构的周边层，s的取值范围为{3，4} ；0表示中央层与对应的周边层进行层间相减操作，各特征图计算方法如下:
设 Mint [c’ (c+s)] 表示亮度特征图，则
5.根据权利要求1所述的基于视觉注意和均值漂移的目标检测与跟踪方法，其特征在于，步骤(7)所述的生成各特征显著图及总显著图的步骤为: .7.1:经过非线性归一化操作的特征图 N(Mint(c，c+s)), N(Meg(c, c+s)), N(Mby(c, c+s))和N(MOTi(c，c+s，e))，通过层间相加操作和非线性归一化形成三个特征显著图:亮度显著图Cint，颜色显著图Cral和方向显著图COTi ;层间相加操作(?操作)的过程如下: 首先通过插值将特征图的像素调整至与金字塔结构第4层图像像素一致，然后将各个特征对应的特征图进行对应像素的相加，最后用N( ?)算子对各个特征显著图进行非线性归一化； 计算亮度显著图的公式为:
6.根据权利要求1所述的基于视觉注意和均值漂移的目标检测与跟踪方法，其特征在于，步骤(8)所述的胜者全赢和禁止返回机制为: 8.1:对于总的显著图中的每一点W，根据熵的最大化方法获得一个最优的尺寸如公式(23)所示，
7.根据权利要求1所述的基于视觉注意和均值漂移的目标检测与跟踪方法，其特征在于，步骤(11)所述的提取运动目标的步骤为: 第一、寻找出目标的边界，并丢弃小目标； 第二、将边界转换成团块； 第三、在原始图像中找到匹配区域。
8.根据权利要求1所述的基于视觉注意和均值漂移的目标检测与跟踪方法，其特征在于，步骤(13)所述的计算核函数跟踪窗口的灰度值概率分布的方法为: 首先需要在起始帧内为选中的跟踪目标建立概率模型，即计算核函数窗口中的直方图分布:设初始内核窗口的带宽h，X1, X2,…，xn为内核窗口所包含采样点，Xtl为目标中心，则目标的直方图分布为:
9.根据权利要求1所述的基于视觉注意和均值漂移的目标检测与跟踪方法，其特征在于，步骤(14)所述的计算搜索窗口的灰度值概率分布的方法为: 位于搜索窗口中心y的候选目标描述为
10.根据权利要求1所述的基于视觉注意和均值漂移的目标检测与跟踪方法，其特征在于，步骤(15)所述的计算搜索窗口的质心的步骤为: 计算候选目标的质心位置兑的公式为:
11.根据权利要求1所述的基于视觉注意和均值漂移的目标检测与跟踪方法，其特征在于，所述步骤(16)中，移动距离即丸与丸的差值，预设的固定阈值为10。
【文档编号】G06K9/00GK103745203SQ201410017122
【公开日】2014年4月23日 申请日期:2014年1月15日 优先权日:2014年1月15日
【发明者】刘磊, 夏琪, 周亚运, 孔祥宇, 岳超, 李贺 申请人:南京理工大学