基于核相关滤波的红外目标实时跟踪方法及装置与流程
本发明实施例涉及计算机视觉技术领域，更具体地，涉及一种基于核相关滤波的红外目标实时跟踪方法及装置。
背景技术：
运动目标跟踪作为一门跨学科的前沿技术，融合了图像处理、模式识别、人工智能、自动控制等多种不同领域的理论知识。随着视觉理论和算法研究的发展，以及计算机硬件性能的不断提高，如今已成为最活跃的研究课题之一。目标跟踪系统一般是基于对图像序列的处理，对目标的运动规律加以预测，实现对目标的连续、准确的跟踪。其中特征提取和目标跟踪算法是目标跟踪系统的关键。
红外目标的跟踪是计算机视觉领域中的一个重要问题，其主要目的是对红外图像序列中的运动目标的运动参数进行检测、提取、识别和追踪，获取红外运动目标的运动参数，如位置、速度、加速度及运动轨迹等，从而进行进一步的处理和分析，实现对运动目标的行为理解，以完成更高一级的任务。红外目标的跟踪在目标识别与跟踪、红外成像制导等军事和视频监控领域中应用十分广泛。
目前，在红外目标实时跟踪领域，应用最多的方法是模板匹配方法和均值漂移(meanshift)算法。这两种方法计算简单，消耗计算资源少，跟踪速度较快，能够满足实时性需求；但是算法的适应性差，在目标发生形变、遇到遮挡、外部光照变化的情况下无法正常工作。2010年，学者们提出了一种方差最小平方和滤波器，首次将相关滤波方法引入到目标跟踪领域，该滤波器结构简单，以二维高斯图形作为理想输出，通过在频域内对模板和候选样本进行相关计算，选择相关峰最接近理想输出的样本作为目标。该方法在频域内对矩阵计算加速，让算法具备了良好的实时性，作者也在论文中提出相关滤波的方法比朴素的模板匹配算法更鲁棒、具有更高的识别力。
但是，利用上述算法在对红外目标进行跟踪时，当被跟踪目标存在被遮挡的情况时，容易发生目标跟踪失败。
技术实现要素：
本发明实施例提供了一种克服上述问题或者至少部分地解决上述问题的基于核相关滤波的红外目标实时跟踪方法及装置。
一方面本发明实施例提供了一种基于核相关滤波的红外目标实时跟踪方法，所述方法包括：
s1，基于上一帧的粒子状态，利用粒子滤波算法得到目标在当前帧中的预测位置，其中，所述上一帧的粒子状态包括粒子在上一帧中的位置和运动状态；
s2，若判断获知所述目标被遮挡，则以所述预测位置为采样中心，利用核相关滤波算法得到所述目标在当前帧中的跟踪位置。
其中，在步骤s1之前还包括：
在红外图像序列的第一帧中提取所述目标的灰度特征作为粒子滤波算法目标模型，分别提取所述目标的灰度特征和方向梯度直方图hog特征作为所述核相关滤波算法的目标模型。
其中，步骤s2还包括：
若判断获知所述目标未被遮挡，且所述预测位置的置信度大于预设阈值，则以所述预测位置为采样中心，利用核相关滤波算法得到所述目标在当前帧中的跟踪位置。
其中，步骤s2还包括：
若判断获知所述目标未被遮挡，且所述预测位置的置信度小于或等于预设阈值，则以所述目标在上一帧中的位置为采样中心，利用核相关滤波算法得到所述目标在当前帧中的跟踪位置。
其中，所述预测位置的置信度通过以下公式计算得到：
其中，θt是t时刻的置信度，
其中，步骤s1具体包括：
基于所述上一帧的粒子状态，利用一阶状态转移方程得到所述当前帧的粒子状态；
基于所述当前帧的粒子状态，得到所述当前帧中的粒子状态的加权平均和；
根据所述当前帧的粒子状态的加权平均和，得到所述目标在当前帧中的所述预测位置。
其中，在步骤s2中，所述得到所述目标在当前帧中的跟踪位置具体包括：
以所述预测位置为采样中心，提取所述目标的hog特征和灰度特征；
对所述灰度特征进行归一化处理，并将经归一化处理后的所述灰度特征作为一个维度组合到hog特征中，得到组合特征；
基于所述组合特征，利用核相关滤波算法得到所述目标在当前帧中的跟踪位置。
其中，在步骤s2中，所述得到所述目标在当前帧中的跟踪位置具体包括：
以所述目标在上一帧中的位置为采样中心，提取所述目标的hog特征和灰度特征；
对所述灰度特征进行归一化处理，并将经归一化处理后的所述灰度特征作为一个维度组合到hog特征中，得到组合特征；
基于所述组合特征，利用核相关滤波算法得到所述目标在当前帧中的跟踪位置。
另一方面本发明实施例提供了一种基于核相关滤波的红外目标实时跟踪装置，所述装置包括：
粒子滤波模块，用于基于上一帧的粒子状态，利用粒子滤波算法得到目标在当前帧中的预测位置，其中，所述上一帧的粒子状态包括粒子在上一帧中的位置和运动状态；
核相关滤波模块，用于在判断获知所述目标被遮挡时，以所述预测位置为采样中心，利用核相关滤波算法得到所述目标在当前帧中的跟踪位置。
其中，所述装置还包括：
初始化模块，用于在红外图像序列的第一帧中提取所述目标的灰度特征作为粒子滤波算法目标模型，分别提取所述目标的灰度特征和方向梯度直方图hog特征作为所述核相关滤波算法的目标模型。
本发明实施例提供的一种基于核相关滤波的红外目标实时跟踪方法及装置，通过在目标被遮挡时，采用粒子滤波算法对目标在当前帧的位置进行预测得到预测位置，并将预测位置作为采样中心，利用核相关滤波算法进一步得到目标的在当前帧的精确位置，以实现在目标被遮挡时对目标的跟踪，避免了跟踪失败。
附图说明
图1为本发明实施例提供的一种基于核相关滤波的红外目标实时跟踪方法的流程图；
图2为本发明实施例提供的一种基于核相关滤波的红外目标实时跟踪方法的具体流程图；
图3为本发明实施例中粒子滤波算法的流程图；
图4为本发明实施例提供的一种基于核相关滤波的红外目标实时跟踪装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种基于核相关滤波的红外目标实时跟踪方法的流程图，如图1所示，所述方法包括：s1，基于上一帧的粒子状态，利用粒子滤波算法得到目标在当前帧中的预测位置，其中，所述上一帧的粒子状态包括粒子在上一帧中的位置和运动状态；s2，若判断获知所述目标被遮挡，则以所述预测位置为采样中心，利用核相关滤波算法得到所述目标在当前帧中的跟踪位置。
其中，粒子滤波(particlefilter，pf)算法来源于蒙特卡洛方法(montecarlomethod)，它是利用粒子集来表示概率，可以用在任何形式的状态空间模型上。其核心思想是通过从后验概率中抽取的随机状态粒子来表示其分布情况，是一种顺序重要性采样法(sequentialimportancesampling)。
其中，如图2所示，在目标跟踪过程中需要判断目标是否被遮挡，通过核相关滤波时计算图像和模板的相关峰判断目标是否被遮挡，其中，若相关峰的峰值小于阈值则判定目标发生遮挡，此处的阈值优选为0.2。
具体地，为了解决核相关滤波算法在遮挡、相似目标重叠以及镜头快速移动情况下跟踪性能减弱的问题，首先利用粒子滤波算法对目标在当前帧中的位置进行粗略估计得到预测位置，再将估计的结果作为核相关滤波算法的参考点，然后以该点为中心利用核相关滤波算法计算目标的精确位置，所述跟踪位置即为当目标被遮挡时，通过本发明实施例提供的方法得到的目标的精确位置。
由于粒子滤波算法是根据粒子在上一帧中的位置和运动状态对当前帧中的目标位置进行的预测，因此即使在目标被遮挡而无法提供有效的跟踪线索的情况下，也能对目标位置进行预测而避免跟踪失败。同时，在相似目标重叠以及镜头快速移动情况下，同样由于引入粒子运动状态这一因素对目标位置进行预测而避免跟踪失败。
进一步地，在通过核相关滤波算法得到目标在当前帧中的精确位置后，将目标的精确位置反馈至所述粒子滤波器中对其中的粒子权重进行修正。
本发明实施例提供的一种基于核相关滤波的红外目标实时跟踪方法，通过在目标被遮挡时，采用粒子滤波算法对目标在当前帧的位置进行预测得到预测位置，并将预测位置作为采样中心，利用核相关滤波算法进一步得到目标的在当前帧的精确位置，以实现在目标被遮挡时对目标的跟踪，避免了跟踪失败。
基于上述实施例，在步骤s1之前还包括：
在红外图像序列的第一帧中提取所述目标的灰度特征作为粒子滤波算法目标模型，分别提取所述目标的灰度特征和方向梯度直方图hog特征作为所述核相关滤波算法的目标模型。
具体地，在红外图像序列的第一帧确定初始目标位置和尺度，提取所述目标的灰度特征作为粒子滤波算法的目标模型，分别提取所述目标的灰度特征和方向梯度直方图hog特征作为所述核相关滤波算法的目标模型。
基于上述实施例，步骤s2还包括：
若判断获知所述目标未被遮挡，且所述预测位置的置信度大于预设阈值，则以所述预测位置为采样中心，利用核相关滤波算法得到所述目标在当前帧中的跟踪位置。
具体地，再次参考图2，当目标未被遮挡时，可以采用所述预测未知作为后续核相关滤波的采样中心，也可以采用所述目标在所述上一帧中的位置作为后续核相关滤波的采样中心。但所述预测位置的准确性由粒子滤波算法决定，这里利用置信度来衡量预测位置的准确程度，并设置置信度的预设阈值。所述预测位置的置信度大于预设阈值，则以所述预测位置为采样中心，利用核相关滤波算法得到所述目标在当前帧中的跟踪位置。所述跟踪位置即为在此情形下所述目标的精确位置。
基于上述实施例，步骤s2还包括：
若判断获知所述目标未被遮挡，且所述预测位置的置信度小于或等于预设阈值，则以所述目标在上一帧中的位置为采样中心，利用核相关滤波算法得到所述目标在当前帧中的跟踪位置。
具体地，再次参考图2，当目标未被遮挡时，可以采用所述预测未知作为后续核相关滤波的采样中心，也可以采用所述目标在所述上一帧中的位置作为后续核相关滤波的采样中心。但所述预测位置的准确性由粒子滤波算法决定，这里利用置信度来衡量预测位置的准确程度，并设置置信度的预设阈值。所述预测位置的置信度小于或等于预设阈值，则以所述目标在所述上一帧中的位置为采样中心，利用核相关滤波算法得到所述目标在当前帧中的跟踪位置。所述跟踪位置即为在此情形下所述目标的精确位置。
基于上述实施例，所述预测位置的置信度通过以下公式计算得到：
其中，θt是t时刻的置信度，
具体地，利用粒子滤波算法初步估计图中目标位置，为了保证实时性，粒子数量可优选为50个，输出的目标估计位置为(xe,ye)。由于粒子滤波中的图像特征较弱，经过粒子滤波估计得到的目标位置并不精确。在计算得到预测位置之后，计算该位置为中心选取的图像块和粒子滤波中使用的目标模板的相似度作为预测的置信度。
假如θt＞0.8，则认为预测是可信的，否则认为预测位置不可信。粒子滤波器输出的位置为(xe,ye)，上一帧目标位置为(xt-1,yt-1)，最后得到的预测位置为(xf,yf)：
基于上述实施例，骤s1具体包括：
基于所述上一帧的粒子状态，利用一阶状态转移方程得到所述当前帧的粒子状态；
基于所述当前帧的粒子状态，得到所述当前帧中的粒子状态的加权平均和；
根据所述当前帧的粒子状态的加权平均和，得到所述目标在当前帧中的所述预测位置。
具体地，如图3所示，步骤s1具体包括：
(1)粒子重采样
为了减轻粒子严重退化的现象，每一次计算粒子权重之前，都需要对粒子进行重采样，保证粒子的多样性。
(2)计算粒子状态
利用一阶方程作为粒子的状态转移方程：
st＝as′t-1+bgt-1
其中st是求得的当前粒子状态，s't-1是上一帧的粒子状态，a、b是常数矩阵，gt-1是一个服从高斯分布的噪声扰动。
(3)观测粒子
根据上式的状态转移方程得到新的粒子集合st，对st中的每一个粒子观测灰度分布直方图。对于粒子
由于bhattacharyya相似度计算结果比较接近，为了让权重具有更好的区分度，采用了指数形式，其中σ是一个常量。
(4)估计结果
根据上式计算得到的权重，计算st中所有粒子状态的加权平均和
输出的状态e(st)＝{xe,ye,vxe,vye}，(xe,ye)是目标位置的预测，vxe,vye是目标运动速度的预测。
基于上述实施例，在步骤2中，所述得到所述目标在当前帧中的跟踪位置具体包括：
以所述预测位置为采样中心，提取所述目标的hog特征和灰度特征；
对所述灰度特征进行归一化处理，并将经归一化处理后的所述灰度特征作为一个维度组合到hog特征中，得到最后的组合特征；
基于所述组合特征，利用核相关滤波算法得到所述目标在当前帧中的跟踪位置。
其中，当所述目标被遮挡时，或者当所述目标未被遮挡，且所述预测位置的置信度大于预设阈值时，都通过以上步骤得到所述目标在当前帧中的跟踪位置。
基于上述实施例，在步骤2中，得到所述目标在当前帧中的跟踪位置具体包括：
以所述目标在上一帧中的位置为采样中心，提取所述目标hog特征和灰度特征；
对所述灰度特征进行归一化处理，并将经归一化处理后的所述灰度特征作为一个维度组合到hog特征中，得到最后的组合特征；
基于所述组合特征，利用核相关滤波算法得到所述目标在当前帧中的跟踪位置。
具体地，基于组合特征的核相关算法步骤分为以下子步骤：
(1)以预测位置(xf,yf)为中心，对目标提取hog特征；
(2)目标提取灰度特征，并对灰度特征归一化。
(3)将灰度特征作为一个维度组合到hog特征中，得到最后的组合特征。基于该特征利用核相关算法精确定位目标。
图4为本发明实施例提供的一种基于核相关滤波的红外目标实时跟踪装置的结构框图，如图4所示，所述装置包括粒子滤波模块1和核相关滤波模块2。其中：
粒子滤波模块1用于基于上一帧的粒子状态，利用粒子滤波算法得到目标在当前帧中的预测位置，其中，所述上一帧的粒子状态包括粒子在上一帧中的位置和运动状态。核相关滤波模块2用于在判断获知所述目标被遮挡时，以所述预测位置为采样中心，利用核相关滤波算法得到所述目标在当前帧中的跟踪位置。
其中，在目标跟踪过程中需要判断目标是否被遮挡，通过核相关滤波时计算图像和模板的相关峰判断目标是否被遮挡，其中，若相关峰的峰值小于阈值则判定目标发生遮挡，此处的阈值优选为0.2。
具体地，为了解决核相关滤波算法在遮挡、相似目标重叠等情况下跟踪性能减弱的问题，首先利用粒子滤波算法对目标在当前帧中的位置进行粗略估计得到预测位置，再将估计的结果作为核相关滤波算法的参考点，然后以该点为中心利用核相关滤波算法计算目标的精确位置，所述跟踪位置即为当目标被遮挡时，通过本发明实施例提供的方法得到的目标的精确位置。
本发明实施例提供的一种基于核相关滤波的红外目标实时跟踪装置，通过在目标被遮挡时，采用粒子滤波算法对目标在当前帧的位置进行预测得到预测位置，并将预测位置作为采样中心，利用核相关滤波算法进一步得到目标的在当前帧的精确位置，以实现在目标被遮挡时对目标的跟踪，避免了跟踪失败。
基于上述实施例，所述装置还包括：
初始化模块，用于在红外图像序列的第一帧中提取所述目标的灰度特征作为粒子滤波算法目标模型，分别提取所述目标的灰度特征和方向梯度直方图hog特征作为所述核相关滤波算法的目标模型。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
- 还没有人留言评论。精彩留言会获得点赞！