一种鲁棒的实时红外成像地面运动目标跟踪方法和系统与流程

本发明属于计算机视觉技术领域，更具体地，涉及一种鲁棒的实时红外成像地面运动目标跟踪方法和系统。

背景技术：

红外成像地面场景运动目标的跟踪在目标识别与跟踪、红外成像制导等军事和视频监控领域中应用十分广泛。

常见的运动目标跟踪算法大致可以分为两类，即“基于目标建模、定位”的跟踪方式和基于“滤波、数据关联”的跟踪方式。“基于目标建模、定位”的跟踪方式在对目标进行跟踪的过程中，对图像中目标的各种假设的位置进行评估，根据某个准测评估出目标的位置。此方法一般用于距离不远、目标非点状目标、图像帧间抖动较大的场合。基于“滤波、数据关联”的跟踪方式常常使用离散状态方程对运动目标的各种位置进行预测，所以描述目标运动状态的转移状态方程的建立对于实现跟踪过程的稳定、精确十分重要。此方法一般用于跟踪距离较远、运动呈现一定规律特性的目标。

在许多现实应用的情况下目标灰度与背景相差较小，目标轮廓较为模糊，目标的大小无法预估，目标有可能是面状目标、点状目标、线条状目标等，由于地面目标的复杂性和目标运动状态的不确定性，目标在运动的过程中可能出现遮挡、尺寸变化、形态变化等情况，采用传统的运动目标跟踪方法在这种情况下容易发生目标失跟的现象。

技术实现要素：

针对现有技术的以上缺陷或改进需求，本发明提供了一种鲁棒的实时红外成像地面运动目标跟踪方法，其目的在于计算当前目标帧模板与匹配模板的灰度直方图的相似度，以相似度的大小判断是否更新匹配模板，缩放当前帧目标模板尺寸，分别计算其和匹配模板灰度直方图的卡方相似度，选取最大卡方相似度更新匹配模板，在根据目标运动状态，采用卡尔曼滤波器预估下一帧红外图像中目标的位置，以此位置为中心，在搜索区域内进行模板匹配，以确定目标的位置，由此解决目标被遮挡、目标尺寸变化或目标先验信息未知造成的跟踪失败问题的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种鲁棒的实时红外成像地面运动目标跟踪方法，该方法包括以下步骤：

(1)匹配模板自适应更新步骤：先计算当前帧目标模板灰度直方图与匹配模板灰度直方图的巴氏距离，如巴氏距离在模板更新范围内，则计算当前帧目标模板和匹配模板灰度直方图卡方相似度，如卡方相似度大于模板更新阈值，则计算当前帧目标模板尺寸缩小、不变和放大之后的灰度直方图与匹配模板灰度直方图的卡方相似度，选取最大卡方相似度为更新参数更新匹配模板；

(2)目标位置估计步骤：根据目标运动状态，采用卡尔曼滤波器预估下一帧红外图像中目标子图的位置，以此位置为搜索区域的中心位置；在搜索区域内移动匹配模板，计算不同区域的匹配模板和目标子图的相似度，相似度最大且大于匹配阈值的匹配模板位置为目标位置，如相似度都小于匹配阈值则以卡尔曼滤波器预估位置为目标位置。

进一步的，所述匹配模板自适应更新步骤包含以下子步骤：

(11)分别计算当前帧目标模板与匹配模板的灰度直方图，将灰度直方图归一化之后计算它们的巴氏距离；

数字图像的直方图是离散函数

h(r_i)＝n_i，

其中r_i是第i级灰度，n_i是图像灰度级为r_i的像素个数，一个归一化直方图由下式给出：

$P\left(r_i\right)=\frac{n_i}{n},$

n为图像中的像素总数，P(r_i)给出了灰度级为r_i发生的概率估计值；

巴氏距离

$\mathrm{\λ}=\sqrt{1-\frac{1}{\sqrt{N^2\stackrel{\‾}{H_1}\stackrel{\‾}{H_2}}}\underset{i}{\Σ}\sqrt{H_1\left(i\right)H_2\left(i\right)}},$

式中

$\stackrel{\‾}{H_k}=\frac{1}{N}\underset{i}{\Σ}{H}_k\left(i\right),0\≤i\≤N,k=1,2,$

其中，i是归一化直方图分段号，N表示归一化直方图中bin的数目，k表示图像的代号，H₁(i)、H₂(i)分别表示当前帧目标模板与匹配模板的归一化灰度直方图对应区间的数值；

(12)判断巴氏距离λ是否在模板更新范围内，即λ₂＜λ＜λ₁是否成立，是则进行步骤(13)，否则不更新匹配模板，根据实际经验，0＜λ₁＜10＜λ₂＜1，优选λ₁＝0.98、λ₂＝0.88；

(13)计算当前帧目标模板与匹配模板的归一化灰度直方图的卡方相似度ρ

$\mathrm{\ρ}=\underset{i}{\Σ}\frac{{\left(H_1\right(i)-H_2(i\left)\right)}^2}{H_1\left(i\right)+H_2\left(i\right)},$

式中其中，i是归一化直方图分段号，H₁(i)、H₂(i)分别表示当前帧目标模板与匹配模板的归一化灰度直方图对应区间的数值；

判断是否卡方相似度是否大于更新模板阈值，即ρ＞λ₃是否成立，根据实际经验0＜λ₃＜1，优选λ₃＝0.46；是则更新匹配模板，否则不更新匹配模板；匹配模板更新方式如下

T_new＝βTcur+(1-β)T_old，

其中，T_new、T_cur、T_old分别表示更新后的匹配模板、当前图像帧目标模板、匹配模板；β为最大直方图相似度

β＝max{ρ_a,ρ,ρ_b}，

其中，ρ_a、ρ和ρ_b分别表示当前帧目标模板尺寸缩小a倍、当前帧目标模板和当前帧目标模板尺寸扩大b倍后的灰度直方图与匹配模板灰度直方图的卡方相似度,根据实际经验0.5＜a＜1、1＜b＜1.5，优选a＝0.9、b＝1.1。

进一步的，所述目标位置估计步骤分为以下子步骤：

(21)根据当前帧目标位置和上一帧跟踪目标位置，采用卡尔曼滤波器预估下一帧红外图像中目标子图的位置；

(22)以卡尔曼滤波器预测的目标子图位置为搜索区域的中心位置，在搜索区域内移动匹配模板，计算目标子图与匹配模板的相似度，判断是否至少存在一个匹配模板使得他们的相似度大于匹配阈值th，根据实际经验0＜th＜1，优选th＝0.88，是则以相似度取得最大值时的匹配模板位置为估计的目标位置，否则以卡尔曼滤波器预测的目标子图位置为估计的目标位置，相似度计算公式：

$NC(i,j)=\frac{\underset{m=0}{\overset{M}{\Σ}}\underset{n=0}{\overset{N}{\Σ}}T(m,n)S^{ij}(m,n)}{\sqrt{\underset{m=0}{\overset{M}{\Σ}}\underset{n=0}{\overset{N}{\Σ}}{T}^2(m,n)}\sqrt{\underset{m=0}{\overset{M}{\Σ}}\underset{n=0}{\overset{N}{\Σ}}{\left(S^{ij}\right(m,n\left)\right)}^2}}\×e^{-\frac{Dis}{{\mathrm{Dis}}_{max}}},$

其中i、j是目标子图左上角在被搜索区域上的坐标，T(m,n)表示匹配模板图像中第m行第n列的像素灰度值，S^ij(m,n)表示目标子图中第m行第n列的像素灰度值

S^ij(m,n)＝S(i+m,j+n)，

Dis表示当前匹配点(i,j)到卡尔曼滤波器预估的目标子图位置的距离

$Dis=|i-\hat{x}|+|y-\hat{y}|,$

式中分别是滤波器预估的目标子图位置的横纵坐标值，Dis_max表示Dis的最大值。

按照本发明的另一方面，提供了一种鲁棒的实时红外成像地面运动目标跟踪系统，该系统包括以下模块：

匹配模板自适应更新模块：先计算当前帧目标模板灰度直方图与匹配模板灰度直方图的巴氏距离，如巴氏距离在模板更新范围内，则计算当前帧目标模板和匹配模板灰度直方图卡方相似度，如卡方相似度大于模板更新阈值，则计算当前帧目标模板尺寸缩小、不变和放大之后的灰度直方图与匹配模板灰度直方图的卡方相似度，选取最大卡方相似度为更新参数更新匹配模板；

目标位置估计模块：根据目标运动状态，采用卡尔曼滤波器预估下一帧红外图像中目标子图的位置，以此位置为搜索区域的中心位置；在搜索区域内移动匹配模板，计算不同区域的匹配模板和目标子图的相似度，相似度最大且大于匹配阈值的匹配模板位置为目标位置，如相似度都小于匹配阈值则以卡尔曼滤波器预估位置为目标位置。

进一步的，所述匹配模板自适应更新模块包含以下子模块：

巴氏距离计算子模块，用于分别计算当前帧目标模板与匹配模板的灰度直方图，将灰度直方图归一化之后计算它们的巴氏距离；

数字图像的直方图是离散函数

h(r_i)＝n_i，

其中r_i是第i级灰度，n_i是图像灰度级为r_i的像素个数，一个归一化直方图由下式给出：

$P\left(r_i\right)=\frac{n_i}{n},$

n为图像中的像素总数，P(r_i)给出了灰度级为r_i发生的概率估计值；

巴氏距离

$\mathrm{\λ}=\sqrt{-\frac{1}{\sqrt{N^2\stackrel{\‾}{H_1}\stackrel{\‾}{H_2}}}\underset{i}{\Σ}\sqrt{H_1\left(i\right)H_2\left(i\right)}},$

式中

$\stackrel{\‾}{H_k}=\frac{1}{N}\underset{i}{\Σ}{H}_k\left(i\right),0\≤i\≤N,k=1,2,$

其中，i是归一化直方图分段号，N表示归一化直方图中bin的数目，k表示图像的代号，H₁(i)、H₂(i)分别表示当前帧目标模板与匹配模板的归一化灰度直方图对应区间的数值；

巴氏距离判断子模块，用于判断巴氏距离λ是否在模板更新范围内，即λ₂＜λ＜λ₁是否成立，是则进行步骤(13)，否则不更新匹配模板，根据实际经验，0＜λ₁＜1，0＜λ₂＜1，优选λ₁＝0.98、λ₂＝0.88；

匹配模板更新子模块，用于计算当前帧目标模板与匹配模板的归一化灰度直方图的卡方相似度ρ

$\mathrm{\ρ}=\underset{i}{\Σ}\frac{{\left(H_1\right(i)-H_2(i\left)\right)}^2}{H_1\left(i\right)+H_2\left(i\right)},$

式中其中，i是归一化直方图分段号，H₁(i)、H₂(i)分别表示当前帧目标模板与匹配模板的归一化灰度直方图对应区间的数值；

判断是否卡方相似度是否大于更新模板阈值，即ρ＞λ₃是否成立，根据实际经验0＜λ₃＜1，优选λ₃＝0.46；是则更新匹配模板，否则不更新匹配模板；匹配模板更新方式如下

T_new＝βTcur+(1-β)T_old，

其中，T_new、T_cur、T_old分别表示更新后的匹配模板、当前图像帧目标模板、匹配模板；β为最大直方图相似度

β＝max{ρ_a,ρ,ρ_b}，

其中，ρ_a、ρ和ρ_b分别表示当前帧目标模板尺寸缩小a倍、当前帧目标模板和当前帧目标模板尺寸扩大b倍后的灰度直方图与匹配模板灰度直方图的卡方相似度,根据实际经验0.5＜a＜1、1＜b＜1.5，优选a＝0.9、b＝1.1。

进一步的，所述目标位置估计模块分为以下子模块：

卡尔曼滤波器预估子模块，用于根据当前帧目标位置和上一帧跟踪目标位置，采用卡尔曼滤波器预估下一帧红外图像中目标子图的位置；

相似度匹配目标位置子模块，用于以卡尔曼滤波器预测的目标子图位置为搜索区域的中心位置，在搜索区域内移动匹配模板，计算目标子图与匹配模板的相似度，判断是否至少存在一个匹配模板使得他们的相似度大于匹配阈值th，根据实际经验0＜th＜1，优选th＝0.88，是则以相似度取得最大值时的匹配模板位置为估计的目标位置，否则以卡尔曼滤波器预测的目标子图位置为估计的目标位置，相似度计算公式：

$NC(i,j)=\frac{\underset{m=0}{\overset{M}{\Σ}}\underset{n=0}{\overset{N}{\Σ}}T(m,n)S^{ij}(m,n)}{\sqrt{\underset{m=0}{\overset{M}{\Σ}}\underset{n=0}{\overset{N}{\Σ}}{T}^2(m,n)}\sqrt{\underset{m=0}{\overset{M}{\Σ}}\underset{n=0}{\overset{N}{\Σ}}\left(S^{ij}(m,n)\right)}}\×e^{-\frac{Dis}{{\mathrm{Dis}}_{max}}},$

其中i、j是目标子图左上角在被搜索区域上的坐标，T(m,n)表示匹配模板图像中第m行第n列的像素灰度值，S^ij(m,n)表示目标子图中第m行第n列的像素灰度值

S^ij(m,n)＝S(i+m,j+n)，

Dis表示当前匹配点(i,j)到卡尔曼滤波器预估的目标子图位置的距离

$Dis=|i-\hat{x}|+|y-\hat{y}|,$

式中分别是滤波器预估的目标子图位置的横纵坐标值，Dis_max表示Dis的最大值。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下技术特征及有益效果：

(1)本发明提出的基于模板匹配与卡尔曼滤波的红外成像地面运动目标跟踪方法能够有效地解决红外图像中地面背景下运动目标跟踪过程中被遮挡而造成的跟踪失败问题；

(2)本发明提出的基于模板匹配与卡尔曼滤波的红外成像地面运动目标跟踪方法能够有效地解决红外图像中地面背景下运动目标跟踪过程中由于目标与成像器相对运动和姿态变化而造成目标尺寸大小变化时的跟踪失败问题

(3)本发明提出的基于模板匹配与卡尔曼滤波的红外成像地面运动目标跟踪方法能够有效地解决红外图像中地面背景下运动目标跟踪过程中由于目标距离、尺寸等先验信息未知造成的跟踪失败问题；

附图说明

图1是本发明的方法流程图；

图2是本发明的匹配模板自适应更新步骤流程图；

图3是本发明的目标位置估计步骤流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1一种鲁棒的实时红外成像地面运动目标跟踪方法的流程图，其中包含以下步骤：

(1)匹配模板自适应更新步骤：先计算当前帧目标模板灰度直方图与匹配模板灰度直方图的巴氏距离，如巴氏距离在模板更新范围内，则计算当前帧目标模板和匹配模板灰度直方图卡方相似度，如卡方相似度大于模板更新阈值，则计算当前帧目标模板尺寸缩小、不变和放大之后的灰度直方图与匹配模板灰度直方图的卡方相似度，选取最大卡方相似度为更新参数更新匹配模板；

(2)目标位置估计步骤：根据目标运动状态，采用卡尔曼滤波器预估下一帧红外图像中目标子图的位置，以此位置为搜索区域的中心位置；在搜索区域内移动匹配模板，计算不同区域的匹配模板和目标子图的相似度，相似度最大且大于匹配阈值的匹配模板位置为目标位置，如相似度都小于匹配阈值则以卡尔曼滤波器预估位置为目标位置。

如图2匹配模板自适应更新步骤包含以下子步骤：

(11)分别计算当前帧目标模板与匹配模板的灰度直方图，将灰度直方图归一化之后计算它们的巴氏距离；

数字图像的直方图是离散函数

h(r_i)＝n_i，

其中r_i是第i级灰度，n_i是图像灰度级为r_i的像素个数，一个归一化直方图由下式给出：

$P\left(r_i\right)=\frac{n_i}{n},$

n为图像中的像素总数，P(r_i)给出了灰度级为r_i发生的概率估计值；

巴氏距离

$\mathrm{\λ}=\sqrt{1-\frac{1}{\sqrt{N^2\stackrel{\‾}{H_1}\stackrel{\‾}{H_2}}}\underset{i}{\Σ}\sqrt{H_1\left(i\right)H_2\left(i\right)}},$

式中

$\stackrel{\‾}{H_k}=\frac{1}{N}\underset{i}{\Σ}{H}_k\left(i\right),0\≤i\≤N,k=1,2,$

其中，i是归一化直方图分段号，N表示归一化直方图中bin的数目，k表示图像的代号，H₁(i)、H₂(i)分别表示当前帧目标模板与匹配模板的归一化灰度直方图对应区间的数值；

(12)判断巴氏距离λ是否在模板更新范围内，即λ₂＜λ＜λ₁是否成立，是则进行步骤(13)，否则不更新匹配模板，根据实际经验0＜λ₁＜1，0＜λ₂＜1，优选λ₁＝0.98、λ₂＝0.88；

(13)计算当前帧目标模板与匹配模板的归一化灰度直方图的卡方相似度ρ

$\mathrm{\ρ}=\underset{i}{\Σ}\frac{{\left(H_1\right(i)-H_2(i\left)\right)}^2}{H_1\left(i\right)+H_2\left(i\right)},$

式中其中，i是归一化直方图分段号，H₁(i)、H₂(i)分别表示当前帧目标模板与匹配模板的归一化灰度直方图对应区间的数值；

判断是否卡方相似度是否大于更新模板阈值，即ρ＞λ₃是否成立，其中λ₃的范围是0＜λ₃＜1，优选λ₃＝0.46；是则更新匹配模板，否则不更新匹配模板；匹配模板更新方式如下

T_new＝βTcur+(1-β)T_old，

其中，T_new、T_cur、T_old分别表示更新后的匹配模板、当前图像帧目标模板、匹配模板；β为最大直方图相似度

β＝max{ρ_a,ρ,ρ_b}，

其中，ρ_a、ρ和ρ_b分别表示当前帧目标模板尺寸缩小a倍、当前帧目标模板和当前帧目标模板尺寸扩大b倍后的灰度直方图与匹配模板灰度直方图的卡方相似度,根据实际经验0.5＜a＜1、1＜b＜1.5，优选a＝0.9、b＝1.1。

如图3目标位置估计步骤分为以下子步骤：

(21)根据当前帧目标位置和上一帧跟踪目标位置，采用卡尔曼滤波器预估下一帧红外图像中目标子图的位置；

(22)以卡尔曼滤波器预测的目标子图位置为搜索区域的中心位置，在搜索区域内移动匹配模板，计算目标子图与匹配模板的相似度，判断是否至少存在一个匹配模板使得他们的相似度大于匹配阈值th，根据实际经验0＜th＜1，优选th＝0.88；是则以相似度取得最大值时的匹配模板位置为估计的目标位置，否则以卡尔曼滤波器预测的目标子图位置为估计的目标位置，相似度计算公式：

$NC(i,j)=\frac{\underset{m=0}{\overset{M}{\Σ}}\underset{n=0}{\overset{N}{\Σ}}T(m,n)S^{ij}(m,n)}{\sqrt{\underset{m=0}{\overset{M}{\Σ}}\underset{n=0}{\overset{N}{\Σ}}{T}^2(m,n)}\sqrt{\underset{m=0}{\overset{M}{\Σ}}\underset{n=0}{\overset{N}{\Σ}}{\left(S^{ij}\right(m,n\left)\right)}^2}}\×e^{-\frac{Dis}{{\mathrm{Dis}}_{max}}},$

其中i、j是目标子图左上角在被搜索区域上的坐标，T(m,n)表示匹配模板图像中第m行第n列的像素灰度值，S^ij(m,n)表示目标子图中第m行第n列的像素灰度值

S^ij(m,n)＝S(i+m,j+n)，

Dis表示当前匹配点(i,j)到卡尔曼滤波器预估的目标子图位置的距离

$Dis=|i-\hat{x}|+|y-\hat{y}|,$

式中分别是滤波器预估的目标子图位置的横纵坐标值，Dis_max表示Dis的最大值。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。