一种基于近似主成分分析的红外目标跟踪方法与流程

本发明涉及目标跟踪技术领域，特别是一种基于近似主成分分析的红外目标跟踪方法。

背景技术：

在交通监控、目标检测、视频监控和活动控制等领域，目标跟踪一直是一个非常重要的组成部分。与近几十年来深入研究的可见光波段目标跟踪相比，红外目标跟踪是一种更适合在无光环境下工作的有效方法。此外，红外系统在各种环境下，无论是在黑暗或光线充足条件下，都具有更强的鲁棒性，因此红外目标跟踪在军事和民用领域的应用越来越广泛。虽然红外系统可以连续工作，但由于成像原理和技术瓶颈，红外成像设备获取的图像信息不如可见光设备获取的信息充分，例如红外图像缺乏颜色和纹理信息，同时，红外图像中存在噪声和遮挡杂波。因此，图像细节的丢失和低信噪比限制了红外目标跟踪技术的发展，此外，局部遮挡或完全遮挡也是跟踪过程中的技术问题。

现有目标跟踪方法分为生成法和判别法两类：生成法首先提取目标的特征并学习特征模型，通过匹配整个图像，找到最相似区域的目标；判别方法同时考虑背景和目标，通过比较两部分的差异提取目标模型，从而预测当前帧的位置。

凌建国等人研究了一种将粒子滤波框架应用于红外目标跟踪问题的压缩算法(1.凌建国,刘尔琦,梁海燕,等.基于正则化观测矢量的h无穷粒子滤波红外目标跟踪方法[j].红外与激光工程,2007,36(4):534-538.)。但由于目前观测信息的缺乏，在复杂场景下，跟踪性能较差。针对目标跟踪中存在的严重遮挡、旋转，光照变化等问题，李勇等人提出了一种深度学习跟踪器(deeplearningtracker,dlt)，(2.李勇,杨德东,韩亚君,等.融合扰动感知模型的孪生神经网络目标跟踪[j].光学学报,2020,40(4):0415002.)，将离线预训练和在线微调的方法应用到神经网络训练中，很大程度上解决了样本不足的问题。但是由于深度学习机理的不明确，无法得到足够的信息，应用到实际问题中仍存在很多困难。

技术实现要素：

本发明的目的在于提供一种精度高、鲁棒性好的基于近似主成分分析的红外目标跟踪方法。

实现本发明目的的技术解决方案为：一种基于近似主成分分析的红外目标跟踪方法，包括以下步骤：

步骤1、获取图像序列，读取首帧图像，选定跟踪的目标；

步骤2、对步骤1选定的跟踪目标进行初始化模板矩阵，初始化目标状态向量；

步骤3、选取粒子数n，对所有粒子分别建立待选目标表观模型，计算出目标矩阵，然后根据重构误差矩阵确定本帧跟踪结果；

步骤4、对于步骤3中跟踪结果的目标矩阵，通过重构误差矩阵确定权重，更新模板矩阵中的元素；

步骤5、根据似然概率重新采样，对本帧图像进行状态转移概率高斯分布建模，得到下一帧图像n个对应的候选目标；

步骤6、返回步骤3，直到图像序列结束。

进一步地，步骤3中目标矩阵的计算过程包括以下步骤：

步骤3.1、将观测矩阵分解为稀疏遮挡矩阵和低秩目标矩阵，目标外观模型表示为：

m＝l+s

其中，m是图像矩阵，l是具有低秩性的目标矩阵，s是具有稀疏性的遮挡矩阵；

为了重建目标观测矩阵，利用函数计算最小重建误差矩阵ε，其中表示矩阵的正则化frobenius范数的平方，对目标矩阵l应用如下约束：

rank(l)≤ω

其中，rank()表示矩阵的秩，ω为常数；

由于核范数能够代替矩阵秩计算，目标表观模型表示如下：

其中，λ为权重因子；||||*表示矩阵的核范数；

遮挡矩阵是稀疏的，将迫近p范数合并到模型中，最终得到如下公式：

其中，表示表观模型的拉格朗日函数，μ表示尺度因子；gμλ,p表示矩阵在μ，λ，p值固定下的p范数；y为拉格朗日乘数，σ(l)表示l的奇异值矩阵；

步骤3.2、初始化参数，通过改变权重因子λ的值动态调整目标跟踪的灵敏度，根据鲁棒主成分分析，设置其中j为一帧图像所有像素数，i表示模板数目；

步骤3.3、通过admm方法交替求解目标矩阵t和遮挡矩阵s，并不断更新拉格朗日乘子，具体更新步骤如下：

1)遮挡矩阵s的估计

2)目标矩阵l的估计

3)拉格朗日乘数y和尺度因子μ的更新

μt+1＝ρμt,0＜ρ＜1

步骤3.4、返回步骤3.1直到计算出所有粒子数下的目标矩阵，根据重构误差矩阵ε＝m-l-s，确定本帧跟踪结果。

进一步地，步骤4所述对于步骤3中跟踪结果的目标矩阵，通过重构误差矩阵确定权重，更新模板矩阵中的元素，包括以下步骤：

利用当前帧跟踪结果的重构误差矩阵计算权重ωk，k＝1,2,...,i，i为模板数，并将权重ωk赋给模板矩阵的每一个元素f1:i；

对于每一帧跟踪，采用迭代式策略对模板权重进行更新，ωk在第一帧被统一初始化为ωk＝1/i；

当前帧遮挡矩阵s的第i+1个列向量的元素之和sum(si+1)被用于衡量遮挡程度，若sum(si+1)高于阈值ζ^*·j，ζ^*∈[0,1]，则认为当前帧存在遮挡物，模板矩阵t不能被更新。

进一步地，步骤5所述根据似然概率重新采样，对本帧图像进行状态转移概率高斯分布建模，得到下一帧图像n个对应的候选目标，具体如下：

在跟踪过程中，目标在时刻的状态用与初始时间相关的6维仿射分量xt＝(ht,wt,st,rt,θt,λt)^t表示，其中ht、wt表示在t时刻的空间位置，st,rt,θtλt表示尺度、旋转角度、长宽比、倾角；

假设y1:t-1＝{y1,y2,...,yt-1}是初始时间到当前时间的目标观测，利用如下所示的迭代方程来预测当前目标状态的先验概率分布：

p(xt|y1:t-1)＝∫p(xt|yt-1)p(xt-1|y1:t-1)dxk-1

式中，p(xt|y1:t-1)为目标状态从t-1时刻到t时刻的转移概率，对于无先验信息的红外目标跟踪问题，假设状态变量xt的6个参量是互相独立的，则转移概率p(xt|yt-1)服从高斯分布：

p(xt|x1:t-1)～n(xt-1；σ²)；

其中为对角协方差矩阵，其元素为xt＝(ht,wt,st,rt,θt,λt)^t元素参数对应的仿射分量的方差；

由于观测值在t时刻已知，目标状态xt的后验概率密度由贝叶斯规则给出：

式中，p(xt|y1:t)为测量观测量与实际目标相似度的似然概率；

考虑到分母项p(yt|y1:t-1)为常量，得

p(xt|y1:t)∝p(yt|xt)p(xt|y1:t-1)

当前时刻t的最终目标状态通过求解似然概率的最大值获得，即：

本发明与现有技术相比，其显著优点为：(1)将跟踪问题转化为凸优化问题，能够对复杂场景下红外目标进行鲁棒的跟踪，解决了遮挡问题；(2)使用了粒子滤波框架进行目标跟踪，提高了跟踪精度；(3)设计了模板动态更新策略，很好地解决了目标跟踪外观变化问题。

下面结合说明书附图对本发明作进一步描述。

附图说明

图1为本发明基于近似主成分分析的红外目标跟踪方法的流程图。

图2为本发明三组图像序列的测试结果图，其中(a)为图像序列1的测试结果图，(b)为图像序列2的测试结果图，(c)为图像序列3的测试结果图。

图3为各方法在三组图像序列下的精确度图，其中(a)为图像序列1的精确度图，(b)为图像序列2的精确度图，(c)为图像序列3的精确度图。

图4为各方法在三组图像序列下的成功率图，其中(a)为图像序列1的成功率图，(b)为图像序列2的成功率图，(c)为图像序列3的成功率图。

具体实施方案

常见跟踪难点包括重叠、遮挡和外观变化等，为此本发明提出了一种基于近似主成分分析方法的红外目标跟踪方法。首先，将观测矩阵分解为稀疏遮挡矩阵和低秩目标矩阵，并用迫近p范数的情况下进行约束优化。为了解决这种凸优化问题，本发明采用交替方向乘子法(alternatingdirectionmethodofmultipliers,admm)对变量进行交替估计求解。最后，利用粒子滤波和模型更新策略对目标进行定位。通过对真实红外目标序列的一系列实验，验证了方法的有效性和鲁棒性。

本发明基于近似主成分分析的红外目标跟踪方法，包括以下步骤：

步骤1、获取图像序列，读取首帧图像，选定跟踪的目标；

步骤2、对步骤1选定的跟踪目标进行初始化模板矩阵，初始化目标状态向量；

步骤3、选取粒子数n，对所有粒子分别建立待选目标表观模型，计算出目标矩阵，然后根据重构误差矩阵确定本帧跟踪结果；

步骤4、对于步骤3中跟踪结果的目标矩阵，通过重构误差矩阵确定权重，更新模板矩阵中的元素；

步骤5、根据似然概率重新采样，对本帧图像进行状态转移概率高斯分布建模，得到下一帧图像n个对应的候选目标；

步骤6、返回步骤3，直到图像序列结束。

进一步地，步骤3中目标矩阵的计算过程包括以下步骤：

步骤3.1、将观测矩阵分解为稀疏遮挡矩阵和低秩目标矩阵，目标外观模型表示为：

m＝l+s

其中，m是图像矩阵，l是具有低秩性的目标矩阵，s是具有稀疏性的遮挡矩阵；

为了重建目标观测矩阵，利用函数计算最小重建误差矩阵ε，其中表示矩阵的正则化frobenius范数的平方，对目标矩阵l应用如下约束：

rank(l)≤ω

其中，rank()表示矩阵的秩，ω为常数，这里取10；

由于核范数能够代替矩阵秩计算，目标表观模型表示如下：

其中，λ为权重因子；||||*表示矩阵的核范数；

遮挡矩阵是稀疏的，将迫近p范数合并到模型中，最终得到如下公式：

其中，表示表观模型的拉格朗日函数，μ表示尺度因子；gμλ,p表示矩阵在μ，λ，p值固定下的p范数；y为拉格朗日乘数，σ(l)表示l的奇异值矩阵；

步骤3.2、初始化参数，通过改变权重因子λ的值动态调整目标跟踪的灵敏度，根据鲁棒主成分分析，设置其中j为一帧图像所有像素数，i表示模板数目；

步骤3.3、通过admm方法交替求解目标矩阵t和遮挡矩阵s，并不断更新拉格朗日乘子，具体更新步骤如下：

将上面的方程分解成几个单变量规划问题，一次只改变一个变量，其他变量不变，使得方程不断逼近最优解。

1)遮挡矩阵s的估计；

2)目标矩阵l的估计；

3)拉格朗日乘数y和尺度因子μ的更新；

μt+1＝ρμt,0＜ρ＜1

步骤3.4、返回步骤3.1直到计算出所有粒子数下的目标矩阵，根据重构误差矩阵ε＝m-l-s，确定本帧跟踪结果。

进一步地，步骤4所述对于步骤3中跟踪结果的目标矩阵，通过重构误差矩阵确定权重，更新模板矩阵中的元素，包括以下步骤：

利用当前帧跟踪结果的重构误差矩阵计算权重ωk，k＝1,2,...,i，i为模板数，并将权重ωk赋给模板矩阵的每一个元素f1:i；

对于每一帧跟踪，采用迭代式策略对模板权重进行更新，ωk在第一帧被统一初始化为ωk＝1/i；

当前帧遮挡矩阵s的第i+1个列向量的元素之和sum(si+1)被用于衡量遮挡程度，若sum(si+1)高于阈值ζ^*·j，ζ^*∈[0,1]，则认为当前帧存在遮挡物，模板矩阵t不能被更新。

进一步地，步骤5所述根据似然概率重新采样，对本帧图像进行状态转移概率高斯分布建模，得到下一帧图像n个对应的候选目标，具体如下：

在跟踪过程中，目标在时刻的状态用与初始时间相关的6维仿射分量xt＝(ht,wt,st,rt,θt,λt)^t表示，其中ht、wt表示在t时刻的空间位置，st,rt,θtλt表示尺度、旋转角度、长宽比、倾角；

假设y1:t-1＝{y1,y2,...,yt-1}是初始时间到当前时间的目标观测，利用如下所示的迭代方程来预测当前目标状态的先验概率分布：

p(xt|y1:t-1)＝∫p(xt|yt-1)p(xt-1|y1:t-1)dxk-1

式中，p(xt|y1:t-1)为目标状态从t-1时刻到t时刻的转移概率，对于无先验信息的红外目标跟踪问题，假设状态变量xt的6个参量是互相独立的，则转移概率p(xt|yt-1)服从高斯分布：

p(xt|x1:t-1)～n(xt-1；σ²)；

其中为对角协方差矩阵，其元素为xt＝(ht,wt,st,rt,θt,λt)^t元素参数对应的仿射分量的方差；

由于观测值在t时刻已知，目标状态xt的后验概率密度由贝叶斯规则给出：

式中，p(xt|y1:t)为测量观测量与实际目标相似度的似然概率；

考虑到分母项p(yt|y1:t-1)为常量，得

p(xt|y1:t)∝p(yt|xt)p(xt|y1:t-1)

当前时刻t的最终目标状态通过求解似然概率的最大值获得，即：

下面结合附图及具体实施例对本发明做进一步说明。

实施例

结合图1，本发明提出了一种基于近似主成分分析方法的红外目标跟踪方法。具体包括以下步骤。

步骤1：获取图像序列，读取首帧图像，选定跟踪的目标；

步骤2：初始化模板矩阵目标状态向量x1，其中fi是第i个模板图像矩阵列向量化形成的向量；

步骤3：选取粒子数n，分别建立待选目标表观模型，确定目标；

所述步骤3包括以下步骤：

步骤3.1：收集候选模板mk∈rj×1,形成观测矩阵是模板图像矩阵列向量化后的向量。

将观测矩阵分解为稀疏遮挡矩阵和低秩目标矩阵。然后，本发明方法的目标外观模型可以表示为m＝l+s,l是具有低秩性的目标矩阵，s具有稀疏性的遮挡矩阵。

为了重建目标观测矩阵，利用函数计算最小重建误差矩阵，对于一般的红外图像序列，相邻帧的目标在形状和灰度上相差不大，且具有很强的线性相关性，因此这些向量化的相似图像区域经向量化后可以构成一个低秩矩阵。因此，我们可以对目标矩阵l应用如下约束:rank(l)≤ω,rank(□)表示矩阵的秩，ω表示极小常数。

由于核范数可以代替秩运算，目标表观模型可以表示为其中，λ为权重因子。

在实际的红外目标跟踪过程中，光照、部分遮挡或全部遮挡的变化可能会导致不可预测的误差。根据先验假设信息，遮挡区域只占所选图像块的一小部分，因此遮挡矩阵是稀疏的，可以将邻域p范数合并到模型中。最终

步骤3.2：初始化参数，根据鲁棒主成分分析(rpca)，我们设置

步骤3.3:通过admm方法进行计算。admm方法交替求解其中一个变量，并不断更新拉格朗日乘子。admm方法的具体更新步骤如下

将上面的方程分解成几个单变量规划问题。

1)遮挡矩阵估计。

简化为通过压缩算符给出解析解:st+1＝sp(m-lt+yt；λμk),

2)目标矩阵的估计。

同样简化为公式解析解用svd分解法给出:其中，σ为m-st+1+yt的奇异值矩阵,即m-st+1+yt＝uσv^t

3)拉格朗日乘数和比例因子的更新。

衰减因子在每次迭代中相乘，呈几何衰减。当满足收敛条件时，迭代终止，得到检测结果。

步骤3.4：返回3.1直到计算出所有粒子数下的目标矩阵，利用重构误差矩阵选出目标矩阵。

步骤4：根据似然概率重新采样，对每一帧图像进行状态转移概率高斯分布建模，得到n个对应的候选目标。计算每个候选目标的重构误差矩阵

在跟踪过程中，目标在时刻的状态可以用与初始时间相关的6维仿射分量xt＝(ht,wt,st,rt,θt,λt)^t表示，其中ht、wt表示在t时刻的空间位置，st,rt,θtλt表示尺度、旋转角度、长宽比、倾角。假设y1:t-1＝{y1,y2,...,yt-1}是初始时间到当前时间的目标观测，我们可以利用如下所示的迭代方程来预测当前目标状态的先验概率分布:p(xt|y1:t-1)＝∫p(xt|yt-1)p(xt-1|y1:t-1)dxk-1,式中，p(xt|y1:t-1)为目标状态的转移概率，服从高斯分布:p(xt|x1:t-1)～n(xt-1；σ²)式中，为对角协方差矩阵，其元素为xt＝(ht,wt,st,rt,θt,λt)^t元素参数对应的仿射分量的方差。

由于观测值在时刻已知，故后验概率密度可由贝叶斯规则给出:式中，为测量观测量与实际目标相似度的似然概率。考虑是常数，我们可以得到p(xt|y1:t)∝p(yt|xt)p(xt|y1:t-1)在当前时刻t，通过求解最大似然概率可以得到目标状态

步骤5：目标跟踪过程中，目标外观(如形状、尺度等)以及周围环境(如光照强度等)随时都可能发生改变，导致某些目标模板不再具备代表性。为获取更佳的目标观测量，当运动目标发生显著形变或光照强度发生突变时，必须更新模板矩阵t中的元素。模板更新既不宜太频繁，否则会加剧跟踪误差的累积；又不宜太慢，否则会导致跟踪结果偏离真值。需要指出的是，虽然遮挡物的存在会使得目标外观发生严重改变，但模板矩阵在目标被遮挡的情况下不能更新。

本发明利用当前帧跟踪结果的重构误差矩阵计算权重ωi(i＝1,2,...,n)，并将权重ωi赋给模板矩阵的每一个元素f1:n。具体地，对于每一帧跟踪，采用迭代式策略对模板权重进行更新，即其中ωk在第一帧被统一初始化为ωi＝1/n。此外，当前帧遮挡矩阵s的第n+1个列向量的元素之和sum(sn+1)被用于衡量遮挡程度，若sum(sn+1)高于阈值ζ^*·m(ζ^*∈[0,1])，则认为当前帧存在遮挡物，模板矩阵t不能被更新。

步骤6：返回步骤3，直到图像序列结束。

本发明中通过目标表观建模，一定限度解决目标遮挡背景变化问题；通过模板更新，解决目标尺度变化姿态形变。

本发明方法与fct、cnt、dlt、ivt、meanshift(ms)、odfs、l1apg、pcom、wmil9种传统方法进行比较。选择所有比较方法的参数值作为默认参数，将基于粒子滤波框架的dlt、cnt、ivt和l1apg的粒子数统一设置为500。

表1展示了测试图像序列具体信息，图2(a)～(c)显示了本算法在三组图像序列测试结果。fct、odfs和wmil使用haar类特征来表示目标的局部信息。ms和fct只有在目标外观变化不剧烈、遮挡不太多的情况下才能达到良好的跟踪效果。由于这两种方法只以像素灰度级作为对象外观建模的特征，显然不能处理相对复杂的跟踪场景。pcom可以利用pca子空间来估计目标外观的变化。从图中可以看出，该方法在seq3取得了较好的跟踪效果。如果相邻遮挡像素被误判为主要成分，而目标像素被识别为奇异值，方法将严重漂移。l1apg使用片段模板来表示遮挡和噪声等干扰，因此在测试序列(如seq.1、seq.2、seq.3)中表现稳定。由于片段模板中非零元素的随机分布，基于l1-norm的优化方程可能会收敛到错误的值。dlt和cnt是基于卷积网络的跟踪方法，需要在跟踪之前对数据集进行训练。与其他比较方法相比，这两种方法的跟踪结果总体上更准确。但是，dlt在seq.3上漂移，说明dlt在重叠和外观变化上不稳定。cnt当目标尺寸变化较大时，目标混叠不稳定。目标较小时，该跟踪器性能稳定，可以在所有选择的序列中准确跟踪目标。实验结果表明，与其他传统方法相比，该方法对遮挡、变形、尺度变化和目标重叠具有较强的鲁棒性。

表1本发明测试序列简介

如表2和图3(a)～(c)所示，本发明方法在6个测试序列中总体中心误差最小，比其他方法更有优势。由于seq.1中严重的遮挡，ivt和ms跟踪结果偏离了真值。在seq.2中，所有的方法都表现良好，没有目标丢失。在seq.3中，一些基于haar类特征的跟踪方法在目标重叠后会出现不同程度的偏差。

表2各方法在不同场景下归一化中心误差

如表3和图4(a)～(c)所示，本发明方法在各个测试序列中都取得了很好的成功率，总体上明显优于其他方法。在seq.1中，cnt和dlt在成功率方面表现很差，而在准确性方面表现很好，因为这类方法跟踪的是目标的局部信息，而不是整个目标。由于目标姿态和部分遮挡的改变，odfs和wmil在seq.2上的成功率较低。所有的方法都能在seq.3上跟踪目标，但dlt和ms的成功率较低。

表3为各方法在不同场景下aos值图

本发明方法综合位列10种方法前列。

本发明提出的基于近似主成分分析的红外目标跟踪方法在背景环境发生改变以及出现相似目标和遮挡物的干扰的下都能有效跟踪目标。