一种结合空间置信图和轨迹估计的卫星视频小目标实时跟踪方法与流程

本发明涉及卫星视频跟踪技术领域，尤其是涉及一种结合空间置信图和轨迹估计的卫星视频小目标实时跟踪方法。

背景技术：

视频卫星是近几年出现的新型对地观测卫星，与传统卫星相比能够持续不间断地对某一地区进行观测，产生高时间高空间分辨率的动态视频信息。目前，nasa国际空间站已经发布了1m分辨率的卫星视频，中国发射的吉林一号商业卫星可以拍摄0.72m分辨率的卫星视频。与地面视频相比，卫星视频中运动目标具有不易遮挡，可见范围广等特点，使得高分辨率卫星视频分析在运动分析、交通监控、可疑目标监管等方面具有重大潜力。因此利用卫星视频数据进行运动目标跟踪具备很强的理论指导和现实应用意义。

目前视频目标跟踪的方法主要分为生成类和判别类。生成类方法把目标追踪问题转化为搜索问题，运用生成模型描述目标的表现特征，然后通过搜索候选目标来最小化重构误差。该类方法由于忽略背景信息，在目标自身变化剧烈或者被遮挡时容易产生漂移。判别类方法以目标区域为正样本，背景区域为负样本，用机器学习的方法训练分类器，下一帧用训练好的分类器找最优区域。与生成类方法最大的不同是训练时利用了背景信息，分类器可更好的区分前景和背景，所以效果普遍比生成类好。判别类算法中，目前最受关注和效果最好的是相关滤波类算法和深度学习类算法。相关滤波类算法以kcf、dcf、cn为代表，通过利用循环矩阵的性质转换到傅里叶空间进行计算，大大提高了算法效率，可实现快速有效的跟踪。深度学习类算法以goturn、mdnet、siamfc为代表，通过对大量样本的训练，得到目标的深层语义特征，能更好地实现对严重变形、被遮挡目标的跟踪，但由于计算量较大，难以做到实时跟踪。

对于卫星视频来说，一般每帧图像的分辨率可以达到3840*2160或以上，是普通视频每帧图像大小的几十倍甚至一百倍以上。其中的车辆、飞机等动态目标一般占据20*20或者更少的像素。与整个图像相比所占像素太少，同时大部分目标与背景比较相似，目标本身的分辨率较低，这些问题都导致了大部分主流的跟踪算法在卫星视频中不能持续有效地对目标进行跟踪。

技术实现要素：

针对上述问题，本方法提出了一种结合空间置信图和轨迹估计的卫星视频小目标实时跟踪方法。

本发明提供一种结合空间置信图和轨迹估计的卫星视频小目标实时跟踪方法，包括以下步骤：

步骤1，跟踪滤波器的初始化和kalman滤波器的参数初始化，跟踪滤波器初始化包括跟踪搜索区域的特征提取以及高斯响应图、空间置信图和跟踪滤波器的构建；

步骤2，利用跟踪的目标位置，回归kalman滤波器，预测目标新的位置；

步骤3，对下一帧图像提取特征进行傅里叶变换，利用构建的跟踪滤波器，通过图像卷积，求取结果的最大响应值，作为目标新的位置，以新的位置为中心提取特征更新跟踪滤波器；

步骤4，执行循环传入下一帧图像，判断是否满足设定的预测条件，满足条件仅执行步骤2以步骤2的结果作为新的位置，不满足执行步骤2和步骤3，以步骤3的结果作为新的位置。

而且，所述步骤1包括以下子步骤，

步骤1.1，首先确定跟踪搜索区域的模板大小，计算该区域的高斯形态响应图，通过循环偏移将中心最大值变换到左上角最大值，然后将结果进行傅里叶变换，变换后的结果标记为

步骤1.2，计算模板大小的空间置信度，标记为m；

步骤1.3，提取模板大小区域内的影像灰度特征，加hann窗，进行傅里叶变换，标记为

步骤1.4，构建lagrange表达式，求取lagrange表达式得到跟踪滤波器，标记为h；

lagrange表达式为：

hc-hm＝0(式二)

hm＝m⊙h(式三)

其中，字母表示复数的lagrange乘数，表示的共轭矩阵，字母右上角的h表示共轭转置矩阵，变量hm为增加了空间置信度的跟踪滤波器，为hm的傅里叶变换，为变量hc的傅里叶变换，μ为表达式参数，初始值优选设置为和λ为表达式参数，λ＝μ/100.0，在递归求解过程中是根据当前的值调整。；

通过对式一各个变量求偏导数，利用对角矩阵的基本性质得到最终的跟踪滤波器计算公式，

其中，表示的共轭矩阵，表示的共轭矩阵，d表示hm的矩阵维度，表示傅里叶逆变换；

步骤1.5，初始化kalman滤波器的转移矩阵a、测量矩阵h、系统噪声方差矩阵q和测量噪声方差矩阵r，以跟踪目标的初始位置作为初始测量值z(0)和初始的状态值x(0)；

而且，所述步骤2包括以下子步骤，

步骤2.1，根据kalman滤波理论，预测下一帧的位置；

步骤2.2，根据kalman滤波理论，将当前帧的位置作为测量值更新卡尔曼增益，利用得到的卡尔曼增益，计算新的状态值和预测值。

而且，所述步骤3包括以下子步骤，

步骤3.1，传入上一帧的目标包围框，计算该帧图像模板大小的灰度特征，将特征进行傅里叶变换到频域，对频域的特征和上一帧得到的跟踪滤波器进行图像卷积，反傅里叶变换得到响应图，求取响应图最大值，以最大值位置作为目标新的位置；

步骤3.2，利用该帧的图像信息，以新的位置构建空间置信图，构建新的跟踪滤波器，更新跟踪滤波器；

构建新的跟踪滤波器的过程和步骤1.2、1.3、1.4一致，所得新构建的跟踪滤波器记为hnew；

设hk为当前第k帧的跟踪滤波器，hk-1为上一帧第k帧的跟踪滤波器，融合函数为，

hk＝(1-θ)×hk-1+θ×hnew(式六)

其中，θ为融合系数。

而且，所述步骤4包括以下子步骤，

步骤4.1，执行循环传入下一帧图像，判断已经进行的帧数是否大于5帧，同时当前帧数是否是3的倍数；如果判断都为是则满足条件，进入步骤4.2，否则进入步骤4.3；

步骤4.2，此时满足条件，仅执行kalman滤波器的预测和更新，以预测的位置作为目标新的位置；

步骤4.3，此时不满足条件，先执行跟踪滤波器跟踪，以跟踪到位置作为目标新的位置，再执行kalman滤波器的更新。

与现有技术相比，本发明的有益效果如下：

本方法在充分考虑了卫星视频中目标相对背景所占像素少、无明显形状特征、颜色与背景相似度高等特点，采用跟踪与轨迹估计相结合的策略，训练带有空间置信度的跟踪滤波器，同时回归出可估计轨迹的kalman滤波器，通过设置一定的预测条件结合两种滤波器，既保证了跟踪结果的有效性又具备实时的跟踪速度。本发明体现了通过结合空间置信图和轨迹估计实现卫星视频小目标实时跟踪的可行性和有效性。

附图说明

图1为本发明实施例的系统结构图。

具体实施方式

以下结合附图和实施例详细说明本发明的技术方案。

本方法充分考虑到目标所占像素较少和与背景相似度高等特点，在训练分类器时增加了空间置信图，排除了临近区域相似目标或背景的干扰。同时利用卫星视频中目标尺度几乎不变性，减少分类器多尺度模板的训练，大大提升了跟踪性能。针对目标与背景融为一体无法跟踪的问题，训练了kalman滤波器实现对目标的轨迹估计，保障了对目标持续有效地跟踪。

首先对跟踪滤波器和kalman滤波器进行初始化，主要包括对训练区域的灰度特征提取、以目标包围框中心扩展一定阈值生成理想的高斯形态响应图和空间置信图，通过傅里叶变换，在频域求解目标函数，得到判别式跟踪滤波器。对kalman滤波器的转移矩阵、测量矩阵和各噪声方差矩阵进行初始化，同时以目标初始位置作为测量值。

其次利用跟踪的目标位置持续回归kalman滤波器，同时预测目标新的位置，主要包括根据上一帧目标位置，基于kalman算法预测当前帧的位置，用预测的位置或跟踪滤波器跟踪的位置更新卡尔曼增益。

然后利用第一部分构建的跟踪滤波器对新传入的图像进行跟踪同时更新跟踪滤波器，主要包括根据计算的模板大小对新传入图像提取灰度特征，进行傅里叶变换，在频域与之前构建的跟踪滤波器进行图像卷积，反傅里叶变换后得到响应图，查找响应图中最大值的位置作为目标新的位置。同时利用新提取的特征、新的空间置信图构建新的滤波器与之前滤波器以一定的参数进行融合，实现滤波器的更新。

最后循环执行传入视频图像，判断是否满足设定的预测条件。满足条件仅执行kalman滤波器进行位置预测，根据kalman的更新方程以预测的位置回归滤波器得到新的卡尔曼增益，以预测的位置作为目标新的位置；不满足条件先执行跟踪滤波器对目标进行跟踪，得到目标新的位置同时更新跟踪滤波器，以跟踪的位置回归kalman滤波器更新卡尔曼增益。通过kalman滤波器的位置预测可以实现对目标的轨迹估计解决目标与背景一致时无法跟踪的问题，通过构建具有空间置信度的跟踪滤波器，可以实现对目标的有效跟踪。通过两种滤波器的结合，轨迹估计辅助跟踪，来保障对目标的持续有效跟踪。

实施例提供的一种结合空间置信图和轨迹估计的卫星视频小目标实时跟踪方法，分为四部分，第一部分是构建初始跟踪滤波器和kalman滤波器。第二部分是利用kalman滤波器预测目标新的位置并进行更新。第三部分利用跟踪滤波器对传入的图像跟踪同时更新滤波器。第四部分是循环执行跟踪，判断是否满足预测条件，满足条件执行目标位置预测，不满足条件执行目标跟踪。

实施例的具体实现流程包括步骤如下：

步骤1：跟踪滤波器的初始化和kalman滤波器的参数初始化，跟踪滤波器初始化包括跟踪搜索区域的特征提取，高斯响应图、空间置信图和滤波器的构建；

所述步骤1具体包括以下步骤：

步骤1.1：首先确定跟踪搜索区域的模板，实施例中，输入卫星视频初始帧图像和目标初始包围框(即卫星视频初始帧图像中给定的目标包围框)，模板应包括目标包围框，优选设置模板大小为目标初始包围框的尺寸值的4倍，以目标初始包围框的中心为模板的中心，计算该区域的高斯形态响应图。将得到的响应图进行循环偏移，使之前的中心位置变换到左上角的位置，然后将结果进行傅里叶变换，变换后的结果标记为

其中计算该区域的高斯形态响应图时创建二维高斯形态所用的函数为：

其中，e为指数运算符，w表示模板的宽，b表示模板的高，i为行坐标，j为列坐标，σ是调整高斯形态半径的参数，实施例优选为1.0，yi,j是响应图中行列坐标为(i,j)对应的值。

步骤1.2：计算模板大小的空间置信图，空间置信图为步骤1.1中模板的每个像素设置了权重值，初始目标对应的区域全部设置为最大值1.0，其他区域全部设置为0.0，空间置信图标记为m；

步骤1.3：提取模板大小区域内的影像灰度特征，加hann窗，进行傅里叶变换，所得特征变换结果标记为

一般来说方向梯度直方图特征和颜色特征对目标有更强的表达性，但由于卫星视频中目标相对周围环境只占几十到几百个像素，没有明显的形状信息，颜色也与背景相差不大，方向梯度直方图和颜色特征都会进行压缩，灰度特征反而可以更好的表达目标特征。

步骤1.4：构建lagrange表达式，求解表达式得到跟踪滤波器，标记为h；

为避免滤波器中的多峰响应，通过增加空间置信图来限制滤波器。一般的求解岭回归最小值的函数不再有闭合解，通过引入变量hc，构建lagrange表达式，重新得到闭合解。

lagrange表达式为：

hc-hm＝0(3)

hm＝m⊙h(4)

其中，字母表示复数的lagrange乘数，表示的共轭矩阵，字母右上角的h表示共轭转置矩阵，变量hm为增加了空间置信度的跟踪滤波器，为hm的傅里叶变换，为变量hc的傅里叶变换。μ为表达式参数，初始值优选设置为5.0，在递归求解的过程中可以更新，优选更新方式为根据参数β和上一次递归的参数取值μi-1更新当前的参数取值μi＝β×μi-1，其中i为递归的次数，β默认优选为3.0。λ为表达式参数，λ＝μ/100.0，在递归求解过程中是根据当前的μ值调整。通过对式(2)各个变量求偏导数，利用对角矩阵的基本性质得到最终的跟踪滤波器计算公式：

其中，表示的共轭矩阵，表示的共轭矩阵，d表示hm的矩阵维度，表示傅里叶逆变换。

具体实施时，本领域技术人员可预设回归求解的次数，实施例中，优选设定通过四次递归求解跟踪滤波器h，将损失降低到了较低的范围。

通过对跟踪滤波器增加空间置信度的限制，保障了位于目标包围框内的区域具有最高的响应值，排除与目标有相似特征的物体干扰。

步骤1.5：初始化kalman滤波器的转移矩阵a、测量矩阵h、系统噪声方差矩阵q、测量噪声方差矩阵r，以跟踪目标的初始位置(即目标初始包围框的中心位置)作为初始的测量值z(0)和初始的状态值x(0)；

优选地，可以初始化kalman滤波器的转移矩阵a、测量矩阵h、系统噪声方差矩阵q、测量噪声方差矩阵r为4×4的单位矩阵。

步骤2：利用跟踪的目标位置，回归kalman滤波器，预测目标新的位置；

所述步骤2具体包括以下步骤：

步骤2.1：根据kalman滤波理论，预测下一帧的位置；

预测位置所用的方程为：

x′(k)＝a×x(k-1)(7)

p′(k)＝a×p(k-1)×a^t+1×q(8)

其中，x′(k)表示状态值的第k帧预测值，x(k-1)表示第k-1帧的状态值，p′(k)表示最小均方误差的第k帧预测值，p(k-1)表示第k-1帧的最小均方误差。

步骤2.2：根据kalman滤波理论，将当前帧的位置作为第k帧的测量值z(k)更新卡尔曼增益；

通过求解最小二乘估计，得到卡尔曼增益k，所用函数为：

k(k)＝p′(k)×h^t×(h×p′(k)×h^t+1×r)^-1(9)

x(k)＝x′(k)+k(k)×(z(k)-h×x′(k))(10)

p(k)＝(i-k(k)×h)p′(k-1)(11)

其中，k(k)表示第k帧卡尔曼增益，h^t表示测量矩阵h的转置，(h×p′(k)×h^t+1×r)^-1表示对h×p′(k)×h^t+1×r求逆矩阵，x(k)表示第k帧的状态值，i表示单位矩阵，p(k)表示第k帧的最小均方误差。

利用公式(9)得到的卡尔曼增益，根据公式(10)和(11)计算第k帧的状态值x(k)和最小均方差p(k)。

步骤3：对下一帧图像提取特征进行傅里叶变换，利用构建的跟踪滤波器，通过图像卷积，求取结果的最大响应值，作为目标新的位置，以新的位置为中心提取特征更新跟踪滤波器；

所述步骤3具体包含以下步骤：

步骤3.1：传入上一帧的目标包围框，计算该帧图像模板大小的灰度特征，将特征进行傅里叶变换到频域，对频域的特征和上一帧得到的跟踪滤波器进行图像卷积，反傅里叶变换得到响应图，求取响应图最大值，以最大值位置作为目标新的位置；

由于卫星视频的拍摄距离很远，目标不会有比较大的尺度改变，因此不再对目标进行尺度变换和尺度估计，采用初始化时计算的模板大小作为以后提取特征的模板大小，以传入的目标包围框中心作为中心。

频域内的特征矩阵和频域内的跟踪滤波器，可以利用对角矩阵的性质，将两个矩阵的乘法的计算量降低到对角线元素相乘的计算量，大大地加快计算速度。通过反傅里叶变换将频域的复数矩阵变换到空间域的实时矩阵。通过图像卷积得到的结果应该是一个类高斯分布的响应图，查找响应图中值最大的点，其位置作为目标新的位置

步骤3.2：利用该帧的图像信息，以新的位置构建空间置信图，构建新的跟踪滤波器，更新跟踪滤波器；

构建新的滤波器的过程同上述步骤的1.2、1.3、1.4，所得新构建的滤波器记为hnew。

设hk为当前第k帧的滤波器，hk-1为上一帧第k帧的滤波器，以一定的比例融合上一帧的滤波器和新的滤波器来保障既能利用之前帧的特征信息，又能处理当前帧新的变化情况。所用的函数为：

hk＝(1-θ)×hk-1+θ×hnew(12)

其中，右侧的h为步骤1.4中得到的跟踪滤波器，左侧的h为更新的跟踪滤波器，θ为融合系数优选为0.02，hnew为新构建的滤波器。

步骤4：执行循环传入下一帧图像，判断是否满足设定的预测条件，满足条件仅执行步骤2以步骤2的结果作为新的位置，不满足则执行步骤2和步骤3以步骤3的结果作为新的位置。

所述步骤4具体包含以下步骤：

步骤4.1：执行循环传入下一帧图像，判断已经进行的帧数是否大于5帧，同时当前帧数是否是3的倍数；如果判断都为是则满足条件，进入步骤4.2，否则进入步骤4.3；

判断帧数是否大于5帧主要是确保kalman滤波器已经进行了充分的回归，预测的位置更接近真实的位置。帧数是否为3的倍数是以一定的频率对目标轨迹进行预测而非跟踪，来解决目标和背景完全融合在一起，无法分辨出目标的情况。因为卫星视频成像特点，目标与背景完全一致这种情况远大于一般的地面视频和无人机视频。

步骤4.2：此时满足条件，仅执行kalman滤波器的预测和更新，以预测的位置作为目标新的位置；

执行步骤2.1以预测的位置作为目标新的位置中心，执行步骤2.2以该位置作为测量值回归kalman滤波器，然后针对下一帧继续执行步骤4，直到视频结束。

步骤4.3：此时不满足条件，先执行跟踪滤波器跟踪，以跟踪到位置作为目标新的位置，再执行kalman滤波器的更新；

通过执行步骤3.1和3.2实现跟踪滤波器对目标的跟踪，得到的位置作为目标新的位置。执行步骤2.2以该位置作为测量值回归kalman滤波器，然后针对下一帧继续执行步骤4，直到视频结束。

具体实施时，以上流程可采用计算机软件技术实现自动运行。根据软件设计习惯，还可以将步骤4的预测条件判断设置在步骤3之前执行，效果是等同的。

尽管上文对本发明进行了详细说明，并举了实施例，但是本发明以及可应用的实施例不限于此，本技术领域技术人员可以根据本发明的原理进行各种修改，也可将本发明中的部分方法应用在其它系统中。因此，凡按照本发明原理所作的修改，都应当理解为落入本发明的保护范围。