一种基于背景感知相关滤波的飞机跟踪方法、存储介质和电子设备与流程

1.本发明涉及遥感视频跟踪技术领域，具体涉及一种基于背景感知相关滤波的飞机跟踪技术。


背景技术：

2.遥感视频卫星的发射使我们能够观测和测量地球表面上的运动物体，为监测地表变化事件提供了丰富的信息，其中对于目标的检测和跟踪是检测的关键步骤。飞机作为军事中的重要交通工具，具有非常高的研究价值，而目前遥感视频检测研究主要集中在对于车辆的检测跟踪，对于飞机等研究并不充足，主要因为遥感研究中云层遮挡问题，在噪声、云和光线变化干扰的情况下，无法在每一帧可靠地进行目标检测。并且检测算法应用在大尺寸图像时，检测速度非常缓慢，所以仅仅可以作为运动目标的初始值。
3.飞机跟踪技术需要满足如下需求：1.运算速度快。2.可以根据特定的输入来进行跟踪。3.可以抵抗云遮档并在一般情况下正常运行。在目前针对遥感视频的跟踪研究中，主要研究集中在如何对运动目标检测并跟踪，这类跟踪检测仅可做到对运动目标的检测和跟踪，如视频中存在其他运动物体，算法并不能做到对特定目标进行跟踪，而对不需要的目标进行处理。现存研究中也有一些基于深度学习的方法，但是经测试，其跟踪检测的速度难以满足实际要求。现存研究中基于相关滤波对遥感目标的跟踪的方法，应用场景比较单一，往往针对裁剪过后的小型视频，视频中并不包含复杂场景，如：烟，云雾，光照变换引起的光点等，并不能在实际应用中取得较稳定的结果。
4.综上，深度学习方法和前景建模方法都不能适配环境复杂的遥感视频。传统相关滤波方法方法在出现遮挡的情况下，更新将会从目标逐渐更新到完全为云层，以导致完全的偏移。针对云遮档的问题可以通过基于暗通道数据去雾的方法来解决，但是会带来其他问题，缺少良好的普适性。利用基于暗通道数据去云雾的方法，可以减少云雾干扰，但是对于同一数据中的正常样本会造成较大的损失，使其特征值发生变化导致无法正常跟踪。


技术实现要素：

5.为了解决现有的飞机跟踪技术无法解决云雾遮挡的问题，本发明提出了一种基于背景感知相关滤波的飞机跟踪方法、存储介质和电子设备。
6.本发明的技术方案如下：
7.一种基于背景感知相关滤波的飞机跟踪方法，包括以下步骤：
8.s1、bacf相关滤波器初始化：通过第一帧的图像和目标区域对bacf相关滤波器进行初始化，确定对象函数，分别计算cn的特征图谱和hog的特征图谱并融合得到最终的特征图谱；
9.s2、通过傅里叶变换将bacf相关滤波器转换到频域，并利用l2正则化对时间序列的更新进行约束，利用admm算法对约束后的问题求解；
10.s3、依赖于特征图谱和bacf相关滤波器，计算平均峰值相关能量，并将响应图中响应值最大的点作为最终结果暂时存储；
11.s4、更新模型和目标位置：判断上一步中的平均峰值相关能量与历史平均峰值相关能量比较，若满足高置信度则基于步骤s3的计算结果更新模型和目标位置；若不满足高置信度，则利用运动估计器对运动状态进行估计，并以运动估计器的结果和步骤s3的计算结果通过加权进行融合，最终得到更新的结果；
12.s5、重复步骤s2、s3和s4直到视频播放结束。
13.优选地，步骤s1中所述对象函数在频域中表示如下：
[0014][0015][0016]
其中，p为d
×
t二进制矩阵，t为像素个数，x表示一个训练图像样本，y表示以目标对象的峰值为中心的对应输出，h表示相关滤波器，x∈r
t
，y∈r
t
和h∈rd，x[δτi]表示x的循环位移，k为特征通道的数量，为一个辅助变量，i是一个单位矩阵，表示克罗内克积，^表示denotes离散傅里叶变换，f表示复基向量的正正交矩阵，以映射到任何l维向量信号的傅里叶域，算子t表示共轭转置，里叶域，算子t表示共轭转置，
[0017]
优选地，所述利用l2正则化在频域中表示如下：
[0018][0019][0020]
其中，λ和η是两个正则化参数，η≥0，用于调整前一帧目标对象在当前帧模型训练中的作用，t表示复数向量或矩阵上的转置算子，以计算共轭转置算子。
[0021]
优选地，所述的计算方法具体为：
[0022]
(一)采用增广拉格朗日方法将重写如下：
[0023][0024]
其中,ζ表示复数拉格朗日乘子，μ表示惩罚因子，μ＞0；
[0025]
(二)使用交替方向乘子法技术迭代求解方程，将重写后的公式划分出如下3个子问题：
[0026][0027]
(三)分别针对三个子问题进行求解：
[0028]
(1)对h求解：
[0029][0030]
其中，g和ζ分别表示为其中，g和ζ分别表示为
[0031]
(2)
[0032][0033]
分解为独立的子问题求解：
[0034][0035]
其中，
[0036][0037]
(3)对求解：
[0038][0039]
其中，μ为惩罚因子，μ＝min(μ
max
,βμ)通过交替方向乘子算法不断更新，μ
max
代表μ的历史值中的最大值,β表示的缩放因子。
[0040]
优选地，步骤s4中所述运动估计器为卡尔曼滤波器。
[0041]
优选地，所述卡尔曼滤波器系统的状态方程和观测方程如下：
[0042]
xk＝φ
x,k-1
x
k-1
+w
k-1
，
[0043]
yk＝hkxk+vk，
[0044]
其中，xk和x
k-1
分别是系统在时间k和k-1时的状态向量，φ
x,k-1
是系统的状态转换矩阵，hk是系统的观测矩阵，wk和vk是继高斯矩阵之后的噪声矩阵具有协方差矩阵qk和rk的分布；
[0045]
选择状态向量为xk＝[xsk,ysk,xvk,yvk]，其中xsk和ysk分别是物体在时间k时的水平和垂直位置，xvk和yvk分别是物体在时间k时的水平和垂直速度；
[0046]
状态转换矩阵表示如下：
[0047][0048]
观测向量为yk＝[xwk,ywk]，表示在时间k时观察到的物体位置，hk表示为：
[0049]
运动状态估计值如下所示：
[0050][0051][0052][0053][0054]
p
k+1
＝(i-k
k+1hk+1
)p
k+1,k
，
[0055]
其中，为最优状态估计，k为kf增益矩阵，q和r为噪声的协方差矩阵；
[0056]
利用假设运动状态模拟真实运动状态，以在卡尔曼滤波器收敛前估计物体的运动，通过前面一帧的平均位移来估计当前帧中对象的速度，对象在当前帧中的位置可以使用速度和对象在前一帧中的位置来估计，运动状态估计值通过如下方程描述：
[0057][0058][0059]
p
t
＝as
t-1
n，
[0060]
其中，s
t-1
＝(x
t-1
,y
t-1
,δx
t-1
,δy
t-1
)是对象在t-1时的状态向量，p
t
＝(x
t
,y
t
)是对象在时间t时的位置向量，a是一个传递矩阵，n为用于估计的帧数，n≥30，通过考虑卫星视频的fps确定。
[0061]
优选地，所述平均峰值相关能量的计算方法为：
[0062][0063]
其中，f
max
、f
min
、f
w，h
分别表示响应最大值、最小值和(w，h)位置上的响应。
[0064]
优选地，所述满足高置信度的判断方法为：
[0065]
在当前第t帧，只有当y
max
和e
apce
的值都以一定比例α和β超过历史均值时，才判定目标中心位置具有高置信度，即需要同时满足以下2个条件：
[0066][0067]
计算完f
i，max
和apcej保存在相应集合sy和se中，作为下一次判断时的历史值之一。
[0068]
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序执行如上所述的基于背景感知相关滤波的飞机跟踪方法。
[0069]
本发明还提供了一种电子设备，包括处理器和存储器，其中处理器、存储器通过通信总线完成相互间的通信；存储器，用于存储计算机程序；处理器，用于执行存储器上所存放的计算机程序时，实现如上所述的基于背景感知相关滤波的飞机跟踪方法。
[0070]
与现有技术相比，本发明解决了现有飞机跟踪技术无法解决云雾遮挡的问题，具体有益效果为：
[0071]
1.本发明提出了一种基于时间序列正则化约束的背景感知相关滤波算法来抵抗云带来的模型漂移，并利用运动信息进行校正，通过交替方向乘子算法对问题在频域中进行快速求解。本发明可以有效缓解云遮挡带来的模型漂移问题，使得之前难以利用的有云数据可以在一定条件下被使用。
[0072]
2.本发明采用基于背景感知的相关滤波器，解决了背景变化复杂以及旋转形变的带来的问题，利用减小搜索范围来减少基本的计算量，避免了视频单帧数据尺寸过大；引入了计算效率高的卡尔曼滤波器来将运动状态加入到我们的方法中，进一步提高了跟踪的准确率和成功率。
附图说明
[0073]
图1为本发明提供的方法流程示意图。
具体实施方式
[0074]
为使本发明的技术方案更加清楚，下面将结合本发明的说明书附图，对本发明实施例中的技术方案进行清楚、完整地描述，需要说明的是，以下实施例仅用于更好地理解本发明的技术方案，而不应理解为对本发明的限制。
[0075]
实施例1.
[0076]
本实施例提供了一种基于背景感知相关滤波的飞机跟踪方法，如图1所示，包括以
下步骤：
[0077]
s1、bacf相关滤波器初始化：通过第一帧的图像和目标区域对bacf相关滤波器进行初始化，确定对象函数，分别计算cn的特征图谱和hog的特征图谱并融合得到最终的特征图谱；
[0078]
s2、通过傅里叶变换将bacf相关滤波器转换到频域，并利用l2正则化对时间序列的更新进行约束，利用admm算法对约束后的问题求解；
[0079]
s3、依赖于特征图谱和bacf相关滤波器，计算平均峰值相关能量，并将响应图中响应值最大的点作为最终结果暂时存储；
[0080]
s4、更新模型和目标位置：判断上一步中的平均峰值相关能量与历史平均峰值相关能量比较，若满足高置信度则基于步骤s3的计算结果更新模型和目标位置；若不满足高置信度，则利用运动估计器对运动状态进行估计，并以运动估计器的结果和步骤s3的计算结果通过加权进行融合，最终得到更新的结果；
[0081]
s5、重复步骤s2、s3和s4直到视频播放结束。
[0082]
实施例2.
[0083]
本实施例为对实施例1的进一步举例说明，首先利用感知背景的bacf跟踪方法，通过对图像斑块进行密集采样来训练分类器。bacf跟踪器的对象函数可以写如下：
[0084][0085]
其中，p为d
×
t二进制矩阵，t为像素个数。x∈r
t
，y∈r
t
和h∈rd，以及x[δτi]表示x的循环位移。在视觉对象跟踪任务中，x表示一个训练图像样本，y表示以目标对象的峰值为中心的对应输出，h表示相关滤波器。通过在训练示例上使用圆移位算符(px[δτi])，将返回所有可能的图像补丁，k是特征通道的数量，通过使用circle shift操作符，采样数将增加。为了提高计算效率，上述公式可以在频域中表示如下：
[0086][0087][0088]
其中，为一个辅助变量，i是一个单位矩阵，表示克罗内克积，^表示denotes离散傅里叶变换，f表示复基向量的正正交矩阵，以映射到任何l维向量信号的傅里叶域，算子t表示共轭转置，，t表示共轭转置，，
[0089]
实施例3.
[0090]
本实施例为对实施例1的进一步举例说明，所述利用l2正则化在频域中表示如下：
[0091][0092][0093]
其中，λ和η是两个正则化参数，η≥0，用于调整前一帧目标对象在当前帧模型训练
中的作用，t表示复数向量或矩阵上的转置算子，以计算共轭转置算子。
[0094]
目标对象的变形、遮挡或背景杂波会对跟踪性能产生重要影响。例如，如果存在遮挡，bacf跟踪器将丢失目标对象，即使遮挡在随后的视频帧中消失，跟踪器仍然无法定位目标对象。在目标对象的运动中，目标对象在连续帧之间存在潜在的关系。一般来说，当前帧与前一帧之间不可避免地存在移动目标对象的相似性信息。考虑到移动目标对象在时间序列中的关系，通过利用l2正则化项约束来学习改进的背景感知相关滤波算法，本实施例通过最小化以下对象函数：
[0095][0096]
s.t. h＝p
t
h，
[0097]
其中λ、η是两个正则化参数(λ，η≥0)，η主要用于调整前一帧目标对象在当前帧模型训练中的作用,公式中的最后一项是指全局时间一致性约束。为了提高计算效率，通常通过傅里叶变换将相关滤波器转换到频域即得到本实施例所述的表示形式。
[0098]
实施例4.
[0099]
本实施例为对实施例3的进一步举例说明，所述的计算方法具体为：
[0100]
(一)采用增广拉格朗日方法将重写如下：
[0101][0102]
其中,ζ表示复数拉格朗日乘子，μ表示惩罚因子，μ＞0；
[0103]
(二)使用交替方向乘子法技术迭代求解方程，将重写后的公式划分出如下3个子问题：
[0104][0105]
(三)分别针对三个子问题进行求解：
[0106]
(1)对h求解：
[0107][0108]
其中，g和ζ分别表示为其中，g和ζ分别表示为
[0109]
(2)
[0110][0111]
分解为独立的子问题求解：
[0112][0113]
其中，
[0114][0115]
(3)对求解：
[0116][0117]
其中，μ为惩罚因子，μ＝min(μ
max
,βμ)通过交替方向乘子算法不断更新，μ
max
代表μ的历史值中的最大值,β表示的缩放因子。
[0118]
实施例5.
[0119]
本实施例为对实施例1的进一步举例说明，步骤4中所述运动估计器为卡尔曼滤波器。
[0120]
实施例6.
[0121]
本实施例为对实施例5的进一步举例说明，所述卡尔曼滤波器系统的状态方程和观测方程如下：
[0122]
xk＝φ
x,k-1
x
k-1
+w
k-1
，
[0123]
yk＝hkxk+vk，
[0124]
其中，xk和x
k-1
分别是系统在时间k和k-1时的状态向量，φ
x,k-1
是系统的状态转换矩阵，hk是系统的观测矩阵，wk和vk是继高斯矩阵之后的噪声矩阵具有协方差矩阵qk和rk的分布；
[0125]
选择状态向量为xk＝[xsk,ysk,xvk,yvk]，其中xsk和ysk分别是物体在时间k时的水平和垂直位置，xvk和yvk分别是物体在时间k时的水平和垂直速度；
[0126]
状态转换矩阵表示如下：
[0127][0128]
观测向量为yk＝[xwk,ywk]，表示在时间k时观察到的物体位置，hk表示为：
[0129]
运动状态估计值如下所示：
[0130][0131][0132][0133][0134]
p
k+1
＝(i-k
k+1hk+1
)p
k+1,k
，
[0135]
其中，为最优状态估计，k为kf增益矩阵，q和r为噪声的协方差矩阵，可根据实际情况进行调整。p0通常使用非0的随机数据进行初始化。我是单位矩阵。kf的计算只包含10次矩阵乘法，增加5次矩阵，和一个2
×
2矩阵的倒数。与bacf的计算复杂度相比，由于最大矩阵的大小为4
×
4，计算复杂度的增加非常小。
[0136]
卡尔曼滤波器需要一定数量的数据来收敛。实验表明，在卫星视频中移动物体时，卡尔曼滤波器在20-40帧后可以收敛。卡尔曼滤波器在估计物体运动状态方面具有较高的精度，但卡尔曼滤波器很复杂，在使用某些帧更新滤波器之前，滤波器才能收敛。为了在卡尔曼滤波器收敛前估计物体的运动，我们提出了利用假设运动状态模拟真实运动状态的方法。卫星视频中典型的移动物体是机动车辆、飞机和船只。我们可以假设，在短时间内，物体以均匀的直线移动，即使物体处于转弯、紧急停止或加速的状态。基于此假设，可以通过前面一帧的平均位移来估计当前帧中对象的速度。对象在当前帧中的位置可以使用速度和对象在前一帧中的位置来估计。因此，运动状态估计值通过如下方程描述：
[0137][0138]
[0139]
p
t
＝as
t-1
n，
[0140]
其中，s
t-1
＝(x
t-1
,y
t-1
,δx
t-1
,δy
t-1
)是对象在t-1时的状态向量，p
t
＝(x
t
,y
t
)是对象在时间t时的位置向量，a是一个传递矩阵，n为用于估计的帧数，n≥30，通过考虑卫星视频的fps确定。如果n太小，则估计方法将对对象运动状态的变化过于敏感。如果n太大，则上述假设不成立。因此，需要仔细选择该值。若n《30则认为运动卡尔曼滤波估计结果不可以作为参考值。
[0141]
实施例7.
[0142]
本实施例为对实施例1的进一步举例说明，所述平均峰值相关能量的计算方法为：
[0143][0144]
其中，f
max
、f
min
、f
w，h
分别表示响应最大值、最小值和(w，h)位置上的响应。
[0145]
实施例8.
[0146]
本实施例为对实施例1的进一步举例说明，所述满足高置信度的判断方法为：
[0147]
在当前第t帧，只有当y
max
和e
apce
的值都以一定比例α和β超过历史均值时，才判定目标中心位置具有高置信度，即需要同时满足以下2个条件：
[0148][0149]
计算完fi，max和apcej保存在相应集合sy和se中，作为下一次判断时的历史值之一。
[0150]
当跟踪目标被遮挡、形变量大、模糊及丢失等情况发生时，apce的当前值相对于历史均值就会明显降低，表示当前响应图发生振荡，存在多峰现象，此时认为目标中心位置的置信度较低；通常，当出现多峰振荡时，目标中心位置的响应值也会明显降低，即峰值fmax一般都比正常无干扰情况时的峰值低.可以看出fymax从响应图的局部反映目标中心位置的置信度，apce从响应图的整体反映其置信度，两者结合可以得到更高的置信度。
[0151]
为了减少算法的计算量，并不是对每一帧都进行位置修正，而是在当前第t帧出现多峰振荡，目标中心位置可能判断有误时，即当fmax和apce不满足高置信度检测中的任意一个条件时，我们将引入运动信息对位置进行矫正.此时，我们将运动信息与相关滤波信息通过加权进行融合，以融合之后的结果代替当前预测结果，并以当前结果更新滤波器模型。
[0152]
实施例9.
[0153]
本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序执行如实施例1-8任意一项所述的基于背景感知相关滤波的飞机跟踪方法。
[0154]
实施例10.
[0155]
本实施例提供了一种电子设备，包括处理器和存储器，其中处理器、存储器通过通
信总线完成相互间的通信；存储器，用于存储计算机程序；处理器，用于执行存储器上所存放的计算机程序时，实现如实施例1-8任意一项所述的基于背景感知相关滤波的飞机跟踪方法。
[0156]
实施例11.
[0157]
为了验证本技术的方法对抗云雾遮挡是否有效，本实施例进行了对比测试，传统的云雾去除方法虽然提高了目标的可见度，但是也往往会在纹理特征上有损失，经过云雾去除处理的正常数据可视化效果和精度损失十分严重，为了证明我们的方法在抵抗云雾遮挡有较大提升，我们分别在厚云遮挡、中等遮挡和薄云遮挡的数据中进行测试。另外，我们比较了现有高效的云雾去除方法处理数据后进行测试，发现去传统的去云方法对数据影像较大，一旦应用到其他数据会造成严重的数据损失，而我们的方法不仅仅在云雾遮挡的情况下可以良好跟踪，更是对一般目标的跟踪没有影响，对于旋转目标以及缓慢运动目标更是有所提升。
[0158]
在我们的实验中，为了进行公平的比较，相同类型的最先进的跟踪器也在比较跟踪器的列表中，相同类型的最先进的跟踪器是指与aadt具有相似的功能的顶级跟踪器。因此，eco-hc是从具有手工制作特征的跟踪器中选择的，也是目前性能表现很好的跟踪模型之一，csk对于在mosse上引入了核技巧和岭回归方法，表现也很出色。cn是可以很好的获取到颜色特征，在颜色对比明显的影像中，有着很好的表现。csr-dcf提出了空域可靠性和通道可靠性方法，其中图像分割方法更准确地选择有效的跟踪目标区域。mkcfup显着减轻了不同粒子的负面相互干扰，strcf约束滤波模板的有效作用域解决边界效应。bacf则是我们改进的基础方法。我们将改进后的方法和以上先进方法进行比较。
[0159]
我们的方法在保证了较高的准确率以及较好的鲁棒性的同时，也保持了较高的运行效率，我们的实验环境如下表所示：基于windows 10系统的主机上执行，这个主机工作环境如下：intel(r)core(tm)i7-9700 cpu处理器、ram 16g，具体的性能以及编程语言如下：
[0160]
表1-模型及其auc(成功率曲线的线下面积)
[0161]
模型开发语言auc_allauc_coveredfpsaadt(本技术)python0.7790.69476.84csrdcfpython0.7720.66531.65bacfpython0.7690.42190.00cnmatlab0.7650.267110.68cskpython0.7580.264136.07ecoc++0.7510.56118.71mkcfuppython0.7240.36513.66kcfmatlab0.6480.601187.86strcfpython0.6100.42995.32
[0162]
本技术的算法相较于改进之前的bacf方法，跟踪成功率在正常情况下可以更准确。并且在遮挡情况下有了较大提升，特别是在抵抗遮挡与一般情况的平衡中，大幅超过了现有方法。而这种遮挡在遥感影像中广泛存在，之前的做法中，因为现有方法并没有很好的处理云层遮挡问题的能力，虽然这些数据中的目标通过眼睛是可以分别的，但是在实际中，这种数据往往都被直接舍弃了。在现有的方法下，这些有云层遮挡的数据都没有被很好的
使用，而这种数据的数据量是非常可观的，一旦利用起来，对研究和实际应用都具有非常重大的意义。
[0163]
[0164][0165]
上表显示了本技术提出的跟踪器和其他方法在20个序列上获得的cle结果(以像素为单位，center location error中心位置误差)。通过比较可以看出本技术的方法取得了令人满意的性能，平均中心位置误差很小，结果表明该算法对运动速度快、目标遮挡、变形大的视频序列具有较强的鲁棒性。
[0166]
本技术使用相关滤波器进行位置估计，发生遮挡时，将根据运动状态更正其影响。其平均中心位置误差仅为4.363像素，大大优于其他基于相关滤波器的跟踪器的结果。
[0167]
综上，遥感图像本身的特征变化较少，主要的模型漂移是由于云层遮挡引起的，而这种类型的漂移问题，我们通过学习一段时间序列并利用运行信息对目标模型进行矫正，成功解决了漂移问题，并且在一般的飞机飞行过程中，也可以有效的获取飞机的特征，从而实现了应对复杂场景下的飞机跟踪问题。