基于多尺度多方向核相关滤波的遥感视频目标跟踪方法

1.本发明属于卫星遥感影像处理领域，特别涉及到了高分辨率遥感影像的目标跟踪方法，提出了一种基于多尺度多方向核相关滤波的遥感影像中目标跟踪方法。


背景技术：

2.近些年，视频卫星的发射弥补了传统卫星无法获得高时间分辨率图像的不足。中国长春卫星科技有限公司研制的“吉林一号”商用卫星每秒可提供10-30幅图像，空间分辨率为0.72m。这些图像可用于石油储量检测、灾害监测、海洋监测、生态系统干扰监测和交通状况监测等应用。这些应用需要诸如无线电测量和几何校正、运动目标检测和跟踪以及三维重建等关键技术。本发明主要研究高分辨率遥感卫星影像中的运动目标跟踪问题。
3.运动目标跟踪是计算机视觉中一个具有挑战性的问题。给定图像序列第一帧中特定目标的包围框，运动目标跟踪的目标是定位目标，并估计该目标在其余帧中的包围框。为了提高跟踪性能，近年来提出了许多工作和一些公共数据集，但仍有许多问题需要解决。目标跟踪的难点可分为两大类。一是与物体本身有关，如遮挡、变形、快速运动、运动模糊和缩放变化。另一种与环境因素有关，如光照变化、背景杂波和背景抖动。
4.核相关滤波器由于其高性能和高速度而成为近年来流行的一种跟踪算法。它是一种理想的无变形目标跟踪算法，因此非常适合于高分辨率遥感卫星影像中运动目标的跟踪。为了提高高分辨率遥感卫星影像目标跟踪中相关滤波算法的精度，目前的一些方法已经做了很多工作。这些工作解决了卫星视频中目标跟踪的一些问题，如小型目标(如飞机、轮船)的普通跟踪以及长型目标(如火车)的普通跟踪。但仍有一些非常重要的问题没有得到解决，由于卫星自身的移动、卫星镜头的移动以及太阳光照的变化，物体在高分辨率遥感卫星影像中的旋转缩放的现象经常出现。目前核相关滤波器最常用的手工特征是梯度直方图(histogram of oriented gradient,hog)，而梯度直方图不具有旋转不变性和尺度不变性，这就意味着当物体发生旋转缩放形变时核相关滤波器的跟踪效果将会大幅下降。因此在跟踪旋转缩放对象时，基于hog的跟踪器往往会丢失对象。此外，目前在高分辨率遥感卫星影像中的运动目标跟踪问题中，国内外还没有一种非常好的办法来解决跟踪高分辨率遥感卫星影像中发生旋转缩放变化的目标物体。在国内外期刊上，还没有相关论文发表。目前，国内也没有对在高分辨率遥感卫星影像中目标物体发生旋转缩放变化的问题提出一种很好的解决方法以及授权专利。


技术实现要素：

5.本发明针对当前高分辨率遥感影像的目标跟踪任务中出现的多尺度多方向特征选择问题以及目标被遮挡问题，提供了一种基于多尺度多方向核相关滤波的遥感视频目标跟踪方法。
6.本发明提供的技术方法为一种基于多尺度多方向核相关滤波的遥感视频目标跟踪方法，包括以下步骤：
7.步骤1，数据准备，包括对高分辨率影像的自适应目标场景裁剪和数据预处理；
8.步骤2，目标位置估计，包括设置基于核相关滤波器自适应特征选择模块，实现目标位置估计；
9.所述基于核相关滤波器自适应特征选择模块，用于首先通过利用裁剪得到的目标信息利用核相关滤波器进行目标特征的提取；然后通过在小背景信息中利用目标特征图块提取目标周围的背景信息，通过学习目标信息和目标周围背景信息后，利用学习到的信息对后续帧中的相应背景位置的区域进行求解最大相似值相应位置，作为目标最佳相应位置；
10.步骤3，目标方向估计，包括设置基于多方向核相关滤波器自适应特征选择模块，实现目标方向估计；
11.所述多方向核相关滤波器自适应特征选择模块，用于对基于核相关滤波器自适应特征选择模块计算所得的目标最佳位置进行不同方向特征图区域的特征提取，实现方式为通过使用旋转变换裁剪来对目标帧中所选位置的不同方向区域进行特征提取以及特征匹配，然后通过特征相似度算法来得到当前帧中最佳位置区域下相似度最大的角度，从而实现对目标的方向估计；
12.步骤4，目标尺度估计，包括基于多尺度核相关滤波器自适应特征选择模块；
13.所述多尺度核相关滤波器自适应特征选择模块，用于对基于核相关滤波器自适应特征选择模块计算所得的目标最佳位置和对基于多方向核相关滤波器自适应特征选择模块所得的目标最佳方向，进行不同尺度特征图区域的特征提取，然后通过特征相似度算法得到当前帧中最佳位置和最佳方向区域下相似度最大的尺度，从而实现对目标的尺度估计，并将得到的目标最佳位置、目标最佳方向和目标最佳尺度输入到遮挡检测模块中；
14.步骤5，目标遮挡检测，包括通过遮挡检测模块对步骤4中所得目标结果进行目标遮挡检测；
15.所述遮挡检测模块，用于通过使用当前帧的目标位置信息与初始帧以及上一个判断为“目标不被遮挡”的帧的目标特征信息进行遮挡判断计算，如果计算结果没有达到阈值，则将背景信息更新为目标大背景信息并再做一次相同的操作，若最终判断结果仍未达到阈值则认为“目标被遮挡”，反之则认为“目标不被遮挡”；
16.步骤6，输出结果，包括根据步骤5输出的结果来判断目标是否被遮挡，若返回信息不为“目标被遮挡”则认为目标没有被遮挡，并根据得到结果标记计算得出的目标当前所处位置，完成对当前帧的目标跟踪。
17.而且，步骤1中，采用高分辨率遥感影像数据集，利用给出的初始帧中的所需要跟踪的目标信息进行等比裁剪，分别裁剪出目标的信息、目标的小背景信息以及目标大背景信息。
18.而且，步骤2中所述基于核相关滤波器自适应特征选择模块中，
19.设x为训练样本集，y为x对应的真实标签集，xi为第i个训练样本，yi为xi对应的真实标签，ω为列向量表示权重系数，ω
t
为ω的转置矩阵，λ为正则化因子；
20.x表示训练样本中的感兴趣区域，为ω、x、y的离散傅里叶变换，为的共轭复数，为矩阵的哈达玛积；
21.记d为维度，xj为x在第j维度上的表示，ωj为ω在第j维度上的表示，多维度下使用
循环矩阵的特征提取如下式，
[0022][0023]
其中，为ωj的离散傅里叶变换，为xj的离散傅里叶变换，为的共轭复数。
[0024]
而且，利用特征相似度算法计算出目标在不同位置的相似值，所述特征相似度算法如下式，
[0025][0026]
其中，z代表下一帧背景中所选的猜想目标区域，猜想目标区域在目标背景中与目标具有相同大小的区域，f-1
(
·
)为离散傅里叶变换函数的逆函数，zj为z在第j维度上的表示，为zj的离散傅里叶变换。
[0027]
而且，步骤3中所述基于多方向核相关滤波器自适应特征选择模块实现如下，
[0028]
首先接收到由基于核相关滤波器自适应特征选择模块输入的目标最佳位置，通过对该位置处的目标进行旋转变换，得到逆时针旋转角度θ下的不同角度旋转裁剪后的目标特征，θ∈(0
°
，180
°
)；再对不同角度旋转裁剪后的目标特征采用特征相似度算法进行计算后，得出目标所处该位置的最佳角度。
[0029]
而且，步骤4中所述基于多尺度核相关滤波器自适应特征选择模块实现如下，
[0030]
首先接收到由基于核相关滤波器自适应特征选择模块输入的目标最佳位置和由基于多方向核相关滤波器自适应特征选择模块输入的目标最佳方向，通过对最佳位置中的最佳方向的目标进行尺度估计，在尺度变化σ中进行变换，σ∈[0.81,1.21]，得到目标最佳尺度；并且将目标最佳位置、目标最佳方向、目标最佳尺度融合表示为目标位置信息，该目标位置信息为目标帧中目标最佳表示方式。
[0031]
本发明提供了一种基于多尺度多方向核相关滤波的遥感视频目标跟踪方法，解决了当前高分辨率遥感影像的目标跟踪任务中出现的多尺度多方向特征选择问题以及目标被遮挡问题，该方法具有简单、有效、精度高、易于实现的特点。本发明提出了基于核相关滤波器自适应特征选择模块、基于多方向核相关滤波器自适应特征选择模块、基于多尺度核相关滤波器自适应特征选择模块和遮挡检测模块，并且可以成功应用于上kcf等多种核相关滤波器上。和现有技术相比，本发明具有如下优势，
[0032]
(1)针对高分辨率遥感影像设计的基于核相关滤波器自适应特征选择模块、基于多方向核相关滤波器自适应特征选择模块、基于多尺度核相关滤波器自适应特征选择模块可以有效地提取目标的多位置多方向多尺度特征，增加了核相关滤波器的特征提取能力以及目标跟踪能力。
[0033]
(2)针对高分辨率遥感影像设计的遮挡检测模块可以有效地判断目标是否以及运动出画面或者在运动过程中被遮挡，增加核相关滤波器的目标跟踪准确性以及鲁棒性。
[0034]
(3)对高分辨率遥感影像中的目标特征提取具有重要意义，通过利用设计的对高分辨率影像的自适应目标场景裁剪可以很好地从大范围的遥感影像场景中提取只与当前
所选目标相关的背景以及前景信息，能够很好的剔除与跟踪该目标无关的所有信息。
[0035]
(4)对高分辨率遥感影像中的目标跟踪具有重要意义，它可以将多个不同尺度不同方向的特征进行自动选择和高效提取，不仅可以减少高分辨率遥感影像中冗杂的背景信息，提取目标的有效特征，还可以精准地标记出目标所处的位置以及运动轨迹。
[0036]
(5)针对高分辨率遥感影像中所存在的定向矩形标注框进行了改进，在跟踪之前本发明可以使用有向矩形框对目标进行框选，并在算法计算中可以输入初始有向矩形框所带角度，从而实现对目标更加精准的跟踪。
[0037]
(6)具有很强的实用性和通用性，不仅可以应用到多个核相关滤波器中，还可以有效的为核相关滤波器提供更加明确的目标特征。
附图说明
[0038]
图1为本发明实施例的流程图。
具体实施方式
[0039]
以下结合附图和实施例详细说明本发明技术方法。
[0040]
本发明技术方法可应用到多个核相关滤波器中，包括kcf等。
[0041]
本发明实施例提供一种基于多尺度多方向核相关滤波的遥感视频目标跟踪方法，下面将在kcf上面的应用为例，说明本发明的技术方法。
[0042]
参见图1，本发明实施例提供的一种基于多尺度多方向核相关滤波的遥感视频目标跟踪方法，包括以下步骤：
[0043]
步骤1，数据准备，包括对高分辨率影像的自适应目标场景裁剪和数据预处理；
[0044]
实施例采用了高分辨率遥感影像数据集，在数据集中包含每一帧中所需跟踪目标的位置以及大小信息。为了去除高分辨率遥感影像中冗杂的无关背景信息，本发明提出通过利用给出的初始帧中的所需要跟踪的目标信息来进行等比裁剪，分别裁剪出目标的信息、目标的小背景信息以及目标大背景信息。
[0045]
所述目标小背景信息是指，通过对以目标中心为中心裁剪出的等同于目标两倍大小的目标及目标背景信息，并在本发明中作为目标背景信息的输入。
[0046]
所述目标大背景信息是指，通过对以目标中心为中心裁剪出的等同于目标四倍大小的目标及目标背景信息，并在本发明中作为目标背景信息的备选输入。
[0047]
具体裁剪实现方法如下：
[0048]
设目标所在中心位置坐标为(x,y)，目标框的宽高分别为w和h。裁剪出的目标信息表示为(其中，数组中的前两项代表坐标信息，后两项代表宽高信息)，目标小背景信息表示为(数组表示内容同上)，目标大背景信息表示为(数组表示内容同上)。
[0049]
步骤2，目标位置估计，包括设置基于核相关滤波器自适应特征选择模块，实现目标位置估计；
[0050]
在实施例中，基于核相关滤波器自适应特征选择模块，首先通过利用裁剪得到的
目标信息利用核相关滤波器进行目标特征的提取；然后通过在小背景信息中利用目标特征图块提取目标周围的背景信息，通过学习目标信息和目标周围背景信息后，利用学习到的信息对后续帧中的相应背景位置的区域进行求解最大相似值相应位置，该位置即为目标最佳相应位置。
[0051]
进一步地，建议基于核相关滤波器自适应特征选择模块实现如下，
[0052]
设从核相关滤波器得到的初始帧目标特征图块构成集合x＝{xi,i∈[1，m]}和当前帧目标特征图块构成集合y1＝{yi,i∈[1,n]}，且x,y1∈rc×w×h，其中c表示输入通道的数量，h和w分别表示特征图的高度和宽度大小，r表示实数集；
[0053]
通过利用核相关滤波器对初始帧中的目标特征图块和目标特征图块进行特征提取，然后将当前帧的目标特征图块特征与初始帧的目标特征图块特征进行特征相似度算法计算，从而得到目标帧中最佳目标位置。
[0054]
步骤3，目标方向估计，包括设置基于多方向核相关滤波器自适应特征选择模块，实现目标方向估计；
[0055]
在实施例中，基于多方向核相关滤波器自适应特征选择模块，通过利用基于核相关滤波器自适应特征选择模块计算的目标最佳位置和旋转变换算法提取当前帧中的目标不同方向下的目标特征，然后利用初始帧中提取的目标特征与当前帧中不同方向下的目标特征进行特征相似度算法计算，从而得出目标最佳位置下的最佳方向。
[0056]
进一步地，建议基于多方向核相关滤波器自适应特征选择模块实现如下，
[0057]
首先接收到由基于核相关滤波器自适应特征选择模块输入的目标最佳位置，通过对该位置处的目标进行旋转变换，利用旋转变换裁剪算法得到逆时针旋转角度为θ(其中，θ∈(0
°
，180
°
))下的不同角度旋转裁剪后的目标特征，再对不同角度旋转裁剪后的目标特征进行特征相似度算法进行计算后，得出目标所处该位置的最佳角度。
[0058]
设从核相关滤波器得到的当前帧不同方向下的目标特征图块构成集合y2＝{yj,j∈[1,d]}，且y2∈rc×w×h，其中，c表示输入通道的数量，h和w分别表示特征图的高度和宽度大小，d表示具有不同方向特征图块的数量，r表示实数集；
[0059]
通过利用步骤2中所计算的目标最佳位置提取最佳位置下不同方向的目标特征图块特征，然后利用得到的当前帧不同方向目标特征图块与初始帧的目标特征图块进行特征相似度算法计算，从而得到最佳目标方向。
[0060]
步骤4，目标尺度估计，包括基于多尺度核相关滤波器自适应特征选择模块，实现目标尺度方向估计；
[0061]
在实施例中，基于多尺度核相关滤波器自适应特征选择模块，通过利用基于核相关滤波器自适应特征选择模块计算的目标最佳位置、基于多方向核相关滤波器自适应特征选择模块计算的目标最佳方向，利用尺度变换算法提取当前帧中的目标不同尺度下的目标特征，然后利用初始帧中提取的目标特征与当前帧中不同尺度下的目标特征进行特征相似度算法计算，从而得出目标最佳位置最佳方向下的最佳尺度。然后通过对最佳目标位置、最佳目标方向和最佳目标尺度三种结果的结合得到当前帧目标位置信息并将其传输给遮挡检测模块。
[0062]
进一步地，建议基于多尺度核相关滤波器自适应特征选择模块实现如下，
[0063]
首先接收到由基于核相关滤波器自适应特征选择模块输入的目标最佳位置和由
基于多方向核相关滤波器自适应特征选择模块输入的目标最佳方向，通过对最佳位置中的最佳方向的目标进行尺度估计，利用尺度变换算法在尺度变化为σ(其中，σ∈[0.81,1.21])中进行变换，得到目标最佳尺度。并且将目标最佳位置、目标最佳方向、目标最佳尺度融合表示为目标位置信息，该目标位置信息即为目标帧中目标最佳表示方式。
[0064]
所述基于多尺度核相关滤波器自适应特征选择模块实现如下，
[0065]
设从核相关滤波器得到的当前帧不同尺度下的目标特征图块构成集合y3＝{yi,i∈[1,s]}，且y3∈rc×w×h，其中，c表示输入通道的数量，h和w分别表示特征图的高度和宽度大小，s表示具有不同尺度特征图块的数量，r表示实数集；
[0066]
通过利用步骤3和步骤2中所计算的目标最佳位置和目标最佳方向提取最佳位置最佳方向下不同尺度的目标特征图块特征，然后利用得到的当前帧不同尺度目标特征图块与初始帧的目标特征图块进行特征相似度算法计算，从而得到最佳目标尺度。
[0067]
在完成了对最佳目标位置、最佳目标方向和最佳目标尺度的计算后，将其合并为当前帧目标位置信息，然后用步骤5中的抗遮挡模块进行目标遮挡检测。
[0068]
步骤5，目标遮挡检测，包括通过遮挡检测模块对步骤4中得到的目标最佳方向最佳尺度最佳位置表示进行目标遮挡检测；
[0069]
进一步地，本发明提出，首先将步骤4中输出的目标位置信息以及上一个判断为“目标不被遮挡”的帧的遮挡检测结果(如果没有则默认“目标不被遮挡”)作为遮挡检测模块的输入，通过使用当前帧的目标位置信息与初始帧以及上一个判断为“目标不被遮挡”的帧的目标特征信息进行遮挡算法计算，如果计算结果没有达到阈值，则将背景信息更新为目标大背景信息并再做一次相同的操作，若最终判断结果仍未达到阈值则认为“目标被遮挡”，反之则认为“目标不被遮挡”。
[0070]
在实施例中，本发明利用遮挡检测模块对步骤4中当前帧中的目标位置信息进行处理，通过利用遮挡计算算法对初始帧中的目标信息与步骤4中当前帧中的目标位置信息进行计算，若计算结果没有达到所设最低阈值则认为“目标可能被遮挡”。若计算结果判断为“目标可能被遮挡”则需要利用目标大背景信息替换目标小背景信息，返回步骤2利用基于核相关滤波器自适应特征选择模块计算目标位置，再重复步骤3～4对跟踪目标进行目标方向尺度位置估计，得到重新计算的基于多尺度多方向核相关滤波器自适应特征选择模块输出结果。对新得到的结果再次进行遮挡计算算法计算，若计算结果仍没有达到所设最低阈值则认为“目标被遮挡”并将“目标被遮挡”信息输出。除了所述之外的其他情况均是为“目标不被遮挡”，在该情况下遮挡检测模块将会把利用的基于多尺度多方向核相关滤波器自适应特征选择模块输出结果输出。
[0071]
步骤6，输出结果，包括根据步骤5输出的结果来判断目标是否被遮挡，若返回信息不为“目标被遮挡”则认为目标没有被遮挡，并根据得到结果绘制矩形框，标记计算得出的目标当前所处位置，完成对当前帧的目标跟踪计算。
[0072]
进一步地，本发明提出，通过输入高分辨遥感影像与步骤4中输出的目标位置信息，根据步骤5中遮挡检测模块的结果判断是否为“目标被遮挡”，如果“是”则最后输出结果为“目标被遮挡”，如果不是则通过步骤4中输出的目标位置信息来计算标记目标所在位置。在计算完目标在高分辨率遥感影像的具体位置后将利用矩形框标注目标所在位置。
[0073]
实施例中本发明主要利用基于多尺度多方向核相关滤波器自适应特征选择模块
和遮挡检测模块来对目标进行跟踪计算，为便于所述参考起见，提供以下本发明实施例的关键具体实现说明。
[0074]
实施例中基于核相关滤波器自适应特征选择模块具体实现方式如下：
[0075]
目标位置估计，需要采用基于核相关滤波器来实现对初始帧的目标特征提取以及目标背景特征提取。基于核相关滤波器通常使用一组训练样本来训练一个多通道的卷积滤波器，训练过程通常使用对式(1)进行最小化来得到最佳的多通道卷积滤波器。(其中xi为第i个训练样本，yi为xi对应的真实标签，ω为列向量表示权重系数，ω
t
为ω的转置矩阵，λ为正则化因子用来防止过拟合，n为训练样本的个数)
[0076][0077]
因为使用循环矩阵作为训练样本来对目标进行特征学习，所以式(1)也可以写成式(2)(其中，x为训练样本集，y为x对应的真实标签集，x
t
为x的转置矩阵，i为单位矩阵)。
[0078]
ω＝(x
t
x+λi)-1
x
tyꢀꢀꢀ
(2)
[0079]
由于式(2)中对逆矩阵进行运算需要大量的时间，于是采用傅里叶变换进行运算，矩阵x可以转换成式(3)的表达方式(其中，f代表将数据转换到傅里叶域中的离散傅里叶变换矩阵，fh代表f的共轭转置矩阵。diag(
·
)为对角函数，用来提取矩阵中的对角元素。x表示训练样本中的感兴趣区域)。
[0080][0081]
通过利用傅里叶变换与式(2)、式(3)的计算，可以得到式(4)(其中，为ω、x、y的离散傅里叶变换，为的共轭复数，为矩阵的哈达玛积)。
[0082][0083]
对于多维度的特征提取计算，式(4)可以写成式(5)的形式(其中d为维度，例如如果目标特征为rbg颜色空间，则d＝3。xj为x在第j维度上的表示，ωj为ω在第j维度上的表示)。
[0084][0085]
其中，为ωj的离散傅里叶变换，为xj的离散傅里叶变换，为的共轭复数。
[0086]
在完成对目标特征的提取后，本发明设计利用当前帧的目标位置信息，获取当前帧的背景位置信息。由于在高分辨率的遥感卫星影像中目标物体运动速度普遍较慢，两帧之间目标物体产生的位移普遍较小，于是采用当前帧的背景位置来搜寻下一帧的目标物体处于当前帧背景中的相对位置。本发明通过对下一帧中背景信息与当前帧提取到的特征进行特征相似度算法计算来获取下一帧中目标物体的位置。特征相似度算法(f(z))如式(6)所示(其中，z代表下一帧背景中所选的猜想目标区域。猜想目标区域在目标背景中与目标具有相同大小的区域。f-1
(
·
)为离散傅里叶变换函数的逆函数。zj为z在第j维度上的表示，为zj的离散傅里叶变换。)利用特征相似度算法可以计算出目标在不同位置的相似值，通过比较相似值的大小就可以得到最佳位置(当相似值最大时所处的位置即为最佳位置)，这时计算所得的最佳位置则为目标估计算法的结果。
[0087][0088]
其中，表示的共轭复数。
[0089]
实施例中基于多方向核相关滤波器自适应特征选择模块具体实现方式如下：
[0090]
目标方向估计，通过采用旋转变换裁剪算法来获取旋转后的目标信息与目标背景信息。
[0091]
由于目标跟踪的好坏取决于目标特征提取的好坏，目前所有的数据集都是使用不带方向的矩形框来对目标进行标注，这就使得在确定跟踪目标时就无法获取到准确的目标特征，与是本发明设计使用有向矩形框进行目标标注，在跟踪时有向矩形所带的角度可以输入到算法中增加跟踪准确度。
[0092]
在旋转变换裁剪算法中，设逆时针旋转角度为θ(其中，θ∈(0
°
，180
°
))，裁剪后的宽和高分别为w和h，裁剪前需要截取的背景宽和高即为w
′
和h
′
。w
′
和h
′
的计算公式为式(7)和式(8)。(裁剪后的宽和高应与原始目标标记信息相同，裁剪前后矩形的中心位置应不变，若目标处于边缘位置则将不存在的场景位置补0，并在后续计算中不参与计算。)
[0093]w′
＝w*cosθ+h*sinθ
ꢀꢀꢀ
(7)
[0094]h′
＝h*cosθ+w*sinθ
ꢀꢀꢀ
(8)
[0095]
其中，*表示为数学乘积。
[0096]
在旋转裁剪完后，本发明利用裁剪后的目标信息、目标背景信息以及目标估计算法得到的最佳位置做目标方向估计。通过利用如式(6)所示特征相似度算法可以获取到每个角度下的最佳位置的最大相似值，通过改变不同的角度可以获取不同的最大相似值，比较每个最大相似值的值就可以得到最佳角度。得到的最佳角度即为目标方向估计的结果。
[0097]
实施例中基于多尺度核相关滤波器自适应特征选择模块具体实现方式如下：
[0098]
目标尺度估计，通过利用尺度变换算法对不同尺度的目标特征分别进行计算，得到目标最佳尺度估计。
[0099]
由于卫星镜头的移动、卫星自身的移动以及地球自身的移动，导致所跟踪的目标物体会发生小幅度的形变。为了更加精准地跟踪所需要跟踪的目标物体，本发明通过使用不同大小的目标特征计算不同尺度下目标的相似值，通过对相似值的大小比较得出最佳尺度。尺度选择的具体方法如下：
[0100]
在尺度变换算法中，设尺度变化为σ(其中，σ∈[0.81,1.21])，变换后的目标尺度s’＝σs(其中，s为在最佳角度下的目标尺度)，在尺度变换中矩形的宽和高进行等比缩放。由于在高分辨率的遥感卫星影像中，物体形变一般比较小，故本发明设计的尺度选择模板范围较小，可以适合小幅度的形变。
[0101]
由于哈达玛积只能对同阶矩阵进行运算，于是本发明在尺度变换算法中加入图像上采样处理目标的放大，加入图像下采样处理目标的缩小。
[0102]
在对目标进行尺度变换后，本发明使用如式(6)所示特征相似度算法比较下一帧背景中的每一块特征区域，从而得到当前尺度中最大相似值。通过进行尺度的变换可以获取不同尺度下的最大相似值，通过对所有的最大相似值进行比较可以得到所有尺度下的最大相似值。该最大相似值所对应的尺度即为下一帧中目标最佳尺度。
[0103]
然后通过对最佳目标位置、最佳目标方向和最佳目标尺度三种结果的结合得到当前帧目标位置信息并将其传输给遮挡检测模块。
[0104]
本发明所设计的基于核相关滤波器自适应特征选择模块、基于多方向核相关滤波器自适应特征选择模块和基于多尺度核相关滤波器自适应特征选择模块的结合目标位置估计、目标方向估计以及目标尺度估计三大步骤实现对目标物体的多尺度多方向的位置估计计算，并将该计算结果输入到遮挡检测模块进行下一步操作。
[0105]
实施例中遮挡检测模块具体实现方式如下：
[0106]
本发明设计的遮挡检测模块获取到由基于多尺度核相关滤波器自适应特征选择模块输入的目标位置信息。
[0107]
由于目标位置信息只能表示下一帧中目标位置最大响应值的位置，并不能判断目标物体是否存在于下一帧中。于是遮挡检测模块采用遮挡计算算法对下一帧中的目标是否被遮挡进行判断。
[0108]
所述遮挡计算算法的实现方式如下，
[0109]
1)首先对基于多尺度核相关滤波器自适应特征选择模块输入的目标位置信息进行特征提取，并利用特征相似度算法将提取到的特征与初始帧的目标特征进行最佳相似值计算。
[0110]
2)当计算所得的最佳相似值小于预设阈值0.9(实施例中经由实验计算该阈值取值为0.9时，方法所表现的效果最佳，具体实施时可调整为其他经验值)时，判断在下一帧中“目标可能被遮挡”，并通过遮挡检测模块要求基于核相关滤波器自适应特征选择模块、基于多方向核相关滤波器自适应特征选择模块和基于多尺度核相关滤波器自适应特征选择模块采用目标大背景信息再次对目标进行位置估计计算目标最佳位置、目标最佳方向和目标最佳尺度并返回计算所得的目标位置值以及计算所得的最佳相似值，若此次计算的最佳相似值同样小于预设阈值0.9，则遮挡计算算法判定“目标被遮挡”，并通过遮挡检测模块将“目标被遮挡”结果输入到输出模块。
[0111]
若计算所得的最佳相似度大于等于预设阈值0.9时，遮挡计算算法判定“目标不被遮挡”，并通过遮挡检测模块将基于核相关滤波器自适应特征选择模块、基于多方向核相关滤波器自适应特征选择模块和基于多尺度核相关滤波器自适应特征选择模块计算所得的目标位置值输入到输出模块，最后由输出模块绘制有向矩形框并展示结果。
[0112]
本发明提供的自适应特征选择模块优点在于：
[0113]
(1)针对高分辨率遥感影像设计的基于核相关滤波器自适应特征选择模块、基于多方向核相关滤波器自适应特征选择模块、基于多尺度核相关滤波器自适应特征选择模块可以有效地提取目标的多位置多方向多尺度特征，增加了核相关滤波器的特征提取能力以及目标跟踪能力。
[0114]
(2)针对高分辨率遥感影像设计的遮挡检测模块可以有效地判断目标是否以及运动出画面或者在运动过程中被遮挡，增加核相关滤波器的目标跟踪准确性以及鲁棒性。
[0115]
(3)对高分辨率遥感影像中的目标特征提取具有重要意义，通过利用设计的对高分辨率影像的自适应目标场景裁剪可以很好地从大范围的遥感影像场景中提取只与当前所选目标相关的背景以及前景信息，能够很好的剔除与跟踪该目标无关的所有信息。
[0116]
(4)对高分辨率遥感影像中的目标跟踪具有重要意义，它可以将多个不同尺度不
同方向的特征进行自动选择和高效提取，不仅可以减少高分辨率遥感影像中冗杂的背景信息，提取目标的有效特征，还可以精准地标记出目标所处的位置以及运动轨迹。
[0117]
(5)针对高分辨率遥感影像中所存在的定向矩形标注框进行了改进，在跟踪之前本发明可以使用有向矩形框对目标进行框选，并在算法计算中可以输入初始有向矩形框所带角度，从而实现对目标更加精准的跟踪。
[0118]
(6)具有很强的实用性和通用性，不仅可以应用到多个核相关滤波器中，还可以有效的为核相关滤波器提供更加明确的目标特征。
[0119]
具体实施时，本发明技术方法提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方法相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
[0120]
在一些可能的实施例中，提供一种遥感影像自适应特征选择分割系统，包括以下模块，
[0121]
第一模块，用于数据准备，包括对高分辨率影像的自适应目标场景裁剪和数据预处理；
[0122]
第二模块，用于目标位置估计，包括设置基于核相关滤波器自适应特征选择模块，实现目标位置估计；
[0123]
所述基于核相关滤波器自适应特征选择模块，用于首先通过利用裁剪得到的目标信息利用核相关滤波器进行目标特征的提取；然后通过在小背景信息中利用目标特征图块提取目标周围的背景信息，通过学习目标信息和目标周围背景信息后，利用学习到的信息对后续帧中的相应背景位置的区域进行求解最大相似值相应位置，作为目标最佳相应位置；
[0124]
第三模块，用于目标方向估计，包括设置基于多方向核相关滤波器自适应特征选择模块，实现目标方向估计；
[0125]
所述多方向核相关滤波器自适应特征选择模块，用于对基于核相关滤波器自适应特征选择模块计算所得的目标最佳位置进行不同方向特征图区域的特征提取，实现方式为通过使用旋转变换裁剪来对目标帧中所选位置的不同方向区域进行特征提取以及特征匹配，然后通过特征相似度算法来得到当前帧中最佳位置区域下相似度最大的角度，从而实现对目标的方向估计；
[0126]
第四模块，用于目标尺度估计，包括基于多尺度核相关滤波器自适应特征选择模块；
[0127]
所述多尺度核相关滤波器自适应特征选择模块，用于对基于核相关滤波器自适应特征选择模块计算所得的目标最佳位置和对基于多方向核相关滤波器自适应特征选择模块所得的目标最佳方向，进行不同尺度特征图区域的特征提取，然后通过特征相似度算法得到当前帧中最佳位置和最佳方向区域下相似度最大的尺度，从而实现对目标的尺度估计，并将得到的目标最佳位置、目标最佳方向和目标最佳尺度输入到遮挡检测模块中；
[0128]
第五模块，用于目标遮挡检测，包括通过遮挡检测模块对第四模块中所得目标结果进行目标遮挡检测；
[0129]
所述遮挡检测模块，用于通过使用当前帧的目标位置信息与初始帧以及上一个判
断为“目标不被遮挡”的帧的目标特征信息进行遮挡判断计算，如果计算结果没有达到阈值，则将背景信息更新为目标大背景信息并再做一次相同的操作，若最终判断结果仍未达到阈值则认为“目标被遮挡”，反之则认为“目标不被遮挡”；
[0130]
第六模块，用于输出结果，包括根据第五模块输出的结果来判断目标是否被遮挡，若返回信息不为“目标被遮挡”则认为目标没有被遮挡，并根据得到结果标记计算得出的目标当前所处位置，完成对当前帧的目标跟踪。
[0131]
在一些可能的实施例中，提供一种基于多尺度多方向核相关滤波的遥感视频目标跟踪系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于多尺度多方向核相关滤波的遥感视频目标跟踪方法。
[0132]
在一些可能的实施例中，提供一种基于多尺度多方向核相关滤波的遥感视频目标跟踪系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于多尺度多方向核相关滤波的遥感视频目标跟踪方法。
[0133]
本发明不仅解决了当前高分辨率遥感影像的目标跟踪任务中出现的多尺度多方向特征选择问题以及目标被遮挡问题，而且还具有通用性、操作简单、性能强等优势。
[0134]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。