卫星视频地面动态目标旋转的自适应追踪方法、装置和设备与流程

本发明涉及航天对地观测的信息处理与分析领域，尤其涉及卫星视频地面动态目标旋转的自适应追踪方法、装置和设备。
背景技术：
：卫星视频地面典型目标一般为车辆、飞机、火车与舰船等，因为卫星的俯视观测视角，这些目标在成像过程中会产生大范围旋转运动现象，现有的很多追踪算法使用梯度直方图(hog)作为目标特征来训练目标第二滤波器或者构建目标模板，梯度直方图虽然具有很高的准确性但是不具有旋转不变性，这就导致当运动目标发生大规模旋转时，会丢失目标，大大影响算法的正确率。因此，现有方法无法完成诸如目标高精度追踪、敏感目标实时定位及交通流量监控等很多应用，必须对追踪大范围旋转目标会丢失问题进行针对性的解决，并保持算法的实时性。技术实现要素：本发明所要解决的技术问题是针对现有技术的不足，提供卫星视频地面动态目标旋转的自适应追踪方法、装置和设备，能够实现当追踪目标发生大范围旋转时，不丢失目标且实现对目标的持续、准确跟踪。本发明解决上述技术问题的技术方案如下：卫星视频地面动态目标旋转的自适应追踪方法，所述方法包括；获取卫星视频，将所述卫星视频切分成连续的单帧图像；将所述切分后的多张单帧图像中的一张单帧图像作为当前帧图像；确定所述当前帧图像的搜索区域，并根据预设旋转池、滤波器和所述搜索区域，得到所述当前帧图像的追踪结果，将所述当前帧图像的下一帧图像确定为新的当前帧图像；循环执行上述处理，直到所有所述单帧图像处理完成，得到所述卫星视频的追踪结果。本发明的有益效果是：本发明提供的卫星视频地面动态目标旋转的自适应追踪方法，针对现有的追踪算法无法有效实现卫星视频中常出现的地面动态目标大范围旋转时的跟踪问题，通过保持特征图的稳定，来避免梯度直方图特征在目标旋转的过程中发生巨大的变化，从而大幅提高了算法追踪大范围旋转目标的正确率。通过估计目标每一帧的旋转角度，在追踪过程中将目标固定到同一角度，实现在不增加太多计算量的原则下，大幅提高特征图的稳定性。根据目标旋转角度，自适应计算目标边界框大小变化的方法，本发明实现在根据卫星视频进行地面目标追踪过程中，可以得到更加精准的目标边界框，提高追踪的准确率。本发明解决上述技术问题的另一种技术方案如下：一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上述技术方案所述的卫星视频地面动态目标旋转的自适应追踪方法的步骤。本发明解决上述技术问题的另一种技术方案如下：卫星视频地面动态目标旋转的自适应追踪装置，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序，实现如上述技术方案所述的卫星视频地面动态目标旋转的自适应追踪方法。本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。附图说明为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本发明卫星视频地面动态目标旋转的自适应追踪方法的流程示意图；图2为本发明卫星视频地面动态目标旋转的自适应追踪装置的结构框架图。具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。伴随着遥感技术的快速发展,空间对地观测数据获取能力不断提升,陆地观测卫星的成像时间分辨率不断缩短,但单星模式高分辨率卫星的重访仍需要2～5天,即使轻小型卫星组建的星座缩短了重返周期,也难以满足对遥感特定目标进行实时观测的需求。视频卫星的出现将时间分辨率提升到秒级，在大型商业区车辆实时监测、自然灾害应急快速响应、重大工程监控和军事安全等领域具有重要应用潜力，是未来遥感商业发展的重要方向。卫星视频动态目标追踪指在卫星视频的首帧图像中给出指定典型动态目标(车辆、舰船、飞机等)的初始状态如位置、尺寸，自动估计目标在后续视频中的状态如位置、速度等。该技术方向的研究可以实现如特定目标/群监控，机场、商场等流量估计，交通状况监测及军事安防方面的诸多应用。与普通视频监控数据相比光学卫星视频数据的拍摄视角由普通的平视视角变成俯视，因此产生了以下几方面问题：目标会在图像中发生大范围旋转；相对于地面移动目标来讲，在视频图像中(如空间分辨率≤1m)通常一辆车的大小为4×4像素到20×20像素之间，这就导致了典型的动态目标一般较小并且纹理等特征不明显。视频卫星作为近年来发展的对地观测技术，在目标检测、识别与追踪方面的研究主要针对于动态目标，在追踪方面，使用的方法一般比较简单，并没有将机器视觉中目标追踪领域的先进算法针对视频卫星中的运动目标特性和背景特性进行彻底改进或提出新的跟踪算法，在准确性、鲁棒性与实时性等方面还有待提高。现有的视频目标跟踪算法针对遮挡、目标形变等地面场景因素做出了部分改进，但是因为光学卫星视频动态目标追踪与普通视频的视角不同，当动态目标在图像中发生大范围旋转时，现有的追踪算法会丢失目标，这个问题大大影响了追踪的成功率与精确度。本发明重点面向光学卫星高分辨率对地观测视频数据，提出了卫星视频地面动态目标旋转的自适应追踪方法，在追踪大范围旋转目标时成功率达到99％，并且在cpu上能够实时运行，满足实时应用的需求。如图1卫星视频地面动态目标旋转的自适应追踪方法的流程示意图所示，方法包括；110、获取卫星视频，将卫星视频切分成连续的单帧图像，将切分后的多张单帧图像中的一张单帧图像作为当前帧图像。120、确定当前帧图像的搜索区域，并根据预设旋转池、滤波器和搜索区域，得到当前帧图像的追踪结果，将当前帧图像的下一帧图像确定为当前帧图像。130、循环执行上述处理，直到所有单帧图像处理完成，得到卫星视频的追踪结果。进一步地，步骤120中还包括：当当前帧图像是首帧图像时，根据所标注的当前帧图像中的待追踪目标，确定当前帧图像的搜索区域；根据当前帧图像的搜索区域和第一滤波器，得到当前帧图像的追踪结果和第一滤波器的参数，并将待追踪目标的旋转角度设置为初始旋转角度；或，当前帧图形非首帧图像时，根据上一帧图像的追踪结果，确定当前帧图像的搜索区域，根据预设旋转池、第二滤波器和搜索区域，得到当前帧图像的追踪结果，并更新第一滤波器的参数和待追踪目标的旋转角度。进一步地，利用水平矩形框标注首帧图像确定待追踪目标；以待追踪目标的中心坐标为首帧图像的搜索区域的中心，首帧图像的搜索区域的大小为预设值，确定首帧图像的搜索区域，并根据首帧图像的搜索区域确定首帧图像的第一图像特征；将第一图像特征输入至第一滤波器中进行训练，得到第一滤波器的参数。进一步地，当前帧图像非首帧图像时，以所述上一帧图像中的待追踪目标的中心坐标作为所述当前帧图像中的区域中心，选取预设大小的搜索区域，将所述搜索区域从所述当前帧图像中切出，得到第一图像块；将所述第一图像块利用所述预设旋转池进行旋转，得到第二图像块，并根据所述第二图像块，得到所述当前帧图像的目标旋转角度；获取所述第一图像块的第二图像特征，将所述第二图像特征输入至所述第二滤波器中，得到所述当前帧图像的目标响应图；根据所述目标旋转角度和所述目标响应图，得到所述当前帧图像的追踪结果，并根据所述第二图像特征确定所述第一滤波器的参数，同时根据所述目标旋转角度和所述初始旋转角度确定所述待追踪目标的旋转角度。进一步地，将输入至分类器中的数据表示为循环位移形式，并将循环位移形式的数据链接为循环矩阵；将循环矩阵变换到傅里叶域，通过脊回归的形式构建目标函数，对脊回归的闭解进行处理，得到第一滤波器的训练模型；将分类器的线性回归变为非线性回归形式，得到核函数，并得到求解核函数的参数的函数；基于高斯核和求解核函数的参数的函数，得到第二滤波器。应理解，在目标追踪的初始化阶段使用首帧图像对分类器进行训练，由于样本数量的缺失，使分类器容易过拟合从而导致准确率下降。因此，采用通过使用循环位移的方法来增加样本的数量，且与一般的算法不同，通过回归的方法来构建分类器，离目标中心越近的点越接近1，离目标中心越远的点越接近0，即越接近1表示该点为目标的可能性越大。使用脊回归的形式构建目标函数：其中，xi是提取第i帧图像得到的图像特征，i是帧图像的序号，且i是正整数，λ为人工设置的超参数用来防止过拟合，y是高斯函数，目标中心为1，随着与目标中心的距离增加衰减到0，ω为滤波器参数，，脊回归的闭解形式是ω＝(xtx+λi)-1xty，根据循环矩阵的性质，得到ω＝(xtx+λi)-1xty，进而得到第一滤波器的训练模型x为所有训练样本xi连接成的样本矩阵，xt为该矩阵的转置，i为单位矩阵。其中，为ω，x，y的dft变换。为的复共轭。·表示逐元素相乘。λ为脊回归的正则化系数。通过使用循环矩阵的性质，在傅里叶域中计算，而不需要迭代的构建循环位移样本，但是参与计算的样本具有循环位移的效果，并且避免了求矩阵逆的计算消耗，使得kcf达到了非常高的计算效率。此外，为了提高分类器的性能，使用核技巧将分类器的线性回归变为非线性回归，则f(x)可以写成其中κ(z,xi)为核函数，通过该函数可以得到z，z是首帧图像的图像特征。α可以通过来求解。αi的含义为使用了核技巧后的滤波器参数。使用核技巧滤波器参数为αi，不使用核技巧滤波器参数为ω，这两个参数的物理意义是相同的，在实际追踪中，可以根据需要选择使用第一滤波器或者第二滤波器相互替换。是高斯核之后使用图像特征计算得到的数值。若使用高斯核，其中c表示特征的通道数，则第二滤波器其中，x与z是占位符，x为当前帧图像所提取图像特征组成的矩阵，其中图像特征为多通道特征，xc是多通道特征的某一通道的特征。在追踪过程中，首先在目标中心位置，以2.5倍的目标尺度大小的窗口采样，用采样得到的搜索区域并计算特征作为训练样本x。利用公式计算α。在当前帧图像中，使用上一帧图像的追踪结果的中心位置作为采样中心，相同大小进行采样，并通过计算得到当前帧图像的目标响应图。进一步地，将第二图像特征作为训练样本，对求解核函数的参数的函数进行训练，并与第一滤波器的参数进行线性插值。应理解，为了保证滤波器可以适应待追踪目标的变化，需要对第一滤波器进行更新，通过使用第二图像特征对公式进行训练，并与第一滤波器的参数进行线性插值，从而更新第一滤波器的参数。进一步地，将第一图像块利用预设旋转池进行旋转，得到第二图像块，并根据第二图像块，得到当前帧图像的目标旋转角度；应理解，在首帧图像中，初始化待追踪目标的旋转角度为rc＝0，在追踪阶段，定义预设旋转池r＝[-2,-1,0,1,2]，其中的数值代表旋转的角度。利用仿射变换旋转搜索区域，得到图像块，其中旋转角度为{r+rc|r∈r}，r是预设旋转池，图像块为通过公式计算，得到当前帧图像的目标旋转角度，因为滤波器的输入必须是固定大小，旋转后的图像块的大小发生了改变，对于大于滤波器输入的图像裁剪其边缘，对于小于滤波器输入的图像在其边缘补零，则当前帧图像的目标旋转角度可以通过公式计算得到。通过rc＝rc+ri更新待追踪目标的旋转角度，即根据得到的当前帧图像的目标旋转角度与上一帧图像相比的目标旋转角度，来累加得到当前帧图像与首帧图像之间的目标旋转角度。rc表示当前帧图像与首帧图像间的目标旋转角度，ri表示当前帧图像与上一帧图像之间的目标旋转角度。需要说明的是，当使用梯度直方图hog作为提取图像特征的方法时，hog的cellsize设置为4×4来获得图像的局部梯度信息。在训练第一滤波器的过程中,为了避免过拟合,使用了脊回归的方式，公式中的正则化参数λ设置为0.0001，为了使算法可以适应目标的变化，需要对第一滤波器参数进行更新，更新方法使用插值来进行，更新率设置为0.012，回归的目标函数是一个二维高斯函数，该高斯分布的带宽为其中w与h为目标的宽与高，搜索区域的大小为2.5倍目标大小。进一步地，构建帧图像的图像特征的方法包括梯度直方图和光流法。进一步地，通过光流法构建帧图像的图像特征，具体包括：依据光流法的三个假设条件：亮度恒定，即一个像素点随着时间的变化，其亮度值(像素灰度值)是恒定不变的；小运动，即时间的变化不会引起位置的剧烈变化，因此可以利用相邻帧之间的位置变化引起的灰度值变化，去求取灰度对位置的偏导数。空间一致，即前一帧图像中相邻像素点在后一帧图像中也是相邻的。而为了求取x,y方向的速度，需要建立多个方程联立求解，空间一致假设就可以利用邻域n个像素点来建立n个方程。例如，上一帧图像的时间为t，当前帧图像的时间为t+δt，则上一帧图像中的像素点i(x,y,z,t)在当前帧图像中的位置为i(x+δx,y+δy,z+δz,t+δt)。根据亮度恒定假设i(x,y,z,t)＝i(x+δx,y+δy,z+δz,t+δt)。根据小运动假设，将上式右侧用泰勒级数展开：得到：ixvx+iyvy＝-it，其中ix、iy和it分别为帧图像在(x,y,t)方向的差分；根据空间一致性假设，利用ixvx+iyvy＝-it，在3x3窗口内的9个像素点建立方程使用最小二乘求解，得到帧图像的图像特征。基于上述实施例提供的卫星视频地面动态目标旋转的自适应追踪方法，针对现有的追踪算法无法有效实现卫星视频中常出现的地面动态目标大范围旋转时的跟踪问题，通过保持特征图的稳定，来避免梯度直方图特征在目标旋转的过程中发生巨大的变化，从而大幅提高了算法追踪大范围旋转目标的正确率。通过估计目标每一帧的旋转角度，在追踪过程中将目标固定到同一角度，实现在不增加太多计算量的原则下，大幅提高特征图的稳定性。根据目标旋转角度，自适应计算目标边界框大小变化的方法，本发明实现在根据卫星视频进行地面目标追踪过程中，可以得到更加精准的目标边界框，提高追踪的准确率。因此，本发明技术方案可以在诸如敏感目标监控、特定目标定位、交通流量监控及相关安防、军事等领域发挥重要的应用价值。可选地，在一些实施例中，可以包括如上部分或全部实施例的组合。在本发明的其他实施例中，还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上述技术方案所述的卫星视频地面动态目标旋转的自适应追踪方法的步骤。如图2卫星视频地面动态目标旋转的自适应追踪装置的结构框架图所示，装置适用于卫星视频地面动态目标的追踪，该装置包括：存储器1，用于存储计算机程序；处理器2，用于执行计算机程序，实现如上述任意实施例及其组合所述的卫星视频地面动态目标旋转的自适应追踪方法。下面结合实例，对本发明的技术效果做进一步说明。使用来自于中国长光卫星技术有限公司研制吉林一号卫星星座的卫星视频数据。选取六段视频，共六个目标来进行实验，数据空间分辨率约为1米，帧率为10帧/秒，共计2000帧。其中，两段视频共两个目标为飞机，来自法兰克福与中国贵州的机场，飞机尺寸约为50×40像素；其余视频的共四个目标为车辆，观测了法兰克福、曼谷、明尼苏达等地区的交通情况。为进行技术方案的算法验证比较，我们选择使用图像视频领域的kcf，dsst和mdnet算法，mdnet为深度学习算法，dsst为加入了尺度估计的相关滤波算法。跟踪结果的主要评价指标是跟踪领域重要的两个指标：auc和成功率。重叠率是追踪算法估计的目标区域与人工标注的目标区域的重叠率，其大于给定阈值则认为该图像帧追踪成功。根据不同的阈值，可以得到不同的追踪成功率，因此可以获得一条曲线successplot，该曲线的线下面积auc可以用来衡量追踪算法的综合性能。中心误差是追踪算法估计的目标位置的中心点与人工标注的目标的中心点的距离。该指标可以衡量算法的定位精度。中心误差小于给定阈值则认为该图像帧追踪成功。根据不同的阈值，可以得到不同的追踪成功率，因此可以获得一条曲线precisionplot。本技术方案测试了在追踪旋转目标与非旋转目标时的性能。参见表1总追踪结果，本发明所采用的方法在auc、成功率和定位成功率方面都是最高的。表1总追踪结果本发明kcfdsstmdnetauc70.7156.4168.2652.24成功率92.9665.9978.9963.48定位成功率99.8469.8877.3464.60参见表2旋转目标追踪结果，在追踪旋转目标时，本发明采用的方法无论是auc还是成功率都是最高的。表2旋转目标追踪结果本发明kcfdsstmdnetauc65.9739.2360.2957.05成功率92.9041.6264.8271.73定位成功率99.8148.1561.1473.66与kcf相比，本发明的auc比其高了26.74％，成功率高了51.28％，定位成功率高了51.66％。这些结果证明了本发明所采用的方法对于追踪旋转目标的有效性。dsst的auc的比mdnet高了3.24％，但是其定位成功率低于mdnet，这说明mdnet可以更准确的定位目标，证明了深度学习类算法对于定位目标的鲁棒性。参见表3非旋转目标追踪结果，在追踪非旋转目标时，本发明所采用的定位精度高于dsst与kcf。表3非旋转目标追踪结果这表明即使目标没有发生大范围旋转，本发明所采用的方法依然可以改进相关算法的定位能力。在实时性方面，根据实验结果，本发明所采用的方法可以以大约26帧每秒的速度运行，可以满足实时要求。以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本
技术领域：
的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。当前第1页12