基于运动估计ME-CNN网络的大场景极小目标跟踪的制作方法

本发明属于遥感视频处理技术领域，涉及大场景极小目标的遥感视频目标跟踪，具体是一种基于运动估计me-cnn网络的大场景极小目标遥感视频跟踪方法。用于安全监控、智慧城市建设和交通设施监测等方面。

背景技术：

遥感目标跟踪是计算机视觉领域的一个重要的研究方向，其中移动的卫星拍摄的大场景极小目标、低分辨率的遥感视频的目标跟踪是极具挑战性的研究问题。大场景小目标的遥感视频记录的是某一地区一段时间的日常活动情况，因为卫星拍摄的高度很高，覆盖大半个城市，因此视频的分辨率不高，车辆、舰船和飞机在视频中的尺寸极小，车辆在视频中的尺寸甚至达到3*3个像素左右，与周围环境的对比度也极低，人眼只能观察到一个小亮点，因此这种超低像素且极小的目标跟踪问题属于大场景极小目标跟踪问题，其难度更大；且由于拍摄视频的卫星不断运动，视频在整体向一个方向有较明显偏移的同时由于地区高低会出现部分地区缩放，使得很难以先做图像配准再进行帧差法的方法得到目标移动位置，给大场景极小目标的遥感视频目标跟踪带来了极大的挑战。

视频目标跟踪是在给定一个视频初始帧中的目标位置和尺寸后，需要预测后续视频帧中的目标位置与尺寸。目前，视频跟踪领域的算法大多基于神经网络(neuralnetwork)和相关滤波(correlationfilter)，其中基于神经网络算法，比如cnn-svm方法的主要思路是先将目标输入多层神经网络，学习目标特征，再利用传统的svm方法做跟踪，其提取的目标特征通过大量的训练数据学习出来，比传统的特征更具有鉴别性；基于相关滤波的算法，比如kcf方法的基本思想是寻找一个滤波模板，让下一帧的图像与滤波模板做卷积操作，响应最大的区域就是预测的目标，用该模板和其他搜索区域做卷积运算，得到最大响应的搜索区域就是目标位置，这种方法的运算速度快，且准确率较高。

自然光学视频跟踪的算法很难应用于大场景极小小目标的遥感视频中，因为目标尺寸极小且模糊，用神经网络无法学习得到有效的目标特征。而传统遥感视频的跟踪方法也不适用于出现背景不断偏移及部分区域缩放的视频上，图像配准和帧差法的技术方法无法实现，且目标和周围环境对比度极低，极易跟丢。

技术实现要素：

本发明的目的在于克服上述现有技术存在的缺陷，提出了一种计算复杂度低，精度更高的基于运动估计的大场景小目标遥感视频跟踪方法。

本发明是一种基于运动估计me-cnn网络的大场景极小目标遥感视频跟踪方法，其特征在于，包括如下步骤：

(1)获取极小目标运动估计网络me-cnn的初始训练集d：

取原始遥感数据视频a的前f帧图像，对每幅图像的同一个目标连续标记边界框，将每个边界框左上角顶点坐标按视频帧数顺序排列在一起作为训练集d；

(2)构建估计极小目标运动的网络me-cnn：包括并联的三个提取训练数据不同特征的卷积模块，再依次层叠连接层、全连接层和输出层；

(3)用极小目标运动参数计算网络me-cnn的损失函数：根据目标的运动规律计算得到目标的运动趋势，并将它作为目标对应的训练标签，再计算训练标签与me-cnn网络的预测结果之间的欧式空间距离，作为me-cnn网络优化训练的损失函数；

(4)判断是否为初始训练集：判断当前训练集是否为初始训练集，如果不是初始训练集，执行步骤(5)，更新损失函数中的训练标签；反之如果是初始训练集，执行步骤(6)，进入网络的循环训练；

(5)更新损失函数中的训练标签：当前训练集不是初始训练集时，使用当前训练集的数据重新计算损失函数的训练标签，计算方法用极小目标运动参数计算训练标签的方法，与步骤(3)的方法相同，重新计算得到的训练标签，参与运动估计网络me-cnn训练，进入步骤(6)；

(6)得到预测目标运动位置的初始模型m1：将训练集d输入目标运动估计网络me-cnn，根据当前的损失函数训练网络，得到预测目标运动位置的初始模型m1；

(7)修正预测模型的位置结果：计算目标的辅助位置偏移量，用偏移量修正运动估计网络me-cnn预测的位置结果；

(7a)得到目标灰度图像块：根据预测目标运动位置的初始模型m1得到下一帧的目标位置(px,py)，根据得到的目标位置(px,py)在下一帧的图像中取出目标的灰度图像块，并进行归一化，得到归一化后的目标灰度图像块；

(7b)得到目标位置偏移量：对归一化后的目标灰度图像块进行亮度分级，使用垂直投影法确定图像块中目标的位置，计算得到的目标中心位置与图像块中心的位置的距离，即得到目标位置偏移量；

(7c)得到修正后的目标位置：利用得到的目标位置偏移量修正运动估计网络me-cnn预测目标的位置，得到目标修正后的所有位置；

(8)用修正后的目标位置更新训练数据集，完成一帧的目标跟踪：将得到的目标左上角位置加入训练集d最后一行，并移除训练集d的第一行，进行一次性操作，得到了一个修正并更新的训练集d，完成一帧的训练，得到了一帧的目标位置结果；

(9)判断目前的视频帧数是否小于总视频帧数：如果小于总视频帧数就循环重复步骤(4)～步骤(9)，进行目标的跟踪优化训练，直至遍历所有的视频帧，继续训练，反之如果等于总视频帧数，结束训练，执行步骤(10)；

(10)得到遥感视频目标跟踪结果：累积得到的输出即为遥感视频目标跟踪结果。

本发明解决了现有视频跟踪算法存在的计算复杂度高，跟踪精度较低的问题。

本发明与现有技术相比，具有以下优点：

(1)本发明采用的运动估计网络me-cnn无需传统方法中先进行图像配准再进行帧差法或者复杂的图像背景建模得到目标的运动轨迹，可以通过神经网络对前f帧图像的目标位置组成的训练集的分析，网络预测得到目标的运动趋向，不需要人工标注后续视频帧中的目标位置标签，即可实现网络自循环训练，不仅大大减少了跟踪算法的复杂度，提高了算法的实用性。

(2)本发明采用的算法，采用me-cnn网络和辅助位置偏移量方法结合的方式自行修正遥感视频目标位置，根据目标的运动规律，修改了运动估计网络的损失函数，减小了网络的计算量，提高了目标跟踪的鲁棒性。

附图说明

图1是本发明的实现流程图；

图2是本发明提出的me-cnn网络的结构示意图；

图3是采用本发明对大场景中极小目标的预测轨迹结果与标准目标轨迹的曲线对比图，本发明的预测结果为绿色曲线，红色为准确目标轨迹。

具体实施方式

下面结合附图和具体实施例，对本发明作详细描述。

实施例1

大场景极小目标遥感视频跟踪在安全监控、智慧城市建设和交通设施监测等方面发挥重要作用。本发明研究的遥感视频是移动的卫星拍摄的大场景极小目标、低分辨率的遥感视频。本发明研究的视频跟踪的目标极其模糊，且目标极小，与周围环境的对比度也很低，人眼在目标不运动的情况下也很难看出目标是车辆，视频又由于卫星的移动和拍摄地区的海拔高度变化会出现图像平移及部分缩放，其目标跟踪的难度相比清晰视频的目标跟踪大大提高，也是遥感视频跟踪的一个挑战。现有的方法主要有两种，一种是利用神经网络学习提取目标特征，在下一帧提取多个搜索框，选取目标特征得分最高的一个框为目标所在位置，这种方法由于目标超模糊又极小，无法提取到有效特征，无法应用于本发明的视频。另一种是先将图像配准再进行帧差法得到目标运动轨迹，再寻找一个滤波模板，让下一帧的图像与滤波模板做卷积操作，响应最大的区域就是预测的目标，这种方法由于本发明的视频不仅出现图像平移，更出现了部分缩放，大大加大了图像配准的复杂度，增大了计算难度，很难提取到有效的运动轨迹。因此本发明针对这些现状，经过研究提出一种基于运动估计me-cnn网络的大场景极小目标遥感视频跟踪方法，参见图1，包括如下步骤：

(1)获取极小目标运动估计网络me-cnn的初始训练集d：

取原始遥感数据视频a的前f帧图像，在每幅图像中只选定一个目标，对每幅图像的同一个目标连续标记边界框，本发明中将极小目标为目标，将每个边界框左上角顶点坐标按视频帧数顺序排列在一起作为训练集d，其中采用图像坐标系，训练集d是一个f行2列的矩阵，每一行对应的是一帧的目标坐标位置，其中目标的位置可以以左上角顶点的坐标表示，也可以由中心坐标表示，不影响对目标运动情况的分析。

(2)构建估计极小目标运动的网络me-cnn：本发明的me-cnn网络包括并联的三个提取训练数据不同特征的卷积模块以得到目标的不同运动特征，再依次层叠连接层融合提取到的不同的运动特征、全连接层和输出层得到输出结果，总体构成me-cnn网络。本发明的使用三个卷积模块以得到目标的不同运动特征，单个卷积模块很难处理得到整个训练集的特征，如果网络层较深会出现梯度消失的问题，因此本发明对网络进行加宽，多个尺度的提取训练集不同情况的特征，减小了网络复杂度，加快网络速度。由于本发明的视频不断移动偏移且由于地区的高低不同出现部分区域缩放，因此针对这种视频无法使用图像配准加帧差法和背景建模等方法，此时就可以使用me-cnn网络得到目标运动轨迹，相对现有的方法模型复杂度低，计算量小。

(3)用极小目标运动参数计算网络me-cnn的损失函数：根据目标的运动规律计算得到目标的运动趋势，并将它作为目标对应的训练标签，再计算训练标签与me-cnn网络的预测结果之间的欧式空间距离，作为me-cnn网络优化的损失函数，本发明中训练用的损失函数可以加强对训练数据的分析，帮助网络快速的提取到有效的特征，用以优化运动估计网络me-cnn。

(4)判断是否为初始训练集：判断当前训练集是否为初始训练集，如果当前训练集不是初始训练集，执行步骤(5)，更新损失函数中的训练标签，进而参与网络训练。反之，如果当前训练集是初始训练集，执行步骤(6)，进入网络的循环训练。

(5)更新损失函数中的训练标签：由于训练集d在后续步骤(8)中不断更新，训练过程中需要根据更新后的训练集d不断调整损失函数中的训练标签，当前训练集不是初始训练集时，应该使用当前训练集的数据重新计算损失函数的训练标签，计算方法用极小目标运动参数计算训练标签的方法，与步骤(3)的方法相同；重新计算得到的训练标签，参与运动估计网络me-cnn训练，进入步骤(6)。

(6)得到预测目标运动位置的初始模型m1：将训练集d输入目标运动估计网络me-cnn，根据当前的损失函数训练网络，得到预测目标运动位置的初始模型m1。

(7)修正预测模型的位置结果：计算目标的辅助位置偏移量，用偏移量修正运动估计网络me-cnn预测的位置结果。

(7a)得到目标灰度图像块：根据预测目标运动位置的初始模型m1得到下一帧的目标位置(px,py)，根据得到的目标位置(px,py)在下一帧的图像中取出目标的灰度图像块，并进行归一化，得到归一化后的目标灰度图像块，由于目标的尺寸极小，与周围环境的对比度极低，用神经网络判断偏移量的方法对其效果较差，因此先取得较小的目标框，再在框内判断偏移量的方法较好。

(7b)得到目标位置偏移量：对归一化后的目标灰度图像块进行亮度分级，将目标和道路以不同的亮度显示，同时由于道路周边环境和目标对比度极低，使用垂直投影法确定图像块中目标的位置，计算得到的目标中心位置与图像块中心的位置的距离，即得到目标位置偏移量。

(7c)得到修正后的目标位置：利用得到的目标位置偏移量修正运动估计网络me-cnn预测目标的位置，得到目标修正后的所有位置，包括目标左上角的位置。

(8)用修正后的目标位置更新训练数据集，完成一帧的目标跟踪：将得到的目标左上角位置加入训练集d最后一行，并移除训练集d的第一行，进行一次性操作，得到了一个修正并更新的训练集d，完成一帧的训练，得到了一帧的目标位置结果，这种循环修改训练集的方法更新了网络参数，减小了目标帧间差异，适应目标运动。

(9)判断目前的视频帧数是否小于总视频帧数，如果小于总视频帧数就循环重复步骤(4)～步骤(9)，重新更新模型参数，提高模型适应性，进行目标的跟踪优化训练，直至遍历所有的视频帧，继续训练，反之如果目前的视频帧数等于总视频帧数，结束训练，执行步骤(10)。

(10)得到遥感视频目标跟踪结果：训练结束后，累积得到的目标位置输出即为遥感视频目标跟踪结果。

本发明采用的运动估计网络me-cnn无需传统方法中先进行图像配准再进行帧差法或者复杂的图像背景建模得到目标运动轨迹，提出的新算法通过神经网络对前f帧图像的目标位置组成的训练集的分析，可以有效提取目标运动特征。由于网络过深会出现梯度消失等问题，因此采用多尺度分析的me-cnn网络预测得到目标的运动趋向，不需要人工标注后续视频帧中的目标位置标签，即可实现网络自循环训练，不仅大大减少了跟踪算法的复杂度，提高了算法的实用性，通过目标的运动估计网络可以无需图像配准、快速准确的找到目标位置。使用me-cnn网络和辅助位置偏移量方法结合的方式自行判断对遥感视频目标位置，根据目标的运动情况，得到目标的运动速度，分析它可能的运动趋势，还修改了运动估计网络的损失函数，提高了目标跟踪的鲁棒性。

本发明利用一种基于深度学习的方法来对超模糊的目标进行运动分析，预测其下一步的预测方向，再辅以位置偏移量修正运动估计网络，不需要后续标签，即可进行目标跟踪，从而避免了跟踪中大场景图像配准，超模糊目标特征提取难的问题，显著的提高了超模糊视频中目标跟踪的准确度，也适用于其他各种遥感视频中的跟踪。

实施例2

基于运动估计me-cnn网络的大场景极小目标遥感视频跟踪方法同实施例1，步骤(2)中所述的构建估计极小目标运动的网络me-cnn，如图2，包括有如下步骤：

(2a)运动估计网络的整体结构：运动估计网络me-cnn，包括并联的三个卷积模块，本发明用并联的三个卷积模块提取不同的运动特征，之后并联的三个卷积模块再依次连接到连接层、全连接层和输出层。本发明构建估计极小目标运动的网络me-cnn中使用连接层融合提取的不同运动特征，使用全连接层提炼分析，通过输出层输出得到结果。

(2b)并联的三个卷积模块的结构：并联的三个卷积模块，分别为卷积模块ι、卷积模块ιι和卷积模块ιιι，其中

卷积模块i包含局部连接的locallyconnected1d卷积层，步长为2提取目标的坐标位置信息；

卷积模块ιι包含空洞卷积，其步长为1；

卷积模块ιιι包含步长为2的一维卷积；

卷积模块ι、ιι和ιιι获取目标不同尺度的位置特征，得到三个输出数据，然后将三个卷积模块的输出串联在一起得到融合卷积结果；再输入全连接层及输出层，得到最后预测结果。本发明的使用三个卷积模块以得到目标的不同运动特征，单个卷积模块很难处理得到整个训练集的特征，如果网络层较深会出现梯度消失的问题，因此本发明对网络进行加宽，多个尺度的提取训练集不同情况的特征，减小了网络复杂度，加快网络速度。由于本发明的视频不断移动偏移且由于地区的高低不同出现部分区域缩放，因此针对这种视频无法使用图像配准加帧差法和背景建模等方法，此时就可以使用me-cnn网络得到目标运动轨迹，相对现有的方法模型复杂度低，计算量小。

实施例3

基于运动估计me-cnn网络的大场景极小目标遥感视频跟踪方法同实施例1-2，步骤3中所述的用极小目标运动参数计算网络me-cnn的损失函数，通过处理训练集d的数据，对目标的运动情况进行大致的分析，对运动估计网络me-cnn的优化方向有一定的指导作用，包括有如下步骤：

(3a)获取训练集d目标位移：将训练集d第f行、第f-2行、第f-4行的数据取出，分别与训练集d第一行数据相减，得到第f帧、第f-2帧、第f-4帧分别与第一帧之间的目标位移依次为s1、s2、s3。s1为第f帧与第一帧之间的目标位移，s2为第f-2帧与第一帧之间的目标位移，s3为第f-4帧与第一帧之间的目标位移。如果训练集不是初始训练集，而是过更新i次的训练集d，训练集每一行对应的帧数也在相应改变，变为第1+i帧，第2+i帧，……，第f+i帧，将训练集d第f行、第f-2行、第f-4行的数据取出，分别与训练集d第一行数据相减，得到的分别是第f+i帧、第f+i-2帧、第f+i-4帧的目标位移分别与第一帧之间依次为s1、s2、s3。

(3b)得到目标的运动趋势：

根据目标的运动规律，利用得到的目标位移，分别在图像坐标系的x,y方向按照下列公式计算得到目标的运动趋势(gx,gy)；

v1＝(s1-s2)/2

v2＝(s2-s3)/2

a＝(v1-v2)/2

g＝v1+a/2

本发明中使用图像坐标系，图像坐标系是以图像左上角为原点，水平向右为x方向，垂直向下为y方向。上式中，v1为位移s1与s2间的目标运动速度，v2为位移s2与s3间的目标运动速度，a为运动加速度，g为目标的运动趋势。

(3c)构建运动估计网络me-cnn的损失函数：

根据目标的运动规律计算得到目标的运动趋势，并将它作为目标对应的训练标签，计算得到的目标运动趋势(gx,gy)与估计网络me-cnn输出的预测位置(px,py)之间的欧式空间距离，构建为运动估计网络me-cnn的损失函数；

式中，gx为图像坐标系下x方向的目标运动趋势，gy为图像坐标系下y方向的目标运动趋势，px为运动估计网络在图像坐标系下x方向的预测结果，py为运动估计网络在图像坐标系下y方向的预测结果。

下面给出一个综合性的例子，对本发明进一步说明

实施例4

基于运动估计me-cnn网络的大场景极小目标遥感视频跟踪方法同实施例1-3，

参照图1、一种基于运动估计me-cnn网络的大场景极小目标遥感视频跟踪方法，包括如下步骤：

(1)获取极小目标运动估计网络me-cnn的初始训练集d：

取原始遥感数据视频a的前f帧图像，对每幅图像的一个目标连续标记边界框，将每个边界框左上角顶点坐标叠加在一起作为训练集d，其中训练集d是一个f行2列的矩阵，每一行对应的是视频中一帧的目标坐标，其中目标的位置可以以左上角顶点的坐标表示，也可以由中心坐标表示，不影响对目标运动情况的分析，本发明中将极小目标简称为目标。

(2)构建估计极小目标运动的网络me-cnn：包括并联的三个提取训练数据不同特征的卷积模块以得到目标的不同运动特征，单个卷积层很难处理得到整个训练集的特征，如果网络层较深会出现梯度消失的问题，因此对网络进行加宽，多个尺度的提取训练集不同情况的特征，可以减小网络复杂度，加快网络速度，再依次层叠连接层用以融合提取的运动特征、全连接层加以分析和输出层得到结果。

(2a)运动估计网络的整体结构：运动估计网络me-cnn，包括并联的三个卷积模块，再依次层叠连接层、全连接层、输出层；

(2b)并联的三个卷积模块的结构：并联的三个卷积模块，分别为卷积模块ι、卷积模块ιι和卷积模块ιιι，其中

卷积模块i包含局部连接的locallyconnected1d卷积层，步长为2提取目标的坐标位置信息；

卷积模块ιι包含空洞卷积，其步长为1；

卷积模块ιιι包含步长为2的一维卷积；

卷积模块ι、ιι和ιιι获取目标不同尺度的位置特征，得到三个输出数据，然后将三个卷积模块的输出串联在一起得到融合卷积结果；再输入全连接层及输出层，得到最后预测结果。

(3)构建极小目标运动估计网络me-cnn的损失函数：根据目标的运动规律计算得到目标的运动趋势，并将它作为目标对应的训练标签，再计算其与me-cnn网络的预测结果之间的欧式空间距离，作为me-cnn网络的损失函数；

(3a)获取训练集d目标位移：如果训练集是初始训练集，将训练集d第f行、第f-2行、第f-4行的数据取出，分别与训练集d第一行数据相减，得到第f帧、第f-2帧、第f-4帧分别与第一帧之间的目标位移依次为s1、s2、s3。s1为第f帧与第一帧之间的目标位移，s2为第f-2帧与第一帧之间的目标位移，s3为第f-4帧与第一帧之间的目标位移。如果训练集不是初始训练集，而是过更新i次的训练集d，训练集每一行对应的帧数也在相应改变，变为第1+i帧，第2+i帧，……，第f+i帧，将训练集d第f行、第f-2行、第f-4行的数据取出，分别与训练集d第一行数据相减，得到的分别是第f+i帧、第f+i-2帧、第f+i-4帧的目标位移分别与第一帧之间依次为s1、s2、s3。

(3b)得到目标的运动趋势：

根据目标的运动规律，利用得到的训练数据目标位移，分别在图像坐标系的x,y方向按照下列公式计算得到目标的运动趋势(gx,gy)。

v1＝(s1-s2)/2

v2＝(s2-s3)/2

a＝(v1-v2)/2

g＝v1+a/2

(3c)构建运动估计网络me-cnn的损失函数：

计算得到的目标运动趋势(gx,gy)与估计网络输出的预测位置(px,py)之间的欧式空间距离，构建为运动估计网络me-cnn的损失函数。

(4)更新损失函数中的训练标签：由于训练集d在后续步骤(7)中不断更新，训练过程中需要根据更新后的训练集d不断调整损失函数中的训练标签，参与运动估计网络me-cnn训练。

(5)得到预测目标运动位置的初始模型m1：将训练集d输入目标运动估计网络me-cnn，根据损失函数训练网络，得到预测目标运动位置的初始模型m1。

(6)修正预测模型的位置结果：计算目标的辅助位置偏移量，用偏移量修正运动估计网络me-cnn预测的位置结果。

(6a)得到目标灰度图像块：根据预测目标运动位置的初始模型m1得到下一帧的目标位置(px,py)，根据得到的目标位置(px,py)在下一帧的图像中取出目标的灰度图像块，并进行归一化，得到归一化后的目标灰度图像块，由于目标的尺寸极小，与周围环境的对比度极低，用神经网络判断偏移量的方法对其效果较差，因此先取得较小的目标框，再在框内判断偏移量的方法较好。

(6b)得到目标位置偏移量：对归一化后的目标灰度图像块进行亮度分级，使用垂直投影法确定图像块中目标的位置，计算得到的目标中心位置与图像块中心的位置的距离，即得到目标位置偏移量。

(6c)得到修正后的目标位置：利用得到的目标位置偏移量修正运动估计网络me-cnn预测目标的位置，得到目标修正后的所有位置，包括目标左上角的位置。

(7)用修正后的目标位置更新训练数据集，完成一帧的目标跟踪：将得到的目标左上角位置加入训练集d最后一行，并移除训练集d的第一行，进行一次性操作，得到了一个修正并更新的训练集，完成一帧的训练，得到了一帧的目标位置结果。

(8)得到遥感视频目标跟踪结果：循环重复步骤(4)～步骤(7)，不断的用更新后的训练集根据步骤(3)中的方法重新得到训练标签，更新网络模型，反复迭代，进行目标的跟踪逼近训练，直至遍历所有的视频帧，累积得到的输出即为遥感视频目标跟踪结果。

本例中目标的运动估计模型还可以通过前几帧的目标运动，提取目标所在的道路信息，在地图上找到相同经纬度的目标所在城市，通过道路匹配到相应的道路情况，预测目标运动情况，充分利用道路的三维信息，在道路高度变化较为剧烈，视频中有部分缩放的情况也能较准确的跟踪目标；目标的辅助位置偏移量也可通过训练神经网络得到，但是需要提前对目标及周围环境进行处理，得到对比度较高的图像块，即可对神经网络进行训练。

以下结合仿真试验，对本发明的技术效果作进一步说明：

实施例5

基于运动估计me-cnn网络的大场景极小目标遥感视频跟踪方法同实施例1-4，

仿真条件和内容：

本发明的仿真平台为：主频为2.40ghz的intelxeoncpue5-2630v3cpu，64gb的运行内存，ubuntu16.04操作系统，软件平台为keras和python。显卡：geforcegtxtitanx/pcie/sse2×2。

本发明使用的是吉林一号视频卫星拍摄的利比亚德尔纳地区的遥感视频，以前10帧图像的车辆作为目标，对图像中的目标标记边框，边框左上顶点的位置作为训练集dateset。分别以本发明和现有基于kcf的目标跟踪方法对目标视频进行跟踪仿真。

仿真内容与结果：

对比方法即现有基于kcf的目标跟踪方法，用本发明方法和对比方法在上述仿真条件下进行实验，即运用对比方法与本发明对利比亚德尔纳地区遥感视频中车辆目标进行跟踪，得到me-cnn网络的预测目标轨迹结果(绿色曲线)与准确目标轨迹(红色曲线)的对比图如图3，得到表1的结果如下。

表1.利比亚德尔纳地区遥感视频目标跟踪结果一览表

仿真结果分析：

表1中，precision表示me-cnn网络预测的目标位置与标签位置的区域重叠率，iou表示边界框的中心位置和标签中心位置的平均欧氏距离小于给定阈值的百分比，在本例中，选取给定阈值为5，kcf表示对比方法，me-cnn表示本发明的方法。

参见表1，从表1的数据对比中可以看出本发明大幅度的提高了跟踪的精度，本发明将precision由63.21％提高到了85.63％，

从表1中可见边界框的中心位置和标签中心位置的平均欧氏距离小于给定阈值的百分比iou，本发明将对比方法基于kcf的目标跟踪方法的58.72％提高到76.51％。

参见图3，图3中红色曲线为标准目标轨迹曲线，绿色曲线为采用本发明对同一目标进行的跟踪预测估计曲线，绿色方框内显示有大场景中的极小目标，对比两条曲线，可见两条曲线高度一致，基本重合，证明了本发明跟踪精度高。

简言之，本发明提出的一种基于运动估计me-cnn网络的大场景极小目标遥感视频跟踪方法，可以在拍摄卫星不断运动，视频出现整体平移和部分缩放，视频的分辨率极低且目标尺寸极小的情况下提高跟踪精度，解决了无需配准利用运动参数进行极小目标跟踪的问题，实现步骤为：获取极小目标运动估计网络me-cnn的初始训练集d；构建估计极小目标运动的网络me-cnn；用极小目标运动参数计算网络me-cnn的损失函数；判断是否为初始训练集；更新损失函数中的训练标签；得到预测目标运动位置的初始模型m1；修正预测模型的位置结果；用修正后的目标位置更新训练数据集，完成一帧的目标跟踪；判断目前的视频帧数是否小于总视频帧数；得到遥感视频目标跟踪结果。本发明使用深度学习网络me-cnn预测目标运动位置，避免了现有方法跟踪中大场景图像配准，超模糊目标特征提取难的问题，减小对目标特征的依赖性，显著的提高了超模糊视频中目标跟踪的准确度，也适用于其他各种遥感视频中的跟踪。