一种基于深度学习的船舶目标跟踪方法与流程

本发明涉及计算机视觉的目标跟踪领域，尤其涉及一种基于深度学习的船舶目标跟踪方法。

背景技术：

我国海岸线极长，水域类型复杂，贸易、渔业、交通等行业的各类船舶在我国海域内活动频繁。新形势下，可以通过多平台多传感器等途径获得海量的船舶图像与视频数据，这些数据具有“5v+1c”的特点，即大容量(volume)、多样性(variety)、时效性(velocity)、准确性(veracity)、价值(value)以及复杂性(complexity)，给监测部门带来了巨大的挑战。所以，船舶监测领域迫切需要一种高效的自动目标跟踪识别方法，对海量视频数据中的船舶目标进行自动跟踪与识别，及时传给中心数据，进而为船舶的态势分析提供重要的信息，实现对特定区域和场景下的船舶活动的监测与异常预警。

现有技术的船舶目标跟踪方法主要存在以下三个问题：

1、需要手工设计特征，对场景的泛化能力不足，容易忽略背景信息，造成跟踪漂移。

2、依赖已有的检测结果，算法复杂度较高，无法在线进行目标跟踪。

3、没有考虑运动的非线性的特点，自适应能力差。

故，针对现有技术的缺陷，实有必要提出一种技术方案以解决现有技术存在的技术问题。

技术实现要素：

有鉴于此，确有必要提供一种基于深度学习的船舶目标跟踪方法，使用剪枝方法得到一个轻量化的船舶检测网络，再引入到设计的跟踪框架中，降低算法的复杂度，提高算法对场景的适应能力，并能够实现在线实时的船舶目标跟踪。

为了克服现有技术的缺陷，本发明的技术方案如下：

一种基于深度学习的船舶目标跟踪方法，包括以下步骤：

步骤s1：使用自建船舶分类和检测数据集对深度网络进行训练和压缩；

步骤s2：使用训练好的轻量化模型检测视频中的船舶目标并进行跟踪；

其中，步骤s1进一步包括：

步骤s11：获取大规模船舶图像数据集，并将它们分为分类数据集和检测数据集两部分，分别进行标注，其中，分类数据集标注格式为imagenet格式(一种通用的分类数据集标注格式)，检测数据集标注格式为voc2007格式(一种通用的检测数据集标注格式)；

步骤s12：使用分类数据集对原始yolov3网络中的特征提取模型进行训练，得到一个初始的网络权重模型，其中，yolov3网络为一种新型的检测网络；

步骤s13：采用特定的通道剪枝方法逐步对步骤s12得到的初始权重模型进行压缩，其基本思想是将权值较小的连接进行剪枝，重新训练权重，对训练好的模型再剪枝，再重新训练，直到满足设定条件为止；该步骤是s13进一步包括：

步骤s131：设计网络压缩性能评估算法，如下：

s.t||λ||0≤c,

其中，α是n维特征向量，αi表示特征向量的第i个通道，βi为特征向量第i个特征通道所对应的卷积核通道，λ是通道选择的开关向量，c是开关向量的长度，μ是惩罚系数，||x||2为l2范数，||x||1为l1范数，||x||0为l0范数，它们的计算公式为：

其中，l0范数表示向量中非零元素的个数，l1范数表示向量中非零元素的绝对值之和；

步骤s132：通过步骤s131中的方程评估压缩算法的性能，对剪枝的通道选择参数进行优化，无限逼近最优值；对于开关向量，λi＝0表示特征通道ai被剪枝，λi＝1表示特征通道ai被保留；

步骤s133：按照步骤s132中的剪枝方法逐层对步骤s12的深度网络模型进行通道剪枝，每次剪枝之后重新训练权重，再对训练好的模型再剪枝，再重新训练，直到满足设定条件为止；

步骤s14：将原始检测网络中特征提取网络替换为步骤s13得到的轻量化模型，保持原有输入输出不变，使用船舶检测数据集进行训练，得到一个轻量化的船舶检测网络；

步骤s2使用经过训练的轻量化检测网模型实时检测的视频中的船舶目标并进行跟踪，该步骤进一步包括：

步骤s21：将步骤s14训练好的轻量化检测网络移植到船舶目标跟踪框架中，实时检测视频每帧图像上的船舶目标；

步骤s22：设计跟踪框架中的运动状态预测算法，得到运动状态预测结果；该步骤进一步包括：

步骤s221：给船舶运动系统建模，考虑在二维平面坐标系内的边界框(x,y,h,r)，其中(x,y)为边界框的中心点坐标，h为边界框的高，r为边界框的纵横比。考虑其在某一时刻t的位置、速度以及加速度可用一个12维的状态空间x(t)＝[xt,yt,ht,rt,xt′,yt′,ht′,rt′,xt″,yt″,ht″,rt″]表示；

步骤s222：根据扩展卡尔曼滤波器的原理，设计一个船舶目标的状态预测算法，如下：

在笛卡尔坐标系下该边界框的运动状态方程为：

x(t)＝fx(t-1)+w(t-1)

其中x(t)为目标状态空间，w(t-1)为t-1时刻的系统噪声，f为系统的状态转移矩阵；

系统的观测方程为：z(t)＝g[x(t)]+v(t)

其中v(t)为t时刻的测量噪声，g为非线性函数；

状态方程是线性的，观测方程是非线性的，可得其线性化观测方程：

其中为x(t)的滤波值；

系统噪声w(t)具有协方差矩阵q，测量噪声v(t)具有协方差矩阵r，两者均已知。初始滤波值取x(0)，初始滤波均方差矩阵p0已知；

状态一步预测：

均方差矩阵一步预测：p(t,t-1)＝fp(t-1)f^t+q

滤波增益：k(t)＝p(t,t-1)g^t(t)[g(t)p(t,t-1)g^t(t)r]^-1

滤波均方差矩阵：p(t)＝[i-k(t)g(t)]p(t,t-1)

其中i为单位矩阵；

最后，得到状态滤波值：

其中式中所有的符号含义已在上面给出。

步骤s223：使用步骤s222的算法，对检测边界框进行运动状态预测，得到预测结果；

步骤s23：设计船舶跟踪框架中的跟踪匹配策略，实现在线的船舶目标跟踪；该步骤进一步包括：

步骤s231：通过步骤s21检测视频第1帧图像，得到的检测结果用于跟踪框架的初始化；

步骤s232：在t时刻，利用t-1时刻的检测结果初始化扩展卡尔曼滤波器，通过步骤s22得到t时刻目标可能出现的位置区域；通过s21检测t时刻的目标位置，计算检测结果与预测结果的iou(intersectionoverunion)过滤交并比低于阈值的预测结果：

其中xpos表示检测结果的边界框的左上角坐标和右下角坐标，表示为其中(x,y)表示边界框的中心点坐标，r表示边界框的纵横比，h表示边界框的高；相同的，pos表示预测结果的边界框的左上角和右下角坐标；

步骤s233：通过步骤s232过滤之后剩下的跟踪结果与t时刻的检测结果计算向量空间的马氏距离，取最小的马氏距离为t时刻目标i与轨迹j的运动匹配度：

其中xi表示第i个检测结果的状态空间，表示第j个预测结果的状态空间，σ表示样本的协方差矩阵；

步骤s234：当步骤s233得到的运动匹配度小于训练好的阈值时，则认为匹配成功，用对应的检测结果跟踪该跟踪轨迹；对于未匹配的检测结果和未匹配的跟踪轨迹，分别计算其中每个检测边界框与每条轨迹最新一个匹配成功的结果边界框之间的iou，当iou大于0.9时，则将此检测结果与该轨迹匹配；

步骤s235：设计目标消失的停止跟踪策略，设定每一条轨迹当出现连续30帧图像都无法关联成功时，判定目标消失，停止轨迹的更新。

与现有技术相比较，本发明具有的有益效果：

实用性：本发明利用船舶数据集训练得到的轻量化的船舶检测模型，提高了目标检测的速度，解决了深度学习的目标检测网络速度较慢，跟踪依赖已有检测结果的问题；设计高效的跟踪框架，降低了跟踪算法的复杂度，提高了模型复现性，具有实际应用意义；

适应性：本发明对船舶运动状态进行建模，引入非线性滤波器，能够更好的适应船舶的运动规律以及数据特点，提高了系统的自适应能力；本发明通过深度网络对船舶目标进行特征提取，避免了手工设计特征对场景泛化能力不足的问题，缓解了目标在复杂场景中跟踪漂移的问题；

稳定性：本发明使用了效果稳定的轻量化检测网络，通过过滤虚警目标以及设计丢失目标轨迹的再匹配策略，有效的减少了跟踪过程中目标轨迹跳变的次数，提高了跟踪系统的稳定性；

附图说明

图1为本发明提供的一种基于深度学习的船舶目标跟踪方法的整体框架流程图；

图2为本发明提供的一种基于深度学习的船舶目标跟踪方法中步骤s1的框架流程图；

图3为本发明提供的一种基于深度学习的船舶跟踪方法中步骤s13的框架流程图；

图4为本发明提供的一种基于深度学习的船舶跟踪方法中步骤s21的框架流程图；

图5为本发明提供的一种基于深度学习的船舶跟踪方法中步骤s22的框架流程图；

图6为本发明提供的一种基于深度学习的船舶跟踪方法中步骤s23的框架流程图；

如下具体实施例将结合上述附图进一步说明本发明。

具体实施方式

以下将结合附图对本发明提供的技术方案作进一步说明。

参见图1-4，本发明提供一种基于深度学习的船舶目标跟踪方法，图1所示为本发明基于深度学习的船舶目标跟踪方法的架构图，整体而言，本发明包括2大步骤，步骤s1：使用自建船舶分类和检测数据集对深度网络进行训练和压缩，得到一个轻量化的船舶检测网络；步骤s2：使用训练好的轻量化模型检测视频中的船舶目标并进行跟踪；

步骤s1基于自建船舶分类与检测数据集，利用通道剪枝的方法迭代训练初始特征提取网络模型，在深度网络的众多参数中有些参数权重很低，造成了冗余，可以通过通道剪枝的方法舍去这些权重较低的通道，减小内存开销，提高检测速度，增加网络实用性。

图2所示为本发明提供的一种基于深度学习的船舶目标跟踪方法中上述步骤s1的框架流程图，其进一步包括以下步骤：

步骤s11：获取大规模船舶图像数据集，并将它们分为分类数据集和检测数据集两部分，分别进行标注；

步骤s12：使用分类数据集对原始检测网络yolov3(一种新型的检测网络)中的特征提取模型进行训练，得到一个初始的网络权重模型；

步骤s13：采用特定的通道剪枝方法逐步对步骤s12得到的初始权重模型进行压缩；

图3所示为本发明提供的一种基于深度学习的船舶目标跟踪方法中上述步骤s13的框架流程图，其进一步包括以下步骤：

步骤s131：设计网络压缩性能评估算法，如下：

s.t||λ||0≤c,

其中，α是n维特征向量，αi表示特征向量的第i个通道，βi为特征向量第i个特征通道所对应的卷积核通道，λ是通道选择的开关向量，c是开关向量的长度，μ是惩罚系数；

步骤s132：通过步骤s131中的方程评估压缩算法的性能，对剪枝的通道选择参数进行优化，无限逼近最优值；对于开关向量，λi＝0表示特征通道ai被剪枝，λi＝1表示特征通道ai被保留；

步骤s133：按照步骤s132中的剪枝方法逐层对步骤s12的深度网络模型进行通道剪枝，每次剪枝之后重新训练权重，再对训练好的模型再剪枝，再重新训练，直到满足设定条件为止；

步骤s14：将原始检测网络中特征提取网络替换为步骤s13得到的轻量化模型，保持原有输入输出不变，使用船舶检测数据集进行训练，得到一个轻量化的船舶检测网络；

参见图1，本发明一种基于深度学习的船舶目标跟踪方法中步骤s2进一步包括以下步骤：

步骤s21：将步骤s14训练好的轻量化检测网络移植到船舶目标跟踪框架中，实时检测视频每帧图像上的船舶目标；

参见图4，所示为本发明提供的一种基于深度学习的船舶目标跟踪方法中上述步骤的框架图；

步骤s22：设计跟踪框架中的运动状态预测算法，得到运动状态预测结果；

参见图5，所示为本发明提供的一种基于深度学习的船舶目标跟踪方法中上述步骤的框架流程图，其进一步包括以下步骤：

步骤s221：给船舶运动系统建模，考虑在二维平面坐标系内的边界框(x,y,h,r)，其中(x,y)为边界框的中心点坐标，h为边界框的高，r为边界框的纵横比。考虑其在某一时刻t的位置、速度以及加速度可用一个12维的状态空间x(t)＝[xt,yt,ht,rt,xt′,yt′,ht′,rt′,xt″,yt″,ht″,rt″]表示；

步骤s222：根据扩展卡尔曼滤波器的原理，设计一个船舶目标的状态预测算法，考虑船舶目标的运动特点以及拍摄场景与设备的多样性，引入非线性滤波器对船舶目标运动状态进行预测，能够提高网络的自适应性，具体算法如下：

在笛卡尔坐标系下该边界框的运动状态方程为：

x(t)＝fx(t-1)+w(t-1)

其中x(t)为目标状态空间，w(t-1)为t-1时刻的系统噪声，f为系统的状态转移矩阵；

系统的观测方程为：

z(t)＝g[x(t)]+v(t)

其中v(t)为t时刻的测量噪声，g为非线性函数；

状态方程是线性的，观测方程是非线性的，可得其线性化观测方程：

其中为x(t)的滤波值；

系统噪声w(t)具有协方差矩阵q，测量噪声v(t)具有协方差矩阵r，两者均已知。初始滤波值取x(0)，初始滤波均方差矩阵p0已知；

状态一步预测：

均方差矩阵一步预测：

p(t,t-1)＝fp(t-1)f^t+q

滤波增益：

k(t)＝p(t,t-1)g^t(t)[g(t)p(t,t-1)g^t(t)r]^-1

滤波均方差矩阵：

p(t)＝[i-k(t)g(t)]p(t,t-1)

其中i为单位矩阵；

最后，得到状态滤波值：

其中式中所有的符号含义已在上面给出；

步骤s223：使用步骤s222的算法，对检测边界框进行运动状态预测，得到预测结果；

步骤s23：设计船舶跟踪框架中的跟踪匹配策略，实现在线的船舶目标跟踪；

参见图6，所示为本发明提供的一种基于深度学习的船舶目标跟踪方法中上述步骤的详细流程图，该步骤进一步包括：

步骤s231：通过步骤s21检测视频第1帧图像，得到的检测结果用于跟踪框架的初始化；

步骤s232：在t时刻，利用t-1时刻的检测结果初始化扩展卡尔曼滤波器，通过步骤s22得到t时刻目标可能出现的位置区域；通过s21检测t时刻的目标位置，计算检测结果与预测结果的iou(intersectionoverunion)过滤交并比低于阈值的预测结果：

其中xpos表示检测结果的边界框的左上角坐标和右下角坐标，表示为其中(x,y)表示边界框的中心点坐标，r表示边界框的纵横比，h表示边界框的高；相同的，pos表示预测结果的边界框的左上角和右下角坐标；

步骤s233：通过步骤s232过滤之后剩下的跟踪结果与t时刻的检测结果计算向量空间的马氏距离，取最小的马氏距离为t时刻目标i与轨迹j的运动匹配度：

其中xi表示第i个检测结果的状态空间，表示第j个预测结果的状态空间，σ表示样本的协方差矩阵；

步骤s234：当步骤s233得到的运动匹配度小于训练好的阈值时，则认为匹配成功，用对应的检测结果跟踪该跟踪轨迹；对于未匹配的检测结果和未匹配的跟踪轨迹，分别计算其中每个检测边界框与每条轨迹最新一个匹配成功的结果边界框之间的iou，当iou大于0.9时，则将此检测结果与该轨迹匹配；

步骤s235：设计目标消失的停止跟踪策略，设定每一条轨迹当出现连续30帧图像都无法关联成功时，判定目标消失，停止轨迹的更新。

与现有技术相比，本发明具有如下技术效果：(1)基于通道剪枝技术，压缩了原有检测网络的大小，提高了网络的检测速度，进而保证了船舶跟踪的实时性；(2)针对船舶运动的状态特点，引入非线性滤波器，提高了跟踪的自适应性；(3)重新设计匹配策略，通过过滤虚警目标以及丢失目标轨迹再匹配的策略，提高了跟踪的稳定性；(4)整体框架简单，降低了算法的复杂度，提高了模型的复现性。

以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。