一种基于关键点回归的卫星影像舰船部件检测方法与流程

1.本发明属于卫星影像识别领域，更具体地涉及一种基于关键点回归的卫星影像舰船部件检测方法。


背景技术：

2.舰船是海上运输的重要载体，对军事侦察、环境保护、海洋检测等领域具有重要意义。舰船目标检测作为海上态势感知的一项重要技术，是舰船目标跟踪、状态估计的前提，在军事及民用领域有着广阔的应用前景。随着遥感技术的快速发展，利用卫星影像进行舰船目标检测，具有全天时、全天候、不受领空限制等优势。然而，卫星影像相比于自然场景图像存在影像尺寸大、分辨率不足、成像质量较差、目标旋转变化、目标小、目标少等特点。
3.近些年，深度学习技术在计算机视觉领域的应用，使得目标检测性能相比于传统手工设计特征的算法有了大幅提升，当前基于深度学习技术的舰船目标检测方法在数据增强、特征提取、特征重用、损失函数设计等方面进行了改进，一定程度上缓解了卫星影像分辨率不足、目标小且少的问题，但是舰船目标的检测准确率仍有待提升。另外，现有的检测方法只能检测舰船目标属性及位置分布，无法确定舰船的关键点和舰船的关键部件。


技术实现要素：

4.本发明的目的是针对卫星影像舰船检测中的数据长尾分布、检测结果属性粒度较粗、目标旋转变化等问题，提出了一种能够同时进行舰船目标检测及舰船部件检测的方法。
5.本发明采用的技术方案为：
6.一种基于关键点回归的卫星影像舰船部件检测方法，包括以下步骤：
7.步骤1，构建卫星遥感影像舰船部件检测训练数据集，并对遥感影像中的部件类型及位置进行人工标注；其中，部件类型包括舰船位置、舰船类别及舰炮、垂直放射系统、舰桥、停机坪、舷号和起降跑道；
8.步骤2，采用最小化变异系数方法对具备明显长尾效应的训练数据进行数据扩增和均衡化处理；
9.步骤3，构建舰船目标及部件检测模型，包括目标检测网络和部件检测网络；其中，目标检测网络中的特征提取器采用局部稠密连接卷积神经网络和特征金字塔，局部稠密连接卷积神经网络用于对输入影像进行特征提取，特征金字塔用于对提取特征进行多尺度汇聚；
10.步骤4，根据旋转框交并比计算准则，计算目标检测损失函数，依据舰船部件关键点编码表征方式计算部件检测损失函数，将目标检测损失函数和部件检测损失函数纳入到舰船目标及部件检测损失函数中；
11.步骤5，利用扩增和均衡化处理后的训练数据集对舰船目标及部件检测模型进行训练，训练过程中根据目标检测网络输出的目标坐标，对目标检测网络的输入图像和特征金字塔汇聚的融合特征图进行目标切片对齐，得到插值规整后的目标及特征图切片，将目
标及特征图切片作为部件检测网络的输入，通过反向传播优化算法循环迭代，得到训练好的舰船目标及部件检测模型；
12.步骤6，将待检测影像输入到训练好的舰船目标及部件检测模型中，对舰船目标的预测坐标和舰船部件的关键点坐标和尺寸进行解码，在原始图像中标记舰船目标及部件检测结果。
13.进一步的，步骤2中的数据扩增和均衡化方法具体为：
14.设置数据集扩增倍数向量y，y＝{(y1,y2,...yn)|yi∈n
+
}，yi表示第i张影像的扩增倍数，n
+
表示正整数，统计训练数据集中所有影像中包含的目标类别数量，用矩阵x表示，其中x
i,j
表示第i张影像中j类目标的个数，则训练数据集中各类目标数量的分布用向量z＝y
t
x表示，z越趋近均匀分布，数据集分布就越趋近均衡化，为此建立如下最小化变异系数数学模型，对训练数据进行数据扩增和均衡化处理：
[0015][0016][0017]
式中表示n维正整数向量，表示n×m维整数矩阵，n表示数据集影像数量，m表示数据集目标类别数量，y为决策变量，可行域为n维正整数向量，x为常量，目标函数为表示z＝y
t
x的变异系数，约束条件为s∈n
+
，表示约束扩增之后的影像数量不大于s，对扩增的影像采用随机仿射变换、随机对比度变换、随机裁剪及加噪声处理。
[0018]
进一步的，步骤3中局部稠密连接卷积神经网络采用cspdarknet53网络模型，特征金字塔采用三层fpn结构。
[0019]
进一步的，步骤4中，目标检测损失包括位置损失、置信度损失和类别损失三部分；即：
[0020]
loss(ship)＝loss(object)+loss(unit)
[0021]
loss(object)＝loss(location)+loss(object_confidence)+loss(object_class)
[0022]
其中loss(ship)为舰船目标及部件检测的损失函数，loss(object)为舰船目标检测损失，loss(unit)为部件检测损失，loss(location)为目标检测位置损失，loss(object_confidence)为置信度损失，loss(object_class)为类别损失；
[0023]
目标检测位置损失采用兼顾旋转框交并比、中心点距离和角度偏差的损失函数设计，具体为：
[0024][0025]
其中，p表示代表特征金字塔中的三层特征图，s表示每层特征图的网格尺寸，b表示每个网格预先设置的锚点框个数，iou为预测框与真实框的交并比，dis(core)为预测框与真实框中心点坐标的距离，dis(diag)为预测框与真实框最小外包矩形的对角线长度，
sin(θ)为预测框与真实框长边夹角的正弦值，λ为角度损失系数；
[0026]
目标检测置信度损失采用交叉熵损失，目标检测类别损失采用二分交叉熵损失。
[0027]
进一步的，步骤5中目标切片对齐采用感兴趣区域池化方法，使得所有目标及特征切片的尺寸保持一致。
[0028]
进一步的，步骤4中，采用关键点回归损失作为部件检测损失函数，即：
[0029][0030]
其中，n表示目标检测输出的所有目标个数，m表示目标的部件个数，dis(point1,point2)表示预测部件和真实部件中心点坐标之间的欧氏距离，w1和h1分别表示预测部件的宽度和长度，w2和h2分别表示真实部件的宽度和长度；
[0031]
训练时采用adam优化算法进行参数训练。
[0032]
本发明相对于现有技术的优点为：
[0033]
(1)构建了卫星影像舰船部件检测训练数据集，为采用深度学习方法进行部件级检测提供了数据驱动；
[0034]
(2)采用最小化变异系数方法进行数据扩增和均衡化处理，缓解了数据分布的长尾效应，同时扩充了样本空间；
[0035]
(3)通过关键点回归的方式进行部件级检测，训练阶段能够迅速收敛，预测阶段能够快速定位舰船的关键点和关键部件的尺寸。
附图说明
[0036]
图1为本发明卫星影像舰船目标及部件标注实例展示图。
[0037]
图2为本发明提出的方法的总体技术流程图。
[0038]
图3(a)为本发明使用的数据集的舰船及部件数据分布图，图3(b)为本发明数据扩增之后的舰船及部件数据分布图。
[0039]
图4(a)为本发明使用的目标检测位置损失示意图，图4(b)为本发明使用的关键点回归损失函数示意图。
具体实施方式
[0040]
当前，一些基于深度学习技术的舰船目标检测方法在数据增强、特征提取、特征重用、损失函数设计等方面进行了改进，一定程度上缓解了卫星影像分辨率不足、目标小且少的问题，但是舰船目标的检测准确率仍有待提升。另外，现有的检测方法只能检测舰船目标属性及位置分布，无法确定舰船的关键点和舰船的关键部件。所以，本发明提出了一种基于关键点回归的卫星影像舰船部件检测方法，具体流程图如图2所示。卫星影像舰船目标及部件标注实例如图1所示。
[0041]
下面结合附图对本发明的具体实施方式和基本原理做进一步说明。
[0042]
步骤1，数据集标注。构建卫星影像舰船部件检测训练数据集，对遥感影像中的舰船位置、舰船类别及舰炮、垂直放射系统、舰桥、停机坪、舷号、起降跑道等部件类型及位置进行人工标注，标注实例如图1所示。
[0043]
步骤2，数据扩增。采用最小化变异系数方法对具备明显长尾效应的训练数据进行
数据扩增和均衡化处理。首先，统计数据集中所有影像中包含的目标类别数量，如图3(a)所示为本发明使用的数据集的各目标类别数量，其中包括6种部件类别和23种舰船型号类别，类别分布极不平衡，存在明显的长尾效应。其次，建立最小化变异系数的最优化目标函数，该优化问题为混合整数非线性规划问题。然后，采用分枝界定法求解最优化的解。最后，根据求解结果进行数据扩增及随机变换，如图3(b)为数据扩增及均衡化之后的舰船及部件数据分布图，长尾效应得到显著缓解。以往的随机裁剪、随机翻转等数据增强手段并不能解决数据分布不平衡问题，本发明采用的数据增强方法可以在提高数据多样性的同时，缓解数据分布不平衡的问题。
[0044]
数据扩增和均衡化方法具体为：
[0045]
设置数据集扩增倍数向量y，y＝{(y1,y2,...yn)|yi∈n
+
}，yi表示第i张影像的扩增倍数，n
+
表示正整数，统计训练数据集中所有影像中包含的目标类别数量，用矩阵x表示，其中x
i,j
表示第i张影像中j类目标的个数，则训练数据集中各类目标数量的分布用向量z＝y
t
x表示，z越趋近均匀分布，数据集分布就越趋近均衡化，为此建立如下最小化变异系数数学模型，对训练数据进行数据扩增和均衡化处理：
[0046][0047][0048]
式中表示n维正整数向量，表示n×m维整数矩阵，n表示数据集影像数量，m表示数据集目标类别数量，y为决策变量，可行域为n维正整数向量，x为常量，目标函数为表示z＝y
t
x的变异系数，约束条件为s∈n
+
，表示约束扩增之后的影像数量不大于s，对扩增的影像采用随机仿射变换、随机对比度变换、随机裁剪及加噪声处理。
[0049]
步骤3，构建舰船目标及部件检测模型，包括目标检测网络和部件检测网络；其中，目标检测网络中的特征提取器采用局部稠密连接卷积神经网络和特征金字塔，局部稠密连接卷积神经网络用于对输入影像进行特征提取，特征金字塔用于对提取特征进行多尺度汇聚；其中，局部稠密连接卷积神经网络采用cspdarknet53网络模型，特征金字塔采用三层fpn结构。
[0050]
步骤4，根据旋转框交并比计算准则，计算目标检测损失函数，依据舰船部件关键点编码表征方式计算部件检测损失函数，将目标检测损失函数和部件检测损失函数纳入到舰船目标及部件检测损失函数中；
[0051]
目标检测损失包括位置损失、置信度损失和类别损失三部分，其中，位置损失根据旋转框交并比(iou)计算准则计算，如图4(a)所示，本发明的旋转框交并比计算准则兼顾了旋转角度和中心点距离。旋转角度用旋转框的长边与旋转框长边的夹角θ表示，中心点距离用的中心点a与的中心点b的欧氏距离ab和与的最小外接矩形的对角线欧氏距离de的比值表示，iou用与的交集的面积和与并集面积的比值表示。目标检测置信度损失采用交叉熵损失，目标检测类别损失采用二分交叉熵损失。本发明
采用的位置损失函数相比于以往的方法，能够加快训练过程，提高检测位置精度。
[0052]
目标检测损失包括位置损失、置信度损失和类别损失三部分；即：
[0053]
loss(ship)＝loss(object)+loss(unit)
[0054]
loss(object)＝loss(location)+loss(object_confidence)+loss(object_class)
[0055]
其中loss(ship)为舰船目标及部件检测的损失函数，loss(object)为舰船目标检测损失，loss(unit)为部件检测损失，loss(location)为目标检测位置损失，loss(object_confidence)为置信度损失，loss(object_class)为类别损失；
[0056]
目标检测位置损失采用兼顾旋转框交并比、中心点距离和角度偏差的损失函数设计，具体为：
[0057][0058]
其中，p表示代表特征金字塔中的三层特征图，s表示每层特征图的网格尺寸，b表示每个网格预先设置的锚点框个数，iou为预测框与真实框的交并比，dis(core)为预测框与真实框中心点坐标的距离，dis(diag)为预测框与真实框最小外包矩形的对角线长度，sin(θ)为预测框与真实框长边夹角的正弦值，λ为角度损失系数；
[0059]
目标检测置信度损失采用交叉熵损失，目标检测类别损失采用二分交叉熵损失。
[0060]
采用关键点回归损失作为部件检测损失函数，即：
[0061][0062]
其中，n表示目标检测输出的所有目标个数，m表示目标的部件个数，dis(point1,point2)表示预测部件和真实部件中心点坐标之间的欧氏距离，w1和h1分别表示预测部件的宽度和长度，w2和h2分别表示真实部件的宽度和长度；
[0063]
训练时采用adam优化算法进行参数训练。
[0064]
本发明的关键点编码方式采用归一化表示方法，如图4(b)所示，用关键点坐标及部件长宽尺寸除以目标切片的长宽，得到(x，y，w，h)四元表征方式。
[0065]
步骤5，利用扩增和均衡化处理后的训练数据集对舰船目标及部件检测模型进行训练，训练过程中根据目标检测网络输出的目标坐标，对目标检测网络的输入图像和特征金字塔汇聚的融合特征图进行目标切片对齐，得到插值规整后的目标及特征图切片，本发明的对齐方式采用roi池化方法，将所有切片规整到7
×
49尺度；将目标及特征图切片作为部件检测网络的输入，通过反向传播优化算法循环迭代，得到训练好的舰船目标及部件检测模型；
[0066]
步骤6，将待检测影像输入到训练好的舰船目标及部件检测模型中，对舰船目标的预测坐标和舰船部件的关键点坐标和尺寸进行解码，在原始图像中标记舰船目标及部件检测结果。
[0067]
本发明提供一种能够同时进行舰船目标检测及舰船部件检测的方法，通过数据均衡化处理方法，克服舰船目标及部件数据分布的长尾效应，提升检测精度；通过关键点回归的方法进行部件级细粒度检测，从而克服目标遮挡、影像模糊等问题，可以为舰船属性、状态的估计提供精细识别结果。