一种遥感影像码头目标检测方法

1.本发明涉及一种遥感影像码头目标检测方法，属于遥感影像处理技术领域。


背景技术：

2.随着遥感技术的快速发展，利用遥感影像进行海洋近岸目标检测逐渐成为当前研究的热点。码头作为典型的海洋近岸目标，对其进行监测和提取为海战场环境建设和海洋经济开发提供重要依据。然而遥感影像中码头目标具有方向任意、尺寸多样等特点，并且受周围舰船、人工地物等环境影响，实现码头目标的精准定位具有挑战性。传统码头目标检测的方法包括边缘检测方法、面向对象的码头识别方法以及基于特征的港口检测方法，这些方法主要利用海岸带水边线的信息或者码头的长度、宽度等形状特征，通过虚警剔除和目标确认的过程实现码头的检测。然而这些方法受主观因素影响较大，在存在云层、舰船、海浪等干扰因素下难以准确提取码头目标。
3.近年来，深度学习特别是卷积神经网络(convolutional neural networks,cnns)在计算机视觉领域取得了巨大成功，基于深度学习的目标检测方法受到广泛关注，并取得了巨大的成就。其中r-fcn和fasterr-cnn等两阶段的检测方法，主要包括区域建议和区域分类两阶段。两阶段检测网络首先使用选择性搜索算法或者区域建议网络(region proposal network，rpn)生成一系列候选框，然后进行目标分类和边界框回归；与两阶段检测网络不同，单阶段检测网络同时完成分类和定位两项任务，具有速度上的优势，例如ssd、yolo等。此外，yolov3、yolov4利用性能更优异的骨干网络、多尺度融合等策略对yolo网络进行改进，使模型在速度和精度上均得到了有效提升，为利用深度学习网络实现遥感影像目标检测奠定了基础。
4.这些先进的目标检测方法通常采用水平矩形框来描述所检测的目标，适用于自然场景影像的检测，但是无法满足遥感影像中码头目标检测的需求。在遥感影像中，码头目标通常具有较大的长宽比，并且具有一定的方向性，采用水平框检测时会包含过多的冗余信息，无法准确定位目标。另外，码头通常散乱分布在复杂场景中，水平检测框的冗余区域包含的噪声信息会干扰特征的提取，极大地影响码头目标检测的效果。


技术实现要素：

5.本发明的目的是提供一种遥感影像码头目标检测方法，以解决目前采用水平检测对遥感影像码头进行检测存在定位精度差的问题。
6.本发明为解决上述技术问题而提供一种遥感影像码头目标检测方法，该方法包括以下步骤：
7.1)获取待检测的遥感影像；
8.2)将待检测的遥感影像输入到所述目标检测模型中，以输出码头目标检测结果；
9.所述目标检测模型包括主干网络、特征融合网络和预测层；
10.所述主干网络用于对输入的遥感影像进行特征提取，得到不同尺度大小的的特征
图；
11.所述特征融合网络包括spp模块、psa注意力模块和特征金字塔模块，所述spp模块用于对主干网络输出的特征进行最大池化操作，将不同尺度的特征图进行融合；所述psa注意力模块用于对spp模块的输出结果进行切分并提取尺度特征和通道注意力加权，得到具有多尺度特征和注意力加权的特征图；所述的特征金字塔模块用于多得到的具有多尺度特征和注意力加权的特征图进行反复特征提取与融合，得到具有目标精确的位置信息和高层语义信息的特征；
12.所述预测层利用建立有多维角点坐标检测框和得到的具有目标精确的位置信息和高层语义信息的特征对待检测目标进行定位，所述的多维角点坐标包括检测框四个角点的坐标。
13.本发明以yolov4水平框检测算法为基础，在特征融合网络中增加psa注意力模块，利用psa注意力模块获得不同尺度的感受野，并通过提取通道的注意权重，以得到不同尺度通道注意力的权重，实现对不同尺度的上下文信息进行融合，进一步提升网络的检测精度；同时采用多维角点坐标检测框标定码头目标，能够有效表示码头目标的真实边界，解决码头方向任意的问题，进一步提升了目标的定位精度，实现了码头目标的准确检测。
14.进一步地，所述的psa注意力模块包括有spc模块、se模块和输出模块；所述spc模块用于将spp模块输出的特征图在通道维度上切分成若干部分，并对每部分进行不同尺度的特征提取，得到各部分特征向量，生成对应通道的特征图；所述se模块用于从各通道的特征图中提取对应通道注意力向量，并对各通道注意力向量重新进行特征标定，得到对应的多尺度通道交互后的注意力权重；输出模块用于根据得到的注意力权重对对应通道的特征图进行加权融合处理，得到具有多尺度特征和注意力加权的特征图。
15.本发明首先利用spc模块获得不同尺度的感受野，以更好地提取影像的多尺度信息；其次，利用se模块提取通道的注意权重，以得到不同尺度通道注意力的权重，使得psa模块能够对不同尺度的上下文信息进行融合。
16.进一步地，所述spc模块采用分组卷积对每部分进行不同尺度的特征提取，每组的卷积核与该分组的大小有关，卷积核大小k与分组之间的关系为：
[0017][0018]
其中，g为分组的大小，k为卷积核的大小。
[0019]
本发明为卷积核大小的不断增加会带来巨大的参数，因此对切分后各部分特征向量进行分组卷积时，定义卷积核大小k和每一部分的分组大小相关。
[0020]
进一步地，所述的目标检测模型在训练时采用的多维角点坐标损失函数：
[0021]
l＝l
pre
+l
conf
+l
cls
[0022][0023][0024][0025]
s2表示输入的遥感影像被划分的网格个数，b表示每个网格中先验框的个数，，pr
(object)表示当前先验框中是否包含目标，当包含目标时pr(object)的值为1，当没有目标时pr(object)值为0；x、y、x
gt
、y
gt
分别表示检测框和真实框坐标，c和c
gt
分别表示预测置信度和真实置信度，p和p
gt
分别表示预测类别的概率和真实概率。
[0026]
为了能对具有方向信息的物体标定出更加贴合目标的检测框，本发明使用多维角点坐标来标定目标，因此，在对模型进行训练时，采用多维角点坐标损失函数来优化角点坐标检测框的检测结果。
[0027]
进一步地，所述的主干网络采用cspdarknet53网络。
[0028]
本发明选用cspdarknet53作为骨干网络，将yolov3的骨干网络darknet53与跨阶段局部网络结合，从而更好地提取影像的特征信息。
[0029]
进一步地，所述的预测层包括有3个，每个预测层中均包含有8个坐标信息、1个边框置信度和1个类别置信度。
[0030]
进一步地，所述的边框置信度采用的计算公式为：
[0031][0032]
其中c
ij
为第i个网格中第j个先验框；pr(object)表示当前先验框中是否包含目标，当包含目标时pr(object)的值为1，当不包含目标时pr(object)值为0；表示预测边界框与真实边界框的交并比，在0～1之间。
附图说明
[0033]
图1是目前yolov4网络结构示意图；
[0034]
图2是采用的cspdarknet53结构示意图；
[0035]
图3-a是cspdarknet53结构中cbm结构示意图；
[0036]
图3-b是cspdarknet53结构中残差连接结构示意图；
[0037]
图4是cspdarknet53结构中cspn模块结构图；
[0038]
图5是cspdarknet53结构中spp模块结构示意图；
[0039]
图6是cspdarknet53结构中panet模块结构图；
[0040]
图7是本发明的所采用的改进的yolov4网络结构示意图；
[0041]
图8-a是目前采用水平框标注示意图；
[0042]
图8-b是本发明所采用的改进的yolov4中预测层使用的多维角点坐标检测框标注示意图；
[0043]
图9是本发明所采用的改进的yolov4中特征融合网络使用的psa模块结构图；
[0044]
图10是本发明所采用的psa模块中spc模块结构示意图；
[0045]
图11-a是突堤式码头示意图；
[0046]
图11-b是扩展式码头示意图；
[0047]
图11-c是顺岸式码头示意图；
[0048]
图12-a是实验过程中采用ssd算法在数据集1上的码头识别结果示意图；
[0049]
图12-b是实验过程中采用yolov3算法在数据集1上的码头识别结果示意图；
[0050]
图12-c是实验过程中采用yolov4算法在数据集1上的码头识别结果示意图；
[0051]
图13-a是实验过程中采用ssd算法在数据集2上的码头识别结果示意图；
[0052]
图13-b是实验过程中采用yolov3算法在数据集2上的码头识别结果示意图；
[0053]
图13-c是实验过程中采用yolov4算法在数据集2上的码头识别结果示意图；
[0054]
图14-a是实验过程中数据集1上的码头标记真值示意图；
[0055]
图14-b是实验过程中采用yolov4-m算法在数据集1上的码头识别结果示意图；
[0056]
图14-c是实验过程中采用本发明算法在数据集1上的码头识别结果示意图；
[0057]
图15-a是实验过程中数据集2上的码头标记真值示意图；
[0058]
图15-b是实验过程中采用yolov4-m算法在数据集2上的码头识别结果示意图；
[0059]
图15-c是实验过程中采用本发明算法在数据集2上的码头识别结果示意图；
[0060]
图16是实验过程中不同主干网络的损失函数loss曲线对比图；
[0061]
图17是采用本发明的目标检测方法对大幅遥感影像码头识别检测结果示意图。
具体实施方式
[0062]
下面结合附图对本发明的具体实施方式作进一步地说明。
[0063]
本发明在现有yolov4的基础上，在特征融合网络中增加psa注意力模块，利用psa注意力模块获得不同尺度的感受野，并通过提取通道的注意权重，以得到不同尺度通道注意力的权重，实现对不同尺度的上下文信息进行融合，进一步提升网络的检测精度；同时采用多维角点坐标检测框标定码头目标，能够有效表示码头目标的真实边界，解决码头方向任意的问题，进一步提升了目标的定位精度，实现码头目标的准确检测。在对本发明进行介绍前，先对yolov4算法进行介绍。
[0064]
yolov4是一种单阶段目标检测算法，融合了近年来比较优秀的目标检测思想，从而较好地实现了网络检测精度和速度的平衡。yolov4主要包括主干网络、特征融合网络以及预测层。如图1所示，输入尺寸为480
×
480像素的图像，经过cspdarknet53主干网络进行特征提取，然后利用空间金字塔池化模块(space pyramid pool,spp)和路径聚合网络(path aggregation network,panet)进一步增强图像特征，最后通过预测层得到最终检测结果。
[0065]
yolov4选取cspdarknet53作为骨干网络，cspdarknet53将yolov3的骨干网络darknet53与跨阶段局部网络(cross stage paritial network，cspnet)结合，从而更好地提取影像的特征信息。cspdarknet53结构如图2所示。其中cbm模块包括卷积层conv、批归一化(batch normalization,bn)以及mish激活函数，如图3-a所示。残差连接(res_unit)结构与resnet网络的残差结构类似，如图3-b，通过跳跃连接使得输入信息能够直接传输到后面的层，简化网络学习的难度。cspn是在darknet53的每个残差块上引入的cspnet，由cbm和n个res_unit模块组成，如图4所示。cspnet主要从网络结构设计方面解决计算量大的问题，其中csp模块将输入的特征图分成了两部分，一部分通过残差卷积得到残差结果；另一部分直接与得到的残差结果进行跨阶段融合，从而能够在降低计算量的同时仍保证其准确率。
[0066]
特征融合网络包括spp和panet特征金字塔结构，其中spp模块的作用是使卷积神经网络的输入不受固定大小的限制，提高网络的感受野，并有效地提取出重要的上下文信息。如图5所示，spp模块采用池化核大小为1
×
1、5
×
5、9
×
9、13
×
13，对cspdarknet53的最后一个特征层进行最大池化操作，再将不同尺度的特征图进行融合(concat)操作，从而提高图像的尺度不变性。panet是对特征金字塔网络(feature pyramid network,fpn)的进一
步改进，通过对影像特征的反复提取与融合，从而提高网络多尺度特征提取能力。如图6所示，fpn通过上采样的方式将高层网络丰富的语义信息传递到低层网络，并在对应特征层之间利用横向连接的方式实现特征融合，这种自上向下的网络结构更侧重传递高层语义信息。panet利用一个自下向上的路径增强结构(path aggregation network,pan)对fpn结构进行进一步优化，通过下采样操作将低层网络提取到的位置信息传递给高层网络，使得网络能够同时获取目标精确的位置信息和高层的语义信息，以显著提高目标检测的准确性。
[0067]
预测层采用水平检测框实现目标定位，即采用检测框的中心坐标、检测框的置信度以及检测框内目标类别置信度信息，即输入尺寸大小为480
×
480
×
3像素的影像，预测层得到维度为60
×
60
×3×
(4+1+n)、30
×
30
×3×
(4+1+n)和15
×
15
×3×
(4+1+n)的特征图，其中60，30，15分别代表每层输出尺寸大小，3
×
(4+1+n)代表yolov4对每一个尺度的特征层分配3个先验框，另外还包含检测框的4个坐标信息、置信度信息以及n个类别。其中，yolov4利用先验框对待检测目标进行粗略定位，然后按照下式计算出边界框的实际中心点(b
x
,by)和宽高(bw,bh)：
[0068][0069][0070][0071][0072]
式中，为sigmoid函数，(t
x
,ty)为检测框中心点相对于先验框左上角横纵坐标(c
x
,cy)的偏移量，(tw,th)是检测框相对于先验框宽高(pw,ph)的缩放比。检测框的置信度分数计算公式如下所示：
[0073][0074]
其中c
ij
为第i个网格中第j个先验框；pr(object)表示当前先验框中是否包含目标，当包含目标时pr(object)的值为1，当不包含目标时pr(object)值为0；表示预测边界框与真是边界框的交并比，大小在0～1之间。最后利用非极大值抑制剔除冗余检测框，从而得到最终检测的结果。
[0075]
yolov4目标检测算法通过使用性能更优异的主干网络、多尺度特征融合等策略，使目标检测算法在精度和速度上均得到有效提升。但是yolov4目标检测算法检测出的是默认倾斜角度为0的水平目标框，对于自然场景影像中的目标能够得到较好的检测结果，但是对于遥感影像中方向任意的码头目标，yolov4算法难以精准的描述目标大小和角度信息。
[0076]
为了解决上述问题，本发明在现有yolov4算法基础上，提出一种基于改进yolov4算法(简称im-yolov4)的码头目标检测方法，该方法在预测过程中利用多维角点坐标检测框，使得检测结果能够更加准确地描述码头目标，并对yolov4的损失函数进行改进，使其适合码头目标的检测；同时im-yolov4引入金字塔切分注意力模块(pyramid split attention,psa)，以充分提取特征向量的多尺度空间信息和跨维度的重要特征，提高码头目标检测的精度。
[0077]
具体而言，本发明所采用的im-yolov4网络如图7所示，与现有yolov4网络结构相同，包括主干网络、特征融合网络以及预测层，其中主干网络和现有的主干网络相同，采用
的是cspdarknet53网络，其结构如图2所示，这里不再具体介绍。本发明的改进主要是在特征融合网络和预测层，其中在特征融合网络中增加了psa模块，在预测层中用多维角点坐标检测框代替了现有的水平检测框。
[0078]
如图9所示，本发明的增加的psa模块是一种轻量有效的注意力模块，用于提高网络多尺度特征提取能力。psa注意力模块包括有spc模块、se模块和输出模块，首先利用拆分和连接(split and concat,spc)模块获得不同尺度的感受野，以更好地提取影像的多尺度信息；其次，利用se模块提取通道的注意权重，以得到不同尺度通道注意力的权重，使得psa模块能够对不同尺度的上下文信息进行融合；最后将每组通道注意向量进行softmax归一化，输出一个具有多尺度特征信息的特征图。
[0079]
其中，spc模块利用切分特征图的方式，使网络提取各通道特征向量的空间信息，并通过建立局部跨通道连接的方式进行特征融合，从而获得影像的多尺度信息。首先，spc模块将输入特征图x在通道维度上切分成s个部分，切分后各部分特征向量分别用[x0,x1,
…
,x
s-1
]表示(图10为s＝4时spc模块的结构图)。其次，分别利用不同大小的卷积对各特征向量进行空间特征信息的提取，由于卷积核大小的不断增加会带来巨大的参数量，因此对切分后各部分特征向量再进行分组卷积，定义卷积核大小k和每一部分的分组大小g定义为：
[0080][0081]
各部分经过分组卷积生成特征图fi，并将fi堆叠得到多尺度特征图f。
[0082]fi
＝conv(ki×ki
,gi)(xi)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0083]
f＝cat([f0,f1,...,f
s-1
])
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0084]
其中，i＝0,1,2,
…
,s-1。
[0085]
现有预测层采用的水平检测框通常利用一个四维向量(x,y,w,h)对检测目标进行标注，如图8-a所示，其中x,y为检测框的中心点坐标，w,h为检测框的宽和高。这种标注方法利用最少的参数描述了检测框的信息，但对于大长宽比的目标特别是目标的角度呈现任意性时，这种标注方式并不能提供目标的准确边界信息。而遥感影像中码头目标属于具有方向性的目标，水平框标注方法不能表示出码头的方向信息和边界信息，使得检测框中包含大量冗余信息。为了能对具有方向信息的物体标定出更加贴合目标的检测框，本发明使用多维角点坐标(x1,y1,x2,y2,x3,y3,x4,y4)来标定目标。如图8-b所示，其中x1,y1,x2,y2,x3,y3,x4,y4分别表示检测框四个角点的坐标，这种标注方式可以很好地框住带有方向信息的目标，使得检测框更加贴合目标。
[0086]
针对本发明使用多维角点坐标来标定目标，为了适应这种优化，本发明在对im-yolov4模型进行训练时，对损失函数也进行了相应优化，主要构建了多维角点坐标损失函数来优化角点坐标检测框的检测结果，网络总损失函数l由检测框回归损失l
pre
、置信度损失l
conf
以及分类损失l
cls
三部分组成，分别采用smooth l1 loss损失函数、二分类交叉熵损失函数(binary cross entropy loss)以及交叉熵损失函数(cross entropy loss)表示，即：
[0087]
l＝l
pre
+l
conf
+l
cls
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0088]
其中，检测框回归损失l
pre
、置信度损失l
conf
以及分类损失l
cls
计算公式分别如下
所示：
[0089][0090][0091][0092]
式中，s2表示目标检测网络将原始影像划分为s
×
s个网格，b表示每个网格中先验框的个数，先验框是指在特征映射图的每个位置预先定义不同大小的矩形框，包含了不同的宽高比，用来匹配真实物体的矩形框。pr(object)表示当前先验框中是否包含目标，当包含目标时pr(object)的值为1，当没有目标时pr(object)值为0；x、y、x
gt
、y
gt
分别表示检测框和真实框坐标，c和c
gt
分别表示预测置信度和真实置信度，p和p
gt
分别表示预测类别的概率和真实概率。置信度损失l
conf
以及分类损失l
cls
采用现有的损失函数。
[0093]
实验验证
[0094]
为了进一步证明本发明的效果，先对本发明进行实验仿真。分别进行了2组实验，第一组为基于水平检测框的实验，通过对目前主流ssd、yolov3和yolov4单阶段目标检测算法进行实验，以探究各算法在码头目标检测任务中的性能。第二组实验针对多维角点坐标检测框的目标检测算法展开，在水平检测框yolov4算法的基础上进行改进，以实现遥感影像中具有方向信息的码头目标检测。
[0095]
各网络实验均在相同的环境中进行，各训练参数保持一致。为定量评价模型的性能，选取平均准确率(average precision,ap)作为码头检测结果的评价指标，其中平均准确率ap用来对网络整体检测精度进行衡量，定义为准确率(precision,p)随召回率(recall,r)变化的曲线在r从0到1上的积分值，如下式所示：
[0096][0097][0098][0099]
式中，tp为正确检测码头的数量，fp为错误检测的码头数量，fn为漏检的码头数量。
[0100]
1)选取实验数据
[0101]
码头在遥感影像上属于较小目标，灰度、纹理等特征较为简单，为了更好地构建码头数据集进行码头检测，必须充分分析码头的影像特征。码头种类繁多，主要分为突堤式、扩岸式、顺岸式等，难以有一种方法对所有码头进行有效提取。其中，突堤式码头以直角或钝角伸出海岸，如图11-a所示，该类型码头的前沿线与自然岸线呈现出较大角度，在货运量较大的海港较为常见。11(b)扩岸式码头前沿装卸平台通过引桥(或再加引堤)与后方岸线连接，有较为明显的结构特征，如图11-b所示；顺岸式码头与突堤式、引桥式码头结构特征存在巨大差异，如图11-c所示，码头前沿线大体与自然岸线平行，与陆地没有明显的分界线，表面纹理也与道路等条状地物相似，并且与其他加固岸线也难以区分，因此本发明在研
究过程中没有考虑顺岸式码头的提取问题。
[0102]
本实验基于公开的遥感数据集构建了两种类型的码头数据集，分别记为数据集1和数据集2，各数据集的基本信息如表1所示。数据集1选取来自google earth的军用港口地区的影像，经过人工标记构建码头目标检测数据集，并通过数据增强扩充训练数据得到812张训练影像。数据集2取自dota数据集[9，通过影像筛选、裁剪等操作获取1080张包含民用码头的影像，并按1:1的比例对数据集进行随机划分。其中，基于水平框的目标检测算法采用数据集中样本标注的最小外界矩形描述目标。
[0103]
表1
[0104][0105]
2)水平检测框实验
[0106]
为了探究主流水平框目标检测算法对码头目标的检测能力，本实验例基于数据集1和数据集2分别选取ssd、yolov3和yolov4单阶段水平框检测算法进行实验。数据集1中码头为军用类型，图12-a、12-b和12-c为各算法在数据集1中的检测结果。其中，ssd算法无法克服码头周围舰船目标带来的干扰，从而出现错检、漏检现象，如图12-a所示。由于军用码头具有一定的长度和宽度，yolov3检测框会出现目标检测不完整的情况，如图12-b所示。如图12-c所示，yolov4算法能够准确的检测出码头目标，但检测框中同时包含了停靠的舰船目标，给检测结果带来了干扰。
[0107]
数据集2中码头多为民用类型，具有结构细长、尺寸较小、分布杂乱等特点。图13-a、13-b和3-c为各算法在数据集2中的检测结果。如图13-a所示，ssd算法在数据集2中检测效果较差，当码头尺寸较小且周围存在植被等干扰因素时，容易造成漏检现象；另外，码头周围的建筑物也会干扰码头目标的检测，造成误检现象。图13-b展示了yolov3算法在数据2中码头检测的结果，较ssd算法检测结果有明显改善，但仍存在一定的漏检。如图13-c所示，yolov4算法能够较准确的对码头目标进行检测，但是当码头分布密集且结构细长时，不同码头目标的检测框之间会产生叠加，无法准确地定位码头目标。
[0108]
测试集精度评价结果如表2所示。其中，ssd算法利用vgg16作为特征提取网络，两数据集中ap值分别为49.08％和52.89％，在各对比网络中最低，说明ssd算法在码头目标检测任务。yolov3算法利用darknet53作为特征提取网络，在两数据集中ap值分别为75.39％和82.61％，检测精度明显优于ssd算法。yolov4算法是通过对yolov3算法的进一步改进得到，选用cspdarknet53作为特征提取网络，在两个码头目标检测数据集上ap值分别达到81.84％和84.78％，较yolov3算法分别提高了6.45％、2.17％，证明yolov4水平框检测算法在码头目标检测任务中具有最优性能，为后续实现任意方向的码头目标检测奠定了基础。
[0109]
表2
[0110][0111][0112]
3)多维焦点坐标检测框实验
[0113]
上个实验验证了yolov4水平框检测算法在码头目标检测任务中具有更优的性能，下面以yolov4算法为基础，引入多维角点坐标检测框的方式实现遥感影像中具有方向信息码头目标的检测，记为yolov4多维角点坐标检测算法(yolov4-m)。本实验针对码头目标检测任务的特点对yolov4-m算法进一步改进，使其更加适应遥感影像码头目标的检测。数据集1中包含大量军用码头目标。图14-a为影像标记码头的可视化结果，图14-b为yolov4-m检测结果，yolov4-m利用多维角点坐标检测框弥补了水平检测框的不足，但是军用码头停靠的舰船目标特征与码头相似并且容易在码头区域产生阴影，遮盖码头特征，极大地干扰算法检测结果，使得yolov4-m检测结果中存在漏检和定位不准的现象。图14-c为发明算法检测结果，较yolov4-m检测结果得到了明显提升，有效地克服了舰船等因素的干扰，在军用港口影像中实现了码头目标的准确提取。
[0114]
下面再将yolov4多维角点坐标检测算法以及本发明算法在数据集2中进行仿真实验。图15-a为影像标记码头的可视化结果，图15-b为yolov4-m检测结果，从中可以看出yolov4-m多维角点坐标检测框能够准确地反映码头目标的尺寸信息，对码头的定位也更加精准，相比水平框更加符合实际需求。但是民用码头尺寸差异较大，yolov4-m对结构细长、长宽比较大的码头目标造成了漏检；另外yolov4-m将码头周围存在的游艇、植被等干扰因素误检为码头，影响了码头检测结果。本发明算法在数据集2中的检测结果如图15-c所示，该算法在yolov4-m的基础上引入psa模块，增强了yolov4-m多尺度特征的提取能力，降低了网络对结构细长的码头目标的漏检率，在背景复杂的民用港口区域也能得到准确的码头检测结果。
[0115]
两数据集测试集精度评价结果如表3所示。同时为了探究psa注意力模块在码头目标检测任务中的有效性，分别在yolov4-m的基础上引入se注意力模块和cbam注意力模块(convolutional block attention module,cbam)进行对比实验，实验过程中保持参数一致。其中，yolov4-m在两数据集中ap值分别为59.19％、73.04％，yolov4-m引入psa注意力模块后(本发明算法)两数据集ap值分别得到了7.58％、5.78％的提高，表明psa模块能够有效的提高码头目标的检测精度。另外，yolov4-m引入se模块后，两数据集的ap值较yolov4-m分别提高了6.97％、1.43％，较本发明算法降低了0.61％、4.35％，说明se模块也有助于码头目标的检测，但提升能力没有psa模块更有效。yolov4-m引入cbam模块后在数据集1的ap值较yolov4-m提高了4.28％，而在数据集2中ap值比yolov4-m算法减少了0.15％，表明cbam模块能提高算法在军用码头类别上的检测能力，但是不利于民用码头的检测。以上实验结果表明，本发明算法通过引入psa注意力模块有效的提高了码头目标的检测精度；同时验证了psa注意力模块通过提取影像的多尺度特征，比se、cbam注意力模块更适用于码头目标检测
任务。
[0116]
表3
[0117][0118]
4)骨干网络消融实验
[0119]
此外，为了探究特征提取骨干网络对目标检测算法检测性能的影响，利用本发明算法在数据集2上分别对mobilenet v2、mobilenet v3以及cspdarknet53骨干网络进行对比实验。不同骨干网络在数据集2的损失函数loss随迭代次数的变化曲线如图16所示，在模型训练初始阶段，各曲线的loss值均保持一个较高的水平，随着迭代次数的增加，loss值不断缓慢震荡下降，当迭代到250次时，各算法的loss值趋于稳定。其中，使用mobilenet v2、mobilenet v3骨干网络的loss值最终稳定在15.02、16.16，本发明算法使用cspdarknet53骨干网络的loss值最终稳定在11.44，较使用其他网络loss最低。
[0120]
采用不同骨干网络的模型在数据集2上的评价结果如表4所示，使用每秒传输帧数(frames per second,fps)评价各模型检测速度。fps为模型在一秒时间内能够检测图片的数量，fps值越大说明模型的检测速度越快。由表4可见，采用cspdarknet53作为骨干网络的yolov4-m算法在数据集2上ap值为73.04％，检测速率fps为29.18帧/s。采用mobilenet v2骨干网络时，在数据集2上ap值为71.86％，检测速率fps为31.78帧/s；当采用mobilenet v3骨干网络时，ap值为69.10％，检测速率fps为32.35帧/s；本发明采用cspdarknet53作为骨干网络时检测速率为28.49帧/s，较使用mobilnetv2和mobilnetv3作为特征提取骨干网络检测速率略有下降，但是在两数据集上的ap值达到78.80％，达到了最优。此外，对比同样使用cspdarknet53作为骨干网络的yolov4-m，本发明的fps仅仅减少了0.69帧/s，证明psa作为一个轻量化的注意力模块，实现了算法检测精度和速度的有效平衡。
[0121]
表4
[0122][0123]
5)遥感影像码头目标检测应用示例
[0124]
本实例选择美国诺福克港区进行大幅google earth影像的码头检测性能验证，该区域图幅像素大小为5 559
×
6 447像素，空间分辨率为1m，影像幅内共有17个码头。
[0125]
应用本发明的识别方法得到的码头检测结果如图17所示，正确检测出16个码头目标，误检3个(白色线框表示)，漏检1个(黑色线框表示)，精确率为84.21％，召回率为
94.12％。其中，误检目标为港口海陆边界或陆地上与码头特征较为相似的人工建筑，漏检码头结构过于细长，导致算法难以对其进行检测，产生漏检。
[0126]
综上，本发明以yolov4水平框检测算法为基础，设计了一种能实现任意方向码头目标检测的im-yolov4算法，该算法采用多维角点坐标检测框解决码头方向任意的问题，并引入psa注意力机制加强网络对码头目标的提取能力。实验选取两个遥感影像码头目标检测数据集，验证了目前主流的水平框检测算法在码头目标检测任务中的可行性。另外，通过消融实验分析注意力机制和特征提取骨干网络对码头检测性能的影响，结果表明本发明能够实现遥感影像码头目标的准确提取，同样在大幅影像上也具有实用性。