一种基于特征金字塔的海面遥感图像船舶检测方法与流程
本发明属于图像识别技术领域，更具体地，涉及一种基于特征金字塔的海面遥感图像船舶检测方法。
背景技术：
船舶作为利用海洋、开发海洋的一项重要工具，使得船舶检测越来越引发人们的重视。在民用方面，船舶检测在渔业监控管理、港口船舶航行管理控制、海洋污染监视等方面具有重要用途；在军用方面，船舶检测在加强海域监管，监视非法船只和监视战时海面侦查敌方舰船等方面具有广泛的应用前景。对于卫星遥感成像等高空侦察平台获取的海洋背景下大幅遥感图像数据，单纯依靠人工判读工作量大重复性高效率低。
针对上述问题，提出一种海面遥感图像船舶检测方法。当前的一些基于深度学习的通用目标检测方法，受计算资源限制，所处理的图像大小大致都在1000×1000以下，无法直接处理大幅面遥感图像。若使用简单的降采样的方式，将大幅面遥感图像缩小为小幅图像，易带来目标信息损失的问题。
技术实现要素：
针对现有技术的缺陷，本发明的目的在于解决现有技术现有目标检测网络无法直接处理大幅面图像，以及现有检测算法速度慢，网络结构复杂，对较小目标检测精度低的技术问题。
为实现上述目的，第一方面，本发明实施例提供了一种基于特征金字塔的海面遥感图像船舶检测方法，该方法包括如下步骤：
步骤s1.通过滑窗机制将待检测海面背景船舶遥感图像切分成小图；
步骤s2.对切分得到的小图，通过船舶分类预检网络筛选出可能包含船舶的小图；
步骤s3.对筛选出可能包含船舶的小图，通过基于特征金字塔的目标检测网络进行检测，得到小图检测结果；
步骤s4.融合拼接小图检测结果，得到海面背景遥感图像最终检测结果。
具体地，步骤s1具体如下：
以width×height大小的窗口，步长为(1-p％)×width个像素在待检测海面背景船舶遥感图像上进行滑窗，在保证两张小图之间的重叠率为p％的前提下，将待检测海面背景船舶遥感图像切分成width×height大小的小图。
具体地，步骤s3包括以下步骤：
s30.建立一个由残差结构、检测结构、连接结构、上采样结构以及头部结构组成的基于特征金字塔的目标检测网络；
s31.根据训练集的标签目标检测框，进行编码；
s32.使用编码后的训练集，训练基于特征金字塔的目标检测网络；
s33.使用训练好的基于特征金字塔的目标检测网络，对待检测海面背景船舶遥感图像筛选出的可能包含船舶的小图进行检测，得到对应的小图检测结果。
具体地，步骤s30包括以下步骤：
s310.将width×height大小的图像划分为s×s个大小相同的格子；
s311.以目标中心点位置(x,y)为依据，计算得到目标所属格子序号(idx,idy)，计算公式如下：
其中，b为每个格子所能预测目标的最大个数；
s312.以目标长宽大小(w,h)为依据，将目标分到相应的位置信息部分
s313.对编码矩阵的idx×s+idy行，第5×idb～5×(idb+1)列进行编码，编码值为(coor_x,coor_y,norm_w,norm_h,conf)，各变量计算公式如下：
其中，编码后的中心点坐标为(coor_x,coor_y)，coor_x、coor_y为中心点坐标相对于对应格子左上角的相对坐标，原始中心点坐标为(x,y)，原始目标长宽为width、height，目标所属格子序号为(idx,idy)，s×s为编码过程中特征图包含格子个数，编码后的目标长宽分别为norm_x，norm_y，w、h为图像中船舶目标的宽与长；conf表示格子内包含目标的置信度，对目标中心点落入的格子，conf为1，其他情形，conf为0；
s314.遍历标签中全部目标信息，完成标签目标编码工作。
具体地，s32中基于特征金字塔的目标检测网络，训练过程中的损失函数的计算公式如下：
loss＝loc_loss+conf_loss+cls_loss
其中，loc_loss为预测目标框位置的损失，conf_loss为预测目标置信度的损失，表示格子内是否包含目标的置信度，cls_loss为预测目标类别的损失，表示格子包含目标的前提下，目标所属类别的置信度；各损失的计算公式如下：
其中，xi、yi、wi、hi分别为第i个格子内目标的中心点坐标以及长宽大小，
具体地，步骤s33包括以下步骤：
s330.对筛选出可能包含船舶的小图，通过三层残差结构提取图像的初级特征，得到浅层初级特征图；
s331.浅层初级特征图经过第一检测结构，得到中层初级特征图，中层初级特征图经过第二检测结构，得到高层初级特征图；
s332.对高层初级特征图，经由连接结构处理得到第一特征图；
s333.第一特征图经由上采样结构处理所得结果与中层初级特征图经由连接结构处理结果组合得到第二特征图；
s334.第二特征图经由上采样结构处理所得结果与高层初级特征图经由连接结构处理结果组合得到第三特征图；
s335.第一特征图、第二特征图、第三特征图分别经由对应的头部结构处理，得到三个输出结果；
s336.对三个输出结果堆叠处理；
s337.对堆叠处理结果进行卷积操作，得到s×s×(5×b+c)的张量结果；
s338.对张量结果进行解码，得到小图检测结果。
具体地，所述检测结构由卷积层、批尺度归一化层和非线性激活层组成，其中，卷积层使用空洞卷积核操作。
具体地，所述对张量结果进行解码，具体如下：
根据网络输出张量结果中的包含目标置信度大小，判断该格子是否包含船舶，当置信度大于设定阈值时，则认为包含船舶，并将其中心点坐标以及目标长宽大小解码为目标框位置，预测目标的左上角坐标(x_min,y_min)与右下角坐标(x_max,y_max)的计算公式如下：
其中，(x_min,y_min)、(x_max,y_max)分别为预测目标解码后左上角与右下角坐标，pred_x、pred_y为网络关于中心点坐标的预测输出值，pred_w、pred_h为网络关于目标长宽的预测输出值，目标所属格子序号为(idx,idy)，s2为编码过程中特征图包含格子个数。
具体地，步骤s4包括以下步骤：
s40.计算目标检测框间的交并比iou；
x_min_iou＝max(x_min1,x_min2)
y_min_iou＝max(y_min1,y_min2)
x_max_iou＝min(x_max1,x_max2)
y_max_iou＝min(y_max1,y_max2)
w_iou＝x_max_iou-x_min_iou
h_iou＝y_max_iou-y_min_iou
w1＝x_max1-x_min1
h1＝y_max1-y_min1
w2＝x_max2-x_min2
h2＝y_max2-y_min2
其中，(x_min1,y_min1)、(x_max1,y_max1)分别为待合并其中一个小图的预测目标解码后左上角与右下角坐标，(x_min2,y_min2)、(x_max2,y_max2)分别为待合并另一个小图的预测目标解码后左上角与右下角坐标，(x_min_iou,y_min_iou)、(x_max_iou,y_max_iou)分别为两个待合并框的重叠部分左上角与右下角坐标；w_iou、h_iou分别为两个待合并框的重叠部分宽与长；w1、h1、w2、h2分别为两个待合并框的宽度与长度；
s41.判断所述交并比是否大于0，若是，则将两个目标检测框进行合并，进入步骤s42，否则，不对两个目标检测框进行处理；
s42.判断被合并的目标检测框的类别是否相同，若是，则选取该类别更新目标的最终预测类别结果，否则，选取检测框面积较大所属类别更新目标的最终预测类别结果；
s43.融合拼接所有小图检测结果，得到海面背景遥感图像最终检测结果图像和最终预测类别结果。
第二方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面所述的海面遥感图像船舶检测方法。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：
1.本发明将大幅面海面图像，按照一定规则切分为多个小图，并使用预检测网络，对小图进行初步分类，减少后续检测计算量；使用预检测算法，在不影响算法精度的同时，可以大大减少第二阶段检测的计算量，有效提升算法速度。
2.本发明根据目标大小，将其划分到特定的编码位置，使得编码矩阵中，特定位置处理相应大小的目标，解决深度网络算法中常见的尺度不敏感问题。使用该方法可以简化网络学习任务，加速训练过程中网络收敛速度，网络在处理不同尺度的目标时有更好的检测效果。
3.本发明基于特征金字塔进行海面遥感图像船舶检测，特征金字塔的上采样结构，使用空洞卷积操作，在保证特征图大小不变的情况下，提升感受野。该设计可以提升网络对于小目标的检测能力。
4.本发明在网络训练过程中，损失函数仅计算与目标尺度相对应部分的损失，忽略部分无关损失，使用该方法可以简化网络学习任务，加速训练过程网络收敛。
5.本发明在小图拼接为原图过程中，由于切分过程导致的同一艘船存在多个目标检测框问题，本发明通过计算检测框间的交并比，完成同一艘船的多个目标检测框合并任务。同时，由于同一艘船的全部检测结果所预测的类别并不完全一致，本发明根据目标检测框的大小决定该艘船的类别。该合并方法所得到的检测框，与真实船的位置更加贴合，更有利于后续评价。
附图说明
图1为本发明实施例提供的一种基于特征金字塔的海面遥感图像船舶检测方法流程图；
图2为本发明实施例提供的待检测海面遥感图像切分示意图；
图3为本发明实施例提供的船舶分类预检测网络结构示意图；
图4为本发明实施例提供的编码矩阵结构示意图；
图5为本发明实施例提供的空洞卷积操作示意图；
图6为本发明实施例提供的检测结果图的拼接过程示意图；
图7为本发明实施例提供的完整船舶检测结果图；
图8为本发明实施例提供的部分船舶检测结果图；
图9为本发明实施例提供的有云层遮挡船舶检测结果图；
图10为本发明实施例提供的海面遥感图像船舶检测结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明公开了一种基于特征金字塔的海面遥感图像船舶检测方法，该方法包括如下步骤：
步骤s1.通过滑窗机制将待检测海面背景船舶遥感图像切分成小图；
步骤s2.对切分得到的小图，通过船舶分类预检网络筛选出可能包含船舶的小图；
步骤s3.对筛选出可能包含船舶的小图，通过基于特征金字塔的目标检测网络进行检测，得到小图检测结果；
步骤s4.融合拼接小图检测结果，得到海面背景遥感图像最终检测结果。
步骤s1.通过滑窗机制将待检测海面背景船舶遥感图像切分成小图。
以width×height大小的窗口，步长为(1-p％)×width个像素在待检测海面背景船舶遥感图像上进行滑窗，在保证两张小图之间的重叠率为p％的前提下，将待检测海面背景船舶遥感图像切分成小图，得到若干width×height大小的海面背景船舶小图，p的取值范围为[15,50]。如图2所示，本发明实施例中，海面背景船舶遥感图像大小为5000×5000，窗口大小为300×300，以步长255个像素在待检测海面背景船舶遥感图像上进行滑窗，在保证两张小图之前的重叠率为15％的前提下，切分得到400张300×300大小的海面背景船舶图像。
步骤s2.对切分得到的小图，通过船舶分类预检网络筛选出可能包含船舶的小图。
s20.建立由卷积层、池化层与全连接层组成的船舶分类预检网络。
如图3所示，船舶分类预检测网络包含：6层卷积、1个最大池化层及2层全连接结构。
s21.训练船舶分类预检网络。
对训练数据集中的每个海面背景船舶遥感图像，同样采取滑窗机制切分成小图。使用高斯初始化方法，完成网络参数初始化工作，批尺度大小为512，学习率为0.0001，训练50轮。
s22.使用训练好的船舶分类预检网络，筛选出可能包含船舶的小图。
将由原图切分得到的300×300大小的小图，送入到由卷积、池化层和全连接层组成的9层船舶预检测分类网络中，根据其是否包含船舶将其分为两类，作为检测过程中的第一阶段，完成图像船舶的预检测工作。后续步骤s3中，仅对筛选出的包含船舶的小图做进一步处理，有效减少了第二阶段检测的任务量，大大提升了检测效率。
步骤s3.对筛选出可能包含船舶的小图，通过基于特征金字塔的目标检测网络进行检测，得到小图检测结果。
特征金字塔由下采样与上采样两部分构成，如图1所示，虚线框内，箭头向下部分为下采样部分，该部分主要用于提取图像特征以及增大特征图感受野；箭头向上部分为上采样结构，该部分主要用于提取图像的深度语义信息特征；中间的连接结构，将下采样过程中的浅层信息与上采样过程和中深层信息相结合，使得后续特征更加丰富。
s30.建立一个由残差结构、检测结构、连接结构、上采样结构以及头部结构组成的基于特征金字塔的目标检测网络。
网络的残差结构(residualblock)用于提取图像特征，由卷积层、跳跃连接层组成。
网络的检测结构(detectblock)用于进一步提取图像特征，由卷积层，批尺度归一化层和非线性激活层组成。其中，卷积层使用卷积核大小为(2n-1)×(2n-1)，n为正整数。滑动步长为2，空洞大小为2。该操作可以保证特征图大小不变的情况下，扩大感受野，提升对于小目标的检测性能。本发明实施例中n＝3。
网络的上采样结构(upsampleblock)由一个卷积层组成，主要目的为进一步提取图像特征，获得信息更加丰富的特征图。
网络的连接结构(skipblock)由一个卷积层组成，主要目的为调整输出特征图通道数以及进一步提取图像特征，获得信息更加丰富的特征图。
网络的头部结构(headblock)由三层卷积层构成，其主要目的为进一步处理特征图得到检测结果。
s31.根据训练集的标签目标检测框，进行编码。
制作海面背景遥感图像数据集，切分后得到7000张300×300大小的图像。根据训练集的标签目标检测框，进行编码，具体如下：
s310.将width×height大小的图像划分为s×s个大小相同的格子。
s×s个相同大小的格子均匀分布在特征图上，每个格子表示特征图上的相应区域。s的取值范围为[5,20]，本发明实施例s取值19。
s311.以目标中心点位置(x,y)为依据，计算得到目标所属格子序号(idx,idy)，计算公式如下：
其中，b为每个格子所能预测目标的最大个数，本发明实施例b设定为3。
s312.以目标长宽大小(w,h)为依据，将目标分到相应的位置信息部分。
以目标的较长边
s313.对编码矩阵的idx×s+idy行，第5×idb-5×(idb+1)列进行编码，编码值为(coor_x,coor_y,norm_w,norm_h,conf)。各变量计算公式如下：
其中，编码后的中心点坐标为(coor_x,coor_y)，coor_x、coor_y为中心点坐标相对于对应格子左上角的相对坐标，原始中心点坐标为(x,y)，原始目标长宽为width、height，目标所属格子序号为(idx,idy)，s×s为编码过程中特征图包含格子个数，编码后的目标长宽分别为norm_x，norm_y，w、h为图像中船舶目标的宽与长；conf表示格子内包含目标的置信度，对目标中心点落入的格子，conf为1，其他情形，conf为0。
s314.遍历标签中全部目标信息，完成标签目标编码工作。
如图4所示，最终得到的编码矩阵大小为(s×s,5×b+c)，编码矩阵由位置信息部分(5×b)和类别信息部分(c)构成，其中，前半部分为位置信息，后半部分为类别信息。编码矩阵的每一行代表对应格子的编码值，包括该格子内是否包含船舶、船舶位置和对应类别。
s32.使用编码后的训练集，训练基于特征金字塔的目标检测网络。
目标检测网络的训练过程如下：
训练过程中，使用resnet50残差网络的与训练模型以及高斯初始化，完成网络模型的初始化，批处理大小设置为8，网络学习率0.0001，训练轮数为50轮。
训练过程中的损失函数是基于均方误差损失函数，所述损失函数的计算公式如下：
loss＝loc_loss+conf_loss+cls_loss
其中，loc_loss为预测目标框位置的损失，conf_loss为预测目标置信度的损失，表示格子内是否包含目标的置信度，cls_loss为预测目标类别的损失，表示格子包含目标的前提下，目标所属类别的置信度。各损失的计算公式如下：
其中，xi、yi、wi、hi分别为第i个格子内目标的中心点坐标以及长宽大小，
s33.使用训练好的基于特征金字塔的目标检测网络，对待检测海面背景船舶遥感图像筛选出的可能包含船舶的小图进行检测，得到对应的小图检测结果。
s330.对筛选出可能包含船舶的小图，通过三层残差结构提取图像的初级特征，得到浅层初级特征图。
对筛选出可能包含船舶的300×300大小的待检测图像使用三层残差结构提取特征，得到浅层初级特征图，特征图大小为19×19。所述浅层初级特征图是指，300×300大小的待检测图像经由三层残差结构提取特征后所得的大小为19×19具有1024个特征通道的特征图。
s331.浅层初级特征图经过第一检测结构，得到中层初级特征图，中层初级特征图经过第二检测结构，得到高层初级特征图。
将大小为19×19的初级特征图，经过串联的两级检测结构分别得到中层、高层两组特征图，与特征图共组成三组19×19的初级特征图：浅层初级特征图、中层初级特征图以及高层初级特征图。
检测结构不同于一般的残差结构，其中间层使用如图5所示的空洞卷积操作，在卷积模板滑动步长为2的情况下，空洞系数为2，可以保证结果特征图感受野扩大一倍的基础上，特征图大小不变。第一检测结构具体为：使用256个大小为1×1大小的卷积模板，以步长为1对输入特征图进行卷积操作，将特征图通道数调整为256。所得结果使用256个大小为(2n-1)×(2n-1)大小的卷积模板，以步长为2，卷积空洞大小为2进行卷积操作，相较普通卷积的密集相邻区域卷积，设置卷积空洞，可以保证特征图大小不变的情况下，感受野增大一倍，提升对于小目标的检测性能，所得特征图大小与通道个数均未改变。本发明实施例n＝3。所得结果经由卷积操作后，并与输入特征图经由通道数调整后进行合并，得到大小为19×19具有256个通道的特征图。
第二检测结构与第一检测结构相似，差别仅在于第二检测结构不包含256个大小为1×1大小的卷积模板，以步长为1对输入特征图进行卷积操作。
中层初级特征图是指，浅层初级特征图经由检测结构提取特征后所得的大小为19×19具有256个通道的特征图。高层初级特征图是指，中层初级特征图经由检测结构提取特征后所得的大小为19×19具有256个通道的特征图。
s332.对高层初级特征图，经由连接结构处理得到第一特征图。
所述第一特征图是指高层初级特征图经由256个(2n-1)×(2n-1)大小的卷积模板以步长为1进行卷积操作，所得大小为19×19具有256个通道的特征图。
s333.第一特征图经由上采样结构处理所得结果与中层初级特征图经由连接结构处理结果组合得到第二特征图。
所述第二特征图是指，第一特征图经由上采样结构处理得到上采样结果图，中层初级特征图经由256个(2n-1)×(2n-1)大小的卷积模板以步长为1进行卷积操作，所得结果与上采样结果图相加结果，第二特征图为大小为19×19具有256个通道的特征图。
s334.第二特征图经由上采样结构处理所得结果与高层初级特征图经由连接结构处理结果组合得到第三特征图。
所述第三特征图是指第二特征图经由上采样结构处理得到上采样结果图，浅层初级特征图经由256个(2n-1)×(2n-1)大小的卷积模板以步长为1进行卷积操作，所得结果与上采样结果图相加结果，第三特征图为大小为19×19具有256个通道的特征图。
s335.第一特征图、第二特征图、第三特征图分别经由对应的头部结构处理，得到三个输出结果。
输出结果为大小为19×19具有256个通道的特征图。
s336.对三个输出结果堆叠处理(concat)。
堆叠结果为19×19×(256×3)的张量。
s337.对堆叠处理结果进行卷积操作，得到s×s×(5×b+c)的张量结果；
本发明实施例的张量结果为19×19×(5×3+3)。
s338.对张量结果进行解码，得到小图检测结果。
对张量结果进行解码，具体如下：
根据网络输出张量结果中的包含目标置信度大小，判断该格子是否包含船舶(目标)，当置信度大于设定阈值时，则认为包含船舶，并将其中心点坐标以及目标长宽大小解码为目标框位置。本发明实施例中置信度阈值为0.3。预测目标的左上角坐标(x_min,y_min)与右下角坐标(x_max,y_max)的计算公式如下：
其中，(x_min,y_min)、(x_max,y_max)分别为预测目标解码后左上角与右下角坐标，pred_x、pred_y为网络关于中心点坐标的预测输出值，pred_w、pred_h为网络关于目标长宽的预测输出值，目标所属格子序号为(idx,idy)，s2为编码过程中特征图包含格子个数。
步骤s4.融合拼接小图检测结果，得到海面背景遥感图像最终检测结果。
s40.计算目标检测框间的交并比iou。
x_min_iou＝max(x_min1,x_min2)
y_min_iou＝max(y_min1,y_min2)
x_max_iou＝min(x_max1,x_max2)
y_max_iou＝min(y_max1,y_max2)
w_iou＝x_max_iou-x_min_iou
h_iou＝y_max_iou-y_min_iou
w1＝x_max1-x_min1
h1＝y_max1-y_min1
w2＝x_max2-x_min2
h2＝y_max2-y_min2
其中，(x_min1,y_min1)、(x_max1,y_max1)分别为待合并其中一个小图的预测目标解码后左上角与右下角坐标，(x_min2,y_min2)、(x_max2,y_max2)分别为待合并另一个小图的预测目标解码后左上角与右下角坐标。
在大图上进行拼接，同一张大图中包含多个检测框，分别计算两两间交并比(iou)，当两个检测框的交并比大于设定阈值时，对其进行合并处理。
s41.判断所述交并比是否大于0，若是，则将两个目标检测框进行合并，进入步骤s42，否则，不对两个目标检测框进行处理。
通过计算检测框间的交并比，完成同一艘船的多个目标检测框合并任务。
s42.判断被合并的目标检测框的类别是否相同，若是，则选取该类别更新目标的最终预测类别结果，否则，选取检测框面积较大所属类别更新目标的最终预测类别结果。
由于同一艘船的全部检测结果所预测的类别并不完全一致，本发明根据目标检测框的大小决定该艘船的类别。
s43.融合拼接所有小图检测结果，得到海面背景遥感图像最终检测结果图像和最终预测类别结果。
如图6所示，将300×300大小的检测结果图像，以其在5000×5000大小的遥感图像上原始坐标为基准进行拼接，得到5000×5000大小的海面背景遥感图像检测结果图。
所述的小图检测结果融合拼接过程是指，大幅面图像切分过程中，存在将目标切分到多个不同的小图中的情况，拼接结果存在检测框仅覆盖部分船的情况。由于切分过程中，各个小图之间存在一定的重叠部分，拼接过程中，当检测结果框间存在重叠则合并为同一个检测框，当多个合并检测框得到的类别不相同时，认为较大的检测框包含更多的语义信息检测得到的类别更加准确，选取检测框面积较大的类别预测结果作为最终预测类别结果。
如图7所示，本发明实施例所提供的方法可以有效检测出海面背景下的船舶。如图8所示，本发明实施例所提供的方法可以有效检测出海面背景下由图像切分或成像不完全造成的半艘船情况。如图9所示，本发明实施例所提供的方法可以有效地抗云层遮挡干扰完成海面背景下船舶检测任务。
如图10所示，使用本发明方法将400块300×300大小图像拼接目标框合并后，得到5000×5000大小海面遥感图像船舶检测结果图。图中所包含的21个船全部被检出，且不存在误检的情况。
本发明实施使用50张5000×5000大小的海面遥感船舶图像进行检测，本发明方法在置信度阈值为0.3的情况下，准确率达到75.8％，召回率均达到97.0％，f1指数为0.851，ap指数为0.860。
以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
- 还没有人留言评论。精彩留言会获得点赞！