一种面向密集排列舰船的检测方法及装置与流程

1.本发明涉及图像处理技术领域，特别是一种面向密集排列舰船的检测方法及装置。


背景技术：

2.舰船检测是遥感图像目标检测领域的一个重要研究方向，指的是对卫星获取的图像中的舰船目标进行分类和定位。随着深度学习和卷积神经网络的发展，舰船检测的性能获得了前所未有的进步。舰船检测在航道管控、灾害救援、国防军事和领海维权方面有着广泛的应用。
3.国内外提高遥感目标检测性能的方法主要分为以下几类：基于尺度特征的检测、结合注意力机制的检测、设计更好的角度回归策略等。然而，目前遥感图像舰船检测仍然极具挑战，由于舰船目标尺度差异大，船头朝向任意，港口排列密集，主流的目标检测算法在舰船检测任务上的性能依然低于预期水平。舰船检测算法的局限性主要集中在以下方面：(1)舰船检测中最常用的舰船表征方式是水平矩形框，不具有角度信息，对于大部分舰船目标矩形框内存在大量的背景，尤其是在检测并排甚至密集排列的具有倾斜角度的舰船目标时，正框很难做到区分每个舰船目标即不同舰船目标的正框会有大量的重复区域，给分类定位带来巨大干扰网络模型很难有效学习到舰船的特征并进行准确的实例类别区分，从而使得网络学习不充分，预测的结果具有较高的重复度，这会给非极大值抑制(nonmaxima suppression，nms)部分后处理带来较大的压力，导致检测结果部分高质量预测框被抑制掉；(2)对于基于锚框的旋转框舰船检测算法，其一般在水平的矩形框的表征方式上添加一个角度回归量来实现旋转矩形框的舰船检测，但是在训练过程中进行正负样本的分配时常常造成正样本锚框和负样本锚框分配不平衡的问题，同时需要根据舰船尺度设置额外的锚框超参数，增加模型复杂度。(3)基于关键点的舰船检测算法在归回舰船目标的中心点或者舰船目标的两个角点，但是在舰船密集排列时，这些关键点在匹配的过程中常常出现误匹配即相邻关键点匹配错误产生很多虚警。


技术实现要素：

4.本发明解决的技术问题是：克服现有技术的不足，提供了一种面向密集排列舰船的检测方法及装置。
5.本发明的技术解决方案是：
6.第一方面，本发明实施例提供了一种面向密集排列舰船的检测方法，包括：
7.获取待检测遥感图像；
8.将所述待检测遥感图像输入至特征提取骨干网络，以提取所述待检测遥感图像的多尺度特征，得到特征图；
9.基于所述特征图对应的置信度图和偏移向量图，确定所述待检测遥感图像对应的预测点集合和向心偏移量集合；
10.基于所述预测点集合和所述向心偏移量集合，确定所述待检测遥感图像中的候选检测框集合；
11.根据所述候选检测框集合中每个候选检测框的四个顶点坐标，计算得到每个所述候选检测框对应的置信度分数；
12.根据所述置信度分数，确定所述候选检测框集合中的目标检测框，以作为所述待检测遥感图像的舰船检测结果。
13.可选地，所述将所述待检测遥感图像输入至特征提取骨干网络，以提取所述待检测遥感图像的多尺度特征，得到特征图，包括：
14.对所述待检测遥感图像进行缩放处理，以得到缩放到设定尺寸的遥感图像；
15.将所述设定尺寸的遥感图像输入至所述特征提取骨干网络；
16.调用所述特征提取骨干网络的卷积层对所述设定尺寸的遥感图像进行二次下采样，得到下采样图像；
17.基于多个级联的沙漏模块提取所述下采样图像中的多尺度特征，以生成所述特征图。
18.可选地，所述基于所述特征图对应的置信度图和偏移向量图，确定所述待检测遥感图像对应的预测点集合和向心偏移量集合，包括：
19.将所述特征图分别输入至点预测模块和注意力模块；
20.基于所述点预测模块对所述特征图进行处理，生成所述特征图对应的置信度图；
21.基于所述注意力模块对所述特征图进行处理，生成所述特征图对应的偏移向量图；
22.根据所述置信度图，确定所述预测点集合；
23.根据所述偏移向量图，确定所述向心偏移量集合。
24.可选地，所述基于所述预测点集合和所述向心偏移量集合，确定所述待检测遥感图像中的候选检测框集合，包括：
25.将所述预测点集合和所述向心偏移量集合输入至向心偏移模块；
26.计算得到所述向心偏移量集合中每个向心偏移量与所述预测点集合中每个预测点的欧式距离；
27.根据所述欧式距离，筛选出符合条件的预测点，并根据符合条件的预测点得到所述候选检测框集合。
28.可选地，所述根据所述候选检测框集合中每个候选检测框的四个顶点坐标，计算得到每个所述候选检测框对应的置信度分数，包括：
29.将所述候选检测框集合输入至关键点转化模块；
30.针对所述候选检测框集合中的每个候选检测框，对所述候选检测框的关键点和向心偏移向量进行错位相加，得到所述候选检测框的四个顶点坐标；
31.基于所述四个顶点坐标，计算得到所述候选检测框的置信度分数。
32.可选地，所述根据所述置信度分数，确定所述候选检测框集合中的目标检测框，以作为所述待检测遥感图像的舰船检测结果，包括：
33.获取所述候选检测框集合中置信度分数大于设定的置信度分数阈值的检测框，并将置信度分数大于置信度分数阈值的检测框作为目标检测框；
34.将所述目标检测框作为所述待检测遥感图像的舰船检测结果。
35.第二方面，本发明实施例提供了一种面向密集排列舰船的检测装置，包括：
36.待检测遥感图像获取模块，用于获取待检测遥感图像；
37.特征图获取模块，用于将所述待检测遥感图像输入至特征提取骨干网络，以提取所述待检测遥感图像的多尺度特征，得到特征图；
38.预测点集合确定模块，用于基于所述特征图对应的置信度图和偏移向量图，确定所述待检测遥感图像对应的预测点集合和向心偏移量集合；
39.候选检测框集合确定模块，用于基于所述预测点集合和所述向心偏移量集合，确定所述待检测遥感图像中的候选检测框集合；
40.置信度分数计算模块，用于根据所述候选检测框集合中每个候选检测框的四个顶点坐标，计算得到每个所述候选检测框对应的置信度分数；
41.舰船检测结果获取模块，用于根据所述置信度分数，确定所述候选检测框集合中的目标检测框，以作为所述待检测遥感图像的舰船检测结果。
42.可选地，所述特征图获取模块包括：
43.遥感图像获取单元，用于对所述待检测遥感图像进行缩放处理，以得到缩放到设定尺寸的遥感图像；
44.遥感图像输入单元，用于将所述设定尺寸的遥感图像输入至所述特征提取骨干网络；
45.下采样图像获取单元，用于调用所述特征提取骨干网络的卷积层对所述设定尺寸的遥感图像进行二次下采样，得到下采样图像；
46.特征图生成单元，用于基于多个级联的沙漏模块提取所述下采样图像中的多尺度特征，以生成所述特征图。
47.可选地，所述预测点集合确定模块包括：
48.特征图输入单元，用于将所述特征图分别输入至点预测模块和注意力模块；
49.置信度图生成单元，用于基于所述点预测模块对所述特征图进行处理，生成所述特征图对应的置信度图；
50.偏移向量图生成单元，用于基于所述注意力模块对所述特征图进行处理，生成所述特征图对应的偏移向量图；
51.预测点集合确定单元，用于根据所述置信度图，确定所述预测点集合；
52.向心偏移量集合确定单元，用于根据所述偏移向量图，确定所述向心偏移量集合。
53.可选地，所述候选检测框集合确定模块包括：
54.预测点集合输入单元，用于将所述预测点集合和所述向心偏移量集合输入至向心偏移模块；
55.欧式距离计算单元，用于计算得到所述向心偏移量集合中每个向心偏移量与所述预测点集合中每个预测点的欧式距离；
56.候选检测框集合获取单元，用于根据所述欧式距离，筛选出符合条件的预测点，并根据符合条件的预测点得到所述候选检测框集合。
57.可选地，所述置信度分数计算模块包括：
58.候选检测框输入单元，用于将所述候选检测框集合输入至关键点转化模块；
59.顶点坐标获取单元，用于针对所述候选检测框集合中的每个候选检测框，对所述候选检测框的关键点和向心偏移向量进行错位相加，得到所述候选检测框的四个顶点坐标；
60.置信度分数计算单元，用于基于所述四个顶点坐标，计算得到所述候选检测框的置信度分数。
61.可选地，所述舰船检测结果获取模块包括：
62.目标检测框获取单元，用于获取所述候选检测框集合中置信度分数大于设定的置信度分数阈值的检测框，并将置信度分数大于置信度分数阈值的检测框作为目标检测框；
63.舰船检测获取单元，用于将所述目标检测框作为所述待检测遥感图像的舰船检测结果。
64.本发明与现有技术相比的优点在于：
65.本发明实施例首先利用特征提取骨干网络对输入图像提取多尺度特征，再将特征图输入到点预测模块，点预测模块包括顶点预测模块、向心偏移量预测模块和关键点匹配模块，分别利用点预测模块和向心偏移模块提取图像中的关键点和向心偏移，再利用关键点匹配模块生成高质量的候选目标，然后通过关键点转换模块得到每条候选目标的4的矩形顶点，最后根据4个点预测置信度计算出目标的置信度分数，根据设定的置信度阈值分数，筛选出最终的目标检测结果。本发明实施例可以解决遥感图像中密集舰船目标检测效果差的问题，提高了旋转框舰船检测的精度。
附图说明
66.图1为本发明实施例提供的一种面向密集排列舰船的检测方法的步骤流程图；
67.图2为本发明实施例提供的一种基于中心阈值的关键点匹配算法的伪代码的示意图；
68.图3为本发明实施例提供的一种关键点转化成旋转矩形框的算法的示意图；
69.图4为本发明实施例提供的一种面向密集排列舰船的检测装置的结构示意图。
具体实施方式
70.实施例一
71.参照图1，示出了本发明实施例提供的一种面向密集排列舰船的检测方法的步骤流程图，如图1所示，该面向密集排列舰船的检测方法可以包括如下步骤：
72.步骤101：获取待检测遥感图像。
73.本发明实施例可以应用于对遥感图像内的舰船进行检测的场景中。
74.待检测遥感图像是指需要进行舰船检测的卫星遥感图像。
75.在获取到待检测遥感图像之后，执行步骤102。
76.步骤102：将所述待检测遥感图像输入至特征提取骨干网络，以提取所述待检测遥感图像的多尺度特征，得到特征图。
77.在获取到待检测遥感图像之后，可以将待检测遥感图像输入至特征提取骨干网络，以提取待检测遥感图像的多尺度特征，得到特征图。对于上述过程可以结合下述具体实现方式进行详细描述。
78.在本发明实施例的一种具体实现方式中，上述步骤102可以包括：
79.子步骤a1：对所述待检测遥感图像进行缩放处理，以得到缩放到设定尺寸的遥感图像。
80.在本实施例中，在获取到待检测遥感图像之后，可以对待检测遥感图像进行缩放处理，以得到缩放到设定尺寸的遥感图像。
81.在得到缩放到设定尺寸的遥感图像之后，执行子步骤a2。
82.子步骤a2：将所述设定尺寸的遥感图像输入至所述特征提取骨干网络。
83.在得到缩放到设定尺寸的遥感图像之后，可以将设定尺寸的遥感图像输入至特征提取骨干网络，然后执行子步骤a3。
84.子步骤a3：调用所述特征提取骨干网络的卷积层对所述设定尺寸的遥感图像进行二次下采样，得到下采样图像。
85.在将设定尺寸的遥感图像输入至特征提取骨干网络之后，可以调用特征提取骨干网络的卷积层对设定尺寸的遥感图像进行二次下采样，以得到下采样图像。
86.在得到下采样图像之后，执行子步骤a4。
87.子步骤a4：基于多个级联的沙漏模块提取所述下采样图像中的多尺度特征，以生成所述特征图。
88.在得到下采样图像之后，可以基于多个级联的沙漏模块提取下采样图像中的多尺度特征，以生成特征图。
89.在通过特征提取骨干网络提取出待检测遥感图像的多尺度特征得到特征图之后，执行步骤103。
90.步骤103：基于所述特征图对应的置信度图和偏移向量图，确定所述待检测遥感图像对应的预测点集合和向心偏移量集合。
91.在获取到特征图之后，可以获取特征图对应的置信度图和偏移向量图，并根据置信度图和偏移向量图确定出待检测遥感图像对应的预测点集合和向心偏移量集合。对于该过程可以结合下述具体实现方式进行详细描述。
92.在本发明的一种具体实现方式中，上述步骤103可以包括：
93.子步骤b1：将所述特征图分别输入至点预测模块和注意力模块。
94.在本发明实施例中，在获取到特征图之后，可以将特征图分别输入至点预测模块和注意力模块，进而执行子步骤b2和子步骤b3。
95.子步骤b2：基于所述点预测模块对所述特征图进行处理，生成所述特征图对应的置信度图。
96.子步骤b3：基于所述注意力模块对所述特征图进行处理，生成所述特征图对应的偏移向量图。
97.在将特征图分别输入至点预测模块和注意力模块之后，可以基于点预测模块对特征图进行处理，以生成特征图对应的置信度图。并基于注意力模块对特征图进行处理，以生成特征图对应的偏移向量图。
98.子步骤b4：根据所述置信度图，确定所述预测点集合；
99.子步骤b5：根据所述偏移向量图，确定所述向心偏移量集合。
100.在获取到置信度图之后，可以根据置信度图确定出预测点集合。
101.在获取到偏移向量图之后，可以根据偏移向量图确定出向心偏移量集合。
102.在确定出待检测遥感图像对应的预测点集合和向心偏移量集合之后，执行步骤104。
103.步骤104：基于所述预测点集合和所述向心偏移量集合，确定所述待检测遥感图像中的候选检测框集合。
104.在确定出待检测遥感图像对应的预测点集合和向心偏移量集合之后，可以基于预测点集合和向心偏移量集合确定出待检测遥感图像中的候选检测框集合。对于上述过程可以结合下述具体实现方式进行详细描述。
105.在本发明实施例的另一种具体实现方式中，上述步骤104可以包括：
106.子步骤c1：将所述预测点集合和所述向心偏移量集合输入至向心偏移模块。
107.在本发明实施例中，在获取到预测点集合和向心偏移量集合之后，可以将预测点集合和向心偏移量集合输入至向心偏移模块，进而，执行子步骤c2。
108.子步骤c2：计算得到所述向心偏移量集合中每个向心偏移量与所述预测点集合中每个预测点的欧式距离。
109.在将预测点集合和向心偏移量集合输入至向心偏移模块，可以计算得到向心偏移量集合中每个向心偏移量与预测点集合中每个预测点的欧式距离，进而，执行子步骤c3。
110.子步骤c3：根据所述欧式距离，筛选出符合条件的预测点，并根据符合条件的预测点得到所述候选检测框集合。
111.在计算得到欧式距离之后，则可以根据欧式距离筛选出符合条件的预测点，并根据符合条件的预测点确定候选检测框集合。
112.在基于预测点集合和向心偏移量集合确定出待检测遥感图像中的候选检测框集合之后，执行步骤105。
113.步骤105：根据所述候选检测框集合中每个候选检测框的四个顶点坐标，计算得到每个所述候选检测框对应的置信度分数。
114.在基于预测点集合和向心偏移量集合确定出待检测遥感图像中的候选检测框集合之后，可以基于候选检测框集合中每个候选检测框的四个顶点坐标，计算得到每个候选检测框对应的置信度分数。对于上述过程可以结合下述具体实现方式进行详细描述。
115.在本发明实施例的另一种具体实现方式中，上述步骤105可以包括：
116.子步骤d1：将所述候选检测框集合输入至关键点转化模块。
117.在本发明实施例中，在获取到候选检测框集合之后，可以将候选检测框集合输入至关键点转化模块，进而，执行子步骤d2。
118.子步骤d2：针对所述候选检测框集合中的每个候选检测框，对所述候选检测框的关键点和向心偏移向量进行错位相加，得到所述候选检测框的四个顶点坐标。
119.在将候选检测框结合输入至关键点转化模块之后，可以针对候选检测框集合中的每个候选检测框，对候选检测框的关键点和向心偏移量进行错位相加，以得到候选检测框的四个顶点坐标。
120.在得到每个候选检测框的四个顶点坐标之后，执行子步骤d3。
121.子步骤d3：基于所述四个顶点坐标，计算得到所述候选检测框的置信度分数。
122.在得到每个候选检测框的四个顶点坐标之后，可以基于每个候选检测框的四个顶
点坐标计算得到候选检测框的置信度分数。
123.在计算得到每个候选检测框对应的置信度分数之后，执行步骤106。
124.步骤106：根据所述置信度分数，确定所述候选检测框集合中的目标检测框，以作为所述待检测遥感图像的舰船检测结果。
125.在计算得到每个候选检测框对应的置信度分数之后，可以根据置信度分数确定出候选检测框集合中的目标检测框，并将该目标检测框作为待检测遥感图像的舰船检测结果。具体地，可以获取候选检测框集合中置信度分数大于设定的置信度分数阈值的目标检测框，并将该目标检测框作为待检测遥感图像的舰船检测结果。
126.下面结合图2和图3对本发明实施例提供的技术方案进行如下详细描述。
127.步骤1：卷积神经网络首先是提取输入图像的深层特征，而堆叠沙漏网络能够有效地提取多尺度特征，同时还具有高效性，并被广泛地用于关键点检测相关的领域，因此本发明选用了堆叠沙漏网络作为特征提取骨干网络。
128.具体做法是：将输入图像i缩放到512*512的尺寸，然后输入到堆叠沙漏网络提取特征，网络首先通过卷积层对输入图像i进行2次下采样，将分辨率降为输入图像的四分之一，然后利用多个级联的沙漏模块提取多尺度特征，得到256通道的特征图f。
129.步骤2：将提取出的特征图f分别输入到点预测模块和注意力模块，每个点预测模块包含1个点预测和一个可形变卷积层，分别用于预测点的置信度图和偏移向量图，利用置信度图和偏移向量图可以得到预测的点集合p和向心偏移量集合s；注意力模块包含1个解码器，用于预测目标位置的置信度图w。
130.此步骤中每个位置的关键点集合都是由置信度最高的100个点构成，目标位置的置信度图w是由0到1之间的数值表示该位置出现目标的概率。
131.步骤3：将预测的点集合p和向心偏移量集合s输入到向心偏移模块，利用欧式距离进行匹配。对于一个预测的目标b∈b，如果存在4个预测的点p1∈p，p2∈p，p3∈p和p4∈p能够和对应的偏移量匹配上(即偏移后的中心点的欧式距离小于定义的阈值θ)，则保留该目标，最终得到匹配后的目标集合b'。
132.步骤4：将候选目标集合b'输入到关键点转化模块(keypoints2bbox)，在该模块中，对于每个目标b∈b'，利用4个属于同一目标框的关键点和对应的向心偏移向量，进行错位相加，得到目标框的4个顶点坐标。
133.步骤5：通过4个关键点计算得到每个目标的置信度分数，保留置信度分数大于设定的置信度分数阈值的目标，即可得到最终的目标检测结果。
134.最终得到的模型性能如下表所示，对比试验以平均准确率ap(average precision)，ap
s0
,ap
s
,ap
l
,ap
m
作为评价标准，其中，ap
s0
是指测试时iou阈值设为0.5时计算得的ap，ap
m
指目标大于等于32*32像素并小于96*96像素时的平均准确率，ap
l
指目标大于等于96*96像素时的平均准确率，ap
s
指目标小于32*32像素时的平均准确率。
135.[0136][0137]
表1模型性能对比结果
[0138]
由上表可以看出，在算法r
‑
faster r
‑
cnn的基础上，ap指标提升了13.3％，在scrdet的基础上，ap指标了25.6％，在算法r
‑
center基础上，ap指标提高了6.2％。从结果可以看出，aksnet能够显著提升舰船的检测精度。
[0139]
为了直观的区分不同算法对密集舰船的检测效果，抽取部分算法同张图片的检测效果进行对比分析，本发明的检测效果优于其他算法的检测效果。
[0140]
实施例二
[0141]
参照图4，示出了本发明实施例提供的一种面向密集排列舰船的检测装置的结构示意图，如图4所示，该面向密集排列舰船的检测装置可以包括如下模块：
[0142]
待检测遥感图像获取模块210，用于获取待检测遥感图像；
[0143]
特征图获取模块220，用于将所述待检测遥感图像输入至特征提取骨干网络，以提取所述待检测遥感图像的多尺度特征，得到特征图；
[0144]
预测点集合确定模块230，用于基于所述特征图对应的置信度图和偏移向量图，确定所述待检测遥感图像对应的预测点集合和向心偏移量集合；
[0145]
候选检测框集合确定模块240，用于基于所述预测点集合和所述向心偏移量集合，确定所述待检测遥感图像中的候选检测框集合；
[0146]
置信度分数计算模块250，用于根据所述候选检测框集合中每个候选检测框的四个顶点坐标，计算得到每个所述候选检测框对应的置信度分数；
[0147]
舰船检测结果获取模块260，用于根据所述置信度分数，确定所述候选检测框集合中的目标检测框，以作为所述待检测遥感图像的舰船检测结果。
[0148]
可选地，所述特征图获取模块包括：
[0149]
遥感图像获取单元，用于对所述待检测遥感图像进行缩放处理，以得到缩放到设定尺寸的遥感图像；
[0150]
遥感图像输入单元，用于将所述设定尺寸的遥感图像输入至所述特征提取骨干网络；
[0151]
下采样图像获取单元，用于调用所述特征提取骨干网络的卷积层对所述设定尺寸的遥感图像进行二次下采样，得到下采样图像；
[0152]
特征图生成单元，用于基于多个级联的沙漏模块提取所述下采样图像中的多尺度特征，以生成所述特征图。
[0153]
可选地，所述预测点集合确定模块包括：
[0154]
特征图输入单元，用于将所述特征图分别输入至点预测模块和注意力模块；
[0155]
置信度图生成单元，用于基于所述点预测模块对所述特征图进行处理，生成所述特征图对应的置信度图；
[0156]
偏移向量图生成单元，用于基于所述注意力模块对所述特征图进行处理，生成所述特征图对应的偏移向量图；
[0157]
预测点集合确定单元，用于根据所述置信度图，确定所述预测点集合；
[0158]
向心偏移量集合确定单元，用于根据所述偏移向量图，确定所述向心偏移量集合。
[0159]
可选地，所述候选检测框集合确定模块包括：
[0160]
预测点集合输入单元，用于将所述预测点集合和所述向心偏移量集合输入至向心偏移模块；
[0161]
欧式距离计算单元，用于计算得到所述向心偏移量集合中每个向心偏移量与所述预测点集合中每个预测点的欧式距离；
[0162]
候选检测框集合获取单元，用于根据所述欧式距离，筛选出符合条件的预测点，并根据符合条件的预测点得到所述候选检测框集合。
[0163]
可选地，所述置信度分数计算模块包括：
[0164]
候选检测框输入单元，用于将所述候选检测框集合输入至关键点转化模块；
[0165]
顶点坐标获取单元，用于针对所述候选检测框集合中的每个候选检测框，对所述候选检测框的关键点和向心偏移向量进行错位相加，得到所述候选检测框的四个顶点坐标；
[0166]
置信度分数计算单元，用于基于所述四个顶点坐标，计算得到所述候选检测框的置信度分数。
[0167]
可选地，所述舰船检测结果获取模块包括：
[0168]
目标检测框获取单元，用于获取所述候选检测框集合中置信度分数大于设定的置信度分数阈值的检测框，并将置信度分数大于置信度分数阈值的检测框作为目标检测框；
[0169]
舰船检测获取单元，用于将所述目标检测框作为所述待检测遥感图像的舰船检测结果。
[0170]
本技术所述具体实施方式可以使本领域的技术人员更全面地理解本技术，但不以任何方式限制本技术。因此，本领域技术人员应当理解，仍然对本技术进行修改或者等同替换；而一切不脱离本技术的精神和技术实质的技术方案及其改进，均应涵盖在本技术专利的保护范围中。
[0171]
本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。