一种基于域适应的雷达图像船舶检测网络模型及检测方法

1.本发明属于遥感目标检测技术领域，具体是一种基于域适应的雷达图像船舶检测网络模型及检测方法。


背景技术：

2.合成孔径雷达(synthetic aperture radar，sar)是一种用于微波成像的传感设备，与传统光学遥感装置相比，具备全天时、全天候的成像处理能力。本发明主要针对雷达图像船舶检测，其目的是准确的检测和定位出图像中的船舶对象，在环境监测、资源勘察和国防军事等领域均有着重要的应用价值。
3.近些年来，深度卷积神经网络的发展给目标检测领域带来很大的性能提升。然而，这些方法是标签驱动的，需要收集大量样本及其标注框。由于合成孔径雷达开发和维护成本高昂，导致数据难以获取。除此之外，其独特的成像原理和侧视成像的特点，也使得雷达图像的可译性较差，不符合人眼观察的习惯，以上的这些特点使我们难以大量获取雷达图像带标注的样本。特别地，雷达图像同光学图像下的船舶识别任务相比，由于后者时效性、分辨率高的特点，船舶识别任务在雷达图像上的准确率往往低于在光学遥感图像上的准确率。另外，可见光图像更符合人类平常肉眼观察到的视角，而出现在雷达图像中的船舶对象可能难以被识别和标注。为此，本发明利用域适应技术，可以实现在无需为雷达图像额外标注的前提下，将光学遥感图像船舶识别的知识迁移到雷达图像上来。
4.实现特定区域内船舶目标监视对维护海洋权益有着重要的作用，然而在实际应用中，依靠收集尽可能多的样本标签去覆盖真实场景下所有的数据分布是不现实的。这是因为真实场景具有偶然性和不确定性，用这个方法不仅耗费资源，短时间内也无法对效果有显著提升。因此，本发明针对以上问题，实现域适应技术进行船舶目标检测的研究。


技术实现要素：

5.针对现有技术的不足，本发明的目的是提出一种基于域适应的雷达图像船舶检测网络模型及检测方法。本发明雷达图像船舶检测网络模型采用风格迁移以及编码器结构，实现了光学图像到雷达图像的知识迁移，解决了雷达图像样本少、标注难的问题，采用本发明检测方法可以直接对雷达图像进行船舶检测。
6.本发明解决所述技术问题的技术方案是：设计一种基于域适应的雷达图像船舶检测网络模型，其特征在于，该船舶检测网络模型包括特征提取网络g、对抗训练模块、一致性调整模块、区域候选网络、第一roi pooling层、第二roi pooling层、区域分类网络r1、区域分类网络r2、船舶原型对齐模块；
7.特征提取网络g包含resnet-101网络结构中的conv1、conv2_x、conv3_x、conv4_x四个网络块，该四个网络块的设置同resnet-101网络结构中的完全相同，输入图像经过特征提取网络g的处理后，输出相当于原图像1/32大小的特征图f1；
8.区域候选网络的输入为特征图f1，区域候选网络首先通过一个conv2d 3*3的卷积
层对特征图f1进行一次卷积处理得到中间层特征图；该中间层特征图的每个位置都有9个不同尺寸的anchorbox；然后将anchorbox分别输入到两个conv2d1*1的卷积层分支进行处理，一个分支使用softmax进行二分类，判断该anchorbox内是否存在物体，有则为positive，没有则为negative；另一个分支进行边框回归，使anchorbox的边框更接近groundtruth的框，然后根据两个分支输出加原始图片信息生成若干数量的锚框，最终经过nms筛选出n个候选框，每个候选框带有自身特征信息，包括该框的位置信息和该框对应的前景与背景概率信息；
9.对抗训练模块的输入为特征图f1，对抗训练模块包括梯度反转层和域分类器，梯度反转层连接在特征提取网络与域分类器之间，梯度反转层在反向传播过程中将梯度取反；梯度反转层将特征图f1原样正向传递给域分类器，域分类器首先使用3
×
3的卷积层对输入的特征图f1进行三次降维操作，使特征图f1的维度从1024降为128，每个卷积后都使用批归一化处理，接着继续用全连接层得到一个二分类的分类结果，非线性激活处理采用relu函数；分类结果表示域分类器判断该特征图f1来自源域还是目标域；
10.对抗训练模块的损失如下：
[0011][0012][0013][0014]
其中，为带标注的光学图像域的第i个样本；为雷达图像域的第i个样本，ns和n
t
分别为带标注的光学图像域和不含标注的雷达图像域的样本数量；g代表特征提取网络，dg代表域分类器；
[0015]
一致性调整模块的输入为特征图f1，一致性调整模块的对齐编码器对特征图f1进行降维、升维和激励操作，卷积核大小均为5
×
5，步长为1，边缘填充为2，并使用relu函数学习通道之间的非线性相互作用，输出特征图f2；特征图f2与特征图f1大小完全相同；一致性调整模块的损失公式描述为：
[0016][0017]
其中，为带标注的光学图像域的第i个样本，为该样本经过风格迁移后生成的伪雷达图像，e代表对齐编码器，g代表特征提取网络；
[0018]
第一roipooling层的输入为区域候选网络输出的候选框和特征图f1，经过第一roipooling层处理后，所有的候选框统一调整为相同大小的特征图m1；特征图m1经过区域分类网络r1的第一个全连接层处理，得到每个框对应的特征向量v1；
[0019]
第二roipooling层的输入为区域候选网络输出的候选框和特征图f2，经过第二roipooling层处理后，所有的候选框统一调整为相同大小的特征图m2；特征图m2经过区域分类网络r2的第一个全连接层处理，得到每个框对应的特征向量v2；
[0020]
区域分类网络r1的输入为第一roipooling层输出的特征图m1，第一roipooling
层输出的特征图m1经过区域分类网络r1处理后，得到各框的类别与位置信息，最终经过非极大值抑制算法得到预测的结果，为基础特征检测结果；
[0021]
区域分类网络r2的输入为第二roipooling层输出的特征图m2，第二roipooling层输出的特征图m2经过区域分类网络r2处理后，得到各框的类别与位置信息，最终经过非极大值抑制算法得到预测的结果，为域不变特征检测结果；
[0022]
区域分类网络r1与区域分类网络r2的结构相同，均为三个全连接层的结构，但不共享参数，网络的输入首先输入到第一个全连接层中，第一个全连接层的输出分别输入到另外两个全连接层，该两个全连接层分别输出候选框的位置和分类；
[0023]
船舶原型对齐模块包括前景框过滤器和船舶原型计算器，船舶原型对齐模块的输入为特征向量v1和特征向量v2；船舶原型对齐模块的前景框过滤器首先分别对输入的特征向量v1和v2进行过滤，具体为对输入的每个前景框重赋权，然后再输入船舶原型计算器进行船舶原型向量计算；前景框过滤器及重赋权操作公式描述如下：
[0024][0025]
船舶原型计算器：
[0026][0027]
公式(8)与公式(9)中，w
i,j
代表第i张图像的第j个候选框在计算船舶原型向量时的权重，为特征向量v1中第i张图像的第j个候选框的前景置信度，为特征向量v2中第i张图像的第j个候选框的前景置信度；r
i，j
表示第i张图像的第j个候选框；n为候选框的总数量；fc(
·
)表示特征向量v1中属于该框的特征向量；pi表示第i张图像计算出的船舶原型向量；
[0028]
船舶原型对齐模块的损失函数为：
[0029][0030]
其中，为带标注的光学图像域的第i张图像计算出的船舶原型向量，为雷达图像域的第i张图像计算出的船舶原型向量，||
·
||指欧式距离计算；通过减小二者的距离来对齐光学图像域和雷达图像域的语义信息；
[0031]
该船舶检测网络模型的损失函数l为区域候选网络、区域分类网络、对抗训练模块、一致性调整模块、船舶原型对齐模块的各部分的损失函数的加权之和，公式为：
[0032]
[0033]
其中，l
rpn
为区域候选网络的分类和回归损失，为区域分类网络r1、r2的分类和回归损失，l
da
为对抗训练模块的损失函数；l
consis
为一致性调整模块的损失函数；l
p
为船舶原型对齐模块的损失函数；λ1，λ2，λ3为训练过程中为不同部分损失赋予的超参。
[0034]
进一步的，本发明设计一种基于域适应的雷达图像船舶检测方法，其特征在于，该检测方法采用如上所述的基于域适应的雷达图像船舶检测网络模型，还包括如下步骤：
[0035]
步骤1：选择带标注的光学图像域作为源域数据，雷达图像域则作为目标域数据，将源域数据和目标域数据分别输入到完成参数初始化的船舶检测网络模型中，然后根据检测结果计算船舶检测网络模型的损失函数l的值，采用梯度法反向传播更新船舶检测网络模型的全部参数，完成一次训练；再次将源域数据和目标域数据分别输入到更新参数后的船舶检测网络模型中，进行下一次的训练；使船舶检测网络模型的损失函数l取最小值时的参数值即为目标参数值，保存当前网络模型参数值，船舶检测网络模型训练完成；
[0036]
步骤2：将待检测的雷达图片输入到步骤1中完成训练的船舶检测网络模型中，即可由区域分类网络r1的输出获得船舶检测结果。
[0037]
与现有技术相比，本发明的优点和有益效果是：
[0038]
本发明船舶检测网络模型利用域适应领域的知识，实现了光学图像到雷达图像的知识迁移。利用傅里叶变换原理，生成伪雷达图像，端到端地实现光学图像到雷达图像的风格迁移，达到无需繁杂人工后处理的目。利用编码器结构，将特征分解为域相似特征和域不变特征。同时，为了使分解效果更加准确，使用风格迁移后的图片对齐域相似特征。通过以上方法解决两个域外观上相差过大的问题。本发明检测方法在一定程度上解决了雷达图像样本少、标注难的问题，实现了即使缺少雷达样本标注，也可以进行船舶检测。
附图说明
[0039]
图1为本发明基于域适应的雷达图像船舶检测网络模型一种实施例的工作原理与流程图；
[0040]
图2(a)为光学图像样本示例图；图2(b)为雷达图像样本示例图；图2(c)为图2(a)经过二维傅里叶变换所得风格迁移后的图片；
[0041]
图3为本发明基于域适应的雷达图像船舶检测网络模型的区域候选网络的结构与原理示意图；
[0042]
图4为本发明基于域适应的雷达图像船舶检测网络模型的区域分类网络的结构与原理示意图；
[0043]
图5为采用本发明基于域适应的雷达图像船舶检测方法所得的雷达图像的船舶检测结果图。
具体实施方式
[0044]
下面结合附图和具体实现方式对本发明的技术方案进行详细说明，并不以此限定本技术的保护范围。
[0045]
本发明提供一种基于域适应的雷达图像船舶检测网络模型(简称船舶检测网络模型)，该船舶检测网络模型包括特征提取网络g、对抗训练模块、一致性调整模块、区域候选
网络、第一roi pooling层、第二roi pooling层(roi pooling就是将大小不同的feature map池化成大小相同的feature map，即附图中的映射操作)、区域分类网络r1、区域分类网络r2、船舶原型对齐模块。
[0046]
特征提取网络g包含resnet-101网络结构中的conv1、conv2_x、conv3_x、conv4_x四个网络块(即特征提取网络g的输入图像的要求同resnet-101网络的输入要求，其输出规格同resnet-101网络的conv4_x网络块的最后一层的输出)，该四个网络块的设置同resnet-101网络结构中的完全相同，输入图像经过特征提取网络g的处理后，输出相当于原图像1/32大小的特征图f1(维度为1024)。
[0047]
区域候选网络的输入为特征图f1，区域候选网络首先通过一个conv2d 3*3的卷积层对特征图f1进行一次卷积处理得到中间层特征图(大小和f1相同，维度为256)。该中间层特征图的每个位置都有9个不同尺寸的anchor box(锚框)。然后将anchor box分别输入到两个conv2d 1*1的卷积层分支进行处理，一个分支使用softmax进行二分类，判断该anchor box内是否存在物体，有则为positive，没有则为negative；另一个分支进行边框回归，使anchor box的边框更接近groundtruth的框(预先设定的框)，然后根据两个分支输出加原始图片信息生成若干数量的锚框，最终经过nms(非极大值抑制算法)筛选出n个(设置为128个)候选框(proposal)，每个候选框带有自身特征信息，包括该框的位置信息和该框对应的前景与背景概率信息，用(xmin,ymin,xmax,ymax,foreground_conf,background_conf)表示。
[0048]
对抗训练模块的输入为特征图f1，对抗训练模块包括梯度反转层和域分类器，梯度反转层(gradient reversal layer,grl)连接在特征提取网络与域分类器之间，梯度反转层在反向传播过程中将梯度取反。梯度反转层将特征图f1原样正向传递给域分类器，域分类器首先使用conv2d 3*3的卷积层对输入的特征图f1进行三次降维操作，使特征图f1的维度从1024降为128，每个卷积后都使用批归一化处理，接着继续用全连接层得到一个二分类的分类结果，非线性激活处理采用relu函数。分类结果表示域分类器判断该特征图f1来自源域还是目标域。
[0049]
对抗训练模块的损失如下：
[0050][0051][0052][0053]
其中，为带标注的光学图像域的第i个样本(即第i张图片，下同)；为雷达图像域的第i个样本，ns和n
t
分别为带标注的光学图像域和雷达图像域的样本数量。g代表特征提取网络，dg代表域分类器。通过梯度反转层及域分类器，达到对抗训练的目的。使域分类器混淆输入的特征来自源域还是目标域，以此来对齐两个域的特征分布。
[0054]
一致性调整模块的输入为特征图f1，一致性调整模块的对齐编码器对特征图f1进行降维、升维和激励操作，卷积核大小均为5
×
5，步长为1，边缘填充为2，并使用relu函数学
习通道之间的非线性相互作用，输出特征图f2。特征图f2与特征图f1大小完全相同。一致性调整模块的损失公式描述为：
[0055][0056]
其中，为带标注的光学图像域的第i个样本，为该样本经过风格迁移后生成的伪雷达图像，e代表对齐编码器，g代表特征提取网络，||
·
||指欧式距离计算。
[0057]
本实施例采用二维傅里叶变换对带标注的光学图像域进行风格迁移。二维傅里叶变换可以将带标注的光学图像域从空间表示转换为频率表示。频率的大小对应着光学图像的灰度起伏变化。光学图像灰度变化较剧烈的部分，比如光学图像的纹理、边缘，在频率域表现为高频信号；而光学图像灰度变化较平缓的部分，比如光学图像的背景，在频率域则表现为低频信号。在本发明中采用傅里叶变换，将原始光学图片x由图片域转换为频率域，接着使用雷达图像的低频信息去替换光学图像的低频信息，具体位置为频谱图中心，边长为图像边长β倍的矩形，β取0至0.08以内的随机小数，接着通过傅里叶逆变换得到新生成的图像。采用二维傅里叶变换风格迁移过程公式描述如下：
[0058][0059]mβ
(h,w)＝1
(h,w)∈[-βh:βh,-βw:βw]
(6)
[0060][0061]
采用二维傅里叶变换风格迁移部分为现有技术，可参照论文《fda:fourierdomainadaptationforsemanticsegmentation》的2.1节。
[0062]
第一roipooling层的输入为区域候选网络输出的候选框和特征图f1，经过第一roipooling层处理后，所有的候选框统一调整为相同大小的特征图m1(每个候选框对应7*7尺寸，维度为1024)；特征图m1经过区域分类网络r1的第一个全连接层处理，得到每个框对应的特征向量v1(128*2048尺寸)；
[0063]
第二roipooling层的输入为区域候选网络输出的候选框和特征图f2，经过第二roipooling层处理后，所有的候选框统一调整为相同大小的特征图m2(每个候选框对应7*7尺寸，维度为1024)；特征图m2经过区域分类网络r2的第一个全连接层处理，得到每个框对应的特征向量v2(128*2048尺寸)。
[0064]
区域分类网络r1的输入为第一roipooling层输出的特征图m1(其中的每个候选框对应7*7的尺寸、维度为1024的特征图)，第一roipooling层输出的特征图m1经过区域分类网络r1处理后，得到各框的类别与位置信息，最终经过非极大值抑制算法得到预测的结果，为基础特征检测结果。
[0065]
区域分类网络r2的输入为第二roipooling层输出的特征图m2(其中的每个候选框对应7*7的尺寸、维度为1024的特征图)，第二roipooling层输出的特征图m2经过区域分类网络r2处理后，得到各框的类别与位置信息，最终经过非极大值抑制算法得到预测的结果，为域不变特征检测结果。
[0066]
区域分类网络r1与区域分类网络r2的结构相同，均为三个全连接层的结构，但不共享参数，网络的输入首先输入到第一个全连接层(全连接层11)中，第一个全连接层的输
出分别输入到另外两个全连接层(全连接层21与全连接层22)，该两个全连接层分别输出候选框的位置和分类。
[0067]
船舶原型对齐模块包括前景框过滤器和船舶原型计算器，船舶原型对齐模块的输入为特征向量v1和特征向量v2。船舶原型对齐模块的前景框过滤器首先分别对输入的特征向量v1和v2进行过滤。
[0068]
对于同一个目标框，分别使用第一roi pooling层和第二roi pooling层映射到基础特征和域不变特征上，经过两个区域分类网络的第一个全连接层后，两个全连接层会分别输出属于该框的前景置信度(即特征向量v1和特征向量v2中包含框的前景置信度信息)。当两个全连接层的输出均判定该框属于前景时(前景置信度》0.5)，则该框被送入到船舶原型对齐控制器，否则不送入船舶原型对齐控制器。通过联合基础特征和域不变特征，可以从不同视角得到该框的前景置信度。只有当两个全连接层均判断该框属于前景时，这个框的特征向量才会加入船舶原型的计算中去。
[0069]
前景框过滤器对特征向量v1和v2过滤的方式为对输入的每个前景框重赋权，然后再输入船舶原型计算器进行船舶原型向量计算。前景框过滤器及重赋权操作公式描述如下：
[0070][0071]
船舶原型计算器：
[0072][0073]
公式(8)与公式(9)中，w
i,j
代表第i张图像的第j个候选框在计算船舶原型向量时的权重，为特征向量v1中第i张图像的第j个候选框的前景置信度，为特征向量v2中第i张图像的第j个候选框的前景置信度；n表示候选框的总数量，r
i，j
表示第i张图像的第j个候选框，fc(
·
)表示特征向量v1中属于该框的特征向量。pi表示第i张图像计算出的船舶原型向量。
[0074]
船舶原型对齐模块的损失函数为：
[0075][0076]
其中，为带标注的光学图像域的第i张图像计算出的船舶原型向量，为雷达图像域的第i张图像计算出的船舶原型向量，||
·
||指欧式距离计算。通过减小二者的距离来对齐光学图像域和雷达图像域的语义信息。
[0077]
该船舶检测网络模型的损失函数l为区域候选网络、区域分类网络、对抗训练模块、一致性调整模块、船舶原型对齐模块的各部分的损失函数的加权之和，公式为：
[0078][0079]
其中，l
rpn
为区域候选网络的分类和回归损失，为区域分类网络r1、r2的分类和回归损失，l
da
为对抗训练模块的损失函数；l
consis
为一致性调整模块的损失函数；l
p
为船舶原型对齐模块的损失函数。λ为训练过程中为不同部分损失赋予的超参，在本发明中，λ1，λ2，λ3分别为0.5，0.5，0.01。其中，区域候选网络的分类和回归损失及区域分类网络r1、r2的分类和回归损失由带标注的光学图像域进行计算，雷达图像不带标签，不参与计算。
[0080]
本发明设计的船舶检测网络模型是通过知识迁移学习到雷达图像域上一个鲁棒的检测器，由于光学图像下的船舶样本拥有数据丰富、更易标注的特点，该船舶检测网络模型在训练时，选择带标注的光学图像域作为源域数据，雷达图像域则作为目标域数据。利用源域数据和目标域数据对该船舶检测网络模型进行参数训练，根据船舶检测网络模型的损失函数l的值采用梯度法反向传播更新船舶检测网络模型的全部参数，使船舶检测网络模型的损失函数l取最小值时的网络模型参数即为目标参数值，保存当前网络模型参数。当需要使用雷达图像进行船舶检测时，输入到目标参数值下的船舶检测网络模型，即可由区域分类网络r1输出获得船舶检测结果。
[0081]
进一步的，本发明提供一种基于域适应的雷达图像船舶检测方法，其特征在于，该检测方法采用如上所述的基于域适应的雷达图像船舶检测网络模型，还包括如下步骤：
[0082]
步骤1：选择带标注的光学图像域作为源域数据，雷达图像域则作为目标域数据，利用源域数据和目标域数据对船舶检测网络模型进行参数训练；将源域数据和目标域数据分别输入到完成参数初始化的船舶检测网络模型中，然后根据检测结果计算船舶检测网络模型的损失函数l的值，采用梯度法反向传播更新船舶检测网络模型的全部参数，完成一次训练；再次将源域数据和目标域数据分别输入到更新参数后的船舶检测网络模型中，进行下一次的训练；使船舶检测网络模型的损失函数l取最小值时的参数值即为目标参数值，保存当前网络模型参数值，船舶检测网络模型训练完成；
[0083]
步骤2：将待检测的雷达图片输入到步骤1中完成训练的船舶检测网络模型中，即可由区域分类网络r1的输出获得船舶检测结果。
[0084]
本发明未述及之处适用于现有技术。