一种SAR图像识别方法、装置及存储介质

一种sar图像识别方法、装置及存储介质
技术领域
1.本发明涉及图像处理领域，特别是一种sar图像识别方法、装置及存储介质。


背景技术：

2.合成孔径雷达(synthetic aperture radar,sar)具有广泛的应用。sar能够主动自发地发射电磁波并且接收返回的信号进行成像和探测。对于sar图像的识别识别，在标注样本不足的情况下，网络模型泛化能力退化严重，带来了小样本数据集的属性标签缺失问题；同时在网络模型进行自监督学习时，基于实例判别，把每一幅图像及其数据增广部分视为正样本对，而彼此不同的图像或其数据增广部分视为负样本对，使正样本对之间的相似度增大，而使负样本对之间的相似度减小，由于正负样本的选择问题导致不能充分体现对图像的表征能力。


技术实现要素：

3.本发明的目的在于至少解决现有技术中存在的技术问题之一，提供一种sar图像识别方法、装置及存储介质。
4.本发明解决其问题所采用的技术方案是：
5.本发明的第一方面，一种sar图像识别方法，包括：
6.通过无标签标注的第一sar图像训练第一网络；
7.利用迁移学习将所述第一网络的权重参数迁移至第二网络中；
8.通过有标签标注的第二sar图像训练第二网络；
9.输入待测sar图像至训练完成的所述第二网络进行图像识别；
10.其中，所述通过无标签标注的第一sar图像训练第一网络，包括：
11.将所述第一sar图像中的任意一个作为目标图像，其他作为非目标图像；
12.将所述目标图像进行不同的数据增广得到多个第一增广样本，将所述非目标图像进行不同的数据增广得到多个第二增广样本，取多个所述第一增广样本的任意两个组合得到多个不重复的所述正样本对，取多个所述第一增广样本中的任意一个和多个所述第二增广样本中的任意一个组合得到多个不重复的所述负样本对；
13.对多个所述正样本对进行特征表征得到多个第一表征向量，对多个所述负样本对进行特征表征得到多个第二表征向量，对每个所述第一表征向量，搜索与所述第一表征向量相似度最高的k个所述第二表征向量，选取k个所述第二表征向量中的任意一个作为目标向量，将所述第一表征向量与所述目标向量相加得到目标正样本；
14.从所述负样本对中删除k个所述第二表征向量得到目标负样本；
15.对所述目标正样本和所述目标负样本进行对比损失计算得到第一损失值，根据所述第一损失值对所述第一网络进行反向传播以更新梯度。
16.本发明的第二方面，一种sar图像识别装置，包括：
17.第一网络；
18.第二网络；
19.第一训练模块，用于通过无标签标注的第一sar图像训练所述第一网络；
20.迁移学习模块，用于利用迁移学习将所述第一网络的权重参数迁移至第二网络中；
21.第二训练模块，用于通过有标签标注的第二sar图像训练第二网络；
22.识别模块，用于输入待测sar图像至训练完成的所述第二网络进行图像识别；
23.其中，所述第一训练模块包括：
24.分图模块，用于将所述第一sar图像中的其中任意一个作为目标图像，其他作为非目标图像；
25.数据增广模块，用于将所述目标图像进行不同的数据增广得到多个第一增广样本，将所述非目标图像进行不同的数据增广得到多个第二增广样本，取多个所述第一增广样本的任意两个组合得到多个不重复的所述正样本对，取多个所述第一增广样本中的任意一个和多个所述第二增广样本中的任意一个组合得到多个不重复的所述负样本对；
26.正样本获取模块，用于对多个所述正样本对进行特征表征得到多个第一表征向量，对多个所述负样本对进行特征表征得到多个第二表征向量，对每个所述第一表征向量，搜索与所述第一表征向量相似度最高的k个所述第二表征向量，选取k个所述第二表征向量中的任意一个作为目标向量，将所述第一表征向量与所述目标向量相加得到目标正样本；
27.负样本获取模块，用于从所述负样本对中删除k个所述第二表征向量得到目标负样本；
28.第一损失计算模块，用于对所述目标正样本和所述目标负样本进行对比损失计算得到第一损失值，根据所述第一损失值对所述第一网络进行反向传播以更新梯度。
29.本发明的第三方面，一种存储介质，存储有可执行指令，所述可执行指令被处理器执行时实现如本发明的第一方面所述的sar图像识别方法。
30.上述方案至少具有以下的有益效果：通过双实例对比学习，能够理想地选择正负样本，提升网络模型对sar图像的表征能力，降低了对标签数据的需求量，节省大量的标注数据所需要的人力物力。
31.本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
32.下面结合附图和实例对本发明作进一步说明。
33.图1是本发明实施例一种sar图像识别方法的流程图；
34.图2是图1中步骤s100的流程图；
35.图3是第一网络和第二网络的训练示意图；
36.图4是本发明实施例一种sar图像识别装置的结构图。
具体实施方式
37.本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的
每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
38.在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
39.在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
40.本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
41.参照图1和图2，本发明的第一方面的实施例，提供了一种sar图像识别方法。
42.sar图像识别方法包括：
43.步骤s100、通过无标签标注的第一sar图像训练第一网络10。
44.对于步骤s100，通过无标签标注的第一sar图像训练第一网络10，包括：
45.步骤s110，第一sar图像的每个图像既可以是目标图像，也可以是非目标图像。将所述第一sar图像中的其中任意一个作为目标图像，其他作为非目标图像。
46.步骤s120、将目标图像进行不同的数据增广得到多个第一增广样本，将非目标图像进行不同的数据增广得到多个第二增广样本，取多个第一增广样本的任意两个组合得到多个不重复的正样本对，取多个第一增广样本中的任意一个和多个第二增广样本中的任意一个组合得到多个不重复的负样本对。
47.对于步骤s120，数据增广包括裁剪、调整亮度和调整色彩。当然在其他实施例中，也可以进行随机高斯模糊、随机旋转和随机平移等操作。另外，还需要对经数据增广的图像进行调整尺寸，产生相似但不相同的训练样本，扩大了训练样本数量。
48.一般地，将目标图像进行两种不同的数据增广t和t'得到两个不同的第一增广样本v
a
和v
′
a
。
49.将非目标图像进行不同的数据增广得到多个第二增广样本。需要说明的是，对非目标图像进行的数据增广可以是t和t
′
，也可以是其他形式的数据增广。
50.步骤s130、对多个正样本对进行特征表征得到多个第一表征向量，对多个负样本对进行特征表征得到多个第二表征向量，搜索与第一表征向量相似度最高的k个第二表征向量，选取k个第二表征向量中的任意一个作为目标向量，将第一表征向量与目标向量相加得到目标正样本。其中k为预设值，根据经验所得。
51.对于步骤s130，进行特征表征得到表征向量，包括：将正样本对的两个正样本v
a
和v
′
a
通过第一特征提取模块提取特征，得到正样本的特征向量y
a
和y
′
a
；将特征向量y
a
和y
′
a
通过多层感知机进行高层语义空间的映射，得到正样本的第一表征向量z
a
和z
′
a
。
52.将负样本对通过第一特征提取模块提取特征，得到负样本对的特征向量；将负样本对的特征向量通过多层感知机进行高层语义空间的映射，得到负样本对的第二表征向量。
53.需要说明的是，第一特征提取模块和多层感知机在对正样本对的两个正样本v
a
和v
′
a
进行处理的两条支路网络中权重参数是共享的。
54.搜索与第一表征向量相似度最高的k个第二表征向量，包括：对每个第一表征向量，计算第一表征向量和多个第二表征向量的相似度；将多个相似度按照由大到小的顺序排序，选取排名在前的k个相似度对应的第二表征向量。具体地，计算第一表征向量和多个第二表征向量的相似度为：将第一表征向量分别与多个第二表征向量进行点积运算，得到多个相似度。
55.对于第一表征向量z
a
，分别选取k个第二表征向量中的任意一个作为目标向量z
p
，将表征向量z
a
与目标向量z
p
相加得到目标正样本z
a
+z
p
。
56.同样地，对于另一个第一表征向量z
′
a
，分别选取k个第二表征向量中的任意一个作为目标向量z
′
p
。将表征向量z
′
a
与目标向量z
′
p
相加得到目标正样本z
′
a
+z
′
p
。
57.步骤s140、从负样本对中删除与第一表征向量相似度最高的k个第二表征向量，得到目标负样本。
58.通过步骤s110至步骤s140能构建理想的跨实例级别的正样本和负样本。
59.步骤s150、对目标正样本和目标负样本进行对比损失计算得到第一损失值，根据第一损失值对第一网络10进行反向传播以更新梯度。第一网络10对正负样本进行自监督对比学习，通过无标签标注的第一sar图像训练第一网络10，使第一网络10的特征提取模块表征良好，使第一网络10的性能更优。第一损失值表示为：
60.式中，z
a
+z
p
表示其中一个双实例正样本，z
′
a
+z
′
p
表示另一个双实例正样本，t表示温度系数，z
i
表示第一表征向量和第二表征向量组成的向量集合中的第i个表征向量，n为第一表征向量和第二表征向量的总数量。
61.需要说明的是，对于第一损失值，t越大，输出的概率分布越平滑；当t趋于无限，则输出的概率分布服从一维均匀分布。
62.参照图3，步骤s200、利用迁移学习将第一网络10的权重参数迁移至第二网络20中。
63.对于步骤s200，具体为：利用迁移学习将第一网络10的第一特征提取模块的权重参数迁移至第二网络20的第二特征提取模块中。
64.当然在其他实施例中，也可以将第一网络10的多层感知机去除，将第一网络10的第一特征提取模块的权重参数进行冻结，在第一特征提取模块后添加分类器并进行参数初始化。
65.步骤s300、通过有标签标注的第二sar图像训练第二网络20。
66.对于步骤s300，由于第二网络20迁移学习了第一网络10的第一特征提取模块的权重参数，提升了第二网络20的表征能力，降低了对标签数据的需求量，只通过少量的有标签标注的第二sar图像进行有监督训练即可，从而节省大量的标注数据所需要的人力物力。
67.通过有标签标注的第二sar图像有监督训练第二网络20具体为：通过第二特征提取模块得到有标签标注的第二sar图像的图像特征，通过分类器对第二sar图像的图像特征
进行分类识别，判断第二图像属于各个类别的置信度，即预测类别结果的概率分布；将预测类别结果个概率分布与标签的概率分布进行交叉熵损失计算得到第二损失值，通过第二损失值对第二网络20进行反向传播以更新梯度。
68.具体地，第二损失值通过以下式子表示：式中，x
i
表示第i张第二sar图像，p(x
i
)表示第i张第二sar图像标签的概率分布，q(x
i
)表示第i张第二sar图像预测类别结果的概率分布，n为第二sar图像的总数量。
69.步骤s400、输入待测sar图像至训练完成的第二网络20进行图像识别，训练完成的第二网络20能准确地识别出待测sar图像的类别。
70.在该实施例中，通过双实例对比学习，能够理想地选择正负样本，提升网络模型对sar图像的表征能力，降低了对标签数据的需求量，节省大量的标注数据所需要的人力物力。
71.参照图4，本发明的第二方面的实施例，提供了一种sar图像识别装置。
72.sar图像识别装置包括第一网络10和第二网络20，还包括第一训练模块30、迁移学习模块40、第二训练模块50和识别模块60。
73.其中，第一训练模块30用于通过无标签标注的第一sar图像训练第一网络10；迁移学习模块40用于使第二网络20对第一网络10迁移学习；第二训练模块50，用于通过有标签标注的第二sar图像训练第二网络20；识别模块60用于输入待测sar图像至训练完成的第二网络20进行图像识别。
74.第一训练模块30包括分图模块35、数据增广模块31、正样本获取模块32、负样本获取模块33和第一损失计算模块34。
75.其中，分图模块35用于将所述第一sar图像中的其中一个作为目标图像，其他作为非目标图像，数据增广模块31用于将目标图像进行不同的数据增广得到多个第一增广样本，将非目标图像进行不同的数据增广得到多个第二增广样本，取多个第一增广样本的任意两个组合得到多个不重复的正样本对，取多个第一增广样本中的任意一个和多个第二增广样本中的任意一个组合得到多个不重复的负样本对；正样本获取模块32用于对多个正样本对进行特征表征得到多个第一表征向量，对多个负样本对进行特征表征得到多个第二表征向量，对每个第一表征向量，搜索与第一表征向量相似度最高的k个所述第二表征向量，选取k个第二表征向量中的任意一个作为目标向量，将第一表征向量与目标向量相加得到目标正样本；负样本获取模块33用于从负样本对中删除k个第二表征向量得到目标负样本；第一损失计算模块34用于对目标正样本和目标负样本进行对比损失计算得到第一损失值，根据第一损失值对第一网络10进行反向传播以更新梯度。
76.在该实施例中，通过双实例对比学习，能够理想地选择正负样本，提升网络模型对sar图像的表征能力，降低了对标签数据的需求量，节省大量的标注数据所需要的人力物力。
77.需要说明的是，本发明的第二方面的实施例所提供的sar图像识别装置采用了本发明的第一方面的实施例所提供的sar图像识别方法，sar图像识别装置的各模块与sar图像识别方法的各步骤一一对应，解决了相同的技术问题，具有相同的技术方案，具有相同的有益效果。
78.本发明的第三方面的实施例，提供了一种存储介质。存储介质存储有可执行指令，所述可执行指令被处理器执行时实现如本发明的第一方面的实施例所述的sar图像识别方法。
79.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd
‑
rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
80.以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。