一种图像超分辨率网络训练方法、装置、设备及存储介质

1.本技术涉及人工智能中的图像处理技术领域，尤其涉及一种基于光学图像特征融合的图像超分辨率网络训练方法、装置、计算机设备及存储介质。


背景技术：

2.深度神经网络在现实生活中已经取得了广泛的应用，例如图像分类、文本转换以及其他的一些应用。
3.最近，基于深度学习的图像超分辨率方面的研究也越来越多，这种方法主要是从大量的低分辨率图像与高分辨率图像对中学习一种非线性的映射关系，然后根据这种映射关系从一张低分辨率的图像中恢复重建出对应的高分辨率图像。
4.然而，申请人发现传统基于深度学习的图像超分辨率方法都是针对自然图像也就是可见光图像提出的，对于特征信息较少的单通道sar图像来说，这些已经提出的图像超分辨率网络并不适用，由此可见，传统的图像超分辨率方法存在无法适用于特征信息较少的单通道sar图像的问题。


技术实现要素：

5.本技术实施例的目的在于提出一种基于光学图像特征融合的图像超分辨率网络训练方法、装置、计算机设备及存储介质，以解决传统的图像超分辨率方法存在无法适用于特征信息较少的单通道sar图像的问题。
6.为了解决上述技术问题，本技术实施例提供一种基于光学图像特征融合的图像超分辨率网络训练方法，采用了如下所述的技术方案：
7.获取原始数据，其中，所述原始数据包括高分辨率sar图像以及高分辨率可见光图像；
8.对所述高分辨率sar图像进行下采样操作，得到低分辨率sar图像；
9.将所述低分辨率sar图像以及所述高分辨率可见光图像输入至图像超分辨率网络进行超分辨率转化操作，得到超分辨率转化图像；
10.计算所述超分辨率转化图像以及所述高分辨率sar图像的平均像素差的绝对值；
11.将所述平均像素差的绝对值作为损失函数对所述图像超分辨率网络进行参数调优操作，得到目标图像超分辨率网络；
12.所述将所述低分辨率sar图像以及所述高分辨率可见光图像输入至图像超分辨率网络进行超分辨率转化操作，得到超分辨率转化图像的操作，具体包括下述步骤：
13.对所述低分辨率sar图像进行图像特征提取操作，得到浅层sar图像特征；
14.根据可见光特征引导模块对所述浅层sar图像特征以及所述高分辨率可见光图像进行可见光特征融合操作，得到可见光图像信息增强的sar图像特征；
15.根据sar图像特征编码模块对所述可见光图像信息增强的sar图像特征进行特征编码操作，得到深层sar图像特征；
16.根据特征解码模块对所述深层sar图像特征进行局部特征重建操作，得到局部重建特征；
17.将所述局部重建特征输入至恢复卷积层进行通道数恢复操作，得到所述超分辨率转化图像。
18.进一步的，所述平均像素差的绝对值l
offn
表示为：
[0019][0020]
其中，表示为所述低分辨率sar图像；表示为所述高分辨率可见光图像；表示为所述高分辨率sar图像；表示图像超分辨率网络映射函数输出的重建的高分辨率sar图像；表示第m个重构特征损失的值；‖
·
‖1表示l1范数，即求平均绝对值误差。
[0021]
进一步的，所述重构特征损失表示为：
[0022][0023]
其中，表示为第i个所述sar图像特征编码模块输出的特征图；表示为第log2r-i个所述特征解码模块重构的特征图，其对应的是第i个编码模块的特征图，所以计算重构的特征与原提取到的特征之间的损失；表示为第i个重构损失的权重，所有重构损失的和为1。
[0024]
进一步的，所述根据可见光特征引导模块对所述浅层sar图像特征以及所述高分辨率可见光图像进行可见光特征融合操作，得到可见光图像信息增强的sar图像特征的步骤，具体包括下述步骤：
[0025]
对所述低分辨率sar图像进行上采样操作，得到原始高分辨率sar图像；
[0026]
分别将所述原始高分辨率sar图像以及所述高分辨率可见光图像输入至卷积层进行浅层特征提取操作，得到sar图像浅层特征以及可见光浅层特征；
[0027]
将所述可见光浅层特征输入至ofgm模块进行可见光特征提取操作，得到可见光特征图；
[0028]
将所述可见光特征图以及所述sar图像浅层特征进行像素相乘操作，得到相乘像素特征；
[0029]
对所述相乘像素特征以及所述sar图像浅层特征进行特征拼接操作，得到拼接特征；
[0030]
将所述拼接特征输入至所述恢复卷积层进行特征通道数恢复操作，得到可见光图像信息增强的sar图像特征。
[0031]
为了解决上述技术问题，本技术实施例还提供一种基于光学图像特征融合的图像
超分辨率网络训练装置，采用了如下所述的技术方案：
[0032]
原始数据获取模块，用于获取原始数据，其中，所述原始数据包括高分辨率sar图像以及高分辨率可见光图像；
[0033]
下采样模块，用于对所述高分辨率sar图像进行下采样操作，得到低分辨率sar图像；
[0034]
超分辨率转化模块，用于将所述低分辨率sar图像以及所述高分辨率可见光图像输入至图像超分辨率网络进行超分辨率转化操作，得到超分辨率转化图像；
[0035]
平均像素差模块，用于计算所述超分辨率转化图像以及所述高分辨率sar图像的平均像素差的绝对值；
[0036]
参数调优模块，用于将所述平均像素差的绝对值作为损失函数对所述图像超分辨率网络进行参数调优操作，得到目标图像超分辨率网络；
[0037]
所述超分辨率转化模块包括：图像特征提取子模块、可见光特征融合子模块、特征编码子模块、局部特征重建子模块以及通道数恢复子模块，其中：
[0038]
所述图像特征提取子模块，用于对所述低分辨率sar图像进行图像特征提取操作，得到浅层sar图像特征；
[0039]
所述可见光特征融合子模块，用于根据可见光特征引导模块对所述浅层sar图像特征以及所述高分辨率可见光图像进行可见光特征融合操作，得到可见光图像信息增强的sar图像特征；
[0040]
所述特征编码子模块，用于根据sar图像特征编码模块对所述可见光图像信息增强的sar图像特征进行特征编码操作，得到深层sar图像特征；
[0041]
所述局部特征重建子模块，用于根据特征解码模块对所述深层sar图像特征进行局部特征重建操作，得到局部重建特征；
[0042]
所述通道数恢复子模块，用于将所述局部重建特征输入至恢复卷积层进行通道数恢复操作，得到所述超分辨率转化图像。
[0043]
进一步的，所述平均像素差的绝对值l
offn
表示为：
[0044][0045]
其中，表示为所述低分辨率sar图像；表示为所述高分辨率可见光图像；表示为所述高分辨率sar图像；表示图像超分辨率网络映射函数输出的重建的高分辨率sar图像；表示第m个重构特征损失的值；‖
·
‖1表示l1范数，即求平均绝对值误差。
[0046]
进一步的，所述重构特征损失表示为：
[0047]
[0048]
其中，表示为第i个所述sar图像特征编码模块输出的特征图；表示为第log2r-i个所述特征解码模块重构的特征图，其对应的是第i个编码模块的特征图，所以计算重构的特征与原提取到的特征之间的损失；表示为第i个重构损失的权重，所有重构损失的和为1。
[0049]
进一步的，所述可见光特征融合子模块，包括：
[0050]
上采样单元，用于对所述低分辨率sar图像进行上采样操作，得到原始高分辨率sar图像；
[0051]
浅层特征提取单元，用于分别将所述原始高分辨率sar图像以及所述高分辨率可见光图像输入至卷积层进行浅层特征提取操作，得到sar图像浅层特征以及可见光浅层特征；
[0052]
可见光特征提取单元，用于将所述可见光浅层特征输入至ofgm模块进行可见光特征提取操作，得到可见光特征图；
[0053]
像素相乘单元，用于将所述可见光特征图以及所述sar图像浅层特征进行像素相乘操作，得到相乘像素特征；
[0054]
特征拼接单元，用于对所述相乘像素特征以及所述sar图像浅层特征进行特征拼接操作，得到拼接特征；
[0055]
特征通道数恢复单元，用于将所述拼接特征输入至所述恢复卷积层进行特征通道数恢复操作，得到可见光图像信息增强的sar图像特征。
[0056]
为了解决上述技术问题，本技术实施例还提供一种计算机设备，采用了如下所述的技术方案：
[0057]
包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上所述的基于光学图像特征融合的图像超分辨率网络训练方法的步骤。
[0058]
为了解决上述技术问题，本技术实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
[0059]
所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的基于光学图像特征融合的图像超分辨率网络训练方法的步骤。
[0060]
本技术提供了一种基于光学图像特征融合的图像超分辨率网络训练方法，包括：获取原始数据，其中，所述原始数据包括高分辨率sar图像以及高分辨率可见光图像；对所述高分辨率sar图像进行下采样操作，得到低分辨率sar图像；将所述低分辨率sar图像以及所述高分辨率可见光图像输入至图像超分辨率网络进行超分辨率转化操作，得到超分辨率转化图像；计算所述超分辨率转化图像以及所述高分辨率sar图像的平均像素差的绝对值；将所述平均像素差的绝对值作为损失函数对所述图像超分辨率网络进行参数调优操作，得到目标图像超分辨率网络；所述将所述低分辨率sar图像以及所述高分辨率可见光图像输入至图像超分辨率网络进行超分辨率转化操作，得到超分辨率转化图像的操作，具体包括下述步骤：对所述低分辨率sar图像进行图像特征提取操作，得到浅层sar图像特征；根据可见光特征引导模块对所述浅层sar图像特征以及所述高分辨率可见光图像进行可见光特征
融合操作，得到可见光图像信息增强的sar图像特征；根据sar图像特征编码模块对所述可见光图像信息增强的sar图像特征进行特征编码操作，得到深层sar图像特征；根据特征解码模块对所述深层sar图像特征进行局部特征重建操作，得到局部重建特征；将所述局部重建特征输入至恢复卷积层进行通道数恢复操作，得到所述超分辨率转化图像。与现有技术相比，本技术首先通过所提出的可见光特征引导模块对高分辨率可见光图像提取其高频信息和空间信息得到可见光图像特征图，并通过像素相乘将其映射到sar图像特征空间。再对该sar图像特征空间进行下采样编码提取深层特征，然后通过所提出的通道特征编码模块对提取到的特征进行上采样解码重构出图像特征，并将重构的图像特征与提取到的图像特征计算重建损失，从而约束解码模块生成更加真实的sar图像特征。图像超分辨率网络通过引入可见光图像特征信息提高了sar图像的超分辨率性能。
附图说明
[0061]
为了更清楚地说明本技术中的方案，下面将对本技术实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0062]
图1是本技术可以应用于其中的示例性系统架构图；
[0063]
图2是本技术实施例一提供的基于光学图像特征融合的图像超分辨率网络训练方法的实现流程图；
[0064]
图3是本技术实施例一提供的图像超分辨率网络的一种具体实施方式的结构示意图；
[0065]
图4是本技术实施例一提供的可见光特征引导模块的一种具体实施方式的结构示意图；
[0066]
图5是本技术实施例二提供的基于光学图像特征融合的图像超分辨率网络训练装置的结构示意图；
[0067]
图6是根据本技术的计算机设备的一个实施例的结构示意图。
具体实施方式
[0068]
除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术；本技术的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本技术的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
[0069]
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0070]
为了使本技术领域的人员更好地理解本技术方案，下面将结合附图，对本技术实施例中的技术方案进行清楚、完整地描述。
[0071]
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0072]
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
[0073]
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、mp3播放器(moving picture experts group audio layer iii，动态影像专家压缩标准音频层面3)、mp4(moving picture experts group audio layer iv，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
[0074]
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
[0075]
需要说明的是，本技术实施例所提供的基于光学图像特征融合的图像超分辨率网络训练方法一般由服务器/终端设备执行，相应地，基于光学图像特征融合的图像超分辨率网络训练装置一般设置于服务器/终端设备中。
[0076]
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
[0077]
实施例一
[0078]
继续参考图2，示出了本技术实施例一提供的基于光学图像特征融合的图像超分辨率网络训练方法的实现流程图，为了便于说明，仅示出与本技术相关的部分。
[0079]
上述的基于光学图像特征融合的图像超分辨率网络训练方法，包括以下步骤：
[0080]
步骤s201：获取原始数据，其中，原始数据包括高分辨率sar图像以及高分辨率可见光图像。
[0081]
在本技术实施例中，图像超分辨率网络使用包含高分辨率的sar图像i
hr
和同一场景下的高分辨率可见光图像i
op
的数据集进行训练。
[0082]
步骤s202：对高分辨率sar图像进行下采样操作，得到低分辨率sar图像。
[0083]
在本技术实施例中，对数据集中的高分辨率sar图像通过bicubic方法得到对应的低分辨率sar图像i
lr
。
[0084]
具体的，使用bicubic双三次插值函数对输入的低分辨率sar图像i
lr
进行上采样恢复到原来的图像尺寸，得到该过程可以表示为：
[0085][0086]
其中，f
bicubic
表示bicubic双三次插值函数。
[0087]
步骤s203：将低分辨率sar图像以及高分辨率可见光图像输入至图像超分辨率网络进行超分辨率转化操作，得到超分辨率转化图像。
[0088]
在本技术实施例中，本技术的sar图像超分辨率工作旨在通过一张低分辨率的sar图像重建恢复成一张高分辨率的sar图像。但是考虑到在实际应用场景下难以获得具有和sar图像同一场景下的高分辨率可见光图像，所以本技术只在网络的训练过程中引入可见
光图像信息来增强sar图像特征。
[0089]
在本技术实施例中，图像超分辨率网络的整体网络结构如图3所描述，该图像超分辨率网络主要包括四个部分：可见光特征融合模块、sar图像特征编码部分、特征解码部分和重建部分。
[0090]
在本技术实施例中，设定和(c
in c
in
，h h，ww，rr分别是输入图像的通道数，高，宽和尺度因子)分别是本技术图像超分辨率网络的低分辨率sar图像和高分辨率可见光图像的输入，ar图像和高分辨率可见光图像的输入，为网络输出的重建的高分辨率sar图像。
[0091]
在本技术实施例中，超分辨率转化操作结合同一场景下的高分辨率可见光图像i
op
训练一种i
lr
和i
op
到高分辨率sar图像i
hr
非线性映射关系网络。
[0092]
步骤s204：计算超分辨率转化图像以及高分辨率sar图像的平均像素差的绝对值。
[0093]
在本技术实施例中，上述映射的目标函数是使得重建出的高分辨率sar图像i
sr
与真实的高分辨率sar图像i
hr
之间的损失更小，具体表现为：
[0094][0095]
其中，θ表示训练好的图像超分辨率网络的参数集，即网络中各个网络层的权重和偏置矩阵；n表示训练集的图片对数量；表示训练好的i
lr
和i
op
到i
hr
的图像超分辨率网络映射关系模型。
[0096]
在本技术实施例的一些可选的实现方式中，平均像素差的绝对值l
offn
表示为：
[0097][0098]
其中，表示为低分辨率sar图像；表示为高分辨率可见光图像；表示为高分辨率sar图像；表示图像超分辨率网络映射函数输出的重建的高分辨率sar图像；表示第m个重构特征损失的值；‖
·
‖1表示l1范数，即求平均绝对值误差。
[0099]
在本技术实施例中，采用平均绝对值误差而不是平均平方误差是因为平均绝对值误差对于异常像素点的敏感度较小，不会因为异常像素点的值影响整个网络训练的损失，使网络训练更加地稳定。从而有利于恢复出更细致的sar图像信息。
[0100]
在本技术实施例的一些可选的实现方式中，重构特征损失表示为：
[0101][0102]
其中，表示为第i个sar图像特征编码模块输出的特征图；表示为第
log2r-i个特征解码模块重构的特征图，其对应的是第i个编码模块的特征图，所以计算重构的特征与原提取到的特征之间的损失；表示为第i个重构损失的权重，所有重构损失的和为1。
[0103]
在本技术实施例中，重构特征损失表示所有重构的特征图与对应的提取到的特征图的损失的加权求和。以此作为整个网络损失的一部分，约束特征解码模块能生成出更加真实的图像特征信息。
[0104]
步骤s205：将平均像素差的绝对值作为损失函数对图像超分辨率网络进行参数调优操作，得到目标图像超分辨率网络。
[0105]
上述步骤s203，具体包括下述步骤：
[0106]
步骤s2031：对低分辨率sar图像进行图像特征提取操作，得到浅层sar图像特征；
[0107]
步骤s2032：根据可见光特征引导模块对浅层sar图像特征以及高分辨率可见光图像进行可见光特征融合操作，得到可见光图像信息增强的sar图像特征。
[0108]
在本技术实施例中，可见光特征融合操作可以是对低分辨率sar图像进行上采样操作，得到原始高分辨率sar图像；分别将原始高分辨率sar图像以及高分辨率可见光图像输入至卷积层进行浅层特征提取操作，得到sar图像浅层特征以及可见光浅层特征；将可见光浅层特征输入至ofgm模块进行可见光特征提取操作，得到可见光特征图；将可见光特征图以及sar图像浅层特征进行像素相乘操作，得到相乘像素特征；对相乘像素特征以及sar图像浅层特征进行特征拼接操作，得到拼接特征；将拼接特征输入至恢复卷积层进行特征通道数恢复操作，得到可见光图像信息增强的sar图像特征。
[0109]
在本技术实施例中，分别用一个3
×
3的卷积层f
head
(
·
)提取上采样之后的sar图像以及原高分辨率可见光图像i
op
的浅层特征f
op
∈rc×
rh
×
rw
。
[0110][0111]fop
＝f
head
(i
op
)
[0112]
在本技术实施例中，卷积层能稳固网络的优化以及能得到更好的结果。并且卷积层还是一种将输入的图像矩阵转换为高维度的特征图的简单方式。然后我们将得到的可见光的浅层特征通过我们所提出的可见光特征引导模块得到可见光的特征权重图m
op
。然后将该特征权重图通过像素相乘的方式映射到sar图像特征空间。并且与最初的sar图像浅层特征进行通道拼接，在原有的sar图像特征的基础上增加可见光的特征权重。通过提取到的可见光的高频信息的特征，为sar图像特征提供对应的重要权重同时丰富sar图像特征信息，最后通过一个3
×
3的卷积层对拼接的通道特征进行融合，得到具有可见光图像特征信息的sar图像特征。整个可见光特征融合模块可以表示成：
[0113][0114]
其中，f
fusion
是一个3
×
3的卷积层操作；concat表示通道维度的拼接操作；m
op
为可见光特征融合模块所提取到的可见光特征信息。
[0115]
在本技术实施例中，考虑到光学图像不同的局域对sar图像超分辨率的引导作用是不一样的。因此，为了充分提取到光学图像中的空间通道特征和局部高频特征信息。本文
提出了可见光特征引导模块(optical feature guided module,ofgm)以更好地发挥可见光图像的引导作用，充分提取可见光图像中丰富的高频特征纹理信息，从而提高输出高分辨率sar图像的质量。其网络结构图如图4所示。
[0116]
在本技术实施例中，针对可见光图像的浅层特征f
op
，首先经过一个步长为2的卷积层进行下采样操作，同时扩大可见光图像特征通道数。然后经过通过一个avgpooling平均池化的操作平滑图像特征。对比maxpooling的只在乎一个窗口中最重要的像素点信息，我们采用的平均池化能避免sar图像中原有纹理特征的丢失。该过程可以表示为：
[0117]
f`
op
＝avgpooling(conv
stride＝2
(f
op
))
[0118]
其中，avgpooling表示平均池化函数；conv
stride＝2
表示步长为2的卷积层。该过程主要实现下采样操作时避免特征图中高频信息的丢失。然后对f`
op
特征图通过残差密集块(residual dense block)提取深层特征。在这里我们设置残差密集块的数量为3个，该模块通过多尺度残差网络和密集连接联合不同尺度的图像特征。然后将深层特征与原始图像特征经过像素相加，得到多通道特征加权的可见光图像特征。并将其恢复到原始特征尺寸在与最初的浅层特征像素相加，相当于在最初的浅层特征上加上提取到的深层特征图，增强原可见光图像特征信息。该过程可以表示为：
[0119]
f``
op
＝f
op
+conv3×3(up(δ)f`
op
+α*rdbi(f`
t
)))),i＝1,
…
,3
[0120]
其中，conv3×3表示3
×
3的卷积层；up表示上采样操作；δ表示relu非线性激活函数；rdb表示残差密集块的映射函数。然后对提取到的可见光图像特征使用一个1
×
1的卷积层降低其通道维数和网络参数，并将其经过一个sigmoid激活函数得到可见光图像对整个sar图像超分辨率的权重图m
op
。表示为：
[0121]mop
＝sigmoid(conv1×1(f``
op
))
[0122]
其中，sigmoid表示sigmoid激活函数，其输出范围在(0,1)之间。conv1×1表示1
×
1的卷积层，其作用是减少网络参数。然后将m
op
与sar图像浅层特征通过像素相乘的方式将可见光图像特征权重图映射到sar图像特征空间。通过可见光图像特征图中不同局部位置的不同权重，将sar图像特征进行不同程度的增强。然后与原sar图像的浅层特征进行通道维度的拼接，为了是在原sar图像特征的基础上添加具有可见光特征加权的sar图像特征。通俗的说，先根据可见光图像确定sar图像重要的局部特征，然后再将这些局部特征添加到原特征图中以增加特征信息。
[0123]
该过程可以表示为：
[0124][0125]
其中，f
fusion
表示一个3
×
3的卷积层，其作用是将通道拼接后的图像特征恢复到原特征通道数；concat表示通道维度的拼接操作。最后得到的f`
sar
就是包含了可见光图像特权加权的sar图像特征信息。
[0126]
步骤s2033：根据sar图像特征编码模块对可见光图像信息增强的sar图像特征进行特征编码操作，得到深层sar图像特征。
[0127]
在本技术实施例中，为了充分利用可见光特征图像中不同通道之间各个像素点的关系生成可见光图像中的高频纹理信息，我们利用通道注意力机制(channel attention)提出了一种通道特征编码模块(channel feature code module,cfcm)。针对多通道的特征
图，该模块能高效捕获不同通道之间特征像素点之间的关系。其网络结构图如图3中的右下角所示。
[0128]
首先，把输入进来的特征图f
cfcm
经过一个3
×
3的卷积层和一个relu非线性激活函数先初步提取浅层特征，表示为：
[0129]
f`
cfcm
＝δ(conv3×3(f
cfcm
))
[0130]
其中，conv3×3表示3
×
3的卷积层；δ表示relu非线性激活函数。然后将一个通道注意力与一个3
×
3的卷积层组成一个通道注意力模块，将上面的浅层特征经过若干个通道注意力模块提取其特征图中各个通道的特征权重，得到特征图的空间信息，并将每个通道注意力的输出通过一个可学习权重与初始的特征图进行加权的像素求和，构成残差连接增加特征图的空间特征信息。这里我们设置的通道注意力的数量为2个，该过程可以表示为：
[0131][0132]
其中，calayeri表示第i个通道注意力模块；表示第i-1个通道注意力模块的输出；λi表示第i个通道注意力模块输出的权重。这个公式的含义就是将每个通道注意力的输出与初始的特征图进行加权的像素求和。
[0133]
在本技术实施例中，得到sar图像特征图之后，本技术再经过编码的方式对特征图进行下采样提取深层次特征。每个编码模块包括一个步长为2的卷积层、一个relu激活函数和一个3
×
3的卷积层。本技术采用步长为2的卷积层旨在对特征图进行卷积下采样操作，通过增加特征图的通道数得到sar图像的局部特征。其中，本技术根据尺度因子的不同而改变编码模块的数量，为了是在放大倍数较大时也能提取更加深层次和更完整的图像特征。具体地，编码模块的为尺度因子r的log2r个。例如，当尺度因子为4时，此时的编码模块为2个，解码模块的数量与编码模块是相同的也为2个，当尺度因子为8时，编码模块和解码模块的数量为3个。sar图像特征图经过特征编码之后得到深层的特征，该特征编码模块可以表示为：
[0134]
encoder＝[conv
stride＝2
,relu,conv3×3]
[0135][0136]
其中，conv
stride＝2
表示步长为2的卷积；relu表示relu激活函数；conv3×3表示3
×
3的卷积层。encoderi表示第i个特征编码模块。r表示尺度因子。
[0137]
步骤s2034：根据特征解码模块对深层sar图像特征进行局部特征重建操作，得到局部重建特征。
[0138]
在本技术实施例中，得到不同维度的sar图像特征图之后，在对深层特征进行特征解码，即特征上采样。在特征解码模块中，本技术引入通道特征编码模块(cfcm)。该模块是为了从提取的到sar图像特征图中提取各个通道的全局特征信息，保留原特征的通道特征信息。在这里的解码模块中cfcm的数量是自定义的，本技术这里设置的是20个。对特征进行通道特征提取之后再通过一个上采样操作重建出部分原图像特征。整体的解码部分可以表示为：
[0139]
decoder＝[cfcmm,upsample],m＝1,
…
,20
[0140][0141][0142]
其中，表示经过第i个特征解码模块之后输出的特征图；concat表示通道维度的拼接操作。这里第一个解码模块的输入为特征编码模块的最终输出的特征图后续每个特征解码模块的输入都为上一个的输出与对应特征编码部分的特征输出。这里本技术采用跳跃连接的方式，将特征编码模块的特征图进行全局传输，有利于图像特征信息在网络中的快速传输。对于每个特征解码模块的输出，本技术还把他们与对应的通道编码模块的输出计算损失，作为网络损失的一部分。并且不同的特征解码的损失被授予不同的权重，越深层的特征的损失权重越大。目的就是更深层的特征其局部的高频信息越丰富，本技术通过较大的权重约束对应的特征解码模块重建出更加真实的sar图像特征。该特征重建损失具体可以表示为：
[0143][0144]
其中表示每个特征解码模块对应权重的归一化处理。例如当放大倍数为4时，第1个特征解码模块的特征重建损失的权重为4/(2+4)，第二个的特征解码模块的重建损失的权重为2/(2+4)。
[0145]
步骤s2035：将局部重建特征输入至恢复卷积层进行通道数恢复操作，得到超分辨率转化图像。
[0146]
在本技术实施例中，把特征解码模块的最终输出经过一个3
×
3的卷积层恢复到原来的图像通道数，完成图像重建操作，便得到整个网络的最终输出i
sr
。
[0147][0148]
其中，conv3×3表示一个3
×
3的卷积层，使得重建的图像特征恢复到原来的图像通道数，完成超分辨率重建。
[0149]
在本技术实施例中，提供了一种基于光学图像特征融合的图像超分辨率网络训练方法，包括：获取原始数据，其中，原始数据包括高分辨率sar图像以及高分辨率可见光图像；对高分辨率sar图像进行下采样操作，得到低分辨率sar图像；将低分辨率sar图像以及高分辨率可见光图像输入至图像超分辨率网络进行超分辨率转化操作，得到超分辨率转化图像；计算超分辨率转化图像以及高分辨率sar图像的平均像素差的绝对值；将平均像素差的绝对值作为损失函数对图像超分辨率网络进行参数调优操作，得到目标图像超分辨率网络；将低分辨率sar图像以及高分辨率可见光图像输入至图像超分辨率网络进行超分辨率转化操作，得到超分辨率转化图像的操作，具体包括下述步骤：根据可见光特征引导模块对浅层sar图像特征以及高分辨率可见光图像进行可见光特征融合操作，得到可见光图像信息增强的sar图像特征；根据sar图像特征编码模块对可见光图像信息增强的sar图像特征进行特征编码操作，得到深层sar图像特征；根据特征解码模块对深层sar图像特征进行局
部特征重建操作，得到局部重建特征；将局部重建特征输入至恢复卷积层进行通道数恢复操作，得到超分辨率转化图像。与现有技术相比，本技术首先通过所提出的可见光特征引导模块对高分辨率可见光图像提取其高频信息和空间信息得到可见光图像特征图，并通过像素相乘将其映射到sar图像特征空间。再对该sar图像特征空间进行下采样编码提取深层特征，然后通过所提出的通道特征编码模块对提取到的特征进行上采样解码重构出图像特征，并将重构的图像特征与提取到的图像特征计算重建损失，从而约束解码模块生成更加真实的sar图像特征。图像超分辨率网络通过引入可见光图像特征信息提高了sar图像的超分辨率性能。
[0150]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)等非易失性存储介质，或随机存储记忆体(random access memory，ram)等。
[0151]
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0152]
实施例二
[0153]
进一步参考图5，作为对上述图2所示方法的实现，本技术提供了一种基于光学图像特征融合的图像超分辨率网络训练装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
[0154]
如图5所示，本实施例的基于光学图像特征融合的图像超分辨率网络训练装置200包括：原始数据获取模块201、下采样模块202、超分辨率转化模块203、平均像素差模块204以及参数调优模块205。其中：
[0155]
原始数据获取模块201，用于获取原始数据，其中，原始数据包括高分辨率sar图像以及高分辨率可见光图像；
[0156]
下采样模块202，用于对高分辨率sar图像进行下采样操作，得到低分辨率sar图像；
[0157]
超分辨率转化模块203，用于将低分辨率sar图像以及高分辨率可见光图像输入至图像超分辨率网络进行超分辨率转化操作，得到超分辨率转化图像；
[0158]
平均像素差模块204，用于计算超分辨率转化图像以及高分辨率sar图像的平均像素差的绝对值；
[0159]
参数调优模块205，用于将平均像素差的绝对值作为损失函数对图像超分辨率网络进行参数调优操作，得到目标图像超分辨率网络；
[0160]
超分辨率转化模块包括：图像特征提取子模块2031、可见光特征融合子模块2032、特征编码子模块2033、局部特征重建子模块2034以及通道数恢复子模块2035，其中：
[0161]
图像特征提取子模块2031，用于对低分辨率sar图像进行图像特征提取操作，得到
浅层sar图像特征；
[0162]
可见光特征融合子模块2032，用于根据可见光特征引导模块对浅层sar图像特征以及高分辨率可见光图像进行可见光特征融合操作，得到可见光图像信息增强的sar图像特征；
[0163]
特征编码子模块2033，用于根据sar图像特征编码模块对可见光图像信息增强的sar图像特征进行特征编码操作，得到深层sar图像特征；
[0164]
局部特征重建子模块2034，用于根据特征解码模块对深层sar图像特征进行局部特征重建操作，得到局部重建特征；
[0165]
通道数恢复子模块2035，用于将局部重建特征输入至恢复卷积层进行通道数恢复操作，得到超分辨率转化图像。
[0166]
在本技术实施例中，提供了一种基于光学图像特征融合的图像超分辨率网络训练装置200，包括：原始数据获取模块201，用于获取原始数据，其中，原始数据包括高分辨率sar图像以及高分辨率可见光图像；下采样模块202，用于对高分辨率sar图像进行下采样操作，得到低分辨率sar图像；超分辨率转化模块203，用于将低分辨率sar图像以及高分辨率可见光图像输入至图像超分辨率网络进行超分辨率转化操作，得到超分辨率转化图像；平均像素差模块204，用于计算超分辨率转化图像以及高分辨率sar图像的平均像素差的绝对值；参数调优模块205，用于将平均像素差的绝对值作为损失函数对图像超分辨率网络进行参数调优操作，得到目标图像超分辨率网络；超分辨率转化模块包括：图像特征提取子模块2031、可见光特征融合子模块2032、特征编码子模块2033、局部特征重建子模块2034以及通道数恢复子模块2035，其中：图像特征提取子模块2031，用于对低分辨率sar图像进行图像特征提取操作，得到浅层sar图像特征；可见光特征融合子模块2031，用于根据可见光特征引导模块对浅层sar图像特征以及高分辨率可见光图像进行可见光特征融合操作，得到可见光图像信息增强的sar图像特征；特征编码子模块2032，用于根据sar图像特征编码模块对可见光图像信息增强的sar图像特征进行特征编码操作，得到深层sar图像特征；局部特征重建子模块2033，用于根据特征解码模块对深层sar图像特征进行局部特征重建操作，得到局部重建特征；通道数恢复子模块2035，用于将局部重建特征输入至恢复卷积层进行通道数恢复操作，得到超分辨率转化图像。与现有技术相比，本技术首先通过所提出的可见光特征引导模块对高分辨率可见光图像提取其高频信息和空间信息得到可见光图像特征图，并通过像素相乘将其映射到sar图像特征空间。再对该sar图像特征空间进行下采样编码提取深层特征，然后通过所提出的通道特征编码模块对提取到的特征进行上采样解码重构出图像特征，并将重构的图像特征与提取到的图像特征计算重建损失，从而约束解码模块生成更加真实的sar图像特征。图像超分辨率网络通过引入可见光图像特征信息提高了sar图像的超分辨率性能。
[0167]
为解决上述技术问题，本技术实施例还提供计算机设备。具体请参阅图6，图6为本实施例计算机设备基本结构框图。
[0168]
所述计算机设备300包括通过系统总线相互通信连接存储器310、处理器320、网络接口330。需要指出的是，图中仅示出了具有组件310-330的计算机设备300，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进
行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit，asic)、可编程门阵列(field－programmable gate array，fpga)、数字处理器(digital signal processor，dsp)、嵌入式设备等。
[0169]
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
[0170]
所述存储器310至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器310可以是所述计算机设备300的内部存储单元，例如该计算机设备300的硬盘或内存。在另一些实施例中，所述存储器310也可以是所述计算机设备300的外部存储设备，例如该计算机设备300上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。当然，所述存储器310还可以既包括所述计算机设备300的内部存储单元也包括其外部存储设备。本实施例中，所述存储器310通常用于存储安装于所述计算机设备300的操作系统和各类应用软件，例如基于光学图像特征融合的图像超分辨率网络训练方法的计算机可读指令等。此外，所述存储器310还可以用于暂时地存储已经输出或者将要输出的各类数据。
[0171]
所述处理器320在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器320通常用于控制所述计算机设备300的总体操作。本实施例中，所述处理器320用于运行所述存储器310中存储的计算机可读指令或者处理数据，例如运行所述基于光学图像特征融合的图像超分辨率网络训练方法的计算机可读指令。
[0172]
所述网络接口330可包括无线网络接口或有线网络接口，该网络接口330通常用于在所述计算机设备300与其他电子设备之间建立通信连接。
[0173]
本技术提供的计算机设备，首先通过所提出的可见光特征引导模块对高分辨率可见光图像提取其高频信息和空间信息得到可见光图像特征图，并通过像素相乘将其映射到sar图像特征空间。再对该sar图像特征空间进行下采样编码提取深层特征，然后通过所提出的通道特征编码模块对提取到的特征进行上采样解码重构出图像特征，并将重构的图像特征与提取到的图像特征计算重建损失，从而约束解码模块生成更加真实的sar图像特征。图像超分辨率网络通过引入可见光图像特征信息提高了sar图像的超分辨率性能。
[0174]
本技术还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于光学图像特征融合的图像超分辨率网络训练方法的步骤。
[0175]
本技术提供的计算机可读存储介质，首先通过所提出的可见光特征引导模块对高分辨率可见光图像提取其高频信息和空间信息得到可见光图像特征图，并通过像素相乘将其映射到sar图像特征空间。再对该sar图像特征空间进行下采样编码提取深层特征，然后
通过所提出的通道特征编码模块对提取到的特征进行上采样解码重构出图像特征，并将重构的图像特征与提取到的图像特征计算重建损失，从而约束解码模块生成更加真实的sar图像特征。图像超分辨率网络通过引入可见光图像特征信息提高了sar图像的超分辨率性能。
[0176]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
[0177]
显然，以上所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例，附图中给出了本技术的较佳实施例，但并不限制本技术的专利范围。本技术可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本技术的公开内容的理解更加透彻全面。尽管参照前述实施例对本技术进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本技术说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本技术专利保护范围之内。