技术特征：
1.一种基于光学图像特征融合的图像超分辨率网络训练方法，其特征在于，包括下述步骤：获取原始数据，其中，所述原始数据包括高分辨率sar图像以及高分辨率可见光图像；对所述高分辨率sar图像进行下采样操作，得到低分辨率sar图像；将所述低分辨率sar图像以及所述高分辨率可见光图像输入至图像超分辨率网络进行超分辨率转化操作，得到超分辨率转化图像；计算所述超分辨率转化图像以及所述高分辨率sar图像的平均像素差的绝对值；将所述平均像素差的绝对值作为损失函数对所述图像超分辨率网络进行参数调优操作，得到目标图像超分辨率网络；所述将所述低分辨率sar图像以及所述高分辨率可见光图像输入至图像超分辨率网络进行超分辨率转化操作，得到超分辨率转化图像的操作，具体包括下述步骤：对所述低分辨率sar图像进行图像特征提取操作，得到浅层sar图像特征；根据可见光特征引导模块对所述浅层sar图像特征以及所述高分辨率可见光图像进行可见光特征融合操作，得到可见光图像信息增强的sar图像特征；根据sar图像特征编码模块对所述可见光图像信息增强的sar图像特征进行特征编码操作，得到深层sar图像特征；根据特征解码模块对所述深层sar图像特征进行局部特征重建操作，得到局部重建特征；将所述局部重建特征输入至恢复卷积层进行通道数恢复操作，得到所述超分辨率转化图像。2.根据权利要求1所述的基于光学图像特征融合的图像超分辨率网络训练方法，其特征在于，所述平均像素差的绝对值l
offn
表示为：其中，表示为所述低分辨率sar图像；表示为所述高分辨率可见光图像；表示为所述高分辨率sar图像；表示图像超分辨率网络映射函数输出的重建的高分辨率sar图像；表示第m个重构特征损失的值；‖
·
‖1表示l1范数，即求平均绝对值误差。3.根据权利要求2所述的基于光学图像特征融合的图像超分辨率网络训练方法，其特征在于，所述重构特征损失表示为：其中，表示为第i个所述sar图像特征编码模块输出的特征图；表示为第log2r-i个所述特征解码模块重构的特征图，其对应的是第i个编码模块的特征图，所以计
算重构的特征与原提取到的特征之间的损失；表示为第i个重构损失的权重，所有重构损失的和为1。4.根据权利要求1所述的基于光学图像特征融合的图像超分辨率网络训练方法，其特征在于，所述根据可见光特征引导模块对所述浅层sar图像特征以及所述高分辨率可见光图像进行可见光特征融合操作，得到可见光图像信息增强的sar图像特征的步骤，具体包括下述步骤：对所述低分辨率sar图像进行上采样操作，得到原始高分辨率sar图像；分别将所述原始高分辨率sar图像以及所述高分辨率可见光图像输入至卷积层进行浅层特征提取操作，得到sar图像浅层特征以及可见光浅层特征；将所述可见光浅层特征输入至ofgm模块进行可见光特征提取操作，得到可见光特征图；将所述可见光特征图以及所述sar图像浅层特征进行像素相乘操作，得到相乘像素特征；对所述相乘像素特征以及所述sar图像浅层特征进行特征拼接操作，得到拼接特征；将所述拼接特征输入至所述恢复卷积层进行特征通道数恢复操作，得到可见光图像信息增强的sar图像特征。5.一种基于光学图像特征融合的图像超分辨率网络训练装置，其特征在于，所述装置包括：原始数据获取模块，用于获取原始数据，其中，所述原始数据包括高分辨率sar图像以及高分辨率可见光图像；下采样模块，用于对所述高分辨率sar图像进行下采样操作，得到低分辨率sar图像；超分辨率转化模块，用于将所述低分辨率sar图像以及所述高分辨率可见光图像输入至图像超分辨率网络进行超分辨率转化操作，得到超分辨率转化图像；平均像素差模块，用于计算所述超分辨率转化图像以及所述高分辨率sar图像的平均像素差的绝对值；参数调优模块，用于将所述平均像素差的绝对值作为损失函数对所述图像超分辨率网络进行参数调优操作，得到目标图像超分辨率网络；所述超分辨率转化模块包括：图像特征提取子模块、可见光特征融合子模块、特征编码子模块、局部特征重建子模块以及通道数恢复子模块，其中：所述图像特征提取子模块，用于对所述低分辨率sar图像进行图像特征提取操作，得到浅层sar图像特征；所述可见光特征融合子模块，用于根据可见光特征引导模块对所述浅层sar图像特征以及所述高分辨率可见光图像进行可见光特征融合操作，得到可见光图像信息增强的sar图像特征；所述特征编码子模块，用于根据sar图像特征编码模块对所述可见光图像信息增强的sar图像特征进行特征编码操作，得到深层sar图像特征；所述局部特征重建子模块，用于根据特征解码模块对所述深层sar图像特征进行局部特征重建操作，得到局部重建特征；
所述通道数恢复子模块，用于将所述局部重建特征输入至恢复卷积层进行通道数恢复操作，得到所述超分辨率转化图像。6.根据权利要求5所述的基于光学图像特征融合的图像超分辨率网络训练装置，其特征在于，所述平均像素差的绝对值l
offn
表示为：其中，表示为所述低分辨率sar图像；表示为所述高分辨率可见光图像；表示为所述高分辨率sar图像；表示图像超分辨率网络映射函数输出的重建的高分辨率sar图像；表示第m个重构特征损失的值；‖
·
‖1表示l1范数，即求平均绝对值误差。7.根据权利要求5所述的基于光学图像特征融合的图像超分辨率网络训练装置，其特征在于，所述重构特征损失表示为：其中，表示为第i个所述sar图像特征编码模块输出的特征图；表示为第log2r-i个所述特征解码模块重构的特征图，其对应的是第i个编码模块的特征图，所以计算重构的特征与原提取到的特征之间的损失；表示为第i个重构损失的权重，所有重构损失的和为1。8.根据权利要求5所述的基于光学图像特征融合的图像超分辨率网络训练装置，其特征在于，所述可见光特征融合子模块，包括：上采样单元，用于对所述低分辨率sar图像进行上采样操作，得到原始高分辨率sar图像；浅层特征提取单元，用于分别将所述原始高分辨率sar图像以及所述高分辨率可见光图像输入至卷积层进行浅层特征提取操作，得到sar图像浅层特征以及可见光浅层特征；可见光特征提取单元，用于将所述可见光浅层特征输入至ofgm模块进行可见光特征提取操作，得到可见光特征图；像素相乘单元，用于将所述可见光特征图以及所述sar图像浅层特征进行像素相乘操作，得到相乘像素特征；特征拼接单元，用于对所述相乘像素特征以及所述sar图像浅层特征进行特征拼接操作，得到拼接特征；特征通道数恢复单元，用于将所述拼接特征输入至所述恢复卷积层进行特征通道数恢复操作，得到可见光图像信息增强的sar图像特征。9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可
读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至4中任一项所述的基于光学图像特征融合的图像超分辨率网络训练方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至4中任一项所述的基于光学图像特征融合的图像超分辨率网络训练方法的步骤。
技术总结
本申请实施例属于人工智能中的图像处理技术领域，涉及一种基于光学图像特征融合的图像超分辨率网络训练方法、装置、计算机设备及存储介质。本申请首先通过所提出的可见光特征引导模块对高分辨率可见光图像提取其高频信息和空间信息得到可见光图像特征图，并通过像素相乘将其映射到SAR图像特征空间。再对该SAR图像特征空间进行下采样编码提取深层特征，然后通过所提出的通道特征编码模块对提取到的特征进行上采样解码重构出图像特征，并将重构的图像特征与提取到的图像特征计算重建损失，从而约束解码模块生成更加真实的SAR图像特征。图像超分辨率网络通过引入可见光图像特征信息提高了SAR图像的超分辨率性能。信息提高了SAR图像的超分辨率性能。信息提高了SAR图像的超分辨率性能。
技术研发人员：李岩山 胥帆
受保护的技术使用者：深圳大学
技术研发日：2022.09.22
技术公布日：2023/1/13