一种基于深度学习的偏振图像超分辨率重建方法

1.本发明涉及偏振成像技术领域，特别涉及一种基于深度学习的低分辨率偏振图像超分辨率重建方法。


背景技术：

2.偏振成像技术能够获取目标场景中的偏振信息，从而能够解决受环境制约下，目标信息难以用光强与波长信息表示的问题。目前造成常用的偏振成像系统分辨率较低的原因主要是成像系统的硬件限制导致分辨率较低，或是偏振图像在传输过程中为了保证传输速率和节省空间而对传输图像进行了降采样处理。为了重建得到高分辨率的偏振图像和获得更加精确的偏振信息，如线性偏振度、偏振角等，对偏振图像进行超分辨率重建具有重要意义。
3.目前，使用于传统非偏振图像的超分辨率重建方法主要分为三类：基于插值的方法、基于重建的方法和基于学习的方法。基于插值的方法是根据原始图像的像素信息，生成重构已知像素点周围的其他像素点，常用的方法包括最近邻插值、双线性插值、双立方插值等。基于重建的方法是利用图像的先验知识，寻求高分辨率偏振图像到低分辨率偏振图像的退化模型并将其逆过程作用于低分辨率偏振图像得到超分辨率偏振图像。但是上述两类方法不能够充分利用图像中的特征信息，因此超分辨率重建后的效果并不理想，尤其是在针对高放大因子(如4倍及以上放大因子)，生成的图像会存在细节纹理模糊、边缘锯齿严重、噪声明显等问题。
4.基于深度学习的非偏振图像超分辨率重建已经成为超分辨率领域的研究热点，但是直接将目前的超分辨率重建神经网络用于偏振图像超分辨率重建中存在无法充分利用偏振信息、过多关注光强信息的恢复而忽略了偏振信息的恢复等问题，重建得到的偏振图像效果并不理想。


技术实现要素：

5.本发明的目的是为了克服现有技术中的不足，解决低分辨率偏振图像超分辨率重建偏振信息难以恢复的问题，提供一种基于深度学习的偏振图像超分辨率重建方法。
6.本发明的目的是通过以下技术方案实现的：
7.一种基于深度学习的偏振图像超分辨率重建方法，包括以下步骤：
8.s1.使用偏振相机拍摄得到单通道高分辨率的偏振图像a，对采集偏振图像a进行预处理，并构建数据集，将数据集按比例划分为训练集、测试集、验证集；
9.s2.搭建神经网络模型，并设置偏振感知与像素混合损失函数，利用数据集中的偏振特征信息和偏振像素信息；
10.s3.将数据集输入所述神经网络模型进行网络训练，得到超分辨率重建神经网络模型；
11.s4.使用超分辨率重建神经网络模型对测试集进行测试，从超分辨率重建神经网
络模型的输出层得到预先设置好放大因子的高分辨率的输出偏振图像。
12.进一步的，步骤s1中预处理过程如下，先将每一张偏振图像a按偏振方向拆分为四个子图，并合并成具有四个通道的高分辨率偏振图像b，通过裁剪使偏振图像b的长和宽都能被放大因子整除，再使用双立方插值降采样将偏振图像b缩小固定倍数得到四通道低分辨率的偏振图像c，最后将偏振图像c裁剪为32
×
32大小的图像块，对应4倍放大因子的偏振图像b裁剪为128
×
128大小的图像块，对应3倍放大因子的偏振图像b裁剪为96
×
96大小的图像块，将偏振图像b的图像块与偏振图像c的图像块作为图像对，构成数据集。
13.进一步的，所述神经网络模型包括：
14.浅层特征提取模块，包括两层卷积层，第一层卷积层由64个3
×
3的卷积核构成，第二层卷积层同样由64个3
×
3的卷积核构成；
15.16个残差密集模块，每个残差密集模块依次由3
×
3卷积层、线性修正单元relu函数、用于特征融合的连结层和1
×
1卷积层组成，每个残差密集模块中各层之间采用密集连接的方式进行特征组合，最终将每个残差密集模块前的输入与经过对应残差密集模块后的输出相加得到局部残差连接结果；
16.全局特征融合模块，依次包括用于特征融合的连结层、1
×
1卷积层和3
×
3卷积层；用于特征融合的连结层和1
×
1卷积层将从若干个残差密集模块中输出的所有特征进行融合，3
×
3卷积层进一步对融合结果进行特征提取；
17.全局残差学习模块，将浅层特征提取模块的第一层卷积层的输出与全局特征融合模块的输出相加，采用短路连接实现全局残差学习；
18.升尺度模块，包括5
×
5卷积层和3
×
3卷积层，能够将得到的粗分辨率特征升尺度到细分辨率特征，将特征信息的通道数放大到对应放大因子的倍数；
19.输出模块，包括亚像素卷积层和3
×
3卷积层，亚像素卷积层将特征信息的长和宽放大到对应放大因子的倍数，最后的3
×
3卷积层用于重构得到四通道高分辨率的偏振图像，得到最终的输出超分辨率偏振图像。
20.进一步的，步骤s3中训练神经网络模型的步骤如下：
21.首先将偏振图像c输入神经网络模型，使用浅层特征提取模块对四个偏振方向的偏振图像c进行特征提取融合，并将获得的特征信息传输到残差密集模块中，输出不同层次的特征信息；在全局特征融合模块对输出的不同层次的特征信息进行特征融合，并对融合后的特征再进行特征提取；在全局残差学习模块将得到的特征信息与浅层特征提取模块输出的特征信息相加得到低分辨率空间下的图像特征信息；将这些图像特征信息输入到升尺度模块，将特征信息的通道数提升到设定放大因子的倍数，并通过输出模块获得高分辨率空间下的超分辨率重建神经网络模型。
22.进一步的，所述偏振感知与像素混合损失函数包括总体像素损失、偏振像素损失和偏振感知损失，总体像素损失用于恢复光强信息，偏振像素损失用于恢复偏振信息，偏振感知损失用于提升偏振信息的感知效果。
23.进一步的，使用神经网络模型的输出偏振图像和四个通道的高分辨率偏振图像的像素值的均方误差作为总体像素损失；
24.使用自适应调整的线性偏振度图像与偏振角图像的像素值的均方误差作为偏振像素损失，其中按照线性偏振度与偏振角的均方误差大小分配权重，动态调整两者的权重；
25.使用预训练的vgg网络提取偏振图像特征，将三张相同的单通道线性偏振度图像叠加转化为三通道偏振度图像输入到神经网络模型中，提取输出偏振图像重构得到的线性偏振度图像与偏振图像a重构得到的线性偏振度图像的偏振特征，将二者的均方误差作为线性偏振度感知损失，对单通道偏振角图像同样进行上述操作，得到偏振角感知损失，将线性偏振度感知损失与偏振角感知损失结合得到偏振感知损失；
26.将以上总体像素损失、偏振像素损失和偏振感知损失按照经验获得的权重结合，形成最终的偏振感知与像素混合损失函数。
27.进一步的，通过调整神经网络模型的参数满足对输出偏振图像分辨率的要求，包括初始学习率、批处理大小、损失函数约束项、残差密集模块的数量以及卷积核数。
28.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述基于深度学习的偏振图像超分辨率重建方法的步骤。
29.本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述基于深度学习的偏振图像超分辨率重建方法的步骤。
30.与现有技术相比，本发明的技术方案所带来的有益效果是：
31.1、本发明主要采用残差密集结构进行神经网络搭建。神经网络对低分辨率空间的偏振图像特征进行学习，相较于在高分辨率空间对偏振图像进行学习，减小了学习时占用的空间资源，提升了学习的速度。残差密集结构能够连接多个层级的特征，从而充分利用低分辨率偏振图像的偏振信息，使得输出超分辨率偏振图像更加接近高分辨率偏振图像。
32.2、本发明主要采用输出图像与真实图像像素的均方误差作为总体像素损失，在训练中自适应动态调节权重的偏振信息像素的均方误差作为偏振像素损失函数，基于预训练vgg网络的偏振信息特征的均方误差作为偏振感知损失。通过加入偏振感知与像素混合损失函数，可以有效利用图像偏振信息的像素信息与特征信息，从而超分辨率重建得到感知效果更好的偏振信息。
附图说明
33.图1为本发明方法的流程示意图；
34.图2为本实施例中构建神经网络模型的结构示意图；
35.图3a至图3i为根据本发明实施例的低分辨率偏振图像的四倍超分辨率重建效果对比示意图；其中图3a为低分辨率偏振图像双立方插值升采样后得到的光强图，图3b为对应线性偏振度图，图3c为对应偏振角图，图3d、3e、3f分别为使用实施例中经超分辨率重建后神经网络模型得到的光强图、线性偏振度图和偏振角图，图3g、3h、3i分别为根据标签图像重建的光强图、线性偏振度图和偏振角图，即真值图像。
36.图4a至图4c为根据本发明实施例的低分辨率偏振图像的四倍超分辨率重建得到的光强图局部放大图像效果示意图；图4a为目标标签的光强图的局部放大区域示意图；图4b为光强图的区域a的局部放大对比示意图；图4c为光强图的区域b的局部放大对比示意图。
37.图5a至图5c为根据本发明实施例的低分辨率偏振图像的四倍超分辨率重建得到的线性偏振度图局部放大图像效果示意图；图5a为目标标签的线性偏振度图的局部放大区
域示意图；
38.图5b为线性偏振度图的区域a的局部放大对比示意图；图5c为线性偏振度图的区域b的局部放大对比示意图。
39.图6a至图6c为根据本发明实施例的低分辨率偏振图像的四倍超分辨率重建得到的偏振角图局部放大效果示意图；图6a为目标标签的偏振角图的局部放大区域示意图；图6b为偏振角图的区域a的局部放大对比示意图；图6c为偏振角图的区域b的局部放大对比示意图。
具体实施方式
40.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
41.下面参照附图描述根据本发明实施例提出的基于深度学习的偏振图像超分辨率重建方法，以分焦平面偏振图像超分辨率重建为例。
42.图1是本发明提供的一种基于深度学习的偏振图像超分辨率重建方法的流程图。本实施例的图像超分辨率重建方法包括：
43.步骤1、构建偏振图像数据集：使用分焦平面偏振相机拍摄高分辨率偏振图像，之后进行数据预处理，先将每一张偏振图像a按偏振方向拆分为四个子图，并合并成具有四个通道的高分辨率偏振图像b，通过裁剪使偏振图像b的长和宽都能被放大因子整除，再使用双立方插值降采样将偏振图像b缩小固定倍数得到四通道低分辨率的偏振图像c，最后将偏振图像c裁剪为32
×
32大小的图像块，对应4倍放大因子的偏振图像b裁剪为128
×
128大小的图像块，对应3倍放大因子的偏振图像b裁剪为96
×
96大小的图像块，将偏振图像b的图像块与偏振图像c的图像块作为图像对，构成数据集。
44.假设输入图像每个通道中，每个通道的高分辨率偏振图像b表示为每个通道的低分辨率偏振图像c表示为两者满足：
[0045][0046]
其中θ∈{0
°
，45
°
，90
°
，135
°
}，k
θ
表示退化模型矩阵，在本实施例中是双立方插值的权重矩阵。最后将数据集按照8:1:1的比例拆分为训练集，验证集和测试集；
[0047]
步骤2、搭建神经网络模型，如图2所示，神经网络模型主要由多个残差密集模块组成，并由偏振感知与像素混合损失函数约束，对神经网络模型优化训练得到超分辨率重建神经网络模型。
[0048]
步骤201、配置浅层特征提取模块。具体地，浅层特征提取模块包括两层卷积层，第一层卷积层由64个3
×
3的卷积核构成，第二层卷积层同样由64个3
×
3的卷积核构成。
[0049]
步骤202、配置残差密集模块。具体地，在本实施例中共配置了16个残差密集模块。每个残差密集模块由3
×
3卷积层，线性修正单元relu函数，用于特征融合的连结层和1
×
1卷积层组成，每个残差密集模块中各层之间采用密集连接的方式进行特征组合，最终将每个残差密集模块前的输入与经过该残差密集模块后的输出相加得到局部残差连接结果。在本实施例中，每个残差密集模块都包含了8个密集连接卷积层及其对应的relu函数。
[0050]
步骤203、配置全局特征融合模块。具体地，全局特征融合模块包括用于特征融合的连结层，1
×
1卷积层和3
×
3卷积层。用于特征融合的连结层和1
×
1卷积层将从多个残差密集模块中输出的所有特征进行融合，3
×
3卷积层进一步对融合结果进行特征提取。
[0051]
步骤204、配置全局残差学习模块。全局残差学习模块将第一层浅层特征提取层的输出与全局特征融合模块的输出相加，采用短路连接实现全局残差学习。
[0052]
步骤205、配置升尺度模块。包括5
×
5卷积层和3
×
3卷积层，能够将得到的粗分辨率特征升尺度到细分辨率特征，将特征信息的通道数放大到对应放大因子的倍数；
[0053]
步骤206、配置输出模块。具体地，输出模块包括亚像素卷积层和3
×
3卷积层构成，亚像素卷积层将特征信息的长和宽放大到对应放大因子的倍数，最后的3
×
3卷积层用于重构得到四通道高分辨率的偏振图像，得到最终的输出超分辨率偏振图像。
[0054]
步骤3、设计偏振感知与像素混合损失函数，通过总体像素损失来恢复光强信息，通过偏振像素损失来恢复偏振信息，通过偏振感知损失来提升偏振信息的感知效果。
[0055]
具体地，总体像素损失函数定义如下：
[0056][0057]
其中n为训练样本数量，c为图像通道数，m和n分别为图像尺寸，表示低分辨率偏振图像c和高分辨率偏振图像b的训练对，θ∈{0
°
，45
°
，90
°
，135
°
}，θ表示神经网络模型的超参数，f函数表示从训练对中训练得到的超分辨率映射。
[0058]
进一步地，本发明实施例中，利用stokes矢量表征偏振信息，与四个偏振方向的偏振图像i0，i
45
，i
90
，i
135
的关系如下：
[0059][0060]
利用stokes矢量表征偏振信息，包括光强s0，线性偏振度dolp和偏振角aop，光强s0可由公式(3)直接获得，线性偏振度dolp和偏振角aop用以下公式表示：
[0061][0062][0063]
偏振像素损失由线性偏振度像素损失和偏振角像素损失组成，定义如下：
[0064][0065]
[0066]
其中，dolp
pred
和aop
pred
分别为神经网络模型预测的超分辨率偏振图像(步骤s4的输出偏振图像)计算得到的线性偏振度图像和偏振角图像，dolp
gt
和aop
gt
分别为实际拍摄的高分辨率偏振图像计算得到的线性偏振度图像和偏振角图像，μ是偏振角的调节参数，使线性偏振度像素损失和偏振角像素损失在训练初始数值在同一数量级。
[0067]
偏振像素损失为：
[0068][0069]
需要说明的是，其中权重w
dolp
、w
aop
随着对应损失函数值大小变化而变化，通过自适应权重的损失来评估每个子损失对总体损失的贡献，赋予贡献较大的子损失更高的权重，从而平衡各个子损失的数值大小。
[0070]
进一步地，偏振感知损失由线性偏振度感知损失和偏振角感知损失组成，定义如下：
[0071][0072][0073]
其中，feat(
·
)为偏振特征感知映射，由预训练的vgg网络的部分网络层组成，用于提取输入图像的偏振特征，得到特征图，m和n分别为图像尺寸。在本实施例中，使用预训练的vgg-19的第一个池化层之前的部分。
[0074]
进一步地，偏振感知损失为：
[0075][0076]
进一步地，偏振感知与像素混合损失函数l为
[0077][0078]
其中，λ和η是平衡不同损失项的系数。
[0079]
步骤4、在本发明的实施例中，根据超分辨率重建的要求调整模型的参数，包括初始学习率、批处理大小、损失函数约束项、残差密集模块的数量以及卷积核数等参数，对神经网络模型进行训练，在训练过程中对输入图像进行翻转和旋转实现数据扩充。具体地，在本实施例中最小批处理样本数为16，学习率初始化为0.0001，使用指数衰减学习率方法，设置衰减率为0.5，训练周期为105，每20轮进行一次学习率衰减，使用adam算法优化损失函数。
[0080]
本发明实施例采用峰值信噪比psnr与学习感知图像块相似度lpips作为评价指标其中
↑
表示该指标越大，其图像像素水平上越接近标签图，
↓
表示该指标越小，其图像感知效果上越接近标签图，采用10张像素通道分别为306
×
256
×
4和408
×
341
×
4的四通道偏振图像分别作为放大因子为4和3的神经网络的低分辨率偏振图像输入，像素通道为1224
×
1024
×
4的高分辨率偏振图像作为目标标签图像，使用重建得到的高分辨率偏振图像与目标标签的高分辨率偏振图像计算评价指标，在放大因子为4和3时重建所得的结果如下表所示：
[0081][0082]
实验结果表明，对比传统的双立方插值法，本发明对低分辨率偏振图像进行超分辨率重建后重构的偏振信息峰值信噪比明显提升。而学习感知图像块相似度有所下降，表示图像的视觉感知质量更好。
[0083]
在本发明的实施例中，使用偏振图像超分辨率重建神经网络进行四倍超分辨率重建后，之后得到的根据偏振信息计算的光强图，线性偏振度图和偏振角度图的可视化效果图如图3a至图3i所示，其中图3a为低分辨率偏振图像双立方插值升采样后得到的光强图，图3b为对应线性偏振度图，图3c为对应偏振角图，图3d、e、f分别为使用本发明实施例超分辨率重建后得到的光强图、线性偏振度图和偏振角图，图3g、h、i分别为根据标签图像重建的光强图、线性偏振度图和偏振角图，即真值图像。图4a至图4c、图5a至图5c、图6a至图6c分别为光强图、线性偏振度图和偏振角图的局部放大效果对比图。从图中可以看出本发明提出的基于深度学习的偏振图像超分辨率重建方法得到的图像边缘连续，且能恢复出传统插值方法难以恢复的偏振信息中的图像细节。该方法能够有效提升低分辨率偏振图像的分辨率，并且对于细节受损较严重的偏振度图像与偏振角图像，能恢复其偏振信息，并提升其感知效果。
[0084]
优选地，本技术的实施例还提供能够实现上述实施例中的基于深度学习的偏振图像超分辨率重建方法中全部步骤的一种电子设备的具体实施方式，电子设备具体包括如下内容：
[0085]
处理器(processor)、存储器(memory)、通信接口(communications interface)和总线；
[0086]
其中，处理器、存储器、通信接口通过总线完成相互间的通信；通信接口用于实现服务器端设备、计量设备以及用户端设备等相关设备之间的信息传输。
[0087]
处理器用于调用存储器中的计算机程序，处理器执行计算机程序时实现上述实施例中的基于深度学习的偏振图像超分辨率重建方法中的全部步骤。
[0088]
本技术的实施例还提供能够实现上述实施例中的基于深度学习的偏振图像超分辨率重建方法中全部步骤的一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的基于深度学习的偏振图像超分辨率重建方法的全部步骤。
[0089]
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0090]
虽然本技术提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
[0091]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0092]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0093]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0094]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0095]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。