基于注意力机制的偏振图像去噪方法

1.本发明涉及偏振成像技术领域，特别涉及一种基于深度学习的偏振图像去噪方法。


背景技术：

2.偏振成像技术利用光的偏振特性，可有效解决目标探测和识别等领域在传统光学里无法解决的问题，弥补探测效果因受环境制约、效果较差的不足，进而取得较高的对比度和良好的探测效果。但是偏振图像对噪声较为敏感，如果在微弱光照或者短曝光时间的条件下采集图像，过高的噪声就会显著影响偏振信息重构的准确性。因此针对偏振成像的去噪技术具有重要意义和重要应用价值。
3.目前的偏振图像去噪方法主要有数据驱动型和非数据驱动型两种去噪方法。效果最好的非数据驱动型去噪方法是基于三维相似块匹配的方法。但是偏振图像像素之间具有物理相关性，如果直接将普通数字图像的去噪方法应用于偏振图像，将会无法充分利用偏振信息，另外对于低信噪比的图片，非数据驱动方法也无法较好的去噪，而且此类去噪算法有诸多参数需要先验知识来确定，很难获得算法的最优解。基于深度学习的数据驱动的方法已经成功应用于多种去噪任务，而且效果大都强于传统方法，但是该方法普遍采用高斯噪声人为加入到无噪声图像里的合成图像作为数据集，然而真实的环境噪声分布更加复杂，仅通过高斯噪声模拟真实的噪声会导致算法在真实噪声场景受限。


技术实现要素：

4.本发明旨在解决偏振图像偏振信息受噪声影响难以提取的问题，提出一种基于注意力机制的偏振图像去噪方法，利用所构建的注意力机制残差密集网络实现偏振图像去噪，并用自适应偏振损失函数对模型加以约束，来实现对噪声图像中的目标偏振信息进行准确恢复，尤其适用于对于低信噪比偏振图像的去噪。
5.本发明利用以下的技术方案实现：
6.一种基于注意力机制的分焦平面偏振图像去噪方法，该方法包括以下流程：
7.步骤1，使用偏振相机采集偏振图像，制作数据集；对数据集进行预处理；
8.步骤2，搭建注意力机制残差密集网络，并设计自适应调节的偏振损失函数，
9.所述注意力机制残差密集网络模型包括设置于输入端、输出端之间的第一卷积层、第一卷积层、多个残差-密集连接模块、concat层、1
×
1卷积层和第三卷积层依序密集连接，所述第一卷积层、第一卷积层、多个残差-密集连接模块、concat层分别连接一个注意力机制模块；将第一卷积层、第一卷积层、多个残差-密集连接模块、concat层、1
×
1卷积层、第三卷积层和多个注意力机制模块分别经过通道混洗，配置成浅层特征提取模块、注意力机制残差-密集模块以及特征融合模块；并且，在浅层特征提取模块的第一卷积层和特征融合concat层之间设置短路连接的全局残差学习模块；
10.步骤3、将数据集输入注意力机制残差密集网络进行网络的训练：首先使用浅层特
征提取模块对偏振分量进行初步融合，并使用注意力机制对浅层特征进行加权赋值；然后通过注意力机制残差密集连接模块充分融合图像的不同特征，并对不同深度的特征图进行筛选，最后经过全局残差模块输出残差图像；
11.步骤4，利用输入的噪声图像和残差图得到预测的无噪声图像。
12.与现有技术相比，本发明公开一种基于注意力机制深度神经网络的偏振图像去噪方法，能够达成以下有益技术效果：
13.1、创新地实现了基于注意力机制残差密集网络结构，利用注意力机制将神经网络的注意力分配在更有效的特征层级上，提高了网络的效率；利用注意力机制将训练过程中得到的大量特征图进行筛选，过滤无效特征，提高图像去噪质量；
14.2、通过设计出一种用于深度学习卷积神经网络的自适应偏振损失函数，在训练中自适应动态调节权重，通过加入偏振损失，有效的利用偏振图像中的偏振相关性，从而在去噪的同时还能恢复偏振信息；
15.3、本发明适用于不同偏振成像体制(分振幅、分焦平面等)和不同类别偏振信息成像方式(stokes，mueller等)。
附图说明
16.图1为本发明的基于注意力机制的偏振图像去噪方法整体流程图；
17.图2为本发明的基于注意力机制的偏振图像去噪方法具体实施例过程图；
18.图3为注意力机制残差密集网络结构示意图；
19.图4为注意力机制模块工作过程示意图；
20.图5为去噪效果及偏振信息恢复效果示意图。
具体实施方式
21.以下结合附图和具体实施例对本发明的技术方案进行详细说明。
22.如图1所示，为本发明的一种基于注意力机制的分焦平面偏振图像去噪方法整体流程图。具体包括以下流程：
23.步骤1，使用偏振相机采集偏振图像，制作数据集；对数据集进行预处理，将数据集按比例划分为训练集、测试集、验证集以用于网络训练；
24.步骤2，搭建注意力机制残差密集网络，并设计参数自适应调节的偏振损失函数，所述偏振损失函数用起到了强化偏振信息在训练中的引导作用以及强化网络对偏振信息的恢复；
25.步骤3、将数据集输入注意力机制残差密集网络进行网络的训练：首先使用浅层特征提取模块对偏振分量进行初步融合，并使用注意力机制对浅层特征进行加权赋值；然后通过注意力机制残差密集连接模块充分融合图像的不同特征，并对不同深度的特征图进行筛选，最后经过全局残差模块输出残差图像；
26.步骤4，利用输入的噪声图像和残差图得到预测的无噪声图像。
27.如图2所示，为注意力机制残差密集网络结构示意图。如图3所示，为注意力机制模块工作过程示意图。结合图2、图3对本发明具体实施例进行详细描述如下：
28.步骤1，制作偏振图像数据集：
29.步骤1.1，构建图像数据集：使用偏振相机进行图像采集，调节分焦平面相机的感光度和曝光时间，在高感光度和短曝光时间条件下采集的图像作为高噪声图像，作为输入；在低感光度和长曝光时间条件下采集的多张图片的平均作为低噪声图像，作为标签。特别是，在采集噪声图像和无噪图像对的时候需要同时调节感光度和曝光时间使噪声图像和标签图像的光强值基本保持一致；
30.构成上述图像数据集的图片均在真实环境下拍摄，通过设置相机不同增益、曝光时间获取不同信噪比的图像；
31.步骤1.2，进行数据预处理，先将采集的高噪声图像和低噪图像进行亮度标定，通过计算图像平均灰度值的方法使数据集中每张图片平均亮度一致，然后将图像的像素值归一化，再把每一张偏振图像(包括高噪声的和无噪声的)转换为四个偏振方向的四通道图像，最后将噪声图像和无噪图像都裁剪为64
×
64大小的图像块，作为神经网络的输入；
32.以基于分焦平面偏振图像的stokes矢量为例，假设在输入图像的每个通道中，噪声图像无噪图像i
θ
和噪声n
θ
三者满足下式：
[0033][0034]
其中，偏振角θ＝0
°
,45
°
,90
°
,135
°
；
[0035]
最后，将数据集按照6:2:2的比例拆分为训练集、验证集和测试集；
[0036]
步骤2，搭建注意力机制残差密集网络模型，如图3所示，为本发明的注意力机制残差密集网络结构示意图。注意力机制残差密集网络由与网络输入端相连的浅层特征提取模块10(由第一卷积层100和第二卷积层200组成)、多个残差-密集连接块300、多个注意力机制模块400、concat层500、1
×
1卷积层600以及与网络输出端相连的第三卷积层700组成；其中：输入端、第一卷积层100、第一卷积层200、多个残差-密集连接模块300、concat层500分别配置一个注意力机制模块，再与1
×
1卷积层600、第三卷积层700连接依序连接；
[0037]
步骤2.1，配置注意力机制模块；如图4所示，为注意力机制模块工作过程示意图。注意力机制模块由平均池化层和一个全连接网络组成。具体地，平均池化层对输入的噪声图片的特征图做全局平均池化，将特征图打平为一维向量；然后输入全连接网络，训练得到一组对应的权重，最后将权重与输入特征图相乘得到输出特征图；
[0038]
步骤2.2，配置浅层特征提取模块；具体地，所述浅层特征提取模块包括两层卷积层即第一卷积层100、第二卷积层200以及对应设置的三个注意力机制模块，第一卷积层100(第一层浅层特征提取层)的卷积核大小为3
×
3，卷积核数量为64，第二卷积层200(第一层浅层特征提取层)的卷积核大小为3
×
3，卷积核数量为32，其中每一层后都设置有注意力机制进行特征筛选；
[0039]
步骤3.3，配置注意力机制残差-密集模块；具体地，注意力机制残差-密集模块由一个卷积层，配置了16个残差-密集连接块、作为激活函数的线性修正单元leak-relu函数、16个注意力机制模块400、特征融合concat层500，1
×
1卷积层600和局部残差图片800连接组成，每个模块中各层之间采用密集连接的方式进行特征组合。在本实施例中，每个注意力机制残差-密集模块都包含了6个卷积层，卷积核大小为3
×
3，卷积核数量为32，激活函数为leak-relu以及一个注意力机制模块。
[0040]
步骤3.4，配置特征融合模块；具体地，所述特征融合模块包括特征融合concat层，1×
1卷积层和第三卷积层(3
×
3卷积层)，特征融合concat层和1
×
1卷积层将注意力机制残差密集模块中输出的所有特征进行融合，3
×
3卷积层进一步对融合之后的结果进行特征提取，并且配置了相应的注意力机制模块；
[0041]
步骤3.5，配置全局残差学习模块；所述全局残差学习模块在浅层特征提取模块的第一卷积层和特征融合concat层之间，采用短路连接实现全局残差学习，该策略可以加快训练速度并提升网络性能；
[0042]
步骤4，设计自适应调节的偏振损失函数，通过像素损失来恢复光强信息，通过偏振度与偏振角损失来恢复偏振信息。
[0043]
损失函数包含两部分，一部分使用网络输出残差图像和真实残差图像的均方误差作为像素损失函数，另一部分使用偏振度图像与偏振角图像的均方误差作为偏振损失，同时两部分损失函数通过随着训练动态调整的权重结合在一起。
[0044]
具体地，所述像素损失函数l
pixel
定义如下：
[0045][0046]
其中，n表示训练样本数量，表示噪声图像和无噪图像训练对，偏振角θ＝0
°
，45
°
，90
°
，135
°
，θ表示网络的超参数，r表示从噪声图像训练得到的残差映射，f表示范数，在本实施例中取f＝2。
[0047]
进一步地，利用偏振图像重构偏振信息，包括光强(s0)，线性偏振度(dolp)和偏振角(aop)。stokes矢量可以用来表征偏振信息，s0、s1和s2分别表示stokes矢量的前三个分量，s0、dolp和aop用以下公式计算：
[0048][0049][0050][0051]
其中，i
θ
表示不同偏振分量成像的光强值。
[0052]
进一步地，在本发明实施例中，偏振损失函数l
polarization
由偏振度损失l
dolp
和偏振角损失l
aop
组成，定义如下：
[0053][0054]
其中，dolp
gt
,aop
gt
分别表示由无噪声图像计算得到的偏振度标签和偏振角标签,
φ是偏振角调节参数；
[0055]
进一步地，所述的偏振增强的损失函数l为：
[0056]
l＝ω
pixel
×
l
pixel
+ω
polarization
×
l
polarization
ꢀꢀ
(7)
[0057]
需要说明的是，其中权重ω是随着损失函数变化而变化的，通过自适应权重的损失可以评估每个子损失的贡献，并且给贡献较大的子损失赋予较高的权重，从而获得更好的去噪效果。
[0058]
步骤5，根据去噪质量的要求调整模型的参数，包括初始学习率、批处理大小、损失函数约束项、注意力机制残差密集模块的数量以及卷积核数等参数，对所述神经网络进行训练，在训练过程中对输入图像进行翻转和旋转实现数据扩充。具体地，在本实施例中最小批处理样本数为32，学习率初始化为0.0001，使用指数衰减学习率方法，设置衰减率为0.9，训练周期为70，使用adam算法优化损失函数。
[0059]
在本发明的实施例中，使用注意力机制残差密集网络去噪，之后得到的根据偏振信息重建的光强图，如图5所示，为去噪效果及偏振信息恢复效果示意图。其中，(5a)为噪声光强图，(5b)为噪声线性偏振度图，(5c)为噪声偏振角图，(5d)、(5e)、(5f)分别为使用本发明实施例去噪后重建的光强图、偏振度图和偏振角图，图(5g)、(5h)、(5i)分别为根据标签图像重建的光强图、偏振度图和偏振角图。从图可以看出本发明提出的基于注意力机制的偏振图像去噪算法能够有效去除分焦平面相机所采集的图像的噪声，并且对于噪声敏感性的偏振度图像与偏振角图像，能很好地恢复其偏振信息。
[0060]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。