一种基于盲点网络集成的自监督图像去噪方法

本发明提出了一种基于盲点网络(blind-spot network,bsn)集成的自监督图像去噪方法使用是一种针对真实rgb图像的去噪方法。本盲点网络集成的自监督图像去噪方法既属于图像处理领域，又属于人工智能领域。

背景技术：

1、图像去噪是计算机视觉领域的重要组成部分，旨在从噪声信号中恢复出清晰的图像。由于受到电子设备自身的限制和外界环境的影响，图像中常存在多种不同类型的噪声，高效的提取和精准的噪声水平估计是设计合理去噪网络结构的前提。

2、近年来，基于深度学习的去噪方法被成功应用于合成噪声。其中，自监督学习去噪是基于cnn的图像去噪的重要部分，这种方法只需要有噪声的图像进行训练，而不需要无噪声的图像对。自监督去噪算法中，bsn是由依赖两张类似噪声图像的noise2noise驱动的代表性方法之一，被广泛印证于在缺少干净图像时能有效对图像进行去噪。在噪声信号像素无关且为零均值的假设下，bsn不参考输入像素，而从相邻的噪声像素重构干净像素，然而真实世界中空间相关的噪声不满足bsn的假设。基于上述问题，在复杂特征的现实场景下，基于bsn的自监督去噪方法的低泛化性是目前图像处理领域亟待解决的问题。

技术实现思路

1、本发明提出的基于盲点网络集成的自监督图像去噪方法，能有效去除更复杂的真实世界噪声图上的噪声，在只存在噪声测试样本的实际情况下实现很好地泛化。首先，充分考虑原始bsn中的信息损失，将网络分支拓展并集成来改进网络。其次，充分考虑混洗下采样(pixel-shuffledown-sampling，pd)不同步长对bsn训练与推理结果的影响，建立不同训练策略来选取最合适的pd步长s，以达到最小化噪声信号相关性的目的，从而满足bsn网络的训练前提。接下来，bsn在推理与训练中采用采样步长不同的策略，称为非对称pd(apa/b)，以达到推理过程包含最小混叠伪影的目的。最后，使用随机替换细化(r3)策略抑制pd过程中的伪影。

2、本发明采用了如下的技术方案及实现步骤：

3、(1)盲点网络集成

4、在假设空间噪声无关的前提下，bsn网络把每个像素的接受野排除掉像素本身，阻止它学习本身身份，就可以以相同的噪声图像作为输入和目标进行训练，学习去除像素级别的空间独立噪声。但同时，由于网络看不到盲点信息，在满足自监督的条件下，bsn会面临更大的信息损失。

5、针对以上问题，本发明提出改进的集成bsn可视化架构如图1所示。本发明的集成bsn从一个1×1卷积开始进入两组相同的网络分支，即网络的“branch”部分，每组分支包含一个含有3×3的中心掩码卷积层和9个具有s＝2的膨胀卷积(dilated convolution,dc)模块的分支以及一个含有5×5中心掩码卷积层和9个具有s＝3的dc模块的分支。集成网络能有效对模型预测结果进行综合判断，获得比单路模型更好的预测结果。

6、引入大小为3×3的二进制掩码m，将0分配给m的中心元素，将1分配给其他元素，通过掩码与相同大小的卷积核的元素积实现中心掩码卷积。

7、进一步堆叠中心掩码卷积层会打破盲点要求，因此添加dc模型以保持盲点要求。dc模型指在原始卷积核之间加入间隔s而增强感受野，同时参数数量仅呈现线性增加。本发明采用的每个dc模型内包含一个3×3的膨胀卷积，膨胀系数为s，其中s＝2和s＝3分别用于网络的上路径和下路径。各权重加载提前训练非集成bsn的预训练模型权重。

8、最后，将四个分支的特征映射连接起来，部署四个1×1卷积层来提取深层网络特征，产生网络输出。为了避免高相似度数据集下的过拟合问题，在实际训练过程中加入微调，即在训练较深的网络层“tail”部分时，冻结“branch”部分的参数而只训练“tail”部分的参数，加速模型训练，减少模型的过拟合，节省计算资源，“tail”部分初始化权重采用预训练模型下的权重，具体训练策略详见表1。

9、(2)pd-bsn训练与推理

10、bsn对空间噪声不相关的假设与真实世界情况不符，因此引入pd，指通过对具有特定步长因子s的噪声图像进行下采样来创建马赛克，增加噪声信号之间的实际距离，打破噪声的像素空间相关性，如图2所示。将bsn应用于经过处理后满足其假设的下采样结果图像，在去噪后随后进行pd逆操作来重建完整尺寸的输出。

11、不同步长下的采样结果对训练与推理来说各有优劣，因此，引入非对称像素混洗下采样(asymmetric pixel-shuffle down-sampling,ap)来最大化不同步长进行训练和推理下的协同效应，使用较大的步长因子进行训练，确保训练噪声信号之间的像素独立性。使用最小步长因子进行推理以避免混叠伪影，在一定程度上打破噪声的空间相关性。图3为整个使用ap策略的盲点网络集成去噪方法的可视化结构图。本方法选取sidd-medium训练集中的320个噪声图像和干净图像对进行训练。随机有重叠地将数据集裁剪为大小为512×512的噪声块，重叠步长为128，epoch为20，学习率为10-4。

12、首先将给定的噪声图像通过pd操作分解为s2个子图像。然后，分别将打破噪声空间相关性并有更多特征的子图像送入并联bsn去噪，再将输出的去噪子图像使用pd逆操作重建输出在训练过程中，通过将带有ap的损失最小化来得到结果模型。

13、

14、其中in表示真实噪声图像，pds(·)代表对图像执行像素混洗下采样操作，代表像素混洗下采样的逆操作，从子图像重建原图像，b代表图像进入bsn网络进入训练的操作，用概括原始噪声图像经过分解、去噪、重建后的输出结果。

15、为了找到最合适的非对称步长因子组合，本发明在训练过程中给四个分支进行了不同步长的组合，结果见表1，同时采用冻结“branch”部分参数而只训练“tail”部分的策略，加速模型训练，节省计算资源，“tail”部分初始化权重分别采用s＝4和s＝5下的权重。

16、(3)细化过程

17、即使使用最小的步长因子，pd和去噪步骤可能会删除一些有用的高频成分，导致视觉伪影。因此采用后处理方法随机替换细化(r3)增强去噪结果的细节，具体流程如图4所示。该细化策略具体分为以下两个步骤：(1)对每个子图像分别随机填充噪声块。由于噪声像素随机放置在第i个被替换的图像中，而真实世界中噪声信号之间的相关性随着相对距离的增加而减弱，因此将两个噪声信号之间的期望相关性用作二进制掩码概率：

18、

19、其中，是二进制掩码，表示要替换的像素，⊙表示hadamard乘积，对应位置元素相乘。

20、(2)噪声像素替换的图像再次送入bsn网络去噪，取每张输出图像的平均值以获得纹理细节，将纹理细节与平滑结果进行相加即可得到有更复杂细节的去噪结果。

21、本发明的创新及贡献体现在：

22、(1)本发明拓展并集成bsn分支，获得更好的去噪效果。

23、(2)本发明采用不同步长下采样的ap而分别训练与推理，同时打破空间噪声相关性并减小推理过程图片数据伪影，使真实世界噪声图像更好地应用于bsn网络。

24、(3)本发明提出的随机掩码的r3增强去噪能减少在去噪过程中高频有用信息的误删，抑制pd过程伪影，增强去噪结果的细节。

25、(4)本发明提出的基于bsn集成的自监督去噪方法在主流指标峰值信噪比(psnr)、结构相似性(ssim)上寻找到了最佳训练策略，比原始网络性能更佳。