一种自监督图像去噪方法、系统、装置及可读存储介质

本发明涉及图像处理，更具体的说是涉及一种自监督图像去噪方法、系统、装置及可读存储介质。

背景技术：

1、在图像的采集和传输过程中，原始图像往往被设备和传输通道引入的噪声所干扰，产生信息的失真，造成图像信号的误差，大大降低所捕获图像的质量，进而影响图像后续的处理、分析、传输和存储，从而给后续的下游任务，如图像分割，目标识别，边缘提取等带来不利影响。因此，图像去噪是低层视觉任务的一个基础研究课题，图像去噪技术在获得更高质量的数字图像方面发挥着重要作用。目前，用于解决图像去噪任务的算法可分为两类：传统的优化方法和基于深度学习的方法。

2、传统的图像去噪技术根据噪声信号的统计和分布特性可以分为空间域方法和变换域方法。空间域方法用于处理二维空间域中的噪声，主要有高斯滤波方法，双边滤波方法和中值滤波方法等。滤波器方法通常利用图像块的自相似特性进行去噪，通过采集某个像素周围若干像素的信息来恢复像素值。例如，高斯滤波方法是基于高斯函数的概念和性质，距离中心像素越远的像素值对新值的贡献度越小，当对图像中的像素进行加权平均处理时，靠近中心像素的邻居像素对其影响较大，而远离中心像素的像素影响较小。因此，高斯滤波可以起到平滑图像并去除部分噪声的作用，同时还能保留图像中的边缘和细节。具体来说，高斯滤波是通过一个矩阵来实现的，矩阵的值是由高斯函数计算，高斯函数在中心点处取得最大值，随着像素距离的增加而减小。矩阵的大小和参数取决于处理的图像和期望达到的效果，需要人工手动进行调整，此外，当图像噪声逐渐增大时，会出现过拟合问题，损害去噪后图像的细节，导致图像过于平滑。

3、随着卷积神经网络(cnn)的发展，基于深度学习的去噪算法与传统的图像去噪方法相比取得了重大进展。监督去噪方法通常依赖于具有合成的加性高斯白噪声(awgn)的大量标记的干净噪声图像对来训练神经网络，因此面对难以收集干净图像的的真实图像集来说，监督方法的性能就大打折扣了。

4、常见的基于自监督学习的盲点网络(blind-spot network)缓解了真实图像收集的问题，它可以实现仅从单个噪声图像中学习去噪，盲点网络的思想是利用空间邻域的像素来预测中心像素，从而避免与噪声图像本身恒等映射。然而，盲点网络排除了接受野的中心像素，从而丢失了大量中心像素的有效信息，使恢复图像的纹理细节受到破坏。总之，awgn与真实世界噪声之间的差距以及缺乏足够的真实图像的干净噪声对来训练网络，这两点限制严重降低了监督去噪方法在真实世界图像去噪中的性能。由于真实图像是通过图像信号处理(image signal processor)管道捕获的，导致现实世界的噪声通常是信号相关的和空间相关的，图像信号处理还包括许多非线性操作，这可能会使噪声分布复杂化。因此，由于摄像机内图像信号处理管道的影响，真实图像的噪声分布难以预测，对真实图像进行噪声建模是非常困难和具有挑战性的。虽然有许多自监督深度学习去噪方法优于监督方法并解决了数据收集问题，但其中一些方法在应用于真实数据集时是无效的，因为这些盲点网络是严格遵循像素级独立噪声假设的，这降低了噪声相关的真实图像去噪的上限。近年来，为了削弱噪声的像素级空间相关性，像素重组下采样(pixel-shuffle down-sampling)被提出，并引起了广泛关注。为了使真实图像去噪器更有效，一些网络利用了像素重组下采样操作来消除真实世界噪声中的空间相关性，将其应用到盲点网络使真实图像也能在一定程度上满足盲点网络的条件。但是这种下采样方法会对去噪图像引入不令人愉悦的伪影杂质，破坏图像的全局结构，损失图像的细节纹理，降低图像恢复质量。

技术实现思路

1、针对以上问题，本发明的目的在于提供一种自监督图像去噪方法、系统、装置及可读存储介质，能够补充盲点网络中缺失像素的信息，消除在下采样中产生的混叠伪影，平衡图像纹理区域与平坦区域之间的恢复差距，提高网络的去噪性能。

2、本发明为实现上述目的，通过以下技术方案实现：

3、第一方面，本发明公开了一种自监督图像去噪方法，包括：

4、构造含噪图像的数据集，数据集包括训练数据集、验证数据集和测试数据集；利用非对称下采样盲点网络框架构造互补盲点网络框架，并在互补盲点网络框架中设置掩码映射器分支和具有分块随机置乱的增强像素重组下采样分支；在互补盲点网络框架中，将掩码映射器分支和增强像素重组下采样分支进行组合，在盲点网络中增设判断条件参数，生成互补盲点网络；

5、利用adam优化器训练互补盲点网络；

6、利用测试数据集，通过对不同下采样步长的结果进行加权平均来获得最终去噪结果，以完成互补盲点网络的测试；

7、采集含噪图像，并利用测试后的互补盲点网络进行去噪处理。

8、进一步，所述在互补盲点网络框架中设置掩码映射器分支和像素重组下采样分支，包括：

9、在互补盲点网络框架中设置掩码映射器分支，在掩码映射器分支中，利用全局掩码器在固定位置对含噪图像的像素设置盲点，将处理后的图像输入互补盲点网络，只通过两条不同膨胀卷积步长的特征提取路径处理，互补盲点网络的输出像素通过全局映射器映射回原始位置，得到掩码映射器分支的输出。

10、进一步，所述在互补盲点网络框架中设置掩码映射器分支和像素重组下采样分支，还包括：

11、在互补盲点网络框架中设置增强像素重组下采样分支，在增强像素重组下采样分支中，增加一个下采样后处理操作：分块随机置乱；首先将噪声图像经过像素重组下采样得到的子图像聚合成与原始图像大小相同的子图像；经过分块随机置乱操作，根据下采样的步长对图像进行分块，随机打乱下采样后的子图像位置，并输入到互补盲点网络中，经过掩蔽卷积设置盲点和与两条具有不同膨胀卷积步长的特征提取路径进行处理后，互补盲点网络的输出经过分块复原操作恢复到原始的子图像排列；经过上采样操作返回到像素的原始位置，最终得到增强像素重组下采样分支的输出。

12、进一步，所述在互补盲点网络框架中，将掩码映射器分支和像素重组下采样分支进行组合，生成互补盲点网络，包括：

13、互补盲点网络框架中，将掩码映射器分支、增强像素重组下采样分支和可选择掩蔽卷积的盲点网络进行组合，在盲点网络中增设判断条件参数，生成互补盲点网络。

14、进一步，所述利用adam优化器训练互补盲点网络，包括：

15、将掩码映射器分支和增强像素重组下采样分支的输出互相约束作为全局优化，利用adam优化器对互补盲点网络进行训练；

16、设置初始学习率为0.0001，并采用l1正则化作为训练损失约束两个分支的输出；当损失稳定后，保存网络权重，并完成训练。

17、进一步，所述利用测试数据集，通过对不同下采样步长的结果进行加权平均来获得最终去噪结果，以完成互补盲点网络的测试，包括：

18、在测试数据中，提取测试数据经过步长不同的像素重组下采样处理，并输入到互补盲点网络中设置盲点；

19、对相应步长分支的去噪图像进行上采样操作，将图像恢复到原始大小，得到不同步长的去噪结果；

20、通过将去噪结果进行加权平均得到最终复原图像。

21、进一步，所述构造含噪图像的数据集，包括：

22、获取智能手机中的图像去噪数据集；

23、在图像去噪数据集中选取sidd medium数据集中的srgb图像，并裁剪成120×120大小，作为训练数据集；

24、在图像去噪数据集中选取sidd validation数据集中的srgb图像，采集1280个大小为256×256的噪声图像，作为训练数据集；

25、在图像去噪数据集中选取sidd benchmark数据集，利用sidd结果评估网站进行评估后，作为测试数据集。

26、第二方面，本发明还公开了一种自监督图像去噪系统，包括：

27、数据集构造模块，配置用于构造含噪图像的数据集，数据集包括训练数据集、验证数据集和测试数据集；

28、网络架构构造模块，配置用于利用非对称下采样盲点网络框架构造互补盲点网络框架，并在互补盲点网络框架中设置掩码映射器分支和具有分块随机置乱的增强像素重组下采样分支；

29、网络生成模块，配置用于在互补盲点网络框架中，将掩码映射器分支和增强像素重组下采样分支进行组合，在盲点网络中增设判断条件参数，生成互补盲点网络；

30、网络训练模块，配置用于利用adam优化器训练互补盲点网络；

31、网络测试模块，配置用于利用测试数据集，通过对不同下采样步长的结果进行加权平均来获得最终去噪结果，以完成互补盲点网络的测试；

32、去噪处理模块，配置用于采集含噪图像，并利用测试后的互补盲点网络进行去噪处理。

33、第三方面，本发明还公开了一种自监督图像去噪装置，包括：

34、存储器，用于存储自监督图像去噪程序；

35、处理器，用于执行所述自监督图像去噪程序时实现如上文任一项所述自监督图像去噪方法的步骤。

36、第四方面，本发明还公开了一种可读存储介质，所述可读存储介质上存储有自监督图像去噪程序，所述自监督图像去噪程序被处理器执行时实现如上文任一项所述自监督图像去噪方法的步骤。

37、对比现有技术，本发明有益效果在于：

38、1、本发明通过采用不同采样方法的双分支架构让盲点网络学习到被掩蔽卷积忽略的中心像素的信息，以此保留图像的更多细节，双分支的输出通过重可见损失约束，能够互相优化，缓解了伪影杂质带来的负面效果。

39、2.本发明基于像素重组下采样的特点，利用图像分块随机置乱的方法，能够在像素重组下采样操作之后，将图像进行块级随机重新排列，增强像素的独立性的同时又不会产生各种伪影。

40、3、本发明通过对不同下采样步长结果的加权平均的方法来综合最终的恢复结果，缩小了由下采样步长不同而导致的去噪图像中平坦区域与纹理区域之间的恢复差距，以此得到最优的去噪结果。

41、由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。