融合自监督盲点网络和噪声估计模块的真实图像去噪方法

本发明涉及图像去噪，具体而言，尤其涉及一种融合自监督盲点网络和噪声估计模块的真实图像去噪方法。

背景技术：

1、数字图像处理是使用计算机对图像进行去除噪声、增强、复原、分割、提取特征等处理的方法和技术。在上述技术中，对于图像的去噪往往是数字图像处理的第一步。如果在图像预处理阶段未进行去噪而直接进行图像增强，提取特征等操作，噪声的存在会影响图像的很多重要细节而导致结果的偏差，甚至可能导致结果与预期背道而驰从而影响整个实验的结论。在图像去噪的过程中，研究的对象是图像中的噪声信息，这些噪声信息与实际图像的信息关联性不强，属于非本源信息，但是其对于图像中的可识别信息的破坏可见一斑。通常来说，噪声可以根据来源分为两类：外部噪声和内部噪声。外部噪声是指系统外部干扰以电磁波或经电源串进系统内部而引起的噪声。如外部电气设备产生的电磁波干扰、天体放电产生的脉冲干扰等；内部噪声，是由系统电气设备内部引起的噪声为内部噪声，如内部电路的相互干扰。而这些噪声在现实生活当中都有可能出现，从而导致现阶段采集的图片中难免会存在一些噪声。这些噪声的存在会让之后的分类、语义分割和目标识别等下游任务难以开展。

2、图像中常存在多种不同类型的噪声，如高斯噪声、泊松噪声、椒盐噪声和斑点噪声等，这些噪声的分布，成因，与真实图像的关系各不相同，图像去噪算法，对于不同类型噪声通常有不同的处理方式。传统方法中的空域去噪是认为相近的点相似，通过平滑可以降低随机性的噪声，虽然去除了噪声，但是过度的平滑图像而导致高频信号(如纹理、边缘)的丢失。因而图像去噪难点在于区别高频信号和噪声，传统算法中效果较好的去噪方法大多是多种方法结合，既能很好地保持边缘信息，又能去除图像中的噪声。虽然这些基于模型的方法有很强的数学推导性，但在重噪声下恢复纹理结构的性能将显著下降。此外，由于迭代优化的高度复杂性，它们通常耗时巨大而失去了实用性。

3、现在，基于深度学习的方法在人工智能技术的迅猛发展下取得了显著的进展。基于深度学习的图像去噪方法可以主快速地提取浅层像素级特征和深层语义级特征，具有强大的表示学习能力和良好的去噪效果。深度学习依赖于数据，而在仿真图像去噪上，数据(干净图像)是非常充足的。这样的监督学习方式需要一对对应的清晰-带噪图像进行训练。但是这种方法不能有效应用到真实场景的噪声去除中，因为获取清晰-带噪图像对需要严格的控制条件，费时费力。为了减少这种数据集的需求，一些方法利用不成对的带噪-干净图像对以无监督方式进行训练，但这些方法的性能受到建模真实噪声分布的复杂性的限制。

4、有鉴于此，本发明提供一种融合自监督盲点网络和噪声估计模块的真实图像去噪方法，以效率高、效果佳的方式进行自监督去噪处理。

技术实现思路

1、根据上述提出的不足，而提供一种融合自监督盲点网络和噪声估计模块的真实图像去噪方法。本发明主要提出了一种新颖的自监督去噪方法，针对真实世界的噪声图像分别同时学习可见噪声(visible noise)和不可见噪声(invisible noise)，使用单个bsn，并利用不同的噪声估计策略引导网络分别关注，以实现对真实噪声的去除。

2、本发明采用的技术手段如下：

3、本发明提供了一种融合自监督盲点网络和噪声估计模块的真实图像去噪方法，包括：

4、构建真实噪声图像数据集，将所述真实噪声图像数据集分为训练集和测试集；

5、构建真实噪声去噪模型，包括：将nv模块、不可见噪声去噪模块和可见噪声去噪模块结合bsn网络；

6、采用所述训练集对所述真实噪声去噪模型进行训练，得到训练后的所述真实噪声去噪模型；

7、将所述测试集输入训练后的所述真实噪声去噪模型得到去噪图像。

8、优选地，所述构建真实噪声图像数据集，包括：

9、下载sidd数据集，对所述sidd数据集进行裁剪，得到a张第一预设尺寸的第一噪声图像，任意两张所述第一噪声图像无重复；对a张所述第一噪声图像进行裁剪，得到b张第二预设尺寸的第一扩充图像，所述第二预设尺寸小于所述第一预设尺寸，将所述第一扩充图像随机水平翻转或竖直翻转；

10、下载dnd数据集，将所述dnd数据集转化为图片格式后进行裁剪，得到c张所述第一预设尺寸的第二噪声图像，任意两张所述第二噪声图像无重复；对c张所述第二噪声图像进行裁剪，得到d张所述第二预设尺寸的第二扩充图像，将所述第二扩充图像随机水平翻转或竖直翻转；

11、a张所述第一噪声图像和b张翻转后的所述第一扩充图像构成所述真实噪声图像数据集；或者，c张所述第二噪声图像和d张翻转后的所述第二扩充图像构成所述真实噪声图像数据集；或者，a张所述第一噪声图像、b张翻转后的所述第一扩充图像、c张所述第二噪声图像和d张翻转后的所述第二扩充图像构成所述真实噪声图像数据集。

12、优选地，所述nv模块，包括：

13、三条并行的路径，所述路径包括顺次连接的五个卷积层，在相邻两个所述卷积层之间增加relu非线性映射；

14、输入端，分别与三条所述路径的首个所述卷积层连接；

15、拼接单元，分别与三条所述路径的最后一个所述卷积层连接；

16、输出端，与所述拼接单元连接。

17、优选地，所述采用所述训练集对所述真实噪声去噪模型进行训练，包括：

18、每次训练时，从所述训练集选取一张输入图像；

19、将所述输入图像输入所述真实噪声去噪模型，所述bsn网络输出不可见噪声处理图像和可见噪声处理图像，所述nv模块输出噪声方差图；

20、所述不可见噪声去噪模块根据所述噪声方差图输出不可见噪声去噪图像，所述可见噪声去噪模块根据所述噪声方差图输出第一可见噪声去噪图像和第二可见噪声去噪图像；

21、根据所述不可见噪声去噪图像和所述不可见噪声处理图像构建第一损失函数，根据所述第二可见噪声去噪图像和所述可见噪声处理图像构建第二损失函数；

22、以所述第一损失函数和所述第二损失函数训练所述bsn网络。

23、优选地，所述将所述输入图像输入所述真实噪声去噪模型，所述nv模块输出噪声方差图，按照以下方式计算：

24、

25、其中，mnv为所述噪声方差图，为所述nv模块，y为所述输入图像，μm为第一参数。

26、优选地，所述不可见噪声去噪模块根据所述噪声方差图输出不可见噪声去噪图像，按照以下方式计算：

27、

28、其中，为所述不可见噪声去噪图像，y为所述输入图像，为所述噪声方差图点乘零均值高斯噪声。

29、优选地，所述可见噪声去噪模块根据所述噪声方差图输出第一可见噪声去噪图像和第二可见噪声去噪图像，按照以下方式计算：

30、

31、

32、其中，为所述第一可见噪声去噪图像，为所述第二可见噪声去噪图像，为所述噪声方差图平方根计算后点乘零均值高斯噪声，α为第二参数，β为第三参数。

33、优选地，所述第一损失函数按照以下方式计算：

34、

35、其中，为所述第一损失函数值，xi为所述不可见噪声处理图像，为所述不可见噪声去噪图像，||tv为正则化，λ为第四参数。

36、优选地，所述第二损失函数按照以下方式计算：

37、

38、其中，为所述第二损失函数值，xv为所述可见噪声处理图像，为所述第二可见噪声去噪图像，||1为l1范数。

39、优选地，所述以所述第一损失函数和所述第二损失函数训练所述bsn网络，按照以下方式计算：

40、

41、其中，γ为第五参数，为所述第一损失函数值，为所述第二损失函数值，μm为第一参数，ωb为第六参数；

42、根据所述第一损失函数值和所述第二损失函数值寻找所述第一参数和所述第六参数的最优值。

43、较现有技术相比，本发明具有以下优点：

44、1、本发明提供的融合自监督盲点网络和噪声估计模块的真实图像去噪方法，将真实世界噪声进行自监督去噪任务拆分成两种类型的噪声的去噪任务，并利用不同的策略，对网络进行联合训练，让bsn分别关注这两个区域。为了有效去拆分这两个区域，设计了一个多路径的nv模块，该模块可以不需干净图像就能较为准确的估计出真实噪声的相关特征和结构。

45、2、本发明提供的融合自监督盲点网络和噪声估计模块的真实图像去噪方法，不仅能够有效的去除噪声还能保留原有图像细节，在自监督真实世界图像去噪领域展现出了最先进的性能。