一种真实图像自监督去噪方法和系统

本发明涉及一种真实图像自监督去噪方法及系统，具体涉及一种能够充分利用图像中局部及全局信息的图像自监督去噪方法及系统，属于计算机视觉。

背景技术：

1、图像去噪是低层次视觉图像处理技术领域中的一个基础性问题。噪声会大大降低拍摄图像的质量，从而对后续的下游任务带来不利影响。近年来，随着神经网络的快速发展，与传统的基于模型的方法相比，基于学习的方法显示出了显著的进步。

2、但是，基于学习的方法往往依赖大量的标记图像对进行训练。而训练数据不足的问题，却不能简单地通过合成加性白高斯噪声(awgn)对来解决，因为awgn和真实的噪声分布之间的差距，严重降低了它们在现实世界中的性能。为此，技术人员在收集真实世界的数据集方面做了一些努力和尝试。尽管如此，其应用仍然受到严格控制的拍摄条件，以及需要大量劳动的采集过程的阻碍。例如，采集干净图像需要长时间的曝光或多次拍摄，而这在复杂情况下是不可用的。又例如，在运动的动态场景中，使用这种拍摄条件将导致图像模糊，无法得到干净的有噪声图像。

3、为了缓解对大规模配对数据集的依赖，无需干净图像的方法已经引起了越来越多的关注。目前，一些开拓性的工作使用成对的噪声观测进行训练，消除了对干净图像的需求。尽管如此，在同一场景下获得这样的噪声对还是不太可行的。为了使自监督的方法更加实用，研究人员寻求从单个而不是成对的观测中学习。在这些方法中，盲点网络通过利用邻近的像素来恢复干净的像素。

4、尽管上述方法在简单的噪声上取得了很好的效果，但仍然不适合真实的噪声。因为其噪声分布极其复杂，并呈现出强烈的空间相关性。因此，一些其他方法已经被提出用于自监督的真实世界图像噪声去除。例如，一些方法基于一个循环的多变量函数将噪声成分从噪声图像中分离出来。但它假定真实的噪声是空间不变的，而忽略了空间相关性，这与真实的噪声分布相矛盾。另外一些方法，如ap-bsn结合了像素下采样(pd)和盲点网络(bsn)。尽管可以利用pd来满足盲点网络的噪声假设，但简单地将pd与基于卷积的盲点网络结合起来，对于处理空间相关的真实噪声来说是次优的。它对局部细节造成破坏，从而给采样图像带来伪影。另外，以前基于卷积的盲点网络未能捕捉到长距离的相互作用，受阻于有限的感受野和推理时的静态权重，这两者都大大限制了它的性能。另外，尽管更先进的盲点网络已经被提出，但基于卷积的盲点网络由于其卷积算子而无法捕捉到长距离的相互作用，在盲点要求下进一步受到有限的感受野的约束。

技术实现思路

1、本发明的目的是为了克服现有技术存在的缺陷，创造性地提出一种真实图像自监督去噪方法及系统。

2、本发明的创新点在于：首先，对于局部信息，引入一个密集采样的斑块掩码卷积处理。基于真实噪声空间相关性的先验统计，将更多的相邻像素纳入考虑范围，使得网络有一个更密集的感受野，使网络能够恢复更详细的结构。第二，对于全局信息，引入了一个扩展的transformer，可以更好地利用长距离的相互作用。在特殊的盲点要求下，与以前基于卷积的盲点网络相比，极大地扩大了感受野，允许在预测中央育点像素时利用更多的邻居信息。通过上述两种设计，能够分别充分地利用本地和远距离信息。实验表明，该方法在真实图像去噪上的表现优于其他最先进的无/自监督方法。

3、为达到以上目的，本发明采用以下技术方案：

4、一方面，本发明提出了一种真实图像自监督去噪方法，包括以下步骤：

5、步骤1：噪声相关性统计。包括以下步骤：

6、步骤1.1：获得真实图像噪声图。

7、首先，对于成对的有噪声-无噪声数据集，将有噪声图像素值减去干净图像像素值，得到每个位置的逐通道噪声强度信息；

8、步骤1.2：确定噪声强度信息后，将整体噪声图展开为有重叠的局部窗口图像，并对每个窗口内部的相关性统计信息进行计算。

9、在每个局部窗口内部，依次对所有位置的噪声强度值与中心像素的噪声强度值，计算相关系数ρ：

10、

11、其中，ncen为中心点噪声值，nnei为邻居点噪声值；cov()表示协方差计算；表示中间点噪声值标准差，表示邻居点噪声值标准差。

12、步骤1.3：对每个局部窗口计算得到的噪声相关系数进行平均，得到最终的噪声相关性统计信息。

13、步骤2：训练阶段。包括以下步骤：

14、步骤2.1：特征提取。

15、包括局部信息提取和全局信息提取共两个分支。这两个分支分别专注于对网络的局部信息和全局信息进行并行提取。

16、其中，对于局部特征提取部分，输入图像首先经过密集采样的掩码卷积(大小可以为9*9)，得到的特征经过空洞卷积，进一步对局部特征进行提取。

17、对于全局特征提取部分，输入图像首先经过密集采样掩码卷积(大小可以为21*21大小)，以更好的获取更大尺度上的图像信息。

18、然后，将提取得到的特征输入至含有空洞的transformer中，以捕获全局的依赖信息。具体地，根据输入和相依的映射矩阵，得到相应的qkv矩阵，以及通道间相关性矩阵：

19、attention(q，k，v)＝vsoftmax(kq)

20、

21、其中，attention()表示注意力机制，q表示注意力机制中的查询矩阵，k表示注意力机制中的键矩阵，v表示注意力机制中的值矩阵，x表示模块输入，表示模块输出，softmax()表示softmax非线性激活函数。

22、对于前馈层，将输入特征分为两部分，通过门控机制获取相应的非线性变化，提升网络的表达能力。具体地，门控机制通过两部分特征之间的点乘进行实现：

23、g1＝g1(ln(x))

24、g2＝g2(ln(x))

25、

26、其中，g1表示第一个门控函数的输出值，g2表示第二个门控函数的输出值，g1表示第一个门控函数，g2表示第二个门控函数，ln()表示layemorm归一化层，gelu()表示gelu非线性激活函数。

27、步骤2.2：特征融合。

28、当得到网络的局部信息和全局信息之后，对两个并行分支的信息进行融合，将两个并行分支所提取到的特征降低至三通道，最终得到去噪后的输出图像。

29、步骤3：损失函数计算系统读取真实有噪声图片与网络输出图片，对比计算损失值并将损失值回传至网络参数用于训练。

30、各神经网络层根据损失函数计算系统回传的损失值进行参数修改，完成一次训练迭代。

31、步骤4：重复执行步骤2至步骤3，生成最终的去噪图，将真实值与生成图送至评价系统，计算得到相应的指标。

32、另一方面，本发明还提出了一种真实图像自监督去噪系统，包括特征提取模块和特征融合模块。

33、其中，特征提取模块负责对输入图像的特征进行初步提取，提取出的特征输入至局部特征提取模块和全局特征提取模块。该模块包括局部特征提取模块和全局特征提取模块，局部特征提取模块用于提取图像中的局部细节信息，全局特征提取模块用于提取图像中存在的远距离依赖关系。

34、特征融合模块用于对提取出的局部特征和全局特征进行融合，并得到最终的输出。特征融合模块包括密集采样掩码卷积模块和空洞transformer模块。其中，密集采样掩码卷积模块用于在空间相关的真实图像噪声下对无相关性邻居像素的特征进行提取。空洞卷积模块用于在自监督的限制下，对自然图像中的细节纹理特征进行提取。空洞transformer模块用于在自监督的限制下对特征中的长距离相似特征进行聚合。

35、上述模块之间的连接关系如下：

36、特征提取模块的输出端与特征融合模块的输入端相连。

37、特征提取模块的输入为自然有噪声图像，输出为去噪后的图像。其中，密集采样掩码卷积模块的输出经过特征pd下采样操作后，与空洞卷积模块的输入端相连。其中，密集采样掩码卷积模块的输出经过特征pd下采样之后，与空洞transformer模块的输入端相连。

38、有益效果

39、本发明，与现有技术相比，具有以下优点：

40、1.本发明利用自监督方式实现真实图像去噪，可以在无需干净图像的情况下完成去噪过程。

41、2.本发明充分利用了图像间的局部细节信息和全局依赖信息，显著提升现有自监督真实图像去噪方法的质量。

42、3.本发明方法，回复质量高，适用于手机相机传感器、单反相机传感器、红外相机传感器等多种设备，适用于低光照条件下的深海探测、近地探测等多种应用领域。