一种免标定的RAW图像去噪方法、系统、介质及设备

本发明涉及图像处理，尤其涉及一种免标定的raw图像去噪方法、系统、介质及设备。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、自从sidd的开创性工作以来，raw数据在图像去噪方面的潜力就被探索。最近的工作从正常光图像去噪转向极低光环境，例如sid(learning to see in the dark)、eld(physics-based noise modeling for extreme low-light photography)。尽管基于真实噪声的方法取得了有希望的结果，但收集大规模配对(低质量和高质量对)真实数据集的困难仍然是其部署的瓶颈。使用配对的低质量原始图像(例如noise2noise和noise2noiseflow)进行训练，可以避免费力地收集噪声-无噪图像对。然而，这些方法在强噪声和极暗场景中总是失败。

3、基于合成噪声的方法可以避免收集成对数据集的繁琐工作，但实际的限制仍然存在。普遍存在的噪声模型(泊松噪声和高斯噪声)严重偏离真实噪声分布，尤其是在极低光照环境下。因此，基于标定的方法可以模拟电子成像流程中的每个噪声分量，依赖于其可靠性而蓬勃发展。张等人意识到信号无关噪声的来源过于复杂而难以建模，因此提出了一种从暗帧中随机采样信号无关噪声的方法。然而，它仍然需要对信号相关噪声的参数进行校准，例如整体系统增益。克里斯蒂安等人结合基于物理的噪声模型和生成对抗框架构建噪声生成器。邹等人旨在通过使用对比学习进行参数估计来实现更准确和简洁的校准。尽管基于校准的方法实现了卓越的性能，但仍需要稳定的照明环境(例如亮度和温度)、标定专用数据收集(例如每个相机设置的数十张图像)以及复杂的后处理(例如对准、定位和统计)才能实现噪声参数估计。此外，由于参数的多样性和不均匀的预定义噪声模型，每个相机都需要重复的标定和训练过程。并且，没有考虑合成噪声和真实噪声之间的域差距。

4、在对合成数据进行训练并在真实数据上进行测试时，真实噪声和合成噪声之间的域差距是不可避免的挑战。随着adain和少样本学习的进步，目前研究主要集中在利用迁移学习或领域适应技术来缩小领域差距。然而，在极暗的场景中，由于极端噪声和额外的数字增益引起的数值不稳定，这些方法将无法进行信号重建。

技术实现思路

1、针对现有技术存在的不足，本发明的目的是提供一种免标定的raw图像去噪方法、系统、介质及设备，提出了一种无需校准的流程来照亮每一个黑暗，避免了校准噪声参数的所有额外成本。还通过预训练和微调解耦去噪网络和特定目标相机之间的强连接，实现了更为高效准确的raw图像去噪。

2、为了实现上述目的，本发明是通过如下的技术方案来实现：

3、本发明第一方面提供了一种免标定的raw图像去噪方法，包括以下步骤：

4、获取待去噪的raw图像；

5、给定一个去噪的神经网络，并在神经网络的每一个卷积层的模型内噪声去除模块前添加一个摄像机特定对齐模块分支，得到初步去噪模型；

6、利用虚拟相机对初步去噪模型进行预训练；

7、对预训练后的模型进行微调，其中微调过程为：对预训练后的模型进行微调；对微调后模型的摄像机特定对齐模块分支旁侧添加一个模型外噪声去除模块分支；对模型外噪声去除模块分支进行微调；

8、利用微调后的去噪模型对raw图像进行去噪处理。

9、进一步的，给定的去噪神经网络为u-net神经网络。

10、进一步的，添加的摄像机特定对齐模块为m路并行分支，每一路为一个逐通道的线性变换。

11、进一步的，利用虚拟相机对初步去噪模型进行预训练的具体步骤为：

12、给定虚拟相机数以及相应的参数空间；

13、对第k个相机，选择每一个参数区间的第k个m等分点并将其组合，得到一个虚拟相机的参数；

14、利用虚拟相机的参数对给定的无噪声数据进行增强，并对初步去噪模型进行预训练。

15、进一步的，在预训练结束后，将摄像机特定对齐模块进行单路的逐通道线性变换，变换后的参数为之前分支路数的参数平均值。

16、更进一步的，对预训练后的模型进行微调得具体步骤为：

17、利用微调数据集对预训练后的模型进行反向传播以微调，得到参数更新后的去噪模型；

18、固定更新后的去噪模型，并在每个微调后模型的摄像机特定对齐模块分支旁侧添加一个模型外噪声去除模块分支；

19、利用微调数据集仅对模型外噪声去除模块分支进行微调。

20、更进一步的，利用结构重参数化方法将微调后的去噪模型通过线性组合的方式融合起来，变为一个普通的卷积分支，得到最终的去噪模型。

21、本发明第二方面提供了一种免标定的raw图像去噪系统，包括：

22、图像获取模块，被配置为获取待去噪的raw图像；

23、初步模型构建模块，被配置为给定一个去噪的神经网络，并在神经网络的每一个卷积层的模型内噪声去除模块前添加一个摄像机特定对齐模块分支，得到初步去噪模型；

24、模型预训练模块，被配置为利用虚拟相机对初步去噪模型进行预训练；

25、模型微调模块，被配置为对预训练后的模型进行微调，其中微调过程为：对预训练后的模型进行微调；对微调后模型的摄像机特定对齐模块分支旁侧添加一个模型外噪声去除模块分支；对模型外噪声去除模块分支进行微调；

26、图像去噪模块，被配置为利用微调后的去噪模型对raw图像进行去噪处理。

27、本发明第三方面提供了一种介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的免标定的raw图像去噪方法中的步骤。

28、本发明第四方面提供了一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的免标定的raw图像去噪方法中的步骤。

29、以上一个或多个技术方案存在以下有益效果：

30、本发明公开了一种免标定的raw图像去噪方法、系统、介质及设备，避免了校准噪声参数的所有额外成本，设计的csa模块(camera specific alignment，摄像机特定对齐)解耦了去噪网络和相机模型，而omnr模块(out-of-model noise removal，模型外噪声去除)通过学习不同传感器的模型外噪声来实现少样本微调。本发明还通过模型外噪声去除模块实现在极低光照环境下通过少量配对图像进行真实噪声消除的知识补充，从而缓解数据收集的困难。与最先进的方法相比，本发明通过模拟，在部分实施例中，每个增益仅需要2个原始图像对和5％的迭代，大大简化了图像去噪过程的步骤，节约了成本。

31、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

技术特征：

1.一种免标定的raw图像去噪方法，其特征在于，包括以下步骤：

2.如权利要求1所述的免标定的raw图像去噪方法，其特征在于，给定的去噪神经网络为u-net神经网络。

3.如权利要求1所述的免标定的raw图像去噪方法，其特征在于，添加的摄像机特定对齐模块为m路并行分支，每一路为一个逐通道的线性变换。

4.如权利要求1所述的免标定的raw图像去噪方法，其特征在于，利用虚拟相机对初步去噪模型进行预训练的具体步骤为：

5.如权利要求1所述的免标定的raw图像去噪方法，其特征在于，在预训练结束后，将摄像机特定对齐模块进行单路的逐通道线性变换，变换后的参数为之前分支路数的参数平均值。

6.如权利要求5所述的免标定的raw图像去噪方法，其特征在于，对预训练后的模型进行微调得具体步骤为：

7.如权利要求6所述的免标定的raw图像去噪方法，其特征在于，利用结构重参数化方法将微调后的去噪模型通过线性组合的方式融合起来，变为一个普通的卷积分支，得到最终的去噪模型。

8.一种免标定的raw图像去噪系统，其特征在于，包括：

9.一种计算机可读存储介质，其特征在于，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求1-7中任一项所述的免标定的raw图像去噪方法。

10.一种终端设备，其特征在于，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行权利要求1-7中任一项所述的免标定的raw图像去噪方法。

技术总结
本发明公开了一种免标定的RAW图像去噪方法、系统、介质及设备。涉及图像处理技术领域。该方法步骤包括：获取待去噪的RAW图像；给定一个去噪的神经网络，并在神经网络的每一个卷积层的模型内噪声去除模块前添加一个摄像机特定对齐模块分支，得到初步去噪模型；利用虚拟相机对初步去噪模型进行预训练；对预训练后的模型进行微调，其中微调过程为：对预训练后的模型进行微调；对微调后模型的摄像机特定对齐模块分支旁侧添加一个模型外噪声去除模块分支；对模型外噪声去除模块分支进行微调；利用微调后的去噪模型对RAW图像进行去噪处理。本发明通过预训练和微调解耦去噪网络和特定目标相机之间的强连接，实现了更为高效准确的RAW图像去噪。

技术研发人员：郭春乐,靳鑫,肖嘉文,韩凌昊,刘夏雷,李重仪,程明明
受保护的技术使用者：南开大学
技术研发日：
技术公布日：2024/1/15