一种黑白图像引导的彩色RAW图像联合去噪去马赛克方法

本发明涉及图像处理领域，具体涉及一种黑白图像引导的彩色raw图像联合去噪去马赛克方法。

背景技术：

1、图像去噪与去马赛克是彩色相机图像处理流程中必不可少的部分。现有方法一般先在raw域对图像进行去噪，再利用去马赛克算法将图像转化到rgb域中。随着深度学习技术的发展，基于神经网络的算法模型在去噪和去马赛克任务上均取得了更好的效果。在庞大的训练数据量与模型参数量的支持下，利用神经网络同时建模多种退化类型成为可能。因此，联合去噪去马赛克网络同时对两个过程进行建模，可以防止误差累积，同时复用图像特征。例如，在2021ieee/cvf conference on computer vision and patternrecognition workshops会议上的“beyond joint demosaicking and denoising:animage processing pipeline for a pixel-bin image sensor”论文，引入注意力模块、对抗训练等多种机制，提升联合去噪去马赛克效果。然而，虽然神经网络可以较好地学习复原过程，但在信噪比较低的暗光场景下，单图复原算法在噪声去除、细节恢复等方面存在性能瓶颈。

2、另一方面，随着多传感器设备的发展，多图融合处理成为突破单图算法瓶颈的重要手段。黑白-彩色双目相机系统广泛应用于智能手机等设备，黑白相机相比于彩色相机，成像过程不受到色彩滤波片影响，同时具有更高的进光量，因此在成像质量上具有明显优势。基于黑白相机引导彩色相机进行去噪和去马赛克，可以充分发挥多传感器的组合优势。然而，现有的引导复原神经网络方法无法直接处理非对齐场景。在2019british machinevision conference会议上的“robust joint image reconstruction from color andmonochrome cameras”论文，首先基于光流对双目图像进行像素级别的配准，来减轻视差带来的影响，随后基于传统优化方法迭代求解复原结果。该方法计算量较大，同时在低信噪比场景下，难以实现准确的配准，进一步影响了后续的联合去噪去马赛克过程。

技术实现思路

1、本发明从黑白相机的成像优势出发，提出一种黑白图像引导的彩色raw图像联合去噪去马赛克方法。为了消除二者之间由于视差引起的非对齐因素，本发明基于注意力机制构造对齐引导图像生成模块，并基于感知损失函数进行训练，从而生成用于引导raw图像去噪去马赛克的高质量对齐引导图像。同时，本发明基于颜色-结构损失函数进行联合引导去噪去马赛克网络模块的训练，使得复原结果具有更好的视觉效果。本发明方法通过生成高质量的对齐引导图像，可处理含视差的非对齐引导联合去噪去马赛克场景，同时允许黑白图像本身受到噪声污染且不影响引导效果。基于视差注意力机制降低双目视差和黑白相机自身噪声的影响，利用黑白-彩色双目系统中的黑白相机图像信息，协助彩色相机的联合去噪去马赛克过程。

2、本发明提供一种黑白图像引导的彩色raw图像联合去噪去马赛克方法，利用高信噪比的黑白相机图像，跨视差引导彩色相机raw图像进行联合去噪去马赛克，该方法步骤如下：

3、s1：构建暗光场景下含噪声的黑白-彩色双目相机仿真数据集。

4、s2：基于步骤s1中的数据集构建联合去噪去马赛克模型。

5、所述联合去噪去马赛克模型包括对齐引导图像生成模块和引导去噪去马赛克模块。

6、s21：构建所述对齐引导图像生成模块，所述对齐引导图像生成模块基于视差注意力机制求解黑白图像和raw图像在视差方向上的特征相关性，利用相关的结构特征构建对齐引导图像特征，从而得到对齐引导图像；以raw图像对应的干净灰度图像真值作为监督，基于感知损失函数训练对齐引导图像生成模块至收敛，使得对齐引导图像生成模块生成的对齐引导图像在结构上与raw图像尽可能相近。

7、s22：构建所述引导去噪去马赛克模块，所述引导去噪去马赛克模块分别提取raw图像的特征和对齐引导图像的特征，对raw图像特征分辨率进行上采样后，对两者以特征通道拼接的方式进行特征融合，最后通过特征解码生成raw图像对应的干净rgb图像，同时完成引导去噪和引导去马赛克过程；基于结构-颜色损失函数训练引导去噪去马赛克模块至收敛，使得去噪去马赛克结果同时具有准确的颜色重建和锐利的细节结构。

8、所述对齐引导图像生成模块基于视差注意力机制，融合非对齐的黑白相机图像信息与彩色相机图像信息，生成与彩色相机对齐的高质量引导图像；所述引导去噪去马赛克模块基于高质量的对齐引导图像，对彩色相机raw图像的联合去噪去马赛克过程进行引导。

9、s3：基于步骤s2构建的联合去噪去马赛克模型对彩色raw图像进行去噪去马赛克。针对黑白-彩色双目相机系统，在暗光下同时采集图像。通过对齐引导图像生成模块，利用黑白相机图像提供的额外高信噪比信息，并减轻非对齐因素的影响，同时对彩色相机raw图像的去噪与去马赛克过程进行引导，输出视觉效果良好的彩色暗光图像。

10、步骤s1基于已有的彩色双目图像数据集，生成大量的暗光场景下含噪声的黑白-彩色双目系统仿真数据集，用于联合去噪去马赛克模型的训练和测试。含噪声的黑白-彩色双目系统仿真数据集构建方法具体如下：

11、s11将双目彩色相机采集的正常图像中的每个像素在亮度上除以k以仿真暗光场景。

12、s12对于左视图，基于rggb的bayer像素排列模式进行色彩通道值采样，生成raw图像。对于右视图，则通过三个颜色通道值相加的方式，模拟黑白相机完整的进光量，生成黑白图像。

13、s13对黑白图像与raw图像添加相同参数的泊松-高斯噪声的污染。

14、步骤s2中联合去噪去马赛克模型的构建包括两个部分，一是构建对齐引导图像生成模块，二是构建引导去噪去马赛克模块：

15、所述对齐引导图像生成模块基于视差注意力机制求解黑白图像和raw图像在视差方向上的特征相关性，利用相关的结构特征构建对齐引导图像特征，具体方法如下：

16、首先将raw图像基于传统去马赛克算法进行去马赛克，并通过三个颜色通道相加的形式转化为单通道灰度图像。其次，通过相同的特征提取器提取来自左右视图的raw图像特征fraw与黑白图像特征fmono，在特征空间降低噪声干扰，增强结构信息。随后，基于视差注意力机制，针对fraw特征和fmono特征在视差方向上求解相关性权重矩阵m，并利用行方向上的相关性，构建对齐引导图像特征：其中f表示卷积操作，为对齐引导图像特征，由来自引导黑白图像的特征信息根据视差相关性加权融合得来。最后，利用特征解码器将特征解码为与目标彩色图像结构一致的高质量对齐引导图像。

17、求解相关性权重矩阵m的方法为：对于来自左右视图的raw图像特征fraw与黑白图像特征fmono，两者张量维度均为h×w×c，其中h、w、c分别表示特征张量的高、宽与通道数。首先将左视图特征通过3×3的卷积层，生成query张量，而右视图特征分别通过两个不同的3×3卷积层，生成key张量和value张量，三者维度均为h×w×c。将key张量的维度进行重新排列，将维度转化为h×c×w。将query张量和重排列后的key张量进行矩阵相乘运算，得到维度为h×w×w的相关计算结果矩阵，并通过softmax运算得到行方向上的相关性权重矩阵m。

18、采用感知损失函数作为对齐引导图像生成模块训练时的损失函数。感知损失函数定义为：其中,lp表示感知损失函数；表示对齐引导图像生成模块的输出结果g表示作为监督的参考真值，设置为raw图像对应的干净灰度图像真值；fvgg(·)表示通过预训练的vgg模型提取图像特征。该感知损失函数用于计算在vgg特征空间中输出结果与理想值之间的距离，在训练中通过优化该距离使得生成的对齐引导图像专注于结构重建，更为高效。

19、所述引导去噪去马赛克模块利用生成的高质量对齐引导图像代替非对齐的含噪黑白相机图像，引导彩色相机raw图像的联合去噪去马赛克过程。引导去噪去马赛克模块分别提取含噪raw图像的特征和高质量对齐引导图像的特征，并以特征通道拼接的方式进行特征融合。基于结构-颜色损失函数训练引导去噪去马赛克模块，直接解码生成raw图像对应的干净rgb图像，同时完成引导去噪和引导去马赛克过程。

20、神经网络主要从对齐引导图像学习结构特征，主要从raw图像学习颜色特征，并采用结构-颜色损失函数作为引导联合去噪去马赛克模块训练时的损失函数。结构-颜色损失函数定义为：其中，lpc为.结构-颜色联合损失函数；为联合去噪去马赛克结果；y为参考真值，设置为含噪raw图像对应的干净rgb图像真值。损失函数第一项为结构损失，fvgg(·)表示通过预训练的vgg模型提取图像特征，通过vgg空间特征来约束输出结果的结构信息；损失函数第二项为颜色损失，fgaussian(·)表示通过高斯滤波提取图像低频信息，颜色损失函数通过fgaussian(·)函数在图像低频空间计算损失。从结构和颜色两个方面去约束去噪去马赛克结果，使得对齐引导图像的结构在充分迁移的同时保持输出结果的颜色准确性。

21、本发明的有益效果为：基于视差注意力机制，消除了引导过程中的非对齐因素，使得黑白相机图像的引导信息可以跨视差准确地赋予给彩色相机的去噪去马赛克过程，同时通过感知损失函数和结构-颜色损失函数的设计和组合，使得去噪后重建了精确的高频细节结构，同时去马赛克过程具有准取的颜色插值效果。对于暗光场景下的双目成像设备，本发明具有较强的应用价值。