本发明属于图像处理技术领域，更进一步涉及数码相机图像恢复技术领域中的一种基于生成对抗网络gan(generativeadversarialnets)的颜色滤波阵列cfa(colorfilerarray)图像去马赛克联合去噪方法。本发明可用于恢复单传感相机中含噪颜色滤波阵列cfa图像的完整彩色信息，从而解决由于减少相机硬件成本所带来的图像彩色信息的丢失以及噪声的引入等问题；同时，也可用于计算机中对相机以“rawmode”方式保存的原始数据进行处理，从而获得高质量的彩色图像。
背景技术：
单传感相机采用单片ccd(chargecoupleddeyice)或cmos(complementarymetaloxidesemiconductor)传感芯片，通过在该单传感器前覆盖一个颜色滤波阵列颜色滤波阵列cfa来捕获图像。以这种方式所捕获的图像叫做颜色滤波阵列cfa图像(也叫做马赛克图像)，该图像中每个像素点只有三基色中的一个颜色值，而另外两个颜色值则需要根据其邻域信息来插值，这一颜色插值技术被称为“去马赛克”(demosaicing)。去马赛克是图像处理的最重要环节。另外，由于电磁效应与热效应对传感器的影响，数码相机捕获颜色滤波阵列cfa图像的过程中通常会引入一定的噪声，因此，去噪也是数码相机成像的一个必要环节。颜色滤波阵列cfa图像去马赛克联合去噪方法是将颜色滤波阵列cfa图像的去马赛克与去噪过程融合在一起，在估计图像丢失的信息时考虑噪声的影响，在插值的同时将噪声抑制。目前研究人员已经提出了许多颜色滤波阵列cfa图像去马赛克联合去噪方法，但依然不能满足人们对数码相机所拍图像的质量要求。
klatzer等人在其发表的论文“learningjointdemosaicinganddenoisingbasedonsequentialenergyminimization”(ieeeinternationalconferenceoncomputationalphotographyieee,2016:1-11)中提出了一种基于顺序能量最小化的去马赛克联合去噪方法。该方法首先利用大量训练样本学习一组用于去噪的rgb滤波器和相应的激活函数，然后将含噪的颜色滤波阵列cfa图像与这一系列已经训练好的滤波器、激活函数进行卷积即可达到含噪颜色滤波阵列cfa图像的去马赛克联合去噪的目的。该方法存在的不足之处是：包含不自然颜色的区域比较多，噪声去除的不干净，更为重要的是该方法从大量训练数据中学习的噪声模型是针对单个噪声水平量身定做的，因此，该算法对噪声方差的鲁棒性较差。
khashabid等人在其发表的论文“deepjointdemosaickinganddenoising”(acmtransactionsongraphics,2016,356:191)中提出了一种基于深度学习的去马赛克联合去噪方法。该方法首先利用大量训练样本训练一个浅层的卷积神经网络，使该网络能够拟合含噪颜色滤波阵列cfa图像与彩色图像之间的映射关系，然后以该关系为指导进行含噪颜色滤波阵列cfa图像的去马赛克联合去噪。该方法利用卷积神经网络使得颜色滤波阵列cfa图像去马赛克去噪效果有了明显提高。但是，该方法仍然存在的不足之处是：浅层的卷积神经网络对彩色图像的先验信息学习不够全面，不能充分挖掘图像中更加细节的结构信息，从而导致恢复出的图像存在伪影，边缘等细节信息丢失比较严重，图像整体趋于平滑，最终导致视觉效果不够理想。
技术实现要素：
本发明的目的在于针对上述现有技术的不足，提出了一种基于生成对抗网络gan的颜色滤波阵列cfa图像去马赛克联合去噪方法，旨在减少去马赛克联合去噪方法恢复图像中的伪影、降低图像失真程度，以获得更好的视觉效果。
本发明实现上述目的的思路是：先从数据库中选取1400幅彩色图像作为输出训练样本集，对输出训练样本集中的每一幅图像进行下采样和加噪操作，得到含噪的颜色滤波阵列cfa图像，将所有含噪的颜色滤波阵列cfa图像组成输入训练样本集，然后构建生成对抗网络gan结构，并更新生成网络和对抗网络的参数。在更新次数达到200次的情况下，保存训练好的生成网络的结构及各层参数，该网络结构的各层参数即为含噪的颜色滤波阵列cfa图像与彩色图像之间的非线性映射关系，以该关系为指导实现颜色滤波阵列cfa图像的去马赛克联合去噪，最后，将数码相机所拍摄的含噪的颜色滤波阵列cfa图像与生成网络的各层参数依次进行卷积，得到去马赛克去噪后的图像。
本发明的具体步骤包括如下：
(1)获取训练样本集：
(1a)从数据库中随机找出1400幅彩色图像作为输出训练样本集，用滤波器，对每一幅彩色图像进行下采样，得到下采样后的图像，将所有下采样后的图像组成下采样后的图像集；
(1b)利用高斯随机噪声的加噪方法，对下采样后的图像集中的每一幅图像进行加噪，得到含噪的颜色滤波阵列cfa图像，将所有含噪的颜色滤波阵列cfa图像组成输入训练样本集；
(2)构建生成对抗网络gan：
(2a)构建一个39层卷积神经网络并设置该网络的每层参数，将其作为生成对抗网络gan中的生成网络；
(2b)构建一个9层卷积神经网络并设置该网络的每层参数，将其作为生成对抗网络gan中的对抗网络；
(3)更新9层卷积神经网络参数：
(3a)从输入训练样本集中随机选取一个输入训练样本，将所选取的输入训练样本输入到生成对抗网络gan中的39层卷积神经网络中，将39层卷积神经网络的输出矩阵作为生成样本；
(3b)从输出训练样本集中选取一个与输入训练样本对应的输出训练样本；
(3c)将生成样本与输出训练样本输入到生成对抗网络gan中的9层卷积神经网络中；
(3d)利用误差计算公式，计算生成对抗网络gan中的9层卷积神经网络的损失值，用该损失值更新9层卷积神经网络中的每一层参数；
(4)更新39层卷积神经网络参数：
(4a)按照下式，计算39层卷积神经网络的最小均方误差损失值：
其中，m表示39层卷积神经网络的最小均方误差损失值，r表示生成样本矩阵的维数，s表示输出训练样本矩阵的维数，r的取值与s的取值对应相等，∑表示求和操作，c表示输出训练样本矩阵的通道数，x表示输出训练样本矩阵的行序号，y表示输出训练样本矩阵的列序号，||||2表示二范数操作，ia表示从输出训练样本集中选取的输出训练样本，ig表示生成样本；
(4b)按照下式，计算39层卷积神经网络的感知损失值；
其中，p表示39层卷积神经网络的感知损失值，wm,n表示视觉几何组vgg网络中第m个池化层之前的第n个卷积层的特征映射矩阵的行数，hm,n表示视觉几何组vgg网络中第m个池化层之前的第n个卷积层的特征映射矩阵的列数，i表示特征映射矩阵的行序号，j表示特征映射矩阵的列序号，φm,n表示视觉几何组vgg网络中的第m个池化层之前的第n个卷积层的特征映射矩阵；
(4c)按照下式，计算39层卷积神经网络的对抗损失值；
a＝-ln(d(ig))
其中，a表示39层卷积神经网络的对抗损失值，ln表示以自然常数e为底的对数操作，d表示9层卷积神经网络；
(4d)将39层卷积神经网络的最小均方误差损失值、感知损失值以及对抗损失值相加，得到39层卷积神经网络的总损失值，用总损失值更新39层卷积神经网络中的每一层参数；
(5)判断39层卷积神经网络和9层卷积神经网络的更新次数是否达到200次，若是，则执行步骤(6)，否则，执行步骤(3)；
(6)建立非线性映射关系：
保存训练好的39层卷积神经网络的结构及各层参数，得到建立好的非线性映射关系；
(7)获取去马赛克去噪后的图像：
将数码相机所拍摄的含噪的颜色滤波阵列cfa图像与非线性映射关系中的39层卷积神经网络的各层参数依次进行卷积，得到去马赛克去噪后的图像。
本发明与现有技术相比具有以下优点：
第一，由于本发明采用高斯随机噪声的加噪方法，得到含噪的颜色滤波阵列cfa图像，克服了现有技术中减少相机硬件成本所带来的噪声鲁棒性差的问题，使得本发明对数码相机获得的含噪的颜色滤波阵列cfa图像去马赛克去噪时，提高了数码相机硬件成本带来的噪声的鲁棒性。
第二，由于本发明采用交替更新39层卷积神经网络和9层卷积神经网络的方法，训练生成对抗网络gan，克服了现有技术中减少相机硬件成本所带来的噪声去除的不干净，边缘等细节信息丢失严重，图像整体趋于平滑的问题，使得本发明对数码相机获得的含噪的颜色滤波阵列cfa图像去马赛克去噪时，避免了数码相机拍摄出的彩色图像中不自然颜色的出现，丰富了数码相机所拍摄出的彩色图像的细节信息，提高了该彩色图像的视觉效果。
附图说明
图1为本发明的流程图；
图2为本发明构建的39层卷积神经网络模型结构示意图；
图3为本发明构建的9层卷积神经网络模型结构示意图；
图4为本发明的仿真图。
具体实施方式
下面结合附图，对本发明进一步的详细描述。
参照附图1，对本发明实现的步骤作进一步的详细描述。
步骤1，获取训练样本集。
从数据库中随机找出1400幅彩色图像作为输出训练样本集，用滤波器，对每一幅彩色图像进行下采样，得到下采样后的图像，将所有下采样后的图像组成下采样后的图像集。
利用高斯随机噪声的加噪方法，对下采样后的图像集中的每一幅图像进行加噪，得到含噪的颜色滤波阵列cfa图像，将所有含噪的颜色滤波阵列cfa图像组成输入训练样本集。
所述高斯随机噪声的加噪方法的步骤如下：
第1步，在[0,20]范围内，构造一个与下采样后的图像维度相等的随机数矩阵。
第2步，将随机数矩阵与下采样后的图像矩阵相加，得到输入训练样本。
步骤2，构建生成对抗网络gan。
构建一个39层卷积神经网络并设置该网络的每层参数，将其作为生成对抗网络gan中的生成网络。
参照附图2，对本发明所构建的生成对抗网络gan中的39层卷积神经网络的结构作进一步的详细描述。
39层卷积神经网络的结构依次为：输入层→重新整理层→第一个卷积层→第一个残差块输入卷积层→第一个残差块激活函数→第一个残差块输出卷积层→第二个残差块输入卷积层→第二个残差块激活函数→第二个残差块输出卷积层→第三个残差块输入卷积层→第三个残差块激活函数→第三个残差块输出卷积层→第四个残差块输入卷积层→第四个残差块激活函数→第四个残差块输出卷积层→第五个残差块输入卷积层→第五个残差块激活函数→第五个残差块输出卷积层→第六个残差块输入卷积层→第六个残差块激活函数→第六个残差块输出卷积层→第七个残差块输入卷积层→第七个残差块激活函数→第七个残差块输出卷积层→第八个残差块输入卷积层→第八个残差块激活函数→第八个残差块输出卷积层→第九个残差块输入卷积层→第九个残差块激活函数→第九个残差块输出卷积层→第十个残差块输入卷积层→第十个残差块激活函数→第十个残差块输出卷积层→第十一个残差块输入卷积层→第十一个残差块激活函数→第十一个残差块输出卷积层→第十二个残差块输入卷积层→第十二个残差块激活函数→第十二个残差块输出卷积层→第十三个残差块输入卷积层→第十三个残差块激活函数→第十三个残差块输出卷积层→第十四个残差块输入卷积层→第十四个残差块激活函数→第十四个残差块输出卷积层→第十五个残差块输入卷积层→第十五个残差块激活函数→第十五个残差块输出卷积层→第十六个残差块输入卷积层→第十六个残差块激活函数→第十六个残差块输出卷积层→第二个卷积层→第三个卷积层→亚像素卷积层→第四个卷积层→输出层。
其中，所述重新整理层与第二个卷积层相连，第一个残差块输出卷积层与第一个卷积层相连，其余所有残差块输出卷积层均与前一个残差块输出卷积层相连。
附图2中的省略号表示第二至第十四个共十三个残差块输入卷积层、第二至第十四个共十三个残差块激活函数以及第二至第十四个共十三个残差块输出卷积层，附图2中的单向箭头表示特征连接关系。
39层卷积神经网络的各层参数设置如下：
将输入层的输入通道总数设置为1。
将重新整理层特征映射图的总数设置为4。
将第一卷积层和第二个卷积层的特征映射图的总数均设置为64个，卷积核的尺度均设置为3×3个节点，卷积步长均设置为1。
将第三个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点，卷积步长设置为1。
将第四个卷积层的特征映射图的总数设置为3个，卷积核的尺度设置为3×3个节点，卷积步长设置为1。
将所有残差块输入卷积层的特征映射图的总数均设置为64个，卷积核的尺度均设置为3×3个节点，卷积步长均设置为1。
将所有残差块输出卷积层的特征映射图的总数均设置为64个，卷积核的尺度均设置为3×3个节点，卷积步长均设置为1。
将所有激活函数均设置为relu激活函数。
将亚像素卷积层的特征映射图的总数设置为64个，卷积层的上采样倍数设置为2，卷积步长设置为1。
将输出层的输出通道总数设置为3。
将该网络的学习率设置为0.0001。
构建一个9层卷积神经网络并设置该网络的每层参数，将其作为生成对抗网络gan中的对抗网络。
参照附图3，对本发明所构建的生成对抗网络gan中的9层卷积神经网络的结构作进一步的详细描述。
9层卷积神经网络的结构依次为：输入层→第一个卷积层→第一个激活函数→第二个卷积层→第一个批标准化操作→第二个激活函数→第三个卷积层→第二个批标准化操作→第三个激活函数→第四个卷积层→第三个批标准化操作→第四个激活函数→第五个卷积层→第四个批标准化操作→第五个激活函数→第六个卷积层→第五个批标准化操作→第六个激活函数→第七个卷积层→第六个批标准化操作→第七个激活函数→第八个卷积层→第七个批标准化操作→第八个激活函数→输出层。
附图3中的省略号表示第三至第七个共五个卷积层、第二至第六个共五个标准化操作以及第三至第七个共五个激活函数，附图3中的单向箭头表示特征连接。
9层卷积神经网络的各层参数设置如下：
将输入层的输入通道总数设置为3。
将第一卷积层的特征映射图的总数均设置为64个，卷积核的尺度均设置为3×3个节点，卷积步长均设置为1。
将第二卷积层的特征映射图的总数均设置为64个，卷积核的尺度均设置为3×3个节点，卷积步长均设置为2。
将第三卷积层的特征映射图的总数均设置为128个，卷积核的尺度均设置为3×3个节点，卷积步长均设置为1。
将第四卷积层的特征映射图的总数均设置为128个，卷积核的尺度均设置为3×3个节点，卷积步长均设置为2。
将第五卷积层的特征映射图的总数均设置为256个，卷积核的尺度均设置为3×3个节点，卷积步长均设置为1。
将第六卷积层的特征映射图的总数均设置为256个，卷积核的尺度均设置为3×3个节点，卷积步长均设置为2。
将第七卷积层的特征映射图的总数均设置为512个，卷积核的尺度均设置为3×3个节点，卷积步长均设置为1。
将第八卷积层的特征映射图的总数均设置为512个，卷积核的尺度均设置为3×3个节点，卷积步长均设置为2。
将第九卷积层的特征映射图的总数均设置为1个，卷积核的尺度均设置为3×3个节点，卷积步长均设置为1。
将第一至第七个激活函数均设置为relu激活函数。
将第八个激活函数设置为sigmoid激活函数。
将该网络的学习率设置为0.0001。
步骤3，更新9层卷积神经网络参数。
从输入训练样本集中随机选取一个输入训练样本，将所选取的输入训练样本输入到39层卷积神经网络中，将卷积神经网络的输出矩阵作为生成样本。
从输出训练样本集中选取一个与输入训练样本对应的输出训练样本。
将生成样本与输出训练样本输入到生成对抗网络gan中的9层卷积神经网络中。
利用误差计算公式，计算生成对抗网络gan中的9层卷积神经网络的损失值，用该损失值更新9层卷积神经网络中的每一层参数。
所述的误差计算公式如下：
l＝-(yln(d(ia))+(1-y)ln(1-d(ig)))
其中，l表示9层卷积神经网络的损失值，y表示9层卷积神经网络的输入的生成样本与输出训练样本，ln表示以自然常数e为底的对数操作，d表示9层卷积神经网络，ia表示输出训练样本，ig表示生成样本。
步骤4，更新39层卷积神经网络参数。
按照下式，计算39层卷积神经网络的最小均方误差损失值。
其中，m表示39层卷积神经网络的最小均方误差损失值，r表示生成样本矩阵的维数，s表示输出训练样本矩阵的维数，r的取值与s的取值对应相等，∑表示求和操作，c表示输出训练样本矩阵的通道数，x表示输出训练样本矩阵的行序号，y表示输出训练样本矩阵的列序号，||||2表示二范数操作，ia表示从输出训练样本集中选取的输出训练样本，ig表示生成样本。
按照下式，计算39层卷积神经网络的感知损失值。
其中，p表示39层卷积神经网络的感知损失值，wm,n表示视觉几何组vgg网络中第m个池化层之前的第n个卷积层的特征映射矩阵的行数，hm,n表示视觉几何组vgg网络中第m个池化层之前的第n个卷积层的特征映射矩阵的列数，i表示特征映射矩阵的行序号，j表示特征映射矩阵的列序号，φm,n表示视觉几何组vgg网络中的第m个池化层之前的第n个卷积层的特征映射矩阵。
按照下式，计算39层卷积神经网络的对抗损失值。
δa＝-ln(d(ig))
其中，δa表示39层卷积神经网络的对抗损失值，ln表示以自然常数e为底的对数操作，d表示9层卷积神经网络。
将39层卷积神经网络的最小均方误差损失值、感知损失值以及对抗损失值相加，得到39层卷积神经网络的总损失值，用总损失值更新39层卷积神经网络中的每一层参数。
步骤5，判断39层卷积神经网络和9层卷积神经网络的更新次数是否达到200次，若是，则执行步骤(6)，否则，执行步骤(3)。
步骤6，建立非线性映射关系。
保存训练好的39层卷积神经网络的结构及各层参数，得到建立好的非线性映射关系。
步骤7，获取去马赛克去噪后的图像。
将数码相机所拍摄的含噪的颜色滤波阵列cfa图像与非线性映射关系中的39层卷积神经网络的各层参数依次进行卷积，得到去马赛克去噪后的图像。
下面结合仿真实验对本发明的效果做进一步说明。
1.仿真条件：
本发明的仿真实验是在单块nvidiagtx1080ti型号的gpu、运行内存128gb的硬件环境和tensorflow1.2.1的软件环境下进行的。
2.仿真内容与结果分析：
使用本发明的方法和现有技术的一种基于顺序能量最小化的去马赛克联合去噪方法，对灰点数码相机所拍摄的原始含噪cfa图像进行去马赛克联合去噪。附图4是本发明的仿真图，其中，图4(a)为本发明仿真实验所使用的原始含噪cfa图；图4(b)为采用现有技术的基于顺序能量最小化的去马赛克联合去噪方法对原始含噪cfa图去马赛克联合去噪的仿真图；图4(c)为采用本发明方法对原始含噪cfa图去马赛克联合去噪的仿真图。图4(b)中的现有技术来源于文章“learningjointdemosaicinganddenoisingbasedonsequentialenergyminimization”(ieeeinternationalconferenceoncomputationalphotographyieee,2016:1-11)。
对比附图4中的去马赛克去噪后的彩色结果图4(b)和图4(c)，可以看出采用现有技术的基于顺序能量最小化的去马赛克联合去噪方法对原始含噪cfa图去马赛克联合去噪后的彩色结果图中包含有较多的噪声，边缘等区域存在锯齿，平滑区域出现了较多的虚假颜色块，而采用本发明方法对原始含噪cfa图去马赛克联合去噪后的彩色结果图中噪声去除的比较干净，基本没有出现虚假的颜色块，对细小边缘的处理效果也很好。因此，本发明方法克服了现有技术中的不自然颜色的出现，丰富了彩色结果图的细节信息，提高了彩色结果图的视觉效果。