一种基于多尺度并行CNN的图像去噪方法与流程

本发明涉及计算机视觉与数字图像处理领域，尤其涉及一种基于多尺度并行cnn的图像去噪方法。
背景技术：
由于在采集图像的过程中会不可避免地受周围环境、设备、人为因素等影响，得到的总是有噪声的图像，噪声使图像的质量变差，从而影响了图片的可读性以及对图像的后续处理。图像去噪的任务就是把噪声从图像中去除，以减少噪声对图像的影响。目前图像去噪的经典方法有很多，但大致可以分为两类，一类是基于空间域滤波，如均值滤波、中值滤波等等；另一类是基于变换域滤波，如高斯尺度混合模型中的贝叶斯最小二乘法。这些局部滤波方法既没有在全局范围内滤波，也没有考虑到自然图像块与块之间的联系性，因此获得的去噪效果不尽人意。为了解决传统去噪方法存在的问题，神经网络被用于图像去噪。专利“一种基于relu卷积神经网络的图像去噪方法”(专利号：201610482594.3)，公开了一种实时去噪方法。图1是该专利的卷积神经网络模型，它与本发明设计不同之处在于：(1)本发明使用了多尺度提取层。(2)本发明设计的网络学习的是噪声，而不是潜在的干净图像。(3)本发明使用了卷积神经网络并行结构。(4)本发明加入了跳跃链接，使网络更快的收敛。(5)本发明上使用了残差学习。本发明与“一种基于relu卷积神经网络的图像去噪方法”相比，其优点为：(1)在第一个卷积层使用了多个卷积核，可以从原始图像中提取更多的特征，对之后的图像重建非常有利。(2)使用并行卷积神经网络结构，即浅通道和深通道的并行连接，因为浅通道可以恢复图像的总体轮廓，而深通道提取详细的纹理信息，采用并行结构可以更好地恢复图像，尽可能的保留图像的边缘信息和细节信息，以提高图像的结构相似性。(3)使用了跳跃链接和残差学习，可以有效地防止梯度消失和梯度爆炸的出现，同时在训练网络时，可以使网络更快的收敛，对恢复的图像质量也有所提高。本发明的目的在于提供一种高质量的图像去噪方法，在去噪的同时尽可能的保留图像的边缘信息和细节信息，以提高图像的结构相似性。技术实现要素：为解决现有技术的不足，本发明的目的在于提供一种基于多尺度并行cnn的图像去噪方法，以提高图像的去噪效果。本发明涉及一种基于多尺度并行cnn的图像去噪方法，其特征在于，具体按照以下步骤进行：步骤一，搭建多尺度并行卷积神经网络模型；步骤二，设置多尺度并行卷积神经网络模型的训练参数；步骤三、构建训练集；步骤四，选取均方误差作为损失函数，并以最小化损失函数来训练多尺度并行卷积神经网络模型，得到图像去噪模型；步骤五，将噪声图像输入到图像去噪模型，其输出即为去噪后的干净图像。进一步的，所述的一种基于多尺度并行cnn的图像去噪方法，其特征在于，所述步骤一中，多尺度并行卷积神经网络模型包括卷积层和激活层，激活层的激活函数均是relu函数，引入残差学习保证多尺度并行卷积神经网络学习的是图像中的噪声。进一步的，所述的一种基于多尺度并行cnn的图像去噪方法，其特征在于，所述步骤一中，多尺度并行卷积神经网络模型包括五个部分，分别为，(1)输入噪声图像；(2)特征融合；(3)并行结构；(4)融合；(5)输出干净图像。进一步的，所述的一种基于多尺度并行cnn的图像去噪方法，其特征在于，所述(2)中，特征融合的步骤为，步骤一，输入经过一个卷积核为1×1的卷积、激活层得到输出4-1；输入经过一个卷积核为1×1的卷积、激活层和一个卷积核为3×3的卷积、激活层得到输出4-2；输入经过一个卷积核为1×1的卷积、激活层和一个卷积核为5×5的卷积、激活层得到输出4-3；输入经过一个卷积核为7×7的卷积、激活层得到输出4-4；步骤二，将输出4-1、输出4-2、输出4-3和输出4-4进行特征融合，特征融合的结果将作为并行结构的输入。进一步的，所述的一种基于多尺度并行cnn的图像去噪方法，其特征在于，所述(3)中，并行结构包括深通道卷积层和浅通道卷积层，其中，深通道卷积层包括跳跃链接和25个卷积层，卷积核都是3×3，分成六段，第一段有一个卷积层，一个激活层，三个卷积、激活层和一个卷积层，第二到五段均包含一个激活层，四个卷积、激活层和一个卷积层，第六段有一个激活层；第一段的第一个卷积层的输出5-0和第一段的输出融合得到5-1，5-1作为第二段的输入得到输出5-2，5-0和5-2融合作为第三段的输入得到输出5-3，5-0和5-3融合作为第四段的输入得到输出5-4，5-0和5-4融合作为第五段的输入得到输出5-5，5-0和5-5融合作为第六段输入得到深通道卷积层的输出；浅通道卷积层包括跳跃链接和7层卷积层，卷积核都是3×3，分成两段，第一段包括一个卷积层，一个激活层，五个卷积、激活层，和一个卷积层，第二段有一个激活层；第一段的第一个卷积层的输出融合最后一个卷积层的输出后，输入第二段得到浅通道卷积层的输出。进一步的，所述的一种基于多尺度并行cnn的图像去噪方法，其特征在于，所述(4)中，融合的方法为，将权利要求5所述的深通道卷积层和浅通道卷积层的输出融合后，经过一个卷积核为3×3×128的卷积、激活层和一个卷积核为3×3的卷积层得到尺度并行卷积神经网络模型学习的图像噪声。进一步的，所述的一种基于多尺度并行cnn的图像去噪方法，其特征在于，所述步骤二中，多尺度并行卷积神经网络模型训练参数的具体设置为：图像深度设置为1，adam优化器的学习效率设为0.001，卷积层的padding设置为“same”，输入模型的图像块的数量设置为64。进一步的，所述的一种基于多尺度并行cnn的图像去噪方法，其特征在于，所述步骤三中，训练集的构建方法具体包括以下步骤，步骤一，对400幅180×180的标准图像中随机加入高斯白噪声；步骤二，将每一幅加入高斯白噪声的标准图像裁剪成多张40×40的图像块；步骤三，对每一个图像块进行上下翻转、任意角度的旋转等操作，最后得到23.84万幅40×40的图像块，形成训练集。进一步的，所述的一种基于多尺度并行cnn的图像去噪方法，其特征在于，所述步骤五中，噪声图像与训练图像的大小无关，可以是任意尺寸。本发明相对于现有技术取得了以下技术效果：(1)本发明的图像经过卷积层以后，图像的大小不会减小，能够尽可能的保留图像的边缘信息。(2)本发明第一层卷积层使用了四个大小分别为1×1,3×3,5×5,7×7的卷积核，能够从原始图像中提取更多有用的特征，这对之后的图像重建非常有利。(3)使用了浅通道和深通道的并行结构，浅通道提取低级特征，深通道提取高级特征，把深、浅通道提取的特征进行融合，可以更好的保留图像的细节信息和边缘信息，使恢复的图像质量更高。(4)网络中加入残差学习，不仅可以有效地避免梯度爆炸，而且可以使网络快速收敛，对图像去噪的效果也有所提高。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是一种基于relu卷积神经网络的图像去噪方法的网络模型图；图2是本发明的去噪流程图；图3是多尺度并行卷积神经网络模型图；图4是12种广泛使用的测试图像。具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。如图2所示，本发明公开一种基于多尺度并行cnn的图像去噪方法，包括五步。步骤s1，搭建多尺度并行卷积神经网络模型；步骤s2，设置多尺度并行卷积神经网络模型的训练参数；步骤s3、构建训练集；步骤s4，选取均方误差作为损失函数，并以最小化损失函数来训练多尺度并行卷积神经网络模型，得到图像去噪模型；步骤s5，将噪声图像输入到图像去噪模型，其输出即为去噪后的干净图像。进一步的，所述的一种基于多尺度并行cnn的图像去噪方法，其特征在于，所述步骤一中，多尺度并行卷积神经网络模型包括卷积层和激活层，激活层的激活函数均是relu函数，引入残差学习保证多尺度并行卷积神经网络学习的是图像中的噪声。进一步的，所述的一种基于多尺度并行cnn的图像去噪方法，其特征在于，所述步骤一中，如图3，多尺度并行卷积神经网络模型包括五个部分，分别为，(1)输入噪声图像；(2)特征融合；(3)并行结构；(4)融合；(5)输出干净图像。进一步的，所述的一种基于多尺度并行cnn的图像去噪方法，其特征在于，所述(2)中，特征融合的步骤为，步骤一，输入经过一个卷积核为1×1的卷积、激活层得到输出4-1；输入经过一个卷积核为1×1的卷积、激活层和一个卷积核为3×3的卷积、激活层得到输出4-2；输入经过一个卷积核为1×1的卷积、激活层和一个卷积核为5×5的卷积、激活层得到输出4-3；输入经过一个卷积核为7×7的卷积、激活层得到输出4-4；步骤二，将输出4-1、输出4-2、输出4-3和输出4-4进行特征融合，特征融合的结果将作为并行结构的输入。进一步的，所述的一种基于多尺度并行cnn的图像去噪方法，其特征在于，所述(3)中，如图3，并行结构包括深通道卷积层和浅通道卷积层，其中，深通道卷积层包括跳跃链接和25个卷积层，卷积核都是3×3，分成六段，第一段有一个卷积层，一个激活层，三个卷积、激活层和一个卷积层，第二到五段均包含一个激活层，四个卷积、激活层和一个卷积层，第六段有一个激活层；第一段的第一个卷积层的输出5-0和第一段的输出融合得到5-1，5-1作为第二段的输入得到输出5-2，5-0和5-2融合作为第三段的输入得到输出5-3，5-0和5-3融合作为第四段的输入得到输出5-4，5-0和5-4融合作为第五段的输入得到输出5-5，5-0和5-5融合作为第六段输入得到深通道卷积层的输出；浅通道卷积层包括跳跃链接和7层卷积层，卷积核都是3×3，分成两段，第一段包括一个卷积层，一个激活层，五个卷积、激活层，和一个卷积层，第二段有一个激活层；第一段的第一个卷积层的输出融合最后一个卷积层的输出后，输入第二段得到浅通道卷积层的输出。进一步的，所述的一种基于多尺度并行cnn的图像去噪方法，其特征在于，所述(4)中，融合的方法为，将权利要求5所述的深通道卷积层和浅通道卷积层的输出融合后，经过一个卷积核为3×3×128的卷积、激活层和一个卷积核为3×3的卷积层得到尺度并行卷积神经网络模型学习的图像噪声。进一步的，所述的一种基于多尺度并行cnn的图像去噪方法，其特征在于，所述步骤二中，多尺度并行卷积神经网络模型训练参数的具体设置为：图像深度设置为1，adam优化器的学习效率设为0.001，卷积层的padding设置为“same”，输入模型的图像块的数量设置为64。进一步的，所述的一种基于多尺度并行cnn的图像去噪方法，其特征在于，所述步骤三中，训练集的构建方法具体包括以下步骤，步骤一，对400幅180×180的标准图像中随机加入高斯白噪声；步骤二，将每一幅加入高斯白噪声的标准图像裁剪成多张40×40的图像块；步骤三，对每一个图像块进行上下翻转、任意角度的旋转等操作，最后得到23.84万幅40×40的图像块，形成训练集。进一步的，所述的一种基于多尺度并行cnn的图像去噪方法，其特征在于，所述步骤五中，噪声图像与训练图像的大小无关，可以是任意尺寸。为了验证本发明的有效性，进行了仿真试验。实验均在intel(r)core(tm)i5-8300hcpu2.30ghz和nvidia1050tigpu的pc上的tensorflow环境中运行。对400幅180×180的标准图像中随机加入高斯白噪声，将每一幅加入高斯白噪声的标准图像裁剪成多张40×40的图像块，对每一个图像块进行上下翻转、任意角度的旋转等操作，最后得到23.84万幅40×40的图像块，形成训练集。利用此训练集训练本发明的去噪模型，根据测试集的不同，进行了两个实验，并分别和几种先进的去噪方法对比。比较的方法包括：bm3d(k.dabov,etal,“imagedenoisingbysparse3-dtransform-domaincollaborativefiltering,”ieeetrans.imageprocess.,2007,16(8)：2080–2095)，wnnm(s.gu,etal,“weightednuclearnormminimizationwithapplicationtoimagedenoising,”inproc.ieeeconf.comput.vis.patternrecognit.,2014：2862–2869)，tnrd(y.chen,etal,trainablenonlinearreactiondiffusion:aflexibleframeworkforfastandeffectiveimagerestoration,ieeetrans.patternanal.mach.intell.,2017,39(6)：1256-1272)，mlp(h.c.burger,etal,imagedenoising:canplainneuralnetworkscompetewithbm3d？,inproc.ieeeconf.comput.vis.patternrecognit.,2012：2392–2399),epll(d.zoran,etal,fromlearningmodelsofnaturalimagepatchestowholeimagerestoration,inproc.ieeeint.conf.comput.vis.,2011：479–486)和scnn(i.kenzo,deepshrinkageconvolutionalneuralnetworkforadaptivenoisereduction,ieeesignalprocessingletters,2018,25(2):224-228)。采用客观评价方法峰值信噪比(peaksignaltonoiseratio，psnr)衡量去噪效果，其中峰值信噪比的计算公式为：其中，f是原始图像，表示待评价图像，m，n分别是图像的长和宽，q表示图像的灰度级数。一般来说，psnr的值越大，表示噪声对信号干扰程度越弱，图像失真越少，说明图像的去噪效果越好。实验一，利用图4中的图像作为测试图像，表1是试验结果，其中峰值信噪比最高值用黑色粗体显示。表1中的图像与图4中从左到右的顺序想对应。在实验中，噪声水平σ分别设置为15、25、35、50,从测试结果可以看出，本发明的去噪效果比其它几种去噪方法的效果好。表1本发明的方法与几种先进方法比较结果实验二，为了进一步说明本发明的去噪效果，选取了bsd68作为测试集，并与最先进的几种方法进行比较，结果如表2所示：表2在bsd68测试集上的测试(psnr)结果methodsbm3dtnrdwnnmepllmlpcsfscnnmpcnnσ＝1531.0731.4231.3731.21-31.2431.4831.56σ＝2528.5728.9228.8328.6828.9628.7429.0329.12σ＝5025.6225.9725.8725.6726.03-26.0826.13从表2测试结果可以看出，本发明的去噪方法都能获得更好的psnr。以上所述仅为本发明的一个实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。当前第1页12