一种基于并行特征提取的CNN去噪方法与流程
本发明涉及图像去噪领域，尤其涉及一种基于并行特征提取的cnn去噪方法。
背景技术：
现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响，称为含噪图像或噪声图像。图像去噪的最终目的是改善给定的图像，解决实际图像由于噪声干扰而导致图像质量下降的问题。通过去噪技术可以有效地提高图像质量，增大信噪比，更好的体现原来图像所携带的信息，作为一种重要的预处理手段，人们对图像去噪算法进行了广泛的研究。
目前图像去噪的经典方法有很多，但大致可以分为两类，一类是基于空间域滤波，如均值滤波、中值滤波等等；另一类是基于变换域滤波，如高斯尺度混合模型中的贝叶斯最小二乘法。现有的去噪算法，有的在低维信号图像处理中取得较好的效果，却不适用于高维信号图像处理；或者去噪效果较好，却丢失部分图像边缘信息；或者致力于研究检测图像边缘信息，保留图像细节，却未在全局范围内滤波，也没有考虑到自然图像块与块之间的联系性。因此现有方法整体获得的去噪效果不尽人意。
为了解决传统去噪方法存在的问题，神经网络被用于图像去噪。专利“一种cnn-lms图像噪声的智能滤波方法及系统”(专利号：201810128238.0)，公开了一种通过在lms自适应滤波系统中嵌入cnn智能控制模型，调节lms自适应滤波系统参数，对图像噪声进行滤波或抑制，以去除图像噪声获取滤波图像的方法。专利“一种基于压缩型卷积神经网络的图像去噪方法”(专利号：201710286383.7)，公开了一种将原始的去噪卷积神经网络的卷积层替换成了经由低秩矩阵分解压缩后的卷积层，并进行图像去噪的方法。专利“一种基于relu卷积神经网络的图像去噪方法”(专利号：201610482594.3)，公开了一种基于relu卷积神经网络模型的实时去噪方法。它们与本发明设计不同之处在于：
(1)本发明中设计了两路并行的mpfe特征提取模块。
(2)本发明使用密集连接将底层提取的特征前向传递到更高层。
(3)本发明将底层提取的特征和mpfe特征提取模块提前的不同尺度的特征融合，从而使提取到的特征最大程度的表征图像信息。
本发明与“一种cnn-lms图像噪声的智能滤波方法及系统”、“一种基于relu卷积神经网络的图像去噪方法”和“一种基于relu卷积神经网络的图像去噪方法”相比，其优点为：
(1)本发明在每个卷积层之前进行了补零操作，保证不改变图像的大小，能够尽可能的保留图像的边缘信息。
(2)本发明使用了5个特征提取模块mpfe，它是一个两路并行的网络，分别使用不同的卷积核提取不同的特征，便于实现高质量去噪。
(3)本发明使用密集连接将不同深度提出的图像特征连接在一起，经过特征融合和后，保证网络充分利用图像的各种特征学习输入和输出之间的映射关系。
本发明的目的在于提供一种高质量的图像去噪方法，在去噪的同时尽可能的保留图像的边缘信息和细节信息。
技术实现要素：
为解决现有技术的不足，本发明的目的在于提供一种基于多尺度并行cnn的图像去噪方法，以提高图像的去噪效果。
本发明涉及一种基于并行特征提取的cnn去噪方法，其特征在于，具体按照以下步骤进行：
步骤一，搭建并行特征提取的cnn去噪网络模型；
步骤二，初始化cnn去噪网络模型的训练参数；
步骤三、构建训练集；
步骤四，设计损失函数，并以最小化损失函数为目标来训练cnn去噪网络模型，得到cnn去噪模型；
步骤五，将噪声图像作为cnn去噪模型的输入，其输出即为网络模型学习到的噪声信息；
步骤六，用噪声图像减去步骤五学习到的噪声信息，即可得到去噪后的干净图像。
进一步的，所述的一种基于并行特征提取的cnn去噪方法，其特征在于，所述步骤一中，搭建的并行特征提取的cnn去噪网络模型包含5个特征提取模块mpfe，它是一个两路并行的网络，一边是3×3串联5×5的卷积核，另一边是5×5串联3×3的卷积核，最后将两路进行特征融合，mpfe的数学模型为，
其中n＝1,2,...,5，ω和b分别代表权重和偏置，上标表示所在的层数，下标代表卷积核大小，d表示输入通道，mpni和mpno表示第n个mpfe的输入和输出，[mpni,a2,b2]表示特征的串联操作。
进一步的，所述的一种基于并行特征提取的cnn去噪方法，其特征在于，所述搭建的并行特征提取的cnn去噪网络模型包含的5个特征提取模块mpfe中，第一个和第二个mpfe的输入的数学模型为，
其中上下标的含义与公式(1)中的相同。
进一步的，所述的一种基于并行特征提取的cnn去噪方法，其特征在于，所述步骤一中，搭建的并行特征提取的cnn去噪网络模型包含22个卷积层，卷积核的大小为3×3或1×1，其中3×3卷积核后面均有一个激活函数为relu的激活层，cnn去噪网络模型的数学模型为，
其中上下标的含义与公式(1)中的相同。
进一步的，所述的一种基于并行特征提取的cnn去噪方法，其特征在于，所述步骤二中，cnn去噪网络模型的训练参数具体设置为：共训练75代，使用adam作为优化器，学习效率的初始值设置为0.001，每隔10代下降一半，每一代中的batch_size设置为64，steps_per_epoch设置为2000。
进一步的，所述的一种基于并行特征提取的cnn去噪方法，其特征在于，所述步骤三中，训练集的构建方法为，对400幅180×180的标准灰度图像随机加入确定浓度的高斯噪声后；按照步长10将标准图像裁剪成多张40×40的图像块；再对每一个图像块进行上下翻转、任意角度的旋转等操作，最后得到23.84万幅图像块，形成训练集。
进一步的，所述的一种基于并行特征提取的cnn去噪方法，其特征在于，所述步骤四中，设计的损失函数为，
其中yi和
本发明相对于现有技术取得了以下技术效果：
(1)本发明在每个卷积层之前进行了补零操作，保证不改变图像的大小，能够尽可能的保留图像的边缘信息。
(2)本发明使用了5个特征提取模块mpfe，它是一个两路并行的网络，分别使用不同的卷积核提取不同的特征，便于实现高质量去噪。
(3)本发明使用密集连接将不同深度提出的图像特征连接在一起，经过特征融合和后，保证网络充分利用图像的各种特征学习输入和输出之间的映射关系。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的去噪流程图；
图2是特征提取模块mpfe的结构图；
图3是基于并行特征提取的cnn去噪网络模型图；
图4是6种广泛使用的测试图像；
图5是本发明及现有去噪方法的去噪结果图；
其中(a)标准图像，(b)噪声图像/14.14db，(c)bm3d的结果/29.85db，(d)wnnm的结果/30.28db，(e)epll的结果/29.08db，(f)tnrd的结果/29.53db，(g)mlp的结果/29.94db，(h)dncnn-s的结果/30.36db，(i)本发明的结果/30.59db。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图2所示，本发明公开一种基于并行特征提取的cnn去噪方法，包括六步。步骤s1，搭建并行特征提取的cnn去噪网络模型；步骤s2，初始化cnn去噪网络模型的训练参数；步骤s3，构建训练集；步骤s4，设计损失函数，并以最小化损失函数为目标来训练cnn去噪网络模型，得到cnn去噪模型；步骤s5，将噪声图像作为cnn去噪模型的输入，其输出即为网络模型学习到的噪声信息；步骤s6，用噪声图像减去步骤五学习到的噪声信息，即可得到去噪后的干净图像。
进一步的，所述的一种基于并行特征提取的cnn去噪方法，其特征在于，所述步骤一中，搭建的并行特征提取的cnn去噪网络模型包含5个特征提取模块mpfe，如图2，它是一个两路并行的网络，一边是3×3串联5×5的卷积核，另一边是5×5串联3×3的卷积核，最后将两路进行特征融合，mpfe的数学模型为，
其中n＝1,2,...,5，ω和b分别代表权重和偏置，上标表示所在的层数，下标代表卷积核大小，d表示输入通道，mpni和mpno表示第n个mpfe的输入和输出，[mpni,a2,b2]表示特征的串联操作。
进一步的，所述的一种基于并行特征提取的cnn去噪方法，其特征在于，所述搭建的并行特征提取的cnn去噪网络模型包含的5个特征提取模块mpfe中，第一个和第二个mpfe的输入的数学模型为，
其中上下标的含义与公式(1)中的相同。
进一步的，所述的一种基于并行特征提取的cnn去噪方法，其特征在于，所述步骤一中，如图3，搭建的并行特征提取的cnn去噪网络模型包含22个卷积层，卷积核的大小为3×3或1×1，其中3×3卷积核后面均有一个激活函数为relu的激活层，cnn去噪网络模型的数学模型为，
其中上下标的含义与公式(1)中的相同。
进一步的，所述的一种基于并行特征提取的cnn去噪方法，其特征在于，所述步骤二中，cnn去噪网络模型的训练参数具体设置为：共训练75代，使用adam作为优化器，学习效率的初始值设置为0.001，每隔10代下降一半，每一代中的batch_size设置为64，steps_per_epoch设置为2000。
进一步的，所述的一种基于并行特征提取的cnn去噪方法，其特征在于，所述步骤三中，训练集的构建方法为，对400幅180×180的标准灰度图像随机加入确定浓度的高斯噪声后；按照步长10将标准图像裁剪成多张40×40的图像块；再对每一个图像块进行上下翻转、任意角度的旋转等操作，最后得到23.84万幅图像块，形成训练集。
进一步的，所述的一种基于并行特征提取的cnn去噪方法，其特征在于，所述步骤四中，设计的损失函数为，
其中yi和
以公式(4)为目标函数，利用训练集训练本发明的cnn去噪模型，可以得到输入的噪声图像与输出之间的映射函数
为了验证本发明的有效性，进行了仿真试验。
实验均在intel(r)core(tm)i5-8300hcpu2.30ghz和nvidia1050tigpu的pc上的keras环境中运行。
训练参数具体设置为：共训练75代，使用adam作为优化器，学习效率的初始值设置为0.001，每隔10代下降一半，每一代中的batch_size设置为64，steps_per_epoch设置为2000。用23.84万幅40×40的图像块，形成训练集。利用此训练集训练本发明的去噪模型，根据测试集的不同，进行了两个实验，并分别和几种先进的去噪方法对比。比较的方法包括：bm3d(k.dabov,etal,imagedenoisingbysparse3-dtransform-domaincollaborativefiltering,ieeetrans.imageprocess.,2007,16(8)：2080–2095)，wnnm(s.gu,etal,weightednuclearnormminimizationwithapplicationtoimagedenoising,inproc.ieeeconf.comput.vis.patternrecognit.,2014：2862–2869),csf(u.schmidtetal.,shrinkagefieldsforeffectiveimagerestoration,inproc.ieeeconf.comput.vis.patternrecognit.,pp.2774-2781,columbus,oh,usa(2014)),epll(d.zoran,etal,fromlearningmodelsofnaturalimagepatchestowholeimagerestoration,inproc.ieeeint.conf.comput.vis.,2011：479–486),tnrd(y.chen,etal,trainablenonlinearreactiondiffusion:aflexibleframeworkforfastandeffectiveimagerestoration,ieeetrans.patternanal.mach.intell.,2017,39(6):1256-1272),mlp(h.c.burger,etal,imagedenoising:canplainneuralnetworkscompetewithbm3d？,inproc.ieeeconf.comput.vis.patternrecognit.,2012:2392–2399)和dncnn-s(k.zhangetal.,beyondagaussiandenoiser:residuallearningofdeepcnnforimagedenoising,ieeetrans.imageprocess.26(7),3142-3155(2017))。采用客观评价指标峰值信噪比(peaksignaltonoiseratio，psnr)和结构相似性(structuralsimilarity，ssim)衡量去噪效果。一般来说，psnr的值越大，噪声对信号干扰程度越弱，ssim越大图像失真越少，说明图像的去噪效果越好。
实验一，利用图4中的图像作为测试图像，表1是试验结果，黑色粗体表示最高指标。在实验中，噪声水平σ分别设置为15、25、50，从测试结果可以看出，本发明的客观指标均高于其他方法，去噪效果比其它几种去噪方法的效果好。
表1本发明的方法与几种先进方法比较结果
实验二，为了进一步说明本发明的去噪效果，选取了bsd68作为测试集，并与最先进的几种方法进行比较，结果如表2所示：
表2在bsd68测试集上的测试(psnr)结果
从表2测试结果可以看出，本发明的去噪方法能获得更好的psnr和ssim。
图5是不同方法和本发明方法对加入50％高斯噪声的图像进行去噪后的结果图像，显然，本发明很好的保护了图像的边缘信息，保留了图像的特征信息，比如双眼皮特征，获得了最好的去噪效果。
以上所述仅为本发明的一个实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
- 还没有人留言评论。精彩留言会获得点赞！