一种基于Bi-Skip-Net的图像去模糊算法的制作方法

本发明涉及数字图像处理领域，特别是一种基于bi-skip-net的图像去模糊方法，该方法是通过bi-skip-net网络来实现模糊图像复原。技术背景去模糊技术是图像和视频处理领域被广泛研究的主题。基于相机抖动造成的模糊在一定意义上严重影响图像的成像质量，视觉观感。作为图像预处理领域一个及其重要的分支，去模糊技术的提升直接影响其他计算机视觉算法的性能，如前景分割，物体检测，行为分析等；同时它也影响着图像的编码性能。因此，研究一种高性能的去模糊算法势在必行。文献1-3介绍了图像和视频处理的去模糊技术，深度学习去模糊算法；文献1：kupyno,budzanv,mykhailychm,etal.deblurgan:blindmotiondeblurringusingconditionaladversarialnetworks[j].arxivpreprintarxiv:1711.07064,2017。文献2：nahs,kimth,leekm.deepmulti-scaleconvolutionalneuralnetworkfordynamicscenedeblurring[c]//cvpr.2017,1(2):3。文献3：sunj,caow,xuz,etal.learningaconvolutionalneuralnetworkfornon-uniformmotionblurremoval[c]//proceedingsoftheieeeconferenceoncomputervisionandpatternrecognition.2015:769-777.。一般来说，图像去模糊算法可以分为基于概率模型的传统算法和基于深度学习的去模糊算法。传统算法采用卷积模型来解释模糊成因，相机抖动的过程可以映射为模糊核轨迹psf(pointspreadfunction)。在模糊核未知的情况下还原清晰图像，这一问题属于不适定(ill-posed)问题，所以通常意义上需要先估计模糊核，再利用评估的模糊核进行返卷积操作得到复原图像。基于深度学习的去模糊算法则利用深层网络结构获取图像的潜在信息，进而实现模糊图像复原。深度学习去模糊算法可以实现模糊核估计和非盲反卷积两个操作来进行图像复原，同时也可以采用生成对抗机制来复原图像。本专利旨在解决去模糊算法存在的缺点：1)时间复杂度高,2)纹理恢复不准确,3)复原图像存在方格效应。技术实现要素：本发明提出了一种bi-skip-net网络来作为gan(generativeadversarialnetwork)的生成网络，旨在解决现有深度学习去模糊算法存在的缺点。通过对比现有最优算法，本发明在时间复杂度上提升了0.1s，在图像复图像原性能上平均提升了1db。本发明提供的技术方案如下：(注：需要用自然语言对技术方案进行说明，不能用“如图”这样的叙述方式，方法技术方案最好按：步骤1：步骤2…的方式撰写)本发明采用生成对抗网络机制来实现模糊图像复原，并设计了一种bi-skip-net网络来作为其中的生成器。具体步骤如下：1)：输入模糊图像，通过卷积核尺寸为7x7，步长为1的卷积层得到浅层特征；2)：将浅层特征通过3个残差块得到当前尺度下的深度特征；3)：将深度特征进行下采样加残差的模式得到下一个尺度下的浅层特征；4)：按照规定的下采样次数n，重复步骤2，3获取不同尺度下的浅层特征和深度特征，并且在最小尺度下不获取深度特征；5)：将最小尺度的浅层特征作为基本特征；6)：将上一层尺度的浅层特征经过卷积核大小为1x1，步长为1的卷积层得到浅层降维特征；将对应的深度特征经过卷积核大小为3x3，步长为2的卷积层得到深度降维特征，并与基本特征串联进行上采样；将上采样后的特征与浅层降维特征进行串联得到当前尺度下的基本特征；7)：重复步骤6直到采样操作截止；8)：将得到的基本特征经过卷积核大小为7x7,步长为1的卷积层得到残差特征；9)：将残差特征与输入图像相加得到复原图像；…采用bi-skip-net加残差的模式来作为生成器。步骤4)中，按照规定的下采样次数为5。其中，模糊图像通过生成器来获得复原图像，判别的任务为尽可能区分复原图像和清晰图像；而生成器的任务为尽可能欺骗判别器来降低对两种图像的区分的能力。所述的bi-skip-net网络由三部分组成：contract路径(d)，skip路径(s)以及expand路径(u)。contract层进行下采样实现特征压缩，skip层用于连接深层特征与浅层特征，expand层进行上采样。其中d*，s*，u*为对应下采样尺度下的特征。所述的采样尺度下的特征操作，在contract路径，当前特征通过3个残差块(3xresblock)来获得深层特征，并采用池化(pooling)和卷积相加的残差模式来获取下一尺度的特征；在skip路径，通过1x1的卷积来对压缩浅层特征，通过3x3的卷积来压缩深度特征；在expand路径，通过concat来实现特征连接，并通过3x3的反卷积实现特征上采样。本发明具有如下技术效果：由于本发明采用了bi-skip-net网络来作为gan(generativeadversarialnetwork)的生成网络与现有技术相比具有以下技术效果：1、时间复杂度低；对比传统方法，传统的去运动模糊方法采用模糊核估计和非盲反卷积两个步骤，而这两个步骤均需进行多次迭代才能达到较好的复原效果，正因如此，也造成处理单张运动模糊图像的时间较长；而本发明设计的模型可以避免多次迭代优化造成的时间损耗。2、纹理恢复准确；对比传统方法，在传统方法中，模糊核估计不准确会造成复原过程中图像信息的错误恢复，而非盲反卷操作经常会造成纹理部分出现振铃效应；本发明设计的双跨连接网络在每一层尺度上都提取了深度特征和浅层特征，通过特征连接，网络在一定程度可以恢复更多的细节信息。3、复原图像不存在方格效应，对比现存的深度学习方法，现存的多数深度学习方法在上采样过程中采用反卷积层来实现，而由于每次反卷积都存在一定的锯齿效应，这使得最后的复原图像也存在一些锯齿，即本发明提到的方格效应。为了更好地理解本发明的构思和原理，下面结合附图和实施例，对本发明进行详细的描述。但具体实施例的描述不以任何方式限制本发明的保护范围。附图说明图1为本发明的生成对抗网络机制；图2为本发明的bi-skip-net网络结构图；图3为本发明的一个采样尺度下的特征操作；图4生成器设计：bi-skip-net+残差；图5a-d为本发明与其它算法的主观对比；其中，图5a：模糊图像；图5b：nah等人的复原效果；图5c：kupyn等人的复原效果；图5d：bi-skip-net的复原效果。具体实施方式图1为本发明采用的生成对抗网络机制。其中，模糊图像通过生成器来获得复原图像，判别的任务为尽可能区分复原图像和清晰图像；而生成器的任务为尽可能欺骗判别器来降低对两种图像的区分的能力。本发明实施例的具体步骤如下：(1)设计生成器和判别器，原理如图4所示，是建筑物的模糊图像通过bi-skip-net生成器，而得到清晰的建筑物图片；其他任何模糊图像都可以用这个模型生成清晰的图片。(2)采用如下的损失函数来训练网络，其中为对抗损失函数，为条件损失函数，λ为条件损失函数的权重。通过最大化来优化判别器d；通过最小化式3来优化生成器g；其中设计如下：其中，l，s分别表示模型在不同层级的输出和真值，α取值为1或2,整个条件损失函数被通道数c，宽度w和高度h所规范。(3)将训练好的网络作为最终的复原模型。如图1所示，本发明实施例的方法采用生成对抗网络机制来实现模糊图像复原。图2为bi-skip-net网络结构图，采取图2所示的网络结构，设计了一种bi-skip-net网络来作为其中的生成器。该bi-skip-net网络结构图中的判别器参数见表1.判别器参数表。表1.判别器参数表#层参数维度步长1conv32x3x5x522conv64x32x5x513conv64x64x5x524conv128x64x5x515conv128x128x5x546conv256x128x5x517conv256x256x5x548conv512x256x5x519conv512x512x4x4410fc512x1x1x1-如图2所示，本发明实施例设计的bi-skip-net网络由三部分组成：contract路径(d)，包括d0、d1、d2和d3；skip路径(s)，包括s0、s1、s2和s3；以及expand路径(u)，包括u0、u1、u2和u3。contract层进行下采样实现特征压缩，skip层用于连接深层特征与浅层特征，expand层进行上采样。其中d*(d0、d1、d2和d3)，s*(s0、s1、s2和s3)，u*(u0、u1、u2和u3)为对应下采样尺度下的特征。图3为一个采样尺度下的特征操作，如图3所示，在contract路径,即压缩路径，当前特征通过3个残差块(3xresblock)来获得深层特征，并采用池化(pooling)和卷积相加的残差模式来获取下一尺度的特征；在skip路径,即跨连接路径，通过1x1的卷积来对压缩浅层特征，通过3x3的卷积来压缩深层特征；在expand路径，通过concat,即concatenate,来实现特征连接，并通过3x3的反卷积实现特征上采样。图4生成器设计：bi-skip-net+残差，如图4所示，最后采用bi-skip-net加残差的模式来作为生成器。本发明实施与其他算法的对比结果详见表2.本发明与其它算法在gopro数据集上的测试对比。表2.本发明与其它算法在gopro数据集上的测试对比图5a-d为本发明与其它算法的主观对比。图5a为模糊图像，图5b为nah等人的复原效果，图5c为kupyn等人的复原效果，图5d为本发明的bi-skip-net的复原效果。图片左下角的文字“hardware”在其他三张图片中无法辨认或辨认模糊，本发明能清晰还原和识别。从人主观对比可以看出，本发明对模糊图像的修复效果明显。需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。当前第1页12