一种图像去模糊方法、装置、计算机设备及存储介质与流程

本发明涉及图像处理技术领域，特别涉及一种图像去模糊方法、装置、计算机设备及存储介质。

背景技术：

图像作为人类获取外界信息的一个重要途径，在现代社会中占据了非常重要的地位。然而，在图像的拍摄过程中经常会由于相机的抖动或者是场景中物体的运动，使得获取的图像出现模糊的现象，这将严重影响图像的使用及其后续的处理工作。

图像去模糊的目的就是使用一定的方法从退化的模糊图像中恢复出清晰的、包含丰富信息的图像。具体的，图像去模糊就是采取一定的数学手段，根据图像的质变原理和统计特征构建数学模型，通过对模型的求解将目标图像从质变图像中恢复出来，从而达到稳像目的。

但是现实生活中，模糊核是未知的，所以这类问题也被称为盲去模糊。目前图像去模糊有传统方法和深度学习的方法。传统方法中常用的就是使用正则化的方法，通过对模糊核进行估计进而转变成非盲去模糊问题来解决。虽然传统方法也取得了一定的效果，但是其受制于应用场景，因此还有待提升。随着人工智能的高速发展，基于深度学习的去模糊方法因不用估计模糊核而得到了广泛的应用。为了取得更好的效果，各种模型多注重于网络的深度与宽度。虽然取得不错的效果，但是模型参数过多，不利于训练与后续应用，整体效率较低。除此之外，现有卷积神经网络多注重图像整体效果的复原，这使得图像细节与纹理方面的复原效果一般。

技术实现要素：

本发明的目的是提供一种图像去模糊方法、装置、计算机设备及存储介质，旨在解决现有图像去模糊方法效率低以及细节恢复效果不佳的问题。

第一方面，本发明实施例提供了一种基于多尺度卷积神经网络的图像去模糊方法，其包括：

将输入的模糊图像送入依次设置的第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块进行特征提取，分别得到4个不同尺度的特征图，表示为p1，p2，p3，p4；

对p4进行上采样操作，以及对p3进行卷积操作，然后将p4进行上采样操作得到的特征图与p3进行卷积操作得到的特征图按位置相加，得到特征图p3_1；

对p3_1进行上采样操作，以及对p2进行卷积操作，然后将p3_1进行上采样操作得到的特征图与p2进行卷积操作得到的特征图按位置相加，得到特征图p2_1；

对p2_1进行上采样操作，以及对p1进行卷积操作，然后将p2_1进行上采样操作得到的特征图与p1进行卷积操作得到的特征图按位置相加，得到特征图p1_2；

对p1_2进行下采样操作，以及对p2、p2_1进行卷积操作，然后将p1_2进行下采样操作得到的特征图、p2进行卷积操作得到的特征图与p2_1进行卷积操作得到的特征图按位置相加，得到特征图p2_2；

对p2_2进行下采样操作，以及对p3、p3_1进行卷积操作，然后将p2_2进行下采样操作得到的特征图、p3进行卷积操作得到的特征图与p3_1进行卷积操作得到的特征图按位置相加，得到特征图p3_2；

对p3_2进行下采样操作，以及对p4进行卷积操作，然后将p3_2进行下采样操作得到的特征图、p4进行卷积操作得到的特征图按位置相加，得到特征图p4_2；

将p1_2、p2_2、p3_2与p4_2分别通过不同倍数的上采样操作得到与原始图片尺寸相同的特征图，再将得到的特征图按位置相加得到融合后的特征图，最后将融合后的特征图进行卷积操作得到复原后的清晰图像；

将模糊图像与清晰图像送入至鉴别网络进行训练，从而构建得到多尺度卷积神经网络，将训练好的多尺度卷积神经网络作为最终的模糊图像复原网络；

将目标模糊图像送入至所述模糊图像复原网络，输出复原后的目标清晰图像。

第二方面，本发明实施例提供一种基于多尺度卷积神经网络的图像去模糊装置，其包括：

特征提取单元，用于将输入的模糊图像送入依次设置的第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块进行特征提取，分别得到4个不同尺度的特征图，表示为p1，p2，p3，p4；

第一上采样单元，用于对p4进行上采样操作，以及对p3进行卷积操作，然后将p4进行上采样操作得到的特征图与p3进行卷积操作得到的特征图按位置相加，得到特征图p3_1；

第二上采样单元，用于对p3_1进行上采样操作，以及对p2进行卷积操作，然后将p3_1进行上采样操作得到的特征图与p2进行卷积操作得到的特征图按位置相加，得到特征图p2_1；

第三上采样单元，用于对p2_1进行上采样操作，以及对p1进行卷积操作，然后将p2_1进行上采样操作得到的特征图与p1进行卷积操作得到的特征图按位置相加，得到特征图p1_2；

第一下采样单元，用于对p1_2进行下采样操作，以及对p2、p2_1进行卷积操作，然后将p1_2进行下采样操作得到的特征图、p2进行卷积操作得到的特征图与p2_1进行卷积操作得到的特征图按位置相加，得到特征图p2_2；

第二下采样单元，用于对p2_2进行下采样操作，以及对p3、p3_1进行卷积操作，然后将p2_2进行下采样操作得到的特征图、p3进行卷积操作得到的特征图与p3_1进行卷积操作得到的特征图按位置相加，得到特征图p3_2；

第三下采样单元，用于对p3_2进行下采样操作，以及对p4进行卷积操作，然后将p3_2进行下采样操作得到的特征图、p4进行卷积操作得到的特征图按位置相加，得到特征图p4_2；

输出单元，用于将p1_2、p2_2、p3_2与p4_2分别通过不同倍数的上采样操作得到与原始图片尺寸相同的特征图，再将得到的特征图按位置相加得到融合后的特征图，最后将融合后的特征图进行卷积操作得到复原后的清晰图像；

训练单元，用于将模糊图像与清晰图像送入至鉴别网络进行训练，从而构建得到多尺度卷积神经网络，将训练好的多尺度卷积神经网络作为最终的模糊图像复原网络；

复原单元，用于将目标模糊图像送入至所述模糊图像复原网络，输出复原后的目标清晰图像。

第三方面，本发明实施例提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于多尺度卷积神经网络的图像去模糊方法。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如上所述的基于多尺度卷积神经网络的图像去模糊方法。

本发明实施例公开了一种图像去模糊方法、装置、计算机设备及存储介质，方法包括：将输入的模糊图像进行特征提取，分别得到4个不同尺度的特征图p1、p2、p3、p4，对得到的4个不同尺度的特征图进行多尺度细节恢复得到不同尺度下的细节特征图p1_2、p2_2、p3_2、p4_2；然后将p1_2、p2_2、p3_2与p4_2分别通过不同倍数的上采样操作得到与原始图片尺寸相同的特征图，再将得到的特征图按位置相加得到融合后的特征图，最后将融合后的特征图进行卷积操作得到复原后的清晰图像；将模糊图像与清晰图像送入至鉴别网络进行训练，将训练好的sfbinet网络(多尺度卷积神经网络)作为最终的模糊图像复原网络；将目标模糊图像送入至所述模糊图像复原网络，输出复原后的目标清晰图像。本发明实施例能够有效解决因卷积网络过深而导致的效率问题与图像的细节恢复问题。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于多尺度卷积神经网络的图像去模糊方法的流程示意图；

图2为本发明实施例提供的基于多尺度卷积神经网络的图像去模糊方法的原理示意图；

图3为本发明实施例提供的基于多尺度卷积神经网络的图像去模糊装置的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1，本发明实施例提供一种基于多尺度卷积神经网络的图像去模糊方法，其包括步骤s101～s110：

s101、将输入的模糊图像送入依次设置的第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块进行特征提取，分别得到4个不同尺度的特征图，表示为p1，p2，p3，p4；

s102、对p4进行上采样操作，以及对p3进行卷积操作，然后将p4进行上采样操作得到的特征图与p3进行卷积操作得到的特征图按位置相加，得到特征图p3_1；

s103、对p3_1进行上采样操作，以及对p2进行卷积操作，然后将p3_1进行上采样操作得到的特征图与p2进行卷积操作得到的特征图按位置相加，得到特征图p2_1；

s104、对p2_1进行上采样操作，以及对p1进行卷积操作，然后将p2_1进行上采样操作得到的特征图与p1进行卷积操作得到的特征图按位置相加，得到特征图p1_2；

s105、对p1_2进行下采样操作，以及对p2、p2_1进行卷积操作，然后将p1_2进行下采样操作得到的特征图、p2进行卷积操作得到的特征图与p2_1进行卷积操作得到的特征图按位置相加，得到特征图p2_2；

s106、对p2_2进行下采样操作，以及对p3、p3_1进行卷积操作，然后将p2_2进行下采样操作得到的特征图、p3进行卷积操作得到的特征图与p3_1进行卷积操作得到的特征图按位置相加，得到特征图p3_2；

s107、对p3_2进行下采样操作，以及对p4进行卷积操作，然后将p3_2进行下采样操作得到的特征图、p4进行卷积操作得到的特征图按位置相加，得到特征图p4_2；

s108、将p1_2、p2_2、p3_2与p4_2分别通过不同倍数的上采样操作得到与原始图片尺寸相同的特征图，再将得到的特征图按位置相加得到融合后的特征图，最后将融合后的特征图进行卷积操作得到复原后的清晰图像；

s109、将模糊图像与清晰图像送入至鉴别网络进行训练，从而构建得到多尺度卷积神经网络，将训练好的多尺度卷积神经网络作为最终的模糊图像复原网络；

s110、将目标模糊图像送入至所述模糊图像复原网络，输出复原后的目标清晰图像。

首先，在所述步骤s101中，对输入的模糊图像进行不同尺度的特征提取，得到不同尺度的特征图。输入的模糊图像其尺寸可以是224×224。

在一实施例中，如图2所示，所述第一卷积模块由一个卷积核大小3×3、步长为2、通道数为64的卷积层和一个卷积核大小3×3、步长为2、通道数为64的最大池化层组成；所述第二卷积模块、第三卷积模块和第四卷积模块均由多个卷积结构(block)组成；所述卷积结构包括：卷积核大小1×1的组卷积层、通道随机混合操作层、卷积核大小3×3的深度可分离卷积层、卷积核大小1×1的组卷积层、短路连接层。

一个block处理过程是：首先是经过卷积核1×1的组卷积(groupconvolution)，这里设置group(组数)＝3；之后对组卷积得到的特征图进行channelshuffle(通道随机混合操作)；然后是经过卷积核为3×3的深度可分离卷积(主要是为了降低计算量)，紧接着经过卷积核为1×1的组卷积，最后是一个短路连接，将输入直接加到输出上。然后接着进行下一个block的处理，以此类推。

在具体实施时，所述第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块按顺序依次前后相连，具体参数如表1所示：

表1

所述步骤s102和步骤s103的作用是生成中间特征图p3_1(对应图2中的p3_1)和p2_1(对应图2中的p2_1)。

在一实施例中，所述对p4(对应图2中的p4)进行上采样操作，以及对p3(对应图2中的p3)进行卷积操作，然后将p4进行上采样操作得到的特征图与p3进行卷积操作得到的特征图按位置相加，得到特征图p3_1，包括：对p4进行2倍上采样操作，以及对p3进行卷积核3×3、步长为1、填充值(padding，下同)为1的卷积操作，将p4进行上采样得到的特征图与p3进行卷积操作得到的特征图进行按位置相加，得到特征图p3_1。

所述对p3_1进行上采样操作，以及对p2(对应图2中的p2)进行卷积操作，然后将p3_1进行上采样操作得到的特征图与p2进行卷积操作得到的特征图按位置相加，得到特征图p2_1，包括：对p3_1进行2倍上采样操作，以及对p2进行卷积核3×3、步长为1、填充值(padding)为1的卷积操作，将p3_1进行上采样得到的特征图与p2进行卷积操作得到的特征图进行按位置相加，得到特征图p2_1。

所述步骤s104、s105、s106、s107的作用是根据中间特征图进行多尺度细节恢复，得到不同尺度下的细节特征图p1_2(对应图2中的p1_2)、p2_2(对应图2中的p2_2)、p3_2(对应图2中的p3_2)、p4_2(对应图2中的p4_2)。

在一实施例中，所述对p2_1进行上采样操作，以及对p1(对应图2中的p1)进行卷积操作，然后将p2_1进行上采样操作得到的特征图与p1进行卷积操作得到的特征图按位置相加，得到特征图p1_2，包括：将p2_1进行2倍上采样操作，以及对p1进行卷积核3×3、步长为1、填充值为1的卷积操作，然后将p2_1进行上采样操作得到的特征图与p1进行卷积操作得到的特征图按位置相加，得到特征图p1_2；

所述对p1_2进行下采样操作，以及对p2、p2_1进行卷积操作，然后将p1_2进行下采样操作得到的特征图、p2进行卷积操作得到的特征图与p2_1进行卷积操作得到的特征图按位置相加，得到特征图p2_2，包括：对p1_2进行2倍下采样操作，以及对p2进行卷积核3×3、步长为1、填充值为1的卷积操作，以及对p2_1进行卷积核3×3、步长为1、填充值为1的卷积操作，将p1_2进行下采样操作得到的特征图、p2进行卷积操作得到的特征图与p2_1进行卷积操作得到的特征图按位置相加，得到特征图p2_2；

所述对p2_2进行下采样操作，以及对p3、p3_1进行卷积操作，然后将p2_2进行下采样操作得到的特征图、p3进行卷积操作得到的特征图与p3_1进行卷积操作得到的特征图按位置相加，得到特征图p3_2，包括：对p2_2进行2倍下采样操作，对p3进行卷积核3×3、步长为1、填充值为1的卷积操作，以及对p3_1进行卷积核3×3、步长为1、填充值为1的卷积操作，然后将p2_2进行下采样操作得到的特征图、p3进行卷积操作得到的特征图与p3_1进行卷积操作得到的特征图按位置相加，得到特征图p3_2；

所述对p3_2进行下采样操作，以及对p4进行卷积操作，然后将p3_2进行下采样操作得到的特征图、p4进行卷积操作得到的特征图按位置相加，得到特征图p4_2，包括：对p3_2进行2倍下采样，对p4进行卷积核3×3、步长为1、填充值为1的卷积操作，然后将p3_2进行下采样操作得到的特征图、p4进行卷积操作得到的特征图按位置相加，得到特征图p4_2。

所述步骤s108的作用是将前面的细节特征图p1_2、p2_2、p3_2与p4_2分别进行不同倍数的上采样操作，得到与输入的模糊图像(即原始图片)尺寸相同的特征图，再将上述特征图按位置相加得到融合后的特征图。

在一实施例中，所述将p1_2、p2_2、p3_2与p4_2分别通过不同倍数的上采样操作得到与原始图片尺寸相同的特征图，再将得到的特征图按位置相加得到融合后的特征图，最后将融合后的特征图进行卷积操作得到复原后的清晰图像，包括：

将p1_2、p2_2、p3_2与p4_2分别通过4倍、8倍、16倍、32倍上采样操作得到与模糊图像尺寸相同的特征图，再将得到的特征图按位置相加得到融合后的特征图，最后将融合后的特征图进行卷积核3×3、步长为1、填充值为1的卷积操作得到最终的特征图。

所述步骤s109的作用是搭建鉴别网络，进行训练，从而构建得到多尺度卷积神经网络，将训练好的多尺度卷积神经网络作为最终的模糊图像复原网络。

在一实施例中，所述鉴别网络包含8个卷积层和一个全连接层，各卷积层中的填充值相同。

其余参数设置如下：

第一个卷积层：卷积核大小3×3，步长为2，通道数为64；

第二个卷积层：卷积核大小3×3，步长为2，通道数为128；

第三个卷积层：卷积核大小3×3，步长为2，通道数为256；

第四个卷积层：卷积核大小3×3，步长为1，通道数为256；

第五个卷积层：卷积核大小3×3，步长为2，通道数为512；

第六个卷积层：卷积核大小3×3，步长为1，通道数为512；

第七个卷积层：卷积核大小3×3，步长为2，通道数为512；

第八个卷积层：卷积核大小3×3，步长为1，通道数为512；

全连接层，通道数为512。

上述各层按第一个卷积层、第二个卷积层、第三个卷积层、第四个卷积层、第五个卷积层、第六个卷积层、第七个卷积层、第八个卷积层、全连接层的顺序依次相连。

在一实施例中，所述将模糊图像与清晰图像送入至鉴别网络进行训练，从而构建得到多尺度卷积神经网络，将训练好的多尺度卷积神经网络作为最终的模糊图像复原网络，包括：

采用如下损失函数进行训练：

其中，x为模糊图像，g(x)为复原后的清晰图像，y为原始清晰图像，n为训练图像数量，c为图像通道数，w为图像宽度，h为图像高度。

从上可知，上述损失函数包括两部分，即对抗损失和内容损失两部分，这样最终训练得到的sfbinet网络(多尺度卷积神经网络)，具有效率高以及图像细节复原更准确的优点，即在图像细节与纹理方面恢复效果更佳。在训练时，借助生成对抗网络进行训练，其中sfbinet是生成器，并且搭建了一个鉴别网络。

针对卷积网络过深或过宽而导致的效率偏低问题，本发明实施例在残差网络的基础上引入组卷积与深度可分离卷积，提供了一种轻量型网络(即sfbinet网络)，在保持精确度的情况下极大的提升了效率，该网络主要用于对原始图像进行提取特征提取。针对现有fpn(featurepyramidnetworks)在细节复原方面的不足，该网络使用双向多尺度特征融合的方式进行图像细节的复原。

本发明实施例还提供一种基于多尺度卷积神经网络的图像去模糊装置，如图3所示，所述图像去模糊装置300包括：

特征提取单元301，用于将输入的模糊图像送入依次设置的第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块进行特征提取，分别得到4个不同尺度的特征图，表示为p1，p2，p3，p4；

第一上采样单元302，用于对p4进行上采样操作，以及对p3进行卷积操作，然后将p4进行上采样操作得到的特征图与p3进行卷积操作得到的特征图按位置相加，得到特征图p3_1；

第二上采样单元303，用于对p3_1进行上采样操作，以及对p2进行卷积操作，然后将p3_1进行上采样操作得到的特征图与p2进行卷积操作得到的特征图按位置相加，得到特征图p2_1；

第三上采样单元304，用于对p2_1进行上采样操作，以及对p1进行卷积操作，然后将p2_1进行上采样操作得到的特征图与p1进行卷积操作得到的特征图按位置相加，得到特征图p1_2；

第一下采样单元305，用于对p1_2进行下采样操作，以及对p2、p2_1进行卷积操作，然后将p1_2进行下采样操作得到的特征图、p2进行卷积操作得到的特征图与p2_1进行卷积操作得到的特征图按位置相加，得到特征图p2_2；

第二下采样单元306，用于对p2_2进行下采样操作，以及对p3、p3_1进行卷积操作，然后将p2_2进行下采样操作得到的特征图、p3进行卷积操作得到的特征图与p3_1进行卷积操作得到的特征图按位置相加，得到特征图p3_2；

第三下采样单元307，用于对p3_2进行下采样操作，以及对p4进行卷积操作，然后将p3_2进行下采样操作得到的特征图、p4进行卷积操作得到的特征图按位置相加，得到特征图p4_2；

输出单元308，用于将p1_2、p2_2、p3_2与p4_2分别通过不同倍数的上采样操作得到与原始图片尺寸相同的特征图，再将得到的特征图按位置相加得到融合后的特征图，最后将融合后的特征图进行卷积操作得到复原后的清晰图像；

训练单元309，用于将模糊图像与清晰图像送入至鉴别网络进行训练，从而构建得到多尺度卷积神经网络，将训练好的多尺度卷积神经网络作为最终的模糊图像复原网络；

复原单元310，用于将目标模糊图像送入至所述模糊图像复原网络，输出复原后的目标清晰图像。

上述装置部分的实施例与前述方法部分的实施例的内容对应，关于装置部分的实施例可参考前述方法部分实施例的描述，故此处不再赘述。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于多尺度卷积神经网络的图像去模糊方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如上所述的基于多尺度卷积神经网络的图像去模糊方法。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。