一种图像去模糊方法、电子设备及存储介质

1.本发明涉及图像去模糊技术领域，具体涉及一种图像去模糊方法、电子设备及存储介质。


背景技术：

2.在图像处理领域，深度神经网络以强大的非线性拟合能力来完成一些低层视觉任务，如图像超分辨率，去噪，去模糊等。为了提高网络模型的性能，通常都会选择增加网络的深度，而随着网络深度的堆积，经常会出现梯度加深以及梯度爆炸的情况，造成了模型性能的退化。残差学习的出现解决了上述问题，残差学习是通过跳跃连接将网络的一层或多层进行连接，把浅层网络提取的特征直接复制到深层特征进行相加，以此，卷积神经网络对于输出的变化将更为敏感，有效的避免了网络性能的退化现象。而为了进一步优化网络模型的性能，注意力机制应运而生，因为注意力机制能捕捉到一张图片中与任务高度相关的信息，并通过为这些信息赋予更高的权重来帮助神经网络更迅速的学习到这些相关性高的信息，以此来提高网络模型性能。基于残差学习与注意力机制，2020年收录于eccv的一篇基于超分辨率方向中，提出了像素注意力模块，并基于像素注意力构造了一个残差块，以这个残差块为基底构建了一个轻量级的网络模型并且取得了不错的低分辨率图像重建效果。
3.现有的像素注意力残差块模型虽然利用了残差学习来增加网络深度和注意力机制来提高模型性能，但对于同一个模糊特征的局部信息的学习依然是有限的，而且局部信息和全局信息之间也缺少交互。
4.多尺度融合策略的加入就可以很大程度上解决这个问题：对于同一个模糊特征，划分到多个尺度下的模糊特征后，经过神经网络的学习再进行融合，就可以得到该模糊特征更细节的局部信息(即小尺度下对应的模糊区域的学习)以及局部信息与全局信息之间的交互(即不同尺度下模糊区域之间的交互)。于是本发明提出了一种能够解决模糊图像特征细节的局部特征以及局部和全局信息之间交互学习有限的技术问题的方案。


技术实现要素：

5.本发明的目的在于克服上述技术不足，提供一种图像去模糊方法、电子设备及存储介质，解决现有技术中对模糊图像特征细节的局部特征以及局部和全局信息之间交互学习有限的技术问题。
6.为达到上述技术目的，本发明采取了以下技术方案：
7.第一方面，本发明提供了一种图像去模糊方法，包括：
8.获取训练完备的目标图像去模糊模型，所述目标图像去模糊模型包括多尺度像素注意力融合残差块；
9.获取待处理图像；
10.基于所述多尺度像素注意力融合残差块，对所述待处理图像进行多尺度像素注意力特征提取，获得多个像素注意力特征图，并对多个像素注意力特征图进行融合，获得多尺
度像素注意力融合图；并将多尺度像素注意力融合图与输入特征图输出构成残差学习特征图；
11.基于所述残差学习特征图，确定图像去模糊结果。
12.在一些实施例中，所述多尺度像素注意力融合残差块包括像素注意力模块和多尺度注意力融合模块，所述像素注意力模块包括第一像素注意力层、第二像素注意力层和第三像素注意力层，所述多尺度注意力融合模块包括第一融合层和第二融合层；
13.所述第一像素注意力层用于对经过两次二分之一下采样的所述待处理图像进行注意力特征提取，获得第一像素注意力特征图；
14.所述第二像素注意力层用于对经过一次二分之一下采样的所述待处理图像进行注意力特征提取，获得第二像素注意力特征图；
15.所述第三像素注意力层用于对所述待处理图像进行注意力特征提取，获得第三像素注意力特征图；
16.所述第一融合层用于将所述第一像素注意力特征图和第二像素注意力特征图进行融合，获得第一多尺度像素注意力融合图；
17.所述第二融合层用于将所述第三像素注意力特征图和第一多尺度像素注意力融合图进行融合，获得第二多尺度像素注意力融合图。
18.在一些实施例中，所述多尺度像素注意力融合残差块还包括依次连接的第一残差卷积层，第一残差激活函数层，第二残差卷积层，点乘运算层和第一相加运算层；
19.所述第一残差卷积层用于对所述待处理图像进行第一残差特征提取，获得第一残差子特征图；
20.所述第二残差卷积层用于对所述第一残差子特征图进行第二残差特征提取，获得第二残差子特征图，以作为所述像素注意力模块的输入特征；
21.所述点乘运算层用于对所述第二残差子特征图和所述第二多尺度像素注意力融合图进行点乘运算，获得第一点乘结果；
22.所述第一相加运算层用于对所述第一点乘结果和所述待处理图像进行相加运算，获得所述残差学习特征图。
23.在一些实施例中，所述像素注意力模块，可通过以下公式表示：
24.attn＝σ(conv1×1(f))，
25.其中，f和attn分别表示输入特征图以及输出像素注意力图，conv1×1表示卷积核大小为1的卷积层，σ表示sigmoid激活函数。
26.在一些实施例中，所述多尺度注意力融合模块，可通过以下公式表示：
27.所述多尺度注意力融合公式为：
28.attn’1/2
＝σ((attn
1/4
)
↑
e(attn
1/2
))attn
’1＝σ((attn”1/2
)
↑
e(attn1))
29.attn”1/2
＝dsc(cat(attn’1/2
,attn
1/2
))，attn”1
＝dsc(cat(attn
’1,attn1))，
30.其中，attn”1/2
，attn”1
分别为1/2尺度和原尺度融合后的新注意力图，attn
1/4
，attn
1/2
，attn1分别表示1/4、1/2和原尺度的注意力图，e表示点乘，
↑
表示上采样，σ表示sigmoid激活函数，cat表示沿通道维度上进行拼接，dsc表示深度可分离卷积。
31.在一些实施例中，所述目标图像去模糊模型包括依次连接的浅层特征提取层、多个多尺度像素注意力融合残差块、转置卷积层、第一激活函数层、拼接层、第一卷积层、第二
激活函数层、第二卷积层和相加运算层；其中：
32.所述浅层特征提取层用于对输入的所述待处理图像进行浅层特征提取，获得浅层特征图；
33.所述多个多尺度像素注意力融合残差块用于对所述浅层特征图进行多尺度像素注意力特征提取，获得多个像素注意力特征图，并对多个像素注意力特征图进行融合，获得多尺度像素注意力融合图；
34.所述转置卷积层用于对所述多尺度像素注意力融合图进行上采样计算，获得第一采样结果；
35.所述拼接层，用于对所述第一采样结果和所述浅层特征图进行拼接，获得第一拼接结果；
36.所述第一卷积层，用于对所述第一拼接结果进行通道复原处理，获得第一特征图；
37.所述第二卷积层，用于对所述第一特征图进行特征提取，获得第二特征图；
38.所述相加运算层，用于将所述第二特征图和所述待处理图像进行相加运算，获得复原特征图像。
39.在一些实施例中，所述获取训练完备的目标图像去模糊模型，包括：
40.构建初始图像去模糊模型；
41.构建待检测图像样本集；
42.根据所述待检测图像样本集以及预设的总损失函数训练所述初始图像去模糊模型，得到训练完备的目标图像去模糊模型。
43.在一些实施例中，所述总损失函数为：
44.l1＝||i-k||1[0045][0046][0047]
l
total
＝l1+λ1l
edge
+λ2l
fft
[0048]
i为清晰图，k为恢复图，δ为拉普拉斯变换符号，ε为一个常数，设为10-3
,为傅里叶变换符号，λ1＝0.05,λ2＝0.01。
[0049]
第二方面，本发明还提供了一种电子设备，包括：处理器和存储器；
[0050]
所述存储器上存储有可被所述处理器执行的计算机可读程序；
[0051]
所述处理器执行所述计算机可读程序时实现如上所述的图像去模糊方法中的步骤。
[0052]
第三方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的图像去模糊方法中的步骤。
[0053]
与现有技术相比，本发明提供的图像去模糊方法、电子设备及存储介质，设置图像去模糊模型，其中图像去模糊模型包括多尺度像素注意力融合残差块，通过多尺度像素注意力融合的特征提取和残差块的学习能力，克服了现有技术中模糊图像处理模型对局部特征的细节处理能力弱，以及局部和全局特征之间交互学习性能差的问题，从而提高图像去模糊结果的准确性。
附图说明
[0054]
图1是本发明提供的图像去模糊方法的一实施例的流程图；
[0055]
图2是本发明提供的图像去模糊方法中，多尺度像素注意力融合块一实施例的示意图；
[0056]
图3是本发明提供的图像去模糊方法中，多尺度像素注意力融合残差块一实施例的示意图；
[0057]
图4是本发明提供的图像去模糊方法中，目标图像去模糊模型一实施例的示意图；
[0058]
图5是本发明提供的图像去模糊方法中，步骤s101一实施例的流程图；
[0059]
图6是本发明提供的电子设备一实施例的运行环境示意图。
具体实施方式
[0060]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0061]
造成图像模糊的原因有很多，其中包括光学因素、大气因素、人工因素、技术因素等等，日常生产生活中对图像进行去模糊操作有其重要意义。要取得比较好的处理效果，不同原因导致的模糊往往需要不同的处理方法。从技术方面来向，模糊图像处理方法主要分为三大类，分别是图像增强、图像复原和超分辨率重构。
[0062]
本发明所涉及的图像去模糊方法，通过对神经网络模型进行改进，对模糊的图像进行增强处理，从而使得模糊图像转变为清晰图像，请参阅图1，图像去模糊方法包括：
[0063]
s101、获取训练完备的目标图像去模糊模型，所述目标图像去模糊模型包括多尺度像素注意力融合残差块；
[0064]
s102、获取待处理图像；
[0065]
s103、基于所述多尺度像素注意力融合残差块，对所述待处理图像进行多尺度像素注意力特征提取，获得多个像素注意力特征图，并对多个像素注意力特征图进行融合，获得多尺度像素注意力融合图；并将多尺度像素注意力融合图与输入特征图输出构成残差学习特征图；
[0066]
s104、基于所述残差学习特征图，确定图像去模糊结果。
[0067]
在本实施例中，通过设置图像去模糊模型，其中图像去模糊模型包括多尺度像素注意力融合残差块，通过多尺度像素注意力融合的特征提取和残差块的学习能力，克服了现有技术中模糊图像处理模型对局部特征的细节处理能力弱，以及局部和全局特征之间交互学习性能差的问题，从而提高图像去模糊结果的准确性。
[0068]
需要说明的是，本发明采用机器学习的方法进行图像去模糊，通过在模型结构中引入多尺度像素注意力融合残差块提高图像去模糊的准确性，具体的，机器学习可为深度学习网络、支持向量机和神经网络，其中，于本实施例中，采用的是基于多尺度像素注意力融合残差块构建神经网络模型，并对模型进行训练，从而得到图像去模糊的目标模型。
[0069]
在一些实施例中，请参阅图2，所述多尺度像素注意力融合残差块包括像素注意力模块和多尺度注意力融合模块，所述像素注意力模块包括第一像素注意力层、第二像素注意力层和第三像素注意力层，所述多尺度注意力融合模块包括第一融合层和第二融合层；
[0070]
所述第一像素注意力层用于对经过两次二分之一下采样的所述待处理图像进行注意力特征提取，获得第一像素注意力特征图；
[0071]
所述第二像素注意力层用于对经过一次二分之一下采样的所述待处理图像进行注意力特征提取，获得第二像素注意力特征图；
[0072]
所述第三像素注意力层用于对所述待处理图像进行注意力特征提取，获得第三像素注意力特征图；
[0073]
所述第一融合层用于将所述第一像素注意力特征图和第二像素注意力特征图进行融合，获得第一多尺度像素注意力融合图；
[0074]
所述第二融合层用于将所述第三像素注意力特征图和第一多尺度像素注意力融合图进行融合，获得第二多尺度像素注意力融合图。
[0075]
在本发明的实施例中，通过三个像素注意力层对输入特征进行像素注意力特征提取，再经过两个融合层分别对像素注意力特征进行融合，输出得到残差学习特征。
[0076]
在一些实施例中，请参阅图3，所述多尺度像素注意力融合残差块包括依次连接的第一残差卷积层，第一残差激活函数，第二残差卷积层，点乘运算层和第一相加运算层；
[0077]
所述第一残差卷积层用于对所述待处理图像进行第一残差特征提取，获得第一残差子特征图；
[0078]
所述第二残差卷积层用于对所述第一残差子特征图进行第二残差特征提取，获得第二残差子特征图，以作为所述像素注意力模块的输入特征；
[0079]
所述点乘运算层用于对所述第二残差子特征图和所述第二多尺度像素注意力融合图进行点乘运算，获得第一点乘结果；
[0080]
所述第一相加运算层用于对所述第一点乘结果和所述待处理图像进行相加运算，获得所述残差学习特征图。
[0081]
在本发明实施例中，首先通过第一残差卷积层、第二残差卷积层以及第一激活函数层提取输入特征得到h*w的特征图，接着对该特征图进行两次下采样分别获得(h/2)*(w/2)以及(h/4)*(w/4)的特征图，并依次经过像素注意力模块计算得出对应尺寸的注意力特征图，其中像素注意力模块可通过如下公式表示：attn＝σ(conv1×1(f))，
[0082]
其中，f和attn分别表示输入特征图以及输出注意力特征图，conv1×1表示卷积核大小为1的卷积层，σ表示sigmoid激活函数。
[0083]
进一步的，将1/4尺度的注意力特征图上采样到1/2尺度并与1/2尺度的注意力特征图输入到多尺度注意力融合模块进行融合；将融合之后的1/2尺度的新注意力特征图上采样到原尺度后与原尺度的注意力图再次进行融合，多尺度注意力融合模块具体为：
[0084]
attn’1/2
＝σ((attn
1/4
)
↑
e(attn
1/2
))
[0085]
attn”1/2
＝dsc(cat(attn’1/2
,attn
1/2
))，
[0086]
attn
’1＝σ((attn”1/2
)
↑
e(attn1))
[0087]
attn”1
＝dsc(cat(attn
’1,attn1))，
[0088]
其中，attn”1/2
，attn”1
分别为1/2尺度和原尺度融合后的新注意力特征图，attn
1/4
，attn
1/2
，attn1分别表示1/4,1/2和原尺度的注意力特征图，e表示点乘，
↑
表示上采样，σ表示sigmoid激活函数，cat表示沿通道维度上进行拼接(两个分别拥有c个通道的特征图沿通道维度进行拼接后，新的特征图拥有2c个通道数)，dsc表示深度可分离卷积，用于提
取特征并将拼接之后的2c通道数降回c通道，即与原尺度特征中拥有的通道数保持一致。
[0089]
在本发明实施例中，通过多尺度注意力融合模块将不同尺度的注意力特征图进行融合，从而进一步提高了神经网络模型的性能。
[0090]
在一些实施例中，请参阅图4，所述目标图像去模糊模型包括依次连接的浅层特征提取层、多个多尺度像素注意力融合残差块、转置卷积层、第一激活函数层、拼接层、第一卷积层、第二激活函数层、第二卷积层和相加运算层；其中：
[0091]
所述浅层特征提取层用于对输入的所述待处理图像进行浅层特征提取，获得浅层特征图；
[0092]
所述多个多尺度像素注意力融合残差块用于对所述浅层特征图进行多尺度像素注意力特征提取，获得多个像素注意力特征图，并对多个像素注意力特征图进行融合，获得多尺度像素注意力融合图；
[0093]
所述转置卷积层用于对所述多尺度像素注意力融合图进行上采样计算，获得第一采样结果；
[0094]
所述拼接层，用于对所述第一采样结果和所述浅层特征图进行拼接，获得第一拼接结果；
[0095]
所述第一卷积层，用于对所述第一拼接结果进行通道复原处理，获得第一特征图；
[0096]
所述第二卷积层，用于对所述第一特征图进行特征提取，获得第二特征图；
[0097]
所述相加运算层，用于将所述第二特征图和所述待处理图像进行相加运算，获得复原特征图像。
[0098]
在本实施中，目标图像去模糊模型首先由第一浅层卷积层、第一浅层激活函数层、第二浅层卷积层和第二浅层激活函数层组成浅层特征提取层来提取输入训练图片的浅层特征图，其中第二浅层卷积层对特征图做了一次下采样操作来提高计算效率，降低显存。
[0099]
进一步的，将下采样后的特征图输入到多尺度像素注意力融合的残差块中进行筛选优化。为了增加网络的深度以提高模型性能，网络中堆叠了n个多尺度像素注意力融合的残差块。
[0100]
更进一步的，将精炼后的特征图输入到转置卷积层中进行一次上采样，然后与浅层特征提取层中第一浅层激活函数层的输出在通道维度进行拼接后，通过第一卷积层调整回拼接前的通道数后经过激活函数层进行非线性拟合，最后经过第二卷积层得到的特征图与初始输入相加后得到复原结果，构成残差学习。
[0101]
在本发明的一些实施例中，请参阅图5，所述获取训练完备的目标图像去模糊模型，包括：
[0102]
s501、构建初始图像去模糊模型；
[0103]
s502、构建待检测图像样本集；
[0104]
s503、根据所述待检测图像样本集以及预设的总损失函数训练所述初始图像去模糊模型，得到训练完备的目标图像去模糊模型。
[0105]
在实际中，经过数据预处理后输入到网络模型中，将网络模型训练g轮，在网络模型训练结束后使用相应测试数据集对网络模型进行测试，计算psnr(峰值信噪比)，psnr作为图像恢复效果的参照标准之一，数值越高效果越好。psnr计算公式如下：
[0106][0107][0108]
其中mse为两个m
×
n的清晰图i和恢复图k差值的平方。
[0109]
其中，所述总损失函数为：
[0110]
l1＝||i-k||1[0111][0112][0113]
l
total
＝l1+λ1l
edge
+λ2l
fft
[0114]
i为清晰图，k为恢复图，δ为拉普拉斯变换符号，ε为一个常数，设为10-3
,为傅里叶变换符号，λ1＝0.05,λ2＝0.01。
[0115]
在本发明一个具体的实施例中，首先通过浅层特征提取层提取输入特征得到尺寸为128*128浅层特征图，记为f1。对浅层特征图进行两次下采样操作，分别得到64*64以及32*32的特征图，记为f2和f3。将f1、f2和f3分别输入到像素注意力模块中分别得到128*128、64*64和32*32的注意力特征图，分别记为a1、a2和a3。
[0116]
随后，将a3通过最近邻采样法上采样到与a2相同的尺寸，记为a
′3。然后根据多尺度注意力融合模块将a
′3与a2融合，得到a
′2。同样使用最近邻采样法将a
′2上采样到与a1相同的尺寸，根据多尺度注意力融合模块将a
′2与a1融合，得到最终的注意力图a
′1。
[0117]
进一步的，将f1与a
′1进行点乘,得到了经过多尺度像素注意力融合残差块筛选后的精炼特征图。
[0118]
进一步的，利用基于多尺度像素注意力融合残差块构建目标网络模型。
[0119]
进一步，将下采样后的特征输入到多尺度像素注意力融合残差块中进行筛选优化。为了增加网络的深度以提高模型性能，网络中堆叠了16个多尺度像素注意力融合的残差块。
[0120]
进一步的，将精炼后的特征输入到转置卷积中进行一次上采样，与浅层特征提取部分中的第一浅层激活函数层的输出在通道维度进行拼接(比如两个分别拥有64个通道的特征图进行拼接后，新的特征图拥有128个通道)，通过第一卷积层调整回64通道后经过一个激活函数层进行非线性拟合，最后经过第二卷积层得到的特征图与初始输入相加后获得复原结果，构成残差学习。
[0121]
最后，下载gopro训练数据集，对训练图片进行数据预处理得到256*256的训练图片后输入到网络模型中，将网络模型训练1000次，训练结束后下载gopro测试数据集对网络模型进行测试，根据总损失函数计算psnr(峰值信噪比)。psnr作为图像恢复效果的参照标准之一，数值越高效果越好。
[0122]
如图6所示，基于上述图像去模糊方法，本发明还相应提供了一种电子设备，该电子设备可以是移动终端、桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该电子设备包括处理器610、存储器620及显示器630。图6仅示出了电子设备的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
[0123]
存储器620在一些实施例中可以是该电子设备的内部存储单元，例如电子设备的硬盘或内存。存储器620在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，存储器620还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器620用于存储安装于电子设备的应用软件及各类数据，例如安装电子设备的程序代码等。存储器620还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器620上存储有图像去模糊程序640，该图像去模糊程序640可被处理器610所执行，从而实现本技术各实施例的图像去模糊方法。
[0124]
处理器610在一些实施例中可以是一中央处理器(central processing unit,cpu)，微处理器或其他数据处理芯片，用于运行存储器620中存储的程序代码或处理数据，例如执行图像去模糊方法等。
[0125]
显示器630在一些实施例中可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。显示器630用于显示在所述图像去模糊设备的信息以及用于显示可视化的用户界面。电子设备的部件610-630通过系统总线相互通信。
[0126]
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的存储介质中，该程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。
[0127]
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。