本发明涉及图像处理领域，尤其是涉及了一种基于尺度递归网络的深度图像去模糊方法。
背景技术：
随着技术的发展、制造工艺的提高和智能手机的普及，越来越多人拿起手机和摄像机拍摄图像。但是在实际的相机采集过程中，常常由于一些主观或客观的原因导致图像质量下降，比如相机镜头失焦、传感器噪声、传感器与景物的相对运动、手机抖动等，使得图像模糊，人们难以获取相关信息。因此，图像去模糊技术越来越受到人们的重视，其在各个领域也有着广泛的应用。如在交通领域，由于车辆高速或超速行驶，道路安装的电子监控获取的车辆图像常常是模糊不清的，交警无法精确识别车牌号码和驾驶员的外貌穿着等信息，通过去模糊技术可以有效恢复清晰图像，帮助交警获取更多有效信息。而在航空航天领域中，卫星拍摄的遥感图像常常由于运动而模糊，对这类图像进行去模糊处理，不仅可以提高图片的分辨率，还可以获取更多的地理细节信息。在安保领域，由于人物快速运动导致的图像模糊，通过去模糊处理之后，能够使人脸细节更加清晰，为案件的侦破提供更有利的证据等。然而，在常用的多尺度方法去模糊技术中，每个尺度上的求解器及其参数通常是相同的，各个参数的变化会引起不稳定性，并导致其他额外问题，且参数调整和计算复杂。
本发明提出了一种基于尺度递归网络的深度图像去模糊方法，先把从输入图像以不同比例下采样得到的一系列模糊图像作为输入，内模块产生特征映射，编码器-解码器网络逐步将输入数据转换成具有较小空间尺寸和较多通道(编码器)的特征映射，然后将其转换回输入形状(解码器)，编码器-解码器中的相应特征映射之间的跳接用于组合不同级别的信息，使梯度传播受益并加速收敛，外模块将以前的特征图作为输入，并产生一组相应的清晰图像。本发明提出的尺度递归网络具有更简单的网络结构，显著减少了训练参数的数量，大大提高训练效率，处理后的图片质量更高。
技术实现要素：
针对参数调整和计算复杂等问题，本发明的目的在于提供一种基于尺度递归网络的深度图像去模糊方法，先把从输入图像以不同比例下采样得到的一系列模糊图像作为输入，内模块产生特征映射，编码器-解码器网络逐步将输入数据转换成具有较小空间尺寸和较多通道(编码器)的特征映射，然后将其转换回输入形状(解码器)，编码器-解码器中的相应特征映射之间的跳接用于组合不同级别的信息，使梯度传播受益并加速收敛，外模块将以前的特征图作为输入，并产生一组相应的清晰图像。
为解决上述问题，本发明提供一种基于尺度递归网络的深度图像去模糊方法，其主要内容包括：
(一)尺度递归网络(SRN)；
(二)带残差模块的编码器-解码器；
(三)损失。
其中，所述的基于尺度递归网络的深度图像去模糊方法，端到端深度图像去模糊框架可以大大提高训练效率(≈1/4训练时间来完成类似的恢复)；只用少于1/3的可训练参数，测试时间更快；除了训练效率之外，本方法也比现有的方法定量和定性地产生更高质量的结果。
其中，所述的尺度递归网络(SRN)，把从输入图像以不同比例下采样得到的一系列模糊图像作为输入，并产生一组相应的清晰图像；在粗粒度到细粒度的策略中采用了一个新颖的多尺度的递归结构。
进一步地，所述的多尺度的递归结构，在每个尺度上生成一个尖锐的潜像作为图像去模糊任务的一个子问题，它将模糊的图像和初始的去模糊结果(从上一个尺度上采样)作为输入，并估计这个尺度的清晰图像为：
Ii,hi＝NetSR(Bi,Ii+1↑,hi+1↑；θSR) (1)
其中，i是尺度指数，其中i＝1表示最好的尺度；Bi,Ii分别是第i级的模糊和估计的潜在图像；NetSR是提出的训练参数表示为SR的尺度递归网络；由于网络是递归的，所以隐藏状态特征hi可以跨越尺度；(·)↑是操作符从第(i-1)到第i个尺度调整特征或图像。
其中，所述的带残差模块的编码器-解码器，编码器-解码器网络是指对称的卷积神经网络(CNN)结构，首先逐步将输入数据转换成具有较小空间尺寸和较多通道(编码器)的特征映射，然后将其转换回输入形状(解码器)；编码器-解码器中的相应特征映射之间的跳接被广泛用于组合不同级别的信息；它们还可以使梯度传播受益，并加速收敛；通常情况下，编码器模块包含几个阶段的卷积层与步幅，解码器模块是使用一系列解卷积层或调整大小；额外的卷积层插入每个级别之后以进一步增加深度；包括编码器/解码器残差模块和递归模块。
进一步地，所述的编码器/解码器，编码器/解码器的结构需要满足以下要求：
(1)对于去模糊任务，需要很大的接收场来处理剧烈运动导致编码器/解码器模块的更多层叠；
(2)在编码器/解码器模块的每个级别添加更多卷积层将使网络慢收敛(在每个级别具有平卷积)；
(3)提出的结构要求有内部隐藏状态的递归模块。
进一步地，所述的编码器/解码器残差模块，通过引入残差学习块来改进编码器/解码器模块；选择使用残差模块代替残差网络中的原始构建块(没有批量归一化)；提出的编码器残差模块包含一个卷积层，后面是几个残差模块；卷积层的步幅为2；它将前一层的内核数量加倍，并将特征映射下采样为一半大小；以下每个残差模块包含两个卷积层；此外，所有的卷积层都有相同数量的内核；解码器残差模块与编码器残差模块是对称的；它包含几个残差模块，之后是一个解卷积层；去卷积层用于使特征图的空间大小加倍并将通道减半。
进一步地，所述的递归模块，尺度递归结构需要网络内的递归模块；在隐藏状态的瓶颈层中插入卷积层以连接连续的尺度；最后对每个卷积层使用5×5的大卷积核；修改后的网络表示为：
fi＝NetE(Bi,Ii+1↑) (2)
hi,gi＝ConvLSTM(hi+1↑,fi；θLSTM) (3)
Ii＝NetD(gi；θD) (4)
其中，NetE和NetD是编码器和解码器CNN，其参数为θE和θD；在NetE和NetD中分别使用了三个阶段的编码器残差模块和解码器残差模块；θLSTM是ConvLSTM中的一组参数；隐藏状态hi可能包含有关中间结果和模糊模式的有用信息，这些信息会传递到下一个尺度，从而使精细问题受益。
进一步地，所述的尺度，SRN包含三个尺度；第(i+1)个尺度是第i个尺度的一半；对于编码器/解码器残差模块网络，有一个内模块和两个编码器残差模块，其次是一个卷积长短期记忆(LSTM)块、两个解码器残差模块和一个外模块；内模块产生32个通道的特征映射；外模块将以前的特征图作为输入并生成输出图像；每个编码器残差模块和解码器残差模块内部所有卷积层的内核数量相同；对于编码器残差模块，内核的数量分别是64和128；对于解码器残差模块，内核的数量分别是128和64；编码器残差模块和解卷积层中的卷积层的步长为2，而其他所有层为1；修正线性单元(ReLU)用作所有层的激活函数，所有内核大小设置为5。
其中，所述的损失，网络输出和标定好的真实数据(采用双线性插值的同样大小下采样)之间的每个尺度上使用欧几里得损失为：
其中，Ii和分别是在第i个尺度的网络输出和标定好的真实数据；是每个比例的权重；根据经验设定Ni是Ii中要归一化的元素的数量。
附图说明
图1是本发明一种基于尺度递归网络的深度图像去模糊方法的系统框架图。
图2是本发明一种基于尺度递归网络的深度图像去模糊方法的尺度递归网络的图像处理过程。
图3是本发明一种基于尺度递归网络的深度图像去模糊方法的尺度递归网络的架构。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于尺度递归网络的深度图像去模糊方法的系统框架图。主要包括尺度递归网络(SRN)、带残差模块的编码器-解码器、损失。
带残差模块的编码器-解码器，编码器-解码器网络是指对称的卷积神经网络(CNN)结构，首先逐步将输入数据转换成具有较小空间尺寸和较多通道(编码器)的特征映射，然后将其转换回输入形状(解码器)；编码器-解码器中的相应特征映射之间的跳接被广泛用于组合不同级别的信息；它们还可以使梯度传播受益，并加速收敛；通常情况下，编码器模块包含几个阶段的卷积层与步幅，解码器模块是使用一系列解卷积层或调整大小；额外的卷积层插入每个级别之后以进一步增加深度；包括编码器/解码器残差模块和递归模块。
编码器/解码器，其特征在于，编码器/解码器的结构需要满足以下要求：
(1)对于去模糊任务，需要很大的接收场来处理剧烈运动导致编码器/解码器模块的更多层叠；
(2)在编码器/解码器模块的每个级别添加更多卷积层将使网络慢收敛(在每个级别具有平卷积)；
(3)提出的结构要求有内部隐藏状态的递归模块。
编码器/解码器残差模块，通过引入残差学习块来改进编码器/解码器模块；选择使用残差模块代替残差网络中的原始构建块(没有批量归一化)；提出的编码器残差模块包含一个卷积层，后面是几个残差模块；卷积层的步幅为2；它将前一层的内核数量加倍，并将特征映射下采样为一半大小；以下每个残差模块包含两个卷积层；此外，所有的卷积层都有相同数量的内核；解码器残差模块与编码器残差模块是对称的；它包含几个残差模块，之后是一个解卷积层；去卷积层用于使特征图的空间大小加倍并将通道减半。
递归模块，尺度递归结构需要网络内的递归模块；在隐藏状态的瓶颈层中插入卷积层以连接连续的尺度；最后对每个卷积层使用5×5的大卷积核；修改后的网络表示为：
fi＝NetE(Bi,Ii+1↑) (1)
hi,gi＝ConvLSTM(hi+1↑,fi；θLSTM) (2)
Ii＝NetD(gi；θD) (3)
其中，NetE和NetD是编码器和解码器CNN，其参数为θE和θD；在NetE和NetD中分别使用了三个阶段的编码器残差模块和解码器残差模块；θLSTM是ConvLSTM中的一组参数；隐藏状态hi可能包含有关中间结果和模糊模式的有用信息，这些信息会传递到下一个尺度，从而使精细问题受益。
SRN包含三个尺度；第(i+1)个尺度是第i个尺度的一半；对于编码器/解码器残差模块网络，有一个内模块和两个编码器残差模块，其次是一个卷积长短期记忆(LSTM)块、两个解码器残差模块和一个外模块；内模块产生32个通道的特征映射；外模块将以前的特征图作为输入并生成输出图像；每个编码器残差模块和解码器残差模块内部所有卷积层的内核数量相同；对于编码器残差模块，内核的数量分别是64和128；对于解码器残差模块，内核的数量分别是128和64；编码器残差模块和解卷积层中的卷积层的步长为2，而其他所有层为1；修正线性单元(ReLU)用作所有层的激活函数，所有内核大小设置为5。
损失，网络输出和标定好的真实数据(采用双线性插值的同样大小下采样)之间的每个尺度上使用欧几里得损失为：
其中，Ii和分别是在第i个尺度的网络输出和标定好的真实数据；是每个比例的权重；根据经验设定Ni是Ii中要归一化的元素的数量。
图2是本发明一种基于尺度递归网络的深度图像去模糊方法的尺度递归网络的图像处理过程。先把从输入图像以不同比例下采样得到的一系列模糊图像作为输入，内模块产生特征映射，编码器-解码器网络逐步将输入数据转换成具有较小空间尺寸和较多通道(编码器)的特征映射，然后将其转换回输入形状(解码器)，编码器-解码器中的相应特征映射之间的跳接用于组合不同级别的信息，使梯度传播受益并加速收敛，外模块将以前的特征图作为输入，并产生一组相应的清晰图像。
图3是本发明一种基于尺度递归网络的深度图像去模糊方法的尺度递归网络的架构。端到端深度图像去模糊框架可以大大提高训练效率(≈1/4训练时间来完成类似的恢复)；只用少于1/3的可训练参数，测试时间更快；除了训练效率之外，本方法也比现有的方法定量和定性地产生更高质量的结果。
尺度递归网络把从输入图像以不同比例下采样得到的一系列模糊图像作为输入，并产生一组相应的清晰图像；在粗粒度到细粒度的策略中采用了一个新颖的多尺度的递归结构。
在每个尺度上生成一个尖锐的潜像作为图像去模糊任务的一个子问题，它将模糊的图像和初始的去模糊结果(从上一个尺度上采样)作为输入，并估计这个尺度的清晰图像为：
Ii,hi＝NetSR(Bi,Ii+1↑,hi+1↑；θSR) (5)
其中，i是尺度指数，其中i＝1表示最好的尺度；Bi,Ii分别是第i级的模糊和估计的潜在图像；NetSR是提出的训练参数表示为SR的尺度递归网络；由于网络是递归的，所以隐藏状态特征hi可以跨越尺度；(·)↑是操作符从第(i-1)到第i个尺度调整特征或图像。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。