图片清晰化提升处理方法与流程

本发明涉及图片处理技术领域，尤其涉及一种图片清晰化提升处理方法。

背景技术：

在视频采集过程中，通常存在图片模糊现象。造成图片模糊的原因有很多，其中包括光学因素、大气因素、人工因素、技术因素等等，现有技术中，通常采用图片增强、图片复原和超分辨率重构等方法实现图片清晰化处理，但现有技术存在泛化能力较弱，可靠性较差的问题。

技术实现要素：

本发明实施例提供了一种图片清晰化提升处理方法，可以提升图片的清晰化程度。

本发明实施例提供的一种图片清晰化提升处理方法，包括：

获取针对输入的目标模糊图片的图片清晰化提升指令；

获取清晰化处理模型，所述清晰化处理模型利用多个维度的样本图片对神经网络模型进行训练得到，其中，所述样本图片为叠加图片，所述叠加图片为对多张清晰图片进行合成处理得到的模糊图片，所述维度指样本图片的分辨率信息；

响应所述图片清晰化提升指令，采用清晰化处理模型对所述目标模糊图片进行去模糊处理，以得到目标清晰图片。

优选地，在获取清晰化处理模型之前，所述方法包括：

将当前维度初始化为叠加图片的第一图片的维度，将当前模型初始化为所述神经网络模型，将中间图片初始化为所述第一图片，所述第一图片是通过对所述叠加图片进行降采样处理后得到的模糊图片：

从所述叠加图片中获取维度为所述当前维度的第一图片；

基于所述当前模型对维度为所述当前维度的所述第一图片和所述中间图片进行去模糊处理，得到第二图片，其中，所述第二图片为与所述第一图片关联的清晰图片；

对所述第二图片进行放大处理，得到第三图片；

采用所述第三图片对所述当前模型进行训练，得到更新后的清晰化处理模型；

将所述当前维度进行提升处理，并重复执行上述步骤，直到中间图片的维度与所述叠加图片的维度相同。

在本发明实施例中，由于用于训练清晰化处理模型的样本图片是根据清晰图片合成的，可以表示真实场景下模糊照片的特征，利用这些样本图片对神经网络模型进行训练得到的清晰化处理模型，可以对模糊图片进行去模糊处理，得到清晰的图片，可以提升图片清晰化处理的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例提供的图片清晰化提升处理方法的流程示意图。

具体实施方式

根据本发明实施例，提供了一种图片清晰化提升处理方法。如图1所示，该图片清晰化提升处理方法包括：

s10，获取图片清晰化提升指令，其中，图片清晰化提升指令用于指示对目标模糊图片进行去模糊处理。

本实施例中，用户通过执行预定手势对目标模糊图片进行清晰化提升处理，例如用户在获取到不清晰图片之后，通过在图片之上执行“擦拭”操作，终端在检测到用户的手指/手掌与触摸屏的接触，并且确定出所述接触在所述目标模糊图片之上移动之时，确定用户欲对所述图片进行图片清晰化提升操作。

除此之外，所述图片清晰化提升指令还可以通过检测用户的语音控制命令或通过在触摸屏上点击专门触控按钮而生成。

s20，获取清晰化处理模型，所述清晰化处理模型利用多个维度的样本图片对神经网络模型进行训练得到，其中，所述样本图片为叠加图片，所述叠加图片为对多张清晰图片进行合成处理得到的模糊图片，所述维度指样本图片的分辨率信息。多个维度的样本图片可以是通过对同一张样本图片进行降采样得到的图片，降采样的粒度不同，得到的样本图片的维度也不相同。

s30，响应图片清晰化提升指令，采用清晰化处理模型对目标模糊图片进行去模糊处理，以得到目标清晰图片。

将目标模糊图片输入到清晰化处理模型中，以便清晰化处理模型对目标模糊图片进行处理，输出目标清晰图片。该清晰化处理模型通过训练神经网络模型得到。

训练神经网络模型需要的样本图片是通过多张清晰图片合成的模糊图片，生成的模糊图片对应的清晰图片就是合成模糊图片之前的清晰图片，也就是说，叠加图片可以作为样本图片，通过输入模糊图片并输出清晰图片是清晰化处理模型的训练目标。

在得到训练好的清晰化处理模型后，向清晰化处理模型中输入叠加图片后可以输出与叠加图片对应的清晰图片。

可选地，在获取利用多个维度的样本图片对神经网络模型进行训练得到的清晰化处理模型之前，还可以从采集的视频数据的帧画面集合中获取连续的多帧清晰图片，其中，帧画面集合为一段视频数据中部分帧画面的集合；对多帧清晰图片进行合并处理，得到模糊的样本图片，例如可以在画板上对所述多帧清晰图片实行错开排布，之后再实行合并处理，以得到所述模糊图片。

图片模糊，通常是由于拍摄时相机的运动或者场景中物体的运动。这两种模糊本质上都是由于快门速度过慢导致。在快门打开到关闭的短时间内由于相机的运动或者场景的位移导致了相机内部的图片传感器像素采集的不只是某个固定位置的亮度，而是在这个时刻内相关位置所有亮度的积分。该积分在高速相机拍摄的图片中可以近似为相邻连续图片的求和。这使得利用高速相机模拟真实模糊图片具备了可行性。

本实施例采用高速相机来采集高速视频以合成足够的模糊图片。因为训练层数较深的卷积网络需要大量的数据，本实施例获取大量模糊图片进行训练。该模糊图片可以是高速相机在300帧每秒的速度下拍摄的高速视频。本实施例的帧画面集合是高速视频所有帧画面的集合，例如，一个10秒的高速视频，帧画面集合包括300*10＝3000帧画面，每个帧画面就是一个清晰的图片。

从帧画面集合中选择连续的多帧清晰图片，该连续的多帧清晰图片可以是在几百毫秒内拍摄得到的图片，几百毫秒内拍摄得到的图片也可以包括几十到几百张清晰图片，可以对这些清晰图片进行合成得到样本图片，也可以对这些清晰图片中的部分图片进行合成得到样本图片。

本实施例中，对多帧清晰图片进行合并处理，得到样本图片包括：从多帧清晰图片中随机选择部分图片；对所述部分图片分别针对每个通道进行先求和再取平均的处理，得到一张模糊的图片；将一张模糊的图片作为样本图片。

从连续的多帧清晰图片中随机选择部分进行合成，具体方式是对几帧图片进行求和取平均的方法得到模糊图片。在求和时可以对图片的每个通道的数据分别进行求和，然后分别对每个通道的数据进行求平均的处理，求平均后得到的数据可以表示一个生成的模糊图片，即样本图片。

随机选择的部分图片可以生成多个模糊图片作为样本图片。

本实施例中，由于用于训练清晰化处理模型的样本图片是根据真实拍摄的图片合成的，可以表示真实场景下模糊照片的特征，利用这些样本图片对神经网络模型进行训练得到的清晰化处理模型，可以对模糊图片进行去模糊处理，得到清晰的图片。相比利用卷积核等计算方式来生成模糊图片的方式，避免了生成模糊图片过程中先验假设与真实情况的差距，也就避免了相关技术中生成的模糊图片训练出的清晰化处理模型无法实现去模糊的技术问题，达到了对模糊图片进行去模糊得到清晰图片的技术效果。

本实施例中，在获取利用多个维度的样本图片对神经网络模型进行训练得到的清晰化处理模型之前，所述方法还包括如下步骤：

将当前维度初始化为叠加图片的第一图片的维度，将当前模型初始化为所述神经网络模型，将中间图片初始化为所述第一图片，所述第一图片是通过对所述叠加图片进行降采样处理后得到的模糊图片：

从所述叠加图片中获取维度为所述当前维度的第一图片；

基于所述当前模型对维度为所述当前维度的所述第一图片和所述中间图片进行去模糊处理，得到第二图片，其中，所述第二图片为与所述第一图片关联的清晰图片；

对所述第二图片进行放大处理，得到第三图片；

采用所述第三图片对所述当前模型进行训练，得到更新后的清晰化处理模型；

将所述当前维度进行提升处理，并重复执行上述步骤，直到中间图片的维度与所述叠加图片的维度相同。

本实施例采用迭代深度神经网络模型来训练清晰化处理模型。利用图片不同维度的图片进行训练。维度可以理解为图片的分辨率。在训练进行图片去模糊的清晰化处理模型的过程中，采用从粗维度到细维度迭代的顺序。在最粗的维度，图片认为是比较清晰的，本实施例以此作为出发点，优化出当前维度的清晰图片并上采样此清晰图片作为下一维度的输入来估计出下一维度的清晰图片，直到输出图片的维度与原始图片维度相同。其中当前维度模糊图片为原始模糊图片降采样到当前维度大小。通过向待训练的模型输入当前维度模糊图片和放大的上一维度清晰图片优化得到当前维度的清晰图片进行训练，以此作为迭代目标最终优化出原来维度的清晰图片。

因此，去模糊分解为：输入当前维度的模糊图片和初步去模糊图片，估计出当前维度下的清晰图片。其清晰化处理模型如下：

iⁱ,hⁱ＝netsr(bⁱ,i^i+1↑,h^i+1↑；θsr)

其中i代表当前维度(1代表最细的维度)；bⁱ代表维度i下的模糊图片；iⁱ代表维度i下输出的清晰图片；hⁱ代表维度i下的隐藏状态特征其中隐含估计了每个位置的卷积核信息；netsr是迭代神经网络。

本实施例中，对于维度i，给定当前维度的模糊图片bⁱ和上采样上一维度的清晰图片和隐藏状态作为神经网络的输入，输出当前维度的清晰图片和隐藏状态。并以此从粗维度到细维度不断估计出清晰图片直到得到与样本图片相同维度的清晰图片。

神经网络中的隐藏状态有几种不同选择，包括循环神经网络(rnn)，长短期记忆网络(lstm)，门控制循环单元(gru)。本实施例可以采用(lstm)作为表示隐藏层信息的方式。对于如何从维度i+1估计出的清晰图片放大(即上采样上一维度的清晰图片)作为下一维度的输入，同样也有几种不同的选项，包括反卷积，缩放。基于效率和速度的考量，本实施例可以选择双线性插值缩放的方法。

例如：样本图片的维度为256*256，即水平方向和竖直方向各有256个像素，当前维度为第一图片的维度，该第一图片的维度为64*64，第一图片为从样本图片降采样得到。降采样的方式可以是间隔采样，在样本图片减少采样点(例如间隔几个点进行采样)。样本图片是模糊图片，降采样后得到的第一图片也是模糊图片，步骤如下：

1、将作为样本图片的第一图片和作为中间图片的第一图片输入到神经网络模型中进行训练，输出初步去模糊处理得到的第二图片，第二图片的维度为64*64，此时神经网络模型经过训练后更新为第一模型；第一图片为粗维度的图片，第一图片和中间图片作为神经网络模型的输入图片，输出同样为粗维度的第二图片，第二图片作为神经网络模型的输出图片。其中，第一模型和第二模型的网络结构相同，第一模型和第二模型的参数不同。

2、对第二图片进行放大处理，得到维度为128*128的第三图片。放大处理可以采样插值上采样；

3、对样本图片进行降采样，得到维度为128*128的第四图片。

4、将作为样本图片的第四图片和作为中间图片的第三图片输入到第一模型中进行训练，输出经过去模糊处理得到的第五图片，第五图片比第四图片更清晰，第五图片的维度为128*128，此时第一模型经过训练后更新为第二模型；第三图片和第四图片为中维度的图片，第三图片和第四图片作为第一模型的输入图片，输出同样为中维度的第五图片，第五图片为第一模型的输出图片。其中，第二模型和第一模型的网络结构相同，第二模型和第一模型的参数不同。

5、对第五图片进行放大处理，得到维度为256*256的第六图片。放大处理可以采样插值上采样；

6、对样本图片和第六图片输入到第二模型中进行训练，输出经过去模糊处理得到的第七图片，此时第二模型经过训练后更新为第三模型。第七图片的维度与样本图片的维度相同。将样本图片更新为新的图片，继续利用更新后的样本图片进行训练，直到训练集中的所有图片都完成训练。在训练集中的所有图片都完成训练后得到的模型作为清晰化处理模型。其中，第六图片和第七图片为细维度的图片，第六图片和第七图片作为第二模型的输入图片，输出同样为细维度的图片，输出的图片的维度与样本图片的维度相同。

需要说明的是，实际训练的过程中，可以采用不同的倍数关系。本实施例的样本图片的维度可以更大，例如1024*1024，从样本图片上取出一部分图片对神经网络模型进行训练，可以节约训练模型所需的内存空间。

可选地，当前模型包括编解码网络，编解码网络包括编码网络和解码网络，使用当前模型对维度为当前维度的第一图片和中间图片进行去模糊处理，得到第二图片包括：使用编码网络对第一图片和中间图片进行编码处理，得到第一结果，其中，编码网络的两层卷积还包括残差单元，残差单元用于将两层卷积计算之前的数据添加到两层卷积计算之后的数据中；使用解码网络对编码网络输出的第一结果进行解码处理，得到第二图片，其中，解码网络的两层卷积包括残差单元。

当前模型包括多个编解码网络，每个编解码网络可以对一个图片进行去模糊处理，编码网络和解码网络中的每两层卷积包括残差单元。本实施例将编解码网络中降维卷积或者升维卷积层之后的非线性卷积替换为残差单元，保证编码网络和解码网络中每个空间维度下的残差单元数目一致。残差单元可以计算编解码网络中一个块的输出和输入的差值，使得计算量变小，更容易学习，优化网络的学习能力。再通过跳跃连接编码网络和解码网络对应的特征可以进一步优化网络的学习能力。

编码网络可以对模糊图片进行编码处理，并将编码处理后的第一结果输出给解码网络，由解码网络进行处理，以输出清晰的图片，编码和解码的过程实现了去模糊处理。

本实施例提供的当前模型的编解码网络的结构，可以分解为三个模块，分别为编码网络nete，隐藏层单元convlstm，解码网络netd，依次采用以下公式表示：

fⁱ＝nete(bⁱ,i^i+1↑；θe)

hⁱ,gⁱ＝convlstm(h^i+1↑,fⁱ；θlstm)

iⁱ＝netd(gⁱ；θd)

其中，f表示第i个维度的编码特征，bⁱ为第i个维度下的模糊图片，iⁱ⁺¹为第i个维度的上一个维度输出的清晰图片的放大图，hⁱ表示第i个维度的隐藏信息，hⁱ⁺¹表示第i个维度的上一个维度的隐藏信息，gⁱ表示对f优化后的结果，其中，编码网络和解码网络都包含了残差单元来增加网络学习能力。在同一空间维度中，可以加入三个残差单元来平衡去模糊效果和计算代价。

假如样本图片的维度为1000*2000，即水平方向上有1000个像素，竖直方向有2000个像素，当前维度为第一图片的维度，该第一图片的维度为250*500，第一图片为从样本图片降采样得到。降采样的方式可以是间隔采样，在样本图片减少采样点。样本图片是模糊图片，降采样后得到的第一图片也是模糊图片，步骤如下：

1、将作为样本图片的第一图片和作为中间图片的第一图片作为输入b3输入到神经网络模型中进行训练，输出初步去模糊处理得到的第二图片i3，第二图片的维度为250*500，此时神经网络模型经过训练后更新为第一模型；

2、对第二图片进行放大处理，得到维度为500*1000的第三图片。放大处理可以采样插值上采样；

3、对样本图片进行降采样，得到维度为500*1000的第四图片。

4、将作为样本图片的第四图片和作为中间图片的第三图片作为输入b2输入到第一模型中进行训练，输出经过去模糊处理得到的第五图片i2，第五图片比第四图片更清晰，第五图片的维度为500*1000，此时第一模型经过训练后更新为第二模型；

5、对第五图片进行放大处理，得到维度为1000*2000的第六图片。放大处理可以采样插值上采样；

6、对样本图片和第六图片作为输入b1输入到第二模型中进行训练，输出经过去模糊处理得到的第七图片i1，此时第二模型经过训练后更新为第三模型。第七图片的维度与样本图片的维度相同，结束训练。

本实施例中，通过深度迭代神经网络模型对神经网络模型进行训练得到清晰化处理模型，在训练过程中，将上一个维度得到的清晰图片放大后作为当前维度的输入，结合当前维度的模糊图片进行训练，以得到清晰化处理模型，利用清晰化处理模型将模糊图片去模糊处理得到清晰图片。

可选地，使用当前模型对维度为当前维度的第一图片和中间图片进行去模糊处理，得到第二图片包括：获取不同维度的图片的固有信息，其中，固有信息通过当前模型中的递归神经网络在处理不同维度的编解码网络之间传输；使用编解码网络、结合固有信息对维度为当前维度的第一图片和中间图片进行去模糊处理，得到第二图片。

本实施例需要在不同维度之间传递关于模糊的隐藏信息，编解码网络内部需要添加相应处理迭代信息的模块。优选地，可以在解码网络中间位置添加了长短期记忆网络，使得此模块可以在不同维度中间传递的隐藏信息。隐藏信息可以是不同维度的图片之间的共同信息，比如不同维度的图片的结构等信息。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。