一种提高图像清晰度的方法、装置及介质与流程

本文涉及图像处理技术领域，尤其涉及一种提高图像清晰度的方法、装置及介质。

背景技术：

用户使用智能终端进行拍照时，由于拍摄条件的限制，经常会出现拍摄到的图像中经常出现人像模糊的情况。例如镜头失焦和拍摄距离太远等原因，都会导致拍摄出的图像中的人物呈像模糊。在多人合影的场景下，镜头失焦造成人像模糊的情况经常出现，因为镜头只对焦在一个人物上，其它的人物的呈像就会出现模糊。

如何提高人脸图像的清晰度是需要解决的问题。

技术实现要素：

为克服相关技术中存在的问题，本文提供了一种提高图像清晰度的方法、装置及介质。

根据本文实施例的第一方面，提供一种提高图像清晰度的方法，包括：

对深度卷积对抗生成网络中的生成网络进行训练时，使用模糊程度计算网络计算输入图像的模糊程度信息；

根据所述模糊程度信息进行多个仿射变换后获得多个特征分量；

确定每个特征分量对应的目标反卷积层；

对所述输入图像的卷积结果进行反卷积处理时，对于每个目标反卷积层，使用与所述目标反卷积层对应的特征分量对所述目标反卷积层输出的特征图进行渲染处理。

在一实施方式中，所述模糊程度计算网络是由一个以上全连接层依次连接而成的。

在一实施方式中，所述使用与所述目标反卷积层对应的特征分量对所述目标反卷积层的输出的特征图进行渲染处理，包括：

采用自适应实例规范化方式，使用与所述目标反卷积层对应的特征分量对所述目标反卷积层输出的特征图进行渲染处理。

在一实施方式中，所述采用自适应实例规范化方式，使用与所述目标反卷积层对应的特征分量对所述目标反卷积层输出的特征图进行渲染处理,包括：

采用以下公式对所述目标反卷积层输出的特征图进行渲染处理：

其中，ad(dci,wi)是指渲染处理后的结果，dci是指第i个目标反卷积层输出的特征图，wi是第i个目标反卷积层对应的特征分量，wsi是指第i个目标反卷积层对应的特征分量的偏置分量，wbi是指第i个目标反卷积层对应的特征分量的伸缩分量，mean(dci)是指第i个目标反卷积层输出的特征图的均值，var(dci)是指第i个目标反卷积层输出的特征图的方差，其中i是大于0且小于或等于目标反卷积层个数的整数。

在一实施方式中，所述使用与所述目标反卷积层对应的特征分量对所述目标反卷积层输出的特征图进行渲染处理，之前，还包括：

所述目标反卷积层是第一个反卷积层时，根据与最后一个卷积层连接的瓶颈层的输出和最后一个卷积层的输出结果，进行第一反卷积处理，输出特征图；

所述目标反卷积层不是第一个反卷积层时，根据所述目标反卷积层的上一反卷积层的输出结果，和与所述目标反卷积层对应的目标卷积层的输出结果，进行反卷积处理，输出特征图。

根据本文实施例的第二方面，提供一种提高图像清晰度的装置，包括：

计算模块，被配置为对深度卷积对抗生成网络中的生成网络进行训练时，使用模糊程度计算网络计算输入图像的模糊程度信息；

变换模块，被配置为根据所述模糊程度信息进行多个仿射变换后获得多个特征分量；

确定模块，被配置为确定每个特征分量对应的目标反卷积层；

反卷积处理模块，被配置为对所述输入图像的卷积结果进行反卷积处理时，对于每个目标反卷积层，使用与所述目标反卷积层对应的特征分量对所述目标反卷积层输出的特征图进行渲染处理。

在一实施方式中，所述模糊程度计算网络是由一个以上全连接层依次连接而成的。

在一实施方式中，所述反卷积处理模块，被配置为利用以下方法使用与所述目标反卷积层对应的特征分量对所述目标反卷积层的输出的特征图进行渲染处理：

采用自适应实例规范化方式，使用与所述目标反卷积层对应的特征分量对所述目标反卷积层输出的特征图进行渲染处理。

在一实施方式中，所述反卷积处理模块，还被配置利用以下方法采用自适应实例规范化方式，使用与所述目标反卷积层对应的特征分量对所述目标反卷积层输出的特征图进行渲染处理：

采用以下公式对所述目标反卷积层输出的特征图进行渲染处理：

其中，ad(dci,wi)是指渲染处理后的结果，dci是指第i个目标反卷积层输出的特征图，wi是第i个目标反卷积层对应的特征分量，wsi是指第i个目标反卷积层对应的特征分量的偏置分量，wbi是指第i个目标反卷积层对应的特征分量的伸缩分量，mean(dci)是指第i个目标反卷积层输出的特征图的均值，var(dci)是指第i个目标反卷积层输出的特征图的方差，其中i是大于0且小于或等于目标反卷积层个数的整数。

在一实施方式中，所述反卷积处理模块，还被配置为执行以下处理：

在所述目标反卷积层是第一个反卷积层时，根据与最后一个卷积层连接的瓶颈层的输出和最后一个卷积层的输出结果，进行第一反卷积处理，输出特征图；

在所述目标反卷积层不是第一个反卷积层时，根据所述目标反卷积层的上一反卷积层的输出结果，和与所述目标反卷积层对应的目标卷积层的输出结果，进行反卷积处理，输出特征图。

根据本文实施例的第三方面，提供一种提高图像清晰度的装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述方法。

根据本文实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行上述方法。

本文的实施例提供的技术方案可以包括以下有益效果：对深度卷积对抗生成网络中的生成网络进行训练时，计算输入图像的模糊程度信息，根据输入图像的模糊程度信息确定多个特征分量，在不同的目标反卷积层使用不同的特征分量进行特征图的渲染，从而在整个训练过程，引入表征输入图像的新的表征参数即模糊程度参数，为网络训练增加了新的训练参考标的，对于不同模糊程度的输入图像进行不同的处理，从而可以实现自适应的人脸去模糊过程，提高图像处理效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本文。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本文的实施例，并与说明书一起用于解释本文的原理。

图1是根据一示例性实施例示出的一种提高图像清晰度的方法的流程图；

图2是根据一示例性实施例示出的一个生成网络的功能示意图；

图3是根据一示例性实施例示出的一个生成网络的功能示意图；

图4是根据一示例性实施例示出的一种提高图像清晰度的装置的结构图；

图5是根据一示例性实施例示出的一种提高图像清晰度的装置的结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本文相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本文的一些方面相一致的装置和方法的例子。

本公开实施例中提供一种提高图像清晰度的方法。参照图1，图1是根据一示例性实施例示出的一种提高图像清晰度的方法的流程图。如图1所示，此方法包括：

步骤s11，对深度卷积对抗生成网络中的生成网络进行训练时，使用模糊程度计算网络计算输入图像的模糊程度信息。

步骤s12，根据所述模糊程度信息进行多个仿射变换后获得多个特征分量。

步骤s13，确定每个特征分量对应的目标反卷积层。

步骤s14，对所述输入图像的卷积结果进行反卷积处理时，对于每个目标反卷积层，使用与所述目标反卷积层对应的特征分量对所述目标反卷积层输出的特征图进行渲染处理。

深度卷积对抗生成网络(deepconvolutionalgenerativeadversarialnetworks，dcgan)是卷积神经网络和对抗网络的结合，包括生成网络和判别网络。生成网络包括多个依次连接的卷积层、瓶颈层以及多个依次连接的反卷积层。生成模型和判别模型之间互相博弈学习，使生成对抗网络完成学习过程。

仿射变换，是指在几何中，一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间。

例如：模糊程度信息用v来表示，对v经过n个仿射变换后，分别以w_i(i＝1,2,…,n)表示，其中，w_i＝a_i*v+b_i，a_i是指第i个仿射变换中的比例系数，a_i是指第i个仿射变换中的偏移系数。

在一实施方式中，模糊程度计算网络是由一个以上全连接层依次连接而成的。全连接层的个数是设定数量，例如此设定数量是3至8中任一数值。

在一实施方式中，目标反卷积层的数量是生成网络中所有反卷积层的数量，即生成网络中所有反卷积层都是目标反卷积层。或者，目标反卷积层的数量小于生成网络中所有反卷积层的数量，即生成网络中部分反卷积层是目标反卷积层，举例如下：生成网络包括依次连接的5个反卷积层，其中连续的多个目标反卷积层是目标反卷积层，例如第1、2、3、4个反卷积层是目标反卷积层，或者，其中不连续的多个目标反卷积层是目标反卷积层，例如第1、3、4个反卷积层是目标反卷积层。

在一实施方式中，此方法还包括构建用于对深度卷积对抗生成网络中的生成网络进行训练的多个样本对，每个样本对中包括一个清晰图像和一个模糊图像，模糊图像是在清晰图像上增加人工噪声后进行人工模糊处理获得的，或者模糊图像是对清晰图像进行人工模糊处理后增加人工噪声获得的。

本实施例中，对深度卷积对抗生成网络中的生成网络进行训练时，计算输入图像的模糊程度信息，根据输入图像的模糊程度信息确定多个特征分量，在不同的目标反卷积层使用不同的特征分量进行特征图的渲染，从而在整个训练过程，引入表征输入图像的新的表征参数即模糊程度参数，为网络训练增加了新的训练参考标的，对于不同模糊程度的输入图像进行不同的处理，从而可以实现自适应的人脸去模糊过程，提高图像处理效果。

下面通过一个具体的示例进行说明。

如图2所示，生成网络包括2个卷积层和2个反卷积层。卷积层的处理相当于编码过程，反卷积层的处理相当于解码过程。在训练过程中，将样本人脸图像x输入至第一个卷积层，依次经过所有卷积层的处理以及瓶颈层的处理后，图像的空间分辨率逐渐变小，在瓶颈层输出处达到最小分辨率。并且，使用模糊程度计算网络计算样本人脸图像x的模糊程度信息，根据所述模糊程度信息进行2个仿射变换后获得2个特征分量。图2中的a表示仿射变换。每个特征分量对应一个反卷积层。将瓶颈层的输出经过所有反卷积层的处理后，图像的空间分辨率逐渐变大，最终得到图像y。进行反卷积处理时，对于每个反卷积层，使用与反卷积层对应的特征分量对反卷积层输出的特征图进行渲染处理，最终获得图像y，图像y相比于样本人脸图像x具有去模糊的处理效果。

本公开实施例中提供一种提高图像清晰度的方法，此方法包括图1所示方法，并且：步骤s14中使用与所述目标反卷积层对应的特征分量对所述目标反卷积层的输出的特征图进行渲染处理，包括：

采用自适应实例规范化(adaptiveinstancenormalization，adain)方式，使用与所述目标反卷积层对应的特征分量对所述目标反卷积层输出的特征图进行渲染处理。

在一实施方式中，所述采用自适应实例规范化方式，使用与所述目标反卷积层对应的特征分量对所述目标反卷积层输出的特征图进行渲染处理,包括：

采用以下公式(1)对所述目标反卷积层输出的特征图进行渲染处理：

其中，ad(dci,wi)是指渲染处理后的结果，dci是指第i个目标反卷积层输出的特征图，wi是第i个目标反卷积层对应的特征分量，wsi是指第i个目标反卷积层对应的特征分量的偏置分量，wbi是指第i个目标反卷积层对应的特征分量的伸缩分量，mean(dci)是指第i个目标反卷积层输出的特征图的均值，var(dci)是指第i个目标反卷积层输出的特征图的方差，其中i是大于0且小于或等于目标反卷积层个数的整数。

本公开实施例中提供一种提高图像清晰度的方法，此方法包括图1所示方法，并且：步骤s14中使用与所述目标反卷积层对应的特征分量对所述目标反卷积层输出的特征图进行渲染处理，之前，还包括：

所述目标反卷积层是第一个反卷积层时，根据与最后一个卷积层连接的瓶颈层的输出和最后一个卷积层的输出结果，进行第一反卷积处理，输出特征图；

所述目标反卷积层不是第一个反卷积层时，根据所述目标反卷积层的上一反卷积层的输出结果，和与所述目标反卷积层对应的目标卷积层的输出结果，进行反卷积处理，输出特征图。

例如：生成网络中包括4个卷积层，此4个卷积层的结构中按数据传输方向包括依次连接的第1卷积层、第2卷积层、第3卷积层和第4卷积层。生成网络中包括4个反卷积层，此4个反卷积层的结构中按数据传输方向包括依次连接的第1反卷积层、第2反卷积层、第3反卷积层和第4反卷积层。

生成网络中反卷积层与卷积层的对应关系为，第1反卷积层对应于第4卷积层，第2反卷积层对应于第3卷积层，第3反卷积层对应于第2卷积层，第4反卷积层对应于第1卷积层。

本实施例中增加了从卷积层至反卷积层的跳连接，此跳连接将卷积层以叠拼(concat)函数方式与反卷积层相连接，使卷积层的特征图可以直接输入至反卷积层，提高了信息流动效率，提高去模糊处理的效果。

下面通过一个具体的示例进行说明。

如图3所示，生成网络在图2所示的基础上，增加了第1卷积层至第2反卷积层的跳接，以及第2卷积层至第1反卷积层的跳接。从而在反卷积处理时，使用卷积层的特征图进行反卷积处理，并且使用特征分量对反卷积层输出的特征图进行渲染处理，可以进一步提高去模糊的处理效果。

本公开实施例中提供一种提高图像清晰度的装置。参照图4，图4是根据一示例性实施例示出的一种提高图像清晰度的装置的结构图。如图4所示，此装置包括：

计算模块401，被配置为对深度卷积对抗生成网络中的生成网络进行训练时，使用模糊程度计算网络计算输入图像的模糊程度信息；

变换模块402，被配置为根据所述模糊程度信息进行多个仿射变换后获得多个特征分量；

确定模块403，被配置为确定每个特征分量对应的目标反卷积层；

反卷积处理模块404，被配置为对所述输入图像的卷积结果进行反卷积处理时，对于每个目标反卷积层，使用与所述目标反卷积层对应的特征分量对所述目标反卷积层输出的特征图进行渲染处理。

在一实施方式中，所述模糊程度计算网络是由一个以上全连接层依次连接而成的。

本公开实施例中提供一种提高图像清晰度的装置，此装置包括图4所示的装置，并且：

所述反卷积处理模块404，被配置为利用以下方法使用与所述目标反卷积层对应的特征分量对所述目标反卷积层的输出的特征图进行渲染处理：

采用自适应实例规范化方式，使用与所述目标反卷积层对应的特征分量对所述目标反卷积层输出的特征图进行渲染处理。

在一实施方式中，所述反卷积处理模块404，还被配置利用以下方法采用自适应实例规范化方式，使用与所述目标反卷积层对应的特征分量对所述目标反卷积层输出的特征图进行渲染处理：

采用以下公式对所述目标反卷积层输出的特征图进行渲染处理：

其中，ad(dci,wi)是指渲染处理后的结果，dci是指第i个目标反卷积层输出的特征图，wi是第i个目标反卷积层对应的特征分量，wsi是指第i个目标反卷积层对应的特征分量的偏置分量，wbi是指第i个目标反卷积层对应的特征分量的伸缩分量，mean(dci)是指第i个目标反卷积层输出的特征图的均值，var(dci)是指第i个目标反卷积层输出的特征图的方差，其中i是大于0且小于或等于目标反卷积层个数的整数。

本公开实施例中提供一种提高图像清晰度的装置，此装置包括图4所示的装置，并且：

所述反卷积处理模块404，还被配置为执行以下处理：

在所述目标反卷积层是第一个反卷积层时，根据与最后一个卷积层连接的瓶颈层的输出和最后一个卷积层的输出结果，进行第一反卷积处理，输出特征图；

在所述目标反卷积层不是第一个反卷积层时，根据所述目标反卷积层的上一反卷积层的输出结果，和与所述目标反卷积层对应的目标卷积层的输出结果，进行反卷积处理，输出特征图。

本公开实施例提供一种提高图像清晰度的装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述方法。

本公开实施例中提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行上述方法。

图5是根据一示例性实施例示出的一种提高图像清晰度的装置500的框图。例如，装置500可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图5，装置500可以包括以下一个或多个组件：处理组件502，存储器504，电源组件506，多媒体组件508，音频组件510，输入/输出(i/o)的接口512，传感器组件514，以及通信组件516。

处理组件502通常控制装置500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。

存储器504被配置为存储各种类型的数据以支持在设备500的操作。这些数据的示例包括用于在装置500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。

电源组件506为装置500的各种组件提供电力。电源组件506可以包括电源管理系统，一个或多个电源，及其他与为装置500生成、管理和分配电力相关联的组件。

多媒体组件508包括在所述装置500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括一个前置摄像头和/或后置摄像头。当设备500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(mic)，当装置500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。

i/o接口512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件514包括一个或多个传感器，用于为装置500提供各个方面的状态评估。例如，传感器组件514可以检测到设备500的打开/关闭状态，组件的相对定位，例如所述组件为装置500的显示器和小键盘，传感器组件514还可以检测装置500或装置500一个组件的位置改变，用户与装置500接触的存在或不存在，装置500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件516被配置为便于装置500和其他设备之间有线或无线方式的通信。装置500可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件516还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。

在示例性实施例中，装置500可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器504，上述指令可由装置500的处理器520执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本文的其它实施方案。本申请旨在涵盖本文的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本文的一般性原理并包括本文未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本文的真正范围和精神由下面的权利要求指出。

应当理解的是，本文并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本文的范围仅由所附的权利要求来限制。