图像的去噪方法、装置、电子设备和计算机可读介质与流程

本发明涉及图像处理的技术领域，尤其是涉及一种图像的去噪方法、装置、电子设备和计算机可读介质。

背景技术：

随着智能手机的发展，越来越多的照片被拍摄和传输，图像去噪技术因而也显的愈发重要。在过去主要是通过传统的图像处理方法进行去噪，如双边滤波、non-localmeans等。而近年来随着深度学习技术的兴起，基于深度学习方法的图形去噪效果已显著超越了传统方法。但是，在图像的噪声过于强烈时，深度学习图像去噪技术仍难以完全去除图像中噪声，并且在去噪的过程中易损失图像细节。

技术实现要素：

有鉴于此，本发明的目的在于提供一种图像的去噪方法、装置、电子设备和计算机可读介质，以缓解了在采用现有的图像去噪方法对图像进行去噪处理时，去噪效果较差的技术问题。

第一方面，本发明实施例提供了一种图像的去噪方法，包括：获取待处理图像；对所述待处理图像进行第一去噪处理，得到第一目标图像，其中，所述第一去噪处理表示去除所述待处理图像中的显著噪声；对所述第一目标图像进行人脸解析，得到人脸解析结果；利用所述人脸解析结果对所述第一目标图像对进行第二去噪处理，得到第二目标图像，并将所述第二目标图像确定为去噪之后的待处理图像。

进一步地，对所述待处理图像进行第一去噪处理，得到第一目标图像包括：利用粗去噪网络对所述待处理图像进行第一去噪处理，得到所述第一目标图像。

进一步地，所述粗去噪网络包括：unet网络。

进一步地，对所述第一目标图像进行人脸解析，得到人脸解析结果包括：利用深度学习语义分割网络对所述第一目标图像进行分割处理，得到至少一张人脸分割结果，并将所述至少一张人脸分割结果确定为所述人脸解析结果。

进一步地，所述深度学习语义分割网络为deeplab系列网络。

进一步地，对所述第一目标图像进行人脸解析，得到人脸解析结果包括：利用关键点提取网络对所述第一目标图像进行处理，得到人脸关键点；基于所述人脸关键点生成所述待处理图像的人脸关键点热力图，并将所述人脸关键点热力图确定为所述人脸解析结果。

进一步地，利用所述人脸解析结果对所述第一目标图像对进行第二去噪处理，得到第二目标图像包括：利用精细去噪网络对所述人脸解析结果和所述第一目标图像进行处理，输出得到所述第二目标图像。

进一步地，所述精细去噪网络包括：多层堆叠的残差网络。

第二方面，本发明实施例提供了一种图像的去噪装置，包括：获取单元，用于获取待处理图像；第一去噪单元，用于对所述待处理图像进行第一去噪处理，得到第一目标图像，其中，所述第一去噪处理表示去除所述待处理图像中的显著噪声；人脸解析单元，用于对所述第一目标图像进行人脸解析，得到人脸解析结果；第二去噪单元，用于利用所述人脸解析结果对所述第一目标图像对进行第二去噪处理，得到第二目标图像，并将所述第二目标图像确定为去噪之后的待处理图像。

第三方面，本发明实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，述处理器执行所述计算机程序时实现上述第一方面中任一项所述的方法的步骤。

第四方面，本发明实施例提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面中任一项所述的方法的步骤。

在本发明实施例中，首先，获取待处理图像；并对待处理图像进行第一去噪处理，得到第一目标图像；并对第一目标图像进行人脸解析，得到人脸解析结果；最后，利用人脸解析结果对第一目标图像进行第二去噪处理，得到第二目标图像，并将第二目标图像确定为去噪之后的待处理图像。在本实施例中，在利用人脸解析结果对第一目标图像进行去噪处理时，能够根据人脸解析结果对待处理图像中人脸组成部分进行保护，从而使得在执行去噪处理的过程中人脸组成部分不被去除，从而实现在去除强力噪声的同时，较好的保留原人脸细节，进而缓解了在采用现有的图像去噪方法对图像进行去噪处理时，去噪效果较差的技术问题。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种电子设备的结构示意图；

图2是根据本发明实施例的一种图像的去噪方法的流程图；

图3是根据本发明实施例的一种粗去噪网络的结构示意图；

图4是根据本发明实施例的一种人脸分割图像的示意图；

图5是根据本发明实施例的一种精细去噪网络的结构示意图；

图6是根据本发明实施例的一种待处理图像的示意图；

图7是根据本发明实施例的一种粗去噪网络的输出图像的示意图；

图8是根据本发明实施例的一种精细去噪网络的输出图像的示意图；

图9是根据本发明实施例的一种人脸关键点热力图的示意图；

图10是根据本发明实施例的一种图像的去噪装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

首先，参照图1来描述用于实现本发明实施例的电子设备100，该电子设备可以用于运行本发明各实施例的图像的去噪方法。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储器104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以采用数字信号处理器(dsp，digitalsignalprocessing)、现场可编程门阵列(fpga，field－programmablegatearray)、可编程逻辑阵列(pla，programmablelogicarray)和asic(applicationspecificintegratedcircuit)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(cpu，centralprocessingunit)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储器104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110用于进行采集待识别图像，其中，摄像机所采集的数据经过所述图像的去噪方法得到去噪之后的图像。

根据本发明实施例，提供了一种图像的去噪方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图2是根据本发明实施例的一种图像的去噪方法的流程图，如图2所示，该方法包括如下步骤：

步骤s202，获取待处理图像。

在本实施例中，待处理图像为包含人脸的图像，该待处理图像可以为移动终端的摄像装置采集到的图像，例如，智能手机的摄像装置采集到的图像。

步骤s204，对所述待处理图像进行第一去噪处理，得到第一目标图像，其中，所述第一去噪处理表示去除所述待处理图像中的显著噪声。

在本实施例中，在获取到待处理图像之后，可以去除待处理图像中的显著噪声，从而实现对待处理图像的第一去噪处理，得到第一目标图像。

需要说明的是，在本申请中，显著噪声为根据噪声在待处理图像中的显示程度确定出的。例如，将待处理图像中显示程度高于某个阈值的噪声确定为显著噪声。又例如，可以根据待处理图像中噪声的显示程度确定多个类型的图像噪声，例如，确定高斯噪声和椒盐噪声，然后将高斯噪声和椒盐噪声确定为显著噪声。

步骤s206，对所述第一目标图像进行人脸解析，得到人脸解析结果。

在本实施例中，在对待处理图像进行第一去噪处理得到第一目标图像之后，就可以对第一目标图像进行人脸解析，解析得到人脸解析结果。其中，人脸解析结果可以为人脸分割图，人脸分割结果图可以为如图4所示的结果图，还可以为人脸关键点热力图，人脸关键点热力图如图9所示，本申请对此不做具体限定。

需要说明的是，在本申请中，人脸关键点热力图为基于人脸关键点生成的热力图，例如，可以确定人脸关键点所围成的各个区域，然后，基于人脸关键点所围成的各个区域生成相应的热力图，从而得到如图9所示的人脸关键点热力图。

步骤s208，利用所述人脸解析结果对所述第一目标图像对进行第二去噪处理，得到第二目标图像，并将所述第二目标图像确定为去噪之后的待处理图像。

在本实施例中，在得到人脸解析结果之后，就可以利用人脸解析结果对第一目标图像进行第二去噪处理，得到第二目标图像。其中，精细去噪之后得到的第二目标图像记为去噪之后的待处理图像。采用上述去噪方式，不仅能够强力去除噪声，还能够较好的保留原人脸细节。

需要说明的是，在本申请中，对所述第一目标图像对进行第二去噪处理之后，可以去除第一目标图像中的精细噪声，其中，该精细噪声可以为待处理图像中除了显著噪声之外的其他噪声。该精细噪声还可以理解为：将待处理图像中显示程度小于某个阈值的噪声确定为精细噪声。

在本发明实施例中，首先，获取待处理图像；并对待处理图像进行第一去噪处理，得到第一目标图像；并对第一目标图像进行人脸解析，得到人脸解析结果；最后，利用人脸解析结果对第一目标图像对进行第二去噪处理，得到第二目标图像，并将第二目标图像确定为去噪之后的待处理图像。在本实施例中，在利用人脸解析结果对第一目标图像进行去噪处理时，能够根据人脸解析结果对待处理图像中人脸组成部分进行保护，从而使得在执行去噪处理的过程中人脸组成部分不被去除，从而实现在去除强力噪声的同时，较好的保留原人脸细节，进而缓解了在采用现有的图像去噪方法对图像进行去噪处理时，去噪效果较差的技术问题。

在本实施例中，可以通过一个去噪网络执行上述步骤s202至步骤s208所描述的方法。其中，该去噪网络包括：粗去噪网络、人像解析网络和精细去噪网络。此时，上述步骤s202至步骤s208所描述的方法可以描述为：

首先，获取待处理图像；并通过去噪网络对待处理图像进行第一去噪处理，得到第一目标图像；然后，通过人像解析网络对第一目标图像进行人脸解析，得到人脸解析结果；最后，精细去噪网络利用人脸解析结果对第一目标图像对进行第二去噪处理，得到第二目标图像，并将第二目标图像确定为去噪之后的待处理图像。下面将结合具体的实施方式介绍上述过程。

在一个可选的实施方式中，上述步骤s204对所述待处理图像进行第一去噪处理，得到第一目标图像可以描述为：

利用粗去噪网络对所述待处理图像进行第一去噪处理，得到所述第一目标图像。可选地，所述粗去噪网络包括：unet网络。

在本实施例中，粗去噪网络的目的是去除待处理图像中的显著噪声，其中，该粗去噪网络可以为unet结构。如图3所示的网络即为unet结构的网络。如图3所示，unet整个网络呈u形，代表图像信息的特征图，在网络中尺寸先逐步减少，然后逐步恢复到原尺寸。

unet结构会把特征图缩放到不同尺寸，从而拥有较大的感受野，可以有效的去除图中的显著噪声。

在本实施例中，在得到第一目标图像之后，就可以对第一目标图像进行人脸解析，得到人脸解析结果。在本实施例中，可以通过以下两种方式对第一目标图像进行人脸解析。

方式一：人脸解析结果为人脸分割图

利用深度学习语义分割网络对所述第一目标图像进行分割处理，得到至少一张人脸分割结果，并将所述至少一张人脸分割结果确定为所述人脸解析结果。

具体地，在本实施例中，人像解析实际上就是一个语义分割任务，所以可以使用深度学习语义分割网络(即，人像解析网络)来实现，比如空洞卷积deeplab系列网络。其中，deeplab系列网络包括：deeplabv1和deeplabv2，以及deeplabv2网络。deeplabv1是在vgg16的基础上进行了修改的网络，具体修改可以描述为：将深度卷积神经网络vgg16的全连接层转为卷积；将vgg16最后两个池化层去掉，后续使用空洞卷积。deeplabv2是在v1上进行改进的，具体修改可以描述为：在deeplabv2中使用多尺度模型以获得更好的分割效果(例如，使用了空间金字塔池化atousspatialpyramidpooling(aspp))；在deeplabv2中，基础层由vgg16转为resnet；deeplabv2使用不同的学习策略。

如图4所示的即为至少一张人脸分割结果，从图4中可以看出，至少一张人脸分割结果包括：人脸中眉毛的分割结果、眼睛的分割结果、鼻子的分割结果、嘴巴的分割结果、下巴的分割结果、头发的分割结果、脸部的整体分割结果。

需要说明的是，在本实施例中，可以首先将深度学习语义分割网络在人脸解析数据集上训练好；在训练去噪网络时，将此前训好的深度学习语义分割网络载入到去噪网络中，并在去噪网络训练过程中进行微调。

方式二：人脸解析结果为人脸关键点热力图

首先，利用关键点提取网络对所述第一目标图像进行处理，得到人脸关键点。

在本申请中，人脸关键点可以为人脸五官的关键点，例如，用于表征五官轮廓的关键点。例如，可以为每个眼睛轮廓的关键点，还可以为鼻子轮廓的关键点，还可以为每个眉毛轮廓的关键点，还可以为嘴巴轮廓的关键点，还可以为头发轮廓的关键点。

然后，基于所述人脸关键点生成所述待处理图像的人脸关键点热力图，并将所述人脸关键点热力图确定为所述人脸解析结果。

在本实施例中，可以利用关键点提取网络对第一目标图像进行处理，得到人脸关键点，之后，基于人脸关键点生成待处理图像的人脸关键点热力图。

需要说明的是，在本实施例中，可以首先将关键点提取网络在人脸解析数据集上训练好；在训练去噪网络时，将此前训好的关键点提取网络载入到去噪网络中，并在去噪网络训练过程中进行微调。

在本实施例中，在按照上述所描述的过程得到人脸解析结果和第一目标图像之后，就可以利用所述人脸解析结果对所述第一目标图像对进行第二去噪处理，得到第二目标图像，具体包括如下过程：

利用精细去噪网络对所述人脸解析结果和所述第一目标图像进行处理，输出得到所述第二目标图像，可选地，所述精细去噪网络包括：多层堆叠的残差网络。

具体地，在本实施例中，精细去噪网络使用粗去噪和人脸解析的结果(第一目标图像和人脸解析结果)作为输入，通过人脸解析结果对第一目标图像进行第二去噪处理，得到第二目标图像。其中，精细去噪网络的网络结构可以为多层堆叠的残差块。在本申请中，精细去噪网络可以为srresnet，edsr，wdsr等网络。例如，如图5所示的即为srresnet网络的网络结构。

在精细去噪网络中，特征图的尺寸始终保持不变，让精细去噪网络专注于对图像细节进行精细提升。

在本实施例中，采用结合人脸解析结果对第一目标图像进行去噪处理的方式，能够在去除强力噪声的同时，较好的保留原人脸细节，进而缓解了在采用现有的图像去噪方法对图像进行去噪处理时，去噪效果较差的技术问题。

下面结合图6至图9对上述图像的去噪方法进行介绍。在本申请中，首先获取待处理图像，其中，如图6所示的即为待处理图像的示意图。在获取到待处理图像之后，通过如图3所示的unet网络对待处理图像进行粗去噪处理，以去除待处理图像中的显著噪声，例如，去除待处理图像中的高斯噪声和椒盐噪声等在待处理图像中显示较为明显的噪声，如图7所示的即为粗去噪处理之后的图像(即，第一目标图像)。接下来，对如图7所示的图像进行人脸解析，得到人脸解析结果，其中，人脸解析结果可以为如图4所示的人脸分割结果，还可以为如图9所示的人脸关键点热力图。在得到人脸解析结果之后，就可以利用人脸解析结果对如图7所示的图像进行第二去噪处理(即，精细去噪处理)，得到如图8所示的精细去噪结果(即，第二目标图像)。

实施例3：

本发明实施例还提供了一种图像的去噪装置，该图像的去噪装置主要用于执行本发明实施例上述内容所提供的图像的去噪方法，以下对本发明实施例提供的图像的去噪装置做具体介绍。

图10是根据本发明实施例的一种图像的去噪装置的示意图，如图10所示，该图像的去噪装置主要包括获取单元10，第一去噪单元20，人脸解析单元30和第二去噪单元40，其中：

获取单元10，用于获取待处理图像；

第一去噪单元20，用于对所述待处理图像进行第一去噪处理，得到第一目标图像，其中，所述第一去噪处理表示去除所述待处理图像中的显著噪声；

人脸解析单元30，用于对所述第一目标图像进行人脸解析，得到人脸解析结果；

第二去噪单元40，用于利用所述人脸解析结果对所述第一目标图像对进行第二去噪处理，得到第二目标图像，并将所述第二目标图像确定为去噪之后的待处理图像。

在本发明实施例中，首先，获取待处理图像；并对待处理图像进行第一去噪处理，得到第一目标图像；并对第一目标图像进行人脸解析，得到人脸解析结果；最后，利用人脸解析结果对第一目标图像对进行第二去噪处理，得到第二目标图像，并将第二目标图像确定为去噪之后的待处理图像。在本实施例中，在利用人脸解析结果对第一目标图像进行去噪处理时，能够根据人脸解析结果对待处理图像中人脸组成部分进行保护，从而使得在执行去噪处理的过程中人脸组成部分不被去除，从而实现在去除强力噪声的同时，较好的保留原人脸细节，进而缓解了在采用现有的图像去噪方法对图像进行去噪处理时，去噪效果较差的技术问题。

可选地，第一去噪单元用于：利用粗去噪网络对所述待处理图像进行第一去噪处理，得到所述第一目标图像。

可选地，所述粗去噪网络包括：unet网络。

可选地，人脸解析单元用于：利用深度学习语义分割网络对所述第一目标图像进行分割处理，得到至少一张人脸分割结果，并将所述至少一张人脸分割结果确定为所述人脸解析结果。

可选地，所述深度学习语义分割网络为deeplab系列网络。

可选地，人脸解析单元还用于：利用关键点提取网络对所述第一目标图像进行处理，得到人脸关键点；基于所述人脸关键点生成所述待处理图像的人脸关键点热力图，并将所述人脸关键点热力图确定为所述人脸解析结果。

可选地，第二去噪单元用于：利用精细去噪网络对所述人脸解析结果和所述第一目标图像进行处理，输出得到所述第二目标图像。

可选地，所述精细去噪网络包括：多层堆叠的残差网络。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。