一种人脸图像处理方法、装置及电子设备的制造方法
【专利摘要】本发明提供一种人脸图像处理方法、装置及电子设备，涉及图像处理技术，用以能够根据低分辨率的人脸图像获得效果较好的高分辨率的人脸图像。本发明的人脸图像处理方法包括：获取待处理人脸图像；获取所述待处理人脸图像中的人脸特征部分图像；对所述人脸特征部分图像进行细节增强处理，获得所述人脸特征部分图像对应的细节图像；将所述待处理人脸图像和所述细节图像进行合成，获得目标人脸图像。本发明主要用于人脸图像处理技术中。
【专利说明】
一种人脸图像处理方法、装置及电子设备
技术领域
[0001]本发明涉及图像处理技术，尤其涉及一种人脸图像处理方法、装置及电子设备。
【背景技术】
[0002]现实生活中存在着大量的低分辨率人脸图像，如监控视频中的嫌疑人人脸图像、各种移动终端应用中的用户头像、影视剧中的演员人脸图像等等。
[0003]为了获得高分辨率的人脸图像，可以通过各种放大算法，如双线性插值、双三次插值，Lanczos，超分辨算法(super resolut1n)等对低分辨率人脸图像进行处理。但是，由于人脸结构性强以及现有的各种算法应用场景的限制，使得利用现有技术的人脸图像处理算法仍然无法从低清人脸图像获得图像效果较好的人脸图像。
【发明内容】
[0004]有鉴于此，本发明提供一种人脸图像处理方法、装置及电子设备，能够根据低分辨率的人脸图像获得效果较好的高分辨率的人脸图像。
[0005]为解决上述技术问题，本发明提供一种人脸图像处理方法，包括:
[0006]获取待处理人脸图像；
[0007]获取所述待处理人脸图像中的人脸特征部分图像；
[0008]对所述人脸特征部分图像进行细节增强处理，获得所述人脸特征部分图像对应的细节图像；
[0009]将所述待处理人脸图像和所述细节图像进行合成，获得目标人脸图像。
[0010]优选的，所述获取所述待处理人脸图像中的人脸特征部分图像，包括:
[0011]利用深度卷积神经网络解析所述待处理人脸图像，确定所述待处理人脸图像中各人脸特征部分所在区域；
[0012]对所述各人脸特征部分所在区域进行细分，确定所述各人脸特征部分所在的细分区域；
[0013]对所述各人脸特征部分所在的细分区域内的各像素进行标记，获取各人脸特征部分图像。
[0014]优选的，所述对所述人脸特征部分图像进行细节增强处理，获得所述人脸特征部分图像对应的细节图像，包括:
[0015]获取预先训练好的深度神经网络；
[0016]将所述各人脸特征部分图像输入到所述深度神经网络，经所述深度神经网络的第一层、中间层和输出层处理后，将所述深度神经网络的输出层输出的处理结果作为所述各人脸特征部分图像对应的细节图像。
[0017]优选的，在所述获取预先训练好的深度神经网络后，所述方法还包括:
[0018]利用噪声扰动信号对所述各人脸特征部分图像进行处理；
[0019]所述将所述各人脸特征部分图像输入到所述深度神经网络包括:
[0020]将经所述噪声扰动信号处理后的所述各人脸特征部分图像输入到所述深度神经网络。
[0021 ] 优选的，在经所述深度神经网络中间层处理进行处理时，包括:
[0022]在所述深度神经网络的中间层中利用损失函数对所述中间层的输入图像进行处理。
[0023]优选的，所述将所述待处理人脸图像和所述细节图像进行合成，获得目标人脸图像，包括:
[0024]将所述细节图像融合到所述待处理人脸图像中；
[0025]利用所述待处理人脸图像作为引导掩膜，并根据所述引导掩膜对所述待处理图像和所述细节图像的过渡区域进行平滑滤波，获得目标人脸图像。
[0026]第二方面，本发明提供一种人脸图像处理装置，包括:
[0027]第一获取单元，用于获取待处理人脸图像；
[0028]第二获取单元，用于获取所述待处理人脸图像中的人脸特征部分图像；
[0029]处理单元，用于对所述人脸特征部分图像进行细节增强处理，获得所述人脸特征部分图像对应的细节图像；
[0030]合成单元，用于将所述待处理人脸图像和所述细节图像进行合成，获得目标人脸图像。
[0031 ]优选的，所述第二获取单元包括:
[0032]第一确定模块，用于利用深度卷积神经网络解析所述待处理人脸图像，确定所述待处理人脸图像中各人脸特征部分所在区域；
[0033]第二确定模块，用于对所述各人脸特征部分所在区域进行细分，确定所述各人脸特征部分所在的细分区域；
[0034]标记模块，用于对所述各人脸特征部分所在的细分区域内的各像素进行标记，获取各人脸特征部分图像。
[0035]优选的，所述处理单元包括:
[0036]获取模块，用于获取预先训练好的深度神经网络；
[0037]处理模块，用于将所述各人脸特征部分图像输入到所述深度神经网络，经所述深度神经网络的第一层、中间层和输出层处理后，将所述深度神经网络的输出层输出的处理结果作为所述各人脸特征部分图像对应的细节图像。
[0038]优选的，所述处理单元还包括:
[0039]信号处理模块，用于利用噪声扰动信号对所述各人脸特征部分图像进行处理；
[0040]所述处理模块在将所述各人脸特征部分图像输入到所述深度神经网络时，具体用于将经所述噪声扰动信号处理后的所述各人脸特征部分图像输入到所述深度神经网络。
[0041]优选的，所述处理模块在经所述深度神经网络中间层处理进行处理时具体用于:在所述深度神经网络的中间层中利用损失函数对所述中间层的输入图像进行处理。
[0042]优选的，所述合成单元包括:
[0043]融合模块，用于将所述细节图像融合到所述待处理人脸图像中；
[0044]合成模块，用于利用所述待处理人脸图像作为引导掩膜，根据所述引导掩膜对所述待处理图像和所述细节图像的过渡区域进行平滑滤波，获得目标人脸图像。
[0045]第三方面，本发明提供了一种人脸图像处理装置，包括:
[0046]摄像头，用于获取待处理人脸图像；
[0047]处理器，用于获取所述待处理人脸图像中的人脸特征部分图像，对所述人脸特征部分图像进行细节增强处理，获得所述人脸特征部分图像对应的细节图像，将所述待处理人脸图像和所述细节图像进行合成，获得目标人脸图像。
[0048]其中，所述处理器在获取所述待处理人脸图像中的人脸特征部分图像时，具体用于:
[0049]利用深度卷积神经网络解析所述待处理人脸图像，确定所述待处理人脸图像中各人脸特征部分所在区域；
[0050]对所述各人脸特征部分所在区域进行细分，确定所述各人脸特征部分所在的细分区域；
[0051]对所述各人脸特征部分所在的细分区域内的各像素进行标记，获取各人脸特征部分图像。
[0052]其中，所述处理器在对所述人脸特征部分图像进行细节增强处理，获得所述人脸特征部分图像对应的细节图像时，具体用于:
[0053]获取预先训练好的深度神经网络；
[0054]将所述各人脸特征部分图像输入到所述深度神经网络，经所述深度神经网络的第一层、中间层和输出层处理后，将所述深度神经网络的输出层输出的处理结果作为所述各人脸特征部分图像对应的细节图像。
[0055]其中，所述处理器在对所述人脸特征部分图像进行细节增强处理，获得所述人脸特征部分图像对应的细节图像时，所述处理器还用于:
[0056]利用噪声扰动信号对所述各人脸特征部分图像进行处理；
[0057]将经所述噪声扰动信号处理后的所述各人脸特征部分图像输入到所述深度神经网络。
[0058]其中，所述处理器在经所述深度神经网络中间层处理进行处理时具体用于:在所述深度神经网络的中间层中利用损失函数对所述中间层的输入图像进行处理。
[0059]其中，所述处理器在将所述待处理人脸图像和所述细节图像进行合成，获得目标人脸图像时，具体用于:
[0060]将所述细节图像融合到所述待处理人脸图像中；
[0061]利用所述待处理人脸图像作为引导掩膜，根据所述引导掩膜对所述待处理图像和所述细节图像的过渡区域进行平滑滤波，获得目标人脸图像。
[0062]第四方面，本发明实施例还提供了一种电子设备，所述电子设备包括:壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行以下步骤:
[0063]获取待处理人脸图像；
[0064]获取所述待处理人脸图像中的人脸特征部分图像；
[0065]对所述人脸特征部分图像进行细节增强处理，获得所述人脸特征部分图像对应的细节图像；
[0066]将所述待处理人脸图像和所述细节图像进行合成，获得目标人脸图像。
[0067]本发明的上述技术方案的有益效果如下:
[0068]在本发明实施例中，获取待处理人脸图像的人脸特征部分图像，对其进行细节增强处理后获得人脸特征部分图像对应的细节图像，并对待处理人脸图像和所述细节图像进行合成，从而获得目标人脸图像。由于在对人脸图像的处理过程中对人脸特征部分进行了细节增强处理并获得了人脸细节图像，因此，利用本发明实施例获得的目标人脸图像中人脸部分更为清晰，从而使得目标人脸图像的效果更好。
【附图说明】
[0069]图1为本发明实施例一的人脸图像处理方法的流程图；
[0070]图2为本发明实施例二的人脸图像处理方法的流程图；
[0071]图3为本发明实施例二中获得的各人脸特征部分所在区域的示意图；
[0072]图4为本发明实施例二中，在获得各人脸特征部分所在区域(图3)的基础上继续进行细分得到人脸细节特征的示意图；
[0073]图5为本发明实施例二中，在获得精确定位的各个脸部器官位置(图4)的基础上对各个器官进彳丁像素精细提取的不意图；
[0074]图6为本发明实施例三的人脸图像处理装置的示意图；
[0075]图7为本发明实施例四的电子设备的示意图；
[0076]图8为本发明实施例五的人脸图像处理装置的示意图。
【具体实施方式】
[0077]下面将结合附图和实施例，对本发明的【具体实施方式】作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
[0078]如图1所示，本发明实施例一的人脸图像处理方法包括:
[0079]步骤11、获取待处理人脸图像。
[0080]在本发明实施例中，可首先利用摄像头拍摄一幅或者多幅人脸图像，将其中的任意一幅或者多幅作为在此的待处理人脸图像。例如，在此的待处理图像可以是某个停车场的监控摄像头拍摄的人脸图像等。
[0081]如【背景技术】所描述的，在此实施例中获得的待处理图像通常是像素分辨率较低的图像。
[0082]步骤12、获取所述待处理人脸图像中的人脸特征部分图像。
[0083]人脸包括多个部位，比如眼睛，鼻子，嘴部等。在此，将该多个部位称为人脸特征部分。为了获得分辨率较高的人脸图像，在此实施例中首先需要确定各人脸特征部分所对应的图像。
[0084]具体的，在此步骤中可首先利用深度卷积神经网络(Deep Convolut1nal NeuralNetwork，Deep CNN)解析所述待处理人脸图像，确定所述待处理人脸图像中各人脸特征部分所在区域。例如，将待处理图像作为深度卷积神经网络的输入，通过运行算法，确定出人脸的上部(眼睛所在的长条区域)、下部(嘴部区域)、中部(鼻子部分区域)。然后，再对所述各人脸特征部分所在区域进行细分，确定所述各人脸特征部分所在的细分区域。最后对所述各人脸特征部分所在的细分区域内的各像素进行标记，获取各人脸特征部分图像。
[0085]步骤13、对所述人脸特征部分图像进行细节增强处理，获得所述人脸特征部分图像对应的细节图像。
[0086]在此步骤中，首先获取预先训练好的深度神经网络，然后将所述各人脸特征部分图像输入到所述深度神经网络，经所述深度神经网络的第一层、中间层和输出层处理后，将所述深度神经网络的输出层输出的处理结果作为所述各人脸特征部分图像对应的细节图像。
[0087]步骤14、将所述待处理人脸图像和所述细节图像进行合成，获得目标人脸图像。
[0088]在此步骤中，将所述细节图像融合到所述待处理人脸图像中，然后利用所述待处理人脸图像作为引导掩膜，并根据所述引导掩膜对所述待处理图像和所述细节图像的过渡区域进行平滑滤波，获得目标人脸图像。
[0089]由上可以看出，在本发明实施例中，获取待处理人脸图像的人脸特征部分图像，对其进行细节增强处理后获得人脸特征部分图像对应的细节图像，并对待处理人脸图像和所述细节图像进行合成，从而获得目标人脸图像。由于在对人脸图像的处理过程中对人脸特征部分进行了细节增强处理并获得了人脸细节图像，因此，利用本发明实施例获得的目标人脸图像中人脸部分更为清晰，从而使得目标人脸图像的效果更好。
[0090]图2所示为本发明实施例二的人脸图像处理方法的流程图。在图2所示的实施例中，利用深度神经网络这一技术，在大量学习人脸细节样本的技术上，将输入的人的正脸图像(以下称为人脸图像)进行处理，进而获得脸部细节得到极大增加的脸部细节图像。最后，将脸部细节图像和人脸图像进行融合获得最终的人脸图像。由于在最终获得的人脸图像中增加了人脸细节，因此，按照该方法获得的人脸图像的分辨率高于初始获得的人脸图像。
[0091]如图2所示，本发明实施例二的人脸图像处理方法包括:
[0092]步骤21、获取待处理人脸图像。
[0093]其中，所述待处理人脸图像可以为通过摄像头、手机等拍摄的人脸图像。
[0094]步骤22、获取所述待处理人脸图像中的人脸特征部分图像。
[0095]如前所述，在此步骤中，所述人脸特征指的是人脸上的重要部位，如眼睛，鼻子，嘴巴。在此步骤中，可按照如下过程获得人脸特征图像。
[0096]步骤221、利用深度卷积神经网络解析所述待处理人脸图像，确定所述待处理人脸图像中各人脸特征部分所在区域。
[0097]在此步骤中，主要针对人脸图像中的上部(眼部区域)、中部(鼻子区域)、下部(嘴部区域)进行特征检测。
[0098]在待处理人脸图像图3的上部、中部、下部进行检测获得眼部区域、鼻子区域和嘴部区域。在利用深度卷积神经网络进行检测时，分类器可采用深度神经网络。
[0099]以检测嘴部区域为例，可采用一矩形滑动窗从所述图3所示的图像的中部向下部滑动。将滑动窗内的图像作为卷积神经网络的输入。当卷积神经网络的输出为I时，表示检测到嘴部区域；当卷积神经网络的输出为O时，表示未检测到嘴部区域。对图3所示的图片按照上述方式进行处理，获得图3对应眼部、鼻部和嘴部的检测窗口(图中眼部、鼻子、嘴部对应的矩形窗口)。
[0100]步骤222、对所述各人脸特征部分所在区域进行细分，确定所述各人脸特征部分所在的细分区域。
[0101 ]在步骤221的基础上对人脸图像进行精细检测，可精确定位人脸的特征部位，确定各人脸特征部分所在的细节区域。如图4所示在待处理图像上标识出了步骤221检测出的人脸特征部分所在区域。在步骤221已经检测出的眼部区域、鼻子区域和嘴部区域(即在图3的基础上)再次对眼睛、鼻子、嘴巴等特征部分进行检测，确定出各自对应的细分区域。
[0102]以检测嘴部区域为例，可采用一矩形滑动窗从所述图4所示的嘴部区域内滑动。其中，为了提高精确性，在本步骤中该矩形滑动窗的窗口大小小于步骤221中滑动窗的窗口大小。将滑动窗内的图像作为卷积神经网络的输入。当卷积神经网络的输出为I时，表示检测到嘴部；当卷积神经网络的输出为O时，表示未检测到嘴部。其中各特征部分所对应的细分区域如图4所示(眼部、鼻子、嘴部中对应的较小的矩形窗口)。
[0103]步骤223、对所述各人脸特征部分所在的细分区域内的各像素进行标记，获取各人脸特征部分图像。
[0104]在此步骤中，采用图像分割算法在各个细分区域内对各像素进行逐一标记。其中该图像分割算法可为GraphCut算法，gbtree算法等。最终获得的人脸特征部分图像如图5所不O
[0105]步骤23、对所述人脸特征部分图像进行细节增强处理，获得所述人脸特征部分图像对应的细节图像。
[0106]在此步骤中，主要是将检测出来的人脸细节部分(眼部、鼻部、嘴部)，输入一个训练好的深度神经网络，得到包括更多细节的各特征部分对应的图像。
[0107]具体的，在此可首先获取预先训练好的深度神经网络。在该深度神经网络中，将步骤223中获得的各人脸特征部分图像作为输入。根据现有技术可知，深度神经网络可以包括第一层、多个隐藏的中间层和输出层。那么，在此，将步骤223中获得的各人脸特征部分图像作为第一层的输入。然后，第一层的输出经各中间层处理后传输到输出层。最后再经输出层处理完成最终的图像输出。至此，可所述深度神经网络的输出层输出的处理结果作为所述各人脸特征部分图像对应的细节图像。
[0108]在上述过程中，为了在确保网络的鲁棒性的同时保证生成的细节图像不只是简单的重复，可在步骤223中获得的各人脸特征部分图像中增加噪声扰动信号，然后将增加了噪声扰动信号的各人脸特征部分图像输入到所述深度神经网络。
[0109]此外，为了使得抽取的人脸特征更加有利于不同器官细节之间的重建恢复以及使用一个网络即可满足对多种细节图像的恢复重建，在本发明实施例中，在卷积神经网络的中间层中增加一个监督信号。也即，在所述深度神经网络的中间层中利用损失函数对所述中间层的输入图像进行处理。然后，经该损失函数处理过的图像再作为各中间层的输出。
[0110]按照上述处理方式，对图5所示的图像进行处理，获得人脸各部位细节图像。
[0111]步骤24、将所述待处理人脸图像和所述细节图像进行合成，获得目标人脸图像。
[0112]在此步骤中，首先将所述细节图像融合到所述待处理人脸图像中。具体的，在此将重建恢复细节的人脸部分图像(眼部、鼻部、嘴部)取代原来的不清晰图像部分。对于初始的人脸图像，在增加完细节之后，在细节图像和初始图像的各个过渡区域可能会存在不自然的边界。因此，在本发明实施例中，可利用所述待处理人脸图像作为引导掩膜(GuidedMask)，并根据所述引导掩膜对所述待处理图像和所述细节图像的过渡区域进行平滑滤波，获得目标人脸图像，从而进一步的保证获得的人脸图像的效果。
[0113]由上可以看出，在本发明实施例中，获取待处理人脸图像的人脸特征部分图像，对其进行细节增强处理后获得人脸特征部分图像对应的细节图像，并对待处理人脸图像和所述细节图像进行合成，从而获得目标人脸图像。由于在对人脸图像的处理过程中对人脸特征部分进行了细节增强处理并获得了人脸细节图像，因此，利用本发明实施例获得的目标人脸图像中人脸部分更为清晰，从而使得目标人脸图像的效果更好。
[0114]如图6所示，本发明实施例三的人脸图像处理装置包括:
[0115]第一获取单元41，用于获取待处理人脸图像;第二获取单元42，用于获取所述待处理人脸图像中的人脸特征部分图像;处理单元43，用于对所述人脸特征部分图像进行细节增强处理，获得所述人脸特征部分图像对应的细节图像;合成单元44，用于将所述待处理人脸图像和所述细节图像进行合成，获得目标人脸图像。
[0116]其中，所述第二获取单元42可包括:第一确定模块，用于利用深度卷积神经网络解析所述待处理人脸图像，确定所述待处理人脸图像中各人脸特征部分所在区域;第二确定模块，用于对所述各人脸特征部分所在区域进行细分，确定所述各人脸特征部分所在的细分区域;标记模块，用于对所述各人脸特征部分所在的细分区域内的各像素进行标记，获取各人脸特征部分图像。
[0117]其中，所述处理单元43包括:获取模块，用于获取预先训练好的深度神经网络;处理模块，用于将所述各人脸特征部分图像输入到所述深度神经网络，经所述深度神经网络的第一层、中间层和输出层处理后，将所述深度神经网络的输出层输出的处理结果作为所述各人脸特征部分图像对应的细节图像。
[0118]为了在确保网络的鲁棒性的同时保证生成的细节图像不只是简单的重复，所述处理单元43还包括:信号处理模块，用于利用噪声扰动信号对所述各人脸特征部分图像进行处理。此时，所述处理模块在将所述各人脸特征部分图像输入到所述深度神经网络时，具体用于将经所述噪声扰动信号处理后的所述各人脸特征部分图像输入到所述深度神经网络。
[0119]在上述过程中，所述处理模块在经所述深度神经网络中间层处理进行处理时具体用于:在所述深度神经网络的中间层中利用损失函数对所述中间层的输入图像进行处理。
[0120]其中，所述合成单元44可包括:融合模块，用于将所述细节图像融合到所述待处理人脸图像中；合成模块，用于利用所述待处理人脸图像作为引导掩膜，根据所述引导掩膜对所述待处理图像和所述细节图像的过渡区域进行平滑滤波，获得目标人脸图像。
[0121]本发明所述装置的工作原理可参照前述方法实施例的描述。
[0122]由上可以看出，在本发明实施例中，获取待处理人脸图像的人脸特征部分图像，对其进行细节增强处理后获得人脸特征部分图像对应的细节图像，并对待处理人脸图像和所述细节图像进行合成，从而获得目标人脸图像。由于在对人脸图像的处理过程中对人脸特征部分进行了细节增强处理并获得了人脸细节图像，因此，利用本发明实施例获得的目标人脸图像中人脸部分更为清晰，从而使得目标人脸图像的效果更好。
[0123]本发明实施例四还提供了一种电子设备，可以实现本发明图1-2所示实施例的流程。如图7所示，上述电子设备可以包括:壳体61、处理器62、存储器63、电路板64和电源电路65，其中，电路板64安置在壳体61围成的空间内部，处理器62和存储器63设置在电路板64上；电源电路65，用于为上述电子设备的各个电路或器件供电；存储器63用于存储可执行程序代码;处理器62通过读取存储器63中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行以下步骤:
[0124]获取待处理人脸图像;获取所述待处理人脸图像中的人脸特征部分图像;对所述人脸特征部分图像进行细节增强处理，获得所述人脸特征部分图像对应的细节图像;将所述待处理人脸图像和所述细节图像进行合成，获得目标人脸图像。
[0125]由上可以看出，在本发明实施例中，获取待处理人脸图像的人脸特征部分图像，对其进行细节增强处理后获得人脸特征部分图像对应的细节图像，并对待处理人脸图像和所述细节图像进行合成，从而获得目标人脸图像。由于在对人脸图像的处理过程中对人脸特征部分进行了细节增强处理并获得了人脸细节图像，因此，利用本发明实施例获得的目标人脸图像中人脸部分更为清晰，从而使得目标人脸图像的效果更好。
[0126]如图8所示，本发明实施例五的一种人脸图像处理装置，包括:
[0127]摄像头71，用于获取待处理人脸图像；
[0128]处理器72，用于获取所述待处理人脸图像中的人脸特征部分图像，对所述人脸特征部分图像进行细节增强处理，获得所述人脸特征部分图像对应的细节图像，将所述待处理人脸图像和所述细节图像进行合成，获得目标人脸图像。
[0129]在具体应用中，所述处理器72在获取所述待处理人脸图像中的人脸特征部分图像时，具体用于:利用深度卷积神经网络解析所述待处理人脸图像，确定所述待处理人脸图像中各人脸特征部分所在区域;对所述各人脸特征部分所在区域进行细分，确定所述各人脸特征部分所在的细分区域;对所述各人脸特征部分所在的细分区域内的各像素进行标记，获取各人脸特征部分图像。
[0130]在具体应用中，所述处理器72在对所述人脸特征部分图像进行细节增强处理，获得所述人脸特征部分图像对应的细节图像时，具体用于:获取预先训练好的深度神经网络；将所述各人脸特征部分图像输入到所述深度神经网络，经所述深度神经网络的第一层、中间层和输出层处理后，将所述深度神经网络的输出层输出的处理结果作为所述各人脸特征部分图像对应的细节图像。
[0131]在具体应用中，所述处理器72在对所述人脸特征部分图像进行细节增强处理，获得所述人脸特征部分图像对应的细节图像时，所述处理器还用于:
[0132]利用噪声扰动信号对所述各人脸特征部分图像进行处理;将经所述噪声扰动信号处理后的所述各人脸特征部分图像输入到所述深度神经网络。
[0133]在具体应用中，所述处理器72在经所述深度神经网络中间层处理进行处理时具体用于:在所述深度神经网络的中间层中利用损失函数对所述中间层的输入图像进行处理。
[0134]在具体应用中，所述处理器72在将所述待处理人脸图像和所述细节图像进行合成，获得目标人脸图像时，具体用于:
[0135]将所述细节图像融合到所述待处理人脸图像中；利用所述待处理人脸图像作为引导掩膜，根据所述引导掩膜对所述待处理图像和所述细节图像的过渡区域进行平滑滤波，获得目标人脸图像。
[0136]本发明所述装置的工作原理可参照前述方法实施例的描述。
[0137]由上可以看出，在本发明实施例中，获取待处理人脸图像的人脸特征部分图像，对其进行细节增强处理后获得人脸特征部分图像对应的细节图像，并对待处理人脸图像和所述细节图像进行合成，从而获得目标人脸图像。由于在对人脸图像的处理过程中对人脸特征部分进行了细节增强处理并获得了人脸细节图像，因此，利用本发明实施例获得的目标人脸图像中人脸部分更为清晰，从而使得目标人脸图像的效果更好。
[0138]以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
【主权项】
1.一种人脸图像处理方法，其特征在于，包括: 获取待处理人脸图像； 获取所述待处理人脸图像中的人脸特征部分图像； 对所述人脸特征部分图像进行细节增强处理，获得所述人脸特征部分图像对应的细节图像； 将所述待处理人脸图像和所述细节图像进行合成，获得目标人脸图像。2.根据权利要求1所述的方法，其特征在于，所述获取所述待处理人脸图像中的人脸特征部分图像，包括: 利用深度卷积神经网络解析所述待处理人脸图像，确定所述待处理人脸图像中各人脸特征部分所在区域； 对所述各人脸特征部分所在区域进行细分，确定所述各人脸特征部分所在的细分区域； 对所述各人脸特征部分所在的细分区域内的各像素进行标记，获取各人脸特征部分图像。3.根据权利要求2所述的方法，其特征在于，所述对所述人脸特征部分图像进行细节增强处理，获得所述人脸特征部分图像对应的细节图像，包括: 获取预先训练好的深度神经网络； 将所述各人脸特征部分图像输入到所述深度神经网络，经所述深度神经网络的第一层、中间层和输出层处理后，将所述深度神经网络的输出层输出的处理结果作为所述各人脸特征部分图像对应的细节图像。4.根据权利要求3所述的方法，其特征在于，在所述获取预先训练好的深度神经网络后，所述方法还包括: 利用噪声扰动信号对所述各人脸特征部分图像进行处理； 所述将所述各人脸特征部分图像输入到所述深度神经网络包括: 将经所述噪声扰动信号处理后的所述各人脸特征部分图像输入到所述深度神经网络。5.根据权利要求3或4所述的方法，其特征在于，在经所述深度神经网络中间层处理进行处理时，包括: 在所述深度神经网络的中间层中利用损失函数对所述中间层的输入图像进行处理。6.根据权利要求1-4任一所述的方法，其特征在于，所述将所述待处理人脸图像和所述细节图像进行合成，获得目标人脸图像，包括: 将所述细节图像融合到所述待处理人脸图像中； 利用所述待处理人脸图像作为引导掩膜，并根据所述引导掩膜对所述待处理图像和所述细节图像的过渡区域进行平滑滤波，获得目标人脸图像。7.一种人脸图像处理装置，其特征在于，包括: 第一获取单元，用于获取待处理人脸图像； 第二获取单元，用于获取所述待处理人脸图像中的人脸特征部分图像； 处理单元，用于对所述人脸特征部分图像进行细节增强处理，获得所述人脸特征部分图像对应的细节图像； 合成单元，用于将所述待处理人脸图像和所述细节图像进行合成，获得目标人脸图像。8.根据权利要求7所述的装置，其特征在于，所述第二获取单元包括: 第一确定模块，用于利用深度卷积神经网络解析所述待处理人脸图像，确定所述待处理人脸图像中各人脸特征部分所在区域； 第二确定模块，用于对所述各人脸特征部分所在区域进行细分，确定所述各人脸特征部分所在的细分区域； 标记模块，用于对所述各人脸特征部分所在的细分区域内的各像素进行标记，获取各人脸特征部分图像。9.根据权利要求8所述的装置，其特征在于，所述处理单元包括: 获取模块，用于获取预先训练好的深度神经网络； 处理模块，用于将所述各人脸特征部分图像输入到所述深度神经网络，经所述深度神经网络的第一层、中间层和输出层处理后，将所述深度神经网络的输出层输出的处理结果作为所述各人脸特征部分图像对应的细节图像。10.根据权利要求9所述的装置，其特征在于，所述处理单元还包括: 信号处理模块，用于利用噪声扰动信号对所述各人脸特征部分图像进行处理； 所述处理模块在将所述各人脸特征部分图像输入到所述深度神经网络时，具体用于将经所述噪声扰动信号处理后的所述各人脸特征部分图像输入到所述深度神经网络。11.根据权利要求9或10所述的装置，其特征在于，所述处理模块在经所述深度神经网络中间层处理进行处理时具体用于:在所述深度神经网络的中间层中利用损失函数对所述中间层的输入图像进行处理。12.根据权利要求7-10任一所述的装置，其特征在于，所述合成单元包括: 融合模块，用于将所述细节图像融合到所述待处理人脸图像中； 合成模块，用于利用所述待处理人脸图像作为引导掩膜，根据所述引导掩膜对所述待处理图像和所述细节图像的过渡区域进行平滑滤波，获得目标人脸图像。13.一种人脸图像处理装置，其特征在于，包括: 摄像头，用于获取待处理人脸图像； 处理器，用于获取所述待处理人脸图像中的人脸特征部分图像，对所述人脸特征部分图像进行细节增强处理，获得所述人脸特征部分图像对应的细节图像，将所述待处理人脸图像和所述细节图像进行合成，获得目标人脸图像。14.根据权利要求13所述的装置，其特征在于，所述处理器在获取所述待处理人脸图像中的人脸特征部分图像时，具体用于: 利用深度卷积神经网络解析所述待处理人脸图像，确定所述待处理人脸图像中各人脸特征部分所在区域； 对所述各人脸特征部分所在区域进行细分，确定所述各人脸特征部分所在的细分区域； 对所述各人脸特征部分所在的细分区域内的各像素进行标记，获取各人脸特征部分图像。15.根据权利要求13所述的装置，其特征在于，所述处理器在对所述人脸特征部分图像进行细节增强处理，获得所述人脸特征部分图像对应的细节图像时，具体用于: 获取预先训练好的深度神经网络； 将所述各人脸特征部分图像输入到所述深度神经网络，经所述深度神经网络的第一层、中间层和输出层处理后，将所述深度神经网络的输出层输出的处理结果作为所述各人脸特征部分图像对应的细节图像。16.根据权利要求15所述的装置，其特征在于，所述处理器在对所述人脸特征部分图像进行细节增强处理，获得所述人脸特征部分图像对应的细节图像时，所述处理器还用于: 利用噪声扰动信号对所述各人脸特征部分图像进行处理； 将经所述噪声扰动信号处理后的所述各人脸特征部分图像输入到所述深度神经网络。17.根据权利要求15或16所述的装置，其特征在于，所述处理器在经所述深度神经网络中间层处理进行处理时具体用于:在所述深度神经网络的中间层中利用损失函数对所述中间层的输入图像进行处理。18.根据权利要求13-16任一所述的装置，其特征在于，所述处理器在将所述待处理人脸图像和所述细节图像进行合成，获得目标人脸图像时，具体用于: 将所述细节图像融合到所述待处理人脸图像中； 利用所述待处理人脸图像作为引导掩膜，根据所述引导掩膜对所述待处理图像和所述细节图像的过渡区域进行平滑滤波，获得目标人脸图像。19.一种电子设备，其特征在于，所述电子设备包括:壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行以下步骤: 获取待处理人脸图像； 获取所述待处理人脸图像中的人脸特征部分图像； 对所述人脸特征部分图像进行细节增强处理，获得所述人脸特征部分图像对应的细节图像； 将所述待处理人脸图像和所述细节图像进行合成，获得目标人脸图像。
【文档编号】G06T5/50GK106056562SQ201610339674
【公开日】2016年10月26日
【申请日】2016年5月19日
【发明人】李正龙, 张丽杰, 张敬宇
【申请人】京东方科技集团股份有限公司