面部图像的处理方法、训练方法、设备和存储介质与流程

本申请实施例涉及人工智能技术领域，尤其涉及一种面部图像的处理方法、训练方法、设备和存储介质。

背景技术：

随着人工智能以及智能的终端设备的飞速发展，人脸识别技术广泛应用在各个技术领域。以ar技术为例，在很多ar应用场景下，经常会有既需要人脸关键点，又需要对人脸进行分割的需求，目前的方案中需要分别处理，对图像进行特征提取得到需要的人脸关键点，对图像上的人脸上的五官进行分割得到需要的分割区域。

然而，上述方式中处理过程中分别对图像进行特征提取，耗时较多，且处理过程中只关注关键点或分割，导致处理结果的精准度较低。

技术实现要素：

本申请实施例提供一种面部图像的处理方法、训练方法、设备和存储介质，用于解决上述方式中处理过程中分别对图像进行特征提取，耗时较多，且处理过程中只关注关键点或分割，导致处理结果的精准度较低的问题。

本申请第一方面提供一种面部图像的处理方法，包括：

获取待处理的面部图像；

根据人脸关键点分割模型对所述面部图像进行处理，得到所述面部图像对应的人脸关键点和人脸分割信息；

其中，所述人脸关键点分割模型为采用神经网络进行训练得到的用于同时获取人脸关键点和人脸分割信息的模型。

可选的，所述人脸分割信息的模型是用如下方式训练的：

采集多个包括人脸的图像样本，并对所述图像样本中的人脸关键点和人脸分割信息进行标注；

根据标定后的多个图像样本，采用神经网络训练得到所述人脸关键点分割模型。

可选的，所述根据标定后的多个图像样本，采用神经网络训练得到所述人脸关键点分割模型，包括：

根据神经网络初始化人脸关键点分割模型；

将标定后的多个图像样本，分别输入所述人脸关键点分割模型，得到输出结果；

获取所述输出结果和图像样本的标注信息之间的损失函数；

根据所述损失函数对所述人脸关键点模型进行更新；其中，标定的图像样本的标注信息包括人脸关键点或者人脸分割信息。

可选的，所述获取待处理的面部图像，包括：

根据人脸检测模型，从待检测的图像中获取所述面部图像。

本申请第二方面提供一种人脸关键点分割模型的训练方法，包括：

采集多个包括人脸的图像样本，并对所述图像样本中的人脸关键点和人脸分割信息进行标注；

根据标定后的多个图像样本，采用神经网络训练得到人脸关键点分割模型；

其中，所述人脸关键点分割模型用于对面部图像进行处理，同时获取人脸关键点和人脸分割信息。

可选的，所述根据标定后的多个图像样本，采用神经网络训练得到人脸关键点分割模型，包括：

根据神经网络初始化人脸关键点分割模型；

将标定后的多个图像样本，分别输入所述人脸关键点分割模型，得到输出结果；

获取所述输出结果和图像样本的标注信息之间的损失函数；

根据所述损失函数对所述人脸关键点模型进行更新；其中，标定的图像样本的标注信息包括人脸关键点或者人脸分割信息。

本申请第三方面提供一种面部图像的处理装置，包括：

获取模块，用于获取待处理的面部图像；

处理模块，用于根据人脸关键点分割模型对所述面部图像进行处理，得到所述面部图像对应的人脸关键点和人脸分割信息；

其中，所述人脸关键点分割模型为采用神经网络进行训练得到的用于同时获取人脸关键点和人脸分割信息的模型。

可选的，所述人脸分割信息的模型是用如下方式训练的：

采集多个包括人脸的图像样本，并对所述图像样本中的人脸关键点和人脸分割信息进行标注；

根据标定后的多个图像样本，采用神经网络训练得到所述人脸关键点分割模型。

可选的，所述根据标定后的多个图像样本，采用神经网络训练得到所述人脸关键点分割模型，包括：

根据神经网络初始化人脸关键点分割模型；

将标定后的多个图像样本，分别输入所述人脸关键点分割模型，得到输出结果；

获取所述输出结果和图像样本的标注信息之间的损失函数；

根据所述损失函数对所述人脸关键点模型进行更新；其中，标定的图像样本的标注信息包括人脸关键点或者人脸分割信息。

可选的，所述获取模块具体用于：

根据人脸检测模型，从待检测的图像中获取所述面部图像。

本申请第四方面提供一种人脸关键点分割模型的训练装置，包括：

采集模块，用于采集多个包括人脸的图像样本，并对所述图像样本中的人脸关键点和人脸分割信息进行标注；

训练模块，用于根据标定后的多个图像样本，采用神经网络训练得到人脸关键点分割模型；

其中，所述人脸关键点分割模型用于对面部图像进行处理，同时获取人脸关键点和人脸分割信息。

可选的，所述训练模块具体用于：

根据神经网络初始化人脸关键点分割模型；

将标定后的多个图像样本，分别输入所述人脸关键点分割模型，得到输出结果；

获取所述输出结果和图像样本的标注信息之间的损失函数；

根据所述损失函数对所述人脸关键点模型进行更新；其中，标定的图像样本的标注信息包括人脸关键点或者人脸分割信息。

本申请第五方面提供一种电子设备，包括：

处理器、存储器以及计算机程序；所述计算机程序存储在所述存储器中，所述处理器执行所述计算机程序实现第一方面任一项所述的面部图像的处理方法。

本申请第六方面提供一种电子设备，包括：

处理器、存储器以及计算机程序；所述计算机程序存储在所述存储器中，所述处理器执行所述计算机程序实现第二方面的人脸关键点分割模型的训练方法。

本申请第七方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于实现第一方面任一项所述的面部图像的处理方法。

本申请第八方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于实现第二方面的人脸关键点分割模型的训练方法。

本申请实施例提供的面部图像的处理方法、训练方法、设备和存储介质，获取待处理的面部图像，预先根据采用神经网络进行训练得到的用于同时获取人脸关键点和人脸分割信息的人脸关键点分割模型，然后根据人脸关键点分割模型对面部图像进行处理，得到面部图像对应的人脸关键点和人脸分割信息，通过该人脸关键点分割模型可以同时获取到图像的人脸关键点和人脸分割信息，不需要对图像分别进行特征提取，节省处理时间，并且该人脸关键点分割模型是将人脸关键点和人脸分割用一个神经网络进行训练得到的，神经网络可以同时收到关键点和分割信息的监督，有效提高对图像的处理结果的精准度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的面部图像的处理方法实施例一的流程图；

图2为本申请实施例提供的面部图像的处理方法中人脸关键点的示意图；

图3为本申请实施例提供的面部图像的处理方法中人脸分割信息的示意图；

图4为本申请实施例提供的人脸关键点分割模型的训练方法实施例一的流程示意图；

图5为本申请实施例提供的人脸关键点分割模型训练的流程示意图；

图6为本申请实施例提供的面部图像的处理装置实施例一的结构示意图；

图7为本申请实施例提供的人脸关键点分割模型训练装置实施例一的结构示意图；

图8为本申请实施例提供的电子设备实施例一的结构示意图；

图9为本申请实施例提供的电子设备实施例二的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在目前的技术方案中，对人脸关键点和人脸分割信息进行获取的模型是不同的，并没有互相监督，在模型的训练过程中，只根据人脸关键点进行训练，或者是只根据人脸分割信息进行训练，很难满足关键点和分割任务的精准度。

另外，特别是在目前的ar项目中，经常会有既需要人脸关键点，又需要对人脸进行分割的需求，而且这两个任务会分别对图片的特征进行了提取，耗时较多，很难满足实时性。

针对上述存在的问题，本申请提供一种面部图像的处理方法，通过将人脸关键点和人脸分割进行联合学习，有效提高人脸关键点和分割的精准度和速度。

下面通过几个具体实施例对该面部图像的处理方法进行说明。本申请中涉及的技术方案可以在服务器，云服务器，手机电脑等终端上进行实现，对此本方案不做限制。

图1为本申请实施例提供的面部图像的处理方法实施例一的流程图，如图1所示，本实施例提供的面部图像的处理方法具体包括以下步骤：

s101：获取待处理的面部图像。

在本步骤中，电子设备需要获取面部图像，一般来说，需要进行及检测的图像中包括人物还可能包括其他部分，为了更进一步准确的达到对人脸关键点和人脸分割信息的，首先需要对待检测的图像进行处理，得到其中的面部图像。

一种具体的实现方式中，通过人脸检测模型从待检测的图像中检测出人脸的位置，或者面部的位置，并进行裁剪得到上述的面部图像，以便进行后续的处理。

s102：根据人脸关键点分割模型对面部图像进行处理，得到面部图像对应的人脸关键点和人脸分割信息。

在本方案中，需要预先根据人脸关键点和人脸分割信息进行联合的模型训练，训练得到一个可以同时获取图像中的人脸关键点和人脸分割信息的人脸关键点分割模型，能够对面部图像进行处理，该方案中，应理解该人脸关键点分割模型可以是电子设备预先根据采集的人脸图像样本训练得到的，也可以是在其他设备上训练并将该人脸关键点分割模型预先写入该电子设备对图像进行处理的，对此本方案不做限制。

应理解，该方案中的人脸关键点分割模型为采用神经网络进行训练得到的用于同时获取人脸关键点和人脸分割信息的模型。

在该方案的具体实现中，将上述获取到的面部图像输入到该人脸关键点分割模型中进行分析处理，得到该面部图像的人脸关键点和人脸分割信息。

一般来说，人脸关键点指的是人脸上的能够标记重要特征的像素点，具体的以图2所示为例，图2为本申请实施例提供的面部图像的处理方法中人脸关键点的示意图，如图2所示，图中定位除了150个点的位置，这150个点分布在人脸的五官以及轮廓边缘上，输出结果可以直接显示该些人脸关键点在面部图像中的位置，也可以只显示这些位置的像素点，还可以显示或者输出人脸关键点在面部图像上的坐标，对此不做限制。

同样的通过该模型也可以得到人脸分割信息，人脸分割信息指的是对整个面部图像中人脸所在位置的所有像素点都进行分类，确定像素点的种类，即对像素点进行分区，以图3为例，图3为本申请实施例提供的面部图像的处理方法中人脸分割信息的示意图，如图3所示，图中示出了九雷，即将人脸上的像素点分出了九类，图中的不同区域分别表示人脸的左眉毛、右眉毛、左眼、右眼、鼻子、嘴巴、脸部、头发、背景几个区域。在根据模型得到了该人脸分割信息之后，可以直接显示分割的区域示意图，也可以显示每个分割的区域对应的像素点的信息，对此本方案不做限制。

本实施例提供的面部图像的处理方法，通过预先将关键点和人脸分割实用一个神经网络进行训练得到人脸关键点分割模型，然后对获取到的面部图像采用该人脸关键点模型进行处理，同事得到人脸关键点和人脸分割信息，不需要对图像分别进行特征提取，只需要一次处理节省处理时间，有效提高对图像的处理结果的精准度。

图4为本申请实施例提供的人脸关键点分割模型的训练方法实施例一的流程示意图；在上述实施例的基础上，需要预先训练得到人脸关键点分割模型，并且在该方案的应用过程中可以对该模型不断的进行更新，模型的训练过程可在上述电子设备或者其他设备中进行训练，具体的该人脸分割信息的模型是用如下方式训练的，具体包括以下步骤：

s201：采集多个包括人脸的图像样本，并对图像样本中的人脸关键点和人脸分割信息进行标注。

在本步骤中，为了进行模型的训练，需要采集大量的用来训练模型的图像样本，并且对图像中的人脸关键点和人脸分割信息进行标定，即可以人为的将所有的图像样本中的人脸的所有关键点，例如上述的150个关键点标注出来，将人脸中的五官和头发等区域进行分割，即对人脸分割信息均进行标注。

s202：根据标定后的多个图像样本，采用神经网络训练得到人脸关键点分割模型。

本步骤中，首先根据神经网络初始化人脸关键点分割模型，即根据神经网络随机初始化得到一个初始的人脸关键点分割模型，然后将标定后的多个图像样本，分别输入该人脸关键点分割模型，得到输出结果，此时得到的结果一定不是标定的结果那么准确的，因此还需要将每个图像样本的输出结果和该图像样本的标注信息之间进行对比，获取所述输出结果和图像样本的标注信息之间的损失函数，然后根据所述损失函数对所述人脸关键点模型进行更新，并通过多次重复训练，可以将模型训练到越来越接近准确值的过程，通过大量的图像样本重复上述过程对模型进行训练，能够得到需要的同时可以获取到人脸关键点和人脸分割信息的模型。在该方案中，标定的图像样本的标注信息包括人脸关键点或者人脸分割信息。

图5为本申请实施例提供的人脸关键点分割模型训练的流程示意图；如图5所示，示出了一种具体的人脸关键点分割模型的训练流程，具体包括了以下几个流程：

01，采集人脸图片样本，首先收集人脸图片，用人脸检测模型检测出其中的人脸位置，并剪切出人脸区域为人脸图片。

02，对人脸图片进行标注，标注包括了人脸关键点和人脸分割信息。

03，根据神经网络模型随机初始化人脸关键点分割模型。

04，将人脸图片输入进人脸关键点分割模型，输出人脸关键点信息和人脸分割信息。

05，将人脸关键点信息和人脸关键点的标注信息一起进行求人脸关键点损失函数。

06，将人脸分割信息和人脸分割的标注信息一起求人脸分割信息的损失函数。

07，用人脸关键点损失函数和人脸分割信息的损失函数来更新人脸关键点分割模型。

重复上述过程多次可以得到需要的人脸关键点分割模型，按照上述模型训练方案，将人脸关键点和人脸分割信息用同一个模型进行训练，神经网络可以同时受到关键点和分割信息的监督，训练得到的人脸关键点分割模型能够同时得到人脸关键点和人脸分割信息。

采用该模型对面部图像进行处理，特别是在ar场景下，可以在依赖于人脸关键点和人脸分割的ar特效任务中取得很高的精准度和实时性，可以对视频或者图片中的人像进行贴纸、更换头发颜色和美颜等，改善了用户体验。

图6为本申请实施例提供的面部图像的处理装置实施例一的结构示意图，如图6所示，该面部图像的处理装置10包括：

获取模块11，用于获取待处理的面部图像；

处理模块12，用于根据人脸关键点分割模型对所述面部图像进行处理，得到所述面部图像对应的人脸关键点和人脸分割信息；

其中，所述人脸关键点分割模型为采用神经网络进行训练得到的用于同时获取人脸关键点和人脸分割信息的模型。

本实施例提供的面部图像的处理装置，用于执行前述方法实施例中的技术方案，其实现原理和技术效果类似，电子设备获取待处理的面部图像，预先根据采用神经网络进行训练得到的用于同时获取人脸关键点和人脸分割信息的人脸关键点分割模型，然后根据人脸关键点分割模型对面部图像进行处理，得到面部图像对应的人脸关键点和人脸分割信息，通过该模型可以同时获取到图像的人脸关键点和人脸分割信息，不需要对图像分别进行特征提取，节省处理时间，并且将人脸关键点和人脸分割用一个神经网络进行训练，神经网络可以同时收到关键点和分割信息的监督，有效提高处理结果的精准度。

在上述人脸关键点分割模型可以是该装置进行训练的，也可以是其他设备训练好预先设置在该装置中的，对此本方案不做限制：

具体实现中，该人脸关键点分割模型是按照下面的方式训练得到的：

采集多个包括人脸的图像样本，并对所述图像样本中的人脸关键点和人脸分割信息进行标注；

根据标定后的多个图像样本，采用神经网络训练得到所述人脸关键点分割模型。

可选的，根据标定后的多个图像样本，采用神经网络训练得到所述人脸关键点分割模型，包括：

根据神经网络初始化人脸关键点分割模型；

将标定后的多个图像样本，分别输入所述人脸关键点分割模型，得到输出结果；

获取所述输出结果和图像样本的标注信息之间的损失函数；

根据所述损失函数对所述人脸关键点模型进行更新；其中，标定的图像样本的标注信息包括人脸关键点或者人脸分割信息。

可选的，所述获取模块11具体用于：

根据人脸检测模型，从待检测的图像中获取所述面部图像。

上述实施例提供的面部图像的处理装置，用于执行前述方法实施例中的的技术方案，其实现原理和技术效果类似，在此不再赘述。

图7为本申请实施例提供的人脸关键点分割模型的训练装置实施例一的结构示意图，如图7所示，该人脸关键点分割模型的训练装置20包括：

采集模块21，用于采集多个包括人脸的图像样本，并对所述图像样本中的人脸关键点和人脸分割信息进行标注；

训练模块22，用于根据标定后的多个图像样本，采用神经网络训练得到人脸关键点分割模型；

其中，所述人脸关键点分割模型用于对面部图像进行处理，同时获取人脸关键点和人脸分割信息。

可选的，所述训练模块22具体用于：

根据神经网络初始化人脸关键点分割模型；

将标定后的多个图像样本，分别输入所述人脸关键点分割模型，得到输出结果；

获取所述输出结果和图像样本的标注信息之间的损失函数；

根据所述损失函数对所述人脸关键点模型进行更新；其中，标定的图像样本的标注信息包括人脸关键点或者人脸分割信息。

图8为本申请实施例提供的电子设备实施例一的结构示意图，如图8所示，该电子设备，包括：

处理器、存储器以及计算机程序；所述计算机程序存储在所述存储器中，所述处理器执行所述计算机程序实现前述任一实施例提供的面部图像的处理方法。

图9为本申请实施例提供的电子设备实施例二的结构示意图，如图9所示，该电子设备，包括：

处理器、存储器以及计算机程序；所述计算机程序存储在所述存储器中，所述处理器执行所述计算机程序实现前述任一实施例提供的人脸关键点分割模型的训练方法。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于实现前述任一方法实施例提供的面部图像的处理方法。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于实现前述任一方法实施例提供的人脸关键点分割模型的训练方法。

在上述电子设备的具体实现中，应理解，处理器可以是中央处理单元(英文：centralprocessingunit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digitalsignalprocessor，简称：dsp)、专用集成电路(英文：applicationspecificintegratedcircuit，简称：asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：只读存储器(英文：read-onlymemory，缩写：rom)、ram、快闪存储器、硬盘、固态硬盘、磁带(英文：magnetictape)、软盘(英文：floppydisk)、光盘(英文：opticaldisc)及其任意组合。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。