一种人脸特征点定位方法及电子设备与流程

文档序号：13282830阅读：235来源：国知局

本发明涉及图像处理领域，特别涉及一种人脸特征点定位方法及电子设备。

背景技术：

近年来，随着即时视频应用在移动终端上的普及，通过即时视频实现与他人之间的交互越来越普及，在即时视频过程中不管是实现人脸美化，或人脸迁移等技术，都需要先对人脸的特征点进行定位，人脸特征点定位的准确与否，直接关系到后续程序中对人脸处理的好坏，所以需要提供一种能够在即时视频过程中实时并准确定位人脸特征点的方法。

现有技术中，通过检测并识别即时视频帧中的人脸，根据识别结果，获取即时视频帧中人脸特征点的位置。但是，在很多情况下，即时视频帧中的人脸会受到光照或姿态等的影响，从而通过现有技术的方法获取的人脸特征点的位置往往会有偏差，不够准确。

技术实现要素：

为了避免光照或姿态对人脸特征点定位的影响，提高人脸特征点定位的准确性，提高用户体验，本发明实施例提供了一种人脸特征点定位方法及电子设备。所述技术方案如下：

第一方面，提供了一种人脸特征点定位方法，所述方法包括：

s1、获取当前视频帧；以及

s2、获取所述当前视频帧中人脸的特征点；

s3、判断所述人脸的特征点是否在预设特征点范围内，若在所述预设特征点范围内，则根据上一帧视频帧的人脸特征点的位置计算所述当前视频帧中所述人脸的特征点的位置；

若不在所述预设特征点范围内，则根据所述当前视频帧之前的多帧视频帧的人脸特征点的平均位置计算所述当前视频帧中所述人脸的特征点的位置。

结合第一方面，在第一种可能实现的方式中，在所述获取当前视频帧之后，所述方法还包括：

估计所述当前视频帧的光照情况；

检测所述当前视频帧中的人脸；

判断所述人脸的效果是否符合预设标准；

若不符合所述预设标准，则调整摄像头参数。

结合第一方面的第一种可能实现的方式，在第二种可能实现的方式中，所述估计所述当前视频帧的光照情况包括:

估计所述当前视频帧的亮度和/或对比度。

结合第一方面的第一种或第二种可能实现的方式，在第三种可能实现的方式中，在所述调整摄像头参数之后，所述方法还包括：

执行步骤s1至步骤s3。

结合第一方面，在第四种可能实现的方式中，所述获取所述当前视频帧中人脸的特征点之后，所述方法还包括：

根据姿态分叉模型确定所述人脸的姿态。

结合第一方面的第四种可能实现的方式，在第五种可能实现的方式中，所述方法还包括：

根据光照分叉模型确定所述人脸的光照范围。

结合第一方面的第四种或第五种可能实现的方式，在第六种可能实现的方式中，所述判断所述人脸的特征点是否在预设特征点范围内包括：

判断所述人脸的特征点是否在姿态分叉模型和/或光照分叉模型关联的特征点库内。

结合第一方面，在第七种可能实现的方式中，所述根据上一帧视频帧的人脸特征点的位置计算所述当前视频帧中所述人脸的特征点的位置包括：

对上一帧视频帧的人脸特征点的位置进行回归，获取所述当前视频帧中所述人脸的特征点的位置。

结合第一方面，在第八种可能实现的方式中，所述根据所述当前视频帧之前的多个视频帧的人脸特征点的平均位置计算所述当前视频帧中所述人脸的特征点的位置包括：

对所述当前视频帧之前的多个视频帧的人脸特征点的平均位置进行回归，获取所述当前视频帧中所述人脸的特征点的位置。

第二方面，提供了一种电子设备，所述设备包括：

当前视频帧获取模块，用于获取当前视频帧；以及

人脸特征点获取模块，用于获取所述当前视频帧中人脸的特征点；

特征点范围判断模块，用于判断所述人脸的特征点是否在预设特征点范围内；

计算模块，用于当所述特征点范围判断模块判定在所述预设特征点范围内时，根据上一帧视频帧的人脸特征点的位置计算所述当前视频帧中所述人脸的特征点的位置；以及

当所述特征点范围判断模块判定不在所述预设特征点范围内，根据所述当前视频帧之前的多帧视频帧的人脸特征点的平均位置计算所述当前视频帧中所述人脸的特征点的位置。

结合第二方面，在第一种可能实现的方式中，所述设备还包括：

光照估计模块，用于估计所述当前视频帧的光照情况；

当前视频帧中人脸检测模块，用于检测所述当前视频帧中的人脸；

人脸效果判断模块，用于判断所述人脸的效果是否符合预设标准；

摄像头参数调整模块，用于当所述人脸效果判断模块判定不符合所述预设标准时，调整摄像头参数。

结合第二方面的第一种可能实现的方式，在第二种可能实现的方式中，所述光照估计模块具体用于：

估计所述当前视频帧的亮度和/或对比度。

结合第二方面的第一种或第二种可能实现的方式，在所述摄像头参数调整模块调整摄像头参数之后，还包括：

所述当前视频帧获取模块、所述人脸特征点获取模块、所述特征点范围判断模块及所述计算模块执行对应的操作。

结合第二方面，在第四种可能实现的方式中，所述设备还包括：

人脸姿态确定模块，用于根据姿态分叉模型确定所述人脸的姿态。

结合第二方面的第四种可能实现的方式，在第五种可能实现的方式中，所述设备还包括：

人脸光照范围确定模块，用于根据光照分叉模型确定所述人脸的光照范围。

结合第二面的第四种或第五种可能实现的方式，在第六种可能实现的方式中，所述特征点范围判断模块具体用于：

判断所述人脸的特征点是否在姿态分叉模型和/或光照分叉模型关联的特征点库内。

结合第二方面，在第七种可能实现的方式中，所述计算模块包括：

第一回归模块，用于对上一帧视频帧的人脸特征点的位置进行回归，获取所述当前视频帧中所述人脸的特征点的位置。

结合第二方面，在第八种可能实现的方式中，所述计算模块还包括：

第二回归模块，用于对所述当前视频帧之前的多个视频帧的人脸特征点的平均位置进行回归，获取所述当前视频帧中所述人脸的特征点的位置。

第三方面，提供了一种电子设备，所述电子设备包括显示屏、摄像头、存储器以及与所述显示屏、所述摄像头、所述存储器连接的处理器，其中，所述存储器用于存储一组程序代码，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：

s1、获取当前视频帧；以及

s2、获取所述当前视频帧中人脸的特征点；

若不在所述预设特征点范围内，则根据所述当前视频帧之前的多帧视频帧的人脸特征点的平均位置计算所述当前视频帧中所述人脸的特征点的位置。

结合第三方面，在第一种可能实现的方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：

估计所述当前视频帧的光照情况；

检测所述当前视频帧中的人脸；

判断所述人脸的效果是否符合预设标准；

若不符合所述预设标准，则调整摄像头参数。

结合第三方面的第一种可能实现的方式，在第二种可能实现的方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：

估计所述当前视频帧的亮度和/或对比度。

结合第三方面的第一种或第二种可能实现的方式，在第三种可能实现的方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：

执行步骤s1至步骤s3。

结合第三方面，在第四种可能实现的方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：

根据姿态分叉模型确定所述人脸的姿态。

结合第三方面的第四种可能实现的方式，在第五种可能实现的方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：

根据光照分叉模型确定所述人脸的光照范围。

结合第三方面的第四种或第五种可能实现的方式，在第六种可能实现的方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：

判断所述人脸的特征点是否在姿态分叉模型和/或光照分叉模型关联的特征点库内。

结合第三方面，在第七种可能实现的方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：

对上一帧视频帧的人脸特征点的位置进行回归，获取所述当前视频帧中所述人脸的特征点的位置。

结合第三方面，在第八种可能实现的方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：

对所述当前视频帧之前的多个视频帧的人脸特征点的平均位置进行回归，获取所述当前视频帧中所述人脸的特征点的位置。

本发明实施例提供了一种人脸特征点定位方法及电子设备。该方法通过获取当前视频帧中人脸的特征点；判断人脸的特征点是否在预设特征点范围内，若在预设特征点范围内，则根据上一帧视频帧的人脸特征点的位置计算当前视频帧中人脸的特征点的位置；若不在预设特征点范围内，则根据当前视频帧之前的多帧视频帧的人脸特征点的平均位置计算当前视频帧中人脸的特征点的位置，从而根据判断结果定位人脸特征点，避免了光照或姿态对人脸特征点定位的影响，提高了人脸特征点定位的准确性，提高了用户体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种人脸特征点定位方法流程图；

图2是本发明实施例提供的一种人脸特征点定位方法流程图；

图3是本发明实施例提供的一种人脸特征点定位方法流程图；

图4是本发明实施例提供的一种电子设备结构示意图；

图5是本发明实施例提供的一种电子设备结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本发明实施例提供了一种人脸特征点定位方法，参照图1所示，该方法包括：

s1、获取当前视频帧。

s2、获取当前视频帧中人脸的特征点。

可选的，获取当前视频帧中人脸的特征点之后，方法还包括：

根据姿态分叉模型确定人脸的姿态。

可选的，获取当前视频帧中人脸的特征点之后或者根据姿态分叉模型确定人脸的姿态之后，方法还包括：

根据光照分叉模型确定人脸的光照范围。

s3、判断人脸的特征点是否在预设特征点范围内，若在预设特征点范围内，则执行s31，若不在预设特征点范围内，则执行s32。

具体的，判断人脸的特征点是否在姿态分叉模型和/或光照分叉模型关联的特征点库内。

s31、根据上一帧视频帧的人脸特征点的位置计算当前视频帧中人脸的特征点的位置。

具体的，对上一帧视频帧的人脸特征点的位置进行回归，获取当前视频帧中人脸的特征点的位置。

s32、根据当前视频帧之前的多帧视频帧的人脸特征点的平均位置计算当前视频帧中人脸的特征点的位置。

具体的，对当前视频帧之前的多个视频帧的人脸特征点的平均位置进行回归，获取当前视频帧中人脸的特征点的位置。

可选的，在获取当前视频帧之后，方法还包括：

估计当前视频帧的光照情况；

检测当前视频帧中的人脸；

判断人脸的效果是否符合预设标准；

若不符合预设标准，则调整摄像头参数。

其中，估计当前视频帧的光照情况的过程可以包括:

估计当前视频帧的亮度和/或对比度。

可选的，在调整摄像头参数之后，方法还包括：

执行步骤s1至步骤s3。、

本发明实施例提供了一种人脸特征点定位方法，通过获取当前视频帧中人脸的特征点；判断人脸的特征点是否在预设特征点范围内，若在预设特征点范围内，则根据上一帧视频帧的人脸特征点的位置计算当前视频帧中人脸的特征点的位置；若不在预设特征点范围内，则根据当前视频帧之前的多帧视频帧的人脸特征点的平均位置计算当前视频帧中人脸的特征点的位置，从而根据判断结果定位人脸特征点，避免了光照或姿态对人脸特征点定位的影响，提高了人脸特征点定位的准确性，提高了用户体验。

实施例二

本发明实施例提供了一种人脸特征点定位方法，参照图2所示，该方法包括：

s1、获取当前视频帧。

具体的，通过摄像头获取当前视频帧。

s2、获取当前视频帧中人脸的特征点。

具体的，检测该当前视频帧中的人脸，检测人脸的方法可以通过传统的基于特征的人脸检测方法、基于统计的人脸检测方法以及模板匹配人脸检测方法等，也可以通过svm(supportvectormachine,支持向量机)算法，或者通过opencv(开源计算机视觉库,opensourcecomputervisionlibrary)进行检测，本发明实施例对具体的检测人脸的方式不加以限定；根据检测结果获取该人脸的特征点的位置。

特征点包括用于描述整个人脸或部分人脸的特征点，整个人脸包括人脸的外围轮廓、眉毛、眼睛、鼻子及嘴巴，部分人脸包括人脸的外围轮廓、眉毛、眼睛、鼻子及嘴巴中的至少一个，特征点还可以是其他，本发明实施例对具体的特征点不加以限定。

a、根据姿态分叉模型确定人脸的姿态。

具体的，该姿态分叉模型可以包括仰头、低头、左转及右转四个分叉模型；也可以包括在仰头、低头、左转及右转的方向上进行角度细化的多个分叉模型，比如仰头30°，低头45°，左转15°，右转30°等，该细化的角度也可以是一个范围，比如仰头20°-30°，低头30°-45°，左转10°-15°，右转10°-30°，其中，具体的角度及角度范围不加以限定，根据实际需要具体设置；还可以包括根据三维角度确定的姿态分叉模型，比如姿态可以是左上、右下等。

可选的，方法还包括：

建立姿态分叉模型。

具体的，可以通过pca方式建立姿态分叉模型，也可以通过其他方式建立姿态分叉模型。

b、根据光照分叉模型确定人脸的光照范围。

具体的，该光照分叉模型可以包括强光模型、中光模型及弱光模型，其中，中光模型的范围可以为60-160，强光模型的范围可以为大于160，弱光模型的范围可以为小于60，具体的范围根据实际进行设置；光照分叉模型也可以包括其他，比如超强光模型，或超弱光磨光模型等；还可以根据光照强度进行具体划分，比如一级光照为小于30，二级光照为31-60，三级光照为61-129，四级光照为130-160，五级光照为大于160，具体的级别及光照范围根据实际进行设置。

可选的，方法还包括：

建立光照分叉模型。

可选的，方法还包括：

对当前视频帧进行后处理。

具体的，包括去除抖动、或去除无法处理的视频帧等。

s3、判断人脸的特征点是否在预设特征点范围内，若在预设特征点范围内，则执行步骤s31；若不在预设特征点范围内，则执行步骤s32。

具体的，判断人脸的特征点是否在姿态分叉模型和/或光照分叉模型关联的特征点库内。

具体的，可以包括以下三种方式：

判断该人脸的特征点是否在该人脸的姿态所属的姿态分叉模型关联的特征点库内，若在则执行步骤s31，若不在则执行步骤s32；比如，该人脸的姿态为仰头，则判断该人脸的特征点是否在仰头模型关联的特征点库内。

判断该人脸的特征点是否在该人脸的光照所属的光照分叉模型关联的特征点库内，若在则执行步骤s31，若不在则执行步骤s32；比如，该人脸的光照范围在强光模型范围内，则判断该人脸的特征点是否在强光模型关联的特征点库内。

判断该人脸的特征点是否在该人脸所属的姿态分叉模型和光照分叉模型关联的特征点库内；比如，该人脸的姿态为仰头，该人脸的光照范围在强光模型范围内，则判断该人脸的特征点是否在仰头强光模型关联的特征点库内。

s31、根据上一帧视频帧的人脸特征点的位置计算当前视频帧中人脸的特征点的位置。

具体的，对上一帧视频帧的人脸特征点的位置进行回归，获取当前视频帧中人脸的特征点的位置。

s32、根据当前视频帧之前的多帧视频帧的人脸特征点的平均位置计算当前视频帧中人脸的特征点的位置。

具体的，对当前视频帧之前的多个视频帧的人脸特征点的平均位置进行回归，获取当前视频帧中人脸的特征点的位置。

通过确定即时视频帧中人脸的姿态分叉模型和光照分叉模型，从而判断获取的人脸特征点是否在该姿态分叉模型和/或光照分叉模型关联的特征点内范围内，根据判断结果定位人脸特征点，从而避免了人脸特征点因为光照或姿态导致定位不准确的问题，提高了人脸特征点定位的准确性。

可选的，参照图3所示，在步骤s1之后，方法还包括：

c、估计当前视频帧的光照情况。

具体的，估计当前视频帧的亮度和/或对比度。

其中，光照可以为当前视频帧亮度的平均值，对比度可以为当前视频帧中人脸和背景之间的光照比值。

d、检测当前视频帧中的人脸。

具体的，检测人脸的方法可以通过传统的基于特征的人脸检测方法、基于统计的人脸检测方法以及模板匹配人脸检测方法等，也可以通过svm(supportvectormachine,支持向量机)算法，或者opencv(开源计算机视觉库,opensourcecomputervisionlibrary)进行检测，本发明实施例对具体的检测人脸的方式不加以限定。

e、判断人脸的效果是否符合预设标准，若不符合预设标准，则执行步骤e1；若符合预设标准，则执行步骤s2至步骤s3。

根据预设模型判断该人脸的效果是否符合预设标准。

具体的，将当前视频帧的亮度和/或对比度的值输入该预设模型，该预设模型根据输入的值输出结果，若输出的该结果大于预设值，则判定符合预设标准，若输出的结果小于等于该预设值，则判定不符合预设标准，比如该输出结果的范围可以为0-1，该预设值可以为0.9，若输出的结果大于0.9，则判定符合预设标准，若输出的结果小于等于0.9，则判定不符合预设标准。

其中，执行步骤s2至步骤s3包括执行步骤a和步骤b。

e1、调整摄像头参数。

具体的，摄像头参数可以包括曝光时间和/或光圈大小，还可以包括其他；则调整摄像头的曝光时间和/或光圈大小参数。

需要说明的是，在执行步骤e1之后，方法还包括执行步骤s1至步骤s3，此处执行步骤s1至步骤s3包括执行步骤a和步骤b。

实施例三

本发明实施例提供了一种电子设备，参照图4所示，该设备包括：

当前视频帧获取模块41，用于获取当前视频帧；以及

人脸特征点获取模块42，用于获取当前视频帧中人脸的特征点；

特征点范围判断模块43，用于判断人脸的特征点是否在预设特征点范围内；

计算模块44，用于当特征点范围判断模块判定在预设特征点范围内时，根据上一帧视频帧的人脸特征点的位置计算当前视频帧中人脸的特征点的位置；以及

当特征点范围判断模块判定不在预设特征点范围内，根据当前视频帧之前的多帧视频帧的人脸特征点的平均位置计算当前视频帧中人脸的特征点的位置。

可选的，设备还包括：

光照估计模块45，用于估计当前视频帧的光照情况；

当前视频帧中人脸检测模块46，用于检测当前视频帧中的人脸；

人脸效果判断模块47，用于判断人脸的效果是否符合预设标准；

摄像头参数调整模块48，用于当人脸效果判断模块判定不符合预设标准时，调整摄像头参数。

可选的，光照估计模块45具体用于：

估计当前视频帧的亮度和/或对比度。

可选的，摄像头参数调整模块48调整摄像头参数之后，还包括：

当前视频帧获取模块41、人脸特征点获取模块42、特征点范围判断模块43及计算模块44执行对应的操作。

可选的，设备还包括：

人脸姿态确定模块49，用于根据姿态分叉模型确定人脸的姿态。

可选的，设备还包括：

人脸光照范围确定模块410，用于根据光照分叉模型确定人脸的光照范围。

可选的，特征点范围判断模块43具体用于：

判断人脸的特征点是否在姿态分叉模型和/或光照分叉模型关联的特征点库内。

可选的，计算模块44包括：

第一回归模块441，用于对上一帧视频帧的人脸特征点的位置进行回归，获取当前视频帧中人脸的特征点的位置。

可选的，计算模块44还包括：

第二回归模块442，用于对当前视频帧之前的多个视频帧的人脸特征点的平均位置进行回归，获取当前视频帧中人脸的特征点的位置。

本发明实施例提供了一种电子设备，该电子设备通过获取当前视频帧中人脸的特征点；判断人脸的特征点是否在预设特征点范围内，若在预设特征点范围内，则根据上一帧视频帧的人脸特征点的位置计算当前视频帧中人脸的特征点的位置；若不在预设特征点范围内，则根据当前视频帧之前的多帧视频帧的人脸特征点的平均位置计算当前视频帧中人脸的特征点的位置，从而根据判断结果定位人脸特征点，避免了光照或姿态对人脸特征点定位的影响，提高了人脸特征点定位的准确性，提高了用户体验。

实施例四

本发明实施例提供了一种电子设备5，电子设备包括显示屏51、摄像头52、存储器53以及与显示屏51、摄像头52、存储器53连接的处理器54，其中，存储器53用于存储一组程序代码，处理器54调用存储器53所存储的程序代码用于执行以下操作：

s1、获取当前视频帧；以及

s2、获取当前视频帧中人脸的特征点；

s3、判断人脸的特征点是否在预设特征点范围内，若在预设特征点范围内，则根据上一帧视频帧的人脸特征点的位置计算当前视频帧中人脸的特征点的位置；

若不在预设特征点范围内，则根据当前视频帧之前的多帧视频帧的人脸特征点的平均位置计算当前视频帧中人脸的特征点的位置。