一种人脸关键点追踪方法及应用和装置与流程

本发明涉及图像处理领域，尤其涉及一种人脸关键点追踪方法及应用和装置。

背景技术：

近来，级联形状回归模型在人脸关键点定位任务上取得了重大突破，该方法使用回归模型，直接学习从人脸图像到人脸关键点位置的映射函数，进而建立从输入到输出的对应关系。此类方法简单高效，在可控场景(实验室条件下采集的人脸)和非可控场景(网络人脸图像等)均取得不错的关键点定位效果。此外，基于深度学习的面部特征点定位方法也取得令人瞩目的结果。

虽然目前已经有较为成熟的人脸关键点定位算法，但是目前的人脸关键点定位算法在视频追踪中，定位出的人脸关键点会出现抖动的现象，抖动对人脸关键点的应用会产生极大的影响，例如，在美型的放大眼睛功能中，如果定位出的人眼位置在不停地抖动那么放大后的眼睛也会出现不停地抖动，进而会导致那么这个美型效果就比较差。

技术实现要素：

本发明实施例通过提供一种人脸关键点追踪方法及应用和装置，解决了现有人脸关键点定位算法在视频追踪中定位出的人脸关键点会出现抖动的技术问题。

第一方面，本发明实施例提供一种人脸关键点追踪方法，包括：

采集当前视频图像帧；

从所述当前视频图像帧中定位出人脸关键点；

判断所述当前视频图像帧中的人脸相对于所述当前视频图像帧的上一视频图像帧中的人脸是否移动；

如果是，将从所述当前视频图像帧中定位出的人脸关键点确定为所述当前视频图像帧的有效人脸关键点，否则，将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和，加权和结果确定为所述当前视频图像帧的有效人脸关键点。

可选的，所述判断所述当前视频图像帧中的人脸相对于所述上一视频图像帧中的人脸是否移动，包括：

获取所述当前视频图像帧中的每个像素点；

根据所述当前视频图像帧中的各个像素点与所述上一视频图像帧中对应位置的像素点之间的差值，确定出所述当前视频图像帧相对于所述上一视频图像帧的第一像素差均值；

判断所述第一像素差均值是否大于像素差阈值；

如果是，确定所述当前视频图像帧中的人脸相对于所述上一视频图像帧中的人脸存在移动，否则，确定所述当前视频图像帧中的人脸相对于所述上一视频图像帧中的人脸不存在移动。

可选的，所述判断所述当前视频图像帧中的人脸相对于所述上一视频图像帧中的人脸是否移动，包括：

根据从所述当前视频图像帧中定位出的各个人脸关键点与从所述上一视频图像帧中定位出的对应位置的人脸关键点之间的差值，确定出所述当前视频图像帧相对于所述上一视频图像帧的第二像素差均值；

判断所述第二像素差均值是否大于像素差阈值；

如果是，确定所述当前视频图像帧中的人脸相对于所述上一视频图像帧中的人脸存在移动，否则，确定所述当前视频图像帧中的人脸相对于上一视频图像帧中的人脸不存在移动。

可选的，所述将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧的有效人脸关键点进行加权和，包括：

获取所述上一视频图像帧相对于所述当前视频图像的再上一视频图像帧是否移动；

如果是，基于第一变化因子将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和；

否则，基于第二变化因子将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和，其中，所述第一变化因子为基于所述第二变化因子确定且大于所述第一变化因子。

可选的，所述基于第一变化因子将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和，包括：基于如下加权和公式将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和：

b.x2(i)＝bx1(i)*β1+a.x2(i)*(1.0-β1)；

b.y2(i)＝b.y1(i)*β1+a.y2(i)*(1.0-β1)；

其中，β1为所述第一变化因子，b.x1(i)为所述当前视频图像帧中定位出的第i人脸关键点的x坐标，a.x2(i)为所述上一视频图像帧中第i有效人脸关键点的x坐标，b.x2(i)为所述当前视频图像帧的有效人脸关键点的x坐标，b.y1(i)为所述当前视频图像帧中定位出的第i人脸关键点的y坐标，a.y2(i)为所述上一视频图像帧中第i有效人脸关键点的y坐标，b.y2(i)为所述当前视频图像帧的有效人脸关键点的y坐标，i为正整数。

可选的，所述基于第二变化因子将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和，包括：

基于如下加权和公式将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和：

b.x2(i)＝bx1(i)*β2+a.x2(i)*(1.0-β2)；

b.y2(i)＝b.y1(i)*β2+a.y2(i)*(1.0-β2)；

其中，β2为所述第二变化因子，b.x1(i)为所述当前视频图像帧中定位出的第i人脸关键点的x坐标，a.x2(i)为所述上一视频图像帧中第i有效人脸关键点的x坐标，b.x2(i)为所述当前视频图像帧的有效人脸关键点的x坐标，b.y1(i)为所述当前视频图像帧中定位出的第i人脸关键点的y坐标，a.y2(i)为所述上一视频图像帧中第i有效人脸关键点的y坐标，b.y2(i)为所述当前视频图像帧的有效人脸关键点的y坐标。

第二方面，本发明实施例提供了一种视频中人脸图像美型方法，第一方面任一实施方式所述的人脸关键点追踪方法确定出的当前视频图像帧的各个有效人脸关键点中的至少一个有效人脸关键点进行美型。

第三方面，本发明实施例提供了一种人脸关键点追踪装置，包括：

图像采集单元，用于采集当前视频图像帧；

人脸识别单元，用于从所述当前视频图像帧中定位出人脸关键点；

移动判断单元，用于判断所述当前视频图像帧中的人脸相对于所述当前视频图像帧的上一视频图像帧中的人脸是否移动；

有效人脸关键点确定单元，用于如果所述移动判断单元的判断结果为是，将从所述当前视频图像帧中定位出的人脸关键点确定为所述当前视频图像帧的有效人脸关键点，否则，将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和，加权和结果确定为所述当前视频图像帧的有效人脸关键点。

可选的，所述移动判断单元具体用于：

获取所述当前视频图像帧中的每个像素点；

根据所述当前视频图像帧中的各个像素点与所述上一视频图像帧中对应位置的像素点之间的差值，确定出所述当前视频图像帧相对于所述上一视频图像帧的第一像素差均值；

判断所述第一像素差均值是否大于像素差阈值；

如果是，确定所述当前视频图像帧中的人脸相对于所述上一视频图像帧中的人脸存在移动，否则，确定所述当前视频图像帧中的人脸相对于所述上一视频图像帧中的人脸不存在移动。

可选的，所述移动判断单元具体用于：

根据从所述当前视频图像帧中定位出的各个人脸关键点与从所述上一视频图像帧中定位出的对应位置的人脸关键点之间的差值，确定出所述当前视频图像帧相对于所述上一视频图像帧的第二像素差均值；

判断所述第二像素差均值是否大于像素差阈值；

如果是，确定所述当前视频图像帧中的人脸相对于所述上一视频图像帧中的人脸存在移动，否则，确定所述当前视频图像帧中的人脸相对于上一视频图像帧中的人脸不存在移动。

可选的，所述有效人脸关键点确定单元，包括：

状态获取子单元，用于获取所述上一视频图像帧相对于所述当前视频图像的再上一视频图像帧是否移动；

第一加权计算子单元，用于如果状态获取子单元的获取结果为是，基于第一变化因子将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和；

第二加权计算子单元，用于如果状态获取子单元的获取结果为是，基于第二变化因子将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和，其中，所述第一变化因子为基于所述第二变化因子确定且大于所述第一变化因子。

可选的，所述第一加权计算子单元，具体用于：基于如下加权和公式将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和：

b.x2(i)＝bx1(i)*β1+a.x2(i)*(1.0-β1)；

b.y2(i)＝b.y1(i)*β1+a.y2(i)*(1.0-β1)；

其中，β1为所述第一变化因子，b.x1(i)为所述当前视频图像帧中定位出的第i人脸关键点的x坐标，a.x2(i)为所述上一视频图像帧中第i有效人脸关键点的x坐标，b.x2(i)为所述当前视频图像帧的有效人脸关键点的x坐标，b.y1(i)为所述当前视频图像帧中定位出的第i人脸关键点的y坐标，a.y2(i)为所述上一视频图像帧中第i有效人脸关键点的y坐标，b.y2(i)为所述当前视频图像帧的有效人脸关键点的y坐标，i为正整数。

可选的，所述第二加权计算子单元，具体用于：

基于如下加权和公式将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和：

b.x2(i)＝bx1(i)*β2+a.x2(i)*(1.0-β2)；

b.y2(i)＝b.y1(i)*β2+a.y2(i)*(1.0-β2)；

其中，β2为所述第二变化因子，b.x1(i)为所述当前视频图像帧中定位出的第i人脸关键点的x坐标，a.x2(i)为所述上一视频图像帧中第i有效人脸关键点的x坐标，b.x2(i)为所述当前视频图像帧的有效人脸关键点的x坐标，b.y1(i)为所述当前视频图像帧中定位出的第i人脸关键点的y坐标，a.y2(i)为所述上一视频图像帧中第i有效人脸关键点的y坐标，b.y2(i)为所述当前视频图像帧的有效人脸关键点的y坐标。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面任一实施方式所述的步骤。

第五方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面任一实施方式所述的步骤。

本发明实施例中提供的技术方案，至少具有如下技术效果或优点：

如果当前视频图像帧中的人脸相对于上一视频图像帧中的人脸存在移动，将从当前视频图像帧中定位出的人脸关键点确定为当前视频图像帧的有效人脸关键点，而不与上一视频图像帧中对应位置的有效人脸关键点进行加权和，从而使得移动的视频图像帧的人脸关键点没有延迟，因此不会产生人脸关键点的抖动。如果当前视频图像帧中的人脸相对于上一视频图像帧中的人脸不存在移动，则将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和的结果确定为当前视频图像帧的有效人脸关键点，从而保证了非移动的视频图像帧的人脸关键点的准确性，从而，这种根据匹配视频图像帧中人脸的移动与否而动态调节了视频图像帧的人脸关键点为哪种，完全避免了视频中人脸关键点追踪时抖动，平衡了人脸关键点的准确性和稳定性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的人脸关键点追踪方法的流程图；

图2为本发明实施例提供的人脸关键点追踪装置的程序模块图；

图3为本发明实施例提供的计算机可读存储介质的结构示意图；

图4为本发明实施例提供的计算机设备的结构示意图。

具体实施方式

本发明实施例通过提供一种人脸关键点追踪方法及应用和装置，解决了现有人脸关键点定位算法在视频追踪中定位出的人脸关键点会出现抖动的技术问题，总体思路如下：

采集当前视频图像帧；从当前视频图像帧中定位出人脸关键点；判断当前视频图像帧中的人脸相对于当前视频图像帧的上一视频图像帧中的人脸是否移动；如果是，将从当前视频图像帧中定位出的人脸关键点确定为当前视频图像帧的有效人脸关键点，否则，将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和，加权和结果确定为当前视频图像帧的有效人脸关键点。

上述方案，由于在当前视频图像帧中的人脸相对于上一视频图像帧中的人脸存在移动，将从当前视频图像帧中定位出的人脸关键点确定为当前视频图像帧的有效人脸关键点，从而使得移动的视频图像帧的人脸关键点没有延迟，因此不会产生人脸关键点的抖动。在当前视频图像帧中的人脸相对于上一视频图像帧中的人脸不存在移动，将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和的结果确定为当前视频图像帧的有效人脸关键点，从而保证了非移动的视频图像帧的人脸关键点的准确性，从而，这种根据匹配视频图像帧中人脸的移动与否而动态调节了视频图像帧的人脸关键点为哪种，完全避免了视频中人脸关键点追踪时抖动问题，平衡了人脸关键点的准确性和稳定性。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

参考图1所示，本发明实施例提供的人脸关键点追踪方法，包括：

s101、采集当前视频图像帧。

具体的，当前视频图像帧为视频中的当前视频图像帧，可以为网络直播视频中采集的当前视频图像帧，其中，当前视频图像帧中包括人脸。

s102、从当前视频图像帧中定位出人脸关键点。

需要说明的是，从当前视频图像帧中定位出的人脸关键点包括眼睛、鼻子、嘴巴、眉毛以及人脸各部件轮廓点等。

s103、判断当前视频图像帧中的人脸相对于当前视频图像帧的上一视频图像帧中的人脸是否移动。

为了说明书描述的简要，后续将当前视频图像帧的上一视频图像帧均称为上一视频图像帧。

具体的，判断当前视频图像帧中的人脸相对于上一视频图像帧中的人脸是否移动，可以有多种实施方式，下面给出两种实施方式：

实施方式一：

s1031、获取当前视频图像帧中的每个像素点；

s1032、根据当前视频图像帧中的各个像素点与上一视频图像帧中对应位置的像素点之间的差值，确定出当前视频图像帧相对于上一视频图像帧的第一像素差均值。

将当前视频图像帧中的各个像素点与上一视频图像帧中对应位置的像素点计算像素差值，从而得到各个像素差值，基于各个像素差值进行取平均值为当前视频图像帧相对于上一视频图像帧的第一像素差均值。

s1033、判断第一像素差均值是否大于像素差阈值。

像素差阈值取值需根据实际情况设定的定值，比如，根据人脸在视频图像中的大小获得。

s1034、如果第一像素差均值大于像素差阈值，确定当前视频图像帧中的人脸相对于上一视频图像帧中的人脸存在移动，否则，确定当前视频图像帧中的人脸相对于上一视频图像帧中的人脸不存在移动。

如果通过步骤s1031～s1034判断出当前视频图像帧中的人脸相对于当前视频图像帧的上一视频图像帧中的人脸是否移动，则步骤s1031～s1034可以与步骤s102同时执行，或者分任意先后次序执行。

实施方式二：根据当前视频图像帧与上一视频图像帧各自定位出的人脸关键点的位置来判断人脸是否移动，实现过程具体包括如下步骤：

s1031’：根据从当前视频图像帧中定位出的各个人脸关键点与从上一视频图像帧中定位出的对应位置的人脸关键点之间的差值，确定出当前视频图像帧相对于上一视频图像帧的第二像素差均值。

具体的，第二像素差均值的计算公式为：

其中，l为第二像素差均值，m为人脸关键点的个数，i的范围为[0,m-1]，a.x2(i)为上一视频图像帧中第i有效人脸关键点的x坐标，a.y2(i)为上一视频图像帧中第i有效人脸关键点的y坐标，bx1(i)为当前视频图像帧中定位出的第i人脸关键点的x坐标，b.y1(i)为当前视频图像帧中定位出的第i人脸关键点的y坐标。

假设在步骤s102中定位出人脸关键点的总数为68，而在上一次执行步骤s102以从上一视频图像帧中定位出的人脸关键点的总数为68。则计算针对这68个人脸关键点的像素差均值为第二像素差均值。

s1032’：判断第二像素差均值是否大于像素差阈值。

在本实施例中的像素差阈值根据实际情况设定，与人脸所在像素点在视频中的占比相关。

s1033’：如果判断出第二像素差均值大于像素差阈值，确定当前视频图像帧中的人脸相对于上一视频图像帧中的人脸存在移动，否则，确定当前视频图像帧中的人脸相对于上一视频图像帧中的人脸不存在移动。

本实施例是在基于步骤s102定位出各个人脸关键点之后再依次执行步骤s1031’～s1034’以判断出当前视频图像帧中的人脸相对于当前视频图像帧的上一视频图像帧中的人脸是否移动。

在步骤s103之后，接着执行步骤s104：如果当前视频图像帧中的人脸相对于上一视频图像帧中的人脸不存在移动，将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和，加权和结果确定为当前视频图像帧的有效人脸关键点；如果当前视频图像帧中的人脸相对于上一视频图像帧中的人脸存在移动，将从当前视频图像帧中定位出的人脸关键点确定为当前视频图像帧的有效人脸关键点。

在一实施例中，仅考虑当前视频图像帧中的人脸相对于上一视频图像帧中的人脸的两种状态：移动和非移动，为了使人脸非移动状态下的人脸关键点尽可能稳定，当前视频图像帧中的人脸相对于上一视频图像帧为移动状态，则：基于一个目标变化因子将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和，以得到当前视频图像帧的有效人脸关键点。具体来讲，计算过程为：当前视频图像帧中定位出的人脸关键点与目标变化因子值的乘积+上一视频图像帧中对应位置的有效人脸关键点与(1-目标变化因子值)的乘积，作为当前视频图像帧中的有效人脸关键点。在具体实施过程中，目标变化因子值设定为0.25。

当前视频图像帧中的人脸相对于上一视频图像帧为移动状态，则：将从当前视频图像帧中定位出的人脸关键点确定为当前视频图像帧的有效人脸关键点。在本实施例中不考虑上一视频图像帧中的人脸相对于再上一帧视频图像中的人脸是否移动。

通过本实施例，人脸存在移动的情况下，不进行与上一视频图像帧的人脸关键点进行加权求和，使得处于人脸在移动状态下追踪视频中的人脸关键点没有延迟，因此，即使视频中人脸发生移动，追踪人脸关键点也不会产生抖动。

在另一实施例中，不仅考虑当前视频图像帧中的人脸相对于上一视频图像帧中的人脸是否移动，还考虑上一视频图像帧中的人脸相对于再上一帧视频图像中的人脸是否移动，从而提供了如下实施过程：

获取上一视频图像帧相对于当前视频图像的再上一视频图像帧是否移动；如果是，基于第一变化因子将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和；否则，基于第二变化因子将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和，其中，第一变化因子为基于第二变化因子确定且大于第一变化因子。

通过本实施例中，考虑了视频中人脸是持续非移动，即：当前视频帧相对于上一帧和再上一帧视频图像中的人脸均未移动、还是从移动切换至非移动(即：当前视频帧相对于上一视频图像帧中的人脸为非移动，而相对于再上一帧视频图像中的人脸为移动)，从而使用不同值的变化因子作用于当前视频图像帧与上一视频图像帧进行人脸关键点的加权求和，从而动态调节了加权求和的参数，以适应不同人脸的状态，进而使人脸关键点的定位效果更加稳定。

具体的，基于第一变化因子将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和，具体为：基于如下加权和公式将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和：

b.x2(i)＝b.x1(i)*β1+a.x2(i)*(1.0-β1)；

b.y2(i)＝b.y1(i)*β1+a.y2(i)*(1.0-β1)；

其中，β1为所述第一变化因子，b.x1(i)为所述当前视频图像帧中定位出的第i人脸关键点的x坐标，a.x2(i)为所述上一视频图像帧中第i有效人脸关键点的x坐标，b.x2(i)为所述当前视频图像帧的有效人脸关键点的x坐标，b.y1(i)为所述当前视频图像帧中定位出的第i人脸关键点的y坐标，a.y2(i)为所述上一视频图像帧中第i有效人脸关键点的y坐标，b.y2(i)为所述当前视频图像帧的有效人脸关键点的y坐标，i为正整数。

具体的，基于第二变化因子将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和，包括：

基于如下加权和公式将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和：

b.x2(i)＝bx1(i)*β2+a.x2(i)*(1.0-β2)；

b.y2(i)＝b.y1(i)*β2+a.y2(i)*(1.0-β2)；

其中，β2为所述第二变化因子，b.x1(i)为所述当前视频图像帧中定位出的第i人脸关键点的x坐标，a.x2(i)为所述上一视频图像帧中第i有效人脸关键点的x坐标，b.x2(i)为所述当前视频图像帧的有效人脸关键点的x坐标，b.y1(i)为所述当前视频图像帧中定位出的第i人脸关键点的y坐标，a.y2(i)为所述上一视频图像帧中第i有效人脸关键点的y坐标，b.y2(i)为所述当前视频图像帧的有效人脸关键点的y坐标。

具体的，第一变化因子根据第二变化因子确定所用公式为：

β1＝β2+(1.0-β2)/2；

其中，β2为第二变化因子，β1为第一变化因子。

在具体实施过程中，第一变化因子和第二变化因子的范围均为范围为(0,1)，举例来讲，第二变化因子可以为0.25，则第一变化因子为0.625，当然，第二变化因子和第一变化因子也可以为其他基于前述限定条件确定出的其他数值。

基于同一发明构思，本发明实施例还提供了一种视频中人脸图像美型方法，对前述人脸关键点追踪方法实施例中的任一实施方式确定出的当前视频图像帧的各个有效人脸关键点中的至少一个有效人脸关键点进行美型。

对前述人脸关键点追踪方法实施例中的任一实施方式确定出的当前视频图像帧的眼睛、鼻子、嘴巴、眉毛以及人脸各部件轮廓点的一个或多个进行美型。确定出当前视频图像帧的各个有效人脸关键点的实施方式已经在前述人脸关键点追踪方法实施例详细描述，为了说明书的简洁，不再赘述。凡是应用前述人脸关键点追踪方法实施例得出有效人脸关键点后进行的美型都属于本实施例意欲保护的范围。

基于同一发明构思，本发明实施例提供了一种人脸关键点追踪装置，参考图2所示，包括：

图像采集单元201，用于采集当前视频图像帧；

人脸识别单元202，用于从当前视频图像帧中定位出人脸关键点；

移动判断单元203，用于判断当前视频图像帧中的人脸相对于当前视频图像帧的上一视频图像帧中的人脸是否移动；

有效人脸关键点确定单元204，用于如果移动判断单元的判断结果为是，将从当前视频图像帧中定位出的人脸关键点确定为当前视频图像帧的有效人脸关键点，否则，将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和，加权和结果确定为当前视频图像帧的有效人脸关键点。

可选的，移动判断单元203具体用于：

获取当前视频图像帧中的每个像素点；

根据当前视频图像帧中的各个像素点与上一视频图像帧中对应位置的像素点之间的差值，确定出当前视频图像帧相对于上一视频图像帧的第一像素差均值；

判断第一像素差均值是否大于像素差阈值；

如果是，确定当前视频图像帧中的人脸相对于上一视频图像帧中的人脸存在移动，否则，确定当前视频图像帧中的人脸相对于上一视频图像帧中的人脸不存在移动。

可选的，移动判断单元203具体用于：

根据从当前视频图像帧中定位出的各个人脸关键点与从上一视频图像帧中定位出的对应位置的人脸关键点之间的差值，确定出当前视频图像帧相对于上一视频图像帧的第二像素差均值；

判断第二像素差均值是否大于像素差阈值；

如果是，确定当前视频图像帧中的人脸相对于上一视频图像帧中的人脸存在移动，否则，确定当前视频图像帧中的人脸相对于上一视频图像帧中的人脸不存在移动。

可选的，有效人脸关键点确定单元204，包括：

状态获取子单元，用于获取上一视频图像帧相对于当前视频图像的再上一视频图像帧是否移动；

第一加权计算子单元，用于如果状态获取子单元的获取结果为是，基于第一变化因子将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和；

第二加权计算子单元，用于如果状态获取子单元的获取结果为是，基于第二变化因子将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和，其中，第一变化因子为基于第二变化因子确定且大于第一变化因子。

可选的，第一加权计算子单元，具体用于：基于如下加权和公式将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和：

b.x2(i)＝bx1(i)*β1+a.x2(i)*(1.0-β1)；

b.y2(i)＝b.y1(i)*β1+a.y2(i)*(1.0-β1)；

其中，β1为第一变化因子，bx1(i)为当前视频图像帧中定位出的第i人脸关键点的x坐标，a.x2(i)为上一视频图像帧中第i有效人脸关键点的x坐标，b.x2(i)为当前视频图像帧的有效人脸关键点的x坐标，b.y(i)为当前视频图像帧中定位出的第i人脸关键点的y坐标，a.y2(i)为上一视频图像帧中第i有效人脸关键点的y坐标，b.y2(i)为当前视频图像帧的有效人脸关键点的y坐标，i为正整数。

可选的，第二加权计算子单元，具体用于：

基于如下加权和公式将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和：

b.x2(i)＝bx1(i)*β2+a.x2(i)*(1.0-β2)；

b.y2(i)＝b.y1(i)*β2+a.y2(i)*(1.0-β2)；

其中，β2为第二变化因子，bx1(i)为当前视频图像帧中定位出的第i人脸关键点的x坐标，a.x2(i)为上一视频图像帧中第i有效人脸关键点的x坐标，b.x2(i)为当前视频图像帧的有效人脸关键点的x坐标，b.y(i)为当前视频图像帧中定位出的第i人脸关键点的y坐标，a.y2(i)为上一视频图像帧中第i有效人脸关键点的y坐标，b.y2(i)为当前视频图像帧的有效人脸关键点的y坐标。

由于本实施例所介绍的装置为实施前述人脸关键点追踪方法所采用的装置，故而基于本发明实施例中所介绍的人脸关键点追踪方法，本领域所属技术人员能够了解本实施例的装置的具体实施方式以及其各种变化形式，所以在此对于该装置如何实现本发明实施例中的方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中信息处理的方法所采用的装置，都属于本发明所欲保护的范围。

基于同一发明构思，参考图3所示，本发明实施例提供了一种计算机可读存储介质301，其上存储有计算机程序302，该程序302被处理器执行时实现前述人脸关键点追踪方法实施例中的任一实施方式的步骤。

基于同一发明构思，本发明实施例提供了一种计算机设备400，参考图4所示，包括存储器410、处理器420及存储在存储器410上并可在处理器420上运行的计算机程序411，处理器420执行程序411时实现前述人脸关键点追踪方法实施例中任一实施方式的步骤。

本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

如果当前视频图像帧中的人脸相对于上一视频图像帧中的人脸存在移动，将从当前视频图像帧中定位出的人脸关键点确定为当前视频图像帧的有效人脸关键点，而不与上一视频图像帧中对应位置的有效人脸关键点进行加权和，从而使得移动的视频图像帧的人脸关键点没有延迟，因此不会产生人脸关键点的抖动。如果当前视频图像帧中的人脸相对于上一视频图像帧中的人脸不存在移动，则将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和的结果确定为当前视频图像帧的有效人脸关键点，从而保证了非移动的视频图像帧的人脸关键点的准确性，从而，这种根据匹配视频图像帧中人脸的移动与否而动态调节了视频图像帧的人脸关键点为哪种，完全避免了视频中人脸关键点追踪时抖动，平衡了人脸关键点的准确性和稳定性。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。