一种人脸跟踪方法和相机与流程

本发明涉及机器学习技术领域，尤其涉及一种人脸跟踪方法和相机。

背景技术：

人脸对齐是在图像中检测人脸并标注每个特定的点位。人脸对齐技术常用于视频处理，例如直播、短视频等应用。

人脸对齐的实时跟踪问题对视频的处理有很大的帮助，然而目前对人脸对齐的研究比较热衷，对人脸对齐的实时跟踪研究较少，而且多数跟踪算法所确定的点位，在帧间存在抖动，使得跟踪结果存在明显的失真。

技术实现要素：

本发明提供了一种人脸跟踪方法和相机，以至少部分地解决上述问题。

第一方面，本发明提供了一种人脸跟踪方法，包括：获取采集到的图像帧序列中第一帧图像的面部特征点的初始位置；将所述面部特征点的初始位置作为卷积神经网络的输入，所述卷积神经网络输出所述面部特征点的位置概率热图，对所述面部特征点的位置概率热图采用点分布模型进行迭代回归处理，获得所述面部特征点在所述第一帧图像的像素位置；其中，所述位置概率热图表示所述面部特征点处于所述第一帧图像中像素位置的概率；利用所述面部特征点在第一帧图像的像素位置，获取所述图像帧序列中第二帧图像的面部特征点的初始位置，实现人脸跟踪。

在一些实施例中，利用所述面部特征点在第一帧图像的像素位置，获得所述图像帧序列中第二帧图像的面部特征点的初始位置，包括：利用多任务级联卷积网络或者利用机器学习工具dlib对所述第二帧图像进行人脸检测；在所述第二帧图像中检测到人脸时，根据所述面部特征点在第一帧图像的位置信息和预设松弛量，获取所述第二帧图像中面部特征点的初始位置，所述预设松弛量表示相邻帧图像中同一特征点的位置变化。

在一些实施例中，根据所述面部特征点在第一帧图像的位置信息和预设松弛量，获取所述第二帧图像中面部特征点的初始位置，包括：根据获取所述第二帧图像中面部特征点的初始位置；其中，为所述第二帧图像中的面部特征点i的初始位置，为所述第一帧图像中面部特征点i的位置信息，i为大于1的自然数，0＜α＜1，α为预设调节因子，dxmon为所述预设松弛量。

在一些实施例中，利用多任务级联卷积网络或者利用机器学习工具dlib对所述第二帧图像进行人脸检测，还包括：在未检测到所述第二帧图像中的人脸时，从预先构建的平均脸图像上提取面部特征点；将所述平均脸上的面部特征点的点位确定为所述第二帧图像中所述面部特征点的初始位置。

在一些实施例中，获取所述图像帧序列中第一帧图像的面部特征点的初始位置，包括：从预先构建的平均脸图像上提取面部特征点；将所述平均脸上的面部特征点的点位确定为所述第一帧图像中所述面部特征点的初始位置。

在一些实施例中，从预先构建的平均脸图像上提取面部特征点，包括：获取人脸训练样本集合中每个人脸训练样本的面部特征点，所述人脸训练样本集合中每个人脸训练样本的面部特征点已进行标定；根据每个人脸训练样本的面部特征点构建所述人脸训练样本到平均脸模型的映射矩阵；根据所述映射矩阵将全部人脸训练样本的面部特征点分别叠加到所述平均脸模型，获得所述平均脸图像上，并将叠加后的面部特征点确定为所述平均脸图像的面部特征点。

第二方面，本发明提供了一种相机，包括：摄像头和处理器；所述摄像头，采集用户脸部的图像帧序列并发送给所述处理器；所述处理器，获取所述图像帧序列中第一帧图像的面部特征点的初始位置；将所述面部特征点的初始位置作为卷积神经网络的输入，所述卷积神经网络输出所述面部特征点的位置概率热图，对所述面部特征点的位置概率热图采用点分布模型进行迭代回归处理，获得所述面部特征点在所述第一帧图像的位置信息；其中，所述位置概率热图表示所述面部特征点处于所述第一帧图像中每个像素位置的概率；利用所述面部特征点在第一帧图像的位置信息，获取所述图像帧序列中第二帧图像的面部特征点的初始位置，实现人脸跟踪。

在一些实施例中，处理器还利用多任务级联卷积网络或者利用机器学习工具dlib对所述第二帧图像进行人脸检测；在所述第二帧图像中检测到人脸时，根据所述面部特征点在第一帧图像的位置信息和预设松弛量，获取所述第二帧图像中面部特征点的初始位置，所述预设松弛量表示相邻帧图像中同一特征点的位置变化。

在一些实施例中，处理器在未检到测所述第二帧图像中的人脸时，从预先构建的平均脸图像上提取面部特征点；将所述平均脸上的面部特征点的点位确定为所述第二帧图像中所述面部特征点的初始位置。

在一些实施例中，处理器获取人脸训练样本集合中每个人脸训练样本的面部特征点，所述人脸训练样本集合中每个人脸训练样本的面部特征点已进行标定；根据每个人脸训练样本的面部特征点构建所述人脸训练样本到平均脸模型的映射矩阵；根据所述映射矩阵将全部人脸训练样本的面部特征点分别叠加到所述平均脸模型，获得所述平均脸图像上，并将叠加后的面部特征点确定为所述平均脸图像的面部特征点。

本发明利用第一帧图像的面部特征点预测第二帧图像的面部特征点的初始位置，在获得每帧图像中面部特征点的初始位置时，采用卷积神经网络和pdm相结合的方式识别每帧图像中面部特征点的具体像素位置，实现帧间的人脸对齐跟踪，避免帧间面部特征点的不稳定、抖动问题，提高跟踪的准确度和跟踪速度。

附图说明

图1为本发明实施例示出的人脸跟踪方法的流程图；

图2为本发明实施例示出的相机的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。

因此，本发明的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本发明的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本发明的上下文中，计算机可读存储介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(hdd)；光存储装置，如光盘(cd-rom)；存储器，如随机存取存储器(ram)或闪存；和/或有线/无线通信链路。

人脸跟踪是指根据上一帧的信息预测本帧面部特征点的位置，对本帧人脸对齐有着非常重要的意义，可以缩小本帧的搜索范围，并且可以提高跟踪精度。本实施例针对帧间跟踪的抖动性导致人脸对齐的不真实问题，提出一种无抖动的帧间跟踪方法。

图1为本发明实施例示出的人脸跟踪方法的流程图，如图1所示，本实施例的方法包括：

s110，获取采集到的图像帧序列中第一帧图像的面部特征点的初始位置。

其中，面部特征点包括标识眼睛、鼻子、嘴巴、眉毛、人脸轮廓等部位的特征点。

s120，将所述面部特征点的初始位置作为卷积神经网络的输入，所述卷积神经网络输出所述面部特征点的位置概率热图，对所述面部特征点的位置概率热图采用点分布模型进行迭代回归处理，获得所述面部特征点在所述第一帧图像的像素位置；其中，所述位置概率热图表示所述面部特征点处于所述第一帧图像中每个像素位置的概率。

本实施例先利用卷积神经网络对面部特征点的位置进行处理，然后基于卷积神经网络输出的面部特征点的位置概率热利用点分布模型(pointdistributionmodel，pdm)进行迭代回归处理，获得面部特征点具体的像素位置信息，通过结合卷积神经网络和pdm提高面部特征点的识别精度。

s130，利用所述面部特征点在第一帧图像的像素位置，获取所述图像帧序列中第二帧图像的面部特征点的初始位置，实现人脸跟踪。

基于面部特征点在第一帧图像的像素位置可以预测第二帧图像中面部特征点的初始位置，然后结合卷积神经网络和pdm即可获得第二帧图像中面部特征点的像素位置，依次可以预测图像帧序列中后续每帧图像中面部特征点的像素位置，实现对人脸的跟踪识别。

本实施例利用第一帧图像的面部特征点预测第二帧图像的面部特征点的初始位置，在获得每帧图像中面部特征点的初始位置时，采用卷积神经网络和pdm相结合的方式识别每帧图像中面部特征点的具体像素位置，实现帧间人脸对齐跟踪，避免帧间面部特征点的不稳定、抖动问题，提高跟踪的准确度和跟踪速度。

下面对上述步骤s110-s130进行详细说明。

首先，执行步骤s110，即获取采集到的图像帧序列中第一帧图像的面部特征点的初始位置。

在一些实施例中，第一帧图像中面部特征点的初始位置的获取方法如下：从预先构建的平均脸图像上提取面部特征点；将所述平均脸上的面部特征点的点位确定为所述第一帧图像中所述面部特征点的初始位置。

其中，可以获取人脸训练样本集合中每个人脸训练样本的面部特征点，所述人脸训练样本集合中每个人脸训练样本的面部特征点已进行标定；根据每个人脸训练样本的面部特征点构建所述人脸训练样本到平均脸模型的映射矩阵；根据所述映射矩阵将全部人脸训练样本的面部特征点分别叠加到所述平均脸模型，获得所述平均脸图像上，并将叠加后的面部特征点确定为所述平均脸图像的面部特征点。

在获取第一帧图像的面部特征点的初始位置之后，继续执行步骤s120，即将所述面部特征点的初始位置作为卷积神经网络的输入，所述卷积神经网络输出所述面部特征点的位置概率热图，对所述面部特征点的位置概率热图采用点分布模型进行迭代回归处理，获得所述面部特征点在所述第一帧图像的位置信息；其中，所述位置概率热图表示所述面部特征点处于所述第一帧图像中每个像素位置的概率。

本实施例先利用卷积神经网络计算出面部特征点关于位置的位置概率热图，利用卷积神经网络能够提高计算速度，且pdm是一种可以通过点位的位置概率热图，通过迭代回归处理，得到点位具体位置的一种模型，在利用卷积神经网络计算出面部特征点关于位置的位置概率热图后即可对面部特征点关于位置的位置概率热图采用pdm进行迭代回归处理，确定面部特征点的具体像素位置，本实施例通过卷积神经网络与pdm的配合所确定的面部特征点可以在帧间产生无抖动的效果。

在获取面部特征点在所述第一帧图像的位置信息之后，继续执行步骤s130，即利用所述面部特征点在第一帧图像的位置信息，获取所述图像帧序列中第二帧图像的面部特征点的初始位置，实现人脸跟踪。

在一些实施例中，通过下述方法获得第二帧图像中面部特征点的初始位置：利用多任务级联卷积网络或者利用机器学习工具dlib对所述第二帧图像进行人脸检测；在所述第二帧图像中检测到人脸时，根据所述面部特征点在第一帧图像的位置信息和预设松弛量，获取所述第二帧图像中面部特征点的初始位置，所述预设松弛量表示相邻帧图像中同一特征点的位置变化。

结合本实施例的一个示例，可以根据获取所述第二帧图像中面部特征点的初始位置；其中，为所述第二帧图像中的面部特征点i的初始位置，为所述第一帧图像中面部特征点i的位置信息，i为大于1的自然数，0＜α＜1，α为预设调节因子，dxmon为所述预设松弛量。

在利用多任务级联卷积网络或者利用机器学习工具dlib对所述第二帧图像进行人脸检测时，若所述第二帧图像中未检测到人脸，从预先构建的平均脸图像上提取面部特征点；将所述平均脸上的面部特征点的点位确定为所述第二帧图像中所述面部特征点的初始位置。

即获取人脸训练样本集合中每个人脸训练样本的面部特征点，所述人脸训练样本集合中每个人脸训练样本的面部特征点已进行标定；根据每个人脸训练样本的面部特征点构建所述人脸训练样本到平均脸模型的映射矩阵；根据所述映射矩阵将全部人脸训练样本的面部特征点分别叠加到所述平均脸模型，获得所述平均脸图像上，并将叠加后的面部特征点确定为所述平均脸图像的面部特征点；将所述平均脸上的面部特征点的点位确定为所述第二帧图像中所述面部特征点的初始位置。

本发明还提供一种相机。

图2为本发明实施例示出的相机的结构框图，如图2所示，本实施例的相机包括：摄像头和处理器；其中，

摄像头，采集用户脸部的图像帧序列并发送给所述处理器；

处理器，获取所述图像帧序列中第一帧图像的面部特征点的初始位置；将所述面部特征点的初始位置作为卷积神经网络的输入，所述卷积神经网络输出所述面部特征点的位置概率热图，对所述面部特征点的位置概率热图采用点分布模型进行迭代回归处理，获得所述面部特征点在所述第一帧图像的位置信息；其中，所述位置概率热图表示所述面部特征点处于所述第一帧图像中每个像素位置的概率；利用所述面部特征点在第一帧图像的位置信息，获取所述图像帧序列中第二帧图像的面部特征点的初始位置，实现人脸跟踪。

本实施例利用第一帧图像的面部特征点预测第二帧图像的面部特征点的初始位置，在获得每帧图像中面部特征点的初始位置时，采用卷积神经网络和pdm相结合的方式识别每帧图像中面部特征点的具体像素位置，实现帧间人脸对齐跟踪，避免帧间面部特征点的不稳定、抖动问题，提高跟踪的准确度和跟踪速度。

在一些实施例中，处理器，还利用多任务级联卷积网络或者利用机器学习工具dlib对所述第二帧图像进行人脸检测；在所述第二帧图像中检测到人脸时，根据所述面部特征点在第一帧图像的位置信息和预设松弛量，获取所述第二帧图像中面部特征点的初始位置，所述预设松弛量表示相邻帧图像中同一特征点的位置变化。

结合本实施例的一个示例，处理器，根据获取所述第二帧图像中面部特征点的初始位置；其中，为所述第二帧图像中的面部特征点i的初始位置，为所述第一帧图像中面部特征点i的位置信息，i为大于1的自然数，0＜α＜1，α为预设调节因子，dxmon为所述预设松弛量。

在一些实施例中，处理器，在未检测到所述第二帧图像中的人脸时，从预先构建的平均脸图像上提取面部特征点，将所述平均脸上的面部特征点的点位确定为所述第二帧图像中所述面部特征点的初始位置。

在一些实施例中，处理器，从预先构建的平均脸图像上提取面部特征点，将所述平均脸上的面部特征点的点位确定为所述第一帧图像中所述面部特征点的初始位置。

其中，处理器，具体是获取人脸训练样本集合中每个人脸训练样本的面部特征点，所述人脸训练样本集合中每个人脸训练样本的面部特征点已进行标定；根据每个人脸训练样本的面部特征点构建所述人脸训练样本到平均脸模型的映射矩阵；根据所述映射矩阵将全部人脸训练样本的面部特征点分别叠加到所述平均脸模型，获得所述平均脸图像上，并将叠加后的面部特征点确定为所述平均脸图像的面部特征点。

对于相机实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的相机实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

为了便于清楚描述本发明实施例的技术方案，在发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。

以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。