人脸跟踪方法、电子设备及存储介质与流程

本申请涉及图像处理，尤其涉及一种人脸跟踪方法、电子设备及存储介质。

背景技术：

1、人脸跟踪，是对视频图像中人脸的轨迹进行追踪，并得到每个人在每一帧图像中的人脸坐标框位置的一种技术。

2、相关技术中，通过对视频流中的每帧图像进行人脸检测，并通过检测到的前后帧人脸位置进行加权平滑处理。然而，由于视频流中的人脸位置是实时发生变动的，导致相关技术中无法确定较为稳定、准确的人脸位置，造成人脸跟踪稳定性较差。此外，通过对前后帧人脸位置进行加权平滑处理需要对前后两帧图像进行人脸检测，需处理的数据量较大，导致人脸跟踪延迟。

技术实现思路

1、鉴于以上内容，有必要提供一种人脸跟踪方法、电子设备及存储介质，能够解决如何提高人脸跟踪稳定性及跟踪及时性的技术问题。

2、一方面，本申请提出一种人脸跟踪方法，所述人脸跟踪方法包括：从视频流的任一帧图像中截取出人脸图像；计算所述人脸图像与标准人脸图像的相似变换矩阵；基于所述相似变换矩阵，对所述任一帧图像进行对齐处理，得到对齐图像；若所述对齐图像中包含人脸信息，根据所述对齐图像及所述相似变换矩阵，确定所述任一帧图像的目标关键点坐标；对所述目标关键点坐标进行滤波转换处理，得到所述任一帧图像在所述视频流中的下一帧图像的预测人脸坐标。

3、根据本申请优选实施例，所述从视频流的任一帧图像中截取出人脸图像包括：基于预先训练的人脸检测模型对所述任一帧图像进行检测，确定检测位置；基于所述检测位置，识别所述任一帧图像中的第一人脸检测框的原始尺寸；基于第一预设比例对所述原始尺寸进行调整，得到目标尺寸；根据所述目标尺寸与所述原始尺寸的尺寸差值、以及所述检测位置，识别目标位置；从所述任一帧图像中截取与所述目标位置对应的区域作为所述人脸图像。

4、根据本申请优选实施例，所述尺寸差值包括高度差值及宽度差值，所述目标位置包括多个目标点，所述根据所述目标尺寸与所述原始尺寸的尺寸差值、以及所述检测位置，识别目标位置包括：从所述第一人脸检测框中确定具有最小横坐标值及最小纵坐标值坐标点作为第一坐标点，并确定具有最大横坐标值及最大纵坐标值的坐标点作为第二坐标点，第一坐标点包括第一横坐标值及第一纵坐标值，第二坐标点包括第二横坐标值及第二纵坐标值；计算所述宽度差值与预设数值的宽度比值，并计算所述高度差值与所述预设数值的高度比值；根据所述第一横坐标值与所述宽度比值的差值、所述第一纵坐标值与所述高度比值的差值生成与所述第一坐标点对应的目标点，并根据所述第二横坐标值与所述宽度比值的总和、所述第二纵坐标值与所述高度比值的总和生成与所述第二坐标点对应的目标点。

5、根据本申请优选实施例，所述计算所述人脸图像与标准人脸图像的相似变换矩阵包括：基于预先训练的第一人脸关键点检测模型对所述人脸图像进行检测，得到第一关键点坐标；根据所述第一关键点坐标及所述标准人脸图像的标准人脸坐标，生成所述相似变换矩阵。

6、根据本申请优选实施例，在根据所述对齐图像及所述相似变换矩阵，确定所述任一帧图像的目标关键点坐标之前，所述方法还包括：从所述第一关键点检测模型中提取判别网络；基于获取到的训练图像对所述判别网络进行参数调整，得到人脸判别模型；基于所述人脸判别模型对所述对齐图像进行判别，得到判别结果。

7、根据本申请优选实施例，所述根据所述对齐图像及所述相似变换矩阵，确定所述任一帧图像的目标关键点坐标包括：获取所述相似变换矩阵的逆矩阵；基于预先训练的第二人脸关键点检测模型对所述对齐图像进行检测，得到多个第二关键点坐标；将所述多个第二关键点坐标转换为坐标矩阵；根据所述逆矩阵对所述坐标矩阵进行转换，得到所述目标关键点坐标。

8、根据本申请优选实施例，所述对所述目标关键点坐标进行滤波转换处理，得到所述任一帧图像在所述视频流的下一帧图像中的预测人脸坐标包括：利用预设窗口对多个所述目标关键点坐标对应的关键点进行滑动处理，得到多个关键点窗口；根据每个关键点窗口的关键点数量，对所述多个关键点窗口进行滤波处理，得到与所述多个目标关键点坐标对应的多个滤波坐标；根据所述多个滤波坐标定位所述任一帧图像的第二人脸检测框；基于第二预设比例及所述第二人脸检测框生成所述下一帧图像的预测检测框，并从所述预测检测框中确定出所述预测人脸坐标。

9、根据本申请优选实施例，所述根据每个关键点窗口的关键点数量，对所述多个关键点窗口进行滤波处理，得到与所述多个目标关键点坐标对应的多个滤波坐标包括：若所述关键点数量大于或者等于所述预设窗口的窗口长度，基于预先训练的平滑模型对所述关键点窗口进行处理，得到所述关键点窗口的滤波窗口；若所述关键点数量小于所述窗口长度，将所述关键点窗口确定为滤波窗口；计算每个滤波窗口中多个滤波点的坐标均值，得到所述多个滤波坐标。

10、另一方面，本申请还提出一种人脸跟踪装置，所述人脸跟踪装置包括：截取单元，用于从视频流的任一帧图像中截取出人脸图像；计算单元，用于计算所述人脸图像与标准人脸图像的相似变换矩阵；对齐单元，用于基于所述相似变换矩阵，对所述任一帧图像进行对齐处理，得到对齐图像；确定单元，用于若所述对齐图像中包含人脸信息，根据所述对齐图像及所述相似变换矩阵，确定所述任一帧图像的目标关键点坐标；转换单元，用于对所述目标关键点坐标进行滤波转换处理，得到所述任一帧图像在所述视频流中的下一帧图像的预测人脸坐标。

11、另一方面，本申请还提出一种电子设备，所述电子设备包括：存储器，存储计算机可读指令；及处理器，执行所述存储器中存储的计算机可读指令以实现所述人脸跟踪方法。

12、另一方面，本申请还提出一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可读指令，所述计算机可读指令被电子设备中的处理器执行以实现所述人脸跟踪方法。

13、由以上技术方案可以看出，本申请实施例通过人脸图像与标准人脸图像的相似变换矩阵，对任一帧图像进行对齐处理，由于人脸图像的尺寸小于任一帧图像的尺寸，因此，能够提高对齐图像的生成效率，同时，通过剔除任一帧图像中的背景干扰信息，以获取人脸图像进行相似变换矩阵的计算，能够提高对齐图像的生成准确性，进而在对齐图像中包含人脸信息时，通过结合对齐图像及相似变换矩阵，确定任一帧图像的目标关键点坐标，能够避免对齐图像中因不包含人脸信息而导致无法检测出目标关键点坐标，从而提高目标关键点坐标的检测准确性，进而通过对目标关键点坐标进行滤波处理，能够提高预测人脸坐标的稳定性。此外，本申请实施例通过任一帧图像的目标关键点坐标，生成下一帧图像中的预测人脸坐标，由于无需对视频流中的每帧图像进行检测，即可获得下一帧图像中的预测人脸坐标，因此，能够提高预测人脸坐标的生成及时性，从而提高了人脸跟踪及时性。

技术特征：

1.一种人脸跟踪方法，其特征在于，所述人脸跟踪方法包括：

2.如权利要求1所述的人脸跟踪方法，其特征在于，所述从视频流的任一帧图像中截取出人脸图像包括：

3.如权利要求2所述的人脸跟踪方法，其特征在于，所述尺寸差值包括高度差值及宽度差值，所述目标位置包括多个目标点，所述根据所述目标尺寸与所述原始尺寸的尺寸差值、以及所述检测位置，识别目标位置包括：

4.如权利要求1所述的人脸跟踪方法，其特征在于，所述计算所述人脸图像与标准人脸图像的相似变换矩阵包括：

5.如权利要求4所述的人脸跟踪方法，其特征在于，在根据所述对齐图像及所述相似变换矩阵，确定所述任一帧图像的目标关键点坐标之前，所述方法还包括：

6.如权利要求1所述的人脸跟踪方法，其特征在于，所述根据所述对齐图像及所述相似变换矩阵，确定所述任一帧图像的目标关键点坐标包括：

7.如权利要求1所述的人脸跟踪方法，其特征在于，所述对所述目标关键点坐标进行滤波转换处理，得到所述任一帧图像在所述视频流中的下一帧图像的预测人脸坐标包括：

8.如权利要求7所述的人脸跟踪方法，其特征在于，所述根据每个关键点窗口的关键点数量，对所述多个关键点窗口进行滤波处理，得到与所述多个目标关键点坐标对应的多个滤波坐标包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有计算机可读指令，所述计算机可读指令被电子设备中的处理器执行以实现如权利要求1至8中任意一项所述的人脸跟踪方法。

技术总结
本申请涉及图像处理领域，提供一种人脸跟踪方法、电子设备及存储介质。该方法从视频流的任一帧图像中截取出人脸图像；计算人脸图像与标准人脸图像的相似变换矩阵；基于相似变换矩阵，对任一帧图像进行对齐处理，得到对齐图像；若对齐图像中包含人脸信息，根据对齐图像及相似变换矩阵，确定任一帧图像的目标关键点坐标；对目标关键点坐标进行滤波转换处理，得到任一帧图像在视频流的下一帧图像中的预测人脸坐标。上述方法能够提高人脸跟踪稳定性和及时性。

技术研发人员：吉祥
受保护的技术使用者：深圳市即构科技有限公司
技术研发日：
技术公布日：2024/1/13