一种人脸关键点检测方法、装置、电子设备及存储介质与流程

本技术涉及图像处理，具体涉及一种人脸关键点检测方法、装置、电子设备及存储介质。

背景技术：

1、随着人民生活水平的提高，大众对自身美的追求越来越高。例如，在网络直播中，主播一般会开启直播设备的美颜功能，呈现在观众面前的一般是虚拟美颜整形之后的容貌。美颜功能一般有唇厚、开内眼角、开外眼角、眼眉的模拟整形。

2、然而，现有的模拟整形方法虽然能够针对人脸的局部区域模拟出整容后的模样，但由于人脸关键点检测不够准确，现有的模拟整形的效果往往与真实的整容效果差距较大，给观众带来虚假整容的感觉，用户的体验不佳。

技术实现思路

1、本技术提出一种人脸关键点检测方法、装置、电子设备及存储介质，能够使人脸关键点检测更加准确，使后续的模拟整形更贴近真实的整容，提高用户体验。

2、本技术第一方面提供一种人脸关键点检测方法，包括：

3、接收待检测的初始人脸图像；

4、对所述初始人脸图像进行数据增强预处理，得到预处理人脸图像；

5、利用预先训练好的深度学习模型对所述预处理人脸图像进行目标部位关键点检测，得到目标部位关键点信息；所述深度学习模型采用坐标注意力机制；

6、将所述目标部位关键点信息显示在所述初始人脸图像上的目标部位处。

7、在本技术的一些实施方式中，所述深度学习模型采用pfld模型，所述pfld模型包括关键点回归主网络和姿态估计子网络；

8、其中，所述关键点回归主网络中采用坐标注意力机制。

9、在本技术的一些实施方式中，所述pfld模型中的关键点回归主网络采用mobilenetv3网络。

10、在本技术的一些实施方式中，所述利用预先训练好的深度学习模型对所述预处理人脸图像进行目标部位关键点检测，得到目标部位关键点信息，包括：

11、将所述预处理人脸图像输入预先训练好的pfld模型，以利用所述pfld模型中的mobilenetv3网络对所述预处理人脸图像进行目标部位关键点检测，得到目标部位关键点信息。

12、在本技术的一些实施方式中，所述深度学习模型的训练过程如下：

13、获取人脸样本数据集，所述人脸样本中包括人脸关键点信息；

14、利用人脸关键点信息对每个人脸样本进行人脸对齐操作，得到对齐人脸样本；

15、对所述对齐人脸样本进行数据增强预处理，得到预处理人脸样本；

16、将所述预处理人脸样本输入所述pfld模型，以利用所述pfld模型对所述预处理人脸样本进行目标部位关键点检测，得到目标部位关键点信息；

17、基于预设的优化器和损失函数不断优化所述pfld模型的模型参数，当模型输出逼近或达到最优值时，得到训练好的pfld模型。

18、在本技术的一些实施方式中，所述对所述初始人脸图像进行数据增强预处理，包括：

19、基于albumentations数据增强库对所述初始人脸图像进行数据增强预处理。

20、在本技术的一些实施方式中，所述目标部位包括眼眉，所述目标部位关键点信息为眼眉关键点信息；

21、所述将所述目标部位关键点信息显示在所述初始人脸图像上的目标部位处，包括：将所述眼眉关键点信息显示在所述初始人脸图像上的眼眉处；

22、所述方法还包括：根据所述眼眉关键点信息和用户选择的眼眉整形类型对所述初始人脸图像上的眼眉进行整形。

23、本技术第二方面提供一种人脸关键点检测装置，包括：

24、接收模块，用于接收待检测的初始人脸图像；

25、预处理模块，用于对所述初始人脸图像进行数据增强预处理，得到预处理人脸图像；

26、检测模块，用于利用预先训练好的深度学习模型对所述预处理人脸图像进行目标部位关键点检测，得到目标部位关键点信息；所述深度学习模型采用坐标注意力机制；

27、显示模块，用于将所述目标部位关键点信息显示在所述初始人脸图像上的目标部位处。

28、在本技术的一些实施方式中，所述深度学习模型采用pfld模型，所述pfld模型包括关键点回归主网络和姿态估计子网络；

29、其中，所述关键点回归主网络中采用坐标注意力机制。

30、在本技术的一些实施方式中，所述pfld模型中的关键点回归主网络采用mobilenetv3网络。

31、在本技术的一些实施方式中，所述检测模块，具体用于：

32、将所述预处理人脸图像输入预先训练好的pfld模型，以利用所述pfld模型中的mobilenetv3网络对所述预处理人脸图像进行目标部位关键点检测，得到目标部位关键点信息。

33、在本技术的一些实施方式中，所述装置还包括：

34、训练模块，用于深度学习模型的训练，所述深度学习模型的训练过程如下：

35、获取人脸样本数据集，所述人脸样本中包括人脸关键点信息；

36、利用人脸关键点信息对每个人脸样本进行人脸对齐操作，得到对齐人脸样本；

37、对所述对齐人脸样本进行数据增强预处理，得到预处理人脸样本；

38、将所述预处理人脸样本输入所述pfld模型，以利用所述pfld模型对所述预处理人脸样本进行目标部位关键点检测，得到目标部位关键点信息；

39、基于预设的优化器和损失函数不断优化所述pfld模型的模型参数，当模型输出逼近或达到最优值时，得到训练好的pfld模型。

40、在本技术的一些实施方式中，所述预处理模块，具体用于：

41、基于albumentations数据增强库对所述初始人脸图像进行数据增强预处理。

42、在本技术的一些实施方式中，所述目标部位包括眼眉，所述目标部位关键点信息为眼眉关键点信息；

43、所述显示模块，具体用于：将所述眼眉关键点信息显示在所述初始人脸图像上的眼眉处；

44、所述显示模块还用于：根据所述眼眉关键点信息和用户选择的眼眉整形类型对所述初始人脸图像上的眼眉进行整形。

45、本技术第三方面提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时实现本技术第一方面所述的方法。

46、本技术第四方面提供一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现本技术第一方面所述的方法。

47、相较于现有技术，本技术实施例提供的人脸关键点检测方法、装置、电子设备及存储介质，接收待检测的初始人脸图像；对所述初始人脸图像进行数据增强预处理，得到预处理人脸图像；利用预先训练好的深度学习模型对所述预处理人脸图像进行目标部位关键点检测，得到目标部位关键点信息；所述深度学习模型采用坐标注意力机制；将所述目标部位关键点信息显示在所述初始人脸图像上的目标部位处。本技术中，在检测之前对初始人脸图像进行了数据增强，然后深度学习模型采用坐标注意力机制进行检测，能够使得人脸关键点检测准确率大大提升，使后续的模拟整形更贴近真实的整容，提高用户体验。