注视点获取方法、模型训练方法、装置以及电子设备与流程

本申请涉及人工智能，更具体地，涉及一种注视点获取方法、模型训练方法、装置以及电子设备。

背景技术：

1、随着技术的发展，电子设备可以对用户的注视屏幕的位置进行检测，从而根据所检测到的用户的注视位置来进行对应的操作。但是，相关的进行用户的注视位置检测的方式还存在检测精度有待提升的问题。

技术实现思路

1、鉴于上述问题，本申请提出了一种注视点获取方法、模型训练方法、装置以及电子设备，以实现改善上述问题。

2、第一方面，本申请提供了一种注视点获取方法，所述方法包括：通过目标用户的人脸图像以及目标头部姿态特征提取单元得到获取第一特征，以及通过所述目标用户的眼睛图像以及目标人眼特征提取单元得到获取第二特征；将所述第一特征与所述第二特征进行融合，以得到融合特征；基于所述融合特征对所述目标用户的注视点进行预测；其中，所述目标头部姿态特征提取单元为通过第一数据集以及第二数据集进行训练得到，所述目标人眼特征提取单元为通过所述第一数据集以及第三数据集进行训练得到，其中，所述第一数据集中包括有第一人脸图像，且所述第一人脸图像的标签为视线角度，所述第二数据集包括有第二人脸图像，且所述第二人脸图像的标签为人脸关键点的位置，所述第三数据集中包括有眼睛图像，所述眼睛图像的标签为眼睛关键点的位置。

3、第二方面，本申请提供了一种模型训练方法，所述方法包括：通过第一数据集以及第二数据集，对待训练的头部姿态特征提取单元进行训练，得到目标头部姿态特征提取单元，所述第一数据集中包括有第一人脸图像，且所述第一人脸图像的标签为视线角度，所述第二数据集包括有第二人脸图像，且所述第二人脸图像的标签为人脸关键点的位置；通过所述第一数据集以及第三数据集，对待训练的人眼特征提取单元进行训练，得到目标人眼特征提取单元，所述第三数据集中包括有眼睛图像，所述眼睛图像的标签为眼睛关键点的位置；其中，所述目标头部姿态特征提取单元和所述目标人眼特征提取单元用于根据人脸图像对目标用户的注视点进行识别。

4、第三方面，本申请提供了一种注视点获取装置，所述装置包括：特征获取单元，用于通过目标用户的人脸图像以及目标头部姿态特征提取单元得到获取第一特征，以及通过所述目标用户的眼睛图像以及目标人眼特征提取单元得到获取第二特征；特征融合单元，用于将所述第一特征与所述第二特征进行融合，以得到融合特征；注视点预测单元，用于基于所述融合特征对所述目标用户的注视点进行预测；其中，所述目标头部姿态特征提取单元为通过第一数据集以及第二数据集进行训练得到，所述目标人眼特征提取单元为通过所述第一数据集以及第三数据集进行训练得到，其中，所述第一数据集中包括有第一人脸图像，且所述第一人脸图像的标签为视线角度，所述第二数据集包括有第二人脸图像，且所述第二人脸图像的标签为人脸关键点的位置，所述第三数据集中包括有眼睛图像，所述眼睛图像的标签为眼睛关键点的位置。

5、第四方面，本申请提供了一种模型训练装置，所述装置包括：第一训练单元，用于通过第一数据集以及第二数据集，对待训练的头部姿态特征提取单元进行训练，得到目标头部姿态特征提取单元，所述第一数据集中包括有第一人脸图像，且所述第一人脸图像的标签为视线角度，所述第二数据集包括有第二人脸图像，且所述第二人脸图像的标签为人脸关键点的位置；第二训练单元，用于通过所述第一数据集以及第三数据集，对待训练的人眼特征提取单元进行训练，得到目标人眼特征提取单元，所述第三数据集中包括有眼睛图像，所述眼睛图像的标签为眼睛关键点的位置；其中，所述目标头部姿态特征提取单元和所述目标人眼特征提取单元用于根据人脸图像对目标用户的注视点进行识别。

6、第五方面，本申请提供了一种电子设备，包括一个或多个处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。

7、第六方面，本申请提供的一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述的方法。

8、本申请提供的一种注视点获取方法、装置以及电子设备，通过目标用户的人脸图像以及目标头部姿态特征提取单元得到获取第一特征，以及通过目标用户的眼睛图像以及目标人眼特征提取单元得到获取第二特征，再将第一特征与第二特征进行融合，以得到融合特征，以基于融合特征对目标用户的注视点进行预测。从而使得目标头部姿态特征提取单元为通过第一数据集以及第二数据集进行训练得到，以及目标人眼特征提取单元为通过第一数据集以及第三数据集进行训练得到的情况下，实现了除了采用第一数据集以外，引入额外的人脸图像(第二数据集中的第二人脸图像)和人眼数据(第三数据集中的眼睛图像)，来强化了头部姿态特征的学习和人眼特征的学习，有效的提升了基于目标头部姿态特征提取单元以及目标人眼特征提取单元所得到得到特征进行视线估计的精度。

技术特征：

1.一种注视点获取方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述目标头部姿态特征提取单元为通过遮盖眼睛的第一人脸图像，以及遮盖眼睛的第二人脸图像训练得到。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，基于所述第一数据集、待训练的头部姿态特征提取单元、待训练的人眼特征提取单元，得到第一损失值，包括：在当次训练过程中，基于所述第一数据集中的一批第一人脸图像、待训练的头部姿态特征提取单元、待训练的人眼特征提取单元，得到第一损失值；

5.根据权利要求3所述的方法，其特征在于，所述基于所述第一数据集、待训练的头部姿态特征提取单元、待训练的人眼特征提取单元，得到第一损失值，包括：

6.根据权利要求5所述的方法，其特征在于，所述将所述第一数据集中的第一人脸图像，输入到待训练的头部姿态特征提取单元，以得到第一头部姿态特征，包括：

7.根据权利要求3所述的方法，其特征在于，所述基于所述第二数据集、待训练的头部姿态特征提取单元，得到第二损失值，包括：

8.根据权利要求7所述的方法，其特征在于，所述将所述第二数据集中的第二人脸图像输入到待训练的头部姿态特征提取单元，以得到第二头部姿态特征，包括：

9.根据权利要求3所述的方法，其特征在于，基于所述第三数据集、待训练的人眼特征提取单元，得到第三损失值，包括：

10.根据权利要求1-9任一所述的方法，其特征在于，所述第二特征包括左眼特征以及右眼特征，将所述第一特征与所述第二特征进行融合，以得到融合特征，包括：

11.一种模型训练方法，其特征在于，所述方法包括：

12.一种注视点获取装置，其特征在于，所述装置包括：

13.一种模型训练装置，其特征在于，所述装置包括：

14.一种电子设备，其特征在于，包括一个或多个处理器以及存储器；

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行权利要求1-10任一所述的方法。

技术总结
本申请实施例公开了一种注视点获取方法、模型训练方法、装置以及电子设备。方法包括：通过目标用户的人脸图像以及目标头部姿态特征提取单元得到获取第一特征，以及通过目标用户的眼睛图像以及目标人眼特征提取单元得到获取第二特征；将第一特征与第二特征进行融合，以得到融合特征；基于融合特征对目标用户的注视点进行预测；其中，目标头部姿态特征提取单元为通过第一数据集以及第二数据集进行训练得到，目标人眼特征提取单元为通过第一数据集以及第三数据集进行训练得到。从而使得有效的提升了基于目标头部姿态特征提取单元以及目标人眼特征提取单元所得到得到特征进行视线估计的精度。

技术研发人员：孟令宣,孙哲,邱榆清
受保护的技术使用者：OPPO广东移动通信有限公司
技术研发日：
技术公布日：2024/3/11