技术特征：
1.一种视线估计方法，所述方法包括：获取待视线估计的脸部图像中的左眼部位图像和右眼部位图像；对所述脸部图像、所述左眼部位图像和所述右眼部位图像分别进行图像特征提取，以获得所述脸部图像的脸部特征数据、所述左眼部位图像的左眼部位特征数据和所述右眼部位图像的右眼部位特征数据；基于所述脸部特征数据、所述左眼部位特征数据和所述右眼部位特征数据，预测所述脸部图像中眼部视线的俯仰角；基于所述脸部特征数据、所述左眼部位特征数据和所述右眼部位特征数据，预测所述脸部图像中眼部视线的偏航角；基于所述脸部图像中眼部视线的俯仰角和偏航角，估计所述脸部图像中眼部视线的方向。2.根据权利要求1所述的视线估计方法，其中，所述获取待视线估计的脸部图像中的左眼部位图像和右眼部位图像，包括：通过目标检测模型，对所述脸部图像分别进行左眼部位检测和右眼部位检测，以获得所述脸部图像的左眼部位检测结果和右眼部位检测结果；基于所述脸部图像的左眼部位检测结果和右眼部位检测结果，确定所述脸部图像中的左眼部位图像和右眼部位图像。3.根据权利要求1或2所述的视线估计方法，其中，所述对所述脸部图像、所述左眼部位图像和所述右眼部位图像分别进行图像特征提取，包括：通过视线角度预测模型中的脸部特征提取网络，对所述脸部图像进行图像特征提取，以获得所述脸部图像的脸部特征数据；通过所述视线角度预测模型中的左眼部位特征提取网络，对所述左眼部位图像进行图像特征提取，以获得所述左眼部位图像的左眼部位特征数据；通过所述视线角度预测模型中的右眼部位特征提取网络，对所述右眼部位图像进行图像特征提取，以获得所述右眼部位图像的右眼部位特征数据。4.根据权利要求1或2所述的视线估计方法，其中，所述基于所述脸部特征数据、所述左眼部位特征数据和所述右眼部位特征数据，预测所述脸部图像中眼部视线的俯仰角，包括：通过视线角度预测模型中的俯仰角预测网络，基于所述脸部特征数据、所述左眼部位特征数据和所述右眼部位特征数据，预测所述脸部图像中眼部视线的俯仰角的类别和偏移量；基于所述脸部图像中眼部视线的俯仰角的类别和偏移量，确定所述脸部图像中眼部视线的俯仰角。5.根据权利要求4所述的视线估计方法，其中，所述基于所述脸部图像中眼部视线的俯仰角的类别和偏移量，确定所述脸部图像中眼部视线的俯仰角，包括：确定所述俯仰角的类别所对应的俯仰角区间；基于所述俯仰角区间的角度跨度、所述俯仰角区间的起始角度和所述俯仰角的偏移量，确定所述脸部图像中眼部视线的俯仰角。6.根据权利要求1或2所述的视线估计方法，其中，所述基于所述脸部特征数据、所述左眼部位特征数据和所述右眼部位特征数据，预测所述脸部图像中眼部视线的偏航角，包括：
通过视线角度预测模型中的偏航角预测网络，基于所述脸部特征数据、所述左眼部位特征数据和所述右眼部位特征数据，预测所述脸部图像中眼部视线的偏航角的类别和偏移量；基于所述脸部图像中眼部视线的偏航角的类别和偏移量，确定所述脸部图像中眼部视线的偏航角。7.根据权利要求6所述的视线估计方法，其中，所述基于所述脸部图像中眼部视线的偏航角的类别和偏移量，确定所述脸部图像中眼部视线的偏航角，包括：确定所述偏航角的类别所对应的偏航角区间；基于所述偏航角区间的角度跨度、所述偏航角区间的起始角度和所述偏航角的偏移量，确定所述脸部图像中眼部视线的偏航角。8.根据权利要求1或2所述的视线估计方法，其中，所述基于所述脸部图像中眼部视线的俯仰角和偏航角，估计所述脸部图像中眼部视线的方向，包括：基于所述脸部图像中眼部视线的俯仰角和偏航角，确定所述脸部图像中眼部视线的方向向量；基于所述脸部图像中眼部视线的方向向量，估计所述脸部图像中眼部视线的方向。9.根据权利要求3所述的视线估计方法，其中，通过以下方式训练所述视线角度预测模型：基于脸部图像样本、所述脸部图像样本中的左眼部位图像样本和所述脸部图像样本中的右眼部位图像样本，获得所述脸部图像样本中眼部视线的俯仰角的类别预测数据和偏移量预测数据，以及所述脸部图像样本中眼部视线的偏航角的类别预测数据和偏移量预测数据；基于所述脸部图像样本中眼部视线的俯仰角的类别预测数据和类别标注数据、所述脸部图像样本中眼部视线的俯仰角的偏移量预测数据和偏移量标注数据、所述脸部图像样本中眼部视线的偏航角的类别预测数据和类别标注数据，以及所述脸部图像样本中眼部视线的偏航角的偏移量预测数据和偏移量标注数据，训练所述视线角度预测模型。10.根据权利要求9所述的视线估计方法，其中，所述训练所述视线角度预测模型的方式还包括：通过类别损失函数，确定所述脸部图像样本中眼部视线的俯仰角的类别预测数据和类别标注数据的第一损失值，以及所述脸部图像样本中眼部视线的偏航角的类别预测数据和类别标注数据的第二损失值；通过偏移量损失函数，确定所述脸部图像样本中眼部视线的俯仰角的偏移量预测数据和偏移量标注数据的第三损失值，以及所述脸部图像样本中眼部视线的偏航角的偏移量预测数据和偏移量标注数据的第四损失值；基于所述第一损失值、所述第二损失值、所述第三损失值，以及所述第四损失值，调整所述视线角度预测模型的模型参数。11.一种视线估计装置，所述装置包括：获取模块，用于获取待视线估计的脸部图像中的左眼部位图像和右眼部位图像；特征提取模块，用于对所述脸部图像、所述左眼部位图像和所述右眼部位图像分别进行图像特征提取，以获得所述脸部图像的脸部特征数据、所述左眼部位图像的左眼部位特
征数据和所述右眼部位图像的右眼部位特征数据；第一预测模块，用于基于所述脸部特征数据、所述左眼部位特征数据和所述右眼部位特征数据，预测所述脸部图像中眼部视线的俯仰角；第二预测模块，用于基于所述脸部特征数据、所述左眼部位特征数据和所述右眼部位特征数据，预测所述脸部图像中眼部视线的偏航角；估计模块，用于基于所述脸部图像中眼部视线的俯仰角和偏航角，估计所述脸部图像中眼部视线的方向。12.一种电子设备，包括：处理器；以及存储程序的存储器，其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据权利要求1
‑
10中任一项所述的方法。13.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1
‑
10中任一项所述的方法。
技术总结
本公开提供一种视线估计方法、装置、电子设备及计算机可读存储介质。其中，所述方法包括：获取待视线估计的脸部图像中的左眼部位图像和右眼部位图像；对脸部图像、左眼部位图像和右眼部位图像分别进行图像特征提取，获得脸部图像的脸部特征数据、左眼部位图像的左眼部位特征数据和右眼部位图像的右眼部位特征数据；基于脸部特征数据、左眼部位特征数据和右眼部位特征数据，预测脸部图像中眼部视线的俯仰角；基于脸部特征数据、左眼部位特征数据和右眼部位特征数据，预测脸部图像中眼部视线的偏航角；基于脸部图像中眼部视线的俯仰角和偏航角，估计脸部图像中眼部视线的方向。本公开提供的技术方案能够简便地提高视线估计的精度。度。度。
技术研发人员：陈博昱 高原 刘霄
受保护的技术使用者：北京世纪好未来教育科技有限公司
技术研发日：2021.08.31
技术公布日：2021/10/8