视线估计方法、视线估计模型的训练方法、设备及介质

本申请涉及计算机视觉，尤其涉及一种视线估计方法、视线估计模型的训练方法、设备及介质。

背景技术：

1、视线是对象的注意力的重要指标，表明了对象正在注视的方向。视线估计目前已被广泛应用于各种人机交互场景，例如虚拟/增强现实游戏、智能座舱系统、医学分析、注视/头部重定向等场景。

2、相关技术中已有的视线估计方法大多是通过视线估计模型实现，例如基于单视角的视线估计模型，通过该视线估计模型根据单视角拍摄的面部图像，确定面部图像所属对象的视线方向。

3、然而，在训练基于单视角的视线估计模型时，所使用的训练数据大多是面部朝向摄像头的面部图像，而在使用基于单视角的视线估计模型进行视线估计时，待估计的面部图像中的面部可能是朝向侧面的，这样会影响视线估计的准确性，导致准确性较低。

技术实现思路

1、本申请提供一种视线估计方法、视线估计模型的训练方法、设备及介质，用以解决视线估计的准确性较低的问题。

2、第一方面，本申请提供一种视线估计方法，包括：

3、获取针对目标对象在双视角下采集得到的两个目标面部图像；

4、将所述两个目标面部图像输入到训练完成的视线估计模型中，并采用所述训练完成的视线估计模型，确定各所述目标面部图像对应的视线方向估计结果以及头部姿态估计结果，所述训练完成的视线估计模型是基于在单视角下采集得到的第一样本面部图像以及在双视角下采集得到的两个第二样本面部图像，对预训练完成的视线估计模型进行迭代训练得到的，所述第一样本面部图像携带样本标签，所述样本标签包括样本视线方向，且所述预训练完成的视线估计模型是基于所述第一样本面部图像以及所携带的所述样本标签进行预训练得到的；

5、基于各所述目标面部图像对应的所述视线方向估计结果以及所述头部姿态估计结果，确定所述目标对象对应的目标视线方向。

6、第二方面，本申请提供一种视线估计模型的训练方法，包括：

7、获取在单视角下采集得到的第一样本面部图像以及在双视角下采集得到的两个第二样本面部图像，所述第一样本面部图像携带样本标签，所述样本标签包括样本视线方向；

8、基于所述第一样本面部图像、所述样本标签以及所述两个第二样本面部图像，对预训练完成的视线估计模型进行迭代训练，所述预训练完成的视线估计模型是基于所述第一样本面部图像以及所携带的所述样本标签进行预训练得到的；

9、响应于满足预设的训练收敛条件，将满足所述训练收敛条件的视线估计模型确定为训练完成的视线估计模型。

10、第三方面，本申请提供一种电子设备，包括：处理器以及与所述处理器通信连接的存储器；

11、所述存储器存储有计算机执行指令；

12、所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面所述的视线估计方法或如第二方面所述的视线估计模型的训练方法。

13、第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面所述的视线估计方法或如第二方面所述的视线估计模型的训练方法。

14、第五方面，本申请提供一种计算机程序产品，包括计算机执行指令，所述计算机执行指令被处理器执行时实现第一方面所述的视线估计方法或如第二方面所述的视线估计模型的训练方法。

15、本申请提供的视线估计方法、视线估计模型的训练方法、设备及介质，通过先采用在单视角下采集得到的第一样本面部图像以及对应的样本标签对视线估计模型进行预训练，由于样本标签包括样本视线方向，使得视线估计模型在预训练过程中能够学习到第一样本面部图像与样本视线方向之间的对应关系，从而预训练完成的视线估计模型具有了一定的估计能力，然后再采用在单视角下采集得到的第一样本面部图像以及在双视角下采集得到的第二样本面部图像对预训练完成的视线估计模型进行迭代训练，使得视线估计模型在训练过程中能够从双视角和单视角两个方面进行学习，从而基于本申请提供的视线估计模型的训练方法所训练完成的视线估计模型的准确性更高；基于此，在获取到在双视角下采集得到的两个目标面部图像的情况下，可以通过训练完成的视线估计模型，分别确定各目标面部图像对应的视线方向估计结果以及头部姿态估计结果，然后根据所确定的估计结果确定目标对象对应的目标视线方向，从而提高了视线估计的准确性。

技术特征：

1.一种视线估计方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述目标面部图像对应的所述头部姿态估计结果包括头部姿态角度；所述基于各所述目标面部图像对应的所述视线方向估计结果以及所述头部姿态估计结果，确定所述目标对象对应的目标视线方向，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所获得的两个头部坐标系下的视线方向估计结果，确定所述目标视线方向，包括：

4.根据权利要求2所述的方法，其特征在于，所述基于所获得的两个头部坐标系下的视线方向估计结果，确定所述目标视线方向，包括：

5.一种视线估计模型的训练方法，其特征在于，包括：

6.根据权利要求5所述的方法，其特征在于，所述基于所述第一样本面部图像、所述样本标签以及所述两个第二样本面部图像，对预训练完成的视线估计模型进行迭代训练，包括：

7.根据权利要求6所述的方法，其特征在于，所述从所述两个第二样本面部图像分别对应的视线方向估计结果中，确定参考视线方向，包括：

8.根据权利要求6所述的方法，其特征在于，所述第二损失值包括视线方向损失值和头部姿态损失值；所述基于所述参考视线方向、各所述第二样本面部图像对应的视线方向估计结果以及头部姿态估计结果，确定第二损失值，包括：

9.一种电子设备，其特征在于，包括：处理器以及与所述处理器通信连接的存储器；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至4任一项所述的视线估计方法或者如权利要求5至8任一项所述的视线估计模型的训练方法。

技术总结
本申请提供一种视线估计方法、视线估计模型的训练方法、设备及介质，可用于计算机视觉技术领域。该方法包括：获取针对目标对象在双视角下采集得到的两个目标面部图像；将两个目标面部图像输入到训练完成的视线估计模型中，并采用训练完成的视线估计模型，确定各目标面部图像对应的视线方向估计结果以及头部姿态估计结果，训练完成的视线估计模型是基于在单视角下采集得到的第一样本面部图像以及在双视角下采集得到的两个第二样本面部图像，对预训练完成的视线估计模型进行迭代训练得到的；基于各目标面部图像对应的视线方向估计结果以及头部姿态估计结果，确定目标对象对应的目标视线方向。本申请提高了视线估计的准确性。

技术研发人员：陆峰,刘锐聪
受保护的技术使用者：北京航空航天大学
技术研发日：
技术公布日：2024/2/1