一种基于物理可解释特征的视线估计方法

本公开的实施例涉及计算机，具体涉及一种基于物理可解释特征的视线估计方法。

背景技术：

1、视线是揭示人理解外界环境方式的重要线索。视线估计技术在如人机交互、虚拟现实、增强现实、医学分析等领域得到了诸多应用。近年来，基于卷积神经网络的视线估计技术吸引了诸多关注。其特点在于仅需要单个网络摄像头拍摄用户面部图片，且不需要个人校准即可追踪用户视线方向。尽管基于cnn的视线估计技术在诸多公开数据集上均取得了良好的效果，但由于数据集间、数据集与实际使用场景间的用户外观、光照、成像质量、拍摄角度等等环境因素存在巨大差异，基于cnn的视线估计技术在跨域时精度往往会大幅下降。这一特点限制了基于cnn的视线估计技术在实际场景中的应用，因此，解决这一问题对视线估计技术意义重大。

2、视线估计技术，是指通过拍摄到的用户面部图像，计算用户的视线方向的技术。目前，前沿技术通常使用cnn解决视线估计问题。其中，输入为rgb摄像头拍摄的用户面部图像，输出为一个3维的方向向量，代表相机坐标系中的用户视线方向。

技术实现思路

1、本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

2、本公开的一些实施例提出了基于物理可解释特征的视线估计方法，来解决以上背景技术部分提到的技术问题中的一项或多项。

3、本公开的一些实施例提供了一种基于物理可解释特征的视线估计方法，该方法能够有效提升视线估计模型的泛化能力，从而提升模型在与训练集不同的其他场景中的视线估计精度(即提升跨域视线估计精度)。本公开的一些实施例包含两个部分，第一个部分是基于物理可解释特征的视线估计，该部分提出了一种新的视线估计方法：首先将卷积神经网络所提取的高维特征，通过降维等可解释的方式进行处理，得到物理可解释特征，上述物理可解释特征是与视线方向的物理定义具有一致特点的三维特征。通过物理可解释特征与物理定义的联系，解析地计算得到视线方向。第二部分是基于物理可解释特征的视线估计模型训练。根据第一部分的新视线估计方法，在训练集上对视线估计模型进行训练，进行训练后的模型，通过第一部分提出的方法进行视线估计，可有效提升模型在其他场景中的视线估计精度。

技术特征：

1.一种基于物理可解释特征的视线估计方法，包括：

2.根据权利要求1所述的方法，其中，所述物理可解释特征是所述第一卷积神经网络提取的图片特征通过降维算法得到的，近似地分布在三维空间中的球表面上，所述物理可解释特征的偏航角、俯仰角与视线方向真值具有近似的保序性、保角性。

3.根据权利要求1所述的方法，其中，所述通过物理可解释特征，进行视线估计，包括：

4.根据权利要求3所述的方法，其中，所述旋转、缩放、平移等简单物理变化、数值映射的参数，在训练集上通过最小化视线方向估计值与真值间的误差确定，在应用场景实际使用时，直接采用训练集上确定的参数。

5.根据权利要求1所述的方法，其中，所述在所训练的第一卷积神经网络的基础上，利用所述物理可解释特征继续优化第一卷积神经网络，包括：

6.根据权利要求1所述的方法，其中，所述方法还包括：

7.根据权利要求1所述的方法，其中，在完成训练后，在实际应用场景中，输入用户人脸图片，采用所述第一卷积神经网络提取图片特征后，不采用回归拟合的方式计算视线方向的估计值，而通过构造所述物理可解释特征与基于物理变换的映射计算得到视线方向的估计值。

8.根据权利要求6所述的方法，其中，所述计算所述物理可解释特征，包括：

9.根据权利要求3所述的方法，其中，所述将物理可解释特征通过旋转、缩放、平移等简单物理变换、数值映射，直接得到视线方向的估计值，包括：

技术总结
本公开的实施例公开了一种基于物理可解释特征的视线估计方法。该方法的一具体实施方式包括：构造第一卷积神经网络，输入用户面部图片，提取图片特征，并回归拟合得到视线方向的估计值；由第一卷积神经网络提取的图片特征，通过数据处理算法将图片特征变换为物理可解释特征，通过物理可解释特征，进行视线估计；基于物理可解释特征的视线估计模型训练，在所训练的第一卷积神经网络的基础上，利用物理可解释特征继续优化第一卷积神经网络。该实施方式可解释地根据卷积神经网络提取的高维特征计算得到视线方向的估计值，并根据该计算方法对视线估计模型进行训练，提升了视线估计模型的泛化能力，提高了在与训练集不同的其他场景中的视线估计精度。

技术研发人员：陆峰,鲍屹伟
受保护的技术使用者：北京航空航天大学
技术研发日：
技术公布日：2024/1/13