基于面部特征标定的实时注视估计方法及系统

本发明涉及计算机视觉，具体地，涉及基于面部特征标定的实时注视估计方法及系统。

背景技术：

1、人类的眼部注视包含了丰富的意图、认知、行为、注意力等信息，注视估计技术在认知科学、医疗保健、辅助驾驶、虚拟现实、人机交互、体育竞技等领域都有着广泛的应用。

2、现有的注视估计技术主要包括三种类别：

3、1)基于回归的二维注视点估计。通常使用多个红外光源在角膜表面产生光点，将红外相机捕捉到的光点坐标和瞳孔中心坐标输入回归函数，直接映射为用户所观察屏幕上的二维注视点坐标。这类方法通常需要进行多点标定过程，来确定回归函数中的未知参数。这类方法存在许多缺点，例如易受头部运动的影响，需要固定用户头部，且标定过程较为繁琐，使用体验较差；对硬件有一定要求，通常需要多个红外光源来保证准确度；仅被用于需要观察屏幕的使用场景，并且二维注视点包含的信息有限，丢失了三维信息，限制了这类方法的实际应用。

4、2)基于眼部三维模型的注视估计。通常使用多个光源或多个相机，对用户眼部三维模型进行重建，并根据重建出的模型来确定用户的注视方向。由于不同用户的眼部存在差异，这类方法通常需要进行标定过程来确定眼部模型的参数。这类方法的准确度通常较高，并且对于用户的头部运动具有较好的鲁棒性；但这类方法对专业硬件的要求较高，这限制了应用场景，也增大了应用成本。

5、3)基于外观的注视估计。通常使用单个rgb相机采集用户面部图像，并对图像进行特征提取，最后使用函数或模型将特征映射为用户的注视方向。这类方法使用rgb相机，对硬件要求不高，因此使用场景也相对灵活，但需要非常有效的特征提取方法和映射函数，否则难以达到较好的效果。因此近年来，出现了很多基于深度神经网络的注视估计模型，能够同时进行特征提取和映射的过程，实现端到端的注视估计效果。然而，为了保证模型的准确性和鲁棒性，这类方法通常需要设计复杂的网络模型，并使用大量数据进行训练，这提高了其应用成本和算力消耗，也限制了实时性；并且由于这类方法直接通过rgb图像计算注视方向，图像质量、背景环境、用户差异、相机参数等很多因素都会限制其在实际使用时的泛化性能。

技术实现思路

1、针对现有技术中的缺陷，本发明的目的是提供一种基于面部特征标定的实时注视估计方法及系统。

2、根据本发明提供的一种基于面部特征标定的实时注视估计方法，包括：

3、步骤s1：通过面部特征标定方法确定用户眼球中心的位置；

4、步骤s2：待检测面部图像通过面部关键点检测算法确定用户瞳孔中心的位置；将用户眼球中心的位置和用户瞳孔中心的位置转换至相机坐标系，计算其连线方向作为用户的注视方向。

5、优选地，所述步骤s1采用：

6、步骤s1.1：采集标定图像；

7、步骤s1.2：基于标定图像集得到面部关键点集的每一个关键点在面部坐标系中的坐标，基于标定图像集的每一张面部图像计算面部关键点集的每一个关键点在像素坐标系中的坐标；根据面部关键点集中的关键点分别在像素坐标系和面部坐标系中的坐标，结合相机内参计算得到标定图像集的每一张面部图像对应的相机外参；

8、步骤s1.3：利用面部关键点检测技术基于标定图像集中的每一张面部图像计算瞳孔中心在像素坐标系中的坐标，基于相机内参和相机外参计算面部坐标系中视线的直线方程；

9、步骤s1.4：基于标定图像集中所有面部图像获得全部视线直线方程，计算全部视线直线方程的交点得到用户眼球中心的坐标。

10、优选地，所述步骤s1.1采用：用户保持目光注视在相机的镜头中心，并随意转动和移动头部，利用相机连续拍摄用户的面部rgb图像，将采集到的rgb图像作为标定图像集。

11、优选地，所述步骤s1.2采用：

12、步骤s1.2.1：利用面部三维建模技术根据标定图像集中的用户面部图像重建用户的面部三维模型，根据用户的面部三维模型得到面部关键点集的每一个关键点在面部坐标系中的坐标；

13、步骤s1.2.2：利用面部关键点检测技术基于标定图像集中每一张面部图像计算面部关键点集的每一个关键点在像素坐标系中的坐标。

14、优选地，所述步骤s2采用：

15、步骤s2.1：针对待检测面部图像，根据相机内参将两瞳孔中心坐标由像素坐标系转换至相机坐标系；

16、步骤s2.2：针对待检测面部图像，计算面部关键点集的每一个关键点在像素坐标系中的坐标，结合相机内参和面部关键点集的每一个关键点在面部坐标系中的坐标，计算待检测面部图像对应的相机外参；

17、步骤s2.3：根据相机外参将用户的两眼球中心坐标由面部坐标系转换至相机坐标系；

18、步骤s2.4：对于左右眼，分别计算眼球中心指向瞳孔中心的单位向量，并计算当前向量在左右眼上的平均值，将当前平均值作为相机坐标系中用户的注视方向三维向量，当前注视方向三维向量为注视估计结果。

19、根据本发明提供的一种基于面部特征标定的实时注视估计系统，包括：

20、模块m1：通过面部特征标定方法确定用户眼球中心的位置；

21、模块m2：待检测面部图像通过面部关键点检测算法确定用户瞳孔中心的位置；将用户眼球中心的位置和用户瞳孔中心的位置转换至相机坐标系，计算其连线方向作为用户的注视方向。

22、优选地，所述模块m1采用：

23、模块m1.1：采集标定图像；

24、模块m1.2：基于标定图像集得到面部关键点集的每一个关键点在面部坐标系中的坐标，基于标定图像集的每一张面部图像计算面部关键点集的每一个关键点在像素坐标系中的坐标；根据面部关键点集中的关键点分别在像素坐标系和面部坐标系中的坐标，结合相机内参计算得到标定图像集的每一张面部图像对应的相机外参；

25、模块m1.3：利用面部关键点检测技术基于标定图像集中的每一张面部图像计算瞳孔中心在像素坐标系中的坐标，基于相机内参和相机外参计算面部坐标系中视线的直线方程；

26、模块m1.4：基于标定图像集中所有面部图像获得全部视线直线方程，计算全部视线直线方程的交点得到用户眼球中心的坐标。

27、优选地，所述模块m1.1采用：用户保持目光注视在相机的镜头中心，并随意转动和移动头部，利用相机连续拍摄用户的面部rgb图像，将采集到的rgb图像作为标定图像集。

28、优选地，所述模块m1.2采用：

29、模块m1.2.1：利用面部三维建模技术根据标定图像集中的用户面部图像重建用户的面部三维模型，根据用户的面部三维模型得到面部关键点集的每一个关键点在面部坐标系中的坐标；

30、模块m1.2.2：利用面部关键点检测技术基于标定图像集中每一张面部图像计算面部关键点集的每一个关键点在像素坐标系中的坐标。

31、优选地，所述模块m2采用：

32、模块m2.1：针对待检测面部图像，根据相机内参将两瞳孔中心坐标由像素坐标系转换至相机坐标系；

33、模块m2.2：针对待检测面部图像，计算面部关键点集的每一个关键点在像素坐标系中的坐标，结合相机内参和面部关键点集的每一个关键点在面部坐标系中的坐标，计算待检测面部图像对应的相机外参；

34、模块m2.3：根据相机外参将用户的两眼球中心坐标由面部坐标系转换至相机坐标系；

35、模块m2.4：对于左右眼，分别计算眼球中心指向瞳孔中心的单位向量，并计算当前向量在左右眼上的平均值，将当前平均值作为相机坐标系中用户的注视方向三维向量，当前注视方向三维向量为注视估计结果。

36、与现有技术相比，本发明具有如下的有益效果：

37、1、通过采用本发明方法，实现了使用一个单目rgb相机对现实场景中人物注视方向的实时准确计算，无需其他专业设备或仪器，如红外光源、深度相机、眼动传感器等，在各种应用场景很容易实现；

38、2、在本发明提出的面部特征标定方法中，标定图像采集流程操作简单快捷，无需专业人员参与指导；标定计算耗时短，标定结果准确可靠；

39、3、本发明提出的注视估计方法的计算流程轻量且高效，对算力要求较低，注视估计的准确度高，实时性好；

40、4、所提出的方法具有即插即用的特性，无需使用复杂的深度网络模型或在大规模数据集上进行训练，应用成本和算力消耗较低；

41、5、注视估计结果对于头部位姿改变具有鲁棒性，因此无需固定用户头部，使用难度和使用体验相比现有方法均有很大改善。