一种基于人脸三维重建的驾驶员视线估计方法及系统

本发明涉及一种基于人脸三维重建的视线估计专利的，具体地说，是一种利用深度学习方法和几何模型对人脸图像进行三维重建，并根据重建结果估计人的视线方向的方法和系统。

背景技术：

1、随着人工智能和计算机视觉技术的迅猛发展，人脸识别与分析已经广泛应用于多种场景，如安全验证、交互设计和行为预测等。特别地，在驾驶员监控系统中，准确地估计驾驶员的视线方向对于判断其注意力集中程度和预防交通事故至关重要。然而，现有技术多依赖于特殊硬件设备，如头戴设备或特殊照明，来捕获驾驶员的脸部信息，进而推断视线方向。这些方法不仅成本较高，而且往往侵入性强，影响用户的自然行为。

2、除此之外，传统的基于2d图像的视线估计方法常常受限于环境光线、面部表情以及头部姿态的变化，从而导致估计结果的不准确。而基于3d人脸重建的方法可以提供更多的几何信息，使视线估计更为精确。然而，现有的3d重建技术往往要求多个视角的图像或者高精度的深度传感器，这些要求在实际应用中往往难以满足。

3、因此，开发一种无需特殊硬件，能够仅利用单张人脸图像进行高精度视线估计的方法，是该技术领域中的一大需求。本发明旨在利用先进的深度学习技术和精确的几何模型，实现从单张2d人脸图像中快速恢复出3d人脸形状，并结合眼部解剖结构和运动学原理，准确估计视线方向，为了解驾驶员的心理状态提供了一种新的技术方案。

技术实现思路

1、本发明解决现有技术中视线估计计算量大，估计不准确的问题。改进设计出一种基于深度学习和几何建模的人脸三维重建与视线估计系统；该方案不仅可以增加视线估计的准确性，还可以用于深入分析驾驶员的注意力分布和心理状态。

2、本发明技术方案为一种基于人脸三维重建的驾驶员视线估计方法，该方法包括：

3、步骤1：使用车载标准相机设备的固定位置和朝向，建立车内空间直角坐标系；

4、该坐标系以相机为原点，车身的纵向、横向和垂直方向分别定义为坐标轴；对车辆内部的重要区域和设备进行精确测量与定位，确定其在空间坐标系中的精确坐标；涉及区域包括仪表盘、前档玻璃、中控台、左右后视镜、车内后视镜等。

5、步骤2：采用车载标准相机设备获取检测区域的图像，采用人脸检测方法定位驾驶员的人脸位置并截取目标图像；

6、步骤3：使用三维人脸重建神经网络对截取的人脸图像进行三维重建，生成三维人脸网格模型；

7、步骤3.1：对目标图像进行预处理，包括调整大小、裁剪以及色彩校正，确保图像大小满足神经网络的输入以及图像质量适合后续处理；

8、步骤3.2：使用mobilenet网络模型对预处理后的人脸图像进行特征提取；mobilenet模型因其轻量级和高效性而被选用，适合在移动或嵌入式设备上进行实时处理；提取的特征将用于后续的人脸形状和表情系数估计；

9、步骤3.3：将mobilenet提取的特征应用于人脸模型；这里的人脸模型是一个参数化的3d人脸模型，能够生成详细的人脸形状和表情；通过优化过程调整人脸模型的形状系数和表情系数，以匹配提取的特征；

10、步骤3.4：利用mobilenet模型提取的特征估计头部的位置和方向；

11、步骤4：眼球中心估计；

12、基于三维人脸模型和已知的眼球解剖结构，计算眼球的三维中心坐标；

13、步骤5：瞳孔定位；

14、在睁眼状态下，利用专门训练的瞳孔检测神经网络算法，精确检测并定位瞳孔的二维坐标；

15、步骤6：根据驾驶员双眼瞳距的已知参考量，结合三维人脸模型的头部姿态和瞳孔二维坐标，通过几何方法计算头部与相机的相对距离；

16、步骤7：视线方向计算，在睁眼状态下，结合瞳孔的二维坐标和眼球中心的三维坐标，通过几何学原理计算出瞳孔中心相对于眼球中心的三维向量，据此确定视线的三维方向；闭眼状态下不进行视线方向的计算。

17、进一步的，步骤3中的三维人脸重建神经网络的结构包括：特征提取主干网络、形状系数回归分支、表情系数回归分支、头部姿态系数回归分支；所述特征提取主干网络的输入为目标图像，输出为提取的特征，并将提取的特征分别输入形状系数回归分支、表情系数回归分支、头部姿态系数回归分支；形状系数回归分支、表情系数回归分支、头部姿态系数回归分支的输出分别为人脸模型的形状系数，表情系数和头部姿态系数。

18、进一步的，所述步骤3.3中的人脸模型为三维可形变模型，用固定的点数来表示人脸；每一个人脸由数据库中的所有人脸组成的基向量的向量空间进行表示；任意的人脸模型smod由数据库中的m个人脸模型进行加权组合，方法如下：

19、首先计算形状向量的平均值，中心化人脸数据，分别计算每张人脸的协方差矩阵，得到形状协方差矩阵的特征值即为形状系数ai和形状基向量si；再加入表情向量得到如下公式：

20、

21、其中，si和ei分别为形状基向量和表情基向量，ai和βi分别为形状系数和表情系数，s-为平均人脸模型；

22、将三维人脸模型进行缩放、旋转和平移，得到相机视角下图片中的人脸；

23、v＝f*r*smod+t2d

24、其中，v为相机视角下目标图片中的人脸，f为缩放系数，r为旋转矩阵，t2d为平移向量；缩放系数、旋转矩阵和平移向量组成头部姿态系数。

25、进一步的，步骤4中的眼球中心估计方法为：

26、步骤4.1：眼部特征定位，在三维人脸模型中定位眼部特征位置；使用三维模型确保这些特征点在空间中的准确性和一致性；

27、步骤4.2：建立眼球的几何模型，考虑到眼球大致为球形，用球心和半径来表示；

28、步骤4.3：眼球中心计算，将眼角和眼睑近似认为在眼球的表面，利用三维坐标系中的几何关系，计算出眼球中心的精确坐标。

29、进一步的，步骤5中的瞳孔定位方法为：

30、步骤5.1：眼部特征定位，通过三维人脸模型中定位的关键眼部特征位置，确定眼角、眼睑在目标图像中的二维位置；

31、步骤5.2：对目标图像进行预处理，根据眼部关键点的二维坐标，截取眼部图像；

32、步骤5.3：利用上下眼睑关键点坐标位置进行睁闭眼检测判断，如果上下眼睑坐标差值小于闭眼阈值，则判定为闭眼状态，不进行后续步骤；

33、步骤5.4：将截取的眼部图像输入到专门训练的瞳孔检测神经网络中，输出检测到的瞳孔二维坐标。

34、进一步的，瞳孔检测神经网络的结构包括：特征提取主干网络、瞳孔关键点二维坐标回归全连接层；所述的特征提取主干网络的输入为眼部图像，输出为提取的特征，并将提取的特征输入到瞳孔关键点二维坐标回归全连接层，输出检测到的瞳孔关键点的二维坐标。

35、进一步的，步骤6中的头部与相机的相对距离计算方法为：

36、步骤6.1：测量驾驶员双眼瞳距，并将测量结果作为已知参考量；

37、步骤6.2：根据头部姿态旋转矩阵，将双眼瞳距向量在车内坐标系中进行旋转；

38、步骤6.3：根据目标图像中检测到的瞳孔二维坐标，计算目标图像中的瞳距像素长度；

39、步骤6.4：利用相机内参矩阵，根据小孔成像相机模型，计算驾驶员头部与相机的距离。

40、进一步的，步骤7中的视线方向计算方法为：

41、步骤7.1：将瞳孔二维坐标视为瞳孔以眼球中心为原点，球坐标系中的二维投影；

42、步骤7.2：根据球坐标系中的几何关系，通过瞳孔二维坐标换算出相对于眼球中心的俯仰角(pitch)和偏航角(yaw)；

43、步骤7.3：计算瞳孔中心相对于眼球中心的三维向量；

44、步骤7.4：根据头部到相机的距离和人脸三维模型中眼球中心的坐标，将眼球中心到瞳孔中心的三维向量转换到以相机为原点的车内坐标系中，并将此视为视线估计方向；

45、步骤7.5：通过车内预设若干注视校准点，要求驾驶员依次注视校准点，通过比较估计的视线点位置和校准点位置间的差值，来校准视线估计方向。

46、一种基于人脸三维重建的驾驶员视线估计系统，该系统包括：

47、车内相机，用于获取目标区域的图像；

48、人脸获取模块，用于检测图像中的人脸；

49、人脸三维重建模块，用于通过人脸图像，重建出精确的人脸三维模型；

50、瞳孔检测模块，用于在目标人脸图像中检测瞳孔的位置；

51、视线估计模块，用于计算目标的三维视线方向；

52、校准模块，用于将估计的三维视线方向进行校准。

53、本发明利用车内单相机的普通rgb图像，提供给客户相应的目标视线方向信息。