一种基于头部姿态的眼睛注视视角测定方法与流程

技术特征：

1.一种基于头部姿态的眼睛注视视角测定方法，包含训练过程和实时测定过程；

所述的训练过程，包括：

步骤1-1、原始数据获取步骤，包括：

步骤1-1-1，在用户的头上佩戴一个朝向所述用户前方的点激光器(Laser)，并在所述用户的前方安放一个摄像头、在所述用户前方的竖向实体标定平面(Wall)上设置多个标定点(Point)，其中，所述用户的头部(Head)完全落在所述摄像头的拍摄范围之内，所述用户所在位置距离所述竖向实体标定平面(Wall)的距离、每一个所述标定点(Point)与用户的相对位置以及由所述距离和相对位置决定的用户二维头部姿态均为已知的预设值，该预设的二维头部姿态记为训练用二维头部姿态，所述训练用二维头部姿态以欧拉角表示，包括所述用户头部绕一个三维直角坐标系Y轴转动的Yaw旋转角和绕所述三维直角坐标系Z轴转动的Pitch旋转角，并且，所述用户头部绕所述三维直角坐标系X轴转动的欧拉角为Roll旋转角；

步骤1-1-2，令所述用户在所述所在位置通过转动头部，使得所述点激光器(Laser)所发出的激光点分别落在所述各个标定点(Point)上，以用所述摄像头拍摄所述激光点落在每一个所述标定点(Point)时所述用户的脸部图像，并记为训练用脸部图像，其中，所述各个标定点(Point)中包含有正中标定点，当所述激光点落在正中标定点上时，所述激光器(Laser)的指向垂直于所述竖向实体标定平面(Wall)，即所述用户头部的Yaw旋转角和Pitch旋转角均为0，将所述摄像头在所述激光点落在正中标定点上时拍摄到的训练用脸部图像记为正中训练用脸部图像；

步骤1-2、将每一幅所述训练用脸部图像作为受处理脸部图像按以下步骤1-2-1至步骤1-2-5的方法进行处理，得到所述各幅训练用脸部图像的二维脸部特征，并保存在脸部模型数据库中，其中，所述二维脸部特征包含二维脸部特征像素点、眼部特征像素点、角膜缘特征像素点和瞳孔中心特征像素点；

步骤1-2-1、对受处理脸部图像中的人脸进行定位；

步骤1-2-2、用主动形状模型基于其默认的参数对所述受处理脸部图像中被定位出的人脸进行处理，得到所述受处理脸部图像中人脸的二维脸部特征像素点的坐标；

步骤1-2-3、从所述受处理脸部图像的二维脸部特征像素点中提取出包围所述用户双眼眼部的特征像素点，记为眼部特征像素点，其中，所述用户的每一只眼睛对应有六个所述眼部特征像素点，位于中间位置的四个所述眼部特征像素点根据相互之间的相对位置分别记为左上方特征像素点、右上方特征像素点、右下方特征像素点和左下方特征像素点，其余两个所述眼部特征像素点根据相对位置分别记为内眼角特征像素点和外眼角特征像素点；

步骤1-2-4、对所述受处理脸部图像位于所述用户每一只眼睛所对应眼部特征像素点围成区域内的图像区域进行处理，分别定位出所述受处理脸部图像中位于所述用户双眼角膜缘上的特征像素点，记为角膜缘特征像素点；

步骤1-2-5、对所述受处理脸部图像的用户每一只眼睛对应的角膜缘特征像素点进行曲线拟合，得到所述受处理脸部图像中用户每一只眼睛对应的角膜缘曲线及该角膜缘曲线的中心像素点，将所述角膜缘曲线的中心像素点记为瞳孔中心特征像素点；

步骤1-3、回归模型建立步骤，包括：

步骤1-3-1、用所述主动形状模型基于所述脸部模型数据库计算每一所述训练用二维头部姿态所对应的用户头部的Roll旋转角，将所述训练用二维头部姿态及其对应的Roll旋转角记为训练用三维头部姿态，保存在三维头部姿态数据库中；并且，所述主动形状模型在训练过程即计算所述各个二维头部姿态所对应Roll旋转角的过程中自动对其默认的参数进行更新，使得主动形状模型的默认参数向适配于所述摄像头的参数变化，将所述主动形状模型完成所述训练过程后更新得到的参数记为适配参数；其中，在所述训练过程中计算得到的所述正中训练用脸部图像与用户本人的缩放比例记为s'；

步骤1-3-2、将每一个所述训练用三维头部姿态及其对应的二维脸部特征作为输入，建立三维头部姿态与二维脸部特征的回归模型，并保存在所述三维头部姿态数据库中；

所述的实时测定过程，包括：

步骤2-1、用所述摄像头拍摄所述用户在当前时刻的脸部图像，并记为测定用脸部图像，其中，所述用户位于其头部(Head)能够完全落在所述摄像头拍摄范围之内的任意位置；

步骤2-2、将所述测定用脸部图像作为受处理脸部图像按所述步骤1-2-1至步骤1-2-5的方法进行处理，并且，按所述步骤1-2-2的方法进行处理时，所述主动形状模型基于所述步骤1-3-1得到的适配参数对受处理脸部图像即所述测定用脸部图像中被定位出的人脸进行处理，得到所述测定用脸部图像的二维脸部特征、所述测定用脸部图像中人脸所对应的三维脸部特征点的坐标和测定用脸部图像与用户本人的缩放比例s，其中，所述二维脸部特征包含二维脸部特征像素点、眼部特征像素点、角膜缘特征像素点和瞳孔中心特征像素点；

步骤2-4、将所述测定用脸部图像的二维脸部特征作为步骤1-3-2所建立回归模型的输入，计算出所述测定用脸部图像的三维头部姿态，即所述用户在拍摄该测定用脸部图像时的欧拉角，包括Yaw旋转角、Pitch旋转角和Roll旋转角，记为三维头部姿态欧拉角(φ_Roll,φ_Yaw,φ_Pitch)；

步骤2-5、用户的眼睛注视视角实时计算步骤，包括：

步骤2-5-1、建立眼部模型，即：将所述用户的一只真实眼球视为一个球体，并将所述真实眼球按照所述步骤2-2得到的缩放比例s进行缩放后得到的球体记为图像眼球，其中，所述真实眼球的半径预设为R₀、眼球中心至外眼角特征点与内眼角特征点所在直线的距离预设为L₀，所述图像眼球的球心记为o；并且，将所述步骤2-2得到的三维脸部特征点中对应所述图像眼球的外眼角特征点、内眼角特征点和瞳孔中心特征点依次记为e1、e2和p，将所述外眼角特征点e1与内眼角特征点e2的中点记为m，所述球心o在所述外眼角特征点e1与内眼角特征点e2的连线上的垂足记为n；所述球心o与瞳孔中心特征点p之间的距离即为所述图像眼球的半径R，所述球心o到所述垂足n的方向即为所述用户在拍摄所述测定用脸部图像时的头部姿态方向V1，该头部姿态方向V1用欧拉角表示即为所述步骤2-4得到的三维头部姿态欧拉角(φ_Roll,φ_Yaw,φ_Pitch)，所述球心o到所述瞳孔中心特征点p的方向即为所述用户在拍摄所述测定用脸部图像时的眼睛注视方向V2，该眼睛注视方向V2用欧拉角表示即为所述用户的眼睛注视视角，记为(ω_Roll,ω_Yaw,ω_Pitch)；

步骤2-5-2、以所述测定用脸部图像的二维脸部特征、三维脸部特征点的坐标和三维头部姿态作为所述眼部模型的输入，按以下公式七至公式十一计算出所述用户在当前时刻即拍摄所述测定用脸部图像时的眼睛注视视角(ω_Roll,ω_Yaw,ω_Pitch)：

式中，L为所述球心o与垂足n之间的距离，T为所述中点m与垂足n之间的距离，s'为所述正中训练用脸部图像与用户本人的缩放比例，(p_x,p_y,p_z)、(e1_x,e1_y,e1_z)和(e2_x,e2_y,e2_z)依次为所述步骤2-2得到的三维脸部特征点中对应所述图像眼球的瞳孔中心特征点p、外眼角特征点e1和内眼角特征点e2的坐标，(m_x,m_y,m_z)为所述中点m的坐标，(o_x,o_y,o_z)为所述球心o的坐标。

2.根据权利要求1所述的眼睛注视视角测定方法，其特征在于：所述的步骤1-1还包括步骤1-1-1，所述的训练过程还包括步骤1-4，所述的实时测定过程还包括步骤2-3，所述步骤2-2执行完成后先进入所述步骤2-3；

步骤1-1-3，在所述激光点落在所述各个标定点(Point)中的至少一个上时，用所述摄像头连续拍摄所述用户的一组训练用脸部图像，并令所述用户在该连续拍摄过程中眨眼，从每一组所述摄像头连续拍摄到的训练用脸部图像中选取出所述用户眨眼开始时刻的图像作为对应相应标定点(Point)的眨眼脸部图像；

步骤1-4、计算所述步骤1-1-3获得的每一幅眨眼脸部图像中用户右眼的左上方特征像素点与左下方特征像素点之间的距离、用户右眼的右上方特征像素点与右下方特征像素点之间的距离、用户左眼的左上方特征像素点与左下方特征像素点之间的距离、用户左眼的右上方特征像素点与右下方特征像素点之间的距离，计算该四个距离的平均值作为相应眨眼脸部图像所对应的眨眼距离，将所述步骤1-1-3获得的所有眨眼脸部图像的眨眼距离平均值记录为眨眼临界距离

步骤2-3、判断所述测定用脸部图像中的用户是否眨眼的步骤，包括：计算所述测定用脸部图像中用户右眼的左上方特征像素点与左下方特征像素点之间的距离、用户右眼的右上方特征像素点与右下方特征像素点之间的距离、用户左眼的左上方特征像素点与左下方特征像素点之间的距离、用户左眼的右上方特征像素点与右下方特征像素点之间的距离，并计算该四个距离的平均值，比较该平均值是否小于所述眨眼临界距离如果比较结果为是，则判断所述用户在拍摄所述测定用脸部图像时正在眨眼，放弃该测定用脸部图像，回到所述步骤2-1重新开始测定；如果比较结果为否，则判断所述用户在拍摄所述测定用脸部图像时未眨眼，进入步骤2-4。

3.根据权利要求1或2所述的眼睛注视视角测定方法，其特征在于：所述的步骤1-2-4中，定位所述受处理脸部图像中用户每一只眼睛所对应的角膜缘特征像素点的方法如下：

步骤1-2-4-1、计算出所述左上方特征像素点、右上方特征像素点、右下方特征像素点和左下方特征像素点的中心像素点e_c的直角坐标系坐标；

步骤1-2-4-2、建立以所述中心像素点e_c为起点、为方向的射线，该射线的表达式如公式一所示：

式中，pix(r,θ)为所述射线的像素函数，θ为所述射线与所述直角坐标系的横轴之间的夹角，θ∈[0,2π]，r为所述中心像素点e_c与位于所述射线上的目标像素点之间的距离，所述为所述目标像素点在以中心像素点e_c为极点、以所述直角坐标系的横轴为极轴的极坐标系下的极坐标，f表示所述目标像素点的函数；

步骤1-2-4-3、按公式二计算所述公式一所示的射线表达式的径向导数，得到如公式三所示的pix(r,θ)一维导数的最大值，并按公示四将公式三计算出的像素点limbal(θ)的极坐标转换成直角坐标；

式中，limbal(θ)、x和y分别表示由步骤1-2-4-3拟合计算出的所述受处理脸部图像中位于所述用户一只眼睛的角膜缘上的像素点的极坐标、直角坐标系横坐标和直角坐标系纵坐标，这些由步骤1-2-4-3拟合计算出的像素点记为角膜缘拟合计算像素点；

步骤1-2-4-4、从所述各个角膜缘拟合计算像素点中剔除掉位于所述用户上眼皮和下眼皮的像素点，并将剩余的像素点记为角膜缘特征像素点，其中，位于所述用户上眼皮的像素点的横坐标位于所述左上方特征像素点的横坐标与所述右上方特征像素点的横坐标之间、纵坐标位于所述左上方特征像素点的纵坐标与所述右上方特征像素点的纵坐标之间，位于所述用户下眼皮的像素点的横坐标位于所述左下方特征像素点的横坐标与所述右下方特征像素点的横坐标之间、纵坐标位于所述左下方特征像素点的纵坐标与所述右下方特征像素点的纵坐标之间。

4.根据权利要求1或2所述的眼睛注视视角测定方法，其特征在于：所述的步骤1-1中，所述竖向实体标定平面(Wall)为墙面。

5.根据权利要求1或2所述的眼睛注视视角测定方法，其特征在于：所述的步骤1-2-1中，基于Haar特征或者基于HOG特征对所述受处理脸部图像中的人脸进行定位。

6.根据权利要求1或2所述的眼睛注视视角测定方法，其特征在于：所述的步骤1-2-5中，所述角膜缘特征像素点通过曲线拟合算法RANSAC进行曲线拟合。

7.根据权利要求1或2所述的眼睛注视视角测定方法，其特征在于：所述的步骤1-3-2中，所述回归模型基于高斯过程隐变量模型建立。

8.根据权利要求1或2所述的眼睛注视视角测定方法，其特征在于：所述的步骤2-5-1中，所述半径预设为R₀取值为12.4mm，所述眼球中心至外眼角特征点与内眼角特征点所在直线的距离L₀取值为4.5mm。