一种基于双眼策略的虹膜半径标定方法与流程

本发明涉及视觉测量技术领域，特别是指一种基于双眼策略的虹膜半径标定方法。

背景技术：

视线追踪在人机交互(助老助残)、虚拟现实、车辆辅助驾驶、人因分析和心理研究等领域有着广泛的应用。视线追踪在国外有着较长的研究历史，起源于眼动检测技术。无论是穿戴式或遥测式都有实用产品，在很多领域有着广泛的应用。国内视线追踪开展较晚，开展的规模也较小，无论实用产品的研发还是关键技术的研究都与国外有较大的差距。

在视线追踪的发展过程中，针对不同硬件配置下的视线追踪系统研究较多，其中主要分为单相机系统和多相机系统。利用单相机系统和多相机系统实现二维或三维的视线估计。

在二维视线估计方法中，一般采用单相机系统(单相机单光源)确定一个建立视线落点与人眼特征之间的关系的二阶映射模型，这种方法对头部运动非常敏感，且由于要标定映射模型中的每个系数，所需的标定点较多，例如，9个，标定过程复杂。利用多相机系统可以补偿自由头动的影响，但标定过程仍需要多个标定点来完成。

三维视线估计方法广泛应用于不同硬件配置的视线追踪系统。在单相机单光源系统中，由于单个相机无法直接感知三维信息，在计算空间中角膜曲率中心或瞳孔中心来重建眼睛光轴时，需要根据先验知识预先设定其中的一些人眼不变参数，如：角膜曲率半径、角膜曲率中心与瞳孔中心之间的距离、人眼到屏幕的垂直距离等，借助这些人眼参数来计算三维信息，用于视线追踪。但人眼存在个体差异，如果采用某一固定值，会在系统输入时引入一定量的误差，影响系统的精度。并且通过设定一些空间信息来重建三维信息，从根本上来说不属于真正的三维视线估计。

基于单相机多光源系统的三维视线估计方法可以利用多个光源的反射，建立多个非线性方程，标定出人眼不变参数(例如，虹膜半径)，但求解过程复杂，运行速度慢，且得到的结果是数值解，因此大部分单相机多光源系统仍采用预先设定人眼参数这一途径。

在多相机系统中，人眼的角膜曲率中心、瞳孔中心等三维空间点，甚至眼球光轴，可以根据多相机立体视觉的基本原理直接计算获得，可以使用户标定过程大大简化。但多相机系统的硬件配置相对复杂，成本较高，且系统标定过程复杂。

技术实现要素：

本发明要解决的技术问题是提供一种基于双眼策略的虹膜半径标定方法，以解决现有技术所存在的标定人眼参数方法所需的硬件系统复杂、成本较高、标定过程复杂的问题。

为解决上述技术问题，本发明实施例提供一种基于双眼策略的虹膜半径标定方法，包括：

确定光源和1个屏幕标定点在系统相机坐标系下的位置；

在标定位置处，即用户盯视所述屏幕标定点时，系统相机捕捉当前的人脸图像，对捕捉到的人脸图像进行处理，提取虹膜成像椭圆特征参数和普尔钦斑中心坐标；

在所述标定位置处所述系统相机坐标系下，根据确定的光源和屏幕标定点在系统相机坐标系下的位置和提取的虹膜成像椭圆特征参数和普尔钦斑中心坐标，基于双眼策略初步标定人眼的虹膜半径；

根据虹膜半径的理论值范围对初步标定的人眼的虹膜半径进行检索优化，直至输出满足预设条件的虹膜半径值作为虹膜半径的标定结果。

进一步地，所述对捕捉到的人脸图像进行处理，提取虹膜成像椭圆特征参数和普尔钦斑中心坐标包括：

对捕捉到的人脸图像进行处理，提取人眼图像和普尔钦斑图像；

对人眼图像进行处理拟合出虹膜椭圆，得到虹膜成像椭圆特征参数；

根据提取的普尔钦斑图像，确定普尔钦斑中心坐标。

进一步地，所述虹膜成像椭圆特征参数包括：椭圆长轴、短轴、中心和倾角。

进一步地，所述在所述标定位置处所述系统相机坐标系下，根据确定的光源和屏幕标定点在系统相机坐标系下的位置和提取的虹膜成像椭圆特征参数和普尔钦斑中心坐标，基于双眼策略初步标定人眼的虹膜半径包括：

根据提取的虹膜成像椭圆特征参数，建立虹膜椭圆方程，将虹膜作为一个空间圆目标，在所述标定位置处所述系统相机坐标系下，根据建立的虹膜椭圆方程，确定对应的空间中三维的虹膜中心坐标及虹膜法向量的表达式；

根据虹膜中心及虹膜法向量的表达式，重建人眼的光轴，得到光轴的表达式；

根据确定的光源在系统相机坐标系下的位置、提取的普尔钦斑中心坐标及得到的光轴的表达式，确定角膜曲率中心；

将人眼的光轴单位方向向量用虹膜法向量表示，人眼的视轴单位方向向量用屏幕标定点在系统相机坐标系下的位置与确定的角膜曲率中心坐标表示，确定人眼的光轴与视轴之间的夹角kappa角；

根据用户左右眼的kappa角相等的特性，初步标定人眼的虹膜半径。

进一步地，建立的虹膜椭圆方程表示为：

au²+bv²+cuv+du+ev+f＝0

其中，a、b、c、d、e、f都表示系数，

amajor表示椭圆长轴，aminor表示椭圆短轴，(xe,ye)表示椭圆中心，θ表示椭圆倾角，(u，v)表示虹膜椭圆的坐标。

进一步地，所述根据确定的光源在系统相机坐标系下的位置、提取的普尔钦斑中心坐标及得到的光轴的表达式，确定角膜曲率中心包括：

利用角膜曲率中心、系统相机光心、确定的光源和普尔钦斑在同一个反射平面内，且光轴经过角膜曲率中心，根据光轴与反射平面相交，确定角膜曲率中心。

进一步地，所述角膜曲率中心表示为：

其中，c表示角膜曲率中心，l＝(l1,l2,l3)表示光源在系统相机坐标系下的位置，g＝(g1,g2,g3)表示普尔钦斑中心坐标，d＝(d1d2d3)^t表示虹膜法向量，i＝r*(i1i2i3)^t表示虹膜中心，r为待标定的人眼的虹膜半径，t表示矩阵转置。

进一步地，所述用户左右眼的kappa角相等的特性表示为：

其中，d1,d2分别为左右眼的光轴方向向量，s为屏幕标定点坐标，c1,c2分别为左右眼的角膜曲率中心坐标。

进一步地，所述根据虹膜半径的理论值范围对初步标定的人眼的虹膜半径进行检索优化，直至输出满足预设条件的虹膜半径值作为虹膜半径的标定结果包括：

根据虹膜半径的理论值范围，确定用于遍历的虹膜半径值；

将确定的用于遍历的虹膜半径值带入含有虹膜半径的虹膜中心表达式和角膜曲率中心表达式中，计算出左右眼相应的虹膜中心、角膜曲率中心，并计算左右眼的kappa角大小；

判断当前遍历的虹膜半径值是否使得左右眼的kappa角之差小于预先设定的精度误差；

若是，则结束检索，输出当前遍历的虹膜半径值作为虹膜半径的标定结果。

本发明的上述技术方案的有益效果如下：

上述方案中，确定光源和1个屏幕标定点在系统相机坐标系下的位置；在标定位置处，即用户盯视所述屏幕标定点时，系统相机捕捉当前的人脸图像，对捕捉到的人脸图像进行处理，提取虹膜成像椭圆特征参数和普尔钦斑中心坐标；在所述标定位置处所述系统相机坐标系下，根据确定的光源和屏幕标定点在系统相机坐标系下的位置和提取的虹膜成像椭圆特征参数和普尔钦斑中心坐标，基于双眼策略初步标定人眼的虹膜半径；根据虹膜半径的理论值范围对初步标定的人眼的虹膜半径进行检索优化，直至输出满足预设条件的虹膜半径值作为虹膜半径的标定结果。所述基于双眼策略的虹膜半径标定方法适用于简化的硬件系统，例如：单相机单光源系统，突破已有的标定人眼虹膜半径方法所需的硬件系统配置，且在标定过程所需的标定点(即：屏幕标定点)只有一个，简化了单相机系统的用户标定过程；人眼虹膜半径通过用户标定过程确定，能够将人眼个体差异考虑在内，具有普适性；虹膜半径的计算采用了优化方法，能够提高人眼虹膜半径标定结果的精度。

附图说明

图1为本发明实施例提供的基于双眼策略的虹膜半径标定方法的流程示意图；

图2为本发明实施例提供的人眼光轴与角膜反射平面相交示意图；

图3为本发明实施例提供的双眼策略标定虹膜半径示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的标定人眼参数方法所需的硬件系统配置复杂、成本较高、标定过程复杂的问题，提供一种基于双眼策略的虹膜半径标定方法。

如图1所示，本发明实施例提供的基于双眼策略的虹膜半径标定方法，包括：

s101，确定光源和1个屏幕标定点在系统相机坐标系下的位置；

s102，在标定位置处，即用户盯视所述屏幕标定点时，系统相机捕捉当前的人脸图像，对捕捉到的人脸图像进行处理，提取虹膜成像椭圆特征参数和普尔钦斑中心坐标；

s103，在所述标定位置处所述系统相机坐标系下，根据确定的光源和屏幕标定点在系统相机坐标系下的位置和提取的虹膜成像椭圆特征参数和普尔钦斑中心坐标，基于双眼策略初步标定人眼的虹膜半径；

s104，根据虹膜半径的理论值范围对初步标定的人眼的虹膜半径进行检索优化，直至输出满足预设条件的虹膜半径值作为虹膜半径的标定结果。

本发明实施例所述的基于双眼策略的虹膜半径标定方法，确定光源和1个屏幕标定点在系统相机坐标系下的位置；在标定位置处，即用户盯视所述屏幕标定点时，系统相机捕捉当前的人脸图像，对捕捉到的人脸图像进行处理，提取虹膜成像椭圆特征参数和普尔钦斑中心坐标；在所述标定位置处所述系统相机坐标系下，根据确定的光源和屏幕标定点在系统相机坐标系下的位置和提取的虹膜成像椭圆特征参数和普尔钦斑中心坐标，基于双眼策略初步标定人眼的虹膜半径；根据虹膜半径的理论值范围对初步标定的人眼的虹膜半径进行检索优化，直至输出满足预设条件的虹膜半径值作为虹膜半径的标定结果。所述基于双眼策略的虹膜半径标定方法适用于简化的硬件系统，例如：单相机单光源系统，突破已有的标定人眼虹膜半径方法所需的硬件系统配置，且在标定过程所需的标定点(即：屏幕标定点)只有一个，简化了单相机系统的用户标定过程；人眼虹膜半径通过用户标定过程确定，能够将人眼个体差异考虑在内，具有普适性；虹膜半径的计算采用了优化方法，能够提高人眼虹膜半径标定结果的精度。

本实施例中，在确定光源和1个屏幕标定点在系统相机坐标系下的位置之前，所述方法还包括：标定系统相机求取系统相机的内参数，所述内参数包括：相机像元尺寸、图像中心、焦距等。

在前述基于双眼策略的虹膜半径标定方法的具体实施方式中，进一步地，所述确定光源和屏幕标定点在系统相机坐标系下的位置包括：

利用系统相机与辅助相机之间的转换关系，确定光源和屏幕标定点在系统相机坐标系下的位置，其中，辅助相机置于光源和屏幕的对面。

本实施例中，通过系统标定确定光源和屏幕标定点在系统相机坐标系下的位置，此处的系统利用了辅助相机，即：实际上是用到了两个相机(系统相机和辅助相机)；具体的：光源和屏幕标定点的位置标定首先借助一个置于光源和屏幕对面的辅助相机进行测量，然后利用系统相机与辅助相机之间的转换关系，确定光源和屏幕标定点在系统相机坐标系下的位置。

本实施例中，光源和屏幕标定点是需要借助辅助相机提前标定好的，然后每个用户来使用这个系统时，可以通过单相机单光源等简化系统来初步标定出人眼的虹膜半径，且是单点标定(只用了一个屏幕标定点)，并优化出精度更高的该用户的虹膜半径。

在前述基于双眼策略的虹膜半径标定方法的具体实施方式中，进一步地，所述对捕捉到的人脸图像进行处理，提取虹膜成像椭圆特征参数和普尔钦斑中心坐标包括：

对捕捉到的人脸图像进行处理，提取人眼图像和普尔钦斑图像；

对人眼图像进行处理拟合出虹膜椭圆，得到虹膜成像椭圆特征参数；

根据提取的普尔钦斑图像，确定普尔钦斑中心坐标。

本实施例中，在标定位置处，即用户盯视所述屏幕标定点时，系统相机捕捉并保存此时的人脸图像，并对捕捉到的人脸图像进行处理，提取虹膜成像椭圆特征参数和普尔钦斑中心坐标。

本实施例中，所述虹膜成像椭圆特征参数包括：椭圆长轴amajor、短轴aminor、中心(xe,ye)和倾角θ。

如图2所示，光源l在角膜外表面产生反射，形成反射点g，反射点g在系统相机中成像为普尔钦斑g。

在前述基于双眼策略的虹膜半径标定方法的具体实施方式中，进一步地，所述在所述标定位置处所述系统相机坐标系下，根据确定的光源和屏幕标定点在系统相机坐标系下的位置和提取的虹膜成像椭圆特征参数和普尔钦斑中心坐标，基于双眼策略初步标定人眼的虹膜半径包括：

根据提取的虹膜成像椭圆特征参数，建立虹膜椭圆方程，将虹膜作为一个空间圆目标，在所述标定位置处所述系统相机坐标系下，确定对应的空间中三维的虹膜中心坐标及虹膜法向量的表达式；

根据虹膜中心及虹膜法向量的表达式，重建人眼的光轴，得到光轴的表达式；

根据确定的光源在系统相机坐标系下的位置、提取的普尔钦斑中心坐标及得到的光轴的表达式，确定角膜曲率中心；

将人眼的光轴单位方向向量用虹膜法向量表示，人眼的视轴单位方向向量用屏幕标定点在系统相机坐标系下的位置与确定的角膜曲率中心坐标表示，确定人眼的光轴与视轴之间的夹角kappa角；

根据用户左右眼的kappa角相等的特性，初步标定人眼的虹膜半径。

本实施例中，在所述标定位置处所述系统相机坐标系下，基于s101得到的光源和屏幕标定点在系统相机坐标系下的位置和s102提取的虹膜成像椭圆特征参数和普尔钦斑中心坐标，基于双眼策略初步标定人眼的虹膜半径，具体步骤可以包括：

s1031，根据s102提取的系统相机成像面上的虹膜成像椭圆特征参数，建立虹膜椭圆方程：

au²+bv²+cuv+du+ev+f＝0

其中，a、b、c、d、e、f都表示系数，

amajor表示椭圆长轴，aminor表示椭圆短轴，(xe,ye)表示椭圆中心，θ表示椭圆倾角，(u，v)表示虹膜椭圆的坐标；

将虹膜作为一个空间圆目标，在所述标定位置处所述系统相机坐标系下，根据建立的虹膜椭圆方程，确定对应的空间中三维的虹膜中心i及虹膜法向量d的表达式：

其中，r为待标定的虹膜半径，λ1,λ2,λ3和e1＝(e1x,e1y,e1z),e3＝(e3x,e3y,e3z)分别为系统相机光心与虹膜椭圆所构成的圆锥方程系数建立的实对称矩阵的特征值和特征向量，将虹膜中心i及其法向量d简单表示为：

i＝r*(i1i2i3)^t，d＝(d1d2d3)^t；

s1032，根据虹膜中心i及虹膜法向量d的表达式，重建人眼的光轴，得到光轴的表达式：

其中，(xyz)表示光轴的坐标；

s1033，根据s101确定的光源在系统相机坐标系下的位置、s102提取的普尔钦斑中心坐标及s1032得到的光轴的表达式，确定角膜曲率中心；

如图2所示，光源l在角膜外表面产生反射，形成反射点g，反射点g在系统相机中成像为普尔钦斑g。根据反射定律，入射光线、反射光线和法线均在同一反射平面内，则光源l、角膜曲率中心c、系统相机光心o和普尔钦斑g在同一个反射平面内；同时，光轴作为人眼的对称轴，经过角膜曲率中心c，因此，角膜曲率中心可以根据人眼光轴与反射平面相交表示为：

其中，c表示角膜曲率中心，l＝(l1,l2,l3)表示光源在系统相机坐标系下的位置，g＝(g1,g2,g3)表示普尔钦斑中心坐标，d＝(d1d2d3)^t表示虹膜法向量，i＝r*(i1i2i3)^t表示虹膜中心，r为待标定的人眼的虹膜半径，角膜曲率中心c与虹膜半径r相关且成正比，将角膜曲率中心简单表示为：

c＝r*(c1c2c3)^t

s1034，将人眼的光轴单位方向向量用虹膜法向量表示，人眼的视轴单位方向向量用s101中屏幕标定点在系统相机坐标系下的位置与s1033确定的角膜曲率中心坐标c表示，确定人眼的光轴与视轴之间的夹角kappa角。

s1035，根据用户左右眼的kappa角相等的特性，初步标定人眼的虹膜半径。

如图3所示，s表示屏幕标定点坐标，人眼的光轴与视轴之间的夹角为kappa角，kappa角为人眼不变参数，根据双眼策略，即：用户左右眼的kappa角相等的特性，求取虹膜半径的表达式，可以初步求取虹膜半径。

所述用户左右眼的kappa角相等的特性表示为：

其中，d1,d2分别为左右眼的光轴方向向量，s为屏幕标定点坐标，c1,c2分别为左右眼的角膜曲率中心坐标。

在前述基于双眼策略的虹膜半径标定方法的具体实施方式中，进一步地，所述根据虹膜半径的理论值范围对初步标定的人眼的虹膜半径进行检索优化，直至输出满足预设条件的虹膜半径值作为虹膜半径的标定结果包括：

根据虹膜半径的理论值范围，确定用于遍历的虹膜半径值；

将确定的用于遍历的虹膜半径值带入含有虹膜半径的虹膜中心表达式和角膜曲率中心表达式中，计算出左右眼相应的虹膜中心、角膜曲率中心，并计算左右眼的kappa角大小；

判断当前遍历的虹膜半径值是否使得左右眼的kappa角之差小于预先设定的精度误差；

若是，则结束检索，输出当前遍历的虹膜半径值作为虹膜半径的标定结果。

由于s103中是通过一个一元方程得到虹膜半径值，因此，此时得到的虹膜半径值精度较差，为了避免s103中因虹膜成像椭圆拟合精度造成的测量误差，本发明提出了一种优化虹膜半径标定结果的方法：根据虹膜半径的理论值范围，确定用于遍历的虹膜半径值；将确定的用于遍历的虹膜半径值带入含有虹膜半径的虹膜中心表达式和角膜曲率中心表达式中，计算出左右眼相应的虹膜中心、角膜曲率中心，并计算左右眼的kappa角大小；判断当前遍历的虹膜半径值是否使得左右眼的kappa角之差小于预先设定的精度误差；若是，则结束检索，输出当前遍历的虹膜半径值作为虹膜半径的标定结果。

本实施例中，根据虹膜半径的理论值范围对人眼的虹膜半径进行检索(例如，理论值范围为5mm-6.5mm，可以按照虹膜半径值5.01，5.02……这样逐个去检索)，根据不同的虹膜半径值计算出左右眼相应的虹膜中心、角膜曲率中心，进而计算此时对应的左右眼的kappa角大小，当且仅当虹膜半径值使得左右眼的kappa角之差小于预先设定的精度误差时(利用的是左右眼kappa角相等这个性质)，检索过程中断，输出此时对应的虹膜半径值，作为虹膜半径的标定结果。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。