专利名称：视线追踪系统中基于瞳孔-角膜反射的视线估计方法
技术领域：
视线追踪系统中的基于瞳孔-角膜反射(PCCR)的视线估计方法，属于人机交互领 域。
背景技术：
视线追踪技术是利用机械、电子、光学等各种检测手段获取受试者当前“注视方 向”的技术，按照系统构成和采用的检测方法可以粗略划分为侵入式和非侵入式两种。在人 机交互和疾病诊断两个领域有着广泛的应用，如助残，虚拟现实，认知障碍诊断，车辆辅助 驾驶，人因分析等。用于诊断的视线追踪系统可以采用侵入式以达到更高的精度。用于交 互的视线追踪系统除了对精度，鲁棒性，实时性的要求以外，需要最大程度的减少或消除对 使用者的干扰。随着数字化技术、计算机视觉、人工智能技术的迅速发展，基于数字视频分 析(VideoOculographicJOG)的非侵入式视线追踪技术成为当前热点研究方向。视线追踪技术利用眼球转动时相对位置不变的某些眼部结构和特征作为参照，在 位置变化特征和这些不变特征之间提取视线变化参数，然后通过几何模型或映射模型获取 视线方向。因此，基于VOG的视线追踪技术分为视线特征参数提取和视线估计模型建立两 个组成部分。随着系统硬件和视线估计模型不同，基于VOG的视线追踪方法可分为如下几 类(a)瞳孔-角膜反射法采用红外光源产生角膜反射，通过计算瞳孔中心与角膜反 射之间的向量来估计视线方向。视线估计模型可以采用映射模型(通常为非线性多项式模 型)，也可以采用几何模型。(b)角膜反射矩阵法多红外光源在角膜上产生多个角膜反射形成角膜反射矩 阵。通过计算角膜反射与瞳孔中心的位置特征估计视线方向，视线估计模型使用投影平面 不变的交比值。(c)椭圆法线方向法通过记录高分辨率眼睛图像，计算虹膜边界圈的法线方向 估计视线方向。在可见光下追踪高分辨率的眼睛图像并通过基本的投影几何关系计算椭圆 虹膜圈的法线方向并视其为视线方向。VOG系统普遍使用瞳孔-角膜反射方法，如
图1所示。基于瞳孔角膜反射的视线追 踪系统，其精确性与稳定性可以通过设置与摄像机镜头同轴的近红外(IR)光源进一步提 高，其产生的“亮瞳”现象如图2所示。由于采用亮暗瞳差分方案，瞳孔特征相对突出，便于 在整幅脸部图像中快速捕捉眼睛和在眼部图像中精细准确的分割瞳孔。亮暗瞳差分方案一 般过程如下控制光源交替亮暗，产生亮瞳和暗瞳隔帧交替出现的视频序列。利用相邻亮瞳 和暗瞳图像做差分消除背景的影响，在阈值化后的差分图像中检测瞳孔。在此基础上，为了 提高检测的稳定性，通过动态设置阈值等方法，对亮暗瞳差分方案做出了改进，以排除头部 随机运动产生的干扰区域。在初始帧中对瞳孔进行定位以后，需要在接下来的视频序列中 对瞳孔进行跟踪。卡尔曼滤波，均值漂移，组合卡尔曼滤波与均值漂移，相继被用于瞳孔跟
踪ο
大部分基于瞳孔-角膜反射技术的视线估计可分为两类基于二维映射模型的视 线估计方法和直接的三维视线估计方法。对于直接的三维视线估计方法，首先要估计三维的视线方向，然后通过视线方向 和屏幕的交点即可得到盯视点。用以三维视线方向的估计方法，使用一个单校准摄像机和 至少两个光源。首先，使用至少三个光源测量每个使用者的眼球角膜半径。一系列高阶多 项式方程用来计算角膜的半径和中心，但是它们的解不是唯一的。因此，如何从这些解中找 到正确的答案仍然是个问题。此外，还没有用这种技术建立起相应的实用系统。三维视线估计方法有以下几个缺点(a)在现存的三维视线估计方法中，要么需 要关于用户眼球参数的独立信息，要么需要至少两摄像机和两个光源的复杂硬件配置。否 则就不能解决头动问题。但是使用者眼球的独立信息，如角膜半径和瞳孔与角膜中心的距 离，是非常小的(一般小于10mm)。因此，在不借助其它仪器的情况下，准确的间接估计眼球 独立参数是很难实现的。(b)即使采用一个摄像机和两个光源配以使用者眼睛独立参数的 方案，在系统标定过程中也要使用至少两个摄像机。(c)因为需要估计角膜球面中心的空间 位置，而角膜球面中心不可见，需要至少两个光源的像去估计角膜球面中心的空间位置，所 以至少需要两个光源。(d)需要进行相机标定，光源位置标定和屏幕位置标定，并且三维视 线估计对以上位置非常敏感，相机发生变化不仅要对自身重新进行标定，而且要对光源和 屏幕重新进行标定，光源和屏幕发生变化要对自身重新进行标定。基于二维映射模型的视线估计方法，通过一个经过校准的视线映射函数来估计视 线方向，映射函数的输入是从眼睛图像提取的一系列二维眼动特征，输出是视线方向或注 视点。二维映射模型不需要估计三维的视线方向，所以不需要使用立体视觉系统，不需要进 行相机的标定，不需要进行光源和屏幕三维位置的标定，为低硬件配置条件下的视线估计 提供了有效的解决方案。提取的二维眼动特征随视线而变化，使它们之间的关系可以由一个视线映射函数 来表示。为了得到视线映射函数，需要对每个使用者进行在线校准。但是，二维眼动特征随 着头部位置的变化而显著变化，因此，校准的视线映射函数对头部位置非常的敏感。因此， 为了得到准确的注视点，使用者需要保持头部静止。如果使用者保持其头部固定，或通过 支架限制其头部活动，眼睛注视点跟踪的结果可以达到非常高的精度。平均误差可以小于 1° (对应在计算机屏幕上少于10毫米)。但是如果头部离开使用者校准时的位置，视线跟 踪系统的准确性将显著下降。二维视线估计方法有以下几个缺点(a) 二维视线估计依赖于标定位置，视线估 计的精度随着使用者头部远离标定位置而迅速下降，所以使用者需要保持头部静止。(b)需 要依靠标定确定眼睛特征参数与视线的映射函数，所以标定点数较多。总括来说，理想的视线估计方法需要满足以下几点要求(a)准确的，例如，精确 到分；(b)可靠的，结果可重复；(c)鲁棒的，可以在各种条件下正常工作，例如室内/室外， 带眼镜，带隐形眼镜；(d)非接触式的，对用户无害，舒适的；(e)允许自由的头部运动；(f) 尽可能少的初始校准；(g)实时的；(h)硬件配置简单低廉。而现有的视线估计方法都不能 完全满足上述要求。直接的三维视线估计方法都存在两个共同的缺点第一，至少需要两摄 像机(已标定)和两个光源的复杂硬件配置；第二，繁杂的系统标定过程。现有的基于二维 映射模型的估计方法都存在两个共同的缺点第一，用户使用前都需要进行多点个体标定；第二，用户需要保持头部静止。
发明内容
理想的视线估计方法需要满足以下几点要求(a)准确的，例如，精确到分；(b)可 靠的，结果可重复；(c)鲁棒的，可以在各种条件下正常工作，例如室内/室外，带眼镜，带隐 形眼镜；(d)非接触式的，对用户无害，舒适的；(e)允许自由的头部运动；(f)尽可能少的 初始校准；(g)实时的；(h)硬件配置简单低廉。为满足上述要求，并针对现有视线估计方法的不足，本发明提出一种可适应自然 头动的视线估计方法(GEMHSS0)。在单相机单光源条件下实现了头动对视线参数影响的解 析补偿，使精确视线估计的最小硬件要求降低到单相机(未标定)单光源，既不需要繁杂的 系统标定，又实现了自然头动视线估计，并且简化用户标定为单点标定。本发明的具体步骤包括第一步，多项式模型，完整的视线映射函数((;x，Gy)= F(Ax, Δγ)是一个复杂的非线性函数，本步骤讨论的是使用者和头部位置固定情况下的视 线映射函数((ix，Gy) =f(AX，Ay)。第二步，个体差异补偿，为了补偿个体差异对视线估计 的影响，提出一种新的视线特征向量个体差异补偿方法。第三步，头部位置补偿，为了解决 使用者头部位置改变对视线估计精度的影响，本发明通过分析头动后眼部特征和头部位置 变化的关系，提出了头部位置补偿方法。第四步，通过使用者和头部位置固定情况下得到新 的视线映射函数((ix，Gy) = f(Ax"，Ay")，本发明的整个方法流程如图3所示。上述步骤中，使用者和头部位置固定情况下的视线映射函数(Gx，Gy) = f(Ax, Δ y),其中 Gx = B^a2 Δ x+a3 Δ y+a4 Δ χ Δ y，Gy = Vb2 Δ y+b3 Δ x+b4 Ay2, (Αχ, Ay)为瞳 孔中心到角膜反射的向量，为了覆盖屏幕落点的各个区域，本发明通过9点标定，即在进 行视线估计的时候，使用者依次盯着屏幕的9个点，当使用者盯着其中一点时，由图像处 理方法计算出(<\,Gj，其中(η = 1，2，···，9)。用 Gln =O^tJ2Axij+ α3Δ_ν + α4Δχ Δ_ν ， Gyn = +、Δχ +、Δ} 2对 8 个未知数 a1; a2，a3，a4，b1 b2，b3，b4 进行多项式回归。上述步骤中，本发明提出一种新的视线特征向量个体差异补偿方法。通过单点标 定确定使用者的角膜半径比例系数k和视线偏角λ，补偿方法如下(ΔΧ' , Ay')= (Δχ, Δγ) Xk(cosA+isinA), (Δχ'，Δγ')为补偿以后的瞳孔中心到普尔钦斑向量。
补偿以后的视线特征向量L'
权利要求
1.视线追踪系统中基于瞳孔-角膜反射的视线估计方法，其特征在于步骤一多项式模型初始化，使用者和头部位置固定情况下的视线映射函数
2.如权利要求1所述的估计方法，其特征在于使用者和头部位置固定情况下 的视线映射函数(Gx, Gy) = f(Ax，Ay)，其中 Gx = a1+a2Ax+a3Ay+a4AxAy, Gy = b1+b2Ay+b3Ax+b4Ay2, (Δχ, Δ y)为瞳孔中心到角膜反射的向量，为了覆盖屏幕落点的 各个区域，本发明通过9点标定，在进行视线估计的时候，使用者依次盯着屏幕的9个点，当使用者盯着其中一点时，由图像处理方法计算出(<^,\)，其中(n= 1,2, ...，9)；用
3.如权利要求1所述的估计方法，其特征在于所述的个体差异补偿是通过单 点标定确定使用者的角膜半径比例系数k和视线偏角λ，(Δχ' , Ay' ) = (Δχ, Δ y) Xk (cos λ +isin λ), (Δχ ‘，Δ y ')为补偿以后的瞳孔中心到普尔钦斑向 量，(Δχ, Ay)为瞳孔中心到角膜反射的向量，补偿以后的视线特征向量L',为
4.如权利要求1所述的估计方法，其特征在于所述的头部位置补偿是当用户在两个 位置盯视同一屏幕点S时，根据三角形OSO1, OSO2的几何比例关系及成像原理得到
全文摘要
本发明提出一种视线追踪系统中基于瞳孔-角膜反射的视线估计方法，属于人机交互领域。针对现有PCCR存在的主要问题限制使用者头部运动和个体标定问题，提出了一种单相机单光源条件下头部位置的补偿方法，实现了头部位置变化对瞳孔角膜向量影响的解析补偿，并建立一种个体差异的转化模型，进而简化标定过程为单点标定。以此为基础形成一种新的视线估计方法，本方法使精确视线估计的最小硬件要求降低到单相机(未标定)单光源，既不需要繁杂的系统标定，又实现了自然头动视线估计，并且简化用户标定为单点标定。该方法的各个环节都满足实时性要求，为面向人机交互的视线追踪系统提供了有效的解决方案。
文档编号A61B3/113GK102125422SQ201010033780
公开日2011年7月20日 申请日期2010年1月12日 优先权日2010年1月12日
发明者常宁, 张琼, 张闯, 张鹏翼, 王志良, 迟健男 申请人:北京科技大学