一种基于动态交比的凝视点估计方法及其系统的制作方法
【技术领域】
[0001] 本发明涉及一种基于动态交比的凝视点估计方法及其系统。
【背景技术】
[0002] 随着人机交互技术的发展，越来越多的人机交互产品深入了我们的日常生活，目艮 动跟踪也日益成为的研宄热点，从传统的接触式到现在的非接触式，人机交互方式朝着更 自然，舒适方便的方向发展，眼睛作为人类心灵的窗口，作为人类表达思想和情感，获取信 息的重要来源，眼动跟踪技术无疑是方便的交流方式，经过长时间的发展，眼动跟踪技术也 在不断完善，依靠眼睛进行操作的应用与设备也越来越多，很多时候取代了手指的行为动 作，因此，对眼动跟踪系统眼睛具有十分重要的意义。
[0003] 基于投影空间中交比不变性的眼动跟踪技术一直是眼动跟踪研宄者们的热点，通 过标定建立虚拟投影平面进而进行凝视点估计是其途径之一。有研宄者提出了采用建立虚 拟平面的方法，通过标定来设定虚拟平面，后来又在原来参数的基础上添加了垂直分量。另 外一些研宄者也在此基础上进行了研宄，在没有改变标定参数的情况下，对结果进行了误 差修正，通过注视屏幕中已知的五个点，人为对结果进行修正。2011年，Morimoto总结了 基于交比眼动跟踪方法，指出现在的基于交比不变性的眼动跟踪系统对头部位置的变化较 敏感，作者总结了现在的两种扩展的方法来提高头部位置的鲁棒性，第一种方法是动态补 偿角膜反射模型导致的误差变化（^Dynamic Displacement Vector Correction(CR-DD))， 该方法侧重在结果上进行误差修正，第二种方法（Planarization of CR Features (PL-CR) method)估计真正的共面眼睛特征，通过建立虚拟平面模型，从而使得交比可以使用，该方 法侧重修改参数，使得瞳孔中心和光斑中心所在的虚拟平面共面。作者还补充说明了第二 种方法对头部的适应性较好。
[0004] 采用动态交比进行凝视点估计的方法，用户进行凝视点估计的差异性主要由以下 两种原因导致：1)人眼的视轴与光轴之间的偏差，这个每个人的可能不一样，一般小于5° ; 2)如何精确拟合线交比和弧交比的关系是提高凝视点精度的关键。本发明旨在拟合线交比 和弧交比关系即第二个问题。
[0005] 眼睛作为一个球体，利用交比不变性来估计凝视点时，需要建立虚拟投影平面。如 图1所示，此方法在用户通过标定得到四个参数，计算四个虚拟投影点，以此建立一个虚拟 平面，使瞳孔中心和光斑的虚拟投影点处于同一个平面，然后利用交比不变性来估计凝视 点，但是该方法会产生四个虚拟点的误差，从而最终产生较大的凝视点误差。而为了消除这 四个点的误差，即直接利用四个光斑点的坐标来计算。
[0006] 因此需要一种无需构造虚拟平面，即省略了计算虚拟光斑投影点这一步骤，通过 离线学习线交比和弧交比的比例关系，直接利用检测到的光斑点来估计凝视点。
【发明内容】
[0007] 本发明的目的在于克服现有技术的不足，提供一种基于动态交比的凝视点估计方 法及其系统，获取基于近红外光图像的光斑点中心与瞳孔中心，拟合线交比和弧交比的关 系，直接利用检测到的光斑点进行凝视点估计；解决现有技术为了使用交比不变性的原理 来估计凝视点，需要通过构造一个虚拟平面，使瞳孔中心和光斑的虚拟投影点处于同一个 平面，然后利用交比不变性来估计凝视点的方法会产生四个虚拟点的误差，从而最终产生 较大的凝视点误差的问题。
[0008] 本发明的目的是通过以下技术方案来实现的：一种基于动态交比的凝视点估计方 法，它包括以下子步骤：
[0009] S1 :建立动态交比模型，推导线交比和弧交比的关系；
[0010] S2 :根据相机采集到的图像中光斑点间的距离，对线交比和弧交比的交比比例关 系进行拟合；
[0011] S3 :对凝视点估计计算：根据步骤S2中拟合得到的线交比和弧交比的关系式，实 时计算交比值并计算凝视点。
[0012] 所述的推导线交比和弧交比的关系包括以下子步骤：
[0013] S11 :在四点共线的情况下得到线交比表达式C&，其中四点分别为A、B、C和D，发 射点为P，包括以下子步骤：
[0014] 51101:在厶八?(：、厶8?(：、厶4?0、厶8?0中，根据三角形正弦定理我们可以得到下 面四个关系式：
[0015]
【主权项】
1. 一种基于动态交比的凝视点估计方法，其特征在于：它包括以下子步骤： 51 :建立动态交比模型，推导线交比和弧交比的关系； 52 :根据相机采集到的图像中光斑点间的距离，对线交比和弧交比的交比比例关系进 行拟合； 53 :对凝视点估计计算：根据步骤S2中拟合得到的线交比和弧交比的关系式，实时计 算交比值并计算凝视点。
2. 根据权利要求1所述的一种基于动态交比的凝视点估计方法，其特征在于：所述的 推导线交比和弧交比的关系包括以下子步骤： 511 :在四点共线的情况下得到线交比表达式CI^，其中四点分别为A、B、C和D，发射点 为P，包括以下子步骤： 51101 :在AAPC、ABPC、AAPD、ABPD中，根据三角形正弦定理我们可以得到下面四个 关系式：
51102 :将步骤SllOl中得到的四个公式相乘，得到四点共线的交比表达式CR^
512 :在四点共圆的情况下得到弧交比表达式CR。，其中四点分别为A、B、C和D，发射点 为P，圆心为0,包括以下步骤： S1201 :在AAPC、ABPC、AAPD、ABPD中，根据三角形正弦定理我们可以得到下面四个 关系式：
51203 :由于在一个圆中，等长的弧对应的圆周角相等，也等于其对应的圆心角的一半， 因此可以得到：
51204 :将步骤S1203得到的公式代入步骤S1201中得到的公式，得到下式：
51205 :在眼动跟踪的系统中，每个人的眼球半径几乎相等，因此交比比例关系值只与 眼球的位置有关，而且，眼球与相机的距离远大于眼球的半径，可以近似认为PA = PB = PC =PD，闵此有：
将上述两个公式代入步骤S1204中得到的公式，得到：
51206 :眼球与相机的距离远大于眼球的半径，因此把相机到眼球上的任意点的距离均 视为等于PA的长度； 由于在ABPD和ABPC中，有：
其中R为眼球的半径； 将上面三个公式代入步骤S1205中得到的公式,得到：
3.根据权利要求2所述的一种基于动态交比的凝视点估计方法，其特征在于：步骤S2 包括以下子步骤： S21 :标定采集样本点，计算公式如下： 式中，CM5PCR y为计算得到的理论交比值，W和H分别为屏幕宽和高，X g，y#别为标 定点的横纵坐标值；
S22 :通过标定程序，采集一系列注视所述的样本点的眼睛图像，经过图像处理得到每 张图像对应的光斑点坐标和理论的线交比例，包括以下子步骤： 52201 :得到图像中弧交比的计算公式如下：
式中)(/ =丨，2,3,4) 52202 :根据样本点和步骤S1206得到公式，拟合线交比和弧交比关系Y :
式中，R是一个常数，无需拟合，PA可以再图像光斑点中反映出来，即我们可以采用光 斑点的距离来代替PA进行拟合； S2203:为了不再计算额外点的坐标，假设AB= AaAD，BC= AbAD，BD= ACAD，步骤S22 中的公式表示为：
S2024 :为了拟合更加准确和一般性，将步骤S2203得到的公式表示为：
S25 :利用Matlab中非线性拟合工具来进行Y的拟合，得到线交比和弧交比的关系式。
4. 根据权利要求3所述的一种基于动态交比的凝视点估计方法，其特征在于：所述的 屏幕宽和高均以像素为单位。
5. 根据权利要求3所述的一种基于动态交比的凝视点估计方法，其特征在于：步骤S3 包括以下子步骤： 531 :当采集到一帧图像并检测出光斑点后，利用步骤S2201中的公式和步骤S2204中 的公式计算出弧交比值以及线交比和弧交比的比例关系，得到线交比值； 532 :利用以下公式进行凝视点估计：
9 式中CRdP CR y为线交比值，W和H分别为屏幕的宽和高，X 8和y g即为凝视点的估计坐 标。
6. 如权利要求1-5中任意一项所述的一种基于动态交比的凝视点估计方法的系统， 其特征在于：它包括动态交比模型建立模块、动态交比学习模块和凝视点估计模块，所述的 动态交比模型建立用于推导线交比和弧交比的关系；所述的动态交比学习模块用于通过标 定，拟合线交比和弧交比关系；所述的凝视点估计模块用于凝视点估计。
【专利摘要】本发明公开了一种基于动态交比的凝视点估计方法及其系统，方法包括以下子步骤：S1：建立动态交比模型，推导线交比和弧交比的关系； S2：根据相机采集到的图像中光斑点间的距离，对线交比和弧交比的交比比例关系进行拟合；S3：对凝视点估计计算：根据步骤S2中拟合得到的线交比和弧交比的关系式，实时计算交比值并计算凝视点。本发明无须计算四个参数，直接拟合线交比和弧交比的关系，当眼睛移动或转动时，即可直接利用该关系得到交比关系，然后直接利用四个光斑点计算凝视点，该方法省略了计算虚拟投影点的过程，即减少了计算四个点的误差，而只有计算交比这一误差，具有精确度高，实时性好的特点。
【IPC分类】G06T7-00
【公开号】CN104751467
【申请号】CN201510151563
【发明人】程洪, 谢道训, 杨路
【申请人】电子科技大学
【公开日】2015年7月1日
【申请日】2015年4月1日