专利名称：一种基于逐步回归分析映射模型的视线跟踪方法
技术领域：
本发明涉及视线跟踪技术，具体涉及基于逐步回归分析映射模型的视线跟踪方法。
背景技术：
视线识别技术为人机交互技术的重要分支，主要研究对人眼注视点的检测与识别，实现对其他功能系统控制，其研究成果在军备开发、无人驾驶、航空航天、残疾人辅助、 虚拟现实等领域有着广泛的应用前景。
视线跟踪技术一般可以分为两类，接触式和非接触式。接触式的精度高，但用户须佩戴特殊设备，给用户使用带来很大的不便。非接触式不需用户佩戴任何设备，不对用户产生干扰。非接触式技术是目前研究的热点。在非接触式视线跟踪技术中，瞳孔-角膜反射向量法具有较高的精度，是目前非接触式技术的主流。按照其原理瞳孔-角膜反射法可划分为3维跟踪方法和2维跟踪方法。3维的跟踪方法存在很大的缺陷，需要用到多个摄像机来求得眼睛3维坐标，对硬件要求高，算法复杂耗时，实现难度大。在现今的视线跟踪实用系统中大多使用2维的跟踪方法。人眼注视点映射模型是2维跟踪方法中最关键的问题， 现今的映射模型函数使用固定的参数组合，没有考虑映射模型函数整体和各个参数的显著性，缺乏合理性检验和拟合精度不高。由于使用者生理特征参数差异性，如眼球半径、眼球椭圆系数等，和所处的条件不同，如头部相对与摄像头的位置等，不同个体是有差异的，使用固定的模型参数组合并不完全适合所有情况，必须对映射模型函数整体和各参数的显著性进行检测。并且现有绝大部分视线跟踪方法在人眼凝视时定位注视点时没有考虑眼睛抖动的问题，使得人眼盯着一点看时，定位出的注视点还会不断跳动。发明内容
本发明的目的在于克服现有2维映射模型缺乏合理性检验、拟合精度不高和缺乏考虑凝视时眼睛抖动的缺点，提供一种基于逐步回归分析映射模型的视线跟踪方法，根据输入的眼动特征信息数据检测模型整体和各参数的显著性，自适应调整模型参数的组合， 建立合理、高精度的、鲁棒性强的映射模型，并且在人眼凝视时通过高斯权重平均解决眼睛抖动的问题。该算法对硬件要求低，只需一个普通的摄像头和两个红外光源，所需的计算量不大，提高了视线跟踪的实时性。
本发明通过以下技术方案实现
一种基于逐步回归分析映射模型的视线跟踪方法，该方法需要一个摄像头和两个红外光源，包括如下步骤
(1)眼睛注视屏幕上的标定点，提取眼动特征信息；
(2)选择初始映射模型函数利用步骤(1)所获取的眼动特征信息，对候选的初始映射模型函数进行整体的显著性检测和初始精度检测，若通不过这两检测则更换初始映射模函数重新进行检测，通过这两个检测则确定为初始映射模型函数；
(3)确定最终映射模型函数对初始映射模型函数各项的显著性进行检验，剔除非显著的项，在不断地项剔除及重新建立映射模型函数的过程中，最终找到拟合精度最高的映射模型函数；
(4)计算注视点提取眼动特征信息，当人眼处于凝视状态时，采用高斯权重平均法来平滑眼动特征信息，利用最终映射模型函数进行注视点计算，实现实时的视线跟踪。
上述跟踪方法中，步骤(1)的标定点为屏幕的中点及在屏幕上4X4平均分布的16 ^fv 点，17 ^fv 点。
上述跟踪方法中，所述步骤(1)眼动特征信息的提取包括
a.定位出瞳孔区域，获得瞳孔中心坐标O3X, Py)；
b.分别定位出两个红外光源在眼睛角膜上的反射斑点区域，获得两个斑点中心坐标，得到这两个斑点中点连线的中点坐标(Xe，Yc)，以及两个斑点中点的欧氏距离d ；
C..获得由瞳孔中心指向两个反射斑点中点连线的中点的向量V，以两个反射斑点中点的欧氏距离d作为修正因子，由V除以d.获得眼动特征信息Vmk,称为修正瞳孔-角膜反射向量；
d.由于人眼在凝视标定点时眼睛也不是完全静止的，人眼为了获取外界信息在不断地小范围抖动，为了获取的眼动特征信息具有更好的鲁棒性，在人眼凝视每个标定点时连续取五帧图像的修正瞳孔-角膜反射向量，然后取平均值作为标定点对应的眼动特征信肩、ο
上述跟踪方法中，所述步骤( 包括
a.确定初始映射模型函数把眼动特征信息和人眼注视点对应起来，映射模型函数为多项映射模型函数，以人眼注视点的坐标为依变量，以眼动特征信息即修正瞳孔-角膜反射向量的X轴分量和Y轴分量组合构成的项作为自变量；
b.利用标定点在屏幕上的坐标信息和对应的眼动特征信息采用F检验法检查候选初始映射模型函数的整体显著性，当映射模型函数整体为非显著时更改初始映射模型函数，通过整体显著行检测后，用最小二乘法确定初始映射模型函数的系数，把用该初始映射模型函数计算出的人眼注视点与标定点进行比较得到定位误差，若定位误差大于设定值则更换初始映射模型函数。
上述跟踪方法的步骤b中，候选初始映射模型函数有6参数二次多项式、9参数多项式和12参数多项式，首先选择6参数二次多项式作为待定初始映射模型函进行整体的显著性检测和初始精度检测，如果如果6参数二次多项式达通不过检测则重新选择9参数多项式作为待定初始映射模型函进行整体的显著性检测和初始精度检测，若9参数多项式也通不过检测则选择12参数多项式。
上述跟踪方法中，所述步骤C3)包括
确定了初始映射模型函数后，映射模型函数的各自变量不一定与依变量的关系都是显著的，非显著的自变量会影响映射模型函数的准确性和鲁棒性，故用F检验法对映射模型函数各项的显著性进行检验，剔除非显著的项，在不断的项剔除及重新建立映射模型函数的过程中，找到最优的函数参数组合，显著地提高模型函数计算效率及拟合精度。
上述跟踪方法中，所述步骤⑷包括
a.获取每帧图像的眼动特征信息VP_CK;
b.根据眼动特征信息Vp,变化量，判断眼睛处于凝视状态还是非凝视状态当前帧的眼动特征信息VP_CR与前一帧的眼动特征信息VP_CR比较，如果相对变化量小于1 %则判断为眼睛处于凝视状态，反之则处于非凝视状态；
c.当眼睛处于凝视状态时，平滑眼动特征信息Vp,由于眼睛的抖动影响，直接采用每一帧图像的眼动特征信息VP_CR来计算眼睛注视点时，眼睛注视点会快速跳动，为了克服这个困难，当眼睛处于凝视状态时，采用高斯分布为眼睛处于凝视状态时获取的连续多帧图像的眼动特征信息分配权重，通过权重平均来获得平滑的眼动特征信息；
d.当人眼处于非凝视状态时直接利用该帧图像的眼动特征信息计算注视点，当人眼处于凝视状态时利用平滑后的眼动特征信息计算注视点。
与现有技术相比，本发明的优点与积极效果在于
1.相对传统的静态的映射模型采用固定组合的多项式映射模型函数，该方法采用基于逐步回归分析的方法，在构建了初始映射模型函数后，根据眼动特征信息检查映射模型函数的显著性，剔除映射模型函数不显著的项，最终找到最优的多项式映射模型函数，显著地提高模型函数计算效率及拟合精度。
2.该方法在人眼凝视时采用高斯权重平均法来解决眼睛凝视时产生的抖动现象， 当前帧的权重最大，之前的帧的权重按高斯分布递减，这不仅克服了眼睛的抖动现象而且能快速的响应眼睛细微运动。
3.该方法对硬件要求低，只需一个摄像头及两个光源，计算量少，实时性强。
图1是本发明实施方式中显示屏、红外光源与摄像头的布置示意图。
图2是本发明实施方式中视线跟踪方法的流程示意图。
图3是本发明实施方式中标定点分布图。
具体实施方式
下面结合附图对本发明的具体实施方式
作进一步说明。
如图1，本发明需要红外光源及摄像头。红外光源为安装在显示屏两个侧边中点的 LED灯，摄像头位于屏幕中心正下方。摄像头实时地捕捉图像，在两个红外光源的照射下，瞳孔图像会产生暗瞳效应，且会在眼睛角膜上形成两反射斑点。，
如图2，视线跟踪算法具体实施步骤如下
步骤一眼睛注视标定点，提取眼动特征信息
步骤二 选择初始映射模型函数
步骤三确定最终映射模型函数
步骤四注视点计算。
其中步骤一的具体实施步骤为
1.眼睛依次注视标定点，标定点分布图如图3所示，为屏幕的中点及在屏幕上 4X4平均分布的16个点，共17个点；
2.在眼睛注视标定时提取眼动特征信息
每个注视点提取连续五帧图像的修正瞳孔-角膜反射向量的平均值作为眼动特征信息。眼动特征信息提取的具体实施步骤为
2. 1彩色图像灰度化
摄像头采集的数字图像为具有R，G，B分量的彩色图片，将彩色图像灰度化，公式如下
V = O. 259R+0. 578G+0. 144B
式中V表示转换后的灰度值，R，G，B为图片的红，绿，蓝分量。
2. 2定位人眼区域
a.采用基于模版匹配的定位算法实现快速的人眼区域。采用相关系数匹配法则， 求取样本与人眼模板之间的相关度，有最大相关值为所要定位的区域。
b.在定位人眼区域后，对人眼区域进行去噪声处理，采用高斯滤波器对图像平滑预处理。
2. 3定位瞳孔获得瞳孔信息
a.采用canny边缘检测算法获取瞳孔的边缘信息
b.采用椭圆曲线拟合瞳孔边缘点
以图像的左上角作为原点建立X-Y直角坐标系，对所提取的瞳孔边缘点集合进行椭圆方程的最小二乘法拟合，然后确定瞳孔中心位置(X。，Y。)，椭圆方程取为
X2+AXY+BY2+CX+DY+E = 0
利用最小二乘法求取A、B、C、D、E参数值，
椭圆中心坐标(Xc，Yc)计算如下Γ ν 2 B C-AD
Xr=-
2. 4定位斑点，获取斑点信息
a. 二值化眼睛区域获得斑点图像
跟据斑点为一个高亮的块的特征，对图像进行二值化处理，获取二值化斑点图像， 提取斑点轮廓。
b.采用椭圆曲线拟合斑点轮廓。
分别获得两个斑点中心坐标，得到这两个斑点中点连线的中点坐标0(C，YC)，以及两个斑点中点的欧氏距离d
2. 5.眼动特征信息修正瞳孔-角膜反射向量
获得由瞳孔中心(Xp，Yp)指向两个红外反射斑点中点连线的中点(Xc，Yc)的向量 V，以两个反射斑点中点的欧氏距离d作为修正因子，由V除以d.获得眼动特征信息VP_CR, 公式如下
Vp_ CR = (XC"X^YC"%)
其中步骤二的具体实施步骤为
1、候选初始映射模型函数
6参数二次多项式映射模型函数
权利要求
1.一种基于逐步回归分析映射模型的视线跟踪方法，该方法采用一个摄像头和两个红外光源，两个红外光源安装在显示屏两侧，摄像头位于屏幕下方，其特征在于包括如下步骤(1)眼睛注视屏幕上的标定点，提取眼动特征信息；(2)选择初始映射模型函数利用步骤(1)所获取的眼动特征信息，对候选的初始映射模型函数进行整体的显著性检测和初始精度检测，若通不过这两检测则更换初始映射模函数重新进行检测，通过这两个检测则确定为初始映射模型函数；(3)确定最终映射模型函数对初始映射模型函数各项的显著性进行检验，剔除非显著的项，在不断地项剔除及重新建立映射模型函数的过程中，最终找到拟合精度最高的映射模型函数；(4)计算注视点提取眼动特征信息，当人眼处于凝视状态时，采用高斯权重平均法来平滑眼动特征信息，利用最终映射模型函数进行注视点计算，实现实时的视线跟踪。
2.根据权利要求1所述的跟踪方法，其特征在于所述步骤(1)标定点为屏幕的中点及在屏幕上4X4平均分布的16个点，共17个点。
3.根据权利要求1所述的跟踪方法，其特征在于所述步骤(1)眼动特征信息的提取包括(1. 1)定位出瞳孔区域，获得瞳孔中心坐标(Px，Py)；(1. 2)分别定位出两个红外光源在眼睛角膜上的反射斑点区域，获得两个斑点中心坐标，得到这两个斑点中点连线的中点坐标(Xe，Yc),以及两个斑点中点的欧氏距离d ；(1.3)获得由瞳孔中心指向两个反射斑点中点连线的中点的向量V，以两个反射斑点中点的欧氏距离d作为修正因子，由V除以欧氏距离d.获得眼动特征信息 VP_CR,称为修正瞳孔-角膜反射向量；(1.4)由于人眼在凝视标定点时眼睛也不是完全静止的，人眼为了获取外界信息在不断地小范围抖动，为了获取的眼动特征信息具有更好的鲁棒性，在人眼凝视每个标定点时连续取五帧图像的修正瞳孔-角膜反射向量，然后取平均值作为标定点对应的眼动特征信肩、ο
4.根据权利要求1所述的跟踪方法，其特征在于所述步骤(2)中包括(2. 1)确定初始映射模型函数以将眼动特征信息和人眼注视点对应起来，映射模型函数为多项映射模型函数，以人眼注视点的坐标为依变量，以眼动特征信息即修正瞳孔-角膜反射向量的X轴分量和Y轴分量组合构成的项作为自变量；(2. 2)利用标定点在屏幕上的坐标信息和对应的眼动特征信息采用F检验法检查候选初始映射模型函数的整体显著性，当映射模型函数整体为非显著时更改初始映射模型函数，通过整体显著行检测后，用最小二乘法确定初始映射模型函数的系数，把用该初始映射模型函数计算出的人眼注视点与标定点进行比较得到定位误差，若定位误差大于设定值则更换初始映射模型函数。
5.根据权利要求4所述的跟踪方法，其特征在于步骤(2.2)中，候选初始映射模型函数有6参数二次多项式、9参数多项式和12参数多项式，首先选择6参数二次多项式作为待定初始映射模型函进行整体的显著性检测和初始精度检测，如果如果6参数二次多项式达通不过检测则重新选择9参数多项式作为待定初始映射模型函进行整体的显著性检测和初始精度检测，若9参数多项式也通不过检测则选择12参数多项式。
6.根据权利要求1所述的跟踪方法，其特征在于所述步骤(3)包括确定了初始映射模型函数后，用F检验法对映射模型函数各项的显著性进行检验，剔除非显著的项，在不断的项剔除及重新建立映射模型函数的过程中，找到最优的函数参数组合，显著地提高模型函数计算效率及拟合精度。
7.根据权利要求1所述的跟踪方法，其特征在于所述步骤(4)包括(4. 1)获取每帧图像的眼动特征信息VP_ER ；(4. 2)根据眼动特征信息变化量，判断眼睛处于凝视状态还是非凝视状态当前帧的眼动特征信息VP_c;S与前一帧的眼动特征信息^1Mr比较，如果相对变化量小于1%则判断为眼睛处于凝视状态，反之则处于非凝视状态；(4. 3)当眼睛处于凝视状态时，平滑眼动特征信息Vp_eR 当眼睛处于凝视状态时，采用高斯分布为处于凝视状态时获取的连续多帧图像的眼动特征信息分配权重，通过权重平均来获得平滑的眼动特征信息；(4. 4)当人眼处于非凝视状态时直接利用该帧图像的眼动特征信息计算注视点，当人眼处于凝视状态时利用平滑后的眼动特征信息计算注视点。
全文摘要
本发明公开了一种基于逐步回归分析映射模型的视线跟踪方法，该方法首先在人眼注视标定点时提取眼动特征信息；然后选择初始映射模型函数。选择初始映模型射函数后，对映射模型函数各项的显著性进行检验，剔除非显著的项，在不断的项剔除及重新建立映射模型函数的过程中，最终找到拟合精度最高的映射模型函数。最后，利用最终映射模型函数计算注视点，当人眼处于凝视状态时，采用高斯权重平均法来平滑眼动特征信息，克服眼睛抖动的问题。本发明鲁棒性好、精度高。
文档编号G06F3/01GK102520796SQ201110406599
公开日2012年6月27日 申请日期2011年12月8日 优先权日2011年12月8日
发明者严伟洪, 梁铭炬, 秦华标 申请人:华南理工大学