专利名称：基于非均匀样本插值的眼动仪定标方法
技术领域：
本发明涉及一种基于非均匀样本插值定标的眼动仪方法，属于视频、多媒体信号处理技 术领域。
背景技术：
.
由于人类生活水平的提高，各种高科技家电设备也日渐普及。现有虚拟实境系统、头配 显示器或其他观赏、浏览设备也应用而生。目前，头配系统设计者常期望能够获得有关使用 者的眼球活动行为的材料，以作为整个系统架构改进的参考。而这些材料，也同时是研究医 学、心理学、生理学、传播学等专家学者所急于探讨的题材。眼动仪作为一种人机交互系统， 已成为国内外有关学者关注与研究的课题，近年来，随着红外技术和微电子技术的飞速发展， 测量眼睛运动的方法也日趋成熟，其应用己深入到军事、商业、日常生活等领域。同时，眼 动仪也能够帮助重度瘫痪但视觉良好的病人，通过眼球活动行为及时地表达他们的感受与需 求。
眼睛图像和屏幕真实注视点之间的定标技术是眼动仪中的关键技术。定标技术直接影响 到眼动仪的精度。因此，如何找到更好的定标方法也就成为眼动仪研究的难点和重点。现在 已有的定标方法有三种(1)线性定标方法，该方法没有考虑眼睛成像的非线性特点，把眼 睛图像的运动和屏幕注视点轨迹看成一种线性的映射关系，精度较低；(2)极坐标方法，该 方法是在极坐标系中，通过分别计算角度和弧度来定位屏幕注视点，但精度仍没有明显提高； (3)拟合方法，该方法通过已知的定标点，拟合出眼睛图像和屏幕注视点之间的多项式映射
关系，但拟合出的多项式也不能很好的反应出整个屏幕的对应关系，具有一定的局限性。
发明内容
针对现有眼动仪存在的精度低的问题，本发明提供一种精度高的基于非均匀样本插值的 眼动仪定标方法，该方法利用已有的定标点，通过非均匀样本插值的思想，计算出测试点的 屏幕注视坐标，能够大大提高眼动仪的精度。
本发明的基于非均匀样本插值的眼动仪定标方法，是通过瞳孔中心提取和非均匀样本插
值定标两个过程来实现的，具体步骤如下
(1) 瞳孔中心提取
首先在电脑整个屏幕上选取不同行、不同列的多个点作为定标点，点数根据屏幕大小和
要求精度来确定，对于17寸屏幕，要求精度在1。以内，选用17-19个点，记录定标点在屏幕
上的坐标，再随意选取任意个点数作为测试点，用来验证算法的精度，在红外光源的照射下，
采集眼睛的瞳孔运动轨迹视频，每个注视点的间隔时间为4秒，将采集好的视频经过色度变 换、canny算子的边缘提取、积分投影后，采用椭圆拟合的算法，提取出每个注视点的瞳孔 中心坐标；
(2) 非均匀样本插值定标
由于行列坐标不相关，因此分别计算测试点的行列坐标，计算测试点的列坐标过程如下 在样本点中搜索，找到列坐标最靠近测试点的3个样本点，分别计算出测试点和最近的3个样本点之间的列坐标的差值A、丄2、丄3，所述样本点是已知屏幕坐标位置的点，测试点则是
根据算法和样本点将要推测屏幕坐标的点，按照非均匀样本插值，距离需要插值的点越远的 点，对插值的数值影响越小，则设
《=1/^ 《=1/丄2 ￡/3 =1/丄3
设乂、 A、 A分别为最近邻3个样本点的屏幕注视点列坐标，则测试点1的列坐标大小为 >> =《/(《+ c/2 + c/3) x+ J2 /(《+ d2 +1/3)x少2 + i/3 + fif2 + d3)x少3 ;
同理，能够计算出测试点的行坐标。
本发明避免了考虑眼球物理模型和瞳孔中心和注视点的非线性关系等难点，而是通过非 均匀样本插值，实现瞳孔中心和注视点的准确定位，具有简单、高效、鲁棒性强、准确度高 等优点。
图l是本发明的原理示意图。
图2是瞳孔中心运动轨迹图。
图3是实例中的采集点和测试点图。
图4是采集视频图像。
图5是瞳孔边缘提取。
图6是瞳孔中心定位图。
图7是视频中的瞳孔定位结果。
图8是同一个注视点的抖动现象。
图9是测试点的列坐标误差比较图。
图IO是测试点的行坐标误差比较图。
图ll是测试点坐标显示结果图。
具体实施例方式
实施例
本发明的硬件设备有一个高倍摄像头和两个红外光源，本发明的具体实现步骤如图1所 示。首先在电脑整个屏幕上选取19个点作为定标点，如图3，屏幕中心点和向下弯的这条折 线上的19个点，分别为不同行、不同列的点，行列间隔大小为2cm。任意选取7个测试点， 屏幕左上部2个点，右下部5个点，用来验证算法的精度。如图2所示，样本点广19为定标 点的瞳孔中心，测试点广7为测试点的瞳孔,心。
在红外光源的照射下，采集眼睛的瞳孔运动轨迹视频。采集视频时，人眼与屏幕的距离 为50cm，光源距离人眼大约40cm，光源分别位于摄像头两侧35cm处；视频采集的速率为25 帧/秒；分辨率为767*574;每个注视点的注视时间为4s，也就是每个注视点采集100帧图像； 总帧数为2300帧；视频卡型号为OK一C20黑白视频采集卡，采集的视频图像如图3。
由于采集的视频是彩色帧，先将RGB格式转化为YUV格式，选用YUV格式中的Y分量进行处理。将视频中的每帧图像经过色度变换、canny算子的边缘提取、积分投影后，采用椭 圆拟合的算法，提取出每帧图像的瞳孔中心坐标。如图4 7。每个注视点采集100帧图像， 由于眼睛在注视点同一点时存在抖动现象，如图8，采用中值滤波的方法去除抖动，最终确 定每个注视点的瞌孔中心坐标。将样本点的瞳孔中心坐标和屏幕真实的注视点坐标一 -对应 起来。
由于注视点行列坐标不相关，分别计算测试点的行列坐标。以列为例，首先在样本点中 搜索，找到列坐标最接近的三个样本点，然后按照非均匀样本插值，根据已知的样本点插值 出测试点的列坐标。同理，计算出测试点的行坐标。
如图9、图10和图11，为真实注视点和本发明的定标算法得到的注视点之间的误差比较。 其中图10中，绿色点为真实注视点位置，蓝色点为计算出的注视点位置。列坐标误差如下表
列坐标误差(以屏幕中心为(0 0)点，向右、下为正方向建立坐标系)
真实列坐 标-13.0000-9.00001.00005. 0000-3.00009.000013. 0000
插值行坐 标-12.9584-8.38961.17625. 0016-2.942110.538912. 7657
误差-O.0416-0. 6104-0.1762-0. 0016-O.0579-1. 53890. 2343
行坐标误差如下表-行坐标误差(以屏幕中心为(o 0)点，向右、下为正方向建立坐标系)真实行 坐标-9.5000-5. 0000-1.00003.00007. 0000-5.00009.5000
插值行 坐标-7.5916-3.9221-O.25483. 17837. 3582-4.82059.0770
误差-1.9084-1.0779-O.7452-0. 1783-O. 3582-0. 17950.4230
从上面的实例中可以看出，本发明的非均匀样本插值定标方法，能更准确地实现眼动仪 的视线跟踪，而且避免了考虑眼球物理模型和瞳孔中心和注视点的非线性关系等难点，本发 明的定标方法简单、高效、准确度高。
权利要求
1.一种基于非均匀样本插值的眼动仪定标方法，是通过瞳孔中心提取和非均匀样本插值定标两个过程来实现的，具体步骤如下(1)瞳孔中心提取首先在电脑整个屏幕上选取不同行、不同列的多个点作为定标点，点数根据屏幕大小和要求精度来确定，对于17寸屏幕，要求精度在1°以内，选用17-19个点，记录定标点在屏幕上的坐标，再随意选取任意个点数作为测试点，用来验证算法的精度，在红外光源的照射下，采集眼睛的瞳孔运动轨迹视频，每个注视点的间隔时间为4秒，将采集好的视频经过色度变换、canny算子的边缘提取、积分投影后，采用椭圆拟合的算法，提取出每个注视点的瞳孔中心坐标；(2)非均匀样本插值定标由于行列坐标不相关，因此分别计算测试点的行列坐标，计算测试点的列坐标过程如下在样本点中搜索，找到列坐标最靠近测试点的3个样本点，分别计算出测试点和最近的3个样本点之间的列坐标的差值L1、L2、L3，所述样本点是已知屏幕坐标位置的点，测试点则是根据算法和样本点将要推测屏幕坐标的点，按照非均匀样本插值，距离需要插值的点越远的点，对插值的数值影响越小，则设d1＝1/L1d2＝1/L2d3＝1/L3设y1、y2、y3分别为最近邻3个样本点的屏幕注视点列坐标，则测试点1的列坐标大小为y＝d1/(d1+d2+d3)×y1+d2/(d1+d2+d3)×y2+d3/(d1+d2+d3)×y3；同理，能够计算出测试点的行坐标。
全文摘要
本发明公开了一种基于非均匀样本插值的眼动仪定标方法。首先选取注视屏幕上不同行、不同列的多个点作为定标点，记录其屏幕上的真实坐标，利用椭圆拟合的方法提取出眼睛瞳孔中心坐标，将瞳孔中心坐标和屏幕真实坐标一一对应作为参考插值点。然后注视屏幕上任意一点作为测试点，按照非均匀样本插值的思想，计算出测试点在屏幕上的真实坐标，实现视线跟踪。本发明避免了现有技术考虑眼球物理模型和眼睛成像的非线性特性等难点，通过非均匀样本插值的思想，实现瞳孔中心和注视点的准确定位，具有简单、高效、鲁棒性强、准确度高等优点。
文档编号G06F3/01GK101576771SQ20091001974
公开日2009年11月11日 申请日期2009年3月24日 优先权日2009年3月24日
发明者琚 刘, 孙建德, 煜 杜, 杨晓晖, 褚金玉 申请人:山东大学