眼动数据的校正方法及装置与流程

本发明涉及视线跟踪领域，具体而言，涉及一种眼动数据的校正方法及装置。

背景技术

视线跟踪技术(eyegazetrackingtechnology)最早可以追溯到19世纪初。1901年，dodge和cline使用有记载的第一台眼动仪，成功地利用角膜反光法，客观定量地测量了眼睛运动。随着视线跟踪技术的研究发展，眼动仪经历了从干扰式眼动仪(intrusiveeyetracker)到非干扰式眼动仪(non-intrusiveeyetracker)的发展历程。随着人们对眼部运动特性的不断认识，基于视频处理的眼动仪(video-basedeyetracker)和眼动跟踪方法得到了长足的发展。由于基于二维的视线估计技术通常对硬件要求不高(单灯单摄像机),且计算复杂度低，虽然存在一定的误差，但在人机交互的层面(通常人的运动是在水平方向且精度要求不高)一直被广泛的使用。morimoto等提出了利用二次多项式拟合求解二维视线坐标的瞳孔-角膜向量法，此方法实验环境简便并且计算效率高，得到了广泛的应用，但被试者理论上不能发生头部的相对运动，且需要额外的光源。针对这些缺点邵国健等提出了2d眼球模型拟合的视线估计方法，该方法能够提高系统对头部运动的适应性，避免了头部运动造成的估计精度大幅下降，并提高了视线估计精度。但是该方法需要眼球半径和瞳距等参数，实现前提建立在对人群眼球进行大样本采样建模的基础上，在进行视线估计时，所得的先验拟合眼球模型固定不变。此外，实际上眼球视轴和光轴存在差别而非先验眼球模型中所假设的视轴与光轴重合，以上原因都会导致使用模型拟合法进行视线估计所得的眼动数据(gazedata)可能与真实数据不匹配。

技术实现要素：

本发明的目的在于提供一种眼动数据的校正方法及装置，以改善上述问题中的至少一个问题。为了实现上述目的，本发明采取的技术方案如下：

第一方面，本发明实施例提供了一种眼动数据的校正方法，方法包括：获取用户眼睛正视前方时视线与屏幕的交点；获取用户眼睛注视目标位置时的估计注视点；基于所述交点及所述估计注视点，校正得出用户眼睛注视目标位置时的实际注视点。

第二方面，本发明实施例提供了一种眼动数据的校正装置，所述装置包括第一获取单元、第二获取单元和校正单元。第一获取单元，用于获取用户眼睛正视前方时视线与屏幕的交点。第二获取单元，用于获取用户眼睛注视目标位置时的估计注视点。校正单元，用于基于所述交点及所述估计注视点，校正得出用户眼睛注视目标位置时的实际注视点。

本发明实施例提供了一种眼动数据的校正方法及装置，方法包括：获取用户眼睛正视前方时视线与屏幕的交点后，再获取用户眼睛注视目标位置时的估计注视点，然后基于所述交点及所述估计注视点，校正得出用户眼睛注视目标位置时的实际注视点。更准确、有效。

本发明的其他特征和优点将在随后的说明书阐述。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为一种可应用于本发明实施例提供的电子设备的结构框图；

图2为本发明实施例提供的眼动数据的校正方法的流程图；

图3为本发明实施例提供的眼动数据的校正方法中的球体模型；

图4为本发明实施例提供的眼动数据的校正方法中眼睛与屏幕位置示意图；

图5为本发明实施例提供的眼动数据的校正方法中近视眼用户过眼球中心o的切面图；

图6为本发明实施例提供的眼动数据的校正方法中斜视眼用户眼睛注视目标示意图；

图7为本发明实施例提供的眼动数据的校正方法中斜视眼用户过眼球中心o的水平切面图；

图8为本发明实施例提供的眼动数据的校正方法中近视伴随斜视用户过眼球中心o的水平切面示意图；

图9为本发明实施例提供的眼动数据的校正方法中选取ρ为1.1，当用户注视点与点a的距离由0变为1000像素时的仿真图；

图10为本发明实施例提供的眼动数据的校正方法中用户注视点与点a的距离一定，ρ从1变为1.5时的仿真图；

图11为本发明实施例提供的眼动数据的校正方法中选取眼睛斜视度数为5°，用户注视点与点a的距离由0变为1000像素时的仿真图；

图12为本发明实施例提供的眼动数据的校正方法中当用户注视点与a点的距离一定，眼睛斜视角度从0°变为10°时的仿真图；

图13为本发明实施例提供的眼动数据的校正方法中选取眼球半径比ρ为1.1，斜视角度为5°，用户注视点与点a的距离由0变为1000像素时的仿真图；

图14为本发明实施例提供的眼动数据的校正方法中用户注视点与a点距离一定，ρ从1变为1.5，眼睛斜视度数从0°变为10°时的仿真图；

图15为本发明实施例提供的眼动数据的校正装置的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请发明人发明过程中，发现现有技术为：眼动仪是通过检测并记录眼睛观察外界过程中一些参数的变化，从而实现对人眼视线跟踪的仪器。目前最流行的是基于视频的眼动视线估计方法(video-oculography)，本文提及的模型拟合法即属于这一类，它包含人眼定位和视线估计两部分内容。具体实现流程如下：(1)定位眼睛在图像中的位置；(2)通过定位后的人眼位置提取眼睛的视线特征；(3)判断人眼视线在真实场景中的注视目标。研究表明人的眼球在一定程度上与民族特征有关，并存在一定的个体差异。虽然进行大样本采样建模得到的眼球模型具有普适性，但对于一些个体来说仍不适用。

另外，近视、斜视等眼病造成的眼球畸变也会对模型拟合法的视线估计结果造成影响。近视被列为世界三大疾病之一，相关数据显示全球人口近视发生率为22％。近视者的眼球较正视者眼球更为狭长，随着近视屈光度数的增加，眼球前后径、垂直径和水平径均有增长。近视者眼球形状的变化(尤其是高度近视者)使得依据先验的眼球拟合模型得到的眼动数据不再适用。斜视是指人眼球光轴与视轴发生明显偏离的现象(一般正视者视轴光轴存在微小差别但斜视者差别明显)。斜视是眼科临床上十分常见的眼病之一，目前我国斜视发病率为儿童总人数的1％，高度近视者容易引起固定性斜视。斜视所造成的眼球畸变也很大程度上影响了视线估计的准确性。

用户眼球的个体差异导致眼动仪基于模型拟合法得到的视线位置与用户实际视线位置不一致，即眼动仪跟踪不准问题，这限制了模型拟合法的推广和应用，也制约了眼动仪的发展。而这一问题可以通过比较参考点(或参考路径)与实际点(或实际路径)之间差异，通过校正进行解决。

近年来国内外一些学者开始致力于眼动数据校正方面的研究。其中，biele和kobylinski、schenk等采用了误差向量补偿法；vadillo等采用了拟合矩阵法；zhang和hornof采用了线性回归向量法；bellamy等在专利中对眼动仪的数据校正方法也有所提及。上面提及的研究方法多基于误差数据本身进行数据拟合，不准确。

有鉴于此，本申请实施例提供了一种眼动数据的校正方法及装置，以改善上述问题中的至少一个问题。

图1示出了一种可应用于本发明实施例中的电子设备100的结构框图。如图1所示，电子设备100可以包括存储器102、存储控制器104、一个或多个(图1中仅示出一个)处理器106、外设接口108、输入输出模块110、音频模块112、显示模块114、射频模块116和眼动数据的校正装置。

存储器102、存储控制器104、处理器106、外设接口108、输入输出模块110、音频模块112、显示模块114、射频模块116各元件之间直接或间接地电连接，以实现数据的传输或交互。例如，这些元件之间可以通过一条或多条通讯总线或信号总线实现电连接。眼动数据的校正方法分别包括至少一个可以以软件或固件(firmware)的形式存储于存储器102中的软件功能模块，例如所述眼动数据的校正装置包括的软件功能模块或计算机程序。

存储器102可以存储各种软件程序以及模块，如本申请实施例提供的眼动数据的校正方法及装置对应的程序指令/模块。处理器106通过运行存储在存储器102中的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现本申请实施例中的眼动数据的校正方法。

存储器102可以包括但不限于随机存取存储器(randomaccessmemory，ram)，只读存储器(readonlymemory，rom)，可编程只读存储器(programmableread-onlymemory，prom)，可擦除只读存储器(erasableprogrammableread-onlymemory，eprom)，电可擦除只读存储器(electricerasableprogrammableread-onlymemory，eeprom)等。

处理器106可以是一种集成电路芯片，具有信号处理能力。上述处理器可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述外设接口108将各种输入/输出装置耦合至处理器106以及存储器102。在一些实施例中，外设接口108、处理器106以及存储控制器104可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

输入输出模块110用于提供给用户输入数据实现用户与电子设备100的交互。所述输入输出模块110可以是，但不限于，鼠标和键盘等。

音频模块112向用户提供音频接口，其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。

显示模块114在电子设备100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示模块114可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器106进行计算和处理。

射频模块116用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通信网络或者其他设备进行通信。

可以理解，图1所示的结构仅为示意，电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

于本发明实施例中，电子设备100可以作为用户终端，或者作为服务器。用户终端可以为pc(personalcomputer)电脑、平板电脑、手机、笔记本电脑、智能电视、机顶盒、车载终端等终端设备。

请参阅图2，本发明实施例提供了一种眼动数据的校正方法，方法包括步骤s200、步骤s210、步骤s220。

步骤s200：获取用户眼睛正视前方时视线与屏幕的交点。

步骤s210：获取用户眼睛注视目标位置时的估计注视点。

步骤s220：基于所述交点及所述估计注视点，校正得出用户眼睛注视目标位置时的实际注视点。

可选地，所述用户眼睛为近视眼，步骤s220，包括：

基于校正得出用户眼睛注视目标位置时的实际注视点，为所述估计注视点b1的坐标，(xa,ya)为所述交点a的坐标，(xb,yb)为所述实际注视点b的坐标，q为通过计算校正前ab/ab1获得。

眼睛注视点的改变是靠眼球转动来完成的。实验表明，眼球转动是一个很复杂的过程，即使眼睛仅做单一的水平方向运动，也是在一轨道上作前后运动，而不是简单地作球体旋转。为了简化计算，邵国健等提出的模型拟合法将眼球视为围绕一固定点旋转的球体如图3所示，本文根据此模型提出了眼动数据的校正方法。在眼动仪使用过程中，眼睛与屏幕位置关系如图4所示，其中o为眼球中心，z为眼动仪，a为眼睛正视前方时视线与屏幕的交点。对于眼动仪系统，b点位置不变，a点坐标、oz及oa距离可通过眼动仪数据采集获得。由此a点坐标和oa值可视为已知量。

眼动仪在使用之前需要先进行一个视线标定用于匹配眼动视角与屏幕坐标之间的关系，然后进行相关操作。本实施例对由用户眼球个体差异导致的眼动数据不准问题提出了数据校正方法，该方法借助眼动系统的视线标定流程，以减少校正方法本身的复杂性。眼动数据校正流程可简要概括为如下三个步骤：(1)由视线标定时屏幕参考点与对应的眼动视线估计点得到用户实际眼球与眼动仪拟合眼球模型的眼球误差模型；(2)根据眼球误差模型计算数据误差；(3)将误差量补偿于眼动数据。由于眼动数据中的注视数据(fixationdata)具有稳定性，(1)中由注视数据进行眼球误差模型的计算。视线标定时，参考点坐标已知，对应的视线估计点坐标可由眼动仪得到。

以近视条件下的数据校正为例，由于双眼眼动数据的校正原理相同，本实施例中仅选单个眼球为例进行分析。先前的研究表明，近视患者的眼球较正视者眼球更为狭长，随着近视屈光度数的增加，眼球前后径、垂直径和水平径均有增长，而近视导致的眼球畸变使得依据拟合模型得到的眼动数据不再适用。因此，本实施例中为了简化计算将近视者的眼球模型假设为比正视者眼球模型直径大的球体模型。如图5所示，虚线圆为眼动仪拟合眼球模型，实线圆为近视用户实际眼球模型，两圆的共同圆心为o。a为眼睛正视前方时视线与屏幕的交点，oa垂直于屏幕所在平面。b为视线标定时的一个参考点，b1为用户注视b时眼动仪基于模型拟合法得到的视线估计点。此时，a、b和b1在屏幕平面内共线。de为用户从a看向b时瞳孔在水平方向的移动距离，fg为de在眼球参考模型上的映射，de＝fg。眼动仪眼球拟合模型对应瞳孔在水平方向上移动fg相当于眼球拟合模型视线由a移到b1。

由图5几何关系可得以下公式：

因为de＝fg，故有：

记oe/og为ρ，即用户眼球与眼球拟合模型半径之比，视线标定时a点、b点、b1点坐标及oa距离已知，易求得ab、ob、ob1及ab1距离，进而可求得ρ。对于同一受试者，其ρ值固定不变。视线标定完成后，当受试者注视点位于b时，跟踪时(重画图5，这里为方便用户某注视点为仍记作b，其他标注类似)以上关系式仍然成立，有：

即有：

此时，a点、b1点坐标及oa距离已知，易求得oa及ab1的值，由式(4)可求得ab/ab1将其记为q，q可以预先通过ab/ab1计算而获得，假设a点、b点、b1点坐标分别为(xa,ya)、(xb,yb)、有：

根据上式(5)可以求得近视用户的实际注视点b的坐标。

可选地，所述用户眼睛为斜视眼，当用户眼睛视线从所述交点移动到所述目标位置时，用户眼睛的斜视角度包括在水平切面上的水平斜视偏角和在垂直切面上的垂直斜视偏角，步骤s220包括：

根据获取到的所述水平斜视偏角与正常注视偏角根据所述目标位置不同存在的几何关系、所述交点、校正前视线标定时的标定参考点与所述标定参考点对应的标定参考点对应的视线估计点，获得所述水平斜视偏角和所述正常注视水平偏角；

获取所述标定参考点与所述标定参考点对应的视线估计点的水平坐标差值；

判断得出所述水平坐标差值、所述正常注视水平偏角、所述标定参考点对应的视线估计点、所述交点满足第一预设条件关系时，基于计算获得所述实际注视点的横坐标；

判断得出获取到的垂直坐标差值、预先获取到的所述正常注视垂直偏角、所述标定参考点对应的视线估计点、所述交点满足第二预设条件关系时，基于计算获得所述实际注视点的纵坐标；

其中，(xd,yd)为所述实际注视点d的坐标，(xa,ya)为所述交点的坐标，为所述标定参考点对应的视线估计点，oa为所述交点到眼球中心的距离，α′为所述水平斜视偏角，β′为垂直斜视偏角。

所述方法还可以包括：

判断得出所述水平坐标差值、所述正常注视水平偏角、所述标定参考点对应的视线估计点、所述交点满足不第一预设条件关系时，基于计算获得所述实际注视点的横坐标。

所述方法还可以包括：

判断得出所述垂直坐标差值、预先获取到的所述正常注视垂直偏角、所述标定参考点对应的视线估计点、所述交点不满足第二预设条件关系时，基于计算获得所述实际注视点的纵坐标。

以斜视条件下的数据校正为例，斜视分为水平斜视、垂直斜视和旋转斜视。斜视用户视轴和光轴的明显偏离导致依据眼球拟合模型得到的眼动数据不再适用。斜视用户眼球偏离方向及偏离角度可认为固定不变，选取旋转斜视进行说明，而水平斜视及垂直斜可视为旋转斜视的特例。由于斜视时双眼眼动数据的校正原理相同，本实施例可以选单个眼球为例进行分析。

如图6所示，图6中(a)为用户眼球局部放大图，(b)为对应的视线示意图，o为眼球中心，平面acdb为屏幕所在平面，a、b、c、d、b1、c1、d1分别为眼睛视线oa'、ob'、oc'、od'、ob1'、oc1'、od1'与屏幕的交点，直线ab、cd、c1d1平行于水平方向，直线ac、bd、b1d1平行于垂直方向；a为眼睛正视前方时视线与屏幕的交点，即oa垂直与平面平面acdb。如图(a)所示，当用户由a看向d时眼睛转动∠aod，等于眼睛向水平方向转动∠aob与垂直方向转动∠aoc的叠加。同理，眼睛的斜视角度可分为水平斜视角α′与垂直斜视角β′的叠加。如图(b)所示，d为用户实际注视点，d1为眼动系统的视线估计点，则用户视线偏离角度∠d1od可分为水平偏角∠b1ob(记为α′)和垂直偏角∠c1oc(记为β′)的叠加。

如图7所示，在水平切面上斜视偏角α′和正常注视偏角α根据注视目标位置不同存在四种几何关系。

如图7中(a)所示，α与α′转向一致时，由几何关系可得以下公式：

视线标定时，a点、b点、b1点坐标及oa距离均已知，由

可求得tanα′，显然tanα′固定不变。视线标定完成后，当受试者注视点位于b时，跟踪时(重画图7(a)，这里为方便用户某注视点为仍记作b，其他标注类似)上面式子仍然满足，此时α(记做αx)为待求值，有：

因为tan假设a点、b点、b1点坐标分别为(xa,ya)、(xb,yb)、有：

即：

此时，a点、b1点坐标及oa距离已知，其中(xd＝xb)，则：

图7中(b)、(c)、(d)推导过程与图7中的(a)类似，可以验证当水平切面正常注视偏角α与偏离角α′转向不一致如图7中的(b)、(c)、(d)时校正公式相同，均满足：

将校正前视线标定时任意参考点与对应的眼动视估计点的水平坐标差值记为m，对于同一受试者，m值正负性一致。

当满足公式(14)时，水平方向上正常注视偏角α与偏离角α′转向一致，选取公式(12)进行校正，否则选取公式(13)进行校正。公式(14)为第一预设条件关系。

垂直切面上斜视偏角β′和正常注视偏角β根据注视目标位置不同存在与水平切面相似几何关系，其数据校正推导过程类似。将校正前视线标定时任意参考点与对应的眼动视线估计点的垂直坐标差值记为m1。

当满足公式(15)时选取公式进行校正，否则选取公式进行校正。公式(15)为第二预设条件关系。

本实施例不仅可以对斜视造成的数据误差进行校正还可以弥补模型拟合法的建模差异(模型拟合法假设视轴光轴重合而实际情况下眼球光轴视轴间一般存在较小偏差)。

可选地，所述用户眼睛为近视伴随斜视眼，当用户眼睛视线从所述交点移动到所述目标位置时，用户眼睛的偏离角度包括在水平切面上的水平斜视偏角和在垂直切面上的垂直斜视偏角，步骤s220包括：

根据获取到的所述水平斜视偏角与正常注视偏角根据所述目标位置不同存在的几何关系、所述交点、校正前视线标定时的标定参考点与所述标定参考点对应的标定参考点对应的视线估计点，获得所述水平斜视偏角和所述正常注视水平偏角；

获取所述标定参考点与所述标定参考点对应的视线估计点的水平坐标差值；

判断得出所述水平坐标差值、所述正常注视水平偏角、所述标定参考点对应的视线估计点、所述交点满足第三预设条件关系时，基于计算获得所述实际注视点的横坐标；

判断得出获取到的垂直坐标差值、预先获取到的所述正常注视垂直偏角、所述标定参考点对应的视线估计点、所述交点满足第四预设条件关系时，基于计算获得所述实际注视点的纵坐标；

其中，(xd,yd)为所述实际注视点d的坐标，(xa,ya)为所述交点的坐标，为所述标定参考点对应的视线估计点，oa为所述交点到眼球中心的距离，αx为所述正常注视水平偏角，γ为所述水平偏离角，βx为所述正常注视垂直偏角，γ′为所述垂直偏离角。。

以近视伴随斜视条件下的数据校正为例，近视，特别是高度近视可能伴随一定程度的斜视。近视伴随斜视时双眼校正原理相同，本文仅对一只眼球进行分析。图8为近视伴随斜视用户注视目标时过眼球中心o的水平切面图，偏离角γ和正常注视偏角α根据注视目标位置不同存在6种几何关系。

如图8中的(a)所示，当正常注视偏角与水平斜视偏角转向一致时，由几何关系可得以下公式：

其中，oe＝og，fg＝hi，以下记oi＝r，og＝oe＝r，可以得到以下公式：

当另一参考点满足类似几何关系式时(重画图8(a)，这里该参考点为仍记作b'，其他标注类似)，同理有：

校正前视线标定时，a点、b点、b1点、b'点、b1'点坐标及oa距离均已知，对于同一受试者偏离角γ及r/r值不变，联立以上方程组可求得r/r与γ。

视线标定后，跟踪时(重画图8(a)，这里为方便用户某注视点仍记作b，其他标注类似)上面式子仍然满足，此时a点、b1点坐标及oa距离已知，注视偏角α(记做αx)为待求值，有：

ab＝oatanαx(22)

设a点、b点、b1点坐标分别为(xa,ya)、(xb,yb)、有：

其中xd＝xb，故：

图8中的(b)、(c)、(d)、(e)、(f)的推导过程与图8中的(a)类似，可以验证当水平切面正常注视偏角α与偏离角α′转向不一致如图8中的(b)、(c)、(d)、(e)、(f)时校正公式相同均满足公式(25)。

将校正前视线标定时任意参考点与对应的眼动视线估计点的水平坐标差值记为m，对于同一受试者m值正负性一致。当满足时，选取公式(24)进行校正，否则选取公式(25)。公式(26)为第三预设条件关系。

垂直切面上斜视偏角和正常注视偏角存在与水平切面相似几何关系，其数据校正推导过程类似。将校正前视线标定时任意参考点与眼动视线估计点的垂直坐标差值记为m1，对于同一受试者m1值正负性一致。当满足条件如公式(27)所示。则选取公式(28)进行校正，否则选取公式(29)进行校正。公式(27)为第四预设条件关系。

为了更进一步地说明本发明实施例提供的眼动数据的校正方法的有效性，采用计算机仿真的方式对上述近视、斜视、近视伴随斜视时眼动数据的校正方法进行验证，通常眼动仪的跟踪距离为50-80cm，仿真时选取oa距离为75cm，在宽高比为16:9、屏幕分辨率为1920×1080的25英寸液晶屏上进行。

图9为选取ρ为1.1，当用户注视点与点a的距离由0变为1000像素时的仿真图。显然，校正后数据偏差稳定在±75pix范围内，明显小于校正前数据偏差。图10为用户注视点与点a的距离一定，ρ从1变为1.5时的仿真图，随着近视程度的加深(即ρ从1变化为1.5)校正前数据偏差越来越大，校正后数据偏差稳定在±75pix的范围。图(9)和图(10)的仿真结果说明，所提出的方法对近视眼球变形造成的眼动数据不准具有很好的校正作用。

图11为选取眼睛斜视度数为5°，用户注视点与点a的距离由0变为1000像素时的仿真图。显然，校正后数据偏差明显小于校正前数据偏差，随用户注视点与点a的距离逐渐变大校正前数据偏差越来越大，而校正后数据偏差稳定在65pix的范围内。图12为当用户注视点与a点的距离一定，眼睛斜视角度从0°变为10°时的仿真图。随着斜视程度的加深(即斜视角度从0°变为10°)校正前数据偏差越来越大，校正后的数据偏差稳定在65pix的范围。以上差值取的为欧氏距离绝对值。图11和图12的仿真结果说明，所提出的方法可以很好的修正由斜视眼球变形而造成的眼动数据不准。

图13为选取眼球半径比ρ为1.1，斜视角度为5°，用户注视点与点a的距离由0变为1000像素时的仿真图。显然，校正后数据偏差稳定在180pix范围，明显小于校正前数据偏差。图14为用户注视点与a点距离一定，ρ从1变为1.5，眼睛斜视度数从0°变为10°时的仿真图。如图所示，随着近视程度和斜视程度的加深(即ρ从1变为1.5，斜视度数从0°变为10°)校正前数据偏差越来越大，校正后数据偏差稳定在27pix的范围。以上差值取的为欧氏距离绝对值。图11和图12的仿真结果说明，提出的方法可以很好的修正由近视伴随斜视眼球变形而造成的眼动数据不准。

此外，眼动仪的使用流程是，先进行一个视线标定(用于匹配眼动视角与屏幕坐标之间的关系从而保证眼动仪对视线的有效追踪)，然后进行相关操作。但一直以来存在一个问题，即眼睛在屏幕上的注视点(x,y)和眼动视线估计点可能不一致。眼动仪使用中例行的视线标定只是让用户通过比较参考点与眼动仪视线估计点位置人为的判断眼动跟踪是否可用(是否进行重新标定)，并没有提供一个具体的量化标准。

由于眼睛固有的生理震颤，真实的人眼视线在分布上呈现为一个扰动区域而非一个稳定的点，所以眼动仪的跟踪精度通常存在1°的生理门限值，而这个门限值也是我们衡量视线跟踪系统的标准。有部分高端眼动仪器通过使用昂贵的光学和影像装置超过了这个门限，然而就视线跟踪在计算机视觉和人机交互的应用而言，1°视角可以满足大多数的研究需求，是主流视线跟踪系统的衡量标准。如图6中(a)所示，d点为视线标定时一参考点，d1为屏幕上对应的眼动视线估计点。显然，oa、od、dd1距离易求得(ad与dd1不一定共线)。一般，眼动数据在屏幕上的实际偏差dd1远小于用户眼球与被视物的距离od，为了简化计算用户偏移角度可用公式(30)近似替代。

在系统视线标定程序中，(xi,yi)为第i个标定点坐标，为相应的视线估计点坐标。假设进行的为n点标定，由视线标定点、对应的眼动视线估计点n组数据，结合公式(31)(32)可以分别计算用户视线单个标定点的偏离角度δi和平均偏离角度

在人机交互领域通常选取1°作为眼动仪可用性判断阈值，用户可根据偏离程度决定是否进行重新标定，同时可针对实际需求对眼动仪可用性阈值做自定义设置。

综上，实验结果显示提出的方法十分有效，校正后的数据偏差小于180像素，有助于拓展眼动仪的使用范围。本文同时对用户视线标定后眼动仪的可用性提供了一个量化的判断准则。

在本实施例中，对由用户近视等眼病导致的特定情形下眼动数据不准问题提出了相应解决方案，仿真结果显示以上校正方法十分有效。以上方法可以校正眼病导致的依据固定眼球拟合模型得到的眼动数据，并可以修正模型拟合法的建模误差。该校正方法虽然针对特定类型眼动仪，但对于以瞳孔-角膜向量法及其他方法进行视线估计的眼动仪同样具有参考作用(实验发现，高度近视者使用本文特定眼动仪与其他类型眼动仪时的眼动数据偏差类型相似)，该校正方法对其他类型眼动仪数据校正也具有适应性。

本发明列举了近视、斜视和近视伴随斜视三种眼球误差模型并进行了公式推导和校正说明，其他类型的眼球误差模型校正原理相似，如用户远视时。本发明同时对用户视线校定后眼动仪的可用性提供了一个量化的判断准则。

眼动追踪的时效性方面，目前眼动仪在跟踪方面大多存在着一定的时间延迟(从眼动摄像机曝光至数据传输到客户端界面的延迟)。显然，客户端界面的眼动视线估计点可以看作一个运动物体，可以对其进行位置预测，以减少眼动追踪延迟。

本发明实施例提供了一种眼动数据的校正方法，方法包括：获取用户眼睛正视前方时视线与屏幕的交点后，再获取用户眼睛注视目标位置时的估计注视点，然后基于所述交点及所述估计注视点，校正得出用户眼睛注视目标位置时的实际注视点。更准确、有效。

请参阅图15，本发明实施例提供了一种眼动数据的校正装置300，所述装置300包括第一获取单元310、第二获取单元320和校正单元330。

第一获取单元310，用于获取用户眼睛正视前方时视线与屏幕的交点。

第二获取单元320，用于获取用户眼睛注视目标位置时的估计注视点。

校正单元330，用于基于所述交点及所述估计注视点，校正得出用户眼睛注视目标位置时的实际注视点。

所述用户眼睛为近视眼，校正单元330，用于基于校正得出用户眼睛注视目标位置时的实际注视点，为所述估计注视点b1的坐标，(xa,ya)为所述交点a的坐标，(xb,yb)为所述实际注视点b的坐标，q为通过计算校正前ab/ab1获得。

所述用户眼睛为斜视眼，当用户眼睛视线从所述交点移动到所述目标位置时，用户眼睛的斜视角度包括在水平切面上的水平斜视偏角和在垂直切面上的垂直斜视偏角，校正单元330，用于：根据获取到的所述水平斜视偏角与正常注视偏角根据所述目标位置不同存在的几何关系、所述交点、校正前视线标定时的标定参考点与所述标定参考点对应的视线估计点，获得所述水平斜视偏角和所述正常注视水平偏角；获取所述标定参考点与所述标定参考点对应的视线估计点的水平坐标差值；判断得出所述水平坐标差值、所述水平斜视偏角、所述标定参考点对应的视线估计点、所述交点满足第一预设条件关系时，基于计算获得所述实际注视点的横坐标；判断得出获取到的垂直坐标差值、预先获取到的所述垂直斜视偏角、所述标定参考点对应的视线估计点、所述交点满足第二预设条件关系时，基于计算获得所述实际注视点的纵坐标；其中，(xd,yd)为所述实际注视点d的坐标，(xa,ya)为所述交点的坐标，为所述标定参考点对应的视线估计点，oa为所述交点到眼球中心的距离，α′为所述水平斜视偏角，β′为垂直斜视偏角。

所述校正单元330，还用于判断得出所述水平坐标差值、所述水平斜视偏角、所述标定参考点对应的视线估计点、所述交点满足不第一预设条件关系时，基于计算获得所述实际注视点的横坐标。

所述校正单元330，还用于判断得出所述垂直坐标差值、预先获取到的所述垂直斜视偏角、所述标定参考点对应的视线估计点、所述交点不满足第二预设条件关系时，基于计算获得所述实际注视点的纵坐标。

所述用户眼睛为近视伴随斜视眼，当用户眼睛视线从所述交点移动到所述目标位置时，用户眼睛的偏离角度包括在水平切面上的水平斜视偏角和在垂直切面上的垂直斜视偏角，所述校正单元330，还用于：根据获取到的所述水平斜视偏角与正常注视偏角根据所述目标位置不同存在的几何关系、所述交点、校正前视线标定时的标定参考点与所述标定参考点对应的视线估计点，获得所述水平斜视偏角和所述正常注视水平偏角；获取所述标定参考点与所述标定参考点对应的视线估计点的水平坐标差值；判断得出所述水平坐标差值、所述正常注视水平偏角、所述水平斜视偏角、所述标定参考点对应的视线估计点、所述交点满足第三预设条件关系时，基于计算获得所述实际注视点的横坐标；判断得出获取到的垂直坐标差值、预先获取到的所述正常注视垂直偏角、所述垂直斜视偏角、所述标定参考点对应的视线估计点、所述交点满足第四预设条件关系时，基于计算获得所述实际注视点的纵坐标；

其中，(xd,yd)为所述实际注视点d的坐标，(xa,ya)为所述交点的坐标，为所述标定参考点对应的视线估计点，oa为所述交点到眼球中心的距离，αx为所述正常注视水平偏角，γ为所述水平斜视偏角，βx为所述正常注视垂直偏角，γ′为所述垂直斜视偏角。

以上各单元可以是由软件代码实现，此时，上述的各单元可存储于存储器102内。以上各单元同样可以由硬件例如集成电路芯片实现。

本发明实施例提供的眼动数据的校正装置300，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。