一种视线估计设备和方法
【技术领域】
[0001] 本申请涉及一种视线估计设备和方法，更具体地讲，涉及一种使用简单标定来确 定视线位置的视线估计设备和方法。
【背景技术】
[0002] 视线是眼睛注视的方向，它代表一个人关注的焦点。近几十年，视线追踪一直都是 比较活跃的研究课题。视线追踪在人机交互领域存在着很大的应用潜力。例如，当使用者 注视显示器屏幕时，可以通过视线追踪系统估计出使用者在屏幕上的注视点。因此，视线可 以作为一种先进的计算机输入手段，其已经被证明比传统输入设备（比如鼠标指针）更有 效率，并且即使是身体残障的人士也可以同样使用这样的视线追踪系统实现输入。此外，还 可实现基于视线追踪技术的互动显示器，该显示器的显示画面可随视线的变化而变化，并 且视线追踪技术也被认知科学家广泛地应用于人类的认知和记忆研究。
[0003] 尽管已有大量的研究工作，但在现实世界中用计算机视觉的方法估计人眼视线的 方向依然是个难题，特别是在有光照变化，头部旋转角度大等情况下难以精确地估计人眼 视线。
[0004]目前的视线估计方法可以大致分为基于头戴式设备的方法和远距离视线跟踪的 方法。头戴式方法需要在头部佩戴一个类似头盔的设备，利用上面的摄像头采集眼睛的图 像信息，其缺点在于使用与携带不方便，为用户带来额外的负担，而且由于设备比较复杂以 及成本较高，限制了其广泛推广的可能。与之相比较，远距离视线跟踪方法是一种非接触式 的方法，它不需要用户佩戴额外的设备，不会影响用户的自然使用。远距离视线跟踪方法主 要是基于瞳孔-角膜反射技术，也就是利用红外光源在人眼中产生反射点，通过追踪瞳孔 中心与角膜反射的相对位置，根据相机的成像路径估计人眼球的三维位置，得到视线方向。 这种使用远距离视线跟踪方法有以下几个优点：（1)因为采用几何模型进行视线估计，视 线估计的精度不会随着头部运动而受到很大影响；（2)三维视线估计方法估计的是空间视 线方向，而不是屏幕视线落点，所以视线估计不依赖于屏幕位置、大小、形状，可以计算视线 在任何物体上的注视点。但同时使用远距离视线跟踪方法也存在以下几个缺点：（1)因为 三维视线估计需要使用眼睛特征参数，增加了眼睛特征检测和参数提取的复杂性；（2)因 为需要估计角膜球面中心的空间位置，而角膜球面中心不可见，需要至少两个光源的像去 估计角膜球面中心的空间位置，所以至少需要两个光源；（3)需要进行光源位置标定和屏 幕位置标定，并且三维视线估计对以上位置非常敏感。现有的视线估计方法中存在的以上 缺陷，使得基于视线估计的应用难以得到推广。
[0005] 因此，需要一种相对于现有的视线估计技术能够更方便、准确的估计人眼视线，同 时无需过高的设备成本的视线估计设备和方法。
【发明内容】
[0006] 根据本发明的一方面，提供了一种视线估计设备，所述设备包括：标定模块，被配 置为通过使用针对屏幕上的N个预定位置而分别采集的N个眼睛图像，来合成与屏幕上的 预设M个标定点位置分别对应的M个合成眼睛图像，其中，M和N是自然数，并且M>N;视 线估计模块，被配置为使用预设视线估计模型来确定待测眼睛图像的参考视线位置，并使 用与确定的参考视线位置邻近的多个合成眼睛图像来确定待测眼睛图像的最终视线位置。
[0007] 所述视线估计设备还可包括：更新模块，被配置为基于最终视线位置已被确定的 待测眼睛图像来选择性地更新标定模块合成的合成眼睛图像。
[0008] 所述标定模块可包括：第一合成图像产生模块，被配置为分别以采集的N个眼睛 图像中的每个眼睛图像作为基准眼睛图像来合成眼睛图像，以产生N组合成眼睛图像，每 组合成眼睛图像包括M个合成眼睛图像；第二合成图像产生模块，被配置为使用第一合成 图像产生模块产生的N组合成眼睛图像来合成最终的一组合成眼睛图像，所述最终的一组 合成眼睛图像包括M个最终的合成眼睛图像。
[0009] 所述第一合成图像产生模块可包括：光流计算模块，被配置为计算采集的N个眼 睛图像中除基准眼睛图像以外的每个眼睛图像相对于基准眼睛图像的光流图；插值模块， 被配置为通过对光流计算模块计算的光流图进行线性插值来获得与屏幕上的每个标定点 位置对应光流图；图像合成模块，被配置为使用基准眼睛图像中的像素的颜色值或灰度值 以及获取的与每个标定点位置对应的光流图来产生与屏幕上的每个标定点位置对应的合 成眼睛图像。
[0010] 所述光流计算模块计算的光流图可包括水平光流图和垂直光流图。所述插值模块 可对光流计算模块计算的垂直光流图进行垂直方向的线性插值并对光流计算模块计算的 水平光流图进行水平方向的线性插值，从而获得与屏幕上的所述M个标定点位置分别对应 的M个垂直光流图和M个水平光流图。
[0011] 所述第一合成图像产生模块还可包括：修补模块，被配置为对图像合成模块合成 的合成眼睛图像中的空洞部分进行填充。
[0012] 所述视线估计模块可包括：粗定位模块，被配置为提取待测眼睛图像的表观特征， 并基于提取的表观特征使用所述预设视线估计模型来确定待测眼睛图像的参考视线位置； 细定位模块，被配置为获取与以粗定位模块确定的参考视线位置为中心的预定邻近范围内 的标定点位置对应的眼睛图像的集合，并基于所述集合中的眼睛图像的位置的加权线性组 合来确定待测眼睛图像的最终视线位置。
[0013] 所述细定位模块可基于所述集合中的眼睛图像的图像特征以及所述待测眼睛图 像的图像特征来确定与所述集合中的每个眼睛图像的位置相应的加权系数。
[0014] N的值可以为5,M的值可以为32。
[0015]根据本发明另一方面，提供了一种视线估计方法，所述方法包括：(a)通过使用针 对屏幕上的N个预定位置而分别采集的N个眼睛图像，来合成与屏幕上的预设M个标定点 位置分别对应的M个合成眼睛图像，其中，M和N是自然数，并且M>N; (b)使用预设视线 估计模型来确定待测眼睛图像的参考视线位置；(c)使用与确定的参考视线位置邻近的多 个合成眼睛图像来确定待测眼睛图像的最终视线位置。
[0016] 所述视线估计方法还可包括：（d)基于步骤（C)中获得的最终视线位置已被确定 的待测眼睛图像来选择性地更新步骤（a)中的合成眼睛图像。
[0017] 步骤（a)可包括：（al)分别以采集的N个眼睛图像中的每个眼睛图像作为基准眼 睛图像来合成眼睛图像，以产生N组合成眼睛图像，每组合成眼睛图像包括M个合成眼睛图 像；(a2)使用步骤（al)中产生的N组合成眼睛图像来合成最终的一组合成眼睛图像，所述 最终的一组合成眼睛图像包括M个最终的合成眼睛图像。
[0018]步骤（al)可包括：计算采集的N个眼睛图像中除基准眼睛图像以外的每个眼睛图 像相对于基准眼睛图像的光流图；通过对计算的光流图进行线性插值来获得与屏幕上的每 个标定点位置对应光流图；使用基准眼睛图像中的像素的颜色值或灰度值以及获取的与每 个标定点位置对应的光流图来产生与屏幕上的每个标定点位置对应的合成眼睛图像。
[0019] 所述计算的光流图可包括水平光流图和垂直光流图。对计算的光流图进行线性插 值的步骤可包括：对计算的垂直光流图进行垂直方向的线性插值并对计算的水平光流图进 行水平方向的线性插值，从而获得与屏幕上的所述M个标定点位置分别对应的M个垂直光 流图和M个水平光流图。
[0020] 步骤（al)还可包括：对合成的合成眼睛图像中的空洞部分进行填充。
[0021] 步骤（b)可包括：提取待测眼睛图像的表观特征；基于提取的表观特征使用所述 预设视线估计模型来确定待测眼睛图像的参考视线位置；获取与以确定的参考视线位置为 中心的预定邻近范围内的标定点位置对应的眼睛图像的集合，并基于所述集合中的眼睛图 像的位置的加权线性组合来确定待测眼睛图像的最终视线位置。
[0022] 可基于所述集合中的眼睛图像的图像特征以及所述待测眼睛图像的图像特征来 确定与所述集合中的每个眼睛图像的位置相应的加权系数。
[0023] 有益效果
[0024] 使用本发明的示例性实施例的视线估计设备和方法，能够在无需任何红外光源的 情况下仅利用一个普通的彩