图像的集合，并基于所述集合中的眼睛图像的位置的加权线性 组合来确定待测眼睛图像的最终视线位置。在本发明的示例性实施例中，可基于所述集合 中的眼睛图像的图像特征以及所述待测眼睛图像的图像特征来确定与所述集合中的每个 眼睛图像的位置相应的加权系数。
[0113] 优选地，在完成步骤950之后，还可基于步骤950中获得的最终视线位置已被确定 的待测眼睛图像来选择性地更新步骤910中的产生合成眼睛图像。从而在确定下一个待 测眼睛图像的精确视线位置时，能够用图像质量更好的合成眼睛图像获得更准确的视线位 置。
[0114] 使用本发明的示例性实施例的视线估计设备和方法，能够在无需任何红外光源的 情况下仅利用一个普通的彩色摄像头来实现对人眼视线的准确估计，因此能够以较低的设 备成本来实现准确的视线估计。
[0115] 本发明示例性实施例可实现为计算机可读记录介质上的计算机可读代码。计算机 可读记录介质是可存储其后可由计算机系统读出的数据的任意数据存储装置。计算机可读 记录介质的示例包括：只读存储器（ROM)、随机存取存储器（RAM)、CD-ROM、磁带、软盘、光数 据存储装置和载波（诸如经有线或无线传输路径通过互联网的数据传输）。计算机可读记 录介质也可分布于连接网络的计算机系统，从而计算机可读代码以分布式存储和执行。此 外，完成本发明的功能程序、代码和代码段可容易地被与本发明相关的领域的普通程序员 在本发明的范围之内解释。
[0116] 尽管已经参照其示例性实施例具体显示和描述了本发明，但是本领域的技术人员 应该理解，在不脱离权利要求所限定的本发明的精神和范围的情况下，可以对其进行形式 和细节上的各种改变。
【主权项】
1. 一种视线估计设备，所述设备包括： 标定模块，被配置为通过使用针对屏幕上的N个预定位置而分别采集的N个眼睛图像， 来合成与屏幕上的预设M个标定点位置分别对应的M个合成眼睛图像，其中，M和N是自然 数,并且M>N; 视线估计模块，被配置为使用预设视线估计模型来确定待测眼睛图像的参考视线位 置，并使用与确定的参考视线位置邻近的多个合成眼睛图像来确定待测眼睛图像的最终视 线位置。2. 如权利要求1所述的视线估计设备，还包括： 更新模块，被配置为基于最终视线位置已被确定的待测眼睛图像来选择性地更新标定 模块合成的合成眼睛图像。3. 如权利要求1所述的视线估计设备，其中，所述标定模块包括： 第一合成图像产生模块，被配置为分别以采集的N个眼睛图像中的每个眼睛图像作为 基准眼睛图像来合成眼睛图像，以产生N组合成眼睛图像，每组合成眼睛图像包括M个合成 眼睛图像； 第二合成图像产生模块，被配置为使用第一合成图像产生模块产生的N组合成眼睛图 像来合成最终的一组合成眼睛图像，所述最终的一组合成眼睛图像包括M个最终的合成眼 睛图像。4. 如权利要求3所述的视线估计设备，其中，所述第一合成图像产生模块包括： 光流计算模块，被配置为计算采集的N个眼睛图像中除基准眼睛图像以外的每个眼睛 图像相对于基准眼睛图像的光流图； 插值模块，被配置为通过对光流计算模块计算的光流图进行线性插值来获得与屏幕上 的每个标定点位置对应光流图； 图像合成模块，被配置为使用基准眼睛图像中的像素的颜色值或灰度值以及获取的与 每个标定点位置对应的光流图来产生与屏幕上的每个标定点位置对应的合成眼睛图像。5. 如权利要求4所述的视线估计设备，其中，所述光流计算模块计算的光流图包括水 平光流图和垂直光流图， 其中，所述插值模块对光流计算模块计算的垂直光流图进行垂直方向的线性插值并对 光流计算模块计算的水平光流图进行水平方向的线性插值，从而获得与屏幕上的所述M个 标定点位置分别对应的M个垂直光流图和M个水平光流图。6. 如权利要求4所述的视线估计设备，其中，所述第一合成图像产生模块还包括： 修补模块，被配置为对图像合成模块合成的合成眼睛图像中的空洞部分进行填充。7. 如权利要求1所述的视线估计设备，其中，所述视线估计模块包括： 粗定位模块，被配置为提取待测眼睛图像的表观特征，并基于提取的表观特征使用所 述预设视线估计模型来确定待测眼睛图像的参考视线位置； 细定位模块，被配置为获取与以粗定位模块确定的参考视线位置为中心的预定邻近范 围内的标定点位置对应的眼睛图像的集合，并基于所述集合中的眼睛图像的位置的加权线 性组合来确定待测眼睛图像的最终视线位置。8. 如权利要求7所述的视线估计设备，其中，所述细定位模炔基于所述集合中的眼睛 图像的图像特征以及所述待测眼睛图像的图像特征来确定与所述集合中的每个眼睛图像 的位置相应的加权系数。9. 如权利要求1所述的视线估计设备，其中，N的值为5,M的值为32。10. -种视线估计方法，所述方法包括： (a) 通过使用针对屏幕上的N个预定位置而分别采集的N个眼睛图像，来合成与屏幕上 的预设M个标定点位置分别对应的M个合成眼睛图像，其中，M和N是自然数，并且M>N; (b) 使用预设视线估计模型来确定待测眼睛图像的参考视线位置； (c) 使用与确定的参考视线位置邻近的多个合成眼睛图像来确定待测眼睛图像的最终 视线位置。11. 如权利要求10所述的视线估计方法，还包括： (d) 基于步骤（c)中获得的最终视线位置已被确定的待测眼睛图像来选择性地更新步 骤（a)中的合成眼睛图像。12. 如权利要求10所述的视线估计方法，其中，步骤（a)包括： (al)分别以采集的N个眼睛图像中的每个眼睛图像作为基准眼睛图像来合成眼睛图 像，以产生N组合成眼睛图像，每组合成眼睛图像包括M个合成眼睛图像； (a2)使用步骤（al)中产生的N组合成眼睛图像来合成最终的一组合成眼睛图像，所述 最终的一组合成眼睛图像包括M个最终的合成眼睛图像。13. 如权利要求12所述的视线估计方法，其中，步骤（al)包括： 计算采集的N个眼睛图像中除基准眼睛图像以外的每个眼睛图像相对于基准眼睛图 像的光流图； 通过对计算的光流图进行线性插值来获得与屏幕上的每个标定点位置对应光流图； 使用基准眼睛图像中的像素的颜色值或灰度值以及获取的与每个标定点位置对应的 光流图来产生与屏幕上的每个标定点位置对应的合成眼睛图像。14. 如权利要求13所述的视线估计方法，其中，所述计算的光流图包括水平光流图和 垂直光流图， 其中，对计算的光流图进行线性插值的步骤包括：对计算的垂直光流图进行垂直方向 的线性插值并对计算的水平光流图进行水平方向的线性插值，从而获得与屏幕上的所述M 个标定点位置分别对应的M个垂直光流图和M个水平光流图。15. 如权利要求13所述的视线估计方法，其中，步骤（al)还包括： 对合成的合成眼睛图像中的空洞部分进行填充。16. 如权利要求10所述的视线估计方法，其中，步骤（b)包括： 提取待测眼睛图像的表观特征； 基于提取的表观特征使用所述预设视线估计模型来确定待测眼睛图像的参考视线位 置； 获取与以确定的参考视线位置为中心的预定邻近范围内的标定点位置对应的眼睛图 像的集合，并基于所述集合中的眼睛图像的位置的加权线性组合来确定待测眼睛图像的最 终视线位置。17. 如权利要求16所述的视线估计方法，其中，基于所述集合中的眼睛图像的图像特 征以及所述待测眼睛图像的图像特征来确定与所述集合中的每个眼睛图像的位置相应的 加权系数。18.如权利要求10所述的视线估计方法，其中，N的值为5,M的值为32。
【专利摘要】一种视线估计设备和方法，所述设备包括：标定模块，被配置为通过使用针对屏幕上的N个预定位置而分别采集的N个眼睛图像，来合成与屏幕上的预设M个标定点位置分别对应的M个合成眼睛图像，其中，M和N是自然数，并且M＞N；视线估计模块，被配置为使用预设视线估计模型来确定待测眼睛图像的参考视线位置，并使用与确定的参考视线位置邻近的多个合成眼睛图像来确定待测眼睛图像的最终视线位置。
【IPC分类】G06K9/62, G06F3/01
【公开号】CN105224065
【申请号】CN201410235592
【发明人】王西颖, 薛康, 高书征, 王海涛
【申请人】北京三星通信技术研究有限公司, 三星电子株式会社
【公开日】2016年1月6日
【申请日】2014年5月29日