视线跟踪系统及方法
【专利摘要】公开一种视线跟踪系统及方法，所述视线跟踪系统包括：多个摄像头；与所述多个摄像头对应的多组光源；光源控制装置，控制所述多组光源依次发光，以便所述多个摄像头拍摄用户的亮瞳图像和暗瞳图像；视线特征检测单元，从所述多个摄像头拍摄的亮瞳图像和暗瞳图像中检测瞳孔中心点的位置和反射亮斑的位置；视线估计单元，通过使用检测到的瞳孔中心点的位置和反射亮斑的位置来计算角膜曲面中心点与瞳孔中心点的三维空间位置，从而跟踪双眼视线的方向，以确定双眼的关注位置。
【专利说明】视线跟踪系统及方法
【技术领域】
[0001] 本发明涉及一种视线跟踪系统及方法，更具体地讲，涉及一种基于多个摄像头的 使用双眼视线估计模型的高精度视线跟踪系统及方法。
【背景技术】
[0002] 视线是眼睛注视的方向，它代表一个人关注的焦点。近几十年，视线追跟踪一直都 是比较活跃的研究课题。视线跟踪在人机交互领域存在着很大的应用潜力。例如，当用户 注视显示器屏幕时，可以通过视线跟踪系统估计出用户在屏幕上的注视点。因此，视线可以 作为先进的计算机输入手段，其已经被证明比传统输入设备（比如鼠标）更有效率，而且身 体残障人士也可以使用视线跟踪系统。此外，还可以实现基于视线跟踪技术的互动显示器， 该显示器显示的面面可随视线的变化而变化。与此同时，视线跟踪也被认知科学家广泛地 应用于人类的认知和记忆研究。
[0003] 然而，尽管已经对视线跟踪进行了大量的研究工作，但是在现实世界中使用计算 机视觉的方法估计人眼视线的方向依然是个难题，特别是在有光照变化、头部旋转角度大 等情况下更加明显。
[0004] 目前的视线跟踪方法可以大致分为基于头戴式设备的视线跟踪方法和远距离视 线跟踪方法。基于头戴式设备的视线跟踪方法需要在头部佩戴一个类似头盔的设备，利用 安装在头戴式设备上的摄像头采集眼睛的图像信息。这种方法的最大问题是使用与携带不 方便，为用户带来额外的负担，而且由于头戴式设备比较复杂以及成本较高，限制了广泛推 广的可能。与之相比较，远距离视线跟踪方法是一种非接触式的方法，它不需要用户佩戴额 外的设备，不会影响用户的自然使用。远距离视线跟踪方法主要是基于瞳孔-角膜反射技 术的方法，也就是利用红外光源在人眼中产生反射点，通过追踪瞳孔中心与角膜反射的相 对位置，根据相机的成像路径估计人眼球的三维位置，得到视线方向。这种方法有以下几个 优点：（1)因为采用几何模型进行视线估计，所以视线跟踪的精度不会随着头部运动而受 到很大影响；（2)三维视线估计方法估计的是空间视线方向，而不是屏幕视线落点，所以视 线跟踪不依赖于屏幕位置、大小、形状，可以计算视线在任何物体上的注视点。然而，这种方 法同时也存在以下几个缺点：（1)由于需要长焦距相机而导致视角狭窄；（2)无法同时支持 多个人进行视线估计和跟踪；（3)视线跟踪精度有待提
【发明内容】
[0005] 因此，为了解决现有技术中的以上缺点，本发明的目的在于提供一种能够去除3D 图像噪声并且能够提高3D图像对比度的用于3D图像质量增强的方法和设备。
[0006] 根据本发明的一方面，提供一种视线跟踪系统，包括：多个摄像头；与所述多个摄 像头对应的多组光源；光源控制装置，控制所述多组光源依次发光，以便所述多个摄像头拍 摄用户的亮瞳图像和暗瞳图像；视线特征检测单元，从所述多个摄像头拍摄的亮瞳图像和 暗瞳图像中检测瞳孔中心点的位置和反射亮斑的位置；视线估计单元，通过使用检测到的 瞳孔中心点的位置和反射亮斑的位置来计算角膜曲面中心点与瞳孔中心点的三维空间位 置，从而跟踪双眼视线的方向，以确定双眼的关注位置。
[0007] 所述视线跟踪系统还包括：关注位置修正单元，通过使用用户观看的屏幕上的多 个已知点进行位置标定，来修正双眼的关注位置。
[0008] 所述多组光源是对应于所述多个摄像头的同轴光源。
[0009] 一组光源包括若干个红外LED，所述若干个LED环绕与该组光源对应的一个摄像 头均匀地布置。
[0010] 对于一个摄像头，当与该摄像头对应的一组光源发光时，该摄像头拍摄用户的亮 瞳图像，当其他各组光源发光时，该摄像头拍摄用户的暗瞳图像。
[0011] 视线特征检测单元根据亮瞳图像中人眼区域的灰度信息检测瞳孔中心点的位置。
[0012] 视线特征检测单元基于亮瞳图像的灰度值进行瞳孔区域分割，然后对分割结果进 行椭圆拟合，并将拟合得到的椭圆的中心作为瞳孔中心点，从而获得瞳孔中心点的位置。
[0013] 视线特征检测单元从暗瞳图像中相互靠近且大小近似相等的多个反射亮斑中搜 索距离瞳孔中心最近的圆形反射亮斑，将该圆形反射亮斑作为眼角膜的反射亮斑，从而获 得反射亮斑的位置。
[0014] 视线估计单元计算左右两眼的瞳孔中心点的三维坐标以及左右两眼的角膜曲面 中心点的三维坐标，从而获得由瞳孔中心点与角膜曲面中心点的连线表现的左眼视线和右 眼视线，并将左眼视线和右眼视线的交点确定为双眼的关注位置。
[0015] 左眼和右眼分别满足方程（1)至（8)，
【权利要求】
1. 一种视线跟踪系统，包括： 多个摄像头； 与所述多个摄像头对应的多组光源； 光源控制装置，控制所述多组光源依次发光，以便所述多个摄像头拍摄用户的亮瞳图 像和暗瞳图像； 视线特征检测单元，从所述多个摄像头拍摄的亮瞳图像和暗瞳图像中检测瞳孔中心点 的位置和反射亮斑的位置； 视线估计单元，通过使用检测到的瞳孔中心点的位置和反射亮斑的位置来计算角膜曲 面中心点与瞳孔中心点的三维空间位置，从而跟踪双眼视线的方向，以确定双眼的关注位 置。
2. 根据权利要求1所述的视线跟踪系统，还包括： 关注位置修正单元，通过使用用户观看的屏幕上的多个已知点进行位置标定，来修正 双眼的关注位置。
3. 根据权利要求1所述的视线跟踪系统，其中，所述多组光源是对应于所述多个摄像 头的同轴光源。
4. 根据权利要求3所述的视线跟踪系统，其中，一组光源包括若干个红外LED，所述若 干个LED环绕与该组光源对应的一个摄像头均匀地布置。
5. 根据权利要求1所述的视线跟踪系统，其中，对于一个摄像头，当与该摄像头对应的 一组光源发光时，该摄像头拍摄用户的亮瞳图像，当其他各组光源发光时，该摄像头拍摄用 户的暗瞳图像。
6. 根据权利要求1所述的视线跟踪系统，其中，视线特征检测单元根据亮瞳图像中人 眼区域的灰度信息检测瞳孔中心点的位置。
7. 根据权利要求6所述的视线跟踪系统，其中，视线特征检测单元基于亮瞳图像的灰 度值进行瞳孔区域分割，然后对分割结果进行椭圆拟合，并将拟合得到的椭圆的中心作为 瞳孔中心点，从而获得瞳孔中心点的位置。
8. 根据权利要求1所述的视线跟踪系统，其中，视线特征检测单元从暗瞳图像中相互 靠近且大小近似相等的多个反射亮斑中搜索距离瞳孔中心最近的圆形反射亮斑，将该圆形 反射亮斑作为眼角膜的反射亮斑，从而获得反射亮斑的位置。
9. 根据权利要求1所述的视线跟踪系统，其中，视线估计单元计算左右两眼的瞳孔中 心点的三维坐标以及左右两眼的角膜曲面中心点的三维坐标，从而获得由瞳孔中心点与角 膜曲面中心点的连线表现的左眼视线和右眼视线，并将左眼视线和右眼视线的交点确定为 双眼的关注位置。
10. 根据权利要求1所述的视线跟踪系统，其中，左眼和右眼分别满足方程（1)至（8)，
其中，X表示向量叉乘，?表示向量点乘，*表示数值相乘，qu表示每只眼睛的眼角膜 的光线反射点，表示摄像头j的镜头中心点，每只眼睛的暗瞳图像中的反射亮斑的位 置，表示连接每只眼睛的眼角膜的光线反射点与每只眼睛的暗瞳图像中的反射亮斑的 位置的直线的斜率，c表示每只眼睛的眼角膜曲面中心点，R1表示眼角膜曲面所在球面的 半径常数，li表示离轴光源的位置，h表示每只眼睛的眼角膜的光线折射点，\表示每只眼 睛的亮瞳图像中的瞳孔中心点的位置，ky_表示连接每只眼睛的眼角膜的光线折射点与每 只眼睛的亮瞳图像中的瞳孔中心点的位置的直线的斜率,P表示每只眼睛的瞳孔中心点，h 表示房水与眼角膜之间的折射系数，n2表示空气与眼角膜之间的折射系数， 视线估计单元在满足以下约束条件的情况下针对左眼和右眼求解方程（1)至（8)来确 定双眼的关注位置：
其中，R表示双眼视线关注位置，Cl表示左眼的角膜曲面中心点，c2表示右眼的角膜曲 面中心点，Pl表示左眼的瞳孔中心点，p2表示右眼的瞳孔中心点，h表示左眼视线的光轴的 斜率，k 2表示右眼视线的光轴的斜率。
11. 根据权利要求10所述的视线跟踪系统，其中，如果所述多组光源的数量为N组，则 左眼和右眼分别满足N个方程（1)至（8)，并且视线估计单元在满足所述约束条件的情况下 针对左眼和右眼求解总共16*N个方程来确定双眼的关注位置。
12. 根据权利要求2所述的视线跟踪系统，其中，在用户观看的屏幕上预先设置多个已 知目标点，并且视线特征检测单元确定已知目标点的位置， 其中，关注位置修正单元计算确定的已知目标点的位置与已知目标点的实际位置之间 的误差，根据视线估计单元确定的双眼的关注位置与确定的已知目标点的位置之间的距离 来计算权重，并使用误差修正模型来修正视线估计单元确定的双眼的关注位置。
13. 根据权利要求12所述的视线跟踪系统，其中，关注位置修正单元通过使用以下等 式来修正视线估计单元确定的双眼的关注位置：
其中,Μ表示已知目标点的数量,Pp_sse;d表示修正后的双眼的关注位置,P_pute;d表示视 线估计单元确定的双眼的关注位置，Wi表示权重，Si表示已知目标点的实际位置，Pi表示视 线估计单元确定的已知目标点的位置，ei表示已知目标点的实际位置与视线估计单元确定 的已知目标点的位置之间的误差，φ表示视线估计单元确定的双眼的关注位置与已知目标 点的位置之间的距离。
14. 一种视线跟踪方法，包括以下步骤： (a) 通过控制与多个摄像头对应的多组光源依次发光来使用所述多个摄像头拍摄用户 的亮瞳图像和暗瞳图像； (b) 从拍摄的亮瞳图像和暗瞳图像中检测瞳孔中心点的位置和反射亮斑的位置； (c) 通过使用检测到的瞳孔中心点的位置和反射亮斑的位置来计算角膜曲面中心点与 瞳孔中心点的三维空间位置，从而跟踪双眼视线的方向，以确定双眼的关注位置。
15. 根据权利要求14所述的视线跟踪方法，还包括以下步骤： (d) 通过使用用户观看的屏幕上的多个已知点进行位置标定，来修正双眼的关注位置。
16. 根据权利要求14所述的视线跟踪方法，其中，在步骤（b)中，根据亮瞳图像中人眼 区域的灰度信息检测瞳孔中心点的位置。
17. 根据权利要求14所述的视线跟踪方法，其中，在步骤（c)中，计算左右两眼的瞳孔 中心点的三维坐标以及左右两眼的角膜曲面中心点的三维坐标，从而获得由瞳孔中心点与 角膜曲面中心点的连线表现的左眼视线和右眼视线，并将左眼视线和右眼视线的交点确定 为双眼的关注位置。
【文档编号】H04N5/232GK104113680SQ201310138541
【公开日】2014年10月22日 申请日期:2013年4月19日 优先权日:2013年4月19日
【发明者】王西颖, 高书征, 金智渊 申请人:北京三星通信技术研究有限公司, 三星电子株式会社