一种自由空间视线跟踪测量方法
【专利摘要】本发明公开了一种自由空间视线跟踪测量方法，所述方法包括以下步骤：构建双目立体视觉视线跟踪测量装置；提取眼睛的内外眼角点坐标，计算双目立体视觉视线跟踪测量装置每次穿戴产生的移动坐标，并补偿所发生的相对移动；定义眼睛的瞳孔边缘所构成的圆平面中心点法线方向为视线间接估计方向，利用双目立体视觉测量方法对一只眼睛的空间视线间接估计方向进行测量；标定空间视线间接估计方向与真实视线方向之间的偏差角，即可获得单只眼睛的真实视线方向。本方法可获得三维的自由空间视线方向；视线活动范围不受限制；头戴式的结构可满足头部自由运动同时，获取高精度眼睛图像；可标定真实视线方向与定义的视线间接估计方向之间的系统误差。
【专利说明】一种自由空间视线跟踪测量方法
【技术领域】
[0001] 本发明涉及机器视觉、图像处理及特征检测与识别的视线跟踪领域，尤其涉及一 种自由空间视线跟踪测量方法，主要应用于人机交互，是眼动系统作为高级人机交互的前 提和基础。
【背景技术】
[0002] 眼动操作系统是高级人机交互的形式之一，对于可视形式的目标选择和操纵任 务，人机交互的其它通道都是在视觉通道指导下进行的，即使用者先注视到感兴趣对象，再 引导其它通道的选择或操纵动作。因此眼动操作系统的运用能够真正实现更加方便、更加 迅速的实时操作，使得人机对话变得简便、自然。眼动操作系统在人机交互领域有广阔的应 用前景，例如能理解人意图的智能计算机和机器人，具有交互功能的家用电器，虚拟现实和 游戏，国防军事中的武器瞄准与目标定位等。视线跟踪技术是智能眼动操作系统的关键技 术，是实现眼动操作系统作为高级人机交互应用的基础和前提，深入研究视线跟踪技术对 实现眼动操作系统很好应用于自由空间人机交互系统有重要的理论和应用意义。
[0003] 视线跟踪技术主要研究内容是如何实时、客观、准确地记录使用者当前的视线方 向或视线落点位置。视线是眼睛注视的方向，反映一个人关注的焦点。当眼睛注视某一物 体时，物体的像自动成在视网膜的中央凹上，所以真实的视线方向是中央凹与瞳孔中心的 连线方向。但因为中央凹不可见，提取眼睛特征参数表征眼动，间接得到视线方向。从真正 使用仪器设备对眼动进行观察和实验的中世纪开始，经历上百年的技术发展，视线跟踪技 术经历了直接观察法、后像法、机械记录法、电流记录法、电磁感应法等测量方法，随着机器 视觉和数字图像处理技术的迅速发展，利用数字摄像机记录眼动过程并采用图像处理方法 分析视线方向的光学记录法得到广泛应用。其中，瞳孔中心角膜反射光斑法是目前最为常 用的方法。
[0004] 基于瞳孔中心角膜反射光斑法的视线跟踪技术包括两部分的内容：（1)视线特征 参数提取和（2)视线方向模型建立。视线特征参数提取通过图像处理从眼睛图像中提取瞳 孔和角膜反射斑。其中，瞳孔跟踪是视线参数检测的重要步骤。目前视线方向模型建立主 要分为二维和三维两种形式。基于二维的视线跟踪技术强烈依赖于标定的映射平面，而且 只能得到二维的视点信息；基于三维的视线跟踪技术多采用遥测式，头部自由运动和高精 度眼睛图像跟踪是无法做到两者均优化的矛盾体，且空间标定过程繁琐复杂，视线活动范 围严重受到限制。
【发明内容】
[0005] 本发明提供了一种自由空间视线跟踪测量方法，本发明采用双目立体视觉自由空 间视线跟踪测量方法，可在标定较简便的情况下获得头部自由运动时自由空间的三维视线 方向，详见下文描述：
[0006] 一种自由空间视线跟踪测量方法，
[0007] 利用双目立体视觉测量方法对一只眼睛的视线进行跟踪测量；该方法提取眼睛的 内外眼角点坐标，计算双目立体视觉视线跟踪测量装置每次穿戴产生的移动坐标，并补偿 所发生的相对移动；利用眼睛的瞳孔边缘所构成的圆平面中心点法线方向作为视线测量的 间接估计方向；利用视线测量的间接估计方向与真实视线方向之间的系统误差偏差角来对 真实视线进行测量。
[0008] 所述双目立体视觉视线跟踪测量装置包括：双目立体视觉视线跟踪测量相机与取 景相机，
[0009] 所述双目立体视觉视线跟踪测量相机与所述取景相机通过设置一片半透半反镜 实现场景叠加，所述半透半反镜上部设置有双目立体视觉视线跟踪测量相机，所述双目立 体视觉视线跟踪测量相机通过所述半透半反镜的反光面对充满双目立体视觉视线跟踪测 量视场的单只眼睛成像；所述半透半反镜下方设置有所述取景相机，所述取景相机通过反 光面对观察场景成像。
[0010] 所述利用眼睛的瞳孔边缘所构成的圆平面中心点法线方向作为视线测量的间接 评估方向，其步骤为：
[0011] (1)标定所述双目立体视觉视线跟踪测量相机；
[0012] (2)利用双目立体视觉方法测量得到眼睛瞳孔边缘所构成圆平面中心点法线方 向，即建立该圆中心点的法线直线方程；（3)将眼睛瞳孔边缘所构成平面中心点的法线定 义为空间视线测量的间接估计方向。
[0013] 所述利用视线测量的间接估计方向与真实视线方向之间的系统误差偏差角来对 真实视线进行测量的步骤为：
[0014] 采用对人眼进行视线跟踪测量，在被测试人的参与下，由人指出标准靶标上的注 视点位置，所述双目立体视觉视线跟踪测量相机坐标系中瞳孔中心和被测试人指出的注视 点连线方向即为真实的视线方向；再与所述双目立体视觉视线跟踪测量相机所得的视线间 接估计方向的测量结果比对，即可确定真实视线方向与视线间接估计方向的偏差角。
[0015] 本方法通过半透半反镜和取景相机将视线和对应的自由空间场景及注视点关联 起来，标定新定义的视线间接估计方向与真实视线方向之间的偏差角，补偿偏差角后获得 自由空间视线方向，实现人眼视线与观察视场的叠加，具有以下的有益效果：
[0016] (1)可获得三维的自由空间视线方向；
[0017] (2)视线活动范围不受限制；
[0018] (3)头戴式的结构可满足头部自由运动同时，获取高精度眼睛图像；
[0019] (4)定义新的视线间接估计方向，空间标定过程简单；
[0020] (5)可标定真实视线方向与定义的视线间接估计方向之间的系统误差。
【专利附图】
【附图说明】
[0021] 图1为一种自由空间视线跟踪测量方法的流程图；
[0022] 图2为头戴式双目立体视觉视线跟踪实验系统布局示意图；
[0023] 图3为双目立体视觉视线跟踪测量坐标系示意图。
【具体实施方式】
[0024] 为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步 地详细描述。
[0025] 本发明针对上述视线跟踪方法研究存在的问题，提供了一种自由空间视线跟踪测 量方法，本方法将头戴式结构与三维视线测量原理结合，解决目前遥测式三维视线跟踪方 法头部自由运动与高精度眼睛图像跟踪无法兼顾的问题，以及因此而引起的视线活动范围 严重受限制的问题。
[0026] 视线是眼睛注视的方向，反映一个人关注的焦点。当眼睛注视某一物体时，物体的 像自动成在视网膜的中央凹上，所以真实的视线方向是中央凹与瞳孔中心的连线方向。但 因为中央凹不可见，真实视线无法直接测量得到，故本方法定义"眼睛瞳孔边缘所构成的圆 平面中心点法线方向为视线间接估计方向"，新定义的视线间接估计方向与真实视线方向 之间存在偏差角，通过提取和补偿视线间接估计方向与真实视线方向之间的偏差角，即可 间接得到真实视线方向，参见图1，下面逐步阐述本发明：
[0027] 101 :构建双目立体视觉视线跟踪测量装置；
[0028] 参见图2,该装置包括：头部固定架1，头部固定架1的设计采用眼眉上部接触定位 法，头顶支撑和头后调紧，前后接触头部的部分呈弧形。该一片半透半反镜2设置在头部固 定架1的前部，半透半反镜2上设置有双目立体视觉视线跟踪测量相机3,双目立体视觉视 线跟踪测量相机3通过反光面对眼睛成像。半透半反镜2下方设置有取景相机4,取景相机 4通过反光面对场景成像。
[0029] 该双目立体视觉视线跟踪测量装置的布局可实现既不妨碍人眼对场景的观察，又 覆盖取景相机的拍摄范围，将光线反射入取景相机，同时双目立体视觉视线跟踪测量相机3 可采集到清晰的眼睛图像。
[0030] 102 :利用眼睛的内外眼角点坐标，计算双目立体视觉视线跟踪测量装置每次穿戴 产生的移动坐标，并补偿所发生的相对移动；
[0031] 通过该步骤补偿了双目立体视觉视线跟踪测量装置与头部发生相对移动，提高了 测量精度。
[0032] 103 :双目立体视觉测量方法对单只眼睛的视线间接估计方向进行测量；
[0033] 参见图3,双目立体视觉视线跟踪测量相机3 (包括：左CMOS成像器和右CMOS成 像器），取坐标系〇w-XwYwZ w为世界坐标系。标定双目立体视觉视线跟踪测量相机3,利用已 标定的双目立体视觉视线跟踪测量相机3在可见光下摄取高分辨率的眼睛图像，对图像进 行处理，保留真实瞳孔区域边缘。通过双目立体视觉测量方法获得眼睛瞳孔边缘所构成圆 平面中心点法线方向，即建立该圆中心点的法线直线方程；并定义该空间直线方程所描述 的方向为视线间接估计方向。
[0034] 拟合瞳孔所在平面表达式如下：
[0035] AXW+BYW+CZW+D = 0 (1)
[0036] 由空间几何知识知，瞳孔所在平面的法向量为A = (/U?, η,设双目立体视觉测量 方法得到的瞳孔中心的三维坐标是（XwCI，Yw(l，ZJ，则瞳孔边缘构成圆平面的中心点的法线 方程表达式如下：
[0037]
【权利要求】
1. 一种自由空间视线跟踪测量方法，其特征在于： 利用双目立体视觉测量方法对一只眼睛的视线进行跟踪测量；该方法提取眼睛的内外 眼角点坐标，计算双目立体视觉视线跟踪测量装置每次穿戴产生的移动坐标，并补偿所发 生的相对移动；利用眼睛的瞳孔边缘所构成的圆平面中心点法线方向作为视线测量的间接 估计方向；利用视线测量的间接估计方向与真实视线方向之间的系统误差偏差角来对真实 视线进行测量。
2. 根据权利要求1所述的一种自由空间视线跟踪测量方法，其特征在于，所述双目立 体视觉视线跟踪测量装置包括：双目立体视觉视线跟踪测量相机与取景相机， 所述双目立体视觉视线跟踪测量相机与所述取景相机通过设置一片半透半反镜实现 场景叠加，所述半透半反镜上部设置有双目立体视觉视线跟踪测量相机，所述双目立体视 觉视线跟踪测量相机通过所述半透半反镜的反光面对充满双目立体视觉视线跟踪测量视 场的单只眼睛成像；所述半透半反镜下方设置有所述取景相机，所述取景相机通过反光面 对观察场景成像。
3. 根据权利要求2所述的一种自由空间视线跟踪测量方法，其特征在于，所述利用眼 睛的瞳孔边缘所构成的圆平面中心点法线方向作为视线测量的间接估计方向，其步骤为： (1) 标定所述双目立体视觉视线跟踪测量相机； (2) 利用双目立体视觉方法测量得到眼睛瞳孔边缘所构成圆平面中心点法线方向，即 建立该圆中心点的法线直线方程；（3)将眼睛瞳孔边缘所构成平面中心点的法线定义为空 间视线测量的间接估计方向。
4. 根据权利要求3所述的一种自由空间视线跟踪测量方法，其特征在于，所述利用视 线测量的间接估计方向与真实视线方向之间的偏差角来对真实视线进行测量的步骤为： 采用对人眼进行视线跟踪测量，在被测试人的参与下，由人指出标准靶标上的注视点 位置，所述双目立体视觉视线跟踪测量相机坐标系中瞳孔中心和被测试人指出的注视点连 线方向即为真实的视线方向；再与所述双目立体视觉视线跟踪测量相机所得的视线间接估 计方向的测量结果比对，即可确定真实视线方向与视线间接估计方向的偏差角。
【文档编号】G06T7/00GK104089606SQ201410310038
【公开日】2014年10月8日 申请日期:2014年6月30日 优先权日:2014年6月30日
【发明者】王向军, 蔡方方 申请人:天津大学