双目视线跟踪装置的制作方法

专利名称：双目视线跟踪装置的制作方法
技术领域：
本实用新型涉及一种人机交互装置，特别是一种基于双目摄像机双目视线 跟踪装置。
背景技术：
人与计算机交互是研究人与计算机及其相互作用的技术，其研究目的在于 利用所有可能的信息通道进行人机交流，提高交互的自然性和高效性。目前人 与计算机交互由于一直受到基于键盘、鼠标的窄带宽输入界面的限制，使用户 到计算机的通讯带宽停滞不前，人机交互中输入与输出效率变得越来越不平衡， 由此激发了基于视线跟踪、语音识别、手势输入、感觉反馈等新的交互技术的 多通道界面的研究，其中视线追踪技术倍受该研究领域的重视。在人与计算机 的交互中，视觉通常作为人接收信息的感觉通道。例如，当用户使用鼠标来选 择屏幕上感兴趣的目标时，视线随注意点聚焦到该目标上，然后检査光标与该 目标的空间差距，再反馈到大脑并经大脑指挥手去移动鼠标器，直至视觉判断 光标已位于目标之上，做出按键动作。如果计算机能"自动"将光标置于用户 所感兴趣的目标之上，就会省去上述交互过程中的大部分步骤，从而把手解放 出来，大大降低认知负荷。若想利用视觉通道向计算机输入信息，首先须了解 用户在屏幕上所注视的区域、感兴趣的屏幕元素等，这些信息可以通过视线跟 踪技术获得。视线跟踪的目的是根据眼睛的特征和位置以及其他一些脸部线索 来决定用户注视的方向，把它作为一种可选的或互补的计算机输入通道，为人 机交互研究提供一种分析工具。
视线预示了人眼看物体的位置以及关注的东西。这是传递人感兴趣物体信 息的一个有效方法。准确地测定人的视线方向，不仅可以用于研究人眼的运动规律，而且对于研究人脑的生理功能或进行心理分析都具有相当意义。因此， 各种视线追踪系统被发明并广泛应用于医学治疗、心理学研究、交通智能和人 机互动技术等方面。
视线跟踪技术按其所借助的媒介分为以硬件为基础和以软件为基础两种 (1)以硬件为基础的视线跟踪，其基本工作原理是利用图像处理技术，使用能 锁定眼睛的特殊摄像机，通过摄入从人的眼角膜和瞳孔反射的红外线连续地记 录视线变化，从而达到记录分析视线追踪过程的目的。视线跟踪装置有强迫式 与非强迫式、穿戴式与非穿戴式、接触式与非接触式之分，其精度从o.r至 2° 。以硬件为基础的方法需要用户戴上特制的头盔、特殊的隐形眼镜，或者使 用头部固定支架、置于用户头顶的摄像机等，对用户的干扰很大。(2)以软件 为基础的视线跟踪。近年来，人们为克服视线跟踪装置对人的干扰作用，提出 了用软件实现的对用户无干扰的视线跟踪方法。其基木工作原理是先利用摄像 机获取人眼或脸部图像，然后用软件实现图像中人脸和人眼的定位与跟踪，从 而估算出用户注视的位置。
考虑到长期照射红外线对人眼产生的有害影响，以及用户使用的便捷性， 本文介绍了一种非强迫式的基于双目摄像机和瞳孔检测的视线追踪装置。在不 固定头部或不带头盔的条件下，首先利用双摄像机标定技术计算出摄像机的内 外参数，如焦距、位置等信息，以此来确立图像中的被测点与世界坐标系下 被测点的位置关系，然后利用双摄像机对被测对象观察不同注视点时的人脸进 行成像，通过图像处理得到人脸各个特征点，如瞳孔、眼角、嘴角，根据这 些特征点及摄像机参数，计算出人脸朝向的方向以及人眼注视的方向，从而计 算出注视点的位置。
发明内容
有鉴于此，本发明的主要目的在于提供一种可用于准确跟踪人的视线变化 以及视线定位的双目视线跟踪装置。
本实用新型可用于准确跟踪人的视线变化以及视线定位。为达到上述目的，本发明的技术方案是这样实现的 一种双目视线跟踪装置，包括 计算机显示器屏幕，用于显示跟踪结果；
一块观察大屏幕，置于显示器后方，上面标示观察点，用于分析视线方向 的精确度；
两台摄像机，用于采集人脸及人眼图像，装于计算机显示器屏幕上方左右 两侧；
一个摄像机标定单元，用于获得摄像机内外参数，从而计算机图像中推知 三维信息，或者从三维信息计算出目标在图像中的坐标；
一个人脸方位计算单元，用于获得人脸在世界坐标系下坐标；
一个视线方向计算单元，用于获得视线在世界坐标系下坐标，并将结果传 给计算机显示器屏幕。
摄像机标定单元采用带有一阶径向畸变的针孔模型。
人脸方位计算单元通过对人脸特征点的检测获得人脸在世界坐标系下坐标。
人脸特征点包括瞳孔、眼角和嘴角。
瞳孔包括左瞳孔和右瞳孔；所述眼角包括左眼角和右眼角；嘴角包括左嘴 角和右嘴角。
视线方向计算单元通过瞳孔检测确定视线方向。 人脸方位计算单元用于计算人脸朝向。
视线方向计算单元，根据人脸朝向的方向及人眼注视的方向，计算出注视 点的位置。
双目视线跟踪装置，其特征在于所述计算机显示器屏幕用于接收用户注视。 本实用新型的有益效果是，本装置可避免照射红外线对人眼产生的有害影
响，用于准确跟踪人的视线变化以及视线定位，可准确定位人眼注视位置，用
户使用便捷。

图1为本实用新型的双目视线跟踪装置架构； 图2为带有一阶径向畸变的针孔模型； 图3为人脸各特征点及人脸坐标系结构图； 图4为视线方向的计算； 图5为实际观察点与系统估算点的位置。
具体实施方式
以下结合附图及具体实施例对本发明再作进一步详细的说明。 如图1所示为本实用新型的双目视线跟踪平台系统架构。 计算机显示器屏幕104，用于显示跟踪结果；
一块观察大屏幕105，置于显示器屏幕104后方，标示有观察点，用于分 析视线方向的精确度； .
两台摄像机103，用于采集人脸102图像，装于计算机显示器屏幕104上 方左右两侧。
一个摄像机标定单元106，用于获得摄像机内外参数，从而计算机图像中 推知三维信息，或者从三维信息计算出目标在图像中的坐标；
一个人脸方位计算单元107，用于获得人脸在世界坐标系下坐标；
一个视线方向计算单元108，用于获得视线在世界坐标系下坐标，并将结 果传给计算机显示器屏幕。
本装置中的两个摄像机103采用的是两个0K系列CCD摄像机及其图像采集 卡，标定板101的制作可以采用在计算机显示器屏幕104上画上黑白间隔的表 格，黑白正方形块的边长为1厘米。两个摄像机103分别固定安装在计算机显 示器屏幕104上方的左右两侧，并保证同时能采集到人脸102部位。人脸102 距离摄像机50厘米。计算机显示器屏幕104后方放置一块观察大屏幕105，距 离人脸1米，上面标上黑圆圈表示观察点，用于分析视线方向的精确度。摄像机标定单元106:
摄像机标定的主要目的在于获得摄像机内外参数，从而可以从计算机图像 中推知三维信息，或者从三维信息计算出目标在图像中的坐标。由于摄像机光 学系统的加工误差和装配误差，摄像机像面上的实际成像与理想成像之间存在 光学畸变误差，故采用带有一阶径向畸变的针孔模型，如附图2带有一阶径向 畸变的针孔模型所示，图中四个坐标系分别为
计算机图像坐标系O"v:原点O位于CCD图像平面的左上角，"和v分别 表示像素位于数组的列数和行数。
图像坐标系o矽原点，即主点o，定义在摄像机光轴与图像平面的交点，x，
_y轴分别与"，v轴平行。, A)表不针孔模型下尸点的理想图像坐标，
A"，力)是由透镜径向畸变引起的偏离^(^， A)的实际图像坐标。
摄像机坐标系OJJA:原点^定义在摄像机的光心，& ， 乂轴分别平行于 jc， _y轴，zc轴与光轴重合。0co为摄像机的有效焦距/， (xc， 乂， ^)表示物点户 在摄像机坐标系下的三维坐标。
世界坐标系curwrwzw:根据具体环境来定。(zw， rw， zw)表示物点户在世
界坐标系下的三维坐标。
故从世界坐标系到计算机图像坐标系的变换可以分为如下四步
第一步，世界坐标系与摄像机坐标系的变换，可以用旋转矩阵f和平移向
"〗"2〈V
量T7来描述尺.+ 71，其中及=，T =
A」_z『_/7 。一
第二步，针孔模型下的理想透视投影变换，即从摄像机坐标系到图像坐标
系的变换^"=，
第三步，理想图像坐标系与实际图像坐标系的转换。考虑一阶径向畸变，
建立畸变模型为&=(i+^:k其中。、^+^， ^为一阶径向畸变系数。
L力=(1 + )a第四步，实际图像坐标系到计算机图像坐标系的转换 t、
一 =力/办+ 、
其中(Cx，Cy)为主点O的像素坐标即主点坐标，(A,办)分别为图像平面上
x， _v方向上单位像素间的距离。
要确定计算机图像坐标与世界坐标的关系，必须首先求出摄像机的内外参
数。内参数包括/^，^"3^，S;外参数包括旋转矩阵和平移矩阵一共有6
个独立参数，其中旋转矩阵R有三个独立参数，其他6个参数都可以由这三个参
数求出来，平移矩阵有三个独立参数^^y，t。
根据以上四步中的四个公式，计算机图像坐标系坐标"，V)与世界坐标系
坐标(X^ ^， ZJ的关系只能联立两个方程，由计算机图像点的坐标计算出世 界坐标系地点坐标，必须采用两个摄像机，根据世界坐标系K的一个点 P(A^，lV,ZJ对应着两个计算机图像坐标系下的坐标M(",，v,)、 W(^,v。利用上述
公式即可求解出点p坐标。
人脸方位计算单元107:
对人脸特征点瞳孔、眼角和嘴角的检测与跟踪采用的是多线索的人脸特征检 测与跟踪算法。如图3所示，左摄像机采集的图像中找到了人脸特征点分别为 左眼的内眼角A口02、右眼的内眼角B！305、左眼瞳孔d301 、右眼瞳孔C1R306、 左嘴角D^3(B、右嘴角D1K304;右摄像机采集的图像中找到了对应的特征点 A2、 B2、 C2l、 C2R、 D2l、 D2R，根据第四步中的公式，可以得到世界坐标系下 各个特征点的世界坐标A、 B、 Cl、 Cr、 Dl、 Dr。以上特征点可以近似看成在 同一个平面上，因此以经过点A、 B的直线为Xp坐标，经过左右嘴角的中心点 Od且与直线ArxBRR垂直相交的直线OfOd为YF坐标，经过点Of且垂直XF0FYF 坐标平面的直线Lp为zf坐标轴，建立人脸平面坐标系OFXFYFZF307， Zp轴方 向即人脸朝向的方向。
视线方向计算单元108:人的服球可以近似为一个圆，而视线是一条以眼球中心点为出发点，经过瞳 孔中心的射线。当瞳孔在眼球表面上移动时，视线的方向就跟着变化。如图4
所示，平面ABCD为人脸坐标系上的XpOFYF平面，由于人眼直视时瞳孔的中 心近似地位于XfOfYf平面上，假设其就在该平面上，图中的点0^即为直视时 瞳孔的中心。人眼的视线方向与人脸的朝向方向是一致的，即直线OE。C^始终 和Zp轴平行，点OEo为眼球的中心。某一时刻瞳孔的中心为点PE，在XpOpYp 平面的投影为PEF，则射线OEC)Pk即为此刻的视线方向。
通过前面计算出的瞳孔中心在世界坐标系下的坐标，建立的人脸平面坐标系 OfXfYfZf，在该坐标系下可以求出瞳孔中心0EF、 Pe在人脸平面坐标系下的投 影点坐标，即OEF(xQ，Y。，0)、 PEF(XF，YF，0)，眼球的半径为R，则眼球中心的坐
标为(X。,Y。，-R)，瞳孔中心PE的坐标为(^，Yp,-R+VR2 --X。)2--&)2)，则视线
对于一般的成年人，眼球的半径R近似等于12毫米。要更精确地知道眼 球的半径，只需知道一个已知注视点的世界坐标系坐标，把它转换成人脸平面 坐标系下的坐标，带入上式，即可求得。
该式表示的是在人脸坐标系下的视线方程，为了确定注视点的位置，必须 把它转换成世界坐标系下的视线方程。世界坐标系与人脸平面坐标系的转换关
<formula>formula see original document page 9</formula>
其中A为3x3的旋转矩阵，T为3xl的平移矩阵。那么，人脸平面坐标系下的眼球中心OEF和当前瞳孔中心PE就可以由该式
转换成世界坐标系下的坐标，设分别为Oew (Xow， Yow， Zow)、 PEW(XPW， YPW，
z—x
ZPW)，则在肚界坐标系下的视线方程为&『—&『ZiW—ZCW, 视线方向计算单元将跟踪结果传送回计算机显不器屏幕104。双目视线跟踪装置执行过程-
对装置进行初始化。初始化工作主要有三步
第一步，双摄像机103拍摄多幅标定板101在不同位置时的图像，测量各个 方格顶点的世界坐标系坐标，通过图像处理计算出各方格顶点的图像坐标系坐
标，从而计算出摄像机103的参数。
第二步，拍摄多幅人眼直视时的人脸102图像，计算每幅图像瞳孔中心在人 脸坐标系下的位置，取平均值作为直视时瞳孔中心在人脸坐标系下的坐标。
第三步，拍摄多幅不同注视点情况下的人脸102图像并记下注视点的世界坐
标系坐标，计算出每个注视点下的眼球半径，取平均值作为眼球半径。
完成初始化工作后，在摄像机103的位置不发生改变的情况下，令被测对 象注视每个标定点，并拍摄下对应的人脸102图像，利用图像处理技术和摄像 机参数通过计算出系统估算的注视点坐标501。为了测试该算法的精确度，让 人脸102以不同的角度去注视同一个观察点。取其中四个观察点的实验数据， 实验结果显示在计算机显示器屏幕104如图5所示。
观察点所在的平面距离人脸为1米，附图5中，圆圈为实际注视点502的 世界坐标系坐标，十字叉为系统估算点501坐标，单位为厘米。从附图5中可 以看出系统估算点501与实际注视点502基本一致。统计各个系统估算点501 与实际观察注视点502的距离偏差Ad以及各个注视点距眼球中心距离D，算出 视线方向偏差角度A^-zW/i)。实验结果表明，平均的视线偏差角度为8.37° 。
可见，应用上面描述的双目视线跟踪装置，克服了传统装置的缺陷，可准 确跟踪人的视线变化以及视线定位，并且由于其鲁棒性好，方便易于携带，安 装简易，更为简单、自然、高效，因此，可广泛应用于在人机交互。
以上所述，仅为本发明的较佳实施例而已，并非用来限定本发明的保护范围。
权利要求1、一种双目视线跟踪装置，其特征在于包括计算机显示器屏幕，一块观察大屏幕，两台摄像机，一个摄像机标定单元，一个人脸方位计算单元和一个视线方向计算单元；摄像机装于计算机显示屏幕上方左右两侧，采集人脸及人眼图像，将图像送入摄像机标定单元，获得摄像机内外参数，从图像中推知三维信息，或者从三维信息计算出目标在图像中的坐标，将结果送入人脸方位计算单元，计算获得人脸在世界坐标系下坐标，结果传入视线方向计算单元，获得视线在世界坐标系下坐标，摄像机标定单元，人脸方位计算单元和视线方向计算单元相互配合，得出结果，并将结果传给计算机显示器屏幕，显示跟踪结果，摄像机标定单元置于显示器屏幕后方，标示有观察点，得出视线方向精确度。
专利摘要本实用新型涉及一种人机交互装置，特别是一种基于双目摄像机的双目视线跟踪装置。该装置包括计算机显示器屏幕，用于显示跟踪结果；一块观察大屏幕，置于显示器屏幕后方，标示有观察点，用于分析视线方向的精确度；两台摄像机，用于采集人脸及人眼图像，装于计算机显示器屏幕上方左右两侧；一个摄像机标定单元，用于获得摄像机内外参数，从而计算机图像中推知三维信息，或者从三维信息计算出目标在图像中的坐标；一个人脸方位计算单元，用于获得人脸在世界坐标系下坐标；一个视线方向计算单元，用于获得视线在世界坐标系下坐标，并将结果传给计算机显示器屏幕。本实用新型可用于准确跟踪人的视线变化以及视线定位。
文档编号G06F3/01GK201307266SQ20082012716
公开日2009年9月9日 申请日期2008年6月25日 优先权日2008年6月25日
发明者芳 华, 旭 韩 申请人:韩 旭;华 芳