一种利用自由空间视线凝视点测量的空间几何量测量方法与流程

本发明涉及视线跟踪及空间几何量测量领域。

背景技术：

视线跟踪技术在人机交互、虚拟现实等领域有着重要的使用价值，能够极大地扩展使用者的作业能力。基于机器视觉的非接触式视线跟踪技术包括两部分内容：(1)视线特征参数提取，即在图像中眼睛的位置，通常用瞳孔或虹膜中心表征；(2)视线方向建模，即由检测到的眼睛特征参数跟踪测量视线方向。视线特征参数提取通过图像处理从眼睛图像中提取瞳孔、虹膜和角膜反射斑等表征眼动的参数。其中，瞳孔跟踪是视线特征参数检测的重要步骤。建立视线方向跟踪模型，主要有基于二维和三维两种形式，其中三维的又包括3D视线直接跟踪方法和基于3D模型的视线跟踪方法。

目前国内外的头戴式视线跟踪装置主要采用瞳孔-角膜反射向量法。通过固定眼摄像机获取眼球图像,利用亮瞳孔和暗瞳孔的原理,提取出眼球图像内的瞳孔,利用角膜反射法校正眼摄像机与眼球的相对位置,把角膜反射点数据作为眼摄像机和眼球的相对位置的基点,瞳孔中心位置坐标就表示视线的位置。该类装置已经可以获得较高的视线跟踪精度，但将人眼约束在固定空间内，难以做到自由空间的视线跟踪。

技术实现要素：

本发明的目的是提供一种改进视线跟踪技术，提供一种可以实现自由空间视线跟踪的方法，并在此基础上给出利用自由空间视线凝视点测量的空间几何量测量方法。本发明利用双目立体视觉的自由空间视线跟踪方法，以两对摄像机实时获取双眼图像并实时解算双眼视线方向及视线交汇点坐标，结合姿态传感器和GPS设备，即实时获取双眼视线在大地坐标系中的空间方程，解算凝视点的空间坐标，在凝视点空间坐标的计算基础上综合场景摄相机的图像，完成被凝视物体的空间几何量测量。本发明的技术方案如下：

一种利用自由空间视线凝视点测量的空间几何量测量方法，所采用的测量系统包括带有左眼框架和右眼框架的眼镜式框架、固定在眼镜式框架上的两个半透半反镜、双目立体视觉视线跟踪摄像机、至少一个场景摄相机和位姿测量组件，其中，双目立体视觉视线跟踪摄像机包括两组视线跟踪双目摄相机，两个半透半反镜分别固定在左眼框架和右眼框架内，在每个半透半反镜旁各设置组所述的视线跟踪双目摄相机，用以通过反光面对眼睛成像；所述的场景摄相机固定在眼镜式框架上，用于对场景成像；所述的位姿测量组件包括三轴陀螺仪和倾角仪组成的位姿测量传感器和GPS模块，位姿测量传感器配合GPS模块实时测量使用者头部空间位姿；空间几何量测量方法为：

1)利用场景摄相机获取被测物体的图像；

2)对于每一组视线跟踪双目摄相机，根据相机参数，建立双目立体视觉测量模型；将其采集到的眼睛图像中提取出瞳孔边缘，通过提取瞳孔边缘的特征点，确定瞳孔所在空间平面方程系数，得到瞳孔所在平面方程，计算瞳孔中心点成像坐标；计算瞳孔中心的空间坐标；

3)定义过瞳孔中心的瞳孔所在平面的法线方向为视线方向，对于左眼和右眼，分别确定的视线方向表达式；

4)得到凝视点的坐标；

5)根据凝视点在被测空间大地坐标系的坐标不变的特性，通过位姿测量组件的实时位姿转换，得到不变的凝视点的大地坐标；

6)对被测物体进行多次凝视操作后，取得形体表面若干点的空间坐标，分别计算每个点之间的距离，并结合场景摄像机的图像，完成对该被测物的空间几何量测量。

综上所述，利用视线跟踪测量和头部位姿测量得到空间中某个被凝视物体表面某点的空间坐标，并将所有该类凝视点所在坐标系的空间坐标统一起来，可以获得该被凝视物体表面的几何尺寸，完成空间几何量测量的工作。该方法能够实现被测物空间几何量的非接触测量，且不需要复杂的光源等环境设置，具备更好的通用性和使用便捷性，同时将被测物图像与空间几何尺寸有效地结合起来，创造了一种新型空间几何量测量方式。

附图说明

图1系统结构示意图

图2空间凝视点测量方法示意图

图3测量系统最佳实施方式示意图

附图标记说明如下：

1 眼镜式框架；2左眼框架；3右眼框架；4半透半反镜；5场景摄相机；

6 视线跟踪双目摄相机；7GPS模块8位姿测量传感器。

具体实施方式

图1为本发明采用的测量系统结构示意图，整个测量系统包括带有左眼框架和右眼框架的眼镜式框架、固定在眼镜式框架上的两个半透半反镜、双目立体视觉视线跟踪摄像机、至少一个场景摄相机和位姿测量组件，其中，双目立体视觉视线跟踪摄像机包括两组视线跟踪双目摄相机，两个半透半反镜分别固定在左眼框架和右眼框架内，在每个半透半反镜旁各设置组所述的视线跟踪双目摄相机，用以通过反光面对眼睛成像；所述的场景摄相机固定在眼镜式框架上，用于对场景成像；所述的位姿测量组件包括三轴陀螺仪和倾角仪组成的位姿测量传感器和GPS模块，位姿测量传感器配合GPS模块实时测量使用者头部空间位姿。

具体实现方法如下：

1、在双目摄相机所采集到的眼睛图像中提取出瞳孔边缘，通过提取瞳孔边缘的特征点(X_li,Y_li,Z_li),i＝0,1,…n-1，用这些特征点确定瞳孔所在空间平面方程系数(A_l,B_l,C_l,D_l)，得到瞳孔所在平面方程。经拟合的瞳孔边缘近似成圆形态，可计算圆中心坐标，并视其为瞳孔中心点成像坐标(u_l0,v_l0),采用双目立体视觉测量模型计算瞳孔中心的空间坐标(X_l0,Y_l0,Z_l0)，由空间几何可知，瞳孔所在平面的法向量为则过瞳孔中心的瞳孔所在平面的法线方向表达式如下：

上式为瞳孔边缘所构成圆平面的中心点的法线方向表达式，即测量系统定义的视线方向。同样可以得到右眼的视线方向表达式为：

通过联立左右眼视线方程(1)和(2)，即可得到凝视点的坐标(X_n,Y_n,Z_n)。

2、视线凝视点空间坐标测量方法如图2。视线所在移动工作坐标系下的坐标，在刚性连接(由头戴式装置保证)的情况下，当头部位姿发生变化时，双目视线跟踪立体视觉测量系统与头部位姿测量组件之间的相对位置不变，凝视点与双目视线跟踪立体视觉测量系统的相对位置是发生变化的，但是凝视点在被测空间大地坐标系的坐标不变，所以虽然凝视点在双目视线跟踪立体视觉测量系统基准坐标系的坐标变化，但是通过头部位姿测量组件的实时位姿转换，可以得到不变的凝视点的大地坐标。

其中(X_W,Y_W,Z_W)表示头部位姿变换前的凝视点的大地坐标，(X_W',Y_W',Z_W')表示头部位姿变换后的凝视点的大地坐标，ΔR_W,ΔT_W表示头部的位姿变换，由头部位姿测量组件获得位姿补偿信息。

利用自由空间视线凝视点测量的空间几何量测量方法可由如图3所示的系统实现：在半透半反镜上方，采用两对微型CMOS相机，通过反光面对眼睛成像；在半透半反镜下方每一边放置一个微型CMOS场景摄相机，通过反光面对场景成像；人眼通过半透半反镜和头罩窗口观察场景。上述系统布局可实现既不妨碍人眼对场景的观察，又覆盖场景摄像机的拍摄范围，将光线反射入场景摄像机，同时双目摄相机可采集到清晰的眼睛图像。该布局能够准确捕捉眼睛视线方向，当对空间凝视点测量时可同时监测双眼形成视线空间交汇产生凝视点。位姿测量传感器由三轴陀螺仪和倾角仪组成，配合双频差分GPS实时测量使用者头部空间位姿。头部位姿测量组件与视线跟踪系统刚性联接，组成完整的视线跟踪及空间几何量测量系统。两对视线跟踪摄像机跟踪视线方向，解算出凝视点相对于人眼的空间坐标，再结合GPS与姿态传感器的头部位姿数据得到凝视点在大地坐标系中的空间坐标。对被测物体进行多次凝视操作后，取得形体表面若干点的空间坐标，分别计算每个点之间的距离，并结合场景摄像机的图像，完成对该被测物的空间几何量测量。