一种基于双目测量的泛头戴式设备的视线追踪方法设备与流程

本发明属于泛头戴式显示技术领域，具体涉及一种基于双目测量的视线追踪的方法、系统和设备。

背景技术：

现有技术中的虚拟现实(vr)体验中，有一部分采用了在眼镜上设置按键的方式实现选择确认操作，一部分采用手柄的方式实现交互，还有一部分使用摄像头捕捉肢体动作的方式实现交互，也有一部分使用视线追踪的方式。

然而，按键、手柄、动作捕捉的方式对于用户的操作效率不理想，现有的视线追踪方式目前存在的视线跟踪分为以下两类：计算二维映射，计算三维视线；第一类的最小配置是一个相机加一个红外标志点，但是需要用户在线凝视9个标定点，过程较为繁琐；第二类方法属于三维测量，最小配置为一个相机加两个红外标志点，需要复杂的人眼模型。

技术实现要素：

本发明要解决的技术问题，提供一种基于双目测量的视线追踪的方法、系统和设备，可以减少用户初次使用的标定时间，提升视线追踪的精度，进而提升用户体验。

为解决上述问题，本发明采用如下技术方案：

一种基于双目测量的视线追踪的设备，包括：成像显示装置、视觉聚焦追踪装置和壳体。

优选的，所述成像显示装置被定位在用户视场中，包括位于壳体前壁可观察所述壳体内部的观影镜片、显示屏，所述显示屏沿着观察者视线方向设置在所述壳体内部。

优选的，所述视觉聚焦点追踪装置包括红外反射镜片、微型红外摄像头、红外光生成装置和主板，所述红外反射镜片位于用户人眼和成像显示装置之间，所述红外反射镜片与成像显示装置倾斜设置，所述微型红外摄像头设置为朝向与用户平视视线夹角为10°到120°之间，所述微型红外摄像头朝向与红外反射镜片的夹角为30°到85°之间；所述红外光生成装置安所述红外光生成装置与红外摄像头整体设置，或者与所述微型红外摄像头分体设置，位于观影镜片与显示屏之间，或者所述红外光生成装置位于观影镜片与用户眼睛之间，沿着观影镜片边缘位置固定。

优选的，所述观影镜片包括左眼观影镜片和右眼观影镜片，所述显示屏包括左眼显示屏和右眼显示屏，所述左眼显示屏和右眼显示屏之间设有挡板，所述挡板的一端与壳体前壁中部相连。

优选的，所述红外反射镜片位于左眼观影镜片和左眼显示屏之间，所述红外反射镜片与左眼观影镜片、左眼显示屏成“z”形，所述微型红外摄像头一端固定在所述壳体前壁上，所述微型红外摄像头另一端固定在所述挡板上。

优选的，所述红外反射镜片位于左眼观影镜片和左眼显示屏之间，所述红外反射镜片与左眼观影镜片、左眼显示屏成反“z”形，所述微型红外摄像头一端固定在所述壳体前壁左端，所述微型红外摄像头另一端固定在所述壳体左壁上。

优选的，所述红外反射镜片位于右眼观影镜片和右眼显示屏之间，所述红外反射镜片与右眼观影镜片、右眼显示屏成“z”形，所述微型红外摄像头一端固定在所述壳体前壁右端，所述微型红外摄像头另一端固定在所述壳体右壁上。

优选的，所述红外反射镜片位于右眼观影镜片和右眼显示屏之间，所述红外反射镜片与右眼观影镜片、右眼显示屏成反“z”形，所述微型红外摄像头一端固定在所述壳体前壁上，所述微型红外摄像头另一端固定在所述挡板上。

优选的，所述的微型红外摄像头至少两个构成一组双目相机，两个相机之间的夹角为0至45度，两个之间的距离为0至壳体的左臂、右臂、挡板的最大值之间所述微型红外摄像头组通过螺栓或工业胶水固定在壳体。

优选的，所述追踪装置主板位于显示屏后，通过排线与微型红外摄像头连接，所述壳体内还设有主机主板，所述主机主板位于显示屏后，所述追踪装置主板通过usb接口、串口、sdio、mipi中的一种或者组合与所述主机主板连接，将追踪装置的主板与虚拟现实主机主板分开设立，使视觉聚焦点追踪装置可以与虚拟现实成像设备保持相对的独立，方便维修。

一种基于双目测量的视线追踪的方法，包括以下步骤：

步骤一：测量设备离线标定；

步骤二：图像数据预处理；

步骤三：测量设备在线标定；

步骤四：实时视线测量。

s1测量设备离线标定将视觉聚焦点追踪装置中的微型红外摄像头、成像显示装置中的平面显示屏、红外反射镜片以及红外光生成装置全部统一到相机测量坐标系。

优选的，双目相机固定在壳体上，双目相机的标定借助标定件。

优选的，平面显示屏的标定通过控制显示屏显示标志或者将标定板、印有标志的贴膜贴合在屏幕处，利用立体测量装置进行测量得到平面显示屏的位置和方向。

优选的，立体测量装置使用上述固定在壳体上的双目相机。

优选的，红外反射镜片标定通过在红外反射镜片上放置标志物，使用立体测量装置得到全反屏的位置关系。标志物为标定板或印有标志物的贴膜，贴合在红外反射镜片的前部或后部。立体测量装置使用上述固定在壳体上的双目相机。

优选的，红外发生装置采用红外灯珠组成的阵列，标定灯珠阵列中灯珠的位置。灯珠的位置标定需要借助额外的立体测量装置和标定件。所述立体测量装置是拍照式三维扫描仪、激光三维扫描仪、三维坐标测量机、自制双目相机中一种或几种组合；所述的标定件为标准标定板或其他标志物。

优选的，所述立体测量装置选择自制双目相机，自制双目相机使用标准标定板完成标定后，固定在一刚性物体上保证自制双目相机中两个相机的相对位置不变，但自制双目相机的整体位置可调。

优选的，所述标定件为标准标定板。

优选的，灯珠的标定需要调节自制双目相机、标定件、和固定在壳体上双目相机的相对位置，使自制双目相机和固定在壳体上的双目相机共四个相机可同时看到标定件的同一区域。

优选的，灯珠的标定需要调节自制双目相机、标定件、和固定在壳体上双目相机的相对位置，使得自制双目相机的两个相机看到公共区域a、固定在壳体上的双目相机的两个相机看到公共区域b，公共区域a和b均在同一标定件内，并且区域a和区域b的相对位置可测。

s2图像预处理分为瞳孔椭圆轮廓提取和红外标志物提取。

优选的，红外标志物的提取：先对原图进行显著度检测，然后在显著度检测结果图上进行光团检测，获得亮点的亚像素位置。

优选的，瞳孔椭圆轮廓的提取分为粗略提取和精确提取过程。粗略提取采用阈值分割的方法，得到不同的区域，对不同的区域进行椭圆拟合，去除不符合条件的区域，进而得到椭圆轮廓和中心；精确提取采用粗略提取得到的中心进行区域生长算法，并考虑到上面红外标志物对椭圆轮廓和中心点计算的影响，重新精确计算椭圆的轮廓和中心点。

优选的，红外标志物和瞳孔椭圆轮廓的提取可在上一帧图像处理结果的基础上，不再进行全图的运算，降低运算量。

优选的，对于闭眼情况，可以使用卡尔曼滤波器实现瞳孔位置的连续平滑估计。

s3测量设备的在线标定，需要用户在佩戴眼镜的情况下，凝视屏幕，通过固定在壳体上的双目相机拍摄此时眼睛的图片，对图片进行s2的预处理，进而完成在线标定。

优选的，用户需要凝视屏幕中至少一点，屏幕中点的位置为屏幕的中心或者其他位置；标定视线同眼球光轴的偏角。

优选的，通过s2中得到的至少两个红外标志物经过运算得到角膜球心的位置，再通过s2中得到的瞳孔中心的位置，进而确定视线同眼球光轴的偏角。

优选的，红外标志物选择普尔饮斑或其他显著性特征。

s4实时视线测量，固定在壳体上的双目相机采集的图像是经过红外反射镜片反射的像，因此测量过程中要将红外反射镜片反射关系引入。

优选的，所述实时视线测量的过程为：对摄像头实时拍到的图像进行s2的预处理，得到实时的瞳孔中心与s3中得到的角膜球心，计算实时的视线方向与眼睛光轴的偏角。

优选的，所述实时视线测量的过程为：对摄像头实时拍到的图像进行s2的预处理，得到实时的瞳孔中心与角膜球心，计算实时的视线方向与眼睛光轴的偏角。

优选的，每秒拍摄的图片数量至少10张，以减少追踪延时，提高系统的实时性。

优选的，根据实时拍摄的照片得到的视线方向，再与在线标定时得到的视线和眼球光轴方向进行运算，进而得到当前所注视的屏幕的位置。

优选的，根据实时拍摄的照片得到的视线方向和眼球光轴方向，再与在线标定时得到的视线和眼球光轴方向进行运算，进而得到当前所注视的屏幕的位置。

本发明可以实现的技术效果是：能够减少用户使用时的标定耗时，提高标定精度，进而提升用户的体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的第一种实施方式的示意图；

图2为本发明的第一种实施方式的正视图；

图3为本发明的第二种实施方式的示意图；

图4为本发明的第三种实施方式的示意图；

图5为本发明的第四种实施方式的示意图；

图6为本发明一种基于双目测量的视线追踪的方法、系统和设备的流程示意图。

附图说明：壳体1，观影镜片2，左眼观影镜片21，右眼观影镜片22，左眼显示屏31，右眼显示屏32，红外反射镜片51，微型红外摄像头521、微型红外摄像头522，追踪装置主板53，微型红外摄像头的朝向与观察者平视视线夹角6，微型红外摄像头朝向与红外反射镜片的夹角7，主机主板8。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

如图1、图2所示，一种带有红外光生成装置的虚拟现实成像设备，包括壳体1、位于壳体1前壁可观察壳体1内部的观影镜片2、显示屏，显示屏沿观察者视线方向设置在所述壳体1内部，观影镜片2包括左眼观影镜片21和右眼观影镜片22，显示屏包括左眼显示屏31和右眼显示屏32，左眼显示屏31和右眼显示屏32之间设有挡板4，挡板4的一端与壳体1前壁中部相连；壳体1内设置有1个视觉聚焦点追踪装置，视觉聚焦点追踪装置包括红外反射镜片51、微型红外摄像头521和522(图示只画出一个)，红外反射镜片51位于左眼观影镜片21和左眼显示屏31之间，红外反射镜片51与左眼观影镜片21、左眼显示屏31成z形，微型红外摄像头521与522一端固定在所述壳体1前壁上，微型红外摄像头521与522另一端固定在所述挡板4上，微型红外摄像头的朝向与观察者平视视线夹角6为40°，微型红外摄像头朝向与红外反射镜片的夹角7为70°，两个红外摄像头之间夹角为0至45度，距离为0至挡板4的宽度。

优选实施方案中，视觉聚焦点追踪装置还包括追踪装置主板53，追踪装置主板53位于显示屏后，追踪装置主板53通过排线(图示未画出)与微型红外摄像头521、522连接，壳体1内还设有主机主板8，主机主板8位于显示屏后，追踪装置主板53通过usb连接线(图示未画出)与主机主板8连接。

优选实施方案中，微型红外摄像头521和522(图示只画出一个)通过螺栓(图示未画出)固定在壳体1内。

另一种优选方案，微型红外摄像头521、522也可以通过工业胶水(图示未画出)粘贴固定在壳体内。

需要说明的是，优选实施方案中，如图3所示，也可以采用红外反射镜片51位于左眼观影镜片21和左眼显示屏31之间，红外反射镜片51与左眼观影镜片21、左眼显示屏31成反z形，微型红外摄像头521和522(图示只画出一个)一端固定在所述壳体1前壁左端，微型红外摄像头521和522另一端固定在所壳体1左壁上。两个红外摄像头之间夹角为0至45度，距离为0至壳体左臂宽度。

优选实施方案中，如图4所示，还可以采用红外反射镜片51位于右眼观影镜片22和右眼显示屏32之间，红外反射镜片51与右眼观影镜片22、右眼显示屏32成z形，微型红外摄像头521和522(图示只画出一个)一端固定在壳体1前壁右端，微型红外摄像头521和522另一端固定在壳体1右壁上。两个红外摄像头之间夹角为0至45度，距离为0至壳体右臂宽度。

优选实施方案中，如图5所示，还可以采用红外反射镜片51位于右眼观影镜片22和右眼显示屏32之间，红外反射镜片51与右眼观影镜片22、右眼显示屏32成反z形，微型红外摄像头521和522(图示只画出一个)一端固定在壳体1前壁上，微型红外摄像头521和522另一端固定在挡板4上。两个红外摄像头之间夹角为0至45度，距离为0至壳体挡板4宽度。

优选方案中，至少一个红外光生成装置，红外光生成装置位于观影镜片与用户眼睛之间(图示未画出)，生成700纳米以上的红外光投射至红外反射镜片51上。

另一种优选方案，至少一个红外光生成装置，红外光生成装置与微型红外摄像头52成为一个整体设置。

另一种优选方案，至少一个红外光生成装置，红外光生成装置还可以与所述微型红外摄像头分体设置，位于观影镜片与显示屏之间；所述红外光生成装置位于观影镜片与用户眼睛之间，沿观影镜片边缘的周边位置固定(图示未画出)，生成700纳米以上的红外光投射至红外反射镜片51上。

本发明通过以下步骤实现视线追踪：

步骤一：测量设备离线标定；

步骤二：图像数据预处理；

步骤三：测量设备在线标定；

步骤四：实时视线测量。

s1测量设备离线标定将视觉聚焦点追踪装置中的微型红外摄像头、成像显示装置中的平面显示屏、红外光生成装置以及红外反射镜片，全部统一到双目相机的测量坐标系。

(1)相机的标定

在针孔模型下，从三维世界坐标到二维的计算机图像坐标之间的转换通过三步实现：世界坐标系到摄像机坐标，摄像机坐标到像平面坐标，像平面坐标到计算机图像坐标。世界坐标系下的一点m(xw，yw，zw)到图像平面上的像点m(u，v)之间的数学转换关系可以表示为：

其中，矩阵分别为像平面坐标系与计算机图像坐标之间的转换矩阵、摄像机坐标系与像平面坐标系之间的转换矩阵、世界坐标系和摄像机坐标系之间的转换矩阵。在世界坐标系和摄像机坐标系之间的转换过程中，若是刚体变换，则仅仅考虑旋转变换r和平移变换t，其中，r为3x3正交单位矩阵，t为三维平移向量。dx，dy为x轴与y轴方向上单位像素的物理尺寸，f为摄像机的焦距。

公式(1)中p为3x4矩阵，称为投影矩阵，其中p1完全由ax，ay，u0，，v0决定。由于ax，ay，u0，，v0只与摄像机内部结构有关，因此称为摄像机内部参数；p2完全由摄像机相对于世界坐标系的外部方位决定，称为摄像机外部参数。

立体系统的标定与单摄像机标定的差别在于通过标定还需测量双摄像机的相对位置关系。在计算双摄像机相对位置的过程中，我们是在假设单摄像机已经完成标定的基础上，由两个单摄像机的内、外参数来求摄像机之间的位置关系。

在求解过程中，我们约定左右像平面上像点的齐次坐标分别用表示，空间点m的其次坐标用表示，左右相机的投影方程可以写为：

其中pl1、pr1分别表示左右投影矩阵pl、pr中左边的3x3部分，pl、pr分别表示投影矩阵中右边的3x1部分。经运算变换可以得到如下关系：

由(3)可以得出：只要分别知道左右相机的投影矩阵，则双摄像机的相对位置和极线方程君可以由两个投影矩阵求出。

本实施方案中，双目相1机固定在壳体上，双目相机2固定在一个可移动的笔直的刚性物上，借助标定板和经典的方法完成相机的内、外参标定和双目相机1和2的位置关系的标定。

(2)成像显示装置标定

成像显示装置的标定采用汇聚式立体视觉模型，在这种视觉模型下，计算目标点m的三维坐标，可以通过投影变换矩阵，利用最小二乘法求解。假设两

个摄像机的投影矩阵分别为pl、pr，并且已知，于是有：

联立方程(4)、(5)消去zcl、zcr之后，得到xw、yw、zw的四个线性方程：

因此，可以将上面方程联立求出空间点m的坐标(xw，yw，zw)。但在实际应用中，由于数据总是有噪声的，通常利用最小二乘法求出空间点m的三维坐标(xw，yw，zw)。

成像显示装置标定的具体实施利用上面的方法，在平面显示屏上放置标定板或贴放标志物，使用红外光源照射标定板，通过双目相机1标定平面显示屏的位置。

(3)红外反射镜片标定

优选的，同(2)原理，在红外反射镜片上贴合放置标定板，使用标定好的双目相机1标定红外反射镜片。

优选的，同(2)原理，在红外反射镜片上贴合标志物使用标定好的双目相机1标定红外反射镜片。

(4)红外发生装置标定

同(2)原理，红外发生装置采用红外灯珠组成的阵列，位于观影镜片和用户眼镜之间，灯珠的位置标定需要借助额外标定好的双目相机2。红外灯珠位置通过在红外反射镜片上放置标定板且使该标定板延伸至双目相机2能同时看到红外灯珠和该标定板的位置，通过双目相机1、双目相机2同时拍摄标定板得到红外灯珠的位置。

将立体相机对(已标定过，称作相机对1)放置于红外灯珠的前方确保红外灯珠可见，同时立体相机对处于同眼镜固连的红外相机对(相机对2)的后方，此时可以测得红外灯珠在相机对1中的位置；然后将平面标定件放置于相机对1前方，此时可以测得平面标定坐标系分别到相机对1和相机对2坐标系的旋转和平移，通过坐标转换便可获得红外标志在红外相机对坐标系的位置。

s2图像预处理分为瞳孔椭圆轮廓提取和红外标志物提取。红外标志物的提取：先对原图进行显著度检测，然后在显著度检测结果图上进行光团检测，获得亮点的亚像素位置。瞳孔椭圆轮廓的提取分为粗略提取和精确提取过程。粗略提取采用自适应阈值分割的方法，得到椭圆轮廓，再通过拟合椭圆的方法剔除无用区域确定椭圆中心；精确提取采用粗略提取得到的中心进行区域生长算法，并考虑到上面红外标志物对椭圆轮廓和中心点计算的影响，重新精确计算椭圆的轮廓和中心点。对于闭眼情况，可以使用卡尔曼滤波器实现瞳孔位置的连续平滑估计。

s3测量设备的在线标定，需要用户在佩戴眼镜的情况下，凝视屏幕，完成用户的标定。此时用户需要凝视屏幕中至少一点，屏幕中点的位置为屏幕的中心或者其他位置。通过对双目相机1中拍摄的图片进行s2的图像预处理得到瞳孔中心和至少两个红外标志点位置，通过这两个红外标志点得到角膜的球心，通过角膜球心和瞳孔的中心确定视线方向和眼睛光轴方向。

s4实时视线测量，红外相机采集的图像是经过红外反射镜片反射的像，因此测量过程中要将平面镜射反射关系引入。

优选的，每秒拍摄的图片数量至少30张，减少追踪延时。

优选的，根据实时拍摄的照片进行s2的预处理得到瞳孔中心和至少两个红外标志点位置，通过这两个红外标志点得到角膜的球心，通过角膜球心和瞳孔的中心确定视线方向和眼睛光轴方向，再与在线标定时得到的视线和眼球光轴方向进行运算，进而得到当前所注视的屏幕的位置。

其工作原理是：通过红外摄像机高速拍摄人眼睛部位的图片，拍摄的同时将图片进行传输，识别出图片中瞳孔和红外标志点的位置，通过至少两个红外标志点得到角膜的球心，进而得到视线方向和眼球光轴的方向，将用户使用过程中和在线标定时的视线方向和眼球光轴的方向进行运算，实时对应到屏幕上的注视区域，实现视觉追踪。而由于高速拍摄会生成大类图片(每秒钟可达120张)，因此在运算时会生成大量无效数据。本发明通过在视觉追踪之前对拍摄图片进行阈值分割，删除瞳孔注视区域之外的无效背景图像，保留有效区域，以及根据前一帧结果，在其一定的范围内进行运算代替全部区域，极大地减少了计算机处理的数据量，提高反应速度。

本发明可以实现的技术效果是：能够减少用户在线标定的时间和复杂度，提高视觉聚焦点追踪的精度，提升用户在泛头戴式设备交互体验中的体验效果。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书所限定的保护范围为准。