一种基于单摄像头的双眼追踪系统的制作方法

本发明涉及基于棱镜的单目立体视觉技术领域，尤其涉及一种基于单摄像头的双眼追踪系统。

背景技术

传统的双眼追踪如果想实现双眼同时追踪，现有头戴显示器内集成至少2台眼追踪相机，分别捕获左右眼图像，标定也需要分别进行。同时也会造成视野狭窄，也不便对所获取图像的处理。

基于棱镜的单目立体视觉测量技术是计算机视觉领域的新兴技术，这是将一个双视角棱镜放置于摄像机前，利用棱镜的“折射分光”效果来实现双相机立体视觉系统的功能，使得相机的成像平面可以捕获同一物体不同角度的两个像。

近来学者提出将棱镜作为一个多面系统分析，然后把所有的面组合起来，得到一个变换矩阵，这个矩阵可以表示出物体点和物体要通过棱镜折射点后的像之间的关系，同时这个矩阵还可以用极限几何和三维重建分析，之后又提出基于单目立体视觉系统的多目棱镜的位置估计方法。

技术实现要素：

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于单摄像头的双眼追踪系统，利用棱镜的折射效果，扩大单相机的视野范围，使其同时捕获到左右眼图像，还可以通过棱镜参数配合瞳孔特征提取算法直接求出双眼的瞳距，在一台相机的情况下也简化了眼球追踪坐标系。

为解决上述技术问题，本发明所采取的技术方案是：一种基于单摄像头的双眼追踪系统，包括集成框架、光波导显示器、光波导处理器、眼球追踪装置、双目摄像装置、计算机处理装置；

所述集成框架用于安装光波导显示器、光波导处理器、眼球追踪装置、双目摄像装置、计算机处理装置，能半包围地套在使用者头部；所述光波导显示器包括两个，分别面向使用者两眼方向，并通过活动螺丝固定在集成框架内侧的正下部，光波导处理器放在光波导显示器斜上方30度的集成框架的挡板位置上；眼球追踪装置包括红外相机和固定在红外相机表面的棱镜，眼球追踪装置固定在两个光波导显示器的正中间的上方，棱镜表面与额头表面垂直方向成30～45度，棱镜的表面面向双目，棱镜的最佳型号通过调整相机拍摄位置以及追踪人眼距离进行选取；所述计算机处理装置位于眼球追踪装置的正上方，光波导处理器与计算机处理装置通过排线直接连接，所述双目摄像装置位于计算机处理装置的正前端，并连接在光波导处理器上，再由光波导处理器的侧面延伸出连接线连接到电脑端。

采用上述技术方案所产生的有益效果在于：本发明提供的一种基于单摄像头的双眼追踪系统，利用棱镜的折射效果，扩大单相机的视野范围，使其同时捕获到左右眼图像，还可以通过棱镜参数配合瞳孔特征提取算法直接求出双眼的瞳距，在一台相机的情况下也简化了眼球追踪坐标系；本发明的系统可直接应用到ar识别上，使用者可通过其捕捉到眼球的转动，传给处理器，再结合算法能快速让pc端识别所选目标。

附图说明

图1为单目立体视觉系统模拟实验效果图；

图2为本发明实施例中所需拍摄使用者的光路示意图；

图3是本发明实施例提供的基于单摄像头的双眼追踪系统所采用的实物框架结构图。

图中：1、系统所获取的双目效果图；2、成像平面；3、相机焦点；4、棱镜；5、被成像平面；6、框架封盖；7、整体框架；8、摄像头；9、摄像头表面的棱镜；10、光波导显示器；11、显示器防护罩。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

基于单摄像头的双眼追踪系统，如图3所示，包括集成框架、光波导显示器、光波导处理器、眼球追踪装置、双目摄像装置、计算机处理装置。本系统中集成框架用于安装光波导显示器、光波导处理器、眼球追踪装置、双目摄像装置、计算机处理装置，能半包围地套在使用者头部。光波导显示器包括两个，位于集成框架内侧的正下部，正对着使用者的双目；眼球追踪装置位于两个光波导显示器的正中间的上方，包括红外相机和固定在红外相机表面的棱镜，其棱镜的表面面向双目，且与双眼表面约成45度角。计算机处理装置位于眼球追踪装置的正上方，光波导处理器与计算机处理装置通过排线直接连接，双目摄像装置位于计算机处理装置的正前端，并连接在光波导处理器上，再由光波导处理器的侧面延伸出连接线连接到电脑端。本系统应用的原理如图1所示，所采取的六个关键点中，图f是本系统中使用的原理图。

其中图a将棱镜4部分换成平面镜，直接由相机进行拍摄成像，而由照相机的原理可知，镜头相当于一个凸透镜，来自物体的光经过照相机的镜头后会聚在胶片上，成倒立、缩小的实像。由图a可知将在成像平面上是倒立，缩小并且是左右颠倒的实像。

在图1中的图b是加一个棱镜的效果图，此时可以看到这时棱镜将形成公共区域3，即在成像平面左右都会有重叠的部分。

在图1中的图c将对于该棱镜成像作出进一步阐述，公共视野(fieldofview，fov)是指相机可以捕获图像的区域。立体视觉中的fov表示两台或者多台相机成像的交汇范围，即公共视野。

本实施例的系统最关注的的公共区域是主要分析的理论依据，在棱镜参数β确定的前提下将对参数物镜距离s对公共区域的算法研究。

在图1中图b(相关参数标注参考扩展图2)是在φ′2＜α′2＜θ时，由折射定律和三角几何原理可得到拍摄公共区域大小rs，参数表达式可得到为：

由其公式可得出，公共区域的大小是距离s的一次单调递增函数，即随着物体到物镜的距离s增大，拍摄的公共区域越大。拍摄总区域pt的表达式为：

在为了建立二者的联系，将其他的参数作为一定值，则求拍摄的公共区域占单侧区域比例关系式化简为：则对公式中的s求导数后可得出结论：

1.当时，随s增大，公共区域占单侧区域比例减小；

2.当时，随s增大，公共区域占单侧区域比例增大。

同理可得到拍摄公共区域占总区域的比例关系：

1.当时，随s增大，公共区域占总区域比例减小；

2.当时，随s增大，公共区域占总区域比例增大。

图1中图c是当时，此时由于光线通过棱镜折射后，光线角度发生改变，使得光线与棱镜间的夹角也相应的变化，同侧的光线经过折射后内侧折射角与外侧折射角相等。由相同的推论可知：随着拍摄区域到棱镜的距离s逐渐增大时，拍摄公共区域逐渐增大，公共区域占单侧区域和总区域的比例值逐渐增大。

图1中d图是当时，此时两次折射的两条光线相交，外侧两条光线向内汇聚，同时内侧两条光线向外发散。而其中e图是当α′2＝0°时，外侧两条光线分别垂直射出棱镜。

本发明涉及到图1中图f的情况，所以将在图2中进一步扩展阐述。图f中是当时，此时，光线经过折射后，外侧两条光线向内弯折角度很大，同时内侧光向外弯折，内外光线会有两个交点，弯折交点处的图像公共区域和总图像区域相同。此距离为最佳成像效果。当棱镜角度逐渐增加后，折射的弯折角度越大，最后导致没有公共区域的情况发生。传统的思路中认为没有公共区域的情况是没有利用价值的，用不着分析，但是本发明就是利用这种情况所产生的。当物体距棱镜的距离s大于fg时，由推论可知随着拍摄物体区域与棱镜距离s增大，公共区域的大小范围逐渐减小，公共区域占总区域的比例值都减小。

针对图2由实验得出f图效果可知，可以直接对双目进行追踪。据资料考察人类的鼻梁宽度在20mm左右，即pt的长度。由算法可知初始其表达式为：

可知在棱镜参数θ以及摄像头与棱镜间距离d确定的前提下可反向估算出棱镜到人眼之间距离s。同理在pt确定的情况下，根据人眼的横向长度28mm左右可知：

rs＝2(htanφ2+stanφ′2)；

从而得出所需棱镜的垂直高度h，从而选出所需的最佳棱镜型号。

本发明通过调整相机拍摄位置以及追踪人眼距离，选取最佳棱镜型号，通过旋转眼球位置追踪拍摄。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。