视线定位装置的制造方法
【技术领域】
[0001]本发明涉及视线追踪技术领域，特别涉及一种视线定位装置。
【背景技术】
[0002]人类通过眼睛获取大量信息，同时使用眼睛来表达情绪与想法。人们可以通过追踪视线焦点的方式，获取眼睛传递出的丰富信息，进而进行有效的人机交互以及传播学、心理学等领域的研究。
[0003]视线追踪是利用各种检测手段，获取“注视点”的过程，并保证能在一段时间对其进行连续追踪的技术。该技术广泛应用于人机交互、虚拟现实等领域。如今视线追踪已有不少类似设备，例如，基于人眼图像和视线追踪的操作指针指示控制设备，其能够佩戴于人体头部上且能够通过眼部动作对操作指针加以操作控制而实现人机交互，其在交互控制过程中，达到操作指针的指示位置与人眼视线所观察到的现实场景相叠加的人机交互效果。
[0004]具体的该设备采用红外测距传感器对人眼所在位置进行测距，还通过其红外发射器实时地向人体眼睛所在位置发射出红外光，以此作为辅助的红外光源，并借助红外光在人眼角膜上反射而形成角膜反射光斑，相应地采用微型红外摄像头有效的拍摄人体眼睛所在位置的原始红外图像，用以进行人眼识别和视线追踪，避免了可见光环境阴暗等情况引起的干扰，并且角膜反射光斑可用于在后续的视线追踪识别过程中对角膜反射光斑中心所在位置加以定位，进而结合瞳孔中心所在位置，辅助实现对人眼的视线方向加以捕捉。通过分割人眼区域图像的方式，不管原始红外图像中人眼位置是否因为头部运动而发生位移变化，分割出的人眼区域图像的图像区域范围是相对固定的。
[0005]视线追踪技术可分为2D视线追踪和3D视线追踪，上述基于人眼图像和视线追踪的操作指针指示控制设备属于2D视线追踪，利用瞳孔中心与角膜反射亮斑组成的向量表征视线方向。此类方法的缺点是利用的图像信息少，准确性和稳定性比较低。3D追踪技术是通过双摄像头或多摄像头获得3D空间中各个参考点的坐标进行视线追踪。相比2D追踪技术准确率和稳定性都有提升，其主要问题在于可用的3D特征比较少，只能通过若干特征点获取眼球的大致的3D运动信息，而无法实现高精度的视线定位。
【发明内容】
[0006]本发明实施例提供了一种视线定位装置，以实现高精度的视线定位。该装置包括:至少四个摄像头，所述至少四个摄像头中至少两个摄像头用于分别在不同角度实时拍摄覆盖人体左眼整个眼球区域的眼球运动图像，所述至少四个摄像头中至少两个摄像头用于分别在不同角度实时拍摄覆盖人体右眼整个眼球区域的眼球运动图像；控制设备，用于控制所述至少四个摄像头在时间上同步进行拍摄；图像处理设备，用于分别对每个摄像头拍摄的眼球运动图像进行处理，在每个所述眼球运动图像中确定瞳孔位置和虹膜边缘；虹膜三维重建设备，用于根据拍摄左眼的至少两个摄像头的位置以及该至少两个摄像头拍摄的眼球运动图像中左眼的瞳孔位置和虹膜边缘，重建得到三维的左眼虹膜边缘，在三维空间中确定左眼虹膜的中心点和视线方向，根据拍摄右眼的至少两个摄像头的位置以及该至少两个摄像头拍摄的眼球运动图像中右眼的瞳孔位置和虹膜边缘，重建得到三维的右眼虹膜边缘，在三维空间中确定右眼虹膜的中心点和视线方向；视线定位设备，用于将左眼虹膜的中心点和视线方向与右眼虹膜的中心点和视线方向转换到同一世界坐标上，将左眼虹膜的视线方向与右眼虹膜的视线方向的焦点确定为视线焦点。
[0007]在一个实施例中，还包括:眼镜框架，用于佩戴在人体头部上，所述至少四个摄像头安装在所述眼镜框架上，所述控制设备、所述图像处理设备、所述虹膜三维重建设备以及所述视线定位设备嵌在所述眼镜框架中。
[0008]在一个实施例中，所述图像处理设备，包括:计算模块，用于在每个所述眼球运动图像中，对行和列分别进行亮度值累计计算，分别得到行和列的累计计算分布曲线；
[0009]瞳孔位置确定模块，用于将行的累计计算分布曲线的最低点确定为瞳孔中心点的横坐标，将列的累计计算分布曲线的最低点确定为瞳孔中心点的纵坐标。
[0010]在一个实施例中，还包括:二值化处理模块，用于在每个所述眼球运动图像中，对预设范围的待检测区域进行二值化处理，所述待检测区域以瞳孔位置为中心；滤波模块，用于对二值化处理后的待检测区域进行中值滤波；标记模块，用于对滤波后的待检测区域进行二值区域标记；虹膜边缘确定模块，用于将二值区域标记后的待检测区域中最大区域确定为虹膜区域，提取虹膜区域的边缘点。
[0011]在一个实施例中，所述图像处理设备，还包括:拟合模块，用于对提取的虹膜区域的边缘点进行椭圆拟合，得到椭圆形的虹膜边缘。
[0012]在一个实施例中，所述视线定位设备具体用于:根据拍摄左眼的至少两个摄像头的外部标定参数和拍摄右眼的至少两个摄像头的外部标定参数，将左眼虹膜的中心点和视线方向与右眼虹膜的中心点和视线方向转换到同一世界坐标上。
[0013]在一个实施例中，还包括:两个光源，一个光源用于提供红外光照射人体左眼，另一个光源用于提供红外光照射人体右眼。
[0014]在一个实施例中，所述两个光源提供波长为850纳米或940纳米的红外光；
[0015]所述视线定位装置，还包括:滤光片，安装在所述至少四个摄像头上，所述滤光片透过光的波长与所述两个光源提供的红外光的波长对应。
[0016]在一个实施例中，还包括:无线通讯模块，用于将视线焦点的空间位置信息实时无线传输给待操作设备。
[0017]在一个实施例中，还包括:电源，用于为视线定位装置提供电能。
[0018]在本发明实施例中，通过多个摄像头分别从不同角度实时获取人体左眼和右眼的眼球运动图像，在每个眼球运动图像中确定瞳孔位置和虹膜边缘，使得可以重建三维的左眼虹膜边缘和三维的右眼虹膜边缘，并在三维空间中分别确定出左眼虹膜的中心点和视线方向以及右眼虹膜的中心点和视线方向，以最终确定出视线焦点，实现视线定位。由于是基于三维的左眼虹膜边缘和三维的右眼虹膜边缘分别确定出左右眼虹膜的中心点和视线方向，使得可以实现高精度的视线定位。
【附图说明】
[0019]此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中:
[0020]图1是本发明实施例提供的一种视线定位装置的结构图；
[0021]图2是本发明实施例提供的一种视线定位装置的应用示意图；
[0022]图3是本发明实施例提供的一种确定瞳孔中心点的方法示意图；
[0023]图4是本发明实施例提供的一种确定虹膜边缘的方法流程图；
[0024]图5是本发明实施例提供的一种虹膜边缘点拟合的示意图；
[0025]图6是本发明实施例提供的一种确定视线焦点的示意图。
【具体实施方式】
[0026]为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
[0027]在本发明实施例中，提供了一种视线定位装置，如图1所示(以四个摄像头为例，两个摄像头LI和L2)拍摄左眼的眼球运动图像，两个摄像头Rl和R2拍摄右眼的眼球运动图像，4是信号处理模块，例如，该信号处理