一种近眼式视线跟踪方法及其系统的制作方法

文档序号:9417797阅读:523来源:国知局
一种近眼式视线跟踪方法及其系统的制作方法
【技术领域】
[0001] 本发明涉及一种近眼式视线跟踪方法及其系统,属于视频、多媒体信号处理技术 领域。
【背景技术】
[0002] 随着计算机科学技术的飞速发展,人机交互活动逐渐成为人们日常生活的重要组 成部分。而视线跟踪和识别技术作为人机交互技术的重要分支,在智能化人机交互中发挥 着巨大作用。被广泛应用于军备开发、无人驾驶、残疾人辅助、虚拟现实等领域。
[0003] 以视频图像为基础的视线跟踪系统,依据摄像机拍摄眼睛的距离,又可以分为远 距式视线跟踪系统与近距式视线跟踪系统。远距式视线跟踪系统是将摄像机放在屏幕前方 固定的位置,而近距式视线跟踪系统需要将摄像机放在离眼睛很近的距离,也就是装戴在 头部。前者由于距离较远,拍摄的图像较不精确,并且轻微的头部移动就会使屏幕对应的位 置坐标产生较大的偏差;而后者近距离直接拍摄眼睛所以获取的图像较精确,并且头部运 动对视线跟踪的影响较小。
[0004] 视线跟踪的方法有很多种,其中基于瞳孔-角膜反射向量的方法由于其精度较 高,用户舒适度高而备受青睐。然而现有的方法要想在头部自由运动的情况下实现较为精 确的视线估计至少需要两个光源,现有的两光源视线跟踪方法计算比较复杂,对头动的范 围也有很大限制。因此找到一种简单实用的视线跟踪方法及系统具有重要的理论研究意义 和重大的实际应用价值。

【发明内容】

[0005] 发明目的:针对现有视线跟踪方法计算复杂、对头部运动范围限制性大的问题,本 发明提供一种计算复杂度低、头部可以自由运动、实用性强的近眼式视线跟踪方法和系统。
[0006] 技术方案:为了解决上述问题,本发明提供一种近眼式的视线跟踪方法,该方法需 要固定在头盔上的两个普通摄像头和一个红外光源,一个处理器及固定连接装置,包括如 下步骤:
[0007] 1)注视点标定:根据捕获的眼部图像和对应的场景图,确定眼图数据和标定点在 场景图中的坐标,进而计算眼部图像和场景图的映射关系;
[0008] 2)注视点估计:根据实时获取的眼部图像参数和标定过程得到的映射方程,估计 场景图中注视点的位置。
[0009] 所述步骤1通过选择场景中的某一固定标定点,移动头部使固定标定点出现在场 景图的整个区域,或者选择场景中的某一移动标定点,移动标定点使移动标定点出现在场 景图的整个区域,来获取一系列眼图数据和对应标定点在场景图中的坐标。
[0010] 所述步骤1通过图像处理确定角膜反射亮斑中心及瞳孔中心在眼部图像坐标系 中的坐标,得到眼图数据,具体实现步骤为:
[0011] 1)图像二值化处理:把拍摄到的眼部红外图像转化为灰度图,采用固定阈值对灰 度图进行分割,得到二值化图像;
[0012] 2)选择瞳孔区域:根据瞳孔区域在眼部图像中所占平均比例和瞳孔区域的形状 选择瞳孔区域,选择的瞳孔区域需要满足两个条件:
[0013] 条件1 :瞳孔区域的像素点个数即面积满足一定范围,即满足
[0014] Q% XimageHeigh t X imageffidth > Area > P% XimageHeigh tXimageffidth (2)
[0015] 其中,Q%表示瞳孔区域在眼部图像中所占平均比例的上限,P%表示瞳孔区域在 眼部图像中所占平均比例的下限,imageHeight和imageWidth分别表示眼部图像的高和 宽,Area表示瞳孔区域的面积;
[0016] 条件2 :瞳孔区域的长短轴之比接近1,即满足
[0017] (3)[0018] 其中,MajorAxistLength和MinorAxistLength分别表示瞳孔区域的长轴长度和 短轴长度,其具体计算方法为:
[0019]
[0020]
[0021]
[0022]
[0023]
[0024]
[0025]
[0026] (4)
[0027] 其中,Area为瞳孔区域像素点的总个数,X为区域内各像素点的横坐标,y为区域 内各像素点的纵坐标,1/12为单位长度像素的标准二阶中心距;
[0028] 3)提取瞳孔边缘轮廓:采用Sobel边缘检测算法提取瞳孔轮廓;
[0029] 4)消除杂点,选择特征点:选择的瞳孔特征点需要满足两个条件:
[0030] 条件1 :特征点应为边缘点,即
[0031] (6)
[0032] 其中,isEdge (X,y)表示瞳孔的特征点,edge (X,y)表示瞳孔的边缘值, smallestEdge为设定的阈值;
[0033] 条件2 :在以瞳孔特征点为中心的kXk的正方形内,暗点数目要大于该正方形面 积的/8,且不能出现亮点,所述kXk的正方形内暗点和亮点数目的具体计算公式分别 为:
[0034]
[0035] m'
[0036] 其中,Nd(x, y)和Nb(x, y)分别表示正方形内暗点和亮点的数目,isDark(x, y)和 isBright (X,y)分别表示灰度值小于阈值Tl的暗点和灰度值大于阈值T2的亮点,分别表示 为:
[0037]
[0038] (8)
[0039] 5)椭圆拟合:将找到的瞳孔特征点坐标代入椭圆公式,通过奇异值分解求齐次 解,得到瞳孔的椭圆拟合方程式,进而得到瞳孔中心点坐标;
[0040] 6)提取角膜反射亮斑中心:对以瞳孔中心点为中心的正方形区域进行固定阈值 的图像二值化处理,以亮场的几何中心作为角膜反射亮斑的中心计算得到眼图数据,即瞳 孔中心-角膜反射亮斑向量。
[0041] 所述图像处理过程中,以瞳孔特征点为中心的正方形的边长的取值范围为 3彡k彡2r,其中k为正方形的边长,r为瞳孔的半径,单位均为像素。
[0042] 所述图像处理过程中,确定暗点的阈值Tl为图像二值化处理选取的固定阈值,确 定亮点的阈值T2为眼部灰度图像灰阶最大值的3/4。
[0043] 所述步骤1采用鼠标响应的方式获取标定点在实时动态场景图中的坐标。
[0044] 所述步骤1采用2D线性回归的方法计算眼图数据与场景图中注视点坐标之间的 映射关系。
[0045] 本发明还提出一种近眼式视线跟踪系统,包括一个用于获取眼部图像的眼部摄像 机、一个用于获取场景图的场景摄像机、一个用于产生红外辐射的红外光源、一个处理器及 实现处理器同眼部摄像机和场景摄像机的连接的固定连接装置;所述眼部摄像机的镜头上 加载有红外滤光片,所述场景摄像机、眼部摄像机、红外光源固定在测试者的头盔上,所述 处理器包括图像处理模块、注视点标定模块和注视点估计模块;其中图像处理模块用于确 定图像中角膜反射亮斑中心及瞳孔中心在眼部图像坐标系中的坐标;注视点标定模块用于 确定瞳孔中心-角膜反射亮斑向量和标定点在场景图中的坐标,计算眼部图像和场景图的 映射关系;注视点估计模块用于根据实时获取的眼部图像参数和标定过程得到的映射方 程,估计场景图中注视点的位置。
[0046] 有益效果:1、与传统瞳孔提取算法相比,该方法采用非迭代方法,无需提前移除角 膜反射亮斑,不对图像作任何前期处理工作。
[0047] 2、该方法在选择特征点,消除杂点的过程中有效剔除了反射亮斑对瞳孔边缘特征 点的干扰,保证了瞳孔中心定位的精度。
[0048] 3、该方法在瞳孔区域选择的方法中,有效的剔除了眨眼图像对视线跟踪精度的影 响。
[0049] 4、该方法在角膜反射亮斑的提取方法中,只对以瞳孔中心为中心的小正方形区域 进行操作,减少了运算量,提高了计算效率。
[0050] 5、现有的标定过程多采用固定的标定点,标定过程严格限制头部的运动,以牺牲 舒适度换取标定的准确度,或采用瞳孔模型以光轴与视轴差来修正视线估计误差等,以牺 牲算法的效率换取标定过程的舒适度,而该方法标定过程对受试者的头部运动没有限制, 在确保标定过程舒适度的同时保证了算法的精确度和运算效率。
[0051] 6、该方法对硬件要求较低,只需要一个红外光源,两个普通摄像头,一个处
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1