人眼注视计算方法及人眼注视计算系统与流程

本发明涉及人眼注视技术领域，尤其涉及一种人眼注视计算方法及人眼注视计算系统。

背景技术：

眼球追踪技术(eye-trackingtechnology)便是获取视觉感知的重要技术，其通过检测人眼瞳孔特征以及将此特征映射至人眼的注视物体上，来得到人眼的注视区域，从而获取人类的视觉注视信息，在当前的vr、ar产品交互功能中有着至关重要的现实意义。

在vr头盔中获取人眼的注视位置，将此位置与vr场景内容相联系，便可实现人眼与vr场景的互动。实现互动的关键在于人眼瞳孔位置的准确获取及其在注视屏幕(即vr显示屏)上的映射；在得到人眼瞳孔位置后，须将其在拍摄眼球的相机内的坐标与注视屏幕上的坐标联系起来，从而建立二者间的对应关系，如此，当人眼视线发生改变引起瞳孔位置的变化时，注视屏幕上的坐标也会发生相应的改变，从而得以精确反映人眼注视的变化状态。

但是，参考附图5，圆圈代表标定点，其他点状为人眼视线落点，可以看出有相当数量的视线落在圆圈外，传统的人眼瞳孔位置的获取是以瞳孔中心为参考点进行坐标信息的获取与映射，覆盖面积小，同时映射模型中最高包含二次型参数，精度不高，而且头部运动以及系统噪声等原因都会对结果产生影响，导致瞳孔定位与实际映射的对应关系不匹配，实际中的映射关系往往无法准确地反映人眼注视位置的变化。

技术实现要素：

有鉴于此，本发明实施例提供一种人眼注视计算方法及人眼注视计算系统，主要目的是解决现有vr、ar产品中对于人眼实际视线落点定位不准确的问题。

为达到上述目的，本发明主要提供如下技术方案：

一方面，本发明实施例提供了一种人眼注视计算方法，其包括如下步骤：

获取人眼瞳孔轮廓的基本信息，所述基本信息为表征人眼瞳孔轮廓的椭圆参数；

归一化人眼瞳孔轮廓的基本信息；

通过所述归一化的人眼瞳孔轮廓的基本信息对预置映射模型进行求解，得到与人眼瞳孔最终视线落点对应的映射模型；

通过所述映射模型计算人眼瞳孔实际的视线落点位置。

本发明的目的及解决其技术问题还可采用以下技术措施进一步实现；

可选的，前述的一种人眼注视计算方法，所述获取人眼瞳孔轮廓的基本信息，所述基本信息为表征人眼瞳孔轮廓的椭圆参数的方法中，包括：

获取人眼区域图像：

通过所述人眼区域图像获取人眼瞳孔轮廓的基本信息。

可选的，前述的一种人眼注视计算方法，所述通过所述人眼区域图像获取人眼瞳孔轮廓的基本信息的方法中，具体为

利用瞳孔区域的灰度分布信息从直方图中获取灰度基准值，对瞳孔区域进行二值化，二值化后的最大连通区域的轮廓即为最终的瞳孔轮廓。

可选的，前述的一种人眼注视计算方法，其中所述灰度基准值为介于灰度值两端阈值之间的数值。

可选的，前述的一种人眼注视计算方法，所述通过所述人眼区域图像获取人眼瞳孔轮廓的基本信息的方法中，具体为

采用边缘检测方法得到整个瞳孔区域的边缘信息，随后采用形态学操作滤除掉干扰边缘，对该边缘进行椭圆拟合，得到最终的瞳孔轮廓。

可选的，前述的一种人眼注视计算方法，所述归一化人眼瞳孔轮廓的基本信息的方法中，具体为

将所述椭圆参数转化为向量信息，采用归一化方法得到归一化向量；其中

椭圆的中心为o、长轴设为向量oa、短轴设为向量ob，长短轴差值为向量ba，归一化向量ba得到x和y。

可选的，前述的一种人眼注视计算方法，通过所述归一化的人眼瞳孔轮廓的基本信息对预置映射模型进行求解，得到与人眼瞳孔最终视线落点对应的映射模型的方法中，包括

预置映射模型

其中，p0rx和p0ry分别为人眼的视线落点的横纵坐标值，即最终的人眼注视位置，vnx和vny分别x值和y值，cx0、cx1、cx2、cx3、cy0、cy1、cy2、cy3为映射模型的系数；

标定多组视线落点位置数据并记录对应的人眼瞳孔的坐标信息和归一化信息，带入公式(1)(2)建立方程组，求解映射模型系数。

可选的，前述的一种人眼注视计算方法，所述通过所述映射模型计算人眼瞳孔实际的视线落点位置的方法中，具体为

获取人眼瞳孔轮廓的基本信息，所述基本信息为表征人眼瞳孔轮廓的椭圆参数；

归一化人眼瞳孔轮廓的基本信息；

输入所述归一化人眼瞳孔轮廓的基本信息至所述映射模型计算人眼瞳孔实际的视线落点位置。

另一方面，本发明实施例提供一种人眼注视计算系统，其特征在于，其包括：

检测模块，所述检测模块用于获取人眼瞳孔轮廓的基本信息；

第一计算模块，所述第一计算模块用于对所述人眼瞳孔轮廓的基本信息进行归一化计算；

求解模块，所述求解模块用于对预置映射模型进行求解；

第二计算模块，所述第二计算模块用于对人眼瞳孔实际的视线落点位置进行计算。

借由上述技术方案，本发明人眼注视计算方法及人眼注视计算系统至少具有下列优点：以人眼瞳孔轮廓为参照进行坐标信息归一化特征处理，增大覆盖面积且精确表征人眼瞳孔变化，同时归一化特征可以确保头部运动导致根据原有标定谁得到的映射模型发生改变时，仍让能够得到准确的人眼注视位置，从而提高整个系统对于现实干扰因素的鲁棒性；再则，本发明中预置映射模型中包含三次项参数，大大提高了映射模型的结构的精确度。

附图说明

图1为本发明实施例提供的一种人眼注视计算方法的流程示意图；

图2为本发明实施例提供的一种人眼注视计算方法的另一种流程示意图；

图3为本发明实施例提供的一种人眼注视计算方法中归一化计算的示意图；

图4为本发明实施例提供的一种人眼注视计算系统的结构示意图；

图5为传统人眼注视计算的结果示意图；

图6为本发明实施例提供的一种人眼注视计算方法的结果示意图。

具体实施方式

为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的一种人眼注视计算方法及人眼注视计算系统其具体实施方式、结构、特征及其功效，详细说明如后。在下述说明中，不同的“一实施例”或“实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

本发明实施例的技术方案为解决上述技术问题，总体思路如下：

实施例1

参考附图1，本发明实施例提供的人眼注视计算方法，其包括如下步骤：

101、获取人眼瞳孔轮廓的基本信息，所述基本信息为表征人眼瞳孔轮廓的椭圆参数。

其中包括：

获取人眼区域图像：

通过所述人眼区域图像获取人眼瞳孔轮廓的基本信息。

102、归一化人眼瞳孔轮廓的基本信息。

具体为，参考附图3，将所述椭圆参数转化为向量信息，采用归一化方法得到归一化向量；其中

椭圆的中心为o、长轴设为向量oa、短轴设为向量ob，长短轴差值为向量ba，归一化向量ba得到x和y。

103、通过所述归一化的人眼瞳孔轮廓的基本信息对预置映射模型进行求解，得到与人眼瞳孔最终视线落点对应的映射模型。

具体为，预置映射模型

其中，p0rx和p0ry分别为人眼的视线落点的横纵坐标值，即最终的人眼注视位置，vnx和vny分别x值和y值，cx0、cx1、cx2、cx3、cy0、cy1、cy2、cy3为映射模型的系数；

标定多组视线落点位置数据并记录对应的人眼瞳孔的坐标信息和归一化信息，带入公式(1)(2)建立方程组，求解映射模型系数。

104、通过所述映射模型计算人眼瞳孔实际的视线落点位置。

具体为，获取人眼瞳孔轮廓的基本信息，所述基本信息为表征人眼瞳孔轮廓的椭圆参数；

归一化人眼瞳孔轮廓的基本信息；

输入所述归一化人眼瞳孔轮廓的基本信息至所述映射模型计算人眼瞳孔实际的视线落点位置。

根据上述所列，本发明人眼注视计算方法及人眼注视计算系统至少具有下列优点：以人眼瞳孔轮廓为参照进行坐标信息归一化特征处理，增大覆盖面积且精确表征人眼瞳孔变化，同时归一化特征可以确保头部运动导致根据原有标定谁得到的映射模型发生改变时，仍然能够得到准确的人眼注视位置，从而提高整个系统对于现实干扰因素的鲁棒性；再则，本发明中预置映射模型中包含三次项参数，大大提高了映射模型的结构的精确度

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，具体的理解为：可以同时包含有a与b，可以单独存在a，也可以单独存在b，能够具备上述三种任一中情况。

进一步的，参考附图2，本发明的一个实施例提供一种人眼计算方法，在具体实施中，具体的包括如下步骤：

201、获取人眼区域图像：

具体的，人眼区域图像由测试对象佩戴的vr设备内的红外相机获取，并实时获取人眼区域图像。

202、获取人眼瞳孔轮廓的基本信息；

具体的，201中获取的人眼区域图像进行图像信息处理得到用于表征人眼瞳孔轮廓的椭圆参数；

其中所述图像信息处理可以是：

利用瞳孔区域的灰度分布信息从直方图中获取灰度基准值(所述基准值为依据图像灰度特性求取的介于灰度值两端阈值之间的自适应阈值)，对瞳孔区域进行二值化(将所述人眼区域图像中的灰度值设为仅有0和255，大于所述基准值的全部设为255即表现为白色，小于所述基准值的全部设为0即表现为黑色，也就是将所述人眼区域图像变为只有白和黑两种颜色显示)，二值化后的最大连通区域的轮廓即为最终的瞳孔轮廓(瞳孔轮廓显示为黑色)，同时进行最大轮廓边缘提取；

或者是，采用边缘检测方法得到整个瞳孔区域的边缘信息，随后采用形态学操作(例如：腐蚀操作、膨胀操作、开操作以及闭操作等)滤除掉干扰边缘，并结合置信测评得到满足设定要求的边缘(通过预先设定的判别基准对滤除后剩余的边缘特性进行判断，例如：预先设定滤除干扰边缘后剩余边缘围成的圆的面积为10平方厘米上下浮动1平方厘米，如果在该范围内则剩余边缘符合条件可以作为最终代表人眼瞳孔的轮廓，如果不在该范围内则剩余边缘不符合条件不可以作为最终代表人眼瞳孔的轮廓)，对该边缘进行椭圆拟合，得到最终的瞳孔轮廓；

参考附图3，上述人眼瞳孔轮廓的椭圆参数包括椭圆中心点o、长轴oa、短轴ob以及偏转方向等。

203、归一化人眼瞳孔轮廓的基本信息；

具体为，参考附图3，椭圆便表征人眼的瞳孔轮廓，向量oa、向量ob二者分别表示从椭圆中心o出发，指向椭圆长轴和短轴端点的向量，且二者的单位是像素；而这两个向量的差值可以构建一个新的向量ba，根据向量ba的距离(即椭圆长短轴端点间的距离)可将此向量进行归一化，即将向量ba表示为x和y两个数值(将有量纲的表达式经过变换转化为无量纲的表达式，或者说是数值)，得到一个反映人眼瞳孔的轮廓即椭圆特征的归一化向量，此向量根据不同的瞳孔图像便会产生不同的数值，如此便可反应瞳孔特征的实时变化，例如：斜视时人眼瞳孔的轮廓即为扭曲的椭圆，人眼瞳孔的轮廓基本信息即为该扭曲椭圆的中心点o、长轴oa、短轴ob以及偏转方向等。

204、预置映射模型：

具体的，从一次项到三次项的全组合中经过多次试验，选取具有较高精度的映射模型

上式中，p0rx和p0ry分别为人眼的视线落点的横纵坐标值，即最终的人眼注视位置，vnx和vny分别x值和y值，cx0、cx1、cx2、cx3、cy0、cy1、cy2、cy3为映射模型的系数。

205、标定并求解所述映射模型；

具体为，在vr设备屏幕上显示多个光点，保证测试对象注视每个光点时的头部位置和外界干扰因素均相同，当测试对象注视每个光点时，记录下测试对象瞳孔轮廓的归一化特征和对应光点在屏幕上的坐标，如此得到1组标定数据；本发明实施例中标定9个位置不同的光点即具有9组确定的p0rx和p0ry，如此整个标定过程便可得到9组归一化特征vnx和vny和光点坐标值，使用这9组数据和公式(1)(2)建立方程组，采用最小二乘法便可得到映射模型的8个系数，即cx0、cx1、cx2、cx3、cy0、cy1、cy2、cy3，最终得到完整的映射模型。

206、计算人眼瞳孔实际的视线落点位置；

具体的，对于后续输入的每副人眼区域图像，都由上述步骤201、202、203连续执行，并将人眼瞳孔的轮廓实际归一化之后的数值带入步骤205中求解后的映射模型，并最终得到人眼瞳孔实际的视线落点位置p0rx和p0ry。

参考附图6，为了便于比较本发明实施例提供的一种人眼注视计算方法与传统计算方法的区别，本实施例中采用本发明提出的计算方法同样对附图5中的9个光点进行计算，圆圈即表示测试对象需要进行注视的固定点，圆圈的半径决定了当视线位于圈内时，人眼视线的计算误差小于1度(1度表明精确度较高)，若视线位于圈外时，则表明视线的计算去查大于1度，结果不理想；如6可见绝大部分视线落在圆圈之内，视线计算结果比较精确；比较附图5可知未采用本发明提供的人眼注视计算方法时有相当数量的视线落在圆圈外，视线计算结果不够精确，因而本发明提供的人眼注视计算方法大大提高了视线计算的精度。

实施例2

参考附图4，本发明实施例提供一种人眼注视计算系统，其包括：

检测模块1，所述检测模块1用于获取人眼瞳孔轮廓的基本信息；

第一计算模块2，所述第一计算模块2用于对所述人眼瞳孔轮廓的基本信息进行归一化计算；

求解模块3，所述求解模块3用于对预置映射模型进行求解；

第二计算模块4，所述第二计算模块4用于对人眼瞳孔实际的实现落点位置进行计算。

具体的，本实施例中提供的一种人眼注视计算系统应用于上述实施例的人眼注视计算方法，详细计算方法请参照上述说明，在此不再赘述

需要说明的是，以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，因而以上实施例之间可以进行结合，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。