一种基于眼角与普尔钦斑的AR或VR眼动追踪系统的制作方法

本发明涉及ar或vr眼动追踪领域，特别涉及一种基于眼角与普尔钦斑的ar或vr眼动追踪系统。

背景技术：

1、瞳孔角膜反射技术是基于视频分析的视线追踪系统最普遍使用的方法，视线方向，或显示器表面的注视点的估计方法是追踪瞳孔中心和角膜反射的相对位置，角膜反射是光源在角膜表面反射形成的虚像，相机获取到的眼睛图像中的瞳孔是真实瞳孔经过角膜折射后形成的虚像，在vr，ar设备上，由于眼睛是非完美球体，眼睛不同位置的折射率有所不同，因此，当转动眼珠时，普尔钦斑会发生移动，这移动会产生追踪的误差，当眼睛正视前方时，普尔钦斑应该是一个比较标准的圆，眼球在虹膜区域明显凸起，使得虹膜区域的折射率明显不同于其他地方，当眼睛看向其他方向时，普尔钦斑被拉伸，产生畸变。

2、在视线跟踪系统中，以动点和参考点的差值来计算人眼的注视方向和位置，动点采用瞳孔中心，因为它可以准确反映眼球的变化，参考点采用眼角点，因为眼角点在人脸上是个比较稳定的点，当距离比较远时，人脸表情的变化基本上不会引起它的位置变化，当距离很近时，比如在vr，ar设备上，由于眼睛是非完美球体，当转动眼珠时，微小的眼角变化也会被捕捉，因此，会存在如下问题：转动眼珠时，眼角会有轻微的变动，由于眼睛是非完美球体，眼角会高低起伏，由于相机是从左下方45度角照射，眼角的高低起伏会变成在图像上眼角的上下移动。

3、在vr，ar等设备中，由于摄像头离眼睛非常近，眼睛的非完美球体的特点被放大，对于角膜反射法来说，眼睛的非完美球体特性导致眼睛的不同区域折射率不同，眼睛看向不同方向时，普尔钦斑会产生不同程度、不同类型的畸变和移动，对于眼角方案来说，眼睛的转动会使得眼角有清微的移动，如此，单纯基于角膜反射的和基于眼角的，都不能很好的满足需求。

4、因此，提出一种基于眼角与普尔钦斑的ar或vr眼动追踪系统来解决上述问题很有必要。

技术实现思路

1、本发明的主要目的在于提供一种基于眼角与普尔钦斑的ar或vr眼动追踪系统，可以有效解决背景技术中的问题。

2、为实现上述目的，本发明采取的技术方案为：

3、一种基于眼角与普尔钦斑的ar或vr眼动追踪系统，包括模型构建单元，所述模型构建单元包括瞳孔定位单元和普尔钦斑定位分类模块，所述瞳孔定位单元和普尔钦斑定位分类模块的输出端电性连接有处理单元，所述处理单元的输出端电性连接有眼角定位模块的输入端，所述眼角定位模块的输出端电性连接有视线追踪单元和融合单元的输入端；

4、所述模型为cnn模型，所述模型框架包括sdnet，所述sdnet的第一层为80x80、conv，3x3，32，stride＝1；所述sdnet的第二层为40x40、conv，3x3，64，stride＝1、maxpool，2x2；所述sdnet的第三层为20x20、conv，3x3，128，stride＝1、maxpool，2x2；所述sdnet的第四层为10x10、conv，3x3，256，stride＝1、maxpool，2x2；所述sdnet的第五层为5x5，其中分为conv，1x1，256，stride＝1和conv，1x1，5+x，stride＝1；

5、所述模型框架还包括损失函数：其中分为四个部分，分别为对预测的中心坐标做损失、对预测边界框的宽度做损失、对预测的类别做损失和对预测的置信度做损失；

6、所述处理单元基于粗定位和精细定位的cnn模型进行瞳孔的定位和普尔钦斑的定位和分类；

7、所述眼角定位模块基于cnn模型sdnet直接定位眼角，并对瞳孔的角度和长短轴进行测量；

8、所述视线追踪单元基于二维映射模型的视线估计方法，通过经过标定的视线映射函数来估计视线方向，其中映射函数的输入为眼睛图像提取的二维眼动特征，并对其进行标定。

9、所述融合单元用于融合融合眼角和普尔钦斑的特点。

10、优选的，所述第五层中输出5x5+(5+x)个结果，其中所述x是目标的类别。

11、优选的，所述瞳孔定位单元包括相机图像接收模块，所述相机图像接收模块的输入端，所述相机图像接收模块的输出端电性连接有第一缩放模块的输入端，所述第一缩放模块的输出端电性连接有一级模型定位模块的输入端，所述一级模型定位模块的输出端电性连接有子图像处理模块的输入端，所述子图像处理模块的输出端电性连接有第二缩放模块的输入端，所述第二缩放模块的输出端电性连接有二级模型定位模块的输入端，所述二级模型定位模块的输出端电性连接有计算模块的输入端；

12、所述相机图像接收模块基于相机对眼睛进行图像的拍摄，所述ar或vr中至少安装有一个相机。

13、优选的，所述瞳孔定位单元中，所述相机图像接收模块用于获取相机拍摄的眼睛图像，记作img_a，其尺寸为640x480，所述第一缩放模块用于将img_a缩放到80x80，所述一级模型定位模块用于使用第一级cnn模型定位虹膜区域，所述子图像处理模块用于将虹膜区域抠出，得到子图像img_b，并记录img_b的左上角在img_a中的位置，记作img_b_left，img_b_top，所述第二缩放模块用于将img_b缩放到80x80，所述二级模型定位模块用于使用第二级cnn模型定位瞳孔，得到瞳孔的位置位img_b_x，img_b_y，所述计算模块用于计算计算最终的瞳孔位置，其中计算公式为：x＝img_b_left+img_b_x；y＝img_b_top+img_b_y。

14、优选的，所述普尔钦斑定位分类模块中，相机图像接收模块用于获取相机拍摄的眼镜图像，记作img_a，其尺寸为640*480，所述第一缩放模块用于将img_a缩放到80*80，所述一级模型定位模块用于使用第一级cnn模型普尔钦斑以及普尔钦斑的类别，并对尔钦斑进行粗定位，所述子图像处理模块用于将粗定位得到的普尔钦斑扩大20％后抠出，得到子图像img_c，记录img_c的左上角在img_a中的位置，记作img_c_left，img_c_top，所述第二缩放模块用于将img_c缩放到80*80，所述二级模型定位模块用于使用第二级cnn模型精确定位普尔钦斑及其类别，类别记作c_cls，得到普尔钦斑的位置为img_c_x，img_c_y，所述计算模块用于计算最终的瞳孔位置，计算公式为：x＝img_c_left+img_c_x；y＝img_c_top+img_c_y。

15、优选的，所述视线追踪单元基于定位后的瞳孔中心和眼睛中心，其中眼睛中心包括普尔钦斑或者眼角中心，并将定位后的信息记作px，py和cx，cy，其中记作：△x＝px-cx、△y＝py-cy，视线函数为：(gx，gy)＝f(△x，△y)，其中gx＝a1+a2△x+a3△x△y+a4△x△x、gy＝b1+b2△y+b3△x△y+b4△y△y。

16、优选的，所述校准模块用于校准普尔钦斑和眼角的位置，校准5点-9点，校准同时记录普尔钦斑和眼角在各个点的位置，所述眼角位置记录模块基于初始化参考点为校准时记录的普尔钦斑位置，记录眼角的位置，所述普尔钦斑和眼角定位模块用于定位当前的普尔钦斑和眼角，所述畸变检查模块用于检测普尔钦斑有无畸变，普尔钦斑无畸变，则使用普尔钦斑的位置更新参考点，所述普尔钦斑有畸变，相对偏移计算模块用于计算眼角参考点的相对偏移。

17、优选的，所述头部位置补偿单元基于多项式：(△gx，△gy)＝(△x，△y，amin/amax，θ，ic，jc)拟合不同的头部姿态，其中所述ic，jc为普尔钦斑在图像上的位置，amin，amax，θ为瞳孔椭圆的短边，长边和旋转角。

18、有益效果

19、与现有技术相比，本发明提供了一种基于眼角与普尔钦斑的ar或vr眼动追踪系统，具备以下有益效果：

20、1、该基于眼角与普尔钦斑的ar或vr眼动追踪系统，基于角膜反射和眼角的眼动追踪算法，能有效提高普尔钦斑定位的性能和精度，且可以对眼角进行定位、对瞳孔的角度和长短轴进行测量，并结合眼角和普尔钦斑各自的特点，使用眼睛作为粗定位的参考点，普尔钦斑作为精细定位的参考点进行追踪处理，以此可以得到精度较高的视线方向。