眼球追踪方法、装置、设备及计算机可读存储介质与流程

本发明涉及数据处理，尤其涉及一种眼球追踪方法、装置、设备及计算机可读存储介质。

背景技术：

1、近年来，vr(virtual reality，虚拟现实)得到了快速的发展，其应用领域也趋于广泛，特别是疫情的出现，使得vr在教育、移动办公的优势逐渐突显出来。为更好的提升用户体验，vr的功能也更加多样化，其中的眼球追踪技术是未来vr系统中必不可少的一项功能。眼球追踪技术的发展经历了很长一段时间的发展，出现了直拍式、间接反射式等多种眼球追踪形式，随着vr光学系统的发展，产品结构更加紧凑，同时用户对眼球追踪的要求也越来越高，因此眼球追踪的结构要求及精度要求也更加严格。

2、现有的vr产品中，对于视距相对较小的vr，一般采用直拍方式，即摄像头直接拍摄眼睛上反射的红外光，且摄像头一般位于vr产品镜筒的左下或右下方，这种方案对摄像头的摆放位置、视场、景深以及倾斜角度等要求相对严格，且由于摄像头摆放在边缘位置，眼球追踪的精度较难控制，对vr产品的算力要求也较高；同时，传统眼球追踪的摄像头位置一般位置在设计初就已经完全固定，无法实时根据眼球的位置进行拍摄方向的调整，这样对于眼球追踪的精度也会有明显的衰减，导致了现有的vr产品的眼球追踪技术精度普遍较低的技术问题。

技术实现思路

1、本发明的主要目的在于提供一种眼球追踪方法、装置、设备及计算机可读存储介质，旨在解决现有的眼球追踪方式精度较低的技术问题。

2、为实现上述目的，本发明提供一种眼球追踪方法，所述眼球追踪方法包括以下步骤：

3、通过图像传感器获取用户的初始人眼图像，根据所述初始人眼图像确定所述用户的初始瞳孔位置；

4、根据所述初始瞳孔位置，旋转所述图像传感器以使所述图像传感器的光轴对齐所述用户的瞳孔；

5、确定旋转后的所述图像传感器获取到的实时人眼图像，根据所述初始人眼图像和所述实时人眼图像，追踪所述用户的眼球动态。

6、可选地，所述根据所述初始人眼图像确定所述用户的初始瞳孔位置的步骤，包括：

7、确定所述初始人眼图像中的瞳孔图像对应的目标灰质分布区域；

8、根据所述目标灰质分布区域，确定所述用户的初始瞳孔位置。

9、可选地，所述根据所述初始瞳孔位置，旋转所述图像传感器以使所述图像传感器的光轴对齐所述用户的瞳孔的步骤，包括：

10、根据所述初始瞳孔位置确定所述用户的瞳孔中点，并确定所述图像传感器的光轴；

11、根据所述光轴和所述瞳孔中点，旋转所述图像传感器以使所述图像传感器的光轴对齐所述瞳孔中点。

12、可选地，所述旋转所述图像传感器以使所述图像传感器的光轴对齐所述瞳孔中点的步骤，包括：

13、旋转所述图像传感器，通过旋转后的所述图像传感器获取所述用户的次级人眼图像；

14、确定所述次级人眼图像对应的瞳孔中点与旋转后的所述图像传感器的光轴之间的对齐误差；

15、若所述对齐误差处于预设的误差范围，则确定所述图像传感器的光轴对齐所述瞳孔中点，并将所述次级人眼图像作为所述实时人眼图像。

16、可选地，在所述确定所述次级人眼图像对应的瞳孔中点与旋转后的所述图像传感器的光轴之间的对齐误差的步骤之后，所述方法还包括：

17、若所述对齐误差超出预设的误差范围，则再次旋转所述图像传感器以使所述图像传感器的光轴对齐所述用户的瞳孔，并确定旋转所述图像传感器的旋转次数；

18、若所述旋转次数大于或等于预设次数，则执行所述确定旋转后的所述图像传感器获取到的各个实时人眼图像的步骤。

19、此外，为实现上述目的，本发明还提供一种眼球追踪装置，所述眼球追踪装置，包括：

20、图像采集模块，用于通过图像传感器获取用户的初始人眼图像，根据所述初始人眼图像确定所述用户的初始瞳孔位置；

21、摄像调整模块，用于根据所述初始瞳孔位置，旋转所述图像传感器以使所述图像传感器的光轴对齐所述用户的瞳孔；

22、追踪识别模块，用于确定旋转后的所述图像传感器获取到的实时人眼图像，根据所述初始人眼图像和所述实时人眼图像，追踪所述用户的眼球动态。

23、此外，为实现上述目的，本发明还提供一种眼球追踪设备，所述眼球追踪设备包括：图像传感器、旋转基座、光学模组、显示屏幕、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的眼球追踪程序，其中：所述眼球追踪程序被所述处理器执行时实现上述任一项所述的眼球追踪方法的步骤。

24、可选地，所述光学模组包括红外led灯组；

25、所述红外led灯组用于发射红外光至用户的人眼以使所述图像传感器获取所述用户的初始人眼图像；

26、所述图像传感器安装在所述旋转基座上，并设置于所述显示屏幕的后方且与所述显示屏幕间隔第一预设距离，所述旋转基座用于旋转所述图像传感器以使所述图像传感器的光轴对齐所述用户的瞳孔。

27、可选地，所述显示屏幕设置有红外高透膜层；图像传感器设置于所述显示屏幕的后方且相对于所述显示屏幕中部偏下第二预设距离。

28、本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有眼球追踪程序，其中，所述眼球追踪程序被处理器执行时，实现如上所述的眼球追踪方法的步骤。

29、本发明技术方案中的眼球追踪方法，通过步骤：通过图像传感器获取用户的初始人眼图像，根据所述初始人眼图像确定所述用户的初始瞳孔位置；根据所述初始瞳孔位置，旋转所述图像传感器以使所述图像传感器的光轴对齐所述用户的瞳孔；确定旋转后的所述图像传感器获取到的实时人眼图像，根据所述初始人眼图像和所述实时人眼图像，追踪所述用户的眼球动态。本发明解决了现有的眼球追踪方式精度较低的技术问题，提升了眼球追踪的精度。具体来说，本发明主要通过随着用户眼睛的位置和移动，将图像传感器也随之进行转动从而实时地保证图像传感器能够对齐用户的瞳孔，获取到更加清晰完整的红外人眼图像，从而降低对用户眼球识别的计算量，不仅提高了识别眼球变化的速度，还提高了对用户眼球动态变化识别的准确度。此外，相较于传统的眼球追踪所采用的摄像头斜拍摄用户眼球的方式，本发明所拍到的眼球由于变形更小，最终处理的精度要远高于传统的眼球追踪。

技术特征：

1.一种眼球追踪方法，其特征在于，所述眼球追踪方法包括以下步骤：

2.如权利要求1所述的眼球追踪方法，其特征在于，所述根据所述初始人眼图像确定所述用户的初始瞳孔位置的步骤，包括：

3.如权利要求1所述的眼球追踪方法，其特征在于，所述根据所述初始瞳孔位置，旋转所述图像传感器以使所述图像传感器的光轴对齐所述用户的瞳孔的步骤，包括：

4.如权利要求3所述的眼球追踪方法，其特征在于，所述旋转所述图像传感器以使所述图像传感器的光轴对齐所述瞳孔中点的步骤，包括：

5.如权利要求4所述的眼球追踪方法，其特征在于，所述确定所述次级人眼图像对应的瞳孔中点与旋转后的所述图像传感器的光轴之间的对齐误差的步骤之后，所述方法还包括：

6.一种眼球追踪装置，其特征在于，所述眼球追踪装置，包括：

7.一种眼球追踪设备，其特征在于，所述眼球追踪设备包括：图像传感器、旋转基座、光学模组、显示屏幕、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的眼球追踪程序，其中：所述眼球追踪程序被所述处理器执行时实现如权利要求1至5中任一项所述的眼球追踪方法的步骤。

8.如权利要求7所述的眼球追踪设备，其特征在于，所述光学模组包括红外led灯组；

9.如权利要求8所述的眼球追踪设备，其特征在于，所述显示屏幕设置有红外高透膜层；图像传感器设置于所述显示屏幕的后方且相对于所述显示屏幕中部偏下第二预设距离。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有眼球追踪程序，其中，所述眼球追踪程序被处理器执行时，实现如权利要求1至5中任一项所述的眼球追踪方法的步骤。

技术总结
本发明公开了一种眼球追踪方法、装置、设备及计算机可读存储介质，所述方法包括：通过图像传感器获取用户的初始人眼图像，根据所述初始人眼图像确定所述用户的初始瞳孔位置；根据所述初始瞳孔位置，旋转所述图像传感器以使所述图像传感器的光轴对齐所述用户的瞳孔；确定旋转后的所述图像传感器获取到的实时人眼图像，根据所述初始人眼图像和所述实时人眼图像，追踪所述用户的眼球动态。通过本发明，提高了追踪识别眼球变化的速度，还提高了对用户眼球动态变化识别的精确度。

技术研发人员：王朋杰,鹿丽华
受保护的技术使用者：歌尔科技有限公司
技术研发日：
技术公布日：2024/1/13