一种眼球模型的确定方法、装置及电子设备与流程

本公开实施例涉及眼球识别，具体涉及一种眼球模型的确定方法、装置及电子设备。

背景技术：

1、随着虚拟现实(virtual reality，vr)技术的发展，vr设备中会配备眼球识别的系统用来获取眼球的特征，因此，亟需提供一种眼球模型的确定方案，从而进一步地实现虹膜的识别、瞳距的调节、眼睛朝向的估计等基于眼球模型的相关功能。

技术实现思路

1、本公开的至少一个实施例提供了一种眼球模型的确定方法、装置及电子设备。

2、第一方面，本公开实施例提出一种眼球模型的确定方法，该方法包括：

3、获取红外相机采集的第一眼球图像和可见光相机采集的第二眼球图像；

4、识别第一眼球图像中虹膜边缘上的点以及第二眼球图像中虹膜边缘上的点；

5、确定第一眼球图像中虹膜边缘上的点与第二眼球图像中虹膜边缘上的点之间的对应关系；

6、基于第一眼球图像、第二眼球图像和对应关系，确定虹膜边缘上的点的三维空间位置信息；

7、基于虹膜边缘上的点的三维空间位置信息，确定眼球模型中虹膜中心的三维空间位置信息以及虹膜的长轴和短轴。

8、在一些实施例中，识别第二眼球图像中虹膜边缘上的点之后，该方法还包括：

9、基于第二眼球图像中的颜色信息，确定第二眼球图像中虹膜边缘上的点的颜色特征；

10、将第二眼球图像中虹膜边缘上的点的颜色特征与眼球模型绑定关联关系；

11、响应于识别眼球的指令，采集目标眼球的可见光图像，并识别可见光图像中虹膜边缘上的点以及点的颜色特征；

12、基于预先绑定的关联关系，查找点的颜色特征关联的目标眼球模型作为目标眼球的眼球模型。

13、在一些实施例中，在确定目标眼球的眼球模型之后，该方法还包括：

14、响应于追踪眼球的指令，关闭可见光相机，利用红外相机采集目标眼球的图像；

15、基于红外相机采集的图像，识别目标眼球的眼球模型中虹膜中心的三维空间位置信息。

16、在一些实施例中，确定第一眼球图像中虹膜边缘上的点与第二眼球图像中虹膜边缘上的点之间的对应关系，包括：

17、提取第一眼球图像中虹膜的纹理特征点和第二眼球图像中虹膜的纹理特征点；

18、将第一眼球图像中虹膜的纹理特征点和第二眼球图像中虹膜的纹理特征点进行匹配，得到多个纹理特征点匹配对；

19、从多个纹理特征点匹配对中取至少四个纹理特征点匹配对；至少四个纹理特征点匹配对中任意三个纹理特征点不共线；

20、基于至少四个纹理特征点匹配对，确定第一眼球图像与第二眼球图像之间的虹膜映射关系；

21、基于虹膜映射关系，确定第一眼球图像中虹膜边缘上的点与第二眼球图像中虹膜边缘上的点之间的对应关系。

22、在一些实施例中，基于第一眼球图像、第二眼球图像和对应关系，确定虹膜边缘上的点的三维空间位置信息，包括：

23、基于红外相机的内外参和可见光相机的内外参，将第一眼球图像和第二眼球图像转换到同一平面；

24、转换到同一平面完成后，基于对应关系计算红外相机与可见光相机之间的视差；

25、基于视差确定虹膜边缘上的点的深度信息；

26、基于深度信息，确定虹膜边缘上的点的三维空间位置信息。

27、在一些实施例中，基于虹膜边缘上的点的三维空间位置信息，确定眼球模型中虹膜中心的三维空间位置信息以及虹膜的长轴和短轴，包括：

28、基于虹膜边缘上的点的三维空间位置信息，拟合得到表征虹膜边缘的椭圆；

29、确定椭圆的中心的三维空间位置为虹膜中心的三维空间位置；

30、确定椭圆的长轴和短轴为虹膜的长轴和短轴。

31、在一些实施例中，眼球模型的确定方法还包括：

32、基于虹膜的长轴和短轴，确定眼球模型中瞳孔的长轴和短轴。

33、在一些实施例中，基于虹膜的长轴和短轴，确定眼球模型中瞳孔的长轴和短轴，包括：

34、拟合同一图像中表征虹膜边缘的第一椭圆和表征瞳孔边缘的第二椭圆，其中，同一图像为第一眼球图像或者第二眼球图像；

35、基于第一椭圆和第二椭圆，确定长轴比例和短轴比例；

36、基于虹膜的长轴和短轴以及长轴比例和短轴比例，确定瞳孔的长轴和短轴。

37、在一些实施例中，眼球模型的确定方法还包括：

38、基于第一眼球图像与第二眼球图像之间的虹膜映射关系，确定眼球模型中瞳孔的长轴和短轴。

39、在一些实施例中，基于第一眼球图像与第二眼球图像之间的虹膜映射关系，确定眼球模型中瞳孔的长轴和短轴，包括：

40、基于第一眼球图像与第二眼球图像之间的虹膜映射关系，确定第一眼球图像中瞳孔边缘上的点与第二眼球图像中瞳孔边缘上的点之间的对应关系；

41、将第一眼球图像和第二眼球图像转换到同一平面后，基于对应关系计算红外相机与可见光相机之间的视差；

42、基于视差确定瞳孔边缘上的点的深度信息；

43、基于瞳孔边缘上的点的深度信息，确定瞳孔边缘上的点的三维空间位置信息；

44、基于瞳孔边缘上的点的三维空间位置信息，拟合得到表征瞳孔边缘的椭圆，并确定椭圆的长轴和短轴为瞳孔的长轴和短轴。

45、第二方面，本公开实施例还提出一种眼球模型的确定装置，该装置包括：

46、获取单元，用于获取红外相机采集的第一眼球图像和可见光相机采集的第二眼球图像；

47、识别单元，用于识别第一眼球图像中虹膜边缘上的点以及第二眼球图像中虹膜边缘上的点；

48、第一确定单元，用于确定第一眼球图像中虹膜边缘上的点与第二眼球图像中虹膜边缘上的点之间的对应关系；

49、第二确定单元，用于基于第一眼球图像、第二眼球图像和对应关系，确定虹膜边缘上的点的三维空间位置信息；

50、第三确定单元，用于基于虹膜边缘上的点的三维空间位置信息，确定眼球模型中虹膜中心的三维空间位置信息以及虹膜的长轴和短轴。

51、第三方面，本公开实施例还提出一种电子设备，其中，包括存储器、处理器以及存储在所述存储器上的计算机程序，其中，所述处理器执行所述计算机程序以实现如第一方面所述眼球模型的确定方法的步骤。

52、第四方面，本公开实施例还提出一种计算机可读存储介质，其中，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如第一方面所述眼球模型的确定方法的步骤。

53、第五方面，本公开实施例还提供一种计算机程序产品，其中，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，计算机的至少一个处理器从所述计算机可读存储介质中读取并执行该计算机程序，使得所述计算机执行如第一方面所述眼球模型的确定方法的步骤。

54、可见，本公开的至少一个实施例中，通过获取红外相机采集的第一眼球图像和可见光相机采集的第二眼球图像；进而识别第一眼球图像中虹膜边缘上的点以及第二眼球图像中虹膜边缘上的点，并确定第一眼球图像中虹膜边缘上的点与第二眼球图像中虹膜边缘上的点之间的对应关系；从而基于第一眼球图像、第二眼球图像和对应关系，确定虹膜边缘上的点的三维空间位置信息；基于虹膜边缘上的点的三维空间位置信息，确定眼球模型中虹膜中心的三维空间位置信息以及虹膜的长轴和短轴。本公开实施例提供的眼球模型的确定方案，可以进一步地实现虹膜的识别、瞳距的调节、眼睛朝向的估计等基于眼球模型的相关功能。