一种基于光波导的眼动追踪方法及AR眼镜与流程

一种基于光波导的眼动追踪方法及ar眼镜
1.本发明涉及增强现实技术领域，特别涉及一种基于光波导的眼动追踪方法及ar眼镜。


背景技术：

2.现有ar增强现实技术为近眼显示系统，将显示器上的像素画面，通过一系列的光学成像元件形成远处的虚像并投射到人眼中。
3.ar眼镜需要透视(see-through)，既要看到真实的外部世界，也要看到虚拟信息，所以成像系统不能挡在视线前方。为了实现这一效果，需要多加一个或一组光学元件或设备用叠加的方式将虚拟信息图像与真实世界的场景融合为一体，即为增强现实。
4.光波导不仅仅可以收集眼睛的巩膜、虹膜、瞳孔图像来计算视觉中心点，还可以采集人眼内部视网膜的影像，可以通过采集到的视网膜影像观察到视网膜上包括血管、中央凹、视盘、黄斑等生理特征，再通过光波导传输给摄像头每一帧视网膜图像上不同的特征变化计算获取眼球运动向量。有了图像计算眼球运动向量的算法有很多，也可以视网膜全部影像计算机获取后储存起来，并将影像一一与眼球注视方向对应，从而根据实时所拍摄到的视网膜图像计算获得注视方向。
5.但是无论是上述描述中的光波导方式还是其他如结构光逛场摄像头或是瞳孔角膜反射的方式都是通过对摄像头拍摄到的图像进行计算而获得眼球的注视位置，而这样的图像计算算法对cpu计算能力以及耗电量是很有挑战的。在小型化穿戴ar设备上，这更是限制点。


技术实现要素：

6.现有技术中，通过对摄像头拍摄到的图像进行计算而获得人眼的注视位置，加大了ar眼镜设备的能耗及计算负担。
7.针对上述问题，提出一种基于光波导的眼动追踪方法及ar眼镜，通过红外发射装置发射第一红外光，利用第一耦合装置耦合到光波导，并通过第二耦合装置传输到人眼，利用竖向探测器阵列和横向探测器阵列分别对一维扩瞳装置、二维扩瞳装置反射回来的亮度最强的第二红外光进行探测，得到人眼的注视位置坐标，本技术采用探测器阵列获取人眼注视位置，解决了一般红外ar眼动追踪眼镜设备cpu能耗大、计算量过大的问题，有效实现了眼动追踪系统的轻量化小型化。
8.第一方面，一种基于光波导的眼动追踪方法，包括：
9.步骤100、红外发射装置发射第一红外光并通过光波导传输到人眼；
10.步骤200、利用探测器阵列探测从人眼反射回来的第二红外光坐标，以确定人眼注视位置；
11.其中，所述第一红外光为红外发射器发射的红外光；
12.所述第二红外光为人眼视网膜反射回来的红外光。
13.结合本发明所述的基于光波导的眼动追踪方法，第一种可能的实施方式中，所述
步骤110包括：
14.步骤111、将发射的第一红外光耦合入光波导；
15.步骤112、将在所述光波导传输的所述第一红外光耦合依次进入一维扩瞳装置、二维扩瞳装置；
16.步骤113、二维扩瞳装置将所述第一红外光耦合出进入人眼。
17.结合本发明第一种可能的实施方式，第二种可能的实施方式中，所述步骤111包括：
18.步骤1111、将所述第一红外光依次通过第一光学聚焦装置、虚拟成像装置及第二光学聚焦装置；
19.步骤1112、第一耦合装置将从所述第二光学聚焦装置传输过来的第一红外光耦合到光波导。
20.结合本发明第二种可能的实施方式，第三种可能的实施方式中，所述步骤112包括：
21.步骤1121、将第一红外光通过光波导传输到一维扩瞳装置中；
22.步骤1122、所述一维扩瞳装置对第一红外光进行一维扩瞳；
23.步骤1123、将一维扩瞳后的第一红外光通过光波导传输到二维扩瞳装置中。
24.结合本发明第三种可能的实施方式，第四种可能的实施方式中，所述步骤112还包括：
25.步骤1124、所述二维扩瞳装置对传输过来的所述第一红外光进行二维扩瞳；
26.步骤1125、所述二维扩瞳装置将二维扩瞳后的第一红外光耦合传输到人眼。
27.结合本发明第四种可能的实施方式，第五种可能的实施方式中，所述步骤200包括：
28.步骤210、将从人眼视网膜反射出来的第二红外光依次耦合进入二维扩瞳装置、一维扩瞳装置；
29.步骤220、利用探测器阵列分别对二维扩瞳装置、一维扩瞳装置反射的亮度最强的红外光进行探测。
30.结合本发明第五种可能的实施方式，第六种可能的实施方式中，所述步骤220包括：
31.步骤221、利用所述探测器阵列中的横向探测器阵列获取最高亮度的第二红外光的第一位置；
32.步骤222、利用所述探测器阵列中的竖向探测器阵列获取最高亮度的第二红外光的第二位置；
33.步骤223、将所述第一位置、第二位置分别作为人眼注视点的横坐标、纵坐标。
34.第二方面、一种ar眼镜，采用第一方面所述的基于光波导的眼动追踪方法，包括：
35.红外发射装置；
36.第一耦合装置；
37.第二耦合装置；
38.光波导；
39.探测器阵列；
40.所述红外发射装置设置在眼镜框的两端，用于发射第一红外光到第一耦合装置；
41.所述第一耦合装置设置在眼镜框对应所述红外发射装置的光路位置上，用于将发射的第一红外光耦合入光波导；
42.所述第二耦合装置用于从人眼视网膜反射来的第二红外光耦合入光波导或者将光波导传输过来的第一红外光传输到人眼；
43.所述探测器阵列用于探测从所述第二耦合装置耦合出来的部分第二红外光，获取亮度最强第二红外光坐标。
44.结合第二方面所述的ar眼镜，第一种可能的实施方式中，所述ar眼镜为二维扩瞳ar眼镜，所述第二耦合装置包括：
45.一维扩瞳装置；
46.二维扩瞳装置；
47.所述一维扩瞳装置设置在光波导对应瞳孔的上眼眶位置，用于对光波导传输过来的第一红外光或者虚拟影像进行横向一维扩瞳；
48.所述二维扩瞳装置在光波导对应瞳孔的镜片位置，用于对光波导传输过来的第一红外光或者虚拟影像进行竖向二维扩瞳。
49.结合第二方面第一种可能的实施方式，第二种可能的实施方式中，所述探测器阵列包括：
50.横向探测器阵列；
51.竖向探测器阵列；
52.所述横向探测器阵列用于对一维扩瞳装置反射回来的亮度最强的第二红外光进行探测，获取第一位置；
53.所述竖向探测器阵列用于对二维扩瞳装置反射回来的亮度最强的第二红外光进行探测，获取第二位置。
54.实施本发明所述的一种基于光波导的眼动追踪方法及ar眼镜，通过红外发射装置发射第一红外光，利用第一耦合装置耦合到光波导，并通过第二耦合装置传输到人眼，利用竖向探测器阵列和横向探测器阵列分别对一维扩瞳装置、二维扩瞳装置反射回来的亮度最强的第二红外光进行探测，得到人眼的注视位置坐标，本技术采用探测器阵列获取人眼注视位置，解决了一般红外ar眼动追踪眼镜设备cpu能耗大、计算量过大的问题，有效实现了眼动追踪系统的轻量化小型化。
附图说明
55.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
56.图1是本发明中基于光波导的眼动追踪方法第一实施例示意图；
57.图2是本发明中基于光波导的眼动追踪方法第二实施例示意图；
58.图3是本发明中基于光波导的眼动追踪方法第三实施例示意图；
59.图4是本发明中基于光波导的眼动追踪方法第四实施例示意图；
60.图5是本发明中基于光波导的眼动追踪方法第五实施例示意图；
61.图6是本发明中基于光波导的眼动追踪方法第六实施例示意图；
62.图7是本发明中基于光波导的眼动追踪方法第七实施例示意图；
63.图8是本发明中ar眼镜实施例示意图；
64.图9是本发明中ar眼镜中的探测器阵列示意图；
65.部件符号说明：10——红外发射装置、20——第一红外光、30——光波导、201——第一耦合装置、41——横向探测器阵列、42——竖向探测器阵列、50——第二耦合装置、51——一维扩瞳装置、52——二维扩瞳装置、60——第二红外光。
具体实施方式
66.下面将结合发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。
67.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
68.针对上述问题，提出一种基于光波导30的眼动追踪方法及ar眼镜。
69.现有技术中，通过对摄像头拍摄到的图像进行计算而获得人眼的注视位置，加大了ar眼镜设备的能耗及计算负担。
70.第一方面，一种基于光波导30的眼动追踪方法，如图1，图1是本发明中基于光波导30的眼动追踪方法第一实施例示意图；包括步骤100、通过光波导30发射第一红外光20到人眼；步骤200、利用探测器阵列探测从人眼反射回来的第二红外光60坐标，以确定人眼注视位置；其中，第一红外光20为红外发射器发射的红外光；第二红外光60为人眼视网膜反射回来的红外光。
71.优选地，如图2，图2是本发明中基于光波导30的眼动追踪方法第二实施例示意图；步骤110包括：步骤111、将发射的第一红外光20耦合入光波导30；步骤112、将在光波导30传输的第一红外光20耦合依次进入一维扩瞳装置51、二维扩瞳装置52；步骤113、二维扩瞳装置52将第一红外光20耦合出进入人眼。
72.优选地，如图3，图3是本发明中基于光波导30的眼动追踪方法第三实施例示意图；步骤111包括：步骤1111、将第一红外光20依次通过第一光学聚焦装置、虚拟成像装置及第二光学聚焦装置；步骤1112、第一耦合装置201将从第二光学聚焦装置传输过来的第一红外光20耦合到光波导30。
73.第一光学聚焦装置及虚拟成像装置；虚拟成像装置用于将显示的虚像与环境实像相结合，在人眼视线中呈现为一体，从而产生增强现实的效果。第一光学聚焦装置用于对发射的第一红外光进行聚焦引导，以便耦合入光波导。虚拟成像装置包括显示单元、控制单元、第二光学聚焦装置显示单元用于显示影像；控制单元用于根据人眼注视位置调整显示影像在人眼中的位置；第二光学聚焦装置用于对显示影像进行聚焦修正及深度调整。
74.优选地，如图4，图4是本发明中基于光波导30的眼动追踪方法第四实施例示意图；步骤112包括：步骤1121、将第一红外光20通过光波导30传输到一维扩瞳装置51中；步骤1122、一维扩瞳装置51对第一红外光20进行一维扩瞳；步骤1123、将一维扩瞳后的第一红外光20通过光波导30传输到二维扩瞳装置52中。
75.优选地，如图5，图5是本发明中基于光波导30的眼动追踪方法第五实施例示意图；步骤112还包括：步骤1124、二维扩瞳装置52对传输过来的第一红外光20进行二维扩瞳；步骤1125、二维扩瞳装置52将二维扩瞳后的第一红外光20耦合传输到人眼。
76.优选地，如图6，图6是本发明中基于光波导30的眼动追踪方法第六实施例示意图；步骤200包括：
77.步骤210、将从人眼视网膜反射出来的第二红外光60依次耦合进入二维扩瞳装置52、一维扩瞳装置51；步骤220、利用探测器阵列分别对二维扩瞳装置52、一维扩瞳装置51反射的亮度最强的红外光进行探测。
78.优选地，如图7，图7是本发明中基于光波导30的眼动追踪方法第七实施例示意图；步骤220包括：步骤221、利用探测器阵列中的横向探测器阵列41获取最高亮度的第二红外光60的第一位置；步骤222、利用探测器阵列中的竖向探测器阵列42获取最高亮度的第二红外光60的第二位置；步骤223、将第一位置、第二位置分别作为人眼注视点的横坐标、纵坐标。
79.第一红外光20由红外发射装置10发射，通过第一光学聚焦装置对第一红外光20进行聚焦，显示单元为透明材质，红外光可无碍穿过，第二光学聚焦装置对第一红外光20进行修正后经过第一耦合装置201耦合行入光波导30进行全反射传输。
80.全反射传输后经过第二耦合装置50耦合出光波导30，进入人眼，经过人眼视网膜反射回来后，成为第二红外光60，第二红外光60的传输过程与第一红外光20的传输过程反向。
81.探测器阵列则用于探测第二耦合装置50反射回来的最高亮度的第二红外光60坐标。
82.红外光经过第一光学聚焦装置、虚拟成像装置、第一耦合装置201、光波导30、第二耦合装置50，直至穿过眼睛瞳孔，最终打在眼睛的视网膜上。视网膜会反射红外光，反射光会经过原来的路径反射，部分被竖向探测器阵列42和横向探测器阵列41捕获。只有和眼球瞳孔中心和角膜中心(光轴)在一条直线上的那个探测器所接收到的反射光强度是最大的，由于探测器阵列的位置计算机已知，所以通过分析反射光最大强度就可以获取眼球的注视位置。通过红外发射装置10发射第一红外光20，利用第一耦合装置201耦合到光波导30，并通过第二耦合装置50传输到人眼，利用竖向探测器阵列42和横向探测器阵列41分别对一维扩瞳装置51、二维扩瞳装置52反射回来的亮度最强的第二红外光60进行探测，得到人眼的注视位置坐标，本技术采用探测器阵列获取人眼注视位置，解决了ar眼镜设备cpu能耗大、计算量过大的问题。
83.第二方面、如图8，图8是本发明中ar眼镜实施例示意图；一种ar眼镜，采用第一方面的基于光波导30的眼动追踪方法，包括：红外发射装置10、第一耦合装置201、第二耦合装置50、光波导30、探测器阵列；红外发射装置10设置在眼镜框的两端，用于发射第一红外光20到第一耦合装置201；第一耦合装置201设置在眼镜框对应红外发射装置10的光路位置
上，用于将发射的第一红外光20耦合入光波导30；第二耦合装置50用于从人眼视网膜反射来的第二红外光60耦合入光波导30或者将光波导30传输过来的第一红外光20传输到人眼；探测器阵列用于探测从第二耦合装置50耦合出来的部分第二红外光60，获取亮度最强第二红外光60坐标。
84.具体地，ar眼镜为二维扩瞳ar眼镜，第二耦合装置50包括一维扩瞳装置51、二维扩瞳装置52；一维扩瞳装置51设置在光波导30对应瞳孔的上眼眶位置，用于对光波导30传输过来的第一红外光20或者虚拟影像进行横向一维扩瞳；二维扩瞳装置52在光波导30对应瞳孔的镜片位置，用于对光波导30传输过来的第一红外光20或者虚拟影像进行竖向二维扩瞳。
85.具体地，如图9，图9是本发明中ar眼镜中的探测器阵列示意图；探测器阵列包括横向探测器阵列41、竖向探测器阵列42；横向探测器阵列41用于对一维扩瞳装置51反射回来的亮度最强的第二红外光60进行探测，获取第一位置；竖向探测器阵列42用于对二维扩瞳装置52反射回来的亮度最强的第二红外光60进行探测，获取第二位置。
86.在有的实施方式中，ar眼镜还包括：第一光学聚焦装置及虚拟成像装置；虚拟成像装置用于将显示的虚像与环境实像相结合，在人眼视线中呈现为一体，从而产生增强现实的效果。第一光学聚焦装置用于对发射的第一红外光进行聚焦引导，以便耦合入光波导。
87.进一步地，虚拟成像装置包括显示单元、控制单元、第二光学聚焦装置
88.显示单元用于显示影像；控制单元用于根据人眼注视位置调整显示影像在人眼中的位置；第二光学聚焦装置用于对显示影像进行聚焦修正及深度调整。
89.实施本发明所述的一种基于光波导30的眼动追踪方法及ar眼镜，通过红外发射装置10发射第一红外光20，利用第一耦合装置201耦合到光波导30，并通过第二耦合装置50传输到人眼，利用竖向探测器阵列42和横向探测器阵列41分别对一维扩瞳装置51、二维扩瞳装置52反射回来的亮度最强的第二红外光60进行探测，得到人眼的注视位置坐标，本技术采用探测器阵列获取人眼注视位置，解决了一般红外ar眼动追踪眼镜设备cpu能耗大、计算量过大的问题，有效实现了眼动追踪系统的轻量化小型化。
90.以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。