导光式眼球追踪设备、眼球追踪方法及头戴式设备与流程

本申请涉及智能控制技术领域，尤其涉及一种导光式眼球追踪设备、眼球追踪方法及头戴式设备。

背景技术：

眼球追踪，是研究视觉信息加工的有效手段。随着技术的发展，眼球追踪逐渐应用广泛，如工业控制、人机交互、医学和心理学等研究领域。例如，在目前的增强现实(augmentedreality，ar)产品中，传统的机械外设并不能满足用户操控的需求，而手势，头部运动和声音控制都会导致用户的使用疲劳。眼球追踪则因为其具有响应速度快、追踪准确、无疲劳感等优势，正逐渐成为ar人机交互的新模式。

目前，为了实现眼球追踪，一般在头戴式设备上设置红外照明系统与图像采集系统。其中，为了在眼球旋转至不同角度时均能采到红外光斑的图片，红外照明系统一般由多个依次排列并镶嵌于头戴式设备上的红外光源组成。当红外光源数量较多，红外光源的走线需另加结构进行安装，为头戴式设备增加负担，影响美观的同时也不利于头戴式设备的一体化。

技术实现要素：

有鉴于此，本申请实施例提供了一种导光式眼球追踪设备、眼球追踪方法及头戴式设备，能够解决现有技术中红外光源的走线需另加结构进行安装，为头戴式设备增加负担，影响美观的同时不利于头戴式设备的一体化的问题。

本申请第一方面实施例提供的一种导光式眼球追踪设备，包括：光源、图像获取单元和主控单元；还包括至少一条光纤；

所述光源输出的光线经所述光纤射向用户的眼球，以使所述用户的眼球带有红外光斑；

所述图像获取单元，用于获取目标图像；所述目标图像用于计算注视点；

所述主控单元连接所述图像获取单元，用于根据所述图像获取单元获取的所述目标图像实现对所述用户的眼球追踪。

可选的，还包括：反射部件；

所述反射部件，用于反射所述用户的眼球对所述光线的反射光；

所述图像获取单元，具体用于获取光斑在所述反射部件上反射所形成的图像。

可选的，还包括：连接件；

所述光源、所述图像获取单元和所述主控单元固定在所述连接件上，且所述光纤沿所述连接件设置；

所述连接件，用于将所述光源、所述图像获取单元和所述主控单元固定在头戴式设备上。

可选的，还包括：光纤通道；

所述光纤通道的一端朝向所述用户的眼球，所述光纤贯穿所述光纤通道；

所述光纤的输出端内凹于所述光纤通道朝向所述用户眼球一端或者与所述光纤通道朝向所述用户眼球一端齐平。

可选的，所述光纤通道为沟槽或内部通道。

可选的，所述图像获取单元，包括：摄像机和滤光片；

所述滤光片，用于透射与所述光源发出的光波长相同的光；

所述摄像机透过所述红外滤光片拍摄所述目标图像。

本申请实施例第二方面提供的一种眼球追踪方法，应用于上述第一方面提供的导光式眼球追踪设备中的任意一种，所述方法包括：

控制所述光源输出光线，所述光线通过所述光纤，使所述用户的眼球带有光斑；

获取所述图像获取单元获取的目标图像；所述目标图像用于计算注视点；

根据所述目标图像确定所述用户的注视信息。

本申请实施例第三方面提供了一种头戴式设备，包括：支撑部和上述第一方面提供的导光式眼球追踪设备中的任意一种。

可选的，还包括：透镜；所述支撑部，包括：支撑件和固定件；

所述支撑件，用于将所述头戴式设备佩戴于用户头部；

所述固定件，用于将所述透镜固定于所述支撑件；

所述光纤的光输出端设置在所述支撑件、所述固定件和所述透镜中的任意一个或多个上；

所述光源固定在所述支撑件或所述固定件上；

所述图像获取单元和所述主控单元固定在所述支撑件上。

可选的，当所述光纤贯穿光纤通道设置时，所述透镜上设置有所述光纤通道。

可选的，所述透镜朝向用户眼球的端面上设置有反射膜；

所述图像获取单元，具体用于获取所述光斑经在所述红外反射膜上反射所形成的图像。

与现有技术相比，本申请至少具有以下优点：

在本申请实施例中，在导光式眼球追踪设备上利用光纤传导光源发出的光线使之照射用户的眼球，用户的眼球上反射该光线带有光斑。再利用图像获取单元获取目标图像该目标图像用于计算注视点。图像获取单元与主控单元连接，以便主控单元利用图像获取单元获取的目标图像计算注视点。利用光纤束实现对光源发出的光线进行传导，无需额外的布线，不会影响用户使用的同时可以实现眼球追踪模组的一体化设计，降低结构的复杂度，保证了头戴式设备的轻便和美观程度。并且，该导光式眼球追踪设备可以应用于其他不具备眼球追踪功能的头戴式设备上，使用户可以利用眼球追踪技术实现与该头戴式设备的人机交互，提高操作的便捷度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种导光式眼球追踪设备的结构示意图；

图2为本申请实施例提供的一种导光式眼球追踪设备中光纤通道的示意图；

图3为本申请实施例提供的一种眼球追踪方法的流程示意图；

图4为本申请实施例提供的一种头戴式设备的结构示意图；

图5为本申请实施例提供的另一种头戴式设备的主视图；

图6为本申请实施例提供的另一种头戴式设备的左视图。

部分图中的附图标记说明如下：

100导光式眼球追踪设备；

110光源、120图像获取单元、130主控单元、140光纤、150光纤通道；

400头戴式设备；

410透镜、420支撑件、430固定件。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

眼球追踪(eyetracking)，也可称为视线追踪，是通过测量眼睛运动情况来估计眼睛的视线和/或注视点的技术。其中，视线可以理解为是一个三维矢量，在一个例子中，该三维矢量(即视线)可以是以用户头部的正中心为坐标原点、以头部正右侧为x轴的正半轴、头部正上方为y轴正半轴、以头部的正前方为z轴正半轴所构建的坐标系中的坐标表示。注视点可以理解为上述三维矢量(即视线)投影在某个平面上的二位坐标。

目前广泛应用的是光学记录法：用照相机或摄像机记录被试者的眼睛运动情况，即获取反映眼睛运动的眼部图像，以及从获取到的眼部图像中提取眼部特征用于建立视线/注视点估计的模型。其中，眼部特征可以包括：瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑(也称为普尔钦斑)位置等。

在光学记录法中，目前最主流的眼球追踪方法称为瞳孔-角膜反射法(pupilcentercorneareflectiontechnique，pccr)，还可以包括不基于眼部图像的方法，例如基于接触/非接触式的传感器(例如电极、电容传感器)推算眼睛的运动。

其中，瞳孔-角膜反射法(pccr)的工作原理可以简单概括为：获取眼部图像；根据眼部图像估计视线/注视点。其硬件部分要求提供光源和图像采集设备。其中，光源一般为红外光源，因为红外光线不会影响眼睛的视觉；并且可以为多个红外光源，以预定的方式排列，例如品字形、一字形等；图像采集设备可以是红外摄像设备、红外图像传感器、照相机或摄像机等。

具体实施时，光源照向眼睛，由图像采集设备对眼部进行拍摄，相应拍摄光源在角膜上的反射点即光斑(也称为普尔钦斑)，由此获取带有光斑(即红外光斑)的眼部图像。随着眼球转动时，瞳孔中心与光斑的相对位置关系随之发生变化，相应采集到的带有光斑的若干眼部图像反映出这样的位置变化关系；根据所述位置变化关系进行视线/注视点估计。

现有的眼球追踪设备中，一般需要在头戴式设备上镶嵌多个依次排列并镶的红外光源，一方面红外光源需要另行布线，为头戴式设备增加负担，影响美观的同时也不利于头戴式设备的一体化；另一方面，多个红外光源的成本高，占用面积大，不利用控制成本。

为此，本申请实施例提供了一种导光式眼球追踪设备、眼球追踪方法及头戴式设备，利用光纤传导红外光源发出的红外光，使得红外光射向用户的眼球形成红外光斑，从而实现对用户的眼球追踪。一方面，红外光源无需额外的布线，不会影响用户使用的同时可以实现眼球追踪模组及头戴式设备的一体化设计，降低结构的复杂度，保证了头戴式设备的轻便和美观程度。另一方面，利用一个红外光源布置多条光纤即可在用户眼球上照射得到多个光斑，降低了成本和占用面积，减小了头戴式设备的体积和重量。

基于上述思想，为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请的具体实施方式做详细的说明。

参见图1，该图为本申请实施例提供的一种导光式眼球追踪设备的结构示意图。

本申请实施例提供的导光式眼球追踪设备100，包括：光源110、图像获取单元120和主控单元130。该导光式眼球追踪设备100还包括至少一条光纤140；

光源110输出的光线经光纤140射向用户的眼球。

可以理解的是，光源110可以是红外光源，也可以是其他指定波长波段的光源，这里不进行限定。在本申请实施例中，利用光纤140传导光源110发出的光线，将该光线射线用户的眼球，可以照亮用户的眼球以便计算注视点，也可以在用户的眼球上反射使得用户眼球带有光斑，利用光斑实现对用户眼球的追踪。一方面，减少了设备的布线，有利于一体化设计的实现；另一方面，当需要在眼球上照射多个光斑进行眼球追踪时，仅需一个光源110连接多条光纤(或光纤束)即可实现，无需布置多个光源，降低了成本和体积。

在具体实施时，可以根据眼球追踪中对光斑数量的实际需要，对光线140的数量进行设定。在一个例子中，当光纤140的数量为多个时，可以利用一条或多条光纤束(即多根光纤的集结)实现。

在本申请实施例一些可能的实现方式中，该眼部追踪设备，还可以包括：光纤通道150。

如图2所示，光纤通道150的一端朝向用户的眼球，光纤140贯穿光纤通道150。光纤140的光输出端内凹于光纤通道150朝向用户的眼球一端或者与光纤通道150朝向用户的眼球一端齐平，不仅可以使得光纤140输出的光照射向用户的眼球，还可以对光线140进行保护，防止光线140损坏。

作为一个示例，光纤通道150可以为沟槽或内部通道。在实际应用中，光纤通道150可以设置在头戴式设备的支撑件上或支撑件的内部，也可以单独为光纤通道150设置相应的壳体。

图像获取单元120，用于获取目标图像。

在本申请实施例中，图像获取单元120可以采用任意一种图像采集技术获得目标图像，这里不进行限定，目标图像用于计算注视点。例如，当光源110为红外光源时，图像获取单元120可以采用红外摄像设备、红外图像传感器、照相机或摄像机等对用户的眼球进行拍摄得到包括眼球光斑的目标图像。又例如，可以利用其他传感技术对用户眼球上反射的光线进行感应，得到包括眼球光斑的目标图像。又例如，图像获取单元120还可以直接对用户的眼球进行拍摄，得到包括用户眼球的目标图像。

在本申请实施例一些可能的实现方式中，图像获取单元120，可以包括：摄像机121和滤光片122；

滤光片122，用于透射与光源110发出的光波长相同的光；

摄像机121透过滤光片122拍摄目标图像。

可以理解的是，摄像机121可以是任意一种摄像设备，这里不进行限定。滤光片122可以仅透射与光源110发出的光波长相同的光(如红外光)，可以使得得到的目标图像中仅包括光斑，避免了信息的干扰，有利于提高眼球追踪的精确度。

需要说明的是，当采用拍摄的形式获得包括光斑和/或眼球的目标目标图像时，需要将摄像设备的拍摄方向朝向用户的眼球，摄像设备需设置在头戴式设备与眼球相对的位置上，可能会导致布局过于紧凑，或者，存在无法获得摄像设备合适的布局位置的情况。为此，在本申请实施例一些可能的实现方式中，可以利用光反射的原理获得目标图像，以避免对图像获取单元120设置位置的限制。

具体的，在本申请实施例一些可能的实现方式中，导光式眼球追踪设备100还可以包括：反射部件；

反射部件，用于反射用户的眼球对光源发出的光纤的反射光；

图像获取单元120，具体用于获取反射部件上反射所形成的图像。

本申请实施例对反射部件的实现方式不进行限定，作为一个示例，当光源110为红外光时，反射部件可以是红外反射膜，红外反射膜仅对红外光进行反射，图像获取单元120得到的光斑在反射部件上反射所形成的图像中仅包括光斑，避免了信息的干扰，有利于提高眼球追踪的精确度。

在实际应用中，可以将反射部件设置在头戴式设备的透镜朝向用户眼球的端面上，图像获取单元120采用摄像设备朝向该式设备的透镜拍摄，获得目标图像。

主控单元130连接图像获取单元120，用于根据图像获取单元120获取的目标图像计算注视点。

在本申请实施例中，主控单元130与图像获取单元120之间可以采用有线连接或无线连接的方式与图像获取单元120，这里不进行限定。主控单元130可以在通过有线链路或无线链路获得目标图像后，确定瞳孔中心与红外光斑的图像中光斑的相对位置变化关系，进行视线/注视点估计计算注视点，从而实现对用户的眼球追踪，这里不再对眼球追踪的具体方法进行赘述。

在一些可能的实现方式中，主控单元130还可以连接光源110，对光源110和图像获取单元120进行控制。例如，控制光源110发光或不发光，控制图像获取单元120对目标图像的获取等。

在本申请实施例一些可能的实现方式中，该导光式眼球追踪设备100可以作为一个整体固定在头戴式设备上，以便用户可以利用不具备眼球追踪功能的头戴式设备利用眼球追踪技术实现人机交互。具体的，该导光式眼球追踪设备100，还可以包括：连接件；

光源110、图像获取单元120和主控单元130固定在连接件上，且光纤140沿连接件设置；

可以理解的是，具体实施时，光源110、图像获取单元120和主控单元130在连接件上的设置位置应当根据实现眼球追踪技术的实际需要设定，这里不再赘述。

连接件140，用于将光源110、图像获取单元120和主控单元130固定在头戴式设备上。

本申请实施例对连接件的具体实现不进行限定，可以采用刚性材质制成，也可以采用柔性材质制成以适应不同形状的头戴式设备。

在本申请实施例中，在导光式眼球追踪设备上利用光纤传导光源发出的光线使之照射用户的眼球，用户的眼球上反射该光线带有光斑。再利用图像获取单元获取目标图像该目标图像用于计算注视点。图像获取单元与主控单元连接，以便主控单元利用图像获取单元获取的目标图像计算注视点。利用光纤束实现对光源发出的光线进行传导，无需额外的布线，不会影响用户使用的同时可以实现眼球追踪模组的一体化设计，降低结构的复杂度，保证了头戴式设备的轻便和美观程度。并且，该导光式眼球追踪设备可以应用于其他不具备眼球追踪功能的头戴式设备上，使用户可以利用眼球追踪技术实现与该头戴式设备的人机交互，提高操作的便捷度。

基于上述实施例提供的导光式眼球追踪设备，本申请实施例还提供了一种眼球追踪方法，可以应用于上述实施例提供的导光式眼球追踪设备中的任意一种。

参见图3，该图为本申请实施例提供的一种眼球追踪方法的流程示意图。

本申请实施例提供的眼球追踪方法，包括：

s301：控制光源110输出光线，该光线通过光纤输出；

s302：获取图像获取单元120获取的目标图像；所述目标图像用于计算注视点；

s303：根据目标图像计算注视点。

对导光式眼球追踪设备的具体说明参见上面的相关内容即可，这里不再赘述。注视信息的获得方式可以利用任意一种眼球追踪方法得到，这里不再一一列举。

在本申请实施例中，在导光式眼球追踪设备上利用光纤传导光源发出的光线使之照射用户的眼球，用户的眼球上反射该光线带有光斑。再利用图像获取单元获取目标图像该目标图像用于计算注视点。图像获取单元与主控单元连接，以便主控单元利用图像获取单元获取的目标图像计算注视点。利用光纤束实现对光源发出的光线进行传导，无需额外的布线，不会影响用户使用的同时可以实现眼球追踪模组的一体化设计，降低结构的复杂度，保证了头戴式设备的轻便和美观程度。并且，该导光式眼球追踪设备可以应用于其他不具备眼球追踪功能的头戴式设备上，使用户可以利用眼球追踪技术实现与该头戴式设备的人机交互，提高操作的便捷度。

基于上述实施例提供的导光式眼球追踪设备和眼球追踪方法，本申请实施例还提供了一种头戴式设备。

本申请实施例提供的头戴式设备400，包括：支撑部和上述实施例提供的导光式眼球追踪设备100中的任意一种。

可以理解的是，支撑部用于将头戴式设备400固定于用户的头部。在实际应用中，可以将支撑部和导光式眼球追踪设备100配置为一体化结构，如图4所示；也可以将导光式眼球追踪设备100作为一个独立的设备固定在支撑部上。

在本申请实施例一些可能的实现方式中，参见图5，该头戴式设备400还可以包括：透镜410；支撑部，具体可以包括：支撑件420和固定件430；

其中，支撑件420，用于将头戴式设备400佩戴于用户头部。固定件430，用于将透镜410固定于支撑件420。

光源110固定在支撑件420或固定件上430；

图像获取单元120和主控单元130固定在支撑件420上；

光纤140的光输出端可以设置在支撑件420、固定件430和透镜410中的任意一个或多个上。

作为一个示例，当头戴式设备400为眼镜时，支撑件420可以是镜腿，固定件430可以是镜框，图像获取单元120和主控单元130可以固定在镜腿(即支撑件420)上。如图6所示，光源110可以固定在镜腿(即支撑件420)上，光纤140沿镜腿布置。此外，光源110还可以固定在镜框(即固定件430)上。在一个例子中，当光源110和图像获取单元120均固定在镜腿(即支撑件420)上时，光源110和图像获取单元120可以设置在一起，例如将光源110设置在图像获取单元120的上方。

在本申请实施例中，光纤140的光输出端可以设置在镜框上，也可以设置在镜腿上。此外，因为光纤140为无色透明材质，光纤140的光输出端还可以设置在透镜410上，而不会对用户对透镜410的观测造成影响。实际应用中，可以根据实际需要对光纤140的光输出端的位置进行具体设定，这里不再一一列举。需要说明的是，当光纤140的光输出端设置在透镜410上时，需要将光纤140的数值孔径控制在一定的范围内，以防止光线140发出的光直接进入透镜410。

在本申请实施例一些可能的实现方式中，当光纤140贯穿光纤通道150设置时，透镜410上可以设置有光纤通道150，在不会对用户对透镜410的观测造成影响的基础上，减少光纤140长度节约成本。例如，当光源110设置在镜腿上时，光纤通道150可以从光源110出发沿镜腿设置，可以一直设置至透镜410。光纤通道150的末端(即光纤140的光输出端)可以设置在镜框上，也可以设置在镜腿上还可以设置在透镜410上，可以根据实际情况设定。

在本申请实施例一些可能的实现方式中，可以将透镜410朝向用户眼球的端面上设置有反射膜；图像获取单元120，具体用于获取反射膜上反射所形成的图像。

本申请实施例对反射膜的具体结构不进行限定，反射膜可以对全光谱光进行反射，也可以对特定波长的光进行反射。作为一个示例，当光源110为红外光源时，反射膜可以是红外反射膜，仅对红外光进行反射，以便图像获取单元120得到的反射膜反射所形成的图像中仅包括该光斑，避免了信息的干扰，有利于提高眼球追踪的精确度。

在本申请实施例中，在导光式眼球追踪设备上利用光纤传导光源发出的光线使之照射用户的眼球，用户的眼球上反射该光线带有光斑。再利用图像获取单元获取目标图像该目标图像用于计算注视点。图像获取单元与主控单元连接，以便主控单元利用图像获取单元获取的目标图像计算注视点。利用光纤束实现对光源发出的光线进行传导，无需额外的布线，不会影响用户使用的同时可以实现眼球追踪模组的一体化设计，降低结构的复杂度，保证了头戴式设备的轻便和美观程度。并且，该导光式眼球追踪可以应用于其他不具备眼球追踪功能的头戴式设备上，使用户可以利用眼球追踪技术实现与该头戴式设备的人机交互，提高操作的便捷度。

以上所述，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制。虽然本申请已以较佳实施例揭露如上，然而并非用以限定本申请。任何熟悉本领域的技术人员，在不脱离本申请技术方案范围情况下，都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本申请技术方案的内容，依据本申请的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本申请技术方案保护的范围内。