一种基于眼动识别的交互方法及装置与流程

本发明实施例涉及一种人机交互领域，更具体地，涉及一种基于眼动识别的交互方法及装置。

背景技术

眼动识别技术就是通过对眼动轨迹的记录从中提取诸如注视点，注视时间和次数，眼跳距离，瞳孔大小等数据来进行识别。

现有技术中，采用的人机交互方法，而在交互的过程中，人类通过外接设备来实现实际交互时很容易出现人体疲劳，导致人机交互迟缓，现在的外接设备主要包括手柄、键盘和鼠标等。

因此如何解决通过外接设备交互时出现的人体容易疲惫这一问题，已经越发重要。

技术实现要素：

本发明实施例提供一种基于眼动识别的交互方法及装置，用以解决上述问题或至少部分解决上述问题。

第一方面，本发明实施例提供一种基于眼动识别的交互方法，包括：获取用户在交互过程中的三维眼动数据信息；

将所述三维眼动数据信息进行映射处理，得到所述三维眼动数据信息所对应的二维眼动数据信息；

根据预设判断规则对所述二维眼动数据信息进行处理，得到眼动动作信息；

将所述眼动动作信息与预设眼动交互数据库进行匹配，得到所述眼动动作信息所对应的交互信息，以根据所述交互信息完成交互。

第二方面，本发明实施例提供一种基于眼动识别的交互装置，包括：

获取模块，用于获取用户在交互过程中的三维眼动数据信息；

映射模块，用于将所述三维眼动数据信息进行映射处理，得到所述三维眼动数据信息所对应的二维眼动数据信息；

处理模块，用于根据预设判断规则对所述二维眼动数据信息进行处理，得到眼动动作信息；

交互模块，用于将所述眼动动作信息与预设眼动交互数据库进行匹配，得到所述眼动动作信息所对应的交互信息，以根据所述交互信息完成交互。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述基于眼动识别的交互方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述基于眼动识别的交互方法的步骤。

本发明实施例提供的基于眼动识别的交互方法及装置，通过将三维眼动数据信息映射为二维眼动数据信息，并根据该二维眼动数据信息的眼动动作信息，从而最终得到该眼动动作信息所对应的交互信息，以实现交互。

附图说明

图1为本发明一实施例提供的基于眼动识别的交互方法流程示意图；

图2为本发明一实施例提供的一种基于眼动识别的交互装置结构示意图；

图3为本发明一实施例提供的电子设备结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明一实施例提供的基于眼动识别的交互方法流程示意图，如图1所示，包括：

s1，获取用户在交互过程中的三维眼动数据信息；

s2，将所述三维眼动数据信息进行映射处理，得到所述三维眼动数据信息所对应的二维眼动数据信息；

s3，根据预设判断规则对所述二维眼动数据信息进行处理，得到眼动动作信息；

s4，将所述眼动动作信息与预设眼动交互数据库进行匹配，得到所述眼动动作信息所对应的交互信息，以根据所述交互信息完成交互。

s1具体为，这里的三维眼动数据信息就是指通过眼动追踪装置获取的眼球瞳孔中心在世界坐标中的坐标位置信息，此处获取用户在交互过程中的三维眼动数据信息，是指以一定的频率，实时获取该信息。

s2具体为，这里的映射处理可以是由眼动追踪装置来实现，此处的眼部追踪装置可以为tobii眼动仪，该眼动仪中可以由红外线接收器、红外线发射器和高速摄像机构成，且由于眼球的瞳孔和角膜对光线的发射率不同，红外线接收器接收到的眼球所反射红外线的强度也不同，从而产生了亮度的差异，因此可以通过这些差异和计算机图像学方法，获取眼球瞳孔中心在世界坐标系中的坐标数据，且该坐标数据包括时间刻度信息，这里的时间刻度信息是指眼动仪获取眼球瞳孔中心坐标数据的时间信息。

在获得眼球瞳孔中心在世界坐标系中的坐标数据后，可以根据tobii眼动仪中的计算机图形学方法，结合眼部瞳孔中心与交互装置中屏幕的空间关系，标定出对应的屏幕注视点坐标信息，此处的屏幕注视点坐标信息是指用户在交互过程中的屏幕注视点在屏幕坐标系中的坐标信息，该屏幕注视点坐标信息即为该三维眼动数据信息所对应的二维眼动数据信息。

s3具体为，此处的二维眼动数据信息是指用户在交互过程中的屏幕注视点坐标信息，且该二维眼动数据信息中除了用户的屏幕注视点在屏幕坐标系中的坐标信息还包括时间刻度信息，此处的时间刻度信息是指获取二维眼动数据信息的时间。

由于用户很难每次都注视到一个点，且就算用户注视到一个点，此时的二维眼动数据信息中的时间刻度信息也会发生改变，即无法通过单个二维眼动数据信息来进行眼动动作信息的判断；因此，可以根据多个二维眼动数据信息来判断用户在此时的眼动轨迹信息，再将该眼动轨迹信息与预设的眼动动作信息数据库进行匹配，得到该眼动轨迹信息对应的眼动动作信息。

其中预设判断规则具体是指根据用户在交互过程中的多个二维眼动数据信息来判断此时多个二维眼动数据信息所共同组成的眼动轨迹信息，再将该眼动轨迹信息与预设的眼动动作信息数据库进行匹配，从而得到眼动动作信息。

例如，获取到用户在交互过程中的多个二维眼动数据信息分别为则此时由屏幕坐标系中的(x1',y1')与屏幕坐标系中的(x2',y2')所构成的轨迹即为该多个二维眼动数据信息所共同组成的眼动轨迹信息。

s4具体为，在将预设眼动动作信息与预设眼动交互数据库进行匹配之前，还包括预先对预设眼动交互数据库进行设定，该预设眼动交互数据库中包括眼动轨迹信息及其对应的交互信息，例如，若眼动轨迹信息为凝视，则其对应的交互信息为选中或释放。

根据所述交互信息完成交互具体为，可以是将交互信息发送至开发引擎封装成事件信息，再由该开发引擎发送到交互装置中的显示设备，以供该显示设备显示交互结果，此处的开发引擎可以为unity3d开发引擎，该开发引擎可以安装在交互装置中。

本发明实施例通过将三维眼动数据信息映射为二维眼动数据信息，并根据多个该二维眼动数据信息，从而得到由多个该二维眼动数据信息组合而成的眼动轨迹信息，再根据该眼动轨迹信息来得到其对应的眼动动作信息，从而最终得到交互信息，以实现交互。

在上述实施例的基础上，所述获取三维眼动数据信息的步骤，具体为：

向眼球发射红外光线；

接收所述红外光线经所述眼球的瞳孔反射的第一反射光线和所述红外光线经所述眼球的角膜反射的第二反射光线；

根据所述红外光线、所述第一反射光线和所述第二反射光线，得到眼球的瞳孔中心坐标和角膜曲率中心坐标，以获取三维眼动数据信息。

其中，眼动追踪装置向眼球发射红外光线，此处的红外光线可以是0.76μm～400μm的红外光线；然后由眼动追踪装置接收该眼球的反射光线，而由于眼球中的瞳孔和角膜对光线的反射率不同，因此接收到眼球的反射光线中包括眼球瞳孔的第一反射光线和角膜的第二反射光线。

将该眼球瞳孔的第一反射光线和角膜的第二反射光线输入到眼动追踪装置中，根据眼动追踪装置中预设的计算机图形学方法，从而得到眼球的瞳孔中心坐标和角膜曲率中心坐标，最后得到眼球的瞳孔中心在世界坐标系中的坐标，同时考虑获取该世界坐标系中的坐标的时间刻度，得到对应的三维眼动数据信息。

本发明实施例通过向眼球发送红外光线，并接收眼球反射的该红外光线，并通过预设的计算机图形学方法从而得到眼球的三维眼动数据信息，以方便后续步骤的进行。

在上述实施例的基础上，所述将所述三维眼动数据信息进行映射处理，得到所述三维眼动数据信息所对应的二维眼动数据信息的步骤，具体包括：

获取用户在交互过程中的在世界坐标系oxyz中三维眼动数据信息p(xi,yi,zi,ti)；

将所述三维眼动数据信息进行映射处理，得到其在屏幕坐标系ox'y'下对应的二维眼动数据信息g(x'i,y'i,ti)；

其中，xi,yi,zi为所述三维眼动数据信息在世界坐标系中的坐标，x'i,y'i为所述二维眼动数据信息在屏幕坐标系中的坐标，ti为时间刻度信息。

具体的，此处将三维眼动数据信息进行映射处理可以是tobii眼动仪来实现，此处的tobii眼动仪中包括可以将三维眼动数据信息映射处理为二维眼动数据信息的映射处理算法，此处的映射处理算法为tobii眼动仪中已经配置好的算法。

其中，三维眼动数据信息p(xi,yi,zi,ti)具体是指眼球瞳孔中心在世界坐标系oxyz中的坐标数据信息(xi,yi,zi)和获取该三维眼动数据信息的时间刻度ti；其中，二维眼动数据信息g(x'i,y'i,ti)具体是指三维眼动数据信息映射到交互装置的屏幕上的屏幕注视点坐标信息，(x'i,y'i)是该屏幕注视点在屏幕坐标系中坐标信息，此处的ti具体是指获取二维眼动数据信息的时间刻度。

本发明实施例将用户交互过程中世界坐标系的三维眼动数据信息通过眼动追踪装置映射处理为二维眼动数据信息，以后方便后续步骤的处理。

在上述实施例的基础上，所述根据预设判断规则对所述二维眼动数据信息进行处理，得到眼动动作信息的步骤，具体包括：

根据多个所述二维眼动数据信息，获得所述多个所述二维眼动数据信息对应的眼动轨迹信息；

将所述眼动轨迹信息与预设眼动动作信息数据库进行匹配，得到所述眼动轨迹信息所对应的眼动动作信息。

具体的，其中的眼动轨迹信息可以包括在目标区域停留、连续眨眼两次和在目标区域内跳转等，而在目标区域内跳转又可以具体分为从交互装置屏幕的右上角区域跳转到该屏幕的中心区域、从交互装置屏幕的右下角区域跳转到该屏幕的中心区域或从交互装置屏幕的中心区域跳转到该屏幕的右下角区域等；在预设眼动动作信息数据库中，包括各眼动轨迹信息所对应的眼动动作信息，例如，在目标区域停留的眼动轨迹信息所对应的眼动动作信息为凝视；连续眨眼两次的眼动轨迹信息所对应的眼动动作信息为双目眨眼。

其中，该眼动轨迹信息是由多个二维眼动数据信息组合得到的信息，是由于用户很难每次都注视到一个点，且就算用户在交互过程中屏幕注视点一直不变，此时的二维眼动数据信息中的时间刻度信息也会发生改变，即无法通过单个二维眼动数据信息来进行眼动动作信息的判断；因此，可以根据多个二维眼动数据信息来判断用户在此时的眼动轨迹信息。

本发明实施例通过多个所述二维眼动数据信息，获得所述多个所述二维眼动数据信息对应的眼动轨迹信息；然后根据此处的眼动轨迹信息获取其对应的眼动动作信息，以方便后续交互信息的识别。

在上述实施例的基础上，所述根据预设判断规则对所述二维眼动数据信息进行处理的步骤，还包括：

在预设时间阈值内，对于任意两个所述二维眼动数据信息，坐标y'i的差值大于第一预设阈值或坐标x'i的差值大于第二预设阈值，则判定所述任意两个所述二维眼动数据信息所对应的眼动动作信息为无效信息；

其中，所述时间阈值为任意两个所述二维眼动数据信息中，时间刻度信息的差值。

具体的，此处的任意两个二维眼动数据信息是指组成一个眼动轨迹信息的多个二维眼动数据信息中的任意两个，此处的二维眼动数据信息具体为屏幕注视点在屏幕坐标系ox'y'中的坐标信息(x'i,y'i,ti)，因此坐标y'i的差值具体是指该任意两个该二维眼动数据信息在屏幕坐标系中y'值的差值，同理可以推断坐标x'i的差值是指该任意两个该二维眼动数据信息在屏幕坐标系中x'值的差值；其中的时间阈值是指任意两个该二维眼动数据信息中时间刻度信息的差值，即ti的差值。

其中判定所述任意两个所述二维眼动数据信息所对应的眼动动作信息为无效信息，是指任意两个二维眼动数据信息所对应的眼动轨迹信息无法在预设眼动动作信息数据库中找到对应其对应的眼动动作信息，及该任意两个二维眼动数据信息所对应的眼动轨迹信息为无效信息，此时眼动追踪装置识别失败，无法进行后续识别步骤。

本发明实施例通过在构成眼动轨迹信息的二维眼动数据信息中选取任意两个二维眼动数据信息，并根据该任意两个二维眼动数据信息来判断该眼动轨迹信息是否为有效信息，以方便后续交互处理。

在上述实施例的基础上，所述将所述眼动动作信息包括：凝视、双目眨眼和两点眼跳。

具体的，凝视这一眼动动作信息所对应的眼动轨迹信息是指在交互过程中，用户在交互装置上的屏幕注视点在第一预设时间阈值内一直处于屏幕坐标系的预设区域中，即在第一预设时间阈值内，二维眼动数据信息一直处于屏幕坐标系的预设区域中。

具体的，双目眨眼这一眼动作信息所对应的眼动轨迹信息是指在交互过程中，眼部追踪设备在第二预设时间阈值内两次丢失所获取的二维眼动数据信息，且此处的第二预设时间阈值应该是较小的时间数值。

具体的，两点眼跳这一眼动动作信息所应用的眼动轨迹信息是指在交互过程中，用户在交互装置上的屏幕注视点在预设时间阈值内，从屏幕坐标系中的第一预设区域移动到屏幕坐标系中的第二预设区域。

本发明实施例所描述的眼动动作信息，有利于后续交互步骤的进行。

图2为本发明一实施例提供的一种基于眼动识别的交互装置结构示意图，如图2所示，该交互装置包括：获取模块201、映射模块202、处理模块203和交互模块204，其中：

获取模块201用于获取用户在交互过程中的三维眼动数据信息；映射模块202用于将所述三维眼动数据信息进行映射处理，得到所述三维眼动数据信息所对应的二维眼动数据信息；处理模块203用于根据预设判断规则对所述二维眼动数据信息进行处理，得到眼动动作信息；交互模块204用于将所述眼动动作信息与预设眼动交互数据库进行匹配，得到所述眼动动作信息所对应的交互信息，以根据所述交互信息完成交互。

本发明实施例提供的一种基于眼动识别的交互装置是用于执行本发明上述各方法实施例，具体的流程和详细介绍请参照上述各方法实施例，此处不再赘述。

本发明实施例通过将三维眼动数据信息映射为二维眼动数据信息，并根据多个该二维眼动数据信息，从而得到由多个该二维眼动数据信息组合而成的眼动轨迹信息，再根据该眼动轨迹信息来得到其对应的眼动动作信息，从而最终得到交互信息，以实现交互。

图3为本发明一实施例提供的电子设备结构示意图，如图3所示，该设备可以包括：

处理器(processor)310、通信接口(communicationsinterface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行如下方法：获取用户在交互过程中的三维眼动数据信息；将所述三维眼动数据信息进行映射处理，得到所述三维眼动数据信息所对应的二维眼动数据信息；根据预设判断规则对所述二维眼动数据信息进行处理，得到眼动动作信息；将所述眼动动作信息与预设眼动交互数据库进行匹配，得到所述眼动动作信息所对应的交互信息，以根据所述交互信息完成交互。

此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取用户在交互过程中的三维眼动数据信息；将所述三维眼动数据信息进行映射处理，得到所述三维眼动数据信息所对应的二维眼动数据信息；根据预设判断规则对所述二维眼动数据信息进行处理，得到眼动动作信息；将所述眼动动作信息与预设眼动交互数据库进行匹配，得到所述眼动动作信息所对应的交互信息，以根据所述交互信息完成交互。

本发明实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令使计算机执行上述实施例所提供的船用功能插件测试方法，例如包括：获取用户在交互过程中的三维眼动数据信息；将所述三维眼动数据信息进行映射处理，得到所述三维眼动数据信息所对应的二维眼动数据信息；根据预设判断规则对所述二维眼动数据信息进行处理，得到眼动动作信息；将所述眼动动作信息与预设眼动交互数据库进行匹配，得到所述眼动动作信息所对应的交互信息，以根据所述交互信息完成交互。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。