一种基于眼球追踪技术进行信息处理的方法及系统与流程

本发明属于全息显示技术领域，具体涉及一种基于眼球追踪技术进行信息处理的方法及系统。

背景技术：

目前国内有许多税务自助终端，它是集成办税服务厅窗口硬件及自助操作软件用于纳税人自行办理税务的平台设备。税务自助终端系统实现了基本的相关业务功能，比如增值税专用发票代开、增值税普通发票代开、货物运输发票代开、纳税申报等功能，可以让纳税人在办税服务场所办理相关税务，不必去大厅工作人员处进行排队等候，这也为大厅工作人员减轻了压力。

目前的税务自助终端系统中，一般都支持触屏，金属键盘，语音等交互方式进行办理业务。而许多纳税人来办理业务的时候，总是会携带一些材料、证件等相关资料，或者背包、手机等个人物品。携带这些物品将会占用纳税人的双手，导致使用自助机需要进行触屏或者键盘操作时很不方便，就算语音交互也可能由于自助大厅人多嘈杂而导致语音控制效果不佳。这就为纳税人和大厅工作人员带来了不必要的麻烦，浪费了时间，同时也让税务自助终端失去了应有的意义。

技术实现要素：

针对现有技术中的缺陷，本发明实施例提供一种基于眼球追踪技术的终端系统，在使用此系统办理税务时，自助机通过眼球追踪硬件，可以追踪纳税人眼球数据，经过软件分析，判断出纳税人想做的操作，实现在自助终端上业务的办理。让纳税人可以在税务自助终端上，不占用双手的前提下，轻松办理相关税务，不必去窗口排队，达到了为纳税人提供便利，为大厅工作人员分担压力，提高工作效率的技术效果。

针对以上技术问题，本发明第一方面实施例提供了一种基于眼球追踪技术进行信息处理的方法，所述方法包括：

通过图像获取单元实时检测目标对象与信息终端的距离，当确定目标对象与信息终端的距离小于第一距离阈值时，确定目标对象的朝向信息；

当基于所述目标对象的朝向信息确定所述目标对象的面部朝向信息终端的显示界面时，确定所述所述目标对象的面部与所述显示界面的距离是否小于第二距离阈值；

当目标对象的面部与所述显示界面的距离小于第二距离阈值时，获取与用户眼球相关的数据，对所述与用户眼球相关的数据进行分析以确定显示界面内的第一注视点位置；

确定以显示界面内的第一注视点位置为中心的预定范围内的图标数量，当图标数量大于图标数量阈值时，将以显示界面内的第一注视点位置为中心的预定范围内的每个图标转换为浮动模式，并将处于浮动模式的每个图标以预定间隔距离进行移动；

获取与用户眼球相关的数据，对所述与用户眼球相关的数据进行分析以确定显示界面内的第二注视点位置，当所述第二注视点位置位于显示界面内多个图标中的第一图标的区域范围内时，触发与所述第一图标相对应的功能。

所述获取与用户眼球相关的数据包括：通过监测眼球运动获取与用户眼球相关的数据。

通过监测眼球运动获取与用户眼球相关的数据包括：

获取眼球注视运动数据，所述眼球注视运动数据包括以眼球中心为起点所述眼球向其他方向成散射的运动。

通过监测眼球运动获取与用户眼球相关的数据包括：

获取眼球跟随运动数据，所述跟随运动数据为眼球在有限距离范围内的往返运动。

第一距离阈值为50厘米；第二距离阈值为20厘米；预定范围为半径为5厘米的圆形，图标数量阈值为4个或5个；预定间隔为屏幕宽度的1/20。

本发明第二方面实施例提供了一种基于眼球追踪技术进行信息处理的系统，所述系统包括：

检测单元，通过图像获取单元实时检测目标对象与信息终端的距离，当确定目标对象与信息终端的距离小于第一距离阈值时，确定目标对象的朝向信息；

获取单元，当基于所述目标对象的朝向信息确定所述目标对象的面部朝向信息终端的显示界面时，确定所述所述目标对象的面部与所述显示界面的距离是否小于第二距离阈值；当目标对象的面部与所述显示界面的距离小于第二距离阈值时，获取与用户眼球相关的数据，对所述与用户眼球相关的数据进行分析以确定显示界面内的第一注视点位置；

移动单元，确定以显示界面内的第一注视点位置为中心的预定范围内的图标数量，当图标数量大于图标数量阈值时，将以显示界面内的第一注视点位置为中心的预定范围内的每个图标转换为浮动模式，并将处于浮动模式的每个图标以预定间隔距离进行移动；

处理单元，获取与用户眼球相关的数据，对所述与用户眼球相关的数据进行分析以确定显示界面内的第二注视点位置，当所述第二注视点位置位于显示界面内多个图标中的第一图标的区域范围内时，触发与所述第一图标相对应的功能。

其中获取单元获取与用户眼球相关的数据包括：获取单元通过监测眼球运动获取与用户眼球相关的数据。

获取单元通过监测眼球运动获取与用户眼球相关的数据包括：

获取单元获取眼球注视运动数据，所述眼球注视运动数据包括以眼球中心为起点所述眼球向其他方向成散射的运动。

获取单元通过监测眼球运动获取与用户眼球相关的数据包括：

获取单元获取眼球跟随运动数据，所述跟随运动数据为眼球在有限距离范围内的往返运动。

第一距离阈值为50厘米；第二距离阈值为20厘米；预定范围为半径为5厘米的圆形，图标数量阈值为4个或5个；预定间隔为屏幕宽度的1/20。

本发明第三方面实施例提供了一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以上任一所述基于眼球追踪技术的终端系统执行程序代码对应的程序。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的基于眼球追踪技术进行信息处理的方法的流程图；

图2是本发明实施例公开的基于眼球追踪技术进行信息处理的系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明实施例保护的范围。

本发明是为了让税务自助终端提供更好的税务办理功能，让纳税人在终端机上可以高效快捷的进行无接触式交互，省去在大厅窗口排队的时间，为纳税人提供便捷服务。

本系统为了支持眼球追踪技术，需要在自助机上安装眼球追踪仪，该硬件可以捕获眼球追踪需要的各种数据，包括用户的眼睛位置，距离，眼球的图像等数据。对于人的眼球运动大致分为三类：注视、眼跳和跟随运动。本系统由于税务自助终端界面操作相对简单，只需要用到注视和跟随运动。本发明实施例提供一种基于眼球追踪技术的终端系统，在使用此系统办理税务时，自助机通过眼球追踪硬件，可以追踪纳税人眼球数据，经过软件分析，判断出纳税人想做的操作，实现在自助终端上业务的办理。让纳税人可以在税务自助终端上，不占用双手的前提下，轻松办理相关税务，不必去窗口排队，达到了为纳税人提供便利，为大厅工作人员分担压力，提高工作效率的技术效果。

针对以上技术问题，本发明第一方面实施例提供了一种基于眼球追踪技术进行信息处理的方法，所述方法包括：

步骤101，通过图像获取单元实时检测目标对象与信息终端的距离，当确定目标对象与信息终端的距离小于第一距离阈值时，确定目标对象的朝向信息。

步骤102，当基于所述目标对象的朝向信息确定所述目标对象的面部朝向信息终端的显示界面时，确定所述所述目标对象的面部与所述显示界面的距离是否小于第二距离阈值。

步骤103，当目标对象的面部与所述显示界面的距离小于第二距离阈值时，获取与用户眼球相关的数据，对所述与用户眼球相关的数据进行分析以确定显示界面内的第一注视点位置。

步骤104，确定以显示界面内的第一注视点位置为中心的预定范围内的图标数量，当图标数量大于图标数量阈值时，将以显示界面内的第一注视点位置为中心的预定范围内的每个图标转换为浮动模式，并将处于浮动模式的每个图标以预定间隔距离进行移动。

步骤105，获取与用户眼球相关的数据，对所述与用户眼球相关的数据进行分析以确定显示界面内的第二注视点位置，当所述第二注视点位置位于显示界面内多个图标中的第一图标的区域范围内时，触发与所述第一图标相对应的功能。

其中所述获取与用户眼球相关的数据包括：通过监测眼球运动获取与用户眼球相关的数据。通过监测眼球运动获取与用户眼球相关的数据包括：获取眼球注视运动数据，所述眼球注视运动数据包括以眼球中心为起点所述眼球向其他方向成散射的运动。通过监测眼球运动获取与用户眼球相关的数据包括：获取眼球跟随运动数据，所述跟随运动数据为眼球在有限距离范围内的往返运动。

根据本发明的实施例，第一距离阈值为40厘米、50厘米、60厘米或1米等。根据本发明的实施例，第二距离阈值为15厘米、20厘米或25厘米等。根据本发明的实施例，预定范围为半径为4厘米、5厘米或6厘米的圆形。或者，预定范围为半径为屏幕宽度的1/10、1/5的圆形，或预定范围为半径为屏幕长度的1/10、1/20的圆形。根据本发明的实施例，图标数量阈值为3个、4个、5个或6个。根据本发明的实施例，预定间隔为屏幕宽度的1/10、1/15、1/20或屏幕长度的1/10、1/15或1/20的圆形。

本发明获取眼球注视运动数据，获取用户注视界面具体位置。税务自助终端在办理业务时，主要使用的交互方式为点击客户端界面上的按钮，包含返回按钮、确定按钮和功能按钮等。眼球追踪仪可以获取到用户注视自助机界面上的具体位置，客户端程序采用多线程方式时刻监听眼球数据软件的返回结果，当用户注视的位置为界面上某个按钮的时候，调用对应按钮的响应函数来执行相应操作，达到眼球交互的目的。

本发明获取眼球跟随运动数据。办理业务时，可能需要有拖拽操作，比如用户刷完身份证后，需要通过身份证信息获取用户绑定的纳税人信息，而有些用户绑定了多条纳税人信息，需要从中选择一个纳税人信息作为此次办理业务的登录用户。多条纳税人信息采用了列表控件进行显示，当绑定的纳税人信息较多时，会出现滚动条，而系统支持眼球交互。眼球追踪仪可以检测到用户的眼球跟随运动，当用户浏览列表中纳税人信息时会出现此种运动，眼球数据分析软件会返回给客户端监听器，客户端会调用滚动条滑动响应，实现眼球滑动列表的交互。

通过以上两种运动检测，可以实现对自助机业务办理所需的所有操作。也就实现了让用户采用无接触式交互操作自助机，办理业务。

本发明所提供的方法可通过眼球追踪设备，追踪用户眼球数据，经过软件分析，判断出用户想做的操作，实现在自助终端上业务的办理。让纳税人可以在税务自助终端上，不占用双手的前提下，轻松办理相关税务。现有的无接触式交互中用的较为广泛的方式为语音交互和基于kinect的体感交互。语音交互需要语义解析服务器作为辅助，通过请求交互实现语音控制，成本和效率都不如眼球追踪技术。而体感交互则需要用户通过姿势来控制，需要较大的活动范围，使用条件受到限制。而本发明发挥了其应有的功能，让用户可以在自助终端上更效率，更方便的进行无接触式交互来办理业务，节省了去大厅窗口排队办理代开业务的时间，同时也大大减轻了大厅窗口的人流量，分担了税务大厅的工作人员的压力，提高了工作效率。

本发明第二方面实施例提供了一种基于眼球追踪技术进行信息处理的系统，所述系统包括：检测单元201、获取单元202、移动单元203以及处理单元204。检测单元201，通过图像获取单元实时检测目标对象与信息终端的距离，当确定目标对象与信息终端的距离小于第一距离阈值时，确定目标对象的朝向信息。

获取单元202当基于所述目标对象的朝向信息确定所述目标对象的面部朝向信息终端的显示界面时，确定所述所述目标对象的面部与所述显示界面的距离是否小于第二距离阈值；当目标对象的面部与所述显示界面的距离小于第二距离阈值时，获取与用户眼球相关的数据，对所述与用户眼球相关的数据进行分析以确定显示界面内的第一注视点位置。

移动单元203确定以显示界面内的第一注视点位置为中心的预定范围内的图标数量，当图标数量大于图标数量阈值时，将以显示界面内的第一注视点位置为中心的预定范围内的每个图标转换为浮动模式，并将处于浮动模式的每个图标以预定间隔距离进行移动。

处理单元204获取与用户眼球相关的数据，对所述与用户眼球相关的数据进行分析以确定显示界面内的第二注视点位置，当所述第二注视点位置位于显示界面内多个图标中的第一图标的区域范围内时，触发与所述第一图标相对应的功能。

其中获取单元获取与用户眼球相关的数据包括：获取单元通过监测眼球运动获取与用户眼球相关的数据。获取单元通过监测眼球运动获取与用户眼球相关的数据包括：获取单元获取眼球注视运动数据，所述眼球注视运动数据包括以眼球中心为起点所述眼球向其他方向成散射的运动。获取单元通过监测眼球运动获取与用户眼球相关的数据包括：获取单元获取眼球跟随运动数据，所述跟随运动数据为眼球在有限距离范围内的往返运动。

根据本发明的实施例，第一距离阈值为40厘米、50厘米、60厘米或1米等。根据本发明的实施例，第二距离阈值为15厘米、20厘米或25厘米等。根据本发明的实施例，预定范围为半径为4厘米、5厘米或6厘米的圆形。或者，预定范围为半径为屏幕宽度的1/10、1/5的圆形，或预定范围为半径为屏幕长度的1/10、1/20的圆形。根据本发明的实施例，图标数量阈值为3个、4个、5个或6个。根据本发明的实施例，预定间隔为屏幕宽度的1/10、1/15、1/20或屏幕长度的1/10、1/15或1/20的圆形。

本发明获取眼球注视运动数据，获取用户注视界面具体位置。税务自助终端在办理业务时，主要使用的交互方式为点击客户端界面上的按钮，包含返回按钮、确定按钮和功能按钮等。眼球追踪仪可以获取到用户注视自助机界面上的具体位置，客户端程序采用多线程方式时刻监听眼球数据软件的返回结果，当用户注视的位置为界面上某个按钮的时候，调用对应按钮的响应函数来执行相应操作，达到眼球交互的目的。

本发明获取眼球跟随运动数据。办理业务时，可能需要有拖拽操作，比如用户刷完身份证后，需要通过身份证信息获取用户绑定的纳税人信息，而有些用户绑定了多条纳税人信息，需要从中选择一个纳税人信息作为此次办理业务的登录用户。多条纳税人信息采用了列表控件进行显示，当绑定的纳税人信息较多时，会出现滚动条，而系统支持眼球交互。眼球追踪仪可以检测到用户的眼球跟随运动，当用户浏览列表中纳税人信息时会出现此种运动，眼球数据分析软件会返回给客户端监听器，客户端会调用滚动条滑动响应，实现眼球滑动列表的交互。

通过以上两种运动检测，可以实现对自助机业务办理所需的所有操作。也就实现了让用户采用无接触式交互操作自助机，办理业务。

本发明所提供的方法可通过眼球追踪设备，追踪用户眼球数据，经过软件分析，判断出用户想做的操作，实现在自助终端上业务的办理。让纳税人可以在税务自助终端上，不占用双手的前提下，轻松办理相关税务。现有的无接触式交互中用的较为广泛的方式为语音交互和基于kinect的体感交互。语音交互需要语义解析服务器作为辅助，通过请求交互实现语音控制，成本和效率都不如眼球追踪技术。而体感交互则需要用户通过姿势来控制，需要较大的活动范围，使用条件受到限制。而本发明发挥了其应有的功能，让用户可以在自助终端上更效率，更方便的进行无接触式交互来办理业务，节省了去大厅窗口排队办理代开业务的时间，同时也大大减轻了大厅窗口的人流量，分担了税务大厅的工作人员的压力，提高了工作效率。

此外，终端系统可以包括：获取模块，用于获取与用户眼球相关的数据。调用模块，用于调用与所述用户眼球数据对应的响应函数。执行模块，用于执行与所述响应函数对应的动作。

根据本发明的一个实施例，所述所述获取与用户眼球相关的数据包括通过监测眼球运动获取用户眼球数据，包括：第一获取单元，用于获取眼球注视运动数据，所述眼球注视运动数据包括以眼球中心为起点所述眼球向其他方向成散射的运动。

第二获取模块，用于获取眼球跟随运动数据，所述跟随运动数据为眼球在有限距离范围内的往返运动。

根据本发明的一个实施例，所述执行模块包括：第一执行单元，用于执行按钮操作；第二执行单元，用于执行滚动条浏览操作。

本发明第三方面实施例提供了一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以上任一所述基于眼球追踪技术的终端系统执行程序代码对应的程序。

具体方案如下：第一获取单元，包括获取眼球注视运动数据，获取用户注视界面具体位置。税务自助终端在办理业务时，主要使用的交互方式为点击客户端界面上的按钮，包含返回按钮、确定按钮和功能按钮等。眼球追踪仪可以获取到用户注视自助机界面上的具体位置，客户端程序采用多线程方式时刻监听眼球数据软件的返回结果，当用户注视的位置为界面上某个按钮的时候，调用对应按钮的响应函数来执行相应操作，达到眼球交互的目的。

第二获取单元，用于获取眼球跟随运动数据。办理业务时，可能需要有拖拽操作，比如用户刷完身份证后，需要通过身份证信息获取用户绑定的纳税人信息，而有些用户绑定了多条纳税人信息，需要从中选择一个纳税人信息作为此次办理业务的登录用户。多条纳税人信息采用了列表控件进行显示，当绑定的纳税人信息较多时，会出现滚动条，而系统支持眼球交互。眼球追踪仪可以检测到用户的眼球跟随运动，当用户浏览列表中纳税人信息时会出现此种运动，眼球数据分析软件会返回给客户端监听器，客户端会调用滚动条滑动响应，实现眼球滑动列表的交互。

通过以上两种运动检测，可以实现对自助机业务办理所需的所有操作。也就实现了让用户采用无接触式交互操作自助机，办理业务。

本发明所提供的税务自助终端系统可通过眼球追踪设备，追踪用户眼球数据，经过软件分析，判断出用户想做的操作，实现在自助终端上业务的办理。让纳税人可以在税务自助终端上，不占用双手的前提下，轻松办理相关税务。现有的无接触式交互中用的较为广泛的方式为语音交互和基于kinect的体感交互。语音交互需要语义解析服务器作为辅助，通过请求交互实现语音控制，成本和效率都不如眼球追踪技术。而体感交互则需要用户通过姿势来控制，需要较大的活动范围，使用条件受到限制。而本发明发挥了其应有的功能，让用户可以在自助终端上更效率，更方便的进行无接触式交互来办理业务，节省了去大厅窗口排队办理代开业务的时间，同时也大大减轻了大厅窗口的人流量，分担了税务大厅的工作人员的压力，提高了工作效率。

本发明所涉及的测算和分析软件非发明人研究开发，是本领域人员所熟悉的技术。

显然，上述具体实施案例仅仅是为了说明本方法应用所作的举例，而非对实施方式的限定，对于该领域的一般技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化和变动，用以研究其他相关问题。因此，本发明的保护范围都应以权利要求的保护范围。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的电子设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上各实施例仅用以说明本发明的实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明的实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的实施例各实施例技术方案的范围。