专利名称：通过眼睛控制和合适的交互方法使用通用软件应用的方法及装置的制作方法
技术领域：
本发明涉及通过眼睛跟踪器件，即通过使用眼睛移动，控制通用软件应用的系统及方法的领域。没有机会使用鼠标访问软件应用，用户应该利用允许他/她通过眼睛移动执行可以使用鼠标执行的相同操作的技术。为此，已开发了允许用户显著减少将要进行的认知努力的技术和设计。现有技术的状态眼睛移动的跟踪潜在地向用户提供了通过简单地看着其显示器控制个人计算机的软件的可能性。然而，在使用用于控制个人计算机的软件的眼睛移动的跟踪系统-或眼睛跟踪系统期间存在使用户感到挫败的问题。特别地，眼睛应该同时表现为输入和输出器件，即它们应该探索并执行正确的动作。而且，眼睛跟踪器件遭受在测量屏幕上的凝视的位置方面的固有的准确性问题。因此，考虑到许多软件程序需要几毫米的准确度，以及其他的软件程序也需要就像素而言可估计的准确度，传感器的准确性总是受到误差(在显示器上的当前光标位置与由用户想要的光标位置相比较之间的差异)的影响且这使得不能容易地控制大部分的软件应用。因此眼睛跟踪系统的使用一般局限于专为残障用户制作的需要低指向精度的软件。事实上，用户应该从一系列相对较大的单元中做出他/她的选择，在相对较大的单元中准确性的误差影响较小。相反，在通用软件应用的领域中，用于控制应用的眼睛跟踪系统的使用，例如，通过跟随凝视的方向每秒被更新许多次的光标的移动，对于需要显著的专注的努力的用户来说——他们很快产生疲劳，准确性的误差使用户的任务十分困难。由用户做出的通过朝向光标应该被放置的位置重定向他/她的凝视以纠正误差的任何尝试只不过使光标的使用越来越有问题且累人。在现有技术状态中使用的一些解决方案通过放大个人计算机的显示器的一部分提供了解决上述问题的方法，为的是提高在光标的位置方面的准确性。然而，因为在这些情况下还存在补偿误差，所以这种方法是不充分的，从而继续使用户感到挫败，而且暗示着增加的界面的复杂性，这可能造成混乱和分心。当前可用的其他的解决方案暗示“离屏”菜单的出现，其允许用户通过仿真可以利用鼠标执行的不同操作(单击、双击、右击、拖放)选择要执行哪个动作。而且，在一些情况下，可以通过将凝视指向设置在薄的涂塑纸板带上的图标激活想要的功能，所述涂塑纸板被定位在监视器的垂直周边上因此眼睛应该在图标上或在想要的功能上激活功能之前选择到其的外部功能，然后将将通过凝视控制的光标移向想要的图标或应用。在另外的其他的情况下，还可能控制与眼睛跟踪系统连接的第二 PC，第二 PC的监视器应该被安装在眼动跟踪仪的监视器的旁边以给用户容易地观察鼠标对应用的控制的机会。利用在屏幕视图上的凝视，鼠标指针的方向被激活在眼睛跟踪器件的监视器上， 并且一旦选择方向，在另一 PC上可观察到该效果；只要凝视从想要控制的PC上移开，指针停止以及可以选择想要的命令。因此，可以利用眼睛跟踪系统通过鼠标的仿真控制连接的第二 PC。原则上，我们可以断言，与迄今为止所实现的那些相反，具有在其上所描绘的元素不过多地干预软件的正常使用的显示器是可行的，其原因如下用户的注意力随着在屏幕上描绘的元素数量的逐渐增加指数下降，用户通常不大熟悉眼睛跟踪器件，而且可能受到认知障碍的影响使得对眼睛跟踪器件的利用望而却步。由于上述原因，本发明的目标是提供一种用于通过能够克服上面列出的缺陷的眼睛跟踪系统控制个人计算机的方法。一个主要要求仍然是通过确保界面接受“自然的”输入和“自然地”响应并容易理解以最小化操纵软件所需的认知努力。由于此原因，将有必要开发一个使用交互技术的对于用户没有压力的界面。考虑到许多输入是无意的，系统应该正确地解释它们而不产生由非自愿的动作所造成的未经请求的响应。因此，如果不是他/她打算发出的命令，这种系统应该能够区分用户的真正意愿同时让他/她安然地观察界面；另一方面，用户应该能够评估系统的当前状态是什么，以意识到他/她的意图是否被正确地解释以避免非自愿命令的执行。还应该强调的是，虽然现有技术状态的系统通过经由眼睛控制的鼠标的仿真(凝视的移动转换成光标的移动)控制操作系统，本发明的目标是在修改的并使得适于通过眼睛控制选择模式的新交互器中提供一种个人计算机的操作系统的“原始的”本地交互器的新映射(光标等)。因此，本发明建立一种“直接通道”，因为光标的仿真通过以下事实克服本地交互器被那些修改过的并适应于需要使用凝视作为输入系统的交互器所取代。而且，虚拟机的使用提供了进一步的优势，其允许管理并建立虚拟环境以执行具有相关的软件应用的进一步的操作系统以及用户可以一开始同时使用虚拟机。优势之一是安全性虚拟机是完全孤立且独立的以及虚拟机的突然崩溃不涉及主机操作系统的崩溃； 因此不需要重启计算机而只终止虚拟机并再次启动它同时避免损坏例如文件系统。由于依据本发明的方法被集成在一个通信套件中，通过使用虚拟机可能简单地、 快速地且安全地通过以下描述的控制技术从使用经典的PC应用移动(通过暂停虚拟机) 至专门设计用于通过眼睛控制被使用的通信套件，从而克服现有技术状态中的系统问题， 现有技术状态中的系统提供了从一种模式移动至另一种模式的相当复杂的程序。同时，用户可以通过合适的快捷方式直接选择执行在通信套件内部的一些预定义的应用，从而克服直接从操作系统执行的可能的问题。附图简述
图1示出了依据本发明的方法的结构框图。图2示出了依据本发明的方法的流程图。图3示出了关于过滤来自眼睛跟踪器件的粗糙数据的模块的流程图。
图4示出了关于应用控制模块的流程图。图5示出了关于坐标映射模块的流程图。图6示出了关于与在屏幕视图中的交互器相关的数据恢复策略的流程图。图7-10通过非限制性实施例的方式示出了本发明的应用目标的图形界面的可能的实施方式。发明_既述本发明的目标由通过眼睛控制使用通用操作系统和与其连接的通用软件应用的方法和装置组成。本发明的其他目标由通过交互技术开发的合适的交互方法和如在权利要求中描述的直观且易于使用的用户界面组成，权利要求构成本说明书的不可分割的一部分。因此本发明的方法目标描绘了一种基于选择性的且自然的输入，例如凝视，的辅助技术的可能的实施方式，在通用操作系统和与其连接的应用的控制方面极具创新性。本发明的详细描述在本发明的优选实施方式中，本发明的装置目标包括数据及信息处理的电子设备、存储所述数据及信息的设备和用户界面设备。所述电子数据及信息处理设备包括合适的控制部分，优选地基于至少一个微处理器，以及例如可以由个人计算机提供。所述存储设备优选地包括硬盘和闪存类型的存储器件。所述用户界面设备优选地包括数据可视化设备，例如显示器、监视器或模拟外部输出单元和适应于解释用户的凝视方向的眼睛跟踪器件。所述微处理器优选地配备有操作系统、通过虚拟机的使用和通过实现图1中描述的方法结构的合适的软件程序建立的合适的虚拟环境，包括以下模块，依次包括适应于执行具体任务的一系列指令过滤模块10，在过滤模块10中处理用户的凝视的坐标以使来自所使用的眼睛跟踪器件的粗糙数据更加稳定；一种模块，即操作系统/应用控制模块11，负责控制操作系统及与此相关联的应用并负责运行开发应用图形界面，所述界面包含关于在屏幕视图中的交互器的信息并执行与由用户在那一刻注视的交互器相关联的本地动作，所述交互器是在界面中的可激活的元素图标、弹出下拉式菜单、复选框等，适应于使用户对要控制的应用程序执行动作。所述操作系统/应用控制模块11由两个组件子模块构成控制器模块12和客户端模块13。所述控制器模块12负责管理交互器的表现和定义与每一交互器相关联的本地动作以及依次包括三个其他的彼此相互作用的模块坐标映射模块12A，其负责执行关于屏幕视图及其中的交互器的坐标的新映射 (在客户端与控制器之间不同)；交互器管理模块12B，其负责执行与输入凝视相比较以限定哪些交互器由用户注视并适当地且可能修改地将交互器显示在界面上，例如显示在侧部面板上；本地动作定义模块12C，其负责定义与操作系统的每一交互器相关联的本地动作并负责将动作发送至客户端模块13，从而使其可用于连续处理。所述坐标映射模块12A依次由两个彼此相互作用的子模块组成坐标变换子模块14，其执行关于屏幕视图和交互器的坐标的变换，以及自适应校准子模块15，其通过比较在用户可以选择的交互器上的信息和来自眼动跟踪仪的凝视的坐标获得的平面的几何变形执行坐标的进一步的重新调整，这两个模块的结合动作的结果是以上关于坐标映射模块 12A描述的一个。所述客户端模块13适用于定义在屏幕视图中的交互器的位置和功能，其依次包括两个彼此相互作用的其他模块界面管理模块13A，其负责分析屏幕视图并将关于屏幕视图和通过不同的搜索方法检测到的目前的交互器的信息发送至控制器模块12 ；本地动作管理模块13B，其负责接收关于与本地动作相关的信息并作为对所述操作系统的动作执行它。参照图2，示出了通过说明依据本发明的方法的步骤描述以上提及的模块的操作及彼此的相互连接的框图a)在与所述数据处理设备相关联的所述数据可视化设备上，可视化20控制用户界面，其适应于允许用户控制操作系统以及所述电子处理设备的与其相关联的应用程序。b)用户的凝视的坐标是以粗糙数据的形式，即以关于两只不同的眼睛的凝视的坐标的采样形式，采样受到强烈震荡，通过包括在所述用户界面设备中的眼睛跟踪器件进行检测21。这些震荡一般在某一位置附近发生，但是也有一些凝视是完全错误的并应该通过过滤操作将其剔除。c)对所述粗糙数据进行过滤22以使其稳定且适用于对用户的凝视位置提供指示，即对某些周围内的用户的凝视的数量提供指示。d)将经过过滤的表示成注视点的x，y坐标的数据发送23至操作系统/应用控制模块11，操作系统/应用控制模块通过定义要执行的动作和要在所述用户界面上进行的修改处理所述数据。e)执行23由前述步骤确定的要执行的动作以及，可能地，在动作本身之后，适当地修改所述控制用户界面。f)重复从步骤b)开始的顺序直到用户决定退出他/她正在使用的应用程序。依据以下指示的且在图3中图示的顺序执行依据步骤C)的粗糙数据的过滤程序g)使用例如统计标准执行粗糙数据的预过滤30并检测和剔除非有效采样。h)在一个被视为可能由用户注视的点处结合31右眼和左眼的凝视的坐标。i)相对于期望的采样数量(基于预先考虑的采样数量定义)计算32平均值和标准偏差。j)为估算值定义33公差。k)基于在前述步骤i)和步骤j)中所建立的相对于那些将被丢弃的数据区分34 可接受的数据。依据以下指示的且在图4中图示的顺序处理被发送至操作系统/应用控制模块11 的经过过滤的数据1)界面管理模块13A分析屏幕视图并将关于屏幕视图和在当前用户界面中的交互器的信息发送40至坐标映射模块12A。m)坐标映射模块12A执行关于屏幕视图及交互器的坐标的新映射并执行与关于来自眼动跟踪仪的凝视的数据的比较。所述新映射允许相对于与基于来自眼睛跟踪器件的凝视的坐标定义的系统具有不同原点的轴的另一系统定义来自客户端模块13的关于在屏幕视图中的交互器的位置的坐标。一旦执行该操作，所述比较允许理解哪个交互器由用户注视。η)交互器管理模块12Β通过使用启发式技术以通过确定哪个交互器将最可能被选择确定出现的顺序适当地显示它们(例如，显示在程序的具体用户界面的侧部面板上) 再次取出42检测到的凝视的周围中出现的交互器。这允许以“加权”方式从最可能的到最不可能的显示每一交互器。然后交互器管理模块12Β等待关于来自眼动跟踪仪的凝视的数据和等待选择在侧部面板中的交互器中的一个。ο)本地动作定义模块12C定义43与每一交互器相关联的操作系统的本地动作 (即通过客户端模块13模拟的以及对应来自键盘的控制键的插入、单击、拖放等事件)并将其发送至本地动作管理模块13Β。ρ)本地动作管理模块1 接收关于与所选择的交互器相关联的本地动作的信息并将其作为在操作系统上的动作来执行它44(例如，发送字符、在具体位置中的鼠标移动
寸J ο依据以下指示的且在图5中图示的顺序进行依据在图4中图示的顺序的步骤m) 的再次映射坐标的过程q)坐标变换模块14执行50关于屏幕视图和输入交互器的坐标的变换并将这些数据发送至自适应校准模块15。r)自适应校准模块15通过比较在用户可以选择的交互器上的信息和来自眼动跟踪仪的凝视的坐标获得的平面的几何变形执行51坐标的进一步的重新调整，并将用于更新映射的信息发送至坐标变换模块14。通过使用以下描述的并在图6中图示的步骤，界面管理模块在以上描述的全部过程期间连续地执行在屏幕视图中的交互器的搜索s)界面管理模块13A询问60API (应用程序接口)的可访问功能以跟踪在页面中的不同的交互器的位置和功能。t)界面管理模块13A实现61在页面中的窗口的图表的递归交叉算法同时试图提取其他信息(以克服由通过可访问API获得的不充分的信息所表现的障碍)。U)界面管理模块13A查阅62预先形成的所支持的应用的数据库，从该数据库中获得使用各种应用的策略。数据库包含关于各种应用和各种应用程序是如何进行的一般信息以及启发式地从其获得所不知道的其他应用和应用程序如何进行的指示。所描述的方法允许例如残障用户使用配备有例如操作系统和应用程序(诸如 Windows⑧和Microsoft Office⑧包)的个人计算机。以下详细地描述由用户执行的动作用户被布置在与监视器连接的眼动跟踪仪的前面，在监视器中可视化想要通过眼睛移动控制的操作系统/应用的屏幕视图。用户注视例如在Windows 应用栏上的开始图标，靠近开始图标的是Word . 应用和Windows 的图标凝视在眼动跟踪仪的固有特征的具体周围中移动。由于这样和由于眼睛跟踪器件的可能的和固有的准确性误差，可能不能确定地说出用户在注视什么和他/她的意图是什么。为了避免这个问题，在凝视的周围中的所有交互器(例如，开始按钮、 Word 程序图标、Windows )栏)均被显示在侧部面板上，适用于通过眼睛控制进行选择 (良好间隔且具有合适的尺寸)。通过关于在屏幕视图(可访问API查询、窗口图表的递归交叉、预定义应用的数据库)中的交互器的合适的数据恢复策略(类型、位置等)检测这些交互器以及依据通过启发式技术获得的顺序以“加权”方式显示这些交互器(从最可能的到最不可能的)。用户注视侧部面板上的感兴趣的交互器并且当按钮被良好间隔且具有合适的尺寸时，关于用户的选择没有歧义。因此选择所述按钮并执行随之发生的动作。更加详细地并且参照附图7-10，用户首先将他/她自己布置在与监视器连接的眼动跟踪仪的前面，在监视器中可视化想要通过眼睛移动控制的操作系统/应用的屏幕视图 70(图 7)。用户注视例如在Windows⑧应用栏上的开始图标，靠近开始图标的是Word 应用和Windows 栏的图标凝视71在眼动跟踪仪的固有特征的具体的周围中移动。由于这样和由于眼睛跟踪器件的可能的和固有的准确性误差，可能不能确定地说出用户在注视什么和他/她的意图是什么(图7)。在凝视71的周围中的所有交互器(例如，开始按钮、Word 图标、Windows )栏) 均被显示在侧部面板72上，适用于通过眼睛控制进行选择(良好间隔且具有合适的尺寸)。 通过关于在屏幕视图(可访问API查询、窗口图表的递归交叉、预定义应用的数据库)中的交互器的合适的数据恢复策略(类型、位置等)检测这些交互器以及依据通过启发式技术获得的顺序以“加权”方式显示这些交互器(从最可能的到最不可能的)(图8)。用户注视在侧部面板72上的感兴趣的交互器73 当按钮被良好间隔且具有合适的尺寸时，关于用户的选择没有歧义(图9)。选择所述按钮并执行随之发生的动作。在从交互器面板选择开始按钮之后，随之执行动作(图10)，或关于请求的窗口被打开74。交互器面板72是空的时跟随用户的连续凝视等待再次被装满新的交互器。
权利要求
1.一种通过眼睛控制来使用通用软件应用的方法，包括以下步骤a)在与合适的数据处理设备相关联的合适的给定的可视化设备上可视化00)控制用户界面以允许用户控制操作系统以及所述数据处理设备的相关联的应用程序；b)通过包括在与所述数据处理设备相关联的合适的用户界面设备中的眼睛跟踪器件 21 (眼动跟踪仪)检测以粗糙数据形式的用户的凝视的坐标，即关于每一用户的眼睛的凝视的坐标的采样；c)对所述粗糙数据进行过滤0 以使其稳定且适于提供关于用户的注视的指示，即在某些周围内的用户的凝视的数量；d)将经过过滤的表示成注视点的x，y坐标的数据发送至操作系统/应用控制模块(11)，所述操作系统/应用控制模块(11)通过定义要执行的动作和要在所述控制用户界面上要引入的改变来处理所述数据；所述操作系统/应用控制模块(11)包括一套指令以控制操作系统和相关的应用以及运行开发应用图形界面，所述开发应用图形界面包含关于在屏幕视图中出现的交互器的信息并执行与由用户在那一刻注视的所述交互器相关联的本地动作；e)执行由前述步骤03)确定的动作以及，在必要的情况下，依据所发生的动作适当地修改所述控制用户界面；f)重复从步骤b)开始的序列直到用户决定退出他正在使用的应用程序。
2.如权利要求1所述的方法，其中依据前述步骤c)的粗糙数据的过滤程序通过以下步骤执行g)通过使用统计标准检测和剔除非有效的采样来预过滤(30)所述粗糙数据；h)在可能是由用户注视的一个点处将右眼的凝视的坐标和左眼的凝视的坐标结合 (31)；i)计算(3 与期望的采样数量(依据预先考虑的采样数量定义)比较时的平均值和标准偏差；j)为估算值定义(33)公差；k)选择(34)可接受的数据，依据在前述步骤i)和步骤j)中所阐述的，在与那些将被丢弃的数据比较的情况下，区分出所述可接受的数据。
3.如权利要求1-2所述的方法，其中依据步骤d)的从所述操作系统/应用控制模块 (11)接收的数据的处理依据以下的步骤序列执行1)通过界面管理模块(13A)分析用户想通过眼睛控制来控制的应用程序或操作系统的屏幕视图以及将关于所述屏幕视图和在实际用户界面中出现的所述交互器的信息发送 (40)至坐标映射模块(12A)；所述界面管理模块(13A)包括一套能够分析所述屏幕视图并能够检测关于所述屏幕视图及相关的所述交互器的信息的指令；所述坐标映射模块(12A) 包括一套能够执行关于所述屏幕视图及相关的所述交互器的坐标的新映射的指令；m)通过与关于来自所述眼动跟踪仪的用户的凝视的数据的比较通过所述坐标映射模块(12A)执行关于所述屏幕视图及相关的所述交互器的坐标的新映射(41)，如果与具有与定义来自所述眼动跟踪仪的凝视的坐标的系统不同的原点的轴的另一系统比较，所述新映射允许定义来自客户端模块(1 的关于在所述屏幕视图中的所述交互器的位置的坐标； 所述客户端模块(1 包括一套能够定义在实际屏幕视图中出现的所述交互器的位置和功能的指令；η)交互器管理模块(12Β)再次取出0 在所检测的凝视的周围中出现的所述交互器， 在所述界面上适当地显示它们并可能地修改它们，所述交互器管理模块(12B)包括一套能够执行输入的“凝视”的控制的指令以限定哪些交互器由用户限定并能够适当地将所述交互器显示在所述界面上，通过使用启发式技术决定通过确定哪个交互器将最可能被选择的出现顺序；然后所述交互器管理模块(12B)等待关于来自所述眼动跟踪仪的凝视的数据和等待对在侧部面板中出现的所述交互器中的一个的选择；ο)本地动作定义模块(12C)定义03)与每一交互器相关的操作系统的本地动作(即与来自键盘的控制的插入、单击、拖放等对应的事件)以及将其发送至本地动作管理模块 (1 )，所述本地动作定义模块(12C)包括一套能够定义与所述操作系统的每一交互器相关的本地动作并使其能够用于连续处理的指令，所述本地动作管理模块(13B)包括一套能够接收关于与所选择的交互器相关的本地动作的信息并且将其作为在所述操作系统上的动作执行的指令；P)所述本地动作管理模块(13B)接收04)关于与所选择的交互器相关的本地动作的信息作为所述操作系统上的动作。
4.如权利要求3所述的方法，其中依据步骤m)的坐标重新映射的过程依据以下的步骤序列执行q)坐标变换模块(14)执行(50)与关于所述屏幕视图和输入的交互器的信息相关的坐标的变换并将这些数据发送至自适应校准模块(15)，所述坐标变换模块(14)包括一套能够执行与所述屏幕视图和所述交互器相关的坐标的变换的指令；r)所述自适应校准模块(1 重新调整(51)坐标并将用于更新映射的信息发送至所述坐标变换模块(14)，所述自适应校准模块(1 包括一套能够通过平面的几何变形执行坐标的进一步的重新调整的指令，平面的几何变形通过比较在用户能够选择的所述交互器上的信息以及来自所述眼动跟踪仪的凝视的坐标获得。
5.如权利要求1-4所述的方法，其中所述界面管理模块(13A)以连续方式、通过以下的步骤序列执行对在所述屏幕视图中出现的所述交互器的搜索s)所述界面管理模块(13A)询问(60)API (应用程序接口)的可访问功能以跟踪在页面中出现的不同的交互器的位置和功能；t)所述界面管理模块(13A)实现(61)在页面中出现的窗口的图表的递归交叉算法，试图提取进一步的信息以克服由通过可访问的API获得的可能不充分的信息所表现的障碍； u)所述界面管理模块(13A)查阅(6 预先形成的所支持的应用的数据库，从该数据库中获得使用各种应用的策略，所述数据库包含关于所述应用和所述应用程序如何进行的一般信息。
6.一种用于通过眼睛控制来使用通用软件应用的装置，所述装置包括数据及信息的电子处理设备、存储所述数据及信息的设备和用户界面设备，其中所述数据及信息的电子处理设备包括基于至少一个微处理器的合适的控制选择，以及所述用户界面设备包括显示器、监视器或模拟输出单元和能够解释用户的凝视的方向的眼睛跟踪器件。
7.如权利要求1所述的装置，其中所述数据及信息的电子处理设备包括个人计算机。
8.如权利要求1-2所述的装置，其中所述微处理器包括操作系统、通过使用虚拟机和合适的软件程序产生的合适的虚拟环境。
9.如权利要求3所述的装置，其中所述合适的软件程序实现如权利要求1-5所述的方法。
10.一种计算机程序，包括用于编程能够执行如权利要求1-5所述的方法的步骤的代码的设备，其中所述程序通过计算机执行。
11.一种计算机可读记录支持器，具有记录在其上的程序，所述可读记录支持器包括适应于实现权利要求1-5的所有步骤的计算机程序的编码设备，其中所述计算机程序在计算机上运行。
全文摘要
本发明的方法及装置目标涉及一种通过以简单的交互技术为特征的眼睛控制使用通用软件应用的系统，所述交互技术最小化操纵软件所需的用户的认知努力并允许克服由眼睛跟踪系统的固有的准确性问题产生的问题。事实上，这种技术不提供使用通过凝视移动的鼠标的指针控制各种软件应用而是使用通过合适的交互技术的使用是舒适的并且不涉及通过用户更加努力的专注的不同的应用。事实上已经做出还通过使用视觉反馈简化在用户和机器之间的交互过程的尝试，所述视觉反馈允许由用户执行鼠标的相同操作而没有由于眼睛跟踪器件的准确性问题产生典型的用户挫败。
文档编号G06F3/048GK102483650SQ201080039407
公开日2012年5月30日 申请日期2010年9月13日 优先权日2009年9月11日
发明者保罗·因韦尔尼齐 申请人:Sr兰博斯有限责任公司