使用凝视信息的用户识别和/或认证的制作方法

对相关申请的交叉引用

本申请要求对2016年4月16日提交的题为“identificationorauthenticationofauserusinggazeinformation（使用凝视信息的用户识别或认证）”的美国临时专利申请号62/148,501的优先权，藉此其全部公开内容通过引用被并入本文中用于所有目的，如同完全在本文中陈述了一样。

背景技术：

本发明一般涉及用于使用来自用户的凝视信息对该用户进行用户识别和/或认证的系统和方法，并且特别地涉及用于允许用户使用这样的凝视信息登录到设备的系统和方法。

在现代计算中，安全性是至关重要的。随着计算设备的移动性和能力的增加，越来越多的设备被多个用户使用。因此，准确地识别多个用户并使其能够登录到设备是至关重要的。

传统的识别和认证系统依赖于简单的机制，诸如密码或通行码认证。这是麻烦的，因为该系统依赖于用户记住用户名和/或密码两者的确切语法的能力。并且通常用户必须要记住用于不同系统的大量、潜在地不同的用户名和密码。此外，这样的信息可能潜在地被从用户学习、提取、拷贝或以其它方式获得以便被用来作为该用户虚假登录。

先前已经提出使用其它形式的识别和认证来允许用户登录到计算设备。例如，许多计算设备现在包括用于扫描用户的指纹以便于登入设备的指纹传感器。用这样的系统的问题在于用户必须将他们的手指保持在感测表面上静止不动一段时间，并且因此急躁以及诸如感测表面或手指上的污垢和其它障碍物之类的附加问题可能妨碍系统正确地运行。

此外，已经提出了视网膜扫描技术作为替代的认证技术。在这些系统中，通过相机或诸如此类来扫描用户的视网膜，并且将其与保存的视网膜简档进行匹配，从而允许正确的用户登录到计算设备。该系统也要求用户在扫描期间保持静止不动，并且因此存在系统故障的潜在可能。

视网膜扫描和其它面部扫描系统也可能被诸如扫描人或其眼睛的照片的方法所欺骗。因此，需要一种改进的系统来作为活人对用户进行认证并允许设备的登录。

此外，需要对用户来说独特的非接触式登录过程并允许用户关于计算设备进行认证，即使当被第三方观察时也是如此。

技术实现要素：

在一个实施例中，提供了用于对设备的用户进行认证的系统。该系统可以包括第一图像传感器、确定单元和认证单元。第一图像传感器可以用于捕获用户的至少一部分的至少一个图像。确定单元可以用于至少部分地基于由第一图像传感器捕获的至少一个图像来确定与用户的眼睛有关的信息。认证单元可以用于使用与用户的眼睛有关的信息来对用户进行认证。

在另一实施例中，提供了用于对设备的用户进行认证的方法。该方法可以包括用第一图像传感器捕获用户的至少一部分的至少一个图像。该方法还可以包括至少部分地基于由第一图像传感器捕获的至少一个图像来确定与用户的眼睛有关的信息。该方法可以进一步包括使用与用户的眼睛有关的信息来对用户进行认证。

在另一实施例中，提供了具有存储在其上的指令的非暂时性机器可读介质，所述指令用于对设备的用户进行认证的方法。该方法可以包括用第一图像传感器捕获用户的至少一部分的至少一个图像。该方法还可以包括至少部分地基于由第一图像传感器捕获的至少一个图像来确定与用户的眼睛有关的信息。该方法可以进一步包括使用与用户的眼睛有关的信息来对用户进行认证。

附图说明

结合附图对本发明进行描述：

图1是用于对设备的用户进行认证的本发明的一个实施例的一个系统的框图；

图2是用于对设备的用户进行认证的本发明的一个实施例的一种方法的框图；以及

图3是能够在本发明的装置或系统的至少某部分中使用的、或能够实现本发明的方法的至少某部分的示例性计算机系统的框图。

具体实施方式

接下来的描述仅提供示例性实施例，并不旨在限制本公开的范围、适用性或配置。相反，接下来对示例性实施例的描述将为本领域技术人员提供用于实现一个或多个示例性实施例的授权（enabling）描述。应当理解的是，可以对元素的功能和布置进行各种改变而不脱离如本文中陈述的本发明的精神和范围。

在以下描述中给出了具体细节，以便提供对实施例的透彻理解。然而，本领域技术人员将理解的是，可以在没有这些具体细节的情况下实践所述实施例。例如，在本文中所讨论的任何给定实施例中，该实施例的任何具体细节可以或可以不存在于该实施例的所有可设想版本中。同样地，关于一个实施例讨论的任何细节可以或可以不存在于本文中所讨论的其它实施例的任何潜在的版本中。此外，可以在没有不必要的细节的情况下对本发明中的电路、系统、网络、过程、众所周知的电路、过程、算法、结构和技术以及其它元素进行讨论，以便避免模糊实施例。

术语“机器可读介质”包括但不限于便携式或固定存储设备、光存储设备、无线信道和能够存储、包含或携带（一个或多个）指令和/或数据的各种其它介质。代码段或机器可执行指令可以表示过程、函数、子程序、程序、例程、子例程、模块、软件包、类、或者指令、数据结构或程序语句的任何组合。可以通过传递和/或接收信息、数据、参数、参量或存储器内容使代码段联结到另一代码段或硬件电路。可以经由包括存储器共享、消息传递、令牌传递、网络传输等的任何合适的手段来传递、转发或传输信息、参数、参量、数据等。

此外，可以至少部分地手动地或自动地实现本发明的实施例。手动或自动实现方式可以通过使用机器、硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合来执行或至少来辅助。当以软件、固件、中间件或微代码来实现时，可以将用以执行必要任务的程序代码或代码段存储在机器可读介质中。（一个或多个）处理器可以执行所述必要任务。

在一些实施例中，提供了用于对用户进行认证的系统，藉此该系统利用来自凝视确定设备的信息。在示例性实施例中，凝视确定设备是基于红外线的眼睛追踪设备，诸如来自tobii（www.tobii.com）或其它供应商的市场上可获得的系统。也有可能使用合并在可穿戴系统（诸如虚拟现实或增强现实头戴送受话器）中的眼睛追踪设备。

从广义上说，本发明的实施例涉及用于根据以下方法对用户进行认证的系统：（1）使用来自图像传感器或眼睛追踪设备的信息来验证存在于设备前方的用户，（2）基于面部辨识来验证该用户是设备的适当用户和/或通过接收并分析凝视和/或眼睛信息来提供用户作为设备的适当用户的增强验证，以及（3）基于来自先前步骤的信息对用户进行认证。

由图像传感器捕获的图像可以只包括用户的一只或两只眼睛，或者其可以进一步包含诸如用户的面部的额外信息。本发明的明确目标是允许使用能够被眼睛追踪设备捕获的任何信息。该信息包括但不限于眼睛张开度、眼睛位置、眼睛取向和头部取向。可以使用如本领域技术人员将容易理解的面部辨识算法来分析包含用户的面部的图像，以识别用户。

此外，确定捕获的图像属于活生生的人可能是有利的。根据一些实施例，这样做的一种方法可以是针对从用户的角膜反射出的红外光的存在来分析捕获的图像。通过使用基于红外光的眼睛追踪设备，在用户的（一只或两只）眼睛的角膜上可以存在闪光，其可以使用适当配置的图像传感器来捕获。

用于确定捕获的图像是否属于活生生的人的另一种方法可以是检查一系列捕获图像。可以对该系列捕获图像进行分析以确定用户的凝视点是否是静态的。非静态的凝视点将一般指示活人。该分析甚至可以寻找并识别活生生的眼睛的已知移动，诸如眼急动和/或注视，包括微小的眼急动。

用于确定所捕获的图像是否属于活生生的人的另一种方法可以是比较不同光源被激活时所捕获的图像。例如，当与图像传感器同轴地放置的红外光源被激活时，所捕获的图像可以具有所谓的亮瞳效应，而当与图像传感器非同轴地放置的红外光源被激活时，所捕获的图像将具有所谓的暗瞳效应。可以执行亮瞳和暗瞳图像的比较以确定瞳孔的存在。以这种方式，可能难以向系统提供假瞳孔。

一旦系统已经确定用户是活生生的并且识别了该用户，它就可以可选地加载定义人眼睛中的至少一个的特性的个人校准简档。该校准简档可以用于更改确定的用户凝视方向，例如，该校准简档可以提供用以应用于来自用户的所有确定的凝视方向的标准偏移。替代地，校准简档可以包含关于用户的（一只或两只）眼睛的特性的数据，例如，视网膜中央凹相对于眼睛的光轴的偏移或眼睛的角膜曲率。然后，用户可以凝视显示器上指示他们期望登录到系统的指示符，例如，说明“登录”的按钮、小的眼睛捕捉图标等将是合适的。

在另一改进中，校准简档可以包含另外的信息，诸如瞳孔间距离、瞳孔大小、瞳孔大小的变化、亮瞳对比、暗瞳对比、角膜半径等。该信息可以在校准简档中预先存在，或者可以在分析以确定用户是否是活生生的（alive）同时被并入到校准简档中。为了执行登录（认证）过程，用户可以取决于系统配置而进行以下中的一个：

在第一实施例中——查看以预定次序显示的一系列图像或文本，从而基本上凝视一个图案。该图案已经在先前（诸如在系统的设置阶段）被定义、分配给用户或由用户选择。可以使用先前定义的图案与目前检测到的图案的比较来确定该用户是否已认证。

在第二实施例中——用他们的（一只或两只）眼睛跟随移动对象，其可能是一系列移动对象之中的单个移动对象。该特定移动对象在系统的设置阶段期间被预定义、分配给用户或由用户选择，并且如果用户的（一只或两只）眼睛跟随该特定移动对象而不是也显示的其它对象则允许登录设备。

在第三实施例中——在一系列移动对象之中以预定义的次序（所述预定义的次序在系统的设置阶段期间被定义、分配给用户或由用户选择）凝视不同的移动对象。

在第四实施例中——注视预定对象、图像或图像的部分（所述预定义的对象、图像或图像的部分在系统的设置阶段期间被定义、分配给用户或由用户选择）。

凝视移动序列中的具体的点可以按照用户的凝视停留在每个点上的时间来定义。此外，用以完成序列所花费的时间总量也可以用作决定点以决定序列是否合法。

包括用于启动登录过程的“重置”功能可能是合期望的，这可以是在用户必须凝视于其上或以其它方式激活的屏幕上显示的图标等，以向系统指示用户希望开始登陆过程。

在本发明的另一改进中，可以由用户定义“恐慌”认证模式。在该模式中，用户可以设置与其常规认证序列不同的认证序列。当输入该替代序列时，计算设备可以诸如通过限制功能性和所显示的信息（银行账户信息、敏感信息等）来更改其功能，或者计算设备可以联系预先标识的紧急联系（诸如警务或可信联系）。该联系可以是经由电子邮件、电话、文本消息等。

如先前已经描述的认证过程可以用于针对计算设备的操作或针对计算设备上执行的服务的识别和/或认证。举例来说，本文中所描述的识别和认证过程适合于向网站、应用等认证用户。

具有已知的校准简档对于登录过程而言是有用的但不是必要的。在不加载校准简档的情况下，比较几个不同的静态对象和/或一个或多个移动对象之间的凝视图案是可能的，以使凝视图案与影像的已知布局相匹配。在一些实施例中，凝视图案可以同时用于为设备创建校准。

在一些实施例中，系统可以包括具有多个照明源的眼睛追踪设备。系统可以操作眼睛追踪设备，使得当不同的照明源被激活时捕获图像，这将在捕获的图像中产生阴影的变化。该阴影图像可以用于对用户的面部进行建模以获得更准确的面部辨识。本实施例的附加好处在于，可能难以使用诸如打印图像的平面图像来伪造真实的人，因为在这样的打印图像上的阴影将不会基于变化的照明源而更改。

在一些实施例中，可以通过图像传感器来捕获三维头部姿态信息。这种头部姿态信息可以在一系列图像之上更改，并且可以用于确保通过图像传感器捕获了活的人以及可以被面部辨识算法所使用。

在一些实施例中，系统中的眼睛追踪设备可以包括两个或更多个图像传感器。通过使用两个或更多个图像传感器捕获图像，可以创建如本领域技术人员将理解的距离图。该距离图可以用于识别用户并且对于所述用户来说可以是独特的，从而使得在捕获的图像中伪造用户的存在更加困难。

替代地，通过使用两个或更多个图像传感器捕获图像，可以使用来自两个或几个（可能已知的）视点的图像，而不需要通过确保在单个时间点从多个角度对人进行成像并将这些图像与表示所述人面部和/或至少一只眼睛的某些方面的预先记录的模型相匹配来创建距离图，从而使得在捕获的图像中伪造用户的存在更加困难。作为另一改进，一旦用户已被认证并且登入到系统，设备就可以周期性地执行用以确保系统的用户仍然是先前已认证了的相同用户的过程。这一过程可以包括本文中所描述的任何内容，以便将捕获图像或一系列捕获图像中的用户与已认证用户的身份进行比较。如果系统检测到设备的用户不是该已认证用户，那么系统可以执行以下动作中的一个或多个：通知用户、关闭设备上的应用、从设备上的显示器中移除项目、登出设备、关闭设备和/或向另一系统或个人发送通知消息。

在一些实施例中，本文中所描述的系统和方法中的任何可以用于登入到具体的应用或程序而非登入到设备。举例来说，在大型多人在线角色扮演游戏（mmorpg）中，用户花费大量的时间和精力通过扮演来增加计算机/虚拟角色的能力和特性。本发明可以用于对mmorpg中的角色的所有者或授权操作者进行认证。当然，本发明的实施例可以适于任何形式的游戏或任何其它软件。

本发明的实施例可以适合于在要求用户识别以及所述用户是该系统的授权用户的认证的任何系统中使用。这样的系统的示例包括但不限于计算机、笔记本电脑、平板电脑、移动电话、传统的陆线电话、车辆、机械、受安保的入口通道、虚拟现实头戴送受话器以及增强现实头戴送受话器。

在本发明的一些实施例中，可以在虚拟现实或增强现实环境中执行认证过程。在该环境中，经由头戴送受话器等并以二维或模拟三维格式向用户呈现对象是可能的。然后，用户可以通过凝视环境中（例如，在二维或模拟三维空间中）的静态或移动对象来执行登录过程。或者进一步地，用户可以将聚焦于环境中的不同深度处的对象上。用户可以将用户希望凝视的序列或对象定义为唯一登录序列。设备可以在稍后的时间使用该序列来对用户进行认证（以如本文中先前描述的方式）。

在一些实施例中，可以将其它程式（modality）与凝视结合以允许创建唯一的登录过程。这些程式可以包括键盘、鼠标或基于触摸的接触（诸如触摸板或触摸屏）。此外，这些程式可以包括3d手势、语音、头部姿态或诸如按钮的具体机械输入。用户可以定义要求凝视显示器上或虚拟现实/增强现实环境内的特定对象而同时展现单独的程式的过程。举例来说，用户可以凝视对象，同时说出具体的通行码和/或同时执行特定手势。

在一些实施例中，为了确定用户是活生生的，本文中的系统可以创建触发用户的一个瞳孔或两个瞳孔的扩张的事件。例如，显示器可以从非常暗切换到非常亮或反之亦然，然后，可以分析用户的瞳孔的捕获图像以确定瞳孔是否对光强度的改变作出反应。此外，可以定期地或在会话之间改变事件的序列、类型或定时，以便使得在有人试图欺骗/规避系统的情况下更加难以解释。

可以将用户的简档、认证过程、身份等本地地存储在计算设备上并加密，或者其可以被远程地存储并传输到本地设备。捕获用户的图像的设备（诸如凝视追踪设备）必须在有人可以藉此将预先捕获的图像引入系统以进行认证的变通方案是不可能的这一点上是安全的。

在本发明的另一实施例中，可以将用户的识别与由计算机系统收集的其它数据结合。例如，通过使用眼睛追踪设备或类似物，根据本发明的系统可以确定用户的关注的主题并将其与用户的身份相结合。借助于描述，系统可以以下列方式运行：（a）根据本发明识别用户，（b）通过在记录用户的凝视图案的同时检查与反映屏幕上显示的信息的数据相结合的用户的凝视图案来得出并记录用户的关注的主题，以及（c）将用户的身份与用户的关注的主题相结合以定义关注数据。

可以将该关注数据本地地存储在计算机系统上，或远程地存储在远程服务器上。可以将所述关注数据与相同或不同用户的关注数据相结合，以确定对信息的关注的代表性视图。

为了进一步例示，现在将在可能使用的上下文中对本发明的该实施例进行描述。装备有眼睛追踪设备的计算机系统允许基于用户的凝视的识别和认证，如先前已经描述的。一旦用户已被识别和认证，眼睛追踪设备就确定与屏幕上显示的信息相关的用户的凝视方向。例如，该信息可以是广告。系统记录用户相对于该广告的凝视的元素，所述元素包括凝视的日期和时间、停留持续时间、眼急动方向、频率等。可以将这些元素与用户的身份相结合并且由系统进行存储。该存储要么在本地在计算机系统上，要么经由互联网等传输到远程服务器。这可以针对相同位置中的相同广告、不同位置中的相同广告或不同的广告而重复许多次。该信息可以是能够由计算机系统显示的任何形式，而不仅仅是广告，它可以包括图像、文本、视频、网页等。

一旦针对至少两个信息项或从至少两个用户收集了数据。信息就可以被整理出来，以呈现代表性视图。例如，通过知道用户的身份以及诸如年龄、性别、位置等的相关联的信息，本发明可以针对各种信息生成诸如“15-19岁男性的停留持续时间”的报告。本领域技术人员将容易地认识到，通过将用户的身份与该用户的关注的主题相结合，可以收集、存储、分析和报告许多信息组合。

在本发明的另一改进中，根据本发明的系统可以利用眼睛或凝视追踪设备来对用户进行识别和/或认证，以便允许用户操作计算设备。一旦已认证，系统就可以连续地监控由凝视追踪设备捕获的信息，并针对在计算设备前方的除了已认证的用户之外的人的存在检查所述信息。如果另一人位于计算设备的前方，则系统可能会促使一些信息被计算设备掩盖或不显示。不必知道所述至少另外一人的身份，仅另一人存在这一事实可能就足够了。以这种方式，当不止仅已认证用户正在查看计算设备时，可以隐藏并保护诸如银行帐户信息等的敏感信息。已认证用户可以选择通过软件覆盖来覆盖这一功能性，或使用本发明或任何其它已知的识别和认证过程来对（一个或多个）附加的人进行识别和认证。

本发明可以进一步识别并收集行为生物计量，其包括但不限于头部移动、眨眼频率、诸如眼急动之类的眼睛移动、眼睛张开度、瞳孔直径、眼睛取向和头部取向。可以在用户的识别和认证期间收集该信息，并且也可以在用户使用计算设备期间连续地收集该信息。该信息中的一些或全部可以以简档的形式进行保存，以供稍后的用户识别和认证。

此外，根据本发明，一旦已向计算设备识别和认证了用户，而且该用户离开该计算设备，则可能需要在返回计算设备时重新对用户进行认证。为了实现这一点，可以定义一时间段，在此期间，如果已认证用户返回则不需要重新认证，但是如果超过该时间段，则需要重新认证。此外，系统可以使用任何先前描述的行为生物计量来识别返回的用户，并且如果系统将新用户识别为与已认证用户相比不同的身份、或者未辨识出的身份，则必须遵循重新认证过程。

与此相关的是，一旦已根据本发明识别和认证了用户，而且该用户停止使用计算设备达一预定时段，计算设备就可以进入“锁定”模式。为了解锁计算设备，可以使用诸如跟随移动对象的简化过程。

在本发明的另一改进中，系统可以使用由凝视追踪设备收集的信息来确定用户的状态。例如，系统可以确定用户的环境中的亮度水平、从计算设备的显示器发出的亮度水平，并计算用户的预期瞳孔大小。系统还可以或替代地使用关于特定用户的瞳孔大小的历史信息。然后，系统可以基于用户的瞳孔大小来确定他们的精神状态。例如，放大的瞳孔可以指示惊讶或激动的状态，或者甚至存在改变精神的物质。

在一些情形中，在本发明中对凝视或眼睛信息的任何参考可以用与用户的头部有关的信息来取代。例如，虽然分辨率可能没有那么高，但是仅使用用户的头部取向信息来对用户进行识别和认证可以是可能的。这可以进一步延伸到用户面部上的表情、眯眼、眨眼等。

虽然参考具有包括图像传感器的眼睛追踪设备的计算设备描述了本发明，但是应当理解的是，这样的系统以许多形式存在。例如，眼睛追踪设备可以包含所有必要的计算能力，以便直接控制显示器或计算设备。例如，眼睛追踪设备可以包含专用集成电路（asic），其可以执行如由本发明所要求的必要的算法确定中的部分或全部。

图1是用于对设备的用户进行认证的本发明的一个实施例的一个系统100的框图。如上所述，该系统可以包括第一图像传感器110、第二图像传感器120、确定单元130、认证单元140、简档单元150以及设备160（用户正在针对其进行认证）。虽然将组件之间的通信通道示出为各种组件之间的线，但是本领域技术人员将理解的是，组件之间的其它通信通道可以存在并且在该特定示例中未示出。

图2是用于对设备的用户进行认证的本发明的一个实施例的一个方法200的框图。如上所述，该方法可以包括，在步骤210处，用第一图像传感器捕获（一个或多个）图像。在步骤220处，可以用第二图像传感器捕获（一个或多个）图像。在步骤230处，可以从（一个或多个）图像中确定与用户的眼睛有关的信息。在步骤240处，可以基于前面获取的信息和确定来确定用户是否是活生生的。在步骤250处，也基于前面获取的信息和确定，可以确定是否要认证该用户。在步骤260处，可以基于用户的认证来加载用户简档。

图3是图示出其中可以实现本发明的实施例的示例性计算机系统300的框图。该示例图示出诸如可以全部地、部分地或在有各种修改的情况下用于提供本文中所讨论的系统或装置中的任何的功能的计算机系统300。例如，可以由计算机系统300来控制眼睛追踪设备的各种功能，包括（仅举例来说）凝视追踪和面部特征的识别等。

计算机系统300被示出包括可以经由总线390电气耦合的硬件元件。所述硬件元件可以包括一个或多个中央处理单元310、一个或多个输入设备320（例如，鼠标、键盘等）以及一个或多个输出设备330（例如，显示设备、打印机等）。计算机系统300还可以包括一个或多个存储设备340。举例来说，（一个或多个）存储设备340可以是磁盘驱动器、光存储设备、诸如随机存取存储器（“ram”）和/或只读存储器（“rom”）的固态存储设备，其可以是可编程的、闪速可更新的和/或诸如此类。

计算机系统300可以附加地包括计算机可读存储介质读取器350、通信系统360（例如，调制解调器、（无线或有线）网卡、红外通信设备、蓝牙^tm设备、蜂窝通信设备等）以及工作存储器380，其可以包括如上所述的ram和rom设备。在一些实施例中，计算机系统300还可以包括处理加速单元370，其可以包括数字信号处理器、专用处理器和/或诸如此类。

计算机可读存储介质读取器350可以进一步连接到计算机可读存储介质，一起（并且可选地，与（一个或多个）存储设备340结合地）全面地表示远程、本地、固定和/或可移动存储设备加上用于临时地和/或更永久地包含计算机可读信息的存储介质。通信系统360可以允许与网络、系统、计算机和/或上述其它组件交换数据。

计算机系统300还可以包括示出为当前位于工作存储器380内的软件元件，其包括操作系统384和/或其它代码388。应当领会到的是，计算机系统300的替代实施例可以具有与上述计算机系统不同的众多变化。例如，也可能使用定制硬件和/或可能用硬件、软件（包括便携式软件，诸如小应用）或两者来实现特定元件。此外，也可能出现到其它计算设备（诸如网络输入/输出和数据获取设备）的连接。

计算机系统300的软件可以包括用于实现如本文中所述的架构的各种元素的功能中的任何或全部的代码388。例如，存储在计算机系统（诸如系统300）上的和/或由计算机系统（诸如系统300）执行的软件可以提供眼睛追踪设备和/或诸如以上所讨论的那些的本发明的其它组件的功能。以上已经更详细地讨论了可由这些组件中的一些上的软件实现的方法。

出于清楚和理解的目的，现在已详细地描述了本发明。然而，将领会到的是，可以在所附权利要求的范围内实践某些改变和修改。