用于使用脸部生物特征识别和屏幕手势来提供对电子设备的安全访问的系统和方法
【专利摘要】一种用于向设备提供安全认证的系统和方法（800），其包括：将两个或更多个安全因子组合以用于大约同时操作的认证的步骤（805、807），其中至少一个因子是“容忍”因子。通过将大约同时分析的两个因子进行组合（805、807），可以减小容忍因子所需要的容忍匹配，而不降低总安全精度。
【专利说明】用于使用脸部生物特征识别和屏幕手势来提供对电子设备的安全访问的系统和方法
[0001]本专利申请要求于2012年I月9日提交的临时专利申请序列N0.61/584，492的权益和优先权，该临时专利申请的公开内容通过引用方式并入本文。
【技术领域】
[0002]本发明一般涉及电子安全，并且更具体地涉及使用屏幕手势和脸部生物特征来认证电子设备的用户的方法。
【背景技术】
[0003]许多电子设备(例如个人计算机、包括移动电话和个人数字助理(PDA)的移动设备)使用某种形式的认证(通常是必须输入到设备中的密码)来获得访问。最经常的是，密码被键入到键盘或其它接口上，其随后允许用户获得对设备和/或网络的功用的部分或全部访问。与使用密码相关联的问题在于它们是耗时的，并且对于用户进行输入来说是不方便的。用户常常使用非正式的密码或与他人共享他们的密码，这危害了系统的安全。这些实际情况否定了密码的价值，并且使得难以精确地对访问进行审计。此外，密码在被忘记、与他人共享或放错位置时管理起来是昂贵的。虽然已经实现了使用其它类型的安全访问系统，例如语音识别、指纹识别或虹膜扫描，但是这些类型的系统需要不同的过程来访问以及使用设备。为了能够操作，这些技术还需要特定的并且耗时的登记过程。
[0004]因此，“身份管理”总是呈现出挑战。开始，个人已经与用户名和密码相关联以便获得对计算机系统的访问，这产生了对认证(验证个人是“他们所声称的真正的人”)的显著挑战。这通常意味着要记住并输入用于计算机、安全应用以及多个网站的唯一用户名和密码。对于需要额外的安全控制的系统(例如，在线银行)而言，已经要求个人使用“两因子认证”。这需要多个类型的标识，例 如密码加PIN或令牌。随着用户不断地使用多个电子设备和服务(例如，智能电话、电子邮件、在线银行、社交网络)，记录多个密码并不断地输入这些密码已经简单地变得在最好的情况下是不方便的，并且对于许多情况而言是不可管理的。几乎每天，新闻都与我们分享着网络犯罪如何提高了这种挑战，……，从而强制使用更长的、更复杂的密码，这些更长的、更复杂的密码必须被频繁地更改或者冒着丢失重要信息、隐私、名誉和金钱的风险。增加的复杂性并不鼓励强安全措施和策略的使用以及与这些措施和策略的符合。受挫的用户本身可能就面临着安全风险。
[0005]使用脸部识别的生物特征认证经常用于获得对电子设备的访问。授权给Kyle的美国专利N0.6，853，739和授权给Akiyama等的美国专利N0.6，724，919 (这两个专利通过引用方式并入本文)公开了身份验证系统的例子，在这些身份验证系统中，采用数据库来将用户的脸部特征与预先建立的数据库中的那些特征进行比较。一旦进行了比较，随后就对认证进行验证，并且授权对系统的访问。这种类型的系统的缺点在于需要用户进行单独的并且特定的登记过程以便建立数据库。就这种类型的脸部识别系统以及现有技术中的其它系统而言，数据库必须在使用之前被填充；否则，系统将不会操作。这给系统操作员施加了不必要的负担，需要关于在系统可以变得可运行之前填充数据库的步骤的详细培训。另外，这种类型的安全系统并不允许自动地更新数据库以适应头部位置、用户特征(例如不同的眼镜)的改变、摄像头操作特性、灯光以及其它环境因子的改变。这可能限制了数据库匹配(识别)的速度、精度以及甚至成功性。而且，这些现有的脸部识别和其它生物特征系统仅仅在认证时刻进行运行。
[0006]其它技术使用与设备的显示器相关联的手势。这种类型的识别技术涉及用户触摸设备的触摸屏以及被设备识别的移动。这些移动可以链接到设备功能，例如某些应用的运行或允许对设备的访问。手势是用户的手指在触摸屏上的移动，所述移动的模式或形状是用户已经标识或选择的。某些因子依赖于精确的匹配，而其它因子由于其设计的特性而使用某种级别的匹配容忍(也称为容忍因子)来确定手势或证书的接受。精确因子的例子包括用户的完全密码、智能卡或来自硬件安全令牌的代码。这些因子必须总是精确地域之前存储的证书相匹配。容忍因子包括所有形式的生物特征(脸部、语音和手指)、与同所存储的证书的精确匹配存在某种定义的偏差/容忍被允许(并且实际工作也是需要的)的模式和手势。甚至是如果在某些情况下接受比总长度小的密码，那么密码也可以变成容忍因子。
[0007]使用生物特征来补充密码输入的安全系统的另一例子是授权给Hwang等的美国专利N0.7，161，468。该专利中描述的是一种用户认证设备，其基于用户输入的密码以及用户的生物特征信息来认证用户。该用户认证设备包括:密码输入单元，其确定是否已经输入了密码；存储单元，其存储已注册的密码和已注册的生物特征；阈值设定单元，如果输入的密码与已注册的密码匹配，则所述阈值设定单元设定第一阈值，并且如果输入的密码与已注册的密码不匹配，则所述阈值设定单元设定第二阈值；以及生物特征单元，其从外部获得生物特征信息，确定所获得的生物特征信息与已注册的生物特征信息的匹配程度，并且如果所获得的生物特征信息与已注册的生物特征信息的匹配程度大于第一或第二阈值，则认证用户是真的。作为在本发明的范围内如何调整这种系统的例子，生物特征输入可以用隐藏的动作进行补充，以便遵守之前配置的规则而完全地认证用户或传递辅助密码和相关联的动作，例如账户约束、虚构访问或警告发布。
[0008]最后，Lin的美国专利公开N0.2009/0160609描述了一种对锁定的计算设备进行解锁的方法，其中，用户的触摸用作对设备进行解锁的请求，而生物特征信息可以与该过程一起使用。虽然用户可以使用触摸屏来请求对设备进行解锁，但是Lin并没有使用屏幕手势和生物特征信息的组合来认证用户。
[0009]因此，虽然在本领域中，手势和生物特征安全系统的使用是单独可用的，但是当前并不存在将这些技术组合起来以提供鲁棒的安全性同时还向用户提供灵活的对电子设备的访问的系统。
【专利附图】
【附图说明】
[0010]图1是示出了本发明的系统和方法的拓扑的方框图，其中，使用摄像头来向用户提供系统认证。
[0011]图2是示出了使用脸部生物特征的方法的概述的流程图。
[0012]图3是示出了根据本发明实施例而使用的连续认证例程的流程图。
[0013]图4是示出了根据本发明实施例与自动数据库一起使用的后定时(back-timing)过程的流程图。
[0014]图5是示出了根据本发明实施例而是用的脸部特征跟踪和延迟锁定子例程的流程图。
[0015]图6是根据本发明而是用的、图5中所示的生物特征认证和延迟锁定例程的替换实施例的流程图。
[0016]图7是示出了根据本发明替换实施例的本发明的系统和方法的拓扑的方框图，其中，使用屏幕手势和摄像头来向用户提供系统认证。
[0017]图8是示出了利用屏幕手势和脸部生物特征提供对电子设备的认证的另一替代实施例的流程图。
[0018]图9A和9B示出了展示动态手势放置的特征的触摸屏。
[0019]图10是示出了使用脸部识别和其它因子以认证用户访问电子设备的流程图。
【具体实施方式】
[0020]本发明关闭对于需要安全访问的所有类型电子设备来说以多种现有安全认证形式中存在的基本安全漏洞。现有的安全方法仅确认用户输入其密码、扫描器指纹或虹膜时刻的用户。系统不能分辨当前用户是否是几毫秒之前认证的同一个体。这使得设备非常不安全并且是脆弱的，直到注销设备或者锁定。对于怀有恶意的人来说，仅需要花费很少时间就可以盗取和/或删除用户已经登录的设备的数据。现有的方案要求用户手动锁定/注销，或者生成用户不活动计时器来锁定或注销用户。
[0021]此外，大多数信息技术(IT)组织不愿意改变，因为他们不愿意冒风险改变，这会影响其现有的硬件/软件系统。此外，他们不愿意增加实施这一方案所需的支持成本。用于训练用户和回答帮助桌面问题的支持成本会是很大的因子。本发明可以用对终端用户透明的方式自动生成数据库。本发明需要很少的训练并且成本很少的“桌面帮助”。本发明使用自动登记特征，其允许设备自动更新数据库来不断改善用户识别质量。相反，当前生物特征产品需要一组特定步骤来建立并更新数据库。在一些情况下，仅在初步学习之后，可以由用户执行这些步骤。在许多情况下，在系统中使用之前，IT管理者必须与用户一起工作来实际训练数据库。
[0022]符合安全也是一个重要问题，当其远离计算机时，通常需要用户手动锁定或注销其计算机。这一过程很花费时间、并且不方面，对于使用计算机过程中用户目的来说是次要的。此外，锁定或者注销使得当用户返回设备时输入密码，这带来很大不方面。除非严格实施，用户通常忽略这种正确的安全过程。在缺少直接监管下，对于系统管理员来说，本质上没有办法确认用户是否正确地遵守指定安全策略。
[0023]一个不切实际的方案通常包括使用计时器。当在预定时间段内没有外设活动时通过锁定设备来使得计时器工作。如本领域技术人员所认识的，外设可以包括，但不限于鼠标、键盘或触摸屏。如果计时器被设置为足够短的持续时间来在用户离开设备时适当关闭安全漏洞，那么设备将在用户查看屏幕上的数据时锁定。每次洗头锁定或者注销用户时，用户需要不断输入其证书。这导致用户产生挫败感，并且大大降低生产率。因此，通常不活动时间至少为2-5分钟，这提供了很大的易受攻击的窗口。此外，不活动计时器是无效的。所有未授权用户必须在计时器时段内访问系统。在此之后，未授权用户可以无限期继续工作。[0024]本发明的系统和方法通过自动处理直接解决这种合规问题，因此确保完全合规。 因为处理是自动的并且对操作者是透明的，用户接受度非常高。用户发现在安装本发明之 后系统更便于使用。此外，示出了访问设备的人的系统核查日志现在是准确的，因为这种连 续认证安全处理。本发明通过当用户在设备的视野之外时立即锁定/注销，然后在用户重 新出现在计算机之前时尽快解锁来进行操作。
[0025]现在参照图1，如根据本发明使用的系统100包括电子设备101，其包括但不限于 个人计算机、移动电话、按字母排序分页设备、个人数字助理(PDA)、电子游戏设备等，这都 需要某种类型的认证来获得对设备101的使用的访问。摄像头105还可以用于向设备增加 额外的安全级别，其中所述设备的摄像头与设备101 —起使用以利用多个图像矢量构建内 部数据库107。摄像头基本上提供实时图像并且通常以大约每秒5-10帧的速率运行，从而 向电子设备101连续供应数字图像数据。摄像头通常与通常在设备内使用的光学脸部特征 跟踪软件一起使用，其中所述设备用于当位于摄像头前面的位置时跟踪用户脸部的运动。 因此，当用户使用设备时，将他的头前后左右移动，与摄像头一起使用的软件将跟踪脸部运 动以允许连续认证，同时使用较低CPU和设备资源113。
[0026]本领域技术人员将认识到，摄像头105可以被整合到电子设备101，或者其可以独 立作为附件或外设，用于通过有线或无线连接将图像数据发送到电子设备。如本发明优选 方法所描述，微处理器109与比较器111 一起使用，从而确定摄像头105连续供应的图像是 否是人脸图像。如果检测到人脸图像，则可以确定该图像是否与先前用户期间数据库107 中存储的那些图像中的任一图像匹配。每个矢量表示从摄像头105发送到电子设备101的 数字图像的数值表示。如本文所讨论的，电子设备101对数据库107中建立的矢量和摄像 头105提供的当前矢量进行比较。当肯定地确定其匹配并且用户被认证时，系统100配置 为允许用户可以对电子设备101完全或受限地访问。
[0027]图2是示出了根据本发明的实施例的脸部生物特征方法100的总体的流程图。尽 管本方法如图2中的序列所描述，但是对于本领域技术人员来说，在不脱离本方法的精神 和范围的情况下，其它重用和定义是可行的，这是显而易见的。这些方法可以包括，二维 (2D)、三维(3D)红外线(IR)和/或其它脸部识别技术，但并不限于此。在用于脸部生物特 征概述200的方法中，在201开始用于登录设备的初始启动过程，设备显示器幕203，从而允 许用户提供其登录密码或其它认证证书。在205，从与设备相关联的摄像头接收视频帧，其 中在207，通过使用脸部检测，利用该设备确定从摄像头接收的图像数据是否是脸部图像。 如果不是脸部图像，那么设备继续等待用户登录证书(在203)。
[0028]不过，如果图像数据是脸部图像，那么用户提醒计时器启动(在209)。用户提醒计 时器用于确定某一预定时间，其中在该时间内，用户应当在向用户显示消息以请求用户手 动输入其证书之前被认证。用户提醒计时器的期满，不同于推荐用户手动登陆，不对认证有 影响，因为认证过程已经超过预期持续时间，并且系统将受益于数据库更新。因此，即使如 果请求用户输入密码，也能继续评估摄像头帧。系统能够在输入其证书时识别用户，这加速 其的访问。只要用户仍然在设备之前，本发明的系统和方法尝试执行数据库匹配。即使在 发生认证之后，利用这一连续认证特征来评估每个摄像头帧。
[0029]在来自摄像头的图像被转换到图像矢量之后，设备随后确定矢量是否与数据库 中已确定的一个矢量匹配(在211)。如果没有发生匹配并且用户提醒计时器没有到期(在221)，那么设备利用数据库中的矢量继续处理新进入的图像矢量以确定是否发生匹配。如果用户提醒计时器到期，那么随后请求用户的登录证书(在223)，其中可以利用键盘输入该证书，用户可以手动输入密码或其它证书，或者其它类型的接口，诸如其它生物特征方法。同时，设备继续扫描新进入的图像/矢量以确定是否与数据库中的那些匹配。如果在任意时间与数据库发生匹配(在211)，系统将继续与任选因子的匹配。如果用户设备的证书与数据库中存储的证书不匹配，那么过程再次启动，利用该过程，设备等待来自用户初始登录证书(在203)并且继续扫描矢量。
[0030]不过，如果证书与数据库中的证书匹配，并且与任选因子证书因子匹配(在213)，那么开始如图3所讨论的自动数据库过程。在用户提醒计时器到期之前(在221)，在从摄像头接收的当前矢量与数据库中的一个矢量匹配的情况下，可以提示用户一个或多个额外认证因子，诸如通行短语或者提供任选额外的因子以供认证的第二密码。如果用户未能提供这一通行短语或者如果该通行短语与数据库中的短语不匹配，那么系统返回到开始，用户提醒计时器被重置，并且显示开始登陆屏幕(在203)。
[0031]一旦用户被认证，用户随后被授权访问(在215)，并且登入设备来全部或受限地使用其特征。如对比现有技术，本发明的创造性方面为，一旦用户获得访问，可以连续扫描并认证用户(在217)。本领域技术人员将认识到，这种连续认证过程使得用户能够离开设备，从而允许显示器幕无效，于是屏幕或监视器上的图像不在能够被查看，并且数据项被锁定。因此，在用户离开摄像头的视野时，可以容易地保护设备上目前显示文本、图像或其它数据的安全。一旦用户再次返回摄像头的视野，本发明的方法提供对该用户的重新认证。一旦确定了重新认证，显示和数据项被锁定，从而允许以如用户离开视野时的状态来立即访问设备。
[0032]在通常的使用中，当利用该方法保护个人计算机的安全时，在设备上运行的应用软件不受影响，并且继续在设备上运行，尽管没有显示。不过，本发明的方法允许用户选择当设备变为锁定或解锁时设备影响的程度。因此，用户可以利用该方法确定来使得设备I)锁定、2)解锁、3)登录、4)注销。设备的“锁定”提供了安全桌面，而不使用户断开文档或电子邮件服务器，并且不关闭在设备上运行的任何应用软件。当用户不在摄像头视野之内时，设备上的显示器、键盘和/或鼠标可能是失灵的。一旦用户回到视野，方法提供了重新认证。一旦重新建立了这种安全，则设备的显示器能再次使用。因此，这个过程在用户位于摄像头的视野之外时，提供了维护个人计算机或其他设备安全的简单方式。因为使用了脸部生物特征并且连续地认证用户，当用户暂时或长时间离开工作站时，能让用户放心的是显示在设备上的数据和对网络的访问将是安全的。
[0033]图3是示出如图2中简要描述的持续认证程序的流程图。持续认证过程是本发明的关键特征，因为其允许用户在进入摄像头的视野之后被容易地重新认证。当授权已认证的用户访问并且解锁设备(在303)时，持续认证过程(在300)开始(在301)。使用生物特征重新认证或脸部特征跟踪程序来确定用户仍然存在于摄像头的视野中(在305)。在保持系统解锁时，允许用户脸部的重新认证为最高等级的安全。相反地，通过跟踪已认证用户的脸部特征，脸部特征跟踪允许使用低CPU资源来达到高安全性。在本文中参考图5讨论脸部特征跟踪和持续认证。
[0034]如果已认证用户离开了摄像头的视野(在307)，开始可选的延时的锁定定时器过程(在309)。将参考图5充分地描述延时的锁定定时器过程。在该过程结束之后，锁定设备(在311)。如果用户进入摄像头视野(在313)，需要确定可选的快速解锁定时器是否已过期(在315)。如果使用了快速解锁定时器，快速解锁定时器通常是短暂的，通常为1-10秒。如果快速解锁定时器没有过期，则用现存的任意脸部而不是特定的脸部识别来解锁设备(在335)。如果快速锁定定时器已过期，设备恢复用于认证的连续的生物特征扫描(在317)。重新启动用户改变定时器(在319)，并且确定来自摄像头的图像是否与存储在数据库中的矢量相匹配(在321)。如果摄像头图像不匹配任何存储的图像，则确定用户改变定时器是否已过期(在323)。如果没有过期，则过程在图像与数据库不匹配的位置继续匹配图像(在321)。如果用户改变定时器已过期，则继续生物特征扫描和数据库匹配并且向当前用户请求他的或她的认证证书。如果存在匹配，开始自动化的数据库过程(在329)，其将在图4中更充分地描述。如果在用户输入他的或她的证书之前有数据库的匹配而用户改变定时器已过期时，执行自动化的数据库过程(在329)。在自动化的数据库过程结束处，将认为用户已被认证。系统将或者解锁设备(在335)，或者可选地注销已锁定计算机的现有用户(在337)。接着系统会自动地将新用户登录到用户的账号而不用任何另外的认证。
[0035]如果开始图像不匹配数据库的任何一个(在321)，可以可选地提示用户另外的认证因子，诸如密码短语或其他类型的密码。如果对于另外的认证因子没有匹配，则继续不间断的生物特征扫描(在317)。如果存在匹配，需要确定这个现存的已认证用户是否为刚才暂时地离开视野的那个用户。如果是现有的已认证用户，解锁设备(在335)。如果不是现有的用户，设备可被配置为注销现有用户(在337)并且开始首次的登录过程(在301)，在该点结束连续的认证程序(在339)。
[0036]图4是用于填充数据库的过程及其能用于提高数据库中矢量质量的返回定时器过程(在400)的流程图。自动化的数据库是这样的过程:通过该过程在用户使用系统并且输入密码，或在用户改变定时器过期之后发生数据库匹配时，将会创建或更新系统数据库。虽然最初需要密码，当时自动化数据库的目的是允许通过实际使用而不是特定的登记过程来填充数据，在其中用户最终能停止使用密码认证并且通过使用脸部生物特征数据，能采用本发明的方法来进行认证。无论何时当需要花过长的时间来用于数据库匹配时，通过更新数据库，可以提高数据库的质量并且减少用于随后数据库匹配的时间量。这也适用于随时间推移用户脸部的各种物理改变，包括老化、镜头的改变、肤色(晒黑的)、相对于摄像头用户的头部位置、变化的摄像头特性，和包括照明的各种环境条件。返回定时器过程的目的是在实际的识别或认证事件的时间之前用一个或多个图像来更新数据库。这允许当用户初次访问设备时，系统能获得更高重量的紧密匹配用户头部位置的图像。
[0037]当从摄像头接收到视频帧(在403)时，开始自动化的数据库和返回定时器过程(在401)。启动用户改变定时器(在405)并且需要确定图像是否为脸部图像。如果不是脸部图像，程序返回到接收视频(在403)。一旦检测到了脸部图像，将视频帧及其时间戳临时地存储在存储器中(在409)。时间戳指示了由摄像头处理的脸部图像的实际时间。做出比较来确定该图像是否与数据库中的另一图像矢量相匹配。如果产生匹配，则认证用户(在427)。如果没有产生匹配，需要确定用户改变定时器是否已过期(在413)。如果用户改变定时器没有过期，则接着查看图像来确定其是否为脸部图像(在407)。如果用户改变定时器已过期，则向用户请求用户的姓名和密码，密码短语等(在415)。如果用户没有用正确的证书进行认证(在417)，则再次查看图像来确定其是否为脸部图像(在407)。如果认证了用户，则基于 实际的认证时间减去返回定时器的值来从存储器获得图像(在419)。因为在向用户请求输 入他的或她的证书时，还在接收视频帧(在403)并且继续进行数据库匹配(在411)，所以即 使在用户输入他的或她的证书时，系统也可以做出匹配并且往下进行用户认证(在407 )。下 一步确定的是用户是否在数据库中具有先前存在的图像。如果用户在数据库中不具有先前 存在的图像，则为该用户创建新的数据库(在423)。随后，一旦创建了新数据库或先前存在 的图像是可用的，则将获得的图像添加到用户的数据库(在425)。接着认证了用户(在427) 并且结束过程(在429)。
[0038]图5是示出了用于本发明的持续认证实施例的连续的脸部特征跟踪和延时的锁 定过程(在500)的流程图。作为连续的认证方法的脸部特征跟踪的优点大致在于地中央处 理单元(CPU)负载和相对于摄像头的用户脸部位置的高容差性。因为在极短时间内能够锁 定系统或启动系统注销，所以延时的锁定接收器允许用户设置多快锁定系统来匹配用户的 使用需求。这个过程在启动认证(在215)之后立刻运行，直到锁定设备或注销设备。如果 该条件存在，如果有用户脸部的跟踪或任何的鼠标或键盘活动，系统将保持解锁。这是期望 之中的，因为锁定/注销动作可能发生得太快。一旦不再检测到鼠标或键盘活动，则在锁定 设备之前，本发明的方法提供了可选的预定时间段。如果用户的脸部返回到视野或如果在 不活动定时器过期之前，重新启动了键盘/鼠标活动，则不会锁定设备并且重置该定时器。
[0039]更具体地，当授权已认证的用户访问解锁的设备(在503)时，开始过程(在501)。 从摄像头接收视频帧(505)并且将一个或多个跟踪点放置到用户脸部的显著特征上(在 507)。接着对跟踪点的数量进行计数(在509)并且需要确定目前有多少个跟踪点。如果跟 踪点符合最小阈值，则在已授权用户访问(在503)并且设备保持解锁的情况下再次开始过 程，。如果跟踪点的数量低于最小阈值，则启动延时的锁定定时器(在513)。参考图6更充 分地描述用于使用延时的锁定定时器的过程。下一步确定是否由任何鼠标、键盘或其他外 围设备的活动(例如在触屏上的活动)。如果没有活动，则在已认证的用户正访问解锁的设 备情况下再次开始过程(在503)。如果在鼠标或键盘上有活动，则确定延时的锁定定时器是 否已过期(在519)。如果延时的锁定定时器没有过期，则重新开始过程(在503)。如果延时 的锁定定时器已过期，则锁定设备(在529)并且结束过程(在521)。
[0040]图6示出了连续的生物特征的认证&延时的锁定流程图，其为如在图5示出的连 续的脸部特征跟踪和延时的锁定过程500的可替换的实施例。虽然图6中描述的方法非常 类似于图5中描述的跟踪特征，但是连续的生物特征的认证提供了理论上更好的安全性， 因为其不断地重新确认用户。实际上，连续的脸部特征跟踪会如此快速地锁定系统以至于 新用户很难在系统锁定之前替换现有用户。为连续的生物特征的认识是非常CPU密集型 的，并且需要用户的脸部在摄像头前方进行更加一致的替换。这两个因子使得连续的生物 特征认识在许多环境和设备中不太理想。可替换的实现将包括连续的生物特征认证和连续 的脸部特征跟踪二者的组合，其中大多数时间执行脸部特征跟踪并且在周期性的间隔中运 行生物特征认证。
[0041]在图6中，使用了连续的生物特征认证和延时的锁定过程600。当已授权用户访问 解锁的设备(在603)时，开始过程(在601)。从摄像头接收视频帧(在605)并且确定图像是 否匹配已认证的用户。如果图像不匹配，则在用户继续访问解锁的设备的情况下，再次启动过程(在603)。如果图像不与已认证用户的图像相匹配，则启动延时的锁定定时器(在609)并且确定是否有任何的鼠标或键盘活动(在611)。如果不存在活动并且延时的锁定定时器已过期(在613)，则将锁定设备或注销设备(在615)并且程序将结束(在617)。如果没有活动(在611)并且延时的锁定定时器没有过期(在613)，则再次启动设备(在603)。如果有活动(在611)或延时的锁定定时器没有过期(在613)，则再次启动过程(在603)。
[0042]图7是根据本发明的可替换的实施例示出的系统和本发明的方法的拓扑的框图，其中屏幕模式和/或手势模式和摄像头被用来向用户提供系统认证。首先，本领域的技术人员应认识到“容忍”因子是能容忍的那些类型的输入或因子，因为它们能被接受而不具有向电子设备提供安全访问的准确精度。换句话说，准确的匹配可能是不必要的，相反仅是以一些预定义的方式的相似匹配。因此，能选择和/或调整特定的因子从而使“准确的”因子意味着它们的匹配容忍性必须是准确的和/或大致精确的以便允许访问设备。将正确运行的容忍或准确因子的等级通常由软件的制造商选择的；但是，这些类型因子的组合允许为设备提供极大的安全性的方法并同时使用户易于使用和访问。
[0043]系统700包括根据图1描述的每一个组件；但是，这个设备还包括连接到电子设备701或在电子设备701中使用的触屏709。虽然所示使用了分离的键盘703，但是本领域的技术人员将认识到键盘703也可以用软件形成虚拟键盘来集成到触屏709中，从而使键盘703和触屏709可以当作一个设备。如本文指出的，触屏709将结合摄像头711操作，所述摄像头711的输入由微处理器705控制和解释。这允许用户在触屏709中输入手势，所述手势与摄像头711结合使用来为设备提供用户认证。这些输入与存储在数据库713中的数据和其他信息相比较。该数据能通过使用比较器715来进行比较，所述比较器715用于向访问电子设备701提供操作访问的比较类型分析。如本文描述的，可选的跟踪特征717也能用来确保设备的用户保持为同一个人，而在安全上没有缺口和漏洞。
[0044]图8是示出用于向用户提供使用屏幕模式/手势和脸部生物特征二者的电子设备的又一可替换的实施例的流程图。使用屏幕手势和脸部生物特征二者的认证过程(在800)包括启动初始“登录”过程(在801)的步骤，所述步骤801触发了一些外部事件需要用户来输入认证证书。接着显示认证屏幕(在803 )并且摄像头接收了至少一个视频帧(在805 )，从而使用户能接着输入预定义的屏幕手势或其他安全因子(在807)。虽然在实践中，对用户而言一个或多个安全因子像是在其他的因子之前发生，但是本领域的技术任何将进一步认识到在本发明的方法中，这些因子不需要同时发生或以特定的顺序发生。实际上，因为启动摄像头的延迟，这个步骤可以首先发生，但这不是必要的。
[0045]随后，需要确定由摄像头接收的脸部识别帧与云还是与本地数据相匹配(在809)。本领域的技术人员将认识到“云计算”意味着经由数字网络使用多个服务器计算机，使其看起来似乎是一个计算机。可以经由因特网等访问使用云计算的计算机。如果使用尝试的次数或其他数据超过了一些预定时间段或一些计数器(在811)，则要求用户输入可替换的证书或取消请求(在815)。如果没超过计数器，则摄像头将被用于提供另外的视频帧(在805)。一旦输入了可替换的证书，则需要确定证书是否与存储在数据库中的那些证书相匹配(在817)。如果证书匹配，则执行自动化的数据库过程来更新存储在数据库中的图像和/或其他数据(在819)。如果证书不匹配，则摄像头被用于为认证提供另外的视频帧(在805)。[0046]当手势与云或本地数据库不匹配(在813)时，则再次要求用户输入可替换的证书或取消请求(在815)。如果新的证书不匹配，则在有来自摄像头至少一个新帧(在805)的情况下，再次开始过程；但是，如果新证书不匹配，则对自动化的数据库执行更新来更新脸部生物特征(在819)。但是，如果手势匹配(在813)，则认证了用户并且能将本地或基于云的证书放入到特定的应用用于授权访问和/或使用(在821)。任何更新的生物特征脸部数据将被用于在个认证过程(在821)中。因而，清除认证屏幕(在823)并且过程结束(在825)。
[0047]在典型的使用中，智能电话或需要认证的任意设备上的用户访问设备或需要认证的应用。该认证通常需要用户名和密码的输入。通过使用嵌入式正面成像设备(例如，摄像头)获得脸部识别模板来进行软件认证。大约在同时，提示用户输入其先前登记的手势。将脸部和手势与登记用户先前登记的模板的数据库进行比较。通过在几乎同时进行生物特征脸部数据和手势的比较，减小了每个因子的匹配容差，而不会降低安全的可靠性。因为极大地减少了通常将导致脸部识别或手势识别可信度降低以及通常会引起真实用户被不期望地错误拒绝的情况，所以这大大地改善了用户体验。
[0048]本领域的技术人员可进一步认识到手势和生物特征信息的多种不同变型(例如，准确/容忍因子以及多个容忍因子)可以包括但不限于:
[0049]准确因子和容忍因子
[0050]密码和脸部
[0051]密码和手势
[0052]密码和模式
[0053]密码和指纹
[0054]个人身份号码和脸部
[0055]个人身份号码和声音
[0056]多个容忍闵子
[0057]脸部和手势
[0058]脸部和部分密码(减少用于接受的密码字符的数目)
[0059]脸部和模式
[0060]脸部和指纹
[0061]脸部和声音
[0062]脸部、声音和手势
[0063]脸部和形状
[0064]形状和手势
[0065]根据本发明的各种实施例，代替使用分配的登录名和密码，如本文描述的方法利用用户脸部的唯一的、单独的特征结合个人身份号码、手势(用户手指以其选择的模式在触摸屏上的活动)或者显示的符号、形状或其它标记的组合，来验证身份并提供安全且方便的访问。不仅该新方法提供了容易的访问，而且本文所描述的实施例解决了以容易、输入快速和无压力的方式保证双因子认证的问题。
[0066]因此，本发明还能够提供个性化的、基于云的密码保险箱的、方便且通用的“单点登录”(一次登录多个应用和设备)。如本文所描述的，用户已知并键入具有许多字母、数字、形状或其它标记的密码来获得访问。从任何设备存储在保险箱中的密码在任何地方和在任何其它设备上都立刻可得，并且可以缓存在本地设备上。该基于云的存储的优点在于所有 的信息在被使用之前总是加密的。本发明的实施例还包括用于Windows、iOS、Android和其 它操作系统设备的多平台支持。此外，密码还可以被存储在云中央并且被完全地加密。该 布置的另一优点在于设备(电话、计算机、平板电脑等)可以被损坏、丢失或者重装，但是数 据库将保持对认证用户的可访问。接着，本发明的方案允许多个用户安全地且彼此分离地 共享单个移动设备。每个用户具有自己的私有密码内存存储区域或者仅通过个人唯一的脸 部和手势可用的“保险箱”。
[0067]因为PC具有减少的移动性并且通常仅用于受限数量的位置处，所以这种类型的 条件允许用于识别匹配要求的更不容忍的设定。在这种设定下，PC通常具有非常低的错误 报对率，在106错误报对/访问企图中仅仅为大约6.3。因此，在PC环境下，在学习的短暂 时期之后，获得好的识别率的同时能维持高的准确性。然而，典型的PC环境是相对于照明 和对脸部的观察而相对控制的。这并不适用于移动设备的情况，其中由于移动设备在照明 和脸部的摄像头角度/脸部距摄像头的距离方面具有较高的差异，所以照明和手持移动设 备对脸部的观察总是在显著地变化。为了在该变化环境下维持非常高的识别率，匹配容差 必须稍微放松以便提供优良的识别率。不幸地是，放松容差还增加了不正确识别的可能性。 即使是临时用户也不会容忍较高的错误识别率以及会导致对其私有数据的未认证访问。
[0068]利用次级因子，例如当脸部被识别时的模式，指数级地增加了认证准确性，从而同 时输入模式/个人身份号码以及脸部识别是非常快速、自然和方便的。这允许本发明实施 脸部识别匹配容差值，其提供在变化的照明情况以及各种脸部角度下的优良识别，同时提 高整体的认证准确性超过大部分认证方案。利用脸部识别和手势，可以最小化该两者的弱 势。在脸部识别的情况下，手势防止照片或视频攻击，而脸部防止另一认证用户简单地观察 和重复手势。因此，成功的“涂抹攻击”在没有脸部的情况下本质上不能进行访问。成功的 “重播攻击”(照片/视频)而不利用手势也不能进行访问。具有多个因子也有助于最小化 社交工程。当具有所有形式的安全/秘密时，对用户的个人了解会增加获得未经认证的访 问的速度。要求多个独立类型的信息减小了任意单独条个人了解将是足够的这种可能性。
[0069]图9A和图9B示出了展示动态手势布置的特征的触摸屏。图9A示出了当绘画区 域保持在相同或一致位置时在触摸屏表面上留下的手指涂抹或残余的外观。因为该残余的 模式，残余可能允许未认证的人员观察到给定的用户手势，降低了该因子的安全性。图9B 示出了动态手势布置的使用，即当每次需要手势时，本发明的方法仔细地移动在触摸屏显 示器上手势进入点的布置。显示器上的数据进入区域能够动态地移动和/或沿显示器上的 任意方向歪斜，例如向上、向下、向侧边或沿对角线。该过程允许重叠油迹，这大大减小了认 证人员能够推断手势的可能性。这消除了模式安全的共同弱点，即设备屏幕上的来自指油 的油脂痕迹或其它残余能暗示或显示为用于手势或手指移动模式。
[0070]图10示出了根据本发明的多个实施例实施的结合永久计算机可读介质使用的认 证过程的流程图。认证过程1000开始于:用直播视频和在触摸屏显示器的数据输入或“手 势”区域内的消息提示用户(在1001)。确定摄像头安置定时器是否过期(在1003)。如果没 有，则该过程继续直到摄像头为捕捉一个或多个图像而充分静止达预订时间段。一旦定时 器已经过期，那么用户的图像被捕捉到并在电子设备的触摸屏上转移给用户(在1005)。另 夕卜，可以向用户显示“开始扫描”动画以用于提供视频认证捕捉的通知，同时还可以在屏幕上显示其它各种指标。为了捕捉预定数目的像素或帧，增加重试计数器，并将图像发送到用于评价的预定位置。
[0071]之后，确定用户是否无效，也公知为“不良用户”(在1007)。如果用户为无效的或者不良的(在1009)，那么显示器将通知用户需要初始“建立”或对系统软件进行编程(在1009)。在这种情况下，用户通向次级建立步骤(在1011)。然而，如果用户不是无效的，那么该过程确定是否检测用户的脸部(在1013)。如果检测了，则保存脸部图像以用于稍后的学习步骤(在1015)，并且通过比较该脸部与本地存储或在云数据库中的数据以确定脸部是否经认证(在1017)。如果脸部经认证，则过程继续以确定是否已经输入第二因子(在1039)。如在本文中描述的，“第二因子”是手势或者是本文所描述的在触摸显示器上显示的符号组合的输入。然而，如果脸部未经认证(在1017)，则系统确定是否已经超过重试计数(在1019)。如果未超过重试计数，则系统通知用户其未被识别(在1037)并且通过提示用户再次开始过程(在1001)。
[0072]如果超过重试计数(在1019)，则系统确定是否保存了图像以用于稍后的学习步骤(在1035)。如果保存了图像，则提醒用户输入用于学习用户脸部的云密码。之后，处理并存储用户的脸部图像(在1036)。该过程将重试(在1038)并输入清除状态(在1044)，或者如果输入了有效密码(在1040)，则保存图像以用于过程的系统“学习”步骤(在1042)。确定有效用户认证(在1029)，从而授权用户访问电子设备(在1031)。如果未保存图像(在1035)，则这将触发网络错误或者网络超时信息(在1023)，并且取消用户脸部认证处理步骤。之后，提示用户输入密码覆写(在1025)。一旦输入并确认为有效密码(在1027)，可以发布有效认证命令(在1029)，并且授权用户访问电子设备(在1031)。
[0073]如此处需要注意的，一旦发生了脸部认证(在1017)，则进行第二确认用户是否已经输入了第二因子(在1039)。第二因子可以包括但不限于屏幕手势、密码、显示符号的输入及其各种组合。如果第二因子是无效的(在1041)，则提示用户重新输入个人身份号码的手势(在1043)，并且该过程再次开始(在1039)。然而，一旦第二因子是有效的(在1041 )，则向用户显示批准或确认(在1045)，并且用户认证证书是有效的，从而授权他们访问电子设备(在 1031)。
[0074]因此，如在密码覆写过程(在1025)中所描述的，本发明的方法提供“回退”访问操作，从而在不能发生“标准”认证的情况下(例如，如果由于极端照明条件而不能进行脸部识别)，单个的或者多因子的覆写是可以的。可以设置用于该覆写和每个因子的复杂要求以满足期望的安全目标。覆写选项包括但不限于以下输入:个人身份号码(PIN);屏幕手势和PIN ;复杂密码(字母、数据和/或符号)；或者屏幕手势和复杂密码。
[0075]有时在云中存储敏感信息会引起关注，因此仔细考虑通常是必要的，这是因为信息的未认证破坏对于系统操作而言是不利的。根据本发明的另一方案，可以利用具有固定块大小、重复计数和至少128位密钥的Rijndael对称算法，在云服务器和/或本地电子设备上对证书进行加密。该加密技术通常超过用于政府和财务数据的标准。利用对每个用户唯一的加密密钥，将网站证书加密为“数据二进制大对象(data blob)”。因此，在一个用户的账户被危害的不可能的情况下，由于除了用户外的其它方不会知道加密密钥或密码，所以不能将密钥用于访问其他用户的数据。由于该关键信息能保持未知的，所以总是推荐在当地备份证书数据库。由于从云恢复密码是不可能的，所以从不以未加密的状态传输数据。实际上，直到在使用前不存在未加密状态。在该配置下，电子设备(电话、平板电脑、膝上电脑等)是简单的或者是“哑的”客户端，在其上通常并未本地存储数据。这意味着即使设备被盗，不管黑客花费多少努力，密码也不可能物理地呈现。有限时间本地缓存是可选择地可用的，从而本发明能够允许管理员在必要时脱离网络而操作，同时能最小化风险。
[0076]因此，本发明的系统和方法提供对个人计算机或者要求安全性的其它电子设备的快速、简单和安全访问。本发明在认证过程中结合使用屏幕手势和生物特征安全。通过结合在几乎同时分析的至少两种因子，能够降低容忍因子要求的容差匹配，而不降低电子设备的整体安全准确性。结合生物特征技术的该级别的安全性意味着，本发明唯一地提供利用多个平台可获得的基于云的安全证书快速、准确登录到设备、网站和app，以及个性化访问设备，而无需例如Android和iOS的用户账户。结合本发明的实施例使用的成像是照明容忍的，对不想要的图像提供非常强的照片和视频拒绝。
[0077]虽然已经示出并描述了本发明的优选实施例，但是清楚的是本发明并不限于此。在不背离所附权利要求限定的本发明的精神和范围的情况下，对本领域技术人员而言可以想到多种修改、变化、变型、替换和等价。如本文所使用的，术语“包括”、“包括有”或者其任何其它变型意图覆盖非排他的包含物，从而过程、方法、物品或包括一列元件的设备不仅包括那些元件，还可以包括未明确列出的或这种过程、方法、物品或设备所固有的其它元件。
【权利要求】
1.一种用于为电子设备提供安全的脸部生物特征识别系统，包括: 数字摄像头，具有用于提供来自所述电子设备的用户的用于建立第一安全因子的多个脸部生物特征图像的视野； 触摸屏，用于使得所述用户能够输入用于建立第二安全因子的数据； 与所述电子设备相关联的至少一个处理器，用于将所述第一因子和所述第二因子与数据库中存储的数据进行比较；并且 其中，如果所述第一因子和所述第二因子与所述数据库中存储的数据相匹配，则使得能够对所述电子设备访问。
2.如权利要求1所述的脸部生物特征识别系统，其中，所述触摸屏上的数据输入区域能够被动态地设置，以防止通过手指残余而识别之前输入的数据。
3.如权利要求1所述的脸部生物特征识别系统，其中，所述第二因子是屏幕手势。
4.如权利要求1所述的脸部生物特征识别系统，其中，所述第二因子是所显示的符号的预定组合。
5.如权利要求1所述的脸部生物特征识别系统，其中，所述数据库位于所述电子设备内。
6.如权利要求1所述的脸部生物特征识别系统，其中，所述数据库是云。
7.如权利要求1所述的脸部生物特征识别系统，其中，所述电子设备是来自个人计算机、个人数字助理、移动电话或游戏设备的组中的一个。
8.一种用于向电子设备提供安全的方法，包括以下步骤:
显示认证屏幕；
提供来自至少一个摄像头的数据，以用于提供生物特征认证数据；
向触摸屏显示器提供用户输入数据；
将所述生物特征认证数据与数据库中存储的信息进行比较；
将所述用户输入数据与数据库中存储的信息进行比较；
确定所述用户是否被认证了；
如果所述用户被认证了，则向所述电子设备上运行的应用输入认证证书；以及
授权对所述电子设备的访问。
9.如权利要求8所述的用于提供安全的方法，还包括:将所述用户的脸部用作所述生物特征认证数据的步骤。
10.如权利要求8所述的用于提供安全的方法，还包括:将屏幕手势用作所述用户输入数据的步骤。
11.如权利要求8所述的用于提供安全的方法，还包括:使用在所述触摸屏显示器上显示的符号的预定序列的步骤。
12.如权利要求8所述的用于提供安全的方法，还包括:在所述触摸屏显示器上显示作为所述符号的多个形状的步骤。
13.如权利要求8所述的用于提供安全的方法，还包括:移动所述触摸屏显示器上所显示的数据输入区域，以防止由于所述触摸屏显示器上留下的残余而识别之前输入的数据的步骤。
14.如权利要求8所述的用于提供安全的方法，还包括:通过选择所述生物特征认证数据或所述用户输入中的任何一个来提供容忍因子，以用于如果所述比较位于预定容忍内则授权对所述电子设备的访问的步骤。
15.如权利要求8所述的用于提供安全的方法，还包括:将所述数据库包括在所述电子设备中的步骤。
16.如权利要求8所述的用于提供安全的方法，还包括:将所述数据库包括在经由互联网访问的云中的步骤。
17.如权利要求8所述的方法，其中，所述电子设备是来自个人计算机(PC)、个人数字助理(PDA )、蜂窝电话 、游戏设备或移动电话的组中的一个。
【文档编号】G06F21/31GK103593594SQ201310008147
【公开日】2014年2月19日 申请日期:2013年1月9日 优先权日:2012年1月9日
【发明者】C·阿扎尔, G·布罗斯托夫 申请人:明智视觉有限公司