眼周面部识别切换的制作方法

本专利要求susskind等人于2018年9月11日提交的名称为“periocularfacialrecognitionswitching”(眼周面部识别切换)的美国临时专利申请no.62/729,908的优先权，该申请以引用的方式全文并入本文。

本文所述的实施方案涉及用于在设备上的相机所捕获的图像中进行面部识别的方法和系统。更具体地讲，本文所述的实施方案涉及图像中有遮挡和无遮挡时用户图像的面部识别认证过程的操作。

背景技术：

生物识别认证过程正被越来越频繁地使用，以允许用户更容易地访问其设备而无需密码或口令认证。生物识别认证过程的一个示例为使用指纹传感器的指纹认证。面部识别为可用于认证设备的授权用户的另一种生物识别过程。面部识别过程通常用于识别图像中的个体和/或将图像中的个体与个体数据库进行比较，以匹配个体的面部。

对于使用面部识别进行的认证，有时图像中存在用户面部的全部或一些被遮挡的情况。例如，用户的面部可被面罩、围巾、用户的手或另一个物体遮挡。通常，在用户整个面部上操作的面部识别过程(例如，完整面部识别)可能会在对用户进行认证时失败，除非放宽对该过程施加的安全约束(例如，除非放宽安全约束以允许利用更少的匹配特征进行匹配，否则图像中没有足够多的特征来对用户进行认证)。然而，放宽安全约束可能允许增大的误接受率(例如，被授权用户与未授权用户之间的更多匹配)。然而，保持较高的安全约束可能会降低设备的可用性，因为当面部的任何部分被遮挡时，用户更有可能无法通过认证过程，并且用户可能不得不更频繁地重试面部识别过程。在用户面部的某部分被遮挡时操作面部识别过程可提高设备的可用性，但可能在使用该设备时牺牲安全性。保持完整面部、无遮挡图像的安全性水平，同时提高设备的可用性，可能对于提供更令人满意的用户体验是有用的。

技术实现要素：

在某些实施方案中，在设备上操作的面部识别认证过程包括在完整面部识别认证过程和局部面部识别认证过程之间的切换。该切换可通过响应于用户尝试访问设备来评估由设备上的相机捕获的图像中的遮挡来工作。当用户的某些面部特征(例如，眼睛、鼻子和/或嘴部)在图像中未被遮挡时，设备可操作完整面部识别认证过程。当这些面部特征至少局部地被遮挡时，该设备可操作局部面部识别认证过程。

在一些实施方案中，使用与完整面部识别认证过程相同的训练图像来训练局部面部识别认证过程。可裁剪训练图像以用于训练局部面部识别认证过程。在一些实施方案中，使用同一组注册图像针对完整面部识别认证过程和局部面部识别认证过程两者生成注册模板(例如，参考模板)。注册图像可以是完整面部图像。可裁剪完整面部图像以生成用于局部面部识别认证过程的参考模板，而可使用完整面部图像而不裁剪以生成用于完整面部识别认证过程的参考模板。

附图说明

当与附图结合时，通过参考根据本公开中描述的实施方案的目前优选的但仅为示例性实施方案的以下详细描述，将更充分地理解在本公开中描述的实施方案的方法与装置的特征和优点，在附图中：

图1描绘了包括相机的设备的实施方案的表示。

图2描绘了相机的实施方案的表示。

图3描绘了设备上的处理器的实施方案的表示。

图4示出了用于神经网络模块的训练过程的实施方案的流程图。

图5示出了具有神经网络模块的处理器的实施方案的表示。

图6示出了测试和细化过程的实施方案的流程图。

图7示出了用于裁剪完整面部训练图像以在局部面部训练过程中使用的过程的实施方案的表示。

图8描绘了用于设备的授权用户的图像注册过程的实施方案的流程图。

图9描绘了注册过程之后具有特征矢量的特征空间的实施方案的表示。

图10描绘了用于设备的存储器中的注册配置文件的模板空间的实施方案的表示。

图11描绘了面部识别认证过程的实施方案的流程图。

图12描绘了基于规则的方法的实施方案的流程图。

图13示出了要根据基于规则的方法使用完整面部识别认证过程进行处理的用户面部的图像的示例。

图14示出了要根据基于规则的方法使用局部面部识别认证过程进行处理的用户面部的图像的示例。

图15示出了要根据基于规则的方法使用局部面部识别认证过程进行处理的用户面部的图像的另一示例。

图16描绘了完整面部识别认证过程的实施方案的流程图。

图17描绘了局部面部识别认证过程的实施方案的流程图。

图18描绘了示例性计算机系统的一个实施方案的框图。

图19描绘了计算机可访问存储介质的一个实施方案的框图。

尽管本公开中所述的实施方案可受各种修改形式和另选形式的影响，但其具体实施方案在附图中以举例的方式示出并将在本文中详细描述。然而，应当理解，附图和对其的详细描述不旨在将实施方案限制为所公开的特定形式，而相反，本公开旨在涵盖落入所附权利要求书的实质和范围内的所有修改、等同物和另选方案。本文所使用的标题仅用于组织目的，并不旨在用于限制说明书的范围。如在整个本申请中所使用的那样，以允许的意义(即，意味着具有可能性)而非强制的意义(即，意味着必须)使用“可能”一词。类似地，字词“包括”、“包含”是指包括但不限于。

各种单元、电路或其他部件可被描述为“被配置为”执行一个或多个任务。在此类上下文中，“被配置为”为通常表示“具有”在操作期间执行一个或多个任务的“电路”的结构的宽泛表述。如此，即使在单元/电路/部件当前未接通时，单元/电路/部件也可被配置为执行任务。一般来讲，形成与“被配置为”对应的结构的电路可包括硬件电路和/或存储可执行以实现该操作的程序指令的存储器。该存储器可包括易失性存储器，诸如静态或动态随机存取存储器和/或非易失性存储器，诸如光盘或磁盘存储装置、闪存存储器、可编程只读存储器等。硬件电路可包括组合式逻辑电路、时钟存储设备(诸如触发器、寄存器、锁存器等)、有限状态机、存储器(诸如静态随机存取存储器或嵌入式动态随机存取存储器)、定制设计电路、可编程逻辑阵列等的任意组合。类似地，为了描述方便，可将各种单元/电路/部件描述为执行一个或多个任务。此类描述应当被解释为包括短语“被配置为”。表述被配置为执行一个或多个任务的单元/电路/部件明确地旨在对该单元/电路/部件不调用35u.s.c.§112(f)的解释。

在一个实施方案中，可通过以硬件描述语言(hdl)诸如verilog或vhdl对电路的描述进行编码来实现根据本公开的硬件电路。可针对为给定集成电路制造技术设计的单元库来合成hdl描述，并可出于定时、功率和其他原因而被修改，以获得可被传输到工厂以生成掩模并最终产生集成电路的最终的设计数据库。一些硬件电路或其部分也可在示意图编辑器中被定制设计并与合成电路一起被捕获到集成电路设计中。该集成电路可包括晶体管并还可包括其他电路元件(例如，无源元件，诸如电容器、电阻器、电感器等)，以及晶体管和电路元件之间的互连件。一些实施方案可实现耦接在一起的多个集成电路，以实现硬件电路，和/或可在一些实施方案中使用离散元件。

本公开的范围包括本文(明确或暗示)公开的任意特征或特征组合或其任意推广，而无论其是否减轻本文解决的任何或所有问题。因此，在本专利申请(或要求享有其优先权的专利申请)进行期间可针对特征的任何此类组合作出新的权利要求。具体地，参考所附权利要求书，可将从属权利要求的特征与独立权利要求的特征进行组合，并可通过任何适当的方式而不是仅通过所附权利要求书中所列举的特定组合来组合来自相应独立权利要求的特征。

具体实施方式

本说明书包括参考“一个实施方案”或“实施方案”。短语“在一个实施方案中”或“在实施方案中”的出现不一定是指相同的实施方案，尽管通常设想包括特征的任何组合的实施方案，除非在本文明确地否认。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。

如本文所述，本公开技术的一个方面在于采集和使用得自特定和合法来源的数据，以改进向用户递送其可能感兴趣的启发内容或任何其他内容。本公开设想，在一些实例中，该所采集的数据可包括唯一地识别或可用于识别特定人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于位置的数据、在线标识符、电话号码、电子邮件地址、家庭地址、与用户的健康或健身等级相关的数据或记录(例如，生命特征测量、药物信息、锻炼信息)、出生日期或任何其他个人信息。对于图像数据而言，个人信息数据可仅包括来自用户图像的数据而不包括图像本身。

本公开认识到在本公开技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于使用面部识别来控制对设备的解锁和/或授权。因此，使用此类个人信息数据使得能够对设备的访问进行计算控制。此外，本公开还预期个人信息数据有益于用户的其他用途。

本公开设想负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体而言，将期望此类实体实施和一贯地应用一般公认为满足或超过维护用户隐私的行业或政府所要求的隐私实践。关于使用个人数据的此类信息应当被突出并能够被用户方便地访问，并应当随数据的采集和/或使用变化而被更新。用户的个人信息应被采集仅用于合法使用。另外，此类采集/共享应只发生在接收到用户同意或在适用法律中所规定的其他合法根据之后。此外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保其他有权访问个人信息数据的人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外，应针对便采集和/或访问的特定类型的个人信息数据调整政策和实践，并使其适用于适用法律和标准，包括可用于施加较高标准的辖区专有的具体考虑因素。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险流通和责任法案(hipaa)；而其他国家/地区的健康数据可能受到其他法规和政策的约束并应相应处理。

不管前述情况如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，就广告递送服务而言，本公开技术可被配置为在注册服务期间或之后任何时候允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。除了提供“选择加入”和“选择退出”选项外，本公开设想提供与访问或使用个人信息相关的通知。例如，可在下载应用时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。

此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据采集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用中，数据去标识可用于保护用户的隐私。可在适当时通过移除标识符、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别采集位置数据)、控制数据如何被存储(例如，在用户间汇集数据)和/或其他方法诸如差异化隐私来促进去标识。

因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本公开技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可基于汇集的非个人信息数据或绝对最低数量的个人信息，诸如仅在用户设备上处理的内容或可用于内容递送服务的其他非个人信息，来选择内容并递送给用户。

图1描绘了包括相机的设备的实施方案的表示。在某些实施方案中，设备100包括相机102、处理器104、存储器106和显示器108。设备100可为小型计算设备，在一些情况下，其可足够小以便手持(因此，还被统称为手持式计算机或被简称为手持式设备)。在某些实施方案中，设备100为各种类型的计算机系统设备的任一种类型的计算机系统设备，其为移动的或便携的并且使用wlan通信来执行无线通信(例如，“移动设备”)。移动设备的示例包括移动电话或智能电话，以及平板电脑。如果包括无线或rf通信能力(例如，wi-fi、蜂窝和/或蓝牙)，则各种其他类型的设备可落在这个类别中，诸如膝上型计算机、便携式游戏设备、便携式上网设备和其他手持式设备，以及可穿戴设备诸如智能手表、智能眼镜、耳机、吊坠、耳塞等。通常，可宽泛地定义术语“移动设备”以涵盖容易被用户转移并能够使用例如wlan、wi-fi、蜂窝和/或蓝牙来进行无线通信的任何电子、计算和/或电信设备(或设备的组合)。在某些实施方案中，设备100包括由用户使用的具有处理器104、存储器106和显示器108的任何设备。例如，显示器108可为lcd屏或触摸屏。在一些实施方案中，显示器108包括用于设备100的用户输入界面(例如，显示器允许用户的交互输入)。

相机102可用于捕获设备100的外部环境的图像。在某些实施方案中，相机102被定位成捕获显示器108前方的图像。相机102可被定位成在用户与显示器108进行交互时捕获用户的图像(例如，用户的面部)。图2示出了相机102的实施方案的表示。在某些实施方案中，相机102包括一个或多个镜头和用于捕获数字图像的一个或多个图像传感器103。由相机102所捕获的数字图像可包括例如静止图像、视频图像和/或逐帧图像。

在某些实施方案中，相机102包括图像传感器103。图像传感器103可为例如传感器阵列。传感器阵列中的传感器可包括但不限于用于捕获红外图像(ir)或其他不可见电磁辐射的电荷耦合器件(ccd)和/或互补金属氧化物半导体(cmos)传感器元件。在一些实施方案中，相机102包括用于捕获多种类型的图像的多于一种图像传感器。例如，相机102可包括ir传感器和rgb(红、绿和蓝)传感器两者。在某些实施方案中，相机102包括照明器105，该照明器用于利用由图像传感器103检测到的不同类型的光来对表面(或被摄体)进行照明。例如，相机102可包括用于可见光的照明器(例如，“闪光”照明器)、用于rgb光的照明器和/或用于红外光的照明器(例如，泛光ir光源和图案(光斑图案)投影仪)。在一些实施方案中，泛光ir光源和图案投影仪为其他波长的光(例如，非红外)。在某些实施方案中，照明器105包括光源阵列，诸如但不限于vcsel(垂直腔面发射激光器)。在一些实施方案中，图像传感器103和照明器105被包括在单个芯片封装中。在一些实施方案中，图像传感器103和照明器105位于独立芯片封装上。

在某些实施方案中，图像传感器103为ir图像传感器，并且该图像传感器用于捕获红外图像以用于进行面部检测、面部识别认证和/或深度检测。也可设想图像传感器103(例如，rgb图像传感器)的其他实施方案用于如本文所述的面部检测、面部识别认证和/或深度检测。为了进行面部检测，照明器105a可提供泛光ir照明，以利用ir照明(例如，ir闪光灯)来对被摄体进行泛光，并且图像传感器103可捕获泛光ir照明被摄体的图像。泛光ir照明图像可为例如由ir光照明的被摄体的二维图像。

为了进行深度检测或生成深度图图像，照明器105b可以提供具有图案的ir照明(例如，图案化红外(ir)照明)。图案可以是具有投影到被摄体(例如，光的结构化图案)上的已知且可控的配置和图案的光的图案。在某些实施方案中，图案为光斑图案(例如，点图案)。然而，图案可以包括光特征的任何结构化或半结构化图案。例如，图案可包括但不限于点、斑点、条纹、虚线、节点、边缘，以及它们的组合。

照明器105b可以包括被配置为形成图案的vcsel阵列或被配置为形成图案的光源和图案化透明件。由照明器105b提供的图案的配置和图案可例如基于被摄体处的所期望的图案密度(例如，光斑或点密度)而被选择。图像传感器103可捕获由图案照明的被摄体的图像。可由成像和处理系统(例如，本文所述的图像信号处理器(isp))来评估(例如，分析和/或处理)所捕获的被摄体上的图案的图像，以产生或估计被摄体的三维图(例如，被摄体的深度图或深度图图像)。在freedman等人的美国专利no.8,150,142、pesach等人的美国专利no.8,749,796和shpunt等人的美国专利no.8,384,997(在此通过引用并入，如同本文完全阐述的一样)以及mor等人的美国专利申请公开no.2016/0178915(在此通过引用并入，如同本文完全阐述的一样)中描述了深度图成像的示例。

在某些实施方案中，由相机102捕获的图像包括具有用户的面部的图像(例如，用户面部被包括在图像中)。具有用户面部的图像可包括具有在图像的框架内示出的用户面部的至少某个部分的任何数字图像。此类图像可仅包括用户的面部或可在图像的较小分部或部分中包括用户的面部。可在图像中以足够的分辨率来捕获用户的面部，以允许对图像中的用户的面部的一个或多个特征的图像处理。

由相机102捕获的图像可由处理器104来处理。图3示出了设备100中包括的处理器104的实施方案的表示。处理器104可包括被配置为执行在由处理器实施的指令集架构中定义的指令的电路。处理器104可执行设备100的主控制软件，诸如操作系统。通常，由处理器104在使用期间执行的软件可控制设备100的其他部件，以实现设备的所期望的功能。处理器还可执行其他软件。这些应用可提供用户功能并可依赖于操作系统，以进行低级设备控制、调度、存储器管理等。

在某些实施方案中，处理器104包括图像信号处理器(isp)110。isp110可包括适用于处理从相机102接收的图像的电路(例如，图像信号处理电路)。isp110可包括能够处理或分析由相机102捕获的图像的任何硬件和/或软件(例如，程序指令)。

在某些实施方案中，处理器104包括安全区域处理器(sep)112。在一些实施方案中，在面部识别认证过程中涉及sep112，该过程涉及由相机102捕获并由isp110处理的图像。sep112可为被配置为对被授权使用设备100的活动用户(例如，当前正在使用设备100的用户)进行认证的安全电路。“安全电路”可为保护被隔离的内部资源免受外部电路直接访问的电路。内部资源可为存储敏感数据诸如个人信息(例如，生物识别信息、信用卡信息等)、加密密钥、随机数生成器种子等的存储器(例如，存储器106)。内部资源也可为执行与敏感数据相关联的服务/操作的电路。如本文所述，sep112可包括能够使用面部识别认证过程来认证用户的任何硬件和/或软件(例如，程序指令)。面部识别认证过程可通过利用相机102捕获用户的图像并且将所捕获的图像与设备100的授权用户的先前收集的图像进行比较来认证用户。在一些实施方案中，isp110和sep112的功能可由单个处理器来执行(例如，isp110或sep112可执行两种功能，并且另一个处理器可省略)。

在某些实施方案中，处理器104执行注册过程(例如，图像注册过程300，如图8所示，或注册过程)，以针对设备100的授权用户捕获图像(例如，先前收集的图像)。在注册过程期间，相机模块102可从授权用户捕获(例如，收集)图像和/或图像数据，以便允许sep112(或另一安全过程)随后使用面部识别认证过程来认证用户。在一些实施方案中，来自注册过程的图像和/或图像数据(例如，来自图像的特征矢量数据)被用于在设备100中生成模板。模板可被存储在例如设备100的存储器106中的模板空间中。在一些实施方案中，可通过从模板空间添加和/或减去模板来更新模板空间。处理器104可执行模板更新过程，以从模板空间添加和/或减去模板。例如，模板空间可利用附加模板而被更新，以适应授权用户的外观随时间推移的变化和/或硬件性能随时间推移的变化。当用于存储模板的模板空间已满时，可从模板空间中减去模板以补偿模板的添加。

在一些实施方案中，相机模块102捕获用于面部识别会话的多对图像。每对可以包括利用二维捕获模式所捕获的图像(例如，泛光ir图像)和利用三维捕获模式所捕获的图像(例如，被用于生成深度图图像的图案化照明图像)。在某些实施方案中，在对用户作出最终认证决定之前，isp110和/或sep112彼此独立地处理泛光ir图像和图案化照明图像。例如，isp110可独立处理图像以分别确定每个图像的特征。然后，sep112可将每个类型图像的单独图像特征与所存储的模板进行比较，以生成每个单独图像的认证分数(例如，所捕获的图像和所存储的模板中的用户之间的匹配分数或匹配的其他排名)。单独图像(例如，泛光ir图像和图案化照明图像)的认证分数可以被组合，以对用户的身份作出判定，并且如果通过认证，则允许用户使用设备100(例如，解锁设备)。

在一些实施方案中，isp110和/或sep112组合每对中的图像，以提供用于面部识别的合成图像。在一些实施方案中，isp110处理合成图像，以确定图像的特征，sep112可将其与所存储的模板进行比较，以对用户的身份作出决定，并且如果被认证，则允许用户使用设备100。

在一些实施方案中，泛光ir图像数据和图案化照明图像数据的组合可以允许sep112在三维空间中比较面部。在一些实施方案中，相机模块102经由安全通道来将图像数据传送到sep112。例如，安全信道可为用于传送数据的专用路径(即，仅由预期的参与者共享的路径)，或者可为用于使用仅预期的参与者知道的密码密钥来传送加密的数据的专用路径。在一些实施方案中，相机模块102和/或isp110可在将图像数据提供至sep112之前对图像数据执行各种处理操作，以便促进由sep来执行该比较。

在某些实施方案中，处理器104操作一个或多个机器学习模型。机器学习模型可使用位于处理器104和/或设备100上的硬件和/或软件的任何组合(例如，程序指令)来操作。在一些实施方案中，使用一个或多个神经网络模块114来操作设备100上的机器学习模型。神经网络模块114可位于isp110和/或sep112中。

神经网络模块114可包括位于处理器104中和/或设备100上的硬件和/或软件的任何组合(例如，程序指令)。在一些实施方案中，神经网络模块114为多尺度神经网络或者其中在网络中所使用的内核的尺度可变化的另一神经网络。在一些实施方案中，神经网络模块114为重复性神经网络(rnn)，诸如但不限于门控重复性单元(gru)重复性神经网络或长短期记忆(lstm)重复性神经网络。

神经网络模块114可包括安装或配置有已由该神经网络模块或类似的神经网络模块(例如，在不同的处理器或设备上操作的神经网络模块)学习的操作参数的神经网络电路。例如，可使用训练图像(例如，参考图像)和/或其他训练数据来训练神经网络模块，以生成用于神经网络电路的操作参数。随后可将从训练中生成的操作参数提供至被安装在设备100上的神经网络模块114。将从训练中生成的操作参数提供至允许神经网络模块使用编程到神经网络模块中的训练信息进行操作的设备100上的神经网络模块114(例如，训练生成的操作参数可被神经网络模块用于操作并评估由设备捕获的图像)。

图4示出了用于神经网络模块的训练过程200的实施方案的流程图。在某些实施方案中，使用位于除处理器104之外的计算机处理器上的神经网络模块(例如，训练神经网络模块)来实现训练过程200。图5示出了具有可用于训练的神经网络模块122(例如，训练神经网络模块)的处理器120的实施方案的表示。神经网络模块122可包括例如一个或多个编码器模块和/或解码器模块。在某些实施方案中，先前已被捕获的图像作为训练图像而被提供至神经网络模块122。可将训练图像的已知属性连同训练图像一起提供至神经网络模块122(例如，训练图像可利用已知属性来扩充)。神经网络模块122可位于处理器120上，以由训练过程200进行训练。然后，可将由“训练的”神经网络模块122生成的操作参数输出用于设备100上的神经网络模块114，以实现设备上的“训练的”神经网络模块。

在某些实施方案中，如图4所示，训练过程200开始于提供图像输入202。图像输入202可包括提供至训练过程200的训练图像(例如，将利用如上所述的已知信息扩充或注释的(例如，标记的)训练图像提供至训练过程)。在一些实施方案中，图像输入202包括借助相机102捕获或者以另外方式提供给训练过程200(例如，以数字方式提供给训练过程)的训练图像。训练图像可包括从图像的数据库获取的参考图像或其他样本图像。例如，可从imagenet或另一类似图像数据库获取训练图像。在某些实施方案中，在泛光ir照明图像上实现训练过程200，以在此类图像中训练用于面部检测的神经网络模块。在一些实施方案中，在图案化照明图像(例如，用于生成深度图图像的图像)上实现训练过程200，以在此类图像中训练用于面部检测的神经网络模块。

图像输入202可包括图像中的具有各种不同用户和/或面部的多个训练图像。在一些实施方案中，图像具有标识图像的已知信息的标签或其他标记。可将已知信息作为已知数据204提供至训练过程200中。在一些实施方案中，训练图像利用已知数据204来扩充。

在某些实施方案中，图像输出202被提供至认证过程训练206。认证过程训练206可包括训练神经网络模块以操作面部识别认证过程(例如，图16中所述的完整面部识别认证过程450和/或图17中所述的局部面部识别认证过程450p)以在图像输入202中认证用户。在一些实施方案中，认证过程训练206包括神经网络模块评估图像处理(例如，图像输入202的特征矢量的编码和/或解码)与用于图像输入的已知数据204之间的差异，以及优化该过程，直到神经网络模块准确地认证图像输入中的用户。因此，当在训练过程200中处理多个训练图像时，认证过程训练206(和神经网络模块)可由图像输入202中的训练图像和已知数据204进行训练，以精确匹配或认证训练图像中的用户。

训练过程200可包括针对多个训练图像的训练认证过程训练206(和神经网络模块)，该多个训练图像具有图像中的各种不同的用户和/或面部，以及图像中的面部的不同属性和/或情况。在对一组训练图像完成训练过程200之后，可通过认证过程训练206生成操作参数208。操作参数208包括可用于图5所示的神经网络模块122中的参数，以将输入到神经网络模块中的用户的面部认证为可识别的面部(例如，提供对图像中的用户是已知或授权的用户的认证)。

在一些实施方案中，可在210中测试和细化操作参数208以提供细化的操作参数212。测试和细化过程210可包括将操作参数输入到神经网络模块122中，以及在具有已知信息(例如，已知身份)的样本图像上操作模块。图6示出了测试和细化过程210的实施方案的流程图。在过程210中，可将样本图像输入216连同操作参数208一起提供至神经网络模块122。神经网络模块122可通过使用操作参数208对样本输入图像216进行处理来确定认证决策218。可将认证决策218(以及与该决策相关联的任何数据)与已知的认证决策220(例如，是否应当认证样本图像输入216中的用户)进行比较，以在222中确定该决策是否正确。

如果认证决策218与已知的认证决策220匹配，则在224中设定操作参数，并且提供细化的操作参数212作为输出(例如，可设定细化的操作参数并将其用于对处理器104上的神经网络模块114编程，如图3所示，以用于本文所述的面部识别认证过程中)。如果认证决策218不与已知认证决策220匹配，则可在226中对训练过程(例如，在图4中示出的训练过程200)进行微调。对训练过程进行微调可包括向训练过程200提供附加训练图像和/或训练过程中的其他调整，以优化神经网络模块122的操作参数(或生成新的操作参数)。一旦在224中设定了用于神经网络模块122的细化操作参数212，则可通过将该操作参数提供至如图1所示的设备100上的神经网络模块114而将该操作参数应用于该设备。

在某些实施方案中，向训练过程200提供训练图像，其中用户的整个面部(例如，完整面部)在呈现给训练过程的图像的帧内(例如，用户的完整面部位于由训练过程处理的图像的帧内)。在训练图像中提供完整面部会训练认证过程训练206(和神经网络模块)，以基于用户的整个(完整)面部来认证用户。例如，基于用户整个面部上的特征来确定用户面部的匹配(认证)。为基于完整面部图像的训练所生成的操作参数可用于神经网络模块中以操作完整面部识别认证过程(例如，图16中所述的完整面部识别认证过程450)。

在某些实施方案中，认证过程训练206(和神经网络模块)被训练成基于用户面部的一部分来认证用户。例如，认证过程训练206(和神经网络模块)可被训练成基于用户面部的眼周部分来认证用户。如本文所用，术语“眼周部分”是包括面部的眼周区域的面部部分。眼周区域可以是眼睛周围的面部区域，包括眼球、眼框和眼角。然而，在包括眼周区域(例如，眼睛的眼球和眼框)的情况下，眼周部分不限于眼周区域，并且可包括围绕眼周区域的面部的部分。例如，眼周部分可包括除眼周区域之外的鼻子的部分(例如，鼻梁和/或鼻尖)和/或前额的部分。在一些实施方案中，除了眼周区域之外，眼周部分还可包括面部的头顶。

在一些实施方案中，认证过程训练206还可被训练用于基于用户面部的其他部分来认证用户。在某些实施方案中，具有用户的完整面部的训练图像(例如，用于训练神经网络模块进行完整面部识别认证过程的的训练图像，如上所述)也用于训练神经网络模块进行局部面部识别认证过程。为了在局部面部训练中使用，可裁剪或减小具有用户的完整面部的训练图像以用于局部面部训练。为基于局部面部图像的训练所生成的操作参数可用于神经网络模块中以操作局部面部识别认证过程(例如，图17中所述的局部面部识别认证过程450p)。

对完整面部训练和局部面部训练使用相同的训练图像可减少训练两个神经网络模块(完整面部神经网络模块和局部面部神经网络模块)所需的数据量。裁剪完整面部训练图像以在局部面部训练中使用可允许实现神经网络模块的局部面部训练而不获取用户的面部在图像中被阻挡或遮挡的完整图像集(例如，其中用户的面部被面罩、围巾等阻挡或遮挡的图像)。

图7示出了过程230的实施方案的表示。过程230可用于裁剪完整面部训练图像以用于局部面部训练过程。例如，过程230可裁剪过程200中使用的图像以训练认证过程训练206(和神经网络模块)从而对局部面部进行操作。在某些实施方案中，过程230将训练图像裁剪到图像中的用户面部的眼周部分(例如，面部的包括眼睛的部分)。然而，可根据需要裁剪图像以包括用户面部的其他部分(例如，基于过程200的期望训练输出)。

如图7所示，训练图像232包括用户的面部234。面部234可包括用户的完整面部。在某些实施方案中，在面部234上标识界标236。例如，可使用另一个神经网络模块、其他网络电路和/或另一个过程来识别和定位面部234上的界标236。界标236可包括但不限于眼角、鼻梁或鼻尖、嘴角。对于裁剪面部234的眼周部分(或包括眼睛的另一部分)的实施方案而言，眼睛的界标236可用于对齐和识别图像中的面部，因为眼睛可以是唯一可见的界标(例如，当鼻子和/或嘴部被阻挡或遮挡时，仅眼睛在图像中可见)。

在某些实施方案中，使用用于眼睛的界标236将图像232对齐至正常对齐(例如，面部被旋转到正常纵向位置(其中面部在框架中竖直对齐)，诸如图7中的对齐图像242所示)。在对齐图像配置238中示出了眼睛界标的正常对齐。将训练图像对齐(旋转)至正常对齐可在训练过程中提供更准确的眼睛位置，并且纠正与训练图像中之间的滚动角度。对具有正常对齐的图像进行训练可提供更稳健的训练过程并改进训练过程(以及稍后编程的局部面部识别认证过程)的匹配(认证)。将图像232旋转到正常对齐也可允许使用更多的训练图像，因为并非所有训练图像都处于正常对齐(因此图像的旋转允许使用更多的训练图像)。

如图7所示，可向变换240提供具有标识的眼睛界标236的训练图像232连同对齐的图像配置238。变换240可根据眼睛界标236对齐图像232以产生对齐图像242。变换240可以是例如具有相似性变换的图像翘曲，以保持对齐图像242中的面部234的形状。

在获得对齐图像242之后，可使用眼睛界标236裁剪对齐图像以确定裁剪的位置。裁剪对齐图像242可生成裁剪图像244。裁剪图像244可以是例如裁剪到用户面部的眼周的图像(例如，图像被裁剪到用户面部的包括面部的眼周区域的一部分)。在一些实施方案中，裁剪图像244包括面部的前额，如图7所示。然而，裁剪图像可包括从另选的裁剪图像244'所示的图像裁剪前额，也如图7所示。另选的裁剪图像244'可以是从顶部和底部裁剪到包括用户眼睛的狭窄区域的图像(例如，狭窄区域包括面部的眼周区域)。

在由过程230生成裁剪图像244之后，可将裁剪图像提供给训练过程200，如图4所示。在某些实施方案中，裁剪图像244在被提供给训练过程200时被调整大小。调整裁剪图像244的大小可允许训练过程200(以及设备100上的稍晚操作)对更大的图像(以及更大图像中包含的信息量)进行操作，即使仅面部的一部分在图像中时也是如此。更大的图像可以是例如全尺寸图像或通过分辨率和/或计算约束确定的另一图像大小。在训练过程200中使用裁剪图像244可生成操作参数212，该操作参数可用于在设备100上操作局部面部识别认证过程(例如，图17中描述的局部面部识别认证过程450p)。在某些实施方案中，针对局部面部识别认证过程训练的神经网络模块是与针对完整面部识别认证过程训练的神经网络模块独立的神经网络模块。

在某些实施方案中，将第一组细化操作参数212应用到设备100，如图1所示，以进行完整面部识别认证过程(例如，图16中描述的完整面部识别认证过程450)，将第二组细化操作参数212应用于设备，以进行设备100上的局部面部识别认证过程(例如，图17中所述的局部面部识别认证过程450p)。第一和第二组操作参数212可被应用于设备100上的单独神经网络模块并在其上操作。因此，设备100可在两个单独的神经网络模块上操作两个单独的面部识别认证过程。每个神经网络模块可使用针对该神经网络模块具体确定的操作参数来操作，使得每个神经网络模块可独立地操作。

在一些实施方案中，一些训练图像可被排除在用于局部面部识别认证过程的训练之外，以改善局部面部过程的误拒绝率。例如，当图像中存在眼睛上的任何遮挡时和/或当图像中的眉毛被完全遮挡时，可排除训练图像。在一些实施方案中，在鼻子上没有遮挡的训练图像可被定义为完整面部图像(例如，由完整面部识别认证过程处理的图像)，因为此类图像可通过完整面部过程得到更好地处理。

在某些实施方案中，对局部面部识别认证过程施加的限制比施加于完整面部识别认证过程的限制更强。可用于局部面部图像的特征数据可少于完整面部图像。因此，可对局部面部识别认证过程施加更强的限制，以便在局部面部过程上保持与完整面部识别认证过程的安全水平相似的安全水平。

图8描绘了用于设备100的授权用户的图像注册过程300的实施方案的流程图。过程300可用于为存储在设备(例如，耦接到sep112的存储器)中的设备100的授权用户创建注册配置文件。注册配置文件可包括使用过程300为授权用户创建的一个或多个模板。在一些实施方案中，过程300用于为授权用户创建两个模板。第一模板可为完整面部模板(例如，与完整面部识别认证过程一起使用的模板)，并且第二模板可为局部面部模板(例如，与局部面部识别认证过程一起使用的模板)。注册配置文件和与注册配置文件相关联的模板可用于面部识别认证过程中以允许(例如，授权)用户使用设备和/或对设备执行操作(例如，解锁设备)。

在某些实施方案中，在授权用户第一次使用设备100时和/或在用户选择在面部识别过程中创建注册配置文件时，使用过程300。例如，在授权用户首次获得设备100(例如，被授权用户购买)并由授权用户首次打开设备时，发起过程300。在一些实施方案中，可在用户希望在面部识别过程中注册，更新设备100的安全设置，在设备上重新注册和/或添加注册配置文件时，可由授权用户发起过程300。

在某些实施方案中，过程300开始于在302中对用户进行认证。在302中，可使用非面部认证过程在设备100上对用户进行认证。例如，可通过输入密码，输入口令，或使用除面部识别之外的另一种用户认证协议来将用户认证为授权用户。在302中认证用户之后，在304中捕获用户的一个或多个注册(例如，参考或注册)图像。注册图像可包括被泛光照明器105a照明的用户的图像(例如，泛光ir图像)和/或被照明器105b照明的用户的图像(例如，用于生成深度图图像的图案化照明图像)。如本文所述，在设备100上的面部识别过程中可以独立和/或组合使用泛光ir图像和图案化照明图像(例如，可以独立地使用图像以提供认证判定，并且可以组合这些判定以确定对用户认证的最终判定)。

可在用户与设备100进行交互时使用相机102来捕获注册图像。例如，可在用户遵循设备100的显示器108上的提示时捕获注册图像。该提示可包括在捕获注册图像时用户作出不同运动和/或姿态的指令。在304期间，相机102可针对由用户执行的每种运动和/或姿态来捕获多个图像。在图像仍然具有用户的较清晰绘示的情况下针对用户的不同动作和/或不同姿态捕获图像可能在提供更多样的注册图像时是有用的，这使得能够认证用户而不必相对于设备100上的相机102处于受限或约束的位置。

在304中捕获多个注册图像之后，可在306中选择注册图像，以用于进一步的图像处理。对注册图像306的选择以及对图像的进一步处理可由isp110和/或sep112来执行。对用于进一步处理的注册图像的选择可包括选择适合用于生成模板的图像。例如，在306中选择适合用于生成模板的图像可包括评估针对图像的一个或多个所选择的标准并选择满足所选择的标准的图像。可将所选择的图像用于为用户生成模板。所选择的标准可包括但不限于：用户的面部位于相机视场中、用户面部姿态为适当的(例如，用户的面部未在任何方向上从相机转动过远(即，面部的俯仰、偏转和/或翻滚不高于特定水平))，相机102和用户面部之间的距离在所选择的距离范围内，用户的面部具有低于最小值的遮挡(例如，用户的面部未被另一物体遮挡(遮盖)超过最小量)、用户注意到相机(例如，用户的眼睛看着相机)、用户的眼睛未闭合，以及图像中的适当的光照(照明)。在一些实施方案中，如果在注册图像中检测到超过一个面部，则拒绝该注册图像并且不用于(例如，不选择)进一步的处理。可基于满足特定数量的所选择的标准或所有所选择的标准的图像进行管理来对适用于进行进一步处理的图像进行选择。在一些实施方案中，在识别图像中的用户特征(例如，诸如眼睛、鼻子和嘴的面部特征)并评估图像中的所选择的标准时使用遮挡图和/或地标特征图。

在306中选择图像之后，对于完整面部图像(例如，图像中具有整个用户面部的图像)，可在308中对所选择的(模板)图像中的用户特征进行编码。对所选择的图像进行编码可包括对用户的特征(例如，面部特征)进行编码，以将图像中的特征定义为特征空间中的一个或多个特征矢量。特征矢量310可为308中的编码的输出。特征空间可为n维特征空间。特征矢量可为数值的n维矢量，其在特征空间中定义来自图像的特征(例如，特征矢量可为定义图像中的用户的面部特征的数值矢量)。

图9示出了具有特征矢量310的特征空间312的实施方案的表示。每个特征矢量310(黑点)可定义来自单个图像、来自复合图像(例如，由几幅图像构成的图像)或来自多个图像的用户的面部特征。特征矢量310从单一用户的面部特征生成，该特征矢量可彼此类似，因为该特征矢量与同一个人相关联并可具有某些“聚类”，如图9中的圆311所示的。如下所述，特征矢量356a和356b(开放菱形)为从面部识别过程450获得的特征矢量。

如图8所示，过程300可包括在314中将特征矢量410存储在设备100的存储器(例如，由sep112保护的存储器)中。在某些实施方案中，在存储器的模板空间(例如，下述模板空间320)中将特征矢量310存储为静态模板316(例如，注册模板或参考模板)。静态模板316可用于由过程300创建的注册配置文件。在一些实施方案中，静态模板316(和本文描述的其他模板)包括独立模板，该独立模板针对从注册泛光ir图像获得的特征矢量且针对从注册图案化照明图像获得的特征矢量。应当理解，可在本文描述的附加过程期间独立和/或组合地使用从泛光ir图像和图案化照明图像获得的独立模板。在本公开中为了简单起见，静态模板316被一般性地描述，并且应当理解，静态模板316(和模板的使用)可以指从泛光ir图像获得的模板或从图案化照明图像获得的模板。在一些实施方案中，泛光ir图像和图案化照明图像的组合可以被用于生成模板。例如，从泛光ir图像和图案化照明图像获得的特征矢量对可以被存储在静态模板316中，以在设备100上的一个或多个面部识别过程中使用。

在某些实施方案中，模板316(及其相关联的模板空间320)是用于注册配置文件的完整面部模板(例如，从与注册配置文件相关联的用户的完整面部图像生成的模板)。如图8所示，模板也可从与注册配置文件相关联的用户的局部面部图像生成(例如，局部面部模板316p)。在某些实施方案中，使用用于生成完整面部模板的相同图像来生成局部面部模板。对局部面部模板和完整面部模板两者使用相同图像可为用户提供更一致的模板并减少用户的注册时间(例如，捕获图像的时间更短)。

为了生成局部面部模板，如图8所示，在306中选择注册图像之后，可在307中将所选择的注册图像裁剪到用户面部的一部分并为其调整大小。可使用与图7中所述的过程230类似的过程来完成图像的裁剪和大小调整。在某些实施方案中，图像被裁剪以包括图像中的用户面部的眼周部分。然而，可根据需要裁剪图像以包括用户面部的其他部分(例如，基于训练过程200期间裁剪的部分)。图像也可被对齐(例如，使用眼睛的界标)并旋转以将图像放置为正常(例如，纵向)对齐。

在307中对图像进行裁剪和调整大小之后，可在308p中对图像进行编码。在308p中对所选择的图像进行编码可包括对特征编码，以将图像中的特征定义为一个或多个特征矢量310p。当图像被裁剪到用户面部的特定部分时，特征矢量310p可包括与用户面部的被裁剪部分(例如，用户面部的眼周部分)相关联的特征矢量，并且不包括指向用户面部的未裁剪部分(例如，如果裁剪到眼周部分，则为前额、下巴和/或嘴部)的特征矢量。

在生成特征矢量310p之后，可在314p中将特征矢量存储在设备100的存储器(例如，由sep112保护的存储器)中。在某些实施方案中，特征矢量310p被存储在与特征矢量310相同的存储器部分中。在一些实施方案中，特征矢量310p被存储在与特征矢量310不同的存储器部分中。特征矢量310p可被存储为静态模板316p。静态模板316p可为存储器的模板空间(例如，下述模板空间320)中的注册模板或参考模板。除了完整面部静态模板316之外，静态模板316p还可以是用于由过程300创建的注册配置文件的局部面部模板。

图10示出了用于设备100的存储器106中的注册配置文件的模板空间320的实施方案的表示。在某些实施方案中，模板空间320位于由sep112保护的设备100的存储器106的一部分中。在一些实施方案中，模板空间320包括用于完整面部模板的静态部分322和动态部分324以及用于局部面部模板的静态部分322p和动态部分324p。静态模板316和316p可例如被分别添加到模板空间320的静态部分322和322p(例如，模板被永久添加到存储器，除非设备被重置，否则不会被删除或改变)。在一些实施方案中，静态部分322和/或静态部分322p包括一定数量的静态模板316和/或静态模板316p。例如，对于图10中所示的模板空间320的实施方案，在静态部分322(和/或322p)中允许六个静态模板316(和/或316p)。在一些实施方案中，可以在静态部分322(和/或322p)中允许九个静态模板316(和/或316p)。还可设想静态部分322(和/或322p)中有其他数量的静态模板316(和/或316p)。在完成用于注册配置文件的注册过程并向静态部分322和静态部分322p分别添加静态模板316和静态模板316p之后，可向用于注册配置文件的模板空间320的动态部分324和/或动态部分324p添加附加动态模板326和/或动态模板326p(例如，在不需要设备重置的情况下可向其添加和从其删除模板的部分)。

因此，静态模板316和静态模板316p可以是通过针对与注册过程相关联的注册配置文件的注册过程300生成的注册模板(或参考模板)。在完成注册过程300之后，将所选择数量的静态模板316和静态模板316p存储在用于注册配置文件的模板空间320的静态部分322和静态部分322p中。在注册过程300之后被存储在静态部分322中的静态模板316的数量和被存储在静态部分322p中的静态模板316p的数量可根据例如注册过程期间获得的不同特征矢量的数量而改变，该不同特征矢量的数量可基于被选择为适合用作模板图像的图像的数量或针对该设备的模板的期望数量。在注册过程300之后，静态模板316包括可用于与注册配置文件相关联的授权用户的完整面部识别的特征矢量310(例如，注册或参考特征矢量)。此外，在注册过程300之后，静态模板316p包括可用于与注册配置文件相关联的授权用户的局部面部识别的特征矢量310p(例如，注册或参考特征矢量)。因此，模板空间320可用于完整面部识别认证过程和/或局部面部识别认证过程以授权与注册配置文件相关联的用户。

图11描绘了面部识别认证过程400的实施方案的流程图。过程400可用于使用用户的面部识别来将用户认证为设备100的授权用户。在某些实施方案中，过程400用于使用设备100上的注册配置文件(例如，模板空间320)来认证用户。认证授权用户可允许用户访问并使用设备100(例如，解锁设备)和/或具有对设备的所选择的功能的访问权限(例如，对运行于设备上的应用的功能进行解锁、支付系统(即，进行支付)、访问个人数据、通知的扩展视图等)。在某些实施方案中，过程400被用作针对设备100的基本生物识别认证过程(在注册授权用户之后)。在一些实施方案中，过程400被用作除额外认证过程(例如，指纹认证、另一生物识别认证、密码输入、口令输入和/或图案输入)之外的认证过程。在一些实施方案中，如果用户不能使用过程400而被认证，则可使用另一种认证过程(例如，密码输入、图案输入、其他生物识别认证)来访问设备100。

在402中，相机102捕获尝试被认证以用于访问设备100的用户的面部图像(例如，相机捕获用户的“解锁尝试”图像)。应当理解，解锁尝试图像可以是用户的面部的单个图像(例如，单个泛光ir图像或单个图案化照明图像)，或者解锁尝试图像可以是在短时间段内(例如，一秒或更少)拍摄的用户的面部的一系列若干图像。在一些实施方案中，用户的面部的一系列若干图像包括泛光ir图像和图案化照明图像对(例如，相继的泛光ir和图案化照明图像对)。在一些具体实施中，解锁尝试图像可以是由泛光照明器和图案照明器照明的用户的几个图像的复合。

相机102可响应于用户的提示来捕获该解锁尝试图像。例如，可在用户尝试通过按下设备100上的按钮(例如，首页按钮或虚拟按钮)，通过将设备移动到相对于用户的面部的所选择的位置(例如，用户移动设备，使得相机指向用户的面部或从桌上提起设备)，和/或相对于设备做出特定姿态或移动(例如，轻击屏幕，在显示器上轻扫用户手指或从桌上拿下设备)而访问设备100时捕获该解锁尝试图像。应当理解，如本文所述，解锁尝试图像可包括泛光ir图像或图案化照明图像或它们的组合。此外，可根据需要，独立地或组合地与其对应模板(例如，具有用于泛光ir注册图像的模板的泛光ir图像)相关联地处理解锁尝试图像。

在404中，可使用面部检测过程来确定和定位图像中的一个或多个面部。如果在解锁尝试图像中未检测到面部，则可丢弃解锁尝试图像并且可(自动地或在用户输入之后)捕获额外的解锁尝试图像，直到在所捕获的解锁尝试图像中检测到面部。在gernoth等人的美国专利申请no.15/910,551和kumar等人的美国临时专利申请no.62/679,850(在此通过引用并入，如同本文完全阐述的一样)中描述了面部检测过程的示例。

另外，在404中，可评估图像中的遮挡量。在某些实施方案中，在404中评估遮挡量包括针对已检测到面部的图像生成遮挡图和界标地图(例如，遮挡热图和界标热图)，并且使用所生成的地图来评估遮挡量。例如，界标地图可用于识别图像中的界标位置，并且用于相同图像的遮挡图可用于评估所识别界标的遮挡分数。遮挡分数可以为例如表示对界标被遮挡程度的估计的测量值或值(例如，0和1之间的值，其中0是未遮挡，1是完全遮挡)。可基于图像的遮挡分数来评估图像中的遮挡量。例如，遮挡量可以是所识别的界标的遮挡分数的复合(例如，总和或平均值)。在gernoth等人的美国专利申请no.15/934,559(在此通过引用并入，如同本文完全阐述的一样)中描述了评估遮挡分数的示例。

在某些实施方案中，“过程切换”406可在404中的面部检测和遮挡评估之后实现。过程切换406可包括将所评估的遮挡量与遮挡阈值408进行比较，以确定过程400是继续进行完整面部识别认证过程450还是局部面部识别认证过程450p。在某些实施方案中，如果所评估的遮挡量低于遮挡阈值408(例如，图像的评估遮挡分数(或复合遮挡分数)低于由遮挡阈值设定的所选择的遮挡量)，则过程400继续进行完整面部识别认证过程450(图16所示)。另选地，如果所评估的遮挡量高于遮挡阈值408(例如，图像的评估遮挡分数(或复合遮挡分数)高于由遮挡阈值设定的所选择的遮挡量)，则过程400继续进行局部面部识别认证过程450p(图17所示)。

在一些实施方案中，过程切换406使用基于规则的方法将所评估的遮挡量与遮挡阈值408进行比较。基于规则的方法可包括例如关于图像中界标的遮挡的规则(例如，为在404中产生的遮挡和界标地图中的所识别界标评估的遮挡分数)。图12描绘了基于规则的可能方法的一个实施方案的流程图。在410中，可确定鼻子(由其界标标识)的遮挡。如果鼻子被遮挡(“y”)(例如，鼻子的遮挡分数高于遮挡阈值)，则过程400可继续进行局部面部识别认证过程450p。如果鼻子未被遮挡(“n”)(例如，鼻子的遮挡分数低于遮挡阈值)，则可在412中确定嘴角的遮挡。在412中，如果嘴角被遮挡(“y”)(例如，嘴角的遮挡分数高于遮挡阈值)，则过程400可继续进行局部面部识别认证过程450p。如果嘴角未被遮挡(“n”)(例如，嘴角的遮挡分数低于遮挡阈值)，则过程可继续进行完整面部识别认证过程450。应当理解，当鼻子被遮挡时，可能不需要确定嘴部的遮挡，因为鼻子的遮挡可足以将过程400发送到局部面部识别认证过程450p。

图13示出了要根据图12所示的基于规则的方法使用完整面部识别认证过程450进行处理的用户面部图像的示例。如图13所示，眼睛和嘴部均不被遮挡。图14示出了要根据图12所示的基于规则的方法使用局部面部识别认证过程450p进行处理的用户面部图像的示例。如图14所示，鼻子(以及嘴部)被遮挡。图15示出了要根据图12所示的基于规则的方法使用局部面部识别认证过程450p进行处理的用户面部图像的另一示例。如图15所示，鼻子未被遮挡，但嘴部(例如，两个嘴角)被遮挡。

在一些实施方案中，过程切换406使用基于学习的方法将所评估的遮挡量与遮挡阈值408进行比较。对于基于学习的方法的实施方案，过程切换406可以是针对输入图像(例如，训练图像)进行训练以评估超出或低于遮挡阈值408的遮挡量的回归器。例如，可训练回归器以评估训练图像中的鼻子和/或嘴部的遮挡量，并基于所评估的遮挡量提供决策，以使用局部面部或完整面部过程来处理图像。回归器可以是例如基于线性的回归器(诸如线性支持矢量机)或基于内核的回归器(诸如内核支持矢量机)。在使用基于学习的方法的实施方案中，过程切换406基于对过程切换的训练对过程400的路线选择做出决策，而不将遮挡量与特定规则进行比较。

对于在402中捕获的具有高遮挡量(例如，面部的大部分被遮挡，包括部分或全部眼周区域)的图像，所使用的过程(例如，完整面部或部分)可能不重要，因为很有可能不会使用任何过程对图像进行认证(例如，与授权用户匹配)，这是由于图像中缺少特征并存在高度遮挡(例如，图像中没有足够多的特征来针对图像提供足够高的匹配分数)。因此，无论使用基于规则的方法还是基于学习的方法来与遮挡阈值408进行比较，过程切换406都可以对通过完整面部识别认证过程450还是局部面部识别认证过程450p继续过程400提供“两者取一”的决策。在一些实施方案中，如果在402中捕获的图像具有高遮挡量，则可在继续进行完整面部识别认证过程450或局部面部识别认证过程450p之前结束(例如，终止)过程400。在此类实施方案中，可以用新捕获的解锁尝试图像重新启动过程400。

图16描绘了完整面部识别认证过程450的实施方案的流程图。在过程切换406将过程400发送到过程450(如图11所示)之后，在402中捕获的解锁尝试图像被发送至“对解锁尝试图像进行编码454”。在454中，对解锁尝试图像进行编码，以将用户的面部特征定义为特征空间中的一个或多个特征矢量。在一些实施方案中，针对解锁尝试图像来定义一个特征矢量。在一些实施方案中，针对解锁尝试图像定义多个特征矢量。一个或多个解锁特征矢量456可为对454中的解锁尝试图像的编码的输出。

在某些实施方案中，在458中，将一个或多个特征矢量456与模板空间320的完整面部模板(例如，静态模板316和/或动态模板326)中的特征矢量进行比较，以得到解锁尝试图像的匹配分数460。在某些实施方案中，模板空间320是设备100上的注册配置文件的模板空间。匹配分数460可为一个或多个特征矢量456和模板空间320中的特征矢量(例如，如本文所述，静态模板316中的特征矢量和/或添加到模板空间的其他动态模板326)之间的差异分数。一个或多个特征矢量456和模板空间320中的特征矢量越接近(例如，距离越小或差异越小)，匹配分数460可能越高。例如，如图9所示，特征矢量456a(开放菱形)距特征矢量310比特征矢量456b(开放菱形)更近(例如，特征矢量456b比特征矢量456a更靠外)。因此，特征矢量456a比特征矢量456b具有更高的匹配分数。由于特征矢量456b距特征矢量310比特征矢量456a更远，因此针对特征矢量456b的更低匹配分数表示与特征矢量456b相关联的解锁尝试图像中的面部为与注册配置文件和模板空间320相关联的授权用户的面部的更小置信度。

在一些实施方案中，对一个或多个特征矢量456和来自模板空间320的模板进行比较以获得匹配分数460，包括使用一个或多个分类器或支持分类的网络以对一个或多个特征矢量456和来自模板空间320的模板之间的差异进行分类和评估。可被使用的不同分类器的示例包括但不限于线性、分段线性、非线性分类器、支持矢量机和神经网络分类器。在一些实施方案中，使用一个或多个特征矢量456和来自模板空间320的模板之间的距离分数来评估匹配分数460。

在462中，将匹配分数460与针对设备100的解锁阈值464进行比较。解锁阈值464可表示设备100要求的授权用户的面部和解锁尝试图像中的用户的面部之间的特征(由特征矢量定义)的最小差异(例如，特征空间中的距离)，以便解锁设备(或对设备上的特征进行解锁)。例如，解锁阈值464可为确定解锁特征矢量(例如，特征矢量456)是否与和授权用户的面部相关联的模板(例如，模板空间320中的静态模板316)足够类似(例如，足够接近)的阈值。又如，解锁阈值464可以由图9中所示的特征空间312中的圆465表示。如图9中所示，特征矢量456a在圆465内部，并且因此特征矢量456a将具有高于解锁阈值464的匹配分数460。然而，特征矢量456b在圆465外部，并且因此特征矢量456b将具有低于解锁阈值464的匹配分数460。在某些实施方案中，在制造期间和/或由设备100的固件来设定解锁阈值464。在一些实施方案中，在设备操作期间，由设备100更新(例如，调节)该解锁阈值464。

如图16所示，在462中，如果匹配分数460高于解锁阈值464(即，解锁尝试图像中的用户的面部基本上匹配授权用户的面部)，则将解锁尝试图像中的用户认证为设备100上的注册配置文件的授权用户并在466中解锁设备。在462中，如果匹配分数460低于解锁阈值464(例如，不等于或高于解锁阈值)，则在468中不对设备100进行解锁(例如，设备保持锁定)。应当注意，如果匹配分数460等于解锁阈值464，根据解锁阈值的期望设置(例如，更紧或更松的限制)，则可对设备100进行锁定或解锁。此外，对于本文描述的其他实施方案，也可根据需要应用针对相等匹配分数进行比较的任一选项。

在某些实施方案中，在470中将解锁尝试与阈值进行比较。该阈值可为例如允许的最大解锁尝试次数或用于解锁尝试的最大分配时间。在某些实施方案中，对解锁尝试的次数(例如，利用在402中所捕获的不同解锁尝试图像尝试对设备100进行解锁的次数)进行计数并将解锁尝试的次数与允许的最大解锁尝试次数进行比较。

在某些实施方案中，如果解锁尝试达到阈值(例如，解锁尝试次数达到允许的最大尝试次数)，则在472中，设备100被锁定而不进一步尝试使用面部认证。在一些实施方案中，在472中锁定设备时，可(例如，在显示器108上)显示用于指示面部识别认证过程450已失败和/或设备100的期望操作被限制或阻止执行的错误消息。在指定的时间段内可在472中锁定设备100而不允许进一步尝试使用面部认证，和/或直到使用另一种认证协议解锁设备。例如，可使用解锁选项474来对设备100进行解锁。

解锁选项474可以包括向用户呈现一个或多个选项，以用于进行不同类型的认证，从而对设备100上的特征进行解锁或访问(例如，向用户呈现进行第二认证协议的选项)。呈现选项可包括例如在设备100的显示器108上显示一个或多个选项，并通过听觉和/或视觉通信提示用户选择所显示的选项中的一个选项，以继续进行对设备的解锁或对设备上的特征的访问。用户然后可使用所选择的选项并根据需要遵循附加听觉和/或视觉提示来继续进行对设备100的解锁/访问。在使用所选择的选项成功认证之后，可允许对设备100进行解锁/访问的用户的初始请求。解锁选项474可包括但不限于使用密码、口令、图案输入、不同形式的生物识别认证或另一种认证协议来对设备100进行解锁。在一些实施方案中，解锁选项474包括提供“用户密码/口令/图案”示能表示，该示能表示在被选择时，使得显示密码/口令/图案输入用户界面或密码/口令/图案输入用户界面或“用户指纹”提示，该提示在被显示时，提示用户在设备的指纹传感器上放置手指。

如果在470中解锁尝试低于阈值(例如，解锁尝试的次数低于所允许的尝试最大次数)，则图11中所示的过程400可以再次运行(重新发起)，以在402中捕获另一解锁尝试图像开始(例如，过程400重新发起并且在402中捕获用户的新图像(诸如新的泛光ir图像))。在一些实施方案中，当过程400被重新发起时，该过程可绕过过程切换406并使用过程450自动处理新的解锁尝试图像。在一些具体实施中，设备100自动捕获用户面部的新解锁尝试图像而不提示用户(例如，新图像的捕获被自动实现和/或向用户隐藏)。在一些具体实施中，设备100(在视觉上和/或听觉上)通知用户过程400正在重新发起。在一些实施方案中，设备100可提示用户提供输入以重新发起过程400。例如，可(在视觉上和/或听觉上)提示用户确认或以其他方式确认重新发起过程400的尝试。

图17描绘了局部面部识别认证过程450p的实施方案的流程图。在过程切换406将过程400发送至过程450p(如图11所示)之后，在402中捕获的解锁尝试图像可在452p中被裁剪和调整大小。可使用与图7中所述的过程230类似的过程来完成图像的裁剪和大小调整。在某些实施方案中，图像被裁剪以包括图像中的用户面部的眼周部分。然而，图像可被裁剪为包括用户面部的其他部分，如本文所述。在452p中，图像也可被对齐(例如，使用眼睛的界标)并旋转以将图像放置为正常(例如，纵向)对齐。

在452p中对图像进行裁剪和调整大小之后，可以在454p中对图像进行编码，以将用户的面部特征定义为特征空间中的一个或多个特征矢量。一个或多个解锁特征矢量456p可为对454p中的解锁尝试图像的编码的输出。在某些实施方案中，在458p中，将一个或多个特征矢量456p与模板空间320的局部面部模板(例如，静态模板316p和/或动态模板326p)中的特征矢量进行比较，以得到解锁尝试图像的匹配分数460p。匹配分数460p可为局部面部模板的匹配分数，该匹配分数与完整面部模板的匹配分数460相似地操作，如图16所示。

如图17所示，可在462p中将匹配分数460p与设备100的解锁阈值464p进行比较。在某些实施方案中，解锁阈值464p基本上类似于解锁阈值464，如图16所示。在一些实施方案中，解锁阈值464p具有比解锁阈值464严格的要求。提供具有较严格(例如，较高)要求的解锁阈值464p可提高在过程450p中匹配的安全性要求(例如，降低误接受率)。在一些实施方案中，解锁阈值464p被设定为对过程450p提供基本上类似于过程450的安全性要求的安全性要求。在一些实施方案中，在设备操作期间，由设备100更新(例如，调节)解锁阈值464p。

如图17所示，在462p中，如果匹配分数460p高于解锁阈值464p(即，解锁尝试图像中的用户面部的该部分基本上匹配授权用户的面部的该部分)，则将解锁尝试图像中的用户认证为设备100上的注册配置文件的授权用户并在466p中解锁设备。在462p中，如果匹配分数460p低于解锁阈值464p(例如，不等于或高于解锁阈值)，则在468p中不对设备100进行解锁(例如，设备保持锁定)。

在某些实施方案中，在470中将解锁尝试与阈值进行比较。如上所述，该阈值可为例如允许的最大解锁尝试次数或用于解锁尝试的最大分配时间。在一些实施方案中，解锁尝试的次数是使用过程450p和过程450的解锁尝试的组合(例如，过程400的总尝试次数)。在一些实施方案中，对过程450p与过程450单独地统计解锁尝试的次数(例如，解锁设备100的尝试次数，其中独立统计每个过程)。

如果解锁尝试达到阈值(例如，解锁尝试次数达到允许的最大尝试次数)，则在472中，设备100(如过程400那样)可被锁定而不进一步尝试使用面部认证。在一些实施方案中，在472中锁定设备之后，使用解锁选项474来解锁设备100。如果在470中解锁尝试低于阈值(例如，解锁尝试次数低于允许的最大尝试次数)，则图11所示的过程400可再次运行(重新发起)，以在402中捕获另一解锁尝试图像而开始，如上所述。

如本文所述，过程450和过程450p中的决策是过程400中的独立操作的决策，其使用解锁尝试图像中的用户的完整面部认证或局部面部认证来获得认证决策(例如，解锁设备或不解锁设备)。操作过程450和过程450p作为过程400的可选子过程(例如，对解锁尝试图像操作过程450或过程450p)，可降低对设备100的处理要求。例如，仅运行一个操作，而不是通过运行两个过程来加倍操作。

如本文所述，过程450p可用于解锁尝试图像中存在至少一些遮挡的状况。使用过程450p(对于一些遮挡情况而言)作为除过程450之外的选项(针对完整面部)提供了过程400的更大可用性。例如，当过程400可能由于遮挡而在认证用户时失败时，过程400可能能够通过使用过程450p来认证用户，即使在面部中有一些被遮挡特征(例如，面部有遮挡，但眼周部分可见)。然而，局部面部图像的处理(例如，在训练过程200和过程450p中)可经受比处理完整面部图像较严格(较强)的限制。对局部面部图像的处理施加更强的限制可提高处理的安全性，以将安全水平保持在利用完整面部图像进行处理的同时提高设备可用性的水平上。

在某些实施方案中，可由执行被存储在非暂态计算机可读介质上的指令的一个或多个处理器(例如，计算机处理器)来执行本文所述的一个或多个过程步骤。例如，图4、图7、图8、图11、图16和图17中所示的过程200、过程230、过程300、过程400、过程450和过程450p可使得一个或多个步骤由一个或多个处理器执行，该一个或多个处理器执行作为程序指令存储在计算机可读存储介质(例如，非暂态计算机可读存储介质)中的指令。

图18描绘了示例性计算机系统510的一个实施方案的框图。示例性计算机系统510可用于实现本文所述的一个或多个实施方案。在一些实施方案中，计算机系统510可由用户操作以实施本文描述的一个或多个实施方案，诸如图4、图7、图8、图11、图16和图17中所示的过程200、过程230、过程300、过程400、过程450和过程450p。在图18的实施方案中，计算机系统510包括处理器512、存储器514和各种外围设备516。处理器512耦接到存储器514和外围设备516。处理器512被配置为执行可处于软件中的指令，该指令包括用于过程200、过程230、过程300、过程400、过程450和/或过程450p的指令。在各种实施方案中，处理器512可实现任何期望的指令集(例如，intel架构-32(ia-32，也被称为x86)、ia-32(具有64位扩展)、x86-64、powerpc、sparc、mips、arm、ia-64等)。在一些实施方案中，计算机系统510可包括多于一个处理器。此外，处理器512可包括一个或多个处理器或一个或多个处理器内核。

处理器512可以任何期望的方式而被耦接到存储器514和外围设备516。例如，在一些实施方案中，处理器512可经由各种互连件而被耦接到存储器514和/或外围设备516。另选地或除此之外，可使用一个或多个桥接芯片来耦接处理器512、存储器514和外围设备516。

存储器514可包括任何类型的存储器系统。例如，存储器514可包括dram，并且更具体地包括双倍数据速率(ddr)sdram、rdram等。可包括存储器控制器以与存储器514接口连接，并且/或者处理器512可包括存储器控制器。存储器514可存储在使用期间由处理器512执行的指令，以及在使用期间由处理器操作的数据等。

外围设备516可表示可被包括在计算机系统510中或与其耦接的任何种类的硬件设备(例如，存储设备，可选地包括图19所示的计算机可访问存储介质600、其他输入/输出(i/o)设备诸如视频硬件、音频硬件、用户界面设备、联网硬件等)。

现在转向图19，即计算机可访问存储介质600的一个实施方案的框图，其包括表示集成电路设计中包括的设备100(图1中所示)的一个或多个数据结构以及表示过程200、过程230、过程300、过程400、过程450和/或过程450p(图4、图7、图8、图11、图16和图17中所示)的一个或多个代码序列。每个代码序列可包括在由计算机中的处理器执行时实现针对对应的代码序列所述的操作的一个或多个指令。一般来讲，计算机可访问存储介质可包括在使用期间可被计算机访问以向计算机提供指令和/或数据的任何存储介质。例如，计算机可访问存储介质可包括非暂态存储介质诸如磁性介质或光学介质，例如磁盘(固定的或可拆卸的)、磁带、cd-rom、dvd-rom、cd-r、cd-rw、dvd-r、dvd-rw或蓝光。存储介质还可包括易失性或非易失性存储器介质，诸如ram(例如，同步动态ram(sdram)、rambusdram(rdram)、静态ram(sram)等)、rom或闪存存储器。存储介质可被物理地包括在存储介质将指令/数据提供至其的计算机中。另选地，存储介质可连接至计算机。例如，存储介质可通过网络或无线链路诸如网络附接存储装置而被连接至计算机。存储介质可通过外围接口诸如通用串行总线(usb)而被连接。一般来讲，计算机可访问存储介质600可以非暂态方式存储数据，其中在该上下文中非暂态是指不通过信号传输指令/数据。例如，非暂态存储装置可为易失性的(并且响应于断电而可能会丢失所存储的指令/数据)或非易失性的。

根据本说明书，对本公开所描述的实施方案的各个方面的其他修改和替代实施方案对于本领域的技术人员而言将为显而易见的。因此，将本说明书理解为仅为例示性的并且用于教导本领域的技术人员执行这些实施方案的一般方式。应当理解，本文所示和所述的实施方案的形式将被当作目前优选的实施方案。元素与材料可被本文所示和所述的那些元素与材料替代，可反转部件和工艺，并且可独立地利用这些实施方案的某些特征，在受益于本说明书之后，所有这些对于本领域的技术人员而言都将为显而易见的。可在不脱离以下权利要求书的实质和范围的情况下对本文所述的元素作出修改。