用于面部辨识的方法和设备的制造方法
【技术领域】
[0001] 本发明大体上涉及图像处理。更具体来说，本发明针对于面部辨识。
【背景技术】
[0002] 技术上的进步已产生使用越来越强大的计算及通信能力的便携式装置。举例来 说，当前存在多种便携式计算装置，例如便携式无线电话、个人数字助理（PDA)、膝上型计算 机、平板个人计算机、电子书阅读器及类似者。更具体来说，许多这些装置可包含用于拍摄 照片及视频的数字成像传感器，且可在有线或无线网络上传送语音和数据包。因此，此类便 携式装置可能够下载视频及图像。在一个实施方案中，蜂窝式电话可存储用户认识的人员 的联系人列表。用户还可能够将图片选择性地指派给选定联系人。可通过使用电话上的相 机俘获所述图像或通过从例如因特网等网络下载适当的图片来接收图片。
[0003] 另外，面部辨识上的进步已产生能够在一些情形中识别未知的人员的系统。这些 系统可需要执行事先培训，包括识别所述人的多个图像。在一些实例中，以离线方式执行所 述训练过程以确保所述训练过程的正确性。
【发明内容】
[0004] 本发明的系统、方法和装置各自具有若干方面，其中没有单一方面单独负责其所 期望属性。在不限制如通过所附权利要求书表达的本发明的范围的情况下，现在将简要地 论述一些特征。在考虑此论述之后，并且尤其在阅读标题为"详细描述"的部分之后，将理 解本发明的特征如何提供多个优点，包含减少执行观测到的面部的面部辨识所需的已知面 部的图像的数目。
[0005] 一个实施例是一种计算机实施的面部辨识的方法。所述方法可包含：接收用于识 别的观测到的面部的多个图像；至少基于所述多个图像的两个或更多个选定图像而产生所 述观测到的面部的模板；搜索已知人员的身份及对应面部数据的数据库；及至少基于所述 搜索而选择所述已知人员的一或多个身份。所述搜索可至少基于所述观测到的面部的所述 模板及所述已知人员的所述面部数据。在各种实施例中，所述计算机实施的方法可进一步 包含使用图像传感器俘获所述观测到的面部的所述多个图像。所述数据库的每一身份可与 基于一个参考图像的数据相关联。产生所述观测到的面部的所述模板可包含至少基于所述 多个图像的所述两个或更多个选定图像的特征向量而产生所述观测到的面部的子空间。在 一些实施例中，所述特征向量可至少基于所述选定的图像的线性二进制图案直方图。在其 它实施例中，所述特征向量可至少基于经滤波的图像块的级联。所述子空间可与所述多个 图像的所述两个或更多个选定图像的所述特征向量的均值及方差相关联。搜索所述数据库 可包含确定所述观测到的面部的所述模板与所述已知人员的对应面部数据中的一或多者 中的每一者之间的误差量度，其中所述误差量度可基于卡方距离。所述一或多个身份的所 述选择可基于所述误差量度的阈值。所述计算机实施的方法的一些实施例可进一步包含基 于所述观测到的面部的定向而选择所述多个图像中的所述两个或更多个图像。所述多个图 像中的所述两个或更多个图像的所述选择可进一步基于所关注的面部特征。对所述多个图 像中的所述两个或更多个图像的所述选择可进一步基于所述数据库的所述面部数据的面 部定向。所述计算机实施的方法的一些实施例可进一步包含在图形显示器上显示指示所述 一或多个选定身份的数据。所述计算机实施的方法的一些实施例可进一步包含：提示用户 确认对所述两个或更多个选定身份的所述选择；及响应于所述用户的所述确认而更新所述 数据库。
[0006] 又另一个实施例是一种面部辨识设备。所述设备可包含图像接收器模块、模板模 块、搜索模块及辨识模块。所述图像接收器模块可包含配置处理器以接收用于识别的观测 到的面部的多个图像的指令。所述模板模块可包含配置所述处理器以至少基于所述多个图 像的两个或更多个选定图像而产生所述观测到的面部的模板的指令。所述搜索模块可包含 配置所述处理器以搜索已知人员的身份及对应面部数据的数据库的指令。
[0007] 再另一个实施例是一种存储指令的非暂时性计算机可读媒体，所述指令在被执行 时可致使处理器执行以下方法：接收用于识别的观测到的面部的多个图像；至少基于所述 多个图像的两个或更多个选定图像而产生所述观测到的面部的模板；搜索已知人员的身份 及对应面部数据的数据库；及至少基于所述搜索而选择所述已知人员的一或多个身份。
【附图说明】
[0008] 图1是根据一个实施例的展示用以从已知人员的一个参考图像识别未知人员的 系统的框图。
[0009] 图2是展示用以从多个图像识别未知人员的客户端-服务器系统的示范性实施例 的框图。
[0010] 图3是根据一个实施例的面部辨识方法的数据流图。
[0011] 图4是展示根据一个实施例的辨识观测到的面部的方法的流程图。
[0012] 图5展示根据一个实施例的使用面部检测算法处理的图像的说明性实例。
[0013] 图6A是根据一个实施例的特征提取过程的流程图。
[0014] 图6B展示根据一个实施例的应用于像素的LBP操作的说明。
[0015] 图7是面部辨识系统的示范性实施例的流程图。
【具体实施方式】
[0016] 本发明的实施例涉及用于从多个图像识别未知人员的系统和方法。在一个实施例 中，系统俘获待辨识的人员的多个图像且从将与来自已知人员的数据库的参考图像进行比 较的图像产生人员的面部的图案或面部特征。举例来说，可通过计算人员的面部的若干图 像的特征向量来计算子空间，且可将此子空间与已知人员的参考特征向量进行比较。在一 个实施例中，所述系统可实施在便携式计算装置（例如蜂窝式电话）中。举例来说，用户可 使用配备有相机的电话来俘获参加会议的同事的视频，且将来自所述视频的那些多个图像 与存储在电话或服务器上的数据库中的同事的单一图像进行比较以识别所述同事的姓名。
[0017] 在一个特定实例中，可将所述系统实施到具有成像传感器及联系人的数据库的手 持式便携式装置上。在人员进入房间时，用户可拍摄所述人员的多个图像，且所述系统可产 生合成图像，且将所述合成图像与和其联系人一起存储的所有图像进行比较。如果合成图 像与联系人数据库中的人员匹配，那么进入房间的人员的姓名、头衔及图像将显示给用户。 这将允许用户识别会议内的每一人员而不需要询问每一人员的姓名。
[0018] 所揭示的方法、设备及系统可在训练中仅与每一人员的一个面部图像作用。此可 更好地适应旧式面部辨识数据库，所述旧式面部辨识数据库可每一人员仅提供一个参考图 像。所揭示的面部辨识方法在辨识过程期间收集未知或观测到的人员的一个以上面部图 像。归因于现代数码相机（例如，与例如手机等移动装置集成的数码相机）的帧速率（多30 帧/秒），多个图像的集合可为可能的。这些多个面部图像可用于建立观测到的或未知人员 的面部图像的模板或子空间。随后将数据库中的已知个人的参考面部数据或图像与模板或 子空间进行比较。可识别及辨识提供最接近的匹配的参考图像。在具有有限计算资源的应 用环境（例如，移动装置的应用环境）中也可有用。
[0019] 面部的模板的实例包含但不限于聚集或组合多个面部图像以形成图像的复合物、 模型、图案或代码的结果。在一个实施例中，以缩小的形式存储所述图像以节省系统内的存 储空间。多个图像的子空间是模板的实例。通过组合或比较多个图像（例如，通过汇集操 作）而形成的图像是模板的另一实例。
[0020] 面部数据的实例包含（例如）图像及模板。在一个实施例中，面部数据在操作期 间以模板的形式存储在参考数据库中（例如）以减少存储空间或处理。
[0021] 图1展示根据一个实施例的用以从已知人员的一个参考图像识别未知人员的系 统100。系统100包含电子装置102以识别未知人员104。电子装置102包含耦合到处理 器112的图像传感器106、输入装置108、输出装置110。处理器112还耦合到存储装置114、 存储器116及通信装置118。存储器116包含图像接收器模块120、子空间模块124、搜索模 块126、辨识模块128及输入/输出（I/O)模块130。电子装置102经配置以俘获未知人员 104的多个图像且向用户（未图示）识别未知人员的身份。
[0022] 成像传感器106经配置以响应于来自执行存储器116的图像接收器模块120的特 定指令的处理器112的控制而俘获及供应图像。成像传感器106的实例包含数字电荷耦合 装置（CCD)相机、红外相机及类似者。在一些实施例中，成像传感器106是任选的，且未知 人员104的图像（例如）存储在存储装置114或存储器116中且从存储装置114或存储器 116检索，或从输入装置108或通信装置118接收，如下文将参考图2所论述。
[0023] 输入装置108可包含显示器、小键盘、鼠标、触摸屏、麦克风、数据驱动器或端口 (例如，用于便携式数据装置的光盘驱动器或通