专利名称：用于基于面部识别提供用户简档的方法和装置的制作方法
技术领域：
本公开涉及用户建档、识别、以及认证。特别地，其涉及使用可 视电话系统或图象捕获设备的用户建档、识别以及认证。
2.
背景技术：
视听会议性能通常利用基于诸如在个人计算机("PCs")或可视电 话中的系统的计算机来实现。 一些可视电话和其它视频会议系统提供 了存储用户偏好的能力。通常，在可视电话以及其它电子设备中建立 用户偏好，从而由最终用户建立的偏好成为被视频会议或电子设备所 采用的偏好。此外，这些系统通常需要用户的充分交互。这种交互可 能会繁重以及费时。
此外，在可视电话中由拍摄装置捕获的图像通过视频会议网络简 单地被传输到目的可视电话。同样，用户的面部表情和特征除了用于 传输至其它视频会议方之外，没有被记录下来以用于任何其它目的。 最后，当前的可视电话以及其它电子设备仅允许为单个用户建立用户 偏好。
发明内容
本发明公开了一种为电子设备提供用户建档的方法和系统。面部 表征数据由成像设备捕获。该成像设备聚焦于用户的面部以捕获面部 表征数据。对关于面部特征数据库中是否包括与该面部表征数据相匹 配的用户面部特征数据进行确定。当面部表征数据与面部特征数据库 中的用户面部特征数据匹配时，用户偏好数据被载入电子设备的存储 器模块。当面部表征数据与面部特征数据库中的用户面部特征数据不匹配时， 一个新的用户简档被添加到用户简档数据库。
用户建档系统，其包括面部识别模块、面部特征数据库、用户建 档模块、以及用户建档数据库。该面部识别模块接收面部表征数据， 该面部表征数据由成像设备捕获。该成像设备聚焦于用户的面部以捕 获面部表征数据。该面部特征数据库存储多个用户记录，多个用户记 录中的每一个存储面部表征数据。此外，多个用户记录的每一个可以 与电子设备的多个用户的每一个相对应。该用户建档模块加载用户偏 好数据至电子设备的存储器模块。当面部表征数据与面部特征数据库 中的用户面部特征数据相匹配时，该用户偏好数据被载入电子设备。 当面部画像数据与面部特征数据库中的用户面部特征数据不匹配时， 该用户建档模块创建一个新的用户简档。最后，用户建档数据库存储 多个用户简档以及对应的用户偏好数据，该用户简档与电子设备的多 个用户中的每一个相对应。
通过实例，现在将利用附图进行参考。
图1示例了一个显示人脸图像的可视电话。 图2示例了面部识别和建档单元的组件和外围设备。 图3示例了用于面部识别和基于面部识别的用户建档的过程的流 程图。
图4A-4C示例了可与面部识别和建档单元相连接的电子设备的实例。
图5示例了通过计算机网络与面部识别和建档单元交互的个人数
字助理。
图6示例了面部识别和建档系统的结构图。
具体实施例方式
本发明公开了一种用于自动面部识别和用户建档的方法和设备。
5该系统和方法可被应用于一个或多个提供建立定制偏好的选项的电子 系统。这些系统可以是个人计算机、电话、可视电话、自动柜员机、 个人数字助理、媒体播放器以及其它。
电子系统通常不存储和管理设置和用户特定信息或者多个用户。 相反，当前的系统提供具有有限的接口能力的用户界面。在此公开的 方法和设备基于面部识别自动地维护多个用户的偏好和设置。与当前 难于进行操作和维护的系统不同，在此公开的系统和方法基于用户动 作、命令、访问信息的顺序等自动地产生用户偏好以及设置。 一旦面 部识别模块识别出一个重现的用户的面部，则用户建档模块将为该重 现的用户收集用户特定动作以产生和获悉用户偏好。如果用户没有被 面部识别模块识别出来，将产生一个新的用户简档，并且将设置、属 性、偏好等作为这个新的用户档案的一部分进行存储。
图1示例了一个显示人脸图像的可视电话。利用拍摄装置110以 及面部识别和建建档单元100的可视电话104可被配置用于捕获用户 面部、面部表情、以及其它可以独一无二地标识该用户的面部特征。 该面部识别和建建档单元100从拍摄装置110接收到一个捕获图像，
并保存表征该用户面部的数据。在一个实施例中，拍摄装置110以及 面部识别和建档单元100安装于可视电话104中。在其它实施例中， 拍摄装置110以及面部识别和建档单元100安装于与可视电话104分 隔开的外壳中。
在一个实例中，仅当用户与其他的可视电话用户进行视频会议通 信时，可视电话102才捕获用户的面部。因此，视频识别和建档的执 行不会干扰用户的视频会议会话。所以，识别和建档对于用户来说是 被透明地执行的过程。当用户在一个视频会议中时，面部识别和建建 档单元100将基于用户动作产生用户偏好和设置。在其它实施例中， 当用户正在操作可视电话102时，可视电话102捕捉用户的面部，而 不是必须在一个视频会议期间。同样，面部识别和建档单元100收集与可视电话102和用户之间的任何交互相对应的用户动作和行为数据。
例如，在视频会议呼叫过程中，用户可将音量设置在某个级别上。 这个动作由面部识别和建档单元100记录下来并与该用户的简档相关 联。然后，当该用户返回以进行另外一个视频会议呼叫时，用户面部
被面部识别和建档单元ioo识别出来，并且音量被自动地设置在该用
户在上次会议呼叫时设置的级别上。
在其他实例中，在视频会议的呼叫过程中，近端的呼叫者和远端
的呼叫者都被面部识别和建档单元100识别出。该近端用户可以是一 个以前曾被面部识别和建档单元IOO识别过的用户。当该近端用户接 收到来自远端呼叫者的呼叫时，面部识别和建档单元100搜索远端呼 叫者简档以及加载关于与该远端用户进行通信的近端用户的偏好。此 外，该远端呼叫者偏好和数据同样也可被载入以用于被面部识别和建 档单元100快速获取或访问。面部识别和建档单元100可被配置为载
入任何数量的可成为会议呼叫参与方的用户简档。参加会议呼叫的用 户的简档、数据以及其他相关信息可以或者不可以被会议呼叫中的其 他用户所用，这取决于安全设置等。
而在另外的实例中，可为每个用户记录输出的可视电话呼叫日志。 自动地为与每个用户通信的参与方保存联系信息。当该用户返回参加 另一视频会议呼叫时，呼叫日志中的所有被联系方的联系信息可以被
自动加载。在一个实施例中，面部识别和建档单元ioo为多个用户存 储用户简档。因此，如果第二用户由相同的可视电话ioo参加视频会
议呼叫，可视电话100将识别出该第二用户的面部，并且立即加载与
第二用户相对应的联系列表。同样，通过执行面部识别和自动地产生 用户简档，只需要最小的用户交互。
图2示例了面部识别和简档单元的组件和外围设备。面部识别和 建档单元IOO可包括面部特征数据库102，用户简档数据库104，面部识别模块106、用户维护模块108、处理器112和随机访问存储器114。
面部特征数据库102可为用户简档数据库104中的每个用户存储 面部特征数据。在一实施例中，每个用户具有多个相关的面部特征。 在另一实施例中，每个用户具有存储在面部特征数据库102中的面部 特征图像。面部识别模块106包括用于存储与每个用户相关的面部特 征的逻辑。在一实施例中，该逻辑包括将用户的面部特征与拍摄装置 110捕获的面部特征进行比较。如果预定义数量的面部特征超过了相似 度阈值，则被捕获的面部被鉴定为属于与被认为与所捕获面部相似的 面部特征相关联的用户。在另一实施例中，如果至少一个面部特征超 过了相似度阈值，则被捕获面部被鉴定为与被认为与用户面部中的面 部特征相似的面部特征相关联的用户。在另一实施例中，面部识别模 块106包括基于模板匹配算法进行运算的逻辑。预先为每个用户建立 的模板可被配置为识别模块106的一部分，并且执行一个比较以确定 差异百分比。
如果用户未被识别为一个已存在用户，则添加新用户、以及相关 联的面部特征和特点。在一实施例中，如果预定义数量的面部特征没 有超过相似度阈值，那么被捕获的面部作为一个新用户与新捕获的面 部特征一块添加。在另一实施例中，如果至少一个面部特征超过相似 度阈值，那么被捕获面部被作为一个新用户与新捕获面部特征一块添 加。
在一个实例中，面部识别模块106将用户的5个面部特征(例如 眼睛、鼻子、嘴巴和下巴)的图像存储在面部特征数据库102中。在 另一实例中，面部识别模块106存储用户的每个面部特征的度量。然 而在另一实例中，面部识别模块106存储用户的每个面部特征的蓝图。 在另一实例中，面部识别模块106存储用户面部的单个图像。在另一 实施例中，如果用户是一个新用户则面部识别模块106存储新的面部 特征数据。 一个或多个已存在的面部识别方案可被用于执行面部识别。用户简档数据库104可存储用户偏好、选择性标识码、预先定义 的命令、以及其他用户特定数据。用户维护模块108包括执行用户建 档的逻辑。在一实施例中，维护模块包括基于用户标识符提取用户简 档的逻辑。用户标识符可以是，例如，存储在面部特征数据库102中
的用户面部特征。在另一实施例中，维护模块108包括在用户简档下 保存用户设置的逻辑。在另一实施例中，维护模块108包括将用户操 作解释为用户偏好并且在用户简档下保存用户偏好的逻辑。而在另一
实施例中，维护模块108包括如果用户未与已存在的用户简档关联则 增加一新用户的逻辑。
面部识别和建档单元100可被连接到一个或多个用于输入和输出 的外围设备上。例如，拍摄装置110通过通信总线116与面部识别和 简档单元相连。拍摄装置110捕获人脸并产生用户面部的图像。在一 个实施例中，拍摄装置110将捕获的数据传送给面部识别模块104而 不对被捕获的图像进行任何预先分类和预处理。在另一实施例中，拍 摄装置110被配置为仅向面部识别模块106传送类似人脸的图像。在 另一实例中，键盘120、麦克风118、显示器122和扬声器124通过通 信总线116连接到面部识别和建档单元100。各种其他输入和输出设备 可以与面部识别和建档单元100通信。各种输入形式的输入设备可被 用来监视和获悉用户行为和偏好。
在一实施例中，面部识别和建档单元100被分隔成位于两个分隔 开的外壳中的两个组件。面部识别模块106和面部特征数据库102安 装在第一外壳中。用户简档数据库104和用户维护模块108可安装在 第二外壳中。
在一实施例中，面部识别需要接收用户面部的捕获图像，例如通 过拍摄装置110，以及通过在面部特征数据库102中搜索所提供的图像 来检验所提供的图像是否对应于被授权的用户。如果用户未被识别，则该用户基于被捕获的脸部特征作为一个新用户被添加。确定被捕获 图像中的面部特征是否与面部特征数据库102中已存在用户的面部特 征相对应，是由面部识别模块106来执行。如前面所述，面部识别模
块106可包括用于将已捕获的用户面部与存储在面部特征数据库102
中的表示已授权用户面部的面部特征数据相比较的操作逻辑。在一实
施例中，面部特征数据库102包括一个相关数据库，其包括在用户简 档数据库104中被建档的每个用户的面部特征数据。在另一实施例中， 面部特征数据库102可以是用于存储表示已授权用户面部的数据的只 读存储器(ROM)査找表。
进一步，用户建档可由用户维护模块108实施。在另一实施例中， 用户简档数据库104是其中存储了用户偏好、预先配置的功能命令、 相关许可等的只读存储器，。例如设置，如预览插入开/关、用户界面 偏好、铃声偏好、呼叫历史日志、电话簿和联系列表、好友列表记录、 优选图标、优选的字符图示、聊天室历史日志、电子邮件地址、日程 表等等。用户维护模块108获得并存储数据至用户简档数据库104以 更新预先设置的命令、偏好等。如前面所述，用户维护模块108包括 确定被包括在用户简档中的用户动作的操作逻辑。
此外，面部识别和建档单元100包括计算机处理器112，其与面 部识别模块106和用户维护模块108交换数据。计算机处理器112执 行操作，例如通过面部识别模块106比较输入图像、以及通过用户维 护模块108请求用户偏好、简档和与已存在用户相关的其它数据。
图3示例了面部识别和基于面部识别的用户建档的过程的流程 图。在一实施例中，该过程由面部识别和建档单元100执行。过程300 在过程块304开始，其中拍摄装置110捕获用户的面部图像。在一实 施例中，过程块304中，用户面部被面部识别模块106捕获，该面部 识别模块106被配置为丢弃任何未被识别为人脸形状的输入图像。在 一实施例中，如果拍摄装置110检测到在拍摄装置110附近有一物体，
10拍摄装置iio仅捕获用户脸部图像。在一实施例中，拍摄装置110被配
置为如果拍摄装置no正在聚焦一个类似于面部的形状则进行检测。 在另一实施例中，拍摄装置110将所有被捕获的数据提交给面部识别 模块106，其中执行是否检测到面部的确定。然后，过程300进行到过 程块306。
在过程块306，根据配置在面部识别模块106中的逻辑，将表示 被扫描面部图像的数据与存储在面部特征数据库102中的面部特征数 据进行比较。同样，在判决过程块306，对表示被扫描面部图像的数据 是否与存储在面部特征数据库102中的面部特征数据相匹配进行判断。 然后，过程300继续到过程块308。
在过程块308，如果表示被扫描面部图像的数据与存储在面部特 征数据库102中的至少一个表示参考面部特征的图像的数据相匹配， 那么将用户偏好加载到电子设备中。在一实施例中，对是否在用户简 档数据库102中预设定和存储了用户偏好作出确定。如果己经存在用 户偏好，那么用户简档和对应的偏好被载入至电子设备。在另一实施 例中，如果不存在预先建立的用户偏好，那么收集用户的后续请求、 动作、命令和输入，以产生和维护用户简档。在一实施例中，用户偏 好被自动地产生。与所识别用户面部相对应的面部表情、动作、命令 等被自动地收集并存储在用户简档数据库中。为每个用户存储的数据 可包括呼叫历史日志、用户数据、用户联系信息、以及当用户使用该 可视电话时所获悉的其它信息。无需用户交互便可产生用户简档。然 后，过程300继续到过程块310。
在过程块310，如果表示所扫描面部图像的数据与存储在面部特 征数据库102中的至少一个表示参考面部特征图像的数据不匹配，那 么该用户被作为一个新用户添加至用户简档数据库104。表示用户面部 的面部特征数据被添加面部特征数据库102。此外，用户简档数据库 104包括一个新的记录，其可基于用户面部或面部特征作为关键字。因此，每当添加一个新用户，就创建具有相关面部特征和偏好的新记录。 基于用户特定的面部特征，多个用户可访问系统以及创建一个用户帐 户。
图4A、 4B、 4C和4D示例了可与面部识别和建档单元100相连 的电子设备的实例。在一实施例中，面部识别和建档单元100被集成 在电子设备中，这样组件都在相同的外壳中。在另一实施例中，面部
识别和建档单元ioo被安置在与电子设备分隔开的外壳中。
图4A示例了与面部识别和建档单元100交互的个人计算机402。 可基于由面部识别和建档单元100建立的不同配置来操作个人计算机 402。在一实施例中，个人计算机包括一个拍摄装置110，其提供被捕 获面部的图像或个人计算机的每个用户的面部特征。如上面所解释的， 可基于用户面部或面部特征来产生和存储用户简档。当用户与个人计 算机402交互时，新的设置、偏好和其他用户特定数据被面部识别和 建档单元100获悉、产生和存储。在与个人计算机402的未来交互中， 面部识别和建档单元100将获得用户偏好并将它们载入用于与被识别 的用户进行交互。例如， 一旦用户被识别以及偏好参数被载入，则字 体大小、壁纸图像、优选的因特网下载文件夹等由个人计算机402载 入和提供。
图4B示例了与面部识别和建档单元100交互的自动柜员机404。 可基于由面部识别和建档单元100建立的不同配置来操作该自动柜员 机404。在一实施例中，自动柜员机404包括拍摄装置110，其提供被 捕获的面部图像或自动柜员机404的每个用户的面部特征。如以上所 解释的，可基于用户面部或面部特征来产生和存储用户简档。当用户 与自动柜员机404进行交互时，新设置、偏好以及其他用户特定数据 被面部识别和建档单元100获悉、产生和存储。在与自动柜员机404 的未来交互中，面部识别和建档单元100可获得用户偏好并将其载入 用于与被识别用户进行交互。例如， 一旦用户被识别和偏好参数被载音激活、频繁使用的菜单项等等便被自动 柜员机404载入和提供。
图4C示例了一个与面部识别和建档单元100交互的电视单元 406。可基于由面部识别和建档单元IOO建立的不同配置来操作电视单 元406。在一实施例中，电视单元406包括拍摄装置110，其提供被捕 获面部的图像或电视单元406的每个用户的面部特征。如上述所解释 的，基于用户的面部或面部特征来产生和存储用户简档。当用户与电 视单元406进行交互时，由面部识别和建档单元100来获悉、产生和 存储新的设置、偏好和其它用户特定数据。在与电视单元406的未来 交互中，面部识别和建档单元100可获取用户偏好并将其载入用于与 被识别用户进行交互。例如， 一旦用户被识别以及偏好参数被载入， 则喜欢的频道、声音偏好、颜色、对比度、优选的音量级别等可由电 视单元406载入和提供。
图4D示例了与面部识别和建档单元100进行交互的个人数字助理 408。可基于由面部识别和建档单元IOO所建立的不同配置来操作个人 数字助理408。在一实施例中，个人数字助理408包括拍摄装置110， 其提供被捕获面部图像或个人数字助理408的每个用户的面部特征。 如以上所解释的，基于用户面部或面部特征来产生和存储用户简档。 当用户与个人数字助理408进行交互时，由面部识别和建档单元100 来获悉、产生和存储新的设置、偏好和其它用户特定数据。在与个人 数字助理408的未来交互中，面部识别和建档单元100可获取用户偏 好并将其载入用于与被识别用户进行交互。例如， 一旦用户被识别以 及偏好参数被载入，那么字体大小、壁纸图像和优选的因特网下载文 件夹可被个人数字助理408载入和提供。
图5示例了通过计算机网络与面部识别和简档单元进行交互的个 人数字助理502。在一实施例中，该面部识别和建档单元IOO位于服务 器504中。面部识别和建档单元100与服务器504通过网络210进行
13通信，例如局域网("LAN")、广域网("WAN")、因特网、电缆、卫 星等等。个人数字助理502可集成有图像设备，如拍摄装置IIO，在另 一实施例中，拍摄装置110被连接到个人数字助理，但是并没有集成 在同一外壳中。
个人数字助理502可与面部识别和建档单元100进行通信，以提 供用户面部特征、用户操作和如上所讨论的其它数据。此外，面部识 别和建档单元IOO存储用户简档、识别新的和已存在的用户面部特征、 以及与个人数字助理502交换其它数据。
图6示例了面部识别和建档系统600的结构图。特别的，面部识 别和建档系统600可被用于基于用户动作、命令、访问信息的顺序等 自动地产生用户简档和设置，并利用面部识别在用户之间进行区分。 在一个实施例中，面部识别和建档系统600采用通用目的的计算机或 任何其它硬件等同物实现。
因此，面部识别和建档系统600包括处理器(CPU)112，内存114， 如随机访问存储器(RAM)和/或只读存储器(ROM)，面部识别模块 106，以及各种输入/输出设备602 (如，存储设备，其包括但是并不限 于，磁带驱动器、软盘驱动器、硬盘驱动器或光盘驱动器，接收器， 发送器，扬声器，显示器，图像捕获传感器，比如那些在数字静态拍 摄装置或数字视频拍摄装置中使用的，时钟，输出端口，用户输入设 备(例如键盘、键盘，鼠标以及类似物，或用于捕获语音命令的麦克 风))。
应当理解，面部识别模块106可由一个或多个通过通信信道连接 到处理器112的物理设备来实现。可选择的，面部识别模块106可一 个或多个软件应用程序(或甚至是软件和硬件的组合，如，采用专用 集成电路(ASIC))来代表，其中，软件从存储介质中被载入(例如，磁 或光驱动器或磁盘)，以及由处理器112在面部识别和建档系统600的存储器114中执行。同样，本发明的面部识别模块106 (包括相关数据
结构)可以存储于计算机可读介质上，例如，RAM存储器，磁或光驱
动器或磁盘以及类似物。
虽然此处公开了某些示例性的实施例和方法，很显然，对于本领 域技术人员而言，根据前述公开的内容对实施例和方法进行变化和修 改而不背离本发明公开的实际精神和范围。还存在本发明公开的许多 其它实例，其中每个均与其它仅在细节方面存在不同。因此，意图是 本发明公开的内容应当仅限于由附属的权利要求和可适用法律的规则 和原理要求的范围之内。
权利要求
1. 一种为电子设备提供用户建档的方法，包括由成像设备捕获面部表征数据，其中所述成像设备聚焦于所述用户的面部，以捕获所述面部表征数据；确定面部特征数据库是否包括与所述面部表征数据相匹配的用户面部特征数据；当所述面部表征数据与所述面部特征数据库中的用户面部特征数据相匹配时，加载用户偏好数据至所述电子设备中；以及当所述面部表征数据与所述面部特征数据库中的用户面部特征数据不匹配时，在所述用户简档数据库中添加新的用户简档。
2. 根据权利要求l所述的方法，进一步包括基于与所述电子设 备的用户交互，将新用户偏好数据存储至所述新的用户简档中。
3. 根据权利要求1所述的方法，进一步包括基于与所述电子设 备的用户交互，将新用户历史数据存储至所述新的用户简档中。
4. 根据权利要求l所述的方法，进一步包括在所述用户简档数 据库中定位与匹配的用户面部特征数据相对应的的已存在的用户简 档。
5. 根据权利要求1所述的方法，其中加载用户偏好数据至所述电 子设备的步骤包括加载存在于电子设备存储器模块中的用户的已存 在面部特征数据。
6. 根据权利要求1所述的方法，其中确定所述面部特征数据库是 否包括与所述面部表征数据相匹配的用户面部特征数据的步骤是由所 述电子设备中的面部识别模块来执行的。
7. 根据权利要求l所述的方法，其中所述用户偏好数据和所述历 史数据存储于所述用户简档数据库中。
8. 根据权利要求l所述的方法，其中添加到所述用户简档数据库 的所述新的用户简档基于所述面部表征数据是唯一可标识的。
9. 根据权利要求l所述的方法，其中所述用户偏好数据包括声音 偏好、颜色偏好、或视频偏好。
10. —种用户建档系统，包括接收面部表征数据的面部识别模块，所述面部表征数据由成像设 备捕获，其中所述成像设备聚焦于所述用户的面部，以捕获所述面部 表征数据；存储多个用户记录的面部特征数据库，所述多个用户记录中的每 一个存储面部表征数据，其中所述多个用户记录中的每一个与所述电 子设备的多个用户中的每一个用户相对应；加载用户偏好数据至所述电子设备中的用户建档模块，当所述面 部表征数据与所述面部特征数据库中的用户面部特征数据相匹配时， 所述用户偏好数据被加载至所述电子设备的所述存储器模块中，其中 当所述面部表征数据与所述面部特征数据库中的用户面部特征数据不匹配时，所述用户建档模块创建新的用户简档；以及用户建档数据库，该用户建档数据库存储多个用户简档以及对应 的用户偏好数据，所述用户简档与所述电子设备的所述多个用户中的 每一个用户相对应。
全文摘要
本发明公开了一种为电子设备提供用户建档的方法和系统。由成像设备捕获面部表征数据。成像设备聚焦于用户的面部以捕获面部表征数据。确定面部特征数据库是否包括与面部表征数据相匹配的用户面部特征数据。当面部表征数据与存储在面部特征数据库中的用户面部特征数据相匹配时，加载用户偏好数据至电子设备的存储模块。当面部表征数据与面部特征数据库中的用户面部特征数据不匹配时，在用户简档数据库中添加新的用户简档。
文档编号H04L9/00GK101427262SQ200680048147
公开日2009年5月6日 申请日期2006年12月18日 优先权日2005年12月20日
发明者格伦·P·戈芬 申请人:通用仪表公司