面部认证装置、面部认证方法和程序的制作方法

专利名称：面部认证装置、面部认证方法和程序的制作方法
技术领域：
本发明涉及一种识别使用诸如移动电话之类的个人信息装备的用户的 面部认证技术。
背景技术：
在相关技术中，必需标识用户，以允许该用户使用诸如移动电话之类 的个人信息装备(下文称作"终端")的一些或者全部功能。
在许多情况下，频繁使用了下面的方法预先确定作为授权用户的秘 密信息的称作码号或者口令的输入字符串图案；并且仅在输入了所确定的 字符串图案后，对用户进行认证。
但是，在利用这种秘密信息的用户认证中，当终端落入另一个人的手
中时，另一个人可能通过根据授权用户的生日来猜测PIN、在授权用户输 入口令时偷看、或者随机输入多种PIN找到正确的PIN，然后输入将所找 到的串图案来使用该终端。因此，利用用户的生物测定学的用户认证已作 为更安全和方便的认证方法而被使用。
在利用诸如被认证用户的面部之类的生物特征的认证方法的示例中， 授权用户的面部特征预先通过终端的相机被捕捉，然后登记在该终端中。 在用户认证时，通过相机捕捉试图使用终端的用户的面部。当所捕捉的面 部图像和所登记的面部图像之间的相似度足够高时，判断用户为授权用 户，并且用户认证成功。
作为利用面部图像之间的匹配的认证方法，己知一种被称作 EigenFace方法的方法(参见非专利文献1)。在非专利文献1中所公开的 EigenFace方法中，将一组图像中的每幅图像的大小标准化，并且通过主 成分分析，生成由每幅图像中的像素的灰度值组成的特征向量的部分空 间。另外，将输入图像的特征向量和登记图像的特征向量投射到部分空间
上，以计算匹配分数。然后，基于所计算出的匹配分数来执行用户认证。
在上述方法中，使用适当的面部匹配方法来充分抑制用户认证时作假 的风险，并且可以解决一般在相关技术中使用的口令方法的问题，S卩，未 经授权的用户可以通过猜测或者偷看找到口令的问题。
非专禾ll文献1: M. Turk, A. Pentland， "Eigenfaces for recognition", Journal of Cognitive Neuroscience， Vol. 3, No. 1 ， pp. 71-86， 1991 。

发明内容
本发明要解决的技术问题
但是，上述相关技术存在利用照片进行身份盗窃的问题。
艮卩，存在这样的风险..未经授权的用户通过将授权用户的照片呈现给 相机，从而通过用户认证。在这种情况下，难以确定并且防止该风险。
精巧的身份盗窃的另一个示例是，将摄像机所捕捉的包括授权用户的 面部随时间的改变的运动画面显示在小型电视屏幕或者信息装备的显示单 元上，然后将该屏幕或者图像呈现给相机以进行用户认证。在这种情况 下，更难判断并且防止侵权。
日本专利申请早期公开No. 2005-259049公开了一种用于防止身份盗 窃的技术。但是，该技术需要辐射热传感器，这导致了制造成本的增加。
为了解决上述问题而作出本发明，并且本发明的一个示例性目的在 于，提供一种用于防止未经授权的用户通过以低成本将授权用户的面部的 照片呈现给相机或者仅利用通用相机来通过用户认证，并且确保对用户终 端的安全使用。
解决问题的手段
为了实现该示例性目的，根据本发明的一个示例，面部认证装置包 括使设置在不同于键输入单元的位置处的呈现图案显示单元在面部认证 期间向显示用于用户输入键图案的指令；在从呈现图案显示单元显示指令 时到键输入完成时的部分时间或者整个时间期间，使图像捕捉单元捕捉用 户的面部和/或用户的面部的一部分的运动；以及判断所捕捉的面部图像是
否是活体的图像。
根据本发明的另一个示例性示例，面部认证方法包括使设置在不同 于键输入单元的位置处的呈现图案显示单元在面部认证期间显示用于用户 输入键图案的指令；在从呈现图案显示单元显示指令时到键输入完成时的 部分时间或者整个时间期间，使图像捕捉单元捕捉用户的面部和/或用户的 面部的一部分的运动；以及确定所捕捉的面部图像是否是活体的面部图 像。
本发明的效果
根据本发明的上述示例性方面，可以防止未经授权的用户通过将授权 用户的面部的照片呈现给相机来通过用户认证，并且可以保证对用户终端 的安全使用。
具体实施例方式
下文将参考附图详细描述本发明的第一示例性实施例。
参考图1，根据示例性实施例的面部认证装置被实现为用户终端，并
且包括内置相机l、图像捕捉指令单元2、图像处理单元3、呈现图案生成 单元4、呈现图案显示单元5、面部认证单元6、差别判断单元7、认证结 果处理单元8、 PIN判断单元9、键输入单元10、登记面部图像存储单元 11、和口令存储单元12。
呈现图案显示单元5和内置相机1被设置在用户终端的上部(在许多 情况下，用户终端的朝向耳朵的上半部分，也被称作R侧)，并且键输入 单元10 (键盘)被设置在用户终端的下部(在许多情况下，用户终端的朝 向嘴巴的下半部分，也称作M侧)。
为了得到使用用户终端的许可，用户在他/她的面部朝向设置在用户终 端中的内置相机1的情况下，根据呈现图案显示单元5上显示的指令，利 用键输入单元IO输入诸如PIN之类的图案。
图1示出了包括10个数字键的键盘的示例，但是本发明不限于此。 例如，可以使用能够输入字母的键盘来输入包括字母的口令。
对于输入图案，呈现图案生成单元4确定生成输入图案的指令，呈现 图案显示单元5显示该指令。在从指令被显示在呈现图案显示单元5上到
用户完成到键输入单元10的信息输入期间，图像捕捉指令单元2控制内 置相机1捕捉视野内的用户的面部的运动画面，然后图像处理单元3对所 捕捉的图像进行处理。在该过程中，运动画面被划分成在时间方向上捕捉 的多个帧，并且部分或者所有帧图像群被用于面部认证和面部的生物特征 验证。
首先，在面部认证单元6的面部认证过程中，从多帧图像中，适于面 部认证的多个图像群或者一帧图像被选出，并且所选帧的图像被与登记面 部图像存储单元11中的先前已登记的登记帧图像相比较。
当所捕捉的面部图像与该登记面部图像之间的相似度比一个阈值高 时，面部认证成功，并且将结果通知给认证结果处理单元8。
在差别判断单元7的生物特征验证过程中，将在时间方向上捕捉的多 帧图像相互比较，并对它们之间的差别进行估计，以判断是捕捉到了活体 的面部还是捕捉到了照片或平面运动画面。
PIN判断单元9将用户通过键输入单元输入的PIN与从口令存储单元 12读取的PIN相比较，其中，用户输入的PIN具有从呈现图案生成单元4 所生成的指令获得的、预期为正确的输入图案。当这些PIN彼此相同时， 面部认证单元的面部认证成功，并且差别判断单元判断捕捉到了活体的面 部，认证结果处理单元对用户终端进行解锁，以允许使用该终端。
同时，如果不同，则呈现图案生成单元4生成新的指令，并且呈现图 案显示单元5向用户显示所生成的指令，以请求用户利用键输入单元10 输入图案。
接下来将参考附图详细描述示例性实施例的处理操作。 首先，在用户开始使用用户终端时执行的PIN登记过程中，授权用户 通过键输入单元IO输入的正确的PIN被存储到口令存储单元12中。在后 面的描述中，假设该PIN是"6543"。 一般来说，用户终端被锁定，以防 止未经授权的用户使用该用户终端，并且该用户终端处于不可用状态。接 下来，将参考图2描述执行用户认证以获得使用被锁定的终端的许可的用
户认证过程的流程图。
当需要用户认证时，首先，响应于来自用户的终端用户认证请求执行 终端用户认证过程(例如，用户按下键输入单元的任一个键)(S201)。
在用户认证过程中，首先，呈现图案生成单元4生成呈现图案，例
如，"84+PIN+382" (S202)。在这种情况下，84或382是只要执行用 户认证时就生成的随机数字串。
根据所生成的图案，在呈现图案显示单元5上显示诸如"请输入84、 PIN，然后输入382"之类的字符串，并且图像捕捉指令单元2操作内置相 机l (S203)。
一般来说，用户看到设置在终端的上部的呈现图案显示单元5上显示 的指令的前半部分，S卩，"请输入84、 PIN"，并且使用设置在终端的下 部的键输入单元10输入"846543"。然后，用户看到设置在终端的上部 的呈现图案显示单元上显示的指令的后半部分，即，"然后输入382"， 并且使用设置在终端的下部的键输入单元10来输入"382"(步骤S204 到S207)。这样，当用户交替观看终端的上部和下部时，预期用户的眼睛 或面部将在垂直方向上移动。内置相机1将眼睛或面部的运动捕捉为运动 画面或连续图像。
在输入完成时，内置相机l的捕捉操作停止(S208)。
当输入完成时，PIN判断单元判断从键输入单元输入的图案是否正确 (S209)。具体而言，PIN判断单元基于存储在口令存储单元12中的正确 的PIN (在该情况下为"6543")和呈现图案显示单元5所生成的图案的 规则，判断从键输入单元输入的图案是否正确，并且将判断结果发送给认 证结果处理单元8。
同时，图像处理单元3对由内置相机1在时间方向上捕捉的帧图像进 行处理，并且这些帧图像被用于面部认证和面部的生物特征验证。首先， 在面部认证过程中，面部认证单元3选择适于面部认证的一帧图像或多个 图像群，例如面向前的完整面部，并且将所选图像与登记面部图像存储单 元11中的先前已登记的登记面部图像相比较(S210)。当所捕捉面部图 像和登记面部图像之间的相似度高于一个阈值时，面部认证成功，并且将结果通知给认证结果处理单元8。
差别判断单元7执行用于对相机和多帧面部图像上的面部之间的相对 运动进行补偿的位置调整过程，从帧中切出面部图像部分，并且关于包括 眼睛、鼻子和嘴巴的面部图像的中央确定多帧之间的相似度(S211)。如
果帧之间的包括图像的细部(尤其是，眼镜的眼球位置)的相似度分数的 累积值大于一个阈值，则判断呈现了静止画面，例如照片。相反，如果该 相似度分数的累积值小于该阈值，并且判断包括例如位置调整过程和切出 过程后的眼球的位置的细部彼此显著不同，则差别确定单元7判断相机捕 捉到了活体的面部。
在判断活体的面部的过程中，可以使用下面的方法计算每帧中由多 个器官限定的多个特征点之间的位置关系，例如，双眼的外眼角和内眼 角、鼻子的顶部和两侧、嘴巴的两端、以及嘴唇的中央，从而计算出多个 帧的这些特征点之间的关联。当许多帧中的多个特征点之间的位置关系具 有较高的关联时，各个器官没有相对运动，从而可以判断呈现了照片。
差别判断单元7的判断结果被发送给认证结果处理单元8。当PIN判 断单元判断PIN彼此相同时，面部认证单元的面部认证成功，并且差别判 断单元判断捕捉到了活体的面部，判断输入PIN的用户为活着的授权用 户，认证结果处理单元8将终端解锁，使得对该终端的使用得到许可 (S212和S213)。
如果否，则判断输入PIN的用户是未经授权的用户，因此不对终端进 行解锁。
根据该示例性实施例，当在终端中设置相机时，不需要新的硬件或复 杂的软件。因此，与其中使用了用于防止身份盗窃的传感器或者专用软件 的结构相比，可以降低开发成本。结果，可以降低制造成本。
接下来将详细描述本发明的第二示例性实施例。在第一示例性实施例 中，指令"请输入84、 PIN，然后输入382"被同时显示在呈现图案显示 单元5上。在这种情况下，担心用户同时记住了该指令，而可能不交替地 观看终端的上部和下部。因此，在该示例性实施例中，首先，与检测出 的、对键输入单元10的输入定时在操作上相关联地显示指令"请输入
84"，并且在确认了 84的输入以后，显示指令"请输入PIN"。在确认了 PIN的输入后，显示指令"请输入382"。这样，通过划分指令可以使用 户交替地观看终端的上部和下部。
接下来，将详细描述本发明的第三示例性实施例。作为获得与第二示 例性实施例中的效果相同的效果的示例，呈现图案显示单元5显示如图3 的(a)中示出的其上排列有随机数字的键盘，以允许用户利用键输入单 元10按下与PIN相对应的键。例如，当PIN为"6543"并且显示了图3 的(a)中示出的数字排列时，用户顺序按下键输入单元的与图3的(a) 中示出的数字6、 5、 4和3相对应的键3、 9、 7和2。这样，可以使用户 交替地观看终端的上部和下部。
如上所述，在用户交替地观看呈现图案显示单元5和键输入单元10 的同时，呈现图案显示单元5可以显示指令"请看内置相机"，以让用户 面对内置相机1。这样，可以稳定地捕捉适于面部认证的完整的面部图 像，并且可以使用户的面部在垂直方向上移动。结果，可以提高判断活体 的面部的准确性。
在上述示例性实施例中，需要输入作为秘密信息的PIN。但是，如果 认为面部认证足够准确，则不需要输入PIN的处理和识别PIN的处理。在 这种情况下，例如，当按下某个键来请求用户面部认证时，内置相机1被 操作。在图像捕捉期间，例如，呈现图案显示单元5显示指令"请按键 3"，用户看到该指令然后按下键输入单元10上的键3。这样，基于面部 或眼球在垂直方向上的移动，可以判断出活体的面部。结果，可以简单地 获得与上述示例性实施例中的效果相同的效果。
此外，在观看呈现图案显示单元5的同时执行键输入时， 一些用户可 能仅移动它们的眼球而不移动它们的面部。在这种情况下，可以使用下面 的方法差别判断单元7从面部图像中检测眼睛的位置，并且基于多个面 部图像帧之间的眼睛的眼球运动的差别，判断是否捕捉到了活体的面部。
对于通过对时间序列帧进行比较来判断是否所有的图像都统一运动， 可以使用这样的判断逻辑判断在呈现图案显示单元5显示预定的指令之 后经过了合理的时间后，是否利用键输入单元IO执行了键输入。这样，
可以判断是否将照片用于了用户认证，并且还可以判断是否将先前利用摄 像机捕捉的授权用户的运动画面用于了用户认证(在先前捕捉了运动画面 时，难以将其间存在合理的时间延迟的呈现图案显示单元5上的指令的显 示与键输入同步)。
在上述示例性实施例中，内置相机1被设置在用户终端的上部，并且 键输入单元10被设置在用户终端的下部。但是，内置相机1被设置在上 部、并且键输入单元10被设置在下部的位置关系仅是一个示例。可以在 其间建立包括相邻位置关系的任何位置关系。
尽管上面已描述了本发明的示例性实施例，但是本发明不限于此，而 是可以在不脱离本发明的范围和精神的条件下，对本发明做出各种修改和 改变。例如，装置可以读取并执行用于实现根据上述示例性实施例的用户
终端的功能的程序，以执行所述功能。可以通过诸如CD-ROM或者磁光
盘之类的计算机可读介质，或者利用作为传输介质的电话线或者通过因特 网的载波，将程序发送到另一个计算机系统。
在上述示例性实施例中，使用了由一个计算机系统实现用户终端的每 种功能的系统结构，但是本发明不限于此。也可以通过多个装置实现用户 终端的每个功能。
本发明可以一般地应用于包括相机功能的移动电话或便携式信息通信装备。


图1是示出根据本发明第一示例性实施例的面部认证装置的结构的示 意图。
图2是示出本发明第一示例性实施例的处理操作的流程图。
图3是示出根据本发明第三示例性实施例的显示示例的示意图。
参考标号
1:内置相机
2:图像捕捉指令单元
3:图像处理单元
4:呈现图案生成单元
5:呈现图案显示单元
6:面部认证单元
7:差别判断单元
8:认证结果处理单元
9: PIN判断单元
10:键输入单元
11:登记面部图像存储单元
12: 口令存储单元
权利要求
1. 一种面部认证装置，包括使设置在不同于键输入单元的位置处的呈现图案显示单元在面部认证期间显示用于用户输入键图案的指令；在从所述呈现图案显示单元显示所述指令时到键输入完成时的部分时间或者整个时间期间，使图像捕捉单元捕捉用户的面部和/或所述用户的面部的一部分的运动；以及判断所捕捉的面部图像是否是活体的图像。
2. 根据权利要求1所述的面部认证装置，其中，所述呈现图案显示单元与所述键输入单元在垂直方向上是分离的。
3. 根据权利要求1或2所述的面部认证装置，其中，所述呈现图案显示单元显示所述指令的一部分，检测对所述键 输入单元的输入定时，并且在所述输入被确认后显示所述指令的另一部 分。
4. 根据权利要求1到3中的任一个所述的面部认证装置，其中，所述呈现图案显示单元显示包括排列在其上的随机数字的键 盘，以允许所述用户利用所述键输入单元输入与所述排列相对应的键。
5. 根据权利要求1到4中的任一个所述的面部认证装置，其中，所述呈现图案显示单元在所述用户交替观看所述呈现图案显示 单元和所述键输入单元时，显示看所述图像捕捉单元的指令。
6. 根据权利要求1到5中的任一个所述的面部认证装置，其中，所述面部认证装置判断在所述呈现图案显示单元显示预定指令 之后经过了合理时间后，是否在所述键输入单元上执行了与所述指令相对 应的键输入。
7. —种面部认证方法，包括使设置在不同于键输入单元的位置处的呈现图案显示单元在面部认证 期间显示用于用户输入键图案的指令； 在从所述呈现图案显示单元显示所述指令时到键输入完成时的部分时 间或者整个时间期间，使图像捕捉单元捕捉用户的面部和/或所述用户的面 部的一部分的运动；以及判断所捕捉的面部图像是否是活体的图像。
8. 根据权利要求7所述的面部认证方法，其中，所述呈现图案显示单元与所述键输入单元在垂直方向上是分离的。
9. 根据权利要求7或8所述的面部认证方法，其中，所述呈现图案显示单元显示所述指令的一部分，检测对所述键 输入单元的输入定时，并且在所述输入被确认后显示所述指令的另一部 分。
10. 根据权利要求7到9中的任一个所述的面部认证方法，其中，所述呈现图案显示单元显示包括排列在其上的随机数字的键 盘，以允许所述用户利用所述键输入单元输入与所述排列相对应的键。
11. 根据权利要求7到10中的任一个所述的面部认证方法，其中，所述呈现图案显示单元在所述用户交替观看所述呈现图案显示 单元和所述键输入单元时，显示看所述图像捕捉单元的指令。
12. 根据权利要求7到11中的任一个所述的面部认证方法，还包括-判断在所述呈现图案显示单元显示预定指令之后经过了合理时间后，是否在所述键输入单元上执行了与所述指令相对应的键输入。
13. —种用于使计算机实现根据权利要求1到6中的任一个的功能的 程序。
全文摘要
可以防止未经授权的用户作为授权用户进行欺骗，从而保证安全的终端使用。在面部认证时，在布置在不同于键输入单元的位置处的呈现图案显示单元(5)上显示让用户通过键操作输入图案的指令。在从指令被显示在呈现图案显示单元(5)上到完成从键输入单元(10)的输入的整个时间段或者部分时间段中，内置相机(1)对用户面部的运动或者用户面部的一部分进行成像，以判断所捕捉的面部图像是否是生物学上的面部。
文档编号G06T1/00GK101379528SQ20078000429
公开日2009年3月4日 申请日期2007年2月21日 优先权日2006年3月1日
发明者内田薰 申请人:日本电气株式会社