专利名称：脸部识别系统的制作方法
技术领域：
本发明涉及一种,识别系统。
背景技术：
以往，在用于防止无资格者i^建筑物或该建筑物内的特定场所的个 人认证装置，用于防止无资格者操作信息处理装置等装置的个人认证装 置，用于在利用互联网进行电子商务交易中进行本人确认的个人认证装置 等中，提供有不使用密钥和密码，而是利用了生物测量学认证系统的个人 认证装置(例如，参照专利文献1)，该生物测量学认证系统利用本人的 生物学特征确认本人。而且，在利用了该生物测量学iUi系统的个人J人证装置中，利用了通 过指紋进#^人证的系统、通过声波紋进^i人证的系统、通过容貌进^i人证 的系统等。通过容貌进行认证的系统，即，在脸部识别系统中，在进行脸部识 别时，从自图像中抽出,的特征量，对与事先登记的特征量之间的相 似度进行比较而进行识别。在这种情况下，检测两目IL^嘴的位置，并由此， 通过将被修正的样板作为J^5特征量的样板匹配处理来进行脸部识别。此 时，作为脸部图像，是以包括两BMJf为前提!Ht的，当在两眼的检测或 者嘴的检测中的任意一方失败的情况下，则判断为图像中不存在脸部并发 出警告。专利文献1:日本特开2000-163600号7>才艮。然而，在上述以往的脸部识别系统中，由于利用者戴着口罩时，不能 检测出嘴部，因此不能进行恰当的,识别。例如，在冬季那样流行感冒 的季节，或早春那样流行花粉症的季节，利用者戴着口軍的情况很多。在 这样的情况下，在利用以往的脸部识别系统的个人认证装置中，由于嘴的 特征量因口罩的影响而发生了很大的变化，因此,识别系统不能将戴着 口罩的脸恰当地进行识别，因而造成利用者的本人确认失败。因此，利用者在认证时必须摘掉口罩，因而麻烦并感到厌烦。 发明内容本发明的目的在于，提供一种解决上述以往的脸部识别系统的问题的 脸部识别系统，由于具有用于选择作为抽出特征量的对象的脸的部位的特 征量选#^,而使得进行脸部识别的利用者能够自己选择作为抽出特征量 的对象的脸的部位，即使在戴着口軍或眼革，或者改变了发型的情况下， 通过重视已选择的部位的特征量而减轻其他部位的特征量，能够恰当地进 行脸部识别。因此，本发明的脸部识别系统，具有图傳瑜入部，其取得利用者的 脸部图像；数据库，其保存有登"^A的脸的部位的特征量；脸部位置检测 部，其根据上述利用者的脸部图像检测脸的部位的位置；特征量抽出部， 其抽出脸的部位的特征量；识别部，其将该特征量抽出部抽出的脸的部位 的特征量，与保存在上述数据库中的登记人的脸的部位的特征量进行比 较，来识别上述利用者，在该脸部识别系统中，上述利用者选择用于抽出 特征量的脸的部位。在本发明的另一J^P识别系统中，进而，上述,位置检测部，只检 测上述利用者选择的脸的部位的位置。在本发明的另外的脸部识别系统中，进而，还具有特征量选择部，其 由上述利用者操作并选择用于抽出特征量的脸的部位。本发明的另外的脸部识别系统，具有图傳瑜入部，其取得利用者的 脸部图像；数据库，其保存有登记人的脸的部位的特征量；脸部位置检测 部，其根据上述利用者的脸部图像检测脸的部位的位置；特征量抽出部， 其抽出脸的部位的特征量；识别部，其将该特征量抽出部抽出的脸的部位 的特征量，与被保存在上述数据库中的登记人的脸的部位的特征量比较， 来识别上述利用者，在该脸部识别系统中，配合上述利用者的状态，自动 地选择用于抽出特征量的脸的部位。在本发明的另外的脸部识别系统中，进而，还具有利用者状态检测部， 其通过使上述利用者的脸部图像与所登记的样板进行匹配，来选择用于抽 出特征量的脸的部位。根据本发明，在脸部识别系统中，具有选择作为抽出特征量的对象的 脸的部位的特征量选择部。因此，进行脸部识别的利用者能够自己选择作 为抽出特征量的对象的脸的部位，因此即使在戴着口罩或眼罩，或者改变 了发型的情况下，通过重视已选择的部位的特征量而减轻其他部位的特征 量，能够恰当地进行,识别。
图l是表示本发明的第一实施方式中的脸部识别系统的构成的图。图2是表示本发明的第一实施方式中的特征量选择画面例的图。图3是表示本发明的第一实施方式中的脸部位置检测处理的动作的流 程图。图4是表示本发明的第一实施方式中的特征量抽出处理的动作的流程图。图5是表示本发明的第二实施方式中的脸部识别系统的构成的图。图中10…糾识别系统；11…特征量选,；12…图^J^入部；13… J^P位置检测部；14…特征量抽出部；15…泰:据库；16…识别部；18…利 用者状态检测部；19…利用者。
具体实施方式
以下，参照附图对本发明的实施方式进fr洋细地说明。图l是表示本发明的第一实施方式中的脸部识别系统的构成的图。在图中，10是通过取得照相机21拍摄的利用者19的脸部图像来进 行脸部识别的脸部识别系统，是按照程序进行动作的一种计算机系统。 上述脸部识别系统10，是用于利用作为利用者19的生物学特征之一的 容貌进行上述利用者19的个人认证的系统，也可以在任何的用途中使 用。例如用于，在进入>^寓、工厂、写字楼等特定的该建筑物或该建筑 物内的特定的场所时进行本人确认。另外，也可以用于在机场中的办理 搭乘手续等时进行持有机票者的本人确认。此外，也可以用于，在银行、 邮局、信用金库等金融机关的营业店的窗口，委托金融交易，或者操作ATM (Automatic Teller Machine:现金自动存取款机)等自动交易装 置进行金融交易时进行本人确认。此夕卜，还可以用于在利用了互联网进 行电子商务交易中进行本人确认。而且，上述利用者19，可以是公寓、工厂、写字楼等特定的建筑物 或该建筑物内的特定的场所的居民、从业者等，也可以是在机场进行搭 乘手续等的旅游者，或者也可以是在金融机关的营业店的窗口委托金融交 易，或者操作自动交易装置进行金融交易的顾客，还可以是利用了互联网 进行电子商务交易的人员，只要是使用上述脸部识别系统IO进行本人确 认者，任何人都可以。另夕卜，上述照相机21，具备CCD (Charge Coupled Device:电荷 耦合器件)、CMOS (Complementary Metal Oxide Semiconductor)等 摄像元件、光学透镜、通信接口等，并可与上述脸部识别系统io连接， 只要是能够将拍摄的图像以电子数据的形式输出，则可以是拍摄静止画的 数字静像摄影机，可以是拍摄动画的数字电,^^L，也可以是任何形式 的照相机。上述照相机21,例如，可以是配设在特定的建筑物或该建筑 物内的特定场所的入口的监视照相机，可以是内装于自动交易装置中的内 装型照相机，可以是连接到个人计算机等的照相机，还可以是内装于笔记 本型个人计算机、PDA (Personal Digital Assistant )、电子记事本、移 动电话机、PHS (Personal Handy Phone System)电话机等的照相机。而且，上述脸部识别系统10，具有特征量选择部11，其选#^作为 抽出脸部识别中使用的脸的特征量的对象的脸的部位；图4象输入部12, 其从照相机21取得每一帧的,图像；,位置检测部13，其从由该图 ^^r入部12取得的图像中，检测利用者19的脸的部位，例如，眼、嘴等 的位置；特征量抽出部14，其作为脸部识别中使用的脸的特征量，抽出 眼、嘴等部位的特征量；数据库15，其保存有预先登记的登记人的脸的 特征量；识别部16,其将保存于该数据库15中的M记人的特征量，与 由上述特征量抽出部14抽出的特征量进行比较，来识别上述图像中的人； 以及识别结果输出部17,其输出该识别部16的识别结果。另外，作为抽 出脸部识别中使用的特征量的对象的脸的部位，是眼、嘴、耳、鼻等，然 而只要是可以利用生物学特征来确认本人的，则可以AJ睑的任何部位。在 此，以上述部位为目MJt来进行说明。在此，上述特征量选择部ll，是利用者19根据情况来选择作为抽出 特征量的对象的脸的部位的单元，例如，在利用者19戴着口罩的情况下 则重视眼的特征量，不是这种情况时，即，在未戴口革的情况下，则可以 选择利用目MJf的特征量的方式。另外，上述图像输入部12，以能够通过有线或者无线的网络通信的方 式与用于拍摄利用者19的脸部图像的作为拍摄单元的照相机21连接，从 上述照相机21取得利用者19的脸部图像。此外，该脸部图像优选为数字 的图傳Jt据。另外，上述网络，可以是USB (Universal Serial Bus)电 缆等的通信电缆，也可以是电话线路网、互联网、LAN (Local Area Network), WAN (Wide Area Network)等的通信线路网。此外，上述识别结果输出部17，以能够通过有线或者无线的网络通信 的方式与扬声器22和监视器23连接，将识别结果制成用于向上述扬声器 22或者监视器23输出的信息和图像。在此，上述扬声器22，可以是任何 形式的扬声器，也可以配设于任何场所。例如，可以是配设在特定的建筑 物或该建筑物内的特定场所的入口处的对讲机等的扬声器，可以是内装于 自动交易装置的内装型扬声器，可以是与个人计算机等连接的扬声器，还 可以是内装于笔记本型个人计算机、PDA、电子记事本、移动电话机、PHS 电话机等的扬声器。另夕卜，上述监视器23,是具备:CRT、液晶显示器、LED( Light Emi 11 ing Diode)显示器等的显示单元，可以是任何形式，也可以配i史于任何场所。 例如，可以是配设在特定的建筑物或该建筑物内的特定场所的入口处的监 视器，可以是自动交易装置的显示单元，可以是与个人计算机等连接的监 视器，还可以是笔记本型个人计算机、PDA、电子记事本、移动电话机、 PHS电话机等所具备的监视器。此外，上述网络，可以是USB电缆等的通信电缆，也可以是电话线路 网、互联网、LAN、 WAN等的通信线路网。另外，上述J!^识别系统10，只要具备CPU、 MPU等的运算单元、 磁盘、半导体存储器等存储单元、输入输出接口等，则可以是"任何种 类的计算机中的系统，例如，可以是装入个人计算机中的系统，也可以是 "服务器中的系统，也可以是"通过网络连接了多台计算机的计算机网络中的系统。接着，对上述构成的,识别系统10的动作进^i兌明。图2是表示本发明的第一实施方式中的特征量选择画面例的图，图3 是表示本发明的第一实施方式中的脸部位置检测处理的动作的流程图，图 4是表示本发明的第一实施方式中的特征量抽出处理的动作的流程图。首先，利用者19，利用特征量选,11,对将作为抽出特征量的对 象的脸的部位设为何处，即，对作为脸的特征量重视脸的哪个部位，进行 选择。在这种情况下，脸部识别系统IO，例如，在监视器23上显示图2 所示的特征量选择画面，使利用者19选择是否戴着口軍。而且，在选择 了戴着口罩的情况下，选择作为脸的特征量利用眼的特征量。另外，在选 择了未戴口罩的情况下，选择利用眼和嘴的特征量。另外，同样地，也可以使利用者19选择是否戴着眼罩。而且，在选 择了戴着眼罩的情况下，选择作为脸的特征量利用嘴的特征量。另夕卜，在 选择了未戴眼罩的情况下，选择利用眼和嘴的特征量。此外，同样地，也 可以使利用者19选"^发型是否发生了较大的变化。接着，图^^T入部12， ^一帧取得照相机21拍摄得到的利用者19 的,图4象。接着，脸部位置检测部13，根据上述图像输入部12取得的脸部图像， 检测脸的各部位的位置。在这种情况下，只检测由特征量选择部11选 择的部位的位置。例如，对于眼及嘴的每个，在利用特征量的情况下依 次检测各个位置。首先，判断是否选择了利用眼的特征量，在选择了的情 况下则检测眼的位置。另夕卜，在未选择的情况下则不检测眼的位置。然后， 判断是否选择了利用嘴的特征量，在选择了的情况下则检测嘴的位置。另 外，在未选择的情况下则不检测嘴的位置另外，作为检测脸的各部位的方法，例如，作为脸部部位的探索方法 已知有在用肤色求出脸的大致位置后，通过基于低频滤波器的滤波结果 的投影直方图及样板匹配求出各部位的位置的方法(例如，参照专利文献 2)，在此，省略说明。专利文献2:日本特开2003-281539号公才艮。接着，特征量抽出部14,抽出脸部识别中使用的特征量。此时，只 将由特征量选择部11所选择的部位作为对象而抽出特征量。例如，将所 选择的眼或嘴作为对象，抽出特征量。作为脸部识别中使用的特征量，例 如，已知有对于眼、鼻、嘴，使用数种伽柏滤波器进行滤波的方法(例 如，参照非专利文献l)，在此，省略说明。非专利文献1:"特徴点自動抽出^用V、t^f求一少変換〖ilJ^顔認識" 吉田、吴、盐山、电子信息通信学会技木研究报告PRMU 2001-202。另外，在数据库15中，保存有一人以上的登记人的脸的特征量，并 *有从^^记人的脸部图像中抽出的脸的所有部位(例如，眼、嘴、耳、 鼻等)的特征量。接着，识别部16，将上述特征量抽出部14从利用者19的脸部图像中 抽出的特征量，与保存在数据库15中的登记人的脸的特征量比较，进行 脸部识别。在这种情路况下，上述识别部16，对于由特征量选择部ll选 择了的部位(例如，眼或嘴)，将从利用者19的^5图像中抽出的特征量， 与登记人的特征量进行比较，计算出识别数。另外，作为计算出该识别数 时的图案匹配方法，例如，已知有使用归一化的互相关的方法(例如， 参照非专利文献2)，在此，省略说明。非专利文献2:"画像(D処理&認識"安居院、长尾。在此，上述识别lbl对于^^记人的特征量而计算出的。而且，在上 述识别数为最大，并且，超过规定阈值的情况下，上述识别部16，判断 为相应的登记人为上述利用者19。即，该利用者19，与上述登记人为同 一人，判断为脸部识别成功。另外，在除此以外的情况下，上述识别部 16，判断为脸部识别失败。而且，识别结果输出部17,将上述识别部16的识别结果，即，利用 者19的脸部识别的成功或失败，从扬声器22 ;SJ&视器23，通过声音或 者图像进行输出。由此，将识别结果传^利用者19。下面，对图3所示的流程图进行说明。步骤Sl:判断是否选择了利用眼的特征量。在选择了利用眼的特征 量的情况下进入步骤S2，在未选择利用眼的特征量的情况下进入步骤S3。步骤S2:检测眼的位置。步骤S3:判断是否选择了利用嘴的特征量。在选择了利用嘴的特征 量的情况下i^步骤S4，在未选择利用嘴的特征量的情况结束处理。步骤S4:检测嘴的位置，并结束处理。下面，对图4所示的流程图进#^兌明。步骤S11:判断是否选择了利用眼的特征量。在选择了利用眼的特征 量的情况下进入步骤S12，在未选择利用眼的特征量的情况下进入步骤 S13。步骤S12:抽出眼的特征量。步骤S13:判断是否选择了利用嘴的特征量。在选择了利用嘴的特征 量的情况下l步骤14，在未选择利用嘴的特征量的情况下结束处理。步骤S14:抽出嘴的特征量，并结束处理。这样，在本实施方式中，利用者19配合自己的状态，对作为脸的特 征量重视脸的哪个部位进行选择，从而可以有意识地进行特征量的设定。 由此，即使在戴有口罩的状态下、在戴着眼罩的状态下、发型与登记时相 比有较大变化的状态下等，也能适当地进行利用者19的脸部识别。因此， 在认证时无需摘掉口罩或眼罩，因而可以减轻利用者19的负担。下面，对本发明的第二实施方式进行说明。另外，对于具有与第一实 施方式相同的构造的部分，通过标ie^目同的符号来省略其说明。另夕卜，对于与上述第一实施方式相同的动作;M目同的效果，也省略其说明。图5是表示本发明的第二实施方式中的脸部识别系统的构成的图。如图所示，本实施方式中的脸部识别系统IO,具有图傳瑜入部12、 脸部位置检测部13、特征量抽出部14、数据库15、识别部16、识别结果 输出部17及利用者状态检测部18。此外，特征选择部ll被省略。而且， 上述利用者状态检测部18，基于由脸部位置检测部13检测出的结果，来 检测利用者19的状态，例如，判断利用者19是否戴着口軍。另外，对于 其他点的构成，由于与上述第一实施方式相同，因此省略"^兌明。下面，对于本实施方式中的脸部识别系统10的动作iifr沈明。首先，图^*入部12, ^—帧取得照相机21拍摄的利用者19的脸 部图像。接着，,位置检测部13，从上述图ll^r入部12取得的J^p图像中， 检测脸的各部位的位置。然后，利用者状态检测部18，利用上述脸部位置检测部13检测出的 脸的各部位的位置信息，来检测上述利用者19的状态。例如，根据眼 的位置推定嘴的位置，并将推定的嘴的位置附近，与作为预先登记数据 而登记的嘴的样板进行匹配。而且，在推定的嘴的位置附近与嘴的样板 之间的互相关值为规定阈值以下的情况下，则上述利用者状态检测部18， 判断为因口罩的影响而看不见嘴，并选择不将嘴的特征量用于脸部识别。另外，上述利用者状态检测部18，同样地，例如，将推定的眼的位 置附近，与作为预先登记数据而登记的眼的样板进行匹配。而且，在推 定的眼的位置附近与眼的样板之间的互相关值为规定阈值以下的情况下， 则利用者状态检测部18，判断为因眼罩或发型的影响而看不见眼，并选 择不将眼的特征量用于脸部识别。接着，特征量抽出部14，抽出,识别中使用的特征量。此时，只将 由上述利用者状态检测部18所选择的部位作为对象而抽出特征量。然后，识别部16，将上述特征量抽出部14从利用者19的脸部图像中 抽出的特征量，与保存在数据库15中的登记人的脸的特征量比较，进行 脸部识别。而且，识别结果输出部17，将上述识别部16的识别结果，即，利用 者19的脸部识别的成功或失败，从扬声器22 ; 视器23，通过声音或 者图像进行输出。由此，将识别结果传ii^利用者19。这样，在本实施方式中，配合利用者19的状态，对作为脸的特征量 重视脸的哪个部位，自动地进行选择。由此，即使是戴着口罩的状态、 戴着眼軍的状态、发型与登记时发生很大变化的状态等，也可以恰当地 进行利用者19的脸部识别。因此，在认证时无需摘掉口罩和眼罩，因 而可以减轻利用者19的负担。此外，本发明不限定于上述实施方式，而可以基于本发明的宗旨进行 各种变形，并不将它们从本发明的范围中排除。
权利要求
1.一种脸部识别系统，具有(a)图像输入部，其取得利用者的脸部图像；(b)数据库，其保存有登记人的脸的部位的特征量；(c)脸部位置检测部，其根据上述利用者的脸部图像检测脸的部位的位置；(d)特征量抽出部，其抽出脸的部位的特征量；(e)识别部，其将该特征量抽出部抽出的脸的部位的特征量，与保存在上述数据库中的登记人的脸的部位的特征量进行比较，来识别上述利用者，其中，(f)上述利用者选择用于抽出特征量的脸的部位。
2. 根据权利要求1所述的,识别系统，其特征在于， 上述脸部位置检测部，只检测上述利用者选择的脸的部位的位置。
3. 根据权利要求l所述的,识别系统，其特征在于， 具有特征量选择部，其由上述利用者操作并选择用于抽出特征量的脸的部位。
4. 一种脸部识别系统，具有(a) 图^J^入部，其取得利用者的麟图像；(b) 数据库，其保存有登记人的脸的部位的特征量；(c) 脸部位置检测部，其根据上述利用者的脸部图像检测脸的部位 的位置；(d) 特征量抽出部，其抽出脸的部位的特征量；(e) 识别部，其将该特征量抽出部抽出的脸的部位的特征量，与保 存在上述数据库中的登记人的脸的部位的特征量比较，来识别上述利用者，其中，(f)配合上述利用者的状态，自动地选择用于抽出特征量的脸 的部位。
5. 根据权利要求4所述的脸部识别系统，其特征在于，具有利用者状态检测部，其通过使上述利用者的脸部图像与所登记的 样板进行匹配，来选择用于抽出特征量的脸的部位。
全文摘要
本发明提供一种脸部识别系统，进行脸部识别的利用者能够自己选择作为抽出特征量的对象的脸的部位，即使在戴着口罩或眼罩，或者改变了发型的情况下，通过重视已选择的部位的特征量而减轻其他部位的特征量，能够恰当地进行脸部识别。具有图像输入部，其取得利用者的脸部图像；数据库，其保存有登记人的脸的部位的特征量；脸部位置检测部，其根据上述利用者的脸部图像检测脸的部位的位置；特征量抽出部，其抽出脸的部位的特征量；识别部，其将该特征量抽出部抽出的脸的部位的特征量，与保存在上述数据库中的登记人的脸的部位的特征量进行比较，来识别上述利用者，在该脸部识别系统中，由上述利用者选择用于抽出特征量的脸的部位。
文档编号G06F21/20GK101405744SQ20078000986
公开日2009年4月8日 申请日期2007年1月19日 优先权日2006年3月23日
发明者增田诚, 长尾景洋 申请人:冲电气工业株式会社