专利名称：信息终端装置以及认证系统的制作方法
技术领域：
本发明涉及具有使用用户的人体信息进行个人认证的功能的信息终端装置以及认证系统。
背景技术：
当前，将用户认证手段分为存取特征型与存储数据型2个类型。对于存取特征型，存在智能卡、信用卡、密钥等，对于存储数据型存在密码、用户名、个人认证号等。
存取特征型的问题在于，容易丢失或被盗窃。另一方面，存储数据型的问题在于，容易忘记或者担心忘记而设定为简单的数据。虽然，通过采用组合两者后的手段可以提高安全性，而也存在相同的问题。
生物测定学技术是将身体的特征(人体信息)作为个人认证手段的技术，能够解决上述中容易丢失的问题、存储的问题。作为具体的人体信息，已知指纹、手形、脸、虹彩、网膜、声纹等。
作为利用了脸部图像的用户认证，已知如电视电话装置那样的为了实现装置本身的功能而必须具备摄像手段(摄像机)的携带型信息处理装置中，利用从该摄像手段读取的图像数据来实现安全功能的移动型信息处理装置(特开2000-137809号公报)等。
又，近年在迅速普及的移动电话或者便携型个人计算机中，通过附加图像的输入输出功能与图像的传送功能，也能够利用上述以往示例中的用户认证技术。
然而，在上述示例中，在通过对比预先登录的用户的脸部图像数据(或者从脸部图像数据中抽出的特征参数)与认证时输入的用户的脸部图像数据(或者从脸部图像数据中抽出的特征参数)进行用户的认证中，存在下述问题。
(1)认证精确度的问题例如，采用安装在移动终端的摄像机抽出脸等的人体信息时，由于照明条件改变、背景改变、或者获取自己脸的摄像机的方向、距离发生改变，很难获得与登录图像相同的识别结果。即，与以往的存取特征型、存储数据型相比，本人认证被拒绝的机会增多。
(2)人体信息的识别中的安全问题例如，为了进行脸识别而输入脸画像时，他人而不是本人采用本人的照片就能够冒充本人。
本发明为了解决上述两个问题，目的在于提供脸部图像等的人体信息的输入接口。
发明内容
本发明为了解决上述问题，其特点在于，具备输入用户人体信息用的输入手段；显示输入的人体信息的显示手段；根据所述人体信息对于预先登录的用户进行个人认证的认证手段，并且所述显示手段显示用于指定所述人体信息的大小以及位置的范围指标。
如此，在显示用于指定输入的人体信息的大小以及位置的范围指标的同时显示输入的人体信息的结果，通过提供能够确认照明方向以及输入的脸的大小、方向等偏差的输入接口，用户能够简单地调整照明条件、摄像机的方向、距离、脸等的位置，能够在适合于用户的认证的条件下读取人体信息。
由于具备上述信息终端装置与登录用服务器，能够实现高精度的用户认证系统，所述登录用服务器具有将从所述信息终端装置通过通信网络输入的所述人体信息登记到数据库并且从所述人体信息与已经登录的数据库中的各人体信息中研究各人的识别函数的研究手段；管理所述人体信息、所述各人的识别函数以及ID的系统管理手段。
本发明的信息终端装置具有显示输入的用户的人体信息的显示手段与根据该人体信息对于预先登录的用户进行个人认证的认证手段，该显示手段用于显示指定该人体信息的大小以及位置的范围指标。由此，能够正确地输入人体信息。
又，在本发明的信息终端装置中，该人体信息是用户的脸部图像、以及用户的脸部图像与声音中的任意一种。由此，能够进行利用了输入摄像机以及麦克风的非接触输入，不需要特别的输入装置。
又，在本发明的信息终端装置中，所述范围指标规定脸的外形以及两眼位置的任意一种。由此，能够输入适合于认证的大小及方向的脸部图像。
又，在本发明的信息终端装置中，还具备在输入人体信息时向用户发出指示的指示手段。由此，为了提高抽出精度，用户能够进行适当的对应。
又，在本发明的信息终端装置中，该指示手段发出下述任意的指示，即眨眼的指示、改变身体方向的指示、将脸上下或左右移动的指示以及移动位置的指示。由此，能够防止使用照片来冒充本人、通过改变脸上的照明条件能够提高认证精确度、以及能够防止由于脸的上下或左右的方向引起的认证精度的下降。
又，在本发明的信息终端装置中，将所述脸部图像变换成镜像进行显示。由此，能够容易地使得从摄像机中获得自己本身的脸的位置位于中央。
又，在本发明的信息终端装置是具备通信手段的移动信息终端、或者便携型个人计算机以及移动电话中的任意一种。由此，通过利用便携型终端，在任何地方都能够正确地输入人体信息。
本发明的认证系统具有信息终端装置以及登录用服务器，该登录用服务器具有将从所述信息终端装置通过通信网络输入的人体信息登记到数据库并且从该人体信息与已经登录的数据库中的各人体信息中研究各人的识别函数的研究手段；管理该人体信息、该识别函数以及ID的系统管理手段。由此，能够作为用于因特网上的服务例如，电子商务、访问电子银行的个人认证手段发挥作用。
又，在本发明的认证系统中，在每一定期间更新个人的该人体信息。由此，能够更进一步地确保安全性。
又，在本发明的认证系统中，该登录用服务器促使各信息终端装置在每一定期间更新个人的所述人体信息。由此，能够进行更加安全的认证。
附图简述
图1表示具有本发明的认证功能的信息处理装置的功能构造图。
图2表示本发明实施例1的登录·认证系统的系统构造图。
图3表示本发明实施例1的带有摄像机的移动电话的外观概要图。
图4表示本发明实施例3的带有摄像机的移动电话的功能构造图。
图5表示本发明实施例1的带有认证功能的移动电话的功能构造图。
图6A表示用于说明本发明实施例1的脸部图像登录处理的登录顺序图。
图6B表示用于说明本发明实施例2的声音处理的登录顺序图。
图7是表示用于说明本发明实施例1的脸部图像抽出处理的流程图。
图8是表示用于说明本发明实施例1的脸部图像研究处理的流程图。
图9A是表示用于说明本发明实施例1的识别处理成功时的顺序的识别顺序图。
图9B是表示用于说明本发明实施例1的识别处理失败时的顺序的识别顺序图。
图10是用于说明本发明实施例1的脸部图像识别处理的流程图。
图11表示本发明实施例2的带有多个认证功能的移动电话的功能构造图。
图12表示本发明实施例2的登录·认证系统的系统构造图。
图13用于说明本发明实施例2的声音抽出处理的流程图。
图14是用于说明本发明实施例2的声音研究处理的流程图。
图15是用于说明本发明实施例2的认证动作的流程图。
图16是用于说明本发明实施例2的话者识别处理的流程图。
图17是表示本发明实施例3的登录·认证系统的构造图。
图18是用于说明本发明实施例3的认证处理的认证顺序图。
图19是用于说明本发明实施例3的脸部图像识别处理的流程图。
图20是表示本发明实施例4的带有认证功能的移动电话的功能构造图。
图21是表示用于说明本发明实施例4的脸部图像登录处理的流程图。
图22A是本发明实施例1的输入脸部图像的第1示例。
图22B是本发明实施例1的输入脸部图像的第2示例。
最佳实施形态以下，参照附图对于本发明的实施例进行说明。
实施例1第1实施例如以下的图1所示。
图1表示本发明的具有认证功能的信息终端装置6的功能构造图。图1中的具有认证功能的信息终端装置6是具备输入人体信息的输入手段、显示输入的人体信息的显示手段2、根据输入的人体信息认证预先登录的用户的认证手段4并且具有根据人体信息进行个人认证的功能的信息终端装置6，该显示手段2具备显示用于指定输入的人体信息的大小以及位置的矩形范围或二点等的指标的范围指标显示手段3，由确认用户输入的人体信息状况的人体信息确认手段5构成。
作为本发明的信息终端装置6，包含移动信息终端(以下，记作“PDA”)、移动电话、便携型个人计算机等，但并不仅限定于此。
图2是作为本发明实施例1的信息终端装置的一示例表示采用了移动电话1001根据脸来进行个人认证的登录·认证系统的构造，以下，进行说明。
构造上通过网络101连接移动电话1001与登录用服务器201。登录用服务器201具备采用为进行脸认证用所登录的画像进行研究的功能，由系统管理部分202、脸部图像登录/更新部分203、脸部图像数据库204、数据输入输出部分205构成。数据输入输出部分205具备从移动电话1001接收发送来的数据的功能以及将登录用服务器201处理结果从移动电话1001发送出去的功能。
系统管理部分202具备管理有关脸部图像登录的个人信息与管理登录处理的功能，它由个人信息管理部分206与登录记录管理部分207构成。个人信息管理部分206具备管理作为个人信息的所有者姓名、移动电话号码、使用者姓名以及用户ID的功能，登录记录管理部分207具备管理用户ID、登录画像ID、登录日期、更新日期、研究结果的功能。脸部图像登录/更新部分203具备采用登录脸部图像进行研究并且对于输入的图像求出判定是否为本人的函数的功能。脸部图像数据库204具备存储通过登录脸部图像或者研究获得的函数的功能。
又，移动电话1001上能够安装IC卡50。
又，图3是作为信息终端装置的带有摄像机的移动电话1001的外观示意图。在图3中，带有摄像机的移动电话1001由扬声器11、显示器12、用于获取脸部图像的摄像机13、麦克风14、天线15、按钮16、IC卡50、IC卡读取接口51构成。带有摄像机的移动电话1001的全体数据处理由图5所示的数据处理部分17进行。数据处理部分17由设备控制部分18以及数据存储部分19构成。
图5表示本发明实施例1的带有摄像机的移动电话1001的功能构造。
在图5中，数据处理部分17具备处理通过摄像机13、麦克风14、按钮16或者来自IC卡50通过IC卡读取接口51输入的数据并且输出到扬声器11、显示器12、天线15的功能，它由设备控制部分18与数据存储部分19构成。设备控制部分18采用各种各样的程序不仅处理数据，还进行移动电话1001的设备控制。数据存储部分19能够存储设备控制部分18使用的各种程序以及从摄像机13、麦克风14、按钮16输入的数据以及由设备控制部分18处理后的结果数据。脸认证部分20由存储研究登录画像的结果的研究完成函数存储部分22、采用从IC卡50读取的登录图像与从研究完成函数存储部分22读取的研究结果对于从摄像机13获得脸部图像进行认证的认证部分21构成。
在图5的带有个人认证功能的移动电话1001中，摄像机13、显示器12、数据处理部分17、脸认证部分20分别对应于图1中的输入手段1、输出手段2、指标显示手段3、认证手段4。
其次，对于本发明实施例1的动作进行说明。
首先，参照图6A、图7以及图8对于登录动作进行说明。图6A表示脸部图像的登录顺序，移动电话1001与登录用服务器201之间的命令由移动电话1001中的脸部图像抽出处理601、登录用服务器201中的脸部图像研究处理602构成。
在脸部图像抽出处理601中，通过模板匹配法进行脸部区域的抽出处理。模板匹配法的处理如下所述。预先从多个画像中抽出脸部区域，将由脸部区域图像的浓淡图案形成的特征向量x的平均向量xm作为标准参数。切出输入画像使得输入画像(N×M象素)的中心坐标(Xc、Yc0＜Xc＜M、o＜Yc＜N)为以纵n象素、横m象素(N＞n、M＞m)的尺寸切出的画像的中心，将其变换成与标准图案画像相同的尺寸。此后，计算出由浓淡图案构成的特征向量xi，若标准图案的特征向量xm与xi的类似度(例如下述的欧几里得距离的倒数)大于预先设定的阈值，则作为脸部图像抽出结果输出。又，也可以具有采用相同的方法在抽出脸部区域之后抽出眼部的功能。
通过操作移动电话1001的按钮6，设备控制部分18从数据存储部分19读出登录用程序并且实行。然而，为了避免本人以外人员的操作，只有输入仅本人存储的号码时，才读出登录用程序。设备控制部分18向登录用服务器201发送登录要求603，当接收来自登录用服务器201的要求受理应答604时，开始脸部图像抽出处理601。
另一方面，当登录用服务器201接收到登录要求603时，系统管理部分202对照各人信息来判断是新登录还是更新登录信息。当新登录的情况下，追加接收的个人信息并且重新作成登录记录。当完成登录准备时，则登录用服务器201将包含登录要求受理ID的要求受理应答604发送给移动电话1001。
参照图7、图22A、图22B对于脸部图像抽出处理601进行说明。
图7是脸部图像抽出处理601的流程图。设备控制部分18切换显示器12的显示(从当前的显示切换到摄像机输入显示)(步骤1)。在切换成摄像机输入显示时，在显示器12上显示将摄像机输入画像左右反转的镜像。在显示器12上显示确定脸或者眼睛位置的范围二点等的指标2217(步骤2)，输出表示从摄像机13输入的登录者脸部图像已满的指示(步骤3)。指示的方法可以是将指示显示于显示器12或者通过扬声器11以声音进行指示。指示内容除此之外还包括眨眼、改变脸的方向、上下移动脸、改变身体方向、移动位置等。
图22A是以输入脸部图像为例，表示输入脸部图像小并且偏离范围二点等的指标2217时的示例。通过脸部图像抽出处理601抽出脸部区域2218以及眼睛，抽出的眼睛的中心坐标2219与上述的指标2217的距离大于预先设定的阈值时，输出上述的指示(步骤3)。如图22B所示，为了进行输入脸部图像识别处理，使之为适当位置以及大小，则重复脸部图像抽出处理601与指示(步骤3)。又，用于确定脸或者眼睛位置的指标2217可以设定为矩形的框，但对其不作限定，只要是用于确定位置的指标即可。
设备控制部分18压缩输入的脸部图像(步骤4)并且存储到数据存储部分19中(步骤5)。将登录所必要的个人信息、登录要求受理ID与脸部图像信息同时发送给登录用服务器201(步骤6)。然而，当数据存储部分19没有足够的存储容量时，不进行存储处理。这里，登录所必要的个人信息是指由个人信息管理部分206管理的信息。
登录用服务器201当接收脸部图像信息605时，开始脸部图像登录处理。
以下，对于脸部图像登录处理进行说明。登录服务器201将脸部图像记录到脸部图像数据库204并且将脸部图像接收应答606发送给移动电话1001。另一方面，对于发送了脸部图像接收应答606的登录用服务器201，系统管理部分202将登录画像ID传递到脸部图像登录/更新部分203。获得登录画像ID的脸部图像登录/更新部分203从脸部图像数据库204中读出登录画像并且进行研究处理602。
研究处理602的流程图如图8所示。
在研究处理602中，首先，从脸部图像数据库204中读出从登录图像生成的向量，采用由多个脸部图像的浓淡图案形成的特征向量xf的方差协方差矩阵W，从式1中计算出固有向量lf，(W-λjI)lj＝0…(式1)(这里，λ是固有值、I是单位矩阵)而且，作为变换矩阵(以下，将该变换矩阵称作研究完成函数)求得固有值寄与率、Cj＝λj/tr(W)的上位n个固有向量形成的矩阵A＝(l1、l2…、In)(步骤11)。这里，tr(W)表示方差协方差矩阵W的轨迹。又，研究完成函数是使用于用户识别中的识别函数。其次，将本人的登录画像向量xs作为ys＝Atxs并生成本人的登录画像特征向量ys。在这个固有空间中将用于进行变换的研究完成函数A作为研究结果(步骤12)。
当结束研究处理602时，脸部图像登录/更新部分203将研究结果与用于判定的阈值传递到系统管理部分202。系统管理部分202将研究结果ID赋予研究结果与用于判定的阈值，并且存储在脸部图像数据库204中。而且，系统管理部分202通过数据输入输出部分205将研究结果与用于判定的阈值作为登录完成应答607发送给移动电话1001。
移动电话1001中，当设备控制部分18接收来自登录用服务器201的脸部图像接收应答606时，删除记录在数据存储部分19上的脸部图像。又，当接收登录完成应答607时，数据处理部分17将接收到的研究结果与用于判定的阈值记录到研究完成函数存储部分22。设备控制部分18通过扬声器11或者显示器12传达用户已完成登录的情况。设备控制部分18结束登录处理并且恢复到预置状态。所谓预置状态是指与接入移动电话1001的电源时的初期状态相同的状态。
又，登录用服务器201从存储在脸部图像数据库204的画像中抽出1幅本人的画像，将登录画像或者登录画像的特征向量写入IC卡50。此时，除了登录画像以外还向IC卡50写入个人信息。将IC卡送交给本人。
又，登录用服务器201具有在以前登录之后经过一定期间后将新输入的本人画像写入IC卡50或者每经过一定期间通过移动电话1001促使用户输入登录画像的功能。
其次，参照图9A与图9B对于认证动作进行说明。
通过操作移动电话1001的按钮16，设备控制部分18从数据存储部分19读出识别用程序并且实行。又，用户将记录了的登录画像的IC卡50插入IC卡读取接口51。
脸部图像抽出处理901与脸部图像识别处理902的流程图如图10所示。
首先，与登录同样地进行脸部图像抽出处理901(步骤21)。
其次，进行利用脸部图像的脸部图像识别处理902。设备控制部分18向脸认证部分20指示开始脸部图像识别处理902(步骤22)。在此开始指示(步骤22)中包含抽出的脸部图像的存放位置。认证部分21生成抽出画像的向量(步骤23)。
同样地，设备控制部分18从IC卡50中读出登录画像并且生成登录画像的向量(步骤24)。然而，对于预先生成登录画像的特征向量并记录到IC卡50的情况，则不需要该处理。
设备控制部分18从研究完成函数存储部分22中读出研究完成函数A与用于判定的阈值，登录用画像的向量xs与抽出画像的向量xi采用研究完成函数A分别求出登录用画像的特征向量ys＝Atxs与抽出画像的特征向量yi＝Atxi(步骤25)。采用求出的登录用画像的特征向量ys与抽出画像的特征向量yi计算类似度，根据类似度大于或者小于阈值判定是否为本人。类似度的计算是从登录画像与输入画像、作为对于各自的向量进行KL展开(Karhunen-Loeve展开)的结果的特征向量ys、ys中例如采用输出结果的欧几里得距离d(d2＝∑(ysm-yim)2)的倒数。认证部分21将判定结果发送给设备控制部分18(步骤26)。
当判定为本人时，设备控制部分18使得移动电话1001的所有程序有效(步骤27)。当判定不为本人时，返回步骤21。
又，在上述实施例1中，采用本人的登录画像与阈值判定是否为本人，而也存在不采用阈值的方法。作为登录画像，采用多幅本人的画像与他人的画像，在抽出的画像与本人画像的类似度最大的情况下判定为本人，与他人的画像类似度最大的情况下判定为他人。
带有认证功能的移动电话1001作为识别成功通知903将该脸部图像识别处理902的结果发送给登录用服务器201。又，如图9B所示，当该脸部图像识别处理902的结果为认证失败时，带有认证功能的移动电话1001向登录用服务器201发送认证失败通知904。
实施例2对于本发明实施例2的构造进行说明。
与实施例1的构造的不同点在于，移动电话1002的构造与登录用服务器301的构造，而其他构造相同。因此，在实施例2中参照图11、图12仅对于与实施例1不同的构造进行说明。
移动电话1002的构造的不同点在于，附加有采用话者的声音进行认证的话者认证部分23。话者认证部分23由存储研究登录声音的结果的研究完成函数存储部分25、采用从IC卡50通过IC卡读取接口51读出的登录声音与从研究完成函数存储部分25读出的研究结果对于从麦克风14输入的话者的声音进行认证的认证部分24所构成。
又，登录用服务器301的构造的不同点在于，用于存储脸部图像的脸部图像数据库204变成存储脸部图像与声音的脸部图像/声音数据库302，以及追加了进行声音研究处理的声音登录/更新部分303。
其次，参照图6B对于本发明实施例2的动作进行说明。脸部图像的登录动作与实施例1相同。这里，对于声音的登录动作进行说明。
图6B表示声音的登录顺序，移动电话1002与登录用服务器301之间的命令由移动电话1002中的声音抽出处理608、登录用服务器301中的声音研究处理609构成。
通过操作移动电话1002的按钮16，与登录脸部图像时相同地，设备控制部分18从数据存储部分19读出登录用程序并实行。然而，为了避免本人以外的操作，只有在输入仅本人存储的号码时，才读出登录用程序。
设备控制部分18向登录用服务器301作为声音发送人体信息以及发送登录要求，当接收到来自登录用服务器301的要求受理应答611时，开始声音抽出处理608。另一方面，登录用服务器301接收登录要求时，系统管理部分202对照个人信息，判断是新登录还是更新登录信息。在新登录的情况下，追加接收的个人信息并且重新作成登录记录。当完成登录准备时，登录用服务器301将包含登录要求受理ID的要求受理应答611发送给移动电话1002。
参照图13对于声音抽出处理608进行说明。设备控制部分18在显示器12上显示登录开始的指示或者使用扬声器11通过声音进行指示(步骤51)。
用户根据指示从麦克风14输入声音。设备控制部分18压缩输入的声音(步骤52)，若在数据存储部分19中有充足的容量，则将压缩后的声音存储到数据存储部分19(步骤53)。采用公开密钥密码将声音信息612与登录所必要的个人信息、登录要求受理ID同时进行加密(步骤54)并且发送到登录用服务器301(步骤55)。然而，若在数据存储部分19没有足够的存储容量时，则不进行存储处理。
登录用服务器301将声音记录到脸部图像/声音数据库302并且将声音接收应答613发送到移动电话1002。另一方面，对于发送了接收应答的登录用服务器301，系统管理部分202将登录画像ID传递到声音登录/更新部分303。接收了登录画像ID的声音登录/更新部分303从脸部图像/声音数据库302读出登录声音并且进行声音研究处理609。
声音研究处理609的流程图如图14所示。首先，作成从脸部图像/声音数据库302读出的登录声音的声纹曲线(步骤101)。所谓声纹曲线是指将声音的时间序列数据分解成频率成分并将其排列成时间序列后的向量。从预先准备的内容中由用户选择使用于登录声音的话语。将声纹曲线与实施例1相同地进行KL展开，作为研究完成函数A求得由固有向量形成的变换矩阵(步骤102)。
其次，将本人的登录声音的向量xs作为ys＝Atxs，生成本人的登录声音特征向量ys。将在该固有空间进行变换的研究完成函数A作为研究结果(步骤103)。
当声音研究处理609结束时，声音登录/更新部分303将研究结果与用于判定的阈值传递给系统管理部分202。系统管理部分202将研究结果ID赋与研究结果与用于判定的阈值，并且存储在脸部图像/声音数据库302。再者，系统管理部分202通过数据输入输出部分205将研究结果与用于判定的阈值作为登录结束应答614发送给移动电话1002。
在移动电话1002中，当设备控制部分18接收到来自登录用服务器301的声音接收应答613时，消去已经记录在数据存储部分19上的声音。又，当接收登录完成应答614时，数据处理部分17将接收的研究结果与用于判定的阈值记录到研究完成函数存储部分25。设备控制部分18通过扬声器11或者显示器12传达用户完成了登录的情况。设备控制部分18完成登录处理并且恢复到预置状态。所谓预置状态是指与接入移动电话1002电源时的初期状态相同的状态。
又，登录用服务器301从存储在脸部图像/声音数据库302中的声音中抽出一个(一个单词)本人的声音，将登录声音或者登录声音的特征向量写入IC卡50。此时，登录声音之外的个人信息也写入IC卡。将IC卡50交送给本人。此时，当存在已经登录的脸部图像时，根据用户要求，也可以将登录画像与登录声音同时写入一枚IC卡50。
其次，参照图15对于认证动作进行说明。通过操作移动电话1002的按钮，设备控制部分18从数据存储部分19读出识别用程序并且实行(步骤153)。又，用户将记录了登录画像或者登录声音的IC卡50插入IC卡接口51。用户能够选择采用哪种认证(步骤151)。在读出识别用程序之前进行选择。
当认证成功时，设备控制部分18使得移动电话1002的程序全部有效(步骤154)。当认证失败时，进行判断是否继续处理(步骤155)。当继续时返回步骤151。使用脸部图像的认证动作由于在受理1中已经说明，故这里说明话者认证的动作。
话者识别处理的流程图如图16所示。
首先，与登录同样地进行声音抽出处理608(步骤201)。其次，进行话者识别处理。设备控制部分18向话者认证部分23指示开始认证处理(步骤202)。在该开始指示中包含抽出的声音的存放位置。认证部分24生成抽出的声音曲线的向量(步骤203)。同样地，设备控制部分18从IC卡50中读出登录声音，生成登录声音的向量(步骤204)。然而，预先生成登录声音的特征向量并且记录在IC卡50中的情况下，不需要该处理。
设备控制部分18从研究完成函数存储部分25中读出研究完成函数A与用于判定的阈值，从登录声音的向量与抽出声音的向量采用研究完成函数A求出登录声音的特征向量与抽出声音的特征向量(步骤205)。采用求出的登录声音的特征向量与抽出声音的特征向量计算类似度，根据类似度大于或者小于阈值来判定是否为本人。类似度的计算例如采用输出结果的欧几里得距离的倒数。认证部分24将判定结果发送到设备控制部分18(步骤206)。
又，如本实施例那样，通过使得相关于脸部图像识别、话者识别的算法通用化，能够降低成本。
实施例3参照图17对于本发明实施例3的构造进行说明。
与实施例1的构造不同之处在于，认证功能存在于登录·认证服务器401。
在图17中，在构造上通过网络连接了移动电话1003、登录·认证服务器401。登录·认证服务器401由管理登录·认证服务器401全体的系统管理部分402、进行脸部图像的登录研究与认证的登录·认证部分403、存储用户的脸部图像的脸部图像数据库404构成，系统管理部分402由通过人手实施脸部图像认证的个人认证支持部分405、包含登录用户的地址、姓名、电话号码、登录日期的个人信息存储部分406、包含认证时间、认证判定的认证记录存储部分407、显示器408构成，登录·认证部分403由进行个人认证的个人认证部分409与进行脸部图像的研究处理的脸部图像登录部分410构成。
移动电话1003的功能构造如图4所示。
移动电话1003由扬声器11、显示器12、用于获取脸部图像的摄像机13、麦克风14、天线15、按钮16、IC卡读取接口51、数据处理部分17构成，数据处理部分17由设备控制部分18与数据存储部分19构成。
其次，对于本发明实施例3的动作进行说明。登录动作大致与实施例1大致相同，登录·认证服务器401具备登录用服务器201的全部功能。这里，仅对于登录动作与实施例1不同之处进行说明。
在实施例1中，将登录画像记录到IC卡50，而在实施例3并不进行该动作。而且，在实施例1中，当设备控制部分18接收到登录结束应答时，数据处理部分17将接收到的研究结果与用于判定的阈值记录到研究完成函数存储部分22，而在实施例3中并不进行该动作。
其次，参照图18对于认证动作进行说明。通过操作移动电话1001的按钮16，设备控制部分18从数据存储部分19读出识别用程序并实行。首先，与登录时同样地进行脸部图像抽出处理1801。其次，设备控制部分18将认证要求180发送给登录·认证服务器401。在认证要求1802中包含抽出的脸部图像。
登录认证服务器401中的脸部图像识别处理1804的流程图如图19所示。系统管理部分402向登录·认证部分403输出接收到的脸部图像并且指示开始认证处理1804(步骤301)。个人认证部分409生成抽出的脸部图像的向量(步骤302)。又，个人认证部分409从脸部图像数据库404中读出登录画像并且生成登录画像的向量(步骤303)。然而，预先生成登录画像的特征向量并且记录在脸部图像数据库404的情况下，不需要该处理。
个人认证部分409从脸部图像登录部分410中读出研究完成函数A与用于判定的阈值，登录用画像的向量与抽出画像的向量采用研究完成函数A求出登录画像的特征向量与抽出画像的特征向量(步骤304)。采用求得的登录用画像的特征向量与抽出画像的特征向量计算类似度，根据类似度大于或小于阈值来判定是否为本人(步骤305)。类似度的计算例如采用输出结果的欧几里得距离的倒数。
当结束该脸部图像识别处理1804时，登录·认证服务器401将该结果作为识别应答1803发送给移动电话1001。
当该认证获得成功时，移动电话1001的设备控制部分18使得移动电话1001的程序全部有效。又，当认证失败时，用户能够进行3种选择。其一是再次进行脸部图像抽出1801并进行认证，其二是向登录·认证服务器401发送认证支持要求，其三是停止脸部图像认证1804并切换成根据输入ID进行的认证。脸部图像认证1804中由于照明条件或脸的方向可能会导致认证失败，故通过改变照明条件再次进行认证，可能获得认证成功。又，通过提出认证支持要求，虽然存在应答时间的延迟，然而通过认证服务器401侧的第三者进行可靠认证，安全性较高。通过切换成根据输入ID的认证，虽然需要花费用户的工夫，而能够进行可靠的认证。
这里，对于提出认证支持要求时的动作进行说明。在认证支持要求中包含移动电话ID、认证记录、紧急程度等的信息。登录·认证服务器401当接收认证支持要求时，附加到个人认证支持部分405的密钥中。个人认证支持部分405紧急程度从密钥中读出认证支持要求。个人认证支持部分405采用认证记录在显示器408上显示登录画像与输入画像。个人认证支持负责人通过目视确认显示于显示器408上的画像，判定结果利用移动电话ID发送到移动电话1003。
实施例4参照图20对于本发明实施例4的构造进行说明。
本实施例的特征仅在于移动电话1004的构造。
在图20中，移动电话1004由扬声器11、显示器12、用于获取脸部图像的摄像机13、麦克风14、天线15、按钮16、数据处理部分17、脸认证部分20构成，数据处理部分17由设备控制部分18与数据存储部分19构成。设备控制部分18不仅利用各种程序处理数据而且也进行移动电话1004的设备控制。
数据存储部分19能够存储由设备控制部分18利用各种程序以及从摄像机13、麦克风14、按钮16输入的数据以及由设备控制部分18进行处理的结果数据。脸认证部分20由利用从存储用于认证的研究函数的研究完成函数存储部分22、采用从数据存储部分19读出的登录画像与从研究完成函数存储部分22读出的研究结果对于从摄像机13获得的脸部图像进行认证的认证部分21构成。
其次，对于本发明实施例4的动作进行说明。
首先，对于研究完成函数进行说明。对于研究完成函数，在出厂时预先将预置的函数记录到研究完成函数存储部分22。在该研究完成函数的研究中没有使用本人的脸部图像，故识别能力较低。
其次，参照图21对于脸部图像的登录动作进行说明。用户通过操作按钮16，设备控制部分18从数据存储部分19读出登录用程序并实行。然而，为了避免本人以外的操作，只有当输入仅本人存储的号码时才读出登录用程序。
设备控制部分18切换显示器12的显示(从当前的显示切换到摄像机输入显示)(步骤401)。在显示器12上显示用于决定眼睛位置的矩形范围等的指标(步骤402)，并且输出表示从摄像机13输入的登录者的脸完全在画面矩形范围内的指示(步骤403)。指示的方法可以是将指示显示在显示器12上或者使用扬声器11以声音进行指示。指示内容除此之外，也包含眨眼、改变脸的方向、上下移动脸、改变身体方向、移动位置等。设备控制部分18将输入的脸部图像显示在显示器12上，使得用户能够进行确认(步骤404)。当通过用户操作按钮进行确认处理时，设备控制部分18压缩脸部图像(步骤405)并且存储在数据存储部分19中(步骤406)。
认证动作与实施例1相同。
通过组合本发明实施例1与实施例4，能够两个阶段地设定服务内容。其一是仅通过移动电话可进行认证的服务，其二是可仅更新登录画像。再者，希望提高识别率的用户在实施例1的构造下进行采用本人画像的研究并且能够接受进行认证的服务。
如上所述，根据本发明，当输入脸部图像时，通过给出下述指示，即显示用于决定脸或眼睛位置的范围或二点等的指标、改变脸的方向、眨眼、上下移动脸、改变身体方向、移动位置，由于照明条件或者脸的方向发生了改变，提高了抽出脸部图像的精度。而且，例如即使在通过使用照片以他人来冒充本人时，也能够容易地区分照片与人体。
权利要求
1.一种信息终端装置，其特征在于，具备显示输入的用户的人体信息的显示手段和根据所述人体信息对于预先登录的用户进行个人认证用的认证手段，所述显示手段显示用于指定所述人体信息的大小以及位置的指标。
2.如权利要求1所述的信息终端装置，其特征在于，所述人体信息为用户的脸部图像、以及用户的脸部图像与声音中的任意之一。
3.如权利要求1所述的信息终端装置，其特征在于，所述指标规定脸部的外形、以及两眼位置中的任意之一。
4.如权利要求1～3任意一项所述的信息终端装置，其特征在于，还具备在输入人体信息时向用户发出指示的指示手段。
5.如权利要求4所述的信息终端装置，其特征在于，所述指示手段发出下述任意一种指示，即眨眼的指示、改变身体方向的指示、将脸部上下或左右移动的指示或移动位置的指示。
6.如权利要求2所述的信息终端装置，其特征在于，将所述脸部图像变换成镜像进行显示。
7.如权利要求1～6任意一项所述的信息终端装置，其特征在于，所述信息终端装置是具备通信手段的移动信息终端、便携型个人计算机、以及移动电话中的任意之一。
8.一种认证系统，其特征在于这，具备(a)权利要求1～7中任意一项所述的信息终端装置；以及(b)登录用服务器，所述登录用服务器(b)具有将通过通信网络从所述信息终端装置输入的所述人体信息登记到数据库，并且从所述人体信息与已经登录的数据库中的各人体信息中研究各人的识别函数的研究手段(b1)；管理所述人体信息、所述识别函数及ID的系统管理手段(b2)。
9.如权利要求8所述的认证系统，其特征在于，定期更新个人的所述人体信息。
10.如权利要求9所述的认证系统，其特征在于，所述登录用服务器促使各信息终端装置定期更新个人的所述人体信息。
全文摘要
具备输入用户的人体信息的输入手段、显示输入的人体信息的人体信息确认手段、根据输入的人体信息来认证预先登录的用户的认证手段。人体信息确定手段具备显示手段、显示用于指定输入的人体信息的大小以及位置的范围等的指标的指标显示手段。该指标显示手段具备用户确认输入的人体信息状况的功能以及在输入人体信息时指定人体信息的大小以及位置的功能。
文档编号G10L15/00GK1369858SQ0210338
公开日2002年9月18日 申请日期2002年2月1日 优先权日2001年2月2日
发明者古山浩志, 长尾健司, 山田伸, 秋元俊昭 申请人:松下电器产业株式会社