基于面部认证的本人确认系统的制作方法

专利名称：基于面部认证的本人确认系统的制作方法
技术领域：
本发明涉及基于面部认证的本人确认系统。
背景技术：
以往，在银行、信用金库、邮局等金融机构中，在顾客用存折或 者证件进行存款的支取时，如果把盖章了的申请单提出到营业所的窗 口申请支取，则把在上述申请单上盖章的印迹与开设账户时登录的印 章的印迹对照，如果二者的印迹一致则支付存款(例如，参照专利文 献l。)。
专利文献1特开2001 — 256347号公净艮

发明内容
然而，在上述以往的系统中，在使用了盗窃的存折以及根据按压 在该存折上的印迹伪造的印章的情况下，不能够适当防止存款的非法 支取。因此，近年来，废除对于存折的盖章，进行印章对照的图像处 理，然而在同一个场所保管存折和印章的顾客还大量存在，不能够防 止使用了盗窃的存折以及印章非法支取存款。另外，在营业所的窗口， 虽然也进行输入密码的措施等，但是在便笺等中记载的密码与存折以 及印章一起也被盗窃的情况下，不能够应对。
近年来，由于对于一般的盗窃、恐怖行为等的安全意识正在提高， 对于利用了指紋、虹膜等生物学特征的本人确认的生物测定认证的反 感正在减弱，因此还提出在营业所的窗口进行生物测定。根据生物测定对照，通过进行顾客的本人确认，能够防止使用盗窃的存折、印章 等的非法支取存款。然而，任何一种生物测定认证的认证精度也不是
100 [ % ]，在由生物测定认证进行的本人确认的结果中产生了疑问的
情况下，最后还不得不委托由窗口的营业员等人员进行的本人确认。 本发明鉴于上述以往的系统的问题点，目的在于提供通过利用了 作为生物学特征的面貌的本人确认的面部认证，使系统结构简化，成 本降低，认证的处理速度高，顾客的反感小，非法制止效果高，对于 非法行为的证据价值高，能够使用认证用的数据进行由人实施的本人 确认的基于面部认证的本人确认系统。
为此，在本发明的一种基于面部认证的本人确i人系统，其特征在
于，包括窗口终端，设置在金融机构的窗口处并具备用以取得顾客 的面部图像的摄像机；与该窗口终端相连接的面部认证服务器，具备 用以保存上述顾客登录的面部数据的面部数据库，其中上述窗口终端 利用基于上述摄像机取得的顾客面部图像的面部数据和上述顾客登录 的面部数据来进行面部认证，并显示上述顾客登录的面部数据，以能 够进4于目测确认。
另外，在本发明的一种其它基于面部认证的本人确认系统，其特 征在于，包括自动交易装置，具备用以取得金融机构的顾客的面部 图像的摄像机；与该自动交易装置相连接的面部认证服务器，具备用 以保存上述顾客登录的面部数据的面部数据库；和与上述自动交易装 置以及面部认证服务器相连接的管理终端，其中，上迷自动交易装置 利用基于上述摄像机取得的顾客面部图像的面部数据和上述顾客登录 的面部数据来进行面部认证，在不能确认为本人的情况下，在上述管 理终端上显示基于上述摄像机取得的顾客面部图像的面部数据和上述 顾客登录的面部数据，以能够进行目测确认。
在本发明的另一个基于面部认证的本人确认系统中，上述顾客还 是在上述金融机构中开设的账户的名义人以及该名义人登录的代理 人。
在本发明的另一个基于面部认证的本人确认系统中，还自动地更新上述顾客登录的面部数据。
在本发明的另一个基于面部认证的本人确认系统中，还具有上述 金融机构的负责人操作的负责人终端，在不能确认为本人的情况下， 在上述负责人终端上显示基于上述摄像机取得的顾客面部图像的面部 数据，以能够进行目测确认。
在本发明的另一个基于面部认证的本人确认系统中，上述面部数 据库还保存安全等级，根据该安全等级进行面部确认。
在本发明的另一个基于面部认证的本人确认系统中，上述窗口终 端还与鉴定系统的应用联动进行面部确认。
在本发明的另一个基于面部认证的本人确认系统中，上述窗口终
端还与受理终端联动进行面部确i人。
在本发明的另一个基于面部认证的本人确认系统中，上迷顾客登 录了的面部数据还保存在上述顾客持有的IC卡中。
本发明的一种自动交易装置，其特征在于该自动交易装置由金 融机构的顾客操作，具备用以取得上述顾客的面部图像的摄像机，与 具备用以存储上述顾客登录的面部数据的面部数据库的面部认证服务 器以及管理终端相连接，利用基于上述摄像机所取得的顾客面部图像
的面部数据和上述顾客登录的面部数据来进行基于面部认证的本人确 认，在不能确认为本人的情况下，在上述管理终端上显示基于上述摄 像机所取得的顾客面部图像的面部数据和上述顾客登录的面部数据， 以能够进4亍目测确认。
本发明的一种面部认证服务器，其特征在于该面部认证服务器 具有用以存储金融机构的顾客登录的面部数据的面部数据库，与具备 用以取得上述顾客的面部图像的摄像机并利用基于该摄像机所取得的 顾客面部图像的面部数据和上述顾客登录的面部数据来进行基于面部 认证的本人确认的窗口终端、或者具备用以取得上述顾客的面部图像 的摄像机并利用基于该摄像机所取得的顾客面部图像的面部数据和上
置相连接:取得:上述窗口终:或者:动交易装置的本人确认有关的
5日志数据，存储在上述面部数据库中以进行检索。
如果依据本发明，则进行利用了作为生物学特征的面貌的本人确 认的面部认证。因此，使系统结构简单，成本降低，认证的处理速度 高，顾客的反感小，非法制止效果高，对于非法行为的证据价值高， 能够使用认证用的数据进行由人实施的本人确认。


图l是表示本发明第1实施方式的基于面部认证的本人确认系统 的结构的概念图。
图2表示本发明第1实施方式的基于面部认证的本人确i人系统的
软件结构。
图3是表示本发明第1实施方式的基于面部认证的本人确认系统 的动作的第1图。
图4是表示本发明第1实施方式的基于面部认证的本人确认系统 的动作的第2图。
图5是表示本发明第1实施方式的基于面部认证的本人确认系统 的动作的笫3图。
图6表示在本发明第1实施方式的自动交易装置的顾客操作单元 上显示的画面。
图7是表示本发明笫1实施方式的基于面部认证的本人确认系统 的动作的第4图。
图8是表示本发明第1实施方式的基于面部认证的本人确认系统 的动作的第5图。
图9是表示本发明第2实施方式的基于面部认证的本人确认系统 的动作的第l图。
图IO是表示本发明第2实施方式的基于面部认证的本人确认系 统的动作的第2图。
图11表示本发明第3实施方式的基于面部认证的本人确认系统 的动作。
6图12是表示本发明第4实施方式的基于面部认证的本人确认系 统的结构的概念图。
图13表示本发明第4实施方式的基于面部认证的本人确认系统 的动作。
图14是表示本发明第5实施方式的基于面部认证的本人确认系 统的结构的概念图。
图15是表示本发明第5实施方式的基于面部认证的本人确认系 统的动作的第1图。
图16是表示本发明第5实施方式的基于面部认证的本人确认系 统的动作的第2图。
图17是表示本发明第6实施方式的基于面部认证的本人确认系 统的动作的第1图。
图18是表示本发明第6实施方式的基于面部认证的本人确认系 统的动作的第2图。
图19是表示本发明第6实施方式的基于面部认证的本人确认系 统的动作的第3图。
图20是表示本发明第7实施方式的基于面部认证的本人确认系 统的结构的第l概念图。
图21是表示本发明第7实施方式的基于面部认证的本人确认系 统的结构的第2概念图。
图22是表示本发明第8实施方式的基于面部认证的本人确认系 统的结构的概念图。
图23表示本发明第8实施方式的基于面部认证的本人确认系统 的动作。
具体实施例方式
以下，参照附图详细地i兌明本发明的实施方式。 图l是表示本发明第1实施方式的基于面部认证的本人确认系统 的结构的概念图，图2表示本发明第1实施方式的基于面部认证的本人确认系统的软件结构。
图1中，IO是作为银行、信用金库、邮局等金融机构的总店、分 店等营业所，设置作为窗口终端的营业所终端11以及ATM (Automatic Teller Machine: 自动拒员才几)，CD ( Cash Dispenser: 自动取款机)等自动交易装置12。上述营业所终端11是营业所10的 高速计数器等设置在窗口的一种计算机，具有由键盘、鼠标、触摸 屏等输入装置构成的输入单元，由CRT、液晶显示器、LED(发光二 极管)显示器等显示装置构成的显示单元，CPU、 MPU等运算装置； 磁盘、半导体存储器等存储装置和通信接口等。另外，连接后述的用 于取得顾客31的面部图像的摄像机13。而且，上述营业所中的出纳 员(Teller)等窗口的营业员操作上述营业所终端11,进行现金的存 入、取出、转账等金融处理，新账户的开设、定期存款的设定、存折 的发行、现金的支取等各种业务。另外，图l中，仅示出了 l个上述 营业所终端ll，而也可以是多个。
在本实施方式中，上述窗口的营业员操作营业所终端11，进行面 部认证的顾客31的本人确认。为此，上述营业所终端11如图2所示， 除去鉴定系统应用、鉴定系统中间软件等用于执行鉴定系统业务的软 件以外，还搭载面部登录引擎、面部认证引擎、面部登录应用、面部 认证应用等用于进行顾客的面部登录以及面部认证的软件。另外，上 述营业所终端11还搭载Windows (R) 2000操作系统、用于连接到 网络上的网络驱动器和用于连接上述4聂像机13的USB (通用串行总 线)连接驱动器等软件。
这种情况下，上述面部认证例如是美国Ident公司的面部认证算 法，是称为局部面部分析的认证技术。这种情况下，把由摄像机13 取得的面部图像进行处理，抽出多个称为节点的特征点。另外，在该 特征点中，例如包括眼睛这样的点。而且，把上述特征点的相对位置
关系，即空间矢量作为数值进行编码。这种情况下，作为本人符合率 计算认证的结果。
另外，上述自动交易装置12是具备CPU、 MPU等运算单元，半导体存储器、磁盘等存储单元和通信接口等，而且，具备现金出纳 机构和用于进行转账等金融交易的处理单元的一种计算机。而且，上
述自动交易装置12具有顾客操作单元，该顾客操作单元具备键盘、 触摸屏等输入装置，CRT、液晶显示器、LED显示器等显示装置，用 于输入顾客31的声音的麦克风等声音输入装置和用于声音指南的扬 声器等声音输出装置等。另外，连接用于取得顾客31的面部图像的摄 像机13。另外，图1中，虽然仅示出了 1个上迷自动交易装置12，但 也可以是多个。另外，上述自动交易装置12搭栽面部认证引擎、面部 i人证应用等用于进行顾客31的面部认证的软件。
而且，14是在营业所10内构筑的以太网、LAN(局域网)等营 业所内网络，连接上述营业所终端11以及自动交易装置12。进而， 上述营业所内网络14经过路由器等，连接网络25。该网络25既可以 是有线或者无线公用通信线路网、专用通信线路网、互联网、以太网，、 LAN、 WAN (宽带局域网)、VPN (虛拟专用网)、卫星通信线路网 等任一种通信线路网，也可以是把它们适宜组合起来的网络。
另夕卜，20是金融机构中的进行本人确认的中心，设置面部认证服 务器21、管理终端22以及打印机23。上迷面部认证服务器21具备 CPU、 MPU等运算单元，半导体存储器、磁盘等存储单元，通信接口 等，根据程序进行动作，进行顾客31的本人确认业务。另外，上述面 部认证服务器21既可以由大型的通用计算机那样的单个计算机构成， 也可以是分散型服务器那样有机地结合在多个计算机中，还可以是在 大型计算机内构筑的多个系统中的1个。另外，在上述面部认证服务 器21中，连接保存在登录了的面部数据的面部认证中所需要的各种数 据的面部数据库21a。该面部数据库21a也可以安装在面部认证服务 器21的内部。另外，在上述面部数据中包括面部图像、特征点等面部 认证用数据，与店号以及账号相对应保存。另外，在上述面部认证服 务器21中还保存日志数据。在该日志数据中，包括交易时刻、店号、 终端号、交易内容、账号、认证结杲、面部数据等。
而且，上述面部认证服务器21如图2所示，除去Oracle (R)等关系'数据库，应用管理软件等软件以外，还搭载面部登录应用、面
部认证应用、管理系统应用等用于进行顾客31的面部登录以及面部认 证的软件。另外，上述面部认证服务器21还搭栽Windows (R) 2000Server等操作系统、用于连接网络的网络驱动器等软件。
另外，上述管理终端22是中心20的营业员操作的一种计算机， 具有由键盘、鼠标、触摸屏等输入装置构成的输入单元，由CRT、 液晶显示器、LED显示器等显示装置构成的显示单元，CPU、 MPU 等运算装置，磁盘、半导体存储器等存储装置，通信接口等。而且， 上述中心20的营业员操作管理终端22,进行操作上述自动交易装置 12的顾客31的本人确认。为此，上迷管理终端22如图2所示，搭载 面部登录应用、面部认证应用、管理系统应用等用于进行顾客31的面 部登录以及面部认证的软件。另外，上述管理终端22还搭载Windows (R) 2000等操作系统、用于连接网络的网络驱动器等软件。
另外，上述打印机23只要是能够在印刷纸等媒体上进行印刷的 设备，则就可以采用任意种类的印刷方式，例如，可以是喷墨方式、 电子照片方式、热复制方式、针点方式等。上述打印机23在面部数据 库21a中保存的日志数据的输出时使用。
另外，24是在中心20内构筑的以太网、LAN等中心内网络，连 接上述面部认证服务器21、管理终端22以及打印机23。进而，上述 中心内网络24经过路由器等，连接网络25。由此，上述面部i人证服 务器21以及管理终端22能够与营业所10内设置的营业所终端11以 及自动交易装置12进行通信。
在本实施方式中，当顾客31在金融机构中开设新账户时，用连 接在营业所终端11的摄像机13拍摄顾客的面部取得面部图像，登录 面部数据，保存在面部数据库21a中。而且，由营业所10内设置的未 图示的卡发行机，发行印刷了登录了的面部图像的卡，交给上述顾客 31。另外，由于人的面貌逐渐发生变化，因此为了防止随时间变化面 部认证的本人的符合率降低，登录了的面部数据最好每隔预定的更新 期间进行更新。另外，该更新期间例如既可以是每次进行交易时，也
10可以是每一年等，能够设定任意地设定。另外，在每次更新登录了的 面部数据时最好也再次发行印刷了面部图像的卡。
而且，当上述顾客31在营业所10的窗口进行现金的支取、账户 的解除、住址变更等申报等的交易时，如果窗口的营业员操作营业所 终端ll，输入账号等，则根椐店号以及账号进行保存在面部数据库21a 中的面部数据的检索，把检索出的面部数据发送到营业所终端11。由 此，该营业所终端11根据基于摄像机13取得的顾客31的面部图像的 顾客数据和上述检索出的面部数据进行面部认证。而且，根据需要， 在营业所终端11的显示单元上显示包含上述检索出的面部数据面部 图像，通过上述窗口的营业员目测，能够进行上述顾客31的本人确认。
另外，当上述顾客31操作自动交易装置12，进行现金的支取、 转账等交易时，摄像机13取得的顾客的面部图像与店号以及账号一起 发送到面部认证服务器21。而且，根据店号以及账号，进行保存在面 部数据库21a中的面部数据的检索，检索出的面部数据发送到自动交 易装置12。由此，该自动交易装置12根据基于摄像机13取得的顾客 31的面部图像的面部数据和上述检索出的面部数据，进行面部认证。 而且，根据需要，在管理终端22的显示单元上显示上述检索出的面部 数据所包含的面部图像，通过中心20的营业员目测，能够进行上述顾 客31的本人确认。
其次，说明上述结构的基于面部认证的本人确认系统的动作。首 先，说明顾客在金融机构开设新账户时或者更新面部数据时的动作。
图3是本发明第1实施方式中的基于面部认证的本人确认系统的 动作的第1图。
图3中，31是顾客，32是记入必要事项提出到营业所10的窗口 的凭单。首先，上述顾客31把记入了必要事项的凭单32提出到窗口， 申请开设新账户。而且，如果上述窗口的营业员操作营业所终端11， 则面部登录应用起动，进行营业所终端11的显示单元上显示的画面的 切换，执行面部登录处理。
在该面部登录处理中，用连接在营业所终端11的摄像机13拍摄上述顾客31的面部，取得面部图像。另外，上述窗口的营业员在营业 所终端11的显示单元上显示的面部登录'更新画面中的店号以及账号 的栏中输入店号以及账号。另外，还能够输入顾客号码。于是，基于 所取得的面部图像的面部数据即面部取得数据与店号以及账号或者顾 客号码相对应，由面部认证服务器21进行登录，保存在面部数据库 21a中。另外，日志数据也保存在面部数据库21a中。而且，上述面 部认证服务器21具有检索上述日志数据的功能，根据需要检索上述日 志数据。另外，对于1个账户登录1名顾客31。另外在1名顾客31 的面部数据中包括多个面部图像。
接着，判断是新的账户开设还是面部数据的更新，在是面部数据 的更新时结束处理。另外，在是新的账户开设时，鉴定系统应用起动， 进行营业所终端11的显示单元上显示的画面的切换，在进行了通常的 鉴定交易以后，结束处理。
其次，说明图3所示的步骤。
步骤Sl面部登录应用起动，进行营业所终端11的显示单元上 显示的画面的切换。
步骤S2执行面部登录处理。
步骤S3判断是新的账户开设还是面部数据更新。在是新的账户 开设时进入到步骤S4，在是面部数据更新时结束处理。
步骤S4鉴定系统应用起动，进行营业所终端11的显示单元上 显示的画面的切换。
步骤S5进行通常的鉴定交易，结束处理。
其次，说明顾客31在营业所10的窗口，进行现金的支取、账户 的解除、住址变更等的申报等交易时的动作。
图4是表示本发明第1实施方式的基于面部认证的本人确认系统 的动作的第2图，图5是表示本发明第1实施方式的基于面部认证的 本人确认系统的动作的笫3图。
图4中，33是顾客31的卡，34是顾客31的存折。首先，上述 顾客31把记入了必要事项的凭单32、卡33以及存折34提出到窗口 ，委托进行交易。而且，如果上述窗口的营业员操作营业所终端11,则 面部认证应用起动，进行营业所终端11的显示单元上显示的画面的切 换，进行本人确认。
在本人确认中，上述窗口的营业员在营业所终端11的显示单元 上显示的面部检索i人证画面中的店号以及账号的栏中，输入店号以及
账号。另外，还能够输入顾客号码。于是，由面部认证服务器21根据 上述店号以及账号或者顾客号码，进行保存在面部数据库21a中的面 部数据的检索，把检索出的面部数据发送到营业所终端11。而且，该 营业所终端11根据基于摄像机13取得的顾客31的面部图像的面部数 据即面部取得数据和上述检索出的数据即面部登录数据，(1)进行面
部认证。这时，在大约10 [秒]期间进行连续识别，谋求提高识别率。 而且，在本人符合率超过了阈值的时刻作为识别OK。另外，上述面 部登录数据中包含的l个面部图像显示在营业所终端11的显示单元上 所显示的面部检索认证画面中，通过上述窗口的营业员目测，进行上 述顾客31的本人确认。即，(2)进行出纳员的目测确认。在本实施 方式中，把(1)面部确认和(2)出纳员的目测确认合用作为本人确 认。另外，日志数据保存在面部数据库21a中。在上述日志数据中包 括识别OK或者识别NG,在识别NG的情况下，还包括面部数据。
接着，判断通过面部认证以及目测确认是否确认是本人，即，认 证/目测是否OK。而且，在不是OK时，通过上述窗口的营业员对 于顾客31的询问，进行代理人确认等。而且，判断确认是否OK,在 不是OK时中止交易。另一方面，在确认是OK时以及是认证/目测 OK时，起动鉴定系统应用，进行营业所终端11的显示单元上显示的 画面的切换，进行通常的鉴定交易。在该鉴定交易中，与以往相同， 在进行了印章对照、密码对照等密证的密证对照等对照确认以后进行 交易。
接着，判断是否是账户的解除，在不是解除时结束交易。另外， 在是解除时进行面部数据清除。在该面部数据清除中，上述窗口的营 业员在营业所终端11的显示单元上显示的面部清除画面中的店号以及账号栏中输入店号以及账号。于是，由面部认证服务器21根据上述 店号以及账号，进行保存在面部数据库21a中的面部数据的清除。另 外，日志数据保存在面部数据库21a中。在上述日志数据中，包括清 除账户的数据，根据需要，由面部认证服务器21进行检索。而且，在 进行了上述面部数据清除以后，结束交易。 其次，说明图4以及5所示的步骤。
步骤Sll面部认证应用起动，进行营业所终端11的显示单元上 显示的画面的切换。
步骤S12进行本人确认。
步骤S13判断是否是认证/目测OK。在是认证/目测OK时进 入到步骤S14，在不是认证/目测OK时进入到步骤S15。
步骤S14鉴定系统应用起动，进行营业所终端11的显示单元上 显示的画面的切换。
步骤S15根据对于顾客31的询问，进行代理人确认。
步骤S16判断确认是否OK。在确认是OK时返回到步骤Sl4， 在确i人不是OK时中止交易。
步骤S17进行通常的鉴定交易。
步骤S18判断是否是账户的解除。在是账户的解除时进入到步 骤S19，在不是账户的解除时结束交易。
步骤S19进行面部数据清除，结束处理。
其次，说明顾客31操作自动交易装置12,进行现金的支取、转
账等交易时的动作。
图6表示本发明第l实施方式的自动交易装置的顾客操作单元上 显示的画面，图7是表示本发明第1实施方式的基于面部认证的本人 确认系统的动作的第4图，图8是表示本发明第1实施方式的基于面 部认证的本人确认系统的动作的第5图。
首先，顾客31使用卡33以及存折34,操作自动交易装置12, 选择现金的支取、转账等交易。于是，判断所选择的交易是否是需要 面部认证的交易，即，是否是面部认证需要交易。而且，在不是面部认证需要交易，即，不需要面部认证的交易时，进行通常的鉴定交易。 这里，所谓不需要面部认证的交易是存款等交易，是认为不需要进行 本人确认的交易。另外，在所选择的交易是面部认证需要交易时，面
部认证应用起动，进行自动交易装置12的顾客操作单元上显示的画面 的切换，进行面部认证。这时，在上述自动交易装置12的顾客操作单 元中，如图6所示，在显示了 r请允许拍摄顾客的面部」这样的消息 以后，摄像机13取得顾客31的面部图像。
在上述面部认证中，从上述卡33以及存折34的磁条读出的信号 以及账号发送到面部认证服务器21。于是，由该面部认证服务器21 根据上述店号以及账号或者顾客号码，进行保存在面部数据库21a中 的面部数据的检索，把检索出的面部数据发送到自动交易装置12。而 且，该自动交易装置12根据基于摄像机13取得的顾客31的面部图像
据，进行(l)面部认证。这时，在大约10 [秒]期间进行连续识别， 谋求提高识别率。另外，日志数据保存在面部数据库21a中，在上述 日志数椐中包括识别OK或者识别NG，在识别NG的情况下还包括 面部数据，根据需要由面部认证服务器21检索。
接着，判断通过面部确认是否确认了是本人即是否是确认OK。 而且，在不是OK时，在中心20中进行面部的目测确认。这时，包含 在上述面部登录数据中的面部图像以及包含在面部登录数据中的面部 图Y象发送到管理终端22,在该管理终端22的显示单元的面部认证画 面中显示。由上述中心20的营业员通过目测，进4亍上述顾客31的本 人确认。即进行(2)目测确认。
接着，判断通过目测确认是否确认了是本人即是否是确认OK。 而且，在不是OK时，在自动交易装置12的顾客操作单元上显示的画 面中显示r不能够进行处理。请到窗口。
J这样的消息，结束交易。 另一方面在确认是OK时以及认证是OK时，鉴定系统应用起动，进 行自动交易装置12的顾客操作单元上显示的画面的切换，进行通常的 鉴定交易。在该鉴定交易中，与以往相同，在进行了密证对照等对照确认以后进行交易。
接着，判断是否是账户的解除，在不是解除时结束交易。另外，
在是解除时，进行面部数据清除。在该面部数据清除中，从上述卡33 以及存折34的磁条读取的店号以及账号发送到面部认证服务器21。 于是，由该面部认证服务器21根据上述店号以及账号，进行保存在面 部数据库21a中的面部数据的清除。另外，日志数据保存在面部数据 库21a中。在上述日志中包括清除账户的数据。而且，在进行了上述 面部数据清除以后，结束交易。
其次，说明图7以及图8的步骤。
步骤S21选择交易。
步骤S22判断是否是面部认证需要交易。在是面部认证需要交 易时进入到步骤S23，在不是面部认证需要交易时进入到步骤S30。
步骤S23面部认证应用起动，进行自动交易装置12的顾客操作 单元上显示的画面的切换。
步骤S24进行面部认证。
步骤S25判断是否是认证OK。在是认证OK时进入到步骤S29， 在不是认证OK时进入到步骤S26。
步骤S26在中心20中进4亍面部的目测确i人。
步骤S27判断确认是否是OK。在确认是OK时进入到步骤S29, 在确认不是OK时进入到步骤S28。
步骤S28在自动交易装置12的顾客操作单元上显示的画面中显 示r不能够处理。请到窗口。」这样的消息，结束交易。
步骤S29鉴定系统应用起动，进行自动交易装置12的顾客操作 单元上显示画面的切换。
步骤S30进行通常的鉴定交易。
步骤S31判断是否是账户的解除。在是账户的解除时进入到步 骤S32,在不是账户的解除时结束交易。
步骤S32进行面部数据清除，结束处理。
这样，在本实施方式中，登录在开设账户时取得的基于顾客31
16的面部图像的面部数据，保存在面部数据库21a中。而且，当上迷顾 客31在营业所10的窗口进行交易时，根据该交易时基于摄像机13 取得的顾客31的面部图像的面部数据与登录了的面部数据进行面部 "^人证，同时，通过窗口的营业员进行观看比较包含在登录了的面部数 据中的面部图像与顾客31的目测确认，进行顾客31的本人确认。另 外，在该顾客31操作自动交易装置12进行交易时，根据基于摄像机 13取得的顾客31的面部图像的面部数据和登录了的面部数据进行面 部认证，在不能够确认本人时，中心20的营业员通过进行观看比较基 于摄像机31取得的顾客31的面部图像的面部数据和登录了的面部数 据的目测确认，进行顾客31的本人确认。
为此，由于即使面部认证的认证精度低，也能够通过目测确认可 靠地进行本人确认，因此能够使系统结构简化，能够降低成本。另夕卜， 由于认证的处理速度高，不会使顾客31等待很长时间，不会降低顾客 服务。进而，不会像采取指紋等那样使顾客31产生反感。进而，由于 进行非法行为的人对于拍摄面部反感，因此非法制止效果高。进而， 由于进行了非法行为的人的面部图像作为日志数据进行保存，因此对 于非法行为的证据价值高。进而，由于使用作为认证用数椐的面部数 据进行目测的本人确认，因此能够降低数据量。
其次，说明本发明的第2实施方式。另外，对于具有与第l实施 方式相同结构的部分，通过标注相同的号码省略其说明。另外，对于 与上述第1实施方式相同的动作以及相同的效果也省略其说明。
图9是表示本发明第2实施方式的基于面部认证的本人确认系统 的动作的第1图，图IO是表示本发明第2实施方式的基于面部认证的 本人确认系统的动作的第2图。
在本实施方式中，不仅是顾客31的面部数据，还能够登录上述 顾客31的代理人的面部数据。由此，上述顾客31的配偶、家庭成员 等作为上述顾客31的代理人，能够使用上述顾客31账户进行交易。
图9中，31a是顾客31的第1代理人，31b是顾客31的第2代 理人。另外，能够适当设定对于1名顾客31可登录的代理人的人数。这里，上述顾客31在金融机构中开设新账户时或者更新面部数据时， 能够登录第l代理人31a以及第2代理人31b。这时，在面部登录处 理中，用连接在营业所终端11的摄像机13拍摄上述顾客31、第l代 理人31a以及第2代理人31b的面部，取得面部图像。而且，窗口的 营业员在营业所终端11的显示单元上显示的面部登录.更新画面中的 店号、账号以及代理人号码的栏中，输入店号、账号以及代理人号码。 这时，对于顾客31、第1代理人31a以及第2代理人31b的每一个， 显示包括面部图像的面部登录.更新画面。另夕卜，还能够输入顾客号码。
于是，使所取得的基于面部图像的面部数据即面部取得数据与店 号以及账号或者顾客号码以及代理人号码相对应，由面部认证服务器 21登录，保存在面部数据库21a中。另外，日志数据也保存在面部数 据库21a中。由此，对于1个账户，登录作为名义人的顾客31，作为 代理人l的第l代理人31a以及作为代理人2的第2代理人31b。即， 对于1个账户登录多人。
另外，在解除账户时或者解除代理人时，如图1所示，窗口的营 业员在营业所终端11的显示单元上显示的面部清除画面中的店号、账 号以及代理人号码的栏中输入店号、账号以及代理人号码。于是由面 部认证服务器21根据上述店号、账号以及代理人号码，进行保存在面 部数据库21a中的面部数据的清除。这里，在没有输入代理人号码时 即没有代理人的区分时清除与账户相对应的所有的面部数据。另外， 在输入代理人号码时即具有代理人的区分时，仅清除该代理人的面部 数据。另外，日志数据保存在面部数据库21a中。在上述日志数据中 包括清除账户的数据。
另外，在营业所10的窗口中，进行现金的支取、账户的解除、 住址变更等申报等交易时的动作，以及操作自动交易装置12,进行现 金的支取、转账等交易时的动作，由于除去在交易时输入代理人号码 以外，与上述第l实施方式相同，因此省略说明。
这样，在本实施方式中，不仅是顾客31的面部数据，还能够登 录上述顾客31的第1代理人31a以及第2代理人31b的面部数据。为
18此，上述顾客31的配偶、家庭成员等作为上述第l代理人31a以及第 2代理人31b，通过面部认证进行本人确认，能够使用上述顾客31的 账户进行交易。
其次，说明本发明的第3实施方式。另外，对于具有与第l以及 笫2实施方式相同构造的部分，通过标注相同的号码省略其说明。另 外，对于与上述第1以及笫2实施方式相同的动作以及相同的效果也 省略其说明。
图11表示本发明第3实施方式的基于面部认证的本人确认系统 的动作。
在本实施方式中，当顾客31在营业所IO的窗口进行现金的支取、 账户的解除、住址变更等申报等的交易时，自动地更新上述顾客31 的面部数据。这种情况下，如图11所示，在本人确认中，窗口的营业 员在营业所终端11的显示单元上显示的面部检索认证画面中的店号 以及账号的栏中，手工输入店号以及账号。另外，还能够输入顾客号 码。于是，由面部认证服务器21根据上述店号以及账号或者顾客号码， 进行保存在面部数据库21a中的面部数据的检索，把检索出的面部数 据发送到营业所终端11。然后，由该营业所终端11根据基于摄像机 13取得的顾客31的面部图像的面部数据即面部取得数据和上述检索 出的数据即面部登录数据，进行(1)面部认证。这种情况下，在大约 10 [秒]期间进行连续识别，谋求提高识别率。而且，在本人符合率 超过了阈值的时刻作为识别OK。
另外，包含在上述面部登录数据中的1个面部图像显示在营业所 终端11的显示单元上显示的面部检索认证画面中，上述窗口的营业员 通过目测，进行上述顾客31的本人确认。即，进行(2)出纳员进行 的目测确认。在本实施方式中，把(1)面部认证和(2)出纳员进行 的目测确认合用作为本人确认。另外，日志数据存储在面部数据库21a 中。在上述日志数据中包括识别OK或者识别NG，在识别NG的情 况下，还包括面部数据。
进而，根椐上述面部取得数椐，进行面部登录数据的更新即面部更新。由此，更新保存在面部数据库21a中的登录了的面部数据。另 外，在更新该面部数据的定时中考虑若干种模型。例如，可以当(1) 面部认证的结果是识别OK时正常地进行更新，可以当(1 )面部i人证 的结果是识别OK,而且，(2)出纳员进行的目测确认是OK时进行 更新，还可以当(1)面部认证的结果是识别NG，而且，(2)出纳 员进行的目测确认是OK时进行更新。
这样，在本实施方式中，当顾客31在营业所10的窗口中，进行 现金的支取、账户的解除、住址变更等申报等的交易时，自动地更新 顾客31的面部数据。由此，能够防止随着时间变化面部认证的本人符 合率降低。另外，当顾客31操作自动交易装置12,进行现金的支取、 转账等交易时，也可以自动地更新上述顾客31的面部数据。
其次，说明本发明的第4实施方式。另外，对于具有与上述第1~ 第3实施方式相同构造的部分，通过标注相同的号码省略其说明。另 外，对于与上述第1~第3实施方式相同的动作以及相同的效果也省 略其说明。
图12是表示本发明第4实施方式的基于面部认证的本人确认系 统的结构的概念图。
在本实施方式中，在即使由窗口的营业员通过目测进行顾客31 的本人确认，但也不能够确认是本人的情况下，由具有比上述营业员 更大权力的人员，管理上述营业员的业务的管理者等那样的负责人通 过目测进4于上述顾客31的本人确i人。
这种情况下，如图12所示，在营业所10中设置与营业所内网络 14连接的负责人终端15。该负责人终端15是设置在负责人的桌子等 上的一种计算机，具有由键盘、鼠标、触摸屏等输入装置构成的输 入单元，由CRT、液晶显示器、LED显示器等显示装置构成的显示 单元，CPU、 MPU等运算装置，磁盘、半导体存储器等存储装置，通 信接口。另外，没有连接用于取得顾客31的面部图像的摄像机13。 而且，上述营业所10中的负责人在进行顾客31的本人确认时，操作 上述负责人终端15,使得正在登录的面部图像显示在显示单元上，在进行了目测的本人确认以后，输入对于窗口的营业员的指示。
另外，在图12所示的例子中，连接了面部数据库21a的面部认 证服务器21设置在营业所10内，连接营业所内网络14,而可以与上 述第1~第3实施方式相同，设置在中心20中。另外，图12中，16 是营业所10的低速计数器，设置在咨询窗口等窗口中，是作为连接在 营业所内网络14上的窗口终端的低速计数器终端。该低速计数器终端 16是一种计算机，具有由键盘、鼠标、触摸屏等输入装置构成的输 入单元，由CRT、液晶显示器、LED显示器等显示装置构成的显示 单元，CPU、 MPU等运算装置，磁盘、半导体存储器等存储装置，通 信接口等，但是不具备用于执行筌定系统的业务的功能。另外，连接
用于取得顾客31的面部图像的摄像机13。另外，上述低速计数器终 端16也能够省略。另外，在上述第1~第3实施方式中，根据需要， 还能够把上述低速计数器终端16设置在营业所10内。
其次，说明本实施方式的基于面部认证的本人确i人系统的动作。 图13表示本发明第4实施方式的基于面部认证的本人确认系统 的动作。
首先，顾客31把记入了必要事项的凭单32、卡33以及存折34 提供到窗口，委托进行交易。而且，如果上述窗口的营业员操作营业 所终端11，则面部i人证应用起动，进行营业所终端11的显示单元上 显示的画面的切换，进4亍本人确认。
在该本人确认中，上述窗口的营业员在营业所终端11的显示单 元上显示的面部检索认证画面中的店号以及账号的栏中，输入店号以 及账号。另外，还能够输入顾客号码。于是，由面部认证服务器21 根据上述店号以及账号或者顾客号码，进行保存在面部数据库21a中 的面部数据的检索，把检索出的面部数据发送到营业所终端11。而且， 该营业所终端11根椐基于摄像机13取得的顾客31的面部图像的面部 数据即面部取得数据和上述检索出的面部数据即面部登录数据，进行 (1)面部认证。这种情况下，在大约10 [秒]期间进行连续识别， 谋求提高识别率。而且，在本人符合率超过了阈值的时刻作为识别OK。另外，包含在上述面部登录数据中的l个面部图像显示在营业所 终端11的显示单元上显示的面部检索认证画面中，上述窗口的营业员 通过目测进行上述顾客31的本人确认。即，进行(2)出納员进行的 目测确认。而且，把(1)面部认证和(2)出纳员的目测确认合用作 为本人确认。另外，日志数据保存在面部数据库21a中。在上述日志 数椐中，包括识别OK或者识别NG，在识别NG的情况下，还包括 面部数据。
接着，判断通过面部认证以及目测确认是否确认了是本人，即是 否是认证/目测OK。而且，在不是OK时，通过与负责人联动，进 行(3)负责人进行的目测确认。这种情况下，包含在上述面部登录数 据中的面部图像联动，发送到负责人终端15，在该负责人终端15的 显示单元的面部认证画面上显示。而且，负责人通过目测，进行上述 顾客31的本人确认。
接着，负责人在负责人终端15的显示单元的面部认证画面中的 指示栏中输入指示。该指示是承认交易或者中止交易的某一种。于是， 在营业所终端11的显示单元上显示的负责人应答画面中显示指示。而 且，在负责人的指示是交易中止的情况下，终止交易。另外，在负责 人的指示是承认的情况下，进行交易。另外，判断是否是认证/目测 OK,在是OK时，鉴定系统应用起动，进行营业所终端11的显示单 元上显示的画面的切换，进行通常的鉴定交易。
另外，关于其它的动作，由于与上迷笫1~笫3实施方式相同， 因此省略说明。
其次，说明图13所示的步骤。
步骤S41面部认证应用起动，进行营业所终端11的显示单元上 显示的画面的切换。
步骤S42进行本人确认。
步骤S43判断是否是确认认证/目测OK。在是认证/目测OK 时，进入到步骤S44，在不是认证/目测OK时，进入到步骤S45。 步骤S44鉴定系统应用起动，进行营业所终端11的显示单元上显示的画面的切换。
步骤S"面部图像显示在负责人终端15的显示单元的面部认证 画面上。
步骤S46在负责人终端15的显示单元的面部认证画面上的指示 栏中输入指示。
步骤S47判断是承认交易还是中止交易。在是承认交易时进入 到步骤S48，在是终止交易时中止交易。 步骤S48进行通常的鉴定交易。
这样，在本实施方式中，即使在窗口的营业员通过目测进行顾客 31的本人确认但是不能够确认是本人时，负责人通过目测进行上述顾 客的确认。因此，能够进一步提高本人确认的认证精度。另外，能够 减轻窗口的营业员的业务负担。
其次，说明本发明的第5实施方式。另夕卜，对于具有与上述第1~ 第4实施方式相同构造的部分，通过标注相同的号码省略其说明。另 外，对于与上述第1~第4实施方式相同的动作以及相同的效果也省 略其说明。
图14是表示本发明第5实施方式的基于面部认证的本人确认系 统的结构的概念图。
在本实施方式中，在每个账户设定安全等级，根据该安全等级， 而且考虑账户的种类、支取金额、账户余额、 一天的交易次数等因素， 通过变更用于本人确认的流程，保持安全的同时提高金融机构的事物 处理的效率。
这种情况下，如图14所示，在面部数据库21a保存的数椐中， 用数值在每个账户设定安全等级。另外，表示各安全等级与支取金额、 是否需要面部认证、是否需要密证认证、是否需要印章对照等事项的 对应的表保持在上述面部数据库21a中。
接着，说明本实施方式的基于面部认证的本人确认系统的动作。 首先，说明顾客31在营业所IO的窗口中进行现金的支取、账户的解 除、住址变更等申报等的交易时的动作。图"是表示本发明第5实施方式的基于面部认证的本人确认系 统的动作的第1图。
首先，上述顾客31把记入了必要事项的凭单32、卡33以及存折 34提供到窗口，委托进行交易。而且，如果上述窗口的营业员操作营 业所终端11，则在该营业所终端11的显示单元上显示安全确认画面， 进行安全等级确认。
在该安全等级确认中，上述窗口的营业员在营业所终端11的显 示单元上显示的安全确认画面中的店号、账号以及支取金额的栏中， 输入店号、账号以及支取金额。于是，由面部认证服务器21根据上述 店号、账号以及支取金额，进行保存在面部数据库21a中的数据的检 索，把该检索结果发送到营业所终端11，同时，保存在该营业所终端 ll等的存储装置中被设定的结果保存的存储区中。另外，在上述安全 确认画面中，作为检索结果显示是否需要面部认证、是否需要密证输 入以及是否需要印章对照。
接着，根据上述检索结果，判断是否需要面部认证，在需要面部 认证时，面部认证应用起动，进行营业所终端11的显示单元上显示的 画面的切换，进行本人确认。而且，如在上述第1实施方式中说明过 的那样，进行把(1)面部认证和(2)出纳员进行的目测认证合用的 本人确认。
接着，判断通过面部认证以及目测确认是否确认了是本人，即， 是否是认证/目测OK。而且，在不是OK时，上述窗口的营业员通 过对于顾客的询问，进行代理人确认等。而且，判断确i人是否OK， 在不是OK时中止交易。另一方面，在确认是OK时，在是认证/目 测OK时以及不需要面部认证时，根据上述检索结果判断为要不要进 行印章对照。而且，在是需要印章对照时，进行营业所终端ll的显示 单元上显示画面的切换，进行印章对照。
接着，判断是否是印章对照OK。而且，在不是OK时中止交易， 在是OK时，根据上述检索结果判断是否需要密证输入。而且，在需 要密证输入时，进行营业所终端11的显示单元上显示的画面的切换，进行密证输入。另外，密证等的密证输入由上述顾客31进行。而且， 如果进行密证输入则实施交易。另外，不需要密证输入时，不进行密 证输入，实施交易。
接着，判断所输入的密证是否错误，无错时，在进行了交易以后 结束处理。另外，在错误时，判断错误的次数是否成为预定次数，即， 是否是密证N次错误，在是密证N次错误时，中止交易。另夕卜，在不 是密证N次错误时，进行了修正以后再次实施交易。
其次，说明图15所示的步骤。
步骤S51进行安全等级确认。
步骤S52判断是否需要面部认证。在需要面部认证时进入到步 骤S53，在不需要面部认证时进入到步骤S57。
步骤S53进行把面部认证和出纳员进行的目测确认合用的本人确认。
步骤S54判断是否是认证/目测OK。在是认证/目测OK时进 入到步骤S57，在不是认证/目测OK时进入到步骤S55。
步骤SS5通过对于顾客31的询问，进行代理人确认等。
步骤SS6判断确认是否OK。在确认是OK时进入到步骤S57, 在确认不是OK时中止交易。
步骤S57判断是否需要印章对照。在需要印章对照时进入到步 骤S58。
步骤S58进行印章对照。
步骤S59判断是否是印章对照OK。在是印章对照OK时进入到 步骤S60，在不是印章对照OK时中止交易。
步骤S60判断是否需要密证输入。在需要密证输入时进入到步 骤S61，在不需要密证输入时进入到步骤S62。
步骤S61由顾客31进行密证出入。
步骤S62实施交易。
步骤S63判断输入的密证是否错误。在输入的密证错误时进入 到步骤S64，在输入的密证无错时，在进行了交易以后结束处理。步骤S64判断是否是密证N次错误。在不是密证N次错误时进 入到步骤S65，在是密证N次错误时中止交易。 步骤S65进行修正。
其次，说明顾客31操作自动交易装置12，进行现金的支取、转 账等交易时的动作。
图16是表示本发明第5实施方式的基于面部认证的本人确认系 统的动作的第2图。
首先，顾客31操作自动交易装置12选择现金的支取、转账等交 易。于是，判断所选择的交易是否是支取交易。而且，在不是支取交 易时进行通常的交易，结束处理。另外，在选择的交易是支取交易时， 上述顾客31从自动交易装置12的未图示的卡槽或者存折槽插入卡33 或者存折34,接着，操作顾客操作单元输入支取金额。于是，进行安 全等级确认。
在该安全等级确认中，从上述卡33或者存折34的磁条读取的店 号、账号以及支取金额发送到面部认证服务器21。于是，由该面部认 证服务器21根据上述店号、账号以及支取金额，进行保存在面部数据 库21a中的数据的检索，把检索结果发送到自动交易装置12，同时， 保存在自动交易装置12等的存储装置中设定的结果保存的存储区中。
接着，根据上述检索结果判断是否是需要面部认证的交易，即， 是否是面部认证需要交易，在是面部认证需要交易时，面部认证应用 起动，进行自动交易装置12的顾客操作单元上显示画面的切换，进行 面部认证。而且，如在上述第1实施方式中说明过的那样，进行(l) 面部认证。
接着，判断通过面部认证是否确认是本人，即，是否是认证OK。 而且，在不是OK时，在中心20中进行面部的目测确^人。这时，如在 上述第1实施方式中说明过的那样，进行(2)目测确认。
接着，判断通过目测确认是否确认是本人，即，是否是确认OK。 而且，在不是OK时，在自动交易装置12的顾客操作单元上显示的画 面中显示「不能够处理。请到窗口。
J这样的消息，结束处理。另一
26方面，在确认是OK时以及在认证是OK时，鉴定系统应用起动，进 行自动交易装置12的顾客操作单元上显示的画面的切换，进行密证输 入。另外，判断是否是面部认证需要交易，在不是面部认证需要交易 时，直接进行密证输入。接着，进行通常的交易，在进行了该交易以 后结束处理。
其次，说明图16所示的步骤。
步骤S71选择交易。
步骤S72判断是否是支取交易。在是支取交易时进入到步骤 S74，在不是支取交易时进入到步骤S73。
步骤S73进行通常的交易，结束处理。 步骤S74插入卡33或者存折34。 步骤S75输入支取金额。 步骤S76进行安全等级确认。
步骤S77判断是否是面部认证需要交易。在是面部认证需要交 易时进入到步骤S78,在不是面部认证需要交易时进入到步骤S85。
步骤S78面部认证应用起动，进行自动交易装置12的顾客操作 单元上显示的画面的切换。
步骤S79进行面部认证。
步骤S80判断是否是认证OK。在是认证OK时进入到步骤S84, 在不是认证OK时进入到步骤S81。
步骤S81在中心20中进行面部的目测确认。
步骤S82判断是否是确认OK。在是OK时进入到步骤S84，在 不是OK时进入到步骤S83。
步骤S83在自动交易装置12的顾客操作单元上显示的画面中显 示r不能够处理。请到窗口。
J这样的消息，结束处理。
步骤S84鉴定系统应用起动，进行自动交易装置12的顾客操作 单元上显示的画面的切换。
步骤S85进行密证输入。
步骤S86进行通常的交易，在进行了该交易以后结束处理。这样，在本实施方式中，在每个账户设定安全等级，根据该安全 等级而且考虑账户的种类、支取金额、账户余额、 一天的交易次数等 因素，更新用于本人确认的流程。因此，在保持安全的同时能够提高 金融机构的事务处理效率。
其次，说明本发明的第6实施方式。另外，对于具有与第1 第 5实施方式相同构造的部分，通过标注相同的号码省略其说明。另夕卜， 对于与上述第1~第5实施方式相同的动作以及相同的效果也省略其 说明。
图17是表示本发明第6实施方式的基于面部认证的本人确认系 统的动作的第1图。
在本实施方式中，由于营业所终端ll搭栽的面部登录应用、面 部认证应用等与鉴定系统应用联动，因此能够使数据连续，减少数据 输入的麻烦。首先，说明顾客在金融机构开设新账户或者更新面部数 据时的动作。
这种情况下，如果顾客31到达窗口，则判断是否是新账户开设。 而且，在是新账户开设时，根据上述顾客31提出的凭单32中记录的 内容，为了进行通常的鉴定交易，进行CIF (顾客信息文件)登录， 进行账户的开设。由此，上述顾客31取得账号。而且，如果上述窗口 的营业员操作营业所终端11，则面部登录应用起动，进行营业所终端 11的显示单元上显示的画面的切换，执行面部登录处理。这时，店号、 账号等数据等在从筌定系统应用到面部登录应用是连续的。另外，在 不是新账户开设时，为了面部数据更新执行面部登录处理。这种情况 下，从卡33以及存折34的磁条等读取的店号、账号等数据等连续。
在上述面部登录处理中，用连接在营业所终端11的摄像机13拍 摄上述顾客31的面部取得面部闺像。另外，上述窗口的营业员在营业 所终端11的显示单元上显示面部登录.更新画面中的店号以及账号的 栏中，自动地输入连续的数据。另外，还可以输入顾客号码。而且， 基于所取得的面部图像的面部数据即面部取得数椐与店号以及账号或 者顾客号码相对应，由面部认证服务器21登录，保存在面部数据库21a中。另外，日志数据也保存在面部数据库21a中。另外对于l个 账户登录1名顾客31。另外，在1名顾客31的面部数据中包括多个 面部图像。
接着，鉴定系统应用起动，进行营业所终端11的显示单元上显 示的画面的切换。这时，自动地连接上述面部登录处理的结果。而且， 在进行了通常的鉴定交易以后，结束处理。
其次，说明图17所示的步骤。
步骤S91判断是否是新账户开设。在是新账户开设时进入到步 骤S92，在不是新账户开设时进入到步骤S93。
步骤S92为了进行通常的鉴定交易，进行CIF登录，进行账户 的开设。由此，顾客31取得账号。
步骤S93执行面部登录处理。
步骤S94鉴定系统应用起动，进行营业所终端11的显示单元上 显示的画面的切换，在进行了通常的鉴定交易以后，结束处理。
其次，说明顾客31在营业所10的窗口，进行现金的支取、账户 的解除、住址变更等申报等的交易时的动作。
图18是示出本发明笫6实施方式的基于面部认证的本人确认系 统的动作的第2图，图19是示出本发明第6实施方式的基于面部认证 的本人确认系统的动作的第3图。
首先，上述顾客31把记入了必要事项的凭单32、卡33以及存折 34提出到窗口，委托进行交易。这时，在营业所终端11的显示单元 上显示鉴定系统的画面，上述窗口的营业员在上述鉴定系统的画面中， 进行交易的决定、读卡33以及存折34的磁条等的数据和图像数据即 读取。接着，参照未图示的交易数据库，判断交易是否是需要面部认 证的交易，即，是否是面部认证需要交易。而且，在是面部认证需要 交易时，面部认证应用起动，进行自动交易装置12的顾客操作单元上 显示的画面的切换，进行本人确认。这时，店号、账号等数据等从鉴 定系统应用到面部认证应用连续。
在上述本人确认中，上述窗口的营业员在营业所终端11的显示单元上显示的面部检索认证画面中的店号以及账号的栏中，自动地输 入连续的数据。另外，也可以输入顾客号码。于是，由面部认证服务
器21根据上述店号以及账号或者顾客号码，进行保存在面部数据库 21a中的面部数据的检索，检索出的面部数据发送到营业所终端11。 然后，该营业所终端11根据基于摄像机13取得的顾客31的面部图像
行(1)面部认证。这种情况下，在大约10 [秒]期间进行连续识别， 谋求提高识别率。而且，在本人符合率超过了阅值的时刻作为识别 OK。另外，包含在上述面部登录数据中的1个面部图像显示在营业所 终端11的显示单元上显示的面部检索认证画面中，上述窗口的营业员 通过目测，进行上述顾客31的本人确认。即，进行(2)出纳员进行 的目测确认。在本实施方式中，把(1)面部认证和(2)出纳员进行 的目测确认合用作为本人确认。另外，日志数据存储在面部数据库21a 中。在上述日志数据中包括识别OK或者识别NG，在识别NG的情 况下，还包括面部数据。
接着，判断通过面部认证以及目测确认是否确认了是本人，即， 是否是认证/目测OK。而且，在不是OK时，上述窗口的营业员通 过对于顾客的询问，进行代理人确认等。而且，判断确认是否OK, 在不是OK时中止交易。另一方面，在确认是OK时，以及在是认证 /目测OK时，鉴定系统应用起动，进行营业所终端11的显示单元上 显示的画面的切换，进行通常的鉴定交易。另外，判断是否是面部认 证需要交易，在不是面部认证需要交易时，直接进行通常的鉴定交易。 在该鉴定交易中，与以往相同，在进行了印章对照、对照密码等的密 证的密证对照的对照确认以后进4亍交易。
接着，判断是否是账户的解除，在不是解除时结束交易。另外， 在是解除时，进行自动交易装置12的顾客操作单元上显示的画面的切 换，进行面部数据清除。这种情况下，店号、账号数据等从鉴定系统 应用到面部登录应用连续。在该面部数据清除中，上述窗口的营业员 在营业所终端11的显示单元上显示的面部清除画面中的店号以及账号的栏中，自动地输入连续的数据。而且，由面部认证服务器21根椐 上述店号以及账号，进行保存在面部数椐库21a中面部数据的清除。 另外，日志数据保存在面部数据库21a中。在上述日志数据中包括清 除账户的数据。而且，在进行了上述面部数据清除以后，结束交易。 其次，说明图18以及19所示的步骤。
步骤S101在鉴定系统的画面中，进行交易的决定、卡33以及 存折34的磁条的数据和图像数据的读取。
步骤S102判断是否是面部认证需要交易。在是面部认证需要交 易时进入到步骤S103，在不是面部认证需要交易时进入到步骤S107。
步骤S103进行本人确认。
步骤S104判断是否是认证/目测OK。在是认证/目测OK时 进入到步骤S107，在不是认证/目测OK时进入到步骤S105。
步骤S105通过对于顾客31的询问，进行代理人确认等。
步骤S106判断确认是否OK。在确认是OK时进入到步骤S107， 在确认不是OK时中止交易。
步骤S107进行通常的鉴定交易。
步骤S108判断是否是账户的解除。在是账户的解除时进入到步 骤S109，在不是账户的解除时结束交易。
步骤S109进行面部数据清除，结束交易。
这样，在本实施方式中，营业所终端11搭栽的面部登录应用、
系^应用i动:因此:能够使用户i间"数据连;:节省数据:二的麻烦。
其次，说明本发明的第7实施方式。另外，对于具有与第1 第 6实施方式相同构造的部分，通过标注相同的号码省略其说明。另外， 对于与上述第1~第6实施方式相同的动作以及相同的效果也省略其 说明。
图20是表示本发明第7实施方式的基于面部认证的本人确认系 统的结构的第l概念图，图21是表示本发明第7实施方式的基于面部
31认证的本人确认系统的结构的第2概念图。
在本实施方式中，由于与受理终端联动，因此能够提高对于顾客 31的服务的同时还能够提高安全性。
这种情况下，在营业所IO中设置图20所示那样的受理终端17。 而且，上述受理终端17是设置在营业所10的入口附近的一种计算机， 具备CPU、 MPU等运算装置，磁盘、半导体存储器等存储装置，键 盘、触摸屏等输入装置，CRT、液晶显示器等显示装置，扬声器等声 音输出装置，通信接口，发行号码条的发号机等。而且，访问营业所 10的窗口的顾客31如果自己操作受理终端17，输入自己要办的事情、 住址、姓名等，则从显示装置、声音输出装置、发号机输出相应的窗 口号码、上述顾客31的受理号、预计等待时间等信息。另外，在本实 施方式中，上述受理终端17具备摄像机13，连接到面部认证服务器 21。另外，上述摄像机13最好安装在受理终端17的内部。
另外，图20中，26是预约受理服务器，具备CPU、 MPU等 运算单元，半导体存储器、磁盘等存储单元，通信接口等，根据程序 进行动作，执行受理顾客31的预约进行登录的业务。另外，在上述预 约受理服务器26中，连接保存与登录了的预约有关的各种数据的预约 数据库26a。进而，上述预约受理服务器26连接到面部认证服务器21。
首先，顾客31通过自己家庭中的PC或者便携终端的Web访问， 进行营业所10的窗口中的交易预约。于是，上述顾客31的预约由预 约受理服务器26受理登录，与预约有关的数据保存在预约数据库26a 中。另外，上述预约受理服务器26把受理了预约的顾客31的数据事 前分配给上述面部认证服务器21。
而且，在预约的日期，如果上述顾客31到营业所IO并且接近受 理终端17,则该受理终端17的摄#>机13拍摄上述顾客31(图20(1))， 把该顾客31的面部数据发送到上述面部认证服务器21(图20(2))。 于是，该面部认证服务器21把从受理终端17接收的顾客面部数据与 受理了预约的顾客31的面部数据进行对照(图20 (3)),特定受理 了预约的上述顾客31 (图20 (4))。而且，把特定了的上述顾客31的信息发送到受理终端17 (图20 (5))。于是，该受理终端17声音 输出r。o先生，欢迎今天来到营业所。请到oo号窗口。」这样的消息， 把上述顾客31引导到预定的窗口 (图20 (6))。
这样，预先进行了营业所10的窗口中的交易预约的顾客31由于 不进行任何操作而被引导到窗口，因此能够提高对于顾客31的服务。
另外，对于没有进行营业所10的窗口中的交易预约的顾客31， 通过由上述受理终端17进行面部认证，能够提高安全性。这种情况下， 如图21所示，受理终端17连接营业所终端11。这里，上述顾客31 假设持有作为卡的IC卡33a。该lC卡33a在表面印刷面部照片，在 存储单元中保存面部数据。而且，如果上述顾客31操作受理终端17 进行受理，则该受理终端17的摄像机13拍摄上述顾客31。另外，如 果上述顾客31把IC卡33a插入到未图示的卡槽中(图21 (1)), 则取得保存在该IC卡33a的存储单元中的面部数据。而且，上述受 理终端17把基于摄像机13取得的顾客31的面部图像的面部数据与保 存在IC卡33a的存储单元中的面部数据相对照，进行面部认证。另 夕卜，还进行印刷在IC卡33a的表面的面部照片的图像读入(图21(2))。 而且，认证结果以及面部照片的图像数据从上述受理终端17发送到营 业所终端11 (图21 (3))。
由此，窗口的营业员由于能够事先确认认证结杲，与上述顾客31 相对应，因此能够更适宜地进行对应(图21 (4))。另外，在认证 结果是认证NG时，上述窗口的营业员进行目测确认。
这样，在本实施方式中，由于与受理终端17联动进行面部认证， 因此能够提高对于顾客31的服务，同时，能够提高安全性。
其次，说明本发明的第8实施方式。另外，对于具有与笫1~第 7实施方式相同构造的部分，通过标注相同的号码省略其说明。另夕卜， 对于与上述第1~第7实施方式相同的动作以及相同的效果也省略其 说明。
图22是表示本发明第8实施方式的基于面部认证的本人确认系 统的结构的概念图。在本实施方式中，作为超高速緩存卡，通过发行在存储单元中保
存顾客31的面部数据的IC卡33a，能够省略连接了面部数据库21a 的面部认证服务器21。
这种情况下，如图22所示，在营业所10中设置连接了营业所内 网络14的作为窗口终端的账户开设终端18。该账户开设终端18是一 种计算机，具有由键盘、鼠标、触摸屏等输入装置构成的输入单元， 由CRT、液晶显示器、LED显示器等显示装置构成的显示单元，CPU、 MPU等运算装置，磁盘、半导体存储器等存储装置，通信接口。另外， 还连接用于取得顾客31的面部图像的摄像机13。进而，在上述账户 开设终端18中，连接用于发行IC卡33a的IC卡发行机19。该IC 卡发行机19具备IC卡读写器19a、能够印刷照片的IC卡用打印机 19b、 IC卡用压紋机19c以及IC卡用磁条读写器19d。另外，设营业 所终端11以及自动交易装置12能够处理上述IC卡33a。
其次，说明本实施方式的基于面部i人证的本人确i人系统的动作。 这里，说明顾客31在金融机构开设新账户时或者更新面部数据时的动 作。
图23表示本发明第8实施方式的基于面部认证的本人确i人系统 的动作。
首先，顾客31把记入了必要事项的凭单32提出到窗口，申请开 设新账户。而且，如果上述窗口的营业员操作账户开设终端18，则面 部登录应用起动，进行在账户开设终端18的显示单元上显示的画面的 切换，执行IC卡发行更新处理。
在该IC卡发行更新处理中，用连接在账户开设终端18上的摄像 机13拍摄上述顾客31的面部，取得面部图像。另外，上述窗口的营 业员在账户开设终端18的显示单元上显示的超高速緩存卡/面部登 录画面中的店号以及账号的栏中，输入店号以及账号。于是，登录基 于所取得的面部图像的图像数据即面部取得数据，以及包括店号以及 账号的超高速緩存卡数据。这种情况下，上述面部取得数据以及超高 速援存卡数据由IC卡读写器19a，保存在作为IC卡33a的存储单元的IC中。在该IC中，保存超高速缓存卡功能、面部认证数据以及面 部照片数据。另外，上述面部取得数据变换为JPEG(联合照相专家 组)格式，由IC卡用打印4几19印刷在IC卡33a的表面。另外，为 了进行面部照片向IC卡的印刷，如果使用电子墨水,则由于在进行 面部照片的更新时不需要发行新的卡，仅再次印刷面部照片就能够再 次利用卡，因此很有效。
接着，判断是新账户开设还是面部数据更新，在是面部数据的更 新时结束处理。另外，在是新账户开设时，鉴定系统应用起动，进行 账户开设终端18的显示单元上显示的画面的切换，在进行了通常的鉴 定交易以后，结束处理。
其次，说明图23所示的步骤。
步骤Slll面部登录应用起动，进行账户开设终端18的显示单 元上显示的画面的切换。
步骤S112执行IC卡发行更新处理。
步骤S113判断是新账户开设还是面部数据更新。在是新账户开 设时进入到步骤S114，在是面部数据更新时结束处理。
步骤S114鉴定系统应用起动，进行账户开设终端18的显示单 元上显示的画面的切换。
步骤S115在进行了通常的鉴定交易以后，结束处理。
这样，在本实施方式中，作为超高速緩存卡，发行在存储单元中 保存顾客31的面部数据IC卡33a。为此，能够省略连接了面部数据 库21a的面部认证服务器21，能够筒化系统结构。
另外，本发明不限于上述的实施方式，根据本发明的宗旨能够不 进行各种变形，并且并没有从本发明的范围排除这些变形。
权利要求
1. 一种基于面部认证的本人确认系统，其特征在于，包括窗口终端，设置在金融机构的窗口处并具备用以取得顾客的面部图像的摄像机；与该窗口终端相连接的面部认证服务器，具备用以保存上述顾客登录的面部数据的面部数据库，其中上述窗口终端利用基于上述摄像机取得的顾客面部图像的面部数据和上述顾客登录的面部数据来进行面部认证，并显示上述顾客登录的面部数据，以能够进行目测确认，上述窗口终端与鉴定系统的应用联动进行面部确认，其中，与鉴定系统的应用联动，是通过在窗口交易时鉴定系统的应用受理顾客信息，然后鉴定系统的应用将该顾客信息交付给面部认证单元来进行的。
2. —种基于面部认证的本人确认系统，其特征在于，包括 窗口终端，设置在金融机构的窗口处并具备用以取得顾客的面部图像的摄像机；与该窗口终端相连接的面部认证服务器，具备用以保存上述顾客 登录的面部数据的面部数据库，其中上述窗口终端利用基于上述摄像机取得的顾客面部图像的 面部数据和上述顾客登录的面部数据来进行面部认证，并显示上述顾 客登录的面部数据，以能够进行目测确认，上述窗口终端与受理终端联动进行面部确认，其中，对于与受理终端的联动，在受理终端取得来访的顾客的面部数据，受理终端将取得的面部数据发送给面部认证服务器，并于在 面部认证服务器中登录的面部数据进行对照，特定顾客。
全文摘要
一种基于面部认证的本人确认系统，通过进行利用了作为生物学特征的面貌的本人确认的面部认证，使系统结构简单，成本降低，认证的处理速度高，顾客的反感小，非法制止效果高，对于非法行为的证据价值高，能够使用认证用的数据进行由人实施的本人确认，具有设置在金融机构的窗口，具备取得顾客的面部图像的摄像机(13)的窗口终端，连接该窗口终端具备保存上述顾客登录了的面部数据的面部数据库(21a)的面部认证服务器(21)，上述窗口终端根据基于上述摄像机(13)取得的顾客面部图像的面部数据和上述顾客登录了的面部数据进行面部认证的同时，显示上述顾客登录了的面部数据，使得能够进行目测确认。
文档编号G06F21/31GK101447110SQ20081016647
公开日2009年6月3日 申请日期2005年3月24日 优先权日2004年4月9日
发明者吉实茂树, 山崎伸一, 津田茂信 申请人:冲电气工业株式会社