信息处理装置、非法者检测方法和自动提款机装置的制作方法

专利名称：信息处理装置、非法者检测方法和自动提款机装置的制作方法
技术领域：
本发明涉及根据使用者的处理要求进行信息处理的终端装置。尤其，本发明涉及自动提款机装置(ATM)。特别是涉及使用面部图像的ATM的监视方法。此外，涉及使用面部图像识别控制ATM的处理内容的方法。另外，还涉及能够使用面部图像识别来防止非法交易的技术。
背景技术：
近年来，在ATM中，利用盗用卡和伪造卡进行现金的非法取出以及假钞的使用增多了。这样的社会环境下，以每个人固有的特征(生物信息)为基础识别每个人的生物识别备受关注。作为识别对象，有手、手指的静脉图案、指纹、虹膜、面部等。
生物识别中有认证和识别的2个使用方式。所谓认证是判定“是否为本人”。即，确认输入的生物信息和与使用者ID对应的系统内的登录信息之间的一一对应关系。与此相对，识别是判定“这人是谁”。即，通过比较输入的生物信息和系统内多人的登录信息来确认一对N的对应关系。
作为以罪犯搜查和抑制为目的、在ATM中装载生物识别的公知例子，有专利文献1。在专利文献1中，验证卡上记录的生物信息和ATM操作时输入的生物信息，在二者不一致时将生物信息保存为目标证据。在专利文献1中，举出将指纹作为生物信息的实施例。
作为生物识别的另外例子，有通过从照相机等输入的面部图像识别(面部图像识别)。面部图像识别与指纹识别等相比识别精度低，因此不适合于在ATM等个人识别中单独使用。面部图像识别多用于认证而并非识别，出入管理、对计算机的登录功能等是其主要应用例子。面部图像识别中也可望有抑制犯罪的效果。关于这一观点的公知例子有专利文献2。在专利文献2中，在利用盗用卡的情况下取得面部图像，发送到远处的监视传感器。
专利文献1日本专利公开2003-196710号公报专利文献2日本专利公开2002-207999号公报专利文献3日本专利公开平8-272973号公报发明内容本发明要解决的问题是通过在使用ATM时使用生物信息检测嫌疑人来提高ATM使用的安全性。具体说，本发明的课题是，本来的卡使用者不需要事先登录生物信息，而通过使用来自照相机的图像信息进行面部检测或识别，就可检测盗用卡或伪造卡的使用以及窥探密码等非法行为，或者将其防患于未然。
更具体说，第1课题是检测出ATM的非法交易惯犯。专利文献1的方式是卡中记录的生物信息与使用者的生物信息的一一验证。因此，出现的问题是如果使用者不预先登录生物信息，则不能判定是否为本来的使用者。此外，卡中需要保存生物信息，因此存在盗得了卡，也盗得了生物信息的问题。
另一方面，进行非法现金取出和假钞使用的罪犯在短时间内集中为同一人的情况很多。这种情况下，从过去的犯罪记录和监视照相机的图像等可特定出犯人的面部，但肯定有不能分辨使用何种卡的状况出现。因此，仅登录犯人数多的犯人的生物信息，需要与使用者的生物信息进行一对N的识别。专利文献1的方式是认证，因此不能用于该用途。
专利文献2的方式中，仅在使用盗用卡时取得面部图像，将图像送到监视中心。但是该方式下，如果作为盗用卡预先未被登录，则不能检测出罪犯，从而不能检测出上述仅判明了面部的罪犯。
本发明中要解决的第2课题是检测用多个卡进行交易的人。这是因为很多情况下罪犯使用多个卡进行交易。
针对该课题，专利文献1的方式中，存在不预先登录生物信息就不能进行检测的问题。专利文献2的方式中，也是不作为盗用卡登录就不能检测。
本发明要解决的第3课题是检测进行密码窥探等在他人使用ATM中进行不合法的行为的人。
专利文献1和专利文献2中都以检测出非法使用者为目的，但未关注于使用者周围的嫌疑人，也不能检测。
为解决这样的课题而发明的第1信息处理装置，在根据来自使用者的处理要求输入而执行处理的信息处理方法中，其特征在于执行如下处理从装设在装置上的照相机获取使用者的面部图像的处理；从图像中检测出使用者的面部区域的处理；判定图像中有无面部区域的处理；在存在面部区域的情况下，与预先登录的面部信息进行面部识别的处理；根据面部识别结果判定使用者是否为预先登录的嫌疑人的处理；以及之后，如果为嫌疑人则执行与嫌疑人对应的处理。
此外，为解决这样的课题，发明的第2信息处理装置，在根据来自使用者的处理要求输入而执行处理的信息处理方法中，其特征在于执行如下处理从存储使用者ID信息的存储媒体得到该存储媒体的合法使用者ID信息、从装设在装置上的照相机获取使用者的面部图像的处理；从图像中检测出使用者的面部区域的处理；判定图像中有无面部区域的处理；在存在面部区域的情况下，将面部信息和上述合法使用者的ID信息成对登录的处理。
此外，为解决这样的课题，发明的第3信息处理装置，在根据来自使用者的处理要求输入而执行处理的信息处理方法中，其特征在于执行如下处理从装设在装置上的照相机获取使用者的面部图像的处理；从图像中检测出使用者的面部区域的处理；判定图像中有无面部区域的处理；在存在面部区域的情况下，与预先登录的面部信息进行面部识别的处理；根据面部识别结果判定是否同一人使用多个卡的处理；在同一人使用多个卡的情况下将其视为嫌疑人并进行与嫌疑人对应的处理。
此外，为解决这样的课题，发明的第4信息处理装置，在根据来自使用者的处理要求输入而执行处理的信息处理方法中，其特征在于执行如下处理从装设在装置上的照相机获取使用者的面部图像的处理；从图像中检测出交易中使用者的面部区域的处理；判定图像中有无面部区域的处理；在存在该使用者的面部区域的情况下，判定该使用者后面有无该使用者以外的面部存在的处理；在有该使用者以外的面部存在的情况下，将其判定为窥探该使用者操作的嫌疑人并进行与嫌疑人对应的处理。
此外，为解决这样的课题，发明的第5信息处理装置，在根据来自使用者的处理要求输入而执行处理的信息处理方法中，其特征在于执行如下处理从装设装置上的照相机获取使用者的面部图像的处理；从图像中检测出使用者的面部区域的处理；判定图像中有无面部区域的处理；在存在面部区域的情况下、在判定为当前使用中的交易的卡号被登录为被窥探了的卡的情况下，对照与被窥探了的卡的卡号成对地被登录的面部信息和使用者的面部信息的处理；在使用者被判断为是过去曾窥探过该卡号卡交易的人之际，将其作为嫌疑人进行对应的处理。
此外，为解决这样的课题，发明的第6信息处理装置，在根据来自使用者的处理要求输入而执行处理的信息处理方法中，其特征在于执行如下处理从装设在装置上的照相机获取使用者的面部图像的处理；从图像中检测出使用者的面部区域的处理；判定图像中有无面部区域的处理；在存在面部区域的情况下，与预先登录的面部信息进行面部识别的处理；根据识别结果判定使用者是否为预先被登录的嫌疑人的处理；如果为嫌疑人则执行对应嫌疑人的处理；在面部区域存在的情况下，将面部信息和卡号成对登录的处理；在面部区域存在的情况下，与预先被登录的面部信息进行面部识别的处理；根据面部识别结果判定是否同一人使用多个卡的处理；在同一人使用多个卡的情况下，将其视为嫌疑人并进行对应嫌疑人的处理；在面部区域存在的情况下，判定使用者后面是否有使用者以外的面部存在的处理；在有使用者以外的面部存在的情况下，将其视为窥探使用者操作的嫌疑人，执行对应嫌疑人的处理，在面部区域存在的情况下，当前使用中的交易的卡号被登录为被窥探的卡号的情况下，对照与被窥探的卡号成对地登录的面部信息和使用者的面部信息的处理；在判断为使用者是过去曾窥探过该卡号的卡交易的人的情况下，将其作为嫌疑人进行对应的处理。
发明效果本发明的效果是利用TAM时防止嫌疑人造成的安全性降低。更具体地说，本发明的第1效果是能够在使用TAM时检测出预先登录面部图像的罪犯。第2效果是能够检测出使用多个卡的人。这多是由于罪犯使用多个卡引起的。第3效果是能够检测出窥探他人密码等的罪犯。第4效果是能够检测出窥探他人密码等的人使用窥探到的卡密码进行的不合法交易。


图1是表示第1实施例的嫌疑人检测流程的图；图2是本发明的ATM的结构图；图3是本发明的系统结构图；图4是表示第1实施例的嫌疑人检测和登录流程图；
图5是表示第1实施例的嫌疑人检测和纸币鉴别阈值操作流程图；图6是表示第1实施例的嫌疑人检测和交易停止流程图；图7是表示第1实施例的面部信息登录流程图；图8是表示第1实施例的嫌疑人检测流程图；图9是表示第3实施例的密码窥探者检测流程图；图10是表示第4实施例的密码窥探者检测流程图；图11是表示第5实施例的嫌疑人检测流程图；图12是面部识别处理流程图；图13是表示面部检测结果的例子的图。
符号说明200 控制部210 显示部220 操作部230 摄影部240 卡读取部250 钱出入部260 存储部270 通信部290 ATM装置300 主计算机310 交易DB320 生物信息DB330 属性信息DB340 网络
具体实施例方式
下面为本发明的整体记述，提供几个特定的具体例子。但是，本发明没有这些特定的细节也能实用化，这一点对于本领域技术人员而言是不言自明的。本说明书的记述和附图是本领域人员向其他领域人员公开发明内容所使用的通常方式。此外，本说明书中，记述为“一实施例”的情况下，并非仅仅相当于同一实施例，各个实施例不相互限定。还有，表示本发明实施例的处理作业顺序不由例示限定。
首先，说明具体实施例之前，在图2中表示出本发明的ATM装置，在图3中表示出系统结构。
图2是本发明的ATM290的结构图。控制部200控制显示部210、操作部220、摄影部230、卡读取部240、钱出入部250、存储部260和通信部270。控制部200不仅进行ATM整体290的控制，还进行面部识别、卡识别和纸币鉴别等的处理。显示部210显示服务内容引导和处理顺序等，作为例子可举出CRT和液晶显示器。操作部220输入菜单选择和密码输入等来自使用者的信息，作为例子可举出键盘和触摸屏。摄影部230作为例子可举出以面部图像摄影为主要目的的照相机。卡读取部240是用于读出磁卡和IC卡上存储的信息的。钱出入部250进行用来存入的纸币的投入、用来取出的纸币的排出等的用于交易的纸币的进出。存储部260存储用于在ATM的处理的信息，作为例子可举出硬盘和存储器。为了实施本申请的发明，使摄影部230、控制部200、通信部270等动作的程序被存储在存储部260中。通信部270通过线路进行ATM290与外部的计算机和数据库之间的通信。此外，由于与本发明无关而未作说明，但ATM290中除200到270以外还存在账单打印机等其他装置和处理。
卡是指用于存储特定账户所需要的信息等的磁卡、IC卡等的存储媒体。卡的合法使用者的ID信息是指该卡的账户的建立者或建立者认定的其他使用者等的在识别中使用的密码、面部图像·指纹等生物信息等。此外，本发明的说明中所谓的交易中的使用者，是指除了从将卡插入ATM至接受卡返还的状态下的使用者之外，还包含在非常靠近ATM的位置处、可判断为从该位置可使用的或可判断为刚使用完的人。此外，交易中的使用者面部图像和数据中存储的面部信息除从照相机输入的面部照片以外，还可以是从面部照片提取出特征部分或进行模型化的信息。
图3是本发明的基本系统结构图。ATM290经由网络340被连接在主计算机300、其他ATM、用于进行取钱存钱等交易的交易DB(数据库)310、存储面部图像和将面部图像模型化的信息的生物信息DB320、以及存储与个人的生物信息对应的卡号和嫌疑人的等级划分等的属性信息的属性信息DB330。此外，图3中，生物信息DB320和属性信息DB330也可不经网络分别安装在ATM290内。交易DB310中存储的信息中包含卡的合法使用者的ID信息。生物信息DB和属性信息DB也可以是称为嫌疑人DB的总括的数据库。
实施例1作为本发明的第1实施例，使用图1和图3到图6来说明已经登录的嫌疑人的检测的例子。图像输入处理100从被搭载在ATM上的照相机230输入图像。面部检测处理110中，从图像中检测出面部区域。面部检测处理110的细节在后面说明。面部检测判定处理120中，未检测出面部区域时，反复面部检测处理。检测出面部的情况下，在面部识别处理130中，识别出检测出的面部能否与作为嫌疑人登录的生物信息DB320中的面部相一致。关于面部识别处理130的细节使用图12说明在后面说明。面部识别判定处理140中，使用者被判定为已经登录的嫌疑人时，进行嫌疑人应对处理150。关于嫌疑人应对处理150的细节在后面说明。使用者被判定为并非嫌疑人时，进行存入和取出等的通常交易160。通过嫌疑人应对处理150的内容，也可在嫌疑人应对处理之后进行通常交易160。
该处理流程中，尤其是从100、110、120的图像输入到面部检测的一连串的处理设为170。此外，从130、140、150的面部识别到嫌疑人应对的一连串的处理设为180。
此外，通常交易的开始是由卡插入或触摸屏的操作来进行的。用于嫌疑人检测处理的图像输入100在通常交易开始之前、通常交易160开始之后均可。关于这一点，在以后的处理流程中也是同样。
面部检测和面部识别在图1中仅是1次，但通过反复从100到150的处理可进行多次。此外，通常交易期间也可进行从100到150的处理。还有，也可以是没有通常交易160的处理流程。即，检测出ATM前面的人的情况下，不管有无通常交易都进行嫌疑人判定。关于这3点，在以后的处理流程中也是同样。面部识别处理130使用的作为嫌疑人登录在生物信息DB中的信息可通过例如从现存有交易记录等手动地选择有不合法交易记录的人，登录该人的面部图像来实现。此外，如后面的实施例所示，也可自动地进行面部图像的登录。
接着来说明嫌疑人应对处理150。作为嫌疑人应对处理150的一个例子，如图4所示，是嫌疑人信息的登录152。这里登录的信息是将被判断为嫌疑人的人的面部图像等登录在生物信息DB320中、将使用的卡号等登录在个人属性DB330中。这些生物信息和属性信息成对登录。这些信息可在罪犯的搜查、之后的嫌疑人检测时使用。
作为嫌疑人应对处理150的另一个例子，如图5所示，在判断为有假钞使用记录的嫌疑人的情况下，变更纸币真伪判定(纸币鉴别)的判定阈值(154)。投入了未知的种类的纸币的情况下，有不能按原来阈值判断假钞的可能性。因此，判断为嫌疑人时，通过将判定阈值设定的比通常更严格，而将假钞的投入防患于未然。这些实施例具有利用面部识别处理变更纸币鉴别处理和ATM控制的特征。
此外，作为嫌疑人应对处理150的又一个例子，有对警卫和银行职员等进行警告的处理等。例如，可在ATM中鸣响警钟或向经网络连接的另一装置输送通知异常的信号和从照相机输入的嫌疑人的面部图像。
此外，作为嫌疑人应对处理150的再一个例子，如图6所示，举出在嫌疑人信息登录152之后停止交易600。此时，与图1的流程不同，交易停止后不进行通常交易。作为交易停止的例子，还包含卡的回收。
此外，作为图1的嫌疑人应对处理150的一个例子，举出了152、154、600和警告等，但这些不仅可单独使用，还可组合2个以上来使用。
在本实施例中，可通过对照交易中的使用者面部图像和预先登录的嫌疑人的面部图像来识别嫌疑人。在预先已知要关注的嫌疑人并且知晓了其面部信息的情况下，具有可将嫌疑人的非法交易防患于未然的效果。
实施例2作为本发明的第2实施例，使用图7和图8来说明将使用多个卡的人检测为嫌疑人的例子。
图7是ATM使用时的面部信息的登录流程。在面部检测处理170中从图像中检测出面部区域。面部被检测出的情况下，进行交易中的使用者信息的登录700。在这里，交易中的使用者的面部照片等登录在生物信息DB320中、使用的卡的卡号等登录在个人属性DB330中。这些生物信息和属性信息成对登录。在图7的情况下，与实施例1不同，登录全部的使用者信息。以后进行通常交易160。
图8是判定交易中的ATM使用者是否为嫌疑人的流程。在面部检测处理170之后，面部识别处理800使用由图7的登录处理700登录在生物信息DB320中的面部信息来进行检测出的面部的识别处理。面部判定处理810中，如果未判定出使用者的面部是作为过去的使用者已经登录的面部，则继续通常的交易(160)。判定为已经登录的面部时，在卡号判定处理820中判定个人属性DB330中登录的过去使用时的卡号等的属性信息和本次交易的卡号等的属性信息是否相同。如果是相同卡号，则继续通常的交易(160)。如果是不同卡号，则判定为同一人使用多个卡，从而为嫌疑人的可能性高，要进行嫌疑人应对处理830。之后，进行通常交易160。
此外，在预先登录卡的合法使用者的面部信息的情况下，在700中，可不登录全部的使用者信息，仅在交易中的使用者的面部图像和登录的合法使用者的面部信息不一致等的用合法使用者ID信息的识别失败的情况下，登录交易中的使用者信息即可。此外，该情况下，在面部判定处理810中，在交易中的使用者的面部图像和登录的合法使用者的面部信息一致的情况下，可省略与作为过去的使用者已经登录的面部信息的识别处理。
该处理流程中，尤其是800、810、820、830的一连串的处理设为840。作为嫌疑人应对处理830的一个例子，有对警卫等进行警告等。作为嫌疑人应对处理830的另一个例子，是将该生物信息和属性信息作为嫌疑人登录。作为其实现例子之一，举出在700中登录的属性信息DB中设置表示是否有嫌疑人的字段的例子。在表示是嫌疑人的字段中，也可以包含随着判断为同一人使用不同卡的次数增加而提高排名的要关注度。该要关注度高时，降低接着进行面部判定处理810时同一人的判定阈值，或者可以为了实施例1等的用途而通过手动用于作为嫌疑人登录。作为嫌疑人应对处理830的再一个例子，有图5的纸币鉴别阈值处理154。作为嫌疑人应对处理830的又一个例子，有图6的交易停止处理600。
此外，一般而言，随着生物信息DB中登录的人数增加，有面部识别的识别率降低的倾向。因此，通过用日期、场所等限定生物信息DB320的识别对象可限定识别对象人数。例如，由于罪犯在一定区域内、在短时间内反复犯罪的情况很多，因此举出可仅将1周以内在特定区域内登录的人作为对象等。
此外，仅检测出连续在同一ATM使用多个卡的情况下，仅将该交易之前的使用者作为对象即可。此时，生物信息DB320和属性信息DB330不需要经由网络，因此也可安装在ATM内的存储部250中。
以上表示了多个嫌疑人应对处理830，但关于该处理，不仅可单独实施各个例子，还可组合多个处理来实施。
根据该实施例，可以以同一人使用多个卡为基础判定嫌疑人，因此不需要预先进行作为嫌疑人的登录，可减少系统管理的工时数。此外，该实施例可以将被判定为嫌疑人的使用者作为要关注人进行登录，因此可以容易构筑嫌疑人数据库。
实施例3作为本发明的第3实施例，使用图9来说明将窥探他人密码的人作为嫌疑人检测出的例子。在面部检测处理170中，从图像中检测出面部区域。接着，进行窥探判定900。是否有进行窥探的人可在交易中途、尤其是输入密码前后，通过检测出除使用者面部以外在图像中是否还有另外的面部来判定。图13是从照相机输入的图像1300检测出面部的例子。位于前面的面部1310(画得大的面部)为交易中的使用者，位于后面的面部1320被视为窥探者。但是，图像中也获取了排在后面队列的人等，因此不仅可单纯地通过面部数目，还可通过面部大小和方向等来判定。虽然在使用者后方，但按某种程度以上的大小反映出面部，或可推定为能从眼部区域的位置等观察到交易中使用者的手的动作的情况下，可将其判定为窥探者。如果没有窥探者，则继续进行通常交易(160)，如果判断为窥探者，则在进行嫌疑人应对处理910后继续进行通常交易(160)。
该处理流程中，尤其是900、910的一连串的处理设为920。作为嫌疑人应对处理910的一个例子，将被判定为窥探的人的面部登录在生物信息DB320中。此时，作为将来有非法使用可能性的卡号，在关于进行窥探时交易中的卡的存储于属性信息DB320中的信息上，追加与生物信息DB中登录的窥探者的面部信息的关联。作为嫌疑人应对处理910的再一个例子，是向使用者警告被窥探行为。可举出在显示部210显示促使注意的消息，或亮灯、鸣响警报器等。作为嫌疑人应对处理910的另一个例子，有向警卫等发出警告等。
此外，在窥探判定900中还可使用被推定为窥探行为之后的使用者的信息。例如，被推定为窥探者的人在被推定为被窥探的使用者之后进行ATM交易，如果该交易是合法交易，则还要考虑是由于以前曾排在使用者后面而偶然进入了图像中的情况。因此，可应对的措施是删除在嫌疑人应对处理910中登录的关于窥探的信息，或者降低表示嫌疑人的要关注度的字段的排名等。
此外，与上述情况相反，在被推定为窥探者的人的面部信息与照相机获取的下一使用者的面部图像不一致的情况下，尽管不使用TAM，但仍在其他TAM使用者附近出现，认为其为窥探者的概率高。此外，在被判断为同一人的面部在多人的使用者交易期间在图像中被检测出的情况下，认为其为窥探者的概率高。在为窥探者的概率很高的情况下，可应对的措施是升高表示嫌疑人的要关注度的字段排名等。
根据该实施例，由于可以以窥探的行为为基准判定嫌疑人，即便未预先作为嫌疑人登录，也可提高ATM的使用安全性。此外，通过该实施例，被判定为嫌疑人的窥探者可与被窥探的卡对应登录，可灵活用于提高被窥探的卡在将来使用中的安全性。还有，还可将要关注度的排名高的嫌疑人的信息用于实施例1等中使用的嫌疑人数据库的构建。
实施例4作为本发明的第4实施例，使用图10来说明检测出利用他人密码进行非法交易的人的例子。
首先，通过图9的处理流程，将窥探密码的人的信息登录在生物信息DB320和属性信息DS330中。
接着，通过图10的处理流程，进行嫌疑人检测。首先，在面部检测处理170中从图像中检测出面部区域。判定交易中的卡号是否为作为被窥探对象而已经登录在属性信息DB330中的卡号(1000)。如果被未登录，则进行通常交易(160)。如果被登录了，则判别是本来的所有者在使用还是窥探者在使用(1010)。窥探面部识别处理1010验证检测出的面部、和与属性信息DB330中登录的被窥探卡号对应的生物信息DB320中登录的面部信息(该卡过去的窥探者)。在窥探者判定处理1020中，并非窥探者的情况下，继续进行通常交易(160)。判定为是窥探者的情况下，进行嫌疑人应对处理1030。之后，也可继续进行通常交易(160)，但是在此时，也可以为了在后面能进行人的特定，而追加要求面部照片、指纹等的生物信息等与不是窥探者的情况不同的处理，或限制可进行的ATM交易。
在该处理流程中，尤其是1000、1010、1020、1030的一连串的处理设为1040。作为嫌疑人应对处理1030的一个例子，有图4的嫌疑人信息的登录152。作为嫌疑人应对处理1030的另一个例子，有对警卫和银行职员等警告的处理等。作为嫌疑人应对处理1030的再一个例子，可举出如图6所示的停止交易600。此时，与图10的流程不同，在交易停止后不进行通常交易。作为交易停止的例子，包含卡的回收。此外，嫌疑人应对处理1030的例子不仅可单独使用还可组合2个以上使用。
此外，考虑有与进行窥探的人协同的另外的人使用窥探到的信息进行非法ATM交易的情况。该情况下，也可从属性信息DB判断至少该卡过去曾成为被窥探对象。关于曾成为窥探对象的卡，在窥探者判定处理1020中，在判断为交易中的使用者并非过去的窥探者的情况下，通过与通常相比更严格的使用者认证处理、纸币硬币鉴别处理、交易内容的限制等可确保安全性。此外，还可以进行登录为其他卡的窥探者的信息、与其他卡的已经登录的嫌疑人信息的验证。
根据该实施例，由于可特定认为过去被窥探的卡，因此对于担心被窥探的卡，可进行保证更高安全性的处理。并且，在进行与过去的窥探者的验证的情况下，与如实施例1所示那样和不特定多数的嫌疑人进行验证的情况相比，可按更高精度进行验证。
实施例5作为本发明的第5实施例，图11示出可同时执行实施例1到4的处理流程。首先，在面部检测处理170中，从图像中检测出面部区域。接着，将面部信息和卡号成对登录在生物信息DB320和属性信息DB330中(700)。接着，进行嫌疑人检测和应对处理180。随后，进行多卡使用者检测和应对处理840。再接着进行窥探者监测和应对处理920。随后，进行窥探者的卡非法使用检测和应对处理1040。最后进行通常交易160。
此外，在上述流程中，700、180、840、920、1040的处理顺序不限定于图11。也可更换顺序。此外，这些处理不需要全部进行，也可仅选择必要的处理。此外，在这些处理中，也可中途中断交易。
下面说明用于实施实施例1到实施例5的各个处理流程的具体细节。但是，下面说明的处理只是一个例子，不限定实施例1到实施例5的各个处理。
首先，作为面部检测处理的实施例，有日本专利公开平8-272973号公报(专利文献3)公开的技术。其是通过从图像中判定肤色区域来检测出面部区域的，从图像的H(色度)、S(饱和度)、V(亮度)的图像信息来检测出面部区域。利用来自通常照相机的输入，可将RGB信号转换为HSV信号。
图12是说明面部识别处理130的实施例的图。窥探面部识别处理1010也是DB不同，原理相同。
面部器官检测处理1200从面部区域的图像检测出眼睛、鼻子、嘴巴等面部器官的位置。检测出的器官不仅是上面所述，还可以是眼角和眼梢儿、眉毛、鼻翼、嘴边、轮廓等，可任意决定。这些面部器官成为求出用于面部识别的面部特征量的基准位置。
作为面部器官检测1200的一个例子，可以利用从灰度图像中求出中心暗、周边亮的区域的处理。其理由是眼睛、鼻孔、嘴巴等的像素的亮度与周边像素相比亮度低。作为该处理的具体例子，可以通过比较从关注像素开始的半径R1以内的区域内的像素平均与分散、以及半径R1到R2的区域内的像素的平均与分散的过滤(filter)运算求出。通过该过滤处理，可将暗的区域作为面部器官候选检测出多个。此时，面部器官候选中包含实际并非面部器官的部分，不能判别各个面部器官候选对应哪个面部器官。因此，利用过滤值等对面部器官候选加上优先级，使用面部期间候选之间的配置信息来特定面部器官。
特征提取处理1210是从求出的面部器官的位置来检测出用于识别面部的特征量的。作为其具体例子，有各器官、其周边像素的亮度和灰度变化的空间频率信息等。可以举出按各个器官算出这些信息并矢量化的情况。该被矢量化的信息被登录在生物信息DB320中。
对照处理1220对照从输入图像算出的特征量和登录在生物信息DB320中的特征量。DB内对照对象的特征量为1个、判定是否与该特征量的人一致的情况即为验证。DB内的对照对象的特征量为多个、从其中判定与哪个人一致或是否与谁都不一致的情况即为识别。作为对照处理的具体例子，可举出最近相邻法。其是评价2个矢量间的距离。2个矢量的距离越小，为同一人的概率越高。在验证的情况下，通过评价距离值是否在阈值以内判定是否为同一人。在识别的情况下，求出与DB内的各特征量的距离，距离最小的特征量的人作为识别结果。但是，如果该距离在阈值以上，则判定为并非DB内登录的任何人。
说明面部识别时的处理700等的生物信息的登录例子。在登录中，从面部检测170检测出的面部区域进行面部器官检测处理1200，进行特征提取处理1210，之后还将特征量存储在生物信息DB320中。
权利要求
1.一种根据来自使用者的处理要求输入而执行处理的信息处理装置，具有照相机和控制部，其特征在于从上述照相机获取交易处理中的使用者的面部图像，在上述控制部执行如下处理从上述获取的图像中检测出使用者的面部区域的处理；根据上述检测出的面部区域、和在该信息处理装置中包含的或在经网络连接的存储装置中预先登录的面部信息，进行面部识别的处理；根据面部识别结果判定使用者是否为预先登录的嫌疑人的处理；如果为嫌疑人则执行嫌疑人应对处理。
2.根据权利要求1所述的信息处理装置，其特征在于作为上述嫌疑人应对处理，将被判定为嫌疑人的人的面部登录在数据库中。
3.根据权利要求1所述的信息处理装置，其特征在于作为上述嫌疑人应对处理，在被判定为嫌疑人的情况下控制对投入的纸币的真伪判定的阈值。
4.根据权利要求1所述的信息处理装置，其特征在于上述嫌疑人应对处理是停止交易。
5.一种根据来自使用者的处理要求输入而执行处理的信息处理装置，具有从由该使用者交付的卡读取包含卡号的信息的卡读取部、照相机和控制部，其特征在于从上述照相机获取交易处理中的使用者的面部图像，在上述控制部中执行如下处理从上述获取的图像中检测出使用者的面部区域的处理；使上述检测出的面部区域的面部信息和上述交易处理中的卡号对应，将其登录在该信息处理装置中包含的或经网络连接的存储装置中的处理；根据上述检测出的面部区域的面部信息和上述存储装置中预先登录的面部信息，进行面部识别的处理；根据该面部识别结果判定是否同一人想要用多个卡进行交易处理的处理；在判断为同一人想要用多个卡进行交易处理的情况下，将该同一人视为嫌疑人，执行嫌疑人应对处理。
6.根据权利要求5所述的信息处理装置，其特征在于作为上述嫌疑人应对处理，在被判定为嫌疑人的情况下控制对投入的纸币的真伪判定的阈值。
7.根据权利要求5所述的信息处理装置，其特征在于将停止交易作为上述嫌疑人应对处理。
8.根据权利要求5所述的信息处理装置，其特征在于在根据上述检测出的面部区域的面部信息和上述存储装置中预先登录的面部信息进行面部识别的处理中，该预先登录的面部信息是对应在紧接着该交易处理而使用不同卡进行的交易处理而被存储的面部信息。
9.一种根据来自使用者的处理要求输入而执行处理的信息处理装置，具有从由该使用者交付的卡读取包含卡号的信息的卡读取部、照相机和控制部，其特征在于上述照相机在进行交易处理时获取图像，上述控制部执行根据上述获取的图像，检测出除进行上述交易处理的使用者以外的进行窥探的嫌疑人的处理，检测出上述嫌疑人的情况下执行嫌疑人应对处理。
10.根据权利要求9所述的信息处理装置，其特征在于上述控制部在检测出上述嫌疑人的处理中，利用上述获取的图像中检测出的面部图像数来检测出嫌疑人。
11.根据权利要求9所述的信息处理装置，其特征在于上述控制部在检测出上述嫌疑人的处理中，根据上述获取的图像中的除进行上述交易处理的使用者以外的面部图像、与进行上述交易处理的使用者的图像的位置关系来判断是否为进行窥探的嫌疑人。
12.根据权利要求9所述的信息处理装置，其特征在于上述控制部在检测出上述嫌疑人的处理中，利用上述获取的图像中的除进行上述交易处理的使用者以外的面部图像、与在该交易处理之后的交易处理时获取的第二图像中的面部图像来判断嫌疑人。
13.根据权利要求9所述的信息处理装置，其特征在于上述控制部在上述嫌疑人应对处理中，将检测出的嫌疑人的面部信息和该交易处理中使用的卡的卡号对应，并将其存储在该信息处理装置中包含或经网络连接的存储装置中。
14.一种根据来自使用者的处理要求输入而执行处理的信息处理装置，具有从由该使用者交付的卡读取包含卡号的信息的卡读取部、照相机和控制部，其特征在于上述照相机在进行交易处理时获取图像，上述控制部执行如下处理从上述获取的图像检测出使用者的面部区域的处理；根据该检测出的面部区域、和在信息处理装置包含的或经网络连接的存储装置中作为过去进行了窥探而存储的嫌疑人的面部信息来进行面部识别的处理；在通过该面部识别将上述面部区域判断为上述嫌疑人的面部的情况下，进行嫌疑人应对处理。
15.根据权利要求14所述的信息处理装置，其特征在于上述控制部使用上述存储装置中存储的信息中、与交易处理中的卡对应的过去窥探者的面部信息，来进行面部识别。
16.根据权利要求14所述的信息处理装置，其特征在于上述控制部停止上述交易处理，作为上述嫌疑人应对处理。
17.根据权利要求14所述的信息处理装置，其特征在于上述控制部回收上述交易处理中的卡，作为上述嫌疑人应对处理。
全文摘要
本发明利用面部图像检测ATM的非法使用者。从来自照相机输入的图像检测出面部区域，对照已经登录的罪犯面部图像DB的特征和使用者的面部图像的特征，如果判断为罪犯，则停止交易，进行警告、面部图像的再登录等。此外，在图像中检测出有多人的情况下，判定为从后面的人的位置等窥探使用者的操作，进行该人的面部图像的登录、警告等。
文档编号G06Q40/00GK1746929SQ20051008602
公开日2006年3月15日 申请日期2005年7月20日 优先权日2004年9月10日
发明者新庄广, 永吉洋登, 酒勾裕 申请人:日立欧姆龙金融系统有限公司