专利名称：个人认证系统中的不正当登录防止装置的制作方法
技术领域：
本发明涉及在使对个人摄像得到的图象和预先登录的图象对照，并根据该对照结果认证个人的个人认证系统中，防止将本人以外的人的图象不正当地混入初始登录的图象中的不正当登录防止装置。
背景技术：
作为个人认证系统，例如在特开平11-167632号公报中被记载那样的面孔对照的认系统通常已为人们所熟知。在该系统中，做到对本人的面孔的图象进行摄像，并预先登录其特征量，在向特定场合的入室时，用设置在入口的摄像机对本人的面孔的图象摄像后抽出特征量，将被摄像的图象和被登录的图象的各自的特征量进行比较，根据特征量的一致度识别本人或外人。另外，为了更正确地进行认证，还进行在面孔图象的初始登录时预先一起登录ID(识别号码)，在认证时要求ID的输入，并检查面孔图象和ID的双方的一致。
发明内容
但是，在现有的个人认证系统中，在面孔图象的初始登录时，对于相同的ID若除本人的面孔数据外还包含外人的面孔图象数据，那么在认证时就会判断对该外人误认为是本人。为此，管理者必须用目视方法检查是否包含本人以外的外人的面孔图象数据，并增加这一部分人事费。另外，还有一种检查登录结束的面孔图象数据的类似度，判断是否包含外人的面孔图象数据的方法，但是，若依据该方法，在类似度高的外人的场合，由于难以区别与面孔的方向和亮度引起的面孔图象数据的偏差，因此往往不能正确地识别外人。
而且。随着近几年的互联网的普及，将面孔对照的认证系统引进到经过网络提供的收费的目录服务等中也是可能的，但在这种场合，人们考虑到，由于契约者被熟人等所利用，在面孔图象的初始登录时外人的面孔图象也一起混入，不正当地进行登录。这样以来，即使没有签约的外人，面孔对照的结果也正常地被认证，因此该外人就能够免费地接受目录服务等，给服务提供者造成损失。作为发现这样的外人的图象的混入登录的方法，也存在调查登录数据的各自的类似度，进行类似度的分组，判断是否存在2个以上的分组的方法，但根据摄像时的面孔的方向和摄像机的自动曝光的变化等，即使是本人，往往由于类似度分散，分组被离散，因此只从被登录的数据判定有无外人的图象的混入有时是困难的。
本发明就是要解决上述问题，作为本课题的范围在于提供不依靠人工能可靠地自动判别外人的图象的混入，使依靠顶替的不正当登录防患于未然的不正当登录防止装置。
为解决上述课题，在本发明中，从对个人的规定部位(例如面孔)连续地摄像所得到的多个图象检测规定部位的位置，并对于被检测的第2个以后的位置算出这次的规定部位的位置和上次规定部位的位置的变化量。然后，要做到将被算出的变化量与预先规定的阈值比较，在变化量未满阈值时将这次的图象判定为能登录的图象，当变化量在阈值以上时将这次的图象判定为不能登录的图象，并对判定为能登录的图象进行登录并存储。
若是这样，在本人的图象被摄像时，由于面孔等的位置几乎没有变化，因此变化量变成未满阈值，已摄像的图象被判定为能登录的图象并被登录。另一方面，在本人替换成外人并且外人的图象被摄像的过程中，由于本人从摄像范围出来，代之外人进入摄像范围，因此面孔等的位置发生很大变化，变化量变为阈值以上，已摄像的图象被判定为包含本人以外的外人的图象的不能登录的图象。这样，通过在初始登录时追踪个人的规定部位的位置的变化，就能够可靠地自动判别本人是否已顶替成外人。
这时，在本发明所希望的实施形态中，当变化量在阈值以上时，将这次的图象判定为不能登录的图象，同时，在通过连续摄像取得的多个图象之间，将被判定为不能登录的这次的图象以后所取得的图象全部判定为不能登录的图象。通过这样做，在给外人顶替的场合，不仅是变化量已变成阈值以上的最初的图象，而且这以后所取得的图象也作为顶替的不正当的图象禁止登录，因此能够可靠地防止外人的图象的混入登录。
另外，本发明也能够采用监视从位置检测到位置检测的时间的方式替代上述的位置的变化量。这时，在本发明中，从对个人的规定部位(例如面孔)连续地摄像得到的多个图象检测规定部位的位置，并对于被检测的第2个以后的位置计测上次的位置被检测后到这次的位置被检测的时间间隔。然后，将被计测的时间间隔与预定的阈值比较，当时间间隔未满阈值时将这次的图象判断为能登录的图象，当时间间隔在阈值以上时将这次的图象判定为不能登录的图象，并对被判定为能登录的图象进行登录后存储。
若这样做，当本人的图象连续地被摄像时，由于位置检测的时间间隔短，因此未满阈值，将已摄像的图象判定为能登录的图象并被登录。另一方面，本人为了与外人替换，用手挡住摄像机，在这期间当本人和外人替换的场合，由于在摄像机被挡住期间面孔等的位置不能检测，因此位置检测的时间间隔变长，并在阈值以上，已摄像的图象是替代本人的外人的图象，被判定为不能登录的图象。这样，通过在初始登录时监视特定部位的位置检测的时间间隔，能够可靠地自动判别本人是否已顶替成外人。
这时，在本发明所希望的实施形态中，当时间间隔在阈值以上时，将这次的图象判定为不能登录的图象，同时，在通过连续摄像取得的多个图象之间，将被判定为不能登录的这次的图象以后所取得的图象也全部判定为不能登录的图象。通过这样做，在给外人顶替的场合，不仅是变化量已变成阈值以上的最初的图象，而且这以后所取得的图象也作为顶替的不正当的图象被禁止登录，因此能够可靠地防止外人的图象的混入登录。
而且，在本发明中，也可以将追踪上述位置的变化量的方式和监视位置检测的时间间隔的方式并用。在这种场合，将面孔位置的变化量与预定的阈值比较，同时，将位置检测的时间间隔与预定的阈值比较，当变化量和时间间隔都未满阈值时，将这次的图象判定为能登录的图象，当变化量和时间间隔的至少一方在阈值以上时，将这次的图象判定为不能登录的图象。
若这样做，在用摄像机摄像过程中，当本人替换并顶替成外人的场合，由于面孔等的位置发生很大变化，变化量变成阈值以上，因此能够将已摄像的图象判定为不能登录的图象，另外，在用手挡住摄像机期间，当本人替换并顶替成外人的场合，由于检测面孔等的位置的时间间隔变长并在阈值以上，因此能够将已摄像的图象判定为不能登录的图象。从而，即使在任何场合，能够对不正当的登录防患于未然，更能够提高判定精度。
这时，在本发明所希望的实施形态中，当位置的变化量或位置检测的时间间隔在阈值以上时，将这次的图象判定为不能登录的图象，同时，在通过连续地摄像取得的多个图象中间，将被判定为不能登录的这次的图象以后所取得的图象也全部判定为不能登录的图象。通过这样做，在有给外人顶替的场合，不仅是变化量和时间间隔已变成阈值以上的最初的图象，而且这以后所取得的图象也作为顶替的不正当的图象被禁止登录，因此能够可靠地防止外人的图象的混入登录。
图1是涉及本发明的第1实施形态的个人认证系统的方框图，就是追踪面孔位置的变化量，判别人物的顶替。1是作为对个人的面孔连续地摄像的摄像设备的摄像机，2是取得用摄像机1摄像的面孔图象的图象取得部分，3是根据所取得的图象进行后述的演算和判定的控制部分，4是输入ID等的数据的操作部分，5是由ROM和RAM等存储器组成的存储部分，6是显示引导和对照结果的显示部分。
控制部分3由7～11的各方框组成。7是从在图象取得部分2中取得的图象检测面孔位置的面孔位置检测部分，8是演算在面孔位置检测部分7中被检测的面孔位置的时间的变化量的面孔位置变化量演算部分，9是从在面孔位置检测部分7中得到的面孔图象抽出面孔的特征量的面孔特征量抽出部分，10是比较在面孔特征量抽出部分9中被抽出的面孔的特征量并演算类似度及其变化量的类似度演算部分，11是根据面孔位置变化量演算部分8和类似度演算部分10的演算结果判定摄像图象可否登录的判定部分。
在以上那样的个人认证系统中，面孔位置检测部分7构成本发明中的检测设备，面孔位置变化量演算部分8构成本发明中的算出设备，判定部分11构成本发明中的判定设备，存储部分5构成本发明中的存储设备。而且，通过这些各设备构成本发明的不正当登录防止装置。
接着，根据图2～图8说明在上述系统中判别有无外人的面孔图象的混入的原理。图2是表示外人顶替本人的情况的模式图。(a)～(e)表示在面孔数据的初始登录时用摄像机1摄像的帧(画面)1～5，各帧内的粗框表示面孔位置。最初，象(a)那样，本人A(正规的登录者)的面孔大致在帧1的中央位置被摄像。要是原来，在该状态中本人A的面孔被摄像多张(例如5张)。此外，之所以摄像多张是因为吸收表情和面孔的方向、亮度等的偏差的缘故。但是，在本人A顶替成外人B的场合，象(b)那样，本人A移向帧2的一边(此处在左边)，象(c)那样本人A从摄像范围出去的同时，外人B从一边(此处是右边)闯入摄像范围。然后，象(d)那样本人A的面孔消失，代之出现外人的面孔，象(e)那样，大致在帧5的中央位置，顶替了本人A的外人B的面孔被摄像。
图3是表示在有上述那样顶替的场合的面孔位置的移动的图。此处，面孔位置用X坐标和Y坐标表示，图中的数字(1～5)与图2中的各帧(1～5)对应。
图4是表示面孔位置的X坐标的时间变化的图，在横轴上取时间(帧)、在纵轴上取X坐标值。此处，作为X坐标值设定0～100。此外，图中的数字(1～5)与图2中的各帧(1～5)对应。如由图4可知，当从帧3向帧4移动时，X坐标的变化与其它帧之间的X坐标的变化比较非常大，这样的X坐标的急剧变化表示本人A已顶替成外人B。因此，从对面孔连续地摄像得到的多个图象检测面孔位置，若对于被检测的第2个以后的位置求出上次的面孔位置和这次的面孔位置的变化量，当变化量是恒定值以上时，就能够判别有顶替问题。
图5是更详细地说明该判别原理。此处，使用上次面孔位置的坐标和这次面孔位置的坐标的差分值作为变化量。图5的实线是在图4中表示的X坐标的时间变化，虚线表示X坐标的差分值。例如在帧2的场合，因为上次(帧1)的X坐标是50，这次(帧2)的X坐标是30，所以差分值变成50-30＝20。另外，在帧4的场合，差分值变成80-10＝70。将这样求出的差分值(变化量)与预先规定的阈值X的值比较。此处，作为一例将阈值X的值设定为60，但该值能够任意地设定。在将阈值X规定为60的场合，因为帧4以外的差分值未满阈值，只有帧4的差分值变成阈值以上，由此将在帧4中取得的图象，即外人B的面孔图象判断为不正当地混入的图象，并禁止其登录。
另外，为了提高顶替的判定精度，也能够并用检查从现有进行的类似度的变化的方式。此处，所谓类似度是比较从面孔图象抽出的特征量所得到的参数，特征量的相互一致度越高，类似度越高。但是，类似度的判定对于本发明没有必要，也可以省略。图6～图8是说明类似度变化的顶替判定的原理的图(此外，在这些图中，横轴的帧与图2的帧没有对应)。在图6中，P表示从在没有顶替的场合的面孔图象(只是本人)得到的类似度的变化，Q表示从在有顶替的场合的面孔图象(本人和外人)得到的类似度的变化。象P那样，即使是相同的人物，之所以类似度发生变化是因为面孔的方向和表情发生变化，或摄像机的自动曝光发生变化的缘故。
由图6可知，若只是本人的面孔图象，那么象P那样类似度的变化是缓慢的，但若进行顶替，将本人的面孔替换成外人的面孔，那么对于本人和外人而言，由于面孔的特征量有很大的不同，因此象Q那样类似度急剧地下降。此外，在图6中，由于以最初取得的数帧(本人的面孔图象)为基准算出类似度，因此在顶替时，类似度在急剧下降后也保持低的值。这样，通过检查类似度的变化，能够判断在类似度的变化量是恒定值以上时判断已存在顶替的问题。
图7和图8是更详细地说明该判别原理的图。此处使用上次的类似度和这次的类似度的差分值作为变化量。图7的实线表示在图6中示出的没有顶替场合的类似度的变化P，虚线表示类似度的差分值。例如在帧6的场合，因为上次(帧5)的类似度是0.65，这次(帧6)的类似度是0.5，所以差分值变成0.65-0.5＝0.15。另外，在帧10的场合，因为上次(帧9)的类似度是0.2，这次(帧10)的类似度是0.1，所以差分值变成0.2-0.1＝0.1。将这样求出的差分值(变化量)与预先规定的阈值Y的值比较。此处，作为一例将阈值Y的值设定为0.4，但该值能够任意设定。在将阈值Y的值规定为0.4的场合，因为各帧的差分值全部未满阈值，这样一来将各帧的面孔图象判断为是本人的，并进行所摄像的图象的登录。
另一方面，图8的实线表示当在图6中示出的有顶替的场合的类似度的变化Q，虚线表示类似度的差分值.例如在帧5的场合，因为上次(帧4)的类似度是0.85，这次(帧5)的类似度是0.05，所以差分值变成0.85-0.5＝0.8。另外，在帧10的场合，因为上次(帧9)的类似度是0.1，这次(帧10)的类似度是0.1，所以差分值变成0.1-0.1＝0。将这样求出的差分值(变化量)与所述的阈值Y的值比较。在将Y规定为0.4的场合，由于帧5以外的差分值未满阈值，只有帧5的差分值变成阈值以上，这样一来将帧所取得的图象判断为不正当混入的外人的图象，并禁止其登录。
接着，说明在图1的个人认系统中进行面孔数据的初始登录的程序，在本发明中所说的″程序″不是狭义的计算机程序，而是指工作流程或操作次序。图9是表示该程序的流程图，并示出由控制部分3执行的程序。当登录时，首先输入ID(识别号码)(步骤S1)。该ID的输入使用操作部分4的0～9数字按键进行，但也可以做到通过预先向卡片阅读器(图示省略)插入记录ID的卡片输入ID替代它。在输入ID时，用摄像机1开始面孔的摄像(步骤S2)，在图象取得部分2取得面孔图象(步骤S3)。接着，从取得的面孔图象中，在面孔位置检测部分7检测面孔的位置(步骤S4)，同时，在面孔特征量抽出部分9抽出面孔的特征量(步骤S5)。然后，判定是否已取得规定数量(例如5张)的图象(步骤S6)，如果图象没有达到规定的数量(步骤S6NO)，就反复进行步骤S3～S6。
在图象达到规定数量时(步骤S6YES)，接着，面孔位置变化量演算部分8对于在步骤S4中检测出的第2个以后的面孔位置依次算出面孔位置的变化量(步骤S7)，在判定部分11判定该值是否是阈值X(图5)以上(步骤S8)。若面孔位置的变化量未满阈值X(步骤S8YES)，那么类似度演算部分10继续根据步骤S5抽出的面孔的特征量算出类似度，同时，算出类似度的变化量(步骤S9)，并在判定部分11中判定类似度的变化量是否是阈值Y(图7、图8)以上(步骤S10)。若类似度的变化量未满阈值Y(步骤S10YES)，那么已取得的面孔图象都是本人的面孔图象，判断为能登录，并与在步骤S1中输入的ID一起将各面孔图象往存储器5存储并登录(步骤S11)。
另一方面，在步骤S8中，若面孔位置的变化量是阈值X以上(步骤S8NO)，因为这时的面孔图象不是本人的，是不正当混入的外人的面孔图象，因此判断为不能登录，禁止向存储器5登录。在这种场合，与面孔位置的变化量已变成阈值X以上的这次的面孔图象一起，在步骤S3取得的面孔图象中间，这次的面孔图象以后所取得的面孔图象也全部禁止登录(步骤S13)。另外，在步骤S10中，在类似度的变化量是阈值Y以上的场合(步骤S10NO)，这时的面孔图象由于不是本人的、而是不正当地混入的外人的面孔图象，因此也判断为不能登录，并禁止向存储器5登录。在这种场合，与类似度的变化量已变成阈值Y以上的这次的面孔图象一起，在步骤S3取得的面孔图象中间，在这次的面孔图象以后取得的面孔图象也全部禁止登录(步骤S13)。
执行以上的程序后，在判定部分11中判定是否登录了规定数量(例如5张)的图象(步骤S12)。若没有顶替，通常在步骤S3～S6中取得的图象被正常登录后，在步骤S12中的判定变成YES(是)，登录结束。另一方面，在有顶替的场合，由于在S13中有不可登录的图象，因此在S12中的判定变成NO(否)，并返回到步骤S2再次用摄像机1进行本人的摄像。在这种场合，例如在显示部分6显示“由于在已摄像的图象中包含外人的图象，因此不能登录。请对本人再次摄像”的信息就可以。
这样，若结束面孔图象的初始登录，那么通过从下次起在操作部分4输入ID，同时，用摄像机1对面孔摄像，控制部分3对被输入的ID和被登录到存储器5的ID进行对照，以及对被摄像的面孔的图象和被登录在存储器5中的面孔图象进行对照，并将对照结果向显示部分6显示。然后，若对照结果是正常的，则判断是本人，并进行例如解除门锁的入室的许可和通过网络的收费目录服务的提供等。
在以上所述的第1实施形态中，将面孔位置的变化量与阈值比较，将变化量未满阈值时的图象判定为能登录的图象，将变化量在阈值以上时的图象判定为不能登录的图象。因此，若顶替本人的外人想对面孔摄像，那么由于面孔图象的位置急剧地变化，因此面孔位置的变化量变为阈值以上，这样一来能够自动而且可靠地判别顶替，能对外人的面孔图象的不正当登录防患于未然。另外，在面孔位置的变化量已变为阈值以上时，因为将这以后的图象全部判定为不能登录的图象，所以不仅在有顶替的场合的最初的图象，而且以后的图象也作为顶替的不正当图象被禁止登录后，能够可靠地防止外人的图象的混入登录。而且，除上述之外，由于类似度的变化量也作为判定要素，因此能够进一步提高判定精度，但如上述那样，类似度变化量的判定对于本发明没有必要，可以省略。在这种场合，图1的类似度演算部分10是不必要的，另外图9中的S9、S10也变成不必要。
图10是涉及本发明的第2实施形态的个人认证系统的方框图，是通过计测面孔位置被检测的时间间隔判别人物的顶替。1是作为连续地对个人的面孔摄像的摄像设备的摄像机，2是取得用摄像机1摄像的面孔图象的图象取得部分，3是根据所取得的图象进行后述的演算和判定的控制部分，4是输入ID等的数据的操作部分，5是由ROM和RAM等存储器构成的存储部分，6是显示引导和对照结果等的显示部分。
在控制部分3中，7是从在图象取得部分2取得的图象检测面孔的位置的面孔位置检测部分，12是计测从在面孔位置检测部分7检测上次的位置后到这次的位置被检测的时间间隔的时间间隔演算部分，9是从在面孔位置检测部分7得到的面孔图象抽出面孔的特征量的面孔特征量抽出部分，10是比较在面孔特征量抽出部分9中被抽出的面孔的特征量并演算类似度及其变化量的类似度演算部分，11是根据时间间隔演算部分12和类似度演算部分10的演算结果判定摄像图象的可否登录的判定部分。象与图1比较可知那样，在图10中设置了时间间隔演算部分12替代图1的面孔位置变化量演算部分8。有关其它的构成与图1相同。
在以上那样的个人认证系统中，面孔位置检测部分7构成本发明中的检测设备，时间间隔演算部分12构成本发明中的计测设备，判定部分11构成本发明中的判定设备，存储部分5构成本发明中的存储设备。然后，通过这些各设备构成本发明的不正当登录防止装置。
接着，说明关于在图10的个人认证系统中进行面孔数据的初始登录的场合的程序。图11是表示该程序的流程图，表示由控制部分3执行的程序。当登录时，首先输入ID(识别号码)(步骤S21)。该ID的输入使用操作部分4的0～9数字按键进行，但也可以做到通过预先将记录ID的卡片向卡片阅读器(图示省略)插入，输入ID替代它。在输入ID时，用摄像机1开始面孔的摄像(步骤S22)，在图象取得部分2取得面孔图象(步骤S23)。接着，从已取得的面孔图象，在面孔位置检测部分7检测面孔的位置(步骤S24)，同时，在面孔特征量抽出部分9抽出面孔的特征量(步骤S25)。然后，判定是否已取得规定数量(例如5张)的图象(步骤S26)，若图象没有达到规定数量(步骤S26NO)，就反复进行步骤S23～S26。以上的程序与图9中的步骤S1～S6的程序完全相同。
若图象达到规定数量(S26YES)，接着，时间间隔演算部分12对于在步骤S24中检测出面孔位置时的时间间隔，即被检测的第2个以后的位置依次算出从上次的位置被检测后到这次的位置被检测的时间间隔(步骤S27)，并在判定部分11判定该值是否是预先规定的阈值(例如3秒)以上(步骤S28)。若时间间隔未满阈值(步骤S28；YES)，那么类似度演算部分10继续根据在步骤S25中抽出的面孔的特征量算出类似度，同时，算出类似度的变化量(步骤S29)，并在判定部分11判定类似度的变化量是否是阈值Y(图7、图8)以上(步骤S30)。若类似度的变化量未满阈值Y(步骤S30YES)，那么所取得的面孔图象都是本人的，判断为能登录，并且与在步骤S21输入的ID一起，将各面孔图象向存储部分5存储并登录(步骤S31)。
另一方面，在步骤S28中，若位置检测的时间间隔是阈值以上(步骤S28NO)，那么这时的面孔图象不是本人的，而是在挡住摄像机1期间顶替的外人的面孔图象，因此判断为不能登录，并禁止向存储部分5登录。在这种场合，与时间间隔已变成阈值以上的这次的面孔图象一起，在步骤S23取得的面孔图象中间，这次的面孔图象以后以后所取得的面孔图象也全部禁止S33)。另外，在步骤S30中，在类似度的变化量是阈值以上的场合(步骤S30NO)，这时的面孔图象不是本人的，而是不正当混入的外人的面孔图象，因此也判断为不能登录，并禁止向存储部分5登录。在这种场合，与类似度的变化量已变成阈值Y以上的这次的面孔图象一起，在步骤S23取得的面孔图象中间，在这次的面孔图象以后取得的面孔图象也全部禁止登录(步骤S33)。
在执行了以上的程序后，在判定部分11中判定是否登录了规定数量(例如5张)的图象(步骤S32)。若没有顶替，那么由于通常在步骤S23～S26中取得的图象被正常登录，因此在步骤S32中的判定变成YES，结束登录。另一方面，在有顶替的场合，由于有在步骤S33中变成不能登录的图象，因此在步骤S32中的判定变成NO，并返回到S22，再次用摄像机1进行本人的摄像。在这种场合，在显示部分6中显示例如“在已摄像的图象中，由于包含外人的图象，因此不能登录。请再次对本人的面孔摄像”即可。
这样，若结束面孔图象的初始登录，通过从下次起在操作部分4输入ID，同时，用摄像机1对面孔摄像，控制部分3对所输入的ID和被登录到存储部分5的面孔图象进行对照，以及对所摄像的面孔的图象和登录在存储部分5的面孔图象进行对照，并将对照结果向显示部分6显示。然后，若对照结果是正常，那么就认证是本人，并进行例如解除门锁的入室的许可和通过网络的目录服务的提供等。
在以上所述的第2实施形态中，将面孔位置检测的时间间隔与阈值比较，将时间间隔未满阈值时的图象判定为能登录的图象，将时间间隔在阈值以上时的图象判定为不能登录的图象。为此，在用手挡住摄像机期间，即使本人想被顶替成外人，由于在摄像机被挡住期间从面孔位置的检测到检测的时间间隔变长，并变成阈值以上，这样就能够自动而且可靠地判别顶替，能够对外人的面孔图象的不正当登录防患于未然。另外，当时间间隔已变成阈值以上时，因为将这以后的图象全部判定为不能登录的图象，因此不仅是在有顶替的场合的最初的图象，而且作为以后的图象也作为顶替的不正当的图象被禁止登录，所以能够可靠地防止外人的图象的混入登录。而且，除上述外，由于类似度的变化量也作为判定要素，因此能够进一步提高判定精度，但如上所述，类似度变化量的判定对于本发明没有必要，可以省略。在这种场合，图10的类似度演算部分10是不必要的，另外，图11的步骤S29、S30也变成不必要。
图12是涉及本发明的第3实施形态的个人认证系统的方框图，并且是并用从图1的面孔位置的变化量判别顶替的方式和从图10的面孔位置检测的时间间隔判别顶替的方式。1是作为连续地对个人的面孔摄像的摄像设备的摄像机，2是取得用摄像机1摄像的面孔图象的图象取得部分，3是根据所取得的图象进行后述的演算和判定的控制部分，4是输入ID等数据的操作部分，5是有ROM和RAM等存储器构成的存储部分，6是显示引导和对照结果等的显示部分。
在控制部分3中，7是从在图象取得部分2取得的图象检测面孔的位置的面孔位置检测部分，8是演算在面孔位置检测部分7检测的面孔位置的时间的变化量的面孔位置变化量演算部分，12是计测在面孔位置检测部分7中从检测上次的位置到检测这次的位置的时间间隔的时间间隔演算部分，9是从在面孔位置检测部分7中取得的面孔图象抽出面孔的特征量的面孔特征量抽出部分，10是比较在面孔特征量抽出部分9抽出的面孔特征量并演算类似度及其变化量的类似度演算部分，11是根据在面孔位置变化量演算部分8、时间间隔演算部分12、以及类似度演算部分10中的各演算结果判定摄像图象是否登录的判定部分。
在以上那样的个人认证系统中，面孔位置检测部分7构成本发明的检测设备，面孔位置变化量演算部分8构成本发明的算出设备，时间间隔演算部分12构成本发明的计测设备，判定部分11后成本发明的判定设备，存储部分5构成本发明的存储设备。然后，通过这些各设备构成本发明的不正当登录防止装置。
接着，说明关于在图12的个人认证系统中进行面孔数据的初始登录的场合的程序。图13是表示该程序的流程图，并示出由控制部分3执行的程序。当登录时，首先输入ID(识别号码)(步骤S41)。该ID的输入使用操作部分4的0～9数字按键进行，但也可以做到通过预先将记录ID的卡片插入到卡片阅读器(图示省略)输入ID。在输入ID时，用摄像机1开始面孔的摄像(步骤S42)，在图象取得部分2取得面孔图象(步骤S43)。接着，从已取得的面孔图象中，在面孔位置检测部分7检测面孔的位置(步骤S44)，同时，在面孔特征量抽出部分9抽出面孔的特征量(步骤S45)。然后，判定是否取得规定数量(例如5张)的图象(步骤S46)，若图象没有达到规定数量(步骤S46NO)，就反复进行步骤S43～S46。
若图象达到规定数量(步骤S46YES)，那么，接着对于在步骤S44中检测的第2个以后的面孔位置，面孔位置变化量演算部分8依次算出面孔位置的变化量(步骤S47)，并在判定部分11判定该值是否是阈值以上(步骤S48)。若面孔位置的变化量未满阈值X(步骤S48YES)，接着，对于在步骤S44检测面孔位置时的时间间隔，即被检测的第2个以后的位置，时间间隔演算部分12依次算出从上次的位置被检测到这次的位置被检测的时间间隔(步骤S49)，并在判定部分11判定该值是否是预先规定的阈值(例如3秒)以上(步骤S50)。若时间间隔未满阈值(步骤S50YES)，接着，根据在步骤S45抽出的面孔特征量，类似度演算部分10算出类似度，同时，算出类似度的变化量(步骤S51)，并在判定部分11判定类似度的变化量是否是阈值Y(图7、图8)以上(步骤S52)。若类似度的变化量未满阈值Y(步骤S52YES)，那么所取得的图象都是本人的，判断能登录，并且与在步骤S41输入的ID一起，将各面孔图象存储到存储部分5并登录(步骤S53)。
另一方面，在步骤S48中，若面孔位置的变化量是阈值X以上(步骤S48NO)，那么这时的面孔图象不是本人的，而是不正当混入的外人的面孔图象，因此判断为不能登录，并禁止向存储部分5登录。在这种场合，与面孔位置的变化量已变成阈值X以上的这次的面孔图象一起，在步骤S43中取得的面孔图象中间，在这次的面孔图象以后所取得的面孔图象也全部禁止登录(步骤S55)。另外，在步骤S50中，在位置检测的时间间隔是阈值以上的场合(步骤S50NO)，因为这时的面孔图象不是本人的，而是在挡住摄像机1期间已顶替的外人的面孔图象，所以也判断为不能登录，并禁止向存储部分5登录。在这种场合，与时间间隔已变成阈值以上的这次的面孔图象一起，在步骤S43中取得的面孔图象中间，在这次的面孔图象以后取得的面孔图象也全部禁止登录(步骤S55)。而且，在步骤S52中类似度的变化量是阈值Y以上的场合(步骤S52NO)，由于这时的面孔图象不是本人的，而是不正当混入的外人的面孔图象，因此也判断为不能登录，并禁止向存储部分5登录。在这种场合，与类似度的变化量已变成阈值Y以上的这次的面孔图象一起，在步骤S43取得的面孔图象中间，在这次的面孔图象以后取得的面孔图象也全部禁止登录(步骤S55)。
在执行了以上的程序后，在判定部分11中判定是否登录了规定数量(例如5张)的图象(步骤S54)。若没有顶替，通常在步骤S43～S46中取得的图象正常地被登录后，在步骤S54中的判定变成YES，并结束登录。另一方面，在有顶替的场合，由于在步骤S55有变成不能登录的图象，因此在步骤S54中的判定变成NO，并返回到步骤S42，再次用摄像机1进行本人的摄像。在这种场合，在显示部分6显示例如“由于在已摄像的图象中包含外人的图象，因此不能登录。请再次对本人的面孔摄像”的信息即可。
这样，若结束ID和面孔图象的初始登录，那么通过从下次起在操作部分4输入ID，同时，用摄像机1对面孔摄影，控制部分3对所输入的ID和被登录在存储部分5的ID进行对照，以及对所摄像的面孔的图象和本登录在存储部分5的面孔图象进行对照，并将对照结果向显示部分6显示。然后，对照结果是正常的，那么就认证是本人，并进行例如解除门锁的入室的许可和通过网络的收费目录服务的提供等。
在以上所述的第3实施形态中，做到从面孔位置的变化量判别顶替，同时，从面孔位置检测的时间间隔也判别顶替。象第1实施形态那样，对于使用面孔位置的变化量的方式，若在用手挡住摄像机期间本人和外人被替换，那么由于在摄像机被挡住的前后面孔位置几乎没有变化，因此能出现不能发现顶替的场合。另一方面，象第2实施形态那样，对于使用面孔位置检测的时间间隔的方式，在摄像机没有被挡住的状态下，若本人和外人飞快地被替换，那么能出现面孔位置检测的时间间隔不超过阈值并且不能发现顶替的场合。
但是，若依据第3实施形态，通过并用两种方式，在进行任何不正当的场合也能够自动而且可靠地判别顶替，并能提高精度。另外，在第3实施形态中，在面孔位置的变化量和位置检测的时间间隔已变成阈值以上时，因为将这以后的图象判定为不能登录的图象，所以不仅是有顶替的场合的最初的图象，而且以后的图象也作为顶替的不正当的图象被禁止登录后，也能够可靠地防止外人的图象的混入登录。而且，除上述外，由于类似度的变化量也作为判定要素，因此能够进一步提高判定精度，但如上述那样，类似度变化量的判定对于本发明没有必要，可以省略。在这种场合，图12的类似度演算部分10是不必要的，另外图13中的步骤S51、S52也变成不必要。
在以上所述的各实施形态中，示出了在个人认证系统中具备摄像机1的例子，但本发明不受此限制，也可以做到通过将在其它场所用其它的摄像机摄像的面孔图象的数据预先保存在记录媒体中，并通过将该记录媒体安装在被设置在个人认证系统中的媒体读取装置(图示省略)中取入面孔图象。或者，也可以做到在个人认证系统中具有通信功能，使用无线和有线经由通信线路能够接收已摄像的面孔图象。
另外，在以上所述的各实施形态中，将对面孔的图象进行摄像的场合作为例子举出，但本发明并不受此限制，作为摄像的部位除面孔以外，也可以利用例如虹膜(iris)。
若依据本发明，通过将规定部位的位置的变化和位置检测的时间间隔与阈值比较，就能够不用人工，可靠地自动判别外人的图象的混入，对顶替的不正当登录防患于未然。
权利要求
1.一种个人认证系统中的不正当登录防止装置，将对个人摄像所得到的图象和预先登录的图象对照，根据该对照结果对个人进行认证，其特征在于，它具备从对个人的规定部位连续地摄像所得到的多个图象检测规定部位的位置的检测设备；对于用所述检测设备检测的第2个以后的位置算出这次的位置和上次的位置的变化量的演算设备；将用所述演算设备演算的变化量与预先规定的阈值比较，当变化量未满阈值时判定这次的图象为能登录的图象，当变化量在阈值以上时，判定这次的图象为不能登录的图象的判定设备；以及对由所述判定设备判定为能登录的图象进行登录并存储的存储设备。
2.如权利要求1记载的不正当登录防止装置，其特征在于，所述判定设备在用所述算出设备算出的变化量在阈值以上时，判定这次的图象为不能登录的图象，同时，在所述多个图象中间，将在判定为不能登录的这次的图象以后所取得的图象全部判定为不能登录的图象。
3.一种个人认证系统中的不正当登录防止装置，将对个人摄像所得到的图象和预先登录的图象对照，根据该对照结果对个人进行认证，其特征在于，它具备从对个人的规定部位连续地摄像所取得的多个图象检测规定部位的位置的检测设备；对于用所述检测设备检测的第2个以后的位置计测上次的位置被检测后到这次的位置被检测的时间间隔的计测设备，将用所述计测设备计测的时间间隔与预先规定的阈值比较，当时间间隔未满阈值时判定这次的图象为能登录的图象，当时间间隔在阈值以上时判定这次的图象为不能登录的图象的判定设备；以及对由所述判定设备判定为能登录的图象进行登录并存储的存储设备。
4.如权利要求3记载的不正当登录防止装置，其特征在于，所述判定设备在用所述算出设备算出的变化量在阈值以上时，判定这次的图象为不能登录的图象，同时，在所述多个图象中间，将在判定为不能登录的这次的图象以后所取得的图象全部判定为不能登录的图象。
5.一种个人认证系统中的不正当登录防止装置，将对个人摄像所得到的图象和预先登录的图象对照，根据该对照结果对个人进行认证，其特征在于，它具备从对个人的规定部位连续地摄像所取得的多个图象检测规定部位的位置的检测设备；对于用所述检测设备检测的第2个以后的位置算出这次的位置和上次的位置的变化量的算出设备；对于用所述检测设备检测的第2个以后的位置计测上次的位置被检测后到这次的位置被检测的时间间隔的计测设备；将用所述算出设备算出的变化量与预先规定的阈值比较，当时间间隔未满阈值时判定这次的图象为能登录的图象，同时，将用所述计测设备计测的时间间隔与预先规定的阈值比较，当时间间隔未满阈值时判定这次的图象为能登录的图象，当上次变化量或时间间隔在阈值以上时判定这次的图象为不能登录的图象的判定设备；以及对由所述判定设备判定为能登录的图象进行登录并存储的存储设备。
6.如权利要求5记载的不正当登录防止装置，其特征在于，所述判定设备在在所述变化量或时间间隔在阈值以上时判定这次的图象为不能登录的图象，同时，在所述多个图象中间，将在判定为不能登录的这次的图象以后所取得的图象全部判定为不能登录的图象。
全文摘要
本发明涉及个人认证系统中的不正当登录防止装置。能够防止将本人以外的人的图象不正当地混入。它具备从对个人的规定部位连续地摄像所得到的多个图象检测规定部位的位置的检测设备(7)；对于用所述检测设备检测的这次的位置和上次的位置的变化量进行演算的演算设备(8)；将用所述演算设备演算的变化量与预先规定的阈值比较，当变化量未满阈值时判定这次的图象为能登录的图象，当变化量在阈值以上时，判定这次的图象为不能登录的图象的判定设备(11)；以及对由所述判定设备判定为能登录的图象进行登录并存储的存储设备(5)。
文档编号G06F21/20GK1480902SQ03147540
公开日2004年3月10日 申请日期2003年7月22日 优先权日2002年7月23日
发明者田畑尚弘, 田 尚弘 申请人:欧姆龙株式会社