专利名称：对照设备的制作方法
技术领域：
本发明涉及一种更适用于相机系统中使用以用于安全操作管理以及重要访问顾客管理的对照设备。
背景技术：
迄今为止，已经存在各种技术用于捕捉人的图像，从所捕捉的人的图像中检测面部，从面部区域获取面部图像的面部图像特征量，通过将所获取的面部图像特征量与对照列表中登记的面部图像特征量进行对照来获取相似度，并且将所获取的相似度与预先设定的阈值作比较以由此确定捕捉了其图像的人是否与对照列表中所登记的人相同(例如参见专利文献I和2)。 图26是图示常规对照设备的构造的示意图。如该图中所示，从作为由相机进行的对人的图像捕捉的结果而获得的图像所检测到人的面部。从检测到的面部的面部区域中提取面部图像特征量。通过将所提取的面部图像特征量与对照列表中所登记的面部图像特征量进行比较来获得相似度。然后，基于所获得的相似度来执行警报确定。如果相似度等于或大于阈值，则执行警报通知。根据该附图，阈值被设定为“50”。在检测到其面部的人500与对照列表中登记的人501之间的相似度为“55”。在检测其面部的另一个人502与人501之间的相似度为“30”。因此，对应于其相似度超过阈值“50”的人501执行警报通知。现有技术文献专利文献专利文献I :JP-A_2004-118359专利文献2 JP-A-2006-17865
发明内容
本发明要解决的问题然而，包括专利文献I和2中所公开的技术的背景技术并没有考虑到过去对照的结果以及图像捕捉环境(诸如方位、照明、日期和天气)。因此，背景技术具有警报故障和错误警报增加的问题。例如，即使在具有输入面部的人与对照列表中所登记的人相同的情况下，如图27(a)所示，如果由于方位差异而导致相似度为“45”，则不执行警报激活而导致“警报故障”。即使在具有输入面部的人与对照列表中所登记的人不同的情况下，如图27(b)所示，如果由于对每个人进行照明的方式的差异或者对每个人所照耀阳光的差异而导致相似度为“60”，则执行警报激活，导致“错误警报”。此外，相同的“警报故障”或“错误警报”反复发生。本发明是根据以上所描述的情况而实现的，并且其目标在于提供一种能够通过考虑到过去对照的结果以及图像捕捉环境而将“警报故障”或“错误警报”的出现抑制到低水平的对照设备。解决问题的手段
本发明的对照设备包括对照列表，该对照列表被构造成保留有错误警报列表，该错误警报列表包括登记的图像、用作用于确定是否执行警报激活的准则的阈值、以及错误警报的人的图像；对照单元，该对照单元被构造为将输入图像与由对照列表所管理的登记的图像或错误警报的人的图像进行对照，由此获得它们之间的相似度；以及比较单元，该比较单元被构造成比较由对照单元所获得的输入图像和错误警报的人的图像之间的相似度的值和阈值中的较大的一个；以及由对照单元所获得的输入图像和所登记图像之间的相似度，从而确定是否执行警报激活。在对照设备中，对照列表包括用于每个登记的图像的错误警报列表。在对照设备中，对照列表包括对于登记的图像共用的错误警报列表。 在对照设备中，如果警报激活是错误警报的激活，则对照列表将输入图像作为错误警报信息添加到错误警报列表中。在对照设备中，对照列表分别保留有登记图像特征量和错误警报人的图像特征量，而不是登记图像和错误警报人的图像。一种对照设备，包括对照列表，该对照列表被构造为保留有登记的图像、以及与每个登记的图像相对应并且用作用于确定是否执行警报激活的准则的阈值；对照单元，该对照单元被构造成参照输入图像以及对照列表所管理的登记的图像，从而获得它们之间的相似度；以及比较单元，该比较单元被构造成将由对照单元所获得的相似度与由对照列表所管理的阈值相比较，从而确定是否执行警报激活。对照设备进一步包括用户输入接收单元，该用户输入接收单元被构造成接收来自用户的输入；以及对照列表更新单元，该对照列表更新单元被构造成根据由用户输入接收单元接收到的内容来对由对照列表所管理的阈值进行更新。对照设备进一步包括条件获取单元，该条件获取单元被构造成获取捕捉图像时的条件，该对照列表保留有阈值以便于与每个条件相对应，并且比较单元将对照单元所获得的相似度与条件获取单元所获取的条件相比较，从而确定是否执行警报激活。对照设备进一步包括他人相似度分布计算单元，该他人相似度分布计算单元被构造成生成要由对照列表管理的阈值。在对照设备中，他人相似度分布计算单元获得通过条件进行分类的样本图像和登记的图像之间的相似度，并且将对所获得的相似度进行统计处理的结果设定为阈值。在对照设备中，对照列表保留有登记的图像的特征量而不是登记的图像。本发明的对照方法包括对照列表步骤，该对照列表步骤保留有错误警报列表，该错误警报列表包括登记的图像、用作用于确定是否执行警报激活的准则的阈值、以及错误警报人的图像；对照步骤，该对照步骤将输入图像与对照列表所管理的登记的图像或错误警报人的图像进行对照，从而获得它们之间的相似度；以及比较步骤，该比较步骤比较在对照步骤中所获得的输入图像和错误警报人的图像之间的相似度数值和阈值中的较大的一个；以及对照步骤中所获得的输入图像和登记的图像之间的相似度，从而确定是否执行警报激活的比较步骤。本发明的优点根据本发明，能够抑制由于各种图像捕捉环境而出现的警报故障或错误警报。
图I是图示根据本发明的实施例I的对照设备的示意性构造的框图。图2是图示图I中所图示的显示终端的输入接收单元的用户接口的具体示例的示图。图3是图示图I中所示的对照列表的示例的示图。图4是图示图I中所示的对照设备的对照列表中的变化形式Vl的示图。图5是图示图I中所示的对照设备的对照列表中的变化形式V2的示图。图6是用于图示图I中所示的对照设备的操作的流程图。
图7是用于图示图I中所示的对照设备的操作的示图。图8是图示在图I中所示的对照设备的对照列表更新单元处执行的对照列表的更新的示例的示图。图9是图示根据本发明的实施例2的对照设备的示意性构造的框图。图10 (a)和图10 (b)是示出根据本发明的实施例2的对照设备的对照列表的两个变化形式中的关联的一个的示例的示图。图11是示意性图示在图9中所示的对照设备的对照单元中的登记的面部特征量与输入面部特征量之间的比较处理的概要的示图。图12是示意性图示在图9中所示的对照设备的对照单元中的个体错误警报列表与输入面部特征量之间的比较处理的概要的示图。图13是示意性图示在图9中所示的对照设备的对照列表更新单元中执行的阈值更新处理的示图。图14是示意性图示在图9中所示的对照设备的比较单元中执行的处理的概要的示图。图15(a)和图15(b)是用于图示使用在图9中所示的对照设备的错误警报列表的应用的示例的示图。图16是示意性图示根据背景技术的警报确定处理的概要的示图。图17是示意性图示采用在图9中所示的对照设备中的个体错误警报列表的警报确定处理的概要的示图。图18是示意性图示采用在图9中所示的对照设备中的共用错误警报列表的警报确定处理的概要的示图。图19是用于图示在图9中所示的对照设备的操作的序列图。图20是图示根据本发明的实施例3的对照设备的示意性构造的框图。图21是图示在图20中所示的对照设备的对照列表示例的示图。图22是用于图示在图20中所示的对照设备中所执行的类别特定的样本获取处理的概要的流程图。图23是用于图示在图20中所示的对照设备中执行的对照列表更新处理的概要的流程图。图24是用于图示图20所示的对照设备中执行的黑名单对照处理的概要的流程图。图25是图示在登记的面部图像和捕捉到的访客面部图像之间的时间特定的相似度的示例的示图。图26是示意性图示常规对照设备的构造的示图。图27(a)和图27(b)是用于图示在常规对照设备中的问题的示图。
具体实施例方式下文中，将参考附图来详细描述用于执行本发明的优选方式。(实施例I)图I是图示根据实施例I的对照设备的示意性构造的框图。在该附图中，根据该实施例的对照设备I包括具有至少一个相机的图像捕捉设备2、面部识别设备3和显示终端4。面部识别设备3包括图像输入单元31、面部检测单元32、面部特征提取单元33、对照列 表34、对照列表更新单元35、对照单元36、个体阈值获取单元37和比较单元38。图像输入单元31接收作为图像捕捉设备2所进行的图像捕捉的结果而获得的图像。面部检测单元32根据输入到图像输入单元31的图像检测人的面部、并且输出表示与所检测到的面部相对应的面部区域的面部区域信息。在该情况下，如果面部区域是例如眼睛，则面部区域信息是与眼睛相对应的眼睛区域信息。如果面部区域是例如鼻子，则面部区域信息是与鼻子相对应的鼻子区域信息。如果面部区域是例如嘴部，则面部区域信息是对应于嘴部的嘴部区域信息。除了输出与检测到的面部相对应的面部区域信息之外，面部检测单元32还输出从图像捕捉单元2所输出的捕捉的图像。顺便提及，在面部检测的领域，已经报告了能够根据基于AdaBoost学习方法的检测方法(参见，例如，非专利文献 I :Paul Viola, MichaelJones, “Rapid Object DetectionUsing a Boosted Cascade of SimpleFeatures，，；IEEE Computer Society Conference onComputer Vision andPattern Recognition (CVPR), December of 2001，ISSN:1063-6919，Vol. l,p.511to 518)来检测图像中的面部区域。面部检测单元32使用该检测方法来检测诸如从图像捕捉设备2输出的捕捉的图像中的每个人的眼睛和鼻子的面部区域。然而，该检测方法是示例。只要能够在图像中指定面部区域，就能够采用任何检测方法。例如，能够例如通过模式匹配来检测面部。面部特征提取单元33从捕捉到的图像的面部区域获取面部图像特征量(此后称作“输入面部特征量”)。然后，面部特征提取单元33向对照单元36输出所获得的输入面部特征量。顺便提及，在面部识别领域中，已经报告了能够基于伽伯小波变换所计算的特征量来以高精确度识别面部(参见，例如，非专利文献2 E. Elagin, J. Steffens, Η.Neven, “Automatic pose Estimation System for Human Faces Based on BunchGraphMatching Technology，，，Proceedings of the International Conferenceon AutomaticFace and Gesture Recognition’ 98.pp. 136-141，1998)。对照列表34管理所有或两种如下类型的信息，即登记的面部图像、登记的面部特征量以及用作用于确定是否执行警报激活的准则的阈值。以下描述了管理两种这样类型的信息的对照列表34的变化形式。变化形式Vl :对照列表34的该变化形式管理登记的面部特征量和阈值。登记的面部图像由另一个数据库进行管理。变化形式V2 :对照列表34的该变化形式管理登记的面部图像和阈值。对照单元36使用面部特征提取单元33实时获得登记的面部特征量。假设根据本实施例的面部识别设备3使用对照列表34的变化形式VI。对照列表更新单元35接收来自用户的输入，并且更新对照列表34中的阈值。对照单元36获得在输入面部特征量和登记的面部特征量之间的相似度，并且将结果输出到比较单元38。个体阈值获取单元37获取对照列表34中的阈值，并且将所获取的阈值输出到比较单元38。比较单元38将从对照单元36输出的相似度与从个体阈值获取单元37输出的阈值作比较。如果相似度超过阈值，则比较单元38激活警报。显示终端4包括输入接收单元41和显示单元42。输入接收单元41包括用户接口，并且通过该用户接口接收用户输入。图2是图示输入接收设备41的用户接口 411的具体示例的示图。在该附图中，用户接口 411在显示单元42上执行多画面显示4111。而且，用户接口 411在其上执行警报激活和历史显示4112。此外，用户接口 411显示“不要错过(DON’TMISS)”按钮4113和“干扰(ANNOYING)”按钮4114，并且分别接收利用它们输入的用户输入。在多画面显示4111期间，显示终端4显示四分监视器图像(分别由四个相机捕捉 的)。在警报激活和历史显示4112期间，显示终端4显示访客的面部图像和警报激活时间。顺便提及，监视器图像可以是直播图像和再生图像中的任何一个。“不要错过”按钮4113和“干扰”按钮4114用于更新用作警报激活的准则的阈值。通过利用诸如鼠标(未示出)的指示设备在相关联的一个按钮上进行点击而由输入接收单元41接收每个用户输入。即使在访客是可疑的人或顾客的情况下，如果没有警报被激活，则使用“不要错过”按钮4113。在这样的情况下，通过操作“不要错过”按钮4113而减小对应于该访客的阈值。结果，激活警报的可能性增加。另一方面，无论访客既不是可疑人也不是顾客的事实如何，在激活警报的情况下使用“干扰”按钮4114。在这样的情况下，与该访客相对应的阈值增加。结果，激活警报的可能性降低。显示终端4的显示单元42在面部识别设备3的比较单元38激活警报时显示警报的内容。警报的内容包括“相似度”、“捕捉到的图像”以及“对照列表中登记的面部图像”。在这种情况下，“捕捉到的图像”由图像输入单元31获取，而“对照列表中登记的面部图像”从对照列表34获取。图3是图不对照列表34的不例的不图。对照列表34中的每一个都通过列“编号(No. )”、“登记的面部图像”、“登记的面部特征量”和“阈值”来构造。登记的面部特征量是从面部的特定部分(即，眼睛、鼻子、嘴部等)所获得的数值特征量。图4是图示对照列表34的变化形式Vl的示例的示图。如该附图所示，对照列表34管理“登记的面部特征量”和“阈值”。顺便提及，如上所述，登记的面部图像由另一个数据库(未示出)来管理。顺便提及，图5作为参考图示了作为变化形式2的对照列表。如该附图中所示，作为变化形式2的对照列表管理“登记的面部图像”和“阈值”。使用面部特征提取单元33来实时获得“登记的面部特征量”。接下来，将在下文中描述根据本实施例的对照设备I的操作。图6是用于图示根据本实施例的对照设备I的操作的流程图。在该附图中，首先在步骤SI中，图像输入设备31从图像捕捉设备2接收捕捉到的图像。然后，在步骤S2中，面部检测单元32检测在捕捉到的图像中的人脸。然后，面部检测单元32输出面部区域信息。面部检测单元32还输出捕捉到的图像。面部检测单元32输出面部区域信息和捕捉到的图像。在步骤S3中，面部特征提取单元33从捕捉到的图像中的每个面部区域提取面部特征。然后，面部特征提取单元33基于提取结果输出面部图像特征量，即对于对照单元36的输入面部特征量。在从面部特征提取单元33向对照单元36输出输入面部特征量之后，在步骤S4，对照单元36将输入面部特征量与登记的面部特征量进行对照，并且获得其间的相似度。然后，对照单元36将所获得的相似度输出到比较单元38。这里，假设在输入面部特征量和对照列表No. I中登记的面部特征量之间的相似度为“55”，并且在输入面部特征量和对照列表No. 3中登记的面部特征量之间的相似度为“30”，如步骤S4的右侧相邻部分所示。在步骤S5，在由对照单元36执行的对照的结果被输出到比较单元38之后，个体阈值获取单元37获取与对照列表34中的每个登记的面部图像相对应的阈值，并且将所获得的阈值输出到比较单元38。这里，假设与对照列表No. I中的登记的面部图像相对应的阈值 为“60”，并且与对照列表No. 2中的登记的面部图像相对应的阈值为“55”，如步骤S5的右侧相邻部分所示。在步骤S6中，在将由个体阈值获取单元37所获取的阈值被输出到比较单元38之后，比较单元38将从对照单元36输出的相似度与从个体阈值获取单元37输出的阈值作比较，并且确定该相似度是否超过阈值。如果确定了每个相似度都超过相关联的阈值，则比较单元38激活警报。然而，在这种情况下，与对照列表No. I相对应的登记的面部图像的相似度“55”低于阈值“60”。此外，与对照列表No. 2相对应的登记的面部图像的相似度“30”低于阈值“55”。因此，两个相似度中的每一个都没有超过相关联的阈值。因此，不激活警报。在即使在用户检查图7中的多画面显示4111所获得的图像(在这种情况下，该图像可以是直播图像或再生图像)的同时对照列表34中登记的人100在画面4111a上出现，也没有激活警报的情况下，用户选择人100并且按下“不要错过”按钮4113。结果，对照列表更新单元35降低与对照列表34中登记的该人相对应的阈值。通过该动作，激活与该人100相对应的警报。在这种情况下，例如，自动选择其面部具有与用户所选择的人100的面部的最高相似度的人的方法、或者以相似度的降序顺序地显示面部并且使得用户选择面部中的一个的方法被视作搜索人的方法。如果在用户检查通过警报激活和历史显示4112所获得的图像(在这种情况下，该图像可以是直播图像或再生图像)的同时，用户在画面4112a上找到了激活错误警报的结果，则用户按下“干扰”按钮4114。因此，对照列表更新单元35升高与对照列表34中登记的相关联人相对应的阈值。通过该动作，不执行与该人相对应的警报激活。图8是图示由对照列表更新单元35执行的对照列表更新的示例的示图。如该图中所示，用户选择了一人并且按下“干扰”按钮4114，使得与对照列表No. I中的登记的面部图像的阈值“60”被更新为“61”。此外，用户按下“不要错过”按钮4113，使得与对照列表No. 2中的登记的面部图像相对应的阈值“55”被更新为“54”。增加阈值降低了激活警报的可能性。另一方面，减小阈值升高了激活警报的可能性。因此，根据实施例I的对照设备I适用于根据用户输入可选地改变阈值，该阈值要与在输入面部特征量和登记的面部特征量之间的相似度进行比较，并且用作用于确定是否激活警报的准则。因此，即使图像捕捉设备2的图像捕捉环境改变，也能够通过改变阈值来将警报故障或错误警报发生的程度抑制到低水平。(实施例2)图9是图示根据本发明的实施例2的对照设备的示意性构造的框图。顺便提及，在该附图中，用相同的附图标记指示该对照设备与根据以上实施例I的对照设备I共同的部分。在图9中，对照设备5包括图像捕捉设备2、面部识别设备6和显示终端4。面部识别设备6包括图像输入单元31、面部检测单元32、面部特征提取单元33、对照列表61、对照列表更新单元62、对照单元63、个体阈值获取单元64和比较单元65。对照列表61管理登记的面部图像、登记的面部特征量以及与登记的面部图像和面部特征量相关联的阈值。将在以下描述对照列表61具有两种变化形式。变化形式Vl :对照列表61的该变化形式管理登记的面部特征图像以及与每个登 记的面部图像相关联的个体错误警报列表。因此，对照列表61的变化形式Vl管理登记的面部图像的特征量、阈值以及与每个登记的面部图像相关联的个体错误警报列表。变化形式V2 :对照列表61的该变化形式管理登记的面部图像以及对所有的登记的面部图像共用的共用错误警报列表。因此，对照列表61的变化形式V2管理登记的面部特征量、阈值以及对于各个登记的面部图像共用的共用错误警报列表。图10是图示对照列表61的两种变化形式中的每一个的示例的示图。图10(a)图示了变化形式VI。图10(b)图示了变化形式V2。图10(a)所示的对照列表61的变化形式Vl管理与每个登记的面部图像相对应的个体错误警报列表611。图10(b)所示的对照列表61的变化形式V2管理对于各个登记的面部图像共用的共用错误警报列表。顺便提及，图10(a)和图10(b)图示了变化形式Vl和变化形式V2的示例，根据其中的每一个而具有一个阈值“50”。然而，登记的面部图像可以单独具有阈值。返回图9，对照单元63获得在由面部特征提取单元33所获得的输入面部特征量与对照列表61所管理的登记的面部图像之间的相似度，并且将结果输出到比较单元65。此夕卜，对照单元63获得在输入面部特征量和个体错误警报列表611所管理的登记的面部特征量之间的相似度或者在输入面部特征量和在共用错误警报列表612中登记的所登记的面部特征量之间的相似度。对照单元63将所获得的相似度输出到个体阈值获取单元64。比较单元65将在由对照单元63所获得的输入面部图像和登记的面部图像之间的相似度与从个体阈值获取单元64获取的阈值作比较。如果该相似度超过阈值，则比较单元65激活警报。个体阈值获取单元64从对照列表61获取阈值，并且比较从对照单元63所获取的输入图像和错误警报列表中登记的面部图像之间的相似度。然后，个体阈值获取单元64将该相似度的数值与从对照列表获取的阈值中的较大的一个作为阈值输出到比较单元65。如果与以下要描述的输入接收单元41接收到的用户输入相对应的结果是错误警报，则对照列表更新单元62将输入面部图像添加到相关联对照列表61中的错误警报列表作为错误警报的内容。如果错误警报列表的变化形式是个体错误警报列表，则对照列表更新单元62将输入面部图像添加到与登记的面部图像相对应的个体错误警报列表，与之相对应地激活的警报被确定为错误警报。如果错误警报列表的变化形式是共用错误警报列表，则对照列表更新单元62将输入面部图像添加到共用错误警报列表。顺便提及，如果上限被设定为对照列表61中错误警报列表的数目，则例如获得在错误警报列表中的面部图像和登记的面部图像之间的相似度并且更新与所获得的相似度中的最小一个相对应的错误警报列表是可取的。在警报激活时，显示终端4的输入接收单元41接收指示激活的警报是错误警报的用户输入。显示终端4的显示单元42显示警报的内容，并且提示用户输入表示警报是否是错误警报的信息。图11是示意性图示在图9所示的对照设备的对照单元63中的登记的面部特征量与输入面部特征量之间的比较处理的概要的示图。参考图11，对照单元63将输入面部特征量“(323，54...)”与对应于对照列表61中的每个登记的面部图像的登记的面部特征量作比较。因此，对照单元63获得在每个输入面部特征量和每个登记的面部特征量之间的相似度。在该附图中，在输入面部和对照列表No. I中的登记的面部图像之间的相似度为“65”。在输入面部和对照列表No. 2中的登记的面部图像之间的相似度为“42”。图12是示意性图示对照单元63中的个体错误警报列表611中的特征量与输入面 部特征量之间的比较处理的概要的示图。如该附图中所示，对照单元63将输入面部特征量“(323，54...)”与对应于每个个体错误警报列表611中的每个面部图像相对应的特征量中相关联的一个作比较。因此，对照单元63获得与每个特征量相对应的相似度。因此，对照单元63获得在每个输入面部特征量和对应于每个面部图像以及每个个体错误警报列表611的相关联特征量之间的相似度。也就是说，获得了与每个错误警报列表和每个面部相对应的相似度。根据该附图，在输入特征量和个体错误警报列表No. I中行A上所描述的输入特征量和特征量“(5，65...)”之间的相似度为“51”。在输入特征量和个体错误警报列表No. 2中行B上描述的输入特征量和特征量“(13、55...)”之间的相似度为“46”。在输入特征量和个体错误警报列表No. 3中行C上所描述的输入特征量和特征量“(69，54...)”之间的相似度为“64”。图13是示意性图示在对照列表更新单元62中执行的阈值更新处理的概要的示图。在该附图中，将分别对应于错误警报列表面部的相似度“51，46，64”中的每一个与阈值“50”作比较。根据比较结果更新阈值。例如，将与错误警报列表面部No. I的行A相对应的阈值“51”与阈值“50”作比较。由于相似度“51”超过了阈值“50”，所以该阈值被更新为“51”。将分别对应于错误警报列表面部No. 2的行B和C的两个阈值“46”和“64”中的每一个与阈值“50”作比较。由于存在超过阈值“50”的相似度“64”，所以该阈值被更新为“64”。因此，获得了与每个登记的面部相对应的阈值。图14是示意性图示在比较单元65中执行的处理的概要的示图。在该示图中，比较单元65将在输入面部和登记的面部之间的相似度与对应于每个登记的面部的阈值作比较。如果相似度超过阈值，则执行警报激活。例如，在输入面部和对照列表No. I中的登记的面部之间的相似度“65”超过阈值“51”。因此，执行警报激活。然而，在输入面部和对照列表No. 2中的登记的面部之间的相似度“42”没有超过阈值“64”。因此，不执行警报激活。图19是用于图示根据本发明的对照设备5的操作的顺序图。在该图中，在步骤SlO中，面部特征提取单元33将输入面部特征量输出到对照单元63。然后，在步骤SI I，对照列表61将登记的面部特征量输出到对照单元63。在步骤S12，对照单元63通过将输入面部特征量与登记的面部特征量作比较来计算相似度。对照单元63将计算的相似度以及在输入面部和登记的面部之间的相似度的列表一起输出到比较单元65。在从对照单元63输出了相似度以及与登记的面部相对应的相似度列表之后，在步骤S13，关联的对照列表61将与每个登记的面部相对应的阈值和错误警报列表输出到个体阈值获取单元64。此外，在步骤S14，相关联的对照列表61将错误警报列表的面部特征量输出到对照单元63。在从对照列表61传送了错误警报列表的面部特征量之后，在步骤S15中，对照单元63将输入面部和错误警报列表的面部的特征量作比较，并且计算其间的相似度。然后，在步骤S16，对照单元63将在输入面部和错误警报列表面部之间的相似度列表输出到个体阈值获取单元64。在从对照单元63输出了在输入面部和错误警报列表面部之间的相似度列表之后，在步骤S17中，个体阈值获取单元64将在输入面部和错误警报列表面部之间的相似度与阈值作比较，并且将最高值用作阈值。然后，在步骤S18，个体阈值获取单元64将采用的阈值输出到比较单元65。在从个体阈值获取单元64传送了阈值之后，在步骤S19中，比较单元65将相似度和阈值作比较，并且确定警报激活的必要性。在该确定时，如果相似度小于阈值，则不执行警报激活。如果相似度等于或高于阈值，则执行警报激活。图15(a)和图15(b)是用于图示使用根据本发明的对照设备5的错误警报列表的应用的示例的示图。图15(a)和图15(b)是指示各人之间的相似度的表。假设每个登记的 人的所有阈值都为“50”。图示了一个示例，其中人I和2被登记在与三个模式“背景技术”、“个体错误警报列表”和“共用错误警报列表”中的每一个相对应的对照列表中，并且其中，访客A、B、C和D以该顺序进入商店。图16是示意性图示根据“背景技术”的警报确定处理的概要的示图。在该附图中，在访客A和对照列表No. I中的登记的面部之间的相似度“65”与阈值“50”作比较。相似度“65”等于或高于阈值“50”。因此，执行警报激活。接下来，将在访客B的面部和对照列表No. I中的登记的面部之间的相似度“55”与阈值“50”作比较。由于相似度“55”等于或高于阈值“50”，所以执行警报激活。接下来，在访客C的面部和对照列表No. 2中的登记的面部之间的相似度“50”与阈值“50”作比较。由于相似度“50”等于或高于阈值“50”，所以执行警报激活。接下来，将在访客D的面部和对照列表No. I中的登记的面部之间的相似度“60”与阈值“50”作比较。由于相似度“60”等于或高于阈值“50”，所以执行警报激活。因此，根据“背景技术”，错误警报总共被激活四次。图17是示意性图示采用“个体错误警报列表”的警报确定处理的概要的示图。在该示图中，将在访客A的面部和对照列表No. I中的登记的面部之间的相似度“65”与阈值“50”作比较。由于相似度“65”等于或高于阈值“50”，所以执行警报激活。此时，如果从用户给出了错误警报通知，则访客A被添加到与对照列表No. I相对应的个体错误警报列表。接下来，将在访客B和对照列表No. I中的登记的面部之间的相似度“55”与阈值“50”作比较。此外，将在访客B和与对照列表No. I中的个体错误警报列表相对应的访客A之间的相似度“68”与阈值“50”作比较。虽然在访客B和对照列表No. I中的登记的面部之间的相似度“55”超过了阈值“50”，但是在访客B和与对照列表No. I中的个体错误警报列表相对应的访客A之间的相似度“68”高于相似度“55”。因此，不执行警报激活。接下来，将在访客C的面部和对照列表No. 2中的登记的面部之间的相似度“50”与阈值“50”作比较。由于相似度“50”等于或高于阈值“50”，所以执行警报激活。然后，访客C被添加到对照列表No. 2中的个体错误警报列表。接下来，在访客D的面部和对照列表No. I中的登记的面部之间的相似度“60”与阈值“50”作比较。此外，将在访客D和与对照列表No. I中的个体错误警报列表相对应的访客A之间的相似度“51”与阈值“50”作比较。由于在访客D的面部和对照列表No. I中的登记的面部之间的相似度“60”高于在访客D和与个体错误警报列表相对应的访客A之间的相似度“51”，所以执行警报激活。然后，访客D被添加到对照列表No. I中的个体错误警报列表。省略了图示将访客A添加到对照列表No. I中的个体错误警报列表的示图。因此，通过允许对照列表中的每个登记的人具有错误警报列表，能够减少错误警报激活的次数(减少到总共三次的错误警报激活)。图18是示意性图示采用“共用错误警报列表”的警报确定处理的概要的示图。在该附图中，将在访客A的面部和对照列表No. I中的登记的面部之间的相似度“65”与阈值“50”作比较。由于相似度“65”等于或高于阈值“50”，所以执行警报激活。然后，访客A被添加到共用错误警报列表。接下来，将在访客B的面部和对照列表No. I中的登记的面部之间的相似度“55”与阈值“50”作比较。此外，将在访客B和共用错误警报列表中的访客A之 间的相似度“68”与阈值“50”作比较。然而，在访客B和共用错误警报列表中的访客A之间的相似度“68”高于在访客B的面部和对照列表No. I中的登记的面部之间的相似度“55”。因此，不执行错误激活。接下来，将在访客C的面部和对照列表No. 2中的登记的面部之间的相似度“50”与阈值“50”作比较。此外，将在访客C和共用错误警报列表中的访客A之间的相似度“48”与阈值“50”作比较。访客C的面部和对照列表No. 2中的登记的面部之间的相似度“50”高于阈值“50”，执行警报激活。然后，访客C被添加到共用错误警报列表。接下来，将在访客D的面部和对照列表No. I中的登记的面部之间的相似度“60”与阈值“50”作比较。此夕卜，将在访客D和共用错误警报列表中的访客C之间的相似度“64”与阈值“50”作比较。然而，在访客D和共用错误警报列表中的访客C之间的相似度“64”高于在访客D的面部和对照列表No. I中的登记的面部之间的相似度“60”，不执行错误激活。因此，通过允许对照列表具有共用错误警报列表，可以从初始阶段收集许多数据。结果，能够减少错误警报的次数(减少到总共两次的错误警报激活)。因此，根据实施例2的对照设备5提供有对照列表61，对照列表61具有由登记的面部图像的阈值构造的错误警报列表以及与登记的面部图像相对应的错误警报信息。在激活错误警报时，将输入面部图像作为错误警报信息添加到错误警报列表。如果通过将输入面部信息与错误警报信息进行对照所获得的错误警报信息的相似度大于在输入面部图像和登记的面部图像之间的相似度，则阈值被更新为使得阈值等于与错误警报信息相对应的相似度。与根据以上实施例I的对照设备I相比，能够将警报故障和错误警报的出现抑制到进一步更低的水平。虽然根据本实施例的每个对照列表61具有与每个登记的图像相对应的错误警报列表，但是对照列表62可以具有对于登记的图像共用的共用错误警报列表。(实施例3)图20是图示根据本发明的实施例3的对照设备的示意性构造的框图。顺便提及，在该图中，用相同的附图标记指示对于该对照设备以及根据以上实施例I的对照设备I共同的部分。在图20中，根据实施例3的对照设备7包括图像捕捉设备2、面部识别设备8、数据生成设备9和条件获取设备10。面部识别设备8包括图像输入单元31、面部检测单元32、面部特征提取单元33、对照列表71、对照单元36、个体阈值获取单元72和比较单元38。数据生成设备9包括样本数据库(DB) 91、他人相似度分布计算单元92以及样本数据生成单元93。条件获取设备10包括条件获取单元101。在面部识别设备8中，对照列表71管理登记的面部图像(因此，登记的面部特征量)和分别与所登记面部图像相关联的阈值。图21是图示对照列表71的示例的示图。在该附图中，对照列表No. I管理与每个登记的面部图像相对应的每个登记的面部特征量“(12，34，...)”以及根据条件所获得的阈值。条件被分组成集合“早晨”、“日间”和“夜间”。在每个集合中设定根据天气的阈值。类似地，对照列表No. 2管理与每个登记的面部图像相对应的每个登记的面部特征量“(45，12,...)”以及根据条件所获得的阈值。条件被分组为集合“早晨”、“日间”和“夜间”。在每个集合中设定根据天气的阈值。返回图20，对照单元36获得在面部特征提取单元33所获得的输入面部特征量和 由对照列表71管理的登记的面部特征量之间的相似度。对照单元36将结果输出到比较单元38。比较单元38将由对照单元36获得的相似度与从个体阈值获取单元72所获取的阈值作比较。如果所获得的相似度超过阈值，则执行警报激活。个体阈值获取单元72根据从条件获取设备10的条件获取单元101所获取的条件，来从对照列表71获取的阈值。除了时钟单元(未示出)之外，条件获取单元101包括诸如压力传感器和相机的传感器，并且获取当前条件(即，诸如捕捉主体的图像的日期和天气的条件)。顺便提及，利用相机基于照明差异来估计天气。在数据生成设备9中，样本数据库91在通过将面部图像样本与条件相关联来捕捉每个面部图像样本时管理面部图像样本以及诸如天气和时钟时间的条件。然后，他人相似度分布计算单元92获得对照列表71中登记的面部图像和由样本数据库91管理的面部图像样本之间的相似度。然后，对与每个条件相对应获得的相似度进行统计(tally)。此外，根据与每个条件相对应统计的相似度获得阈值。因此与对照列表71管理的每个面部图像相对应地设定与每个条件相对应的阈值。样本数据生成单元93从面部特征提取单元33收集面部图像和输入面部特征量作为面部样本。此外，样本数据生成单元93在收集面部样本时收集诸如天气和时钟时间的条件,并且将与每个条件相对应的面部样本进行归类以由此创建样本数据的数据库。图22是用于图示根据实施例3的对照设备7中的类别特定样本收集处理(即，样本数据库创建处理)的概要的流程图。在该附图中，首先在步骤SI中，图像输入单元31从图像捕捉设备2接收捕捉到的图像。然后，在步骤S2中，面部检测单元32从捕捉到的图像中检测人脸并且输出面部区域信息。面部检测单元32还输出捕捉到的图像。接下来，在步骤S3中，面部特征提取单元33从捕捉到的图像中的面部区域提取面部特征并且基于结果获得面部图像的特征量，即输入面部特征量。然后，在步骤S30中，数据生成设备9的样本数据生成单元93临时存储面部图像和输入面部特征量作为面部样本。接下来，在步骤S31中，条件获取设备10的条件获取单元101获取诸如天气和时钟时间的当前条件。然后，在步骤S32中，样本数据生成单元93对与每个条件相对应的面部样本进行分类并且生成样本数据80。图23是图示根据实施例3的对照设备7中执行的对照列表更新处理的概要的流程图。该处理由数据生成设备9的他人相似度分布计算单元92来执行。在该附图中，首先在步骤S40中，他人相似度分布计算单元92参考对照列表71并且获取所登记面部图像的特征量。在初始阶段，不设定阈值。因此，对照列表71仅包含登记的面部图像和登记的面部特征量，如步骤S40的右侧相邻部分中所示。然后，在步骤S41中，他人相似度分布计算单元92将登记的面部图像与通过以上类别特定的样本收集处理所获得的面部样本作比较。也就是说，他人相似度分布计算单元92将对照列表71中的每个登记的面部图像与通过类别特定的样本收集处理所获得的面部样本作比较以获得相似度。在这种情况下，“他人”可以包括具有每个登记的面部的相同人。然而，在统计上，这并没有问题。然后，在步骤S42中，他人相似度分布计算单元92基于在每个登记的面部图像和每个面部样本之间的比较来计算类别特定的平均相似度和标准偏差。也就是说，他人相似度分布计算单元92获得这样的与在每个登记的面部图像和与每个条件相对应的每个面部样本之间的比较结果相关的统计信息。在这种情况下，他人相似度分布计算单元92获得平 均相似度(Ave)和标准偏差(Std)。然后，在步骤S43中，他人相似度分布计算单元92从该统计信息获得阈值。在这种情况下，他人相似度分布计算单元92如下获得个体阈值(Thr)。也就是说，Thr=Ave (B卩，平均相似度)+Std (B卩，标准偏差)。最后，获得如图21所示进行构造的对照列表71。图24是用于图示根据实施例3的对照设备7中执行的黑名单对照处理的概要的流程图。在该附图中，在步骤S50中，图像输入单元31从图像捕捉设备2接收捕捉到的图像。面部检测单元32从捕捉到的图像中检测人脸。面部特征提取单元33从捕捉到的图像中的面部区域提取面部特征，并且获得输入面部特征量。然后，在步骤S51中，对照单元36将输入面部特征量与对照列表71中的登记的面部特征量进行对照并且获得相似度。这里，如步骤S51的右侧相邻部分中所图示，假设在输入面部特征量和对照列表No. I中的登记的面部特征量之间的相似度为“55”，并且在输入面部特征量和对照列表No. 2中的登记的面部特征量之间的相似度为“30”。接下来，在步骤S52中，条件获取设备10的条件获取单元101获取当前条件，例如，“AM 10:00”和“晴天”。在获取了当前条件之后，在步骤S53中，个体阈值获取单元72根据当前条件来获取阈值。这里，假设对照列表No. I中的条件“早晨”和“晴天”中的阈值为“65”，并且这样的阈值在对照列表No. 2中为“50”，如步骤S53的右侧相邻部分中所图示。虽然以上已经使用时钟时间和天气作为条件示例对以上描述进行了描述，但是只要影响到对人员图像的捕捉，就可以使用任何其它条件。例如，可以使用室内照明。接下来，在步骤S54，比较单元38将个体阈值获取单元72所获取的阈值与从对照单元36输出的相似度作比较并且执行警报确定。顺便提及，确定与每个类别相对应的阈值。例如，在输入面部特征量和对照列表No. I中的登记的面部特征量之间的相似度“55”为“55”、在输入面部特征量和对照列表No. 2中的登记的面部特征量之间的相似度“55”为“30”、对照列表No. I中的阈值为“65”并且对照列表No. 2中的阈值为“50”的情况下，没有相似度超过阈值。因此，不执行警报激活。顺便提及，根据本发明，在与每个条件相对应的阈值被执行时不必使用样本图像。他人相似度分布计算单元92可以从登记的面部图像与最新访客的面部图像的对照结果估计当前状态并且获得满足条件的阈值。图25是图示在登记的面部图像和捕捉到的访客面部图像之间的时间特定的相似度的示例的示图。通过以规律时间间隔计算登记的面部图像和的访客面部图像之间的相似度的平均值来获得该图形。登记的面部图像是在接近背光面部的情况下的图像示例(即，在后部照明和前部照明之间的差异非常大的条件下捕捉到的面部)。从该图形发现，如果捕捉访客图像的条件是晴天天气(背光)，则访客面部与登记的面部之间的相似度高，并且如果捕捉访客的条件为仅使用室内照明，则访客面部与登记的面部之间的相似度低。因此，可以使用最新的相似度来估计用于捕捉访客的条件。他人相似度分布计算单元92保留有表示登记的面部图像与最近的N个访客(例如，N=IOO)中的每一个的面部图像的相似度的平均值(Ave)和标准偏差(Std)的数据。此夕卜，他人相似度分布计算单元92使用以下表达式获得阈值。即，Thr=Ave+AXStd (顺便提及，“A”是常数)。在标准偏差(即，从平均值变化的程度)Std大的情况下(S卩，在照明条件发生变化的时间段中)，缺省阈值或常数A可以被设定为根据图形的曲线的倾斜率的数值(例如，在曲线上升的时间段期间，A=3.0，而在曲线下降的时间段期间，A=O. I)。用于确定常数 A的倾斜率可以从图形中的曲线的点来获得，其表示最近N个访客的数据。从最新相似度所获得的阈值反映了获得该阈值时的条件。因此，条件获取装置是不必要的。结果，对照列表保留有与每个登记的面部图像相对应的阈值而不是与每个条件相对应的阈值，并且他人相似度分布计算单元92使用所获得的阈值来周期性地更新对照列表中的阈值是可取的。因此，考虑条件所获得的阈值可以通过简单构造来使用。因此，根据实施例3的对照设备7包括条件获取单元101，该条件获取单元101被构造为在捕捉图像时获取包括日期和天气的条件。他人相似度分布计算单元92根据获取登记的面部图像时的条件对用作确定是否执行警报激活的标准的阈值进行分类。此外，他人相似度分布计算单元92根据条件获取单元101所获得的条件来确定阈值。因此，与以上根据实施例I的对照设备I相比，警报故障和错误警报的发生可以被抑制到进一步更低的水平。顺便提及，根据以上实施例1、2和3的对照设备1、5和7被构造为对人脸图像进行处理。然而，根据本发明的对照设备所处理的对象并不局限于人脸。根据本发明的对照设备可以处理整个人的图像。替代地，根据本发明的对照设备可以处理人之外的主体。因此，输入面部图像可以作为输入图像进行处理。登记的面部图像可以作为所登记图像进行处理。已经参考特定实施例对本发明进行了详细描述。然而，对于本领域技术人将显而易见的是，能够在并不背离本发明的精神和保护范围的情况下对本发明进行各种变化和修改。本申请基于2010年4月19日提交的日本专利申请(日本专利申请号2010-096009)，其全部内容通过引用合并于此。工业实用件本发明的优势在于能够将警报故障或错误警报的发生抑制到低水平，并且能够适用于相机系统以进行安全操作管理以及重要访问顾客管理。附图标记描述
1,5,7 对照设备2 图像捕捉设备3,6,8 面部识别设备4 显示终端9 数据生成设备10:条件获取设备31 图像输入单元32:面部检测单元
33:面部特征提取单元34，61，71:对照列表35,62 对照列表更新单元36,63 对照单元37,72 个体阈值获取单元38,65 比较单元41 输入接收单元42 显示单元64 个体阈值计算单元91 样本数据库92 他人相似度分布计算单元93 样本数据生成单元101 条件获取单元411 用户接口611 个体错误警报列表612共用错误警报列表4113 “不要错过”按钮4114 “干扰”按钮
权利要求
1.一种对照设备,包括 对照列表，所述对照列表被构造为保留有错误警报列表，所述错误警报列表包括登记的图像、用作用于确定是否执行警报激活的准则的阈值、以及错误警报人的图像； 对照单元，所述对照单元被构造为将输入图像与由所述对照列表管理的所述登记的图像或所述错误警报人的图像进行对照，从而获得它们之间的相似度；以及 比较单元，所述比较单元被构造为比较由所述对照单元获得的在所述输入图像和所述错误警报人的图像之间的相似度的值和所述阈值中的较大的一个；以及由所述对照单元获得的在所述输入图像和所述登记的图像之间的相似度，从而确定是否执行所述警报激活。
2.根据权利要求I所述的对照设备，其中，所述对照列表包括用于每个登记的图像的错误警报列表。
3.根据权利要求I所述的对照设备，其中，所述对照列表包括对于所述登记的图像共用的错误警报列表。
4.根据权利要求2或3所述的对照设备，其中，如果所述警报激活是错误警报的激活，则所述对照列表将输入图像作为错误警报信息添加到所述错误警报列表中。
5.根据权利要求I所述的对照设备，其中，所述对照列表分别保留有登记的图像特征量以及错误警报人图像特征量，而不是所述登记的图像和所述错误警报人的图像。
6.—种对照设备,包括 对照列表，所述对照列表被构造为保留有登记的图像、以及与每个登记的图像相对应并且用作用于确定是否执行警报激活的准则的阈值； 对照单元，所述对照单元被构造为参照输入图像以及由所述对照列表管理的所述登记的图像，从而获得它们之间的相似度；以及 比较单元，所述比较单元被构造为将由所述对照单元获得的相似度与由所述对照列表管理的阈值相比较，从而确定是否执行所述警报激活。
7.根据权利要求6所述的对照设备，进一步包括 用户输入接收单元，所述用户输入接收单元被构造为接收来自用户的输入；以及对照列表更新单元，所述对照列表更新单元被构造为根据所述用户输入接收单元所接收到的内容来对由所述对照列表管理的所述阈值进行更新。
8.根据权利要求6所述的对照设备，进一步包括 条件获取单元，所述条件获取单元被构造为获取在捕捉图像时的条件， 其中，所述对照列表保留有所述阈值以便于与每个条件相对应，并且其中，所述比较单元将由所述对照单元获得的相似度与由所述条件获取单元获取的所述条件相比较，从而确定是否执行所述警报激活。
9.根据权利要求8所述的对照设备，进一步包括 他人相似度分布计算单元，所述他人相似度分布计算单元被构造为生成要由所述对照列表管理的所述阈值。
10.根据权利要求9所述的对照设备，其中，所述他人相似度分布计算单元获得在借助所述条件进行分类的样本图像和所述登记的图像之间的相似度、并且将对所获得的相似度进行统计处理的结果设定为所述阈值。
11.根据权利要求6所述的对照设备，其中，所述对照列表保留有所述登记的图像的特征量，而不是所述登记的图像。
12.—种对照方法,包括 对照列表步骤，所述对照列表步骤保留有错误警报列表，所述错误警报列表包括登记的图像、用作用于确定是否执行警报激活的准则的阈值、以及错误警报人的图像； 对照步骤，所述对照步骤将输入图像与由所述对照列表管理的所述登记的图像或所述错误警报人的图像进行对照，从而获得它们之间的相似度；以及 比较步骤，所述比较步骤比较在所述对照步骤中获得的在所述输入图像和所述错误警报人的图像之间的相似度的值和所述阈值中的较大的一个；以及在所述对照步骤中获得的在所述输入图像和所述登记的图像之间的相似度，从而确定是否执行所述警报激活。
全文摘要
本发明提供了一种能够通过考虑过去对照的结果以及图像捕捉环境来将警报故障或错误警报的发生抑制到低水平的对照设备。该对照设备包括对照列表(34)，被构造为保留有包括登记的图像、登记的面部特征量、用作确定是否执行警报激活的准则的阈值以及错误警报人的图像的错误警报列表；对照列表更新单元(35)，被构造为更新对照列表(34)管理的阈值；对照单元(36)，被构造为将输入面部特征量与登记的面部特征量进行对照并且获得相似度；比较单元(38)，被构造为将对照单元(36)所获得的相似度与对照列表(34)所管理的阈值作比较并且确定是否执行警报激活；和对照列表更新单元(35)，被构造为利用输入接收单元(41)接收到的用户输入来更新对照列表(34)中的阈值。结果，通过考虑到过去对照的结果以及图像捕捉设备(2)进行图像捕捉的图像捕捉环境而改变阈值，能够将警报故障或错误警报的发生抑制到低水平。
文档编号G06T7/00GK102859554SQ201180019918
公开日2013年1月2日 申请日期2011年4月13日 优先权日2010年4月19日
发明者由雄宏明 申请人:松下电器产业株式会社