对照装置、数字图像处理系统、以及对照装置的控制方法

专利名称：对照装置、数字图像处理系统、以及对照装置的控制方法
技术领域：
本发明涉及进行包含对象物、例如人物的面部的图像数据的对照处理的对照装置寸。
背景技术：
以往，提出了应用面部认证技术来对照通过数字摄像机等拍摄所获得的面部图像中包含的人物的面部是谁的面部的面部对照装置。
在这样的面部对照装置中，预先将包含人物的面部的面部图像注册到数据库中， 并将拍摄所获得的输入面部图像与数据库进行对照。
这里，已知面部认证技术中的认证精度受到面部图像的拍摄条件的影响。作为拍摄条件，例如可举出面部的朝向、面部的表情、照明的朝向和强度等。
并且，在输入面部图像的拍摄条件和注册面部图像的拍摄条件不一致时，认证精度会下降，因此有时虽然输入面部图像以及注册面部图像中包含的人物是同一人物，但不认为相同而导致对照失败。
对于该问题，以往，提出了通过设法利用注册数据从而防止认证精度的下降的以下技术。
在专利文献1中，将在不同的拍摄条件下拍摄所得的多个面部图像与拍摄条件一同注册到数据库，并且在对照时，对这些面部图像进行1:N对照。
若使用图22具体说明，则如下。如图22所示，事先关于A君、B君、C君的各人物， 在注册面部图像数据库1021中注册多个面部图像以及拍摄条件。
关于A君，与面部图像A1101、A1102、A1103以及A1104相关联，分别注册了拍摄条件“正面(0 15度)”、“稍微倾斜(15 45度)”、“倾斜(45 75度)”以及“侧脸(75 90 度)，，。
此外，关于B君，将面部图像BllOl以及B1102分别与“正面(0 15度)”以及
“稍微倾斜(15 45度)”相关联地注册。
此外，关于C君，将面部图像CllOl以及C1102分别与“正面(0 15度)”以及
“稍微倾斜(15 45度)”相关联地注册。
在对照时，关于已注册的所有面部图像判定相似度，并且关于相似度最高的面部图像，根据拍摄条件确定本人。
在专利文献2中，关于各个注册人物，对考虑了照明条件和姿势、表情等变动因素的多张图像进行注册，并进行与由这些生成的代表面部图像的对照。
若使用图23具体说明，则如下。如图23所示，事先关于A君、B君、C君的各人物， 个别地注册多个面部图像以及拍摄条件，并且制作基于这些而生成的代表面部图像。
关于A君，预先注册拍摄条件为“正面”的面部图像A1201、拍摄条件为“稍微倾斜” 的面部图像A1202、以及拍摄条件为“倾斜”的面部图像A1203。此外，关于B君，预先注册拍摄条件为“正面”的面部图像B1201以及拍摄条件为“稍微倾斜”的面部图像B1202。此外，关于C君，预先注册拍摄条件为“稍微倾斜”的面部图像C1202以及拍摄条件为“倾斜” 的面部图像C1203。
然后，关于A君，基于面部图像A1201 1203生成代表图像D1201。此外，关于B 君，基于面部图像B1201、B1202生成代表图像D1202，关于C君，基于面部图像C1202、C1203 生成代表图像D1203。
然后，在对照时，进行输入面部图像和代表面部图像的相似度的判定，对照的结果，与判定为相似度低的代表面部图像对应的个别的注册面部图像不作为对照对象。此外， 在专利文献2中还记载了如图M所示那样分层生成代表面部图像。图M示出了为了对照处理，对性别单位的代表图像、年代单位的代表图像、以及人物的代表图像，以三层方式生成代表图像。
例如，示出了 A君的代表图像D1231根据个别图像A1241以及A1242生成。关于 B G君也是同样。此外，示出了根据A君的代表图像D1231以及B君的代表图像D1232生成十几岁的代表图像D1221。并且，由十几岁的代表图像D1221、二十几岁的代表图像D1222 以及三十几岁的代表图像D1223生成男子的代表图像D1211。
在对照时，将输入面部图像与性别单位的代表图像、年代单位的代表图像、以及人物的代表图像，顺序按每一层进行比较，从而确定人物。
在专利文献3中，将根据在某一条件下(例如照明、面部朝向、表情、年龄等)拍摄的面部图像所获得的特征量向量变换为另一条件下的特征量向量。由此，在对照时，使输入面部图像的拍摄条件与成为对照对象的图像的拍摄条件一致。
例如，若使用图25示出，则当关于A君，在注册面部图像数据库1321中注册了拍摄条件为“暗”的面部图像A1301时，在特征量变换器1301A中对特征量向量进行变换，获得拍摄条件为“亮”的面部图像A1311以及拍摄条件为“稍微暗”的面部图像A1312后将其存储到变换后特征量数据库。
在专利文献4中，在注册面部图像时，仅注册与面部认证相称的面部图像。作为用于识别面部图像而相称的条件，例如仅注册正面的面部图像。然后，在面部识别时，判断输入面部图像中包含的人物是否为正面朝向，通过仅识别能够进行面部识别的面部图像，从而提高识别精度。
例如，如图沈所示，在注册面部图像数据库1421中，关于A君、B君以及C君，分别注册拍摄条件为“正面”的注册面部图像A1401、A1402以及A1403。然后，将拍摄条件为 “正面”的输入面部图像P1401与这些注册面部图像A1401、A1402以及A1403进行对照。
在专利文献5中，对输入面部图像的照明条件和拍摄方向等参数进行估计，并对注册面部图像进行以输入面部图像的参数为目标的参数调整，生成对照用面部图像，并将其与输入面部图像进行对照。
例如，如图27所示，在注册面部图像数据库1521中，关于A君、B君以及C君，注册以下的注册面部图像。
首先，关于A君，注册拍摄条件为“稍微倾斜”的注册面部图像A1502以及拍摄条件为“侧脸”的注册面部图像A1504。
此外，关于B君，注册拍摄条件为“正面”的注册面部图像B1501。并且，关于C君， 注册拍摄条件为“正面”的注册面部图像C1501以及注册拍摄条件为“稍微倾斜”的注册面部图像C1502。
然后，在对照时，关于A君、B君以及C君的每个人，根据拍摄条件与输入面部图像 P1501的拍摄条件“倾斜”接近的注册面部图像而生成对照用图像A1511、B1511以及C1511。
例如，关于A君，基于注册面部图像A1502生成拍摄条件为“倾斜”的对照用图像 A1511，关于B君，基于注册面部图像B1501生成拍摄条件为“倾斜”的对照用图像B1511，关于C君，基于注册面部图像C1502生成拍摄条件为“倾斜”的对照用图像C1511。然后，将输入面部图像P1501与已生成的对照用图像进行对照。
并且，在专利文献6中，对每个注册者准备所指定的条件下的注册面部图像，在对照时使用与输入面部图像的条件相同的面部图像，从而提高认证精度。
若使用图28进行说明，则关于各人物，在包含拍摄条件“正面”、“上”、“下”、“左”、 “右”等的9个拍摄条件下准备9张注册面部图像。关于A君注册了注册面部图像A1601 A1609，关于B君注册了注册面部图像B1601 B1609，关于C君注册了注册面部图像 C1601 C1609。
在对照时，例如输入了拍摄条件为“下”的输入面部图像P1601时，与对应于拍摄条件“下”的拍摄条件的注册面部图像A1608、B1608、C1608进行对照处理。
[专利文献1](日本)特开2005-115481号公报(2005年4月观日公开) [专利文献2](日本)特开2006-31387号公报(2006年2月2日公开) [专利文献3](日本)特开2007-2^441号公报(2007年9月6日公开) [专利文献4](日本)特开2005-4454号公报(2005年1月6日公开) [专利文献5](日本)特开2000-306095号公报(2000年11月2日公开) [专利文献6](日本)特开2005-56004号公报(2005年3月3日公开) 但是，在上述以往技术一般存在以下问题，即在使用没有注册在数据库的拍摄条件下所拍摄的面部图像进行认证时，认证精度下降。若分别具体说明则如下。
首先，专利文献1以及2的技术在使用没有注册在数据库的拍摄条件下所拍摄的面部图像进行了认证时，有可能错误认证为是注册有该拍摄条件的另一人。
关于专利文献1，若再次参照图22详细说明，则在拍摄B君的侧脸所获得的面部图像数据作为输入面部图像被输入的情况下，由于关于A君的注册面部图像而注册有拍摄条件“侧脸”，因此输入面部图像的拍摄条件与A君的注册面部图像的拍摄条件一致。因此有可能将输入面部图像中包含的人物误认为是A君。
这是因为如下判定的缘故，与B君的拍摄条件为“稍微倾斜”的注册面部图像 B1103相比，B君的拍摄条件为“侧脸”的输入面部图像更相似于相同的“侧脸”的拍摄条件下所拍摄的A君的注册面部图像A1104。
此外，在专利文献2的情况下，代表图像的内容受到原来的个别面部图像的拍摄条件的影响。在图23中，在A君的注册数据中存在拍摄条件为“倾斜”的个别面部图像 A1203。因此，在作为输入面部图像而输入了拍摄条件为“倾斜”的B君的面部图像时，由于个别面部图像A1203的影响，可能无法正确地进行对照，不将B君作为对照结果返回，而是将A君作为对照结果返回。
此外，专利文献3的技术在将某一条件下的特征量向量变换为另一条件下的特征量向量时，会因各种各样的因素而产生误差，其结果，可能引起错误认证。
例如，每个人的面部的凹凸不同，因此即使照射相同方向和亮度的光，受光面(阴影面)也会不同。因此，在变换照明的相关状况的条件时，必须考虑这样的个人差异。因此， 需要关于A君 C君的各人物而准备图25所示的特征量变换器1301A 1301C。但是，即使这样，单独排除个人差异所导致的误差在现实中也是困难的。
此外，专利文献4的技术在提供了与注册数据不同的拍摄条件的面部图像作为输入面部图像的情况下，例如注册了拍摄条件为“正面”的面部图像，但输入了拍摄条件为“倾斜”的面部图像的情况下，存在根本就无法进行面部认证的问题。
此外，专利文献5的技术在生成从任意的视点的面部图像时会产生误差(参照段落W071])。此外，虽然提及了为了消除这一问题而预先准备多个视点的图像的措施(参照段落W065])，但由于未必能够备齐满足条件的所有图像，因此可以说这样的措施并不现实。
并且，专利文献6的技术仅记载了在拍摄条件一致的注册数据之间的对照，但没有记载已注册的人物之间拍摄条件不一致的情况。因此，理解为在所有的人物的注册数据中，以使拍摄条件一致作为前提(参照段落W054]、 J012U)。因此，没有设想以在数据库中没有注册的拍摄条件下所拍摄的面部图像进行对照的情况。

发明内容
本发明鉴于上述问题点而完成，其目的在于，实现关于在数据库中没有注册的拍摄条件下所拍摄的输入图像进行对照的情况下，能够提高对照的精度的对照装置等。
本发明的对照装置为了解决上述课题，在将拍摄了对象物的输入图像与注册图像数据库进行对照，从而确定上述输入图像中包含的对象物的对照装置中，该注册图像数据库中对每个对象物注册了拍摄该对象物所获得的注册图像，该对照装置的特征在于，在上述注册图像数据库中，上述注册图像和该注册图像中包含的对象物被拍摄时的条件相关联地注册，所述对照装置包括条件检测部件，检测上述输入图像中包含的对象物被拍摄时的条件；条件判定部件，判定作为与上述注册图像相关联的上述条件的注册条件与作为从上述输入图像检测出的上述条件的检测条件之间的接近程度；条件确定部件，基于所判定的上述注册条件以及上述检测条件之间的接近程度，在对各对象物公共地注册的注册图像的上述注册条件中，确定最接近从上述输入图像检测出的上述检测条件的注册条件；以及对照部件，使用相关联了所确定的上述注册条件的注册图像进行对照。
此外，本发明的对照装置的控制方法为了解决上述课题，在将拍摄了对象物的输入图像与注册图像数据库进行对照，从而确定上述输入图像中包含的对象物的对照装置的控制方法中，该注册图像数据库中对每个对象物注册了拍摄该对象物所获得的注册图像， 该对照装置的控制方法的特征在于，在上述注册图像数据库中，上述注册图像和该注册图像中包含的对象物被拍摄时的条件相关联地注册，所述对照装置的控制方法包括条件检测步骤，检测上述输入图像中包含的对象物被拍摄时的条件；条件判定步骤，判定作为与上述注册图像相关联的上述条件的注册条件与作为从上述输入图像检测出的上述条件的检测条件之间的接近程度；条件确定步骤，基于所判定的上述注册条件以及上述检测条件之间的接近程度，在对各对象物公共地注册的注册图像的上述注册条件中，确定最接近从上述输入图像检测出的上述检测条件的注册条件；以及对照步骤，使用相关联了所确定的上述注册条件的注册图像进行对照。
根据上述结构，在对照时，能够使用与最接近输入图像的检测条件的注册条件且对各人物公共地注册的注册条件相关联的注册图像进行对照。
这里，对照是指通过判定输入图像和注册图像的相似度，从而确定输入图像中包含的对象物是注册图像数据库中注册的对象物中的哪一个的处理。
作为对象物被拍摄时的条件，包含与进行拍摄时的环境有关的条件、与成为被摄体的对象物的状态有关的条件。
上述对象物是指以人物以及车辆为首的能够模式识别的物体等。此外，对象物也可以是某一对象物的一部分。即，打个比方说，某一人物和该某一人物的面部的关系。
作为与进行拍摄的环境有关的条件，例如在上述对象物为人物的情况下，可举出人物的面部的朝向，换言之拍摄部件(摄像机等)相对于人物的朝向、面部的表情、照明的朝向和强度等。此外，作为与成为被摄体的对象物的状态有关的条件，例如可举出人物的估计年龄、性别等能够从人物的外观进行估计的条件。
从而，若是人物的面部的朝向，则条件的接近程度是指其角度接近到什么程度，若是人物的估计年龄，则条件的接近程度是指其年龄接近到什么程度。
由于使用与对各对象物公共地注册的条件相关联的注册图像进行对照，因此能够使得用于对照的条件一致。
此外，在各对象物中对照的条件一致的状态的注册条件中，使用与最接近输入图像的检测条件的注册条件相关联的注册图像，因此对照的精度也将提高。
其结果，起到当输入图像被拍摄时的检测条件与注册图像被拍摄时的注册条件不同的情况下也能够得到精度高的对照结果的效果。
在本发明的对照装置中，优选上述条件判定部件关于注册图像数据库中所注册的某一对象物，判定上述注册图像的上述注册条件与从上述输入图像检测出的上述检测条件之间的接近程度，上述条件确定部件在上述判定的结果，按照上述注册条件以及上述检测条件的接近程度从近到远的顺序，关于在注册图像数据库中所注册的另一对象物的注册图像相关联的注册条件，判定是否存在与有关上述某一对象物的上述注册条件一致的条件， 从而确定最接近从上述输入图像检测出的上述检测条件的上述注册条件。
根据上述结构，首先，关于某一人物判定注册图像的注册条件与从输入图像检测出的检测条件之间的接近程度。然后，基于关于某一人物所判定的条件的接近程度，在对各人物公共地注册的注册图像的注册条件中，确定最接近从上述输入图像检测出的检测条件的注册条件。
这时，通过判定关于某一人物所注册的注册图像的注册条件是否作为另一人物的注册图像的注册条件而存在，从而确定最接近从上述输入图像检测出的检测条件的注册条件。
这样，根据上述结构，以关于某一人物所注册的注册图像的注册条件为基准，顺序判定是否作为另一人物的注册图像的注册条件而存在，从而能够确定对各人物公共地注册的注册图像的注册条件。
从而，即使不预先调查对各人物公共地注册的注册图像的注册条件，也能够比较简便且有效地确定最接近从输入图像检测出的检测条件并且关于各人物公共地注册的注册条件。
在本发明的对照装置中，优选包括选择部件，预先选择对各对象物公共地注册的注册图像的上述注册条件，上述条件确定部件从预先选择的上述注册条件，确定最接近从上述输入图像检测出的上述检测条件的注册条件。
根据上述结构，由于预先选择用于对照的注册条件，因此起到能够实现对照处理的高速化以及处理负担的减少的效果。
在本发明的对照装置中，优选包括合计部件，将与上述注册图像数据库中所注册的上述注册图像相关联的注册条件的数目，按照每个该注册条件进行合计；以及注册条件检测部件，检测上述注册图像数据库中所注册的对象物的数目和所合计的上述注册条件的数目一致的注册条件，上述条件判定部件从上述检测出的注册条件，确定最接近从上述输入图像检测出的上述检测条件的注册条件。
在注册图像数据库中所注册的人物的数目和某一注册条件的数目一致的情况下， 该某一注册条件是关于各人物公共地注册的注册条件。
根据上述结构，合计注册条件而判定是否与注册图像数据库中所注册的人物的数目一致，因此能够迅速地求出关于各人物公共地注册的注册条件，起到能够提高对照处理的速度的效果。
在本发明的对照装置中，优选上述条件确定部件在对上述各对象物公共地注册的注册图像的上述注册条件不存在的情况下，对每个对象物确定最接近从上述输入图像检测出的上述检测条件的上述注册条件。
根据上述结构，即使在对各人物公共地注册的注册图像的注册条件不存在的情况下，也能够对每个人物确定最接近从输入图像检测出的检测条件的注册条件。并且，能够使用与这样确定的注册条件相关联的注册图像进行对照。
从而，即使在对各人物公共地注册的注册图像的注册条件不存在的情况下，也能够尽量使得用于对照的注册图像的注册条件一致，起到提高对照的精度的效果。
在本发明的对照装置中，优选上述注册条件以及上述检测条件是表示对象物被拍摄时的拍摄条件的连续值中的特定的值。
根据上述结构，注册条件以及检测条件是表示人物被拍摄时的拍摄条件的连续值中的特定的值。表示拍摄条件的连续值例如是指，人物被拍摄时的方向、该人物的估计年龄等。
由于基于这样的连续值进行对照，因此起到能够基于更详细的基准进行对照的效果。
在本发明的对照装置中，优选上述对象物是人物的面部。
S卩，输入图像是拍摄了人物的面部的输入面部图像，在上述注册图像数据库中对每个人物注册了拍摄该人物的面部所获得的注册面部图像。
根据上述结构，起到能够高精度地对人物的面部进行对照的效果。
另外，能够理想地构成包括上述对照装置和将上述输入图像提供给上述对照装置的图像输入装置的数字图像处理系统。
作为数字图像处理系统的例子，可举出打印机、扫描仪、个人计算机、数字摄像机等。此外，也可以采用上述对照装置和上述图像输入装置通过通信网络而连接的结构。
此外，上述对照装置也可以通过计算机来实现，这时，通过使计算机作为上述各部件发挥作用从而由计算机实现对照装置的对照装置控制程序以及记录了它的计算机可读取的记录介质也属于本发明的范畴。
本发明的对照装置的结构为，在注册图像数据库中，注册图像和该注册图像中包含的对象物被拍摄时的条件相关联地注册，所述对照装置包括条件检测部件，检测输入图像中包含的对象物被拍摄时的条件；条件判定部件，判定作为与上述注册图像相关联的上述条件的注册条件与作为从上述输入图像检测出的上述条件的检测条件之间的接近程度； 条件确定部件，基于所判定的上述注册条件以及上述检测条件之间的接近程度，在对各对象物公共地注册的注册图像的上述注册条件中，确定最接近从上述输入图像检测出的上述检测条件的注册条件；以及对照部件，使用相关联了所确定的上述注册条件的注册图像进行对照。
此外，本发明的对照装置的控制方法是如下的方法，在注册图像数据库中，注册图像和该注册图像中包含的对象物被拍摄时的条件相关联地注册，所述对照装置的控制方法包括条件检测步骤，检测输入图像中包含的对象物被拍摄时的条件；条件判定步骤，判定作为与上述注册图像相关联的上述条件的注册条件与作为从上述输入图像检测出的上述条件的检测条件之间的接近程度；条件确定步骤，基于所判定的上述注册条件以及上述检测条件之间的接近程度，在对各对象物公共地注册的注册图像的上述注册条件中，确定最接近从上述输入图像检测出的上述检测条件的注册条件；以及对照步骤，使用相关联了所确定的上述注册条件的注册图像进行对照。
由此，起到即使在输入图像被拍摄时的条件和注册图像被拍摄时的条件不同的情况下，也可得到精度高的对照结果的效果。


图1是表示本发明的一实施方式的面部对照装置的构成例的功能方框图。
图2是表示上述面部对照装置具备的注册面部图像数据库中存储的注册数据的一例的图。
图3是表示了上述面部对照装置中的注册处理的流程的一例的流程图。
图4是表示上述面部对照装置中的对照处理的流程的一例的流程图。
图5是表示上述面部对照装置中的对照处理的具体例的图。
图6是表示本发明的另一实施方式的面部对照装置的构成例的功能方框图。
图7是表示上述面部对照装置中的事先选择处理的流程的一例的流程图。
图8是表示上述面部对照装置中的对照处理的流程的一例的流程图。
图9是表示上述面部对照装置中的事先选择处理以及对照处理的具体例的图。
图10是表示本发明的又一实施方式的面部对照装置的构成例的功能方框图。
图11是表示了上述面部对照装置中的注册处理的流程的一例的流程图。
图12是表示上述面部对照装置中的对照处理的流程的一例的流程图。
图13是表示上述面部对照装置具备的注册面部图像数据库中存储的注册数据的一例的图。
图14是表示上述面部对照装置具备的合计信息存储单元中存储的合计信息的一例的图。
图15是表示本发明的又一实施方式的面部对照装置的构成例的功能方框图。
图16是表示上述面部对照装置中的对照处理的流程的一例的流程图。
图17是表示上述面部对照装置中的选择步骤的具体例的图。
图18是表示本发明的又一实施方式的面部对照装置的构成例的功能方框图。
图19是表示了上述面部对照装置中的注册处理的流程的一例的流程图。
图20是表示了上述面部对照装置中的对照处理的流程的一例的流程图。
图21是表示上述面部对照装置具备的注册面部图像数据库中存储的注册数据的一例的图。
图22是说明以往的对照处理的图。
图23是说明以往的对照处理的图。
图M是说明以往的对照处理的图。
图25是说明以往的对照处理的图。
图沈是说明以往的对照处理的图。
图27是说明以往的对照处理的图。
图28是说明以往的对照处理的图。
标号说明 1面部对照系统(数字图像处理系统) 10、10A IOD面部对照装置(对照装置) 11 操作单元 12 显示单元 20 存储单元 2U21D注册面部图像数据库(注册图像数据库) 22合计信息存储单元 30 控制单元 31面部图像取得单元 32、32D条件检测单元(条件检测部件) 33 ID取得单元 34.34B.34D面部图像注册单元(合计部件) 35、35C、35D注册面部图像选择单元(条件判定部件、条件确定部件) 36.36A.36B对照单元(对照部件) 37注册面部图像事先选择单元(选择部件) 38标志判定单元(条件判定部件) 50拍摄装置(图像输入装置) 51 拍摄单元
具体实施例方式[实施方式1] 参照图1 图5说明有关本发明的面部对照装置的一实施方式。
如图1所示，面部对照系统(数字图像处理系统)1是包括面部对照装置(对照装置)10以及拍摄装置(图像输入装置)50的结构。
拍摄装置50包括对被摄体进行拍摄而生成图像的拍摄单元51。
拍摄单元51具体由拍摄透镜、拍摄元件、帧存储器、机械机构、电机等构成。此外， 作为拍摄元件，能够采用CCD(电荷耦合装置)、CMOS (互补金属氧化物半导体)等。
另外，在以下，为了便于说明，假设在拍摄单元51中从规定方向对作为被摄体的人物进行拍摄，并生成包含人物的面部的面部图像。
面部对照装置10与拍摄装置50可通信地连接，能够从拍摄装置50具备的拍摄单元51取得面部图像。以下，将从拍摄单元51取得的面部图像称为“输入面部图像”。
面部对照装置10是包括操作单元11、显示单元12、存储单元20以及控制单元30 的结构。
操作单元11从用户接受各种输入，由输入用按钮、键盘、数字键、鼠标等指示设备、触摸面板、其他输入设备构成。根据所接受的用户的操作而生成操作数据，并将生成的操作数据发送到控制单元30。
显示单元12对用户进行用于提供信息的画面显示。显示单元12基于从控制单元 30接收的画面数据，在显示画面上显示字符和图像等各种信息。显示单元12例如由IXD(液晶显示器)、PDP (等离子显示面板)、EL (场致发光)显示器等显示设备构成。
存储单元20存储各种数据以及程序。作为存储单元20的结构，例如可举出硬盘等非易失性的存储装置、用于存储控制单元30工作时所需的程序和用于各种控制的固定数据的读出专用的半导体存储器即R0M(只读存储器)、作为暂时存储用于运算的数据以及运算结果等的所谓的工作存储器的RAM、存储各种设定数据等的可改写的非易失性存储器 (例如闪速存储器)。另外，关于存储单元20的细节将在后面叙述。
控制单元30统一控制面部对照装置10中的各种功能。控制单元30的控制功能通过CPU(中央处理单元)等的处理装置执行控制程序而实现。该控制程序例如可以存储在RAM(随机存取存储器)和闪速存储器等作为存储元件的存储单元20，也可以是读取装载在硬盘等中的程序而使用的实施方式。另外，关于控制单元30的细节将在后面叙述。
(关于存储单元的细节) 下面，使用图1以及图2说明存储单元20的细节。如图1所示，存储单元20是包括用于将面部图像与各种数据一同注册的注册面部图像数据库(注册图像数据库)21的结构。使用图2说明在注册面部图像数据库21中所注册的注册数据。
如图2所示，在注册面部图像数据库21中，对每个人物，注册面部图像和拍摄条件 (注册条件)相关联地作为注册数据而注册。
所注册的人物被赋予了 “A君”、“B君”以及“C君”等ID，由此来识别个人。这些只是一例，识别ID可以使用任意标识。
另外，在以下，将所注册的面部图像、即将从拍摄单元51取得的输入面部图像注册到注册面部图像数据库21的图像称为“注册面部图像”。
拍摄条件是表示拍摄单元51拍摄了人物时的方向的信息。在注册面部图像数据库21中，将拍摄了人物时的方向例示性地划分为“正面(0 15度)”、“稍微倾斜(15 45 度)”、“倾斜(45 75度)”以及“侧脸(75 90度)”的4个范围而进行管理。
更详细地说，在图2所示的注册面部图像数据库21中注册了 “A君”、“B君”以及 “C君”的注册数据。
关于“A君”，注册了注册面部图像Al A4。注册面部图像Al与拍摄条件“正面 (0 15度)”相关联。此外，注册面部图像A2、A3以及A4分别与拍摄条件“稍微倾斜(15 45度)”、“倾斜(45 75度)”以及“侧脸(75 90度)”相关联。
关于“B君”，注册了与拍摄条件“正面(0 15度)”相关联的注册面部图像Bi、 以及与拍摄条件“稍微倾斜(15 45度)”相关联的注册面部图像B2。
同样地，关于“C君”，注册面部图像C1、C2以及C3分别与拍摄条件“正面(0 15 度)”、“稍微倾斜(15 45度)”以及“倾斜(45 75度)”相关联地注册。
(关于控制单元的细节) 下面，使用图1说明控制单元30的细节。如图1所示，控制单元30是包括面部图像取得单元31、条件检测单元(条件检测部件)32、ID取得单元33、面部图像注册单元34、 注册面部图像选择单元(条件判定部件、条件确定部件)35以及对照单元(对照部件)36 的结构。
在控制单元30中执行的处理大致分为“注册处理”以及“对照处理”的两个。
“注册处理”在控制单元30的各部分构成中，由面部图像取得单元31、条件检测单元32、ID取得单元33以及面部图像注册单元34执行。
此外，“对照处理”在控制单元30的各部分构成中，由面部图像取得单元31、条件检测单元32、注册面部图像选择单元35以及对照单元36执行。
面部图像取得单元31根据操作单元11中的输入操作，从拍摄单元51取得输入面部图像。面部图像取得单元31将取得的输入面部图像转发给条件检测单元32。
条件检测单元32对输入面部图像进行分析，从而检测出被摄体被拍摄时的拍摄条件。作为一例，条件检测单元32检测拍摄输入面部图像中包含的人物时的方向。
这里，例示性地，作为拍摄人物时的方向，假设条件检测单元32检测“正面(0 15度)”、“稍微倾斜(15 45度)”、“倾斜(45 75度)”以及“侧脸(75 90度)”的4 个范围。
条件检测单元32在注册处理时，将输入面部图像和通过其分析所获得的拍摄条件发送到面部图像注册单元34。此外，条件检测单元32在对照处理时，将输入面部图像和通过其分析所获得的拍摄条件(检测条件)发送到注册面部图像选择单元35。
ID取得单元33取得用于确定在注册面部图像数据库21中注册的人物的ID。ID 取得单元33取得在操作单元11中输入的ID后发送到面部图像注册单元34。作为ID，可以使用人物的姓名和昵称等任意标识。
面部图像注册单元34用于将面部图像注册到注册面部图像数据库21。面部图像注册单元34在注册处理中，对从条件检测单元32发送的输入面部图像以及拍摄条件赋予从ID取得单元33发送的ID后注册到注册面部图像数据库21。
注册面部图像选择单元35在对照处理中，从关于各人物所注册的多个注册面部图像中，选择应在对照中使用的注册面部图像。更具体地说，注册面部图像选择单元35选择对各人物公共地注册的拍摄条件且最接近从条件检测单元32发送的拍摄条件的拍摄条件。
这里，拍摄条件的接近程度是指拍摄了人物时的方向相似的程度。例如，与拍摄条件“倾斜(45 75度)”相比，拍摄条件“正面(0 15度)”更接近拍摄条件“稍微倾斜 (15 45度)”的条件。此外，与拍摄条件“侧脸(75 90度)”相比，拍摄条件“正面(0 15度)，，更接近拍摄条件“倾斜(45 75度)”的条件。
对照单元36使用注册面部图像选择单元35关于各人物而选择的注册面部图像， 进行与输入面部图像的对照处理。更具体地说，对照单元36求所选择的注册面部图像和输入面部图像之间的相似度，并将相似度最高的注册面部图像的ID输出到显示单元12。
(注册处理的流程) 下面，使用图3说明面部对照装置10中的注册处理的流程。图3是表示了注册处理的流程的一例的流程图。
首先，条件检测单元32对从面部图像取得单元31取得的输入面部图像进行分析， 从而检测出输入面部图像的拍摄条件(SlOl)。
接着，ID取得单元33取得在操作单元11中输入的ID(S102)。
然后，面部图像注册单元34将ID和输入面部图像以及拍摄条件相关联地注册到注册面部图像数据库21(S103)。
(对照处理的流程) 下面，使用图4说明面部对照装置10中的对照处理的流程。图4是表示对照处理的流程的一例的流程图。
首先，条件检测单元32对从面部图像取得单元31取得的输入面部图像进行分析， 从而检测出输入面部图像的拍摄条件(Slll)。
这里，注册面部图像选择单元35对注册人物变量η设定1(S112)。注册人物变量 η是用于指定已注册的人物的变量。对已注册的人物的ID分配序列号、例如注册顺序的号码，在注册面部图像数据库21中注册有N个人时，对各个人物分配1、2、3.....N。S卩，注册人物变量η是用于在已注册的第1 N个人物中指定第η个人物的变量。
接着，注册面部图像选择单元35关于第η(η= 1)个人物，在已注册的拍摄条件中，将与输入面部图像的拍摄条件最接近的拍摄条件设为在对照时使用的条件的候选(以下，称为条件项目)(S113)。
然后，注册面部图像选择单元35判定是否为η = N(S114)。这里，注册面部图像选择单元35对选择注册面部图像时的结束条件进行判定。若不是η = N(S114中为否)，则由于尚未关于N个人物选择公共的拍摄条件且与输入面部图像的拍摄条件最接近的拍摄条件，因此，注册面部图像选择单元35对η进行增量、即执行η = n+1 (S115)，从而关于第η 个人物，判定是否注册有与当前的条件项目相同的拍摄条件(S116)。
这里，当关于第η个人物注册有与条件项目相同的拍摄条件时(S116中为是)，处理返回到S114。S114 S116的循环用于判定关于第η个人物是否注册有与条件项目相同的拍摄条件，直到第N个人物为止顺序重复并判定拍摄条件。
另一方面，当关于第η个人物没有注册与条件项目相同的拍摄条件时(S116中为否)，注册面部图像选择单元35将η设定为1 (Si 17)，并将当前的条件项目从对照时使用的条件的候选中去除(S118)。这是因为，当关于第η个人物没有注册与当前的条件项目相同的拍摄条件时，该条件项目不能说是对各人物公共地注册的拍摄条件。
接着，注册面部图像选择单元35将仅次于当前的条件项目而接近输入面部图像的拍摄条件的条件设定为新的条件项目(S119)，从而处理返回到S114。
这样，在S114中，若直到η = N为止，注册面部图像选择单元35重复循环而选择对各人物公共的拍摄条件(S114中为是)，则对照单元36基于与求出的拍摄条件相关联的注册面部图像，对输入面部图像进行对照(S120)。
这样，在对照处理中，在执行了用于选择在S120中使用的注册面部图像的选择步骤之后，在S120中，执行使用所选择的注册面部图像来对照输入面部图像的选择步骤。
(具体例) 下面，使用图5说明对照处理的具体例。图5是表示在注册面部图像数据库21中注册了图2所示那样的注册数据的情况下，输入了拍摄条件为“倾斜(45 75度)”的输入面部图像Ρ3时的对照处理的图。首先，注册面部图像选择单元35，(1)关于“Α”君，检测出相关联了与输入面部图像Ρ3的拍摄条件“倾斜(45 75度)”最接近的拍摄条件的注册面部图像A3。
然后，注册面部图像选择单元35，(2)关于“B”君，检索与拍摄条件“倾斜(45 75 度)”相关联的注册面部图像，但由于不存在这样的注册面部图像，因此⑶关于“Α”君，检测出相关联了仅次于注册面部图像A3的拍摄条件而接近输入面部图像Ρ3的拍摄条件“倾斜05 75度)”的拍摄条件即“稍微倾斜(15 45度)”的注册面部图像Α2。
接着，注册面部图像选择单元35，(4)关于“B”君，检测出相关联了拍摄条件“稍微倾斜(15 45度)”的注册面部图像Β2。进而，注册面部图像选择单元35，(5)关于“C” 君，检测出相关联了拍摄条件“稍微倾斜(15 45度)”的注册面部图像C2。
通过这样的对照处理的流程，注册面部图像选择单元35关于“Α君”、“B”君、“C” 君的每个人，分别选择相关联了拍摄条件“稍微倾斜(15 45度)”的注册面部图像Α2、Β2 以及C2。对照单元36基于通过注册面部图像选择单元35选择的注册面部图像Α2、Β2以及C2，进行输入面部图像Ρ3的对照。
如上所述，面部对照装置10的结构为，在将拍摄了人物的面部的输入面部图像与注册面部图像数据库21进行对照，从而确定上述输入面部图像中包含的人物，该注册面部图像数据库21中对每个人物注册了拍摄该人物的面部所获得的注册面部图像的对照装置 10中，在注册面部图像数据库21中，上述注册面部图像和该注册面部图像中包含的人物被拍摄时的拍摄条件相关联地注册，该对照装置10包括条件检测单元32，检测上述输入面部图像中包含的人物被拍摄时的拍摄条件；注册面部图像选择单元35，判定上述注册面部图像的上述拍摄条件与从上述输入面部图像检测出的上述拍摄条件之间的接近程度，并基于上述拍摄条件之间的接近程度，在对各人物公共地注册的注册面部图像的拍摄条件中， 选择最接近从上述输入面部图像检测出的上述拍摄条件的拍摄条件；以及对照单元36，使用相关联了所选择的拍摄条件的注册面部图像进行对照。
由此，起到即使在输入面部图像的拍摄条件与注册面部图像的拍摄条件不同的情况下，也能够获得精度高的对照结果的效果。
(变形例) 在以下，说明面部对照装置10的优选的变形例。
在以上的说明中，说明了对人物的面部图像进行对照的面部对照装置，但进行对照的对象不限于人物。也可以作为如下的对照装置而构成，即除了人物之外还将对象物作为注册图像注册到注册图像数据库，并将输入图像中包含的对象物与注册图像数据库进行对照。
在以上的说明中，面部图像取得单元31从拍摄单元51取得了面部图像，但不限于此。也可以构成为对面部对照装置10设置用于与外部进行通信的通信单元(未图示)，从而使面部对照装置10能够连接到网络，面部图像取得单元31经由网络从外部取得面部图像。
此外，也可以构成为对面部对照装置10设置外部记录介质读取单元(未图示)，从而面部图像取得单元31取得由外部记录介质读取单元读取的外部记录介质中记录的面部图像。
此外，面部对照装置10配备注册面部图像数据库21不是必须的，注册面部图像数据库21也可以配备在外部的服务器装置等中。并且，也可以是面部对照装置10在注册处理以及对照处理中，经由通信网络可适当地对配备有注册面部图像数据库21的外部的服务器装置进行接入。
在以上的说明中，为了简化说明，作为拍摄条件而使用了表示拍摄人物时的方向的信息，但不限于此。作为拍摄条件，可以使用照明、面部的朝向、表情、年龄、化妆方法、装饰品的有无、发型、图像的分辨率及其他的用于决定面部的特征量的因素。
S卩，不限于拍摄装置50中的与被摄体的角度和方向、照明等有关拍摄环境的条件设定，可以考虑关于有关被摄体的人物的外观的条件也包含在上述拍摄条件中。
[实施方式2] 基于图6 图9说明有关本发明的面部对照装置的其他实施方式如下。另外，为了便于说明，关于与在前述的实施方式中已说明的附图具有相同的功能的构件，附加相同的标号，并省略其说明。
在以下，首先，使用图6说明本实施方式的面部对照装置(对照装置)10A。面部对照装置IOA将用于对照处理的注册面部图像的拍摄条件在注册处理之后且对照处理之前事先进行选择，从而省略对照处理中的选择步骤，实现处理的高速化以及负担减少。
因此，换言之，可以说是在面部对照装置IOA中，以“事先选择处理”这一独立的处理来进行面部对照装置10中的“对照处理”中所执行的“选择步骤”。
另外，关于面部对照装置IOA中的注册处理，由于与面部对照装置10相同，因此省略其说明。
(关于构成的细节) 如图6所示，面部对照装置IOA在图1所示的面部对照装置10中，将注册面部图像选择单元35以及对照单元36分别变更为注册面部图像事先选择单元(选择部件)37以及对照单元(对照部件)36A。
另外，条件检测单元32伴随这些构成变更而变更为，在对照处理中将输入面部图像和拍摄条件发送到对照单元36A。
注册面部图像事先选择单元37参照注册面部图像数据库21，事先确认对各人物公共地注册的拍摄条件，从而事先选择好在对照处理中使用的注册面部图像的拍摄条件。 注册面部图像事先选择单元37若选择在对照处理中使用的注册面部图像的拍摄条件，则
16对已选择的拍摄条件赋予表示该注册面部图像被选择的情况的“已注册信息”，从而更新注册面部图像数据库21。
对照单元36A在对照处理中使用已选择的注册面部图像进行对照处理。S卩，相对于对照单元36关于注册面部图像选择单元35所选择的注册面部图像进行对照处理，对照单元36A参照注册面部图像数据库21，关于已被赋予了“已选择信息”的拍摄条件进行对照处理。另外，在对照单元36A中，关于对照处理中的相似度的判定，可以使用与对照单元36 相同的方法。
(事先选择处理的流程) 下面，使用图7说明面部对照装置IOA的事先选择处理。图7是表示事先选择处理的流程的一例的流程图。
注册面部图像事先选择单元37对拍摄条件变量m设定1 (S201)。拍摄条件变量m 用于指定拍摄条件。若更具体地进行说明则如下。
对某一人物的注册面部图像的拍摄条件分配序列号(例如，关于该人物，其拍摄条件为第几个注册)，在注册面部图像数据库21中，关于某一人物注册了 M张注册面部图像的情况下，对与各自的注册面部图像相关联的拍摄条件分配1、2、3.....M。拍摄条件变量
m用于指定第m个拍摄条件。
接着，注册面部图像事先选择单元37对注册人物变量η设定1 620 。这里，注册面部图像事先选择单元37将第η个注册面部图像的拍摄条件设为条件项目(S203)。
然后，注册面部图像事先选择单元37判定是否η = N(S204)。这里，注册面部图像事先选择单元37确认是否到第N个人物为止都包含有第m个拍摄条件。
若不是n = N(S204中为否)，则注册面部图像事先选择单元37执行η = n+1 (S205)，判定关于第η个人物是否注册有与当前的条件项目相同的拍摄条件(S206)。
这里，当关于第η个人物注册有与条件项目相同的拍摄条件的情况下(S206中为是)，处理返回到S204。即，S204 S206的循环用于判定关于第η个人物是否注册有与条件项目相同的拍摄条件，直到第N个人物为止顺序重复并判定拍摄条件。
另一方面，当关于第η个人物没有注册与条件项目相同的拍摄条件的情况下(S206中为否)，注册面部图像事先选择单元37对η设定1(S207)，并且执行m = m+l(S208)。即，这时，由于当前的条件项目不是对各人物公共的拍摄条件，因此为了指定下一拍摄条件而对m进行增量。
然后，处理返回到S203，注册面部图像事先选择单元37关于增量后的m，将第m个注册面部图像的条件作为条件项目，从而继续执行处理。
这样，在S204中，直到成为η = N为止，关于第m个拍摄条件，重复S203 S208的循环从而求出对各人公共的拍摄条件时(S204中为是)，注册面部图像事先选择单元37选择当前的条件项目作为要用于对照的拍摄条件(S209)。即，注册面部图像事先选择单元37 关于各人物，对所选择的拍摄条件赋予“已选择信息”，从而更新注册面部图像数据库21。
接着，注册面部图像事先选择单元37判定是否为m = M(S210)。这里，若不是m = M(S201中为否)，则由于还存在没有判定是否要选择的拍摄条件，因此返回到S202，处理继续进行。另一方面，若是m = M(S210中为是)，则事先选择处理结束。
(对照处理的流程) 下面，使用图8说明对照单元36A中的对照处理的流程。图8是表示对照处理的流程的一例的流程图。
首先，条件检测单元32对从面部图像取得单元31取得的输入面部图像进行分析， 检测出输入面部图像的拍摄条件(S220)。
接着，对照单元36A参照注册面部图像数据库21，关于各自的人物，取得被赋予了 “已选择信息”的拍摄条件且最接近检测出的拍摄条件的拍摄条件所相关联的注册面部图像，从而基于取得的注册面部图像对输入面部图像进行对照(S221)。
(具体例) 下面，使用图9说明事先选择处理以及对照处理的具体例。图9表示注册面部图像数据库21中存储了图2所示的注册数据的情况下的事先选择的例子。
在图9所示的注册面部图像数据库21中，关于A君、B君以及C君的各人物，注册了拍摄条件“正面(0 15度)”以及拍摄条件“稍微倾斜(15 45度)”。
从而，在A君的注册面部图像Al以及A2、B君的注册面部图像Bl以及B2、C君的注册面部图像Cl以及C2的拍摄条件中，通过事先选择处理而赋予“已选择信息”。图9表示注册面部图像A1、A2、B1、B2、C1以及C2的拍摄条件中被赋予“已选择信息”并且被事先选择的情况。
相对地，A君的注册面部图像A3的拍摄条件“倾斜05 75度)”以及注册面部图像A4的拍摄条件“侧脸(75 90度)”没有被选择。此外，C君的注册面部图像C3的拍摄条件“倾斜(45 75度)”也没有被选择。因为不是对各人物公共地注册的拍摄条件。
并且，在对照处理中，使用与赋予了“已选择信息”的拍摄条件“正面(0 15度)” 相关联的注册面部图像Al、Bi、Cl，或者使用与拍摄条件“稍微倾斜(15 45度)”相关联的注册面部图像A2、B2、C2。
例如，当输入面部图像的拍摄条件为“正面(0 15度)”时，拍摄条件一致的注册面部图像Al、Bi、Cl用于对照处理。
[实施方式3] 基于图10 图14说明有关本发明的面部对照装置的又一实施方式如下。另外， 为了便于说明，关于与在前述的实施方式中已说明的附图具有相同的功能的构件，附加相同的标号，并省略其说明。
在以下，首先，使用图10说明本实施方式的面部对照装置(对照装置)10B。在面部对照装置10B，在注册处理中，设定用于确定在对照处理中使用的注册面部图像的拍摄条件而使用的标志，并基于该标志进行对照处理，从而实现对照处理中的处理的高速化以及负担减少。
(关于构成的细节) 如图10所示，面部对照装置IOB在图1所示的面部对照装置10中，将面部图像注册单元34以及对照单元36分别变更为面部图像注册单元(合计部件)34B以及对照单元 (条件确定部件、对照部件)36B,并且追加了标志判定单元(条件判定部件)38以及合计信息存储单元22。
另外，条件检测单元32伴随这些构成变更而变更为，在对照处理中将拍摄条件发送到标志判定单元38。
合计信息存储单元22存储对在注册面部图像数据库21中注册的注册数据的注册人物的数目、以及与拍摄条件相关联地设定的标志的数目进行了合计的合计信息。
面部图像注册单元34B在对注册面部图像进行注册时，设定与该注册面部图像的拍摄条件相应的标志后注册到注册面部图像数据库21，并且面部图像注册单元34B参照注册面部图像数据库21，对标志进行合计，并将合计结果存储到合计信息存储单元22。
与拍摄条件相应的标志是指能够唯一确定各拍摄条件的识别符。
标志判定单元38在对照处理中，参照合计信息存储单元22，通过判定标志的合计结果，从而选择要用于对照的注册面部图像的候选。标志判定单元38将标志的判定结果发送到对照单元36B。
对照单元36B使用通过标志判定单元38所选择的注册面部图像的候选而进行输入面部图像的对照处理。
(注册处理的流程) 下面，使用图11说明面部对照装置IOB中的注册处理的流程。图11是说明注册处理的流程的一例的流程图。
首先，条件检测单元32对从面部图像取得单元31取得的输入面部图像进行分析， 从而检测出输入面部图像的拍摄条件(S301)。
接着，ID取得单元33取得在操作单元11中输入的ID(S302)。
接着，面部图像注册单元34B将相应于拍摄条件的标志设定到该拍摄条件，并将 ID、输入面部图像、拍摄条件以及标志相关联地注册到注册面部图像数据库21 (S303)。此外，面部图像注册单元34B在面部图像的注册之后，参照注册面部图像数据库21，对注册数据的注册人物的数目、以及与拍摄条件相关联地设定的标志的数目进行合计，并将合计结果作为合计信息存储到合计信息存储单元22。
(对照处理的流程) 下面，使用图12说明面部对照装置IOB的对照处理的流程。图12是表示对照处理的流程的一例的流程图。
首先，标志判定单元38参照合计信息存储单元22，将成为注册人物的数目=标志的数目的拍摄条件的注册面部图像，作为要用于对照处理的注册面部图像的候选来选择 (S311)。
接着，条件检测单元32对从面部图像取得单元31取得的输入面部图像进行分析， 检测出输入面部图像的拍摄条件(S312)。
接着，对照单元36B使用由条件检测单元32选择为候选的注册面部图像，对输入面部图像进行对照(S313)。
(具体例) 下面，使用图13以及图14说明标志设定的具体例。图13是表示对图2所示的注册数据设定了标志的情况下的例子的图。
面部图像注册单元34B在对面部图像进行注册时，对于拍摄条件“正面(0 15 度)”、“稍微倾斜(15 45度)”、“倾斜(45 75度)”以及“侧脸(75 90度)”分别设定标志a、b、c以及do 在图13所示的注册面部图像数据库21中，关于A君，对注册面部图像Al A4注册了各拍摄条件。从而，对于注册面部图像A1、A2、A3以及A4的拍摄条件设定了标志a、b、 c以及d。
此外，关于B君，关于注册面部图像Bl的拍摄条件“正面(0 15度)”设定了标志a，关于注册面部图像B2的拍摄条件“稍微倾斜(15 45度)”设定了标志b。
并且，关于C君，关于注册面部图像C1、C2、C3的拍摄条件分别设定了标志a、标志 b、标志C0 关于A君、B君以及C君的各人物，公共地注册了拍摄条件“正面(0 15度)”以及拍摄条件“稍微倾斜(15 45度)”。
接着，使用图14详细说明面部图像注册单元34B的标志合计。图14是例示了在合计信息存储单元22中存储的合计信息的图。
如图14所示，面部图像注册单元34B基于注册面部图像数据库21的注册数据，将以下的项目设定为合计信息。
首先，面部图像注册单元34B对注册人物的数目进行合计，从而对注册者数目的项目T5设定“3”。此外，由于标志a以及标志b已对A君、B君、C君的注册数据进行了设定，因此面部图像注册单元34B对标志a的个数的项目Tl以及标志b的个数的项目T2设定“3”。此外，由于标志c已对A君以及C君的注册数据进行了设定，因此面部图像注册单元34B对标志c的个数的项目T3设定“2”。并且，由于标志d仅对A君的注册数据进行了设定，因此面部图像注册单元34B对标志d的个数的项目T4设定“ 1 ”。
从而，标志a的个数以及标志b的个数与注册者数目一致，在对照处理中，通过对照单元36B使用设定了标志a或者标志b的拍摄条件的注册面部图像。
另外，在标志a的个数以及标志b的个数与注册者数目一致的情况下，对标志a的个数的项目Tl以及标志b的个数的项目T2，也可以进一步赋予用于表示其意旨的一致信息。此外，对照单元36B也可以使被赋予了一致信息的拍摄条件的注册面部图像在对照处理中使用。
[实施方式4] 基于图15 图17说明有关本发明的面部对照装置的又一实施方式如下。另外， 为了便于说明，关于与在前述的实施方式中已说明的附图具有相同的功能的构件，附加相同的标号，并省略其说明。
在以下，首先，使用图15说明本实施方式的面部对照装置(对照装置)10C。在面部对照装置10C，在对照处理中，不存在对各人物公共地注册的拍摄条件的情况下，关于各人物，选择与最接近输入面部图像的拍摄条件的拍摄条件相关联的注册面部图像，从而使用所选择的注册面部图像对输入面部图像进行对照。
由此，在面部对照装置IOC的对照处理中，缓和要使用与对各人物公共地注册的拍摄条件相关联的注册面部图像的要件。
另外，关于注册处理与面部对照装置10中的注册处理相同，因此省略其说明。
(关于构成的细节) 如图15所示，面部对照装置IOC在图1所示的面部对照装置10中将注册面部图像选择单元35变更为注册面部图像选择单元(条件判定部件、条件确定部件)35C。
注册面部图像选择单元35C选择要在对照处理中使用的注册面部图像。注册面部图像选择单元35C在存在对各人物公共地注册的拍摄条件的情况下，从其中确定与输入面部图像的拍摄条件最接近的拍摄条件，并选择与确定的拍摄条件相关联的注册面部图像作为要在对照处理中使用的注册面部图像。
另一方面，当不存在对各人物公共地注册的拍摄条件的情况下，注册面部图像选择单元35C关于各人物，选择与最接近输入面部图像的拍摄条件的拍摄条件相关联的注册面部图像作为要在对照处理中使用的注册面部图像。
(对照处理的流程) 下面，使用图16说明面部对照装置IOC中的对照处理的流程。图16是表示对照处理的流程的一例的流程图。
首先，条件检测单元32对从面部图像取得单元31取得的输入面部图像进行分析， 从而检测出输入面部图像的拍摄条件(S401)。
这里，注册面部图像选择单元35C对注册人物变量η设定1 (S402)。注册面部图像选择单元35C关于第η个人物，在注册面部图像的拍摄条件中，将与输入面部图像的拍摄条件最接近的拍摄条件设为条件项目(S403)。
接着，注册面部图像选择单元35C判定是否为η = N(S404)。这里，注册面部图像选择单元35C确认是否关于所有的注册人物选择了条件项目。
S卩，若不是η = N(S404中为否)，则注册面部图像选择单元35C对η进行增量，即执行η = n+1 (S405)，处理返回到S403，关于第η个人物，选择与输入面部图像的拍摄条件最接近的拍摄条件作为条件项目。
这样，在S404中，直到成为η = N为止，重复循环而求出对各人物公共的拍摄条件时(S404中为是)，对照单元36基于与选择作为条件项目的拍摄条件相关联的注册面部图像，对输入面部图像进行对照(S406)。
(具体例) 接着，使用图17说明对照处理中的选择步骤的具体例。如图17所示，注册面部图像数据库21中关于各人物存储了以下的注册数据。
首先，关于A君，注册了拍摄条件为“稍微倾斜(15 45度)”的注册面部图像Α2。 此外，关于B君，注册了拍摄条件为“稍微倾斜(15 45度)”的注册面部图像Β2以及拍摄条件为“倾斜(45 75度)”的注册面部图像Β3。并且，关于C君，注册了拍摄条件为“正面(0 15度)”的注册面部图像Cl以及拍摄条件为“倾斜(45 75度)”的注册面部图像C3。
这里，假设作为面部图像，输入了以拍摄条件“倾斜”进行拍摄的A君的输入面部图像Ρ3的情况下，面部对照装置IOC中的选择步骤成为如下的流程。
首先，关于A君，在注册面部图像数据库21中所注册的面部图像只有注册面部图像Α2，因此选择注册面部图像Α2的拍摄条件作为条件项目，从而选择注册面部图像Α2。
关于B君，在注册有两个的注册数据中，由于注册面部图像Β3的拍摄条件与输入面部图像的拍摄条件一致，因此注册面部图像选择单元35C选择注册面部图像Β3。
关于C君，在注册有两个的注册数据中，由于注册面部图像C3的拍摄条件与输入面部图像的拍摄条件一致，因此注册面部图像选择单元35C选择注册面部图像C3。
对照单元36使用这样选择的注册面部图像Α2、Β3以及C3对输入面部图像Ρ3进
21行对照。
即使没有对各个人注册公共的拍摄条件，面部对照装置IOC也会选择与输入面部图像的拍摄条件最接近的拍摄条件，从而将其用于对照处理。由此，即使没有对各个人注册公共的拍摄条件，也尽可能使要用于对照处理的注册面部图像的拍摄条件一致，从而能够提高对照处理的精度。
[实施方式5] 基于图18 图21说明有关本发明的面部对照装置的又一实施方式如下。另外， 为了便于说明，关于与在前述的实施方式中已说明的附图具有相同的功能的构件，附加相同的标号，并省略其说明。
以下，首先使用图18说明本实施方式的面部对照装置(对照装置)10D。在面部对照装置IOD中，作为输入面部图像的拍摄条件，检测出用于表示进行拍摄的方向是从正面开始几度的特定的值。即，在面部对照装置10中关于输入面部图像的拍摄条件，在规定范围内检测出了进行拍摄的方向，但面部对照装置IOD能够以连续值的方式进行检测。
此外，面部对照装置IOD在注册处理中，将检测出的特定值作为进行注册的面部图像的拍摄条件来注册。此外，面部对照装置IOD在对照处理中，将从输入面部图像检测出的拍摄条件的特定值与作为注册面部图像的拍摄条件而注册的特定值进行比较，从而判定是否为规定范围以内，并基于该判定结果进行对照处理。
(构成的细节) 如图18所示，面部对照装置IOD是在图1所示的面部对照装置10中，将注册面部图像数据库21、条件检测单元32、面部图像注册单元34以及注册面部图像选择单元35分别变更为注册面部图像数据库21D、条件检测单元32D、面部图像注册单元34D以及注册面部图像选择单元(条件判定部件、条件确定部件)35D。
在注册面部图像数据库21D中，对每个人物，注册面部图像和拍摄条件相关联地作为注册数据被注册。这里，与注册面部图像数据库21的区别在于，作为拍摄条件，以特定的值来注册对人物进行拍摄的方向从正面开始为几度。即，该特定值在用于表示面部的朝向的角度的0度 90度的连续值中，表示特定的值。
例如，若对人物进行了拍摄的方向为正前方，则注册“0度”。此外，若对人物进行了拍摄的方向为正侧面，则注册“90度”。
条件检测单元32D从输入面部图像中提取拍摄条件。条件检测单元32D对面部图像进行分析从而求出面部的朝向的角度。
例如，条件检测单元32D在输入面部图像中，若对人物进行了拍摄的方向为正前方，则作为拍摄条件而检测出“0度”。此外，条件检测单元32D在输入面部图像中，若对人物进行了拍摄的方向为正侧面，则作为拍摄条件而检测出“90度”。
条件检测单元32D在注册处理中，将提取出的拍摄条件发送到面部图像注册单元 34D。此外，条件检测单元32D在对照处理中，将提取出的拍摄条件发送到注册面部图像选择单元;35D。
面部图像注册单元34D在注册处理中，对从条件检测单元32D发送的输入面部图像以及拍摄条件赋予从ID取得单元33发送的ID后注册到注册面部图像数据库21D。这里，与面部图像注册单元34的区别在于，作为拍摄条件，面部图像注册单元34D将面部的朝向的角度的特定值注册到注册面部图像数据库21D。
注册面部图像选择单元35D在对照处理中，参照注册面部图像数据库21D而选择要用于对照处理的注册面部图像。
更具体地说，注册面部图像选择单元35D参照注册面部图像数据库21D，从各人物的注册数据中，选择拍摄条件为与输入面部图像的拍摄条件相同或者以输入面部图像的拍摄条件为基准在规定范围内的注册面部图像。
若注册面部图像的拍摄条件的特定值是以输入面部图像的拍摄条件为基准在规定范围内，则两者的拍摄条件是在一定程度上相似的条件。作为规定范围内，可以设定相似的条件且可视为相同的条件的范围、例如士5度的范围。
(注册处理的流程) 下面，使用图19说明面部对照装置IOD中的注册处理的流程。图19是表示注册处理的流程的一例的流程图。
首先，条件检测单元32D对从面部图像取得单元31取得的输入面部图像进行分析，从而以特定值的方式检测出输入面部图像的拍摄条件(S501)。
接着，ID取得单元33取得在操作单元11中输入的ID(S502)。
然后，面部图像注册单元34D将ID和输入面部图像以及拍摄条件(特定值)相关联地注册到注册面部图像数据库21D(S503)。
(对照处理的流程) 下面，使用图20说明面部对照处理IOD中的对照处理的流程。图20是表示对照处理的流程的一例的流程图。
首先，条件检测单元32D对从面部图像取得单元31取得的输入面部图像进行分析，从而以特定值的方式检测出输入面部图像的拍摄条件(S511)。
这里，注册面部图像选择单元35D对注册人物变量η设定1(S512)。
接着，注册面部图像选择单元35D关于η = 1的人物，在已注册的拍摄条件中，将与输入面部图像的拍摄条件最接近的拍摄条件设为在对照时使用的条件项目(S513)。这里，已注册的拍摄条件和输入面部图像的拍摄条件的接近程度，可以通过已注册的拍摄条件的特定值与输入面部图像的拍摄条件的特定值之差来表示。即，若已注册的拍摄条件的特定值与输入面部图像的拍摄条件的特定值之差越小，则可以说已注册的拍摄条件和输入面部图像的拍摄条件是越接近的条件。
然后，注册面部图像选择单元35D判定是否为η = N(S514)。这里，注册面部图像选择单元35D关于选择注册面部图像时的结束条件进行判定。
S卩，若不是η = N(S514中否)，则注册面部图像选择单元35D对η进行增量，即执行η = n+1 (S515)，关于第η个人物，判定是否注册有与当前的条件项目的特定值相同或者以条件项目的特定值为基准在规定范围内的拍摄条件(S516)。
这里，当关于第η个人物注册有与当前的条件项目的特定值相同或者以条件项目的特定值为基准在规定范围内的拍摄条件时(S516中为是)，处理返回到S514。S514 S516的循环用于判定关于第η个人物是否注册有与当前的条件项目的特定值相同或者以条件项目的特定值为基准在规定范围内的拍摄条件，直到第N个人物为止顺序重复并判定拍摄条件。
另一方面，当关于第η个人物没有注册与当前的条件项目的特定值相同或者以条件项目的特定值为基准在规定范围内的拍摄条件时(S516中为否)，注册面部图像选择单元35D对η设定1 (S517)，并且从对照时使用的条件的候选中去除当前的条件项目(S518)。 这是因为，当关于第η个人物没有注册与当前的条件项目的特定值相同或者以条件项目的特定值为基准在规定范围内的拍摄条件的情况下，该条件项目不能说是对各人物公共地注册的拍摄条件。
接着，将紧接着当前的条件项目而接近输入面部图像的拍摄条件的条件设定为新的条件项目(S519)，从而返回到S514。
这样，在S514中，直到成为η = N为止，重复循环从而求出对各个人公共的拍摄条件时(S514中为是)，对照单元36基于与求出的拍摄条件相关联的注册面部图像，对输入面部图像进行对照(S520)。
(具体例) 下面，使用图21说明注册面部图像数据库中存储的注册数据以及存储了该注册数据时的对照处理的具体例。
如图21所示，在注册面部图像数据库21D中，关于各人物存储了以下注册数据。
首先，关于A君，注册有拍摄条件为“面部朝向(3度)”的注册面部图像Α101、拍摄条件为“面部朝向(12度)”的注册面部图像Α102、拍摄条件为“面部朝向(21度)”的注册面部图像Α103以及拍摄条件为“面部朝向(43度)”的注册面部图像Α104。
此外，关于B君，注册有拍摄条件为“面部朝向(3度)”的注册面部图像BlOl以及拍摄条件为“面部朝向(12度)，，的注册面部图像Β102。
并且，关于C君，注册有拍摄条件为“面部朝向(3度)”的注册面部图像C101、拍摄条件为“面部朝向(12度)”的注册面部图像C102、以及拍摄条件为“面部朝向(21度)” 的注册面部图像C103。
这里，当作为面部图像而输入了以拍摄条件“面部朝向(21度)”进行了拍摄的输入面部图像Ρ103的情况下，面部对照装置IOD中的选择步骤成为如下的流程。
首先，条件检测单元32D通过对输入面部图像Ρ103进行分析从而求出面部的朝向的角度，获得拍摄条件“面部朝向(21度)”。
然后，注册面部图像选择单元35D，(1)关于“Α君”，判定是否注册有与输入面部图像Ρ103的拍摄条件“面部朝向(21度)”相同或者以拍摄条件“面部朝向(21度)”为基准在规定范围内的拍摄条件。由于与注册面部图像Α103相关联地注册有拍摄条件“面部朝向 (21度)”，因此注册面部图像选择单元35D选择注册面部图像Α103。
接着，注册面部图像选择单元35D，(2)关于“B君”，判定是否注册有与拍摄条件 “面部朝向(21度)”相同或者以拍摄条件“面部朝向(21度)”为基准在规定范围内的拍摄条件。这里，由于关于“B君”没有注册拍摄条件“面部朝向(21度)”，因此注册面部图像选择单元35D，(3)关于“Α君”，确认是否注册了紧接着注册面部图像Α103的拍摄条件而接近输入面部图像Ρ103的拍摄条件的拍摄条件“面部朝向(12度)”。
这里，由于关于“Α君”注册了拍摄条件“面部朝向(12度)”，因此将其设为条件项目。接着，注册面部图像选择单元35D关于“B君”，确认是否注册了拍摄条件“面部朝向 (12度)”，(4)检测出相关联了拍摄条件“面部朝向(12度)”的注册面部图像Β102。
接着，关于“C君”，确认是否注册了拍摄条件“面部朝向(12度)”，(5)检测出相关联了拍摄条件“面部朝向(12度)，，的注册面部图像C102。
通过这样的流程，注册面部图像选择单元35D分别关于“A君”、“B君”以及“C君”， 选择相关联了拍摄条件“面部朝向(12度)”的注册面部图像A102、B102以及C102。对照单元36基于这些注册面部图像A102、B102以及C102，进行输入面部图像P103的对照。
本发明不限于上述的各实施方式，在权利要求所示的范围内可进行各种变更，对不同的实施方式中分别公开的技术手段进行适当组合而得的实施方式也包含在本发明的技术范围内。
在上述中，说明了使用CPU通过软件来实现面部对照装置10、10A IOD的各块、 尤其是面部对照装置10的面部图像取得单元31、条件检测单元32、ID取得单元33、面部图像注册单元34、注册面部图像选择单元35以及对照单元36、面部对照装置IOA的注册面部图像事先选择单元37以及对照单元36A、面部对照装置IOB的面部图像注册单元34B、对照单元36B以及标志判定单元38、面部对照装置IOC的注册面部图像选择单元35C、面部对照装置IOD的条件检测单元32D、面部图像注册单元34D以及注册面部图像选择单元35D的例子。
S卩，面部对照装置10、10A IOD配备有执行用于实现各功能的控制程序的命令的CPU(中央处理单元)、存储了上述程序的ROM(只读存储器)、展开上述程序的RAM(随机存取存储器)、存储上述程序以及各种数据的存储器等的存储装置(记录介质)等。并且， 本发明的目的也可以通过将以计算机可读取的方式记录了作为用于实现上述的功能的软件的面部对照装置10、10A IOD的控制程序的程序代码(执行形式程序、中间代码程序、 源程序)的记录介质提供给上述面部对照装置10、10A 10D，并由该计算机(或者CPU和 MPU)读出并执行记录介质中记录的程序而达成。
作为上述记录介质，例如可以采用磁带和盒式带等带系列、包含软(注册商标)盘 /硬盘等磁盘和⑶-R0M/M0/MD/DVD/⑶-R等光盘的盘系列、IC卡(包含存储卡)/光卡等卡系列、或者掩膜R0M/EPR0M/EEPR0M/闪速ROM等半导体存储器系列等。
此外，也可以构成为可将面部对照装置10、10A IOD连接到通信网络，经由通信网络而提供上述程序代码。作为该通信网络，不特别限定，例如可以利用互联网、内部网(intranet)、备用网、LAN、ISDN、VAN、CATV 通信网、虚拟专用网(virtual private network)、电话线路网、移动体通信网、卫星通信网等。此外，作为构成通信网络的传输介质，不特别限定，例如可以利用IEEE1394、USB、电力线运输、线缆TV线路、电话线、ADSL线路等的有线，也可以利用IrDA和遥控器那样的红外线、蓝牙(注册商标)、802. 11无线、HDR、 便携式电话网、卫星线路、地波数字网等的无线。另外，本发明也可以通过以电子传输方式具体化了上述程序代码的、嵌入到载波的计算机数据信号的形式来实现。此外，面部对照装置10、10A IOD的各个块也可以通过硬件逻辑来构成。
本发明能够用于在图像中包含的对象物的对照，因此正适合用于通过打印机、扫描仪、个人计算机等实现的数字图像设备、数字摄像机等。
2权利要求
1.一种对照装置，将拍摄了对象物的输入图像与注册图像数据库进行对照，从而确定上述输入图像中包含的对象物，该注册图像数据库中对每个对象物注册了拍摄该对象物所获得的注册图像，该对照装置的特征在于，在上述注册图像数据库中，上述注册图像和该注册图像中包含的对象物被拍摄时的条件相关联地注册，所述对照装置包括条件检测部件，检测上述输入图像中包含的对象物被拍摄时的条件； 条件判定部件，判定作为与上述注册图像相关联的上述条件的注册条件与作为从上述输入图像检测出的上述条件的检测条件之间的接近程度；条件确定部件，基于所判定的上述注册条件以及上述检测条件之间的接近程度，在对各对象物公共地注册的注册图像的上述注册条件中，确定最接近从上述输入图像检测出的上述检测条件的注册条件；以及对照部件，使用相关联了所确定的上述注册条件的注册图像进行对照。
2.如权利要求1所述的对照装置，其特征在于，上述条件判定部件关于注册图像数据库中所注册的某一对象物，判定上述注册图像的上述注册条件与从上述输入图像检测出的上述检测条件之间的接近程度，上述条件确定部件在上述判定的结果，按照上述注册条件以及上述检测条件的接近程度从近到远的顺序，关于在注册图像数据库中所注册的另一对象物的注册图像相关联的注册条件，判定是否存在与有关上述某一对象物的上述注册条件一致的条件，从而确定最接近从上述输入图像检测出的上述检测条件的上述注册条件。
3.如权利要求1所述的对照装置，其特征在于，包括选择部件，预先选择对各对象物公共地注册的注册图像的上述注册条件， 上述条件确定部件从预先选择的上述注册条件，确定最接近从上述输入图像检测出的上述检测条件的注册条件。
4.如权利要求1所述的对照装置，其特征在于，包括合计部件，将与上述注册图像数据库中所注册的上述注册图像相关联的注册条件的数目，按照每个该注册条件进行合计；以及注册条件检测部件，检测上述注册图像数据库中所注册的对象物的数目和所合计的上述注册条件的数目一致的注册条件，上述条件判定部件从上述检测出的注册条件，确定最接近从上述输入图像检测出的上述检测条件的注册条件。
5.如权利要求1至4的任一项所述的对照装置，其特征在于，上述条件确定部件在对各对象物公共地注册的注册图像的上述注册条件不存在的情况下，对每个对象物确定最接近从上述输入图像检测出的上述检测条件的上述注册条件。
6.如权利要求1至5的任一项所述的对照装置，其特征在于， 上述注册条件以及上述检测条件是表示对象物被拍摄时的拍摄条件的连续值中的特定的值。
7.如权利要求1至6的任一项所述的对照装置，其特征在于， 上述对象物是人物的面部。
8.一种数字图像处理系统，其特征在于，包括 权利要求1至7的任一项所述的对照装置；以及图像输入装置，将上述输入图像提供给上述对照装置。
9.一种对照装置的控制方法，将拍摄了对象物的输入图像与注册图像数据库进行对照，从而确定上述输入图像中包含的对象物，该注册图像数据库中对每个对象物注册了拍摄该对象物所获得的注册图像，该对照装置的控制方法的特征在于，在上述注册图像数据库中，上述注册图像和该注册图像中包含的对象物被拍摄时的条件相关联地注册，所述对照装置的控制方法包括条件检测步骤，检测上述输入图像中包含的对象物被拍摄时的条件； 条件判定步骤，判定作为与上述注册图像相关联的上述条件的注册条件与作为从上述输入图像检测出的上述条件的检测条件之间的接近程度；条件确定步骤，基于所判定的上述注册条件以及上述检测条件之间的接近程度，在对各对象物公共地注册的注册图像的上述注册条件中，确定最接近从上述输入图像检测出的上述检测条件的注册条件；以及对照步骤，使用相关联了所确定的上述注册条件的注册图像进行对照。
全文摘要
本发明提供对照装置、数字图像处理系统以及对照装置的控制方法。在面部对照装置，在注册面部图像数据库中，上述注册面部图像和该注册面部图像中包含的人物被拍摄时的拍摄条件相关联地注册，所述面部对照装置包括条件检测单元，检测上述输入面部图像中包含的人物被拍摄时的拍摄条件；注册面部图像选择单元，判定上述注册面部图像的上述拍摄条件与从上述输入面部图像检测出的上述拍摄条件之间的接近程度，并基于所判定的上述拍摄条件之间的接近程度，在对各人物公共地注册的注册面部图像的拍摄条件中，选择最接近从上述输入图像检测出的上述拍摄条件的拍摄条件；以及对照单元，使用相关联了所选择的拍摄条件的注册面部图像进行对照。
文档编号G06F17/30GK102193962SQ20111004595
公开日2011年9月21日 申请日期2011年2月25日 优先权日2010年3月15日
发明者田中宏行, 入江淳, 酒井俊 申请人:欧姆龙株式会社