专利名称：被摄体识别装置及词典数据登记方法
技术领域：
本发明涉及被摄体识别装置以及词典数据登记方法，并且，更具体地，涉及通过比照输入的数据与作为词典数据而预先存储的数据来识别被摄体的技术。
背景技术：
已知用于预先将被摄体图像的特征信息登记作为词典数据并识别在输入图像中的被摄体的技术。例如，已知人物识别方法，其针对要被识别的多人中的各个预先存储诸如面部、声音或指纹的要素数据作为词典数据，并使用词典数据识别人物。在这样的人物识别方法中，比较接收的作为人物识别目标的人物的要素数据与作为词典数据存储的要素数据，并通过辨别出识别目标人物的要素数据属于谁来识别人物。
在这种人物识别方法中，当使用面部图像作为要素数据时，面部图像的面部的朝向、面部图像中的表情以及拍摄面部图像的光环境的变化(例如，在顺光、逆光以及侧光之间的对比度的差)都非常影响人物识别精度。日本专利第4057501号(以下称为专利文献I)描述了如下人物验证系统，在该系统中，拍摄在多个不同光环境下的面部图像并将其存储在词典数据中，由此即使使用环境(条件)已经改变也执行正确的人物验证。
然而在专利文献I中，需要在词典数据中预先存储富于变化的多个面部图像。由于多重条件以复杂的方式变化，因此对用户而言存储对应于不同的条件的组合的所有面部图像很繁杂。此外，由于要存储的面部图像的数量增加，因此处理时间延长。为预防该问题，在日本专利特开第2009-086926号公报(以下称为专利文献2)中描述的方法中，针对面部图像设置子区域，并且针对各设置的子区域计算特征信息以获得人物识别所需的特征信息，由此使用少量的登记面部图像来提高识别精度。
例如，按如下步骤进行人物识别。首先，如图6所示，作为识别目标面部图像的面部610被划分为诸如子区域611、612以及613的多个子区域的特征信息。计算子区域611与存储在词典数据690中的相同人物的三个面部图像(面部620、630以及640)的各对应子区域(子区域621、631以及641)之间的相似度。然后，选择相对于子区域611的最高相似度。针对面部610的所有子区域进行该处理，并结合所选择的相似度以计算识别目标面部图像的面部610与存储在词典数据中的三个面部图像(面部620、630以及640)的人物之间的相似度。该方法使得能够减少针对一个人物需要存储在词典数据中的面部图像的数量，并在减少条件的影响的同时进行高精度人物识别。
然而，在上述人物识别方法中，当对应于各人物的登记的特征信息数量增多时，将其他人识别为此人的识别错误趋于更频繁地发生。这是因为在存储在词典数据中的相同人物的多个面部图像中的子区域在面部图像之间偏移，或相同人物的面部图像的特征大幅改变。例如，当面部701至704被登记作为相同人物的面部时，如图7所示，由于面部朝向，面部702的子区域712的特征从面部701的子区域711的特征大幅改变。此外，在面部703的子区域713中，由于光线的影响，用于确定子区域的位置的、诸如眼睛和鼻子的器官的检测位置偏移，并且其结果是子区域713的位置偏移。由于诸如口罩和眼镜等的装饰品，面部704的子区域714的特征改变。
图8是示出如下示例的图，在该示例中，将图7示出的、在子区域上有偏移的相同人物的面部图像存储在词典数据890中，并使用上述人物识别方法计算相似度。注意，面部810,820,830以及840分别对应于面部701、702、703以及704。将图8示出的面部800的子区域801与在词典数据中的、在面部图像之间存在偏移的子区域811、821、831以及841相比较。在这种情况下，这些子区域中的一个与子区域801之间的相似度可能变高。如果在另一子区域802与子区域812、822、832以及842之间发生同样现象，则可能发生识别错误。即，通过结合识别目标面部800与其他人物的面部810、820、830以及840之间的相似度而获得的相似度891，变得高于面部800与和面部800属于相同人物的面部850之间的相似度892，因此发生识别错误。发明内容
鉴于上述问题，做出了本发明，并且根据本发明的一个方面，提供一种被摄体识别装置，该装置即使在词典数据中增加关于相同被摄体的特征信息的数量时也能防止验证精度的下降。
根据本发明的一个方面，提供了一种被摄体识别装置，所述被摄体识别装置包括:存储单元，用于存储词典数据，在所述词典数据中，将从一个被摄体的多个图像获得的多个特征信息基于所述多个特征信息的相似度而放入组中，并与该被摄体相关联地登记；提取单元，用于从图像检测被摄体，并从该被摄体的图像提取要被新登记的特征信息；选择单元，用于在由所述提取单元检测的被摄体登记在所述词典数据中的情况下，基于所提取的特征信息与属于所检测的被摄体的各组的特征信息之间的相似度，来选择对应于所检测的被摄体的组；以及登记单元，用于在所述选择单元已选择对应组的情况下，在所述词典数据的该对应组中登记所提取的特征信息，而在所述选择单元没有选择对应组的情况下，向所述词典数据中的所检测的被摄体追加新组并登记所提取的特征信息。
根据本发明的另一方面，提供一个被摄体识别装置的词典数据登记方法，所述被摄体识别装置包括用于存储词典数据的存储单元，在所述词典数据中，将从一个被摄体的多个图像获得的多个特征信息与该被摄体相关联，并基于相似度而放入组中并登记，所述词典数据登记方法包括:从图像检测被摄体，并从该被摄体的图像提取要被新登记的特征信息；在所检测的被摄体被登记在所述词典数据中的情况下，基于所提取的特征信息与属于所检测的被摄体的各组的特征信息之间的相似度，来选择对应于所检测的被摄体的组；以及在已选择对应组的情况下，在所述词典数据的该对应组中登记所提取的特征信息，而在没有选择对应组的情况下，向所述词典数据中的所检测的被摄体追加新组并登记所提取的特征信息。
通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
被并入说明书并构成说明书的一部分的附图，例示了本发明的示例性实施例、特征及方面，并且与文字描述一起用来说明本发明的原理。
图1是示出根据实施例的摄像装置的框图。
图2是示出根据第一实施例的词典数据存储处理的流程图。
图3A至图3D是用于说明根据第一实施例的词典数据存储处理的图。
图4是示出根据第一实施例的人物识别处理的流程图。
图5是用于说明根据第一实施例的人物识别处理的图。
图6是用于说明一般人物识别处理的图。
图7是用于说明在一般人物识别处理中出现的问题的图。
图8是用于说明一般人物识别处理的图。
图9是示出根据第二实施例的词典数据记录处理的流程图。
图10是用于说明根据第二实施例的词典数据登记处理的图。
图11是示出根据第三实施例的词典数据存储处理的流程图。
图12A至图12D是用于说明根据第三实施例的词典数据存储处理的图。
图13是用于说明根据第三实施例的词典数据存储处理的图。
具体实施方式
将参照附图详细描述本发明的几个优选实施例。在下面的实施例中，说明使用人脸作为识别目标被摄体的示例。即，用作被摄体识别装置的面部识别装置被用作示例。此夕卜，通过将数字照相机100例示为具有存储用于面部识别的词典数据的功能以及使用该词典数据识别输入图像中的面部的功能的信息处理装置，来说明各实施例。
[第一实施例]
图1是示出根据第一实施例的数字照相机100的布置的示例的框图。参照图1，摄影镜头103包括聚焦透镜。快门101具有光圈功能。摄像单元122由将光学图像转换为电子信号的CCD或CMOS设备构成。A/D转换器123将模拟信号转换为数字信号。A/D转换器123被用于将从摄像单元122输出的模拟信号转换为数字信号。挡板102覆盖数字照相机100的包括摄影镜头103的摄像单元，由此防止包括摄影镜头103、快门101以及摄像单元122的摄像系统脏污或损伤。
图像处理单元124对来自A/D转换器123的数据或来自存储器控制单元115的图像数据进行诸如像素插补或减少的调整大小处理以及颜色转换处理。图像处理单元124也使用拍摄的图像数据进行预定的计算处理。系统控制单元150基于获得的计算结果进行曝光控制和聚焦控制。由此进行TTL (Through The Lens，通过透镜)系统的自动聚焦(AutoFocus, AF)处理、自动曝光(Auto Exposure, AE)处理以及电子闪光灯预发光(ElectronicFlash pre-emission, EF)处理。图像处理单元124还使用拍摄的图像数据进行预定的计算处理，并且基于获得的计算结果进行TTL系统的自动白平衡(Auto White Balance，AWB)处理。
来自A/D转换器123的输出数据经由图像处理单元124以及存储器控制单元115或仅经由存储器控制单元115直接写入存储器132。存储器132存储通过摄像单元122获得并通过A/D转换器123转换为数字数据的图像数据，或者存储将在显示单元128上显示的图像数据。存储器132具有足以存储预定数量的静止图像或预定时间的运动图像以及声音的存储容量。
存储器132还用作用于图像显示的存储器(视频存储器)。D/A转换器113将存储在存储器132中的用于图像显示的数据转换为模拟信号并将其供给显示单元128。写入存储器132的图像数据由此经由D/A转换器113而由显示单元128显示。显示单元128在诸如IXD的显示设备上进行对应于来自D/A转换器113的模拟信号的显示。
非易失性存储器156是电可擦写/记录存储器。例如，使用电可擦写可编程只读存储器(EEPROM)等。非易失性存储器156存储用于系统控制单元150的操作的常量以及程序。这里的程序是指用于执行稍后在本实施例中描述的各种流程图中示出的处理的程序。
系统控制单元150控制整个数字照相机100。系统控制单元150执行记录在上述非易失性存储器156中的程序，由此来实现根据本实施例的各处理。随机存取存储器(RAM)被用作系统存储器152。用于系统控制单元150的操作的常量和变量、从非易失性存储器156读出的程序等在系统存储器152上展开。系统控制单元150控制存储器132、D/A转换器113、显示单元128等，由此来进行显示控制。
模式切换开关160、快门按钮161、第一快门开关162、第二快门开关163以及操作单元170用作向系统控制单元150输入各种操作指令的操作单元。
模式切换开关160将系统控制单元150的操作模式切换为静止图像记录模式、动态图像记录模式、再现模式等中的一个。
第一快门开关162通过操作数字照相机100上配设的快门按钮161到一半，1 ，所谓的半按下(摄像准备指令)来接通，并生成第一快门开关信号SW1。诸如AF (自动聚焦)处理、AE (自动曝光)处理、AWB (自动白平衡)处理以及EF (电子闪光灯预发光)处理的操作基于第一快门开关信号SWl开始。
第二快门开关163通过完成快门按钮161的操作，即，所谓的全按下(摄像指令)来接通，并生成第二快门开关信号SW2。基于第二快门开关信号SW2，系统控制单元150开始从自摄像单元122读 取信号直到在记录介质104中写入图像数据的一系列摄像处理操作。
操作单元170的各操作部件被例如通过选择性地操作在显示单元128上显示的各功能图标来针对各情况合适地分配功能，并且用作各种功能按钮。功能按钮的示例为结束按钮、返回按钮、图像给送按钮、跳跃按钮、缩小按钮以及属性改变按钮。例如，当按下了菜单按钮时，各种可设置菜单画面显示在显示单元128上。用户能够使用在显示单元128上显示的菜单画面、4路选择器以及设置按钮直观地做出各种设置。
电源控制单元180由电流检测电路、DC/DC转换器、用于切换要被通电的块的开关电路等构成，并检测电池安装的有无、电池类型以及电池电量。电源控制单元180还基于检测结果以及来自系统控制单元150的指令控制DC/DC转换器，并且在需要的时间段内向包括记录介质104的单元供应需要的电压。
电源单元130由诸如碱性电池或锂电池的一次电池；诸如镍镉电池、镍氢电池或锂离子电池的二次电池；AC适配器等构成。附图标记118指示了与诸如存储卡或硬盘的外部记录介质104的接口。记录介质104是诸如存储卡的记录介质,并由半导体存储器、磁盘等构成。电源开关172控制电源的接通/切断。
上述数字照相机100能够进行使用一点AF或面部AF的摄像。一点AF是指对在摄像画面中央的一点进行AF。面部AF是指对由面部检测功能检出的、摄像画面中的面部进^fAF0
附图标记190指示面部检测单元。面部检测单元190从包括在图像数据中的被摄体中检测眼、口等的边界，并提取人物的面部的特征部分。即，基于通过面部(面部位置以及面部尺寸)占有的图像数据上的区域以及面部似然性(面部可靠性)，面部检测单元190执行检测作为面部图像数据的图像区域的数据的面部检测处理，并执行识别处理。
特征量提取单元191从由面部检测单元190检测的面部图像数据中提取将用于人物识别的特征信息。通过在面部区域中设置关于诸如眼、鼻和口的器官的子区域、并针对各设置的子区域计算局部二值模式(LocalBinary Pattern,LBP)来获得人物识别所需的特征信息。关于LBP的详细信息，参照专利文献2。词典数据存储单元192存储在比照时要使用的词典数据。词典数据是由特征量提取单元191计算的特征信息。
相似度计算单元193通过模式匹配比较由特征量提取单元191从由面部检测单元190检测的面部图像数据中提取的特征信息，与存储在词典数据存储单元192中的词典数据。基于该比较，相似度计算单元193计算在检测的面部图像数据与词典数据存储单元192中的面部图像数据之间的相似度。
附图标记194指示识别确定单元。识别确定单元194比较由相似度计算单元193计算的相似度与预设的识别阈值。如果相似度等于或高于阈值，则识别确定单元194判定为由面部检测单元190检测的面部图像属于存储在词典数据存储单元192中的人物，S卩，确定人物识别已成功。
附图标记195指示分组信息设置单元。当在词典数据存储单元192中登记新特征信息时，分组信息设置单元195控制是将特征信息与现存的组相关联还是与新生成的组相关联。相似度计算单元193计算新特征信息与预先存储在词典数据存储单元192中的相同人物的特征信息之间的相似度。分组信息设置单元195比较计算的相似度与预设的分组阈值。如果计算的相似度等于或高于阈值，则分组信息设置单元195将词典数据存储单元192中存储的现存分组信息与将新登记在词典数据存储单元192中的特征信息相关联。如果计算的相似度低于阈值，则分组信息设置单元195将新分组信息与将新登记在词典数据存储单元192中的特征信息相关联。登记新人物的面部时，分组信息设置单元195将用于指定新人物的信息以及新分组信息与将被登记的特征信息相关联。
注意参照图1描述的摄像装置的布置仅是示例。根据本发明的摄像装置的布置不限于图1所示，只要其能够执行下述操作即可。不仅可以使用摄像装置，也可以使用具有处理图像的功能的信息处理装置。
将参照图2以及图3A至图3D详细描述根据第一实施例的数字照相机100中的词典数据登记处理。图2是示出根据第一实施例的词典数据登记处理的流程图。图3A至图3D是用于说明根据本实施例的词典数据登记处理的图。
在处理开始后的步骤S201中，系统控制单元150确定用户选择了静止图像记录模式与再现模式中的何者。如果用户选择了静止图像记录模式，则处理进行到步骤S202，并且系统控制单元150设置面部图像登记模式。在步骤S203中，系统控制单元150进行用于摄像的控制。如果在步骤S201中确定用户选择了再现模式，则处理进行到步骤S204，并且系统控制单元150再现存储在记录介质104中的图像数据。
在步骤S205中，面部检测单元190对在步骤S204中选择的图像数据或在步骤S203中拍摄的图像数据进行面部检测处理。在步骤S205中检出的面部是将登记在词典数据存储单元192中的面部。将假定图3A中示出的面部300被检出作为将登记在词典数据390中的面部来进行以下说明。注意，如图3A所示，在词典数据390中，针对各被摄体(人物)来将从多个图像获得的多个特征信息基于它们的相似度分组并登记。在图3A中，针对相同人物305，通过三个分组信息381、382以及383将特征信息311、321以及331放入三个组中并登记。
在步骤S206中，特征量提取单元191从在步骤S205中检出的、将被存储在词典数据存储单元192中的面部300的图像数据中提取将被用作词典数据的特征信息。从面部300中提取的特征信息被称作特征信息301。注意，特征信息301包括面部300的多个子区域的特征信息。
在步骤S207中，系统控制单元150接受面部300的相同人物是否存在于词典数据存储单元192中登记的人物中的选择的用户操作。如果接受的用户操作指示与面部300相同人物的特征信息没有登记在词典数据存储单元192中，则对面部300的人物进行新登记。针对新登记，在步骤S208中，分组信息设置单元195将包括指定人物的信息以及分组人物的面部的信息的新分组信息与特征信息301相关联。之后，特征信息301以及与特征信息相关联的新分组信息被登记在词典数据存储单元192中，并且处理结束。图3B示出在将特征信息与新分组信息相关联的处理结束后的词典数据。在图3B中，由于特征信息与新分组信息相关联，因此新分组信息385被追加并登记作为人物307。注意，在步骤S207中的用户操作可以是指定新登记或追加登记的操作。
另一方面，如果在步骤S207中接受的用户操作指示与面部300相同人物的特征信息被登记在词典数据存储单元192中，这意味着不是新登记而是追加登记。处理进行到步骤S209中。在步骤S209中，系统控制单元150接受从存储在词典数据存储单元192中的人物中选择与面部300相同人物的用户操作。此时，系统控制单元150可以呈现登记在词典数据存储单元192中的人物的列表。例如，在列表中呈现与各登记人物相关联的名字。当然，也可以呈现各人物的代表面部图像。在这种情况下，假定通过用户操作从存储在词典数据存储单元192中的人物中选择作为与面部300的人物相同的人物的人物305。
在步骤S210中，相似度计算单元193选择从所选人物305的面部提取的一条特征信息。例如，假定从在图3A中示出的作为词典数据390中存储的人物305的特征信息的特征信息311、321以及331中选择特征信息311。在步骤S211中，相似度计算单元193计算在步骤S210中选择的特征信息与在步骤S206中由特征量提取单元191提取的面部300的特征信息301之间的相似度。在图3A中，由特征信息311与301计算出相似度391。
在步骤S212中，系统控制单元150确定从存储在词典数据存储单元192中的人物305的面部提取的所有特征信息是否都被处理。如果留有未处理的特征信息，则处理返回步骤S210。以该种方式，针对与所选人物305相关联的所有特征信息，计算了与面部300的特征信息301的相似度。在图3A中，重复上述处理直至计算了面部300的特征信息301与人物305的特征信息311、321以及331之间的相似度(相似度391、392以及393)。
当针对与所选人物305相关联的所有特征信息的处理都结束时，处理从步骤S212进行到步骤S213。在步骤S213中，分组信息设置单元195选择在步骤S211中计算的相似度中最高的一个以及用于计算最高相似度的特征信息。
在步骤S214中，分组信息设置单元195比较在步骤S213中选择的最大相似度与分组阈值。如果最大相似度高于分组阈值，则处理进行到步骤S215。分组信息设置单元195将与在步骤S213中选择的特征信息的分组信息相同的分组信息与特征信息301相关联，并且将其登记在词典数据存储单元192中。如果最大相似度等于或低于分组阈值，则处理进行到步骤S216。分组信息设置单元195针对所选人物305生成新分组信息，将其与特征信息301相关联，并将信息登记在词典数据存储单元192中。
例如，当图3A中示出的相似度391被选择作为最大相似度，并且该相似度超过分组阈值时，分组信息设置单元195将分组信息381与特征信息301相关联并将其登记在词典数据390中。类似地，当图3A中示出的相似度392被选择作为最大相似度，并且该相似度超过分组阈值时，分组信息设置单元195将分组信息382与特征信息301相关联并将其登记在词典数据390中。当相似度393被选择作为最大相似度，并且该相似度超过分组阈值时，分组信息设置单元195将分组信息383与特征信息301相关联并将其登记在词典数据390中。
图3C示出了当相似度391被选择作为最大相似度并且相似度超过分组阈值时、在结束处理后的词典数据的内容。如图3C所示，当相似度391超过分组阈值时，与用于计算相似度391的特征信息311相关联的分组信息381被与特征信息301相关联并存储。图3D示出了当相似度391被选择作为最大相似度并且相似度没有超过分组阈值时、在结束处理后的词典数据的内容。由于作为最大相似度的相似度391没有超过分组阈值，因此未被选择的相似度392以及393也等于或低于分组阈值。由于没有相似度超过阈值，因此针对与所选人物相同的人物305生成新分组信息386。新分组信息386被与特征信息301相关联并存储。
如上所述，各特征信息被放入通过分组信息指定的组中并登记在存储在词典数据存储单元192中的词典数据中。即，各特征信息被登记以属于由分组信息指定的组。
稍后将参照图4以及图5的流程图详细描述使用存储在词典数据存储单元192中的特征信息以及分组信息的人物识别处理。图4是示出根据第一实施例的人物识别处理的流程图。图5是用于说明根据本实施例的相似度计算处理的图。
在步骤S401中，面部检测单元190针对输入图像数据执行面部检测处理。这里检出的面部是要被识别的面部。处理进行到步骤S402，并且特征量提取单元191从在步骤S401中检测的面部500的图像数据中提取将被用于人物识别的特征信息。
如图5所示，使用通过将作为识别图像的面部500划分为几个子区域(子区域501以及502)获得的各子区域的特征信息。同样在词典数据存储单元192中，登记了各子区域的特征信息以及与其相关联的分组信息。例如，分组信息581被与面部510、520以及530的子区域511、521以及531的特征信息相关联地登记。S卩，子区域511、521以及531的特征信息属于由分组信息581指定的组。在步骤S403中，相似度计算单元193从词典数据存储单元192中存储的词典数据中选择将被用于相似度计算的分组信息。在图5中，首先选择分组信息581。
在步骤S404中，相似度计算单元193首先选择面部500的子区域501。在步骤S405中，相似度计算单元193使用对应于子区域501的特征信息、以及与所选分组信息相关联的特征信息中的与子区域501相对应的特征信息，来计算相似度。在图5中，使用子区域501的特征信息与子区域511、521以及531的特征信息来计算相似度。即，计算识别目标子区域501与登记在词典数据存储单元192中的子区域511、521以及531中的各个之间的相似度。
在步骤S406中，相似度计算单元193选择在步骤S405中计算的、在子区域501与子区域511、521以及531之间的相似度中最高的相似度。在步骤S407中，相似度计算单元193确定是否针对作为识别目标的面部500的所有子区域、在步骤S404到步骤S406中的处理都已结束。如果还留有未处理的子区域，则处理返回步骤S404。如果所有子区域都已被处理，则处理进行到步骤S408。
在步骤S408中，相似度计算单元193结合针对面部500的各子区域选择的相似度(针对各子区域的最大相似度)，由此来计算面部500与在步骤S403中选择的分组信息之间的相似度591。注意，可以通过例如获得将被结合的多个相似度的平均值、或者获得将被结合的多个相似度的最大值，来进行相似度的结合。在步骤S409中，相似度计算单元193确定是否针对登记在词典数据存储单元192中的所有分组信息都已结束了步骤S403到步骤S408中的处理。如果留有未处理的分组信息，则处理返回步骤S403以重复上述处理。由此针对全部的分组信息581至584获得与面部500的相似度。
当在步骤S409中确定所有分组信息都已被处理时，处理进行到步骤S410。在步骤S410中，识别确定单元194选择在步骤S408中计算的(结合的)相似度中最大的一个。在步骤S411中，识别确定单元194比较在步骤S410中选择的相似度与识别阈值。如果在步骤S410中选择的相似度高于识别阈值，则处理进行到步骤S412，并且识别确定单元194确定识别已经成功。即，与最高相似度的分组信息相关联的人物被确定为识别结果。当确定识别已成功时，系统控制单元150例如使显示单元128显示表示人物识别已成功的面部边框。另一方面，如果在步骤S410中选择的相似度等于或低于识别阈值，则处理进行到步骤S413，并且识别确定单元194确定识别已失败。当确定识别已失败时，系统控制单元150不显示表示人物识别已成功的面部边框而是结束处理。
如上所述，根据第一实施例，当将相同人物的多个面部图像的特征信息登记作为词典数据时，相同人物的多个特征信息被放入类似信息的组中并登记。这使得在面部识别时进行使用相同人物的多个特征信息的识别，并且由于不使用在巨大环境差异下的多个特征信息的混合因而减少识别错误的发生。
[第二实施例]
稍后将参照图9以及图10详细描述由根据第二实施例的摄像装置进行的词典数据存储处理。图9是用于说明根据第二实施例的词典数据存储处理的流程图。图10是用于说明根据第二实施例的词典数据登记处理的图。注意，用作根据第二实施例的摄像装置的数字照相机100的布置与在第一实施例(图1)中描述的相同。此外，图9的步骤S201到步骤S208中的处理与在第一实施例(图2)中描述的相同。
如果在步骤S207中通过系统控制单元150接受的用户操作指示追加登记，则处理进行到步骤S909。在这种情况下，与面部300 (图3A)的人物相同人物的特征信息被登记在词典数据存储单元192中。在步骤S909中，系统控制单元150接受从存储在词典数据存储单元192中的人物中选择与面部300的人物相同人物的用户操作。
在步骤S910中，相似度计算单元193选择从所选人物305的面部提取的一条特征信息。例如，假定从作为在图3A中示出的词典数据390中存储的人物305的特征信息的特征信息311、321以及331中选择特征信息311。
在步骤S911中，相似度计算单元193计算在步骤S910中选择的特征信息与在步骤S206中由特征量提取单元191提取的面部300的特征信息301之间的相似度。在图3A中，由特征信息311与301计算相似度391。
在步骤S912中，分组信息设置单元195比较在步骤S911中计算的相似度391与分组阈值。如果相似度391高于分组阈值，则特征信息301能够属于选择的特征信息311所属的组(分组信息381)。由此，处理进行到步骤S913，分组信息设置单元195将与从所选人物305的多个特征信息中选择的特征信息相关联的分组信息与特征信息301相关联。如果相似度391等于或低于分组阈值，则处理跳过步骤S913。
在步骤S914中，确定针对能够从存储在词典数据存储单元192中的人物305的面部提取的所有特征信息，在步骤S910到步骤S913中的处理是否已结束。如果针对所有特征信息的处理还没有结束，则处理返回步骤S910。如果针对所有特征信息处理已经结束，则处理进行到步骤S915。
通过上述处理，当图3A示出的相似度391超过分组阈值时，分组信息381与特征信息301相关联。如果例如相似度392没有超过分组阈值，则分组信息382不与特征信息301相关联。当相似度391超过分组阈值并且相似度392没有超过分组阈值时的词典数据的状态如图3C所示。当相似度393超过分组阈值时，分组信息383也与特征信息301相关联。当相似度391以及393超过分组阈值并且相似度392没有超过分组阈值时词典数据的状态如图10所示。
在步骤S915中，确定所选人物305的新分组信息是否已登记在现存分组信息中的一条分组信息中。如果新分组信息已被登记在现存分组信息中的一条分组信息中，则特征信息301已被与分组信息相关联地存储在词典数据存储单元192中，并且处理直接结束。如果特征信息301还没有被登记在任何现存分组信息中，则处理进行到步骤S916。在步骤S916中，分组信息设置单元195向所选人物305追加新分组信息，并将新分组信息与特征信息301相关联。特征信息301以及与特征信息301相关联的新分组信息被存储在词典数据存储单元192中，并且处理结束。
如上所述，在图10中，由于相似度391与393超过分组阈值，因此分组信息381以及383被与特征信息301相关联。特征信息301和与特征信息301相关联的分组信息381以及383被存储在词典数据存储单元192中。由此第二实施例使得一条特征信息(图10中的特征信息301)属于多个组。
当相似度391、392以及393都没有超过分组阈值时词典数据的状态如图3D所示。在这种情况下，由于没有相似度超过阈值，因此作为所选人物305的新分组信息，分组信息386被与特征信息301相关联。特征信息301和与特征信息301相关联的分组信息386被存储在词典数据存储单元192中。
使用通过上述根据第二实施例的词典数据存储处理生成的词典数据的人物识别处理与第一实施例的相同。注意，在步骤S912以及S913中，在针对检出的被摄体在词典数据中登记的特征信息中，与在步骤S206中抽出的特征信息的相似度高于预定阈值的特征信息所属的所有组都与该特征信息相关联。然而，本发明不限于此。可以限定要与特征信息相关联的分组信息的数量。例如，以在步骤S911中计算的相似度的降序排列的预定数量的分组信息可以与从步骤S206中提取的特征信息相关联。
[第三实施例]
下面描述第三实施例。根据第三实施例的摄像装置(数字照相机100)的布置与在第一实施例(图1)中的相同。稍后将参照图11、12A至12D以及13详细描述由根据第三实施例的摄像装置进行的词典数据登记处理。图11是用于说明根据第三实施例的词典数据存储处理的流程图。图12A至图12D是用于说明根据第三实施例的词典数据存储处理的图。图13是用于说明根据第三实施例的相似度增加值计算方法的图。注意，图11示出了在图2中从步骤S207的“否”分支的处理。在步骤S201到步骤S208之间的处理与在第一实施例中的描述相同。
如果在步骤S207中的由系统控制单元150接受的用户操作指示追加登记，则处理进行到步骤S1109。注意，在第三实施例中，假定在图12A中示出的面部1000在步骤S205中被检出，并且特征信息1001在步骤S206中被提取。同样假定图12A中示出的词典数据1090存储在词典数据存储单元192中。
如果在步骤S207中，用户操作指示新登记，则在步骤S208中，指定人物的信息以及分组人物的面部的新分组信息被与特征信息1001相关联。特征信息1001以及与特征信息相关联的新分组信息被存储在词典数据存储单元192中，并且处理结束。图12B示出了在结束了当新分组信息被相关联时的处理之后的词典数据。在图12B中，由于关联了新分组信息，因此分组信息1085被作为人物1008新追加并存储。
如果在步骤S207中与面部1000的人物相同的人物的特征信息被存储(追加登记)，则在步骤S1109中用户选择与面部1000的人物相同的人物。在图12A中，假定从存储在词典数据1090中的人物1005、1006以及1007中选择人物1005。
处理进行到步骤S1110，并且相似度计算单元193选择从所选人物1005的面部提取的一条特征信息。在图12A中，假定从存储在词典数据1090中的人物1005的特征信息1011以及1021中选择特征信息1011。
然后处理进行到步骤S1111，相似度计算单元193使用在步骤SlllO中选择的特征信息和由特征量提取单元191提取的面部1000的特征信息1001来计算相似度。在图12A中，由特征信息1011和1001计算相似度1091。
处理进行到步骤S1112，相似度计算单元193确定是否针对关于所选人物1005的在词典数据存储单元192中存储的所有特征信息都已计算了相对于面部1000的特征信息1001的相似度。如果还留有未处理的特征信息，则处理返回步骤SlllO以重复步骤SlllO和步骤Sllll。在上述示例中，重复步骤SlllO到步骤SI 112直至已计算了面部1000的特征信息1001与人物1005的特征信息1011以及1021之间的相似度。
处理进行到步骤S1113，分组信息设置单元195选择在步骤Sllll中计算出的相似度中最高的一个，并选择用于计算最高相似度的特征信息。这里假定从图12A示出的人物1005的特征信息1011以及1021中选择特征信息1011。
处理进行到步骤S1114，分组信息设置单元195比较在步骤S1113中选择的相似度与分组阈值。如果在步骤S1114中相似度等于或低于分组阈值，则处理进行到步骤S1121以将所选人物1005的新分组信息与特征信息1001相关联。图12D示出了当相似度1091被选择作为最高相似度并且其没有超过分组阈值时的处理结束之后的词典数据。由于作为最高相似度的相似度1091没有超过分组阈值，因此未被选择的相似度1092也低于分组阈值。鉴于此原因，分组信息1085被与特征信息1001相关联并被存储为与所选人物相同的人物1005的新分组信息。
在步骤S1114中，如果相似度高于分组阈值，则处理进行到步骤S1115，相似度计算单元193选择与在步骤S1113中选择的特征信息相关联的分组信息。在图12A示出的示例中，选择了与特征信息1011相关联的分组信息1081。处理进行到步骤S1116，相似度计算单元193从所选人物1005中选择和与在步骤S1115中选择的分组信息不同的分组信息相关联的至少一条特征信息。在图12A中，假定选择了特征信息1021。然后处理进行到步骤S1117，相似度计算单元193使用存储在词典数据存储单元192中的相似度，从不同于人物1005的人物中选择相对于人物1005具有最高相似度的人物的特征信息。在图12A中示出的示例中，假定选择了人物1006的特征信息1031。
注意，假定词典数据存储单元192中存储登记在词典数据中的人物之间的相似度。假定在每次更新词典数据时执行登记人物之间的相似度的计算。可选地，各登记人物可以与在剩余登记人物中具有最高相似度的人物相对应。
处理进行到步骤S1118，相似度计算单元193针对两种情况计算当在步骤S1115中选择的分组信息与在步骤S206中提取的特征信息相关联时的相似度的增加值。一种情况是属于关注组的特征信息与关于相同人物的属于其他组的特征信息之间的相似度的增加值。另一种情况是属于关注组的特征信息与其他人的特征信息之间的相似度的增加值。
首先，关于相同人物，计算与在步骤S1115中选择的分组信息相关联的特征信息(在分组信息被与在步骤S206中提取的特征信息相关联之前的状态)和在步骤SI 116中选择的特征信息之间的相似度。相似度计算单元193还使用在步骤S1116中选择的特征信息和与在步骤S1115中选择的分组信息已被与在步骤S206中提取的特征信息相关联之后的该分组信息相关联的特征信息来计算相似度。相似度计算单元193由以上述方式计算的两个相似度来计算相同人物的相似度增加值。
接下来，相似度计算单元193计算与在步骤S1115中选择的分组信息相关联的特征信息(在分组信息被与在步骤S206中提取的特征信息相关联之前的状态)和在步骤S1117中选择的其他人物的特征信息之间的相似度。相似度计算单元193还使用其他人物的特征信息和与在步骤S1115中选择的分组信息已被与在步骤S206中提取的特征信息相关联之后的该分组信息相关联的特征信息来计算相似度。相似度计算单元193由以上述方式计算的两个相似度来计算其他人物的相似度增加值。
将参照图13更详细地描述相似度增加值的计算。参照图13，分组信息1181表示了分组信息1081被与特征信息1001相关联的状态。因此，分组信息1081与分组信息1181实质上相同。相似度计算单元193使用分组信息1081与在步骤S1116中选择的特征信息1021来计算相似度1101。相似度计算单元193还使用分组信息1181与在步骤S1116中选择的特征信息1021来计算相似度1102。此外，相似度计算单元193使用相似度1101以及1102计算相同人物的相似度增加值1111。类似地，相似度计算单元193使用分组信息1081与在步骤S1117中选择的特征信息1031来计算相似度1103。此外，相似度计算单元193还使用分组信息1181与在步骤S1117中选择的特征信息1031计算相似度1104。相似度计算单元193使用相似度1103以及1104计算其他人物的相似度增加值1112。
处理进行到步骤S1119，分组信息设置单元195比较在步骤S1118中获得的相同人物的相似度增加值1111与其他人物的相似度增加值1112。如果相同人物的相似度增加值1111高于其他人物的相似度增加值1112，则处理进行到步骤S1120。在步骤S1120中，分组信息设置单元195将在步骤S1115中选择的分组信息1081与特征信息1001相关联并将其存储在词典数据存储单元192中。由此处理结束。另一方面，如果相同人物的相似度增加值1111等于或低于其他人物的相似度增加值1112，则处理进行到步骤S1121。在步骤S1121中，分组信息设置单元195将所选人物1005的新分组信息与特征信息1001相关联。图12C示出了当相似度增加值1111高于相似度增加值1112时的词典数据。在图12C中，分组信息1081被与特征信息1011以及1001相关联。
如上所述，根据第三实施例，与获得了最大相似度的特征信息相关联的分组信息被选择作为组候补(步骤S1115 )。在被摄体的特征信息中的、从除组候补之外的组中获得的特征信息与属于组候补的特征信息之间的相似度在将提取的特征信息追加到组候补前后的变化(增加值)，被计算作为相同人物的相似度增加值。此外，在与特定被摄体不同的其他被摄体的特征信息和属于组候补的特征信息之间的相似度在将提取的特征信息追加到组候补前后的变化，被计算作为其他人物的相似度增加值。当相同人物的相似度增加值高于其他人物的相似度增加值时，组候补的分组信息被与在步骤S206中提取的特征信息相关联。
注意，如果在步骤S1116中不能够选择任何特征信息，则直接执行步骤S1120。如果在步骤S1116中选择了一条或更多条特征信息，则使用具有最大增加值的特征信息。使用通过上述根据第三实施例的词典数据存储处理生成的词典数据的人物识别处理与第一实施例中的相同。
如上所述，根据上述各个实施例，能够在抑制针对关注人物而计算的相似度的降低的同时，降低针对其他人物计算的相似度。由此可以提供能够提高识别精度的人物识别装置以及人物识别方法，和词典存储方法。
根据本发明，即使在词典数据中关于相同被摄体的特征信息的数量增加时，也能够防止验证精度的降低。
本发明的各方面还可以通过读出并执行记录在存储设备上的用于执行上述实施例的功能的程序的系统或装置的计算机(或诸如CPU或MPU的设备)来实现，以及通过由系统或装置的计算机通过例如读出并执行记录在存储设备上的用于执行上述实施例的功能的程序来执行各步骤的方法来实现。鉴于此，例如经由网络或者从用作存储设备的各种类型的记录介质(例如计算机可读介质)向计算机提供程序。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。
权利要求
1.一种被摄体识别装置，所述被摄体识别装置包括: 存储单元，用于存储词典数据，在所述词典数据中，将从一个被摄体的多个图像获得的多个特征信息基于所述多个特征信息的相似度而放入组中，并与该被摄体相关联地登记； 提取单元，用于从图像检测被摄体，并从该被摄体的图像提取要被新登记的特征信息； 选择单元，用于在由所述提取单元检测的被摄体登记在所述词典数据中的情况下，基于所提取的特征信息与属于所检测的被摄体的各组的特征信息之间的相似度，来选择对应于所检测的被摄体的组；以及 登记单元，用于在所述选择单元已选择对应组的情况下，在所述词典数据的该对应组中登记所提取的特征信息，而在所述选择单元没有选择对应组的情况下，向所述词典数据中的所检测的被摄体追加新组并登记所提取的特征信息。
2.根据权利要求1所述的被摄体识别装置，其中，在所提取的特征信息与针对所检测的被摄体在所述 词典数据中登记的各特征信息之间的相似度中的最大相似度高于预定阈值的情况下，所述选择单元选择获得了所述最大相似度的特征信息所属的组，作为所述对应组。
3.根据权利要求1所述的被摄体识别装置，其中，所述选择单元选择所提取的特征信息与针对所检测的被摄体在所述词典数据中登记的各特征信息之间的相似度高于预定阈值的各特征信息所属的全部组，作为所述对应组。
4.根据权利要求1所述的被摄体识别装置，其中，所述选择单元选择所提取的特征信息与针对所检测的被摄体在所述词典数据中登记的各特征信息之间的相似度高于预定阈值的各特征信息所属的组中的预定数量的组，作为所述对应组。
5.根据权利要求1所述的被摄体识别装置，其中， 所述选择单元基于所提取的特征信息与属于所检测的被摄体的各组的特征信息之间的相似度，来选择对应于所检测的被摄体的组候补，并且 所述选择单元在所提取的特征信息被追加到该组候补时、由所检测的被摄体的所述组候补之外的组获得的特征信息以及属于该组候补的特征信息而获得的相似度的增加值，大于所提取的特征信息被追加到该组候补时、由从所述词典数据选择的除所检测的被摄体之外的其他被摄体的特征信息以及属于该组候补的特征信息而获得的相似度的增加值的情况下，选择所述组候补作为所述对应组。
6.根据权利要求5所述的被摄体识别装置，其中， 所述选择单元选择在所述词典数据中登记的、除所检测的被摄体之外的被摄体的所有特征信息中的具有与所检测的被摄体的最大相似度的特征信息，作为所述其他被摄体的特征信息。
7.根据从权利要求1至6中任意一项所述的被摄体识别装置，所述被摄体识别装置还包括: 用于使用户从登记在所述词典数据中的被摄体中选择对应于所检测的被摄体的被摄体的单元。
8.根据从权利要求1至6中任意一项所述的被摄体识别装置，所述被摄体识别装置还包括:获得单元，用于从输入图像获得特征信息； 计算单元，用于针对各组计算由所述获得单元获得的特征信息与登记在所述词典数据中的特征信息之间的相似度；以及 识别确定单元，用于在所计算的相似度中的最大相似度高于识别阈值的情况下，确定对应于具有该最大相似度的组的被摄体为识别结果。
9.一种被摄体识别装置的词典数据登记方法，所述被摄体识别装置包括用于存储词典数据的存储单元，在所述词典数据中，将从一个被摄体的多个图像获得的多个特征信息与该被摄体相关联，并基于相似度而放入组中并登记，所述词典数据登记方法包括: 从图像检测被摄体，并从该被摄体的图像提取要被新登记的特征信息； 在所检测的被摄体被登记在所述词典数据中的情况下，基于所提取的特征信息与属于所检测的被摄体的各组的特 征信息之间的相似度，来选择对应于所检测的被摄体的组；以及 在已选择对应组的情况下，在所述词典数据的该对应组中登记所提取的特征信息，而在没有选择对应组的情况下，向所述词典数据中的所检测的被摄体追加新组并登记所提取的特征信息。
全文摘要
本发明提供一种被摄体识别装置及词典数据登记方法。在通过比较输入特征信息与预先作为词典数据存储的特征信息来计算相似度并识别人物的人物验证装置中，当在词典数据中追加存储特征信息时，比较该特征信息与已经存储在词典数据中的相同人物的特征信息。多个特征信息被基于相似度而放入针对相同人物的组中并被存储在词典数据中。
文档编号H04N5/91GK103186770SQ20121057622
公开日2013年7月3日 申请日期2012年12月26日 优先权日2011年12月27日
发明者田中裕树, 菊地明美, 大轮宁司, 岩本保彦 申请人:佳能株式会社