专利名称：信息处理设备、信息处理方法和程序的制作方法
技术领域：
本发明涉及信息处理设备、信息处理方法和程序。更具体地，本发明涉及适合于在 例如作为面部图像中的被摄体的人物的个人识别中使用的信息处理设备、信息处理方法和 程序。
背景技术：
在图像识别中的学习阶段已使用了统计学习方法。可以使用基于统计学习理论 的学习技术的增强(boosting)来构建能够有效地从大量数据中选择特征值的高精度分类
ο通常，将图像识别的分类公式化为判断要识别的图像是否与预先学习的图像相匹 配的两级分离(two-class separation)问题，并且已经提出了许多用于将分类扩展为多级 分类(multi-class classification)的技术。例如,在作者为 Thomas G. Dietterich和 Ghulum Bakiri 的“Solving Multiclass Learning Problems via Error-Correcting Output Codes", Journal of Artificial Intelligence Research 2，第263-286页，1995年中，描述了在通信领域中使用的其中通 过重复二值分类且使用二进制数来表示多个级并进行分类的纠错输出编码(ECOC)的应 用。此夕卜，例如，在作者为 Robert Ε. Shapire 的"Using output codes to boost multiclass learning problems，，，Proceedings of the Fourteenth International Conference on Machine Learning，1997年中，描述了其中将上述的ECOC方法应用于增强 算法以使得组合用于二值分类的弱分类器来构成多级分类器的机制。此外，例如，在作者为T. Windeatt和G. Ardeshir 的“Boosted ECOC Ensembles for Face Recognition，，， International Conference on Visual Information Engineering, 2003 (VIE 2003)，Volume, Issue，2003 年 7 月 7-9 日，第 165-168 页中，描述了将作为针对 多级方法的增强算法的自适应增强(AdaBoost)的扩展(即，输出码AdaBoost (AdaBoost. OC))用于基于面部图像的个人识别的任务。具体地，在多级分类器的学习中使用200个注 册的人物的预定训练图像。将相同的200个人物的面部图像输入到多级分类器中，以评估 每个面部图像属于哪一级(即，每个面部图像属于200个注册人物中的哪个人物)。
发明内容
然而，T. Windeatt和G. Ardeshir所描述的多级分类器不保证对未知人物(即，除 了 200个注册人物之外的人物)的面部图像的评估，并且在使用未注册假冒者的面部图像 的验证任务中未获得满意的结果。因此，期望通过对未知图像应用多级识别结果来识别甚至未知的图像。根据本发明的实施例，一种信息处理设备包括以下元件。学习装置使用均被分配 有级标签的多个样本图像的图像特征值来执行自适应增强纠错输出编码学习，以生成多级
4分类器，该多级分类器被配置为输出与输入图像相对应的多维得分矢量。注册装置将注册 图像输入到多级分类器中，并与和所输入的注册图像相关的识别信息相关联地注册与注册 图像相对应的多维得分矢量。确定装置将要识别的识别图像输入到多级分类器中，并确定 与所输入的识别图像相对应的多维得分矢量和与注册图像相对应的所注册的多维得分矢 量之间的相似度。 学习装置可以使用均被分配有K个级标签之一的多个样本图像的图像特征值来 执行自适应增强纠错输出编码学习，以生成整个图像多级分类器，整个图像多级分类器被 配置为输出与输入图像相对应的K维得分矢量，并且学习装置可以使用通过将样本图像中 的每个划分为M个部分而获得的分割图像中的每个分割图像的图像特征值来执行独立的 自适应增强纠错输出编码学习，以生成基于M部分的多级分类器，该基于M部分的多级分类 器中的每个被配置为输出与输入图像相对应的K维得分矢量。 级标签中的每个可以包括识别信息和属性信息中的至少一个，该识别信息用于识 别样本图像中的对应的一个样本图像中的各个被摄体，该属性信息表示样本图像中的对应 的一个样本图像中的被摄体的属性。该信息处理设备还可以包括减少装置，用于选择性地减少多级分类器的维度。该减少装置可以使用序列搜索来选择性地减少多级分类器的维度。该减少装置可以根据下层分类器的增强学习结果来选择性地减少多级分类器的 维度，该下层分类器被设置在多级分类器之后，并被配置为接收多级分类器的输出。该图像特征值可以是像素差分特征或矩形特征。根据本发明的另一实施例，一种信息处理方法是用于识别输入图像的信息处理设 备的信息处理方法，并包括以下步骤使用均被分配有级标签的多个样本图像的图像特征 值来执行自适应增强纠错输出编码学习，以生成多级分类器，该多级分类器被配置为输出 与输入图像相对应的多维得分矢量；将注册图像输入到多级分类器中，并与和所输入的注 册图像相关的识别信息相关联地注册与注册图像相对应的多维得分矢量；以及将要识别的 识别图像输入到多级分类器中，并确定与所输入的识别图像相对应的多维得分矢量和与注 册图像相对应的所注册的多维得分矢量之间的相似度。根据本发明的又一实施例，一种程序使得计算机用作学习装置，用于使用均被分 配有级标签的多个样本图像的图像特征值来进行自适应增强纠错输出编码学习，以生成多 级分类器，该多级分类器被配置为输出与输入图像相对应的多维得分矢量；注册装置，用于 将注册图像输入到多级分类器中，并与和所输入的注册图像相关的识别信息相关联地注册 与注册图像相对应的多维得分矢量；以及确定装置，用于将要识别的识别图像输入到多级 分类器中，并确定与所输入的识别图像相对应的多维得分矢量和与注册图像相对应的所注 册的多维得分矢量之间的相似度。根据本发明的实施例，使用均被分配有级标签的多个样本图像的图像特征值来进 行自适应增强纠错输出编码学习，以生成多级分类器，该多级分类器被配置为输出与输入 图像相对应的多维得分矢量。此外，将注册图像输入到多级分类器中，并且与关于所输入的 注册图像的识别信息相关联地注册与该注册图像相对应的多维得分矢量。另外，将要识别 的识别图像输入到多级分类器中，并且确定与所输入的识别图像相对应的多维得分矢量和 与该注册图像相对应的所注册的多维得分矢量之间的相似度。
5
因此，可以识别未知图像。
图1是示出根据本发明的实施例的面部图像识别设备的学习处理的概要的图2是示出根据本发明的实施例的面部图像识别设备的注册处理的概要的图3是示出根据本发明的实施例的面部图像识别设备的识别处理的概要的图4是示出根据本发明的实施例的面部图像识别设备的示例配置的框图5是示出样本图像的示例的图6是示出用作图像特征值的像素差分特征的图7是示出面部图像识别设备的操作的流程图8是示出学习处理的流程图9是示出二值分类弱分类器的学习处理的流程图10是示出注册处理的流程图11是示出K维得分矢量计算处理的流程图12是示出识别处理的流程图13是示出预处理的示例的图14是示出面部图像的分割的示例的图15是示出基于分量的多级分类器的图16是示出分层多级分类器的图17A至17D是示出用作图像特征值的矩形特征的图18是示出用作图像特征值的矩形特征的图；以及
图19是示出计算机的示例配置的框图。
具体实施例方式现在，参考附图来详细描述本发明的实施例。按照下面的顺序给出描述1.根据实施例的面部图像识别设备的操作的概要2.根据实施例的面部图像识别设备的示例配置3.根据实施例的面部图像识别设备的操作4.基于分量的多级分类器5.级标签的另一示例6.特征值的维的选择7.分层分类器8.其它图像特征值1.根据实施例的面部图像识别设备的操作的概要根据实施例的面部图像识别设备被配置为确定要识别的面部图像的特征值，将所 确定的特征值与预先注册的多个人物(注册人物)的面部图像的特征值进行比较，并输出 与注册人物中的具有最相似的特征值的一个注册人物相关的识别信息(例如姓名)作为识 别结果。面部图像识别设备的操作被宽泛地分为学习、注册和识别三个处理。
6
图1示出了学习处理的概要。在学习处理中，针对K个样本人物中的每个而提供 多个面部图像。多级分类器学习单元22计算样本人物1^&=1，2，...，1()中的每个的面 部图像的图像特征值，并使用作为结果的图像特征值来学习多级分类器23。多级分类器23 确定表示输入面部图像中的人物与样本人物k中的每个的相似程度的得分。假定该得分越 大相似度就越高。因此，多级分类器23输出K维的得分(下文中称为“K维得分矢量”)。图2示出了注册处理的概要。在注册处理中，针对多个注册人物X，Y，Z，...中的 每个而提供面部图像，并且多级分类器23确定每个注册人物的面部图像的K维得分矢量。 在注册数据库25中与注册人物的识别信息(例如姓名)相关联地注册所确定的K维得分 矢量。注册人物与学习处理中的样本人物不相关(也就是说，与学习处理中的样本人物不 相同)，但是可以与样本人物相同。图3示出了识别处理的概要。在识别处理中，提供要识别的面部图像，并且多级分 类器23确定要识别的面部图像的K维得分矢量，并将该K维得分矢量输入到相似度确定单 元28中。相似度确定单元28指定在注册数据库25中注册的K维得分矢量中的与要识别 的面部图像的K维得分矢量最相似的K维得分矢量，并输出与注册人物中对应的注册人物 相关的识别信息作为识别结果。例如通过欧几里德距离(Euclidean distance)来测量K 维得分矢量之间的相似度。2.根据实施例的面部图像识别设备的示例配置图4示出了根据实施例的面部图像识别设备的示例配置。面部图像识别设备10 包括被配置为执行学习处理的学习系统11、被配置为执行注册处理的注册系统12和被配 置为执行识别处理的识别系统13。学习系统11包括学习样本输入单元21、多级分类器学习单元22和多级分类器 23。注册系统12包括多级分类器23、注册图像输入单元24和注册数据库25。识别系统13 包括多级分类器23、注册数据库25、识别图像输入单元26、预处理单元27和相似度确定单 元28。也就是说，多级分类器23被包括在学习系统11、注册系统12和识别系统13中，注 册数据库25被包括在注册系统12和识别系统13中。学习样本输入单元21向针对K个样本人物中对应的一个样本人物提供的多个面 部图像(也称为“样本图像”)添加与该K个样本人物中的每个相关的识别信息(例如姓 名)作为级标签，并且向多级分类器学习单元22提供均包括样本图像Xi和级标签yk的学 习样本。更具体地，如图5所示，向M个样本图像Xi (i = 1，2，...，M)添加级标签yk(k = 1,2,...,K)以生成M个学习样本(Xi，yk)，将该M个学习样本(Xi，yk)输入到多级分类器学 习单元22中。在将样本图像Xi输入到多级分类器学习单元22中之前，学习样本输入单元21将 样本图像Xi的尺寸调整为预定尺寸(下文详细描述)。多级分类器学习单元22利用添加的级标签yk来确定M个样本图像Xi的图像特征 值，并且使用AdaBoost ECOC学习多个弱分类器以产生由多个弱分类器形成的多级分类器 23。均被配置为判断图像是否属于级的多个弱分类器的判断基于样本图像的图像特征值。 图像特征值的示例可以包括由本发明的发明人提出的PixDif Feature (像素差分特征)。例如，在作者为 Sabe、Hidai 的 “pikuseru sabun tokucho wo mochiita jitsujikan nin' i shisei kao kenshutsuki no gakushu(Learning of a Real-TimeArbitrary Posture Face Detector Using Pixel Difference Feature)，，，Proceedings of the IOth Symposium on Sensing via Image Information,第 547-552 页，2004 年，日 本未审专利申请公开第2005-157679号等中，公开了 PixDif Feature (像素差分特征)。图6是示出像素差分特征的概要的图。可以通过确定图像上的两个像素的像素值 (亮度值H1和I2之间的差(即，I1-I2)来获得像素差分特征。如下面的方程式(ι)所给 出的，与两个像素的组合相对应的二值分类弱分类器h(x)中的每个使用像素差分特征(由 I1-I2给出)和阈值Th来识别真(+1)或假(-1)h(x) = "I如果 I1-I2S Thh(x) = +1如果 I1-I2STh (1)如果在不调整输入图像的尺寸的情况下来确定像素差分特征，则可以获得大量的 两个像素的组合。因此，在调整输入图像的尺寸之后，获得像素差分特征。例如，当将输入 图像的尺寸调整为20X20个像素时，获得400X399个像素差分特征。当将输入图像的尺 寸调整为64X64个像素时，获得4096X4095个像素差分特征。多个两个像素的组合和阈 值Th用作二值分类弱分类器的参数，并且使用增强学习来选择最优的参数组。多级分类器23计算并输出与从注册图像输入单元24输入的注册人物的面部图像 (下文中也称为“注册图像”)相对应的K维得分矢量。在注册数据库25中与和对应的注 册人物相关的识别信息(例如姓名)相关联地注册与输出注册图像相对应的输出的K维得 分矢量。多级分类器23还计算并输出与经由预处理单元27从识别图像输入单元26输入 的识别图像相对应的K维得分矢量。将与识别图像相对应的输出K维得分矢量提供到相似 度确定单元28。注册图像输入单元24以与学习样本输入单元21调整样本图像的尺寸的方式相 类似的方式调整注册人物的面部图像的尺寸，并将作为结果的面部图像输入到多级分类器 23。注册图像输入单元24还将与注册人物相关的识别信息(例如姓名)输入到注册数据 库25中。注册数据库25与和注册人物相关的识别信息相关联地存储与注册人物的面部图 像相对应的K维得分矢量。识别图像输入单元26将要识别的面部图像(识别图像)经由预处理单元27输入 到多级分类器23中。预处理单元27根据需要而对从识别图像输入单元26输入的识别图像执行预处理 (具体地，用于将非朝向正面的面部校正为朝向正面的面部的图像处理)。此外，预处理单 元27以与学习样本输入单元21调整样本图像的尺寸的方式相类似的方式调整根据需要而 被预处理后的识别图像的尺寸，并将作为结果的识别图像输入到多级分类器23中。相似度确定单元28指定在注册数据库25中注册的K维得分矢量中的与对应于识 别图像的K维得分矢量最相似的K维得分矢量(例如，具有最短欧几里德距离和具有小于 等于预定阈值的欧几里德距离的K维得分矢量)，并将与对应的注册人物相关的识别信息 作为识别结果而输出。3.根据实施例的面部图像识别设备的操作图7是示出面部图像识别设备10的操作的流程图。
8
在步骤Sl中，面部图像识别设备10的学习系统11执行学习处理，以产生多级分 类器23。在步骤S2中，面部图像识别设备10的注册系统12执行注册处理，以计算与注册 图像相对应的K维得分矢量，并将K维得分矢量与和对应的注册人物相关的识别信息相关 联地注册在注册数据库25中。在步骤S3中，面部图像识别设备10的识别系统13执行识别处理，以指定与识别 图像中的人物最相似的注册人物。现在，详细描述上述步骤Sl至S3的处理。将描述学习处理的细节。图8是示出学习处理的流程图。在步骤Sll中，如图5所示，学习样本输入单元12将M个学习样本(Xi，yk)输入到 多级分类器学习单元22中。在步骤S12中，多级分类器学习单元22使用下面的方程式(2)对用M行和K列表 示的样本权重Pt (i，k)进行初始化对于yk Φ k, P1 (i, k) = 1/M(K-I)(2)具体地，将样本权重Pt (i，k)的初始值？工^ k)设置为其中与现有学习样本(Xi， yk)相对应的样本权重为0而另外该值的总和为1的均勻值。下面描述的步骤S13至S18的处理被重复期望的次数T。可以将次数T设置为直 到对采样图像获得的像素差分特征的数量，并且产生与次数T相同的数量的弱分类器。在步骤S13中，多级分类器学习单元22产生1行K列的ECOC表。ECOC表的k列 中的值yt(k)为负ι(-ι)或正ι(+ι)，并且随机分配，以使得负ι(-ι)的数量等于正ι(+ι) 的数量，也就是说μ t(k) = {-1， +1}.(3)在步骤S14中，多级分类器学习单元22使用下面的方程式(4)计算由M行和1列 表示的二值分类权重Dt (i)
ip(i,k)[Mt(yi)^Ai(k)]Dt(i) = k
M K
j k(4)
其中，[]表示对于真使用1且对于假使用O的布尔(Boolean)表达式。 在步骤S15中，多级分类器学习单元22学习在步骤S14中获得的二值分类权重 Dt (i)而将通过下面的方程式(5)给出的加权错误率ε t最小化的二值分类弱分类器ht:
￡t= Σ Dt(i)i:ht (Xi) ^jU(Yi)(5)图9是详细示出步骤S15中的处理的流程图。在步骤S31中，多级分类器学习单元22从被调整了尺寸的样本图像的所有像 素中随机选择两个像素。例如，当将样本图像的尺寸调整为64X64个像素时，通过选择 4096X4095个两个像素的组合中的一个来选择两个像素。这里，用S1和S2表示选择的两 个像素的像素位置，用I1和I2表示该两个像素的像素值(亮度值)。
9分类器学习单元22使用在步骤S31中选择的两个像素的像素 值I1和I2来针对所有学习样本确定像素差分特征(I1-I2)，并确定像素差分特征的频率分布。在步骤S33中，多级分类器学习单元22基于像素差分特征的频率分布而确定将由 方程式(5)给出的加权错误率ε t设置为最小值^min的阈值Thmin。在步骤S34中，多级分类器学习单元22基于像素差分特征的频率分布而确定将由 方程式(5)给出的加权错误率ε t设置为最大值的阈值Thmax。此外，多级分类器学习 单元22根据下面的方程式(6)而反转(invert)阈值Thmax和其它值ε ‘隱=1- ε maxS' ！ = S2S' 2 = S1Th' max =-Thmax(6)在步骤S35中，多级分类器学习单元22基于上述加权错误率^的最小值￡min和 最大值ε _之间的幅值关系而确定作为二值分类弱分类器的参数的两个像素的位置S1和 S2以及阈值Th。具体地，当ε min < ε ‘ ■时，使用两个像素的位置S1和S2以及阈值Thmin作为参 数。当emin彡ε' max时，使用两个像素的位置S'2以及阈值Th' max作为参数。在步骤S36中，多级分类器学习单元22判断是否已将上述的步骤S31至步骤S35 的处理重复了预定次数。处理返回到步骤S31，重复其后的处理，直到判断为将该处理重复 了预定次数为止。当判断为将步骤S31至步骤S35的处理重复了预定次数时，处理进行到 步骤S37。在步骤S37中，多级分类器学习单元22最终使用如上所述地在被重复进行了预定 次数的步骤S35的处理中确定的二值分类弱分类器中的将加权错误率ε t最小化的一个二 值分类弱分类器(的参数)，作为一个二值分类弱分类器ht (的参数)。如上所述，在确定了一个二值分类弱分类器ht之后，处理返回到图8的步骤S16。在步骤S16中，多级分类器学习单元22基于与在步骤S15中确定的与二值分类弱 分类器ht相对应的加权错误率ε t而使用下面的方程式(7)计算可靠度Cit
权利要求
一种信息处理设备，包括学习装置，用于使用均被分配有级标签的多个样本图像的图像特征值来执行自适应增强纠错输出编码学习，以生成多级分类器，所述多级分类器被配置为输出与输入图像相对应的多维得分矢量；注册装置，用于将注册图像输入到所述多级分类器中，并且与和所输入的注册图像相关的识别信息相关联地注册与所述注册图像相对应的多维得分矢量；以及确定装置，用于将要识别的识别图像输入到所述多级分类器中，并且确定与所输入的识别图像相对应的多维得分矢量和与所述注册图像相对应的所注册的多维得分矢量之间的相似度。
2.根据权利要求1所述的信息处理设备，其中，所述学习装置使用均被分配有K个级 标签之一的多个样本图像的图像特征值来进行自适应增强纠错输出编码学习，以生成整个 图像多级分类器，所述整个图像多级分类器被配置为输出与输入图像相对应的K维得分矢 量，并且所述学习装置使用通过将所述样本图像中的每个样本图像划分为M个部分而获得 的分割图像中的每个分割图像的图像特征值来执行独立的自适应增强纠错输出编码学习， 以生成基于M部分的多级分类器，所述基于M部分的多级分类器中的每个被配置为输出与 所述输入图像相对应的K维得分矢量。
3.根据权利要求1所述的信息处理设备，其中，所述级标签中的每个包括识别信息和 属性信息中的至少一个，所述识别信息用于识别所述样本图像中的对应的一个样本图像中 的各个被摄体，所述属性信息表示所述样本图像中的对应的一个样本图像中的被摄体的属 性。
4.根据权利要求1所述的信息处理设备，还包括减少装置，用于选择性地减少所述多 级分类器的维度。
5.根据权利要求4所述的信息处理设备，其中，所述减少装置使用序列搜索来选择性 地减少所述多级分类器的维度。
6.根据权利要求4所述的信息处理设备，其中，所述减少装置根据下层分类器的增强 学习结果来选择性地减少所述多级分类器的维度，所述下层分类器被设置在所述多级分类 器之后，并被配置为接收所述多级分类器的输出。
7.根据权利要求1至6中任一项所述的信息处理设备，其中所述图像特征值是像素差 分特征或矩形特征。
8.一种用于识别输入图像的信息处理设备的信息处理方法，包括以下步骤使用均被分配有级标签的多个样本图像的图像特征值来进行自适应增强纠错输出编 码学习，以生成多级分类器，所述多级分类器被配置为输出与所述输入图像相对应的多维 得分矢量；将注册图像输入到所述多级分类器中，并且与和所输入的注册图像相关的识别信息相 关联地注册与所述注册图像相对应的多维得分矢量；以及将要识别的识别图像输入到所述多级分类器中，并且确定与所输入的识别图像相对应 的多维得分矢量和与所述注册图像相对应的所注册的多维得分矢量之间的相似度。
9.一种程序，用于使计算机用作学习装置，用于使用均被分配有级标签的多个样本图像的图像特征值来进行自适应增强纠错输出编码学习，以生成多级分类器，所述多级分类器被配置为输出与输入图像相对 应的多维得分矢量；注册装置，用于将注册图像输入到所述多级分类器中，并且与和所输入的注册图像相 关的识别信息相关联地注册与所述注册图像相对应的多维得分矢量；以及确定装置，用于将要识别的识别图像输入到所述多级分类器中，并且确定与所输入的 识别图像相对应的多维得分矢量和与所述注册图像相对应的所注册的多维得分矢量之间 的相似度。
10. 一种信息处理设备，包括学习单元，被配置为使用均被分配有级标签的多个样本图像的图像特征值来进行自适 应增强纠错输出编码学习，以生成多级分类器，所述多级分类器被配置为输出与输入图像 相对应的多维得分矢量；注册单元，被配置为将注册图像输入到所述多级分类器中，并且与和所输入的注册图 像相关的识别信息相关联地注册与所述注册图像相对应的多维得分矢量；以及确定单元，被配置为将要识别的识别图像输入到所述多级分类器中，并且确定与所输 入的识别图像相对应的多维得分矢量和与所述注册图像相对应的所注册的多维得分矢量 之间的相似度。
全文摘要
提供了信息处理设备、信息处理方法和程序。信息处理设备包括以下元件。学习单元被配置为使用均被分配有级标签的多个样本图像的图像特征值来进行自适应增强纠错输出编码学习，以生成多级分类器，该多级分类器被配置为输出与输入图像相对应的多维得分矢量。注册单元被配置为将注册图像输入到多级分类器中，并与和所输入的注册图像相关的识别信息相关联地注册与注册图像相对应的多维得分矢量。确定单元被配置为将要识别的识别图像输入到多级分类器中，并确定与所输入的识别图像相对应的多维得分矢量和与注册图像相对应的所注册的多维得分矢量之间的相似度。
文档编号G06K9/66GK101937513SQ20101021339
公开日2011年1月5日 申请日期2010年6月23日 优先权日2009年6月30日
发明者佐部浩太郎, 大久保厚志, 日台健一 申请人:索尼公司