专利名称：信息处理单元、信息处理方法和程序的制作方法
技术领域：
本发明涉及一种信息处理单元、信息处理方法和程序，更具体地讲，涉及一种能够基于来自两个或更多个分类器的输出正确地执行两类分类的信息处理单元、信息处理方法和程序。
背景技术：
例如，对于诸如人面识别的识别处理，通常采用基于诸如SVM(支持向量机(support vector machine))和AdaBoost的统计学习理论的两类分类器(例如，参见非专利文献1)。
图1是示出典型的两类分类器的配置的例子的框图。
分类器1具有基于诸如SVM和AdaBoost的统计学习理论先前求出的分类函数f(x)。分类器1将输入向量x代入分类函数f(x)，并且输出标量值y作为代入的结果。
比较器2基于标量值y是正的还是负的，或者基于标量值y是大于预定阈值还是小于预定阈值，来确定从分类器1提供的标量值y属于两类中的哪一类，并且输出确定结果。具体地讲，比较器2将标量值y转换成值Y并且输出值Y，其中，对应于这两类中的一类，值Y是“1”或者“-1”。
[非专利文献1] Bernd Heisele，″Face Recognition with Support Vector MachinesGlobal versus Component-based Approach″，Massachusetts Instituteof Technology Center for Biological and Computational LearningCanmbridge，U.S.A.
发明内容
本发明要解决的问题 在识别处理中，可能希望基于来自两个或更多个分类器1的标量值y获得综合分类结果(类)。然而，根据其各自的分类函数f(x)从各个分类器1输出的值是基于彼此独立的测量。例如，即使从第一分类器1输出的标量值y1和从第二分类器2输出的标量值y2是相同值，各个值的意义仍彼此不同。由此，当以单个一致(singleuniform)的方式(例如，是正还是负，或者是大于还是小于预定阈值)对来自各个分类器1的标量值y进行评估时，常常不能够正确地执行两类分类。
鉴于上述内容，本发明允许基于来自两个或更多个分类器的输出正确地执行两类分类。
解决问题的手段 根据本发明的一个方面，提供一种信息处理单元，该信息处理单元包括分类装置，用于使用分类函数输出输入数据的标量值；映射装置，用于使用映射函数将该标量值映射为概率值，该映射函数是使用从测试结果计算的概率值求出的，该测试结果是在测试数据被提供到分类装置时从分类装置输出的标量值；以及两类分类装置，用于基于从映射装置输出的概率值来对输入数据属于两类中的哪一类进行分类。
根据本发明的一个方面，提供了一种信息处理方法，其中信息处理单元包括分类装置、映射装置和两类分类装置，并且对输入数据属于两类中的哪一类进行分类；分类装置使用分类函数输出输入数据的标量值；映射装置使用映射函数将该标量值映射为概率值，该映射函数是使用从测试结果计算的概率值求出的，该测试结果是在测试数据被提供到分类装置时从分类装置输出的标量值；两类分类装置基于从映射装置输出的概率值来对输入数据属于两类中的哪一类进行分类。
根据本发明的一个方面，提供了一种程序，该程序使得计算机起下述装置的作用分类装置，用于使用分类函数输出输入数据的标量值；映射装置，用于使用映射函数将该标量值映射为概率值，该映射函数是使用从测试结果计算的概率值求出的，该测试结果是在测试数据被提供到分类装置时从分类装置输出的标量值；以及两类分类装置，用于基于从映射装置输出的概率值对输入数据属于两类中的哪一类进行分类。
根据本发明的一个方面，使用分类函数输出输入数据的标量值；使用映射函数将该标量值映射为概率值，该映射函数是使用从测试结果计算的概率值求出的，该测试结果是在测试数据被提供到分类装置时从分类装置输出的标量值；以及基于所映射的概率值对输入数据属于两类中的哪一类进行分类。
信息处理单元可以是独立单元，或者可以是单元中的一个块。
本发明的优点 根据本发明的一个方面，能够基于来自两个或更多个分类器的输出正确地执行两类分类。
图1是示出典型的两类分类器的配置的例子的框图。
图2是示出应用本发明的信息处理单元的实施例的配置例子的框图。
图3是描述由图2的信息处理单元执行的两类分类处理的流程图。
图4是示出标量值与类存在概率(class existence probability)之间的关系的图。
图5是描述用于求出映射函数的学习处理的流程图。
图6是示出标量值与类存在概率之间的另一种关系的图。
图7是示出应用本发明的计算机的实施例的配置例子的框图。
具体实施例方式 图2示出了应用本发明的信息处理单元的实施例的配置例子。
图2所示的信息处理单元11包括n个分类器211到21n和映射器221到22n、以及比较器23(n≥2)。
信息处理单元11对作为输入数据的输入向量x属于两类中的哪一类(例如，类A或B)进行分类，并且输出值“1”或“-1”作为分类结果。例如，如果向量x属于类A，则信息处理单元11输出值“1”；如果向量x属于类B，则信息处理单元11输出值“-1”。由此，信息处理单元11是两类分类器。
分类器21i(i＝1到n)将输入向量x代入分类函数fi(x)以输出标量值yi，这与参照图1描述的分类器1一样。请注意分类函数fi(x)是基于诸如SVM和AdaBoost的统计学习理论求出的函数。
映射器22i将从分类器21i提供的标量值yi代入通过稍后描述的学习处理求出的映射函数gi(yi)，以将来自分类器21i的标量值yi转换成类存在概率pi。将转换后的类存在概率pi提供给比较器23。
比较器23将分别从映射器221到22n提供的类存在概率p1到pn与预定阈值进行比较，以对输入数据属于两类中的哪一类进行分类，并且，比较器23输出值“1”或“-1”作为两类分类结果。
图3是由信息处理单元11执行的两类分类处理的流程图。
首先，在步骤S1中，分类器21i将输入向量x代入分类函数fi(x)以输出标量值yi。
在步骤S2中，映射器22i将从分类器21i提供的标量值yi代入映射函数gi(yi)，以确定类存在概率pi。
在步骤S3中，比较器23基于分别从映射器221到22n提供的类存在概率p1到pn执行两类分类，并且输出两类分类结果。具体地讲，比较器23输出值“1”或“-1”并且完成这个处理。
如上所述，在信息处理单元11中，两个或更多个分类器211到21n对输入数据(向量)x执行分类，并且映射函数分别将分类结果y1到yn转换成类存在概率p1到pn。然后，基于两个或更多个类存在概率p1到pn执行两类分类，并且输出最后的两类分类结果。
接下来，描述用于求出要在映射器22i中采用的映射函数gi(yi)的学习处理。
对于这个学习处理，预先提供k个测试数据(Yj，xtj)(j＝1、2、...、k)，并且对于这个学习处理实际需要解决的问题来讲，这些测试数据的质量和数量是足够的。测试数据(Yj，xtj)表示向量xtj与两类分类结果Yj的组合，其中，向量xtj是与输入数据对应的测试数据，两类分类配置Yj是向量xtj的已知值(真值)。
然后，作为学习处理，信息处理单元11对k个测试数据(Yj，xtj)中的每个执行下面处理。具体地讲，信息处理单元11将向量xtj输入到分类器21i，以获得与向量xtj对应的标量值ytj。然后，信息处理单元11基于标量值ytj是大于还是小于预定阈值来将标量值ytj转换成值“1”或“-1”(下文中称作两类分类测试结果Ytj)。因此，在这个学习处理中，首先，信息处理单元11使用分类器21i和比较器23执行与图1所示的传统的两类分类器执行的处理相似的处理，以确定两类分类测试结果Ytj。
两类分类测试结果Ytj(即在分类器21i中使用分类函数fi(x)对测试数据(Yj，xtj)的向量xtj进行分类的处理的结果)与向量xtj的两类分类结果的真值Yj(下文中称作真两类分类结果Yj)之间的关系能够被归类成下面四种类型。
两类分类测试结果Ytj与两类分类结果Yj之间的关系将落入下面的类型之一中。
第一种类型真正(下文中称作TP)，其中，真两类分类结果Yj是“1”，并且两类分类测试结果Ytj也是“1”； 第二种类型假正(下文中称作FP)，其中，真两类分类结果Yj是“-1”，并且两类分类测试结果Ytj是“1”； 第三种类型真负(下文中称作TN)，其中，真两类分类结果Yj是“-1”，并且两类分类测试结果Ytj也是“-1”；以及 第四种类型假负(下文中称作FN)，其中，真两类分类结果Yj是“1”，并且两类分类测试结果Ytj是“-1”。
因此，信息处理单元11将k个测试数据(Yj，xtj)中的每个归类为类型TP、FP、TN和FN。然后，信息处理单元11还基于标量值ytj对根据标量值yi归类为TP、FP、TN和FN的k个测试数据(Yj，xtj)进行归类。结果，对于每个标量值yi，测试数据(Yj，xtj)被归类为类型TP、FP、TN和FN。这里，针对给定的标量值yi的TP、FP、TN和FN中的测试数据的数目分别表示为TPm、FPm、TNm和FNm。
信息处理单元11使用每个标量值yi的TPm、FPm、TNm和FNm确定由公式(1)给出的正确概率P(精确度)作为类存在概率Pi。
[数学式1] 标量值yi与作为类存在概率Pi的正确概率P之间的关系通常是如图4所示的非线性单调递增关系。
因此，信息处理单元11通过下述方式来求出映射器22i的映射函数gi(yi)通过预定函数对基于具有足够的质量和数量的k个测试数据(Yj，xtj)获得的图4所示的标量值yi与作为类存在概率Pi的正确概率P之间的关系进行近似。
一些方法可以使用函数对图4所示的关系进行近似。例如，最简单方法之一是使用最小二乘法通过直线对这个关系进行近似。
具体地讲，当通过直线对图4所示的关系进行近似时，映射函数gi(yi)能够由下面的方程(2)进行表示。
pi＝gi(yi)＝a·yi+b(2) 或者，由图4可见，标量值yi与类存在概率Pi之间的关系通常在形状上类似于S形函数。由此，可以通过S形函数对图4所示的关系进行近似。由S形函数近似的映射函数gi(yi)可以由下面的方程进行表示。
[数学式2] 请注意在方程(2)和(3)中，a和b是确定为最适于图4所示的关系的预定常量。
或者，还可以基于诸如SVR(支持向量回归(support vectorregression))的统计学习方法求出映射函数gi(yi)。
作为基于统计学习方法求出映射函数gi(yi)的例子，在下面简要描述使用ε-SV回归(即一种SVR)求出映射函数的方法。
ε-SV回归与求出通过下面方程(4)针对训练数据{(x1，y1)，...，(xq，yq)}给出的回归函数意义相同。
f(x)＝<w，x>+b(4) 在方程(4)中，<w，x>是加权向量(weighting vector)w和x的内积，b是偏项(bias term)。
与SVM一样，通过将函数f的平坦度(flatness)最大化能够求出最佳函数f(x)。将函数f的平坦度最大化等效于将加权向量w的大小最小化，这等效于执行下面的方程(5)。
[数学式3] 最小化 进行 方程(5)在函数f(x)的近似相对于函数f(x)在±ε范围内(ε＞0)的约束之下将||w||2/2最小化。请注意方程(5)的约束中的xi和yi的下标i是用于识别训练数据的变量，与应用到以后描述的方程(6)到(11)的映射函数gi(yi)的下标i没有任何关系。
方程(5)的约束对于一些训练数据{(x1，y1)，...，(xq，yq)}可能太过严格。在这种情况下，根据下面引入两个松弛变量ξi，ξi＊的方程(6)减轻了约束。
[数学式4] 最小化 进行 方程(6)的常量C是给出函数f的平坦度与±ε之外的训练数据的量之间的权衡(trade-off)的参数。
使用未确定的乘子(multiplier)的拉格朗日方法能够解决方程(6)的最优化问题。具体地讲，将方程(7)的拉格朗日L的偏微分设置为零来给出方程(8)。
[数学式5] [数学式6] 在方程(7)和(8)中，αi、αi＊、ηi和ηi＊是等于或大于零的常量。
将方程(8)代入方程(7)使得方程(7)归结为将下面的方程(9)最大化的问题。
[数学式7] 最大化 进行 这里，从方程(8)和下面方程可以看出，基于ηi和ηi＊与最大化问题没有任何关系的事实。
[数学式8] 回归函数f(x)能够表示为下面的方程(10)。
[数学式9] 另外，与SVM一样，通过使用核函数技巧(kernel trick)能够将回归函数扩展为非线性函数。当使用非线性函数作为回归函数时，通过解决下面的最大化问题能够求出回归函数(这里没有给出详细描述)。
[数学式10] 最大化 进行 通过如上所述求出回归函数，还可以基于统计学习方法求出映射函数gi(yi)。
接下来，参照图5所示的流程图描述用于求出映射器22i的映射函数gi(yi)的学习处理。
首先，在步骤S21中，信息处理单元11将用于识别测试数据的变量j设置为1。
在步骤S22中，信息处理单元11将测试数据(Yj，xtj)的向量xtj输入到分类器21i，以获得与向量xtj对应的标量值ytj。
在步骤S23中，信息处理单元11基于标量值ytj是大于还是小于预定阈值来将标量值ytj转换成值“1”或“-1”(两类分类测试结果Ytj)。
在步骤S24中，信息处理单元11确定变量j是否等于k，即，确定是否针对所有准备的测试数据来确定两类分类测试结果Ytj。
在步骤S24中，如果确定变量j不等于k，也就是说，还没有针对所有的测试数据确定两类分类测试结果Ytj，则在步骤S25中信息处理单元11将变量j增加1并且这个处理返回到步骤S22。然后，这个处理针对下一个测试数据(Yj，xtj)确定两类分类测试结果Ytj。
另一方面，在步骤S24中，如果确定变量j等于k，则这个处理进入步骤S26并且信息处理单元11针对每个标量值yi将k个测试数据归类为四种类型TP、FP、TN和FN。结果，针对每个标量值yi，获得了分别称作TPm、FPm、TNm和FNm的TP、FP、TN和FN中的测试数据的数目。
然后，在步骤S27中，信息处理单元11针对每个标量值yi计算正确概率P作为类存在概率Pi。
在步骤S28中，信息处理单元11通过诸如方程(2)或(3)的预定函数对标量值yi与类存在概率Pi之间的关系进行近似以求出映射函数gi(yi)，并且结束这个处理。
以这样的方式，能够求出用于将从分类器21i提供的标量值yi转换成类存在概率Pi的映射函数gi(yi)。
请注意在上述例子中，由方程(1)给出的正确概率P(精确度)用作类存在概率Pi，然而，除正确概率P之外的值也可以用作类存在概率Pi。例如，错误分类概率FPR(假正率(false positiverate))可以用作类存在概率Pi。能够通过方程(12)计算错误分类概率FPR。
[数学式11] 当错误分类概率FPR用作类存在概率Pi时的标量值yi与类存在概率Pi之间的关系也是如图6所示的非线性单调递增关系。因此，同样在这种情况下，还能够使用方程(2)的线性函数或者方程(3)的S形函数通过近似来求出表示标量值yi与类存在概率Pi之间的关系的映射函数gi(yi)。
如上所述，在图3所示的两类分类处理的步骤S2中，使用通过学习处理求出的映射函数gi(yi)，将从分类器21i提供的标量值yi转换(映射)成类存在概率Pi。
如上所述，通常基于诸如SVM和AdaBoost的统计学习理论确定分类器21i的分类函数fi(x)。通常，使用分类函数fi(x)输出的标量值yi常常表示与分类边界表面的距离。在这种情况下，标量值yi的大小(magnitude)与类存在概率的大小高度相关。然而，分类边界表面通常是非线性形状，从而距离分类边界表面的距离与类存在概率之间的关系也是非线性的。另外，距离分类边界表面的距离与类存在概率之间的关系根据学习算法、学习数据、学习参数等显著变化。因此，当比较器23根据单个标准将从分类器211到21n输出的标量值y1到yn进行比较时，由于从分类器211到21n输出的这些值没有共同性(commonality)，所以难以获得正确的两类分类结果。
在信息处理单元11中，从分类器211到21n输出的标量值y1到yn通过映射器221到22n映射到普通度量(common measure)(即，类存在概率)，并且进行比较，这使得比较器23即使根据单个标准进行比较仍可以执行准确的两类分类。因此，信息处理单元11基于两个或更多个分类器211到21n的输出能够正确地执行两类分类。
从映射器221输出到映射器22n的值是具有类存在概率的意义的值。由此，从映射器221输出到映射器22n的值能够用于除两类分类以外的目的。例如，从映射器221输出到映射器22n的值可以用于与另一种算法的概率合并(probability consolidation)，或者可以用作从隐马尔可夫模型(HMM)、贝叶斯网络等产生的时间序列数据的概率值。
因此，在上述实施例中，信息处理单元11描述为具有两个或更多个分类器211到21n以及映射器221到22n(n≥2)，然而，即使信息处理单元11仅仅具有一个分类器211和映射器221，它们仍可以将输入数据转换成能够用于除两类分类以外的目的的可用值，这要高度优于参照图1描述的传统的两类分类器。因此，信息处理单元11可以仅仅包括一个分类器21和映射器22。
然后，当信息处理单元11具有两个或更多个分类器21和映射器22时，信息处理单元11提供两个优点。一个优点在于，能够根据普通度量对两个或更多个标量值进行比较。另一个优点在于，分类器21和映射器22能够将输入数据转换成能够用于除两类分类以外的目的的可用值。
能够通过硬件或软件实现上述的一系列处理。当通过软件实现这一系列处理时，将包括软件的程序从程序存储介质安装到嵌入在专用硬件中的计算机，或者，安装到例如通过安装各种程序能够执行各种功能的通用个人计算机。
图7是示出通过程序实现上述的一系列处理的计算机硬件的配置的例子的框图。
该计算机包括中央处理单元(CPU)101、只读存储器(ROM)102和随机存取存储器(RAM)103，所有这些通过总线104彼此连接。
此外，I/O接口105连接到总线104。下述部分连接到I/O接口105包括键盘、鼠标、传声器等的输入部分106；包括显示器、扬声器等的输出部分107；包括硬盘、非易失性存储器等的存储部分108；包括网络接口等的通信部分109；和驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质111的驱动器110。
在以上配置的计算机中，CPU 101通过例如经由I/O接口105和总线104将存储在存储部分108中的程序载入到RAM 103并且执行该程序来执行这一系列处理(两类分类处理或者学习处理)。
例如，通过可移动介质111或者通过诸如局域网、互联网或数字卫星广播的无线或有线传输媒体提供要由计算机(CPU 101)执行的程序，其中，该可移动介质111是记录有程序的封装介质，例如，磁盘(包括软盘)、光盘(包括压缩盘只读存储器(CD-ROM)和数字多功能盘(DVD))、磁光盘和半导体存储器。
请注意要由计算机执行的程序可以是如本文所述按时间序列依次被处理的程序，或者可以是并行地被处理或当需要时(例如，当被调用时)被处理的程序。
本文流程图中描述的步骤当然包括按时间序列要依次被执行的处理，并且还包括不需要按时间序列执行的并行或独立地执行的处理。
本发明的实施例不限于上述的实施例，并且在不脱离本发明的精神的情况下，可以进行各种变型。
[附图标记的说明] 11 信息处理单元 211到21n 分类器 221到22n 映射器 23 比较器
权利要求
1.一种信息处理单元，包括
分类装置，用于使用分类函数输出输入数据的标量值；
映射装置，用于使用映射函数将该标量值映射为概率值，该映射函数是使用从测试结果计算的概率值求出的，该测试结果是在测试数据被提供到分类装置时从分类装置输出的标量值；以及
两类分类装置，用于基于从映射装置输出的概率值对输入数据属于两类中的哪一类进行分类。
2.根据权利要求1所述的信息处理单元，
包括两组或更多组的分类装置和映射装置，以及
其中，两类分类装置基于从两个或更多个映射装置输出的概率值对输入数据属于两类中的哪一类进行分类。
3.根据权利要求2所述的信息处理单元，
其中，概率是类存在概率，以及
其中，映射装置将标量值映射为类存在概率值。
4.根据权利要求3所述的信息处理单元，
其中，类存在概率是正确概率。
5.根据权利要求3所述的信息处理单元，
其中，类存在概率是错误分类概率。
6.根据权利要求3所述的信息处理单元，
其中，映射函数表示为线性函数或S形函数。
7.根据权利要求3所述的信息处理单元，
其中，映射装置基于支持向量回归求出映射函数。
8.一种信息处理方法，
其中，信息处理单元包括分类装置、映射装置和两类分类装置，并且对输入数据属于两类中的哪一类进行分类，
其中，分类装置使用分类函数输出输入数据的标量值；
其中，映射装置使用映射函数将该标量值映射为概率值，该映射函数是使用从测试结果计算的概率值求出的，该测试结果是在测试数据被提供到分类装置时从分类装置输出的标量值；以及
其中，两类分类装置基于从映射装置输出的概率值对输入数据属于两类中的哪一类进行分类。
9.一种程序，该程序使得计算机起下述装置的作用
分类装置，用于使用分类函数输出输入数据的标量值；
映射装置，用于使用映射函数将该标量值映射为概率值，该映射函数是使用从测试结果计算的概率值求出的，该测试结果是在测试数据被提供到分类装置时从分类装置输出的标量值；以及
两类分类装置，用于基于从映射装置输出的概率值对输入数据属于两类中的哪一类进行分类。
全文摘要
本发明涉及一种能够基于两个或更多个分类器的输出正确地执行两类分类的信息处理单元、信息处理方法和程序。分类器21i(i＝1到n)将输入向量x代入分类函数fi(x)中以输出标量值yi。映射器22i将从分类器21i提供的标量值yi代入通过以后描述的学习处理求出的映射函数gi(yi)以将来自分类器21i的标量值yi转换成类存在概率pi。比较器23将分别从映射器221到22n提供的类存在概率p1到pn与预定阈值进行比较以对输入数据属于两类中的哪一类进行分类，并且以值“1”或“-1”的形式输出分类结果。例如，本发明可以应用于用于执行两类分类的信息处理单元。
文档编号G06T7/00GK101681448SQ20098000042
公开日2010年3月24日 申请日期2009年5月21日 优先权日2008年5月21日
发明者大久保厚志 申请人:索尼株式会社