专利名称：利用高次本征分量实施面部描绘和识别的方法和装置的制作方法
技术领域：
本发明涉及一种利用高次本征分量进行面部描绘和识别的方法和装置。本发明可以在基于内容的图像检索的面部描绘和识别，银行、保安系统和可视电话的人类面部识别和确认；监视和跟踪；数字图书馆和因特网多媒体数据库中使用。
背景技术：
人类面部感知是计算机视觉技术中的一个活跃领域。面部识别在多媒体数据库搜索和许多其它应用中发挥着重要作用。近年来，在面部检测和识别的问题上取得了很大的进展。提出了不同的技术。在这些技术中，神经网络(neural nets)、弹性模板匹配(elastic template matching)、Karhunen-Loeve展开(Karhunen-Loeve expansion)、代数矩量(algebraicmoments)和等密度线(isodensity lines)是典型的方法。
在这些方法中，主分量分析(PCA)或Karhunen-Loeve展开是一个重要的分支。本征面部法是从PCA导出的，它便于计算，并且在识别中具有一致的精度。现有工作显示，PCA法自然地分解不同类型的信息。具有大本征值的本征向量捕获面部子集共同的信息，而具有小本征值的本征向量捕获单个面部的特定信息。研究显示，只有被具有大的本征值的本征向量包含的信息才能够一般化到没有经过训练的新面部。
本征面部法的优点在于具有大的本征值的本征向量传达有关面部的基本形状和结构的信息。它意味着可以把从具有大的本征值的本征向量提取的特征用于描绘人类面部的主要特点。但是，这也是PCA的缺点。如果我们只考虑从具有大的本征值的本征向量提取的特征，那么我们就无法获得对应单个面部的面部细节。如果可以用人类面部的共同特征描述单个面部的这些细节，那么人类面部的描绘可以更准确。
本征面部法的一个缺点是所有面部分量区域所起的作用是相同的。特征信息主要位于特定的面部区域，如眼睛、眉毛、鼻子、嘴和轮廓，而不是均匀分布在整张脸上。检查区域包含较少的特征信息并且对光线条件的变化和面部表情的变化相对敏感。如果可以使用面部分量的明显特征，那么对人类面部的识别会更准确。
发明内容
本征面部法可以有效地提取共同的面部特征，例如，形状和结构。为了得到在截去具有小本征值的本征向量时丢失的面部细节，应该获得带有来自具有大本征值的本征向量的特征的重构面部。利用重构的面部图像，可以获得原始图像和重构矩阵之间的剩余图像。可以把这些剩余面部看作是仍然包含单个面部的丰富详细信息的高通面部图像。为了描绘这些剩余面部，可以对这些剩余面部再次使用本征面部法。获得的具有大本征值的本征向量将揭示剩余面部的共同特点。利用这种方法，可以获得具有大本征值的高次本征向量，以提取对应的特征。不同阶本征面部的这些特征组合可以有效地用来描绘面部。
类似地，可以用获得的面部分量的一次和高次主分量(本征分量)来描绘对应面部区域的特征。不同阶本征分量的这些特征组合可以用于有效地描述单个面部分量。最终，人类的面部可以用具有不同加权数的不同阶的本征分量的组合来表示。对于不同的应用领域，不同的分量应该具有不同的功能(它的优点或缺点)。应该为那个分量分配不同的权。
本发明提供了可以用于图像检索(通过面部示例询问)、个人识别和验证、监视和跟踪、以及其它面部识别应用的人类面部的解释方法。为了描绘面部特点，根据我们的观察和推导，提出高次本征分量的概念。首先，所有的面部图像都被规范成标准尺寸。然后计算眼睛的垂直位置并且将面部转移到合适的地方。当所有这些预处理过程完成后，可以从一套训练的面部图像推导出本征分量和高次分量。为了在面部数据库中查询面部图像，利用所选的本征分量和高次分量可以计算利用本征分量和高次分量投影出的图像特征。可以用这些特征的组合来描绘面部。利用这种描绘，欧几里得距离可以用于相似性测量。为了提高相似性的精确度，应该对特征加权。
图1示出了计算一次特征W(1)的过程流程图。
图2示出了计算i阶本征分量U(i)和对应的变换矩阵Ui的过程流程图。
图3示出了训练模式操作的流程图。
图4示出了测试模式操作的流程图。
具体实施例方式
本发明给出了提取更高次本征分量特征和通过组合不同阶的分量特征来表示面部的方法。
利用归一化的面部图像，可以按如下步骤获得本征分量和高次本征分量。
首先，为了获得面部分量(如眼睛、眉毛、鼻子、嘴和轮廓)，利用预置模块对面部图像归一化；考虑到面部分量Φi是光栅扫描的面部分量的一维向量，定义Ψ为平均分量Ψ=1MΣi=1MΦi---(1)]]>每个面部分量与平均分量差别一个向量Γi(1)=Φi-Ψ---(2)]]>因此，将数据的协方差矩阵定义为Q=A(1)A(1)T---(3)]]>其中 注意，Q具有维数wh×wh，其中w是分量的宽度，h是分量的高度。该矩阵的规模是巨大的，但是由于我们只求和到有限数量的分量向量M，因此该矩阵的行列等级不超过M-1。我们注意到，如果vi(1)是A(1)TA(1)的本征向量(i＝1，2，...，M)，那么A(1)TA(1)vi(1)=λi(1)vi(1),]]>其中λi(1)是A(1)TA(1)的本征值，那么A(1)Tvi(1)是A(1)A(1)T的本征向量，正如我们在上面的公式的左边乘以A(1)所看到的A(1)A(1)TA(1)vi(1)=A(1)λi(1)vi(1)=λi(1)A(1)vi(1)---(5)]]>这样，通过下面的公式可以获得本征向量vi(1)和本征值λi(1)。
=eig(A(1)TA(1),i),i=1,...,M1---(6)]]>但是，A(1)TA(1)仅是M×M大小的。所以定义ui(1)为A(1)A(1)T的本征向量，我们有ui(1)=A(1)vi(1)=Σk=1Mvik(1)Γk(1)---(7)]]>本征值λi(1)是沿由本征向量ui(1)跨越的新坐标空间的变化。从这里开始，我们假设i的序列使本征值λi(1)减小。本征值是以指数形式减小的。因此，通过计算W(1)={wk(1)},]]>我们可以把一个面部分量Γ(1)投影到仅是M1＜＜M的维数上，其中wk(1)=uk(1)TΓ(1)]]>并且1≤k≤M1。wk(1)是在新坐标系中Γ(1)的第k个坐标。在这种情况下，将W(1)称作一次分量特征。向量uk(1)实际上是图像，并且被称作一次本征分量。
设U(1)=[u1(1)u2(1)...uM1(1)]---(8)]]>则W(1)=U(1)TΓ(1)---(9)]]>由于U(1)是M1×P矩阵，所以我们无法得到它的逆矩阵。但是，我们可以利用它的伪逆矩阵来近似它的逆矩阵。设U(1)+是U(1)T的伪逆矩阵，表示如下，U(1)+＝Pseudo-Inv(U(1))(10)那么Γ^(1)=U(1)+W(1)---(11)]]>其中 是从W(1)和U(1)的重构矩阵。然后执行下面的公式获得剩余分量Γi(2)。
Γi(2)=Γi(1)-Γ^(1)---(12)]]>
由于剩余面部分量向量仍然包含着单个分量的丰富信息，因此应该再从剩余分量中提取面部分量的特征。设 λi(2)是A(2)TA(2)的本征值，而vi(2)是A(2)TA(2)的对应本征向量。那么A(2)TA(2)vi(2)=λi(2)vi(2).]]>根据上述讨论，A(2)A(2)T的本征向量是ui(2)=A(2)vi(2).]]>因此我们可以通过计算W(2)={wk(2)}]]>把一个剩余分量Γ(2)投影到仅为M2＜＜M维数上，其中wk(2)=uk(2)TΓ(2)---(13)]]>并且1≤k≤M2。由于uk(2)是剩余分量的本征向量，因此我们将uk(2)称为二次本征分量，把wk(2)称为二次分量特征。
设 可以把公式(13)写成W(2)=U(2)TΓ(2)]]>=U(2)T(Γ(1)-Γ^(1))]]>=U(2)T(Γ(1)-U(1)+W(1))---(15)]]>=U(2)T(Γ(1)-U(1)+U(1)TΓ(1))]]>=(U(2)T-U(2)TU(1)+U(1)T)Γ(1)]]>设U2=(U(2)T-U(2)TU(1)+U(1)T)T---(16)]]>我们得到W(2)=U2TΓ(1)---(17)]]>由于U2是一个常数变换矩阵并且它只被计算了一次，因此它不会影响计算的效率。面部分量可以被描绘为Ω(Φ)=[w1(1),w2(1),...,wM1′(1),w1(2),w2(2),...,wM2(2)]T---(18)]]>其中1≤M1′≤M1.]]>计算Ω(Φ)与仅从本征分量U计算分量特征相比，没有增加计算负担。
剩余分量被称作二次剩余分量，而把原始分量称作一次剩余分量。
利用相同的方法，我们还可以推导出第三阶、第四阶，...，和第n阶本征分量。通过投影对应阶的剩余分量，我们可以得到第三阶、第四阶，...，和第n阶的分量特征。利用这些高次分量特征，分量的相似性可以被定义为投影之间加权的欧几里得距离。图2解释了计算第i次本征向量U(i)和对应的变换矩阵Ui的过程。在图中，Pseudo Inv(B)是计算伪逆矩阵B的函数。
用从本征分量(即，本征眼睛、本征眉毛、本征鼻子、本征嘴和本征轮廓)和本征脸的投影生成的各种面部分量特征之间的组合距离来定义两张脸H1和H2的测量差别。
D(H1,H2)=Σi=1M1′eyea1eye||wi(1)(Φ1eye)-wi(1)(Φ2eye)||+Σj=1M2′eyea2eye||wj(2)(Φ1eye)-wj(2)(Φ2eye)||]]>+Σi=1M1′eyebrowa1eyebrow||wi(1)(Φ1eyebrow)-wi(1)(Φ2eyebrow)||+Σj=1M2eyebrowa2eyebrow||wj(2)(Φ1eyebrow)-wj(2)(Φ2eyebrow)||]]>+Σi=1M1′nosea1nose||wi(1)(Φ1nose)-wi(1)(Φ2nose)||+Σj=1M2nosea2nose||wj(2)(Φ1nose)-wj(2)(Φ2nose)||]]>+Σi=1M1′moutha1mouth||wi(1)(Φ1mouth)-wi(1)(Φ2mouth)||+Σj=1M2moutha2mouth||wj(2)(Φ1mouth)-wj(2)(Φ2mouth)||]]>+Σi=1M1′outlinea1outline||wi(1)(Φ1outline)-wi(1)(Φ2outline)||+Σj=1M2outlinea2outline||wj(2)(Φ1outline)-wj(2)(Φ2outline)||]]>+Σi=1M1′a1||wi(1)(H1)-wi(1)(H2)||+Σj=1M2a2||wj(2)(H1)-wj(2)(H2)||]]>如果α1＝0，那么只利用二阶特征测量面部图像的相似性。
利用上述方法，可以按如下步骤考虑描绘面部图像的方法1)从分量窗口的左上角开始到分量窗口右下角结束，利用光栅扫描将所述面部分量扫描到象素的一维数组中；2)利用平均分量减去所述象素的一维数组；3)所述减去的象素的一维数组乘以所述一次和高次本征分量；4)利用得到的分量特征作为面部的描绘；5)将所述特征编码为代码表示形式。
利用这种方法，通过对人类面部明显的特征信息使用不同的加权来有效地描绘人类的面部。
接下来，参考图3和4描述根据本发明的面部特征提取的全部操作。操作包括如图4所示得训练模式操作(步骤#22到#31)，和如图3所示的测试模式操作(步骤#32-#42)。首先执行训练模式操作来了解和积累大量面部样本并且获得一次平均的系数。
训练模式操作从步骤#22开始，持续到步骤#31。提供训练模式以产生在测试模式中用到的各种参数。
在步骤#22中，输入多个样本面部图像。
在步骤#23中，每个样本面部图像被划分为多个面部部分，如右眼、左眼、右眉、左眉、鼻子、嘴、面部结构，并且分析每个部分获得基本的面部分量Φi。可以根据人类面部的明显特征对面部分量Φi加权。
在步骤#24，从多个样本面部图像中采集相同部分的面部分量，如鼻子部分。鼻子部分的面部分量被称作鼻子分量。利用公式(1)对采集到的面部分量求平均值，得到一次平均面部分量Ψ。对不同的面部分量执行相同的操作获得一次平均面部分量。步骤#34的测试模式操作中会使用一次平均面部分量Ψ。
在步骤#25，在公式(2)中以鼻子为例，鼻子的一次平均面部分量Ψ减去每个样本面部图像中的鼻子的面部分量，以得到鼻子的向量。对每个不同的面部分量执行相同的操作。
步骤#22到#25共同被称作分析训练面部图像的分析步骤。
在步骤#26，执行公式(4)、(5)、(6)、(7)和(8)以获得一次本征分量U(1)。步骤#35的测试模式操作中会使用一次本征分量U(1)。
在步骤#27，利用公式(10)生成逆矩阵U(1)+。逆矩阵U(1)+近似等于U(1)T。步骤#37的测试模式操作中会使用逆矩阵U(1)+。
在步骤#28，使用公式(11)利用逆矩阵U(1)+获得面部分量的差。这样，就得到了相对于在步骤#22中所采集的原始面部图像的基本面部分量的面部分量差。在步骤#28中产生的数据被称作面部分量差。
在步骤#29，得到面部分量差和一次平均面部分量之间的差。
步骤#27到#29共同被称作分析一次本征分量的分析步骤。
在步骤#30，利用步骤#29中得到的差，利用公式(4)、(6)、(7)、(14)和(16)计算二次K-L系数U(2)(也称作二次本征向量)。K-L变换中的测试模式(步骤#40)会使用二次K-L系数U(2)。
测试模式从步骤#32开始，持续到步骤#42。测试模式产生一次分量特征W(1)和二次分量特征W(2)。
在步骤#32，输入要测试的面部。
在步骤#33，输入的面部图像被划分为多个面部部分，如右眼、左眼、右眉、左眉、鼻子、嘴、面部结构，并且分析每个部分以获得基本的面部分量Фi。可以根据人类面部的明显特征对面部分量Фi加权。
在步骤#34，一次平均面部分量Ψ减去基本面部分量，得到第一差Γ(1)(也称为一次剩余分量)。在步骤#35和步骤#39中会使用第一差Γ(1)。
步骤#32到#34共同被称作分析测试面部图像的分析步骤。
在步骤#35，使用公式(9)利用第一差Γ(1)和一次本征分量U(1)，执行K-L变换，从而得到一次分量特征W(1)。
在步骤#36，产生了一次分量特征W(1)。一次分量特征W(1)表示在步骤#32输入的测试面部的特征。一次分量特征W(1)可以用作代表测试面部的信息，但是数据量相对较大。因此为了减小数据量，需要进一步执行计算。在步骤#37，利用公式(11)执行K-L逆变换来创建重构矩阵 在步骤#38，产生了重构矩阵 在步骤#39，执行公式(12)以产生第一差别Γ(1)和重构矩阵 之间的差别来获得第二差别Γ(2)’，它通常被称作第二剩余分量Γi(2)。
步骤#37到#39共同被称作分析一次分量特征的分析步骤。
在步骤#40，使用公式(17)利用第二差Γ(2)和二次K-L系数U(2)执行K-L变换，从而得到二次分量特征W(2)。
在步骤#41，产生了二次分量特征W(2)。二次分量特征W(2)具有代表在测试模式输入的测试面部的信息。
应该注意，图3和4所示的流程图可以由与捕获样本面部图像和测试面部图像的照相机相连的计算机来安排。可以准备两套装置，一套用于训练模式操作，另一套用于测试模式操作。每套包括一台计算机和一部照相机。用于训练模式操作的那套装置被编程来执行步骤#22-#30，用于测试模式操作的那套装置被编程来执行步骤#32-#42。在用于测试模式操作的那套装置中，提供一个存储器来预先存储由用于训练模式操作的那套装置所获得的信息，例如一次平均面部分量Ψ，一次本征分量U(1)，逆矩阵U(1)+，和二次本征分量U(2)。
本发明对于利用基于分量的特征描绘人类面部非常有效。由于仅可以利用训练分量计算一次高次本征分量，因此可以象获得一次分量特征一样有效地获得高次分量特征。但是，由于利用高次分量特征可以揭示详细的区域特征信息，因此与高次本征面部特征或一次和高次本征面部特征的组合相比，具有不同加权的眼睛、眉毛、鼻子、嘴和轮廓的一次分量特征和高次分量特征的组合具有更好的面部描绘能力。
本发明对于描绘人类面部非常有效并且具有很高的效率，它可以用在互联网多媒体数据库检索、视频编辑、数字图书馆、监视和跟踪、以及其它广泛使用面部识别和确认的应用中。
权利要求
1.一种提取用于面部描绘的分量特征的方法，包括步骤处理训练模式操作，包括分析多个训练面部图像；利用分析过的训练面部图像计算一次本征分量U(1)；利用分析过的训练面部图像计算二次本征分量U(2)；和处理测试模式操作，包括分析测试面部图像；和利用二次本征分量U(2)获得测试面部图像使用的二次分量特征W(2)。
2.一种提取用于面部描绘的分量特征的方法，包括处理训练模式操作，包括分析多个训练面部图像以生成训练面部的一次剩余分量Γ(1)；利用训练面部的一次剩余分量Γ(1)计算一次本征分量U(1)；分析一次本征分量U(1)以生成训练面部的二次剩余分量Γ(2)；和利用训练面部的二次剩余分量Γ(2)计算二次本征分量U(2)；和处理测试模式操作，包括分析测试面部图像以生成测试面部的一次剩余分量Γ(1)；利用测试面部的一次本征分量U(1)和一次剩余分量Γ(1)获得用于测试面部图像的一次分量特征W(1)；分析一次分量特征W(1)以生成测试面部的二次剩余分量Γ(2)；和利用测试面部的二次本征分量U(2)和二次剩余分量Γ(2)获得用于测试面部图像的二次分量特征W(2)。
3.根据权利要求2所述的提取分量特征的方法，其中所述分析多个训练面部图像包括将每个样本面部图像划分为多个面部部分，以获得面部部分的面部分量Φi；对每个面部部分的面部分量取平均，以获得一次平均面部分量Ψ，值；和从面部分量减去一次平均面部分量Ψ，以产生训练面部的一次剩余分量Γ(1)。
4.根据权利要求2所述的提取分量特征的方法，其中所述分析一次本征分量包括获得重构的矩阵 和从训练面部的一次剩余分量Γ(1)中减去重构的矩阵 以产生训练面部的二次剩余分量Γ(2)。
5.根据权利要求2所述的提取分量特征的方法，其中所述分析测试面部图像包括将测试面部图像划分为多个面部部分，以获得面部部分的面部分量Φi；和从面部分量Φi减去一次平均面部分量Ψ，以产生测试面部的一次剩余分量Γ(1)。
6.根据权利要求2所述的提取分量特征的方法，其中所述分析测试面部图像包括获得重构的矩阵 和从测试面部的一次剩余分量Γ(1)中减去重构的矩阵 以产生测试面部的二次剩余分量Γ(2)。
7.根据权利要求3所述的提取分量特征的方法，其中可以对所述训练面部图像的多个面部部分的所述面部分量Φi加权。
8.根据权利要求5所述的提取分量特征的方法，其中可以对所述测试面部图像的多个面部部分的所述面部分量Φi加权。
9.一种提取用于面部描绘的分量特征的装置，包括可操作处理训练模式操作的装置，包括可操作分析多个训练面部图像的装置；可操作利用分析过的训练面部图像计算一次本征分量U(1)的装置；可操作利用分析过的训练面部图像计算二次本征分量U(2)的装置；和可操作处理测试模式操作的装置，包括可操作分析测试面部图像的装置；和可操作利用二次本征分量U(2)获得测试面部图像的二次分量特征W(2)的装置。
10.一种提取用于面部描绘的分量特征的装置，包括可操作处理训练模式操作的装置，包括可操作分析多个训练面部图像以生成训练面部的一次剩余分量Γ(1)的装置；可操作利用训练面部的一次剩余分量Γ(1)计算一次本征分量U(1)的装置；可操作分析一次本征分量U(1)以生成训练面部的二次剩余分量Γ(2)的装置；和可操作利用训练面部的二次剩余分量Γ(2)计算二次本征分量U(2)的装置；和可操作处理测试模式操作的装置，包括可操作分析测试面部图像以生成测试面部的一次剩余分量Γ(1)的装置；可操作利用测试面部的一次本征分量U(1)和一次剩余分量Γ(1)获得测试面部图像的一次分量特征W(1)的装置；可操作分析一次分量特征W(1)以生成测试面部的二次剩余分量Γ(2)的装置；和可操作利用测试面部的二次本征分量U(2)和二次剩余分量Γ(2)获得测试面部图像的二次分量特征W(2)的装置。
11.根据权利要求10所述的提取分量特征的装置，其中所述可操作分析多个训练面部图像的装置包括可操作将每个样本面部图像划分为多个面部部分以获得面部部分的面部分量Φi的装置；可操作对每个面部部分的面部分量取平均以获得一次平均面部分量Ψ的装置；和可操作从面部分量减去一次平均面部分量Ψ以产生训练面部的一次剩余分量Γ(1)的装置。
12.根据权利要求10所述的提取分量特征的装置，其中所述可操作分析一次本征分量的装置包括可操作获得重构的矩阵 的装置；和可操作从训练面部的一次剩余分量Γ(1)中减去重构的矩阵 以产生训练面部的二次剩余分量Γ(2)的装置。
13.根据权利要求10所述的提取分量特征的装置，其中所述可操作分析测试面部图像的装置包括可操作将测试面部图像划分为多个面部部分以获得面部部分的面部分量Φi的装置；和可操作从面部分量Φi减去一次平均面部分量Ψ以产生测试面部的一次剩余分量Γ(1)的装置。
14.根据权利要求10所述的提取分量特征的装置，其中所述可操作分析测试面部图像的装置包括可操作获得重构的矩阵 的装置；和可操作从测试面部的一次剩余分量Γ(1)中减去重构的矩阵 以产生测试面部的二次剩余分量Γ(2)的装置。
15.根据权利要求11所述的提取分量特征的装置，其中可以对训练面部图像的面部部分的所述面部分量Φi加权。
16.根据权利要求12所述的提取分量特征的装置，其中可以对测试面部图像的面部部分的所述面部分量Φi加权。
17.一种提取用于面部描绘的分量特征的装置，包括可操作处理训练模式操作的装置，包括可操作分析多个训练面部图像以生成训练面部的一次剩余分量Γ(1)的装置；可操作利用训练面部的一次剩余分量Γ(1)计算一次本征分量U(1)的装置；可操作分析一次本征分量U(1)以生成训练面部的二次剩余分量Γ(2)的装置；和可操作利用训练面部的二次剩余分量Γ(2)计算二次本征分量U(2)的装置；
18.一种提取用于面部描绘的分量特征的装置，包括存储一次平均面部分量Ψ、一次本征分量U(1)、逆矩阵U(1)+、和二次本征分量U(2)的存储器；和可操作处理测试模式操作的装置，包括可操作分析测试面部图像以生成测试面部的一次剩余分量Γ(1)的装置；可操作利用测试面部的一次本征分量U(1)和一次剩余分量Γ(1)获得测试面部图像的一次分量特征W(1)的装置；可操作分析一次分量特征W(1)以生成测试面部的二次剩余分量Γ(2)的装置；和可操作利用测试面部的二次本征分量U(2)和二次剩余分量Γ(2)获得测试面部图像的二次分量特征W(2)的装置。
全文摘要
用高次本征分量描述特定面部分量的具体区域的信息。给出的公式用来计算投影的高次变换矩阵。可以单独使用高次分量特征来描述面部分量或与一次分量特征组合来描述。由于可以用高次分量特征揭示具体区域的特征信息，因此，根据对应区域显著的特征信息，具有不同加权的眼睛、眉毛、鼻子、嘴和轮廓的一次分量特征和高次分量特征的组合与一次本征面部特征或一次和高次本征面部特征的组合相比能够更好地描绘面部。
文档编号G06K9/62GK1630875SQ0380360
公开日2005年6月22日 申请日期2003年4月10日 优先权日2002年4月12日
发明者高永晟, 李作裕, 申省梅, 黄仲阳, 妹尾孝宪 申请人:松下电器产业株式会社