专利名称：基于Fisher支持向量机的人脸识别方法
技术领域：
本发明涉及模式识别技术领域，具体地说是一种基于Fisher支持向量机的人脸识别方法。本发明可用于机器学习和模式识别范畴内，除了人脸图像识别以外，还可用于语音识别及数据挖掘等领域。
背景技术：
信息时代数据最大的特点是维数高。高维数据在学习中经常会遇到维数灾难的问题。在基于人脸全局特征的识别方法中，把一个分辨率为m×m′像素的人脸图像矩阵以行或列堆叠的方式，组成一个m×m′长的矢量，然后将其作为一个整体进行识别。在此意义下，人脸图像也形成一种高维矢量数据，不可避免地成为一种小样本的学习问题，也会出现维数灾难问题。
经对现有技术的文献检索发现，美国的R.Duda等人在2003年《PatternRecognition》的第二版中阐述了Fisher判别方法，即线性判别分析方法。英国学者Fisher是在1936年提出的该方法。由于线性Fisher判别分析方法能够很好地找到可分性好的投影方向，该方法被广泛地应用在人脸识别中。但是线性Fisher判别分析只能提供线性的判别信息。而且如果人脸图像的维数过高的话，在应用Fisher线性判别分析前必须对图像下采样。而下采样或多或少的都有可能损失一些有用的信息。德国的S.Mika等人在1999年提出了核Fisher判别分析方法。该方法能够提取数据的非线性的判别信息，是从线性判别到非线性的一种推广。Fisher判别准则是基于距离测度定义的，因而导致其对于非高斯类、具有高阶矩的分布数据不能很好地进行推广应用，而且在小样本情况下，均值和散度矩阵的估计误差也会影响算法的性能。在1995年，俄罗斯学者Vapnik等人在统计学习理论的基础上提出了支持向量机算法。该方法给机器学习领域带来了新的活力。支持向量机方法，在小样本的数据集上能够得到很好的性能，而且避免了维数灾难问题的发生。根据统计学习理论和支持向量机的性能上界，学习机要获得好的性能，就必须在最大化分类间隔的同时最小化样本的分布半径。但是支持向量机在给定核函数及其参数情况下，不再优化样本的分布半径。因此支持向量机并没有实现真正的最优性能。
发明内容
本发明的目的在于为了克服已有技术的不足，提出了一种基于Fisher支持向量机的人脸识别方法，把Fisher正则引入到支持向量机中用于人脸的识别问题上，以获得对小样本的高维数据有较好的识别率，进而对人脸有较好的识别。
本发明的技术方案是采用Fisher支持向量机方法对人脸图像进行识别，其具体实现步骤如下 (1)、对人脸图像的学习过程 ①、首先对人脸训练图像进行处理，以获取两类有标识训练样本集{(xi，yi)| xi∈Rn，yi∈{-1，+1}，i＝1，…，l}，其中xi表示某幅图像的特征，也就是n维实数空间中的一个训练样本，yi是其标识，表示其类别不是+1类就是-1类，l为样本的个数；该处理过程是将人脸图像直接经行堆叠为一个n维特征，或者采用某种特征提取的方法提取n个特征。
②、选择正则因子λ1和λ2，选取正定核函数及其参数，并计算核矩阵Kij＝k(xi，xj)。该正则因子λ1控制了假设空间的复杂度，λ2控制了Fisher正则的影响。而正定核函数是指满足正定条件的核函数，该核函数可以表示为k(x，x′)＝(Φ(x))TΦ(x′)，其中x，x′表示两个样本，Φ表示一种隐含的不知其表达式的非线性映射函数，上标T表示矩阵或向量的转置。这种非线性映射能够确定了一个再生核Hilbert空间。令映射后训练样本矩阵为ψ＝[Φ(x1)，…，Φ(xl)]，并令核矩阵Kij＝k(xi，xj)，则ψTψ＝K。再生核Hilbert空间是一个高维的特征空间。在该空间中，有表示定理表明假设函数可以表达为 其中α和b为假设函数的待求系数。权值向量可以表达为 ③、求解Fisher支持向量机的对偶二次规划问题，求得其最优解β； ④、根据得到的最优解β来计算假设函数的待求系数α和b，其计算公式如下 α＝(2λ1Il+2λ2IlMK)-1Yβ 其中Il是大小为l×l的单位阵，M＝Il-N，
Y＝diag(y1，…，yl)为一对角阵，对角上的元素为样本的标识。
(2)、对人脸图像的识别过程 ①、对人脸测试图像进行处理，获取无标识测试样本x；其处理步骤与学习过程中的步骤①完全相同； ②、利用学习过程中得到的假设函数对测试样本x进行判决。其判决方式是对假设函数取符号函数，即 如果则判决为+1类，否则为-1类。
上述的基于Fisher支持向量机的人脸识别方法，所述的Fisher支持向量机是本发明提出的一种新的模式识别技术。其具体实现过程如下已知训练样本集{(xi，yi)|xi∈Rn，yi∈{-1，+1}，i＝1，…，l}和核函数k(x，x′)＝(Φ(x))TΦ(x′)。Fisher支持向量机的学习过程归结为求解下面的原二次规划问题 subject to yi(wTΦ(xi)+b)≥1-ξi ξi≥0，i＝1，…，l 其中类内散度矩阵为是wi类的中心，li为wi类的样本个数，ξi是松弛变量。
如果令λ2＝0，则原二次规划问题等价于支持向量机的优化问题。也就是说Fisher支持向量机能够把支持向量机纳入其框架下。利用Lagrange乘子技术，将原二次规划问题转化为其对偶二次规划问题，得到 subject to yTβ＝0 其中β为Lagrange乘子，Q＝Y(2λ1Il+2λ2IlMK)-TKY，e为全1向量。
通过以上步骤就完成对人脸图像的识别。
本发明与现有技术相比具有如下优点 1、Fisher判别分析是同时最大化类间距离和最小化类内距离，是基于距离测度定义的。本发明通过真正的分类软间隔替代了Fisher判别准则中的类间散度最大，使得Fisher判别准则不是与类间距离相关，而是与真正的分类间隔有关，分类间隔表示了样本类间真正的可分信息。
2、支持向量机在核函数及其参数取定的情况下不再最小化样本半径，只对分类间隔进行最大化。本发明即使在核函数及其参数取定的情况下，不仅最大化分类间隔，而且还要最小化样本的半径，即使得类内距离最小。当本发明中的Fisher正则因子取为0时，等价于支持向量机方法。因此本发明的方法是一种更为广义的方法，它包含了支持向量机方法。
实验表明，本发明以每类9个训练样本为例，在UMIST人脸数据库上的识别率达到98.44％，高于支持向量机方法。
图1是本发明实现步骤的流程原理框图
具体实施例方式 参考图1，它是本发明实现步骤的流程原理框图，结合该图对本发明的实施过程作详细的说明。本发明的实施例是在以本发明技术方案为前提下进行实施的，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例采用了一个公用的人脸数据库，即UMIST数据库。UMIST数据库中包含20个人的人脸图像。每个人的人脸图像数不等，最少为19幅。每张图像的姿态不同，从侧面到正面变化。原始图像大小为112×92。
(1)、对人脸图像的学习过程 ①、首先对人脸训练图像进行处理，以获取两类有标识训练样本集{(xi，yi)|xi∈Rn，yi∈{-1，+1}，i＝1，…，l}，其中xi表示n维实数空间中的一个训练样本，yi是其标识，表示其类别不是+1类就是-1类，l为样本的个数；直接把人脸图像经行堆叠为10304维的长向量xi，并将其值归一化为0到1之间，则得到的一个n维向量的n＝10304。对于每个人，随机选择9个训练样本进行训练，并随机选择9个作为测试样本，得到一组训练-测试样本集。训练样本个数l＝180。
②、选择正则因子λ1和λ2，选取正定核函数及其参数，并计算核矩阵Kij＝k(xi，xj)。该正则因子λ1控制了假设空间的复杂度，λ2控制了Fisher正则的影响。而正定核函数是指满足正定条件的核函数，该核函数可以表示为k(x，x′)＝(Φ(x))TΦ(x′)，其中x，x′表示两个样本，Φ表示一种隐含的不知其表达式的非线性映射函数，上标T表示矩阵或向量的转置。这种非线性映射能够确定了一个再生核Hilbert空间。令映射后训练样本矩阵为ψ＝[Φ(x1)，…，Φ(xl)]，并令核矩阵Kij＝k(xi，xj)，则ψTψ＝K。再生核Hilbert空间是一个高维的特征空间。在该空间中，有表示定理表明假设函数可以表达为 其中α和b为假设函数的待求系数。权值向量可以表达为 常用的正定核函数有 ●多项式核函数k(x，x′)＝(a(x·x′)+b)d，a，b，d均表示多项式核函数的参数； ●高斯核函数k(xi，xj)＝exp(-γ‖xi-xj‖2)，γ表示高斯核函数的参数；在实验中，采用了高斯核函数，Fisher支持向量机中的正则因子λ1、λ2和核参数γ在一定范围内，如{2-20，2-14，…，210}区间中取值，得到最好性能的参数值。
③、求解Fisher支持向量机的对偶优化问题，求得其最优解β；Fisher支持向量机的学习过程归结为求解如下的原二次规划问题 subject to yi(wTΦ(xi)+b)≥1-ξi ξi≥0，i＝1，…，l 其中类内散度矩阵为是wi类的中心，li为wi类的样本个数，ξi是松弛变量。如果令λ2＝0，则原二次规划问题等价于支持向量机的优化问题。也就是说Fisher支持向量机能够把支持向量机纳入其框架下。利用Lagrange乘子技术，将原二次规划问题转化为其对偶二次规划，得到 subject to yTβ＝0 其中β为Lagrange乘子，Q＝Y(2λ1Il+2λ2IlMK)-TKY，Il是大小为l×l的单位阵，e为全1向量，其中M＝Il-N，
Y＝diag(y1，…，yl)为一对角阵，对角上的元素为样本的标识。对偶二次规划问题的求解可以调用已有的工具包来实现，比如调用Matlab中的二次规划函数，即可求得对偶二次规划问题的最优解β的值。
④、根据得到的最优解β来计算假设函数的待求系数α和b，其计算公式如下 α＝(2λ1Il+2λ2IlMK)-1Yβ (2)、对人脸图像的识别过程 ①、对人脸测试图像进行处理，获取无标识测试样本x，其处理步骤与学习过程中的步骤①完全相同； ②、利用学习过程中得到的假设函数对测试样本x进行判决。其判决方式是对假设函数取符号函数，即 如果则x判决为+1类，否则为-1类。
以上是两类识别问题的学习和识别过程。本试验中涉及到多类问题，采用one-against-all的输出编码方式来分解多类问题。对c类问题，分解为c个两类问题，其中的一个两类问题是把某一类和其它类分开的问题，可以认为某一类样本标识为+1，而其他所有类的样本标识为-1，因此产生c个假设函数f1(x)，…，fc(x)。此时对x的判决过程如下如果而且则x属于第i类，否则拒识。
按照上述获取训练-测试样本集的方式，生成30组随机的训练-测试样本集，重复上述学习和识别过程30次，并计算平均识别率。本发明对于UMIST数据库每类9个训练样本的情况，在λ1＝2-12，λ2＝20和γ＝2-12时，识别率达到98.44％，高于在C＝27和γ＝20时，支持向量机的识别率96.54％。
权利要求
1.一种基于Fisher支持向量机的人脸识别方法，具体实现步骤如下
(1)、对人脸图像的学习过程
①、首先对人脸训练图像进行处理，以获取两类有标识训练样本集{(xi，yi)|xi∈Rn，yi∈{-1，+1}，i＝1，…，l}，其中xi表示某幅图像的特征，也就是n维实数空间中的一个训练样本，yi是其标识，表示其类别不是+1类就是-1类，l为样本的个数；该处理过程是将人脸图像直接经行堆叠为一个n维特征，或者采用某种特征提取的方法提取n个特征；
②、选择正则因子λ1和λ2，选取正定核函数及其参数，并计算核矩阵Kij＝k(xi，xj)；该正则因子λ1控制了假设空间的复杂度，λ2控制了Fisher正则的影响；而正定核函数是指满足正定条件的核函数，该核函数可以表示为k(x，x′)＝(Φ(x))TΦ(x′)，其中x，x′表示两个样本，Φ表示一种隐含的不知其表达式的非线性映射函数，上标T表示矩阵或向量的转置；这种非线性映射能够确定了一个再生核Hilbert空间；令映射后训练样本矩阵为ψ＝[Φ(x1)，…，Φ(xl)]，并令核矩阵Kij＝k(xi，xj)，则ψTψ＝K；再生核Hilbert空间是一个高维的特征空间；在该空间中，有表示定理表明假设函数可以表达为
其中α和b为假设函数的待求系数；权值向量可以表达为
④、求解Fisher支持向量机的对偶二次规划问题，求得其最优解β；
④、根据得到的最优解β来计算假设函数的待求系数α和b，其计算公式如下
α＝(2λ1Il+2λ2IlMK)-1Yβ
其中Il是大小为l×l的单位阵，M＝Il-N，
Y＝diag(y1，…，yl)为一对角阵，对角上的元素为样本的标识；
(2)、对人脸图像的识别过程
①、对人脸测试图像进行处理，获取无标识测试样本x；其处理步骤与学习过程中的步骤①完全相同；
②、利用学习过程中得到的假设函数对测试样本x进行判决；其判决方式是对假设函数取符号函数，即
如果则判决为+1类，否则为-1类。
2.根据权利要求1所述的基于Fisher支持向量机的人脸识别方法，其中学习过程③所述的Fisher支持向量机是本发明提出的一种新的模式识别技术；其具体实现过程如下已知训练样本集{(xi，yi)|xi∈Rn，yi∈{-1，+1}，i＝1，…，l}和核函数k(x，x′)＝(Φ(x))TΦ(x′)；Fisher支持向量机的学习过程归结为求解下面的原二次规划问题
subject to yi(wTΦ(xi)+b)≥1-ξi
ξi≥0，i＝1，…，l
其中类内散度矩阵为是wi类的中心，li为wi类的样本个数，ξi是松弛变量；
如果令λ2＝0，则原二次规划问题等价于支持向量机的优化问题；也就是说Fisher支持向量机能够把支持向量机纳入其框架下；利用Lagrange乘子技术，将原二次规划问题转化为其对偶二次规划问题，得到
subject to yTβ＝0
其中β为Lagrange乘子，Q＝Y(2λ1Il+2λ2IlMK)-TKY，e为全1向量。
全文摘要
本发明公开了一种基于Fisher支持向量机的人脸识别方法，它涉及模式识别技术领域。其目的在于采用该方法是把Fisher正则引入到支持向量机方法并用于人脸的识别问题上，以获得对小样本的高维数据有较好的识别率，进而对人脸有较好的识别效果。该方法的实现步骤为1)对人脸图像的学习过程首先对训练图像进行处理，然后选择正则因子、核函数及其参数，采用Fisher支持向量机方法来完成对训练样本的学习，以求得假设函数中的待求系数。2)对人脸图像的识别过程先对每个测试图像做与训练图像相同的处理，最后利用学到的假设函数模型对测试样本进行判决。本发明可用于机器学习和模式识别范畴内，除了图像识别以外，还可用于语音识别及数据挖掘等领域。
文档编号G06K9/00GK101216879SQ20071030073
公开日2008年7月9日 申请日期2007年12月28日 优先权日2007年12月28日
发明者周伟达, 莉 张, 焦李成, 邹海双, 志 胡, 强 叶 申请人:西安电子科技大学