一种基于核机器学习的非负矩阵分解人脸识别方法及系统的制作方法
【专利摘要】本发明提供了一种基于核机器学习的非负矩阵分解人脸识别方法及系统，该方法包括A、B、C、D、E五个步骤。本发明的有益效果是：本发明通过直接对两个核矩阵进行学习，从而避免了对原像矩阵的学习，通过改变学习的对象，使迭代公式中避免出现核函数求导的过程，从而实现了核函数的选取没有限制的效果，得到一种对任意的核函数都通用的算法。
【专利说明】
一种基于核机器学习的非负矩阵分解人脸识别方法及系统
技术领域
[0001] 本发明涉及计算机技术领域，尤其涉及一种基于核机器学习的非负矩阵分解人脸 识别方法及系统。
【背景技术】
[0002] 在计算机视觉与模式识别领域中，人脸识别已经成为一项非常热门的研究方向。 在刑侦破案、身份认证、视频监视等方面，人脸识别技术都有相当重要的应用，而这些方面 都是与人们的生活息息相关的。因此本专利针对基于核方法的非线性非负矩阵分解人脸识 别算法的研究有着重要的理论意义和应用价值。
[0003] 人脸识别技术最早可以追溯到19世纪末。随着技术的不断发展，在当前的一些人 脸识别技术中，一种比较流行的方法是将原始数据用一组基线性表出。具体的形式是将原 始数据构成的数据矩阵分解成两个矩阵的乘积。Lee和Seung根据非负性约束提出了一种非 负矩阵分解(Non-negative Matrix Factorization，NMF)算法，NMF算法将非负矩阵X分解 成X = WH，其中W是一个基矩阵，H是系数矩阵，并且这两个矩阵都是非负的。具体来说，该算 法是一个带约束的优化问题，在目标函数满足分解的结果中，能够保证所有元素的非负性。 对于目标函数的求解，是通过梯度下降法得到的一个迭代公式。该算法的实现较为简便，并 且能够保证分解的结果中不会出现负值，这也与人脸图像灰度的非负性相符。
[0004] 非负矩阵分解算法是一种经典的线性特征提取和降维方法，而当我们应用到人脸 识别上的时候，由于受到人脸图像不同光照、不同姿势、不同表情等因素的影响，人脸图像 的数据在模式空间中分别十分复杂，往往呈现出非线性分布，所以这些线性方法在处理非 线性问题时就很难有比较好的效果。为解决人脸识别非线性问题，研究人员提出了一些非 线性的方法，其中最为流行的就是核方法。核方法的基本思想是运用非线性映射将原始样 本映射到一个高维核空间F中，然后在核空间中运用线性方法进行分类。但是，核方法也存 在两个主要的问题，一方面核空间F的维数一般远大于原始样本空间的维数，甚至是无穷维 的；另一方面我们也很难求得核方法非线性映射的解析表达式。幸运的是，我们可以运用核 技巧(kernel trick)解决这些问题。线性方法在核空间中主要以非线性映射像的内积形式 出现，而该内积可以由核函数表示，代表性的核函数有RBF核和多项式核等。而非负矩阵分 解算法被推广到核空间中来解决人脸识别非线性问题的算法是核非负矩阵分解法(KNMF)。 KNMF算法的主要思路是将通过非线性映射后的样本供(X)用高维空间中的一组基线性表出 #；0 = ##)〃，其在高维空间中线性表出的系数H作为原始样本的新特征。研究结果表明 基于核方法的非负矩阵分解算法的性能要优于其线性方法。
[0005] Buciu，I.和Nikolaidis，N.等人做了很重要的工作，提出了基于多项式核的非负 矩阵分解(PNMF)，在PNMF中，先将样本映射到多项式核空间中，然后，寻找一个非负系数矩 阵和一组非负基图像，使被非线性映射的训练样本矩阵能够被非线性映射后的基图像线性 表出。再通过梯度下降法得到原像矩阵和特征矩阵的迭代公式。这个算法可以成功的得到 一种非线性非负矩阵分解算法，但是由于在迭代过程中出现了队核函数求导的操作，因此 只是针对多项式核设计一种非线性算法，并不适用于其他核函数。
[0006] Zafeiriou S.和Petrou M.为了解决这样一些问题，在PNMF算法的基础上，提出了 投影梯度核非负矩阵分解(PGKNMF)，该算法针对原像矩阵重新建立一个新的目标函数，从 而避免了对核函数求导的操作，该算法的收敛点是固定的，并且对核函数的使用没有限制， 但是该算法依旧需要对原像进行学习，并且迭代公式较为复杂，对实验结果还是会有影响。
[0007] 近年来，一些学者也对核非负矩阵分解算法继续进行改进，大部分算法只是对目 标函数进行修改，综合来说，现有的一些基于核机器学习的非负矩阵分解算法都需要对原 像进行学习，对核函数的选择也有着较严格的要求，不能对任意核函数都通用，并且算法也 较为复杂。
[0008] 在目前的技术中：
[0009] 1、核方法:核方法的核心思想是寻找一个非线性映射，将线性不可分的数据映射 至|J某种高维空间F中，使其在此高维空间F中线性可分。再在这个高维空间F中用线性方法将 其分类。但是F的维度可能很大，也可能是无限维的。于是怎么选取这样一个非线性映射也 是一个难题。幸运的是通过核技巧可以克服这个问题。因为两个通过非线性映射后的样本 的内积可以通过一个核函数来表示：
[0010] 人〇,.V，)=〈沪(.V),，
[0011 ]其中x，y属于样本空间。利用核技巧，非线性方法就可以顺利的实施了。
[0012] 2、基于核的非负矩阵分解算法（KNMF ):该算法首先通过一个非线性映射 将非负样本映射到一个高维空间F。寻找一个原像矩阵和系数矩阵，使被映射后 的样本能够近似表示为被映射后的原像的线性组合：
[0013] ^(.v;) ? ^/?//7(u;). i-i
[0014] 其中特征和原像^是非负的。化成矩阵形式即为：
[0015] <p(X) * (p{W )II ,
[0016] 其中X为样本矩阵，辦幻.=[供(.认炉(A),…，供(a'" >]，供(好')=供(>'2)，供(vv,)]，KNMF 算法的目标函数为.「(I//) = ，其需要解决的优化问题为：
[0017] min P\W, //) s.t. W > 0 and // > 0.
[0018] 利用梯度下降法得到W和H的迭代公式：
[0019] H(,+]]=Hin
[0020] W{I^=W(,} ?(XKI2n)0(WinBK2n),
[0021] W(phi} = W(,+u0S.
[0022] 其中 B 是一个对角矩阵[5],,=乙二 /?// , [% = X二[，i".，[习"= 再通过交叉迭代的方式得到该优化问题的解。
[0023]目前技术的缺点是：
[0024] (1)基于核的非负矩阵分解算法中比较常见的是基于多项式核的非负矩阵分解 (PNMF)。在PNMF中，先将样本映射到多项式核空间中，然后在核空间中进行NMF。但是PNMF算 法的收敛点并不一定是固定点，并且只能用多项式核。
[0025] (2)为了解决P匪F中反而一些问题，研究人员提出了投影梯度核非负矩阵分解 (PGKNMF)，该算法的收敛点是固定的，并且对核函数的使用没有限制，然而PGKNMF依旧需要 对原像进行学习。
【发明内容】
[0026] 本发明提供了一种基于核机器学习的非负矩阵分解人脸识别方法，包括如下步 骤：
[0027] A.将每个预设的训练样本图像表示为列向量；
[0028] B.通过已知的核函数以及训练样本向量，构造一个对称半正定的核矩阵Kxx;
[0029] C.分别建立三个目标函数，通过交叉迭代的方法实现极小化目标函数，并得到训 练样本在核空间上的新特征和两个与被非线性映射后的样本相关的核矩阵；
[0030] D.通过学习阶段得到的两个核矩阵，将测试样本投影到核空间得到测试样本在核 空间上的新特征；
[0031] E.根据最近邻法将测试样本的新特征与预设的每一类训练样本新特征的中心进 行比较，进而实现对测试样本的分类及识别。
[0032] 作为本发明的进一步改进，在所述步骤C中，交叉迭代的公式：
[0033] //!,,h -//':,,?/C".0(^ii"//),
[0034] K{^l)=Kl[l 0(KxxHr)0(K^HHr),
[0035] K[：；h=K：；： ?(KkJIi +IIK^ )0(K：；：1I/!1 +/IIilK：：),
[0036] 通过交叉迭代的方式能够得出最终的特征矩阵H和两个核矩阵Kwx和Kww。
[0037] 作为本发明的进一步改进，在所述步骤C中，交叉迭代的过程包括如下步骤：
[0038] (1).输入核矩阵1^;
[0039] (2) ?初始化矩阵H，Kxw，Kww;
[0040] (3).固定Kxw，K?且更新H;
[0041 ] (4) ?固定H，Kww且更新Kxw;
[0042] (5) ?固定H，KXW且更新K?;
[0043] (6).判断验证是否满足停止条件，若是，那么执行步骤(7)，否则执行步骤(3);
[0044] (7).得到札1(1，1(胃的近似解。
[0045] 作为本发明的进一步改进，在所述步骤D中，对于求出测试样本的新特征Hy，由以 下三种方法得到：
[0046] 方式一：
[0047]直接借助迭代出的Kxw的广义逆矩阵的方式，有：
[0048] 沒y〇V，
[0049] 则矩阵Hy的每一列就代表着一个待分类的图像的新特征；
[0050] 方式二：
[0051 ]通过非负矩阵分解法，保持Kxy = KxwHY中的Kxy和Kxw不变，由非负矩阵分解法的公式 就可以迭代出非负的Hy:
[0052] (Kj'K^)0(KjK^Ii^)-
[0053] 方式三：
[0054] 通过非负稀疏表示法，将Kxy由Kxw稀疏表示出来，Hy为稀疏系数矩阵，则可以通过迭 代公式求出Hy:
[0055] H^l) = ? (Ki Kry + Alrxi/),
[0056] 其中，A为一控制参数，lrXd为大小为rXd的全1矩阵。
[0057]作为本发明的进一步改进，在所述步骤E中，计算每一个测试样本的新特征与各类 训练样本新特征中心之间的距离，然后根据最近邻法将测试图像归为与其距离最近的一 类。
[0058]本发明还提供了一种基于核机器学习的非负矩阵分解人脸识别系统，包括：
[0059] 表示模块，用于将每个预设的训练样本图像表示为列向量；
[0060] 构造模块，用于通过已知的核函数以及训练样本向量，构造一个对称半正定的核 矩阵Kxx;
[0061] 处理模块，用于分别建立三个目标函数，通过交叉迭代的方法实现极小化目标函 数，并得到训练样本在核空间上的新特征和两个与被非线性映射后的样本相关的核矩阵；
[0062] 投影模块，用于通过学习阶段得到的两个核矩阵，将测试样本投影到核空间得到 测试样本在核空间上的新特征；
[0063] 识别模块，用于根据最近邻法将测试样本的新特征与预设的每一类训练样本新特 征的中心进行比较，进而实现对测试样本的分类及识别。
[0064]作为本发明的进一步改进，在所述处理模块中，交叉迭代的公式：
[0065] ilini, = Htn ?K.^0(Ka.jn ,
[0066] K'；^ =K^；a>(Kjr )0(K'^!!/!1),
[0067] /C；；,；n =<；： ?(Kirjr ^/IK^.)0(K：：l!//r +Il!llK：：),
[0068] 通过交叉迭代的方式能够得出最终的特征矩阵H和两个核矩阵Kwx和Kww。
[0069]作为本发明的进一步改进，在所述处理模块中，包括：
[0070]输入模块，用于输入核矩阵Kxx;
[0071]初始化模块，用于初始化矩阵H，Kxw，Kww;
[0072] 第一处理模块，用于固定Kxw，Kww且更新H;
[0073] 第二处理模块，用于固定H，Kww且更新Kxw;
[0074] 第三处理模块，用于固定H，Kxw且更新K?;
[0075]判断模块，用于判断验证是否满足停止条件，若是，那么得到H，KXW，K?的近似解， 否则执行第一处理模块。
[0076]作为本发明的进一步改进，在所述投影模块中，对于求出测试样本的新特征Hy，由 以下二种方法得到：
[0077]方式一：
[0078]直接借助迭代出的Kxw的广义逆矩阵的方式，有：
[_//>0、.，
[0080] 则矩阵Hy的每一列就代表着一个待分类的图像的新特征；
[0081] 方式二：
[0082] 通过非负矩阵分解法，保持Kxy = KxwHy中的Kxy和Kxw不变，由非负矩阵分解法的公式 就可以迭代出非负的Hy:
[0083] !1:广KJlT)\
[0084] 方式三：
[0085] 通过非负稀疏表示法，将Kxy由Kxw稀疏表示出来，Hy为稀疏系数矩阵，则可以通过迭 代公式求出Hy:
[0086] =H(p?{KlKxr)0{KlKm.H^ +Al,xd),
[0087] 其中，A为一控制参数，lrXd为大小为rXd的全1矩阵。
[0088]作为本发明的进一步改进，在所述识别模块中，计算每一个测试样本的新特征与 各类训练样本新特征中心之间的距离，然后根据最近邻法将测试图像归为与其距离最近的 一类。
[0089]本发明的有益效果是:本发明通过直接对两个核矩阵Kwx和Kww进行学习，从而避免 了对原像矩阵的学习，通过改变学习的对象，使迭代公式中避免出现核函数求导的过程，从 而实现了核函数的选取没有限制的效果，得到一种对任意的核函数都通用的算法。
【附图说明】
[0090]图1是本发明的方法流程图；
[0091 ]图2是本发明的交叉迭代的流程图；
[0092]图3是本发明的方法与传统的PNMF算法在0RL人脸数据库下的识别率图。
【具体实施方式】
[0093]如图1所示，本发明公开了一种基于核机器学习的非负矩阵分解人脸识别方法，包 括如下步骤：
[0094]在步骤S1中，将每个预设的训练样本图像表示为列向量；
[0095]在步骤S2中，通过已知的核函数以及训练样本向量，构造一个对称半正定的核矩 阵 Kxx;
[0096]在步骤S3中，分别建立三个目标函数，通过交叉迭代的方法实现极小化目标函数， 并得到训练样本在核空间上的新特征和两个与被非线性映射后的样本相关的核矩阵； [0097]在步骤S4中，通过学习阶段得到的两个核矩阵，将测试样本投影到核空间得到测 试样本在核空间上的新特征；
[0098] 在步骤S5中，根据最近邻法将测试样本的新特征与预设的每一类训练样本新特征 的中心进行比较，进而实现对测试样本的分类及识别。
[0099] 如图2所示，本发明的交叉迭代包括如下步骤：
[0100] 步骤Q1，输入核矩阵Kxx;
[0101] 步骤Q2,初始化矩阵H，Kxw，Kww;
[0102] 步骤Q3,固定KXW，K?且更新H;
[0103] 步骤Q4,固定H，Kww且更新Kxw;
[0104] 步骤Q5,固定H，KXW且更新K?;
[0105]步骤Q6,判断验证是否满足停止条件，若是，那么执行步骤Q7,否则执行步骤Q3; [0106] 步骤Q7，得到H，Kxw，K?的近似解。
[0107] 设X为训练样本矩阵，通过一个非线性映射炉，将样本矩阵映射到高维空间中，目 的是将被映射的样本表示为被映射的原像的线性组合：
[0108] (p{X) = (p{W)Il.
[0109]为了避免对原像进行学习，建立三个误差函数：
[0113] 其中=<轉^.).，.供(*/:)> = &(七.，..^/)，本发明中使用RBF核函数
t >0 〇 [^"]// = {<p(u； (pi lt';)) = "； ^ u';)，[人'.J"=〈心)，P( "v )〉=)，且 KWX=KXWT。
[0114] 三个目标函数本质上均是反映了 MI)分解后的逼近程度。
[0115] 于是求解特征矩阵的问题演变成三个子问题。分别将特征矩阵H，核矩阵Kxw，Kww中 的两个矩阵固定，对剩下的一个矩阵进行学习，即： min /"；(//) / ^ x
[0116] 丨、， s.i. // > 0 min FAK^,.) ,,
[0117] ( 2 ) s：t. K >0 XVV ?
[0118] 和 min /^(7() ,。、
[0119] (3) ww
[0120] 通过解决这三个子问题，求得被映射的训练样本的新特征H和两个核矩阵Kxw，Kww。
[0121] 对特征矩阵H的学习：
[0122] 对于子问题（1)，固定两个核矩阵Kxw，Kww，对特征矩阵H进行学习。采用梯度下降法 进行求解得到H的迭代公式。根据梯度下降法，有：
[0123] //(，"! =//,，!-pi(//(，i)?Vf；(//i' ，!)， ( 4 )
[0124] 其中Pl(H(t))是一个步长矩阵，▽以奶是内关于H的梯度。
[0125] VF,Ul) = KuJl-Km.
[0126] 为了保证在每一次迭代中H的非负性，我们选择步长矩阵为：
[0127] Pi=II0(Kvi H),
[0128] 将选择的步长矩阵Pl带入(4)式可以的得到H的迭代公式，如以下定理。定理1:固 定核矩阵Kwx和Kww，目标函数^是非增的，当子问题（1)中的特征矩阵H按以下迭代方式更新：
[0129] //,,ll!-//,,lCx)A'in0(^,,"//).
[0130] 对核矩阵Kxw的学习：
[0131] 对于子问题(2 )，根据梯度下降法有：
[0132] K^,1' = -p(：]? VF2) , ( 5 )
[0133] 其中P2是步长矩阵，是目标函数F2关于Kxw的梯度。
[0134] VF2(Kv. ) = KvJI!Ii-KnIl!.
[0135] 为了保证在每一次迭代过程中Kxw都能保持非负性，则选取步长矩阵仍为：
[0136] pf 〇(〇r)，
[0137] 将口2带入(5)式，得到Kxw的迭代公式，如以下定理：
[0138] 定理2:固定特征矩阵H和核矩阵和Kww，目标函数^是非增的，当子问题(2)中的特 征矩阵Kxw按以下迭代方式更新：
[0139] =K^(E)(KJIr)0(K,；；Un,).
[0140] 对核矩阵K?的学习：
[0141] 对于子问题(3)，根据梯度下降法有：
[0142] C 1 ? VF3 (〇, ( 6 :)
[0143] 其中P3是步长矩阵，VAd,.)是目标函数F3关于的梯度。
[0144] VF,(Km)^KitJIIl!+llll,Km-KJIl -IIK^ ,
[0145] 为了保证在每一次迭代过程中Kww都能保持非负性，则选取步长矩阵p3为：
[0146] pfp = K^.(K^mT + mTK{：i),
[0147] 将p3带入(6)式，得到Kww的迭代公式，如以下定理：
[0148] 定理3:固定特征矩阵H和核矩阵和Kxw，目标函数F3是非增的，当子问题(3)中的特 征矩阵Kww按以下迭代方式更新：
[0149] 人八:广=人二::?(人二/广 +//人、）0(人二:.:////，十///厂尺:,.::）.
[0150] 综上所述，通过定理1定理2和定理3,可以的到本专利中提出的基于核机器学习的 非负矩阵分解算法的迭代公式：
[0151] irnu = ir'?Kjd(K.Aji),
[0152] = K1：： ?(A"v ll! )0(K'l：JIll, ),
[0153] K：；^ i-l!K^)0(K^Wl' +1U!1 K{；1).
[0154] 通过交叉迭代的方式可以得出最终的特征矩阵H和两个核矩阵Kwx和K?.特征提 取：
[0155] 对于测试样本Y，通过非线性映射将其映射到核空间的测试样本矩阵为<i> (Y)，由 被映射到核空间的原像巾（W)表出，有 (p{Y) = (piW)ll)=>
[0156] (p{ X)1 (p(Y) = (p{X)' (p{W) l Wr
[0157] 其中YGRmXd为所有测试样本组成的矩阵，[Kxyk = k(Xl，y丄对于求出测试样本的 新特征Hy，可以由以下三种方法得到。
[0158] 方式一：
[0159]直接借助迭代出的Kxw的广义逆矩阵的方式，有：
[0160]
[0161 ]则矩阵Hy的每一列就代表着一个待分类的图像的新特征。
[0162] 方式二：
[0163] 通过非负矩阵分解法。保持Kxy = KxwHy中的Kxy和Kxw不变，由非负矩阵分解法的公式 就可以迭代出非负的Hy:
[0164]
[0165] 方式三：
[0166] 通过非负稀疏表示法，将Kxy由Kxw稀疏表示出来，Hy为稀疏系数矩阵，则可以通过迭 代公式求出Hy:
[0167] Hl!+U=H^ ?{KlKJ0{KljC Jlf+l\rxd),
[0168] 其中，A为一控制参数，lrXd为大小为rXd的全1矩阵。
[0169] 由迭代出的H，求出每一类训练样本新特征的中心。计算每一个测试样本的新特征 与各类训练样本新特征中心之间的距离。然后根据最近邻法将测试图像归为与其距离最近 的一类。
[0170] 本发明还公开了一种基于核机器学习的非负矩阵分解人脸识别系统，包括：
[0171]表示模块，用于将每个预设的训练样本图像表示为列向量；
[0172]构造模块，用于通过已知的核函数以及训练样本向量，构造一个对称半正定的核 矩阵Kxx;
[0173]处理模块，用于分别建立三个目标函数，通过交叉迭代的方法实现极小化目标函 数，并得到训练样本在核空间上的新特征和两个与被非线性映射后的样本相关的核矩阵；
[0174] 投影模块，用于通过学习阶段得到的两个核矩阵，将测试样本投影到核空间得到 测试样本在核空间上的新特征；
[0175] 识别模块，用于根据最近邻法将测试样本的新特征与预设的每一类训练样本新特 征的中心进行比较，进而实现对测试样本的分类及识别。
[0176] 在所述处理模块中，交叉迭代的公式：
[0177] /广山=/广1 ?/C.,r0(/<,
[0178] /<：：|!, = K'；： 0(KJI! )0(A'：；7///y),
[0179] A：；；i：l,=^,：0(/CKf// / +//A；;i, )0{Kl；：!!/[l +WI/K；；：i),
[0180] 通过交叉迭代的方式能够得出最终的特征矩阵H和两个核矩阵Kwx和Kww。
[0181] 在所述处理模块中，包括：
[0182] 输入模块，用于输入核矩阵Kxx;
[0183] 初始化模块，用于初始化矩阵H，Kxw，Kww;
[0184] 第一处理模块，用于固定Kxw，Kww且更新H;
[0185] 第二处理模块，用于固定H，K?且更新Kxw;
[0186] 第三处理模块，用于固定H，Kxw且更新Kww;
[0187] 判断模块，用于判断验证是否满足停止条件，若是，那么得到H，KXW，K?的近似解， 否则执行第一处理模块。
[0188] 在所述投影模块中，对于求出测试样本的新特征Hy，由以下三种方法得到：
[0189] 方式一：
[0190]直接借助迭代出的Kxw的广义逆矩阵的方式，有：
[0191] II' = h
[0192] 则矩阵Hy的每一列就代表着一个待分类的图像的新特征；
[0193] 方式二：
[0194] 通过非负矩阵分解法，保持Kxy = KxwHY中的Kxy和Kxw不变，由非负矩阵分解法的公式 就可以迭代出非负的Hy:
[0195] =ll\n?(Kj KJ<Z>(Kj
[0196] 方式三：
[0197] 通过非负稀疏表示法，将Kxy由Kxw稀疏表示出来，Hy为稀疏系数矩阵，则可以通过迭 代公式求出Hy:
[0198] if4l) = H\n
[0199] 其中，A为一控制参数，lrXd为大小为rXd的全1矩阵。
[0200] 在所述识别模块中，计算每一个测试样本的新特征与各类训练样本新特征中心之 间的距离，然后根据最近邻法将测试图像归为与其距离最近的一类。
[0201] 本发明的有益效果如下：
[0202] 1.通过直接对两个核矩阵Kwx和Kww的学习，从而避免了对原像矩阵的学习。
[0203] 2、通过改变学习的对象，使迭代公式中避免出现核函数求导的过程，从而实现了 核函数的选取没有限制的效果，得到一种对任意的核函数都通用的算法。
[0204] 3、通过得到的新的迭代公式，使这样一种对任意核函数都通用的算法更加简便。
[0205] 4、通过在公开的常用人脸数据库中进行实验比较，该算法得到了较高的识别精 度，验证了新算法的有效性。
[0206] 表1本发明提出的算法与传统的PNMF算法在0RL人脸数据库下的识别率（％ )
[0208]图3是本发明提出的算法与传统的PNMF算法在0RL人脸数据库下的识别率图。
[0209]本发明仅需对核矩阵进行学习，通过建立三个不同的目标函数来分别对特征矩阵 和两个核矩阵学习，方法简单实用。
[0210] 关键词解释：
[0211 ] 非负矩阵分解:非负矩阵分解(Nonnegative Matrix Factorization,NMF)的思想 是将非负样本矩阵X近似分解为两个非负矩阵的乘积：
[0212] XmXn^ffmXrHrXn,
[0213]其中，WmXr和u是非负矩阵。W的每一列称为原像矩阵，H为系数矩阵。核非负矩 阵分解：核非负矩阵分解(Kernel Nonnegative Matrix Factorization,KNMF)的思想是通 过一个非线性映射P，将非负样本矩阵映射到高维空间中。将被映射的非负样本矩阵近似 分解成被映射的原像矩阵和系数矩阵的乘积：
[0214] (p{Xmxn)^q>(Wm><r)Hrxn,
[0215] 其中WmXr和士办都是非负矩阵。
[0216] 以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定 本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在 不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的 保护范围。
【主权项】
1. 一种基于核机器学习的非负矩阵分解人脸识别方法，其特征在于，包括如下步骤： A. 将每个预设的训练样本图像表示为列向量； B. 通过已知的核函数以及训练样本向量，构造一个对称半正定的核矩阵Kxx; C. 分别建立三个目标函数，通过交叉迭代的方法实现极小化目标函数，并得到训练样 本在核空间上的新特征和两个与被非线性映射后的样本相关的核矩阵； D. 通过学习阶段得到的两个核矩阵，将测试样本投影到核空间得到测试样本在核空间 上的新特征； E. 根据最近邻法将测试样本的新特征与预设的每一类训练样本新特征的中心进行比 较，进而实现对测试样本的分类及识别。2. 根据权利要求1所述的非负矩阵分解人脸识别方法，其特征在于，在所述步骤C中，交 叉迭代的公式：通过交叉迭代的方式能够得出最终的特征矩阵H和两个核矩阵Kwx和K?。3. 根据权利要求1所述的非负矩阵分解人脸识别方法，其特征在于，在所述步骤C中，交 叉迭代的过程包括如下步骤： (1) .输入核矩阵Kxx; (2) .初始化矩阵H，KXW，K?; (3) .固定Kxw，Kww且更新Η; (4) .固定H，Kww且更新Kxw; (5) .固定H ,Kxw且更新Kww; (6) .判断验证是否满足停止条件，若是，那么执行步骤(7)，否则执行步骤(3); (7) .得到H，Kxw，Kww的近似解。4. 根据权利要求1所述的非负矩阵分解人脸识别方法，其特征在于，在所述步骤D中，对 于求出测试样本的新特征Ηγ，由以下三种方法得到： 方式一： 直接借助迭代出的Kxw的广义逆矩阵的方式，有：则矩阵Hy的每一列就代表着一个待分类的图像的新特征； 方式二：通过非负矩阵分解法，保持Kxy = KxwHY中的Kxy和Kxw不变，由非负矩阵分解法的公式就可 以迭代出非负的Hy: 方式三： 通过非负稀疏表示法，将Kxy由Kxw稀疏表示出来，Hy为稀疏系数矩阵，则可以通过迭代公 式求出Hy:其中，λ为一控制参数，IrXd为大小为r X d的全1矩阵。5. 根据权利要求1所述的非负矩阵分解人脸识别方法，其特征在于，在所述步骤E中，计 算每一个测试样本的新特征与各类训练样本新特征中心之间的距离，然后根据最近邻法将 测试图像归为与其距离最近的一类。6. -种基于核机器学习的非负矩阵分解人脸识别系统，其特征在于，包括： 表示模块，用于将每个预设的训练样本图像表示为列向量； 构造模块，用于通过已知的核函数以及训练样本向量，构造一个对称半正定的核矩阵 Kxx ； 处理模块，用于分别建立三个目标函数，通过交叉迭代的方法实现极小化目标函数，并 得到训练样本在核空间上的新特征和两个与被非线性映射后的样本相关的核矩阵； 投影模块，用于通过学习阶段得到的两个核矩阵，将测试样本投影到核空间得到测试 样本在核空间上的新特征； 识别模块，用于根据最近邻法将测试样本的新特征与预设的每一类训练样本新特征的 中心进行比较，进而实现对测试样本的分类及识别。7. 根据权利要求6所述的非负矩阵分解人脸识别系统，其特征在于，在所述处理模块 中，交叉迭代的公式：通过交叉迭代的万式酡够得出最终的特祉矩阵H和网个核矩阵Kwx和JW。8. 根据权利要求6所述的非负矩阵分解人脸识别系统，其特征在于，在所述处理模块 中，包括： 输入模块，用于输入核矩阵Kxx; 初始化模块，用于初始化矩阵H，Kxw，Kww; 第一处理模块，用于固定Kxw，Kww且更新H; 第二处理模块，用于固定H，Kww且更新Kxw; 第三处理模块，用于固定H，Kxw且更新Kww; 判断模块，用于判断验证是否满足停止条件，若是，那么得到11，1(1，1(胃的近似解，否则执 行第一处理模块。9. 根据权利要求6所述的非负矩阵分解人脸识别系统，其特征在于，在所述投影模块 中，对于求出测试样本的新特征Ηγ，由以下三种方法得到： 方式一： 直接借助迭代出的Kxw的广义逆矩阵的方式,有：则矩阵Hy的每一列就代表着一个待分类的图像的新特征； 方式二： 通过非负矩阵分解法，保持Kxy = KxwHY中的Kxy和Kxw不变，由非负矩阵分解法的公式就可 以迭代出非负的Ηγ: 方式三：通过非负稀疏表示法，将Kxy由Kxw稀疏表示出来，Hy为稀疏系数矩阵，则可以通过迭代公 式求出Hy:其中，λ为一控制参数，Irxd为大小为r Xd的全1矩阵。10.根据权利要求6所述的非负矩阵分解人脸识别系统，其特征在于，在所述识别模块 中，计算每一个测试样本的新特征与各类训练样本新特征中心之间的距离，然后根据最近 邻法将测试图像归为与其距离最近的一类。
【文档编号】G06K9/00GK105893954SQ201610192602
【公开日】2016年8月24日
【申请日】2016年3月30日
【发明人】陈文胜, 赵阳, 陈波, 潘彬彬
【申请人】深圳大学