一种非线性非负矩阵分解人脸识别构建方法、系统及存储介质与流程

本发明涉及数据处理
技术领域：
，尤其涉及一种非线性非负矩阵分解人脸识别构建方法、系统及存储介质。
背景技术：
随着信息化时代的到来，利用人体固有的生理特征和行为特征进行个人身份鉴定的生物识别技术成为了一个最活跃的研究领域之一。在生物识别技术的众多分支中，最容易被人们接受的一个技术是人脸识别技术，这是由于相对于其他生物识别技术而言，人脸识别具有无侵害性、非强制性、非接触性和并发性。人脸识别技术包含两个阶段，第一阶段是特征提取，也就是提取人脸图像中的人脸特征信息，这一阶段直接决定了人脸识别技术的好坏；第二阶段是身份鉴定，根据提取出的特征信息进行个人身份鉴定。主成分分析(pca)与奇异值分解(svd)都是较为经典的特征提取方法，但是这两种方法提出的特征向量通常含有负元素，因此在原始样本为非负数据下，这些方法不具有合理性与可解释性。非负矩阵分解(nmf)是一种处理非负数据的特征提取方法，它的应用非常广泛，比如高光谱数据处理、人脸图像识别等。nmf算法在原始样本非负数据矩阵分解过程中，对提取的特征具有非负性限制，即分解后的所有分量都是非负的，因而可以提取非负的稀疏特征。nmf算法的实质也就是将非负矩阵x近似分解为基图像矩阵w和系数矩阵h的乘积，即x≈wh，且w和h都是非负矩阵。这样矩阵x的每一列就可以表示成矩阵w列向量的非负线性组合，这也符合nmf算法的构造依据——对整体的感知是由对组成整体的部分的感知构成的(纯加性)。近年来，学者们提出了许多对nmf变形的算法，例如，加强局部限制的局部nmf算法(lnmf)、整合判别信息的判别nmf算法(dnmf)、针对对称矩阵提出的对称nmf算法(snmf)。这些nmf算法都是线性方法。然而，在人脸识别中，由于姿势、光照、遮挡、年龄等因素的变化，脸部图像的分布往往很复杂、呈非线性的，线性方法就不再适用。因此，我们需要基于nmf提出一个非线性模型，这个问题也非常具有挑战性。为处理非线性问题，核方法是一种有效方法，其将线性算法拓展为非线性算法提供了一个精美的理论框架。核方法的基本思想是通过使用一个非线性映射函数将原始数据映射到高维特征空间中，使得被映射后的数据线性可分，然后将线性算法应用到被映射后的数据上。在核方法中，最关键的部分是核技巧的使用，通过利用核函数取代被映射数据的内积，因而不需要知道非线性映射函数的具体解析式。核技巧的使用降低了将映射扩展到功能空间即再生核希尔伯特空间(rkhs)的难度。多项式核与高斯核是两个常用的核函数。利用核方法，将线性算法nmf推广为非线性nmf算法(nlnmf)，因此，nlnmf算法的主要思路是是通过非线性映射函数φ将矩阵x映射到高维特征空间中，并在这个特征空间中，利用nmf算法，将矩阵φ(x)近似分解为两个矩阵φ(w)与h的乘积，即φ(x)≈φ(w)h，且w和h为非负矩阵。现存的nlnmf算法有多项式核非负矩阵分解算法(pnmf)和高斯核非负矩阵分解算法(rbfnmf)，它们的损失函数都是基于f-范数的平方构建的。在人脸识别中，由于光照、遮挡物等的影响，使得人脸图像数据往往含有噪声与异常值，然而，f-范数对异常值较为敏感，以至于pnmf与rbfnmf算法的稳定性较差。下面是对以下三种方法的具体说明：1.核方法设{x1,x2,…,xn}是原始样本空间中的一组数据。核方法的主要思想是通过一个非线性映射函数φ(·)将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分，且只要原始空间是有限维的，那么一定存在一个这样的高维特征空间。在这个特征空间内，就可以采用线性方法进行处理样本数据。但是特征空间维数可能很高，甚至是无穷维的，非线性映射的具体形式也很难确定。为了避开这些障碍，可以巧妙地利用核函数：k(xi,xj)＝<φ(xi),φ(xj)>＝φ(xi)tφ(xj)，即xi与xj在特征空间中的内积可以通过利用它们在原始样本空间中函数k(·,·)来计算。这样不仅解决了这些问题，还简化了计算过程。常用的核函数有多项式核函数d＞0和高斯核函数(rbf)k(xi,xj)＝exp(-||xi-xj||2/(2δ2))。2.非线性非负矩阵分解算法(nlnmf)nlnmf的主要目的是利用核方法解决nmf在非线性问题中的应用。首先将原始空间中的样本数据通过映射函数φ(·)，映射到一个高维特征空间中，得到被映射的样本数据φ(x)＝[φ(x1),φ(x2),…,φ(xn)]，使得样本数据线性可分。然后，在高维特征空间中利用nmf算法处理被映射的数据，将φ(x)近似分解为两个矩阵φ(w)与h的乘积，即φ(x)≈φ(w)h,其中是基图像矩阵，是系数矩阵。为了衡量在矩阵分解过程中的损失，我们需要构建损失函数f(w,h)，损失函数的值越小，分解出的矩阵越具有合理性。因此，nlnmf的需要解决的最优化问题为：在nlnmf算法中，有两个主要因素影响其效能。其中，最主要的因素是核函数k(·,·)的选择，核函数隐式地定义了高维特征空间，若核函数选择不合适，那么意味着将样本数据映射到了一个不合适的特征空间，很可能导致性能不佳。另一个主要因素是损失函数f(w,h)的构建。损失函数在一定程度上决定着nlnmf算法的精度，不同的损失函数侧重点不同，而且并不是所有的损失函数都能在特征空间中运用，因此损失函数的选取也至关重要。常用的损失函数是根据f-范数构建的ff(w,h)，即3.基于多项式核的非线性非负矩阵分解算法(pnmf)多项式核非负矩阵分解算法(pnmf)的损失函数为ff(w,h)，它基于多项式核函数求解优化问题(1)，得到w和h的更新迭代公式为：其中ω是一个对角矩阵，其对角元素为由此可见：1.目前非线性非负矩阵分解算法的损失函数都是基于f-范数构建的，然而f-范数具有两大缺陷，即对异常值比较敏感和稀疏性差，这使得算法的稳定性较差，不能较好地抵抗人脸识别中姿势和光照的变化；2.多项式核非负矩阵分解(pnmf)中多项式核函数的幂指数只能为整数，当幂指数为分数时不能保证它仍是一个核函数，而且当幂指数为整数时削弱了核函数的判别能力。技术实现要素：本发明提供了一种非线性非负矩阵分解人脸识别的构建方法，包括如下步骤：损失度刻画步骤：利用矩阵的l2,p-范数刻画矩阵分解后的损失度；稀疏性增强步骤：利用矩阵的l1-范数增强对特征的稀疏性表示，在损失函数中加入关于矩阵h的正则项；目标函数构成步骤：通过损失度刻画步骤和稀疏性增强步骤，构成目标函数f(w,h)；获得分数次幂内积核非负矩阵分解的更新迭代公式步骤：使用分数次幂内积核函数，构成待求解的最优化问题，通过利用梯度下降法求解h，指数梯度下降法求解w，从而获得分数次幂内积核非负矩阵分解的更新迭代公式。作为本发明的进一步改进，该构建方法还包括收敛性验证步骤，在收敛性验证步骤中，通过构造辅助函数从而证明了算法的收敛性。作为本发明的进一步改进，所述分数次幂内积核非负矩阵分解的更新迭代公式为：本发明提供的一种非线性非负矩阵分解人脸识别方法，还包括训练步骤，所述训练步骤包括：第一步骤：将训练样本图像转化为训练样本矩阵x，设置误差阈值ε、最大迭代次数imax，对基图像矩阵w和系数矩阵h进行初始化；第二步骤：利用分数次幂内积核非负矩阵分解的更新迭代公式，更新w和h；第三步骤：如果目标函数f(w,h)≤ε或迭代次数达到imax，就停止迭代，输出矩阵w和h，否则，执行第二步骤。作为本发明的进一步改进，该非线性非负矩阵分解人脸识别方法还包括在训练步骤之后再执行测试步骤，所述测试步骤包括：第四步骤：计算训练样本中每类的平均特征向量mj(j＝1,…,c)；第五步骤：对于测试样本y，计算其特征向量hy；第六步骤：若那么将样本y归于第l类。作为本发明的进一步改进，该训练步骤中所述分数次幂内积核非负矩阵分解的更新迭代公式为：本发明还提供了一种非线性非负矩阵分解人脸识别系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现所述的方法的步骤。本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现所述的方法的步骤。本发明的有益效果是：1.通过利用l2,p-范数替代f-范数去度量矩阵分解的损失度，解决了现存的核非负矩阵分解算法中对奇异值敏感的问题，增强了本发明提出的核非负矩阵分解算法的稳定性；2.通过在目标函数中加入对系数矩阵h的正则化限制，增强了本发明算法对特征表示的稀疏性；3.通过将提出的具有新的目标函数的核非负矩阵分解与分数次幂内积核函数相整合，得到了具有高效的识别性能的稀疏分数内积非线性非负矩阵分解算法，解决了多项式核函数的超参数只能为整数的问题，提高了算法的判别能力。附图说明图1是本发明算法构造过程流程图；图2是本发明算法执行过程流程图；图3是本发明提出的算法与相关算法(klpp，lnmf,pnmf)在cmupie人脸数据库上的识别率比较图；图4是本发明算法的收敛曲线图。具体实施方式如图1所示，本发明公开了一种非线性非负矩阵分解人脸识别的构建方法，具体为公开了一种基于l2,p模的非线性非负矩阵分解人脸识别的构建方法。该非线性非负矩阵分解人脸识别的构建方法，包括如下步骤：损失度刻画步骤：利用矩阵的l2,p-范数刻画矩阵分解后的损失度；稀疏性增强步骤：利用矩阵的l1-范数增强对特征的稀疏性表示，在损失函数中加入关于矩阵h的正则项；目标函数构成步骤：通过损失度刻画步骤和稀疏性增强步骤，构成目标函数f(w,h)；获得分数次幂内积核非负矩阵分解的更新迭代公式步骤：使用分数次幂内积核函数，构成待求解的最优化问题，通过利用梯度下降法求解h，指数梯度下降法求解w，从而获得分数次幂内积核非负矩阵分解的更新迭代公式。该构建方法还包括收敛性验证步骤，在收敛性验证步骤中，通过构造辅助函数从而证明了算法的收敛性。所述分数次幂内积核非负矩阵分解的更新迭代公式为：如图2所示，本发明公开了一种非线性非负矩阵分解人脸识别方法，包括训练步骤，所述训练步骤包括：第一步骤：将训练样本图像转化为训练样本矩阵x，设置误差阈值ε、最大迭代次数imax，对基图像矩阵w和系数矩阵h进行初始化；第二步骤：利用分数次幂内积核非负矩阵分解的更新迭代公式，更新w和h；第三步骤：如果目标函数f(w,h)≤ε或迭代次数达到imax，就停止迭代，输出矩阵w和h，否则，执行第二步骤。该非线性非负矩阵分解人脸识别方法还包括在训练步骤之后再执行测试步骤，所述测试步骤包括：第四步骤：计算训练样本中每类的平均特征向量mj(j＝1,…,c)；第五步骤：对于测试样本y，计算其特征向量hy；第六步骤：若那么将样本y归于第l类。该非线性非负矩阵分解人脸识别方法所述训练步骤中的所述分数次幂内积核非负矩阵分解的更新迭代公式为：本发明还公开了一种非线性非负矩阵分解人脸识别系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现所述的方法的步骤。本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现所述的方法的步骤。关键词解释(注意：大致说明本发明涉及到的一些关键词语的概念)1.符号说明x矩阵xj矩阵x的第j列xij矩阵x的第ij个元素a⊙b矩阵a与b中对应元素的积矩阵a与b中对应元素的商ad矩阵a中每个元素的d次幂2.矩阵的范数设向量则向量x的p-范数为p＞0。对于矩阵常用的矩阵范数有以下几种：1.l1-范数：2.f-范数：3.l2,p-范数：根据上述陈述，我们可以发现，当l2,p-范数中p＝2时，它就是f-范数；也就是说l2,p-范数包含f-范数。3.非负矩阵分解(non-negativematrixfactorization，nmf)nmf的基本思想是将一个非负样本矩阵近似分解为两个非负矩阵的乘积，即：x≈wh,其中，和分别被称为基图像矩阵和系数矩阵。并且，通过构建损失函数度量x与wh之间的逼近程度,通常损失函数是基于f-范数被定义的，为：4.核函数(kernelfunction)令χ为输入空间，k(·,·)是定义在χ×χ上的对称函数，则k是核函数当且仅当对于任意数据d＝{x1,x2,…,xn}，核矩阵k总是半正定的：为了解决多项式核的幂指数参数只能为整数的问题与增强算法的判别能力，本发明引入了分数次幂内积核函数。设是一个m维的列向量，且在本发明中定义d＞0。定理1：对于任意的向量和正实数函数k被定义为：那么，k是一个核函数。我们称此函数为分数次幂内积核函数。1.新knmf的提出目标函数的构建为了增进现存核非负矩阵分解算法的稳健性性能，本发明利用l2,p-范数(0＜p≤2)刻画损失函数，即：其中，令则损失函数可以写为：为了增强特征的稀疏性表示，我们对系数矩阵h进行了正则化限制，因此我们提出的新核非负矩阵分解的目标函数为：f(w,h)＝fl(w,h)+λ||h||1，(2)其中λ≥0是正则项参数。为了利用新建的分数次幂内积核函数求解目标函数(3)中的两个未知非负矩阵w和h，我们将目标函数转化为两个子目标函数，分别为：其中w固定，其中h固定.则，问题(2)也演变成了两个子问题，分别为：minf1(h)s.t.h≥0，(3)minf2(w)s.t.w≥0.(4)对系数矩阵h的学习对于子问题(3)，采用梯度下降法对系数矩阵h进行求解，有：其中是关于hk的步长向量，是f1(h)关于hk的梯度，可以计算得：其中是一对角矩阵，是它的对角元素；1r×1是r×1维元素全为1的列向量。将公式(6)带入公式(5)中有为了保证hk的非负性，令：因此，选择步长向量为：将梯度与步长向量带入公式(5)中，得到hk的更新迭代公式为：可将此更新迭代公式转化为矩阵形式，且有以下定理。定理2：固定矩阵w，目标函数f1(h)是非增的，当子问题(3)中的系数矩阵h按以下迭代方式更新：其中是一对角矩阵，对基图像矩阵w的学习对于子问题(4)，固定矩阵h，对基图像矩阵w进行学习。我们定义f2(w)为目标函数f(w,h)中至于变量w有关的矩阵，则利用梯度下降法的非线性推广指数梯度下降法，有：其中是一个步长列向量，是f2(w)关于的梯度。对于变量函数f2(w)可以被表示为：可以计算出函数关于的导数为：将公式(9)带入公式(8)，得到为了保证wk与的非负性，我们令因此，选择步长为：将公式(9)与(10)带入公式(8)中，可以求出关于的迭代公式为：根据公式可得到wk的更新迭代公式为：将其推广到矩阵形式可得到w的更新迭代公式，如以下定理。定理3：固定矩阵h，目标函数f2(h)是非增的，当子问题(4)中的基图像矩阵w按以下迭代方式更新：其中xd、w(t)d代表矩阵x、w(t)中的每个元素的d次幂，()1/d代表矩阵中的每个元素的1/d次幂，是一对角矩阵，其对角元素综上所述，通过定理1和定理2，可以得到本发明提出的分数次幂内积核非负矩阵分解的更新迭代公式，为：2.收敛性证明定义1：对于任意的矩阵h和h(t)，若满足条件g(h,h(t))≥f(h)，且g(h(t),h(t))＝f(h(t))，则称g(h,h(t))为函数f(h)的一个辅助函数。引理1：如果g(h,h(t))是f(h)的一个辅助函数，那么f(h)在如下的更新法则下是单调不增的，接下来，我们通过构造辅助函数证明定理2与定理3的成立性，也就是证明本发明构造的新算法具有收敛性。定理4：是一个对角矩阵，且对角元素为那么是f1(h)的辅助函数。证明：函数f1(h)是关于变量h的二次函数，因此可以对其关于变量h进行精确二次泰勒展开，可得其中，分别是函数f1(h)在h(t)处关于hi的一阶偏导数与二阶偏导数。则，很明显地可以看出，若对于所有的i，那么g1(h,h(t))≥f1(h)。不等式(13)成立的充要条件是矩阵是半正定的。为了证明这一条件是成立的，我们对矩阵中的元素进行了变形，构造出了矩阵p，其元素为显然，当矩阵p具有半正定性时，矩阵也具有半正定性。对于任意的向量有因此，矩阵p和是半正定的，g1(h,h(t))≥f1(h)。而且显然当h＝h(t)时，g1(h(t),h(t))＝f1(h(t))。综上所述，g1(h,h(t))是f1(h)的辅助函数，证毕。根据定义1与引理1，我们可知函数g1(h,h(t))是函数f1(h)的一个上限，且为了得到g1(h,h(t))的最小值，我们求解它的导数并令其为0，有从而，两边同乘且可得hk的更新迭代公式为将其转化为矩阵形式，可得公式(7)。因此，定理2证明完毕，在更新迭代公式(7)下目标函数是非增的。定理5：设是一个对称矩阵，其元素为那么，函数是f2(w)的辅助函数。证明：设矩阵a＝kxx-2kxwh+htkwwh，那么因此，则可以很明显的看出，当w＝w(t)时，g(w(t),w(t))＝f2(w(t))。又因为，可得，g(w,w(t))-f2(w)≥0，g(w,w(t))是f2(w)的辅助函数，证毕。设矩阵w的第k列wk未知，其他列都是已知的，对辅助函数g(w,w(t))关于wk求导，可得，当时，有通过计算，可得因此，wk的更新迭代公式为将其转化为矩阵形式可得公式(11)，因此定理3成立。3.特征提取假设y是一个测试样本，非线性映射φ将其映射到特征空间中为，且φ(y)可以被表示为被映射后的基图像矩阵φ(w)的列向量的线性组合，为：φ(y)＝φ(w)hy，其中hy为φ(y)的特征向量。上式两边同乘φ(w)t，可得φ(w)tφ(y)＝φ(w)tφ(w)hy，即，kwy＝kwwhy,其中kwy为一个核向量。因此，特征hy可以求出为其中，是矩阵kww的广义逆。类似的，我们可以得到训练样本的平均特征向量。假设原始空间中有c类样本，其中第j类的训练样本数为nj(j＝1,2,…,c)，训练样本矩阵为xj，那么第j类的平均特征向量可以表示为：其中，是一个维数为nj×1维的全一列向量。综上所述，本发明的人脸识别算法具体构建过程如下：(1)利用矩阵的l2,p-范数刻画矩阵分解后的损失度；(2)利用矩阵的l1-范数增强对特征的稀疏性表示，在损失函数中加入关于矩阵h的正则项；(3)在本发明的算法中引入我们构建的具有较强灵活性与较高的判别能力的分数次幂内积核函数；(4)通过利用梯度下降法及其推广指数梯度下降法推导出本发明算法的更新迭代公式；(5)通过构造辅助函数证明了本发明算法的收敛性，从理论上保证了算法的合理性。如图4所示，本发明所提出的算法的收敛性，不仅通过利用辅助函数在理论上进行了证明，而且在实验中也得到了验证，我们的算法具有较高的收敛性。如图3和表1所示，通过在公开的人脸数据库中与相关算法进行实验比较，结果表明本发明开发的算法具有一定的优越性。表1本发明提出的算法(ourmethod)与核局部保持投影(klpp)、局部非负矩阵分解(lnmf)和多项式核非负矩阵分解(pnmf)在cmupie人脸数据库上的识别率(％)比较(tn表示每一类的训练样本数)tn7911131517klpp61.7763.6061.6062.7863.2761.41lnmf64.3565.8267.3568.4069.1369.75pnmf52.6054.0555.6657.0056.7657.52ourmethod70.7772.3973.2074.7275.1475.51表1本发明的有益效果是：1.通过利用l2,p-范数替代f-范数去度量矩阵分解的损失度，解决了现存的核非负矩阵分解算法中对奇异值敏感的问题，增强了本发明提出的核非负矩阵分解算法的稳定性；2.通过在目标函数中加入对系数矩阵h的正则化限制，增强了本发明算法对特征表示的稀疏性；3.通过将提出的具有新的目标函数的核非负矩阵分解与分数次幂内积核函数相整合，得到了具有高效的识别性能的稀疏分数内积非线性非负矩阵分解算法，解决了多项式核函数的超参数只能为整数的问题，提高了算法的判别能力。以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属
技术领域：
的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。当前第1页12