一种非负特征提取及人脸识别应用方法、系统及存储介质与流程

本发明涉及数据处理技术领域，尤其涉及一种非负特征提取及人脸识别应用方法、系统及存储介质。

背景技术

随着信息化时代的到来，利用人体固有的生理特征和行为特征进行个人身份鉴定的生物识别技术成为了一个最活跃的研究领域之一。在生物识别技术的众多分支中，最容易被人们接受的一个技术是人脸识别技术，这是由于相对于其他生物识别技术而言，人脸识别具有无侵害性、非强制性、非接触性和并发性。

人脸识别技术包含两个阶段，第一阶段是特征提取，也就是提取人脸图像中的人脸特征信息，这一阶段直接决定了人脸识别技术的好坏；第二阶段是身份鉴定，根据提取出的特征信息进行个人身份鉴定。主成分分析(pca)与奇异值分解(svd)都是较为经典的特征提取方法，但是这两种方法提出的特征向量通常含有负元素，因此在原始样本为非负数据下，这些方法不具有合理性与可解释性。非负矩阵分解(nmf)是一种处理非负数据的特征提取方法，它的应用非常广泛，比如高光谱数据处理、人脸图像识别等。nmf算法在原始样本非负数据矩阵分解过程中，对提取的特征具有非负性限制，即分解后的所有分量都是非负的，因而可以提取非负的稀疏特征。nmf算法的实质也就是将非负矩阵x近似分解为基图像矩阵w和系数矩阵h的乘积，即x≈wh，且w和h都是非负矩阵。这样矩阵x的每一列就可以表示成矩阵w列向量的非负线性组合，这也符合nmf算法的构造依据——对整体的感知是由对组成整体的部分的感知构成的(纯加性)。传统的nmf算法是基于欧式距离或者kl散度，为了克服异常值的干扰，增强算法的鲁棒性，又有学者提出了基于相关熵度量的nmf算法(cim-nmf)。考虑一张人脸图像，将其表示为向量x，不同强度的光照等价于在向量x前面乘以一个系数k。光照越强则k的值越大，光照越弱则k的值越小。对于欧式距离，kl散度和相关熵这三种度量来说，向量x与kx距离为0当且仅当k＝1。当光照很强时，即k值很大时，向量x与kx距离也变得很大，以至于出现误判。同理，当光照很弱时也容易出现误判。故以上三种度量在光照变化明显的人脸数据库中的识别效果不是很好。而余弦度量对于尺度的缩放是不变的，即具有伸缩不变性。无论k取任意非零值，向量x与kx余弦距离均保持不变，故能够克服人脸识别中所遇到的光照问题。

目前现有技术主要有以下3种：

1.基于欧氏距离的非负矩阵分解算法(ed-nmf)

欧氏距离是一种常见的距离度量，它能衡量多维空间中各个点之间的绝对距离。对于非负矩阵分解x≈wh来说，ed-nmf需要解决的最优化问题为：

其更新迭代公式为：

2.基于kullback-leibler散度的非负矩阵分解算法(kl-nmf)

kullback-leibler散度，也叫做相对熵,它衡量的是相同事件空间里的两个概率分布的差异情况。对于非负矩阵分解x≈wh来说，kl-nmf需要解决的最优化问题为：

其更新迭代公式为：

这里e表示与x大小相同，且元素全为1的矩阵。

3.基于相关熵的非负矩阵分解算法(cim-nmf)

相关熵通常用于信息理论学习中的噪声处理。设x,y都是n维向量，定义相关熵诱导的度量(cim)为：

这里kσ(·)表示核函数，ei＝xi-yi表示误差。

cim-nmf是将相关熵诱导的度量作为损失函数来设计非负矩阵分解算法。对于非负矩阵分解x≈wh来说，cim-nmf需要解决的最优化问题为：

这里表示高斯核。

cim-nmf的更新迭代公式为：

由此可见：1、传统的非负矩阵分解算法(nmf)的损失函数是基于f-范数构建的，然而f-范数对异常值比较敏感，这使得算法的稳定性较差。同时，由于由于欧氏距离不具备伸缩不变性，故不能很好的应对人脸识别中光照的变化。2、基于相关熵度量的非负矩阵分解(cim-nmf)一定程度上提高了传统非负矩阵分解算法的稳定性。由于相关熵度量不具备伸缩不变性，故在光照变化明显的人脸数据库中的识别效果仍然不是很好。

技术实现要素：

本发明提供了一种非负特征提取及人脸识别应用的构建方法，包括如下步骤：

余弦度量刻画损失度步骤：利用矩阵间的余弦度量刻画矩阵分解后的损失度；

构成目标函数步骤：通过余弦度量刻画损失度步骤，构成目标函数f(w，h)；

获得更新迭代公式步骤：将目标函数f(w，h)进行转化，构成待求解的最优化问题，通过构造辅助函数求得算法的更新迭代公式。

作为本发明的进一步改进，该构建方法还包括收敛性验证步骤，在收敛性验证步骤中，通过构造辅助函数证明算法具有收敛性。

作为本发明的进一步改进，所述通过构造辅助函数求得算法的更新迭代公式为：

其中，x表示样本矩阵，h表示系数矩阵，w表示基图像矩阵，e表示与h(或w)大小相同，且元素全为1的矩阵，s矩阵中的元素为

本发明还公开了一种非负特征提取及人脸识别应用方法，包括训练步骤，所述训练步骤包括：

第一步骤：将训练样本图像转化为训练样本矩阵x，设置误差阈值ε、最大迭代次数imax，对基图像矩阵w和系数矩阵h进行初始化；

第二步骤：利用通过构造辅助函数求得算法的更新迭代公式，更新w和h；

第三步骤：如果目标函数f(w,h)≤ε或迭代次数达到imax，就停止迭代，输出矩阵w和h；否则，执行第二步骤。

作为本发明的进一步改进，一种非负特征提取及人脸识别应用方法还包括在训练步骤之后再执行测试步骤，所述测试步骤包括：

第四步骤：计算训练样本中每类的平均特征向量mj(j＝1,…,c)；

第五步骤:对于测试样本y，计算其特征向量hy；

第六步骤:用各自的度量计算hy到每类的平均特征向量mj的距离，若hy与ml的距离最小，则将样本y归于第l类。

作为本发明的进一步改进，所述通过构造辅助函数求得算法的更新迭代公式为：

其中，x表示样本矩阵，h表示系数矩阵，w表示基图像矩阵，e表示与h(或w)大小相同，且元素全为1的矩阵，s矩阵中的元素为

本发明还公开了一种非负特征提取及人脸识别应用的系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现权利要求中所述的方法的步骤。

本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求中所述的方法的步骤。

本发明的有益效果是：1.通过利用余弦度量替代f-范数去度量矩阵分解的损失度，解决了人脸识别过程中遇到的光照问题；2.本发明所提出的算法的收敛性，不仅通过利用辅助函数在理论上进行了证明，而且在实验中也得到了验证，我们的算法具有较高的收敛性；3.通过在有光照影响的人脸数据库中与相关算法进行实验比较，结果表明本发明的算法具有一定的优越性。

附图说明

图1是本发明的算法构造过程流程图；

图2是本发明的算法执行过程流程图；

图3是本发明的本发明提出的算法与相关算法(nmf,cim-nmf)

在cmupie人脸数据库上的识别率比较图；

图4是本发明的算法的收敛曲线图。

具体实施方式

如图1所示，本发明公开了一种非负特征提取及人脸识别应用的构建方法，包括如下步骤：

余弦度量刻画损失度步骤：利用矩阵间的余弦度量刻画矩阵分解后的损失度；

构成目标函数步骤：通过余弦度量刻画损失度步骤，构成目标函数f(w，h)；

获得更新迭代公式步骤：将目标函数f(w，h)进行转化，构成待求解的最优化问题，通过构造辅助函数求得算法的更新迭代公式。

该构建方法还包括收敛性验证步骤，在收敛性验证步骤中，通过构造辅助函数证明算法具有收敛性。

一种非负特征提取及人脸识别应用的构建方法，所述通过构造辅助函数求得算法的更新迭代公式为：

其中，x表示样本矩阵，h表示系数矩阵，w表示基图像矩阵，e表示与h(或w)大小相同，且元素全为1的矩阵，s矩阵中的元素为

如图2所示，一种非负特征提取及人脸识别应用方法，包括训练步骤，所述训练步骤包括：

第一步骤：将训练样本图像转化为训练样本矩阵x，设置误差阈值ε、最大迭代次数imax，对基图像矩阵w和系数矩阵h进行初始化；

第二步骤：利用通过构造辅助函数求得算法的更新迭代公式，更新w和h；

第三步骤：如果目标函数f(w,h)≤ε或迭代次数达到imax，就停止迭代，输出矩阵w和h；否则，执行第二步骤。

如图2所示，一种非负特征提取及人脸识别应用方法还包括在训练步骤之后再执行测试步骤，所述测试步骤包括：

第四步骤：计算训练样本中每类的平均特征向量mj(j＝1,…,c)；

第五步骤:对于测试样本y，计算其特征向量hy；

第六步骤:用各自的度量计算hy到每类的平均特征向量mj的距离，若hy与ml的距离最小，则将样本y归于第l类。

一种非负特征提取及人脸识别应用方法，所述通过构造辅助函数求得算法的更新迭代公式为：

其中，x表示样本矩阵，h表示系数矩阵，w表示基图像矩阵，e表示与h(或w)大小相同，且元素全为1的矩阵，s矩阵中的元素为

一种非负特征提取及人脸识别应用的系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现权利要求中所述的方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求中所述的方法的步骤。

一、关键词解释(注意：说明本发明涉及到的一些关键词语的概念)

1.符号说明

x矩阵

a,b向量

xij矩阵x的第ij个元素

x^tx的转置

矩阵a与b中对应元素的积

矩阵a与b中对应元素的商

a^d矩阵a中每个元素的d次幂

2.非负矩阵分解(non-negativematrixfactorization，nmf)

nmf的基本思想是将一个非负样本矩阵近似分解为两个非负矩阵的乘积，即：

x≈wh

其中，和分别被称为基图像矩阵和系数矩阵。并且，通过构建损失函数度量x与wh之间的逼近程度,通常损失函数是基于f-范数被定义的，为：

f(w,h)＝||x-wh||²

这里||·||表示f-范数。

3.余弦相似度(cosinesimilarity)

余弦相似度是用两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量,它比欧氏距离更加注重两个向量在方向上的差异。对于任意向量a和b，它们之间的余弦相似度定义为：

类似的，对于任意矩阵a和b，我们定义它们之间的余弦相似度为：

由余弦相似度的定义可以看出，它对于坐标系的旋转和尺度的缩放是不变的。

本发明主要针对人脸识别中所遇到的光照问题，提出了一种基于余弦度量的nmf算法(csnmf)。相较于其他度量，余弦度量更多的是从方向上区分差异，而对绝对的数值不敏感，故可以消除人脸识别中所遇到的光照影响。我们通过构造辅助函数证明了算法的收敛性，并通过实验验证了算法的有效性。

本发明的主要目的有：

1、提出了一种新的基于余弦度量的非负特性提取算法,可以克服基于f-范数、相关熵度量等损失函数的nmf算法的缺陷。

2、由于余弦度量具有伸缩不变的特性，故能够克服人脸识别中所遇到的光照问题。

1.csnmf的提出

目标函数的构建

为了克服人脸识别中光照的影响，本发明利用余弦度量刻画损失函数，即：

则优化问题可写为：

minf(w,h)s.t.w≥0,h≥0(2)

为了求解该目标函数(1)中的两个未知非负矩阵w和h，我们将目标函数转化为两个子目标函数，分别为：

则问题(2)也演变成了两个子问题，分别为：

minf1(h)s.t.h≥0(5)

minf2(w)s.t.w≥0(6)

我们通过构造辅助函数的方法，得到如下的更新迭代公式，为：

其中，x表示样本矩阵，h表示系数矩阵，w表示基图像矩阵，e表示与h(或w)大小相同，且元素全为1的矩阵，s矩阵中的元素为尽管我们的迭代公式中出现了减号，但可以证明，该迭代公式仍满足分解的非负性要求。

2.收敛性证明

由于w和h的收敛性证明是完全类似的，下面我们仅对h的收敛性进行证明。首先，我们要引入辅助函数的定义。

定义1：对于任意的矩阵h和h^(t)，若满足条件

g(h,h^(t))≥f(h)，且g(h^(t),h^(t))＝f(h^(t))

则称g(h,h^(t))为函数f(h)的一个辅助函数。

引理1：如果g(h,h^(t))是f(h)的一个辅助函数，那么f(h)在如下的更新法则下是单调不增的，

引理2：设a为一个非负对称矩阵，则对任意整数k，有如下不等式成立：

接下来，我们通过构造辅助函数证明本发明构造的新算法具有收敛性。

定理1：函数

是f1(h)的辅助函数。

证明：显然，g(h^(t),h^(t))＝f1(h^(t))。

令a＝w^tw，p²＝h，由引理2可知，对任意整数k，有

故有

可得f1(h)≤g(h,h^(t))。

根据定义1与引理1，我们可知函数g(h,h^(t))是函数f1(h)的一个上限，且为了得到g(h,h^(t))的最小值，我们求解它的导数并令其为0，有

它等价于

由此式可解得hab的更新迭代公式:

由于

故在此更新迭代公式下h仍然满足非负性，由引理1可知f1(h)在该更新迭代公式下是非增的。

综上所述，本发明的人脸识别算法具体构建过程如下：

(1)利用矩阵间的余弦度量刻画矩阵分解后的损失度；

(2)通过构造辅助函数求得算法的更新迭代公式，如图4所示，并证明了本发明的算法的收敛性，从理论上保证了算法的合理性。

如图3和表1所示，本发明提出的算法(ourmethod)与非负矩阵分解(nmf)和基于相关熵的非负矩阵分解(cim-nmf)在cmupie人脸数据库上的识别率(％)比较

(3)(tn表示每一类的训练样本数)

本发明构建的非负矩阵分解算法的损失函数是基于余弦度量构建的，由于余弦度量对于尺度的缩放是不变的，故能克服了人脸识别中的光照影响。

本发明提出了一种新的具有较好的收敛性能和识别性能的非负特征提取算法，并成功应用与人脸识别。

本发明的有益效果是：1.通过利用余弦度量替代f-范数去度量矩阵分解的损失度，解决了人脸识别过程中遇到的光照问题；2.本发明所提出的算法的收敛性，不仅通过利用辅助函数在理论上进行了证明，而且在实验中也得到了验证，我们的算法具有较高的收敛性；3.通过在有光照影响的人脸数据库中与相关算法进行实验比较，结果表明本发明的算法具有一定的优越性。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。