基于低秩恢复的非负矩阵分解方法

基于低秩恢复的非负矩阵分解方法
【专利摘要】本发明属于信息处理技术领域，具体涉及一种基于低秩恢复的非负矩阵分解方法，包括以下步骤：1】将原始数据库中的每个图像样本均转换为向量，构成m×n的原始数据矩阵X；m为图像样本的维数，n为图像样本的个数；2】对原始数据矩阵X进行低秩稀疏分解；2.1】设置低秩矩阵的秩为r，设置稀疏矩阵的稀疏度为k；2.2】采用双边随机投影算法求解原始数据矩阵X的秩为r的低秩矩阵L和稀疏度为k的稀疏矩阵S；3】对步骤2】中求解得到的低秩矩阵L进行非负矩阵分解，得到基矩阵W和编码矩阵H。本发明通过低秩稀疏分解得到数据低秩成分和稀疏成分，并对去除稀疏噪声部分的低秩成分进行非负分解，从而使得非负分解结果免受噪声的干扰。
【专利说明】
基于低秩恢复的非负矩阵分解方法
技术领域
[0001] 本发明属于信息处理技术领域，具体涉及一种基于低秩恢复的非负矩阵分解方 法。
【背景技术】
[0002] 随着信息化和互联网的发展，高维数据在社会各领域不断涌现。总体来讲，这些数 据或者是半结构的或者是无结构的，这使得构建这些数据的特征向量高达上万维甚至更 高。数据维数的增加对大规模数据处理带来了困难。非负矩阵分解时基于非监督模式识别 的一个研究领域，旨在得到数据稀疏的、基于部分的低维数据表示。非负矩阵分解被广泛应 用于数学、最优化、神经计算、模式识别与机器学习、数据挖掘、图像工程与计算机视觉等领 域，因此研究非负矩阵分解技术具有非常重要的意义与应用价值。非负矩阵分解技术建立 在对因子矩阵的非负约束的基础上，通过非监督的方法学习到原数据的低维表示以及其相 应的基矩阵，从而有利于后续相关应用中的处理。
[0003] 目前，非负矩阵分解方法主要分为三类：
[0004] -是基于稀疏约束或正交约束的方法，这种方法致力于通过对因子矩阵（即基矩 阵和编码矩阵)施加稀疏或者正交约束来学习到更稀疏和局部化的数据表示。P.Hoyer在文 献"Non-Negative Matrix Factorization with Sparseness Constraints,J.Machine Learning Research ,vol ? 5 ,no ? 9 ,pp ? 1457-1469,2004" 提出对编码矩阵施加 LI范数约束的 非负矩阵分解方法，通过L1范数的稀疏约束来取得更稀疏的数据表示。S. Li等人在文献 "Learning spatially localized,parts-based representation,in Proc.IEEE International Conference Computer Vision Pattern Recognition，pp?207-212，2001" 提出基于正交约束的非负矩阵分解方法，通过正交约束去除了基向量间的的冗余成分。
[0005] 二是基于判别信息的非负矩阵分解方法。这种方法的核心思想是利用标记样本学 习出更具有判别性的低维数据表示。Y. Wang等人在文献"Fisher Non-Negative Matrix Factorization for Learning Local Features，Proc?Asian Conference Computer Vision，pp. 27-30,2004"中提出了基于费舍尔判别准则的非负矩阵分解算法，通过引入费 舍尔判别准则来使得类内样本分布更紧致，类间样本分布更远。J.Yang等人在文献"Non-negative graph embedding,Proc.IEEE Int'l Conf.Computer Vision and Pattern Recognition,pp. 1-8,2008"中提出了基于图嵌入的非负矩阵分解方法。该方法构建本质图 和惩罚图两个图结构，通过最小化本质图和惩罚图使类内样本分布紧致，类间间隔更大。
[0006] 三是基于流形学习的非负矩阵分解方法。这种方法通过流行学习算法保持数据在 高维空间中的拓扑结构，从而考虑了数据的结构信息。D. Cai等人在文献"Non-negative matrix factorization on manifold,IEEE Transaction Pattern Analysis Machine Intelligence, vo 1 ? 33 ,no ? 8,pp ? 1548-1560,2011"中提出了基于图正则的非负矩阵分解算 法，通过最小化图正则项来保持数据内部的几何分布结构。Q. Gu等人在文献"Neighborhood Preserving Nonnegative Matrix Factorization,Proc.20th British Machine Vision Conf.，2009"中提出基于局部线性嵌入的非负矩阵分解算法，假设数据的局部拓扑结构符 合局部线性嵌入假设。这两种方法的不同就在于对于数据的局部拓扑结构的假设。
[0007] 以上三类方法虽然从不同的角度对非负矩阵分解进行了改进，但是，都没有考虑 原数据本身可能包含的噪声对非负分解带来的不良影响。

【发明内容】

[0008] 为了解决非负分解容易受到噪声干扰的技术问题，本发明提供一种基于低秩恢复 的非负矩阵分解方法。
[0009] 本发明的技术解决方案是：一种基于低秩恢复的非负矩阵分解方法，其特殊之处 在于:包括以下步骤：
[0010] 1】将原始数据库中的每个图像样本均转换为向量，构成mxn的原始数据矩阵X;m 为图像样本的维数，n为图像样本的个数；
[0011] 2】对原始数据矩阵X进行低秩稀疏分解；
[0012] 2.1】设置低秩矩阵的秩为r，设置稀疏矩阵的稀疏度为k;
[0013] 2.2】采用双边随机投影算法求解原始数据矩阵X的秩为r的低秩矩阵L和稀疏度为 k的稀疏矩阵S;
[0014] 3】对步骤2】中求解得到的低秩矩阵L进行非负矩阵分解，得到基矩阵W和编码矩阵 H〇
[0015] 上述步骤2.2】包括以下步骤：
[0016] 2.2.1】初始化低秩矩阵为Lo = X，初始化稀疏矩阵为So = 0，初始化迭代次数为t = 〇;设置重构相对误差阈值e;
[0017] 2.2.2】计算\~ 其中，q为0或者正整数；
[0018] 2.2.3】计算文的『双边随机投影￥=_龙41和《二尤7'// 2:;.其中41是11\4勺随机矩 阵，A^mXr的随机矩阵；
[0019] 2 ? 2 ? 4】进行迭代更新：t = t+1: Z 二『(A - S,丨)(％ - 丨)7']_7- S；丨），K = Z..4丨，A2 =Yi,72： = Lr}\ ,昊= ￡F2;
[0020] 2 ? 2 ? 5 】计算 Yi 和 Y2 的 QR 分解:Y2 = Q2R2，Yi = Qifo;
[0021] 2.2.6】更新低秩矩阵和稀疏矩阵：L, =0丨[/?丨丨兄n'^1也，St = Pfl(X-Lt);其中，表示将一个矩阵投影到元素集合Q ;
[0022] 2.2.7】计算重构误差|X- ;判断重构误差是否小于重构相对误差 阈值￡，若重构误差小于e则执行步骤2.2.8】，若重构误差大于或者等于e则执行步骤 2.2.4】；
[0023] 2.2.8】得到低秩矩阵L = Lt和稀疏矩阵S = St。
[0024] 上述步骤3】包括以下步骤：
[0025] 3.1】将步骤2】中求得的低秩矩阵L中的非负元素赋值为0;
[0026] 3.2】初始化基矩阵Wo为mXl的随机矩阵，初始化编码矩阵Ho为lXn的随机矩阵，初 始化迭代次数为t = 0;其中，1为样本类个数;设定迭代误差限e';
[0027] 3.3】利用1(近邻算法构建近邻图，计算图拉普拉斯矩阵1^ = 0@-5@;其中；1)是对 称的权重矩阵，Dap是对角矩阵，对角元素是S ap的列和；
[0028] 3.4】迭代求解基矩阵W和编码矩阵H;
[0029] 3.4.1】计算_ ;其中a是图正则参数；
[0030] 3.4.2】计算 ，十 1:;其中，0是Tiknohov正则 参数；
[0031 ] 3.4.3】计算非负矩阵分解重构误差;若非负矩阵分解重构误差大于或者等于迭代 误差限"则执行步骤3.4.1】；若非负矩阵分解重构误差小于迭代误差限e则执行步骤 3.4.4】；
[0032] 3 ? 4 ? 4】得到基矩阵W=Wt' +1和编码矩阵H=Ht' +1。
[0033 ]上述基于低秩恢复的非负矩阵分解方法还包括以下步骤：
[0034] 4】用k-means聚类算法对编码矩阵H进行聚类；
[0035] 5】计算聚类结果评判指标聚类精度AC和归一化互信息NMI:
[0039]其中，n是样本集中的样本个数，gncU是已知的样本标签；
[0040] 5(￡1，1：))是单位冲激函数，当3 = 13时5(3，13) = 1，当￡1辛13时5(3，13)=0;
[0041 ] map(Zi)是重标记函数，Zi表示样本i经过k-means聚类得到的聚类标签；
[0042] C是数据库提供的类标签，C'是经过k-means聚类得到的类标签；
[0043] p(Cl)表示随机选取的样本x属于C中的Cl类的概率，p(c、)表示样本x属于中的 C/类的概率，P(Ci，C ' j )表示样本X同时属于Ci类和c/类的概率；
[0044] H(C)表示C的熵，H(C )表示C的熵。
[0045] 本发明的有益效果在于:本发明通过原数据矩阵的低秩稀疏分解得到数据低秩成 分和稀疏成分，并对去除稀疏噪声部分的低秩成分进行非负分解，从而使得非负分解结果 免受噪声的干扰。同时，在矩阵非负分解的同时考虑了数据内的几何分布结构，以取得更好 的低维数据表示。最后，对降维的数据表示用k-means算法聚类，通过聚类结果的好坏判断 得到的低维数据表示的优劣。
【附图说明】
[0046] 图1为本发明较佳实施例的基于低秩恢复的非负矩阵分解流程图。
【具体实施方式】
[0047] 参见图1，本发明较佳实施例的实现步骤如下：
[0048] 步骤1，对原始数据矩阵进行低秩稀疏分解。
[0049] (la)将图像样本集中的每幅图像拉成一个向量，共同构成mXn的原始数据矩阵X， m为每个样本的维数，n为样本个数；
[0050] (lb)初始化低秩矩阵为Lo = X，稀疏矩阵为So = 0,低秩矩阵的秩设置为r，稀疏矩阵 的稀疏度设置为k，重构相对误差阈值￡，迭代次数t = 0。
[0051] (lc)为了防止X的奇异值逐渐退化，从而导致基于双边投影的原数据矩阵X的秩为 r的低秩近似矩阵的逼近效果不好，采用幂修正方案，即计算的双边随机投影 而不是X的双边随机投影，这样f的低秩近似矩阵为= "其中4=私，巧=亡4 是X的r双边随机投影，AjPA2分别是nXr和mXr的随机矩阵，q可调，q = 0则不采用该方案， 这里设置q = l。迭代更新：
[0052] t = t+l,￡ = [(Z-^_1)(X-^1)r]9:(^-^ 1) , ^=f4?A2 = Yi^:= L'yr I^LY.r,
[0053] (Id)为了得到原数据矩阵X的秩为r的低秩近似，需要计算YjPY^QR分解即：
[0054] Y2 = Q2R2,Yi = QiRi
[0055] 然后如下更新低秩矩阵和稀疏矩阵：
[0056] 4 =01^(40-1埒f 2?+1,込，St = Pfi(X-Lt)
[0057] 其中，Pfl表示将一个矩阵投影到元素集合Q，即只保留X-Lt前k个元素。
[0058] (le)计算重构误差：
[0060] 判断是否小于阈值￡，如果小于e则迭代停止;否则回到（lc)继续迭代求解。
[0061] 步骤2,求解低秩恢复矩阵的非负分解。
[0062] (2a)对步骤1求得的低秩矩阵L进行非负投影，即将低秩矩阵L中的非负元素赋值 为〇;
[0063] (2b)初始化mXl的基矩阵Wo、lXn的编码矩阵Ho为随机矩阵，1为样本类个数，迭代 次数t' = 0;
[0064] (2c)利用K近邻算法构建近邻图，并计算图拉普拉斯矩阵Lap，其中，L ap = Dap-Sap， Sap表不对称的权重矩阵，Dap是对角矩阵，对角兀素是Sap的列和(或者行和，因为Sap是对称矩 阵)；
[0065] (2d)为了保障基矩阵W的平滑性，对W施加 Tiknohov正则约束：
[0066]
[0067] (2e)迭代求解基矩阵W和编码矩阵H，固定一个求另一个，具体操作如下：
[0068] 固定W更新H:
[0070] 固定H更新W:
[0072] 其中a为图正则参数，0是Tiknohov正则参数，平衡图正则项和Tiknohov正则项间 的权重。
[0073] (2f)计算非负矩阵分解重构误差，如果小于误差限则停止迭代;否则回到（2e)继 续迭代。
[0074] 步骤3,聚类测试。
[0075]将编码矩阵H作为原数据矩阵X的降维表示，用k-means聚类算法对新的样本聚类 (编码矩阵H每一列是原数据矩阵X每一列的一个降维表示）；
[0076] 步骤4,计算聚类结果评判指标聚类精度AC和归一化互信息NMI。
[0078]其中，n是样本集中样本个数，gndi是事先已知的样本标签，单位冲激函数S(a，b) =1，当a = b;当a辛b其值为(LmapUi)是重标记函数，可以将算法获得的聚类标签映射到样 本集提供的标签上。
[0080]其中p(ci)和p(c'j)分别表不随机选取的样本x属于类C和C'的概率，p(ci，c'j)表 示样本x同时属于类C和C'的概率。
[0082]其中，H(C)和H(C'）分别表示类C和C'的熵。匪I度量这两个类别的相似性。为了避 免每次聚类结果的随机性，因此统计100次聚类结果中精度排序前10的结果的平均。
[0083] 本发明的效果可以通过以下实验做进一步的说明。
[0084] 1 ?仿真条件
[0085] 本发明是在中央处理器为Intel(R)Core i3-2130 3.4GHZ、内存 16G、WIND0WS 8操 作系统上，运用MATLAB软件进行的仿真。
[0086] 实验中使用的图像数据库为美国邮政系统手写数字字符数据库USPS和剑桥大学 人脸图像数据库ORLWSPS数字字符数据库包括"0"到"9" 10个数字的9298张灰度图像，每张 图像大小为16 X 16，实验中每类选择100个样本，共1000个数据样本;0RL人脸数据库包括40 个人的面部灰度图像，每个人有10个图像样本，共400张图像，每张图像是大小是32X32,每 个人的图像样本具有不同的光照变化、表情变化以及面部细节。
[0087] 2.仿真内容
[0088]首先，在USPS数据库和0RL数据库上，完成本发明算法(基于低秩恢复的非负矩阵 分解）的实验。为了证明算法的有效性，我们选取了 4个对比方法NMF、GNMF、k-mean s、PCA进 行比较。其中NMF是在文献"D.D.Lee and H.S.Seung,Learning the parts of objects by nonnegative matrix factorization，Nature，vol ? 401，no ? 6755，pp ? 788-791，1999" 中提 出的。GNMF在 "D ? Cai，X? He，J? Han，and T . S.Huang,Graph regularized nonnegative matrix factorization for data representation,IEEE Trans.Pattern Analysis and Machine Intelligence,vol .33,no.8,pp. 1548-1560,2011" 中有详细介绍。PCA是被广泛应 用的数据降维算法。K-means是广泛应用的聚类算法。
[0089]在USPS数据库中随机选取8类、9类、10类数字字符的图像分别实验;在0RL数据库 中随机选取30类、35类、40类人脸图像分别实验。用k-means算法对NMF、PCA、GNMF以及我们 提出的算法学习出的低维数据表示进行聚类，同时用k-means对非降维数据X进行聚类。每 种算法进行20次聚类实验，并统计聚类结果的平均值。
[0090]在本发明实施例中对于USPS数据库和0RL数据库分别设置低秩矩阵的秩r为原数 据矩阵满秩的9%和10%，即min(m，n) X9%和min(m，n) X 10%，稀疏矩阵的稀疏度k为原数 据矩阵规模的1%，即mXnXl%，对于USPS数据库和0RL数据库1分别取值8、9或10和30、35 或40，图正则项的正则参数a = 100，Tiknohov正则参数0 = 0.0001，构建图的近邻个数为5。 [0091] 实验测试结果如表1和表2所示。
[0092]表1 USPS数据库上的聚类结果
[0094]表2 0RL数据库上的聚类结果

[0096] 从表1，2可见，本发明的聚类效果比PCA、匪F和G匪F三种数据降维表示方法都要 好，同时比不经降维表示直接用k-means聚类的效果好。
【主权项】
1. 一种基于低秩恢复的非负矩阵分解方法，其特征在于:包括以下步骤： 1】将原始数据库中的每个图像样本均转换为向量，构成mXn的原始数据矩阵X;m为图 像样本的维数，η为图像样本的个数； 2】对原始数据矩阵X进行低秩稀疏分解； 2.1】设置低秩矩阵的秩为r，设置稀疏矩阵的稀疏度为k; 2.2】采用双边随机投影算法求解原始数据矩阵X的秩为r的低秩矩阵L和稀疏度为k的 稀疏矩阵S; 3】对步骤2】中求解得到的低秩矩阵L进行非负矩阵分解，得到基矩阵W和编码矩阵H。2. 根据权利要求1所述的基于低秩恢复的非负矩阵分解方法，其特征在于：所述步骤 2.2】包括以下步骤： 2.2.1】初始化低秩矩阵为L〇 = X，初始化稀疏矩阵为So = 0，初始化迭代次数为t = 0;设 置重构相对误差阈值ε; 2.2.2】计算= (XT广其中，q为〇或者正整数； 2 ·2·3】计算f的r双边随机投影$ = 二;其中，A^n Xr的随机矩阵，A2 是mXr的随机矩阵； 2.2.4】进行迭代更新:t = t+l，Z = [(A，-S,, 丨)7']^-·^)，巧= /:4，A2 = Yi， Y2=Lt}\, ^ = ly2, 2 · 2 · 5 】计算 YjPY2 的 QR 分解:Y2 = Q2R2，Υ! = QxRi; 2.2.6】更新低秩矩阵和稀疏矩阵：，St = Pfi(X-Lt);其 中，Ρω表示将一个矩阵投影到元素集合Ω ; 2.2.7】计算重构误差||χ-&判断重构误差是否小于重构相对误差阈值 ε，若重构误差小于ε则执行步骤2.2.8】，若重构误差大于或者等于ε则执行步骤2.2.4】； 2.2.8】得到低秩矩阵L = Lt和稀疏矩阵S = St。3. 根据权利要求2所述的基于低秩恢复的非负矩阵分解方法，其特征在于:所述步骤3】 包括以下步骤： 3.1】将步骤2】中求得的低秩矩阵L中的非负元素赋值为0; 3.2】初始化基矩阵Wo为mX 1的随机矩阵，初始化编码矩阵Ho为1 X η的随机矩阵，初始化 迭代次数为t = 0;其中，1为样本类个数;设定迭代误差限ε'; 3.3】利用1(近邻算法构建近邻图，计算图拉普拉斯矩阵" =0@-5^其中；[)是对称的 权重矩阵，Dap是对角矩阵，对角元素是Sap的列和； 3.4】迭代求解基矩阵W和编码矩阵Η;3.4.3】计算非负矩阵分解重构误差;若非负矩阵分解重构误差大于或者等于迭代误差 限^则执行步骤3.4.1】;若非负矩阵分解重构误差小于迭代误差限ε则执行步骤3.4.4】； 3.4.4】得到基矩阵W=Wt' +1和编码矩阵H=Ht' +1。4.根据权利要求1-3中任一所述的基于低秩恢复的非负矩阵分解方法，其特征在于:还 包括以下步骤： 4】用k-means聚类算法对编码矩阵Η进行聚类； 5】计算聚类结果评判指标聚类精度AC和归一化互信息匪I:其中，η是样本集中的样本个数，gncU是已知的样本标签； 5(&，13)是单位冲激函数，当3 = 13时5(3，13) = 1，当￡1辛13时5(3，13)=0; map (zi)是重标记函数，zi表示样本i经过k-means聚类得到的聚类标签； C是数据库提供的类标签，是经过k-means聚类得到的类标签； P(Ci)表示随机选取的样本X属于C中的Ci类的概率，p(c'j)表示样本X属于中的c/类 的概率，P(Ci，C'j)表示样本X同时属于Ci类和c/类的概率； H(C)表示C的熵，H(C'）表示的熵。
【文档编号】G06F17/16GK105930308SQ201610230629
【公开日】2016年9月7日
【申请日】2016年4月14日
【发明人】李学龙, 董永生, 崔国盛
【申请人】中国科学院西安光学精密机械研究所