基于lrr?lda的图像特征提取方法
【专利摘要】本发明提出了一种基于LRR?LDA的图像特征提取方法，用于解决现有方法SRC?DP中存在的所提取样本特征信息不完整和在样本类别数目较大的情况下，识别的有效性差的技术问题。包括如下步骤：1.输入训练样本，给定迭代步长，初始化投影矩阵；2.对训练样本进行投影，分别计算投影样本的类内、类间离散度矩阵；3.求解投影样本的低秩表示系数矩阵，分别计算投影样本的类内、类间重构残差离散度矩阵；4.构造目标函数求解新的投影矩阵；5.对步骤2?4进行迭代，直至循环次数等于迭代步长，输出最终投影矩阵。本发明具有图像分类准确性高的特点,可用于警务系统中人物身份的判别或影像拍摄中物体的查找。
【专利说明】
基于LRR-LDA的图像特征提取方法
技术领域
[0001] 本发明属于图像处理技术领域，涉及一种图像特征提取方法，具体涉及一种基于 LRR-LDA的图像特征提取方法，可用于影像拍摄等领域中物体的查找或者警务系统中人物 身份的判别。
【背景技术】
[0002] 图像识别是机器学习、模式识别和计算机视觉领域既热门又具有挑战性的研究方 向之一，因其具有简单、高效、安全、低成本等优势现在已经广泛应用在智能交通、生物医 学、电子商务、遥感技术、军事和多媒体网络通信等领域。图像识别属于高维空间下的模式 识别问题。因此在对图像进行识别时其首先要对图像进行特征提取，然后在低维的子空间 进行分类判别。由于图像往往会受到视角、光照、遮挡等成像因素的影响，这给图像的特征 提取带来了很大的挑战。
[0003] 目前，各种特征提取的方法在图像识别领域得到了广泛的应用。从原理上主要分 为基于保持流形结构、基于低秩理论和基于稀疏理论三类。其中基于保持流形结构的特征 提取方法是通过寻找一个投影方向，将高维空间的原始样本降到低维子空间来解决，同时 保持高维空间中样本流形结构。例如P · N· Belhumeur，J · P ·Hespanha，and D · J ·Kriegman， uEigenfaces vs.Fisherfaces:Recognition Using Class Specific Linear Pro jection /'European Conf · Computer Vision，1996，pp · 45-58，该论文提出了一种代表 性的算法线性判别分析LDA，LDA虽然具有突出的数据压缩能力，能有效地融合训练样本的 类别信息，但是用这种方法在进行特征提取时，由于只考虑样本的整体判别信息，而没有从 重构的角度对样本进行分析，从而导致分类的结果不理想。基于低秩理论的特征提取方法 主要是利用低秩表示方法从重构的角度对样本进行处理和分析。例如Liu ,Guangcan， Zhouchen Lin, and Yong Yu."Robust Subspace Segmentation by Low-Rank Representation. 〃ICML. 2010。该论文提出了一种代表性的算法低秩表示LRR，LRR克服了基 于子空间学习的特征提取方法的缺点，然而该方法忽略了数据的判别信息，从而使得整体 分类结果不理想。基于稀疏理论的特征提取方法是基于采样稀疏信号表示理论，将图像识 别看作多个线性回归模型的分类问题，测试样本可以用训练样本库中同类样本的线性组合 来表不。例如 Yang J, Chu D , Zhang L, et al .Sparse representation classifier steered discriminative projection with applications to face recognition. IEEE Transactions on Neural Networks&Learning Systems,2013,24(7): 1023-1035。该论文 提出了一种基于判别投影的稀疏表示分类器SRC-DP，SRC-DP解决了 LRR和LDA因为仅考虑样 本重构信息或者仅考虑样本判别信息导致的识别率较低的问题，主要基于判别信息，通过 残差重构准则进行类别重建，从而实现特征提取的目的。但是SRC-DP由于仅仅考虑了样本 的局部重构和判别信息，忽略了样本的全局几何结构，造成提取的样本特征信息不完整，影 响最终的分类效果，特别是在样本类别数目较大的情况下，识别的有效性差。
【发明内容】
[0004] 本发明的目的在于克服上述已有技术存在的不足，提出了一种基于LRR-LDA的特 征提取方法，用于解决SRC-DP中存在的所提取样本特征信息不完整和在样本类别数目较大 的情况下，识别的有效性差的技术问题。
[0005] 本发明的技术关键是:在考虑对数据重构问题的同时，加上了对数据整体判别结 构的分析，其实现步骤包括如下：
[0006] (1)将图像库中的每一幅图像转化为列向量并存储，得到向量集A，从向量集A中抽 取部分向量，构成原始空间的训练样本集X= [X^X2,…,X1,...，Xc] eRMXN，其中R表示实数 域，M表示原始空间中训练样本的维度，C表示原始空间中训练样本的类别数，
,N1表示第i类的训练样本数
I示所有训练样本的总 数；
[0007] (2)利用编程软件随机生成投影矩阵P1GRMxd，其中d为低维空间中训练样本的维 度，且d〈〈M;
[0008] (3)对投影矩阵进行更新，令k=l为当前迭代次数，设最大迭代步数为m，通过以下 步骤实施；
[0009] (3a)将构成原始空间中的训练样本集X中的所有训练样本，投影到d维空间上，得 到d维空间的训练样本集Y = PkTXeRdxN，其中T表示对矩阵进行转置运算；
[0010] (3b)利用线性判别分析方法LDA分别计算得到的d维空间的训练样本集Y的类间离 散度矩阵Sb和类内离散度矩阵S w;
[0011] (3c)求解d维空间的训练样本集Y对应的低秩表示系数矩阵S，求解表达式为:min S| |*+γ I |E| |2,ls.t.Y=YS+E，其中E为噪声矩阵，γ为比例系数，I I I I*表示矩阵的核范数， I I |21表示矩阵的21范数；
[0012] (3d)利用求解所得的低秩表示系数矩阵S分别计算d维空间训练样本的类间残差 离散度矩阵Eb和类内残差离散度矩阵E w;
[0013] (3e)利用计算得到的Sb、Sw、Eb和Ew构建广义特征方程，并求解该广义特征方程，按 如下步骤实现：
[0014] (3el)构建广义特征方程：（Eb+0Sb)ai = Ai(Ew+0Sw)ai i = l，. . .d;其中权重系数β， M为特征值，ai为特征值\1对应的特征向量；
[0015] (3e2)求解广义特征方程的特征值M，并对d个特征值11由大到小进行排列，满足A 1 ^ . . . ^ . . . ^ AcJ ；
[0016] (3e3)利用特征值Ai对应的特征向量ai构造新的投影矩阵P k+1=[ai，. . .ai，. . .ad];
[0017] ⑷令k = k+l，判断k与m的大小，当k〈m时，执行步骤(3a);当k=m时，输出最终的投 影矩阵Pm。
[0018] 本发明与现有技术相比，具有如下优点：
[0019] (1)本发明由于在计算低维空间训练样本的类间残差离散度矩阵和类内残差离散 度矩阵时，利用低维空间的训练样本集的低秩表示系数矩阵，保留了样本的全局几何结构， 使得提取的样本特征信息更加完整，与现有技术SRC-DP中采用低维空间的训练样本集的稀 疏表示系数矩阵求解离散度矩阵相比，提高了样本分类的准确性。
[0020] (2)本发明由于在对样本进行特征提取时，采用迭代方法求解投影矩阵，使得投影 矩阵不断得到优化，保证即使在样本类别数目较大的情况下，最终获得的投影矩阵也可以 很好的提取样本的特征信息，与现有技术SRC-DP中采用的求解投影矩阵的方式相比，有效 的提高了样本的分类识别率。
【附图说明】
[0021] 图1是本发明的实现流程图；
[0022]图2是用本发明与现有SRC-DP方法在CMU-PIE图像数据库中进行图像分类的实验 结果对比图；
【具体实施方式】
[0023]以下结合附图和实施例，对本发明的技术方案与效果进行详细描述。
[0024]参照图1，本发明的实现步骤如下：
[0025] 步骤1:输入训练样本集。
[0026] 把给定图像库中的每一幅图像转化为列向量并存储，得到向量集A，从向量集A中 抽取部分向量，构成原始空间的训练样本集X = [X1，X2，…，Xi，. . .，Xc] e Rmxn，其中R表示实 数域，M表示原始空间中训练样本的维度，C表示原始空间中训练样本的类别数，
N1表示第i类的训练样本数，W = ELM表示所有训练样本的总 数；
[0027]步骤2:初始化投影矩阵。
[0028]为了将原始训练样本投影到低维空间，由MATLAB软件中的rand函数随机生成一个 矩阵PieRMxd，其中d为低维空间中训练样本的维度，在本发明中取d=150,即把原始训练样 本降到150维。
[0029] 步骤3:给定迭代步长，对投影矩阵进行更新。
[0030] 给定最大迭代步数m，最大迭代步数m由收敛效果决定，在本发明中m=10,设当前 迭代次数k= 1;通过以下步骤更新投影矩阵。
[0031] 步骤3a:将原始训练样本投影到低维空间。
[0032] 将构成原始空间中的训练样本集X中的所有训练样本，投影到d维空间上，得到d维 空间的训练样本集Y=PkTX e RdxN，其中T表示对矩阵进行转置运算。
[0033] 步骤3b:计算低维空间中训练样本的离散度矩阵。
[0034] 利用线性判别分析方法LDA分别计算低维空间中训练样本的类间离散度矩阵Sb和 类内离散度矩阵Sw，其计算公式如下：
[0035]
[0036]
[0037] 空间中所有训练样本的均值。
[0038] 步骤3c:求解低维空间中训练样本的低秩表示系数矩阵。
[0039] 求解d维空间的训练样本集Y对应的低秩表示系数矩阵S，求解表达式为:min| |S 卜+γ I |E| |2>1 s.t.Y=YS+E，其中E为噪声矩阵，γ为比例系数，I I I I*表示矩阵的核范数，I I21表示矩阵的21范数，在本发明中γ =0.7。
[0040] 步骤3d:求解低维空间中训练样本的重构离散度矩阵。
[0041] 由步骤3c中求解所得的低维空间中训练样本的低秩表示系数矩阵S，分别计算原 始训练样本的类间重构离散度矩阵Eb和类内重构离散度矩阵E W，其计算公式如下：
[0042]
[0043]
[0044] 其中，夂(<)表示不同类之间的重构系数向量，该向量中只保留第k类相关的值，其 他的置0,第k类对样本夂的重构表示为 ：i^(^)，k=l，2,...，C且k乒i;4(·^)表示同类之间 的重构系数向量，该向量中只保留第i类相关的值，其他的置0,第i类对样本g的重构表示 为剛)。
[0045] 步骤3e:构建目标函数。
[0046]根据步骤3b和步骤3d计算出的离散度矩阵Sb、Sw、Eb和E w，由最大化类间离散度矩 阵Sb和类间重构尚散度矩阵Eb，以及最小化类内尚散度矩阵Sw和类内重构尚散度矩阵Ew，构 建如下目标函数：
[0047]
[0048]其中tr( ·)是对矩阵的迹操作算子。权重系数β，用来调节判别结构与重构结构的 比例关系，β取值范围为[0，1]，在本发明中认为判别结构与重构结构其同等重要作用，因此 β=1ο
[0049] 步骤3f:求解目标函数，得到新的投影矩阵。
[0050] 首先，利用拉格朗日乘数法将目标函数的求解转化为计算广义特征方程对应的特 征向量，其中广义特征方程可以写为：
[0051] (Eb+PSb)ai = Ai(Ew+PSw)ai i = I, . . .d；
[0052] Ai为特征值，ai为特征值\1对应的特征向量；
[0053]其次，求解构建的广义特征方程表达式中特征值\，并对d个特征值由大到小进行 排列，满足..彡Xi...彡Ad;
[0054] 最后，利用特征值Ai对应的特征向量ai构造新的投影矩阵Pk+1=[ ai，. . .ai，. . .ad];
[0055] 步骤4:判断迭代条件，直到输出最终投影矩阵。
[0056] 令k = k+l，判断k与m的大小，当k〈m时，执行步骤3a;当k = m时，输出最终的投影矩 阵Pm 〇
[0057]以下结合仿真实验，对本发明的技术效果作进一步说明：
[0058] 1.仿真条件和内容
[0059] 1.1仿真条件
[0060]选取CMU-PIE数据库在MATLAB软件上进行仿真实验。其中CMU-PIE数据库由美国卡 耐基梅隆大学创建，该库是由68位志愿者在13种不同姿态、4种不同表情和43种不同光照的 条件下拍摄的超过40000张的人脸图像组成。每张图像被裁剪成大小为64*64个像素的图 像。
[0061] 1.2仿真内容：
[0062] 用本发明与现有SRC-DP方法进行图像分类的仿真实验对比，其结果如图2所示。实 验过程中，为了避免过拟合现象，在执行本发明和现有算法SRC-DP前首先用主成分分析PCA 对数据样本预降维，降到150维，然后利用每种方法计算出的投影矩阵对测试样本进行投 影，即对测试样本进行特征提取，最后利用稀疏表示分类器对处理后测试样本进行分类，得 出分类识别率，其中识别率高则表示提取的特征更好。在CMU-PIE数据库上，用本发明和现 有SRC-DP特征提取方法进行4组对比实验，每组实验分别选择25类、40类、55类、68类图像作 为样本，每类样本中随机选取30张图片作为训练，其余图像作为测试样本。
[0063] 2.仿真结果分析
[0064] 参照图2,当样本类别数为25类和40类时，现有方法SRC-DP的识别率在97%左右， 本发明识别率在98 %左右；当样本类别数为55类时和68类时，现有方法SRC-DP的识别率分 别降到了96.23%和95.57%，本发明识别率依然可以达到97.80%和97.69%。因此，本发明 在四组实验中的样本分类识别率均高于现有方法SRC-DP，尤其当类别数目较多时，本发明 方法识别效果明显优于SRC-DP，这表明与现有方法SRC-DP相比，当样本类别数目较大的情 况下，本发明具有更好的识别有效性。
【主权项】
1. 一种基于LRR-LDA的图像特征提取方法，包括如下步骤： (1) 将图像库中的每一幅图像转化为列向量并存储，得到向量集A，从向量集A中抽取部分 向量，构成原始空间的训练样本集X=[Xi，X2,...，Xi,...，Xc]eR MXN，其中R表示实数域，M表示原 始空间中训练样本的维度，C表示原始空间中训练样本的类别数，Λ =[?，··…A]^RU", &表示第i类的训练样本数，iV = Μ表示所有训练样本的总数； (2) 利用编程软件随机生成投影矩阵PieRMxd，其中d为低维空间中训练样本的维度，且 d?M； (3) 对投影矩阵进行更新，令k=l为当前迭代次数，设最大迭代步数为m，通过以下步骤 实施； (3a)将构成原始空间中的训练样本集X中的所有训练样本，投影到d维空间上，得到d维 空间的训练样本集F = P/.Xe #'其中T表示对矩阵进行转置运算； (3b)利用线性判别分析方法LDA分别计算得到的d维空间的训练样本集Y的类间离散度 矩阵Sb和类内离散度矩阵Sw; (3c)求解d维空间的训练样本集Y对应的低秩表示系数矩阵S，求解表达式为:min| |S| I* + γ I |E| |2>1 s.t. Y=YS+E，其中E为噪声矩阵，γ为比例系数，I I I I*表示矩阵的核范数，I 121表示矩阵的21范数； (3d)利用求解所得的低秩表示系数矩阵S分别计算d维空间训练样本的类间残差离散 度矩阵Eb和类内残差离散度矩阵Ew; (3e)利用计算得到的Sb、Sw、Eb和Ew构建广义特征方程，并求解该广义特征方程，按如下 步骤实现： (3el)构建广义特征方程：（Eb+0Sb)ai = Ai(Ew+0Sw)ai i = l其中权重系数β*为 特征值，ai为特征值&对应的特征向量； (3e2)求解广义特征方程的特征值，并对d个特征值11由大到小进行排列，满足λ: ^ ^ λ?. . . ^ ； (3e3)利用特征值人1对应的特征向量ai构造新的投影矩阵Pk+1=[ai，. . .ai，. . .ad]; (4) 令k = k+l，判断k与m的大小，当k〈m时，执行步骤(3a);当k=m时，输出最终的投影矩 阵Pm〇2. 根据权利要求1所述的方法，其特征在于，步骤(3b)中所述的利用线性判别分析方法 LDA分别计算得到的d维空间的训练样本集Y的类间离散度矩阵Sb和类内离散度矩阵Sw，通过 如下公式计算：其中乂 e#是低维空间中第i类的第j个训练样本，mi是训练样本d维空间中第i类训练 样本的均值，m是d维空间中所有训练样本的均值。3. 根据权利要求1所述的方法，其特征在于，步骤(3d)中所述的利用求解所得的d维空 间的训练样本集Y的低秩表示矩阵S，分别计算d维空间训练样本的类间残差离散度矩阵Eb 和类内残差离散度矩阵Ew，通过如下公式计算：其中，4(以表示不同类之间的重构系数向量，该向量中只保留第k类相关的值，其他的 置〇,第k类对样本％的重构表示为彳），k=l，2,...，C且k乒表示同类之间的重 构系数向量，该向量中只保留第i类相关的值，其他的置〇,第i类对样本^的重构表示为 Yd{s))〇
【文档编号】G06K9/62GK106056131SQ201610334078
【公开日】2016年10月26日
【申请日】2016年5月19日
【发明人】王前前, 刘阳, 高全学
【申请人】西安电子科技大学