一种改进的两步线性判别分析方法与流程

本发明涉及机器学习，图像识别领域，特别是对于图像识别中的小样本问题，提出一种快速、高分类性能的解决方法。

背景技术：

线性判别分析(Lincar discrimination analysis，LDA)是一种经典的维度约简和特征提取算法，在人脸识别，指纹识别及步态识别等领域广泛应用。LDA的核心思想是对于一组线性可分数据，寻找一个最优投影空间(转换矩阵)W∈R^d×h(h＜d)使样本从d维投影到h维后，样本的类内离散度最小，类间离散度最大，即在投影空间内的样本具有最大可分性。其形式表示为：

其中S_w∈R^d×d为投影前的类内离散度矩阵，S_b∈R^d×d为投影前的类间离散度矩阵。当S_w为非奇异矩阵时，传统LDA通过计算中非零特征值对应的特征向量来获得最优投影空间W。然而，在许多实际应用如人脸识别，图像检索中，样本维度往往远大于样本数目，导致类内离散度矩阵S_w奇异，此时传统LDA无法直接计算的特征向量，这类问题称为“小样本SSS(Small Size Samples)问题”。

解决SSS问题的LDA拓展算法大致分为两类：一是直接消除S_w奇异性的方法；二是线性子空间的方法。直接消除S_w奇异性的方法包括几种典型算法：FisherFace，正则化LDA(Regularized LDA，RLDA)，直接正则化LDA(Direct Regularized LDA，DRLDA)，以及近似LDA(Approximate LDA，ALDA)。FishcrFace先利用PCA对样本进行降维，使得总体离散度矩阵S_t达到满秩，再通过LDA获得最优投影空间。但是该方法在降维过程中可能会损失部分特征信息，也无法完全保证S_w为非奇异矩阵。RLDA通过对奇异矩阵S_w引入正则化项αI(α为系数，I为单位矩阵)来消除其奇异性，再利用传统LDA的方法得到最优投影空间。该算法解决了矩阵奇异性的同时保证了样本特征的完整性，其缺点在于使用交叉验证的方法获取正则化系数α运算量较大，实际应用耗时较长。DRLDA算法改进了这一不足，通过最大化Fisher信息量来直接求解正则化系数，避免了RLDA中的交叉验证过程，提高了识别效率。ALDA算法放弃了任何启发式方法求解正则化系数，通过引入S_w的可逆的近似矩阵来替换原矩阵，达到消除奇异矩阵的目的，具有较高的识别性能。上述算法都是利用直接消除S_w的奇异性来解决SSS问题的思想，而线性子空间的方法通过分别分析S_w和S_b的零空间与值空间，保留其中重要的特征空间作为最优投影空间的方式来解决SSS问题，该类方法主要包括：零空间LDA(NLDA)，直接LDA(DLDA)以及两步LDA(TSLDA)。NLDA首先将训练样本投影到S_w的零空间，此时的样本类间离散度矩阵为S′_b，再寻找使得S′_b达到最大值的投影方向作为最优投影空间。DLDA先将训练样本投影到S_b的值空间，此时的样本类内离散度矩阵S′_w是非奇异的，再寻找使得S′_w为最小值的投影方向作为最优投影空间。上述两种算法的区别是NLDA保留了S_w的零空间以及S_b的值空间，DLDA保留了S_w的值空间以及S_b的值空间，不足在于两者均丢弃了部分子空间，然而S_w和S_b的值空间和零空间都可能包含有用的特征信息。TSLDA的提出解决了这个问题，它保留了所有特征子空间：S_w的零空间和值空间，及S_b零空间和值空间，并将四个子空间相互融合组成最优投影空间，解决了S_w和S_b的矩阵奇异性问题，在部分数据集上具有较好的特征提取效果。但是该方法在消除奇异矩阵时使用交叉验证的方法确定正则化系数，增加了算法复杂度和训练时间；同时上述四个子空间内包含的特征信息不一定完全有效，可能存在对分类性能没有贡献，甚至不利于分类的特征向量(或噪声信息)，如何筛选出其中对分类性能贡献较高的特征向量是需要解决的问题。

本发明利用逆序特征值矩阵近似计算原始特征值矩阵的逆的方式，估算S_w和S_b以消除其奇异性，有效降低了算法复杂度，缩短了训练时间；同时，提出一种筛选压缩的方法，提取TSLDA投影空间中有利于分类的特征向量，通过引入单特征Fisher信息量筛选出符合条件的特征向量组成最优投影空间，提高了识别性能。

技术实现要素：

本发明的目的在于提供一种改进的两步线性判别分析方法，该方法有利于缩短图像样本的训练时间，提高分类性能。

为实现上述目的，本发明的技术方案是：一种改进的两步线性判别分析方法，包括以下步骤：

步骤A：预处理：对原始样本进行PCA降维，简化运算；

步骤B：近似矩阵法消除奇异矩阵：对降维后的类内离散度矩阵和类间离散度矩阵使用近似矩阵法消除奇异性；

步骤C：投影空间分析：分别求解并融合两个投影空间；

步骤D：筛选压缩投影空间：筛选提取投影空间W中使得单特征Fisher信息量达到最大的特征向量组成最优投影空间，剔除可能影响分类性能的噪声特征信息；

进一步，在上述步骤A中，对原始样本进行PCA降维，得到降维后的类内离散度矩阵为 类间离散度矩阵为

进一步，在上述步骤B中，对使用近似矩阵法消除奇异性，即分别对进行SVD 分解：其中为特征空间，为特征值矩阵。的逆矩阵表示为：由于为不可逆矩阵，令

I为单位矩阵。这里为非奇异矩阵，用近似表示则

对进行相同的处理：

采用近似表示

进一步，在上述步骤C中，分别求解并融合两个投影空间，即先对分别进行特征值分解得到特征空间其中为的值空间，选取作为投影空间再对进行特征值分解，选取特征空间中的前r_b个列向量组成的空间 作为投影空间W₂＝E_RL。融合上述两个子空间得到总投影空间为：

W＝[W₁，W₂]

进一步，在上述步骤D中，所谓筛选压缩投影空间，即首先定义单特征Fisher信息量

把W中每个特征列向量代入上式中，可求得单特征Fisher信息量的集合再对集合D中的元素限定取值范围为筛选出符合条件的元素，组成新的集合D′＝{d₁，d₂，...，d_g}，根据筛选后的单特征Fisher信息量{d₁，d₂，...，d_g}，在W中找到对应的特征列向量组成最优投影空间W_opt：

W_opt＝[W_·1，W_·2，...，W_·g]，0＜g≤2r_b

相较于现有技术，本发明的有益效果是：相较于现有的解决小样本问题的算法，本发明在保留传统TSLDA优点的前提下，在分类性能和训练速度上得到大大提高。综上，本发明的算法对TSLDA方法的一种有效改进。

附图说明

图1为本发明方法的实现流程图。

图2为本发明方法实验中涉及到五个实验数据库的部分人脸图像示例。

图3为本发明方法及对比实验的算法测试精度图。

图4为采用本发明方法及对比其他算法进行实验时五个人脸识别数据库信息。

图5为采用本发明方法及对比其他算法在所有图像数据库上的测试精度。

图6为采用本发明方法及对比其他算法的投影空间的特征向量个数。

图7为采用本发明方法及对比算法在所有图像数据库上的训练时间。

具体实施方式

下面结合附图通过实施例对本发明作进一步详细的说明。

图1是本发明的一种改进的两步线性判别分析方法的实现流程图。如图1所示，所述方法包括以下步骤：

步骤A：预处理：对原始样本进行PCA降维，简化运算。具体地，对总体离散度矩阵S_t进行SVD分解：

其中为其特征值矩阵，r_t＝n-1为S_t的秩，U_t＝[U_TR，U_TN]为其特征空间，且 为S_t值空间，为S_t零空间。选取U_TR作为转换矩阵对所有样本进行投影，所有样本由d降维至r_t(d＞r_t)，投影后的类内离散度矩阵为类间离散度矩阵为

步骤B：近似矩阵法消除奇异矩阵。具体地，对降维后的类内离散度矩阵和类间离散度矩阵使用近似矩阵法消除奇异性。对使用近似矩阵法消除奇异性。由于各矩阵的秩的关系为可见当所有样本降维至r_t后，仍然为奇异矩阵，故分别对进行SVD分解：

其中为特征空间，为特征值矩阵。的逆矩阵表示为：

由于为不可逆矩阵，令

I为单位矩阵。这里为非奇异矩阵，用近似表示则

对进行相同的处理，

采用近似表示

步骤C：投影空间分析：分别求解并融合两个投影空间。具体地，与传统TSLDA算法分析相同，对分别进行特征值分解得到特征空间其中为的值空间，选取作为投影空间对进行特征值分解，选取特征空间中的前r_b个列向量组成的空间作为投影空间W₂＝E_RL。融合上述两个子空间得到总投影空间 为：

W＝[W₁，W₂]

步骤D：筛选压缩投影空间：筛选提取投影空间W中使得单特征Fisher信息量达到最大的特征向量组成最优投影空间，剔除可能影响分类性能的噪声特征信息。具体地，定义单特征Fisher信息量d_i：

把W中每个特征列向量W_·i代入上式中，即可求得单特征Fisher信息量的集合为了筛选出W对分类性能贡献较高的特征向量，对集合D中的元素限定取值范围为则可以筛选出符合条件的元素，组成新的集合D′＝{d₁，d₂，...，d_g}，根据筛选后的单特征Fisher信息量{d₁，d₂，...，d_g}，在W中找到对应的特征列向量W_·i，组成对分类性能具有最大贡献的特征空间：

W_opt即为所求的最优投影空间，并且在该空间内的样本满足类间离散度与类内离散度之比最大原则，具有最大可分性。

然而，在不同数据库下，最优投影系数g的取值也不同，如果遍历其所有可能的取值，计算复杂度太大，不利于实际应用。因此，Improved TSLDA结合了随机取样和关键点选取的方法来确定g。随机取样法使取值范围为满足如下限定条件：以及这里共可构造三个投影空间。关键点选取法的目的是选取两个关键值和其中对应的投影空间为W₁，对应的投影空间为W，共可构造两个投影空间。当且仅当最优训练精度对应的投影空间可保留作为最优投影空间。

对于Improved TSLDA，每步骤对应的时间复杂度分别为：O(dc)，O(dn²)，O(n³)，O(n³)，O(c)，O(dn²)，Improved TSLDA的时间复杂度可估算为O(dn²)；TSLDA的时间复杂度可估算为O(d²n)；ALDA，NLDA和Fisherface算法时间复杂度一致，均可估算为O(dn²)。由于d》n，n＞c，通过对比分析发现O(dn²)《O(d²n)，Improved TSLDA的时间复杂度明显低于TSLDA。因此，由理论推导可得本文算法对提高原算法训练速度具有积极作用。

本实施例中在五个经典的人脸识别数据库上对比分析Improved TSLDA，TSLDA，ALDA，NLDA，及FisherFace算法。人脸数据库具体包括ORL，YALE，AR，FERET和CMU-PIE，图2中给出了五个实验数据库中的部分人脸图像示例。数据库详细信息如图4所示，包括数据库名称，样本维度，实验样本类别数以及相应的训练样本数和测试样本数。实验平台信息如下：CPU：Inter(R)Core(TM)i7-3520M CPU@2.90GHz，运行内存：8GB，操作系统：MAC OS X 10.11，工具：MATLAB2014a。

实验首先对所有图像样本进行预处理，包括亮度标准化，图像尺寸按比例缩小至65×51；然后分别采用Improved TSLDA，TSLDA，ALDA，NLDA及FisherFace方法进行特征提取；最后选用最近邻分类器进行分类。对于Improved TSLDA算法，获得最优投影系数g需要限定单特征Fisher信息量取值条件，即仅保留对应的特征向量W_·1组合成为最优投影空间W_opt。根据上节中的随机取样和关键点选取的方法，可以得到在ORL，YALE，AR，FERET和CMU-PIE上对应的最优取值，依次为各算法测试精度图见图3，各算法测试精度结果见图5，各算法投影空间的特征向量个数见图6，算法的训练时间见图7。

根据图5可知：①整体上看，Improved TSLDA算法较其他算法在五个数据库中均具有最高的测试精度。对比TSLDA算法，Improved TSLDA算法在YALE和FERET数据库上，识别正确率上提高了7％，在ORL和PIE上分别提高了约3％和1％，在AR数据库上保持不变，说明本文提出的算法对提高人脸识别精度具有积极作用。②根据图5，NLDA和TSLDA为线性子空间方法，在AR和FERET数据库上，TSLDA测试精度高于NLDA，在ORL和CMU-PIE数据库上，TSLDA测试精度略低于NLDA；ALDA和FisherFace为直接消除S_w奇异性的方法，ALDA在各数据库上的测试精度均高于FisherFace。根据上述上述结果可知，在线性子空间方法中，虽然TSLDA较NLDA保留了更多特征信息，但是只在部分数据集上具有更好的特征提取效果。说明TSLDA的投影空间内的可能存在非有效特征向量(噪声信息)。在直接消除S_w奇异性方法中，ALDA通过近似特征值矩阵直接替换原始特征值矩阵的方式消除了奇异矩阵，算法复杂度低且避免了特征信息丢失，且其分类性能与TSLDA和NLDA相近。FisherFace使用维度约简的方法消除奇异矩阵，丢弃了重要的特征信息，导致其测试精度低于上述三种算法。③Improved TSLDA结合TSLDA和ALDA算法的优势，采用ALDA近似矩阵的思想消除奇异矩阵，从而降低算法复杂度，提高训练速度；再通过筛选压缩法，提取TSLDA的投影空间内对分类性能贡献较高的特征向量，组成最优投影空间W_opt，使得其测试精度在各数据库中均达到最优。

为了深入分析Improved TSLDA算法的优势，图6列出了各算法投影空间所包含的特征向量个数。对于人脸数据库ORL，YALE，AR，FERET以及CMU-PIE，ALDA，NLDA和FisherFace算法投影空间的特征向量个数分别为39，14，14，193，67；TSLDA投影空间的特征向量个数分别为78，28，28，386，134；Improvcd TSLDA投影空间W_opt的特征向量个数为28，14，28，63，108。根据图7可知：①对于ORL和FERET数据库，W_opt的特征向量个数(28)低于其他算法下对应的特征向量个数，即28＜39＜78，63＜193＜386，说明Improved TSLDA得到的W_opt只选取了W₁中的部分特征空间，其余特征空间作为噪声信息丢弃，有效特征信息存在于W₁部分空间。②对于YALE数据库，W_opt的特征向量个数(14)等于c-1，即14＝14＜28，说明Improved TSLDA得到的W_opt选取了W₁的全部特征信息，W₂作为噪声特征信息丢弃，有效特征信息存在于W₁空间。同时，ImprovedTSLDA与ALDA的测试精度相同，且Improved TSLDA与ALDA的投影空间相同。③对于CMU-PIE数据库，W_opt的特征向量个数(108)大于c-1且小于2(c-1)，即67＜108＜134，说明Improved TSLDA得到的W_opt中包含W₁的全部特征信息以及W₂中的部分特征信息，有效特征信息存在于W₁全部空间以及W₂部分空间。④对于AR数据库，Improved TSLDA与TSLDA测试精度相同，W_opt的特征向量个数(28)为2(c-1)，即28＝28＞14，说明Improved TSLDA得到的W_opt保留了S_w和S_b的值空间和零空间的特征信息，四个子空间内的特征信息完全有效，且与TSLDA投影空间相同。结合图5可知，对于不同数据库来说，TSLDA投影空间内的特征信息不一定完全有效，即可能存在噪声信息，这些特征对分类性能没有贡献，甚至会导致测试精度下降。Improved TSLDA可以剔除噪声信息，提取四个子空间内对分类性能贡献较高的特征向量，组成最优投影空间W_opt。在ORL，FERET和CMU-PIE数据库上，Improved TSLDA的测试精度高于其他对比算法。在YALE数据库上，Improved TSLDA和ALDA的测试精度均为最优且两者投影空间相同，在AR数据库上，Improved TSLDA与TSLDA的测试精度最优且两者投影空间相同。说明本文算法可以自动选择最优的特征提取算法，并保留四个子空间中有效的特征信息，从而使得Improved TSLDA分类性能在所有数据库中均能达到最优。

图7给出了各对比算法的训练时间，可以得出以下结论：在训练时间上，Improved TSLDA，ALDA，NLDA，以及FisherFace相近，而TSLDA在ORL，YALE和AR上约为上述算法的12倍，在FERET和CMU-PIE上约为上述算法的3倍。说明TSLDA利用交叉验证搜索最优正则化系数的方法大大增加了运算复杂度，Improved TSLDA算法使用近似矩阵法消除奇异矩阵，较TSLDA明显降低了算法复杂度和训练时间，说明前期通过数学推导得到Improved TSLDA的时间复杂度明显低于TSLDA这一结论是正确的，进一步验证Improved TSLDA算法的有效性。

综上所述，Improved TSLDA通过筛选压缩法，自动保留了四个子空间内对分类性能最有利的特征向量，组成最优投影空间W_opt；采用近似矩阵法消除奇异矩阵，解决了图像处理中的SSS问题。实验说明在ORL，FERET，CMU-PIE数据库上，Improved TSLDA的分类性能均高于其他对比算法。在YALE数据库上，Improved TSLDA的最优投影空间与ALDA投影空间一致，均为最优测试精度。在AR数据库上，Improved TSLDA的最优投影空间与TSLDA投影空间一致，均为最优的测试精度。说明本文算法可以自动选择最优的特征提取算法，并保留四个子空间中有效的特征信息。实验证明，Improved TSLDA不仅具有最优的分类性能，而且有效降低了TSLDA的算法复杂度，是对TSLDA方法的一种有效改进。

以上所述仅为本发明的较佳实施例，凡在发明权限要求所限定的范围内进行的改变、修改，均属于本发明的保护范围。