基于局部约束的图优化维数约简方法
【技术领域】
[0001 ] 本发明属于数字图像处理领域。
【背景技术】
[0002] 真实世界中的很多数据都是高维的，尽管高维数据拥有更多的信息量，但在实际 应用中对高维数据进行直接操作会带来维数灾难、空空间现象和集中现象等。为了解决高 维数据所面临的问题，维数约简是一个有效的方法，通过降维能够有效地消除无关和冗余 特征，可以提高挖掘任务的效率，揭示数据的本质规律，改善预测性能等。因此，维数约简通 常是很多实践应用的重要环节，具有重要的现实研究价值。
[0003] 目前，现有的维数约简方法可分为两类：线性方法和非线性方法。线性方法通过 学习一个线性变换将高维空间中的数据点映射到低维度空间中。具有代表性的线性降维方 法有主成分分析（PCA)和线性判别分析（LDA)。尽管这类方法能够得到低维表示并且具有 操作简单的特点，但是它们不能挖掘高维数据的本征非线性结构。因此，学者们提出了大量 的非线性流形方法，如等距离特征映射（IS0MAP)，局部线性嵌入（LLE)和拉普拉斯特征映 射（LE)等。虽然这类方法在一些基准人工数据集上得到了理想的效果，但是它们只能获得 训练样本的低维表示而不能给出高维到低维的显示函数映射，即不能获得测试样本的低维 表示。因此，这些非线性降维方法不适合分类和识别任务。为了克服这个限制，一系列线性 化的流形学习方法相继被提出，该类方法都是基于图构建的降维方法，且能够学习到一个 从高维数据变换到低维子空间的投影矩阵，如邻域保持嵌入（NPE)和局部保持投影（LPP)。 具体地说，首先根据输入数据或先验知识构建一个图，然后基于构建的图得到低维表示。因 此，图的构建在维数约简方法中变得尤为重要。
[0004] 然而，在实际中，构建一个高质量的图通常十分困难。基于k近邻和ε图是两种 简单且应用广泛的构图方法，如ISOMAP，LLE，ΝΡΕ和LPP方法。在这些方法中，k和ε的 值经常需要经验地给出，如果这两个参数值设置得不合适，就不能很好地挖掘高维数据的 本征结构。而且，这两种方法通常对所有样本都设置相同的近邻参数而忽略每个样本的不 同局部结构，进而降低方法的性能。针对这一问题，Yang和Chen等提出一个样本相关方法 构建图，该方法根据样本对间的相似性自适应地决定每个样本的邻域。基于稀疏表示理论， Qiao等人提出了一种稀疏保持投影降维方法（SPP)，该方法利用L1范数正则化的最小二乘 方法自动的进行图构建。Liu等人提出低秩表示的方法进行图构建（LRR)，通过强制稀疏表 示系数是低秩的，可以联合地获得所有高维数据的低维表示，进而保持了数据的全局结构。 虽然这类方法能够在一定从程度上能够克服k近邻和4图方法的限制，其主要缺点是图的 构建过程是独立于后续的维数约简任务。也就是说，在维数约简过程中图是固定的，进而降 低维数约简任务的性能。
[0005] 最近，图优化成为研究的一个热点。Zhang等人提出了一个图优化的局部保持投影 方法（GoLPP)，该方法将图构建和维数约简过程集成到一个统一的框架。Qiao等人提出自 适应图的维数约简方法（DRAG)，该方法联合地构建图和学习投影矩阵。Zhang等人提出基 于稀疏约束的图优化算法进行维数约简（GODRSC)，通过加入L1正则项，该方法能够获得一 个更灵活的稀疏图。这三种方法将图构建和维数约简联合在一起，在学习投影矩阵过程中 自动的更新图并且获得了良好的性能。然而，这些方法忽略了原始高维数据的局部信息，即 没有考虑原始高维数据的相似性，进而不能保证相近的高维样本在低维空间中也相近，导 致降维效果不是很理想。
【发明内容】
[0006] 本发明提出一种基于局部约束的图优化维数约简方法，以解决降维效果不很理想 的问题。
[0007] 本发明采取的技术方案包括以下步骤：
[0008] 1、读取高维数据=ix15x2,...,x"}e叱其中，Xi为第i个样本，D为样本维数，η 为样本个数；
[0009] 2、构建基于近邻重构关系的局部约束；
[0010] 为了使高维数据的低维表示能够保持原始数据的局部关系，在求投影矩阵过程中 需构建一个图矩阵S，利用一个样本的近邻重构该样本能够有效地捕捉数据的局部信息，因 此在构建图矩阵S过程中考虑如下约束关系：
[0011]
⑴
[0012] 其中，圾代表对应元素相乘操作，Ae3Txl为样本Xi 的指示向量，exp(||χ?-χ」II2/σ)
"xn为图矩阵，S 为图矩阵S的第i列；
[0013] 3、构建基于样本相似性的局部约束；
[0014] 考虑到在高维空间中相近的样本应该具有相似的重构系数，因此在构建图矩阵S 过程中考虑如下约束关系：
[0015]
[0016] 其中，S.jPS.为图矩阵S的第i列和第j列，分别表示样本X占X郝重构系 数，exp(_ | |X?-χ」| |2/ 〇 )为热核函数；
[0017] 4、构建基于两种局部约束的维数约简目标函数：
[0018]
[0019] s.t.P'P=I
[0020] 其中，户ed/J? 为投影矩阵，Oq-XS.J表示样本\被X中其它样本重构 误差，？1表示矩阵P的转置，I为单位矩阵，λ>〇为折中参数；
[0021] 5、通过迭代策略优化目标函数，首先固定投影矩阵Ρ，更新图矩阵S;然后固定图 矩阵S，更新投影矩阵P;最后，经过N(N彡15)迭代，得到优化的投影矩阵P和图矩阵S;
[0022] 6、为了后续的识别与聚类等任务，将高维数据X向矩阵P投影，得到高维数据的低 维表示，从而达到维数约简的目的；
[0023] Xlow=PTX(13)
[0024] 其中，严eCiXH为高维数据X的低维表示，即高维空间中每个 样本由原来的D维为变成低维空间的d维。
[0025] 发明将投影矩阵学习和图构建过程统一到一个框架下，在维数约简过程中能够自 动的更新图，同时，通过建立近邻重建关系和样本相似性两种局部约束关系，能够有效地挖 掘并保持高维数据的局部信息。特别地，提出一种基于迭代更新策略的算法求解投影矩阵 和图，实现高维数据的有效约简。大量的实验和比较结果表明，该方法具有良好性能并且由 于现有的具有代表性的维数约简方法，适用于目标识别、聚类与数据可视化等。
[0026] 本发明针对3个标准人脸数据库和3个标准聚类数据集进行了实验对比与分析， 并且定量地评价了提出方法的有效性和优越性。大量的对比实验结果表明，本发明提出的 方法不仅能够进行有效地人脸识别和数据自动聚类，而且具有较好的稳定性。
[0027] 本发明具有下述有益效果：
[0028] (1)本发明是针对高维数据的进行有效维数约简方法；
[0029] (2)建立两种局部约束而非单一的约束进行维数约简，使得低维数据能够更好的 保持高维数据的局部关系；
[0030] (3)将投影矩阵学习和图优化过程统一到一个框架下，使得构建的图能够自适应 的更新，提高维数约简的性能；
[0031] (4)提出了一种有效且快速的迭代更新求解方法，使得目标函数在较少的迭代数 次内即可收敛；
[0032] (5)本发明可广泛应用于高维数据的维数约简，有助于后续识别、聚类和数据可视 化等任务。
【附图说明】
[0033] 图1 (a)是本发明中使用的人脸数据库Yale中的部分人脸图像；
[0034] 图1 (b)是本发明中使用的人脸数据库ExtendedYaleB中的部分人脸图像；
[0035] 图1 (c)是本发明中使用的人脸数据库CMUPIE中的部分人脸图像；
[0036] 图2是本发明中使用的COIL20数据集中的部分图像；
[0037] 图3(a)是人脸数据库Yale上不同方法在不同维数下的对比结果；
[0038] 图3(b)是人脸数据库ExtendedYale