一种基于局部正交对齐的特征降维方法
【专利摘要】一种基于局部正交对齐的降维方法，包括：输入初始高维数据矩阵，根据高维数据点之间的欧式距离，获取数据点的局部近邻关系；将局部高维数据进行低维表示；将低维坐标全局对齐；获取降维目标函数；将降维目标函数分解为半正定松弛部分和正交约束部分，并分别通过半正定松弛方法和强制正交化方法进行求解，最终得到降维后的结果。本发明所述的降维方法，能较好地保持原始数据的诸如数据点间距离，角度等几何信息，能对原数据做到极高的几何保真效果。
【专利说明】一种基于局部正交对齐的特征降维方法
【技术领域】
[0001] 本发明属于模式识别领域，具体涉及一种保持局部正交对齐的非线性降维方法 (简称 L0PA)。
【背景技术】
[0002] 随着计算机、互联网等科学技术的飞速发展，人们获取、存储数据的能力不断增 强。现在的数据已经开始呈现出规模大、维度高的特性，如高清照片视频数据、基因染色体 数据、社交网络的用户数据等。这些海量的高维数据在为人们的生活、研究工作带来便利的 同时也带来了存储、传输、处理上的困难。首先是"维度灾难"问题，在机器学习中，很多在 低维空间中有效的算法在高维空间中并不能得以直接地推广；其次，高维数据往往带有很 多的冗余信息，这些冗余信息为我们认清数据的本质特征带来了困难。数据降维，作为机器 学习、模式识别、数据挖掘必要的预处理步骤，就是有效的解决办法。
[0003] 数据降维，又称为维度约简，在特定的优化目标下，通过线性或非线性映射将高维 数据映射到低维空间。降维的目标一般是要保持原有高维空间中某些特性，如距离、方差 等。这样在减少数据规模的情况下，仍然能保持数据的主要信息。数据降维的意义主要表 现在：
[0004] ?特征提取：高维特征数据通常带有很多不相关的信息，通过数据降维，可以实现 特征空间的维度缩减，去除冗余信息，得到最本质的数据特征。使用降维后的特征进行分 类、聚类等算法就显得更加高效。
[0005] ?数据可视化：对于高维数据，很难直观的理解数据的分布形式、近邻、距离等信 息。数据降维是数据可视化的重要环节，通过将数据降到2、3维，我们就可以直接观察到数 据的分布，为后续的数据分析、处理建立合适的模型、选择合理参数与方法。
[0006] ?数据的存储与传输：在"信息爆炸"的今天，每天有数以亿计的图片、视频被上传 到视频分享网站，如y〇utube、facebook、instagram等。这些海量的高维数据给存储和传输 带来不便。通过降维，在保持数据主要特征的情况下，对数据进行压缩，大大降低数据的规 模。
[0007] 降维的数学定义：对于高维空间中N个m维的数据点Xi组成的矩阵X = [^，… ，xN] e ΓΧΝ，其本征维度d通常远远小于m。寻找映射F⑴：X e ΓΧΝ - Y e RdXN，在尽量保 持高维数据信息的同时，将数据从m维映射到d维其中Y= [yi，…，yN] eRdXN为高维数据 X对应的低维坐标。
[0008] 降维算法可以根据映射是否为线性分为线性降维算法和非线性降维算法。经典的 线性降维算法有：主成分分析（PCA)、线性判别分析（LDA)、多维尺度变换（MDS)等。线性降 维算法通常计算简单、速度快，有简单的线性变换函数，通过特征之间的线性组合得到降维 后的结果。若高维数据有很强的线性结构，那么这类线性降维算法有令人满意的效果。但是 对于流形数据如瑞士卷数据等，线性降维算法往往无法捕捉到流形的结构信息。为此，人们 开始非线性降维算法方面的研究，特别是流形学习，用来处理数据中的流形结构。非线性降 维（这里主要指流形学习算法）有：等距映射方法（Isomap)、局部线性嵌入（LLE)、拉普拉 斯特征映射（LE)、局部切空间对齐（LTSA)、最大方差展开（MVU)、局部正交流形嵌入（PSA)、 正交近邻保持投影（0NPP)等。
【发明内容】
[0009] 本发明的目的在于针对仿射变换进行全局对齐时不能保持距离、尺度、角度等几 何性质的缺点，提出一种局部正交对齐的降维方法，通过正交约束来保持数据的几何性质。 [0010] 本发明的技术方案如下：
[0011] 一种基于局部正交对齐的降维方法，采用如下步骤进行数据降维（流程参见图 4)：
[0012] 步骤1 :输入N个高维数据点Xi e Γ组成的数据矩阵X e RmXN，根据高维数据点 之间的欧式距离，获取数据点\的局部近邻关系：Xi的局部k近邻\ e RmXk，近邻选择矩阵 Si e RNXk，Si是0-1选择矩阵，使得Xi = XSi ;
[0013] 步骤2 :局部的低维表示：若数据的分布满足流形假设，对于流形结构，其局部通 过欧式空间的性质进行逼近；利用主成分分析（PCA)将局部k近邻\降到d维，得到局部 坐标心e Rdxk;
[0014] 步骤3:低维坐标的全局对齐：将得到的所有低维坐标〇i，i = 1，···，Ν通过正交 对齐得到最优的全局低维坐标Y e RdXN，并使得重构误差最小：
【权利要求】
1. 一种基于局部正交对齐的降维方法，其特征是，采用如下步骤进行数据降维： 步骤1 :输入N个高维数据点Xi e Γ组成的数据矩阵X e ΓΧΝ，根据高维数据点之 间的欧式距离，获取数据点Xi的局部近邻关系：Xi的局部k近邻\ e RmXk，近邻选择矩阵 Si e RNXk，Si是0-1选择矩阵，使得Xi = XSi ; 步骤2 :局部的低维表示：若数据的分布满足流形假设，对于流形结构，其局部通过 欧式空间的性质进行逼近；利用主成分分析将局部k近邻Χ,降到d维，得到局部坐标 e Rdxk ； 步骤3 :低维坐标的全局对齐：将得到的所有低维坐标Op i = 1，"·，Ν通过正交对齐 得到最优的全局低维坐标Y e RdXN，并使得重构误差最小：
(公式I) 其中Q e Rdxd为正交变换，ld为d维的单位矩阵，Hk e Rkxk为中心化矩阵； 步骤4 :在给定全局低维坐标Y的情况下，h通过最小二乘进行求解Θ%其中 β|+为Θ i的Moore-Penrose伪逆；将Li代入到公式I中，并通过迹与F-范数的关系可以 将公式I等价转化为： minYtr (YBYT) (公式 II)
I对公式II进行条件松弛，并 将多个正交约束进行叠加，得到单个正交约束： minYtr (YBYT) s. t. tr (YCjY1) = Id, i = 1, ···, N (公式 III) YCYT = Id
?公式III就是本方法最终的目标函数； 步骤5 :将目标函数公式III分解为两个子问题：半正定松弛部分和正交约束部分；并 分别通过半正定松弛方法和强制正交化方法进行求解，最终得到降维后的结果。
2. 如权利要求1所述的降维方法，其特征是，步骤4中所述的对公式II进行条件松弛， 其实现方法为：每个局部正交约束利用迹运算，将局部正交约束简化为对角和为d的迹约 束。
3. 如权利要求1所述的降维方法，其特征是，步骤5中，去掉公式III中的正交约束，得 到的半正定规划部分为： minYtr (YBYT) (公式 IV) s. t. tr (YCjY1) = Id, i = 1, ···, N 这是一个QMP问题，通过半正定松弛方法可转化为一个标准的半正定规划问题，然后 通过凸优化工具包进行求解：
s. t tr (CjK) = d, i = 1,. . . . , N K彡0 其中，K = YYT彡0为对称半正定矩阵。
4. 如权利要求3所述的降维方法，其特征是，步骤5中，通过半正定规划得到的Ysdp往 往不满足正交约束YCY T = Id，因此要进行强制正交化：使用一个线性变换P，得到最终的 降维结果Y = PYsdp，其中P通过的特征值分解得到，
，那么
就满足了正交约束：
通过正交修正的结果Υ就是最终的降维结果。
5. 如权利要求3所述的降维方法，其特征是，步骤5中，所述的凸优化工具包包括 SDPT3、Sedumi、CSDP。
6. 如权利要求1所述的降维方法，其特征是，步骤5中，在半正定规划部分给目标函数 加上均值为〇的约束：Y1N = 〇 e RdXN，其中1N = [1，…，1]T e RNX1 ;那么可以得到约束：
;再加入MVU的目标函数tr (K)，最大化方差，使得非近邻点近邻远离，这得 至IJPCA降维的目标： minK tr (BK) - β tr (Κ) s. t. tr (CjK) = d, i = 1, ···, N tr (1NXNK) = 0 K彡0 其中，K = YYT > 〇为对称半正定矩阵，的β是一个惩罚参数，表示对全局方差的惩罚 程度。
【文档编号】G06K9/62GK104050483SQ201410290957
【公开日】2014年9月17日 申请日期:2014年6月25日 优先权日:2014年6月25日
【发明者】林通, 王勃, 查红彬 申请人:北京大学