一种手写体数字图像降维方法
【技术领域】
[0001] 本发明涉及模式识别领域，更具体地说，涉及一种手写体数字图像降维方法。
【背景技术】
[0002] 随着计算机技术和图像处理技术的飞速发展，手写体数字识别由于其广泛的应 用，得到众多研宄者的关注，成为现代模式识别技术研宄中的一个重要方面。
[0003] 然而，手写体数据图像是高维数据，如果直接对其进行识别，往往花费时间较长， 计算复杂度高，甚至识别效果较差，因此，常常对图像数据进行降维后，再进行识别。目前主 要采用的降维方法包括PCA (主成分分析）、LDA (线性判别分析）、MDS (多维尺度分析）等。 PCA是一种线性的非监督降维方法，因其简单有效而被广泛应用。它保持数据的方差最大， 降维结果是原始特征的线性组合。但是，它对噪声很敏感，并依赖于欧氏距离，对于复杂的 非线性数据也不能很好地处理。LDA作为一种有监督的降维方法，利用了标记信息，通过选 择一个投影向量使同类的点经投影后尽可能靠近，不同类的点经投影后尽可能分散，使降 维后的结果有助于后续的分类工作。但是，LDA和PCA存在相同的缺点，就是它们都不能保 持数据的流形结构。
[0004] 在保持数据的流形结构方面，已经出现了不少研宄成果。MDS的思想是在尽可能保 持数据对之间的距离不变的前提下，将高维空间中的数据映射到低维空间中去。由于成对 样本在低维空间中的距离与它们在高维空间中的相似性之间最大限度地保持一致，它被广 泛应用于图像与文本分析。Isomap采用微分几何中的测地线距离代替欧氏距离计算空间中 数据点之间的距离，并且找到了一种用实际输入数据估计其测地线距离的算法，但是它是 拓扑不稳定的。MDS和Isomap都是旨在保持数据降维后的全局结构性质不变。
[0005] 与之不同的另一类方法则旨在保持数据的局部结构，比如近邻关系，其中的代表 就是LLE (局部线性嵌入）和LE (拉普拉斯特征映射）。它们假设每一个样本都可以由其近 邻线性重构，并且数据样本在低维空间中的代表可以由数据样本的原近邻在低维空间中的 代表以相同的系数线性重构。LLE首先通过一个优化问题学习所有样本的重构权重，然后通 过最小化重构损失函数获取低维表示。但是LLE只能对已知数据给出表示，对于新来的数 据却不能清楚地表示。LE通过应用一个高斯核代价函数实现降维，但是它同样不能对新来 的数据进行表示。LPP (局部保持映射）克服了 LLE和LE的上述缺点，但是当样本个数小于 样本维数时，它首先需要解决一个奇异矩阵的转置问题。
[0006] 针对各类具体的应用，还有一些扩展的PCA方法。例如，2D-PCA是针对图像的表 示和识别问题提出的，它将每个图像表示为一个二维的矩阵而不是传统的一个向量，比PCA 更精确、计算效率更高。TIPCA(变换不变PCA)针对人脸识别问题，为人脸图像学习一个变 换不变的子空间。
[0007] 虽然已有上述多种降维方法，但是，在执行用于分类的数据降维时，对于特定的问 题，我们不知道保持数据的全局特征更好还是保持数据的局部特征更好，也不知道如何获 得两者之间的平衡。因此，如何能够在继承PCA方法的基础上，将数据的全局结构性质和局 部结构性质统筹起来考虑，达到全局结构和局部结构之间的良好平衡，是目前研宄的一个 重点和难点。
【发明内容】
[0008] 本发明提供一种手写体数字图像的降维方法。在传统PCA、非线性降维技术或其它 PCA的变形方法中，要么只考虑数据的全局结构或者局部结构，要么在执行降维时在一个目 标函数中显式地考虑数据的全局和局部两种结构特征。本发明提出的方法结合PCA，在一个 降维模型中隐式地保持数据结构，并在全局结构和局部结构的保持上实现平衡。
[0009] 为了实现上述目的，本发明方法考虑了近邻之间的关系，并保持了数据的流形结 构。首先，通过构建一个近邻矩阵，使近邻互相靠近；然后构造一个类似PCA的泛化协方差 矩阵，通过求解协方差的特征问题，生成子空间转换矩阵；再通过转换矩阵实现数据集的低 维表示。为了检验降维方法的性能，通过k-NN(k= 1近邻）分类器对降维后的低维样本数 据进行分类，通过与原始类标作比较，得出识别精度。由于图像降维考虑了流形结构及低维 流形空间的邻域结构信息，因此，能获得比原始数据更好的分类识别效果。
[0010] 本发明的具体技术方案如下：
[0011] 一种手写体数字图像降维方法，包括以下步骤：
[0012] 步骤1 :获取手写体图像数据集，其中每一个样本记为\{1 = 1-n}，n为样本个 数X = [x" x2,…，xn]，样本维数为p ;
[0013] 步骤2 :计算泛化协方差矩阵，具体方法为：
[0014] (1)首先对样本点Xi{i = l?n}，求得其与其他样本两两之间的欧氏距离，选择距 离最小的k个样本点作为样本xji = 1…n}的近邻，以此构造近邻图H= (v，e)，其中H的 顶点表示手写体数字图像，v表示顶点集合，e表示边集合，当且仅当图像\是xi的近邻时， 构造边eu将x j与x i连接，给近邻图的每条边e u赋予一个权重，其定义如下：
[0015]
【主权项】
1. 一种手写体数字图像降维方法，包括以下步骤： 步骤1 :获取手写体图像数据集，其中每一个样本记为\{1 = 1…n}，n为样本个数X=[X"x2,…，xn]，样本维数为p; 步骤2 :计算泛化协方差矩阵，具体方法为： (1) 首先对样本点xdi=l?n}，求得其与其他样本两两之间的欧氏距离，选择距离最 小的k个样本点作为样本Xi{i= 1…n}的近邻，以此构造近邻图H= (V，e)，其中H的顶点 表示手写体数字图像，v表示顶点集合，e表示边集合，当且仅当图像&是^的近邻时，构 造边eu将x」与x,连接，给近邻图的每条边eu赋予一个权重，其定义如下：
其中t为调节参数，hij为边eu的权重，并令h1，其中i=l?n; (2) 计算泛化转换矩阵
其中0为对角矩阵，其对角元素定义为：
，其中h为对角矩阵〇的第i行第i列元素，i为正整数，且1彡i彡n; (3) 计算样本集X的泛化协方差矩阵为XGXt; 步骤3:对步骤2得到的泛化协方差矩阵求特征值，将特征值按照从大到小的顺序排 序，取前q个不为零的特征值所对应的特征向量，组成子空间转换矩阵E=[Vpv2，…，V」， 其中Vi表示第i个特征值对应的特征向量； 步骤4 :对原手写体图像数据集进行降维，即计算Y=ETX，Y为得到的低维数据集。
2. 如权利要求1所述的手写体数字图像降维方法，其特征在于：步骤2中，k的值取12， t的值取1。
3. -种手写体数字图像识别方法，包括以下步骤： 步骤1 :获取手写体数字图像集合I，所述集合包括训练图像数据子集Itrain和测试图像 数据子集Itest; 步骤2 :依据步骤1得到的训练图像数据子集ItMin，计算泛化协方差矩阵，具体方法 为： (1) 首先对样本点xdi=l?n}，求得其与其他样本两两之间的欧氏距离，选择距离最 小的k个样本点作为样本Xi{i= 1…n}的近邻，以此构造近邻图H= (V，e)，其中H的顶点 表示手写体数字图像，v表示顶点集合，e表示边集合，当且仅当图像&是^的近邻时，构 造边eu将x」与x,连接，给近邻图的每条边eu赋予一个权重，其定义如下：
其中t为调节参数，hij为边eu的权重，并令h1，其中i=l?n; (2) 计算泛化转换矩阵
其中0为对角矩阵，其对角元素定义为：
其中化为对角矩阵〇的第i行第i列元素，i为正整数，且1彡i彡n; (3)计算样本集X的泛化协方差矩阵为XGXt; 步骤3 :对步骤2得到的泛化协方差矩阵求特征值，将特征值按照从大到小的顺序排 序，取前q个不为零的特征值所对应的特征向量，组成子空间转换矩阵E=[Vpv2，…，V」， 其中Vi表示第i个特征值对应的特征向量； 步骤4 :依据步骤3得到的转换矩阵E和步骤1得到的测试样本集Itest，获取Xtest的低 维表示Ytest=ETXtest; 步骤5 :依据步骤4得到的低维表示Ytest，进行手写体数字图像的识别。
4. 如权利要求3所述的手写体数字图像识别方法，其特征在于：步骤2中，k的值取12， t的值取1。
5. 如权利要求3所述的手写体数字图像识别方法，其特征在于：步骤5中，用1近邻分 类器对低维的样本数据进行分类，通过与原始类标作比较，得到识别精度。
【专利摘要】本发明提出了一种手写体数字图像降维的方法，方法考虑了近邻之间的关系，并保持了数据的流形结构。首先，通过构建一个近邻矩阵，使近邻互相靠近，然后构造一个类似PCA的泛化协方差矩阵，通过求解协方差的特征问题，生成子空间转换矩阵。常规的降维方法中，我们不知道保持数据的全局结构好还是局部结构好，或者如何平衡这两者，不同于常规的，本发明能够在同一个模型中保持这两种结构。本发明通过使近邻在低维中尽可能靠近，因为相互靠近的样本有很大的可能性属于同一类，所以能提高分类或聚类准确度。并通过实验证明了本发明的有效性。
【IPC分类】G06K9-62
【公开号】CN104573727
【申请号】CN201510024751
【发明人】张化祥, 王永欣, 李静, 王爽
【申请人】山东师范大学
【公开日】2015年4月29日
【申请日】2015年1月16日