自适应无参数的特征提取方法
【技术领域】
[0001] 本发明属于目标识别领域的特征提取方法，具体是一种自适应无参数的特征提取 方法。
【背景技术】
[0002] 随着科学技术的发展，人类获得的数据越来越多，而且这些数据往往具有很高的 维数，对于典型的图像数据来说，其维数就是图像的像素数，而图像的像素数一般都很高。 如何从这些高维的数据提取中有用的数据用来进行后续的处理是个巨大的问题。特征提取 技术是解决这个问题的一个重要的方法。对于许多问题例如数据可视化、计算机视觉和模 式识别特征提取都是一个基础性的问题。对于人脸识别来说，特征提取是完成人脸识别的 关键。
[0003] 在过去几十年中，人们提出了很多关于特征提取的方法，这些方法中有监督 学习的方法也有非监督学习的方法，有线性的方法也有非线性的方法。在这些方法 中，文献二(I. Joliffe, Principal Component Analysis. Springer-Verlag,1986) 中提出 了主成分分析（PCA)，文献三（K. Fukunnaga, Introduction to Statistical PatternRecognition, second ed. Academic Press, 1991)提出了线性判别式分析（LDA)是 两种使用最多的线性特征提取方法。PCA将原始的高维数据映射到由全部原始数据协方差 矩阵的最大特征值对应的特征向量所张成一个低维子空间中。PCA能够在最小均方意义下， 寻找最能代表原始数据的投影方法。另外，由于没用利用到类别信息，所以PCA是一种完全 的非监督学习方法。
[0004] 与PCA不同，LDA是一种有监督的学习方法，最早可以追溯到1936年Fisher发表 的论文，其本质思想是选择使Fisher准则函数达到极值的向量作为最佳投影方向。从而使 得样本在该方向上投影后，能够同时达到类间离散度最大和类内离散度最小。
[0005] 然而，PCA和LDA都是从全局的欧式结构进行考虑的而不是从流形结构上进 行考虑。而最近的研宄表明人脸图像有可能是驻留在一个非线性的流形之上，同时不 同的人脸图像会处在不同的流形之上。为此人们提出了很多流形学习算法来寻找嵌 入在原始高维数据中的本质低维流形，在这些算法中包括等距特征映射算法（IS0MAP) (文献 4，J. B. Tenenbaum, V. de. Silva, J. C. Langford, A global geometric framework fornonlinear dimensionality reduction, Science 290 (2000) 2319 - 2323.)，局部线性 嵌入（LLE)(文献 5，S. T. Roweis, L. K. Saul, Nonlinear dimension reduction bylocally linear embedding, Science 290(2000)2323 - 2326.)和拉普拉斯特征映射（LE)(文献 6, M. Belkin, P. Niyogi, Laplacian eigenmaps for dimensionalityreduction and data representation, Neural Computation 15(6) (2003) 1373 - 1396.)等。实验表明这些算 法对于模拟数据和真实的数据，比如人脸图像能够找到这些数据的有意义的低维嵌入。 He 等人提出了 局部保留映射（LPP)(文献 7, X. He, S. Yan，Y. Hu，P. Niyogi, H. Zhang, Face recognition using laplacian faces, IEEE Transactionson Pattern Analysis and Machine Intel ligence 27 (3) (2005) 328 - 340.)，LPP的目标函数是最小化映射后的数据 的局部散布矩阵。与其他的流形学习算法相比较，LPP算法拥有明显的优势比如能够得到 更加明显的映射，更加易于计算等。但是这些算法都属于非监督学习算法，无法利用到数据 的类别信息而且在计算的过程中需要认为的设定一下参数，而这些参数对于最终结果的影 响很大。但是如何选取这些参数，却没有统一的标准。
[0006]在文献 8 (Bo Li, De-Shuang Huang, ChaoWang，Kun-Hong Liu, Feature extractionusing constrained maximum variance mapping, Pattern Recognition 41(2008)3287 - 3294)中 Bo 等人提出了 CMVM 算法（constrained maximum variance mapping)，该算法将不同类别分开同时保持任意流形的全局结构。换句话说改算法可以 在得到最优结果的同时不破坏其他类大的全局结构。这种算法在分离不同的类别时， 将与本类不同的其他全部类都考虑进去，这样虽然能够达到将不同类的分开的目的，但 是由于各个类之间的距离不同，距离最远的和距离最近的类应该分别对待而不应该是 一视同仁。同时在构建局部散布矩阵时没有考虑到近邻点的类别信息，有可能会使得 一个点的近邻包含不是该点算在类的点，对后续的处理有不利影响。文献9(Shuicheng Yan, Dong Xu,BenyuZhang, Hong-Jiang Zhang, Qiang Yang, Senior, Stephen Lin, Graph Embedding andExtensions:A General Framework for Dimensionality Reduction, IEEE Transactionson Pattern Analysis and Machine Intelligence,Vol, 29, No. 1, Jan uary, 2〇〇7)中 Yan 等人提出了 MFA 算法（Marginal Fisher Analysis)该算法设计 了一个本质图（intrinsicgraph)来描述流形内部的紧凑性和另外一个惩罚矩阵来描 述不同类之间的离散性。本质图描述了每一类的类内部近邻点的关系，并且每个点都 与它的K近邻相连，惩罚矩阵描述了边缘点的邻域关系，不同类的边缘点点对被连接 起来。但是该算法存在不同类之间的边缘点点对的个数难以确定，而且距离最远的和 距离最近的类应该分别对待而不应该是一视同仁。文献10 (Wankou Yang, Changyin Sun, Lei Zhang, A multi-manifolddiscriminant analysis method for image feature extraction, Pattern Recognition44(2011) 1649 - 1657)中 Wankou Yang等人提出 MMDA算 法（Multi-ManifoldDiscriminant Analysis)，该算法在LPP的基础上，使用每一类数据的 类内权重矩阵的和去加权该类的均值，然后将类间均值视为新的数据，寻找一个最优的投 影矩阵使得加权类均值的类间散布矩阵达到最大同时每一类的类内散布矩阵达到最小。但 是该算法存在使用加权的类均值去衡量类内数据存在一定的偏差，尤其是当数据分布比较 无规则的情况下这种表现更加明显。然而原始的LPP算法以及由其衍生出的一些算法普遍 存在着两个明显的缺陷：①原始LPP是一种非监督的算法，不能有效的利用不同类别之间 的类别信息，这样将其直接运用于分类时，分类的效果不会很理想；②LPP的参数的选择问 题，对于同一个数据集如果LPP的参数不一样，最终的结果也不一样。
【发明内容】
[0007] 针对原始LPP及很多基于LPP的算法存在的问题本发明提出了一种自适应无参数 的特征提取算法。
[0008] 实现本发明目的的技术方案为：一种自适应无参数的特征提取算法，步骤如下：
[0009] 步骤一：计算任意两个样本之间的相关系数P#使用增强的无参数的 局部保留算法的建立类内权重矩阵W，具体参见文献1 (Fadi Dornaika, Ammar Assoum, Enhanced andparameterless Locality Preserving Projections for face recognition, Neurocomputing 99 (2013) 448 - 457)，使用得到的类内权重矩阵W建立类内 散布矩阵用于描述流形内的局部结构。
[0010] 步骤二：寻找出相邻的类；依据步骤一中得到的相关系数构成的矩阵P，计算任 意一类Ci与其他所有类的相关系数的平均值m i，计算任意一类(^与某一类h的相关系数 的平均值叫」，如果叫」彡m ^，则认为q