直接使用样本特征原始数值的广义相关学习矢量量化方法
【专利摘要】本发明公开了一种直接使用样本特征原始数值的广义相关学习矢量量化方法，它在训练和识别过程中直接使用输入样本特征的原始数据，不需要对样本特征进行归一化的预处理。在过去的广义相关学习矢量量化方法的基础上，本方法在调整权重系数的公式中加入一个系数，从而使其反映各样本特征原始数值的变化范围。该系数与对应的样本特征原始数值的变化范围（如方差、最大值与最小值之差的平方）成反比。相应的，权重系数的初始值也与对应的样本特征原始数值的方差或均方差成反比。本发明不需要对输入样本的各特征进行归一化预处理，从而能在识别过程中直接使用输入样本特征的原始数值，方法简单高效。
【专利说明】直接使用样本特征原始数值的广义相关学习矢量量化方法
【技术领域】
[0001]本发明涉及一种模式识别方法，具体涉及一种直接使用样本特征原始数值的广义相关学习矢量量化方法。
【背景技术】
[0002]模式识别是让机器具有人类智能的技术，通过对表征事物或现象的信息进行处理和分析，实 现对事物或现象进行描述、辨认、分类和解释的过程。无监督的模式识别方法只能压缩问题的信息量。而有监督的模式识别方法学习已有样例的类别和特征信息，在实际应用中可以提供可靠的识别结果。神经网络的自适应性和鲁棒性使之成为模式识别的有力工具。应用于模式识别的神经网络有BP (Back Propagation)网络、径向基(Radial BasisFunction)网络、学习矢量量化(Learning Vector Quantization, LVQ)方法(KohonenT.Self-Organizing Maps.3rd Edition.New York, USA: Springer-Verlag, 2001X 其中，学习矢量量化方法是传统的最近邻原型分类器与神经网络的结合。它在学习过程中不断调整作为权向量的神经元，能够使不同类别权向量之间的边界逐步收敛至贝叶斯分类边界。在学习和识别过程中，对获胜神经元(最近邻权向量)的选取是通过计算输入样本和原型向量之间欧氏距离的大小来判断的。
[0003]为了克服学习过程中作为目标函数的识别率不连续变化的缺点，人们提出了广义学习矢量量化(Generalized LVQ, GLVQ)方法(Sato A, Yamada K.GeneralizedLearning Vector Quantization.Touretzky D, Mozer M, Hasselmo M, ed.Advances inNeural Information Processing Systems.Cambridge, USA:MIT Press, 1996, VD1:423 —429)。在实际应用中，模式识别需要对提取的物体特征进行甄别，去除对分类没有作用的特征。对于复杂问题这需要有经验的专家完成。而对分类有贡献的特征，其在分类中发挥的重要性也不一样，对此人们提出相关学习矢量量化(Relevance LVQ, RLVQ)方法(Bojer T,Hammer B,Schunk D,et al.Relevance Determination in Learning VectorQuantization.Proc of the European Symposium on Artificial Neural Network.Brussels, Belgium, 2001:271 - 276)自动判断各特征在分类中的重要性。将RLVQ与GLVQ结合，形成广义相关学习矢量量化(Generalized Relevance LVQ, GRLVQ)方法(Hammer B, Villmann T.Generalized Relevance Learning Vector Quantization.NeuralNetworks, 2002, 15:1059 一 1068)。GRLVQ方法得到了同行的认可，已应用于了卫星高维光谱图像识别(Mendenhall MJ, Merenyi E.Relevance-Based Feature Extraction forHyperspectral Images.1EEE Transactions on Neural Networks.2008，19:658-672)、疾病诊断(Zhang Q, Wang YY, Wang WQ, Ma JY, Qian JY, Ge, JB.Discrimination of coronarymicrocirculatory dysfunction based on generalized relevance LVQ.Liu DR, FeiSM, Hou ZG, Zhang HG, Sun CY, Ed.Advances in Neural Networks-1SNN2007, Pt2, Proceedings, Lecture Notes in Computer Science.2007, 4492:11? -1I32)、规则提取(HammerB, Rechtien A, Strickert M, Villmann T.Rule extraction from self-organizingnetworks, in:1nternational Conference on Artificial Neural Networks, LNCS.2002，2415，pp.877 - 883)、基因分析(Strickert M, Seiffert U, Sreenivasulu N, WeschkeW, Villmann T,Hammer B.Generalized relevance LVQ (GRLVQ)with correlationmeasures for gene expression analysis.Neurocomputing.2006，69:651 - 659)等。
[0004]但是同其它模式识别方法一样，目前GRLVQ在学习中需要对输入样本的各特征进行归一化预处理，这样在识别过程中也需要事先对输入样本的各特征进行归一化处理。
【发明内容】
[0005]为了克服现有技术中存在的不足，本发明提供一种直接使用样本特征原始数值的广义相关学习矢量量化方法，不需要对输入样本的各特征进行归一化预处理，从而能在识别过程中直接使用输入样本特征的原始数值，方法简单高效。
[0006]为实现上述目的，本发明采取如下技术方案:
[0007]—种直接使用样本特征原始数值的广义相关学习矢量量化方法，设在模式识别任务中需要识别C个类别，每个训练样本有η个特征，用X= ((Xi1Yi) eRnX{l,2,...,C}|i =
I,2,..., m}表示训练样本集,其中,第i个训练样本表示为一个η维向量f =(x丨，.#，...，<)，
它属于第71类。用X训练一组权向量神经元，使之可以对输入样本进行模式识别，权向量集表示为 W = Kwk，ck) e RnX {1，2，...，C} |k = 1，2，...，M}。其中，第 k 个权向量
=(<4,...，<)属于第Ck类，每类可以有I个或I个以上的权向量。
[0008]该方法使用训练样本集X = {(x1, yO e RnX {1，2，...，C} I i = 1，2，...，m}训练一组权向量神经元W = {(wk, Ck) e RnX {1，2，...，C} I k = 1，2，...，Μ},从而使该组权向量神经元对输入样本进行模式识别；其中C表示模式识别任务中的类别数，m表示训练样本数，M表示权向量神经元数，Rn表示η维向量空间，η表示训练样本集特征的数目；
[0009]该方法在训练过程中采用最小化下式的目标函数:
【权利要求】
1.一种直接使用样本特征原始数值的广义相关学习矢量量化方法，其特征在于:该方法使用训练样本集X = {(Xi1Yi) ∈ RnX {l,2,...,c} |i =1,2，...，m}训练一组权向量神经元W = {(wk，ck) ∈ RnX {1,2,...,C} |k = 1,2,...，m} 以使这组权向量神经元对输入样本进行模式识别；其中C表示模式识别任务中的类别数，m表示训练样本数，M表示权向量神经元数，Rn表示η维向量空间，η表示训练样本集特征的数目； 该方法在训练过程中采用最小化下式的目标函数:
2.根据权利要求1所述的一种直接使用样本特征原始数值的广义相关学习矢量量化方法，其特征在于:所述~与训练样本集中样本第j个特征原始数值的方差成反比，即Aj =A/Vj, j = 1, 2,..., n,其中，A是系数,Vj (j = 1，2，...，n)为第j个特征原始数值的方差,n表示训练样本集特征的数目。
3.根据权利要求2所述的一种直接使用样本特征原始数值的广义相关学习矢量量化方法，其特征在于:A为Vj(j = l，2，...，n)中的最大值，且Aj≥l(j = l，2，...，n)。
4.根据权利要求1所述的直接使用样本特征原始数值的广义相关学习矢量量化的模式识别方法，其特征在于:所述~与训练样本集中样本第j个特征原始数值的最大变化范围的平方成反比，即Aj = B/ δ /, j = I, 2,..., n,其中B是系数，δj(j = 1，2，...，η)为第j个特征原始数值的最大值与最小值之差，η表示训练样本集特征的数目。
5.根据权利要求4所述的直接使用样本特征原始数值的广义相关学习矢量量化的模式识别方法，其特征在于:Β为δ/(j=l，2，".，η)中的最大值，且Aj≥I (j = 1，2，...，η)。
6.根据权利要求1所述的直接使用样本特征原始数值的广义相关学习矢量量化的模式识别方法，其特征在于:权重系数λ j的初始值与训练样本集中样本第j个特征原始数值的方差成反比j = 1，2，...，n, n表示训练样本集特征的数目。
7.根据权利要求1所述的直接使用样本特征原始数值的广义相关学习矢量量化的模式识别方法，其特征在于:权重系数λ j的初始值与训练样本集中样本第j个特征原始数值的均方差成反比j = 1，2，...，n, n表示训练样本集特征的数目。
【文档编号】G06K9/66GK103903016SQ201410013367
【公开日】2014年7月2日 申请日期:2014年1月13日 优先权日:2014年1月13日
【发明者】方晖, 严莹, 张兴敢, 柏业超 申请人:南京大学