专利名称：一种混合svm回归算法的oin神经网络训练方法
技术领域：
本发明涉及数据分析方法，尤其涉及一种混合SVM回归算法的OIN神经网络训练方法。
背景技术：
人工神经网络(ANN, Artificial Neural Network)是一种优化的机器学习方法，并被广泛应用到各种数据分析领域中，来替代或补充基于多项式的回归分析和分类。现有的神经网络应用只能限定在含有少量设计参数的简单设计中，其用于建模的所需数据集规模应随设计参数的数量呈几何或指数级增加，因此，一个神经元分析需要具有大量充分的密度分布和实验数据，而另一方面，计算成本也相应增加，而在设计空间中的大量数据的低效利用也可能导致计算成本的过度浪费。利用人工神经网络ANN来分析一个物理对象，优化在特定物理环境对象的反应，是非常常见的方法。人工神经网络ANN适合于多维数据的插补并提供合理的数学模型，即对现实的物理对象用复杂和精确的一系列数值解进行表达和优化。人工神经网络ANN尤其适合于需要满足多个设计条件的情况。在人工神经网络ANN中，一个前向感知机人工神经网络(MLP ANN, MultilayerPerceptron Artificial Neural Network)是一种非线性估计技术。使用MLP ANN的困难来自于需要对连接权值进行非线性优化。当网络结构增大时，训练过程的成本可能非常高。因此，MLP ANN只适合小网络，且MLP ANN的优化主要是Newton法，这种算法的缺点是得到的优化都是局部的，无法实现全局优化。另外，某种程度上，MLP ANN采用Sigmoidal函数作为激活函数，这种函数在很多数据建模中不一定是最合适的基函数。为了减少底层函数和激活函数间的差异性，一些神经网络，例如RBF神经网络，提供了一个从输入空间到特征空间的非线性转化。这个高维的特征空间可以通过包含特征空间坐标的kernel函数得到。从单变量输入空间到输出空间的全部映射就是特征空间的一个超平面。例如，对于一个需要具有线性项和二次项的输出空间，输入空间变量可以通过内积的kernel函数模型来得到。这种方法需要具有特征空间中输入和输出间的函数关系的先验知识。为了解决人工神经网络ANN的局部最优问题，一种常见的方法是采用支持向量机SVM的方法。SVM法原本应用于统计学习理论，现在已经被开发和应用到各种分类和回归问题中。SVM可以很好得解决稀疏训练数据集的问题，并且利用高维特征空间来解决非线性分类。另一个SVM的好处是目标函数是凸包的，所以SVM得到的局部最优解通常也是全局最优解。这一点是多数神经网络所不具备的。然而，传统SVM方法对特征空间，即kernel函数(如多项式、Gaussian等)的选择也必须具有先验知识并预定义出来，而且当训练数据集过大时，需要计算成本来划分子集以实现模型的可用性。现有一种将ANN分析和SVM分析相结合的混合机制，可以满足上述所有的需要。通过这种机制，学习过程不仅不需要提供对非线性函数的先验知识来实现非线性分析，而且利用了 SVM实现全局最优的特点。但是根据该机制描述的输出是由SVM分类算法直接得到的一个布尔型的类别值，而布尔值在很难应用到神经网络的后向传播过程中；因此，该机制并没有具体指出ANN-SVM是如何进行训练并如何实现权值修正。本发明适用于解决数据分析方面的相关问题，例如，图像分割中的颜色恒常性问题，即在不同光照影响下的图像分割问题，现有的图像分割没有利用学习算法，仅仅利用颜色空间的转换，在复杂的光照影响下，达不到理想的要求。
发明内容
本发明的目的就是为了解决上述问题，提出了一种混合SVM回归算法的OIN神经网络训练方法。该方法利用一种优化的快速收敛MLP ANN算法一优化输入向量规格化神经网络(OIN, optimal input normalization)和SVM回归算法相结合,实现多分类和回归分析，是对现有SVM/ANN的机制具体实现和优化。为了实现上述目的，本发明采用如下技术方案一种混合SVM回归算法的OIN神经网络训练方法，主要包括以下步骤Step (I):初始化部分，对输入样本值进行归一化，产生初始隐含层权值，并计算出隐含层神经元的输入值，根据隐含层神经元采用的激活函数得到相应的隐含层神经元输出值；Step (2):根据类别数M和原始样本的类别，利用输出重定向OR建立各个原始样本相应的MLP分类训练的M维理想分类向量；Step (3):根据类别数M建立M个SVM回归分析模型，每个SVM回归分析模型的输入向量是Step (I)得到的隐含层神经元输出值，而每个SVM回归分析模型的理想输出值是Step (2)建立的M维理想分类向量的其中一个元素；Step (4) SVM回归训练分别对M个SVM回归分析模型进行训练，得到M个SVM回归分析训练模型；Step (5):根据训练后的SVM回归分析训练模型进行SVM回归预测；Step (6) :0ΙΝ后向传播部分。将Step (5)的SVM回归预测结果进行组合得到一个新的分类向量，并通过比较M维理想分类向量，采用OIN后向传播算法对权值进行调整；Step (7):迭代下一次训练，根据调整后的新的隐含层权值再回到St印(I)中，计算出新的隐含层神经元输入，继续Step (2)- (7)，直至训练周期结束或达到理想值时结束；经过反复迭代最终得到一个优化的0IN/SVM混合模型。在测试阶段，将测试样本输入到优化后的0IN/SVM混合模型中，就得到预测结果，从而实现对样本的分类的预测或回归的预测。所述St印(I)细分为如下具体步骤Step (1.1):通过使用正态分布随机函数初始化隐含层权值向量Wih，即从第i个到第h个权值；归一化所有输入向量为零均值；Step (1. 2):对每一个输入样本计算出其在各个隐含层神经元的输入值并对这些神经元输入值进行归一化处理；Step (1.3):根据神经元的激活函数计算出各个隐含层神经元的输出值。所述St印(1.2)神经元的输入值的计算为
权利要求
1.一种混合SVM回归算法的OIN神经网络训练方法，其特征是，主要包括以下步骤 Step (I):初始化部分，对输入样本值进行归一化，产生初始隐含层权值，并计算出隐含层神经元的输入值，根据隐含层神经元采用的激活函数得到相应的隐含层神经元输出值；Step (2):根据类别数M和原始样本的类别，利用输出重定向OR建立各个原始样本相应的MLP分类训练的M维理想分类向量； Step (3):根据类别数M建立M个SVM回归分析模型，每个SVM回归分析模型的输入向量是Step (I)得到的隐含层神经元输出值，而每个SVM回归分析模型的理想输出值是Step(2)建立的M维理想分类向量的其中一个元素； Step (4 ) : SVM回归训练分别对M个SVM回归分析模型进行训练，得到M个SVM回归分析训练模型； Step (5):根据训练后的SVM回归分析训练模型进行SVM回归预测； Step (6) :0ΙΝ后向传播部分；将Step (5)的SVM回归预测结果进行组合得到一个新的分类向量，并通过比较M维理想分类向量，采用OIN后向传播算法对权值进行调整； Step (7):迭代下一次训练，根据调整后的新的隐含层权值再回到Step (I)中，计算出新的隐含层神经元输入，继续Step (2)- (7)，直至训练周期结束或达到理想值时结束；经过反复迭代最终得到一个优化的0IN/SVM混合模型； 在测试阶段，将测试样本输入到优化后的0IN/SVM混合模型中，就得到预测结果，从而实现对样本的分类的预测或回归的预测。
2.如权利要求I所述的一种混合SVM回归算法的OIN神经网络训练方法，其特征是，所述Step (I)分为如下具体步骤 Step (1.1):通过使用正态分布随机函数初始化隐含层权值Wih，即从第i个到第h个权值；归一化所有输入向量为零均值； Step (1.2):对每一个输入样本计算出其在各个隐含层神经元的输入值并对这些神经兀输入值进行归一化处理； Step (1.3):根据神经元的激活函数计算出各个隐含层神经元的输出值。
3.如权利要求2所述的一种混合SVM回归算法的OIN神经网络训练方法，其特征是，所述St印(I. 2)神经元的输入值的计算为
4.如权利要求2所述的一种混合SVM回归算法的OIN神经网络训练方法，其特征是，所述Step (I. 3)中神经元的输出值为 这里，f ( ·)代表了第k个非线性隐含层激活函数一Sigmoid函数，Op (k)表示神经元的输出值，np (k)表示第P个样本的第k个隐含层单元的输入值；
5.如权利要求1所述的一种混合SVM回归算法的OIN神经网络训练方法，其特征是，所述Step (2)中的OR表示输出重定向；根据第P个样本所属的类别设定一个理想的输出向量，即tp=[tp⑴，tp⑵，…，tp (M) ]，M为类别总数；如果用Cp代表了类别，k代表了向量分量的索引号，则只有与第P个样本所属类别号Cp在相同的索引号所对应的分量值为1，其他分量值为0，即设定第P个样本的理想输出向量的第k个分量为
6.如权利要求1所述的一种混合SVM回归算法的OIN神经网络训练方法，其特征是，所述Step (4)分为如下步骤 Step (4.1):选择某个kernal函数，在确定的复杂性妥协参数C和松弛变量ε下，计算 Langruange 乘子 α * 和 b* ; Step (4.2):根据全部满足优化条件的乘子，SVM将得到一个高维空间优化权值，从而建立SVM的输出模型yp。
7.如权利要求6所述的一种混合SVM回归算法的OIN神经网络训练方法，其特征是，所述Step (4.1) SVM回归中如果定义误差松弛变量不少于ε，C为复杂性和最小损失的妥协参数，则SVM回归的二次损失函数
8.如权利要求6所述的一种混合SVM回归算法的OIN神经网络训练方法，其特征是，所述Step (4. 2)根据Karush-Kuhm-Tucker互补条件得到下列二次优化求解式为
9.如权利要求1所述的一种混合SVM回归算法的OIN神经网络训练方法，其特征是，所述Step (6)的OIN后向传播部分中，采用最小均方值作为决策衡量标准，SP
全文摘要
本发明公开了一种混合SVM回归算法的OIN神经网络训练方法，主要包括以下步骤OIN前向传播部分；SVM回归部分；OIN后向传播部分；经过多次训练后最终得到一个优化的OIN/SVM混合模型，在测试阶段，将测试样本输入到优化后的OIN/SVM混合模型中，就得到预测结果，从而实现对样本的分类的预测或回归的预测。本发明采用最新设计的OIN人工神经网络训练方法，该方法可以大大提高传统后播算法的收敛性。
文档编号G06N3/02GK102982373SQ20121059453
公开日2013年3月20日 申请日期2012年12月31日 优先权日2012年12月31日
发明者蔡珣, 蔡菲, 吕知辛, 朱波, 马军 申请人:山东大学