专利名称：一种设备故障诊断的支持向量机模式识别方法
技术领域：
本发明涉及的是一种设备故障诊断领域方法，具体是利用参数自动选择的
约简Tikhonov正则化支持向量机进行设备故障模式识别方法。
背景技术：
为了避免设备故障诊断过分依赖专业技术人员的问题，很多学者将神经网 络、专家系统、聚类算法引入设备故障诊断领域，在实践中取得一定成效，但 是，这些技术还存在一些问题，例如，基于人工神经网络的故障诊断方法是基 于经验风险最小原理的方法，学习过程中容易陷入局部最小，并出现过学习现 象，导致泛化能力下降，从而影响诊断效果，进一步神经网络的结构难以选择 也限制了它的应用[1'2];单一的专家系统进行故障诊断也有许多困难，如知识经 验获取困难，缺乏有效的故障诊断知识的表达，同时使用专家系统的技术人员 必须进行专门的培训，这些都限制了专家系统的广泛应用[3];聚类分析不需要标 准的故障样本，但该方法要求不同故障类别的样本差别尽可能大，而同一故障 类别的样本差别尽可能小且收敛速度较慢等，这种特性影响了对早期微弱故障 的诊断效果[4]。
为了解决设备故障诊断领域存在的上述问题，急需寻找新的智能故障诊断 方法，部分学者提出利用支持向量机(svm)进行故障诊断，支持向量机是 V.Vapnik等人在统计学习基础上构建起来一种机器学习的方法[5，6]，非常适合于 少样本情况下的设备故障模式识别，同时，支持向量机基于结构风险最小化原 则，避免了神经网络局部最小现象，并已经在设备故障领域取得一定成果，由 于设备故障类型往往多于两类，而基本的支持向量机只能用于两类故障分类，为了将SVM有效的应用到多类故障诊断，需要研究多分类SVM算法，近年来， 部分学者尝试通过修改支持向量机目标函数，把多分类支持向量机问题转换为
解决单个优化问题，从而建立单优化k分类支持向量机，Tikhonov正则化多分 类支持向量机是目前该方向的最新研究成果之一[7]，由于Tikhonov正则化多分 类支持向量机一次性处理所有类别的故障数据，而无须拆分成多组两分类问题， 同时该方法将基本SVM的不等式条件转换为等式条件，因此避免了二次型的求 解问题，具有软件结构简单，误差小等优点，拥有有广泛的应用前景。但由于 一次性将所有的故障样本用于构建核函数矩阵，必然使核函数矩阵和样本矩阵 占用更大的内存空间，因此当处理大数据集时，其核函数矩阵维数过大， 一方 面给内存空间带来极大的负担，另一方面影响运行速度和执行效率；进一步， Tikhonov正则化支持向量机在进行故障模式分类中，其高斯核函数的宽度参数 控制了 Tikhonov正则化支持向量机的回归和分类能力，而平衡系参数用于平衡 训练误差和超平面分隔间隙，两个参数的优化对提高支持向量机故障分类性能 取到非常重要的作用，目前，学者在选择Tikhonov正则化支持向量机的平衡参 数和核函数参数采用实验适凑法，这种方法非常耗费时间，而且无法获取到最 优参数，因此无法获取到最优的分类精度。
发明内容
鉴于Tikhonov正则化支持向量机为统计学习方向一项新型研究成果，目前 还不存在采用Tikhonov正则化支持向量机来判断设备故障的方法，因此本发专 利将其该方法引入了故障诊断领域。但Tikhonov正则化支持向量机一次性处理 所有故障样本，必然使核函数矩阵占用更大的内存空间，因此随着故障类别和 训练样本数据集不断增加，导致核函数矩阵维数迅速增大，给内存空间带来极大的负担，同时影响支持向量机运行速度。针对该问题，部分学者直接采用随 机法建立样本的约简子集，然而随机获得的约简子集很难具有样本代表性，因 此，本专利引入了剪枝法，建立了约简Tikhonov正则化支持向量机；同时为进 一步提高约简Tikhonov正则化支持向量机的故障分类精度，本专利引入了遗传 算法对参数进行自动选择，最终建立了参数自动选择的约简的Tikhonov正则化 支持向量机模型。
本专利使用以下技术方案实现的，包括如下步骤
完成Tikhonov正则化支持向量机模型推导过程；
利用剪枝法构建子样本集剔除样本冗余信息，建立约简Tikhonov正则化支 持向量机模型；
以分类准确率作为适应度函数，利用遗传算法对高斯核函数宽度参数和支 持向量机平衡参数进行自动选择，建立参数自动选择的约简Tikhonov正则化支 持向量机模型；
利用电机设备的故障样本验证本发明提出方法的优越性。
下面对分三步对本发明做进一步详细说明
1) Tikhonov正则化支持向量机模型推导过程
设给定k类训练样本x,. ，将训练样本表示为矩阵 e iT'x" / = 1. 2 2c/axye力，为m; x "维的矩阵，其中表示第/类样本的数 目，n表示样本的维数，同理J(力表示第j类样本，表示为^x"维的矩阵，针对 /类样本，设一"=+1，对于y类样本，,》=-1，同时设e为单位阵。 一般情况下， 直接在输入空间寻找线性最优分类超平面面非常困难，因此首先用一非线性映 射V(O把样本矩阵^w从原空间映射到特征空间^C4(')),在这个高维特征空间中 构造最优分类超平面"-7 = 0，使/类和_/类样本满足当超平面不能把两类样本完全分开时可以引入一个正的误差松弛变量
^n，使两类样本满足
~ 0/)
其中j =
,(一 )W。) = ￡ + ，
(2)
由于最优分类超平面面必须使两类样本的分类空隙2/m最大，
同时使分类误差最小，鉴于上述原因引入Tikhonov正则化的最小二乘模型[6]， 将最优分类超平面的求解问题转变为求解如下目标函数-
miruA.
1 A "'w>
一(y)
爿 =
》)■
通过矩阵形式可将以上优化问题改写成如下形式: 《=}>(争一聊—e
(3)
》)0 0 爿(')0 0
0 0
0 0
0 ,')
0 ,
y(12) o 0
0 卢) 0
o o 1)4
0 0 0 0
,)
力')
0 0
/<_/, ot = 2(w,.5 = t(Ar —1)/2
0 0 0 0
6
(4)
进一步将上式w转换为其非线性映射的等价形式M^T(f)y"，同时将(4)式的约束条件代入目标函数可将式(4)转换为如下无约束优化形式:
设核函数矩阵^_ =《04,) = 1^04)^47 ，核函数形式可选择多项式或高斯函数
minJ(w,;i，《)^}^04)甲0^)}^+三|^(甲04)甲(#)70— ￡力—e| ( 5 )
等多种形式，式(5)可进一步转换为非线性Tikhonov正则化支持向量机的标准 形式
min J(w, A,纟)=鲁"a +会|一 —聊—ej2 (6)
对上式求偏微分a7/^和a//^ ，可求的该支持向量机两个分类参数为
"=[a(")r, . "a(M)*r]r =(义/ + AT — ;F￡(￡r}T￡)—1 EryiQ-1 (—ra^fTlT^)-1 ￡r7e +( 7 ) 最终超平面分类决策函数可以表示为下式
,(x)—产]=卩:'xe(s)
1 — 1， X G
为对测试点x进行模式分类，投票策略被应用到该支持向量机的决策函数中， 既鄉"[i^^,7( (l,)]得出x为i类，则投票i类，否则投票j类，最终x
属于票数最多的那类。
2)利用剪枝法建立约简Tikhonov正则化支持向量机模型；
剪枝法主要思想来源于样本的拉格郎日乘子大小决定了该样本在分类过 程重要性[8]。 Tikhonov正则化支持向量机训练后，根据l"」的大小对样本点进行
降序排列，剔除l"」值较小的一部分样本点，用其余的样本点构成约简后的训练 样本子矩阵^幼. —以取代原始训练样本矩《x^，令w = t(^)^，其中i， f具
体形式为^，-， f"， A = ^>,.+/^， 5 = A#-1)/2，代入公式(5)，进一步简化
' </
可以得到约简Tikhonov正则化支持向量机无约束目标函数如下
mirJ(w,义,。=垂<^ +_酬_ e『 (9 )
9利用约简样本子集重新设置核函数矩阵<formula>formula see original document page 10</formula>， 可获得约
简Tikhonov正则化支持向量机的标准形式如下
<formula>formula see original document page 10</formula> (10)
对上式求偏微分a7/^和a//^ ，可求的该支持向量机两个分类参数为
<formula>formula see original document page 10</formula> (11)
最终超平面分类决策函数可以表示为下式
<formula>formula see original document page 10</formula> (12)
具体的剪枝法获取样本子集和约简Tikhonov正则化支持向量机的方法如
下
(1) :输入^个设备故障训练样本，设定拉格朗日乘子的阈值、故障诊断系统的 最低精度要求和最大迭代次数；
(2) :将附个训练样本代入说明书所列的公式(6)，应用Tikhonov正则化支持向 量机模型进行训练，计算测试样本分类精度；
(3) : k| * = 1,2,...附为求解说明书所列的公式(7)所获得的拉格朗日乘子的绝对 值组成的数列，将所有l",l <阈值的对应训练样本删除；
(4) :将大于该阈值的拉格朗日乘子所对应的训练样本保留，设其数量为^，且
有/^ < m ;
(5) :设样本数量附=&,回溯到步骤(2)，逐次迭代，当测试样本分类精度低于 故障诊断的最低精度要求或满足最大迭代次数时方法停止，最终获得的训练样 本即为训练样本约简子集，将其代入说明书所列的公式(10)获得约简Tikhonov正则化支持向量机。
3)利用遗传算法实现约简Tikhonov正则化支持向量机的参数自动选择 Tikhonov正则化支持向量机有2个重要的参数需要选择参数/l平衡了分 类误差的最小化minl,l2与分类间隔最小化minlM2/2之间的矛盾，高斯核函数中
宽度参数控制了支持向量机的回归和分类能力，而目前Tikhonov正则化支持向 量机的的参数选择仍然采用实验适凑法，这种方法非常耗费时间，而且很难获 取到最优参数，因此本发明提出利用遗传算法对约简Tikhonov正则化支持向量 机的平衡参数进行自动选择。遗传算法(GA)是受生物进化学说和遗传学说启发 而发展起来的，作为一种全局优化搜索方法，具有简单、通用普适性强，应用 范围广等优点[9]。利用遗传算法进行寻优时，编码、选择、交叉、变异是4个重 要步骤。本发明结合遗传算法对约简Tikhonov正则化支持向量机的参数义 一进 行寻优，在遗传算法的寻优过程中，参数/l ^编码采用了二进制方式，同时设 置了相应的寻优区间，种群大小和遗传算法的最大迭代次数，交叉概率和变异 概率。遗传算法的适应度设为约简Tikhonov正则化支持向量机对故障测试样本
f /"v(a& ( ^[i:(;cr，》w)i^w〃)—,)]—力) 的分类的正确率，其表达式为/(;i,a2卜^-。最
AT
优参数A ^为适应度取最大值时对应的参数。约简Tikhonov正则化支持向量机 的参数自动选择的方法步骤如下
(1) :设置^、—的寻优空间；
(2) :设置遗传算法适应度函数，交叉变异概率、群体规模和进化代数，生成A， ^的初始种群；
(3) :应用训练样本集和参数义、 一，对约简Tikhonov正则化支持向量机 mirJ(Ma,^l^ +会l一-聊-e『进行训练，得出参数;i、 (72对应的拉格郎日"，
11数值；
(4) :将《,代入适应度函数/(;1^2)=^-，获取不
同参数^、 一的适应度大小；
(5) :根据适应度函数和交叉、变异概率值对参数2、 "2的种群进行选择、复制、 交叉和变异操作，获取、^的新种群；
(6) :判断进化代数是否满足，如未满足，继续从步骤(3)重复运行，否则转入 下一步；
(7) :获取到参数的优化值，完成约简Tikhonov正则化支持向量机的参数自动选 择，最终实现了参数自动选择的约简Tikhonov正则化支持向量机方法。
采用本发明的方法，相对于Tikhonov正则化支持向量机，内存消耗和算 法运行时间节约至少30%。可以在提高判断精度的同时节约大量的系统资源。
图1为利用剪枝法建立约简Tikhonov正则化支持向量机模型的流程图2为建立参数自动选择的约简Tikhonov正则化支持向量机模型的流程图。
具体实施例方式
本部分利用振华港机的自动化码头项目中的电机故障数据对参数自动选择 的约简Tikhonov正则化支持向量机(GA—RMTR—SVM)进行验证。在振华港机的 自动化码头项目中，电机是该项目最基本的设备组成，而码头由于工作环境的 原因导致电机发生故障的机率相对较大，而目前振华港机对电机故障诊断仅采 用人工例行检査的手段，无法准确检测电机的工况，因此采用参数自动选择的约简Tikhonov正则化支持向量机(GA一RMTR一SVM)对电机进行安全可靠的的故 障诊断具有重要意义。
具体利用电机故障样本对参数自动选择的约简Tikhonov正则化支持向量机 (GA—RMTR—S VM)进行验证过程如下
(1) 将离线获取电机故障检测样本分为训练样本和测试样本，在本项目中选 取的电机故障样本分定子匝间短路故障、转子断条故障、转子偏心故障、轴承 内圈故障和无故障样本；
(2) 利用电机故障样本和剪枝法对Tikhonov正则化支持向量机进行训练， 获取训练样本约简子集和约简Tikhonov正则化支持向量机模型，具体步骤参考 说明书中的利用剪枝法建立约简Tikhonov正则化支持向量机模型的5个步骤；
(3) 为进一步提高故障诊断精度，约简Tikhonov正则化支持向量机平衡参数 和高斯核函数宽度参数的参数由遗传算法(GA)通过离线方式自动给定，遗传 算法的寻优区间为(0， 10)，参数的种群大选择为10，最大迭代次数选择为100， 交叉概率Pc=0.9，变异概率选择为Pm^.l。/。，适应度函数设为分类的正确率， 训练样本为步骤(2)获得的约简子集，具体步骤参考说明书中的利用遗传算法 实现约简Tikhonov正则化支持向量机的参数自动选择的7个步骤，其中遗传算
法获取的部分支持向量机平衡参数和高斯核函数宽度参数与分类精度的对应关 系。如表(1)所示，至此实现了参数自动选择的约简的Tikhonov正则化支持向
量机模型。
(4 )利用参数自动选择的约简Tikhonov正则化支持向量机 GA—RMTR—SVM对故障训练样本约简子集和测试样本进行诊断；诊断结果如表 (2)所示。为了对比效果，表(2)同时列出了基本的Tikhonov正则化支持向 量机(MTR_SVM)对电机故障进行诊断的结果。表l:遗传算法获得的部分^^参数值与 其对应约简Tikhonov正则化支持向量机分类精度
("2)分类精度
(0.0990,1.8702)48.98%
(1.3894,2.6626)51.02%
(1.6196,1.6540)55.1%
(0.6349,0.8695)61.22%
(0.9428,1.0985)69,39%
(0.4725,1.0304)71.43%
(1.1800,0.1236)81,63%
(1.4279,1.2542)89.8%
(1.5250,1.0203)91.8%
(0.0521,1.3281)93.88%
从表(1)可以看出，最终通过遗传算法获取的平衡参数和高斯核函数的宽
度参数为(0.0521,1.3281)，分类精度为93.88%，满足了该公司提出的90%以上的 准确率的要求。
表2:电机故障数据集测试结果
MTR—SVMGA—RMTR—SVM
(义，o"2)(5,2)(0.0521,1.3281)
训练样本《—维数400X10， 10276*10， 10
训练时间s6. 75974. 667
分类精度85.71%93.88%
从表(2)可以看出，由于基本的Tikhonov正则化支持向量机(MTR—SVM)的故障样本未经过约简，同时平衡参数和高斯核函数的宽度参数未通过遗传算
法选取，性能方面不满足该公司提出要求，而参数自动选择的约简Tikhonov正
则化支持向量机在分类精度提高的情况下，同时做到内存消耗和训练时间方面
相对Tikhonov正则化支持向量机可以节约30。/。左右，随着设备复杂性增加，故 障种类和测试数据不断增大，这种内存空间和训练时间的节约将非常可观。
综上所述，参数自动选择的约简Tikhonov正则化支持向量机一方面利用了 基本Tikhonov正则化支持向量机软件结构简单，分类精度高等特点，另一方面 解决了 Tikhonov正则化支持向量机在内存消耗和训练时间过多的缺点，因此本 发明使Tikhonov正则化支持向量成为一种高效的设备故障模式识别方法。
参考文献王然风.基于支持向量回归技术的大型复杂机电设备故障诊断研究与应用.太 原大学博士学位论文,2005.袁海英應光祸，谢永乐,杜天军.基于非线性电路频域核估计和神经网络的故障 诊断.控制与决策[J],2007(4):473 476.黄大荣,宋军,胡必锦.基于专家知识库属性重要度的故障诊断方法研究.计算 机科学[j]，2007(4):231 234.熊浩.基于动态聚类的电力变压器的故障诊断.仪器仪表学报[J]， 2007，28(3)，456隱459. V. Vapnik, The Nature of Statistical Learning Theory, Springer, New York, 1995. [6] J.A.K. Suykens ， J. Vandewalle, Least Squares Support Vector Machine Classifiers[J], Neural Processing Letters, 1999, 9(3): 293 300.[7] Trafalis, T.B， Oladunni, O, Papavassiliou, D.V. Two-Phase Flow Regime Identification with a Multi-Classification SVM Model. Industrial & Engineering . Chemistry Research[J]. 2005(44):4414 — 4426. Suykens J A K， Lukas L, Vandwealle J. Sparse Least Squares Support Vector Machines Classifiers, European Symposium on Artificial NeuralNetworks[ J ]. Bruges Belgium, 2000 (4) : 37-42.张跃军，柴乔林，王少娥,王华,刘云璐.利用GA与SVM对NIDS进行关键特征提 取.计算机工程与应用[J]，2006,42(34): 119 12权利要求
1、一种设备故障诊断的支持向量机模式识别方法，其特征在于故障诊断过程中，采用参数自动选择的约简Tikhonov正则化支持向量机，包括(1)在基本Tikhonov正则化支持向量机模型基础上，利用了剪枝法构建子样本集剔除冗余样本信息，建立了约简Tikhonov正则化支持向量机模型；(2)以分类准确率作为适应度函数，利用遗传算法对高斯核函数宽度参数和支持向量机平衡参数进行自动选择，建立参数自动选择的约简Tikhonov正则化支持向量机模型。
2、 根据权利要求1所述的方法，特征在于所述的步骤(1)是指首先建立基本的Tikhonov正则化支持向量机模型min J(Ka,f) = (;i/2)^^z + (1/2)|& - l^y - e|「，在此基础上利用剪枝法获取约简样本子集，并建立约简Tikhonov正则化支持向量机模型；具体的剪枝法获取样本子集构成约简Tikhonov正则化支持向量机的方法如下(1) :输入^个设备故障训练样本，设定拉格朗日乘子的阈值、故障诊断系统的最低精度要求和最大迭代次数；(2) :将附个训练样本代入说明书所列的公式(6)，应用Tikhonov正则化支持向量机模型进行训练，计算测试样本分类精度；(3) : * = 1,2,...附为求解说明书所列的公式(7)所获得的拉格朗日乘子的绝对值组成的数列，将所有kI <阈值的对应训练样本删除；(4) :将大于该阈值的拉格朗日乘子所对应的训练样本保留，设其数量为A，且有？^ <附； .(5):设样本数量附=&，回溯到步骤(2)，逐次迭代，当测试样本分类精度低于故障诊断的最低精度要求或满足最大迭代次数时方法停止，最终获得的训练样本即为训练样本约简子集，将其代入说明书所列的公式(10)获得约简Tikhonov正则化支持向量机。
3、根据权利要求1所述的方法，特征在于所述的步骤(2)是指利用遗传算法对约简Tikhonov正则化支持向量机的高斯核函数的宽度参数和支持向量机的平衡参数进行自动选择，避免了目前在Tikhonov正则化支持向量机的参数选择方面釆用实验适凑法，其基本步骤如下-(1) :设置义、 一的寻优空间；(2) :设置遗传算法适应度函数，交叉变异概率、群体规模和进化代数，生成、一的初始种群；(3) :应用训练样本集和参数义、"2，对约简Tikhonov正则化支持向量机minJ(Ma,《)=|^ + ^<5-聊-《进行训练，得出参数;i、 (j2对应的拉格郎日a,.数值；<formula>formula see original document page 3</formula>(4) :将",代入适应度函数/"力=^-^-，获取不同参数A、 ^的适应度大小；(5) :根据适应度函数和交叉、变异概率值对参数2、 一的种群进行选择、复制、交叉和变异操作，获取、"2的新种群；(6) :判断进化代数是否满足，如未满足，继续从步骤(3)重复运行，否则转入下一步；(7) :获取到参数的优化值，完成约简Tikhonov正则化支持向量机的参数自动选择。
4、 根据权利要求1所述的方法，特征在于，相对于Tikhonov正则化支持向量机故障诊断方法，内存消耗和方法运行时间节约至少30%。
5、 根据权利要求1-4中任一所述的方法，特征在于，将该方法应用于气轮机故障诊断、变压器故障诊断和齿轮故障诊断系统中。
全文摘要
一种设备故障诊断的支持向量机模式识别方法，具体是利用参数自动选择的约简Tikhonov正则化支持向量机进行设备故障模式识别方法。本发明包括如下步骤(1)完成Tikhonov正则化支持向量机模型的推导过程；(2)利用剪枝法构建子样本集剔除冗余样本信息，建立约简Tikhonov正则化支持向量机模型；(3)以分类精度作为适应度函数，利用遗传算法对约简Tikhonov正则化支持向量机的高斯核函数宽度参数和平衡参数进行自动选择，建立参数自动选择的约简Tikhonov正则化支持向量机模型；(4)利用电机设备的故障样本对本发明进行验证，以表明本发明提出方法的优越性。
文档编号G06N99/00GK101464964SQ20071017244
公开日2009年6月24日 申请日期2007年12月18日 优先权日2007年12月18日
发明者周战馨, 陈勇旗, 陈启军 申请人:同济大学