专利名称：一种基于支持向量机的参数自适应的运动预测方法
技术领域：
本发明属于计算机人工智能技术领域，具体涉及一种基于支持向量机的参数自 适应的运动预测方法。
背景技术：
运动预测是指对历史数据进行建模分析总结出运动规律对未来的运动轨迹进行 提前预测，在很多领域得到重要的研究和应用，如机器人运动控制、移动目标搜索跟 踪、视频图像处理和压缩、成像系统的稳像技术、地震天气预测和移动网络用户位置预 测等。而支持向量机是现今用于建模学习实现预测的有效工具。支持向量机(Support Vector Machine, SVM)是I97O年代Vapnik结合统计理论
的VC维数理论和最小风险化原则提出的机器学习新方法，该方法针对有限小样本信息仍 然具有很好的泛化能力。SVM其实是一个凸二次规划问题，解决了神经网络的过学习和 陷于局部最优解的难题，同时由于采用了核函数将数据向高维空间映射，将非线性问题 转换成线性的二次规划问题，有效地克服了维数灾难。支持向量机，在模式识别(字符 识别、文本自动分类和人脸检测等)、图像分类和检索、函数逼近、时间序列预测、故障 识别和预测、信息安全、电力系统电力电子和控制论领域都得到广泛应用。然而SVM的性能很大程度上取决于参数的选择，因此核参数的准确选择是SVM 精准预测的关键步骤，也是SVM的研究领域的热点和难点。早期遗传算法、混沌算法和 人工免疫方法都相继用到参数自适应优化，但是这些算法不仅复杂而且准确率和适用性 上都有针对性，没有普适性，没有得到广泛应用和认可，大多仍采用高精度低效率的网 格搜索和交叉验证(Cross Validation，CV)相结合的方法来实现支持向量机参数优化。本 发明提出了一种启发式的近似直线搜索方法来寻找到最优的支持向量机参数。
发明内容
本发明提供了一种基于支持向量机的参数自适应的运动预测方法，该方法运算 效率和运算精度均较高。一种基于支持向量机的参数自适应的运动预测方法，包括(1)根据预测模型的需要建立SVM标准动态序列数据格式，确定连续数据个数 k和预测时间间隔大小m，将得到的N个随时间变化的颤振位移样本数据转换为SVM标 准动态序列数据格式，并对数据极值归一化，得到的极值归一化值一致加上小数ω，最 后得到处理后的样本数据；(2)对经步骤(1)得到处理后的样本数据，在SVM参数对数空间坐标系 [C’ Y']网格中用最小均方误差原则进行三像素宽度直线搜索训练，找到最优参数对 [C*Y*],该最优参数对所对应的模型即为最优预测模型；具体步骤为(i)对网格中心点处45度方向上的若干近邻点和中心点进行SVM训练预测，其 中交叉验证误差最小点，即为近似直线的一个端点A；
3
(ii)对网络两个邻边上的点进行SVM训练预测，搜索得到的最小交叉验证误差 点即为近似直线的另一个端点B ；(iii)计算由端点A和端点B确定的直线的斜率，在该条直线的上下三个像素宽 度的范围内搜索训练，得到交叉验证误差最小的点，即为最优参数对[C、'];(3)先实时采样k个颤振位移，组成k个宽度的动态窗口，并按同步骤⑴中的 方法进行归一化处理，然后一致加上ω，用步骤(2)得到的最优预测模型来预测m个时 刻后的颤振位移，输出预测值；进行下一次预测时，将动态窗口的每一个数据往前移一 位，同时将实时采样到的这个时刻的颤振数据填入动态窗口最后一位，用步骤(2)中求 得的最优预测模型进行预测，如此反复数据采样更新动态窗口实现连续实时预测，并输 出预测值；输出的预测值都需要反归一化处理得到实际的颤振位移预测值；上述步骤中ω满足0.005《ω《0.02。本发明采用交叉验证方法(cross validation，CV)来进一步提高SVM训练预测的
精度，交叉验证方法是将样本测试数据分成η个子集，每个子集轮流作为测试集，η-1个 子集一起作为训练集进行η次训练预测分析，比较η次的预测结果找到最好的预测模型， 因此SVM评价指标采用的是交叉验证误差(CV-error)。本发明首先通过对大量的回归样本数据用高准确率的网格搜索方法进行 基于最小CV-error判断准则的各种不同条件的SVM训练预测试验，得到大量的 [C’ Y' ]-Err0r(网格交叉误差分布图)，如图3所示网格上每个点代表一个参数对 [C’ Y']，该点的颜色深浅代表该点对应CV-error大小，越深误差越小。对这些网 格交差误差分布图分析发现支持向量机的主要参数惩罚因子C和核宽度Y的参数对 [C’ Y']呈现好区近似直线规律。该规律是指支持向量机回归参数对[C’ Y']在对 数坐标系网格上存在一个以网格中心点作为中心向网格固定角(右下角)方向辐射的呈彗 星状的好区，如图3所示，该彗星状好区的SVM训练预测结果精确度都比较高，训练精 度越高对应的CV-error值越小，网格的颜色越深，好区精度更高的点分布近似为有一定 宽度的直线，如图4所示，该近似直线的一个端点在[C’ Y']网格中心点附近，另一 端点在网格的两邻边上。支持向量机(SVM)主要用来解决分类问题和回归问题，其中回归问题最后可以 等价转换为分类问题来求解。SVM回归问题解决的核心思想是通过映射函数Ψ (X)将原 本呈非线性规律分布的数据映射到高维空间，非线性问题转换为二次线性规划问题，如
图1所示，圆点和方点分别代表两类样本，将在二维空间中寻找椭圆曲线转换为在三维 空间寻找平面的线性问题。解决这个线性问题便是寻找最优超平面，最优超平面不仅使 各类数据分割开来，而且保证分类间隔最大，如图2所示，H为分类平面，HI、H2分别 为平行于分类平面并距离各类样本最近的平面，这两个平面的距离叫做分类间隔。对于线性可分问题，设给定的训练集为{(X1; Yl), (X2, y2)，…，(Xn，
yn)},其中X1=Oc1, χ2,…，xk) e Rn,为输入向量，即样本的k个属性，输出向量为
Y1 e (-1，1)，即两类yi= 1和％ = -1。如果该训练集可以被一个超平面线性划分，假
设该超平面为W · X+b = 0,其中W · X为两个向量的内积，则该最优超平面能使得所
有的点到该平面的距离之和最小，或者分类间隔最大，分类间隔可以表示为R，Il Il2表
4示二阶范数，即求解最大间隔超平面的优化问题。 对于回归问题，目标函数表示为f(X) = W · Ψ (X)+b，考虑到SVM的学习性 能和泛化能力，引入松弛变量ξ和惩罚因子C，并采用Vapnik提出的ε不敏感损失函数 作为判断函数，ε是指超平面可以水平移动的范围，也就是容许的最大分类错误范围为 2ε，这个区域(误差e小于O的误差e忽略不计，否则将误差e用惩罚因子C作为权 重系数加入到目标函数中，惩罚因子越大，误差增大引起的目标函数值的增大量越多， 优化难度加大。最大间隔超平面优化问题表述为
权利要求
1.一种基于支持向量机的参数自适应的运动预测方法，包括(1)根据预测模型的需要建立SVM标准动态序列数据格式，确定连续数据个数k和 预测时间间隔大小m，将得到的N个随时间变化的颤振位移样本数据转换为SVM标准动 态序列数据格式，并对数据极值归一化，得到的极值归一化值一致加上小数ω，最后得 到处理后的样本数据；(2)对经步骤(1)得到的处理后的样本数据，在SVM参数对数空间坐标系[C’Y'] 网格中用最小均方误差原则进行三像素宽度直线搜索训练，找到最优参数对[C、']，该 最优参数对所对应的模型即为最优预测模型；(3)先实时采样k个颤振位移，组成k个宽度的动态窗口，并按同步骤(1)中的方法 进行归一化处理，然后一致加上ω，用步骤(2)得到的最优预测模型来预测m个时刻后 的颤振位移，输出预测值；进行下一次预测时，将动态窗口的每一个数据往前移一位， 同时将实时采样到的这个时刻的颤振数据填入动态窗口最后一位，用步骤(2)中求得的 最优预测模型进行预测，如此反复数据采样更新动态窗口实现连续实时预测，并输出预 测值；输出的预测值都需要反归一化处理得到实际的颤振位移预测值；上述步骤中ω满足0.005<ω<0.02ο
2.根据权利要求1所述的基于支持向量机的参数自适应的运动预测方法，其特征在 于，所述的最优参数对[C' Y *]的获得步骤为(i)对网格中心点处45度方向上的若干近邻点和中心点进行SVM训练预测，其中交 叉验证误差最小点，即为近似直线的一个端点A；(ii)对网络两个邻边上的点进行SVM训练预测，搜索得到的最小交叉验证误差点即 为近似直线的另一个端点B;(iii)计算由端点A和端点B确定的直线的斜率，在该条直线的上下三个像素宽度的 范围内搜索训练，得到交叉验证误差最小的点，即为最优参数对[C、']。
3.根据权利要求1所述的基于支持向量机的参数自适应的运动预测方法，其特征在 于，所述的ω取0.01。
4.根据权利要求1所述的基于支持向量机的参数自适应的运动预测方法，其特征在 于，所述的SVM训练预测过程中使用的核函数为径向基核函数，所述的径向基核函数中 参数ε取恒定值0.01。
全文摘要
本发明公开了一种基于支持向量机的参数自适应的运动预测方法，包括(1)将样本数据转化为SVM训练预测的标准动态序列数据格式，并对数据极值归一化，得到的极值归一化值后加上小数ω；(2)在对数空间坐标系网格中用最小均方误差原则进行三像素宽度直线搜索，找到最优参数组合，得到最优预测模型；(3)实时采样颤振数据，采样k个颤振位移，用步骤(2)得到的最优预测模型进行SVM实时预测得到颤振位移。本发明的基于支持向量机的参数自适应的运动预测方法，计算精度和计算效率非常高，可以用于各种基于SVM的回归拟合和预测领域，不仅能摒弃以往人为调整参数的繁琐，还能同时满足精度和效率的要求，很好地实现了自动化智能化。
文档编号G06N5/04GK102024180SQ20101060169
公开日2011年4月20日 申请日期2010年12月23日 优先权日2010年12月23日
发明者冯华君, 庞红霞, 徐之海, 李奇 申请人:浙江大学