专利名称：支持向量机软测量模型在线训练系统及方法
技术领域：
本发明涉及一种软测量模型在线训练系统及方法，特别地，基于嵌入式平台的支
持向量机软测量模型在线训练系统及方法。
背景技术：
随着科技与应用的发展，控制系统越来越复杂。针对多输入多输出、时变、非线性、 大时滞等难以控制的过程问题，必须使用支持向量机等智能算法与软测量技术才能达到理 想的效果。但这些复杂的算法大都基于DCS， FCS等大型系统，系统成本较高。算法的运行 环境也大都基于工业计算机等平台，难以满足嵌入式与便携式要求。 嵌入式平台及设备越来越普及，并且具有低功耗、体积小、集成度高、低成本、高性 能、应用广泛等特点。如果支持向量机等智能算法能移植到一个嵌入式设备上，同时配备良 好的运行性能，就可以解决一部分复杂工程问题，并具有小型化与便携式特点。同时对于单 一变量的测量或处理也有了低成本的解决方案。但是支持向量机等智能算法复杂、运算量 大，同时嵌入式平台的计算与存储能力要明显弱于PC机。所以，在PC机运用的支持向量机 等智能算法不能直接移植到嵌入式平台中，需要进行相关处理与简化。 虽然已有机器人、手机手写体识别等支持向量机智能算法的嵌入式应用，但这些 应用大多采用离线训练，只是把训练好的结果移植到嵌入式平台，而没有将训练或优化的 过程移植到嵌入式平台中。 本发明提供了一种基于双核嵌入式平台的支持向量机软测量模型在线训练系统， 并提供了一种支持向量机软测量模型的在线训练方法，为石油化工等复杂过程的软测量提 供了一种低成本、便携式、高实时性的解决方案。
发明内容
本发明的目的在于针对现有技术的不足，提出一种基于嵌入式平台的支持向量机 (Support Vector Machine)软测量模型在线训练系统及方法。 本发明的目的是通过以下技术方案来实现的一种基于嵌入式平台的支持向量机 软测量模型在线训练系统，它主要由微控制器、存储器、人机交互接口 、通信接口和信号输 入输出接口等组成；其中，所述微控制器分别与存储器、人机交互接口、通信接口和信号输 入输出接口相连接。 进一步地，所述人机交互接口包括按键与彩屏液晶显示，按键与彩屏液晶显示均 与微控制器相连。所述通信接口包括RS232接口 、以太网接口和USB接口 ，所述RS232接口 、 以太网接口和USB接口分别与微控制器相连。所述存储器包括SDRAM与NAND Flash,所述 SDRAM与NAND Flash分别与微控制器相连。所述信号输入输出接口包括AD输入、DA输出 与数字量输入输出，所述AD输入、DA输出与数字量输入输出分别与微控制器相连。
—种权利要求1所述基于嵌入式平台的支持向量机软测量模型在线训练系统的 训练方法，包括以下步骤
(1)微控制器通过信号输入输出接口或通信接口读取数据； (2)若数据格式不规范，则进行数据规范化处理，若数据格式规范则省略此步； (3)数据存储于存储器，并在彩屏液晶显示上动态显示； (4)若要求手动设置相关参数则跳到第(7)步，否则自动设置参数； (5)根据支持向量机软测量在线训练规则自动调整相关参数，直到完成训练； (6)若训练结果的精度与实时性达到要求，则直接跳到第(9)步，否则继续； (7)手动设置相关参数，直至完成训练； (8)若训练结果的精度与实时性达到要求，则直接跳到第(9)步，否则回到第(7)步重新设置参数； (9)把训练结果存储于存储器，并在彩屏液晶显示上动态显示； (10)若有相关输出操作，通过信号输入输出接口或通信接口输出结果，否则省略
此步； (11)把训练结果应用于软测量模型，完成根据数据输入，给出预测输出；
进一步地，所述步骤(1)读取的数据包括软测量模型的主导变量与辅助变量。
所述步骤(2)数据规范化指包含样本维数、训练样本数、测试样本数等信息，且格式上每行一组训练或测试数据，并且预测真值(主导变量)在前，范围O. 1 0.9，样本的属性(辅助变量)在后，范围-l +l，并且按照一定规律排列。 所述步骤(4) (5) (7)提到的相关参数包含支持向量机的惩罚因子、径向基函数的gamma参数、不敏感区域(容忍经验风险)、训练中止误差等。 所述步骤(5)提到的支持向量机软测量在线训练规则及自动调整的相关参数，包括以下几要点 ①米用印silon-SVR(support vector regressor)。 ②核函数选用径向基函数，其gamma参数=1/样本的维数。 ③惩罚因子固定选取1。 ④容忍经验风险(不敏感区域)e可自动根据需要调整。针对高实时性情况选择
0.01 ;若要求高精度，适当放弃实时性，e根据需要选择0.05,0. 001等值。 ⑤训练中止规则。系统自动识别测试误差变化规律，且满足如下规则中任一条，即
表示训练完成。规则1 :"测试误差变化稳定(无明显振荡特征)，且当前测试误差大于1. 2*
最小测试误差";或规则2 :"迭代次数大于阈值(如100次)且连续3次测试误差变化率小
于5%"。 所述步骤(11)提到的数据输入指新的样本属性(辅助变量)，预测输出指主导变 本发明的有益效果是本发明提供了一种基于双核嵌入式平台的支持向量机软测量模型在线训练系统，并提供了一种支持向量机软测量模型的在线训练方法，能根据数据特征自动设置相关参数，同时支持手动设置参数，最大化的满足了实时性与智能性的要求。本系统满足便携、支持动态显示与智能分析等多项功能，通过简单直观的人机交互界面实现了复杂的操作，克服了以往系统难以实现微小化、难以决定相关训练参数、操作复杂等缺点，尤其是支持向量机算法在线训练的成功移植，对石油化工等复杂过程的软测量提供了一种低成本、便携式、高实时性的解决方案。
图1是本发明的系统组成框图； 图2是本发明的硬件实现框图； 图3是本发明的在线训练方法流程图； 图4是本发明的软测量模型自动在线训练原理具体实施例方式
下面结合附图和实施例对本发明进一步说明，本发明的目的和效果将变得更加明显。 如图1所示，本发明基于嵌入式平台的支持向量机软测量模型在线训练系统由微控制器、存储器、人机交互接口 、通信接口和信号输入输出接口等组成。其中，所述微控制器分别与存储器、人机交互接口、通信接口和信号输入输出接口相连接。 微控制器是整个系统的核心，从信号输入输出接口或通信接口接收相关数据的定量检测，经处理与分析后，结果在液晶屏上动态显示，同时RS232、USB、以太网等接口支持与PC机等外部设备通信，可将实时检测数据传输到外部进行数据存储及分析操作。系统功能强大、操作简单、携带方便，是一体化的便携式软测量系统。同时与离线训练系统不同的是，移植到该系统的支持向量机算法能支持软测量模型的在线训练。 如图2所示，微控制器是整个硬件系统的核心，与其它外围相连接。该微控制器可以采用TI公司的0MAP-L137，它有两个内核，一个300MHz的ARM(ARM926EJ-S核)与一个300MHz的浮点DSP(C674+核)，可外扩Flash与RAM，同时有Ethernet、USB、UART等众多外围功能接口，能满足工业应用要求。微控制器完成软测量数据的分析处理、控制动态存储与显示、控制信号输入输出及其它设备通信等功能。 存储器包括SDRAM与NAND Flash。所述SDRAM与NAND Flash分别与微控制器的EMIFB模块与EMIFA模i央接相连。SDRAM可以选用Micron公司的MT48LC16M16，它为16bit接口，256Mb。 NAND Flash可以选用SAMSUNG公司的K9W4G08U1M，它为8bit接口 ，512MB(4Gbit)。存储器用于存储读取的数据、软测量结果、程序代码及相关设置参数等。
人机交互接口包括按键与彩屏液晶显示，彩屏液晶显示通过液晶控制器与微控制器的GPIO模块相连接，按键通过键盘管理芯片与微控制器的12C模块相连接。彩屏液晶显示可以采用清达光电公司的5.6英寸彩屏液晶320X234显示，液晶控制器可以采用清达光电公司的TFT 256色控制板QD-13。键盘管理芯片可以选用周立功公司的ZLG7290。人机交互接口实现数据与状态动态显示、设置功能参数等人机交互功能。 通信接口包括RS232接口、以太网接口、USB接口等。RS232接口通过RS232收发器与微控制器的UART模块相连接；USB接口可以直接与微控制器内部的USB控制器相连接；以太网接口可以通过EMAC收发器与微控制器内部的EMAC控制器相连接。RS232收发器可以选用Maxim公司的max3221芯片，EMAC收发器可以选用Micrel公司的KS8001芯片。通信接口完成与PC机等外部设备的信息交互。 信号输入输出接口包括AD输入、DA输出与数字量输入输出。AD输入通过模数转换器(ADC)与微控制器内部的SPI模块相连，DA输出通过数模转换器(DAC)与微控制器内部的spi模块相连，数字量输入输出ao输入/io输出)通过光耦隔离芯片与微控制器的
GPIO模块相连。模数转换器可以选用TI公司的ADS8344，数模转换器可以选用TI公司的DAC8552，光耦隔离芯片可以选用Isocom公司的TLP521。 软测量的基本思想是应用计算机技术与相关先进控制理论，结合生产过程知识，针对不能测量或难于测量的重要变量(称之为主导变量)，选择另外一些相对容易测量的变量(称之为辅助变量)，通过构成某种数学关系来进行推断与估计，用软件来代替硬件传感器以实现测量功能。软测量能够快速且连续地给出主导变量信息，同时具有成本低、维护简单等优点。 支持向量机(support vector machine)采用结构风险最小化原则，在有限样本情况下，得到现有信息下的最优解，解决了一般学习方法难以解决的问题，如对样本大数量的需求、神经网络的局部最小问题、过学习问题等，从而提高了模型的泛化能力。支持向量机得到的最优解不仅是全局最优解，而且具有唯一性。支持向量机的方法已经在模式识别与回归估计得到成功的应用。由于软测量建模与一般数据回归问题之间存在着相似性，所以软测量建模选用的是回归支持向量机SVR(su卯ort vector regressor)。
该系统的基于支持向量机的软测量模型选用印silon-SVR，核函数选用径向基函数。软测量模型的在线训练在微控制器内部进行，以基于支持向量机的软测量模型实现由相对容易测量的变量(辅助变量输入)得出不能测量或难于测量的重要变量(主导变量输出)。 如图3所示，本发明基于嵌入式平台的支持向量机软测量模型在线训练方法，包括以下步骤 (1)微控制器通过信号输入输出接口或通信接口读取数据； (2)若数据格式不规范，则进行数据规范化处理，若数据格式规范则省略此步； (3)数据存储于存储器，并在彩屏液晶显示上动态显示； (4)若要求手动设置相关参数则跳到第(7)步，否则自动设置参数； (5)根据支持向量机软测量在线训练规则自动调整相关参数，直到完成训练； (6)若训练结果的精度与实时性达到要求，则直接跳到第(9)步，否则继续； (7)手动设置相关参数，直至完成训练； (8)若训练结果的精度与实时性达到要求，则直接跳到第(9)步，否则回到第(7)步重新设置参数； (9)把训练结果存储于存储器，并在彩屏液晶显示上动态显示； (10)若有相关输出操作，通过信号输入输出接口或通信接口输出结果，否则省略
此步； (11)把训练结果应用于软测量模型，完成根据数据输入，给出预测输出；
进一步地，所述步骤(1)读取的数据包括软测量模型的主导变量与辅助变量。
所述步骤(2)数据规范化指包含样本维数、训练样本数、测试样本数等信息，且格式上每行一组训练或测试数据，并且预测真值(主导变量)在前，范围O. 1 0.9，样本的属性(辅助变量)在后，范围-l +l，并且按照一定规律排列。 所述步骤(4) (5) (7)提到的相关参数包含支持向量机的惩罚因子、径向基函数的gamma参数、不敏感区域(容忍经验风险)、训练中止误差等。
7
所述步骤(5)提到的支持向量机软测量在线训练规则及自动调整的相关参数，如 图4，包括以下几要点 ①米用印silon-SVR(support vector regressor)。 ②核函数选用径向基函数，其gamma参数=1/样本的维数。 ③惩罚因子固定选取1。 ④容忍经验风险(不敏感区域)e可自动根据需要调整。针对高实时性情况选择
0.01 ;若要求高精度，适当放弃实时性，e根据需要选择0.05,0. 001等值。 ⑤训练中止规则。系统自动识别测试误差变化规律，且满足如下规则中任一条，即
表示训练完成。规则1 :"测试误差变化稳定(无明显振荡特征)，且当前测试误差大于1. 2*
最小测试误差";或规则2 :"迭代次数大于阈值(如100次)且连续3次测试误差变化率小
于5%"。 所述步骤(11)提到的数据输入指新的样本属性(辅助变量)，预测输出指主导变
下面用一组具体数据说明上述在线训练方法的执行过程。 假设需要测量某铜液成份含量，但测量需等待铜液冷却才能测定，难以在炼铜过 程即给出成份结果来保证产品质量。这时，需要选择一些与铜液成份相关，且可以在炼铜过 程中测量的变量(辅助变量)来推算铜液成份(主导变量)。假设铜液成份含量与某2组 温度，某3组压力，某2组可测的气体含量有关。那么其样本维数(辅助变量)7维，预测输 出(主导变量)l项。现有铜液成份，及与其相对应的辅助变量历史数据250组。以180个 样本作为训练集，70个样本作为测试集。并将辅助变量调整至-1 +1范围，主导变量调整 至0. 1 0. 9范围，每行为一组训练或测试数据，并按规范格式排布"铜成份含量，1 :温度 1，2 :温度2，3 :压力1，4 :压力2，5 :压力3， 6 :气体1含量，7 :气体2含量"。
微控制器分别读入训练集与测试集，由规范格式很容易得出样本维数=7、训练样 本数=180、测试样本数=70。这些值与状态也都会在彩屏液晶显示上实时动态显示。
可以使用自动参数设置，且适当放弃精度来保证高实时性。那么系统会自动设 置惩罚因子C二 1、径向基函数的gamma参数=1/7、不敏感区域(容忍经验风险)e = 0. 01 (实时性不同会有不同的值)，训练中止误差e =—个随机且很大的值，最大迭代次数 =20(实时性不同会有不同的值)。这些值与状态也都会在彩屏液晶显示上实时动态显示。
开始用180个样本训练模型，之后用70个样本进行测试。每次完成后得到一个测 试误差e。系统会自动跟踪e的变化，并判断是否到达训练中止条件。 若没有达到训练中止条件，继续用180个样本训练模型，之后用70个样本进行测 试，不断调整支持向量，直到满足训练中止条件。否则保存所有的支持向量与相关设置的参 数。这些值与状态也都会在彩屏液晶显示上实时动态显示。 假设结果达到的精度为1E-3精度，若可以接受则完成训练。否则若需要1E-4精 度则需要手动设置相关参数来保证，如把最大迭代次数放大到100次，e调整到更大值，如 0.005。上述参数调整并不一定能到达要求的精度，这与训练数据有很强的关系，需要很强 的经验与多次尝试。当然若知道最优的设置参数，可以完全不使用自动设置，直接开始使用 手动设置。训练的实时结果与状态也都会在彩屏液晶显示上实时动态显示。
若最后完成了训练，且精度到达预期，如1E-3误差精度。可以把状态设置从训练调到正常使用的状态。这时，根据实时输入的7个温度、压力、气体成分等辅助变量，可以立 即得到需要的铜成份。 若经过一段时间，由于新工艺或模型漂移等原因造成实际模型发生改变，导致达 不到预期精度。需要重新训练，即重复上述所有过程。 上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和 权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。
权利要求
一种基于嵌入式平台的支持向量机软测量模型在线训练系统，它主要由微控制器、存储器、人机交互接口、通信接口和信号输入输出接口等组成。其中，所述微控制器分别与存储器、人机交互接口、通信接口和信号输入输出接口相连接。
2. 根据权利要求1所述基于嵌入式平台的支持向量机软测量模型在线训练系统，其特征在于，所述人机交互接口包括按键与彩屏液晶显示，按键与彩屏液晶显示均与微控制器相连。
3. 根据权利要求1所述基于嵌入式平台的支持向量机软测量模型在线训练系统，其特征在于，所述通信接口包括RS232接口 、以太网接口和USB接口 。所述RS232接口 、以太网接口和USB接口分别与微控制器相连。所述存储器包括SDRAM与NANDFlash。所述SDRAM与NAND Flash分别与微控制器相连。
4. 根据权利要求1所述基于嵌入式平台的支持向量机软测量模型在线训练系统，其特征在于，所述信号输入输出接口包括AD输入、DA输出与数字量输入输出。所述AD输入、DA输出与数字量输入输出分别与微控制器相连。
5. —种权利要求1所述基于嵌入式平台的支持向量机软测量模型在线训练系统的训练方法，其特征在于，包括以下步骤(1) 微控制器通过信号输入输出接口或通信接口读取数据。(2) 若数据格式不规范，则进行数据规范化处理，若数据格式规范则省略此步。(3) 数据存储于存储器，并在彩屏液晶显示上动态显示。(4) 若要求手动设置相关参数则跳到第(7)步，否则自动设置参数。(5) 根据支持向量机软测量在线训练规则自动调整相关参数，直到完成训练。(6) 若训练结果的精度与实时性达到要求，则直接跳到第(9)步，否则继续。(7) 手动设置相关参数，直至完成训练。(8) 若训练结果的精度与实时性达到要求，则直接跳到第(9)步，否则回到第(7)步重新设置参数。(9) 把训练结果存储于存储器，并在彩屏液晶显示上动态显示。(10) 若有相关输出操作，通过信号输入输出接口或通信接口输出结果，否则省略此步。(11) 把训练结果应用于软测量模型，完成根据数据输入，给出预测输出。
6. 根据权利要求6所述基于嵌入式平台的支持向量机软测量模型在线训练方法，其特征在于，所述步骤(1)读取的数据包括软测量模型的主导变量与辅助变量。
7. 根据权利要求6所述基于嵌入式平台的支持向量机软测量模型在线训练方法，其特征在于，所述步骤(2)数据规范化指包含样本维数、训练样本数、测试样本数等信息，且格式上每行一组训练或测试数据，并且预测真值(主导变量)在前，范围O. 1 0.9，样本的属性(辅助变量)在后，范围-l +l，并且按照一定规律排列。
8. 根据权利要求6所述基于嵌入式平台的支持向量机软测量模型在线训练方法，其特征在于，所述步骤(4) (5) (7)提到的相关参数包含支持向量机的惩罚因子、径向基函数的gamma参数、不敏感区域(容忍经验风险)、训练中止误差等。
9. 根据权利要求6所述基于嵌入式平台的支持向量机软测量模型在线训练方法，其特征在于，所述步骤(5)提到的支 向量机软测量在线训练规则及自动调整的相关参数，包括以下几要点① 米用印silon-SVR(support vector regressor)。② 核函数选用径向基函数，其gamma参数=1/样本的维数。③ 惩罚因子固定选取1。④ 容忍经验风险(不敏感区域)e可自动根据需要调整。针对高实时性情况选择0.01 ; 若要求高精度，适当放弃实时性，e根据需要选择0.05,0. 001等值。⑤ 训练中止规则。系统自动识别测试误差变化规律，且满足如下规则中任一条，即表示 训练完成。规则1 :"测试误差变化稳定(无明显振荡特征)，且当前测试误差大于1. 2*最 小测试误差";或规则2 :"迭代次数大于阈值(如100次)且连续3次测试误差变化率小于 5%"。
10.根据权利要求6所述基于嵌入式平台的支持向量机软测量模型在线训练方法，其 特征在于，所述步骤(11)提到的数据输入指新的样本属性(辅助变量)，预测输出指主导变
全文摘要
本发明公开了一种基于双核嵌入式平台的支持向量机软测量模型在线训练系统，它主要由微控制器、存储器、人机交互接口、通信接口和信号输入输出接口等组成；本发明基于嵌入式平台的支持向量机软测量模型的在线训练方法能根据数据特征自动设置相关参数，同时支持手动设置参数，最大化的满足了实时性与智能性的要求。本系统满足便携、支持动态显示与智能分析等多项功能，通过简单直观的人机交互界面实现了复杂的操作，克服了以往系统难以实现微小化、难以决定相关训练参数、操作复杂等缺点，尤其是支持向量机算法在线训练的成功移植，对石油化工等复杂过程的软测量提供了一种低成本、便携式、高实时性的解决方案。
文档编号G06N99/00GK101706885SQ20091015462
公开日2010年5月12日 申请日期2009年11月23日 优先权日2009年11月23日
发明者宋执环, 朱懿峰, 段俊, 王健伟 申请人:浙江大学