一种压电陶瓷驱动器的自适应学习控制方法
【专利摘要】本发明是一种压电陶瓷驱动器的自适应学习控制方法。包括如下步骤：1）建立压电陶瓷驱动器的动态迟滞模型，设计人工神经网络与PID结合的控制方法；2）采用强化学习算法在线实现PID参数的自适应整定；3）采用一个三层径向基函数网络同时对强化学习算法中执行器的策略函数和评价器的值函数进行逼近；4）径向基函数网络第一层输入系统误差、误差的一次差分和二次差分；5）强化学习中的执行器实现系统状态到PID三个参数的映射；6）强化学习中评价器则对执行器的输出进行评判并且生成误差信号，利用该信号来更新系统的各个参数。本发明解决压电陶瓷驱动器的迟滞非线性问题，提高压电陶瓷驱动平台的重复定位精度，消除压电陶瓷的迟滞非线性对系统的影响。
【专利说明】—种压电陶瓷驱动器的自适应学习控制方法
【技术领域】
[0001]本发明是一种压电陶瓷驱动器的自适应学习控制方法，属于压电陶瓷驱动器的自适应学习控制方法的创新技术。
【背景技术】
[0002]压电陶瓷执行器具有定位精度高、驱动力大、响应速度快等优点，是目前超精密定位、微位移技术中比较理想的驱动元件。但是由于其本身固有的迟滞、非线性、蠕变等特性，使得微位移机构的重复性和精度降低，瞬态响应速度变慢，给压电陶瓷的应用造成了一定的困难。从控制设计方法上讲，提高压电陶瓷驱动器控制精度的重点和难点是克服其迟滞性的影响，目前，迟滞建模和参数辨识是主要的研究手段，如经典的Preisach模型，Prandtl-1shinskii模型等,然而，当系统的非线性结构特征难以刻画时，传统的数学建模就很难真实反映压电陶瓷的动态特性。在基于神经网络的PID控制中，一般采用监督学习进行参数优化，而监督学习中的教师信号难以获取。Barto等提出的执行器-评价器学习算法，也称为自适应启发式评价算法，是一种重要的强化学习算法，它是一种随机最优控制方法，在人工智能和智能控制等领域得到广泛应用。
【发明内容】
[0003]本发明的目的在于考虑上述问题而提供一种压电陶瓷驱动器自适应学习控制方法。本发明是建立描述压电陶瓷迟滞动态特性的数学模型，并据此模型提出一种能提高压电陶瓷驱动系统的重复定位精度的方法。
[0004]本发明的技术方案是:本发明压电陶瓷驱动器的自适应学习控制方法，包括有如下步骤:
[0005]I)首先建立压电陶瓷驱动器的动态迟滞模型，再设计人工神经网络与PID结合的控制方法；
[0006]2)采用强化学习算法在线实现PID参数的自适应整定；
[0007]3)采用一个三层径向基函数网络同时对强化学习算法中执行器的策略函数和评价器的值函数进行逼近；
[0008]4)径向基函数网络第一层为输入层，分别输入系统误差、误差的一次差分和二次差分；
[0009]5)强化学习中的执行器实现系统状态到PID三个参数的映射；
[0010]6)强化学习中评价器则对执行器的输出进行评判并且生成误差信号，利用该信号来更新系统的各个参数。
[0011]上述步骤I)人工神经网络与PID结合的控制方法具体包括如下步骤:
[0012]11)将前馈补偿PID控制算法进行离散化；
[0013]12)在反馈中，期望输入位移和实际的输出位移进行比较，所得的误差即为PID控制器的输入信号；[0014]13)误差经过状态转换器转换成为强化学习控制算法所需要的状态向量；
[0015]14)由系统误差、误差的一次差分和二次差分组成的状态向量作为人工神经网络的输入层；
[0016]15)人工神经网络的隐层节点基函数选用高斯型核函数；
[0017]16)人工神经网络的输出层由执行器和评价器两部分组成，执行器部分输出PID的参数，评价器则输出值函数，用来判断执行动作的优劣。
[0018]上述步骤I)建立动态迟滞模型的过程如下:由于压电陶瓷下一时刻的输出位移量不仅取决于当前时刻的输入电压和输出位移，还与之前输入的历史有关，并且输出与输入信号的变化率有关，而压电陶瓷的迟滞特性是有记忆性、多映射的一种强非线性现象，需要构造一种算子使迟滞曲线的多映射转化为单值映射，故构造如下迟滞算子:
[0019].1,0) = (1-(, " ){u-up)^yiuJ
[0020]其中u为驱动电压，y(u)为相应的输出位移，Up为历史输入电压的极值，y(up)为驱动电压，它是电压为Up时的输出位移值，这样就通过迟滞算子实现了将输入电压与输出位移之间的单值映射，由此就得到了压电陶瓷驱动器的动态迟滞模型。
[0021]上述步骤11)将前馈补偿PID控制算法进行离散化中的PID控制器为增量式控制器。
[0022]上述步骤3)的 径向基函数神经网络是一种多层前向神经网络。
[0023]上述压电陶瓷驱动器的控制系统采用的是一种将人工神经网络与传统的PID控制器相结合的控制方法。
[0024]上述建立动态迟滞模型的特征为:
[0025]111)由于压电陶瓷叠堆驱动器是由单片的压电陶瓷片并联而成(如图1所示)，压电陶瓷片层间使用银、石墨合金作为内电极，每隔一层的内电极形成玻璃绝缘膜，再装上外电极，形成并联连接；
[0026]112)把压电陶瓷驱动器分成历史相关的迟滞非线性部分 (r, t)和二阶线性系统部分G的串联(如图2所示)，这里的非线性部分表示迟滞特性，不是静态的，而是与历史相关的动态的迟滞特性。
[0027]上述强化学习算法是一种机器学习方法，它是一种自适应启发式评价算法，能对PID参数在线进行自适应调整。
[0028]本发明涉及一种压电陶瓷驱动器的自适应学习控制方法，该方法利用强化学习在线实现PID参数的自适应整定，采用一个径向基函数网络同时对执行器的策略函数和评价器的值函数进行逼近，径向基函数网络的输入为系统误差、误差的一次差分和二次差分，执行器实现系统状态到PID参数的映射，评价器则对执行器的输出进行评判并且生成误差信号，利用该信号来更新系统的各个参数。该方法将人工神经网络与传统的PID控制器相结合，可以较好解决压电陶瓷驱动器的迟滞非线性问题，进而提高压电陶瓷驱动平台的重复定位精度，达到消除压电陶瓷的迟滞非线性对系统的影响。本发明是一种方便实用的可压电陶瓷驱动器的自适应学习控制方法。
【专利附图】
【附图说明】
[0029]图1为压电陶瓷内部结构图；[0030]图2为压电陶瓷内部结构等效图；
[0031]图3为一种压电陶瓷驱动器自适应学习控制结构图；
[0032]图4为径向基函数网络的学习过程图。
【具体实施方式】
[0033]实施例:
[0034]本发明压电陶瓷驱动器的自适应学习控制方法，包括有如下步骤:
[0035]1)首先建立压电陶瓷驱动器的动态迟滞模型，再设计人工神经网络与PID结合的控制方法；
[0036]2)采用强化学习算法在线实现PID参数的自适应整定；
[0037]3)采用一个三层径向基函数网络同时对强化学习算法中执行器的策略函数和评价器的值函数进行逼近；
[0038]4)径向基函数网络第一层为输入层，分别输入系统误差、误差的一次差分和二次差分；
[0039]5)强化学习中的执行器实现系统状态到PID三个参数的映射；
[0040]6)强化学习中评价器则对执行器的输出进行评判并且生成误差信号，利用该信号来更新系统的各个参数。
[0041]图1为压电陶瓷内部结构图，根据如图1所示的等效结构图，可以得到如图2所示的串联效果图。若把非线性部分看成是系统的扰动，则压电陶瓷驱动器的状态方程可表示如下的数学模型:
【权利要求】
1.一种压电陶瓷驱动器的自适应学习控制方法，其特征在于包括有如下步骤: O首先建立压电陶瓷驱动器的动态迟滞模型，再设计人工神经网络与PID结合的控制方法； 2)采用强化学习算法在线实现PID参数的自适应整定； 3)采用一个三层径向基函数网络同时对强化学习算法中执行器的策略函数和评价器的值函数进行逼近； 4)径向基函数网络第一层为输入层，分别输入系统误差、误差的一次差分和二次差分； 5)强化学习中的执行器实现系统状态到PID三个参数的映射； 6)强化学习中评价器则对执行器的输出进行评判并且生成误差信号，利用该信号来更新系统的各个参数。
2.根据权利要求1所述的压电陶瓷驱动器自适应学习控制方法，其特征在于上述步骤O人工神经网络与PID结合的控制方法具体包括如下步骤: 11)将前馈补偿PID控制算法进行离散化； 12)在反馈中，期望输入位移和实际的输出位移进行比较，所得的误差即为PID控制器的输入信号； 13)误差经过状态转换器转换成为强化学习控制算法所需要的状态向量； 14)由系统误差、误差的一次差·分和二次差分组成的状态向量作为人工神经网络的输入层； 15)人工神经网络的隐层节点基函数选用高斯型核函数； 16)人工神经网络的输出层由执行器和评价器两部分组成，执行器部分输出PID的参数，评价器则输出值函数，用来判断执行动作的优劣。
3.根据权利要求1所述的压电陶瓷驱动器自适应学习控制方法，其特征在于上述步骤I)建立动态迟滞模型的过程如下:由于压电陶瓷下一时刻的输出位移量不仅取决于当前时刻的输入电压和输出位移，还与之前输入的历史有关，并且输出与输入信号的变化率有关，而压电陶瓷的迟滞特性是有记忆性、多映射的一种强非线性现象，需要构造一种算子使迟滞曲线的多映射转化为单值映射，故构造如下迟滞算子:
να/) = (1-/ "Xu-Hil)+Y(Up) 其中U为驱动电压，y(u)为相应的输出位移，Up为历史输入电压的极值，y(up)为驱动电压，它是电压为Up时的输出位移值，这样就通过迟滞算子实现了将输入电压与输出位移之间的单值映射，由此就得到了压电陶瓷驱动器的动态迟滞模型。
4.根据权利要求1所述的压电陶瓷驱动器自适应学习控制方法，其特征在于上述步骤II)将前馈补偿PID控制算法进行离散化中的PID控制器为增量式控制器。
5.根据权利要求1所述的压电陶瓷驱动器自适应学习控制方法，其特征在于上述步骤3)的径向基函数神经网络是一种多层前向神经网络。
6.根据权利要求1所述的压电陶瓷驱动器自适应学习控制方法，其特征在于上述压电陶瓷驱动器的控制系统采用的是一种将人工神经网络与传统的PID控制器相结合的控制方法。
7.根据权利要求3所述的压电陶瓷驱动器自适应学习控制方法，其特征在于上述建立动态迟滞模型的特征为: 111)由于压电陶瓷叠堆驱动器是由单片的压电陶瓷片并联而成(如图1所示)，压电陶瓷片层间使用银、石墨合金作为内电极，每隔一层的内电极形成玻璃绝缘膜，再装上外电极，形成并联连接； 112)把压电陶瓷驱动器分成历史相关的迟滞非线性部分r(r, t)和二阶线性系统部分G的串联(如图2所示)，这里的非线性部分表示迟滞特性，不是静态的，而是与历史相关的动态的迟滞特性。
8.根据权利要求1至6任一项所述的压电陶瓷驱动器自适应学习控制方法，其特征在于上述强化学习算法是一种机器学习方法，它是一种自适应启发式评价算法，能对PID参数在线进行自适应调整。
【文档编号】G05B13/04GK103853046SQ201410051865
【公开日】2014年6月11日 申请日期:2014年2月14日 优先权日:2014年2月14日
【发明者】陈学松, 陈新, 陈新度, 刘强, 李克天, 王晗, 欧阳祥波 申请人:广东工业大学