一种基于强化学习的薄壁件铣削振动主动控制方法及装置

本发明属于机械加工，特别涉及一种基于强化学习的薄壁件铣削振动主动控制方法及装置。

背景技术：

1、薄壁件的生产制造是制造业进入先进阶段的代表产品，其被广泛应用于航空航天、汽车、军工等国家重要工业领域。所以对薄壁件的性能要求也非常高，轻量化，高性能已经成为薄壁件加工的必然目标。薄壁件本身在加工过程中具有以下特点：一是零件加工尺寸大且需整体完成，加工过程中的材料去除较大，这就需要提高加工效率保证加工时间，故加工过程中的切削深度和转速都较大；二是薄壁零件大多为钛合金、镍合金等难加工的高温合金，被加工件强度大硬度大，故加工过程中的切削力和切削热较大；三是薄壁零部件本身为弱刚性部件，且加工时多为悬伸件，无附加措施，故加工过程中系统刚性很差。在航空薄零件的制造过程中往往采用难加工材料进行加工制成，同时结合以上特点可以得出，薄壁件在加工过程中是极易发生振动的，当加工条件较差与工件加工参数不符合具体要求时，振动现象可能导致表面质量差、刀具磨损和其他负面影响,因此振动现象在加工过程中是应该尽力避免的。

2、目前，抑制振动方法主要分为两类，一是被动控制，二是主动及半主动控制。被动控制又叫无源控制，是不需要外部能量输入的控制方法，通过对系统的加工工艺参数(例如主轴转速，切削厚度，进给量)进行优化分析或者在系统结构上增加阻尼装置来抑制振动。主动及半主动控制又叫有源控制，是依靠外部能量输入的控制方法，通过在工件或机床上放置作动器，设计控制算法使作动器产生输出力去改变系统结构响应，并且可以随着工件的实时状态即时进行调节。

3、2019年，张定华等人在cn 110153781 a中提出抑制基于弯曲型致动器的薄壁件加工振动抑制装置及方法，通过改变致动器两端的电压，对工件施加反向作用力，以此抑制薄壁工件的振动，但是其在控制过程中所使用的控制算法比较经典，并不能适用于目前薄壁工件加工的复杂性和时变性。

4、上述研究均未提及使用q学习控制算法对压电纤维片的驱动力进行实时调节的方法，而q学习控制算法具有运算速度快，适应性强的特点，基于此，本发明提出一种基于强化学习的薄壁件铣削振动主动控制方法及装置。

技术实现思路

1、本发明的目的是克服现有技术在具有时变系统的控制器的设计、表征和控制能力方面的不足，通过使用控制器调节压电纤维片的逆压电效应，发明一种基于强化学习的薄壁件铣削振动主动控制方法及装置。该方法以薄壁件作为被控对象，压电纤维片作为作动器，通过改变施加在压电纤维片上的电压不同，使压电纤维片在工件上施加大小不同的反向作用力，以此来抑制薄壁件的振动。采用一种基于q学习算法的控制器，控制器先初始化参数，将所有的q值设为0，然后随机选择初始状态和动作，之后通过贝尔曼方程迭代，不断更新表格中的值函数，直至算法收敛，最后得到的q值是各个状态及各个动作的真实价值，然后得到最佳的振动控制效果。本发明采用压电纤维片作为作动器，具有良好的机械加工性能，灵敏度高、布置方便，且可应用于平面与曲面结构。

2、本发明采用的技术方案是：

3、一种基于强化学习的薄壁件铣削振动主动控制方法及装置，加速度传感器布置于工件表面，用于监测工件在铣削加工过程中的振动信号；将检测到的振动信号经过电荷放大器后，传递给数模转换器转换成数字量信号；数字量信号传递到计算机中作为q学习控制器的输入；q学习控制器实时计算加速度信号并将计算结果输出；计算机输出的数字量信号经过所述的数模转换器转换成模拟量信号；模拟量信号经过所述的电压放大器放大到压电纤维片所需的驱动电压，对薄壁件施加相应的抑振力。具体步骤如下：

4、第一步，建立压电纤维片驱动下的薄壁件动力学模型

5、当薄壁件受到外部铣削力时，可以将工件1视为欧拉-伯努利梁，其在铣削力的作用下振动时的振动方程为：

6、

7、其中，ei表示工件的抗弯强度，f1表示工件1受到的铣削力。

8、在压电纤维片上施加一个电压时，它将会在x和y方向上产生总量εpe的非约束应变，由于εpe在x和y方向上相同，则εx＝εy＝εpe，表达式为：

9、

10、式中，u为施加在极化方向上的电压，ha为压电纤维片的厚度，d31为压电纤维片的应变常数。

11、当压电纤维片的厚度与质量远远小于薄壁件时，且完全贴合在薄壁件上，故可以忽略压电纤维片的惯性效应和端部效应。假设压电纤维片在x和y方向上的内部力矩仅仅出现在压电片贴合范围内，表达式为：

12、mx＝my＝c0εpe[h(x-x1)-h(x-x2)][h(y-y1)-h(y-y2)]

13、式中，(x1,y1)和(x2,y2)为压电纤维片角坐标，c0＝eikf，kf为材料几何参数，表达式为：

14、

15、式中，2hb为薄壁件厚度，ha为压电纤维片的厚度。

16、此处h(·)为单位阶跃函数，定义为：

17、

18、将力矩分别带入薄壁件运动方程，求解微分算子并将压电项移至等式右边，则最终薄壁件动力学方程表达式为：

19、

20、式中，为拉普拉斯算子，δ`(·)为狄拉克δ函数对相角的导数。

21、简化为：

22、

23、式中，u表示施加电压，

24、

25、第二步，设计薄壁件铣削振动的q学习控制器

26、该q学习算法的中心思想为通过每一步的学习获得相应的立即奖励值rt，利用立即奖励值与下一状态的q值不断循环计算逼近真实的状态—动作对函数q(s,a)，从而利用完整的q函数信息(q表格)可以在状态s下选择q值最大的动作a。q函数的迭代公式为：

27、

28、其中q(st,at)为在状态st时选择控制动作at后达到目标状态时可以获得的总奖励值，r(st,at)为状态st时选择控制动作at后到达下一个状态st+1所获得的立即奖励，q(st+1,at+1)为在状态st+1时选择控制动作at+1后达到目标状态时可以获得的总奖励值。αα为学习速率参数，γ为后续状态价值衰减系数。参数α的大小影响学习过程的稳定性以及学习速度的快慢程度。α减小时学习过程变的更稳定，但是q函数更新变得更慢。γ参数的大小决定了对后续奖励大小的重视程度。γ变大时表示更加重视后续的奖励。

29、使用q学习控制器对薄壁件进行振动控制时，首先要定义强化学习中的三个基本要素，分别是状态、动作、奖励函数。

30、(1)状态定义：位移—速度对(xt,vt)同时确定了物体在t时刻所处的位置和此时物体是上升还是下降过程，因此可对状态进行唯一表示。因此本研究定义状态空间为s＝(x,v)。

31、(2)动作定义：由于本研究用压电片作为执行器，控制输出为控制电压u，因此控制动作a就定义为控制电压u，动作空间为a＝u

32、(3)奖励函数定义：对于振动控制而言，若干扰载荷为脉冲式载荷，则希望振动位移随时间变化能够快速衰减下来，即振动过程中位移尽可能小。对于周期性干扰载荷，则希望振动幅值能够尽可能的小，即振动过程中速度尽可能小。基于以上控制目标，将奖励函数设置为：

33、r＝-k1|x|-k2|v|

34、其中，k1、k2为比例缩放系数，x、v为振动过程中位移和速度。强化学习中希望获得的奖励值越大越好，而振动控制希望x、v的值越小越好，因此比例系数前取负号。

35、由于q学习算法要求状态空间和动作空间所包含的元素必须是有限的，采用等分法建立变量的离散空间对位移、速度、控制电压进行离散处理以降低控制算法包含的空间维数。

36、位移物理量离散方式为选取振动过程的最大值xmax和最小值xmin，并在最大值与最小值之间等分nx份，则位移离散空间包含nx+1个元素，分别为其中

37、在速度物理量分别为其中

38、在控制电压物理量分别为其中

39、状态空间s由位移和速度两个物理量构成，因此状态空间包含了(nx+1)(nv+1)，分别为：

40、

41、由于动作空间就是电压空间，因此动作空间为：

42、

43、第三步，薄壁件铣削振动的q学习控制器的调控方式

44、当薄壁件与刀具进行相互作用时，薄壁件的夹持端呈完全固定状态，位于薄壁件非加工表面的压电纤维片提供控制力，位于薄壁件顶端位置的加速度传感器检测此处的位移变化。整个控制回路过程为：在薄壁件的加工位置接触到刀具时，加速度传感器检测薄壁件加工处的位移变化大小和快慢并提交给q学习控制器，q学习控制器计算出控制量后经过功率放大器将控制量输送给压电作动层使其作出相应的控制动作。

45、第四步，搭建薄壁件铣削振动的q学习控制系统所需的硬件设备

46、薄壁件铣削振动的q学习控制系统包括夹具、电压放大器、计算机、电荷放大器、数模转换器、加速度传感器、机床主轴、铣刀、工件、压电纤维片。

47、所述加速度传感器与薄壁件连接，用于检测工件在铣削加工过程中的振动信号，所述电荷放大器将获取的电压信号放大，数模转换器将获取的模拟量信号转换为数字量信号，数字量信号传到所述计算机，计算机通过q学习控制器得出实时变化的驱动信号；驱动信号经过数模转换器变成模拟量信号，模拟量信号通过所述电压放大器放大，用于驱动压电纤维片，通过改变驱动电压改变压电纤维片的驱动力。

48、本发明的进一步技术方案是：所述夹具将薄壁件工件固定成侧铣状态，压电纤维片可以通过胶水的固定在薄壁件靠近夹持端，使薄壁件的自由端可以产生最大的振动幅值。

49、本发明的进一步技术方案是：所述加速度传感器是固定在薄壁件的非加工表面。

50、本发明最为突出的特点和显著的有益效果是：

51、(1)本发明采用压电纤维片作为作动器，具有良好的机械加工性能、灵敏度高、响应速度快、单位体积应变能大等特点，适用于复杂形状薄壁件的加工空间。

52、(2)本发明压电纤维片的使用功耗小、价格低廉、使用成本低。

53、(3)本发明压电纤维片以便通过胶水固定，安装方便，适用于实际加工，不会带来工件整体夹持方式的改变。

54、(4)本发明在控制策略上采用q学习控制器，对薄壁件的状态空间与动作空间进行离散化处理，分析学习效率参数、后续状态价值函数衰减参数的变化对控制效果的影响，在控制时精度高，尤其适用于薄壁件加工过程中的复杂性和时变性。