基于TD3算法的分布式牵引底盘的驱动方法及其控制器

本发明属于车辆设计领域，具体涉及一种基于td3算法的分布式牵引底盘的驱动方法以及对应的控制器。

背景技术：

1、多样化的农业机械是实现农业现代化的基础条件，未来，随着农业装备的智能化需求和环保要求的不断深化，农业装备会逐渐向小型电动化、智能化、多功能化的方向发展。纯电动农业机械依靠动力电池输出电能，驱动电机输出动力来完成设备的各项动作。与传统燃油农业装备相较，纯电动拖拉机没有复杂的机械传动系统，结构简单。驱动系统作为纯电动拖拉机的关键部件，其稳定性和驱动控制系统操作简单将对农民使用者非常友好。农业拖拉机在传统的犁耕和旋耕作业工况下，由于受到土壤湿度、硬度、土质、往期种植作物品种、不同农艺要求等诸多因素的影响，在进行犁耕或者旋耕作业时所克服的工作阻力变化也是随机不可预见的。纯电动拖拉机在整个使用期间，如果不能有效控制驱动系统的输出功率和扭矩，首先会影响驱动系统的工作效率；例如，电机系统将长期工作在低效区间，将导致电机温度异常，能量消耗异常。其次将影响动力电池系统；流入动力电池作为纯电动装备三电系统的核心部件，如果不能长期保持在额定放电区间工作将加速电池容量衰减，影响电池系统寿命。

2、因此，及时了解纯电动拖拉机在典型作业工况下的负载变化规律，并研究最佳的驱动控制策略，对提高纯电动拖拉机的安全性、经济性，降低驱动系统故障率、促进纯电动拖拉机市场健康发展具有重要意义。

3、近些年来，随着电动汽车行业的发展，锂离子电池技术、电池管理系统技术及电机技术越来越成熟，很多的学者尝试将纯电动汽车相关技术移植在纯电动拖拉机领域，但是忽略了纯电动拖拉机的运行工况较纯电动汽车运行工况有较大区别，出现技术“水土不服”的现象。有研究者利用传统平均扭矩分配策略对电动拖拉机的驱动系统控制策略进行研究，但是对于整机能耗和前进直线行驶保持率的控制效果并不理想，后来，又有学者提出利用基于规则的智能算法来研究控制策略，但是对于上述提到的能耗和直线保持率的优化效果也不太明显，并且需要构建复杂的数学模型。综上所述，如何开发出一种更高效、更节能的纯电动农业车辆的控制策略，正成为本领域技术人员亟待解决的技术难题。

技术实现思路

1、为了解决现有电动拖拉机等农业车辆控制难度高，工况复杂，难以在车辆牵引性能和能耗间取得平衡的问题，本发明提供一种基于td3算法的分布式牵引底盘的驱动方法及其控制器。

2、本发明采用以下技术方案实现：

3、一种基于td3算法的分布式牵引底盘的驱动方法，其包括如下步骤：

4、s1：分析牵引车辆的工作需求，确定牵引底盘的结构、功能以及关键零部件的设计参数，并建立牵引底盘的三维模型。该牵引底盘采用由电池包供能并由4个轮毂电机驱动的分布式牵引底盘。

5、s2：使用有限元分析软件建立牵引底盘的前向仿真模型。前向仿真模型中包含驾驶员模型、电机模型、电池模型、底盘模型和工变阻力，进而用于仿真牵引底盘在不同工况和驱动指令下的牵引性能和能量消耗。

6、s3：创建一个基于td3算法的扭矩预测网络，其用于根据实时输入的状态信息，预测牵引车辆各轮的控制扭矩。

7、扭矩预测网络中包含六个子网络，分别为在线演员网络和在线评论家网络，以及两组目标演员网络和目标评论家网络。目标演员网络和目标评论家网络用于训练阶段对在线演员网络和在线评论家网络的网络参数进行更新；

8、s4：构造一个用于表征牵引底盘在作业状态下的扭矩分配任务的非线性多目标优化问题，其对应的状态为s，s＝{soc,p,f,v}；动作为a，a＝{t1,t2,t3,t4}；

9、其中，soc表示电池的荷电状态；p表示牵引底盘的输出功率；f表示牵引底盘所受行驶阻力；v表示牵引底盘的作业速度；t1～t4分别表示牵引底盘左前、右前、左后、右后轮的轮毂电机输出的扭矩。

10、s5：结合前向仿真模型和扭矩预测网络构建一个用于对非线性多目标优化问题进行迭代寻优的深度强化学习框架，并在迭代寻优过程中完成对扭矩预测网络的训练；

11、在深度强化学习框架中，设计一个与牵引底盘的直线偏移率和能耗相关的奖励函数，在扭矩预测网络的迭代训练过程中，利用奖励函数引导扭矩预测网络根据实时输入的状态向量st，预测下一时刻的动作指令at+1，并由前向仿真模型对预测结果进行仿真和验证。

12、s6：利用完成训练后的扭矩预测网络作为控制器，进而根据实时采集到的牵引底盘的状态向量st，生成用于表征各轮扭矩分配结果的动作指令at+1。

13、作为本发明进一步的改进，步骤s1中，牵引底盘的纵向运动方程如下：

14、

15、上式中，x为车辆的纵向位移；m为车辆质量；fx1，fx2，fx3，fx4分别表示车辆的左前轮、左后轮、右后轮、右前轮的纵向牵引力；fy1和fy4分别表示车辆的左前轮和右前轮的侧向力；δ为车轮转角；∑ft是车辆行驶过程中受到的总阻力；fa为空气阻力，ft为犁耕阻力，fr为作业时受到的滚动阻力；cd为风阻系数；af为迎风面积；ρ为空气质量密度；vx为作业速度，ξ为土壤比阻；z表示负载中的铧犁个数；bn为犁的耕作宽幅；h为犁耕深度；f表示工作环境下的滚动阻力系数；g为重力加速度。

16、作为本发明进一步的改进，在四轮独立驱动的分布是牵引底盘的设计参数中，额定牵引力为2600n；单个轮毂电机的额定功率为1.5kw，额定转矩为27n·m；电池包的额定容量为145ah。

17、作为本发明进一步的改进，步骤s2中，前向仿真模型的创建过程如下：

18、s21：驾驶员模型用于根据底盘目标速度和实际速度的差距，查询一个预设的转速-扭矩表输出需求扭矩值，然后通过调整踏板开度和刹车信号来控制实际速度跟随目标车速；进而实现对牵引底盘进行pi控制；

19、s22：通过电机厂家测得的电机扭矩和转速等数据建立二维表格，仿真软件再通过查表的方式获取所需的扭矩和转速值，进而建立所需的电机模型。

20、电机模型的输入参数为需求扭矩、电机转速和动力电池母线电压；输出参数为电机输出扭矩、功率和驱动电流。

21、s23：电池模型采用有限元分析软件提供的通用模型，电池模型的输入参数为电池负载电流、电池组容量和电池系统充放电过程温升数据，输出参数为电池输出电流大小、电池系统能量变化、电池系统电压和总能量。

22、s24：底盘模型用于对牵引底盘的最高速度、加速能力和爬坡能力进行建模；其中，加速能力方程为：

23、

24、爬坡能力数学方程为：

25、

26、上式中，a表示底盘加速度；f表示行驶阻力；ia表示底盘的爬坡度。

27、s25：引入一个正态分布的随机模块来生成工变阻力，作为际工况下的牵引阻力。

28、作为本发明进一步的改进，基于td3算法创建的扭矩预测网络中，演员网络用于根据输入的状态s生成一个对应的动作a，以使得动作a和状态s共同输入评论家网络后可以获得最高的q值；其中，演员网络的参数通过梯度反向传播方法训练更新。

29、本发明的td3算法中采用剪切双q学习、延迟策略更新和目标策略平滑处理对网络模型的结构进行优化。

30、作为本发明进一步的改进，剪切双q学习指在训练的过程中选取两个目标演员网络和目标批评家网络中的最小值用于目标策略更新；延迟策略更新指将演员网络的更新频率设置为低于批评家网络；目标策略平滑处理指在网络输出中均加入服从截断正态分布的噪声。

31、作为本发明进一步的改进，在扭矩预测网络的训练阶段，采用的损失函数为：

32、

33、上式中，qk表示第k个评论家网络的q值；k＝1，2；表示第k个评论家网络的网络参数；yk表示第k个评论家网络的目标值；t表示训练轮次，m表示训练阶段的总轮次；st表示当前动作，at表示当前状态，st+1表示下一轮的动作；qk′表示目标评论家网络的q值；表示目标评论家网络的参数；表示加入的正态分布噪声动作；r表示即时奖励；γ表示折扣因子。

34、通过修正加入的动作噪声后，目标更新如下：

35、

36、上式中，μ′表示具有给定状态的策略函数；θμ′表示策略函数的参数；ε为服从截断正态分布的噪声；σ为方差；c为剪切幅度。

37、作为本发明进一步的改进，扭矩预测网络中两个目标评论家网络的目标值y1和y2的表达式如下：

38、

39、上式中，r表示即时奖励；γ表示折扣因子；

40、作为本发明进一步的改进，步骤s5中，设计的奖励函数rt(st,at)的表达式如下：

41、

42、上式中，vx为底盘前进方向的水平移动距离，vy为左右偏移的距离；v为底盘的前进速度，vω为车轮速度，vlim为要求的最大作业速度；r1表示牵引底盘的直线偏移率；r2表示单位时间内与能耗有关的奖励；c1～c4分别表示各项的权重系数；tj表示第j个车轮的扭矩；ωj表示第j个车轮的角速度，j＝1……4；η表示轮毂电机效率；

43、本发明还包括一种控制器，其采用如前述的基于td3算法的分布式牵引底盘的驱动方法中训练出的扭矩预测网络，进而实现根据实时采集到的牵引底盘的状态向量st，生成用于表征各轮扭矩分配结果的动作指令at+1。

44、本发明提供的技术方案，具有如下有益效果：

45、本发明基于td3算法结合有限元仿真和马尔可夫决策过程的方法训练出了一个可以根据牵引底盘实时的荷电状态、输出功率、行驶阻力和作业速度自动生成四轮扭矩的网络模型。并利用该网络模型对采用轮毂电机的分布式牵引底盘的运行状态进行动态调整，进而在保障牵引底盘运行稳定性的同时，降低牵引底盘的能耗水平。

46、本发明设计的驱动方法和控制器充分考虑了牵引底盘在主要工作场景下的复杂工况(如典型的犁耕、旋耕作业)，以及影响作业设备稳定运行因素和复杂的环境因素，并保证了设备的多功能性。因而可以为纯电动拖拉机等农业机械的驱动控制策略研究提供了参考，对推动农业装备电动化、智能化的发展具有重要意义。