基于Q‑学习的四轮独立驱动电动汽车稳定性控制方法与流程

本发明属于汽车安全辅助驾驶与智能控制领域，涉及到四轮独立驱动电动汽车控制系统的设计方法，特别涉及到四轮独立驱动电动汽车稳定性控制方法。

背景技术：

随着社会的发展，能源问题越来越严峻，传统内燃机汽车已经不能满足人们对低碳环保生活的需求。电动汽车节能无污染，是真正意义上的环保汽车。四轮独立驱动电动汽车作为电动汽车的一个重要分支，越来越受到人们的关注。四轮独立驱动电动汽车实现了汽车底盘的电子化，安装在车轮附近或者轮毂内的四个电机可独立控制，智能算法得以运用，更容易实现汽车的智能化。

汽车稳定性控制系统是在汽车防抱死系统的基础上发展而来的，它的主要作用是在大的侧向加速度和大质心侧偏角的极限工况下，通过控制作用在四个车轮上的纵向力来产生横摆力矩以防止难以控制的侧滑现象，使汽车按照驾驶员的意愿行驶。目前，汽车稳定性控制系统主要应用在传统汽车上，汽车稳定性控制系统通过控制四个车轮的制动力矩产生横摆力矩，保证汽车的稳定性。针对四轮独立驱动电动汽车，汽车稳定性控制系统通过控制四个电机的输出力矩来产生横摆力矩，保证汽车的稳定性。四轮独立驱动汽车稳定性控制系统存在的主要问题是：第一，当前对四轮独立驱动电动汽车稳定性控制系统的设计主要采用智能控制算法，采用智能控制算法后，由于智能控制算法计算周期比较长，四轮独立驱动电动汽车稳定性控制系统的实时性变差。第二，当前对四轮独立驱动电动汽车稳定控制系统的设计采用的控制算法参数多为单一的，当汽车的外部条件发生变化时，汽车稳定性控制系统无法根据外部条件自动变换控制算法参数，控制系统的鲁棒性和实用性不好。

技术实现要素：

为解决现有技术存在的上述问题，本发明要设计一种既能提高电动汽车稳定性控制系统的实时性，又能提高电动汽车稳定性控制系统的鲁棒性和实用性的基于Q-学习的四轮独立驱动电动汽车稳定性控制方法。

为了实现上述目的，本发明的技术方案如下：一种基于Q-学习的四轮独立驱动电动汽车稳定性控制方法，包括以下步骤：

A、在线计算

根据实际的外部条件选择对应的最优控制参数，并利用这些参数计算得到理想的控制力矩，具体步骤如下：

A1、建立动力学模型

建立汽车的动力学模型即根据汽车的受力情况，建立汽车的动力学方程；忽略掉滚动阻力、空气阻力、坡度阻力以及汽车垂向运动的影响，四轮独立驱动电动汽车在纵向、横向以及横摆方向的动力学方程表示如下：

$m(\stackrel{\·}{V_x}-V_y\mathrm{\γ})=(F_{x1}+F_{x2}){\mathrm{cos\δ}}_f+F_{x3}+F_{x4}-(F_{y1}+F_{y2}){\mathrm{sin\δ}}_f---\left(1\right)$

$m({\stackrel{\·}{V}}_y+V_x\mathrm{\γ})=(F_{x1}+F_{x2}){\mathrm{sin\δ}}_f+(F_{y1}+F_{y2}){\mathrm{cos\δ}}_f+F_{y3}+F_{y4}---\left(2\right)$

$I_z\stackrel{\·}{\mathrm{\γ}}=l_f(F_{y1}+F_{y2}){\mathrm{cos\δ}}_f-l_r(F_{y3}+F_{y4})+\frac{l_w}{2}(F_{y1}-F_{y2}){\mathrm{sin\δ}}_f+M_x---\left(3\right)$

其中，m为汽车的质量，l_f为前轴到质心的距离，l_r为后轴到质心的距离，l_w为汽车左右车轮之间的距离；I_z为汽车绕质心横摆方向上的转动惯量，r为汽车轮胎的有效滚动半径，F_x1、F_x2、F_x3、F_x4分别为左前轮、右前轮、左后轮、右后轮轮胎所受的纵向力，F_y1、F_y2、F_y3、F_y4分别为左前轮、右前轮、左后轮、右后轮轮胎所受的侧向力，δ_f为汽车前轮转角，γ为汽车的横摆角速度，为汽车的横摆角加速度，V_x为汽车的纵向车速，为汽车的纵向加速度，V_y为汽车的侧向车速，为汽车的侧向加速度。M_x为直接横摆力矩，由四个电机的输出力矩相互作用产生，其表达式为：

$M_x=\frac{l_w}{2}(F_{x2}-F_{x1}){\mathrm{cos\δ}}_f+l_f(F_{x1}+F_{x2}){\mathrm{sin\δ}}_f+\frac{l_w}{2}(F_{x4}-F_{x3})---\left(4\right)$

A2、设计横摆力矩控制器

考虑到外部干扰时，汽车的横摆运动用如下方程表示：

$I_z\stackrel{\·}{\mathrm{\γ}}=l_f(F_{y1}+F_{y2}){\mathrm{cos\δ}}_f-l_r(F_{y3}+F_{y4})+\frac{l_w}{2}(F_{y1}-F_{y2}){\mathrm{sin\δ}}_f+M_x+M_d---\left(5\right)$

其中，M_d为由汽车所受的侧向风和路面不平产生的干扰力矩；M_d是有边界的，表示为：

M_d≤D

其中，D为干扰力矩的上边界。

采用滑模控制的方式设计横摆力矩控制器，选取的滑模面定义为：

s＝γ-γ_d

其中，γ为汽车的横摆角速度，γ_d为汽车的理想横摆角速度。

根据滑模控制原理得直接横摆力矩的计算公式如下：

$M_x=I_z{\stackrel{\·}{\mathrm{\γ}}}_d-\{l_f(F_{y1}+F_{y2}){\mathrm{cos\δ}}_f-l_r(F_{y3}+F_{y4})+\frac{l_w}{2}(F_{y1}-F_{y2})\}+I_{z}K\mathrm{sgn}\left(s\right)---\left(6\right)$

其中，K为横摆力矩控制器中的滑模控制参数，用公式表示为：

K＞D/I_z

采用离线计算的方式对滑模控制参数K进行取值。

B、离线计算

计算不同外部条件下的横摆力矩控制器中的滑模控制参数K，并将不同外部条件及其对应的横摆力矩控制器中的滑模控制参数K存储到稳定性控制系统中，具体步骤如下：

B1、产生初始粒子，初始化粒子群，将种群数量设置为n，每个粒子的维度设置为1；

B2、将初始粒子的位置数值赋值到横摆力矩控制器中的滑模控制参数K；

B3、将滑模控制参数K传递到横摆力矩控制器，横摆力矩控制器根据纵向车速和地面附着系数计算直接横摆力矩的大小；

B4、将计算得到的直接横摆力矩作用于四轮独立驱动电动汽车仿真模型，计算理想横摆角速度与实际横摆角速度的差值e(t)；

B5、理想横摆角速度与实际横摆角速度的差值越小代表粒子的适应度越好，选取差值平方的积分作为评价函数：

$f={\∫}_0^{+\mathrm{\∞}}{e}^2\left(t\right)dt$

利用该评价函数对每个粒子的适应度值进行计算，寻找个体极值与群体极值；

B6、终止条件为：最大迭代次数取为250-350或迭代精度阈值取10^-4-10^-3。当满足终止条件中任意一项时停止迭代，输出横摆力矩控制器中的滑模控制参数K，并以表格形式存储纵向车速、地面附着系数及滑模控制参数K到横摆力矩控制器；转步骤B11；若不满足终止条件，则进入到步骤B7；

B7、通过Q-学习调整惯性因子ω。选取当前粒子的位置与其个体极值的距离d₁和当前粒子的位置与其群体极值的距离d₂两个量作为Q-学习的状态，选取惯性因子ω作为Q-学习的动作，惯性因子ω的取值范围为[ω_min,ω_max]，将其平均离散为n份，得到离散的惯性因子ω的取值范围为[ω₁,ω₂,…,ω_n]，将ω₁、ω₂、…、ω_n作为Q-学习的n个动作，采用以下步骤进行Q-学习，寻找调整惯性因子ω：

B71、对于每个粒子，初始化Q-学习表格每个元素初始化为0；

B72、观察当前的状态s，一直重复做：

B721、选择一个动作a并执行它，a是ω₁、ω₂、…、ω_n中的任意一个；

B722、接收到立即回报r；

B723、观察新状态s′；

B724、对Q-学习表格按照公式(7)更新

$\hat{Q}(s,a)\←r+\mathrm{\γ}\underset{a^{\′}}{max}\hat{Q}(s^{\′},a^{\′})---\left(7\right)$

其中，为在状态s执行动作a后的更新值，r为在状态s执行动作a后的立即回报值，γ为折算因子，表示：agent在状态s′时执行下一动作a′所对应的最大Q值。agent为Q-学习中的代理。

B725、更新当前状态：s←s′

B8、经过多次迭代，当收敛到固定不变的Q时，迭代停止，最优策略产生，选取当前状态下对应的最优动作惯性因子ω作为调整惯性因子ω；

B9、每个粒子按照公式(8)、(9)更新自己的速度和位置；

$V_{id}^{k+1}={\mathrm{\ωV}}_{id}^k+c_1{r}_1(P_{id}^k-X_{id}^k)+c_2{r}_2(P_{gd}^k-X_{id}^k)---\left(8\right)$

$X_{id}^{k+1}=X_{id}^k+V_{id}^{k+1}---\left(9\right)$

其中，V_id为粒子的速度，ω为惯性因子，k为当前迭代次数，c₁和c₂是非负的常数，c称为加速度因子，r₁和r₂是分布于[0,1]区间的随机数，P_id为个体极值，P_gd为种群的群体极值，X_id为粒子的位置。

B10、将步骤B9更新的位置的数值赋值到横摆力矩控制器中的滑模控制参数K，返回到步骤B3进入下一个工作循环。

B11、将最终存储到横摆力矩控制器的纵向车速、地面附着系数及滑模控制参数K用下表表示：

表1：横摆力矩控制器中的滑模控制参数K

其中K_ij为当车速为V_i、地面附着系数为μ_i时的横摆力矩控制器中的滑模控制参数K的数值，i＝1、2、...、n,j＝1、2、...、n。

C、力矩分配

根据如下力矩分配规则将计算得到的理想的控制力矩合理的分配到四个车轮：

横摆力矩控制器根据当前的车速和地面附着系数，从表1中查询出对应的滑模控制参数K，并将滑模控制参数K输送到式(6)计算出直接横摆力矩M_x，并按以下步骤进行力矩分配：

设驾驶员输入的力矩指令为T_driver，横摆力矩控制器计算所得的直接横摆力矩为M_x，同轴左右车轮的力矩差值为ΔT＝T_right-T_left，四个车轮的工作半径为r。车轮间力矩差值产生的横摆力矩等于横摆力矩控制器产的横摆力矩，用如下方程表示:

$\mathrm{\Δ}T\frac{l_w}{r}=M_x---\left(11\right)$

选择T_driver/4为基准力矩，在基准力矩的基础上对四个车轮的力矩进行调整，使得四个车轮既能满足驾驶员要求的驱动力矩，又能产生需要的力矩差值，调整公式如下所示：

$T_1=T_3=\frac{T_{driver}}{4}-\frac{{\mathrm{rM}}_{desire}}{2l_w}---\left(12\right)$

$T_2=T_4=\frac{T_{driver}}{4}+\frac{{\mathrm{rM}}_{desire}}{2l_w}---\left(13\right)$

其中，T₁、T₂、T₃、T₄分别为分配到左前轮对应电机、右前轮对应电机、左后轮对应的电机、右后轮对应的电机的力矩。

与现有技术相比，本发明具有以下有益效果：

1、本发明提出了一种基于机器学习的四轮独立驱动电动汽车稳定性控制方法，包括在线计算、离线计算以及力矩分配，离线计算通过Q-学习的方式寻找在线计算所需的控制参数并将其存储到横摆力矩控制器中，四轮独立驱动电动汽车的横摆力矩控制器在工作时可以以查表的方式直接调用控制参数，这大大缩短了计算时间，提高了四轮独立驱动电动汽车稳定性控制系统的实时性。

本发明采用粒子群优化算法寻找最优横摆力矩控制器中的滑模控制参数K。研究表明，虽然粒子群算法有很多优点，但是容易陷入局部最优。为了避免粒子陷入局部最优，提高粒子群算法的品质，本发明采用Q-学习的方法动态调整粒子群优化算法中的惯性因子ω。

2、粒子群优化算法是计算智能领域，除了蚁群算法、鱼群算法之外的一种群体智能优化算法。传统的参数调试主要靠专家经验或者试验试错的方式来确定参数的大小，这种调试方式费时费力，尤其是在涉及到多个参数同时调试时，传统的参数调试方式很难找到最佳的参数组合。本发明的离线计算通过Q-学习及粒子群算法寻找横摆力矩控制器中的滑模控制参数K，这比依靠试错及依靠专家经验的方式更节省时间，而且寻找的最优控制器参数可靠性强。

3、本发明提出在不同外部条件下寻找最优控制参数，然后将不同外部条件及其对应的最优控制参数存储到稳定性控制系统中，当汽车的外部条件变化时，汽车稳定性控制系统根据不同的外部条件选择对应的最优控制参数，提高了控制系统的鲁棒性和实用性。

4、本发明提出的这种基于机器学习的四轮独立驱动电动汽车稳定性控制方法对传统汽车的稳定性控制系统设计具有一定的参考意义。

附图说明

本发明有附图2张，其中：

图1是本发明的总体流程图；

图2是本发明的离线计算流程图。

具体实施方式

下面结合附图对本发明进行进一步地描述。一种基于Q-学习的四轮独立驱动电动汽车稳定性控制方法流程图如图1所示，其中步骤B2流程如图2所示。

现有技术中，对四轮独立驱动电动汽车稳定性控制系统的设计主要采用智能控制算法，采用智能控制算法后，智能控制算法计算周期比较长，有时迭代一步需要几分钟的时间，这很明显不符合四轮独立驱动电动汽车稳定性控制系统对实时性的要求。本发明是采用离线计算的方式，把数据以表格的方式存储到横摆稳定性控制器中。当汽车运行时，在线计算时只需以查表的方式直接调用存储的数据即可，可以说是毫秒级的。

本发明不局限于本实施例，任何在本发明披露的技术范围内的等同构思或者改变，均列为本发明的保护范围。