一种电动汽车混合动力系统能量管理方法及系统

1.本发明涉及混合储能系统能量管理策略技术领域，具体地是指一种电动汽车混合动力系统能量管理方法及系统。


背景技术：

2.当今世界的能源正向新能源方向发展，包括电动汽车的发展。我国在新能源汽车方面的研究是非常积极的，主要由于传统能源的短缺危机和环境保护的客观要求，我国对国外的石油依赖度逐年提升，而此时正值汽车工业整体处于调整方向的阶段，新能源汽车是整个产业的需求。燃料电池电动汽车是一种适用于内燃机的替代品，并且其电池系统效率明显高于内燃机效率。但清洁能源汽车需要长行驶里程、安全可靠性、低成本运行等商业目的。我国的传统汽车工业尤其是乘用车起步较慢，一直处于相对落后的状态，由于早期我国在电池、电机及电控等领域的技术积累，我国在发展新能源汽车方面具备一定的条件。
3.配备储能系统的电动汽车正向清能源车辆的商业化发展。目前清能源车辆的最佳电池的能量密度约为传统汽油的10％，因此电池作为单一的储能系统无法为长距离行驶里程提供能源，相反，超级电容的充放电峰值功率很高，可以与电池相结合，为清能源汽车提供所需的能量。电动汽车电力推进系统的电流是由锂电池和超级电容在不同行驶条件下提供的。虽然了电池在清能源发电中发挥着重要作用，但锂电池与其他高功率或能量密度的储能系统混合可以为电动汽车性能指标的提高提供有效的解决方案。该复合电动汽车的辅助储能系统可以提供快速的动态载荷，延长系统寿命，吸收制动能量的再生。辅助储能系统的好处是减轻供电负担、降低电池功率波动、最小化燃料消耗、提高能源产量。储能系统的高能量密度增加了行驶里程。此外，高密度的动力源提高了车辆在不同驾驶条件下的动态性能。因此，电池汽车必须包含储能系统的各种优势，除了最佳的能量管理策略。能量管理策略的发展是关键问题之一，有效地提供电力以确保系统安全。能量管理策略涉及一些基本参数，如安全性、可靠性、电池的功率上限能力、剩余容量和电池功率波动。


技术实现要素：

4.本发明的目的在于克服现有技术中的不足之处，而提出一种经济、可靠、高效率的电动汽车混合动力系统能量管理方法及系统，以提高能量效率并保护锂电池。
5.为实现上述目的，本发明所设计的一种电动汽车混合动力系统能量管理方法，用于实现电动汽车混合动力系统的能量管理，其特殊之处在于，所述电动汽车混合动力系统包括锂电池、超级电容、双向dc/dc变换器、能量管理控制器、电机控制器和电机，所述超级电容通过双向dc/dc变换器与锂电池并联，再依次与电机控制器和电机连接，所述能量管理控制器通过can总线与锂电池双向dc/dc变换器、电机控制器连接，所述能量管理控制器根据汽车行驶状态、需求功率p
demand
、锂电池和超级电容荷电状态soc控制所述双向dc/dc变换器输出电流进行能量分配；
6.所述方法包括如下步骤：
7.1)车辆状态检测，通过电机控制器采集电机实时功率pm，判断车辆的运行状态；
8.2)采集汽车踏板信号，计算汽车需求功率p
demand
，当电机实时功率pm大于零且汽车需求功率p
demand
大于锂电池最大放电功率p
dchgmax
时转步骤3)，当电机实时功率pm大于零且汽车需求功率p
demand
小于锂电池最大放电功率p
dchgmax
时转步骤4)，当电机实时功率pm小于零时转步骤5)，；
9.3)汽车处于启动、加速或者正常形式状态，判断超级电容soc是否低于下限设定值sc
low
，是则由锂电池单独向电机控制器供电，否则由锂电池和超级电容共同向电机控制器供电；
10.4)汽车处于启动、加速或者正常形式状态，由锂电池单独向电机控制器供电，判断超级电容soc是否不高于下限设定值sc
low
，是则控制双向dc/dc变换器向超级电容充电；
11.5)汽车处于减速或者制动状态，所述能量管理控制器从电机控制器回收能量，能量管理控制器控制双向dc/dc变换器工作模式为降压模式，即电流由锂电池端流向超级电容端；
12.所述能量管理控制器采集并判断超级电容、锂电池的荷电状态soc是否高于对应的上限设定值：补充上限或下限：超级电容上限值：sc
high
，超级电容下限值sc
low
，锂电池上限值lisoc
high
，锂电池下限值lisoc
low
13.若超级电容soc不高于上限设定值sc
high
，继而判断锂电池soc是否高于上限设定值，若锂电池soc不高于上限设定值lisoc
high
，能量由锂电池和超级电容共同回收；若锂电池soc高于上限设定值lisoc
high
，能量由超级电容回收，并通过算法优化控制超级电容充电；
14.若超级电容soc高于上限设定值sc
high
，判断锂电池soc是否高于上限设定值，若锂电池soc不高于上限设定值lisoc
high
，能量由锂电池回收；若锂电池soc高于上限设定值，则锂电池和超级电容均不进行能量回收。
15.优选地，步骤3)中由锂电池和超级电容向电机控制器供电时通过ddpg算法优化控制锂电池和超级电容输出功率。
16.优选地，通过ddpg算法优化控制锂电池和超级电容输出功率的方法为：搭建actor-critic网络结构模型，根据最小化损失函数和最小化梯度函数更新模型参数，设定状态s(t)＝{p
demand
,soc
li
,socc}，包括需求功率p
demand
、锂电池荷电状态soc
li
和超级电容荷电状态socc；动作a(t)＝{p
li
,pc}，包括锂电池输出功率p
li
和超级电容输出功率pc，奖励函数r(t)，
[0017][0018]
所述奖励函数为电动汽车在状态s(t)执行动作a(t)后产生的奖励函数值，λ、m、n为惩罚权重因子，c
all
为锂电池、超级电容和双向dc/dc变换器总的功率损耗，actor-critic网络结构模型根据状态、动作以及奖励函数数据不断进行网络参数学习更新，输出下一动作优化能量分配t表示t时刻，t0表示初始时刻，r(t)表示t时刻的奖励函数。
[0019]
优选地，所述ddpg算法网络模型经过训练完成，训练时设置经验回放池d，存储历史样本数据(s(t),μ(s(t)),r(t),s(t+1))，actor-critic网络抽取数据进行训练学习，若经验回放池中d数据尚未达到上限，则将数据存入经验回放池中；否则删除完旧数据后继续
存入新数据，直到训练完成；所述能量管理控制器根据训练完成的ddpg算法网络模型控制双向dc/dc变换器处于降压恒流工作模式，锂电池单独向电机控制器供电并给超级电容恒流充电，同时判断超级电容soc是否达到设定值，当达到设定值时，双向dc/dc变换器处于降压恒压工作模式，锂电池单独供电并对超级电容进行恒压浮充，实际对超级电容不进行充电。
[0020]
优选地，所述actor-critic网络结构模型包括在线网络μ、目标网络μ
′
、在线网络q、目标网络q
′
，其中在线网络μ进行参数θ
μ
的迭代更新，根据当前状态s(t)选择输出当前动作μ(s(t))；目标网络μ
′
根据经验回放池中采样的下一状态s(t+1)选择最优下一动作μ(s(t+1))，并从在线网络μ复制更新后的参数，在线q网络进行参数θq的迭代更新，并计算当前状态s(t)下动作μ(s(t))的q值q(s(t),μ(s(t))|θq)，目标q网络计算下一状态s(t+1)的下一动作μ(s(t+1))的训练目标值y
t
＝r(t)+γq
′
(s(t+1),μ
′
(s(t+1)|θ
μ
)|θq′
)，r(t)为奖励函数，γ∈[0,1]为折中因素，影响当前评判和未来奖励，同时目标q网络从在线q网络复制更新后的参数。
[0021]
优选地，所述ddpg算法通过greedy策略采用uo随机过程引入随机干扰β
t
，模拟汽车行驶实时变化环境，将在线网络μ的输出动作μ(s(t))和随机干扰β
t
作为电动汽车控制输入量a(t)＝μ(s
t
|θ
μ
)+β
t
，优化对锂电池和超级电容功率的分配。
[0022]
优选地，所述actor-critic网络通过损失函数和最小化剃度函数来更新自身参数，在线网络q通过最小化损失函数更新，定义损失函数l为：
[0023][0024]yt
＝r
t
+γq
′
(s
t+1
,μ
′
(s
t+1
|θ
μ
′
)|θq′
)
ꢀꢀꢀ
(5)
[0025]
n为网络从经验回放池d采集的样本数量，θq、θq′
为在线网络q和目标网络q，θ
μ
′
为目标网络μ
′
，r
t
为奖励函数，γ∈[0,1]为折中因素，影响当前评判和未来奖励，引入y
t
使网络q参数更新学习更加稳定，易于收敛，在线网络μ通过最小化策略梯度更新：
[0026][0027][0028]
θ
μ
表示网络μ参数，根据状态s(t)输出动作μ(s(t))。
[0029]
优选地，在步骤3)、4)、5)中，所述能量管理控制器采用pid算法控制双向dc/dc变换器输出电流以实时控制超级电容的输出功率。
[0030]
优选地，所述能量管理控制器能量管理控制器采用pid算法控制双向dc/dc变换器输出电流的方法为：
[0031][0032]
其中u
t
为pid控制器输出信号，k
p
为比例常数，e(t)为给定电流值与双向dc/dc变换器输出电流值的差，t
t
为积分时间常数，td为微分时间常数，对式(1)pid控制率进行离散化得：t为时刻，e(t)为t时刻给定的电流值：
[0033]
[0034][0035]
其中，t为采样周期，k为采样序号；
[0036]
通过对所述双向dc/dc变换器输出电流与给定电流值误差不断校正，所述双向dc/dc变换器输出电压快速跟踪，不断给定双向dc/dc变换器输出电流，实时控制超级电容的输出功率。
[0037]
本发明还提出一种电动汽车混合动力系统，包括锂电池、超级电容、双向dc/dc变换器、能量管理控制器、电机控制器和电机，所述超级电容通过双向dc/dc变换器与锂电池并联，再依次与电机控制器和电机连接，所述能量管理控制器通过can总线与锂电池双向dc/dc变换器、电机控制器连接，其特征在于：所述系统执行上述的一种电动汽车混合动力系统能量管理方法。
[0038]
与现有技术相比，本发明设计的一种电动汽车混合动力系统能量管理方法及系统，具有如下优点：
[0039]
1、本发明采用最优化控制策略分配锂电池和超级电容功率，通过控制双向dc/dc变换器工作模式及输出电流来控制，可以提高能量效率并保护锂电池；
[0040]
2、本发明降低了实际现实世界驾驶循环中的电池峰值功率，在相同的基准计算下，计算速度更快；
[0041]
3、本发明采用ddpg算法可以得到较为精确地控制效果，实现控制锂电池峰值功率，减少功率波动，提高总效率，有效延长锂电池寿命。
附图说明
[0042]
图1为本发明的结构框图。
[0043]
图2为本发明中混合储能系统能量分配流程图。
[0044]
图3为ddpg算法流程图。
[0045]
图4为驾驶员深踩油门踏板时的能量管理策略程序示意图。
[0046]
图5为驾驶员深踩油门踏板时执行能量管理策略程序时各部件电流值示意图。
[0047]
图6为驾驶员轻踩油门踏板时的能量管理策略程序示意图。
[0048]
图7为驾驶员轻踩油门踏板时执行能量管理策略程序时各部件电流值示意图。
[0049]
图8为驾驶员不踩油门踏板或制动时各部件电流值示意图。
[0050]
图9为本发明方法的工作上位机界面。
[0051]
图10为电动汽车混合动力系统工况测试效果示意图。
具体实施方式
[0052]
以下结合附图和具体实施例对本发明作进一步的详细描述。
[0053]
本发明提出一种电动汽车混合动力系统，包括锂电池、超级电容、双向dc/dc变换器、能量管理控制器、电机控制器和电机，超级电容通过双向dc/dc变换器与锂电池并联，再依次与电机控制器和电机连接，能量管理控制器通过can总线与锂电池双向dc/dc变换器、电机控制器连接，能量管理控制器根据汽车行驶状态、需求功率p
demand
、锂电池和超级电容荷电状态soc控制所述双向dc/dc变换器输出电流进行能量分配。能量管理控制器根据驾驶
员踏板命令计算出需求功率p
demand
，输出扭矩去控制电机控制器，同时能量管理控制器通过can总线采集混合动力系统状态参数，包括锂电池电压、电流及soc值，超级电容电压、电流，以及电机实时扭矩、转速，根据能量管理方法控制双向dc/dc变换器工作模式及输出电流，并结合ddpg算法实现优化混合动力系统能量分配。
[0054]
本发明提出的一种电动汽车混合动力系统能量管理方法，包括如下步骤：
[0055]
1)启动电动汽车混合动力系统，通过能量管理控制器采集电机控制器当前电机转速、扭矩参数，得到电机实时功率pm，采集踏板信号得到需求功率p
demand
，以及锂电池和超级电容荷电状态soc。
[0056]
通过ddpg算法优化控制锂电池和超级电容输出功率的方法为：搭建actor-critic网络结构模型，根据最小化损失函数和最小化梯度函数更新模型参数，设定状态s(t)＝{p
demand
,soc
li
,socc}，包括需求功率p
demand
、锂电池荷电状态soc
li
和超级电容荷电状态socc；动作a(t)＝{p
li
,pc}，包括锂电池输出功率p
li
和超级电容输出功率pc，奖励函数r(t)，
[0057][0058]
奖励函数为电动汽车在状态s(t)执行动作a(t)后产生的奖励函数值，λ、m、n为惩罚权重因子，c
all
为锂电池、超级电容和双向dc/dc变换器总的功率损耗，actor-critic网络结构模型根据状态、动作以及奖励函数数据不断进行网络参数学习更新，输出下一动作优化能量分配。
[0059]
actor-critic网络结构模型包括在线网络μ、目标网络μ
′
、在线网络q、目标网络q
′
，其中在线网络μ进行参数θ
μ
的迭代更新，根据当前状态s(t)选择输出当前动作μ(s(t))；目标网络μ
′
根据经验回放池中采样的下一状态s(t+1)选择最优下一动作μ(s(t+1))，并从在线网络μ复制更新后的参数，在线q网络进行参数θq的迭代更新，并计算当前状态s(t)下动作μ(s(t))的q值q(s(t),μ(s(t))|θq)，目标q网络计算下一状态s(t+1)的下一动作μ(s(t+1))的训练目标值y
t
＝r(t)+γq
′
(s(t+1),μ
′
(s(t+
[0060]
1)|θ
μ
)|θq′
)，r(t)为奖励函数，γ∈[0,1]为折中因素，影响当前评判和未来奖励，同时目标q网络从在线q网络复制更新后的参数。
[0061]
2)对车辆状态进行判断，通过能量管理控制器采集电机控制器参数，分析电机实时功率pm是否大于零，若小于零，表示汽车处于减速、制动状态，若电机实时功率pm大于零，表示汽车处于启动、加速或者正常行驶状态。混合动力系统能量管理策略流程如图1所示。
[0062]
采集汽车踏板信号，计算汽车需求功率p
demand
当电机实时功率pm大于零且汽车需求功率p
demand
大于锂电池最大放电功率p
dchgmax
时转步骤3)，当电机实时功率pm大于零且汽车需求功率p
demand
小于锂电池最大放电功率p
dchgmax
时转步骤4)，当电机实时功率pm小于零时转步骤5)。
[0063]
3)当驾驶员深踩油门踏板，汽车处于启动或加速状态，pm大于零，p
demand
大于锂电池最大放电功率能量管理控制器根据ddpg算法控制双向dc/dc变换器处于升压恒流模式，定义超级电容端为低压端，电机和锂电池电流从零开始上升，双向dc/dc变换器开始电流为负，电流由超级电容流向锂电池，双向dc/dc变换器采用pid算法控制双向dc/dc变换器的电流实时跟随超级电容端电流，当超级电容端电流没有电流通过时，双向dc/dc变换
器也基本不通过电流。
[0064]
锂电池和超级电容共同供电，直到超级电容soc低于设定值，双向dc/dc变换器换为升压恒压模式，即仅由锂电池供电。能量管理策略程序及各部件电流如图4、图5所示。
[0065]
4)当驾驶员轻踩油门踏板，能量管理控制器采集电机扭矩、转速参数以及踏板信号参数可得，此时pm大于零，p
demand
小于锂电池最大放电功率汽车处于匀速正常行驶状态，由锂电池单独向电机控制器供电，判断超级电容soc是否不高于下限设定值sc
low
，是则控制双向dc/dc变换器向超级电容充电。
[0066]
能量管理控制器通过采集超级电容电压电流参数，并将这些数据作为历史样本数据输入至经验回放池d中，ddpg算法从过去经验中学习，引入经验回放，设置经验回放池d，存储历史样本数据(s(t),μ(s(t)),r(t),s(t+1))，actor-critic网络抽取小批数据进行训练学习，若经验回放池中数据尚未达到上限，则将数据存入经验回放池中；否则删除完旧数据后继续存入新数据，直到训练完成。
[0067]
actor-critic网络通过损失函数和最小化剃度函数来更新自身参数，在线网络q通过最小化损失函数更新，定义损失函数l为：
[0068][0069]yt
＝r
t
+γq
′
(s
t+1
,μ
′
(s
t+1
|θ
μ
′
)|θq′
)
ꢀꢀꢀ
(5)
[0070]
n为网络从经验回放池d采集的样本数量，θq、θq′
为在线网络q和目标网络q，θ
μ
′
为目标网络μ
′
，r
t
为奖励函数，γ∈[0,1]为折中因素，影响当前评判和未来奖励，引入y
t
使网络q参数更新学习更加稳定，易于收敛，在线网络μ通过最小化策略梯度更新：
[0071][0072][0073]
θ
μ
表示网络μ参数，根据状态s(t)输出动作μ(s(t))。
[0074]
ddpg算法通过greedy策略采用uo随机过程引入随机干扰β
t
，模拟汽车行驶实时变化环境，将在线网络μ的输出动作μ(s(t))和随机干扰β
t
作为电动汽车控制输入量a(t)＝μ(s
t
|θ
μ
)+β
t
，优化对锂电池和超级电容功率的分配。能量管理控制器根据ddpg的输出动作优化锂电池和超级电容能量分配。ddpg算法根据汽车的状态数据p
demand
、soc
li
、socc不断学习建立网络模型，汽车行驶在某一状态时，ddpg算法网络根据当前汽车状态数据s(t)包括需求功率p
demand
、锂电池荷电状态soc
li
和超级电容荷电状态socc，输出动作μ(s(t))即锂电池和超级电容功率分配p
li
,pc，结合当前环境随机干扰β
t
将锂电池和超级电容功率分配输入至能量管理控制器，能量管理控制器获取当前汽车的锂电池和超级电容功率分配，根据ddpg算法网络输入的锂电池和超级电容功率分配值p
li
,pc与当前实时值进行比较，若差值不大则能量管理控制器将ddpg算法的输出功率分配值p
li
,pc作为输出，控制锂电池和超级电容输出功率为p
li
,pc，超级电容端电流会发生变化，此时通过pid算法对双向dc/dc变换器进行控制，控制双向dc/dc变换器端电流跟随超级电容端电流变化。
[0075]
能量管理控制器根据训练完成的网络控制双向dc/dc变换器处于降压恒流工作模式，锂电池单独供电并给超级电容恒流充电，同时根据算法判断超级电容soc是否达到设定
值，当达到设定值时，双向dc/dc变换器处于降压恒压工作模式，锂电池单独供电并对超级电容进行恒压浮充，实际对超级电容不进行充电。能量管理策略程序及各部件电流大小如图6、图7所示。
[0076]
此时汽车处于正常匀速状态行驶，电机电流处于9a上下小幅波动，锂电池单独供电并给超级电容充电，双向dc/dc变换器流过电流为正，直到超级电容电量充满，双向dc/dc变换器不再有电流通过。
[0077]
5)驾驶员不踩油门踏板或踩刹车踏板时，汽车处于减速或者制动状态，能量管理控制器从电机控制器回收能量，能量管理控制器采集并判断超级电容、锂电池的荷电状态soc是否高于对应的上限设定值。设定超级电容上限值为sc
high
，超级电容下限值为sc
low
，锂电池上限值为lisoc
high
，锂电池下限值为lisoc
low
。
[0078]
若超级电容soc不高于上限设定值sc
high
，继而判断锂电池soc是否高于上限设定值，若锂电池soc不高于上限设定值lisoc
high
，能量由锂电池和超级电容共同回收；若锂电池soc高于上限设定值lisoc
high
，能量由超级电容回收，并通过算法优化控制超级电容充电；
[0079]
若超级电容soc高于上限设定值sc
high
，判断锂电池soc是否高于上限设定值，若锂电池soc不高于上限设定值lisoc
high
，能量由锂电池回收；若锂电池soc高于上限设定值，则锂电池和超级电容均不进行能量回收。
[0080]
能量管理控制器采集电机扭矩、转速参数以及踏板信号参数可得，此时pm小于零，汽车处于减速或制动状态。能量管理控制器通过采集超级电容和锂电池电压电流参数，ddpg算法网络根据此时状态参数，输出动作μ(s(t))，控制双向dc/dc变换器处于降压恒流工作模式，能量回收给锂电池和超级电容，并通过算法优化控制超级电容充电。超级电容充满电后改变双向dc/dc使处于降压恒压工作模式，对超级电容恒压浮充，实际并不对其充电。各部件电流如图8所示。
[0081]
汽车处于减速状态，电机电流从10a下降，并同时给超级电容和锂电池供电，直到超级电容电量充满。
[0082]
在步骤3)、4)、5)中，能量管理控制器采用pid算法控制双向dc/dc变换器输出电流以实时控制超级电容的输出功率。能量管理控制器能量管理控制器采用pid算法控制双向dc/dc变换器输出电流的方法为：
[0083][0084]
其中u
t
为pid控制器输出信号，k
p
为比例常数，e(t)为给定电流值与双向dc/dc变换器输出电流值的差，t
t
为积分时间常数，td为微分时间常数，对式(1)pid控制率进行离散化得：t为时刻，e(t)为t时刻给定的电流值。
[0085][0086][0087]
其中，t为采样周期，k为采样序号。
[0088]
通过对双向dc/dc变换器输出电流与给定电流值误差不断校正，所述双向dc/dc变换器输出电压快速跟踪，不断给定双向dc/dc变换器输出电流，实时控制超级电容的输出功率。
[0089]
实现本发明方法的工作上位机界面如图9所示，基于上述能量管理方法略，让混合动力系统测试平台进行udds、nedc等工况测试，所得工况图如图10所示。第一种工况下：汽车的加速和制动幅度较为明显，大多行驶在陡坡，通过超级电容和锂电池的共同供电和共同回收制动能量可以有效缓解锂电池工作于峰值功率，尽量控制在5kw以内；第二种工况下：汽车的加速和制动较平缓，锂电池和超级电容间的功率分配相对较平滑稳定：第三种工况环境较复杂，汽车行驶陡坡时通过超级电容来缓解锂电池工作于峰值功率，汽车行驶缓坡时，两者间能量分配平滑。
[0090]
通过本发明提出能量管理方法进行能量分配，超级电容具有能瞬时吸收大功率能量功能。其中采用ddpg算法可以得到较为精确地控制效果，实现控制锂电池峰值功率，减少功率波动，提高总效率，有效延长锂电池寿命。
[0091]
最后需要说明的是，以上具体实施方式仅用以说明本专利技术方案而非限制，本领域的普通技术人员应当理解，可以对本专利的技术方案进行修改或者等同替换，而不脱离本专利技术方案的精神和范围，其均应涵盖在本专利的权利要求范围当中。