本发明属于能量管理系统领域，涉及到混合储能系统以及能量管理优化算法。
背景技术：
由于对温室气体排放和化石燃料消费不断增长的担忧，电动汽车的发展受到了越来越多的关注，可以预见电动汽车将在未来的交通运输中发挥重要作用。锂电池作为电动汽车的主要储能器件，其必须满足电动汽车的功率和能量需求，这导致锂电池的尺寸过大。为了提高锂电池寿命，基于锂电池和超级电容的混合储能系统被用作电动汽车的储能器件。混合储能系统具有高能量以及高功率密度互补的特性，具有较大的储能和较好的功率性能。
由于存在两个相互独立的储能器件，电动汽车的需求功率在两个储能器件之间的合理分配成为一个主要的挑战，因此，能量管理优化策略成为混合储能系统能量控制的关键。能量管理优化策略的主要目的，一是通过超级电容吸收瞬时峰值功率，减少锂电池输入输出的电量，延长锂电池的寿命；二是减少混合储能系统的能量损失，提高系统的效率；三是保证超级电容的soc始终处于合适状态，使超级电容可以及时的处理电动汽车在加速或者减速过程中产生的瞬时峰值功率。然而现有的能量管理优化策略很少将锂电池的功率变化率的限制考虑在内，使得能量控制策略并未达到最优的效果，因此能量管理优化算法的效果还有很大的提升空间。
技术实现要素：
本发明的目的是提供一种考虑功率变化率限制的混合储能系统能量管理优化方法，在马尔可夫决策过程优化算法的基础上，通过合理的限制锂电池功率的变化率，提高混合储能系统的工作效率并延长锂电池使用寿命。方案如下：
一种考虑功率变化率限制的混合储能系统能量管理优化方法，包括如下的步骤：
(1)根据电动汽车的行驶工况数据以及电动汽车的基本参数，确定电动汽车总需求功率pdem：
pdem＝pf+pa+pi
式中pf是克服滚动阻力产生的功率、pa是克服加速阻力产生的功率、pi是克服空气阻力产生的功率、pdem是电动汽车的需求功率。
(2)根据电动汽车的需求功率具有马尔可夫性，得到需求功率pdem的状态转移概率矩阵，定义需求功率的状态转移概率pdem,imj为：
式中，v为当前时刻电动汽车的速度，需求功率pdem和电动汽车速度v被离散为有限值，即i,j＝1,2,…,np；m＝1,2,…,nv，当电动汽车的速度v＝vm时，汽车在t时刻的需求功率为
(3)根据锂电池和超级电容的工作特性以及实际的工况确定各参数的范围，各参数值限定范围为：
pbat,min≤pbat≤pbat,max
puc,min≤puc≤puc,max
socuc,min≤socuc≤socuc,max
式中pbat为锂电池的功率、puc为超级电容的功率、socuc为超级电容的荷电状态。
(4)已知当前时刻的状态st＝(v(t),pdem(t),socuc(t))以及动作集a＝pbat(t)，可以根据状态转移方程求出下一时刻的状态st+1＝(v(t+1),pdem(t+1),socuc(t+1))，系统的状态转移方程为：
puc(t)＝pdem(t)-pbat(t)
式中iuc为超级电容的电流、vuc为超级电容的端电压、quc为超级电容的容量、δt为采样时间间隔。
(5)根据需求功率的状态转移概率矩阵和系统的状态转移方程，可以求出状态s的转移概率矩阵psoc,imj：
psoc,imj＝p[st+1＝socuc,j|st＝socuc,i,at＝a,v＝vm]
公式的含义是当电动汽车的速度v＝vm、储能系统采取动作at＝a时，超级电容的soc在t时刻的状态为socuc,i的情况下，在t+1时刻的状态为socuc,j的条件概率。
由需求功率pdem和锂电池功率pbat得到超级电容功率puc，进而根据当前时刻的socuc得到下一时刻的socuc；
(6)以降低系统的能量损耗和维持超级电容soc为目标，建立多目标的成本函数r，因为两个目标的优化相互矛盾，为实现均衡的优化目标，引入权重系数来实现多目标优化；
(7)已知状态s的转移概率矩阵、目标函数r和折扣因子γ，通过马尔可夫决策过程算法得到最优的策略π*(a|s)；
(8)在通过最优策略π*(a|s)确定下一时刻动作a＝pbat(t+1)时，进一步限制锂电池功率变化率δpbat：当通过最优策略确定下一时刻锂电池功率时，需要与前一时刻的锂电池功率值进行比较，若功率变化率|δpbat|小于限定值a，则功率变化率δpbat无需受到限制，下一时刻锂电池功率pbat(t+1)为有效的；若功率变化率|δpbat|大于限定值a，而此时socuc值在限定范围之内，即socuc,ref-b≤socuc≤socuc,ref+c，则功率变化率δpbat需要受到限制，下一时刻锂电池功率pbat(t+1)＝pbat(t)±a；若功率变化率|δpbat|大于限定值a，且此时socuc值超出限定范围，即socuc≤socuc,ref-b或socuc≥socuc,ref+c，则功率变化率δpbat受到的限制变小，下一时刻锂电池功率pbat(t+1)＝pbat(t)±a+0.2(δpbat±a)。其中a为功率值，b、c为socuc值，均为正数，δpbat＝pbat(t+1)-pbat(t)。
本发明的技术效果如下：
1.马尔科夫决策过程算法兼顾了动态规划求解全局最优和马尔可夫决策处理随机过程的优点，可以有效地实现混合储能系统的能量优化管理。
2.将锂电池功率的变化率的限制纳入优化策略中，改进了马尔科夫决策过程算法，进一步提高了混合储能系统的工作效率并延长了锂电池使用寿命。
附图说明
图1：udds工况速度数据。
图2：udds工况电动汽车需求功率。
图3：车速35km/h时需求功率转移概率矩阵。
图4：混合储能系统结构图。
图5：双向半桥dc/dc变换器。
图6：车速35km/h时优化策略结果。
图7：马尔可夫决策过程示意图。
图8：功率变化率的限制示意图。
图9：功率变化率限制前后电池功率。
图10：通过优化算法得到的功率分配策略。
图11：超级电容soc变化曲线。
图12：功率变化率限制前后电池衰退对比图。
具体实施方式
本发明提供了一种考虑功率变化率限制的混合储能系统能量管理优化方法，下面先概述本发明的考虑功率变化率限制的混合储能系统能量管理优化方法，包括如下的步骤：
(1)根据电动汽车的行驶工况数据以及电动汽车的基本参数，可以确定电动汽车总需求功率。汽车在平坦路面行驶时受到滚动阻力、空气阻力和加速阻力，这三个力产生的功率的和可以得到电动汽车的需求功率：
pdem＝pf+pa+pi
式中pf是克服滚动阻力产生的功率、pa是克服加速阻力产生的功率、pi是克服空气阻力产生的功率、pdem是电动汽车的需求功率。
因为需求功率具有马尔可夫性，即下一个状态仅与当前状态有关，而与以前的状态无关，所以根据马尔可夫模型可以得到需求功率pdem的状态转移概率矩阵，定义状态转移概率pdem,imj为：
式中条件概率pdem,imj是需求功率的转移概率、v为当前时刻电动汽车的速度，其中需求功率pdem和电动汽车速度v被离散为有限值。即i,j＝1,2,…,np；m＝1,2,…,nv。公式的含义是当电动汽车的速度v＝vm时，汽车在t时刻的需求功率为
(3)根据锂电池和超级电容的工作特性以及实际的工况确定各参数的范围，考虑到各器件特性的限制，使系统处于最佳工作状态，各参数值必须严格限定在设定参数范围内。则各参数范围为：
pbat,min≤pbat≤pbat,max
puc,min≤puc≤puc,max
socuc,min≤socuc≤socuc,max
式中pbat为锂电池的功率、puc为超级电容的功率、socuc为超级电容的荷电状态。
(4)已知当前时刻的状态st＝(v(t),pdem(t),socuc(t))以及动作集a＝pbat(t)，可以根据状态转移方程求出下一时刻的状态st+1＝(v(t+1),pdem(t+1),socuc(t+1))。系统的状态转移方程为：
puc(t)＝pdem(t)-pbat(t)
式中iuc为超级电容的电流、vuc为超级电容的端电压、quc为超级电容的容量、δt为采样时间间隔。
(5)根据需求功率的状态转移概率矩阵和系统的状态转移方程，可以求出状态s的转移概率矩阵。状态s的转移概率psoc,imj定义为：
psoc,imj＝p[st+1＝socuc,j|st＝socuc,i,at＝a,v＝vm]
式中条件概率psoc,imj为状态s的转移概率。公式的含义是当电动汽车的速度v＝vm、储能系统采取动作at＝a时，超级电容的soc在t时刻的状态为socuc,i的情况下，在t+1时刻的状态为socuc,j的条件概率。
由需求功率pdem和锂电池功率pbat可以得到超级电容功率puc，进而根据当前时刻的socuc得到下一时刻的socuc，可以表示为：
socuc(t+1)＝f(socuc(t),pdem(t),pbat(t))
(6)以降低系统的能量损耗和维持超级电容的soc为目标，建立多目标的成本函数，因为两个目标的优化相互矛盾，为了实现均衡的优化目标，引入权重系数来实现多目标优化。目标函数的具体表达如下：
r＝ω1rloss+ω2rsoc
式中ω1、ω2分别代表rloss、rsoc的权重系数。
(7)已知状态s的转移概率矩阵、目标函数r和折扣因子γ，可以通过马尔可夫决策过程算法得到最优的策略π*(a|s)，所谓策略π(a|s)是指状态到动作的映射，即策略π(a|s)是指在每个状态s处采取一个确定的动作a。最优策略π*(a|s)定义如下：
式中vπ(s)是状态值函数，argmax是指当∑s′∈spsoc,imjv*(s′)取最大值时，策略π(a|s)的取值，因为状态值函数是与策略π(a|s)相对应的，所以最优策略π*(a|s)可以通过最大化的状态值函数v*(s′)来决定。累计成本具有随机性，当采用策略π(a|s)时，定义累计成本在状态s处的期望值为状态值函数：
状态值函数vπ(s)是与策略π(a|s)相对应的，这是因为策略π(a|s)决定了累计成本的状态分布。
(8)通过马尔可夫决策过程算法得到最优策略π*(a|s)后，由于动作集a是离散的，同时成本函数中没有对锂电池功率pbat的变化率进行限制，这导致对锂电池功率pbat的控制结果变化过于频繁，产生一定的抖动，这对延长锂电池寿命和降低系统能量损耗十分不利。在通过最优策略π*(a|s)确定下一时刻动作a＝pbat(t+1)时，进一步限制锂电池功率变化率δpbat。
式中a为功率值，b、c为socuc值，均为正数。δpbat＝pbat(t+1)-pbat(t)。
以下结合附图和实例对本发明进行详细的描述。本发明具体实施步骤如下：
1.根据工况确定需求功率数据曲线。以udds工况为例，采样时间为1s，图1给出了udds工况的速度数据，最大行驶速度56.7km/h，行驶距离7510m，最大加速度0.924m/s2,最小加速度-0.924m/s2。根据工况中的速度数据以及电动汽车的基本参数可以求出电动汽车的需求功率，详细公式如下：
pf＝mgfv
式中f为滚动阻力系数、δ为汽车旋转质量系数、cd为空气阻力系数、a为汽车迎风面积。
图2给出了通过公式计算得出的电动汽车需求功率曲线。
2.确定需求功率转移概率矩阵。通过临近法，根据需求功率数据可以得到需求功率的转移概率矩阵，转移概率值由最大似然估计法确定，公式如下：
式中mimj表示在车速v＝m时，需求功率
采用该方法可获得不同车速下需求功率转移矩阵。此外，转移概率矩阵满足
3.根据各部件即工作特性确定系统工作范围。为了防止电池和超级电容过充过放或功率过大损害混合储能系统器件，必须对socuc以及电池和超级电容的功率进行严格限制。
在一个完整的工况过程中，超级电容释放的能量与吸收的能量几乎相等，类似于电路中的电感和电容，因此电动汽车所需的能量必须能够全部由电池提供，电池的输出功率必须能满足在平地上电动汽车以最大速度行驶时所需的功率，因此电池最大输出功率为：
根据电池特性，设定电池最大输入功率为：
超级电容主要处理电动汽车在加速或者减速过程中的瞬时峰值功率，瞬时峰值功率主要与电动汽车的加速度有关，超级电容吸收或输出的功率应大于完整的工况中克服加速度阻力产生的功率的最大值。超级电容吸收或输出的最大功率为：
puc,max＝-puc,min＝max|pa|
根据超级电容特性可知，输出电压与其soc线性相关，为了避免超级电容输出电压过低，同时也为了防止超级电容过充过放，需要对socuc进行限制。本发明设定socuc,min＝0.3、socuc,max＝0.9。
4.列出系统状态转移方程。已知当前时刻的状态st＝(v(t),pdem(t),socuc(t))以及动作集a＝pbat(t)，可以根据状态转移方程求出下一时刻的状态st+1＝(v(t+1),pdem(t+1),socuc(t+1))。系统的状态转移方程为：
puc(t)＝pdem(t)-pbat(t)
系统中各状态值皆为离散量，例如在udds工况中，车速范围为0～56.7km/h，将其离散为0、5、15、25、35、45、55的网格值，即nv＝7；需求功率的范围为-9272.25～13850.91，以500的间距离散为60个网格值，即np＝60；socuc的范围为0.3～0.9，以0.1的间距离散为60个网格值。
5.确定状态转移概率矩阵。步骤2中只是确定了需求功率状态转移概率矩阵，而要通过马尔可夫决策过程算法算出最优控制策略，就必须以需求功率状态转移概率为基础，确定在某个决策a下的状态转移概率。
根据需求功率状态转移概率矩阵和系统状态转移方程，可以求出状态s的转移概率矩阵。需求功率的随机性可以看作是干扰，因此带入了socuc状态变量的不确定性。例如在t时刻pdem＝1kw，t+1时刻pdem＝1kw的概率为0.2，pdem＝2kw的概率为0.8；可以通过状态转移方程socuc(t+1)＝socuc(t)-f(pdem(t))求出在t时刻socuc为0.5时，t+1时刻socuc为某个值的概率。例如，当pdem的值从1kw转移到2kw时，如果socuc的值从0.5转移到了0.49，那么概率psoc,0.5m0.49＝p(socuc(t+1)＝0.49|socuc(t)＝0.5)＝p(pdem(t+1)＝2kw|pdem(t)＝1kw)＝0.8。
6.确定混合储能系统结构。在本发明中，选用图4所示的混合储能系统的结构，因为它提供了操作的最大灵活性，同时最小化了从电池和超级电容到负载的转换阶段的数量，电池和超级电容的电压可以独立地保持低于直流母线的电压，此外可以充分利用超级电容内储存的能量。
选用双向半桥dc-dc变换器，电路图如图5所示。双向半桥dc-dc变换器将传统的buck电路和boost电路相结合，依靠开关管和二极管之间的切换实现能量的双向流动。该dc-dc变换器具有结构简单、易于控制、可靠性高等优点，也是目前应用最多的双向dc-dc变换器。
7.建立混合储能系统的成本函数。在马尔可夫决策过程算法中，成本函数对优化目标的实现效果起着非常重要的作用。rloss代表混合储能系统中能量损耗的成本函数，其与混合储能系统的结构相关，其表达公式为：
式中rbat、ruc分别为电池和超级电容的内阻，il为dc-dc电路中的电感电流，dboost和dbuck为电路的占空比，rsw为功率开关的导通电阻，rd为二极管的内阻，vd为二极管的导通压降，fsw＝50hz为开关频率，tr、tf分别为功率开关在打开和关闭的过程中电流上升和下降的时间。
rsoc代表socuc与参考值的差值，为了约束超级电容过度充放、保证超级电容能够随时吸收或者释放能量，socuc必须保持在某一合适的值附近，其表达公式为：
rsoc＝ω2(socuc-socuc,ref)2
式中socuc,ref为socuc的参考值，rsoc的功能是使socuc保持在socuc,ref附近波动。
降低成本函数rloss，虽然会使混合储能系统的损失降低，但会导致超级电容过度充放，socuc因此会到达甚至超过soc限制的极限。此外，由于超级电容会到达充满电的状态，制动能量也很可能无法被储存到超级电容。另一方面，降低成本函数socref，虽然可以使混合储能系统满足所有的功率需求，但会导致过高的系统能量损耗。因此，需要折中处理在两个优化目标，以达到最理想的效果。
8.通过优化算法求出最优控制策略。在得到状态s的转移概率矩阵psoc,imj、目标函数r和折扣因子γ后，可以建立状态值函数vπ(s)：
定义最优状态值函数v*(s)为在所有策略中值最大的值函数即：
车速35km/h时最优策略的计算结果如图6所示。决策过程示图如图7所示。
9.对锂电池功率pbat的变化率进行限制。通过马尔可夫决策过程算法得到最优策略π*(a|s)后，由于动作集a是离散的，同时成本函数中没有对电池功率pbat变化率进行限制，这导致对电池功率pbat的控制结果变化过于频繁，产生一定的抖动，这对延长电池寿命和降低系统能量损耗十分不利。在通过最优策略π*(a|s)确定下一时刻动作a＝pbat(t+1)时，加入对电池功率变化率δpbat的考虑。
式中a为功率值，b、c为socuc值，均为正数。δpbat＝pbat(t+1)-pbat(t)。
电池功率变化率的限制示意图如图8所示。
10.下面结合matlab仿真实验对本发明的应用效果作详细的描述。
锂电池和超级电容的功率分配仿真结果如图9、10、11、12所示,可以发现,本发明提出的一种考虑功率变化率限制的混合储能系统能量管理优化方法，用电池来满足电动汽车的功率需求,而超级电容组用于处理瞬时峰值功率并实现制动能量回收,这大大减少了整个系统的能量损耗。另一方面,超级电容处理瞬时峰值功率,使锂电池的功率在理想的范围内平稳的变化，在一定程度上延长了锂电池的使用寿命。
从仿真结果可以得出:本发明提出的考虑功率变化率限制的混合储能系统能量管理优化方法可以从全局角度进行功率分配优化,从而获得良好的综合性能,特别是在经济性能方面,从能源和锂电池两方面降低了电动汽车的运行费用。