混合动力车辆及其控制方法与流程

本公开涉及一种车辆，并且更具体地，涉及一种配备有引擎和马达的混合动力车辆。

背景技术：

混合动力车辆使用两种或多种不同类型的动力源。例如，配备有使用化石燃料的引擎和使用电能的马达的车辆是代表性的混合动力车辆。在混合动力车辆中，根据混合动力车辆的行驶情形对驱动混合动力车辆所需的引擎和马达的电力进行适当分配的电力分配控制技术对于燃料效率的提高是非常重要的。

大批量生产的混合动力车辆的电力分配控制技术主要使用基于规则的控制战略。基于规则的控制战略使用高效率范围内的动力源并且通过控制引擎开启/关闭且根据特定值确定引擎和马达各自的操作时间而使得由于再生制动产生的能量恢复最大化、并且通过根据车辆的行驶情形控制电池的充电状态而提高车辆的燃料经济性。

除大批量生产混合动力车辆中共同使用的基于规则的控制战略之外，已经基于最优化理论对基于最优的控制战略进行了广泛地研究。直接并且间接地使用诸如动态编程原理和等效消耗最小化战略等基于最优的控制战略来建立并且制定大批量生产混合动力车辆的基于规则控制战略的规则。然而，因为基于启发法构建现有的基于规则的控制战略，所以仅即兴/直觉地确定/选择有限信息、而非严格分析具体的问题或情形的决策制定方法的进一步优化需要视混合动力车辆的动力系统的结构和驱动环境而定。此外，现有的基于最优的控制战略具有的缺点在于其由于运算负荷较大而难以用于实时控制。此外，现有的基于规则的控制和基于最优的控制战略在操作反映混合动力车辆的老化和环境变化的可变控制逻辑方面具有限制性。

技术实现要素：

因此，本公开的一方面是通过使用机器学习领域中的增强学习的q学习技术的学习而基于车辆状态信息生成最优车辆控制值。

将在下面描述中对本公开的额外方面进行部分阐述，并且从描述中，本公开的额外方面将部分显而易见，或通过实施本公开可以学习本公开的额外方面。

根据本公开的一方面，控制混合动力车辆的方法包括：获得包括电池soc信息、引擎开启/关闭信息、需求电力、车速信息、以及燃料消耗信息的车辆状态信息；使用车辆状态信息创建车辆模型信息图；基于车辆模型信息图创建q值表；并且通过基于q值表的增强学习而计算引擎和马达的电力分配控制值。

基于q值表的增强学习可以被配置为使用在两个连续周期内生成的车辆状态信息计算电力分配控制值分别作为状态值和奖励值。

方法可以还包括：对车辆模型信息图进行更新，以反映车辆状态信息的变化内容；对q值表进行更新，以反映车辆模型信息图的更新内容；并且通过基于所更新的q值表执行增强学习而执行反映车辆状态信息的变化内容的电力分配控制值的计算。

电力分配控制值是在满足需求电力的同时使得引擎和马达的能量消耗最小化的值。

根据本公开的另一方面，混合动力车辆包括：车辆状态信息获得装置，被配置为获得包括电池soc信息、引擎开启/关闭信息、需求电力、车速信息、以及燃料消耗信息的车辆状态信息；和控制器，被配置为：使用车辆状态信息创建车辆模型信息图；基于车辆模型信息图创建q值表；并且通过基于q值表的增强学习而计算引擎和马达的电力分配控制值。

基于q值表的增强学习可以被配置为使用在两个连续周期内生成的车辆状态信息计算电力分配控制值分别作为状态值和奖励值。

控制器可以被配置为：对车辆模型信息图进行更新，以反映车辆状态信息的变化内容；对q值表进行更新，以反映车辆模型信息图的更新内容；并且通过基于所更新的q值表执行增强学习而执行反映车辆状态信息的变化内容的电力分配控制值的计算。

电力分配控制值是在满足需求电力的同时使得引擎和马达的能量消耗最小化的值。

控制器可以包括电力分配计算器、q值表计算器、车辆模型信息图、以及车辆模型信息图更新器。

电力分配计算器可以被配置为使用q值表计算器的q值表而基于车辆状态信息计算引擎和马达的电力分配控制值。

q值表计算器可以被配置为根据预定算法对q值表中的值进行更新。

车辆模型信息图可以包括电池soc信息表和引擎燃料消耗信息表。

电池soc信息表可以被配置为存储电池soc信息、需求电力、以及根据车速输出的电池soc之间的关系数据。

引擎燃料消耗信息表可以被配置为存储根据需求电力确定的引擎燃料消耗量、车速、以及引擎开启/关闭信息之间的关系数据。

车辆模型信息图更新器可以被配置为使用混合动力车辆的变化驱动信息和变化车辆状态信息对车辆模型信息图的数据进行更新。

附图说明

从结合所附附图展开的实施方式的下列描述中，本公开的这些和/或其他方面将变得显而易见并且更为易于理解，其中：

图1是示出根据本公开的示例性实施方式的混合动力车辆的控制系统的示图。

图2是示出根据本公开的示例性实施方式的用于生成混合动力车辆的最优电力分配控制值的构思的示图。

图3a是示出根据本公开的示例性实施方式的存储在控制器的车辆模型信息图中的soc信息表的四维查询表的示图。

图3b是示出根据本公开的示例性实施方式的存储在控制器的车辆模型信息图中的引擎燃料消耗信息表的四维查询表的示图。

图4是示出根据本公开的示例性实施方式的用于生成混合动力车辆的最优电力分配控制值的控制方法的示图。

具体实施方式

图1是示出根据本公开的示例性实施方式的混合动力车辆的控制系统的示图。在图1中，控制器(hcu；混合动力控制单元)110基于车辆状态信息使用机器学习领域中的增强学习的q学习技术，以通过学习生成最优的车辆控制值。

如图1中示出的，控制器110可以从电池soc信息接收器132、需求电力计算器134、车速信息接收器136、引擎操作信息接收器138、以及引擎燃料消耗计算器140接收混合动力车辆的状态信息。电池soc信息接收器132、需求电力计算器134、车速信息接收器136、引擎操作信息接收器138、以及引擎燃料消耗计算器140可以是车辆状态信息获得装置。

电池soc信息接收器132可以从管理电池的电池管理系统(bms)接收电池的充电器的状态(soc)信息并且可以将所接收的soc信息发送至控制器110。

需求电力计算器134可以基于诸如混合动力车辆的加速器踏板传感器(aps)的检测信号和车速等的信息来计算混合动力车辆的需求电力并且可以将所计算的需求电力信息发送至控制器110。如下面等式1中示出的，需求电力计算器134可以通过混合动力车辆的行驶状态信息和车辆参数来计算混合动力车辆的需求电力。

<等式1>

pdem＝v·(floss+faccel)，faccel＝(mveh+ieq)·aveh，floss＝f0+f1×v+f2×v²

pdem：车辆需求电力

v：车速

floss：车辆行驶损失力

faccel：车辆加速力

mveh：车辆重量

ieq：车辆动力系统等效惯量

aveh：车辆加速器

f0、f1、f2：车辆行驶阻力系数

车速信息接收器136可以接收关于混合动力车辆的当前速度的信息，并且将所接收的速度信息发送至控制器110。

引擎操作信息接收器138可以接收引擎的实时开启/关闭状态信息，并且将所接收的引擎开启/关闭状态信息发送至控制器110。

引擎燃料消耗计算器140可以在引擎开启时计算引擎每小时的燃料消耗，并且可以将所计算的燃料消耗信息发送至控制器110。

控制器110可以包括最优电力分配计算器172、q值表计算器174、车辆模型信息图176、以及车辆模型信息图更新器178。车辆模型信息图176可以包括电池soc信息表180和引擎燃料消耗信息表182。控制器110可以通过使用基于该装置配置(或逻辑)的q学习技术的学习来生成最优电力分配控制值uk。可以将所生成的最优电力分配控制值uk发送至控制引擎和马达的低级控制系统。

最优电力分配计算器172可以基于混合动力车辆状态信息(电池soc信息、需求电力、车速、引擎开启/关闭状态信息)来计算引擎和马达的最优电力分配控制值(控制比)uk。使用q值表计算器174中的q值表来计算(得出)最优电力分配控制值(控制比)uk。

q值表计算器174可以根据预定算法对q值表中的值进行更新。通过反映车辆状态信息在两个连续周期内的变化可以对q值表进行更新。

车辆模型信息图176可以包括电池soc信息表180和引擎燃料消耗信息表182。车辆模型信息图176中的电池soc信息表180可以存储电池soc信息及根据需求电力输出的电池soc、车速、以及控制输入之间的关系数据。车辆模型信息图176中的引擎燃料消耗信息表182可以存储通过需求电力确定的引擎功耗、车速、控制输入、以及引擎开启/关闭信息的关系数据。

车辆模型信息图更新器178可以使用混合动力车辆的行驶信息和车辆状态信息(电池soc信息、需求电力、车速、引擎开启/关闭状态信息、以及引擎燃料消耗)对车辆模型信息图176的数据进行更新。通过反映两个连续周期内的变化行驶信息和变化车辆状态信息可以对车辆模型信息图更新器178进行更新。

控制器110可以使用如等式2、等式3、以及等式4中示出的最近邻算法使得所测量和所计算的值离散化，以分别使用需求电力、车速和电池soc。

<等式2>

<等式3>

<等式4>

图2是示出根据本公开的示例性实施方式的用于生成混合动力车辆的最优电力分配控制值的构思的示图。即，图2示出了通过使用机器学习领域中的增强学习的q学习技术的学习而基于混合动力车辆的状态信息生成最优车辆控制值的构思。

如图2中示出的，本公开的特征在于，通过对混合动力车辆的电力分配应用基于机器学习领域中的增强学习的q学习技术而开发的算法而通过学习使得引擎与马达的电力分配比最优化。

为此，根据本公开的实施方式的系统配置可以主要由代理、车辆模型以及环境构成。代理是执行决策制定和学习的主体，并且可以是控制器(hcu)110，该控制器是本公开的混合动力车辆中的图1中所示出的高级控制实体。环境可以是除代理之外的任意部件。例如，在根据实施方式的混合动力车辆中，环境可以包括图1中示出的电池soc信息接收器132、需求电力计算器134、车速信息接收器136、引擎操作信息接收器138，以及引擎燃料消耗计算器140。此外，尽管在附图中未示出，然而，环境可以包括从控制器110接收控制信号并且执行混合动力车辆的控制的低级控制实体，并且通过低级控制实体来控制引擎和马达。

代理可以使用q值表从混合动力车辆的当前行驶状态信息和状态变量中得出最优电力分配控制值(控制比)。q值表可以是根据车辆行驶情形来近似每个控制输入的值的表。代理可以使用q值表根据混合动力车辆的行驶状态而得出最优电力分配控制值(控制比)，以使得电力分配控制值(控制比)最优化。此外，代理可以通过使用电力分配控制值和需求电力信息来得出引擎和马达的目标扭矩值。

车辆模型可以是混合动力车辆的状态信息模型，并且是根据所选择的最优控制值来近似引擎的燃料消耗和马达的电池使用的表。可以使用混合动力车辆的行驶环境和测量值对车辆模型进行更新，由此对混合动力车辆的实际动力系统状态进行建模。

在一般的q学习中，可以通过代理与环境之间的交互对q值表进行更新。然而，在混合动力车辆中，使用车辆模型(状态信息模型)来改善控制器110的学习性能及实时控制性能。

可以对q值表进行更新，以通过代理与车辆模型之间的交互来反映混合动力车辆的行驶速度曲线的趋势。代理可以利用通过混合动力车辆的下一状态变量(+1)和奖励(+1)将指示混合动力车辆的实际行驶情形的状态变化信息和虚拟控制输入信息输入至车辆模型而获得的结果来对q值表进行更新。

在混合动力车辆中，可以通过重复该过程对q值表进行更新，以得出针对混合动力车辆的行驶环境和动力系统状态而优化的控制输入(电力分配比)。可以实时或在每个预设周期内执行q值表的更新周期。

图3示出了根据本公开的示例性实施方式的存储在控制器(hcu)110的车辆模型信息图176中的soc信息表180和引擎燃料消耗信息表182中的每一个的四维查询表。图3a是soc信息表180并且图3b是引擎燃料消耗信息表182。

如图3a中示出的，可以由下面等式5表示soc信息表180的四维查询表，并且可以由下面等式6表示引擎燃料消耗信息表182的四维查询表。

<等式5>sock+1＝＝fsoc(sock，pdem，v，u)

fsoc：电池soc的近似模型

u：电力分配控制输入(来自之前的循环)

<等式6>wfuel＝ffuel(pdem，v，eon，u)

ffuel：引擎燃料消耗的近似模型

eon：引擎开启/关闭状态信息

如下面等式7中示出的，使得在控制器110中做出的电力分配控制值最优化，以使得由燃料消耗、电池充电/放电、以及引擎开启/关闭频率限制构成的整体成本函数最小化。

g＝wfuel+β·δeon+ζ(soc)，

<等式7>

jπ(x0)：总成本值(从初始值x0开始并且遵循控制规则pi的总成本值)

e：预期值

γ：折扣率

g：即时成本值

xk：状态变量

π(xk)：基于状态变量xk的控制规则

β：引擎开启/关闭惩罚常数

δeon：引擎开启/关闭状态信息

ζ(soc)：soc值计算函数

socref：目标soc参考常数值

cpenalty：当soc小于soc最小值时的惩罚值

ξ：根据soc调节的权重常数值

图4是示出根据本公开的示例性实施方式的用于生成混合动力车辆的最优电力分配控制值的控制方法的示图。在图4示出的控制方法中，应用通过使用图2和图3中示出的增强学习的q学习技术的学习而基于图1中示出的装置配置生成最优车辆控制值的构思。

在图4中，参考标号402、404、406、以及408分别表示电池soc信息soct、引擎开启/关闭信息eon,t、需求电力pdem,t、以及车速信息vt。电池soc信息soct、引擎开启/关闭信息eon,t、需求电力pdem,t、车速信息vt分别是参考图1描述的电池soc信息接收器132、引擎操作信息接收器138、需求电力计算器134、车速信息接收器136在当前周期(时间)t接收或计算的参数值。

电池soc信息soct、引擎开启/关闭信息eon,t、需求电力pdem,t、车速信息vt可以用于车辆电力分配计算422、车辆模型信息图更新424、以及q值表计算426。分别通过参考图1描述的控制器110中的最优电力分配计算器172、q值表计算器174、以及车辆模型信息图更新器178而执行图4中的车辆电力分配计算422、车辆模型信息图更新424、以及q值表计算426。

在车辆电力分配计算422中，最优电力分配计算器172可以通过使用经由q值表计算器174的q值表计算426获得的q值表472而基于混合动力车辆状态信息(电池soc信息soct、引擎开启/关闭信息eon,t、需求电力pdem,t、车速信息vt)来计算引擎和马达的最优电力分配控制值(控制比)uk(476)。

在车辆模型信息图更新424中，可以使用两个连续周期(例如，t和t+1)内的车辆状态信息(电池soc信息、需求电力、车速、引擎开启/关闭状态信息、引擎燃料消耗)来获得新的车辆模型图482，并且可以对车辆模型信息图进行更新(484)。当在两个连续周期内的车辆模型信息的差值大于预设参考值时(在486中，是)，控制器110可以将新的车辆模型信息提供至q值表计算426中的车辆模型信息图484。

在q值表计算426中，基于全部控制输入(uk,k＝1、2、3、...)和车辆模型信息图(492、494、以及496)可以对q值表进行更新。当全部控制输入(uk,k＝1、2、3、...)的q值表的更新完成时(在498中，是)，控制器110可以在车辆电力分配计算422的操作中提供已更新的q值表。

可以将通过车辆电力分配计算422、车辆模型信息图更新424、以及q值表计算426得出的最优电力分配控制值ut,k发送至用于控制混合动力车辆的引擎和马达的低级控制系统(442)。低级控制系统可以基于所接收的已接收最优电力分配控制值ut,k执行引擎和马达的适当电力分配控制。

在图4中，参考标号462、464、470和466分别表示下一周期(时间)t+1的电池soc信息soct+1、引擎开启/关闭信息eon,t+1、燃料消耗信息wdem,t+1、以及车速信息vt+1。电池soc信息soct+1、引擎开启/关闭信息eon,t+1、燃料消耗信息wdem,t+1以及车速信息vt+1分别是参考图1描述的电池soc信息接收器132、引擎操作信息接收器138、引擎燃料消耗计算器140、车速信息接收器136在下一周期(时间)t+1接收或计算的参数值。

可以使用下一周期(时间)t+1的电池soc信息soct+1、引擎开启/关闭信息eon,t+1、燃料消耗信息wdem,t+1、以及车速信息vt+1得出下一周期(时间)t+1的的最优电力分配控制值ut+1,k。

根据本公开的示例性实施方式，提供了通过使用机器学习领域中的增强学习的q学习技术的学习而基于车辆状态信息生成最优车辆控制值的效果。

所公开的实施方式仅是技术理念的示出性，并且本领域技术人员应当认识到，在不偏离其实质特征的情况下，可以做出各种改造、改变、以及替换。因此，上面公开的示例性实施方式及所附附图并不旨在限制技术理念，而是描述技术实质，并且技术理念的范围并不受实施方式及所附附图的限制。应由下列权利要求解释保护范围，并且等同范围内的所有技术理念应被解释为包括在权利范围内。