通过机器学习的车辆控制的制作方法
【技术领域】
[0001]本公开内容涉及一种用于管理车辆中的规则和策略的方法，该车辆至少包括可控制的单元。本公开内容还涉及一种用于管理车辆中的规则和策略的系统。本公开内容还涉及包括一种用于管理规则和策略的系统的车辆。
【背景技术】
[0002]车辆可以配备有若干不同的动力总成组件，其中一些组件代表改变唯一地依赖内燃机的车辆。这已经引起了诸如正在普及的电动车辆以及电力和内燃机混合驱动的车辆之类的发展。
[0003]混合动力电动车辆(HEV)是其中内燃机与电力推进系统(例如，电动机)组合以便推进车辆的车辆。在许多情形下，内燃机将以最适合于周边设备的固定的操作变量(诸如，固定的每分钟转数、RPM、以及不变的燃料喷射)来运行。对于最佳的燃料效率(电池电荷和内燃机的燃料两者)，使用内燃机的程度可能在不同的行驶场景中而不同。因此，存在对其中使用电池电力或者对电池电力进行充电的方式进行控制的兴趣。
[0004]存在对此进行控制的几种方法，其中的一种方法是测量电池组的SoC水平，并且当SoC降低到某个水平以下时，指示内燃机对电池进行充电。另一种选择是允许车辆驾驶员决定何时发动内燃机，或甚至设定内燃机发动的SoC水平。还可以例如当车辆达到高速时，或者当驾驶员通过大幅度按压油门来请求大量加速度时发动内燃机。
[0005]US20140018985A1描述了被控制为确定动力总成要使用多少电池电力的混合动力电动车辆(HEV)的动力总成。这主要基于瞬时的功率需求和电池的再充电速率来确定由动力总成产生的功率中有多少是源自发动机的并且有多少是来自电池的。此外，使可能的将来路径基于过去的行驶历史，对车辆的这些可能的将来路径上的概率分布进行预测，并且该概率分布用于降低车辆的能量消耗。此外，贝尔曼方程用作动态规划或前向搜索算法的部分，以改进能量消耗。
[0006]尽管根据US20140018985A1的动力总成可能有助于改进能量使用，但仍存在改进的空间。
【发明内容】
[0007]本发明的一个目的是提供用于管理车辆中的规则或策略的方法。本发明的另一个目的是提供用于管理车辆中的规则或策略的系统。本发明的另一个目的是提供包括用于管理规则或策略的系统的车辆。此外优选地，该方法和系统并不限于控制能量单元(诸如，例如发动机或电池)，而是适合于更通用的规则和/或策略管理。
[0008]本发明的目的通过根据权利要求的方法来实现。在用于管理车辆中的规则或策略的方法中，车辆包括至少一个可控制的单元。
[0009]方法包括:在开始行驶时确定车辆的活动路线，并且从控制值的多个所存储的组中选择控制值的组，控制值的多个组基于先前已行驶路线的组，其中，控制值的所选择的组与所确定的活动路线相对应，其中，控制值的所述组中的一个控制值与所确定的活动路线的一个预先确定的间隔相对应。方法还包括:基于控制值的所选择的组来控制至少一个可控制的单元，并且在车辆的当前行驶期间对控制结果值的组进行记录，其中，一个控制结果值与车辆已经行驶的所确定的活动路线的预先确定的间隔相对应，并且其中，控制结果值指示在预先确定的间隔期间的控制的结果。方法还包括:在行驶结束时，基于控制结果值的所述组来确定实际已行驶路线的控制值的更新的组，并且存储控制值的所述更新的组。
[0010] 根据本发明的方法允许根据控制值的所选择的组来对可控制的单元进行控制，控制值的所选择的组与车辆的所确定的活动路线相对应。这意指可以以对于例如在车辆的活动路线的行驶期间的能量节约或其它目的来说是最佳的这种方式来对可控制的单元进行控制。方法还允许记录与车辆的当前行驶相关的控制结果值，并随后将控制结果值用于确定实际已行驶路线的控制值的更新的组，其中，随后存储控制值的更新的组。以此方式，基于在旅程期间所记录的参数而实现了实际已行驶路线的更新的控制方案，借此，当再次行驶相同的路线(即，再次进行相同的旅程)时，可以使用更新的控制值来对可控制的单元进行控制，更新的控制值以更大程度上最新的和精确的指令为特征。因此，每次旅程都产生可以用于提炼出针对该具体旅程的规则和策略的更多数据。旅程可以是例如早晨的上班通勤、从超市回家的旅程、或者到机场的旅程。使用早晨的上班通勤作为示例，每次进行相同的旅程(例如，走相同的上班路线)时，与该具体旅程相对应的控制值用于以对于例如能量节约、安全或舒适来说是令人满意的方式来对可控制的单元进行控制。此外，每次进行该具体旅程时，使用在旅程期间收集到的数据参数来对与该旅程相对应的控制值进行改进。诸如通勤之类的旅程可以是存在许多困难来确定变量的复杂场景，使用方法允许基于先前的旅程和真实世界的测量的改进的规则和策略管理。模型的精度在每次进行旅程时增加，并且因此对于通常行驶的路线(举例来说，例如早晨通勤)来说可以更为准确。由于更通常地行驶这些旅程，因此，通过在针对这些旅程的对可控制的单元进行的操作中找出甚至是小的优化还将产生较大的长期优势。
[0011 ] 在本发明的一个实施例中，方法还包括:
[0012]-向远程数据单元发送控制结果值的所述组，并且
[0013]-从所述远程数据单元接收所述更新的控制值，并且
[0014]其中，在所述远程数据单元处执行基于控制结果值的所述组来确定实际已行驶路线的控制值的更新的组的所述步骤。
[0015]这允许将与旅程有关的数据的传输发送到远程数据单元，在那里进行处理以确定控制值的更新的组，并且随后使远程数据单元发送控制值的更新的组。这可以用于例如允许在确定控制值的更新的组时使用更多的处理功率。例如，远程数据单元可以装备有比车辆更大量的处理能力，并且因此，可以执行更多的需求计算或模拟来更好地确定控制值的更新的组。
[0016]在本发明的一个实施例中，车辆的至少一个可控制的单元是能量单元，并且所述规则和所述策略与管理所述能量单元的能量使用有关，并且所述控制值和控制值的组分别是与对车辆的所述能量单元进行控制有关的能量单元控制值和能量单元控制值的组。此夕卜，控制结果值的组是指示在预先确定的间隔期间的能量使用的能量单元控制结果值，并且控制值的所述更新的组是能量单元控制值的更新的组。
[0017]在本发明的一个实施例中，车辆是混合动力电动车辆，并且至少一个可控制的单元是被布置为对所述电池组进行充电的内燃机。此外，基于能量使用模型来控制至少一个能量单元的步骤可以包括通过向所述内燃机发送发动发动机或关闭发动机的请求来控制内燃机。
[0018]这允许方法用于对混合动力电动车辆(HEV)的能量使用进行控制，其中，内燃机对电池组进行充电，HEV的电动机从电池组汲取其电力。方法随后可用于基于整个行驶路线而不是仅仅例如对电池的荷电状态的短暂测量或来自用户的功率请求来对何时激活这种内燃机进行优化，并且因此通过方法实现改进的能量使用。
[0019]在本发明的一个实施例中，控制结果值的组还包括以下各项中的至少一项:驱动功率请求水平、GPS位置、速度、发动机温度、电池温度、车厢温度或时间戳。
[0020]使用另外的信息允许由方法确定更准确的控制值，进一步改进控制值。此外，使用关于例如时间戳的数据可以有助于例如确定活动路线和/或确定控制值的哪个组与活动路线相对应。作为另外的示例，时间戳可用于区分具有相同路线的控制值的不同的组，诸如，例如当在某一时间开始你早晨的通勤时使用的一组，以及如果早晨通勤的开始延迟例如30分钟所使用的不同的组。由于交通状况在两个不同的时间期间可能不同(由例如通常在特定时间期间发生的交通拥塞造成)，因此控制值的不同的组可能较适合于给定的旅程。
[0021 ] 在本发明的一个实施例中，控制值的组是控制模型。优选地，控制模型被表示为下列各项的至少一项:马尔可夫决策过程(MDP)、连续时间马尔可夫过程(CTMP)、或者转移率矩阵(TRM)。在本发明的进一步的实施例中，在对与行驶相关的数据参数的组进行记录的步骤中的预先确定的间隔与控制模型中的转移相对应。可以看到，控制结果值与通常被称为在这种MDP、CTMP或TRM中的奖赏相对应。在本发明的另一个实施例中，从一个状态到另一个状态的转移还与在该转移期间对可控制的单元的控制相对应。
[0022]使用上面提及的模型类型的中的一个来代表控制模型允许使用用于模拟、或者找出或改进这些模型类型的解决方案的已知方法来确定控制值的更新的组。
[0023]在本发明的一个实施例中，方法还包括:
[0024]-基于在预先确定的时间间隔分析出的GPS位置来确定活动路线已经改变，并且
[0025]