暂时存储了能量的缓冲器，诸如，例如空调系统中的冷却的积累。其它示例包括发动机中的热量的积累，如果在模型中已知温度将在后面的间隔中降低，则通过积累热量可以允许发动机中的热量上升到正常阈值以上，因此去除了在当前时刻对冷却的需求。此外，能量缓冲器可以是正充电的诸如12V或48V的内部电池之类的电池，从而，所做出的决定可以包括使用进来的能量对电池进行充电还是将其用于其它目的，还是影响电池的负载平衡。
[0044]能量控制结果值包括什么可以取决于能量单元是什么类型的单元。在HEV车辆的情形下，其中能量单元是内燃机，该值包括为电力推进单元24供电的电池组23的荷电状态(SoC)水平。可以使用的值的其它示例是驱动功率请求水平、推进能量需求、GPS位置、速度水平、发动机温度、车厢温度、电池温度、日期、时间戳、燃料水平、排出微粒数据。可以使用这些值中的多于一个的值，以便更好地确定更新的能量使用值。
[0045]优选地，控制值的组与控制模型200相对应。图2示出了这样的控制模型，在示例中，该控制模型是以马尔可夫决策过程形式的能量单元控制模型。每个状态201-208代表在沿活动路线到目的地的旅程期间在车辆的已走过的间隔的间隔处的车辆状态。能量单元控制模型中的每次转移201A、202A、203A、205A、206A、201B、202B、203B、205B与所确定的活动路线的预先确定的间隔来控制能量单元的实例相对应。状态201、202、203、205、208具有到未来状态的两种可能的转移201A、202A、203A、205A、201B、202B、203B、205B (除了状态206，其只具有一种转移206A)，离开状态的每种转移与对可控制的单元或能量单元进行控制的不同动作相对应。在示出的示例中，使用其中内燃机对电池进行充电的HEV (混合动力电动车辆)，两种转移代表在预先确定的时间间隔期间发送并遵循的发动发动机或关闭发动机的请求。为了使能量使用模型持续改进并改善其自身，采用诸如Q-学习、即时差分学习之类的学习算法或者状态-动作-奖赏-状态-动作(SARSA)算法来确定下一次转移。这意指偶尔地，将不是为了优化能量使用而选择转移，而是为了探索马尔可夫决策过程的状态空间，其将得到更为改进的模型，该更为改进的模型从长远来看其准予更优化的能量使用。一旦已经走过活动路线的预先确定的间隔(在距离或时间上测量到的)，对在模型的先前转移期间进行控制所得到的能量单元控制结果值以及该能量单元控制结果值属于的转移进行记录。在HEV车辆的示例中，这是由控制内燃机的步骤引起的荷电状态水平或荷电状态水平的变化。随后选择下一次转移，直到活动路线已经改变或者已经到达目的地。作为确定能量单元控制值的更新的组的步骤中的部分，能量单元控制结果值在模型中反向传播，使得每个状态的价值函数准确地代表该转移的预期的总的系统性结果，从而在选择哪种转移的每次决策中，考虑全部的活动剩余路线，而不仅仅是下一次转移。这使用例如动态规划、策略迭代、值迭代来完成。由于这种任务的计算复杂性可能是相对大的，所以这优选地在远程数据位置(例如，云端)处执行。
[0046]在图2中，能量单元控制模型示出了与特定路线相对应的能量单元控制模型200的示例，其用于控制内燃机。每个状态201-208代表在沿活动路线到目的地的旅程期间在车辆的已走过的间隔的间隔处的车辆状态。最初，旅程的活动路线被确定为选择该具体的能量单元控制模型。在每个间隔通过发送发动发动机或关闭发动机的请求来对应于内燃机的控制而选择转移。随后，在车辆沿着间隔行驶时控制内燃机。每个间隔与预期结果相关联，该预期结果用于确定选择哪种转移，并因此选择如何控制发动机。图2中的一些状态被编号为201-207。这些状态中的一些状态具有两种转移201A、202A、203A、205A、206A和201B、202B、203B、205B(除了状态 206，其只有 A-转移 206A)，其中，A-转移(201A、202A、203A、205A、206A)代表发动发动机的选择，并且B-转移(201B、202B、203B、205B)代表关闭发动机的选择。旅程中的到目的地的一部分的第一个示例可能涉及进入状态201、202、203和204。这通过在预先确定的间隔处选择转移201A、202A和203B来实现。因此，对于前两个间隔发动内燃机，并对于最后的间隔关闭内燃机。旅程中的到目的地的相同部分的第二个示例可能反而涉及通过遍历转移201B、205B、和206A来进入状态201、205、206和207，借此对于前两个间隔关闭内燃机并对于最后的间隔发动内燃机。第一个示例将导致使用较多燃料，因为针对额外的间隔发动了内燃机，然而在第二个示例中，电池单元的SoC水平将降低，由于内燃机只为其再充电一个间隔。对于到目的地的旅程中的一部分将选择这些示例中的哪个示例将取决于大量因素。例如，如果在示例结束时几乎结束了旅程，则可能优选地选择较少使用内燃机但反而使用较多电池电力的示例，因为电池可能在旅程结束时具有再充电的机会。如果旅程以许多制动为特点，则可能优选地较早使用电池电力，因为可以从制动回收额外的电池电力。在某些状态中(诸如，例如其中SoC是低的)，可以禁用一种转移，并且选择可以受限于对要发动的内燃机进行控制，诸如在状态206的情形下。此外，在代表例如旅程、旅程中的部分或活动路线的结束的状态中，不存在离开该状态的转移，因为此状态被认为是最终状态，例如状态204和207。状态201并不代表唯一可能的初始状态，相反，这将取决于车辆的当前状态，例如，在开始行驶时具有较低的荷电状态，诸如当从商店行驶回家时可以意指在状态208中开始。在已经走过每个间隔之后，对选择的影响(在此示例中是电池单元的SoC水平)进行测量，并将其记录为能量单元控制结果值。此值用于确定进入每个状态的预期值，以使得每个状态包含关于引起进入该状态的全部的所预期的将来能量单元控制结果值的数据。在已经完成到目的地的旅程之后，将能量单元控制结果值发送到云计算基础设施，其中，对能量单元控制结果值进行处理，以确定针对路线的更新的能量单元控制模型。
[0047]在现实世界的场景中，控制模型200可以更大。间隔可以更短或更长或甚至是时间间隔而不是距离。被划分成100米长的间隔的15千米的通勤将需要150个间隔。此外，尽管示例使用了两种可用的不同的选择，发动发动机或关闭发动机，但另外的选择可用于其它能量单元，这将意指201、202、203、205、206中的每个状态或一些状态可具有多于两种的可用的转移 201A、202A、203A、205A、206A、201B、202B、203B、205B。
[0048]图3示出了用于管理车辆20中的能量使用的系统10。车辆包括至少一个能量单元21。在图3中示出的示例中，车辆是HEV (混合动力电动车辆)，并且能量单元是被布置对电池组23进行充电的内燃机，电池组23为用于推进车辆的电力推进单元24供电。该系统包括能量管理单元11，以及与所述能量管理单元相关联的存储单元12。该系统被布置为在车辆开始行驶时确定车辆的活动路线，从能量单元控制值的多个组中选择能量单元控制值的组，多个能量单元控制值的组基于先前已行驶路线的组并且存储在与能量管理单元相关联的存储单元中，其中，能量单元控制值的所述组中的一个能量单元控制值与所确定的活动路线的一个预先确定的间隔相对应。该系统被布置为基于能量单元控制值的组来控制至少一个能量单元，并以预先确定的间隔将与车辆的当前行驶相关的能量单元控制结果值的组记录在与能量管理单元相关联的所述存储单元中，其中，一个能量单元控制结果值与车辆已经行驶的所确定的活动路线的预先确定的间隔相对应。该系统还被布置为在行驶结束时基于能量单元控制值的所记录的组来确定实际已行驶路线的能量单元控制值的更新的组，并将所述更新的能量单元控制值存储在与能量管理单元相关联的存储单元中。
[0049]系统(10)还包括:被布置为向远程数据单元13发送能量单元控制结果值的所述组的发射机14，以及被布置为从所述远程数据单元接收能量单元控制值的更新的组的接收机15。在所示出的示例中，远程数据单元是云计算基础设施，也被称为云端或者基于云端的单元。优选地，远程数据单元被布置为在行驶结束时基于能量单元控制结果值的所述记录的组来确定实际已行驶路线的能量单元控制值的更新的组。优选地，发射机和接收机被组合成单个单元。或者，发射机和接收机可以是车辆中的部分而不是系统中的部分，在这种情形下，系统可以能够利用车辆的发射机和接收机以便与远程数据单元进行通信。作为选择，远程数据单元可以位于车辆内。
[0050]车辆还包括被布置为接收GPS位置的GPS单元22。系统10被布置为基于这些GPS位置来确定活