基于时空注意机制图卷积网络的车辆油耗预测方法及系统

1.本发明涉及车辆油耗预测技术领域，尤其涉及一种基于时空注意机制图卷积网络的车辆油耗预测方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.随着车辆使用率的不断增加，汽油和柴油动力车辆的燃油消耗不仅增加了石油资源的需求，给能源方面带来了更大的需求压力，而且车辆燃油带来的尾气排放污染也是造成空气污染的主要原因之一。因此，通过建立合理的油耗分析与预测模型来节省车辆油耗具有非常重要的现实意义。
4.当前的油耗预测方法大多基于车辆行驶工况的历史数据，首先利用因素与油耗之间线性关系的强度来确立因素与油耗的影响关系，选取相关性强的因素来建立多元线性回归模型或时间序列预测模型进而对不同路线的燃油消耗量进行预测。如采用卷积神经网络(cnn)来有效地提取网格数据的空间特征或利用图卷积神经网络(gcn)来描述基于图的数据的空间相关性等。然而该类方法仅使用线性方法来确定哪些因素会对油耗产生影响是不准确的，事实上油耗与影响因素之间存在着复杂的、非线性的相关关系；并且该类方法不能同时对车辆运行状态数据的时空特征和动态相关性进行建模，致使油耗预测结果不够准确。
5.同时也有一部分研究是直接从驾驶行为入手，建立不同驾驶行为与相应油耗特征之间的关系模型，基于深度学习的方法来对油耗进行分析与预测。上述方法虽然已经取得了一定成果，但都没有将车辆行驶状态数据中油耗的影响因素全面的考虑在内；其次，它们大多直接考虑各因素对油耗产生的影响，而忽略了因素之间也存在着相互影响且可能间接影响油耗。


技术实现要素：

6.为了解决上述问题，本发明提出了一种基于时空注意机制图卷积网络的车辆油耗预测方法及系统，根据车辆行驶状态数据对下一个时间段的油耗进行预测，使司机可根据该预测值及时地修正其驾驶行为，进而达到全行驶过程省油的目的。
7.在一些实施方式中，采用如下技术方案：
8.一种基于时空注意机制图卷积网络的车辆油耗预测方法，包括：
9.获取车辆行驶状态数据，确定输入因素，动态学习各输入因素之间的相关关系，构建各输入因素与油耗之间的关联图结构；
10.基于所述关联图结构和过去t个时间段的车辆行驶状态时间序列数据，采用基于邻居注意的图卷积网络进行时空特征学习，以捕获各输入因素与油耗之间的空间依赖性；
11.所述基于邻居注意的图卷积网络的输出依次经过门控循环单元gru和
transformer层，实现对历史车辆行驶状态数据在时间维度上的局部依赖和全局依赖的捕获；
12.基于所述transformer层的输出，以及训练好的多层前馈神经网络模型，得到未来设定时段的油耗预测结果。
13.在另一些实施方式中，采用如下技术方案：
14.一种基于时空注意机制图卷积网络的车辆油耗预测系统，包括：
15.油耗影响因素关联图表示模块，用于获取车辆行驶状态数据，确定输入因素，动态学习各输入因素之间的相关关系，构建各输入因素与油耗之间的关联图结构；
16.油耗时空特征学习模块，用于基于所述关联图结构和过去t个时间段的车辆行驶状态时间序列数据，采用基于邻居注意的图卷积网络进行时空特征学习，以捕获各输入因素与油耗之间的空间依赖性；将所述邻居注意的图卷积网络的输出依次经过门控循环单元gru和transformer层，实现对历史车辆行驶状态数据在时间维度上的局部依赖和全局依赖的捕获；
17.油耗预测结果输出模块，基于所述transformer层的输出，以及训练好的多层前馈神经网络模型，得到未来设定时段的油耗预测结果。
18.与现有技术相比，本发明的有益效果是：
19.(1)本发明根据司机行驶状态数据对下一个时间段的油耗进行预测，使司机可根据该预测值及时地修正其驾驶行为，进而达到全行驶过程省油的目的。
20.本发明在得到的车辆行驶状态数据中，将油耗和其他因素置于同等重要的地位，能够更贴近现实情况，利于下一步更好地挖掘因素与因素之间，因素与油耗之间的空间依赖性。
21.(2)本发明为了更好的探究不同影响因素之间的非线性关系，为每个输入因素引入一个嵌入向量来表示，这些嵌入向量将会被随机初始化，并与模型的其余部分一起训练。这些嵌入向量之间的相似性可以初步表明因素之间的相似性，所以在图关联结构学习时能够使用这些嵌入向量来确定哪些因素之间是相互关联的。
22.(3)本发明采用基于邻居注意的图卷积网络模块(nagcn)来捕获各因素之间复杂的空间依赖性。针对传统的油耗预测模型在时间特征学习过程中存在的不足，提出了一个由门控循环单元gru和transformer层组成的时间依赖建模模块，实现对历史车辆行驶状态数据在时间维度上的局部依赖和全局依赖的捕获。
23.本发明的其他特征和附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本方面的实践了解到。
附图说明
24.图1为本发明实施例中的基于时空注意机制图卷积网络的车辆油耗预测方法过程示意图；
25.图2为本发明实施例中的基于邻居注意的图卷积网络结构示意图；
26.图3为本发明实施例中的transformer层结构示意图。
具体实施方式
27.应该指出，以下详细说明都是例示性的，旨在对本技术提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
28.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
29.实施例一
30.背景技术中已经指出，现有的基于车辆行驶工况和道路特征的油耗分析与预测方法没有充分考虑影响因素之间的相互影响关系以及对油耗的直接和间接影响，以及现有的油耗预测方法忽略了车辆历史行驶状态数据在时间维度上的局部及全局的相关性。
31.基于此，在一个或多个实施方式中，公开了一种基于时空注意机制图卷积网络的油耗预测方法，该方法为解决缺乏油耗与影响因素先验关系图的问题，首先利用了图结构学习层从输入数据中动态地学习各因素之间的关系，然后基于该图结构设计了基于一阶邻居注意机制图卷积网络和基于二阶邻居注意机制图卷积网络来对油耗影响因素间的空间相关性进行全面的捕获。之后利用门控循环单元gru以及transformer层捕获车辆行驶状态数据在时间维度上的局部及全局依赖关系，最后通过预测模块对下一个时间段的油耗值进行准确地预测。
32.具体地，结合图1，本实施例中的基于时空注意机制图卷积网络的油耗预测方法，具体包括如下过程：
33.(1)获取车辆行驶状态数据，确定输入因素，动态学习各输入因素之间的相关关系，构建各输入因素与油耗之间的关联图结构；
34.本实施例中，将车辆速度、发动机转速、扭矩、水温、冷却液温度、加速度、油箱液位及油耗等数据作为输入因素。
35.在缺失由先验知识定义的油耗和其影响因素的关联图的情况下，根据输入的车辆行驶状态数据动态地学习各输入因素之间的相互影响关系，进而确定影响油耗的因素，初步构造油耗影响因素关联图结构。具体分为以下步骤：
36.①
影响因素的嵌入向量表示。
37.在车辆运行状态数据中，不同因素有着不同的特性且不同的因素之间可能存在着复杂的非线性关系。为了更好的探究不同影响因素之间的非线性关系，首先，为灵活的表示每一个输入因素的特征，为每个因素均引入一个嵌入向量来表示，即：
38.vi∈rd，fori∈{1,2,...n}
39.这些嵌入向量将会被随机初始化，并与模型的其余部分一起训练。我们认为，这些嵌入向量之间的相似性可以初步表明因素之间的相似性，所以在图结构学习时使用这些嵌入向量来确定哪些因素之间是相互关联的。
40.(2)基于嵌入向量相似度计算确定各因素(包含油耗)之间的相关性。
41.通过对影响因素嵌入向量之间的相似度计算，来确定各影响因素之间的关联结构。详细来说，使用无向图来描述因素之间的关系，其中节点表示油耗及其他影响因素，边
表示因素之间的依赖关系，并用一个邻接矩阵a来表示这个无向图。由于对原始数据缺失了关于因素之间的相关性的先验知识，那么对于每个因素i，它可能依赖的候选节点是除了自身之外的完整集，记为ci。
42.进一步地，通过计算i的嵌入向量与其候选向量j的嵌入向量之间的相似度来表示i因素与其他因素之间的依赖关系：
[0043][0044]
③
构建各输入因素与油耗之间的关联图结构。
[0045]
对每一个因素重复以上步骤，首先计算e
ij
，即因素i的嵌入向量与其候选向量j∈ci之间的归一化点积。但由于某些因素之间计算出来的相似度极小，可以忽略不计，故选择topk个这样的归一化点积，k的值可以由稀疏级别来自行定义。这样得到最终的邻接矩阵a，即油耗与其他因素之间的关联图结构。
[0046]aij
＝e
ij
{j∈topk({e
ik
:k∈ci})}
[0047]
此外，在油耗分析模块中并没有以油耗为中心点，仅仅只分析其他因素与油耗之间的相关程度。我们认为，在得到的车辆行驶状态数据中，只有将油耗和其他因素置于同等重要的地位，才能更贴近现实情况，才有利于下一步更好地挖掘因素与因素之间，因素与油耗之间的空间依赖性。
[0048]
基于上述三个步骤，将会得到反映车辆行驶状态的输入因素之间、输入因素与油耗之间关系的关联图。
[0049]
(2)基于所述关联图结构和过去t个时间段的车辆行驶状态时间序列数据，采用基于邻居注意的图卷积网络进行油耗时空特征学习，以捕获各输入因素之间的空间依赖性；
[0050]
本实施例结合油耗影响因素关联图表示部分从输入数据中动态学习得到的关联图，通过时空特征学习来对历史车辆行驶状态数据中的影响因素与油耗之间的时空依赖关系进行融合，具体流程如下：
[0051]
①
基于邻居注意图卷积网络的空间特征学习。
[0052]
基于图结构表示层，根据输入因素特征向量之间的相似性初步学习到了因素之间的联系。但由于车辆的运行状态数据是动态非线性变化的，因此准确的油耗预测需要对各因素之间的动态空间相关性进行更加深入的建模。基于此，我们进一步提出了基于邻居注意的图卷积网络模块(nagcn)来捕获各因素之间复杂的空间依赖性。
[0053]
具体来说，基于邻居注意图卷积网络的空间特征学习模块的输入是由过去t个时间段的车辆行驶状态时间序列数据{x1,x2,
…
,x
t
}和上一节经过图结构学习得到的邻接矩阵a，将每个时间段对应的数据向量和邻接矩阵a输入到一个nagcn模块进行特征学习。
[0054]
如图2所示，nagcn模块由两个独立的部分组成：一阶邻居注意图卷积网络(1-nattgcn)和二阶邻居注意图卷积网络(2-nattgcn)，分别用来捕获因素与油耗之间一阶邻居的直接影响和二阶邻居的间接影响。具体实现步骤如下：
[0055]
1)一阶邻居注意图卷积网络模块
[0056]
在一阶邻居注意图卷积网络模块中，针对学习到的图结构中对油耗有直接影响的的一阶邻居，通过原始输入数据来修正从图结构学习模块中得到的各因素之间的注意权
值，将节点间的信息与其一阶邻居信息进行融合，进一步捕捉因素之间的直接影响关系。此外，为了更好地表示节点，将从图结构学习层获得的因素嵌入向量整合到注意机制中。因此，因素i的聚合表示hi如下：
[0057][0058]
其中，xi∈rw是第i个因素的输入特征，n(i)＝{j|a
ij
＞0}是从图结构学习模块得到的邻接矩阵a中因素i的一阶邻居因素的集合，w1∈rd×w是应用于图中每一个节点的可训练权重矩阵。上述公式中注意系数α
i,j
的计算公式为：
[0059][0060][0061][0062]
其中表示连接，因此gi表示因素嵌入向量vi和相关变换特征w1xi的结合。使用leakyrelu函数作为非线性激活函数来计算注意系数，并使用softmax函数对注意系数进行归一化。
[0063]
2)二阶邻居注意图卷积网络模块
[0064]
如图2所示，在现实条件下，有些因素并不直接与油耗产生关联(我们称其为二阶邻居)，但会通过影响油耗的直接关联因素(一阶邻居)而对油耗产生间接影响。例如，冷却液温度方差因素通过分析与油耗的直接相关性非常小，但他对油耗的一阶邻居速度方差有着较强的影响，故我们认为冷却液温度方差对油耗也应产生间接影响。基于此，本实施例采用了2-nattgcn层来对节点的二阶邻居影响进行分析。因素的表示h’i
可这样表示：
[0065][0066]
π(i，p)＝π(i，j)
×
π(j，p)
[0067][0068][0069]
其中，m(i)＝{p|a
ip
＝0,a
jp
＞0}是从学习到的邻接矩阵a中得到的因素i的二阶邻居集合，w2也是一个可训练的权重矩阵。
[0070]
(3)基于邻居注意图卷积网络的输出依次经过门控循环单元gru和transformer层，实现对历史车辆行驶状态数据在时间维度上的局部依赖和全局依赖的捕获；
[0071]
针对传统的油耗预测模型在时间特征学习过程中存在的不足，本实施例提出了一个由门控循环单元gru和transformer层组成的时间依赖建模模块，实现对历史车辆行驶状态数据在时间维度上的局部依赖和全局依赖的捕获。
[0072]
1)gru捕获局部时间依赖
[0073]
使用门控循环单元gru来处理时间序列信息，首先为每一个时间步保留一个隐藏向量表示。在表示第t个时间步隐藏向量时，我们将上一个时间步t-1时gru的隐藏状态以及二阶邻居注意图卷积模块(2-nattgcn)在时间步t时的输出共同作为输入，从而得到当前时间步长t的输出。此外，gru操作是单独应用于每一个节点，所有节点的gru参数相互共享。具体来说，对于时间戳为t的每个节点v，给定上一层的输出x
t
和上一个时间步的隐藏向量z
t-1
，gru的操作可以表示如下：
[0074]ut
＝σ(wu[f(a，x
t
)，z
t-1
]+bu)
[0075]rt
＝σ(wr[f(a，x
t
)，z
t-1
]+br)
[0076]ct
＝tanh(wc[f(a，x
t
)，(r
t
*z
t-1
)]+bc)
[0077]zt
＝u
t
*z
t-1
+(1-u
t
)*c
t
[0078]
其中wu，wr，wc是待学习的参数，z
t
为当前时间步的输出，同时也作为下一个时间步的输入。
[0079]
2)transformer层捕获全局时间依赖
[0080]
gru层可以捕获局部范围内的时间信息，然而，在车辆油耗预测问题中，时间信息可能不仅仅是顺序依赖的，还应从全局的角度上分析，故在gru层之后，我们采用了一个transformer层来直接捕获时间维度上的全局依赖。
[0081]
具体来说，与gru层相似，transformer层也被单独的应用到每个时间节点上。对于每个节点v来说，我们将gru层的输出作为transformer层的输入。由于transformer层的注意机制在计算注意函数时平等地对待了不同的位置而忽略了相对位置信息，对每个位置首先采用位置编码e
t
，通过将zv与位置编码结合起来生成新的表示形式z’t
，即：
[0082]
z’t
＝zv+e
t
[0083][0084]
使用带有位置编码的序列作为transformer层的输入。如图3所示，transformer层包括一个多头自注意力层，一个共享的前馈神经工作层和他们之间的批量归一化层。首先，自注意力函数的输入包括查询、维度为dk的键和时间序列中所有位置的维度为dv的值。计算给定查询与所有键的点积，并将每一个点积都除以然后应用softmax函数获得每个位置的注意力分数，这些注意力分数将作为权重，从相应的值中聚合信息。我们将同时计算所有位置的查询的注意力分数：
[0085]
[0086]
其中，q，表示所有节点的查询、键和值。根据序列位置顺序堆叠，以矩阵形式组织gru层的输出序列。之后将得到的矩阵表示为zv∈r
t
×d，其中上标vi表示他对应于节点vi，然后将矩阵zv线性投影到查询、键和值中，如下所示：
[0087]qv
＝zvwq，kv＝zvwk，v＝zvwv[0088]
其中，wq，wk，wv是需要学习的投影矩阵，且由所有节点共享。由此。注意力计算函数可以被改写为：
[0089][0090]
采用多头注意力模型聚合不同子空间的表示信息来增强模型的表示能力。在多头注意中，使用总共k组投影矩阵将zv投影到不同的k组查询、键和值。多头注意的结果是每个单头注意函数输出的串联，具体可以表示为：
[0091]
multihead(zv)＝concat(head1，...，heads)wo[0092][0093]
其中，是第s个注意力头的投影矩阵，wo是另一种线性输出投影。
[0094]
在多头注意层之后，输出状态将被传递到一个逐点前馈神经网络层。如图3所示，在每一个子层之后，有一个残差连接和归一化层。最后得到transformer层的输出，可表示为hv∈r
t
×d。
[0095]
(4)基于所述transformer层的输出，以及训练好的多层前馈神经网络模型，得到未来设定时段的油耗预测结果。
[0096]
结合前面的时空特征学习得到的信息输出车辆在下个时间段的平均油耗。具体来说，在transformer层之后，使用{hv|v∈v}作为输入，使用多层前馈网络来预测未来时段的油耗。在训练时，首先将历史时间段的车辆状态数据拆分为训练部分y
train
，测试部分y
test
和验证部分y
valid
。然后，在训练数据y
train
上滑动一个长度为t+t’的窗口来生成训练序列。对于每个生成的训练序列，t个元素用作输入，其余t’元素用做真值。然后将平均绝对误差作为损失，可以表示为：
[0097][0098][0099][0100]
这里，f( )是预测模型，可通过最小化损失公式进行训练。预测部分采用迭代预
测，即模型输入t个时间步的观测值后对下一个时间步t+1的值进行预测，然后将该预测值与前面的t-1个观测值拼接作为输入来预测下一个时间步的值，以此循环往复。
[0101]
实施例二
[0102]
在一个或多个实施方式中，公开了一种基于时空注意机制图卷积网络的车辆油耗预测系统，包括：
[0103]
油耗影响因素关联图表示模块，用于获取车辆行驶状态数据，确定输入因素，动态学习各输入因素之间的相关关系，构建各输入因素与油耗之间的关联图结构；
[0104]
油耗时空特征学习模块，用于基于所述关联图结构和过去t个时间段的车辆行驶状态时间序列数据，采用邻居注意的图卷积网络进行油耗时空特征学习，以捕获各输入因素之间的空间依赖性；将所述邻居注意的图卷积网络的输出依次经过门控循环单元gru和transformer层，实现对历史车辆行驶状态数据在时间维度上的局部依赖和全局依赖的捕获；
[0105]
油耗预测结果输出模块，基于所述transformer层的输出，以及训练好的多层前馈神经网络模型，得到未来设定时段的油耗预测结果。
[0106]
需要说明的是，上述各模块的具体实现方式已经在实施例一中进行了说明，此处不再详述。
[0107]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。