一种基于多模态数据融合的转向角速度预测方法及装置

本发明涉及智能驾驶，具体涉及一种基于多模态数据融合的转向角速度预测方法及装置。

背景技术：

1、在车辆的能量管理应用中，预测最优驾驶数据对于能源管理具有重要意义，在重型运载车上尤其明显，由于这类车辆自身重量大，载重量大，行驶距离长，因此相对于其他类型的车辆，它们对能源的消耗更大。因此，对这种车辆进行有效的能源管理就显得尤为重要，基于多模态融合的转向角、速度联合预测方法预作为一种重要技术，可以提高驾驶预测的准确性，从而促进更卓越的自动驾驶能源管理。

2、然而，当前基于车辆转向角和车速预测网络的能源管理工作存在以下局限性：(1)尽管已有一些端到端的自动驾驶模型进行训练和测试，但这些现有工作在预测范围方面存在局限，主要仅能预测未来五帧的车速或转向角度，导致实际应用中的局限性。(2)此外，现有技术未能充分分析不同输入帧和输出之间的复杂关系，这是实现全面预测效果的关键因素之一，现有模型往往依赖于简化的模态融合方法，忽略了多模态融合对于预测过程的重要性，从而影响了预测性能。(3)车辆转向角和车速预测过程依赖于模态融合方法，而目前的技术忽视了多模态融合，仅依赖于简化的模态融合方法，导致融合效果不佳，未考虑多个维度之间的复杂相互依赖关系，同时预测成本高，预测性能也不理想，导致成本和性能之间的不良平衡。针对上述问题，在进行多模态融合的转向角速度联合预测时存在准确率低的缺陷。

技术实现思路

1、有鉴于此，本发明提供了一种基于多模态数据融合的转向角速度预测方法及装置，以解决在进行多模态融合的转向角速度联合预测准确率低的问题。

2、第一方面，本发明提供了一种多模态数据融合的转向角速度预测方法，方法包括：

3、实时采集车辆的多模态数据，多模态数据包括：图像数据、转向角数据以及速度数据；

4、对车辆的多模态数据进行预处理；

5、将预处理后的多模态数据输入至预先设计好的端到端网络，输出预测的转向角和车速。

6、本发明提供的多模态数据融合的转向角速度预测方法，通过预先设计好的端到端网络，有效地利用多模态提供的互补信息，从而提高了信息检测的准确性和稳健性。

7、在一种可选的实施方式中，端到端网络包括：

8、提取预处理后多模态数据的图像流、速度流和转向流，图像流依次通过resnet网络和lstm网络处理后，生成待融合的图像特征向量，速度流和转向流分别依次通过lstm网络和mlp网络处理后，生成待融合的车速特征向量和转向角特征向量；

9、对待融合的图像特征向量、车速特征向量和转向角特征向量进行处理，得到融合后的特征图；

10、融合后的特征图通过mlp模型，生成速度和转角的预测值。

11、本发明通过端到端的网络设计，充分挖掘图像、车速和转角特征间的关系，将来自三种模态的特征向量进行融合，使得转角和车速的预测更加准确、高效。

12、在一种可选的实施方式中，对待融合的图像特征向量、车速特征向量和转向角特征向量进行处理，得到融合后的特征图的步骤，包括：

13、对待融合的图像特征向量、车速特征向量和转向角特征向量进行拼接，得到拼接后的初始融合特征向量；

14、对拼接后的初始融合特征向量进行全局平均池化处理，得到拼接后初始融合特征向量的聚合特征；

15、拼接后初始融合特征向量的聚合特征通过一维卷积，捕获局部通道间的相互依赖性，得到对应通道的特征；

16、对对应通道的特征进行处理，得到相应的权重数据；

17、将权重数据与拼接后的初始融合特征向量进行处理，得到融合后的特征图。

18、本发明通过融合后的特征图，有效地利用了多模态提供的互补信息，从而提高了信息检测的准确性和稳健性。

19、在一种可选的实施方式中，融合后的特征图通过以下公式进行计算：

20、x＝concat(fimage，fspeed，fangle)

21、s＝σ(conv1d(gap(x)))

22、y＝s⊙x

23、其中，fimage为图像特征向量，fspeed为车速特征向量，fangle为转向角特征向量，concat为拼接函数，x为拼接后的初始融合特征向量，conv1d(·)为在通道域上具有形状为k的一维卷积核，gap(x)为通道级全局平均池化函数，σ为sigmoid函数，s为通道的权重，y为融合后的特征图。

24、本发明通过上述公式，有效地利用了多模态提供的互补信息，从而提高了信息检测的准确性和稳健性。

25、在一种可选的实施方式中，一维卷积核k与信道维数c的映射关系通过以下公式表示：

26、

27、c＝3γ·k+b

28、其中，γ、b是超参数。

29、本发明通过上述的公式计算，通过一维卷积核k与信道维数c的映射关系，有效地利用了多模态提供的互补信息，从而提高了信息检测的准确性和稳健性。

30、在一种可选的实施方式中，mlp模型通过以下公式进行表示：

31、

32、o＝hwo+bo

33、其中，h表示第一层的输出，表示激活函数，wh为第一层权重向量，bh为第一层偏置向量，o为第二层的输出，wo为第二层权重向量，bo为第二层偏置向量。

34、本发明通过mlp模型，在不同层之间传递信息和进行非线性变换来学习输入数据的复杂特征，分别得到第一层和第二层的预测结果，有效地利用了多模态提供的互补信息，从而提高了信息检测的准确性和稳健性。

35、第二方面，本发明提供了一种多模态数据融合的转向角速度预测装置，装置包括：

36、多模态数据采集模块，用于实时采集车辆的多模态数据，多模态数据包括：图像数据、转向角数据以及速度数据；

37、预处理模块，用于对车辆的多模态数据进行预处理；

38、预测模块，用于将预处理后的多模态数据输入至预先设计好的端到端网络，输出预测的转向角和车速。

39、在一种可选的实施方式中，预先设计好的端到端网络包括：

40、三流特征提取单元，用于提取预处理后多模态数据的图像流、速度流和转向流，图像流依次通过resnet网络和lstm网络处理后，生成待融合的图像特征图，速度流和转向流分别依次通过lstm网络和mlp网络处理后，生成待融合的车速特征图和转向角特征图；

41、融合单元，用于对待融合的图像特征向量、车速特征向量和转向角特征向量进行处理，得到融合后的特征图；

42、预测单元，用于融合后的特征图通过mlp模型，生成速度和转角的预测值。

43、第三方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的多模态数据融合的转向角速度预测方法。

44、第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的多模态数据融合的转向角速度预测方法。