车云协同自动驾驶车辆控制方法、装置、设备及介质与流程

本技术属于自动驾驶，尤其涉及车云协同自动驾驶车辆控制方法、装置、设备及介质。

背景技术：

1、随着自动驾驶技术的不断发展，更高级别（例如l4或l5）自动驾驶功能的实现对车辆设备的算力提出了较高的挑战，这些挑战包括：

2、传感器数据处理：自动驾驶系统需要实时处理来自多个传感器（如激光雷达、摄像头、毫米波雷达等）的大量数据。这些数据需要进行感知、目标检测、跟踪和环境建模等复杂算法处理，以实现车辆的感知和决策。由于数据量庞大且需要实时响应，对计算资源提出了很高的要求。

3、环境感知和决策：自动驾驶车辆需要实时感知和理解复杂的道路环境，包括车辆、行人、交通标志和信号等。同时，它们还需要进行决策，例如路径规划、障碍物避让和交通流调节等。这些高级感知和决策算法需要强大的计算能力来处理复杂的情况和大规模的数据。

4、为了克服上述算力不足的问题，现有技术提供了一些基于硬件改进（例如采用性能更强的图形处理器，即gpu，或者使用专用的ai加速器，如tpu，这些硬件能够提供更高的并行计算能力，加速传感器数据处理和高级算法运算）和/或算法改进（优化模型以提高计算效率、减少运算参数）的解决方案，然而这些方案仍然受到能源消耗和散热的限制，即：

5、高性能计算设备通常会消耗大量电能并产生大量热量。在自动驾驶车辆中，计算设备需要在车辆的有限空间内工作，并且需要适应车辆电源和散热系统的限制。

6、因此，现有技术的改进方案仍然存在着理论上的算力瓶颈，如何提供一种具有更高性能的自动驾驶车辆控制方法成为了业内亟需解决的技术问题。

技术实现思路

1、本技术实施例提供了自动驾驶车辆控制方法、装置、设备及介质，可以解决现有自动驾驶架构性能瓶颈的问题。

2、第一方面，本技术实施例提供了一种车云协同自动驾驶车辆控制方法，包括：

3、获取第一控制信息，并根据所述第一控制信息的参考信息得到所述第一控制信息的参考权重；其中，所述第一控制信息是云端设备根据车载传感器信息得到的车辆控制序列，所述参考信息包括获取频率和/或获取延迟；

4、根据所述第一控制信息的参考权重、所述第一控制信息以及第二控制信息生成第三控制信息；其中，所述第二控制信息是车辆本地设备根据车载传感器信息得到的车辆控制序列，所述第三控制信息用于控制所述车辆。

5、上述方法通过云端设备获得第一控制信息，不同于车辆本地设备，云端设备不受能源消耗、散热、安装空间等限制，具有更高的算力储备，因此其计算得到的第一控制信息对于自动驾驶而言具有更好的适应性，对于相同的算法而言，云端设备能够更为快速地计算得到更为准确的结果；

6、进一步地，考虑到第一控制信息的获取有赖于车云间的通信，相比于车辆本地设备的计算过程，具有额外的通信耗时，虽然通过具有更高算力的云端设备能够更为快速地得出计算结果，从而在通信条件较好的情况下，第一控制信息的获取延迟可能低于第二控制信息的计算延迟，达到较好的自动驾驶控制效果，但车辆行驶过程中，通信条件存在波动，可能存在第一控制信息获取延迟较高的情况，而自动驾驶控制对于实时性的要求使得这种较高延迟的第一控制信息无法很好地完成车辆的控制，故上述方法还引入了基于获取频率和/或获取延迟的第一控制信息的参考权重，在参考权重的基础上将第一控制信息与第二控制信息结合，生成用于控制所述车辆的第三控制信息，从而提高车辆的自动驾驶水平和驾驶安全性。

7、在第一方面的一种可能的实现方式中，所述第一控制信息和所述第二控制信息为带有置信度的车辆控制序列；

8、所述根据所述第一控制信息的参考权重、所述第一控制信息以及第二控制信息生成第三控制信息的步骤包括：

9、基于所述置信度和所述参考权重排序所述第一控制信息和所述第二控制信息，得到结果队列；

10、根据所述结果队列，生成所述第三控制信息。

11、上述方法引入了第一控制信息和第二控制信息的置信度参数，考虑到云端设备和本地设备计算得到的第一控制信息和第二控制信息均可能有多个的情况，置信度参数的引入能够为2个及以上（即第一控制信息和第二控制信息的集合至少存在两个车辆控制序列）的车辆控制序列进行排序（当然，对于第一控制信息而言，还需考虑其参考权重），并在结果队列的基础上融合和/或筛选得到第三控制信息，从而得到更优的自动驾驶控制策略。

12、在第一方面的一种可能的实现方式中，所述第一控制信息是基于所述车载传感器信息运行部署在所述云端设备上的第一模型得到的带有置信度的车辆控制序列；所述第二控制信息是基于所述车载传感器信息运行部署在所述本地设备上的第二模型得到的带有置信度的车辆控制序列；

13、所述第一模型和所述第二模型均为通过样本训练得到的机器学习模型，且所述第一模型的参数量大于所述第二模型，且所述第一模型输出的置信度和所述第二模型输出的置信度具有相同的数据口径。

14、上述方法通过机器学习模型实现自动驾驶策略的获取，使得置信度参数的输出能够更为快速准确，同时，通过控制第一模型和第二模型的训练过程，能够使得两者输出的参数（车辆控制序列和置信度）具有相同的数据口径，能够在同一尺度量纲下进行比较、融合，进一步加快了第三控制信息的生成速度，减少了自动驾驶的控制延迟。

15、在第一方面的一种可能的实现方式中，所述云端设备和/或所述本地设备上还部署有前融合模型，所述前融合模型是经过样本训练得到的机器学习模型，且所述前融合模型用于以所述传感器信息为输入，得到融合信息，所述融合信息用于作为输入参数运行所述第一模型和/或所述第二模型。

16、上述方法通过引入前融合模型，将车载传感器信息中包括的多种传感器数据，例如激光雷达、毫米波雷达、视觉传感器等，进行融合/提取特征，从而加快模型的推理速度，更为及时地得到第一控制信息和第二控制信息。

17、在第一方面的一种可能的实现方式中，所述获取第一控制信息的步骤前，还包括：

18、经由异步通信信道发送所述车载传感器信息至所述云端设备。

19、上述方法采用异步通信架构，将车辆和云端之间的通信分离，以实现高效的数据传输和实时响应。通过异步通信，车辆可以随时向云端发送数据请求，而云端也可以及时响应车辆请求，从而保证了自动驾驶控制的高效性和实时性。

20、在第一方面的一种可能的实现方式中，所述获取第一控制信息的步骤前，还包括：

21、获取车载传感器信息，所述车载传感器信息包括本车速度，且所述车载传感器信息还包括激光雷达信号、视觉信号以及毫米波雷达信号中的至少一个；

22、所述参考权重与所述本车速度负相关。

23、上述方法考虑车速对于自动驾驶控制实时性要求的影响，使得具有更高速度的车辆具有更低的控制延迟容忍度，即更高速度的车辆中，同样延迟的第一控制信息的参考权重更小；具有更低速度的车辆具有更高的控制延迟容忍度，即更低速度的车辆中，同样延迟的第一控制信息的参考权重更大，从而使得自动驾驶控制中，对于具有延迟的车辆控制序列的管理更为灵活和贴近实际需求。

24、在第一方面的一种可能的实现方式中，所述参考权重是根据所述车辆所在的道路类型、所述本车速度以及所述第一控制信息的参考信息确定的。

25、上述方法进一步考虑道路类型对于自动驾驶控制实时性要求的影响，封闭道路、高速、城市道路、乡村道路等不同类型的道路中，同样延迟的第一控制信息的参考权重不同，从而使得自动驾驶控制中，对于具有延迟的车辆控制序列的管理更为灵活和贴近实际需求。

26、第二方面，本技术实施例提供了一种车云协同自动驾驶车辆控制装置，包括：

27、获取模块，用于获取第一控制信息，并根据所述第一控制信息的参考信息得到所述第一控制信息的参考权重；其中，所述第一控制信息是云端设备根据车载传感器信息得到的车辆控制序列，所述参考信息包括获取频率和/或获取延迟；

28、生成模块，用于根据所述第一控制信息的参考权重、所述第一控制信息以及第二控制信息生成第三控制信息；其中，所述第二控制信息是车辆本地设备根据车载传感器信息得到的车辆控制序列，所述第三控制信息用于控制所述车辆。

29、第三方面，本技术实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的车云协同自动驾驶车辆控制方法。

30、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的车云协同自动驾驶车辆控制方法。

31、第五方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的车云协同自动驾驶车辆控制方法。

32、可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。