面向封闭道路环境的无人驾驶车辆控制方法及系统与流程

1.本发明涉及无人驾驶自动导航控制技术领域，尤其涉及一种面向封闭道路环境的无人驾驶车辆控制方法及系统。


背景技术：

2.随着人工智能技术的不断迭代更新，越来越多的人工智能技术迅速发展，并且应用到了无人驾驶领域。随着人工智能技术的加入，自动驾驶也越来越智能化。相对于开放道路环境，封闭场景中的交通行为参与者相对固定，因此自动驾驶车辆的落地也变得非常有实用性，在封闭道路环境实施无人驾驶的安全性更高，更容易控制。自动驾驶依赖于高精度的感知传感器，目前，激光雷达已经成为自动驾驶中不可缺少的3d传感器，它所提供的点云数据可以提供丰富的几何、尺度信息、精确地距离和精细的语义描述，对自动驾驶场景中的三维场景理解非常有帮助，但是点云的稀疏、无序、不均匀分布都让雷达的使用受限，但是相机图像包含更多规则密集的像素，拥有丰富的语义信息，如颜色，但是缺乏深度和尺度信息。因此，激光雷达和相机的互补信息使两模态融合成为了可能。
3.在无人驾驶的实际运行过程中，由于传感器同时容易受到天气、光照等外界环境的影响，从而影响自动驾驶的判断行为。因此，当传感器提供的实时数据不足以为车辆提高行驶策略支撑时，由于单台车辆成本的限制，一般采取两种控制策略，一是降低车速或靠边停车，二是采用历史轨迹数据慢速行驶。对于这两种特征情况的控制策略，都会影响车辆的正常行驶，容易造成道路拥堵，而且即使降低车速也容易造成事故。


技术实现要素：

4.本发明的目的是提供一种在传感器提供的数据不足以支撑无人驾驶车辆继续行驶时可及时为车辆提供相对准确的导航信息并使得车辆继续正常行驶的面向封闭道路环境的无人驾驶车辆控制方法及系统。
5.为了实现上述目的，本发明公开了一种面向封闭道路环境的无人驾驶车辆控制方法，其特征在于，车辆上设置有环境感知传感器和定位器，所述环境感知传感器用于感知车辆运行环境中的道路环境数据，所述定位器用于实时确定车辆当前位置，车辆控制方法包括远程辅助控制的辅助导航方法：
6.所述车辆通过高速无线网络与云平台建立通信连接，所述云平台中预存有所述车辆当前运行的目标道路的道路环境数据；
7.所述车辆将当前采集到的实时道路环境数据和实时位置数据同步传输至所述云平台；
8.所述云平台基于所述车辆当前位置提取所述车辆当前运行道路的历史道路环境数据；
9.基于图像数据融合模型对实时道路环境数据和预存的相同位置点的历史道路环境数据进行融合，以生成远程导航信息，并将该远程导航信息发送给所述车辆；
10.通过所述远程导航信息控制所述车辆的行驶。
11.较佳地，所述道路环境数据包括2d图像数据和3d点云数据，所述环境感知传感器包括摄像元件和激光雷达，所述摄像元件用于感知车辆运行环境中的所述2d图像数据，所述激光雷达用于感知车辆运行环境中的所述3d点云数据；对所述实时道路环境数据和所述历史道路环境数据进行融合的方法包括：
12.将当前道路环境数据中的2d图像数据和历史道路环境中的2d图像数据结合；并将当前道路环境数据中的3d点云数据和历史道路环境中的3d点云数据结合；
13.基于图像数据融合模型对结合后的2d图像数据和结合后的3d点云数据进行融合。
14.较佳地，还包括自导航方法，所述车辆根据预设条件和当前道路环境选择使用所述自导航方法或辅助导航方法行驶；所述自导航方法包括：
15.所述车辆，基于图像数据融合模型实时地对接收到的2d图像数据和3d点云数据进行融合，以生成自导航信息；
16.通过所述自导航信息控制所述车辆的行驶。
17.较佳地，当所述云平台接收到所述车辆选择使用辅助导航的请求后，根据所述车辆持续传输的当前道路环境数据，持续生成包括一段时间长度的融合数据，并根据该一段时间长度的融合数据判断当前车辆是否适合继续正常行驶，如果是，则生成并发送所述辅助导航信息，如果否，则向所述车辆发出停止运行的指令；所述车辆控制方法还包括云平台做出应对策略前的临时导航方法：
18.当所述车辆选择自导航方法行驶时，将接收到的所述道路环境数据存储在本地存储器并发送至所述云平台；
19.所述车辆向所述云平台发出使用辅助导航方法行驶的请求后且未接收到所述云平台的信息前，降低车速，并提取同路段的历史道路环境数据；
20.基于图像数据融合模型，对当前道路环境数据从本体存储器中提取到的相同位置点的历史道路环境数据进行融合，以生成临时导航信息；
21.通过所述临时导航信息控制车辆行驶。
22.本发明还公开一种面向封闭道路环境的无人驾驶车辆控制系统，车辆上设置有环境感知传感器和定位器，所述环境感知传感器用于感知车辆运行环境中的道路环境数据，所述定位器用于实时确定车辆当前位置，所述车辆控制系统包括远程辅助控制的辅助导航系统，该辅助导航系统包括设置于车端的车端通信模块以及设置于云平台的云端通信模块、云端历史数据提取模块和云端融合模块；
23.所述车端通信模块和所述云端通信模块，用于车辆与云平台的无线通信连接，所述云平台中预存有所述车辆当前运行的目标道路的道路环境数据；
24.所述历史数据提取模块，用于基于所述车辆当前位置提取所述车辆当前运行道路的历史道路环境数据；
25.所述云端融合模块，用于基于图像数据融合模型对来自于车辆的实时道路环境数据和云端预存的相同位置点的历史道路环境数据进行融合，以生成远程导航信息。
26.较佳地，所述道路环境数据包括2d图像数据和3d点云数据，所述环境感知传感器包括摄像元件和激光雷达，所述摄像元件用于感知车辆运行环境中的所述2d图像数据，所述激光雷达用于感知车辆运行环境中的所述3d点云数据；所述云端融合模块包括前融合模
块和总融合模块；
27.所述前融合模块，用于将当前道路环境数据中的2d图像数据和历史道路环境中的2d图像数据结合，并将当前道路环境数据中的3d点云数据和历史道路环境中的3d点云数据结合；
28.所述总融合模块，用于基于图像数据融合模型对结合后的2d图像数据和结合后的3d点云数据进行融合。
29.较佳地，还包括设置于车端的车端判断模块和车端融合模块；所述车端判断模块，用于车辆根据预设条件和当前道路环境选择使用自导航信息或辅助导航信息行驶；所述车端融合模块，用于基于图像数据融合模型实时地对接收到的2d图像数据和3d点云数据进行融合，以生成所述自导航信息。
30.较佳地，所述云平台中还设置有云端判断模块，所述云端判断模块用于根据所述云端融合模块持续生成的一段时间长度的融合数据判断当前车辆是否适合继续正常行驶；
31.所述车辆向所述云平台发出使用辅助导航方法行驶的请求后且未接收到所述云平台的反馈信息前，所述车端融合模块还基于图像数据融合模型，对当前道路环境数据从本体存储器中提取到的相同位置点的历史道路环境数据进行融合，以生成临时导航信息。
32.本发明还公开一种面向封闭道路环境的无人驾驶车辆控制系统，其包括一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的面向封闭道路环境的无人驾驶车辆控制方法的指令。
33.本发明还公开一种计算机可读存储介质，其包括计算机程序，所述计算机程序可被处理器执行以完成如上所述的面向封闭道路环境的无人驾驶车辆控制方法。
34.与现有技术相比，本发明技术方案，针对面向封闭道路环境的无人驾驶车辆进行导航控制，特别是当车辆行驶环境比较恶劣时，通过该辅助导航方法可通过无线网络将车辆与云平台建立连接，并在云平台中高速进行导航数据的运算，从而生成辅助导航数据，由此可知，由于辅助导航数据是根据当前道路环境数据和历史道路环境数据融合而成，因此即弥补了当前当前道路环境数据的不足的缺陷，又克服了单纯靠历史道路环境数据进行导航时的部分数据与现实不符的问题，从而控制车辆正确行使，有效提升了车辆应对复杂恶劣道路环境的能力，而且，由于辅助导航数据的生成需要大量的运算，对硬件要求较高，因此，通过云平台来进行辅助导航数据的运算和生成，可大幅降低单台车辆的成本。
附图说明
35.图1为本发明实施例中辅助导航方法流程图。
36.图2为本发明实施例中自导航方法流程图。
37.图3为本发明实施例中临时导航方法流程图。
38.图4为图1中数据融合流程图。
39.图5为本发明实施例中车辆控制方法流程图。
40.图6为本发明实施例中车辆控制系统原理结构示意图。
具体实施方式
41.为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。
42.本实施例公开了一种无人驾驶车辆控制方法，以面向封闭道路环境的无人驾驶车辆进行导航控制，特别是解决由于车辆行驶环境条件比较恶劣而导致车辆上的传感器采集到的数据不足以支撑正常导航行驶的问题。对此，本实施例中的车辆上设置有环境感知传感器和定位器，环境感知传感器用于感知车辆运行环境中的道路环境数据，实时定位器用于实时确定车辆当前位置。本实施例中的车辆控制方法包括远程辅助控制的辅助导航方法，如图1，其具体步骤如下：
43.sa1：车辆通过高速无线网络(如5g网络)与云平台建立通信连接，云平台中预存有车辆当前运行的目标道路的道路环境数据。
44.sa2：车辆将当前采集到的实时道路环境数据和实时位置数据同步传输至云平台。
45.sa3：云平台基于车辆当前位置提取车辆当前运行道路的历史道路环境数据(也即目标道路的历史时期的道路环境数据)。
46.sa4：基于图像数据融合模型对实时道路环境数据和预存的相同位置点的历史道路环境数据进行融合，以生成远程导航信息，并将该远程导航信息发送给车辆。
47.sa5：通过该远程导航信息控制车辆的行驶。
48.特别需要说明的是，本实施例中的辅助导航方法，为非常规导航方式，主要作为无人驾驶系统在封闭道路场景下辅助感知的一种有效补充，以解决车辆运行环境变得恶劣时的正常导航问题。也即，当车辆当前行驶环境恶劣时，车辆通过高速无线网络向云平台发出辅助感知请求，并将通过环境感知传感器获得的实时道路环境数据和通过定位器获得的实时位置数据同步传输至云平台，云平台接收到车辆的请求和实时数据后，基于图像数据融合模型将当前车辆获得的实时道路环境数据与云平台存储的历史道路环境数据融合，使得实时道路环境数据与历史道路环境数据时空同步，从而使得生成的辅助导航信息兼具有与当前道路环境相符的实时变动性和包括当前道路环境各个视角数据的丰富性，因此即弥补了当前当前道路环境数据的不足的缺陷，又克服了单纯靠历史道路环境数据进行导航时的部分数据与现实不符的问题，从而控制车辆在恶劣环境下的正确行使，有效提升了车辆应对复杂恶劣道路环境的能力，而且，由于辅助导航数据的生成需要大量的运算，对硬件要求较高，因此，通过云平台来进行辅助导航数据的运算和生成，可大幅降低单台车辆的成本。
49.可选地，道路环境数据包括2d图像数据和3d点云数据，因此，环境感知传感器包括摄像元件和激光雷达，摄像元件用于感知车辆运行环境中的2d图像数据。激光雷达用于感知车辆运行环境中的3d点云数据。具体地，本实施例中对实时道路环境数据和历史道路环境数据进行融合的方法包括：
50.将当前道路环境数据中的2d图像数据和历史道路环境中的2d图像数据结合；
51.将当前道路环境数据中的3d点云数据和历史道路环境中的3d点云数据结合；
52.基于图像数据融合模型对结合后的2d图像数据和结合后的3d点云数据进行融合。
53.进一步地，本发明无人驾驶车辆控制方法还包括通过车辆自身生成导航信息的自导航方法，以解决车辆常规行驶导航的问题。如图2，本实施例中的自导航方法包括：
54.sb1：实时接收摄像元件和激光雷达反馈的2d图像数据和3d点云数据；
55.sb2：车辆基于图像数据融合模型实时地对接收到的2d图像数据和3d点云数据进行融合，以生成自导航信息。
56.sb3：通过自导航信息控制车辆的行驶。
57.为使得车辆自主选择当前所适用的导航方法，本实施例中的控制方法还包括选择步骤，也即：车辆行驶过程中，根据预设条件和当前道路环境选择使用自导航方法或辅助导航方法行驶。如果当前道路环境超出预设条件的范围，启动辅助导航方法，否则执行自导航方法。
58.具体地，本实施例中的预设条件以当前道路环境是否影响环境感知传感器和激光雷达的正常工作为标准，例如，该预设条件可根据大雾等级、降雨量等级以及激光雷达的点云信息量来设定。对于当前大雾等级、降雨量等天气信息可通过车载终端或云平台从天气预报系统获得。对于点云信息量，可为其设置一阈值，该阈值优选为每日或其他固定间隔时间周期内点云信息量的移动平均值的百分比(如点云信息量的移动平均值的60％)，如果当前点云信息量低于该阈值，则启动辅助导航方法，否则，保持自导航方法。
59.进一步地，当云平台接收到车辆选择使用辅助导航的请求后，还不清楚当前道路环境是否适合车辆继续正常行驶，因此，如图3，上述实施例的辅助导航控制方法中的步骤sa4包括：
60.sa40：根据车辆持续传输的当前道路环境数据，持续生成包括一段时间(3s左右)长度的融合数据；
61.sa41：根据该一段时间长度的融合数据判断当前车辆是否适合继续正常行驶，如果是，则进入sa42，如果否，则进入sa43；
62.sa42：生成并发送辅助导航信息；
63.sa43：向车辆发出停止运行的指令。
64.因此，为应对云平台对当前道路环境判断所需时间，如图4，本实施例中的车辆控制方法还包括云平台做出应对策略前的临时导航方法：
65.sc0：当车辆选择自导航方法(道路环境条件比较好时的正常行驶)行驶时，将接收到的道路环境数据存储在本地存储器并发送至云平台；
66.sc1：车辆向云平台发出使用辅助导航方法行驶的请求后且未接收到云平台的反馈信息前，降低车速，并提取同路段的历史道路环境数据；
67.sc2：车辆中的图像数据融合模型以低功耗运行，对当前道路环境数据和从本体存储器中提取到的相同位置点的历史道路环境数据进行融合，以生成临时导航信息；
68.sc3：通过临时导航信息控制车辆行驶。
69.在本实施例中，车辆端也配置有图像数据融合模型，但由于车辆端对数据的处理能力(速度和数据吞吐量)有效，因此不适合长时间工作，仅在云平台做出应对策略前的这一小段时间(3s左右)内对数据进行融合工作，以生成临时导航信息，从而指导车辆这段时间内的正常运行。
70.综上，本发明公开的无人驾驶车辆控制方法包括有辅助导航控制方法、自导航控制方法和临时导航控制方法，其具体工作流程，如图5所示，具体如下：
71.s10：车辆实时接收摄像元件和激光雷达反馈的道路环境数据，以及定位器反馈的实时位置数据；
72.s11：判断道路环境数据是否超出预设条件的阈值，如果否，则进入s20，如果是，则同时执行s30和s40；
73.s20：车辆以自导航方法行驶，也即，实时地对接收到的2d图像数据和3d点云数据进行融合，以生成自导航信息；
74.s21：同时，将接收到的2d图像数据、3d点云数据以及相应的位置数据存储在本体存储器并实时或定时发送至云平台；
75.s30：接收到云平台返回控制策略之前，降低车速，并从本体存储器中提取同路段的历史道路环境数据，并对当前道路环境数据和从本体存储器中提取到的相同位置点的历史道路环境数据进行融合，以生成临时导航信息；
76.s31：车辆以该临时导航信息低速行驶；
77.s40：车辆与云平台建立实时地通信连接，向云平台发出辅助导航的请求，并将包括2d图像数据和3d点云数据的道路环境数据以及实时位置数据同步传输至云平台；
78.s41：云平台基于车辆持续发送的实时位置提取车辆当前运行道路的历史道路环境数据，并将该历史道路环境数据与当前道路环境数据融合；
79.s42：融合时间是否溢出，如果否，返回s41，如果是，则进入s43；
80.s43：根据这一段时间的融合数据判断当前车辆是否适合继续正常行驶，如果是，则进入s44，如果否，则进入s45；
81.s44：生成并发送辅助导航信息；
82.s45：向车辆发出停止运行的指令。
83.由此，通过上述车辆控制方法，在车辆运行环境变得恶劣时，车辆主动发出辅助导航请求，远程云平台负责进行当前道路环境数据和历史道路环境数据的融合，从而有效提升了车辆应对恶劣道路环境的能力，而且还可以解决无人驾驶车辆边缘端的硬件配备消耗问题，降低单台车辆的成本，并且大量的无人驾驶车辆不断地数据融合，也有助于提升融合算法的性能。
84.可选地，上述实施例中的图像数据融合模型的架构基于卷积神经网络，当云平台处于空闲状态时，可通过车辆传输的道路环境数据同时对车辆和云平台中的图像数据融合模型进行训练。
85.执行数据融合的具体过程包括2d特征提取、3d特征提取和特征融合等步骤。
86.2d特征提取：
87.特征提取网络结构采用特征金字塔网络，通过下采样将主干网自下而上卷积操作输出特征为{c2，c3，c4，c5}，通过上采样得到特征{p2，p3，p4，p5}，操作步骤如下所示：
[0088][0089]
其中ci为自下而上得到的特征图，为特征融合函数，函数融合步骤为ci经过1x1的卷积得到mi，mi进行2倍的上采样与c
i-1
经过1x1的卷积进行相加得到m
i-1
，m
i-1
继续与下层特征重复之前操作进行融合，fi为第i个融合后的特征，在p4融合阶段加入空洞卷积，来提高检测器感受野，降低下采样带来的影响，计算公式如下：
[0090][0091]
其中n
in
为输入特征，n
out
为输出特征，s为步长，p为填充因子，f为卷积核大小，在p2、p3层分别加入了注意力机制，使得下层的特征可以最大幅度的保留图像的特点，并提取出关键特征点，公式如下所示：
[0092]
ca(x)＝σ(fc2(maxpool(x))+fc3(avgpool(x)))
[0093][0094]
其中ca(x)为注意力特征，fc2为c2的特征图，fc3为c3特征图，maxpool(x)为最大池化，avgpool(x)为平均池化，σ(x)为注意力分数函数，函数通过计算两个特征张量的相关性，给出一个注意力分数，两个tensor相关性越大，注意力分数越高，以此来提高检测器的关注点，pi为一起融合的上层特征，ri为融合后的特征结果。
[0095]
3d特征提取：
[0096]
为了减少点云数据体素化过程中原始点云信息的丢失，首先将激光雷达点云投影到rgb图像，将点云坐标(x，y，z)投影到图像(w，x，h)平面上，投影公式如下：
[0097]
(x y)
t
＝m
·
(x y z)
t
[0098]
其中w、h为图像宽和高，m为变换矩阵，保留在w x h图像中的点，同时将点云坐标系投影到相机坐标系，最后在0-255之间映射来获取rgb图像，接着进行点云变换，在基于原始点云的rgb映射中提取到相应的特征后，获取到了相应的2d图像坐标，rgb和图像坐标同时输入spatial transformer networks模块得到图像特征，然后进行体素化，将点云划分为均匀分布的体素网格，在3d点与其对应的体素之间生成多对一映射。
[0099]
特征融合：
[0100]
基于resnet网络设计特征融合网络，以实现从两个不同传感器获取的感知信息的特征图的交互，融合方法如下式所示，
[0101][0102]
其中和为雷达和相机中的特征图，它们通过深度维度进行连接，r(x，y)为数据融合函数，融合函数为让它们同过1x1和5x5的卷积得到的特征h与和特征进行一个残差的融合，为需要融合的数据，m为融合参数。
[0103]
本发明另一实施例中，如图6，还公开一种面向封闭道路环境的无人驾驶车辆控制系统，车辆上设置有环境感知传感器和定位器，环境感知传感器用于感知车辆运行环境中的道路环境数据，实时定位器用于实时确定车辆当前位置，车辆控制系统包括远程辅助控制的辅助导航系统，该辅助导航系统包括设置于车端的车端通信模块以及设置于云平台的云端通信模块、云端历史数据提取模块和云端融合模块。
[0104]
车端通信模块和云端通信模块，用于车辆与云平台的无线通信连接，云平台中预存有车辆当前运行的目标道路的道路环境数据。
[0105]
历史数据提取模块，用于基于车辆当前位置提取车辆当前运行道路的历史道路环境数据。
[0106]
云端融合模块，用于基于图像数据融合模型对来自于车辆的实时道路环境数据和云端预存的相同位置点的历史道路环境数据进行融合，以生成远程导航信息。
[0107]
可选地，道路环境数据包括2d图像数据和3d点云数据，环境感知传感器包括摄像元件和激光雷达，摄像元件用于感知车辆运行环境中的2d图像数据，激光雷达用于感知车辆运行环境中的3d点云数据；云端融合模块包括前融合模块和总融合模块。
[0108]
前融合模块，用于将当前道路环境数据中的2d图像数据和历史道路环境中的2d图像数据结合，并将当前道路环境数据中的3d点云数据和历史道路环境中的3d点云数据结合。
[0109]
总融合模块，用于基于图像数据融合模型对结合后的2d图像数据和结合后的3d点云数据进行融合。
[0110]
可选地，本实施例中的车辆控制系统还包括设置于车端的车端判断模块和车端融合模块。车端判断模块，用于车辆根据预设条件和当前道路环境选择使用自导航信息或辅助导航信息行驶；车端融合模块，用于基于图像数据融合模型实时地对接收到的2d图像数据和3d点云数据进行融合，以生成自导航信息。
[0111]
可选地，云平台中还设置有云端判断模块，云端判断模块用于根据云端融合模块持续生成的一段时间长度的融合数据判断当前车辆是否适合继续正常行驶。
[0112]
车辆向云平台发出使用辅助导航方法行驶的请求后且未接收到云平台的反馈信息前，车端融合模块还基于图像数据融合模型，对当前道路环境数据从本体存储器中提取到的相同位置点的历史道路环境数据进行融合，以生成临时导航信息。
[0113]
另外需要说明的是，本实施例中的无人驾驶车辆控制系统的工作原理和工作方式详见上述无人驾驶车辆控制方法，在此不再赘述。
[0114]
本发明还公开另一种无人驾驶车辆控制系统，其包括一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的无人驾驶车辆控制方法的指令。处理器可以采用通用的中央处理器(central processing unit，cpu)，微处理器，应用专用集成电路(application specific integrated circuit，asic)，或者一个或多个集成电路，用于执行相关程序，以实现本技术实施例的无人驾驶车辆控制系统中的模块所需执行的功能，或者执行本技术方法实施例的无人驾驶车辆控制方法。
[0115]
本发明还公开一种计算机可读存储介质，其包括计算机程序，所述计算机程序可被处理器执行以完成如上所述的无人驾驶车辆控制方法。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read-onlymemory，rom)，或随机存取存储器(random access memory，ram)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，dvd)、或者半导体介质，例如，固态硬盘(solid state disk，ssd)等。
[0116]
本技术实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述无人驾驶车辆控制方法。
[0117]
以上所揭露的仅为本发明的优选实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明申请专利范围所作的等同变化，仍属本发明所涵盖的范围。