一种陆空两栖飞车的自主驾驶系统的制作方法

1.本发明涉及无人驾驶技术领域，尤其涉及一种陆空两栖飞车的自主驾驶系统。


背景技术：

2.小型低空飞行器与车辆底盘相结合目前以有多个科研单位在探索，应用方案多为飞行器与地盘独立系统，这种方案只是结构形式的创新，并未在系统层面解决陆空飞行驾驶一体化感知、决策、控制的问题。例如，荷兰的自转旋翼式飞行汽车pal
‑ꢀ
v、斯洛伐克的aeromobil系列飞行汽车、以及同样来自斯洛伐克的kleinvision系列飞行汽车，都属于将地面行驶系统与飞行系统相结合，机械结构与形式层面的创新，但目前为止上述团队尚未提出有关自主智能飞行驾驶的方案。此外，在陆空两栖机器人平台领域，飞车平台的创新点主要集中于结构设计共用复用等领域，尚未涉及空中智能自主飞行与地面自动驾驶的融合。部分相关研究将陆空自动控制系统相融合并得到了良好的控制效果，但其飞行与驾驶模态间的切换属于驾驶员主动意识决策的结果，不具备自主感知与决策能力。当前研究尚未存在有将从感知、决策、控制、通讯、交互等各个环节打通的智能飞行驾驶系统。


技术实现要素：

3.现有技术在陆空两栖飞车一体化感知、决策和控制方面存在不足，本发明的目的在于克服上述现有技术缺陷，提出一种陆空两栖飞车的自主驾驶系统，实现车辆在陆空模态下分别的运动控制以及模态间的自主切换。
4.为了实现上述目的，本发明提出了一种陆空两栖飞车的自主驾驶系统，所述系统包括部署在飞车上的地面行驶模块、空中飞行模块和飞车自动驾驶模块，以及部署在地面控制站的用户交互模块；其中，
5.所述地面行驶模块，用于在飞车自动驾驶模块的控制下进行地面行驶，并将运动信息反馈至飞车自动驾驶模块；
6.所述空中飞行模块，用于在飞车自动驾驶模块的控制下进行空中飞行，并将运动信息反馈至飞车自动驾驶模块；
7.所述飞车自动驾驶模块，用于在自动驾驶模式根据收集的各种感知信息，在二维和三维中交替搜索路径生成轨迹，并将控制信息发送至地面行驶模块和空中飞行模块；用于接收用户交互模块的控制信息进入用户控制模式并将控制信息发送至地面行驶模块和空中飞行模块，还用于接收地面行驶模块和空中飞行模块的运动信息并发送至用户交互模块；
8.所述用户交互模块，用于进行自动驾驶模式与用户控制模式之间的热切换；还用于接收飞车自动驾驶模块的运动信息，实现飞车数据可视化。
9.作为上述系统的一种改进，所述系统还包括遥控器接收机，用于在用户控制模式下，接收陆空一体化遥控器发出的控制信号，经解码后发送至地面行驶模块和空中飞行模块。
10.作为上述系统的一种改进，所述地面行驶模块包括底盘控制器vcu、电机控制单元mcu、电机和转向舵机；地面行驶模块的处理过程具体包括：
11.底盘控制器vcu接收来自飞车自动驾驶模块和陆空一体化遥控器的控制信号，并对控制信号进行分析后分别输出至电机控制单元mcu与转向舵机，电机控制单元 mcu收到控制信号后向电机发出运动指令信息，电机收到运动指令信息后与转向舵机开始运动，并均将各自运动信息经底盘控制器vcu反馈至飞车自动驾驶模块。
12.作为上述系统的一种改进，所述空中飞行模块包括飞行控制器fcs、电子调速器esc和直流无刷电机；空中飞行模块的处理过程具体包括：
13.飞行控制器fcs接收来自飞车自动驾驶模块和陆空一体化遥控器的控制信号，并对控制信号进行分析后输出至各个电子调速器esc，电子调速器esc将接收到的控制信号输出至对应的直流无刷电机，各直流无刷电机改变各自转速以达到飞行控制，电子调速器esc和直流无刷电机均将各自反馈信息经飞行控制器fcs反馈至飞车自动驾驶模块。
14.作为上述系统的一种改进，所述飞车自动驾驶模块包括环境感知子模块和决策子模块；其中，
15.所述环境感知子模块，用于通过传感器收集各种感知信息并发送至决策子模块；
16.所述决策子模块，用于根据各种感知信息进行自动驾驶规划，并将生成的指令信息发送至地面行驶模块和空中飞行模块。
17.作为上述系统的一种改进，所述环境感知子模块包括内环境感知单元和外环境感知单元；其中，
18.所述内环境感知单元包括gps、imu和地磁传感器，分别收集位置、姿态和方向信息；
19.所述外环境感知单元包括超声波传感器、视觉传感器、气压传感器和空速空压计，分别收集各自对应的数据。
20.作为上述系统的一种改进所述决策子模块包括预测与决策单元、轨迹规划单元和运动控制单元；其中，
21.所述预测与决策单元包括行为预测节点和行为决策节点；
22.所述轨迹规划单元包括轨迹评估节点和轨迹生成节点；
23.所述行为预测节点，用于根据感知信息对运动物体进行意图识别和行为预测，将预测结果输入行为决策节点；
24.所述行为决策节点，用于基于感知信息和预测结果进行决策，形成一组运动指标传输至轨迹生成节点，还用于接收到来自用户交互模块的控制信息，终止当前任务并将用户控制信息通过轨迹生成节点直接传输至运动控制单元；
25.所述轨迹生成节点，用于对运动指标进行计算得到数条轨迹并输入轨迹评估节点，还用于获得行为授权后将控制信息输入运动控制单元执行控制；
26.所述轨迹评估节点，用于对收到的数条轨迹进行分析，如果能选出最优轨迹，则将最优轨迹输入运动控制单元，如果无最优轨迹，通知行为决策节点重新生成一组运动指标，再进行轨迹生成与评估，直至得到最优轨迹；
27.所述运动控制单元，用于将收到的最优轨迹进行转码，形成飞车控制信息并分别传输至地面行驶模块的底盘控制器vcu和空中飞行模块的飞行控制器fcs。
28.作为上述系统的一种改进所述行为决策节点的处理过程包括纯地面行驶决策、空中飞行决策和基于图搜索的方法进行起飞和降落的决策，以实现不同模态间的自主切换；其中，所述基于图搜索的方法进行起飞和降落的决策，具体包括：
29.步骤s1)基于感知信息和内置地图数据得到三维地图，并对三维地图进行栅格化处理；
30.步骤s2)当飞车在地面时，使用2d a*方法在平面内搜索路径，并在搜索的每次循环处理中执行起飞判断；当判断为需要起飞时，记录起飞点和对应路径，转至步骤s3)
31.步骤s3)当飞车在空中或判断为需要起飞时，计算当前位置到目标点的距离，若距离小于阈值，使用3d a*方法在空间中直接搜索飞行至目标点的路径，并转至步骤s4)；否则，执行一种修改过的3d a*方法搜索落点，转至步骤s2)；
32.步骤s4)根据目标点，生成一条包含起飞和降落点的路径。
33.作为上述系统的一种改进，所述用户交互模块包括任务规划子模块和一体化图数传子模块；其中，
34.所述任务规划子模块，用于在用户进行重规划干预时，生成任务规划信号发送至一体化图数传子模块；
35.所述一体化图数传子模块，用于在用户进行超视距手动控制时，接收陆空一体化遥控器发送的控制信息，转码后发送至飞车自动驾驶模块；用于接收飞车自动驾驶模块发送的信息并进行可视化处理；还用于在用户进行重规划干预时，接收任务规划子模块的任务规划信号并发送至飞车自动驾驶模块。
36.作为上述系统的一种改进，所述地面行驶模块通过can总线协议接入飞车自动驾驶模块，空中飞行模块通过mavlink协议接入飞车自动驾驶模块，地面控制站通过5g/4g、wifi或短波与飞车自动驾驶模块进行通信。
37.与现有技术相比，本发明的优势在于：
38.1、将原本独立的地面车辆和飞行器的控制与自动驾驶系统进行整合，实现飞行车辆的一体化感知、决策和控制；
39.2、对陆空两栖飞车的起降决策问题提出一种基于图搜索的方案，在搜索效率、能耗、机动性方面取得平衡，发挥出陆空两栖平台的优势；
40.3、通过增加上位机的方式，将遥控器控制地面行驶与飞行的信号融合，方便使用单个遥控器对两种运动模态实现控制，且能够实现此两种运动模态的协调。
附图说明
41.图1是本发明陆空两栖飞车的自主驾驶系统组成框图；
42.图2是基于图搜索的起降决策方法流程图；
43.图3是基于图搜索的起降决策方法中使用2d a*在平面内搜索路径时判断起飞的伪代码；
44.图4是基于图搜索的起降决策方法中使用修改过的3d a*方法在空间内搜索路径时的启发函数计算方法的伪代码。
具体实施方式
45.本发明是提供一种陆空两栖飞车自主驾驶系统，以解决现有技术中对于陆空两栖平台无法一体化控制以及不能实现自动驾驶等问题。
46.本发明对飞行车辆的地面行驶、空中飞行、自主驾驶、用户交互模块进行整合，为陆空两栖平台的搭建和自主驾驶系统的研究提供了一种方案。并在此基础上，针对目前研究较少的陆空两栖飞车自主驾驶的起降决策问题提出了一种基于图搜索的轻量级算法，对应系统中的行为决策节点。
47.该方法利用感知模块对环境构建的三维栅格地图，在二维和三维中交替搜索路径。在二维平面内的搜索对应地面行驶，能够确保能耗较低。低维度的搜索同时降低了运算量。当二维平面内无法快速搜索到路径时，切换到三维空间中搜索，对应空中飞行，用以绕开平面内的障碍物。这种方法充分发挥陆空两栖飞车多模态的运动能力，实现能耗与机动性的平衡。当起飞、降落点及路径确定后，传入后续的轨迹生成节点进行局部轨迹规划。
48.下面结合附图和实施例对本发明的技术方案进行详细的说明。
49.实施例1
50.如图1所示，本发明的实施例1提供了一种陆空两栖飞车的自主驾驶系统，包括地面行驶模块、飞车自动驾驶模块、空中飞行模块和用户交互模块。地面行驶模块、空中飞行模块、用户交互模块均与飞车自动驾驶模块连接；用户控制与自动驾驶实时数据交互，用户可在地面站实时监视飞车所有数据并经行自动驾驶与用户控制一键切换。
51.地面行驶模块包含如下节点：地盘控制器vcu、电机控制单元mcu、直流无刷电机、转向舵机；所述空中飞行模块包含如下节点：飞行控制器fcs、电子调速器 esc、直流无刷电机；
52.飞车自动驾驶模块包含如下子模块：环境感知子模块、决策子模块；所述环境感知子模块包含如下单元：内环境感知单元、外环境感知单元；所述内环境感知单元包含如下节点：gps、imu、地磁传感器；所述外环境感知单元包含如下节点：超声波传感器、视觉传感器、气压传感器、空速空压计，还可以接入其他感知设备如激光雷达等；所述决策子模块包含如下单元：预测与决策单元、轨迹规划单元、运动控制单元；所述预测与决策单元包含如下节点：行为决策节点、行为预测节点；所述轨迹规划单元包含如下节点：轨迹生成节点、轨迹评估节点；
53.用户交互模块包含如下节点：遥控器接收机、陆空一体遥控器、地面控制站、任务规划子模块、一体化无线图数传。
54.地面站与通过5g/4g、wifi以及短波与车自动驾驶模块相连接，接收来飞车自动驾驶模块的信息，实现飞车数据可视化，以及自动驾驶模式与用户控制模式之间的热切换，极大的提高飞车的安全性和可靠性。
55.地面行驶模块通过can总线协议接入飞车自动驾驶模块，空中飞行模块通过mavlink协议接入飞车自动驾驶模块，飞车自动驾驶模块根据环境需求可自主选择使用地面行驶形式或空中飞行形式。地面站与遥控器接入vcu和fcs，可实现对地面形式模块和空中飞行模块的实时控制干预。
56.飞车自动驾驶模块包含环境感知子模块、决策子模块。环境感知子模块通过其内环境感知单元下的各种传感器gps、imu、地磁传感器收集位置、姿态、方向等信息；通过外环
境感知单元的传感器如视觉传感器、气压传感器、空速空压传感器收集其他数据(如相对距离等)。决策子模块中行为决策模块通过对环境经行分析后形成运动指标，轨迹生成节点对指标进行计算得到数条轨迹后传输到轨迹评估节点，轨迹评估节点对数条候选轨迹进行分析并选出最优方案(若有)，将结果反馈于轨迹生成节点，并传向运动控制模块执行控制。若轨迹评估的结果为候选轨迹中没有可行轨迹 (若无最优方案)，则将这一信息反馈到行为决策节点重新生成一组运动指标，再重新进行上述轨迹生成、评估的操作，直到得出可行轨迹。
57.轨迹生成节点收到最优轨迹后反馈于行为决策节点获得最终行为授权，轨迹生成节点获得行为授权后将控制信息传向运动控制模块执行控制；当行为决策节点接收到来自用户交互模块的控制信息后，随即终止当前任务并将用户控制信息通过轨迹生成节点直接传输给运动控制模块执行控制信息。
58.环境感知子模块将收集到信息提供给决策子模块中的预测与决策单元，行为预测节点根据感知信息对运动物体进行意图识别、行为预测，将预测结果输入行为决策节点，形成一组运动指标传输给轨迹规划单元，行为决策节点基于感知信息、预测结果进行决策，如起飞、降落等，将相应的运动指标传入轨迹生成节点。轨迹生成节点根据传入的运动指标生成符合动力学约束的轨迹，将候选轨迹传入轨迹评估节点，轨迹评估节点对候选轨迹进行碰撞检测，并按照代价函数计算轨迹的代价，将结果返回至轨迹生成节点。经过迭代，最终选出一条符合动力学约束的，代价最低的无碰撞轨迹，输入到运动控制模块。运动控制模块收到该方案信息后进行转码形成飞车控制信息分别传输给fcs和vcu。
59.用户交互模块包括陆空一体遥控器、遥控器接收机、地面控制站、任务规划子模块、一体化图数传。视距内控制时，用户可通过陆空一体化遥控器向遥控器接收机发出控制信号，经遥控器接收机解码后把控制信息传达向vcu及fcs；若进行超视距手动控制，则控制信号由陆空一体化遥控器发送给一体化无线图数，由一体化无线图数传把控制信号转码后发射给飞车自动驾驶模块，飞车驾驶模块收到来自一体化无线图传的控制信息经解码把控制信息传输给vcu或fcs。地面控制站通过一体化图数传接受来自飞车自动驾驶模块的信息并将信息可视化处理供用户查看，用户通过地面控制站进行任务规划及飞车自动驾驶过程中重规划干预时，任务规划信息及重规划信息将由地面控制站传输到任务规划子模块，任务规划子模块对接收的信息进行统筹后生成相应任务规划信号由一体化无线图数传发送给行为决策节点，行为决策节点收到信号后对飞车进行控制执行任务。
60.地面行驶模块包括地面控制器vcu、电机控制单元、电机、转向舵机。底盘控制器vcu接收来自飞车自动驾驶模块及陆空一体化遥控器的控制信号，并将控制信号分析后分别输出给电机控制单元与转向舵机，电机控制器mcu收到控制信号后向电机发出运动指令信息，电机与转向舵机收到指令信息后开始运动，并将运动信息反馈于vcu。地面行驶模块中底盘控制器在执行控制指令后并实时接收来自运行mcu 和转向舵机的反馈信息将信息反馈于飞车自动驾驶模块；
61.空中飞行模块包括飞行控制器fcs、电子调速器esc、直流无刷电机。飞行控制器接收来自飞车自动驾驶模块及陆空一体化遥控器的控制信号，并将控制信号分析后输出给各个电子调速器esc，esc接收到控制信号后将信号输出给电机，各个电机根据对应esc的控制信息改变各自转速以达到飞行控制并将转速反馈于fcs。空中飞行模块中飞行控制器在执
行控制指令后并实时接收来自esc和电机的反馈信息并将信息反馈于飞车自动驾驶模块。
62.由于陆空两栖飞车多模态的运动特性，无人车和无人机的决策方法无法满足两栖飞车的需求。行为决策节点在传统的纯地面、空中行驶的决策外，额外使用了一种基于图搜索的方法来进行起飞、降落的决策，以实现不同模态间的自主切换。一种基于图搜索的起降决策方法，生成包含起飞、降落点的路径用于后续规划。如图 2所示：
63.首先，基于感知信息、内置地图数据等得到三维地图，并将其栅格化。当飞车在地面时，使用2d a*在平面内搜索路径，同时在每次循环中执行起飞判断，判断方法如图3的伪代码所示，下文详细介绍。
64.从第一次循环开始，记录启发函数值的最小值h
min
，在下次循环中判断新生成的启发函数值是否小于h
min
，是则更新h
min
为新值，否则进行一次计数，对应伪代码2～7行。其中，启发函数h出自a*代价函数，为当前位置到目标点的曼哈顿距离。在2d a*中，代价函数的具体计算方法为：
[0065][0066]
多次循环后，若计数值大于设定的阈值(thre)，则判定为需要起飞，对应伪代码8～12行。起飞点设为使启发函数值最小的点，即有h
min
的点。此时，记录起飞点及对应路径，结束循环。其中，起飞点即后续规划的新起点。
[0067]
当飞车在空中，或判断为需要起飞时，计算当前位置到目标点的距离。若距离较近，则使用3d a*方法在空间中直接搜索飞行至目标点的路径。否则，执行一种修改过的3d a*搜索落点，其中，对启发函数计算方法的修改如图4的伪代码所示，下文详细介绍。
[0068]
定义h
2d
为二维(xoy平面)启发函数值，计算方法同2d a*中的启发函数。记录二维启发函数值的初始值h
2d0
，将该初始值h
2d0
与当前所搜索节点的二维启发函数值h
2d
作差得到δh，根据δh的大小将算法的执行过程根据分为：上升、平飞、下降，三个阶段。此外，当h
2d0
《h
2d
时，将h
2d0
的值更新为h
2d
，此时飞车需要向后方飞行。以上过程对应伪代码1～4行
[0069]
当0≤δh《c
escape
时，为上升阶段，对应伪代码5～6行。此时定义一虚拟高度值z
dummy
，大小始终为当前高度z
curr
加一微小正值∈，并按照虚拟高度来计算启发函数值。其中，启发函数会使得搜索方向被吸引至与目标点相同的高度，而z
curr
用于抵消这种作用，正的∈使算法倾向于向上方搜索。否则当目标点同样在地面时，启发函数的吸引作用会造成在地面附近过多的无意义搜索。当h
2d
开始减小，直到 c
escape
≤δh《c
landing
时，进入平飞阶段，对应伪代码7～8行。此时认为开始越过障碍，调整虚拟高度值z
dummy
＝z
curr
，消除高度的影响，使其按照当前趋势继续向前搜索。当h
2d
继续减小，使δh≥c
escape
时，判断为已经脱离了障碍，对应伪代码 9～10行。此时投影目标点至地面，即令虚拟高度值z
dummy
＝z
ground
，将搜索向地面吸引。当搜索到地面节点时，记录该点为降落点并重建路径，结束循环。将降落点设为新起点，回到前文的2d a*在地面继续搜索。
[0070]
经过反复迭代，最终生成一条包含起飞、降落点的路径。整体执行过程如图所示。图中“搜索时间过长”的判断即伪代码1的内容。伪代码2应用于“修改的3d a* 搜索”。在后续流程中，轨迹规划单元基于这些运动指标生成包含速度、位姿等的与时间相关的局部轨迹。当无可用轨迹时，反馈至决策子模块重新生成全局规划。
[0071]
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。