一种基于目标识别的无人车自主跟随系统的制作方法

1.本发明属于无人车的技术领域，具体涉及一种基于目标识别的无人车自主跟随系统。


背景技术：

2.目前常见的无人车自主跟随功能实现方式主要有两种。第一种是领航员与跟随车辆之间通过无线方式进行通讯，领航员将位置和速度信息实时发送给跟随车辆。另一种方式是领航员配备定位标签，目前最常用的就是二维码，跟随车辆实时检测领航员配备的标签，通过标签来识别领航员。这两种方式都对领航员提出了要求，在使用过程中要想更换领航员非常麻烦，也对后期的升级和维护增加了难度。


技术实现要素：

3.鉴于以上不足，本发明提出了一种基于目标识别的无人车自主跟随系统，减少对领航员的要求，方便后期的升级和维护。
4.实现本发明目的的技术解决方案为：一种基于目标识别的无人车自主跟随系统：人机交互终端、识别子系统、定位子系统、感知子系统、规划子系统、控制子系统、线控底盘子系统以及通讯子系统；所述系统基于硬件设备，包括计算设备、传感器、通讯设备和执行设备。
5.计算设备使用了两个中央处理器，一个处理器主要负责规划与控制，另一个主要负责传感器数据的处理；所使用的传感器包括组合导航、激光雷达和摄像头；所述的通讯设备为无线电台，负责跟随系统和人机交互终端之间的信息传递；所述的执行设备指的是线控底盘；规控处理器与线控底盘之间的通讯通过can总线来完成。
6.识别子系统通过激光雷达和视觉图像数据融合的方式识别出领航员的位置和速度。
7.定位子系统通过融合卫导和惯导的信息计算出无人车本身的位置、速度以及移动的方向。
8.感知子系统通过融合激光雷达、视觉摄像头和毫米波雷达的数据，检测出行驶路线上的障碍物，计算出障碍物的位置、速度以及移动方向。
9.规划子系统根据识别、感知以及定位的结果，规划出无人车的跟随路径和速度。
10.控制子系统根据规划的结果，生成对应的油门和刹车等指令信号，利用通讯总线将最终的控制指令传给线控底盘子系统控制其运动；
11.所述的识别子系统所使用的传感器包括激光雷达和摄像头，提前采集领航员的模型信息并进行训练，生成领航员的唯一标识。
12.进一步地，所述的领航员可以是人，也可以是车。如果是人，所述的领航员的模型信息包括体态特征和行走姿态特征等，如果是车，所述的领航员的模型信息包括尺寸、颜色、结构等。
13.进一步地，所述的识别子系统在启动时根据系统中的模型检测出视野范围内所有的领航员，并将领航员的信息传回人机交互终端，由操作人员在人机交互终端上指定领航员，识别子系统根据指令信息识别出指定领航员的位置和速度信息。
14.进一步地，所述的定位子系统所使用的传感器为组合导航设备，包括惯性导航和卫星导航，所述的卫导支持地基增强系统和星基增强系统两种信号增强模式，定位子系统根据两种信号的强弱，在软件上自主切换信号增强模式。
15.进一步地，所述的感知子系统所使用的传感器包括激光雷达和摄像头，其主要负责检测行驶路线上的障碍物信息。
16.进一步地，所述的规划子系统根据定位、感知及识别信息，根据跟随方式规划出无人车的行驶路线，所述行驶路线包括位置、速度及航向。
17.进一步地，所述的跟随方式有两种，一种是轨迹跟随，即严格按照领航员的运行轨迹进行跟随，第二种是牵引跟随，即按照无人车与领航员之间的最短行驶路径进行跟随。
18.进一步地，规划子系统会根据领航员的位置和速度信息对其运行轨迹进行预测，在领航员被短暂遮挡后，无人车根据所预测的轨迹行驶，待重新检测到领航员后，继续跟随行驶。
19.进一步地，领航员丢失后，规划子系统会发布停车指令并主动向人机交互终端发送警告信息请求人工干预。所述的领航员丢失判据是无人车到达预测轨迹的终点时，在整个感知范围内进行全局搜索，仍然匹配不到指定的领航员。
20.进一步地，领航员在接收到警告信号后，通过人机交互终端给无人车发送自身的位置信息，规划子系统根据此位置信息自主规划出行驶路径，待无人车行驶至指定位置后，重新检测出领航员后按照领航模式再次运行。
21.进一步地，所述的人机交互终端主要负责人机交互操作。
22.进一步地，所述的控制子系统根据规划子系统的输出以及其他需要的信息生成最终的油门、转向等指令发送至所述的线控底盘子系统控制其行驶行为。
23.进一步地，所述的通讯系统包括自主跟随系统与线控底盘之间以及自主跟随系统与人机交互终端之间的通讯。自主跟随系统与线控底盘之间通过can总线进行通讯，自主跟随系统与操作终端之间通过无线电台进行通讯。
24.与现有技术相比，本发明的有益效果在于：本发明采用自主感知的方式实现了对常规车辆及人的跟随，无需对领航员提出过多苛刻要求；本发明引入领航员的自身状态信息，通过对领航员状态信息的匹配实现稳定的识别及重新识别；本发明设计了两种定位模式，扩大了跟随功能的使用范围，不仅可以在城市环境中使用，也可以在越野环境中使用；本发明设计了两种跟随模式，以适用不同的使用需求；本发明引入了领航员轨迹预测功能，以实现在目标丢失后自主找回。
附图说明
25.图1是无人车俯视图。
26.图2是无人车左右传感器布置示意图。
27.图3是无人车前后传感器布置示意图。
28.图4是无人车硬件系统连接示意图。
29.图5是领航员识别流程图。
30.图6是跟随系统操作流程图。
具体实施方式
31.下面结合附图对本发明作进一步详细地说明，这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构。
32.本实施例提供一种基于目标识别的无人车自主跟随系统，无人车能够自主识别领航员的位置和速度，根据领航员的指令及自身的感知结果进行自主规划，生成油门、转向等指令信息，控制线控底盘行驶。
33.一种基于目标识别的无人车自主跟随系统，包括识别子系统、规划子系统、定位子系统、感知子系统、控制子系统、线控底盘子系统以及通讯子系统。识别子系统所使用的传感器包括激光雷达和摄像头，通过融合激光雷达和摄像头的数据检测出领航员的位置、速度等信息；感知子系统所使用的传感器与识别子系统一致，其主要负责的功能是识别出行驶路线上的障碍物；规划子系统根据不同的跟随模式规划出不同的行驶路径，跟随模式包括轨迹跟随和牵引跟随；定位子系统所利用的传感器包括惯导和卫导，卫导支持星基和地基两种信号增强模式，定位子系统为无人车提供高精度的自身定位信息；控制子系统接收到规划模块输出的位置、速度等信息，将其转化为油门、刹车、转向指令，利用通讯总线将最终的控制指令传给线控底盘子系统控制其运动；通讯子系统包括车载电台和手持电台，车端和手持端各有一个通讯模块，负责手持终端与车载系统之间的通讯。手持终端可以是平板电脑或者是笔记本电脑，终端软件支持的系统为linux操作系统，负责人机交互操作。领航员可以是人或者车。
34.如图1所示，自动驾驶控制柜固定在线控底盘的后方。为了提高定位精度，组合导航固定在线控底盘纵向轴线上，且组合导航的方向沿着轴线的正方向，组合导航的两个蘑菇头固定在车辆的两侧。主激光雷达安装固定在线控底盘的前方，作为识别和感知的主传感器。
35.如图2和图3所示，线控底盘的前、后、左、右各安装了一个补盲激光雷达，用来补足主激光雷达的盲区。在补盲激光雷达的下方各有一个视觉摄像头，视觉摄像头的图像数据和激光雷达的点云数据融合，用来进行识别和感知。
36.各个设备之间的连接如图4所示。本实例中，计算设备和线控底盘之间通过can总线连接，组合导航和计算设备之间通过串口连接，激光雷达和计算设备之间通过网口连接，视觉摄像头与计算设备之间通过gmsl接口连接，毫米波雷达和计算设备之间通过can总线连接。
37.本发明一种基于目标识别的无人车自主跟随系统所使用的传感器有激光雷达、摄像头和组合导航，使用两个中央处理器作为计算设备，一个处理器主要负责规划与控制，该处理器通过can总线进行通讯，另一个主要负责传感器数据的处理。
38.所述的计算设备以及其他一些必要的电气设备都统一部署在一个控制柜中，所有的电气连接接口都部署在控制柜的表面以实现快速拆卸控制柜的目的。控制柜通过螺栓固定在线控底盘的车体内部。
39.本发明一种基于目标识别的无人车自主跟随系统，需要通过匹配领航员的模型特
征来对其进行识别。
40.识别子系统分为线下和线上两个部分，线下部分通过激光雷达和摄像头数据融合利用智能算法对领航员的模型进行训练。
41.如果车作为领航员，所采用特征包括尺寸、颜色、外形结构以及材质等，如果人作为领航员，所采用特征包括身高、体型以及行走姿态等，模型训练之后生成唯一标识。将生成的模型放入中央处理器中，线上部分在运行时根据激光雷达和摄像头数据实时提取领航员的特征，将特征与模型中的数据进行比对生成对应的分数，当分数大于一定阈值后，则认为匹配成功。
42.本发明一种基于目标识别的无人车自主跟随系统，所述的领航员的匹配情况有两种。一种是第一帧匹配，该情况下需要对整个感知空间上的数据进行全局扫描，直到匹配到领航员为止。另外一种是已知上一帧领航员的位置，根据小运动假设，下一帧只在该位置的邻域内进行检测匹配。
43.上述匹配成功的标志是匹配度大于一定的阈值，匹配度由下述公式决定:
44.匹配度＝(a1×
特征1+a2×
特征2+
…
+an×
特征n)
45.其中ai为匹配系数，0≤ai≤1，a1+a2+
…
+an＝1。匹配系数在程序运行过程中动态调整。比如领航员为人时，因为领航员离车越远，其姿态变化在数据中越不明显，所以在计算的过程中可以引入一个关于距离的比例参数，距离越远，体态特征的匹配度所占比例越大。
46.匹配到领航员后，通过检测到的领航员的相对位置和无人车的绝对位置，经过计算就能够得到领航员的绝对位置，领航员前后两帧绝对位置之差就能够得到其运动速度和方向。
47.识别子系统检测到领航员的位置和速度后，规划子系统根据之前一段时间所行驶路径的曲率以及当前领航员的速度预测出下一段距离的运行轨迹。规划子系统会实时更新路径信息，舍弃无人车已走过的路径，更新领航员最新的路径以及预测的路径。
48.在领航员被遮挡时，自动驾驶系统会自动按照所预测的轨迹进行规划，当无人车到达所预测的最后一个目标点时，如果还是无法检测到领航员，则自主停车，并向远程操控终端发送警告信息，提醒领航员注意。
49.领航员可以通过操控终端向自动驾驶系统下发自己的位置信息，自动驾驶系统根据自身的位置和接收到的位置规划处行驶路径，控制无人车行驶到领航员所在位置，重新检测到领航员后会自主切换到之前的跟随模式，并向领航员发送警告解除信号。
50.跟随的方式有两种，可以在操作终端上进行选择。
51.一种为轨迹跟随，即无人车按照领航员的移动轨迹进行跟随，规划子系统在该模式下主要在无人车离领航车轨迹较远的情况下，在满足无人车运动约束的条件下规划出一条到达领航员轨迹的平滑路径，主要采用曲线拟合的方式。
52.第二种为牵引跟随，即无人车按照与领航员之间的最短路径进行跟随，规划子系统在该模式下规划出的路径与无人车和领航员之间的夹角有关，如果夹角小于某一阈值，则规划的路径为一条直线，否则利用曲线拟合的方式规划出一条到达领航员位置的平滑路径。
53.规划子系统将根据无人车与领航员之间的距离，规划出无人车的行驶速度。
54.距离》l1时为追赶区，以最大速度行驶；距离《l1且距离》l2时为安全区，以领航员
的速度跟踪行驶；距离《l2且距离》l3时为防范区，以最小速度行驶；距离《l3时为禁止区，速度为0。最大速度和最小速度可以在操作终端上进行设置。
55.为了扩大无人车的应用范围，本发明所使用的组合导航支持地基增强和星基增强两种信号增强模式，设计了一种同时支持地基和星基的卫星信号接收天线。
56.星基和地基之间的切换设计了两种切换方式，一种是硬切换，该切换方式为主切换，由操作人员在无人车的操作面板上根据所使用的环境通过按键的方式进行手动切换。另一种切换为软切换，该切换方式下无需人工干预，软件中将以地基信号增强模式为主，如果启动时长时间内地基信号都弱于某一阈值，则自动切换至星基增强模式。
57.下面结合图6，对本发明的整个作业流程进一步说明：
58.结合图5，首先采集领航员的激光点云数据和视觉摄像头的图像数据，将数据放入识别子系统的线下模块中进行训练，提取出领航员的模型特征，将模型特征放入识别子系统的模型库中。
59.对系统进行上电，选择系统的定位方式。系统初始化后，自动驾驶系统自动检测环境中的领航员信息，并将所有领航员的位置等信息发送至操控终端，操控终端根据领航员的类型以不同的方式对其进行显示。
60.然后在操控终端上手动选择当前所要跟随的领航员，并设置跟随方式、最大速度、最小速度、安全距离等参数。
61.点击启动按钮，无人车按照所设定的方式跟随领航员行驶，并在行驶的过程中自主避障。
62.当领航员在某一帧检测中没有检测到，自动驾驶系统会先按照所预测的轨迹进行行驶，当无人车到达所预测的最后一个目标点时，如果还是无法检测到领航员，则判定领航员丢失，自动驾驶系统会发送停车指令，并向远程操控终端发送警告信息。
63.领航员可以通过远程操控终端向自动驾驶系统下发自己的位置信息，指引无人车向自己的位置运动，当自动驾驶系统柜重新检测到领航员后会自主切换到之前的跟随模式，并向领航员发送警告解除信号。
64.以上所述仅为本发明的较佳实施方式，本发明并不局限于上述实施方式，在实施过程中可能存在局部微小的结构改动，如果对本发明的各种改动或变型不脱离本发明的精神和范围，且属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变型。