一种多传感器融合全天候快速无人车探测避障系统的制作方法

文档序号:14265945阅读:224来源:国知局
一种多传感器融合全天候快速无人车探测避障系统的制作方法

本发明属于无人驾驶技术领域,具体涉及一种多传感器融合全天候快速无人车探测避障系统。



背景技术:

伴随着经济的快速发展,汽车已经成为了人们生活中越来越重要的组成部分。驾驶员们的疏忽大意都会导致许多事故,每年在全世界交通事故中死亡的人数大约有100万人,我国每年大概有近10万人死于交通事故。既然驾驶员失误百出,汽车制造商们当然要集中精力设计能确保汽车安全的系统,安全是拉动无人驾驶车需求增长的主要因素之一;其次,我国大城市里严重的交通阻塞让开车并非那么美好,让人工智能的无人车代替有人驾驶可以完全解决交通阻塞等问题;另外,糟糕的空气状况也是推广无人驾驶汽车的“催化剂”。

无人驾驶汽车是通过车载传感系统感知道路环境,自动规划行车路线并控制车辆到达预定目标的智能汽车。它是利用车载传感器来感知车辆周围环境,并根据感知所获得的道路、车辆位置和障碍物信息,控制车辆的转向和速度,从而使车辆能够安全、可靠地在道路上行驶。无人驾驶汽车集自动控制、体系结构、人工智能、视觉计算等众多技术于一体,是计算机科学、模式识别和智能控制技术高度发展的产物,也是衡量一个国家科研实力和工业水平的一个重要标志,在国防和国民经济领域具有广阔的应用前景。

目前,无人车发展还处于起步阶段,各国都相继开始了智能无人驾驶汽车的研究。无论是何种程度的智能驾驶,第一步都是感知,也就是感知车辆周边复杂的路况环境,在这个基础上才能做出相应的路径规划和驾驶行为决策,感知传感器的选择是无人车成功避障的前提。常用的测距感知传感器有:超声波测距传感器、红外测距传感器、ccd视觉系统、毫米波雷达、微波雷达和激光雷达等等。

激光雷达实际上是一种工作在光学波段(特殊波段)的雷达,激光雷达属于主动探测,不依赖于外界光照条件或目标本身的辐射特性,它只需发射自己的激光束,通过探测发射激光束的回波信号来获取目标信息。激光波长短,可发射发散角非常小的激光束,多路径效应小,可探测低空/超低空目标。单线激光雷达是激光雷达中的一种,由于只有一路发射和一路接收,结构相对简单,使用也比较方便;单线激光雷达扫描周期较短,对前进方向环境的扫描速度快,角度分辨率较高,雷达本身体积较小,重量相对较轻,功耗也比较低,可靠性较高,成本相对低廉;单线激光雷达探测范围相对较广,能提供大量环境扫描点距离信息,可以为控制决策提供较大的方便,以上优点使得单线激光雷达成为了无人车感知未知环境的一个优先选择。

一般普通的简易无人驾驶车结构如图1,探测和避障系统原理如图2。无人驾驶车由(单线或多线)激光雷达传感器探测系统探测环境并输送给pc机(上位机),然后pc机经过编码处理,发送控制指令给基于单片机的下位机,单片机控制模块经过通讯解码后发送控制指令给直流无刷电机控制器,控制器驱动多个直流无刷电机运动;单片机控制系统根据外围环境的变化来调节电机的速度,进而控制无人车在实际环境中的位置,实现无人车在实际工况当中的行走和避障,现有的简易无人车控制系统均是由单个单片机控制单个单线激光雷达传感器或多线激光雷达传感器来实现上述功能的。

但是,上述技术方案长时间运行会发现存在着诸多问题,主要有:

(1)由于无人车受周围环境不稳定因素干扰,基于单片机的控制器抗干扰能力较差,经常会出现异常,引起无人车失控。

(2)现有的无人驾驶车均采用低级的dsp、arm系列芯片,工作频率最大才100兆赫兹左右,无法满足无人车复杂数据的快速运算。

(3)受无人车pc机性能影响,无人车的传感器采集数据无法快速计算和储存。

(4)单线激光雷达获取的数据为2d数据,无法区别目标的高度等信息,一些小型物体会被忽略,最终成为障碍物,单一单线激光雷达传感器导航成为车载领域的瓶颈。

(5)单一的单线激光雷达无法获取路面信息,需要配合其它传感器对地面信息进行读取和判别。

(6)多线激光雷达虽然可以实现2.5d或3d数据,可以判断障碍物的高度,处理地面的信息等,但是价格相对比较昂贵,一台64束的激光雷达售价高达70万人民币,无法大面积推广使用。

(7)单一的单线激光雷达无法探测到弯角、路崖等信息,需要配合其它传感器使用才可以读取到周围障碍物信号或定位传感器标志。

(8)现在的无人车基本上只考虑前向探测和避障,均未考虑后方的障碍物信息,有的时候后方出现的障碍物会伤害到无人车本体,而无人车无法实现加速躲避。

(9)基于单一的单线激光雷达无人车在刚启动瞬间存在着一个探测盲区,一旦有障碍物处于盲区,易于产生交通事故。

(10)基于单一的单线激光雷达无人车在实际行驶过程中也会出现探测盲区,一旦在运动过程中有障碍物进入运动盲区也会产生交通事故。

(11)基于单线激光雷达的无人车对前方道路图像采集速度较慢,影响了无人车快速行进。

(12)在长距离行驶中,基于单线激光雷达的无人车对周围环境辨认较差,无法实现精确定位。

(13)在规则交通中,无人车行驶路径的地面上具有各种交通标志,但是单线激光雷达无法辨认,失去了无人车快速行进时的辅助导航。

(14)在规则交通中,无人车行驶路径的空中具有红绿灯等标志,但是单线激光雷达无法辨认,削弱了无人车快速行进时的安全性。

(15)受激光雷达价格和性能的影响,一般性价比比较高的激光雷达探测范围不足100米,这个距离不利于无人车快速行进障碍物的判断。

视觉传感器的原理和结构与人类的感官组织类似,并且视觉传感器具有体积小、成本低、安装方便、隐蔽性好,具有探测范围广和包含的信息量大等优点。在无人车环境探测系统中加入摄像头可以实时感应周围的环境,收集数据,进行静态、动态物体的辨识、侦测与追踪,并结合导航仪地图数据,进行系统的运算与分析,可以预先让控制器察觉到可能发生的危险,有效增加汽车驾驶的舒适性和安全性;

但是,激光雷达和视觉采集传感器也有自身的缺点:

(1)无论是单线激光雷达、多线激光雷达或摄像机对有雨雾的天气非常敏感,雨雾对激光雷达和视频采集吸收很厉害,所以在有雨有雾的天气,激光雷达和视频信号性能会大大下降,对无人车的安全性造成较大的影响。

(2)无论是单线激光雷达、多线激光雷达或摄像机对有烟雾的环境非常敏感,烟雾对激光雷达和视频采集吸收很厉害,所以在有烟雾的天气,激光雷达和视频信号性能会大大下降,对无人车的安全性造成较大的影响。

(3)无论是单线激光雷达、多线激光雷达或摄像机对有灰尘的环境非常敏感,灰尘对激光雷达和视频采集吸收很厉害,所以在有灰尘的天气,激光雷达和视频信号性能会大大下降,对无人车的安全性造成较大的影响。

(4)无论是单线激光雷达、多线激光雷达或摄像机对有强光的天气非常敏感,强烈的阳光有时候可以使激光雷达和摄像机性能会大大下降,有时候甚至没有信号输出,对无人车的安全性造成较大的影响。

微波是波长很短的无线电波,微波的方向性很好,速度等于光速。微波遇到障碍物立即被反射回来,可以被雷达接收。微波雷达根据电磁波往返时间测得障碍物的距离。与红外、激光等光学导引相比,微波穿透雾、烟、灰尘的能力强,具有全天候(大雨天除外)全天时的特点。

为了满足无人车全天候工作,现对基于dsp或arm控制的单线激光雷达、多线激光雷达和具有视频采集的无人驾驶探测系统进行重新设计,引入探测范围较广、且性价比较高的全天候工作的微波雷达传感器,形成一套价格低廉、性价比相对较高的实用型无人车探测感知未知环境的传感系统,使得无人车可以全天候较远的发现障碍物并实现快速行驶时的有效避障。



技术实现要素:

本发明目的是:为了克服现有技术中存在的不足,本发明提供一种多传感器融合全天候快速无人车探测避障系统。

具体地说,本发明是采用以下技术方案实现的,包括控制系统和车顶激光雷达,还包括车载单目视觉摄像头、前方探测微波雷达组、后方探测微波雷达、配置在无人车车体下部的前方激光雷达组和后方激光雷达组,其中所述车顶激光雷达用于探测到无人车前方道路的起伏以及与前方激光雷达组一并探测无人车前方运动路径中的障碍物情况;所述前方激光雷达组还用于探测无人车左前方和右前方运动路径中的障碍物情况;所述后方激光雷达组用于探测无人车后方的障碍物情况;所述车载单目视觉摄像头用于识别无人车前方的标示及配合探测障碍物情况;所述前方探测微波雷达组和后方探测微波雷达用于中远距离障碍物探测;所述控制系统包括上位机和下位机,上位机实时接收各激光雷达反馈信号并解码,然后与下位机通讯并传输输入控制信号给下位机;下位机实时计算车载单目视觉摄像头的图像采集数据和进行微波雷达测距计算,并结合解码的输入控制信号控制无人车行驶。

进一步而言,所述车顶激光雷达为1颗单线激光雷达,位于略高于车顶且与水平面近似成斜向下5~15度的车顶前部中心位置。

进一步而言,所述车顶激光雷达为lms151单线激光雷达。

进一步而言,所述前方激光雷达组由3颗单线激光雷达组成,其中有两颗分别位于车头的左前部和右前部,两者中心方向均远离无人车前进方向有一个近似30度的夹角,剩余一颗位于两者的中心位置,其中心方向与无人车前进方向一致。

进一步而言,所述前方激光雷达组的设置高度约离地40cm。

进一步而言,所述前方激光雷达组均为lms151单线激光雷达。

进一步而言,所述后方激光雷达组由两颗与水平面平行的单线激光雷达组成,分别位于车尾的两侧。

进一步而言,所述后方激光雷达组设置高度约离地40cm~60cm。

进一步而言,所述后方激光雷达组均为lms122单线激光雷达。

进一步而言,还包括设置在无人车底部的前方超声波传感器组和后方超声波传感器组,所述前方超声波传感器组用于无人车前方盲区探测避障,所述后方超声波传感器组用于无人车后方盲区探测避障,所述下位机与前方超声波传感器组和后方超声波传感器组通讯。

进一步而言,所述前方超声波传感器组由5颗超声波传感器组成。

进一步而言,所述后方超声波传感器组由5颗超声波传感器组成。

进一步而言,所述上位机为英特尔的nuc微型电脑。

进一步而言,所述下位机为stm32f7mcu。

进一步而言,所述控制系统通过无线装置与无人车总站通讯,当无人车与总站失去通讯时,下位机实施自动停车控制。

进一步而言,所述下位机还通过车载单目视觉摄像头读取地面上的站点标识。

进一步而言,无人车为电动车,所述控制系统根据电动车蓄电池的内阻及温度参数对蓄电池的端电压进行检测。

进一步而言,所述车载单目视觉摄像头为ccd黑白摄像头。

进一步而言,所述前方探测微波雷达组包括设在车顶的第一微波雷达和设在车体下部的第二微波雷达,所述后方探测微波雷达设在车体下部。

本发明的有益效果如下:

1、在运动过程中,充分考虑了电池在这个系统中的作用,基于arm+nuc控制器时刻都在对无人车的运行状态进行监测和运算,避免了大电流的产生,所以从根本上解决了大电流对电池的冲击,避免了由于大电流放电而引起的蓄电池过度老化现象的发生。

2、在快速放电过程中,对端电压检测过程中,引入了蓄电池的内阻、温度等参数,使得端电压更接近于实际参数,有利用电池的低压保护。

3:由nuc处理无人车的多单线激光雷达的数据融合,使得控制比较简单,大大提高了运算速度,解决了单arm软件运行较慢的瓶颈,缩短了开发周期短,并且程序可移植能力强。

4:本发明节省了控制板占用空间,而且还实现了无人车多个独立区域的有效探测和避障,有利于提高无人车系统的稳定性和动态性能。

5:由于本发明控制器采用nuc处理大量单线激光雷达传感器的数据与算法,并充分考虑了周围的干扰源,把arm从繁重的工作量中解脱出来,有效地防止了运动控制主程序的“跑飞”,无人车抗干扰能力大大增强。

6:ccd摄像机图像数据采集比经济实用型单线激光雷达探测的距离远,使得无人车障碍物探测范围更广,同时微波雷达的存在填补了ccd摄像机和单线激光雷达探测距离之间的一个空白区域,有利于障碍物的追踪和距离的确定,利于无人车的加速和减速,提高了无人车的动态性能。

7:arm控制器利用储存的样本特征库匹配ccd摄像机的采集图像数据,可有效判断出障碍物是人或是何种物体,从而可有效估算出离这些障碍物的距离,提前实现避障预警。

8:基于黑白ccd摄像机单目视觉系统可有效探测出无人车运行方向周围凸出地面的障碍物,微波雷达可以在较远距离再次确认障碍物的存在,不仅可以提高避障的准确性,而且这些障碍物还可以为无人车导航提供精确定位。

9:基于黑白ccd摄像机单目视觉系统可有效分辨出规则交通中的车道检测线、直行和转弯等道路标志,无人车可以依靠这些标志修正自己的位置和姿态,提高了无人车自由行驶时的自主导航的稳定性和精确性。

10:基于黑白ccd摄像机单目视觉系统可有效分辨出规则交通中的绿灯、黄灯和红灯等交通提示,无人车可以根据这些信息调整自身的速度满足行驶、停车等需要,提高了无人车自由行驶时的安全性。

11:由于无人车顶层的单线激光雷达和微波雷达与地面具有一定的角度,这个角度可以帮助顶层单线激光雷达和微波雷达提前精确定位ccd摄像机发现的运动路面的起伏,防止路面破损所引起的深坑影响到无人车正常的行驶。

12:由于无人车顶层的单线激光雷达和微波雷达与地面具有一定的角度,这个角度可以帮助顶层单线激光雷达和微波雷达精确定位ccd摄像机发现运动路面临时遗落的小型障碍物,提前通知无人车控制系统实现避让,保障了无人车正常的行驶。

13:前方多单线激光雷达和微波雷达传感器融合系统,可以精确定位ccd摄像机发现的障碍物所在位置,提前通知无人车控制系统实现避让,有利于提高无人车行驶的快速性和安全性。

14:前方多雷达传感器融合系统,由于雷达传感器的方向有交叉,可精确探测到ccd摄像机发现的两侧柱状物体,可为无人车前进定位提供一定的帮助。

15:前方多雷达传感器融合系统,由于雷达传感器的方向有交叉,可精确探测到ccd摄像机发现的两侧空闲区域,可为无人车前进转弯和避障提供一定的帮助。

16:后方多雷达传感器融合系统,可有效探测到无人车与后方移动障碍物的距离,当遇到紧急情况时,无人车可以在控制器帮助下加速逃离危险区域,起到保护无人车本体的作用。

17:由多超声波传感器组成的前盲区检测系统可有效消除无人车刚启动向前加速时出现的近距离盲区,提高了无人车向前启动加速时的安全性和可靠性。

18:由多超声波传感器组成的后盲区检测系统可有效消除无人车刚启动倒车时出现的近距离盲区,提高了无人车倒车时的安全性和可靠性。

19:由多超声波传感器组成的前盲区检测系统可有效消除无人车正常行驶时实时出现的近距离盲区,进一步提高了无人车安全性和可靠性。

20:由多超声波传感器组成的后盲区检测系统可有效消除无人车倒车时实时出现的近距离盲区,进一步提高了无人车安全性和可靠性。

21:在有雨雾的天气状况下,启动微波雷达对前进环境进行远距离和中距离探测,在激光雷达和视觉传感器受到干扰的条件下采用微波雷达导航,有利于提高无人车恶劣环境下的安全性。

22:在有烟雾的天气状况下,启动微波雷达对前进环境进行远距离和中距离探测,在激光雷达和视觉传感器受到干扰的条件下采用微波雷达导航,有利于提高无人车恶劣环境下的安全性。

23:在有灰尘较多的天气状况下,启动微波雷达对前进环境进行远距离和中距离探测,在激光雷达和视觉传感器受到干扰的条件下采用微波雷达导航,有利于提高无人车恶劣环境下的安全性。

24:对于本结构的无人车来说,为了满足大范围多站点运行,加入了具有一定冗余度的站点传感器,不仅利于无人车的定位,而且也有利于总站对无人车的追踪。

附图说明

图1为普通简易无人驾驶车二维结构图。

图2为普通无人车探测和避障系统原理图。

图3为多传感器融合无人驾驶车二维结构图。

图4为前方多元雷达组排列二维结构图。

图5为前方盲区超声波传感器组排列二维结构图。

图6为后方多元雷达组排列和超声波组二维结构图。

图7为多传感器融合无人车探测和避障系统原理图。

图8为为多传感器融合无人车运行示意图。

图9为无人车运行加减速曲线图。

具体实施方式

下面结合实施例并参照附图对本发明作进一步详细描述。

实施例1:

本发明的一个实施例,其具体方案如下所述。

本实施例的无人车传感器结构排列如图3、图4、图5、图6所示。具体而言,sick公司的激光雷达采用成熟的激光--时间飞行原理及多重回波技术,非接触式检测,可以根据现场需要,设置各种图形的保护区域,且可以根据现场的需要,随时简单的修改图形,通过内部滤波及多重回波技术使得传感器具有可靠的抗干扰性能。lms151和lms122是sick公司新推出的高性能分别针对近距离探测的激光雷达,lms151系列针对10%反射率的物体,距离可以达到50米,lms122检测距离最远可到达20米。鉴于以上特点,本实施例采用基于lms1xxx系列的激光雷达组来组成无人车近距离前方和后方障碍物探测和保护系统:本实施例采用一颗位置略高于车顶、与水平面近似成5~15度、斜向下、位于车顶前部中心位置的lms151-10100单线激光雷达l1配合一组离地大概40cm与水平面平行的lms151-10100单线激光雷达(一般为3颗,分别为l2、l3、l4)组成精确的前方近距离探测和避障系统,其中水平雷达组中l2、l4分别位于车头的左前部和右前部,他们中心方向均远离运动方向有一个近似30度的夹角,可分别有效探测无人车左侧和右侧的障碍物,l3位于l2和l4的中心位置,其中心方向与运动方向一致;本实施例采用一组离地大概40cm~60cm与水平面平行lms122-10100激光雷达组(一般为2颗,分别为l5、l6)来组成无人车后方探测和保护系统。

摄像头在选择时需要具备下面几个特点:看得足够远,看的越远就能有更加充裕的时间做出判断和反应,从而避免或者降低事故发生造成的损失。但是看的越远,带来的问题是视角越窄,所以需要综合考虑。动态性能好,高动态范围的黑白相机不仅可以有效抑制光晕现象,有利于提高成像质量,对后续的图像处理十分有利,而且在光线不足地区及夜间无法安装照明设备的区域,仅监视景物的位置或移动时,黑白摄像机明显优越于彩色摄像机;单目视觉相对于双目视觉具有计算量小,实时性较好的优点,本实施例采用ccd黑白相机的单目视觉来配合激光雷达来进行远距离环境探测和避障。

德国英飞凌科技股份公司专一生产车用微波雷达:车用雷达系统发出无线电波,电波被前方的车辆或其他物体反射回来。英飞凌的雷达芯片负责发送和接收这些高频信号,并将它们传给雷达电控单元(ecu),雷达ecu测出汽车与其它运动物体的间隔距离以及它们的速度,为有人和无人驾驶提供距离判据;英飞凌微波雷达主要有77ghz和24ghz两种,77ghz是自适应巡航控制和碰撞预警等雷达应用的标准频率范围。即使在能见度很低的情况下,77ghz雷达芯片也能让无人车“识别”250米距离内的障碍物和其他道路使用情况,24ghz雷达芯片也能“识别”100米距离内的障碍物和其他道路使用情况,此微波雷达是采用硅锗工艺和工作在24ghzism频段(24.0ghz至24.25ghz)的全新产品,配备了一个具有业界最高集成度的片上雷达收发器和一个仅用于接收的辅助芯片,使系统设计能灵活实现多种应用的低成本和高性能的设计目标。全新系列的三款器件分别为bgt24mtr11(单发射单接收通道)、bgt24mtr12(单发射双接收通道)和bgtmr2(双接收器)。由于性价比的原因,本实施例采用bgt24mtr11来进行中远距离探测和避障,分别为设于车顶的微波雷达mr1(设置在l1附近)和设置在车底部的前方微波雷达mr2(设置在l3附近)和后方微波雷达mr3(设置在l5和l6的中间)。

由于传感器组合的原因,无人车在启动向前行驶时一般在前方运动区域存在一个盲区,为了防止启动时发生碰撞,本实施例在无人车的底部加入一组由超声波传感器us1、us2、us3、us4、us5组成的前盲区探测和避障系统。在无人车启动向前行驶瞬间,前盲区探测系统工作,如果在无人车启动加速向前行驶时不存在障碍在安全区域,无人车会转入多传感器融合导航状态;由于传感器组合的原因,无人车在启动向后倒车时一般在后方运动区域存在一个盲区,为了防止启动时发生碰撞,本实施例在无人车的底部加入一组由超声波传感器us7、us8、us9、us10、us11组成的后盲区探测和避障系统。在无人车启动向后倒车瞬间,后盲区探测系统工作,如果在无人车启动加速向后倒车时不存在障碍在安全区域,无人车会转入多传感器融合导航状态。

stm公司所生产的全新stm32f7mcu系列产品,是全球第一个量产且拥有32位元armcortex-m7处理器的微控制器,产品都配备拥有浮点运算单位及dsp扩充功能的cortex-m7核心,运算速度最高216mhz;具有面向内核、外设和存储器互连的axi和多ahb总线矩阵,采用6级超标量流水线和浮点单元(floatingpointunit,fpu);两个通用dma控制器和一个专用于图形加速器的dma;外设速度独立于cpu速度(双时钟支持),使得系统时钟变化不影响外设工作;相比之前的stm32系列,拥有更丰富的外设;上述出色的能效归功于意法半导体的市场领先的90纳米制造工艺、独有的减少闪存访存时间、先进的主频和功耗优化技术,在所有寄存器和sram内容都能继续保持的停止模式下,具有100μa的典型电流消耗,同时stm32f7具有优良的指令与管脚兼容性:cortex-m7向下兼容cortex-m4指令集,stm32f7系列与stm32f4系列引脚兼容;stm32f7mcu系列产品将armcortex-m7效能超越早期核心(譬如cortex-m4)的优势运用到极致,效能达到将近dsp两倍,上述特点使得stm32f7非常适合替代stm32f4系列芯片做无人车多传感器融合的数据处理。

因此,为克服现有无人车稳定性差、快速性差和性价比较差的缺点,本实施例舍弃了现有无人车所采用的单一单线激光雷达或多线激光雷达工作模式,使用了基于英特尔第七代nuc微型电脑+arm(最新嵌入式stm32f767)的全新双核控制模式。为了减少无人车的整体硬件成本和提高无人车探测的距离,采用微波雷达+多单线激光雷达+ccd摄像机+超声波传感器融合技术来实现障碍物的探测和避障。控制板以stm32f767为处理核心,实时接收基于英特尔第七代nuc微型电脑组成的上位机多传感器融合信号,并实现ccd摄像机的图像采集和处理、微波雷达信号处理算法和各种响应中断,实现与总站的数据通信和实时存储。

为了提高运算速度,保证无人车控制系统的稳定性和可靠性,本实施例在基于stm32f767的arm控制器中引入英特尔的第七代nuc微型电脑,形成基于arm+nuc的双核控制器,此控制器把多单线激光雷达、微波雷达探测和基于ccd单目视觉避障系统集中设计,并充分考虑电池在这个系统的作用,实现无人车在各个区域的探测和避障。把无人车控制系统中工作量最大的多单线激光雷达信号处理交给nuc微型电脑处理,充分发挥nuc微型电脑数据处理速度较快的特点,而盲区探测和避障、微波雷达数据、ccd黑白相机的单目视觉、人机界面、在线输出、等功能交给stm32f767完成,这样就实现了arm与nuc微型电脑的分工,同时二者之间实时进行通讯进行数据交换和调用。

对于本实施例的基于arm+nuc双核控制器,在电源打开状态下,arm控制器和nuc控制器首先完成初始化,然后车载电脑nuc通过无人车控制总站调取无人车行驶路径和地图信息,随后盲区传感器、基于ccd的单目视觉、微波雷达和多单线激光雷达开始工作,并与arm控制器通讯,arm控制器确定无障碍物进入工作区域后开启无人车行走模式并实时计算ccd摄像机的图像采集数据和微波雷达数据,同时与nuc控制器相互通讯,nuc实时接收多激光雷达反馈信号并解码,然后与arm控制器通讯并传输控制信号给arm控制器,arm控制器通过解码输入控制信号精确控制直流无刷伺服电机,直流无刷伺服电机经机械装置变换动力后驱动无人车行驶,并实时反馈位移、速度和加速度等信号给arm控制器。

参照图7,具体实施步骤是:

把无人车控制系统分为两部分:基于车载电脑nuc的上位机系统和基于stm32f767的arm下位机系统。其中基于nuc7的车载电脑上位机系统完成地图和环境输入、多传感器的数据融合和在线输出等功能;基于stm32f767的arm下位机控制系统完成无人车系统的伺服控制、ccd的单目视觉数据处理和微波雷达测距、i/o控制等功能,其中工作量最大的多轴直流无刷伺服系统控制、基于ccd的单目视觉数据处理和微波雷达测距交给stm32f767处理,充分发挥stm32f767数据处理较快的优点,这样就实现了nuc与arm的分工,同时二者之间又可以进行通讯,实时进行数据交换和调用。

参照图3、图4、图5、图6、图7、图8和图9,其具体的功能实现如下:

1)在无人车未接到运动命令之前,它一般会在等待区域等待控制总站发出的出发命令,如果电压较低的话,无人车会自动与充电装置对接进行充电。

2)无人车在等待期间一旦接到出发任务后,无人车车载电脑nuc通过总站调取无人车行驶路径和导航地图信息,随后基于stm32f767的arm控制器开启盲区传感器us1~us5对盲区进行扫描,如果有障碍物进入运动盲区,arm控制器会发出警报,并等待障碍物的清除;如果无障碍物进入运动盲区,无人车开始自动加速。

3)无人车开始启动瞬间,无人车根据天气情况进入工况选择模式:如果天气良好,arm控制器便开启微波雷达mr1~mr3和单线激光雷达传感器l1~l6以及基于ccd的黑白摄像机,ccd摄像机和mr1~mr3开始向基于stm32f767的arm控制器传输距离无人车远距离障碍物信息,同时多单线激光雷达开始向nuc传输近距离障碍物信息,arm控制器和nuc开始解码这些障碍物信息并转化为障碍物与无人车的距离信号并相互通讯,无人车借助这些反馈距离信号开始自主导航,沿着规定路线开始行驶;如果天气恶劣,arm控制器将禁止ccd黑白摄像机和单线激光雷达传感器l1~l6工作,只开启微波雷达mr1~mr3,mr1~mr3开始向基于stm32f767的arm控制器传输距离无人车远距离障碍物信息,同时arm控制器和nuc相互通讯,无人车借助mr1~mr3反馈距离信号开始降速自主导航,沿着规定路线开始行驶。

4)无人车进入运动路线后,如果天气良好,ccd黑白摄像机的第一个任务就是结合已有的道路地图信息寻找道路的标志点:这个标志点可能是道路的尽头,也有可能是转弯的地点,也可能是某些停靠站点,ccd发现此这些采集点后会与stm32f767通讯,stm32f767对ccd黑白摄像机的图像进行解码,然后转化为直流无刷伺服电机的pwm控制信号,arm控制器驱动无人车进行正常行驶前的定位和姿态调整;无人车结合ccd摄像机图像采集完成定位和姿态调整后,无人车将根据车载地图信息正常行驶,在行驶过程中ccd摄像机将实时图像传输给stm32f767,arm控制器将把实时图像解码后与目标特征库进行图像匹配,进而识别出前方障碍物是何种车型、物体、行人或各种路径标志,然后stm32f767根据目标在图像中的大小估算无人车与障碍物的大致距离,然后arm控制器开始微调直流无刷伺服电机的控制,使无人车开始实施远距离避障,并与车载电脑nuc实时通讯。在远距离避障过程中,微波雷达mr1~mr3实时向基于stm32f767的arm控制器传输距离无人车中远距离障碍物信息,同时多单线激光雷达开始向nuc传输近距离障碍物信息,arm控制器和nuc开始解码这些障碍物信息并转化为障碍物与无人车的距离信号并相互通讯,无人车借助这些反馈距离信号开始自主导航向含有障碍物的前进方向靠近。如果天气恶劣,ccd摄像机将被禁止工作,无人车将舍弃远距离避障模式,只能依靠微波雷达mr1~mr3实现中远距离避障。

无人车在向远距离障碍物靠近时,前方中远距离探测微波雷达组(与地面成近似15度角的斜前方微波雷达传感器mr1和与地面平行的前方微波雷达传感器mr2)配合前方近距离探测单线激光雷达组(与地面成近似5~15度角的斜前方激光传感器l1、与地面平行的前方探测单线激光雷达l2、l3、l4)时刻检测前方中远距离的环境,无人车开始实施中远距离避障。斜前方激光雷达l1和微波雷达mr1可单独工作,由于具有一定的倾斜角度,mr1和l1配合可以很好探测到前方道路的起伏,先有mr1对中远距离进行探测,然后由l1进行进一步精确确认,mr1和l1很容易发现起伏的深度和宽度;mr1、mr2、l1和l3配合主要探测正前方障碍物的存在与否:先有mr2对中远距离探测,发现疑似障碍物后有mr1进行二次确认,疑似障碍物大致确定后再有l1和l3进行精确位置确认;mr1、mr2、l3和l2配合检测左前方障碍物的存在与否:先有mr2对中远距离探测,发现疑似障碍物后有mr1进行二次确认,疑似障碍物大致确定后再有l3和l2进行精确位置确认;mr1、mr2、l3和l4检测右前方障碍物的存在与否:先有mr2对中远距离探测,发现疑似障碍物后有mr1进行二次确认,疑似障碍物大致确定后再有l3和l4进行精确位置确认。

在正常行驶过程中,mr2时刻对行驶方向上的中远距离进行探测,探测信号输入arm控制器进行解码,得到障碍物大致距离,然后当障碍物进入mr1的探测范围后,mr2和mr1的探测信号会同时输送给arm控制器进行解码,进一步得到障碍物的距离信息等。如果无障碍物进入运动方向,无人车按照原有的速度继续行驶;如果确实有疑似障碍物存在,无人车按照图9的速度控制模式减速至低速进入中远距离探测和避障模式,arm时刻与nuc通讯。无人车进入复杂工况选择模式:如果传感器探测到天气情况非常恶劣,此时多单线激光雷达将受到严重干扰,arm控制器将继续接受微波雷达mr2和mr1信号而舍弃nuc的多单线激光雷达l1~l6反馈信号,同时无人车开启低速行驶模式,全程以mr2和mr1作为前进导航传感器靠近障碍物并依靠微波雷达信号进行避障;如果天气情况良好,此时微波信号和多单线激光雷达信号良好,arm控制器将继续接受微波雷达mr2和mr1信号而nuc接受多单线激光雷达l1~l6反馈信号,无人车进入微波雷达信号和单线激光雷达信号交接区域,一旦单线激光雷达l3探测到障碍物信息,此时微波雷达的采集信号将作为辅助信号,控制器进入激光雷达精确定位导航模式:

如果l3和l1探测到前方运动路径中存在一定高度的起伏小坑,如果高度和宽度超过了无人车越过的要求,将向基于stm32f767的arm控制器发出中断请求同时把起伏小坑数据传输给nuc和arm进行处理,stm32f767会对中断优先处理并进入前方躲避保护子程序;如果起伏小坑的高度和宽度在无人车容忍范围,无人车将按照设定的正常速度进行行驶。

如果l1和l3探测到前方运动路径中存在障碍物,将向stm32f767发出中断请求同时把障碍物数据传输给nuc进行处理,stm32f767会对中断优先处理并进入紧急前方避障保护子程序:stm32f767根据nuc通讯的数据进入向左或向右的紧急避障让行;如果没有障碍物进入运行范围,无人车将按照图9的速度控制模式加速至设定的正常速度行驶。

如果l2和l3探测到左前方运动路径中存在障碍物,将向stm32f767发出中断请求同时把障碍物数据传输给nuc进行处理,stm32f767会对中断优先处理并进入紧急左前避障保护子程序:stm32f767根据nuc通讯的数据进入向右的紧急避障让行;如果没有障碍物进入运行范围,无人车将按照图9的速度控制模式加速至设定的正常速度行驶。

如果l4和l3探测到右前方运动路径中存在障碍物,将向stm32f767发出中断请求同时把障碍物数据传输给nuc进行处理,stm32f767会对中断优先处理并进入紧急右前避障保护子程序:stm32f767根据nuc通讯的数据进入向左的紧急避障让行;如果没有障碍物进入运行范围,无人车将按照图9的速度控制模式加速至设定的正常速度行驶。

5)无人车进入运动路线后,与地面平行的后方探测单线激光雷达l5、l6和微波雷达mr3时刻检测后方的环境,mr3、l5或l6判断后方存在障碍物向无人车靠近时候,将向stm32f767发出中断请求同时把障碍物数据传输给nuc进行处理,stm32f767会对中断优先处理,然后进入后方避障保护子程序并发出警报;如果后方没有障碍物进入保护范围,无人车将按照设定的正常速度进行行驶。

6)无人车进入运动路线后,与地面平行的前后盲区传感器us1~us5和us6~us10时刻检测盲区的环境,如果us1~us5或us6~us10判断有临时的障碍物向无人车盲区靠近时,将向stm32f767发出中断请求同时把障碍物数据传输给nuc进行处理,stm32f767会对中断优先处理,然后进入盲区避障保护子程序并发出警报;如果盲区没有障碍物进入保护范围,无人车将按照设定的正常速度进行行驶。

7)在无人车进入轨道正常运行速度达到要求的条件下,其导航的传感器ccd摄像机、微波雷达、us1~us10和l1~l6实时检测外围环境,并把回馈信号输送给arm和nuc控制器,先有nuc和arm对传感器信号解码并相应各种中断保护,nuc与stm32f767实时通讯,由stm32f767控制器根据传感器解码信号生成直流无刷伺服电机控制信号,通过调节伺服电机的运动来实现无人车的运动速度和运动方向改变,使得无人车可以轻松的跟随车载输入路径。

8)在无人车进入轨道正常运行时,ccd摄像机实时对一些重点标志区域的地面各种导航标志进行读取,然后stm32f767控制器将对这些标志与标准库进行匹配,匹配成功后无人车将依靠这些标志进行前进导航标志之一,并进行二次姿态调整。

9)在无人车进入轨道正常运行时,ccd摄像机实时对一些重点标志区域的空中各种导航标志进行读取,然后stm32f767控制器将对这些标志与标准库进行匹配,匹配成功后无人车将依靠这些标志进行停车、启动和转弯等任务。

10)由于无人车在多数情况下,不是一站式服务模式,到达的地方较多,为了能够实现无人车的站点功能,本实施例在站点位置加入了地面标志,当无人车将要到达站点时,arm控制器会通过ccd黑白摄像机对站点标志进行读取,当站点读取后将自动累加,为了实现无人车的自动行走循环功能,无人车达到最后一个站点后会自动清零并重新从站点1计数。

11)当无人车进入停靠站点后,arm控制器存储生成进站信息记录表,然后通过无线装置发送给总站,有利于总站对无人车位置的追踪和无人车的调度。

12)为了能够满足无人车在风景区等特殊情况下的实际功能需要,本实施例加入了停靠站选择功能:在无人车运行初期总站可以自由设置无人车需要去的停靠站,然后无人车依靠自身的传感器可以独立完成这个设定,如果在运行过程中遇到紧急情况总站需要更改运行路径或停靠站点,主站通过无线装置与无人车进行通讯,并更改行走信息,无人车会自动更新路径和停靠站点信息,按照新的要求完成任务。

13)当无人车按固定路径行驶走时,系统上的多种声光报警系统将工作,很容易提醒周围行人无人车的存在,当无人车与主站失去通讯时,arm控制器会发出自动停车信号,直接原地锁死无人车的运动伺服电机,这样就不易与其他无人车发生碰撞,此时主站由于无法收集到无人车的传输信息,将根据上一个停靠点信息进行快速追踪,并解决故障问题。

虽然本发明已以较佳实施例公开如上,但实施例并不是用来限定本发明的。在不脱离本发明之精神和范围内,所做的任何等效变化或润饰,同样属于本发明之保护范围。因此本发明的保护范围应当以本申请的权利要求所界定的内容为标准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1