一种自动驾驶异构系统及实现方法与流程

本发明涉及自动驾驶技术领域，具体涉及一种自动驾驶异构系统及实现方法。

背景技术：

自动驾驶系统是一个集环境感知、规划决策和运动控制等功能于一体的综合系统，它依赖于各种传感器对汽车行驶途中周边环境静态和动态信息数据的采集、融合、处理、反应以及对复杂场景的解析。由此可见，需要一个强大算力的计算机系统来完成所有数据的处理和计算。因此，很多自动驾驶原型车采用了集中式架构——它的数据全部是从传感器部分传到中央处理器，中央处理器对高频海量的数据来进行计算，目前中央处理器一般选用ipc或者gpu。但这样的架构系统劣势很明显，第一:由于中央处理器运算量特别大，而且带宽要求很高，所以造成了整个系统对硬件的要求十分苛刻。第二:这样的架构系统体积大功耗高、不利于落地生产。另外这种架构的缺点还在于，假如新功能开发需要增加新传感器，中央处理器的软件就要重新部署和刷写，因此可扩展性非常差。更为严重的一点是集中控制系统中局部故障会造成整体系统失效的不可靠性和不稳定性等问题。

故而行业提出了分布式架构的汽车控制系统，每个电子单元各自承担计算任务，需要集中处理的数据很少。该架构提高可扩展性较强，令增加新的传感器变得方便。但分布式设计导致的功能分散，在计算的重复性及系统安全及冗余设计方面，仍需要优化设计架构及实现途径。

技术实现要素：

发明目的：针对集中式架构硬件要求苛刻，可扩展性差，局部故障会造成整体系统失效的不可靠性和不稳定性等缺点，本发明提供一种自动驾驶异构系统，由相同或不同硬件架构平台的多个子系统根据功能和工作性质分工协作来完成中央处理器的任务。

技术方案：为解决上述技术问题，本发明提供的自动驾驶异构系统，包括视频采集处理子系统、数据采集子系统、数据融合子系统、规划决策子系统及运动控制子系统，其中

视频采集处理子系统又分为环视子系统和前视子系统。

所述环视子系统就是由环视视频采集模块和分布在汽车前后左右多个（一般大于等于4个）广角摄像头组成，环视采集子系统中的视频采集模块采集同一时刻多个广角摄像头的图像，并把图像转换成数字信息传输至环视采集模块上的cpu处理器，然后由cpu处理器通过图像拼接算法进行画面合成和画面矫正，合成一副车身周围的鸟瞰图，再通过图像识别算法对拼接图像进行处理，提取图像中的特征信息和有效信息加上时间戳标记传输至数据融合子系统和数据共享区供其它需要数据的子系统自取。

所述前视子系统由前视采集模块和分布在汽车前挡风玻璃内的一个长焦摄像机和一个短焦广角摄像机组成，选择短焦广角摄像机和长焦摄像机配合使用既能保证视场角足够宽不易漏掉检测物，又能拍摄远距离的检测物。前视子系统中的视频采集模块采集同一时刻两个摄像头的图像，并把图像转换成数字信息传输至前视采集模块上的cpu处理器，由cpu处理器通过图像拼接算法进行画面融合、校正、滤波等处理后，再对图像重新定标。进而通过图像识别算法对图像中的特征物体进行比对提取，提取图像中特征物体的信息，诸如红绿的状态，车道线，停车线等，并且通过图像定标参数和数学算法计算出车辆距车道线、红绿灯和停车线（如果检测到红绿灯和停车线）的距离，并把这些目标状态数据和距离信息等数据加上时间戳标记传输至数据融合子系统和数据共享区供其它需要数据的子系统自取。

所述数据采集子系统由全球定位单元gps、惯性测量单元imu、多线激光雷达lidar、毫米波雷达radar等传感器和数据采集模块组成。数据采集模块同时采集这些传感器的数据，并从采集的原始数据中解析出车辆的位置信息（经纬度数据）、车辆的姿态信息、速度及加速度等信息。同时还解析出了此时车辆周围障碍物的方位信息及距离信息。并把这些信息加上时间戳标记传输至数据融合子系统和数据共享区供其它需要数据的子系统自取。

所述数据融合子系统根据视觉处理子系统和数据采集子系统提供的各传感器数据，按时间戳信息对同一时刻（容许有一定的误差）所有传感器检测到的物体信息进行聚类计算，根据相邻两次或多次聚类结果计算目标几何相似度，根据相似度进行目标匹配，将匹配成功的目标确定为原始目标，通过对同一目标在不同时刻被传感器检测到的情况进行评判操作，从而判定原始目标为真实目标还是可疑目标或者假目标（这里所说的真实目标为真实存在的物体；可疑目标为可能存在的物体；假目标为不存在的物体）。然后采用基于多特征的目标跟踪方法对真实目标进行跟踪，提取真实目标相对于车辆坐标系中的运动速度；根据同一时刻全球定位单元gps采集的车辆的运动速度，计算获得真实目标相对于大地坐标系中的运动速度；根据数据采集子系统传输来的目标距离数据计算得到真实目标的中心坐标、目标长度、目标宽度等信息。对于可疑目标则继续进行聚类计算，根据计算结果再次进行评判操作；对于假目标则直接删除。数据融合子系统把真实目标的类别、速度、坐标、长度、宽度等数据加上时间戳标记传输至规划决策子系统和数据共享区供其它需要数据的子系统自取。

规划决策子系统根据数据融合子系统提供的真实目标的几何特征和运动特征，建立真实目标特征模型，并对目标类别判定及分类；栅格化目标特征，并进行栅格化表示，获得当前环境下的障碍物及车道线地图。所述地图和预装在系统中的高精度地图及路网数据进行匹配和融合，从而得到针对当前时刻的融合认知的自动驾驶地图。规划决策子系统根据车辆此时刻在规划地图中的位置、速度等信息，所有真实目标在地图中的位置、大小、速度等信息，以及红绿灯的状态等信息来综合规划决策车辆此时刻及未来几秒内的运动状态及运动速度（此处的运动状态指前进、后退、左转、右转及停车；运动速度是指加速到多少、减速到多少或者停车），并把运动状态和运动速度按照约定解析组成报文下发给运动运动控制子系统。

运动控制子系统收到规划决策子系统发送来的报文，解析出报文中的命令和参数，然后把解析出的数据和预先存储在系统中的阈值数据做比对，来判定收到的报文是否有效，如果无效则删除报文并上报规划决策子系统。如果数据有效，则读取此时刻线控车的运动状态、运动速度、油门开度、转向角度等车辆信息；然后把报文信息和车辆信息进行融合计算，生成新的报文并发给线控车去执行。同时读取车辆信息数据来判定是否达到本次控制效果。

使用时，该系统包括视频采集处理子系统、数据采集子系统、数据融合子系统、规划决策子系统及运动控制子系统，数据依次通过视频采集处理、数据采集、数据融合、规划决策和运动控制子系统，各子系统处理并加上时间戳标记的信息，同时传输至数据共享区供其它需要数据的子系统自取，用数据共享和数据交互实现分工合作和协调同步。

有益效果：本发明的自动驾驶异构系统，由相同或不同硬件架构平台（可以是arm架构、也可以式mips架构或者x86架构）的多个子系统根据功能和工作性质分工协作来完成中央处理器的任务，这样一方面可以减少数据的传输压力，另一方面也平衡了整个计算平台的计算量。各个子系统相互独立功能互补又通力协作来完成庞大的系统功能，这种系统架构即使局部出现故障也不会影响整个系统的运行；这种架构的好处还在于可扩展性强，可增加和删减传感器及子系统来进行扩展新的功能或减配。另外本系统的另一个亮点是：这样的异构系统能多个并联，可以实现整个自动驾驶系统备份冗余和安全监控，为道路参与者的财产和生命安全提供双重或多重的安全保证。

除以上所述的本发明解决的技术问题、构成技术方案的技术特征以及由这些技术方案的技术特征所带来的优点外。为使本发明目的、技术方案和有益效果更加清楚，下面将结合本发明实施例中的附图，对本发明所能解决的其他技术问题、技术方案中包含的其他技术特征以及这些技术特征带来的优点做更为清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

附图说明

图1是本发明实施例一的自动驾驶原理框图；

图2是图1中视频采集处理系统的架构图；

图3是数据采集子系统的架构图；

图4是本发明实施例二中自动驾驶冗余备份系统的系统框图。

具体实施方式

实施例一

如图1，本实施例的自动驾驶异构系统包括视频采集处理子系统、数据采集子系统、数据融合子系统、规划决策子系统及运动控制子系统等多个子系统构成，各个子系统通过同步信号和车载以太网互联。各子系统之间既能实现数据共享又能进行数据交互，达到分工合作、协调同步的目的。

如图2所示，视频采集处理子系统主要完成视频的采集和预处理工作，由视频采集模块和不同规格的摄像机组成。而视频采集模块由高性能多核arm处理器、ddr4、emmc、ethernet、rtc等组成，外部可接4个摄像机，为了满足视频数据传输速率和距离，本发明采用fpd-link3标准的串行接口，即在视频采集模块上还设计有mipi-csi接口的解串器，能让视频数据流的传输距离达到15米—20米，速率达到2.5gbps以上。该视频采集子系统又包括前视子系统和环视子系统。

环视子系统由视频采集模块和4个广角摄像机组成：相机接口遵循fpd-link3标准,数据的传输有效距离为15米---20米，4个摄像机均匀分布在车辆的前后左右，环视子系统中的视频采集模块在系统同步信号的触发下采集同一时刻多个广角摄像机的图像，并把图像转换成数字信息传输至环视采集模块上的cpu处理器，由cpu处理器对原始数据进行降噪滤波、白平衡等常规处理，然后通过图像拼接算法进行画面合成和画面矫正，合成一副车身周围的鸟瞰图，进而对合成的图像重定标处理，最后通过图像识别算法对重定标过的拼接图像进行处理，提取图像中的特征信息和有效信息加上时间戳标记传输至数据融合子系统和数据共享区供其它需要数据的子系统自取。

前视子系统由视频采集模块和分布在汽车前挡风玻璃内的一个长焦摄像机和一个短焦广角摄像机组成，采用和环视子系统相同的架构方式，只是摄像机由4个广角相机变为一个长焦距相机和一个广角短焦距相机，视频采集在本实施例中采用相同的模块。在前视子系统中两个相机都采用fpd-link3标准的接口，使数据的有效传输距离达到15米以上。前视子系统中如果只选一个相机则无法具备视场角和摄像机检测有效距离两方面的问题，若视场角越大对同一个目标成像越小，使图像检测难度增大；若视场角越小对同一个目标成像越大，图像检测难度变低，但是带来的问题是摄像头视野小，很容易使检测物偏出视野，造成车辆漏掉检测物的问题。故本发明选择短焦广角摄像机和长焦摄像机配合使用既能保证视场角足够宽不易漏掉检测物，又能拍摄远距离的检测物。前视子系统中的视频采集模块在同步信号的触发下采集同一时刻两个摄像头的图像，并把图像转换成数字信息传输至视频采集模块上的cpu处理，由cpu处理器对原始数据进行降噪滤波、白平衡等常规算法处理，进而由cpu处理器通过图像拼接算法进行画面融合、校正、滤波等处理后，再对图像重新定标。然后通过图像识别算法对图像中的特征物体进行比对提取，提取图像中特征物体的信息，诸如红绿的状态，车道线，停车线等，并且通过图像定标参数和数学算法计算出车辆距车道线、红绿灯和停车线（如果检测到红绿灯和停车线）的距离，并把这些目标状态数据和距离信息等数据加上时间戳标记传输至数据融合子系统和数据共享区供其它需要数据的子系统自取。

如图3所示，数据采集子系统由全球定位单元gps、惯性测量单元imu、多线激光雷达lidar、毫米波雷达radar、超声波雷达等传感器和数据采集模块组成。所述的数据采集模块由高速高性能车规级双核锁步cpu（一个用作正常操作的主cpu,一个用于监控主cpu运行）、sdram、norflash、以太网接口、uart接口及can总线接口等组成。选择双核锁步cpu目的让整个系统的感知能力更加可靠。数据采集模块在系统同步信号的触发下同时采集这些传感器的数据，并从采集的原始数据中解析出车辆的位置信息（经纬度数据）、车辆的姿态信息、速度及加速度等信息。同时还解析出了此时车辆周围障碍物的方位信息及距离信息。并把这些信息加上时间戳标记传输至数据融合子系统和数据共享区供其它需要数据的子系统自取。

数据融合子系统主要是对各种传感器数据进行融合计算，强大算力则是本系统的硬性指标要求。在本实施例中，数据融合子系统沿用视频采集处理子系统的硬件架构平台，它们的共同特点是cpu的主频高、浮点运算能力强、存储容量大等。相当于视频采集处理子系统去掉外接摄像机只留视频采集处理模块做数据融合的硬件平台，然后在硬件平台上运行软件算法。数据融合子系统根据视觉处理子系统和数据采集子系统提供的各传感器数据，按时间戳信息对同一时刻（容许有一定的误差）所有传感器检测到的物体信息进行聚类计算，根据相邻两次或多次聚类结果计算目标几何相似度，进而根据相似度进行目标匹配，将匹配成功的目标确定为原始目标，通过对同一目标在不同时刻被传感器检测到的情况进行评判操作，从而判定原始目标为真实目标还是可疑目标或者假目标（这里所说的真实目标为真实存在的物体；可疑目标为可能存在的物体；假目标为不存在的物体）。然后采用基于多特征的目标跟踪方法对真实目标进行跟踪，提取真实目标相对于车辆坐标系中的运动速度；根据同一时刻全球定位单元gps采集的车辆的运动速度，计算获得真实目标相对于大地坐标系中的运动速度；根据数据采集子系统传输来的目标距离数据进而计算得到真实目标中心的坐标、目标长度、目标宽度等信息。对于可疑目标则继续进行聚类空间计算，根据计算结果再次进行评判操作；对于假目标则直接删除。数据融合子系统把确定目标的类别、速度、坐标、长度、宽度等数据加上时间戳标记传输至规划决策子系统和数据共享区供其它需要数据的子系统自取。

规划决策子系统采用和数据融合子系统相同的硬件平台，但也可以由其它具有同等算力的不同硬件架构平台来担任。规划决策子系统根据数据融合子系统提供的真实目标的几何特征和运动特征，建立真实目标特征模型，并对目标类别判定及分类；栅格化目标特征，并进行栅格化表示，获得当前环境下的障碍物及车道线地图。地图和预装在系统中的高精度地图及路网数据进行匹配和融合，从而得到针对当前时刻的融合认知的自动驾驶地图。规划决策子系统根据车辆此时刻在规划地图中的位置、速度等信息，所有确定目标在地图中的位置、大小、速度等信息，以及红绿灯的状态等信息来综合规划决策车辆此时刻及未来几秒内的运动状态及运动速度（此处的运动状态指前进、后退、左转、右转及停车；运动速度是指加速到多少、减速到多少或者停车），并把运动状态和运动速度按照约定解析组成报文下发给运动运动控制子系统。

运动控制子系统也可以沿用数据采集子系统的硬件平台，相当于数据采集子系统去掉外接传感器，只留数据采集模块作为运动控制子系统的硬件平台，但也可以由其它具有同等算力的不同硬件架构平台来担任。运动控制子系统收到规划决策子系统发送来的报文，解析出报文中的命令和参数，然后把解析出的数据和预先存储在系统中的阈值数据做比对，来判定收到的报文是否有效，如果无效则删除报文并上报规划决策子系统。如果连续多次收到无效报文或者错误报文，运动控制子系统则直接断开和规划决策子系统的通讯联系，直接从数据共享区中读取数据，判断车身周围是否有障碍物，如果有障碍物，则控制车辆立即刹停；如果车身周围没有障碍物或者障碍物的距离足够远，则控制车辆逐步减速并靠边停车。

如果报文数据有效，则读取此时刻线控车的运动状态、运动速度、油门开度、转向角度等车辆信息；然后把报文信息和车辆信息进行融合计算，生成新的报文并发给线控车去执行。同时读取车辆信息数据来判定是否达到本次控制效果。

在生成报文的过程中，由报文命令和参数决定了生成的报文是一条还是多条。例如：收到的报文要求把车速提高到35km/h,并保持这个速度前进。那么运动控制子系统读取此时刻车辆的运动状态、运动速度、油门开度、转向角度等车辆信息，发现此时刻线控车实际速度只有10km/h，哪它不可能瞬间把车速提高到目标值，而是根据舒适度的经验值，设定一个加速度，逐步加速。在每个时间点（本实施例是以100ms为间隔）上都会计算产生一组数据生成一条报文，并把报文发给线控车去执行加速动作。当计算出的理论值达到35km/h后，运动控制子系统会读取线控车实际速度，通过pid算法做闭环控制，即每100ms生成一条报文发给线控车,使车辆实际速度保持在35km/h继续前进，直到接收到新的有效报文后才算本次命令执行结束。

当车速在35km/h时接到正常停车指令，运动控制子系统会根据舒适度经验值，设定一个负的加速度，逐步减速，在每个时间点（本实施例是以100ms为间隔）上都会生成一条报文，并把报文发给线控车去执行减速动作。当读取到车身实际速度达到目标值0km/h后，再给线控车发一条档位切换指令，把档位由d档切换到p档，则本次命令执行结束。

当车速在35km/h时接到紧急停车指令，运动控制子系统会省去中间减速环节，直接发送最终0km/h的速度报文给线控车执行刹停动作，并反复读取车身实际速度，当实际速度达到0后，再给线控车发一条档位切换指令，把档位由d档切换到p档，则本次命令执行结束。

实施例二

本实施例是在实施例一基础上的改进，如图4所示。在实施例一中，数据采集子系统和运动控制子系统中的主处理器都采用了车规级双核锁步cpu,尽可能的减小自动驾驶中环境感知能力和运动控制能力出错的概率。本实施例为了进一步保障道路参与者的财产和生命安全，做进一步的冗余设计和备份，实现整系统的锁步功能：把两个或多个自动驾驶系统并联，正常运行的时候adprimary和adbackup都能同时接收各种数据和信号，一旦adprimary出现失误或者错误，则车身控制由backup接管，并及时靠边停车，退出自动驾驶模式。

本发明为自动驾驶提供了一种异构系统，具体实现该技术方案的方法和途径很多，以上仅是以示例的方式提供的优选实施方式。本领域技术人员可以在不偏离本发明的情况下想到许多更改、改变和替代。应当理解，在实践本发明的过程中可以采用对本文所描述的本发明实施方式的各种替代方案。所附权利要求旨在限定本发明的范围，并因此覆盖这些权利要求及其等效项的范围内的方法和结构。本实施例中未明确的各组成部分均可用现有技术加以实现。