前方局部行驶环境感知系统及方法
【技术领域】
[0001] 本发明涉及行车环境感知技术领域，尤其是一种前方局部行驶环境感知系统及方 法。
【背景技术】
[0002] 当前借助自动控制、人工智能、计算机视觉等技术，智能车实现信息采集、数据处 理、数据融合，实现自主超车、避障、识别交通标志、车道线以及自主泊车等功能。对前方局 部行驶环境实时、高效的感知，是实现安全驾驶辅助系统的重要组成部分，是降低追尾事 故、提高行车安全的根本保障。武汉大学与奇瑞合作开发的无人驾驶车"smart V"，该车上 搭载了电子罗盘、激光扫描仪以及摄像头等多种传感设备，并自主改造了油门、刹车、方向 盘和档位，最后利用车载计算机完成车辆控制与数据汇总，可以实现跟车、直行、转弯、识别 交通指示牌、自动泊车等功能。法国INRIA研制的Cycab无人驾驶汽车，可以根据规划的路线 自动驾驶，激光雷达实现了智能避障，双目摄像头保证了车辆按照路标行驶，同时每一辆无 人驾驶车都能通过车-车无线通信实现信息共享。但是这些智能车不仅成本极其昂贵，而且 不同传感器?目息在时间和空间上存在差异。
[0003] 本专利提出一种融合摄像头、激光雷达以及车辆内部感知设备来共同实现对前方 局部行驶环境感知的系统及方法。选用激光雷达、摄像头以及无线通讯等多种传感器采集 局部交通数据，引入多传感器融合技术，避免单一传感器的信息盲区，提高了多源信息处理 结果的质量，有利于对事物的判断和决策。在融合算法的实现过程中，将零散的多源碎片信 息整合成为一帧紧密关联的信息数据，并产生可视化的数据实时显示。
【发明内容】
[0004] 针对现有技术中存在不足，本发明通过简易的摄像头、激光雷达以及车辆内部感 知设备，来共同实现对前方局部行驶环境感知，起到降低成本、维护简单、可视化实时显示。
[0005] 本发明是通过以下技术手段实现上述技术目的的。
[0006] 前方局部行驶环境感知系统，其特征在于，包括前端数据采集系统（Front-end Data Acquisition System，FEDAS)、后台服务器数据处理系统（Background Service Data Processing System，BSDPS)，前端数据采集系统包括车载摄像头、激光雷达、车辆内部感知 设备、编码器和数据发送模块，后台服务器数据处理系统包括数据接收模块、数据存储系 统、解码器、融合器和显示器;所述摄像头内集成有图像处理模块，主要用来采集行车前方 的行人、车道线视频，并对每一帧图像数据进行行人检测处理;激光雷达主要用于扫描行车 正前方200米范围内的障碍物信息、并对获得的连续多帧数据进行目标信息提取;车辆内部 感知设备主要用来获取当前状态信息和自身属性信息；编码器用于定义车载摄像头、激光 雷达、车辆内部感知设备采集的数据的MyProtocolCarData、MyProtocolCameraData和 MyProtocolUrgData三个数据传输类型，并对三种数据进行统一编码格式编码;所述数据发 送模块、数据接收模块用于前端数据采集系统与后台服务器数据处理系统之间的数据传 输;所述数据存储系统用于数据存储，所述解码器用于对后台服务器数据处理系统接收的 数据进行解码;所述融合器用于将解码后的数据进行融合形成一帧完整的局部交通环境信 息;所述显示器用于局部交通环境信息的显示。
[0007] 前方局部行驶环境感知方法，其特征在于，包括以下步骤：
[0008] (1)前端数据采集系统采集数据:车载摄像头实时采集行车前方的行人、车道线的 视频信息，并对每一帧图像数据进行行人检测处理;激光雷达实时扫描行车正前方200米范 围内的障碍物信息，并对获得的连续多帧数据进行目标信息提取，包括计算目标障碍物的 速度矢量、移动方向、物体宽度以及距离;车辆内部感知设备实时获取当前状态信息和自身 属性信息；
[0009] (2)统一编码，定义传输协议:对车载摄像头、激光雷达、车辆内部感知设备采集的 类型，统一数据格式编码；
[0010] (3)将数据通过前端数据采集系统的数据发送模块以及后台服务器数据处理系统 的数据接收模块实时传输至后台服务器数据处理系统，并存储于数据存储系统中；
[0011] (4)后台服务器数据处理系统实时接收来自不同车辆的数据，并统一来自各个车 载摄像头、激光雷达、车辆内部感知设备的数据包的时间信息，修正与时间相关的距离信 息；
[0012] (5)完成激光雷达的检测目标与摄像头识别目标的融合，将完全融合的一帧基于 时间戳的局部交通信息发送至显示器进行显示，并发送至数据存储系统中保存。
[0013]进一步地，所述步骤⑴中，车载摄像头采用V4L2方式和内存映射方式(MMAP)采集 视频数据，根据V4L2接口采集视频数据的步骤，将视频采集过程分为七个函数实现：
[0014] open_device():通过阻塞的方式打开设备；
[0015] init_deviCe():初始化设备，包括设置数据帧格式、申请视频数据缓冲区和完成 内核空间到应用程序空间的映射；
[0016] start_capturing():申请的帧缓冲全部放入视频采集输入队列并启动视频采集；
[0017] mainloopO :实现循环采集视频数据；
[0018] stop_capturing():停止视频采集；
[0019] uninit_device():释放申请的视频缓冲区；
[0020] close_device〇 :关闭视频设备文件；
[0021] 车载摄像头中行人识别算法采用伪码描述的行人检测方法，具体如下：
[0022] Mat src = imread(CAPTURE_FILE)；
[0023] !106〇68(31^口1:〇1'11〇8;//特征检测器
[0024] hog · setSVMDetector(HOGDescriptor: : getDefaultPeopleDetector()); //默认 参数设置
[0025] vector〈Rect>f ound; //矩形框数组
[0026] hog.detectMultiSeale(src，found，0,Size(8,8)，Size(32,32),1.05，2);//图像 多尺度检测
[0027] HOGDescriptor类型变量hog用以保存提取的HOG特征向量，然后调用该描述子 setSVMDetector方法，对以H0G特征为基础的SVM分类模型的系数赋值，这里的参数为 HO⑶escriptor: : getDefaultPeopleDetector()时表示采用系统默认的参数；最后调用函 数 hog. detectMultiScale(src，found，0，Size(8,8)，Size(32,32)，l. 05，2)对 src 图像变量 进行多尺度检测，found变量保存检测到目标区域的列表;参数3为程序计算出的行人目标 的阈值，也就是检测到的特征到SVM分类超平面的距离，一般设置为0;参数4为滑动窗口每 次移动的距离，该参数数值越大行人检测的精度越大，将其设置为最小值，但必须是块移动 的整数倍;参数5为图像扩充的大小;参数6为比例系数一般设置为1.05,即滑动窗口每次增 加的比例;参数7为组阈值，即校正系数，为0时表示不起调节作用。
[0028] 进一步地，所述步骤（1)中，激光雷达采用GDGS-Command的方式获取扫描数据，扫 描的方向为逆时针，扫描的范围是以正前方为基准的左120°与右120°的扇面，扫描角度为 240°，数据帧包含0~768个测量点的距离长度，获取300~486之间的186个测量点的距离数 据；
[0029] 激光雷达对获得的连续多帧数据进行目标信息提取方法如下：
[0030] 首先对场景中存在的障碍物进行判断，把扫描得到的距离信息，采用区域分割的 方法将前方局部场景分割成不同的区域，如果连续两个扫描点的距离信息小于事先设定好 的阈值，就认为这两个扫描点属于同一个区域，反之，数据帧就视为从这个地方开始不再连 续，判断场景中障碍物;阈值计算公式如式(1)，
[0032] 其中threshold为计算出的阈值，单位m，MAXDIS为雷达可测量的最大精确距离，可 达到为4000m;
[0033] 定义了一个结构体Object，用来保存被检测出的物体的各类信息：
[0034] struct Object
[0035] {
[0036] float FirstAng;//逆时针方向第一个点的角度，相对于右侧0度
[0037] float LastAng;//最后一个点的角度
[0038] float ShortestAng;//垂直距离最近的那个点的角度
[0039] int Firstdis;//第一个点与本车的直线距离
[0040] int Lastdis;//最后点与本车的直线距离
[0041 ] int Shortestdis;//垂直距离最近的点与本车的直线距离
[0042] int Firstxu;//第一个点在数组中的序列
[0043] int Lastxu;//最后一个点在数组中的序列
[0044] int Shortestxu;//最近点在数组中的序列
[0045] double Shortest_dis;//与自车最近的点的垂直距离
[0046] double width;//物体的宽度
[0047] double speed;//相对于自车的速度，初始为0
[0048] double speed_;//横向的速度
[0049] int 0bject_points_count;//点的总数
[0050] }
[0051]利