一种基于激光点云与图像融合的前方车辆距离测量方法与流程

本发明涉及多传感器信息融合领域，特别是涉及一种基于激光点云与图像融合的前方车辆距离测量方法。

背景技术：

激光雷达通过发射、接收激光束实现障碍物表面距离的测量，具有精度高、速度快等优点。但是，基于3d激光雷达的障碍物检测难度大，识别率低。相比之下，基于图像的物体检测技术成熟，识别率高。然而，受外界条件限制，基于图像的距离测量精度往往低于3d激光测距精度。例如，基于双目立体视觉的距离检测精度受图像分辨率和距离因素的影响较大。当图像成像分辨率较高时，所计算的视差值精度提高，由此得到的距离精度也高于低分辨率图像。同时，当待检测障碍物的距离较远时，障碍物形成的像素较少，这时计算的距离误差将大于近距离情况。

因此，当测距系统同时搭载3d激光雷达和双目视觉传感器时，融合应用这两种传感器，互相取长补短，可实现对障碍物距离的高精度检测。本发明采用kitti实验平台进行验证。该平台搭载了3d激光雷达velodynehdl-64和双目视觉传感器。激光雷达能检测的障碍物距离最远可达120m，距离精度可达2cm。当障碍物距离较远时，激光雷达扫描得到的激光点数虽然减少，但其距离精度的下降幅度小于双目视觉。为此，本发明以双目视觉所获得的前方车辆位置与距离信息对3d激光点云测距加以辅助，进而实现高精度的距离测量。

技术实现要素：

本发明的目的在于，提供一种融合3d激光点云与双目视觉图像的前方车辆距离测量方法，通过融合应用激光点云与图像的映射关系，以及双目视觉所检测的前方车辆感兴趣区域(roi)与距离信息，实现误差小、识别率高、稳定性高的3d激光测距。

本发明的技术方案：

一种基于激光点云与图像融合的前方车辆距离测量方法，如图1所示。首先，利用激光点云与相机图像之间的映射关系，将3d激光点云映射为二维图像。其次，根据相机图像中所识别的车辆roi位置，对激光点云映射的图像进行筛选。接着，经过图像—激光点云映射，得到筛选后车辆roi对应的激光点云。利用双目图像检测的前方车辆距离d进行约束，再次筛选对应车辆的激光点云。然后，使用k-means算法对车辆点云进行聚类，进一步去除非车辆点云。最后，使用聚类出的车辆激光点云计算前方车辆的距离dl。具体实现步骤如下：

第一步：获取激光点云与图像的映射矩阵tl_c。

kitti实验平台中，激光雷达和相机的摆放位置如图2(a)所示。已知相机焦距f，像主点(cx,cy)，激光雷达坐标原点ol和相机坐标原点oc之间的距离分量为dx，dy和dz，参照图2(b)，则激光点云与图像的映射矩阵tl_c为

激光点(xl,yl,zl)和图像像素(u,v)之间的映射关系如下：

式中表示伪逆。

第二步：采用双目图像检测前方车辆roi与距离d。基于与激光点云同步采集的双目图像，采用林秋华和张晓川等人提出的“一种基于窄基线双目视觉的前方车辆快速测距方法”(cn201711248419)，检测前方车辆roi和距离d。设所检测车辆roi的左上角坐标为(xs,ys)，roi的宽度为wr，高度为hr。

第三步：将3d激光点云映射为二维图像，根据车辆roi筛选点云。

设一激光点p(x,y,z)，根据公式(2)将其映射到图像坐标系，得到的图像坐标为(u,v)。若点p是属于前方车辆的激光点，则(u,v)需要满足下列约束条件：

第四步：将第三步筛选过的二维图像映射为3d激光点云，根据车辆距离d再次筛选激光点云。

激光点坐标p(x,y,z)中，x表示前方距离，所以进行如下筛选：

若x∈[d-dth,d+dth]，则激光点p属于前方车辆，否则认为是非车辆点。dth为筛选阈值，可令dth＝3。

第五步：使用k-means对车辆点云进行聚类，进一步去除非车辆点云。

将第四步筛选过的激光点数据与图像对应的rgb值结合，得到信息更丰富的(x,y,z,rgb)格式的数据。将(x,y,z,rgb)数据输入k-means算法中进行二聚类，使其分为车辆激光点和非车辆激光点。

第六步：应用第五步筛选出的车辆激光点计算距离dl。

设k-means算法检测到的属于前方车辆的激光点共m个，记为(x1,y1,z1),(x2,y2,z2),...,(xm,ym,zm)。则前方车辆的激光检测距离为：

本发明的有益效果：在前方车辆测距任务中，充分发挥激光点云与图像各自的优势，同时弥补二者之不足。首先使用检测率高的图像进行前方车辆的roi和距离检测，然后根据这些车辆信息对3d激光点云进行筛选，再结合k-means聚类，选取高质量的车辆激光点。最后，利用这些激光点求取前方车辆距离。测试结果表明，激光点云与图像融合方法测得的平均距离误差为0.666m，而双目图像测距的平均误差高达1.223m，融合方法的均方差(0.453)则低于双目图像(0.487)。因此，激光点云与图像融合方法比双目图像方法测量的距离更精确、更稳定。

附图说明

图1是本发明激光点云与图像融合测距示意图。

图2是激光雷达和相机的位置关系。(a)kitti实验平台各传感器安装位置与相互之间的距离示意图；(b)相机坐标系与激光雷达坐标系之间关系示意图。

具体实施方式

下面结合技术方案和附图，详细叙述本发明的一个具体实施例。

现有kitti实验平台同步采集的3d激光点云与彩色双目相机获取的图像。彩色图像分辨率为1242*375；像主点(cx,cy)是(621,187.5)，单位为像素。相机的焦距为721.5377像素。相机坐标系原点与激光坐标系原点之间的距离分别为dx＝0.27m，dy＝0m，dz＝0.08m。车辆roi选自右侧彩色相机。

第一步：利用公式(1)获取激光点云与图像的映射矩阵tl_c。

第二步：采用专利cn201711248419方法由双目图像检测前方车辆roi与距离d。记车辆roi的左上角坐标为(x0,y0)，roi的宽度为wr，高度为hr。

检测前方车辆roi与距离d的具体步骤为：对于右目图像，按照经典方法进行车道线roi设定、车道线检测、车辆roi设定、车辆识别、车辆roi区域确定；对于左目图像，根据双目视觉的成像特点和前一帧图像的距离信息，直接估计车辆roi区域。接着，对左、右目图像中的车辆roi区域提取特征点，并进行特征匹配。然后，对所有匹配的特征点对计算横向视差，并进行中值处理。最后，利用中值处理后的视差值计算前方车辆的距离d。

第三步：将3d激光点云映射为二维图像，根据车辆roi和公式(3)筛选激光点云。

第四步：将第三步筛选过的二维图像映射为3d激光点云，根据车辆距离d和公式(4)再次筛选激光点云，其中dth＝3。

第五步：将第四步筛选过的激光点数据与图像对应的rgb值结合，得到彩色点云数据(x,y,z,rgb)，输入k-means进行二聚类，进一步去除非车辆点云。

第六步：应用第五步筛选出的m个车辆激光点和公式(5)计算距离dl。