境下的实际可通行区域，极大提高了无人车在植被 环境下的自主导航能力。
[0050] 本发明方法同时考虑了实际情况中点云的稀疏性和光照条件变化的影响，能够适 应曝光不足的现象；并且基于栅格方法进行处理，速度较快，可满足实时系统的要求。
【附图说明】
[0051] 图1是本发明方法的流程示意图。
[0052] 图2是本发明方法多光谱数据融合过程的示意图。
[0053] 图3是本发明具体实施例的示意图。
【具体实施方式】
[0054] 下面结合附图和【具体实施方式】对本发明做进一步的描述。
[0055] 本发明由彩色相机、近红外相机和三维激光雷达构成多传感器系统，对三维点云 信息和多光谱信息进行采集与融合，再针对归一化植被差分指数（NDVI)的不足，提出红 外-彩色通道联合光谱特征，结合混合高斯模型对候选障碍物中的植被和非植被进行分 类。
[0056] 本发明的具体实施例如下：
[0057] 在真实场景的测试中，以普通5座越野车为实验平台，在车顶安装Velodyne HDL-64ES2三维激光雷达，车前方安装Bumblebee2双目相机和MER-040-60UM-L数字摄 像机（镜头前配置一个780nm的滤光镜）。如图3,三维激光雷达用于采集三维点云数据； Bumblebee〗双目相机的右目用于采集彩色图像，以下简称彩色相机，彩色图像分辨率为 1024*768 ;MER-040-60UM-L数字摄像机用于采集近红外图像，以下简称近红外相机，近红 外图像分辨率为752*476。对融合传感器系统进行内外参的标定，彩色相机的内参为：f； = [917. 2670, 896. 3891]，ke= [-0? 3217, 0? 1558, 0? 0052, 0? 0095, 0]，彩色相机和三维激光雷 达之间的外参为：
[0058] 旋转矩阵
，平移向量Tc= [0? 661601 -0? 095311 0? 347763];近红外相机的内参为4=[943.2781，936.0419]，1^=[-0. 0765, 0. 2308, -0. 0225, 0. 0223, 0]，近红外相机和三维激光雷达之间的外参为：旋转矩 阵
，平移向量Ti= [0? 619694 -0? 080654 0.262489]〇
[0059] 同步采集三维点云、彩色图像、近红外图像为一帧数据，将两幅图像的像素信息分 另IJ映射到三维点云上，得到多谱点云k.} = {(-W* 5,P、/_? )〇。以车头方向为纵轴建立 栅格地图，地图长40m，宽20m，栅格尺寸为20cmX20cm。然后将多谱点云投影到栅格平面， 雷达中心点的栅格坐标为（50, 0)。
[0060] 选取高度阈值hmindJ%0. 2m，遍历栅格地图得到候选障碍栅格，并计算得到每个候 选障碍栅格的二维特征向量。
[0061] 选取高斯混合模型的单高斯个数m'm1均为3,已训练的两个类别的高斯混合模型 参数如下：
[0064] 用已训练的高斯混合模型对候选障碍栅格进行分类，过滤植被，得到障碍物检测 结果如图3。
[0065] 使用本发明方法对100组同步数据进行了离线测试，障碍和植被的分类准确率达 到90%以上，对于曝光不足的情况也能够得到较好的检测结果。本发明方法单帧的平均处 理时间为60ms，能够用于在线实时处理，能适应曝光不足的环境，真实障碍物的检测率高， 虚警率低，极大提高了无人车在植被环境下的自主导航能力，扩大了无人车在植被环境下 的实际可通行区域，具有突出显著的技术效果。
【主权项】
1. 一种基于多谱=维特征融合的植被环境中障碍物检测方法，其特征在于该方法包括 W下步骤： 1) 利用=维激光雷达采集=维点云数据，并利用彩色摄像机和近红外摄像机分别同步 采集彩色和近红外图像； 2) 将=维点云与彩色和近红外的多光谱数据配准，得到多谱点云，多谱点云是含有多 谱信息的S维点云； 3) 建立栅格地图，通过栅格内点云高度阔值得到候选障碍栅格； 4) 从多谱点云中区分出植被点云，根据植被点云的近红外光强，对整幅近红外图像的 强度值进行强度调整，实现红外光强归一化； 5) 选取归一化后的近红外强度值Pme，W及可见光谱中的RGB彩色通道中 (G-R) + (G-B)强度值联合作为二维光谱特征，形成二维特征空间（fvk，fnb); 6) 在二维特征空间中，利用高斯混合模型对每个候选障碍栅格内进行分类 判断，分为植被栅格和障碍栅格，去除植被栅格，输出障碍栅格，作为最终障碍物检测结果。2. 根据权利要求1所述的一种基于多谱=维特征融合的植被环境中障碍物检测方法， 其特征在于；所述步骤1)具体是利用=维激光雷达采集=维点云数据，同时并利用彩色摄 像机和近红外摄像机分别采集彩色图像和近红外图像。3. 根据权利要求1所述的一种基于多谱=维特征融合的植被环境中障碍物检测方法， 其特征在于；所述步骤2)通过已标定的摄像机内参W及摄像机与激光雷达之间的外参，将 彩色图像和近红外图像的像素信息分别映射到S维点云上，得到包含有多光谱信息的S维 点云= 化Pv.wlf}，多谱点云中的每个数据点均包含有S维坐标X、y、Z、可 见光=个通道的分量R、G、B和近红外强度值PWIK，i表示数据点的序数，上标T表示矩阵转 置。4. 根据权利要求1所述的一种基于多谱=维特征融合的植被环境中障碍物检测方法， 其特征在于；所述步骤3)具体为：根据摄像机的视场大小在地面上建立栅格平面，根据= 维点云的X、y坐标确定=维点归属的栅格，W统计栅格内部最大高度差的方法来得到候选 障碍栅格。5. 根据权利要求4所述的一种基于多谱=维特征融合的植被环境中障碍物检测方法， 其特征在于；所述步骤3)统计栅格内部最大高度差的方法来得到候选障碍栅格具体为；对 于每个栅格，计算点云中每个数据点的高度值Z与栅格内点云高度最小值Zmi。之差作为该 点与栅格内最低点的点高度差hi，若点高度差hi大于高度阔值hmiMb,，则该S维点为障碍 点；否则该点为地面点；若栅格内所有点均为地面点，则该栅格为地面栅格，否则为障碍候 选栅格；对障碍候选栅格，继续进入下一步骤，否则不进入下一步骤。6. 根据权利要求1所述的一种基于多谱=维特征融合的植被环境中障碍物检测方法， 其特征在于；所述步骤4)具体为： 4. 1)多谱点云中，第k个栅格内所有数据点集合表示为Xk= {x^X2,…，义。}，]!=Nk，n表示单个栅格内数据点的总数，Nk表示第k个栅格内数据点的总数，每个数据点均表示为Xi =(X，y,Z,R,G,B,PmK)T,i=1，. . .，n，i表示数据点序数，建立1^下；维点云的协方差矩 阵计算得到协方差矩阵的S个特征值A1，A2, ^3, ^1〉^ 2〉入3;其中，Y、歹、z分另懐示栅格内所有数据点的；维坐标x、y、z的均值；4.。若Ai/A3小于等于比例阔值，则代表立维点云为团状分布，该候选障碍栅格 可能含有植被，将所有可能含有植被的候选障碍栅格内的多谱=维点组成植被点云数据 i^ilveg> 4.3)再^植被点云数据^^;-}^^对应的近红外强度值P?为参考标准，采用W下公式 表示的尺度因子0 ^。1。对整幅近红外图像进行强度信息的尺度调整，完成红外光强归一 化：其中，P。为正常光照条件下植被的平均近红外强度值。7.根据权利要求1所述的一种基于多谱=维特征融合的植被环境中障碍物检测方法， 其特征在于；所述步骤5)具体为；候选障碍栅格内的各个多谱=维点采用W下公式计算得 到可见光特征fyk和近红外特征fMt，作为该栅格多光谱特征F的两个维度，形成二维特征 空间（fvk，fnir):其中，P?为多谱立维点的近红外强度值，0seal。为红外光强归一化的尺度因子。8. 根据权利要求1所述的一种基于多谱=维特征融合的植被环境中障碍物检测方法， 其特征在于；所述步骤6)具体为：在上述步骤得到的二维特征空间中，用已训 练的高斯混合模型对候选障碍栅格进行处理判断，每个候选障碍栅格均根据多光谱特征 F(fvk，fnj计算其属于植被V或者障碍物0的概率y:其中，C表示类别，C= {0, 1}，C= 0表示植被V，C= 1表示障碍物0,nf表示类别C对应的混合高斯模型中单高斯的个数，（吟的，马分别表示高斯混合模型单个高斯的权重、 均值和协方差矩阵； 若候选障碍栅格为植被V的概率P(FIV)大于候选障碍栅格为障碍物0的概率P(FI0)， 则该候选障碍栅格包含植被，能安全通过；若候选障碍栅格为植被V的概率P(FIV)小于等 于候选障碍栅格为障碍物0的概率P(FI0)，则该候选障碍栅格包含障碍物，不能安全通过。9. 根据权利要求8所述的一种基于多谱=维特征融合的植被环境中障碍物检测方法， 其特征在于；所述已训练的高斯混合模型具体采用W下方式进行训练；将多个样本栅格输 入到向量分类器中进行训练，其中所有样本栅格均分为植被V类别或障碍物0类别，对于两 个类别分别建立高斯混合模型，通过期望最大化（EM)方法迭代求解得到两个类别的高斯 混合模型参数：其中，邸，的，与分别表示单个高斯的权重、均值和协方差矩阵，m。表示类别C对应的混 合高斯模型中单高斯的个数。10. 根据权利要求8或9所述的一种基于多谱=维特征融合的植被环境中障碍物检测 方法，其特征在于：所述的类别C对应的混合高斯模型中单高斯的个数扣取1~5。
【专利摘要】本发明公开了一种基于多谱三维特征融合的植被环境中障碍物检测方法。采集三维点云数据，并同步采集彩色图像和近红外图像；将三维点云数据与多光谱数据配准，得到多谱三维点云；建立栅格地图，通过高度阈值得到候选障碍栅格；对近红外图像进行尺度调整，实现红外光强归一化；选取栅格内近红外强度值结合RGB彩色信息的可见光强度值作为特征信息，统计计算得到二维特征；利用高斯混合模型对候选障碍栅格进行处理过滤，获得最终障碍物检测结果。本发明通过加入红外光强归一化减小了光照条件变化带来的影响，采用多谱三维特征，实现了有效的障碍物检测。
【IPC分类】G06T7/00
【公开号】CN104933708
【申请号】CN201510309490
【发明人】项志宇, 王盛
【申请人】浙江大学
【公开日】2015年9月23日
【申请日】2015年6月7日