一种基于多谱三维特征融合的植被环境中障碍物检测方法
【技术领域】
[0001] 本发明涉及了人工智能领域的一种障碍物检测方法，尤其是涉及了一种基于多谱 三维特征融合的植被环境中障碍物检测方法，可用于复杂环境下无人驾驶车的障碍检测。
【背景技术】
[0002] 对于自主车而言，障碍检测系统一直是其关键的组成部分之一。自主车能够安全 可靠的导航并行走离不开一个良好的障碍检测系统。随着各类传感器性能的提升和技术的 发展，如今的智能导航技术已经可以很好的应对结构化和半结构化道路的场景，这些场景 中的物体大多是刚性的，一般根据它们的体积和高度以及车体自身的性能即可判断哪些是 需要避开的障碍物、哪些是可以安全通过的。在复杂的越野环境下，障碍物的种类则变得非 常繁多，比如：岩石、树干、陡坡、坑洞等，这些障碍物对于自主车而言都是无法安全通行的， 依然可以将它们作为刚性物体来处理；然而越野环境下的地表通常又被许多植被所覆盖， 如果认为较高的植被也是障碍物，在杂草丛生的环境中自主车将寸步难行。实际上，像较高 的杂草这一类植被在具备一定越野能力的自主车面前是可以安全通行的，不应被视为障碍 物。因此，这类被植被覆盖的区域需要在障碍检测系统中进行单独处理，这也对一般的障碍 检测方法提出了更高的要求。
[0003]对于区分植被和一般障碍已经有不少研宄并且取得了一定的成果。Vandapel和Hebert提出基于高分辨激光雷达的三维点云分布特征和机器学习相结合的方法。但在实用 中高分辨雷达扫描速度很慢，处理数据量很大，很难为行驶中的自主车提供有效的实时障 碍检测。一些人从遥感领域的研宄获得启发，利用了植被对于自然光中的红光和近红外波 段具有不同的反射特性这一特点，，对植被进行检测。在植被检测效果上有了 一定的改善。 随后Bradley等人基于归一化植物差分指数（NDVI)和三维点云分布特征提出了一种植被 检测方法来完善复杂野外环境下的自主车导航系统。然而该方法在检测的准确率和鲁棒性 等方面尚存在不足，NDVI特征受环境的光照强度变化影响较大，而三维点云的分布特征在 点云稀疏时效果不佳。
【发明内容】
[0004]针对【背景技术】中所提方法的不足，本发明的目的在于提出一种基于多谱三维特征 融合的植被环境中障碍物检测方法。该方法考虑了实际情况中点云的稀疏性和光照条件变 化的影响，能够适应常见的近红外曝光不足的现象。
[0005] 如图1所示，本发明采用的技术方案的步骤如下：
[0006] 1)利用三维激光雷达采集三维点云数据，并利用彩色摄像机和近红外摄像机分别 同步采集彩色和近红外图像；
[0007]2)将三维点云与彩色和近红外的多光谱数据配准，得到含有多谱信息的点云（简 称多谱点云）；
[0008]3)建立栅格地图，通过栅格内点云高度阈值得到候选障碍栅格；
[0009] 4)根据部分高置信植被点云的近红外光强，对整幅近红外图像的强度值进行强度 调整，实现红外光强归一化；
[0010] 5)选取归一化后的近红外强度值pnik，以及可见光谱中的RGB彩色通道中 (G-R) + (G-B)强度值联合作为二维光谱特征，利用高斯混合模型对每个候选障碍栅格内进 行是否为植被的分类判断，将判别为植被栅格从候选障碍栅格中滤除，输出障碍栅格，作为 最终障碍物检测结果。
[0011] 所述步骤1)具体是利用三维激光雷达采集三维点云数据，同时并利用彩色摄像 机和近红外摄像机分别采集彩色图像和近红外图像。
[0012] 由于图像的像素信息比较丰富，而雷达点云相对稀疏，因此所述步骤2)通过已 标定的摄像机内参以及摄像机与激光雷达之间的外参，文献1(UnnikrishnanR,Hebert M.FastExtrinsicCalibrationofaLaserRangefindertoaCamera.USA,Carnegie MellonUniversity:Roboticslnstitute，July2005.)介绍了摄像机与激光雷达之间的外 参标定方法，将彩色图像和近红外图像的像素信息分别映射到三维点云上，得到多谱点云 {X, } = {(x,j，二艮p，如图2所示，多谱点云中的每个融合数据点均包含有三维坐 标x、y、z、可见光三个通道的分量R、G、B和近红外强度值pNIK，i表示数据点的序数，上标T表示矩阵转置。
[0013] 由于多谱点云的数据量较大，直接进行处理的运算量很大，速度难以满足实时系 统的要求，为了减小运算量，本发明将多谱点云投影到平面栅格中，并根据栅格内的高度差 信息选取出候选障碍栅格，仅对这些栅格进行多光谱分析。
[0014] 所述步骤3)具体为：根据摄像机的视场大小在地面上建立栅格平面，根据三维点 云的x、y坐标确定三维点归属的栅格，以统计栅格内部最大高度差的方法来得到候选障碍 栅格。
[0015] 所述的候选障碍栅格具体是采用以下方式统计栅格内部最大高度差得到：
[0016] 对于每个栅格，计算点云中每个数据点的高度值z与栅格内点云高度最小值 之差作为该点与栅格内最低点的点高度差匕，若点高度差匕大于高度阈值hmiMbs，则该三维 点为障碍点；否则该点为地面点。若栅格内所有点均为地面点，则该栅格为地面栅格，否则 为障碍候选栅格。对障碍候选栅格，继续进入下一步骤，否则不进入下一步骤。
[0017] 所述步骤4)具体为：多光谱特征的有效性很大程度上依赖于可见光与近红外光 强度值的可靠性，而图像尤其是近红外图像受环境光照条件的影响很大。比如在弱爆光条 件下近红外图像的强度值整体较一般情况下要弱，然而植被与一般障碍之间的相对光强信 息并未丢失，因此本发明采用以下自适应的红外光强度值归一化方法。
[0018] 4. 1)多谱点云中，第k个栅格内所有数据点集合表示为Xk={xux2, . . .，xn}，n= Nk，n表示单个栅格内数据点的总数，Nk表示第k个栅格内数据点的总数，每个数据点均表 示为Xi= (X，y,z,R,G,B,pNIK)T,i= 1，. . .，n，i表示数据点序数，建立以下三维点云的协 方差矩阵计算得到协方差矩阵的三个特征值A2,A3,A2>入3:
[0026] 其中，I、歹、F分别表示栅格内所有数据点的三维坐标x、y、z的均值；
[0027] 4. 2)若X^A3很接近，gpA夕A3小于等于某个接近于1的阈值，则代表三维点 云为团状分布，该候选障碍栅格具有极高可能性为植被。
[0028] 将所有含有高置信植被的候选障碍栅格内的多谱三维点组成植被点云数据{Xk} veg*
[0029] 理论上讲，若3点云为散布分布，则候选障碍栅格包含有障碍物的 概率很高；若L，A2远大于A3或Ai远大于A2,A3则候选障碍栅格内的对象为线性分 布和平面分布，这是一般障碍物的特征；这一特征的分类效果取决于A夕A3的阈值选取和 每个物体点云的密集程度，阈值过大会导致障碍物被误分类为植被，过小则会有大量植被 分类错误。
[0030] 激光雷达获取的单帧数据较为稀疏，想要得到较高的植被分类准确率同时会导致 较高的误报率。然而用来作为光强归一化的基准，并不需要获得所有的植被数据，因此本发 明采用以上选取更加严格的阈值获得最可靠的部分植被数据。
[0031] 4. 3)再以植被点云数据{Xk}veg对应的近红外强度值PNIK为参考标准，采用以下 公式表示的尺度因子0 _16对整幅近红外图像进行强度信息的尺度调整，完成红外光强归 一化：
[0033] 其中，为一般光照条件下植被的平均近红外强度值。
[0034] 所述步骤5)具体为：候选障碍栅格内的各个多谱三维点采用以下公式计算得到 可见光特征fvis和近红外特征f_，作为该栅格多光谱特征F的两个维度，形成二维特征空 间（fvis，fnir):
[0037] 其中，PNIK为多谱三维点的近红外强度值，0s。&为红外光强归一化的尺度因子。
[0038] 在多维特征空间中，单个高斯的权重、均值和协方差矩阵就是模型的主要参数，由 m个高斯构成的GMM可表示为{Oi,Ui, ^^^^^..^。在上述步骤得到的二维特征空间 (fvis，fnir)中，用已训练的高斯混合模型对候选障碍栅格进行处理判断，每个候选障碍栅格 均根据多光谱特征F(fvis，fnJ计算其属于植被V或者障碍物0的概率:
[0040]其中，c表示类别，c= {0, 1}，c= 0表示植被V，c= 1表示障碍物0,nf表示类 别c对应的混合尚斯|旲型中单尚斯的个数，气_，巧，\分别表不尚斯混合|旲型单个尚斯的权 重、均值和协方差矩阵；若候选障碍栅格为植被V的概率p(F|V)大于候选障碍栅格为障碍 物0的概率p(F| 0)，则该候选障碍栅格包含植被，能安全通过；若候选障碍栅格为植被V的 概率p(F|V)小于等于候选障碍栅格为障碍物0的概率p(F| 0)，则该候选障碍栅格包含障碍 物，不能安全通过。
[0041] 所述已训练的高斯混合模型具体采用以下方式进行训练：将多个样本栅格输入到 向量分类器中进行训练，其中所有样本栅格均分为植被V类别或障碍物0类别，对于两个类 别分别建立高斯混合模型，通过期望最大化（EM)方法迭代求解得到两个类别的高斯混合 模型参数：
[0043] 其中，叫，分别表示单个高斯的权重、均值和协方差矩阵，nf表示类别c对应 的混合高斯模型中单高斯的个数。
[0044] 所述的类别c对应的混合高斯模型中单高斯的个数nf取1~5。
[0045] 所选取的高斯个数m也会对最终得到的模型产生影响，m过小无法准确描述该类 样本在特征空间中的分布；m过大会导致训练样本的过度拟合。对m取1~5,本发明在现 有数据集上进行了实施例重复试验，比较EM算法的收敛效率和分类试验结果，发现每个类 别包含3个高斯模型的时候最佳。
[0046]本发明的有益效果：
[0047] 本发明采用激光雷达和彩色相机、近红外相机等多种传感器，利用多传感器联合 标定技术得到多谱三维点云。
[0048] 本发明设计了多谱特征对植被进行有效过滤，有效提高了真实障碍物的检测率， 降低了虚警率。
[0049] 本发明扩大了无人车在植被环