基于三维激光雷达的越野路面提取方法与流程

本发明涉及图像识别技术领域，具体涉及一种能够准确识别越野路面可通行区域的基于三维激光雷达的越野路面提取方法。

背景技术：

近年来，无人驾驶技术迅猛发展，路面区域提取是其中的关键技术之一，是实现无人驾驶车辆安全可靠的自主行驶的前提。目前较为成熟的算法和应用技术主要针对城市结构化道路环境，面向结构和环境复杂的越野道路研究很少。在越野场景下，道路边界处常常存在大量模糊区域：例如，泥泞的土壤或者植被覆盖的区域，这些区域一般是物理上可通行的，但是通行代价却非常高，与严格意义上人类驾驶员倾向的越野路面区域有明显的区别。同时，越野环境道路缺乏车道线、护栏、路牙、铺装路面等人工建筑特征，道路边界模糊，路面质地差异大，特征复杂多样，这些都为路面区域的提取带来巨大挑战。因此针对城市结构化道路环境特点所设计的算法很难直接适用于越野环境。

激光雷达和摄像头是两种主流的为路面提取模块提供原始数据的传感器。基于摄像头的技术方法，通过摄像头采集的图像数据，提取道路边界线、消失点或路面纹理等特征，进而得到路面区域。基于图像的方法有很多相关研究，并已经有部分应用于越野环境中。这些方法所利用的图像颜色、纹理等特征，受到光照、天候条件变化的影响很大，因此路面提取的稳定性较差；且由于缺乏三维信息，这类技术方案提取结果的精度较低，对不同路面环境的适应性差。

基于激光雷达的路面提取技术方案非常少。它们一般利用数据分割和基于规则/阈值的分类方法，例如：在一定高度阈值内，根据点云是否连续、平滑来提取路面区域。然而，这类方法严重依赖于人工定义的特征和预先设定的阈值，且随着场景变化，算法性能会有很大的降低。

同时，不论是基于图像还是激光雷达的路面提取方案中，有一部分利用深度学习的技术方案。它们所共有的缺点是，训练深度神经网络需要大量的人工标注样本。在越野路面提取缺少公开数据集的情况下，标注大量的训练样本的人力成本非常高。

技术实现要素：

本发明的目的在于提供一种能够准确识别越野路面可通行区域，成本低，算法简单的基于三维激光雷达的越野路面提取方法，以解决上述背景技术中存在的技术问题。

为了实现上述目的，本发明采取了如下技术方案：

一种基于三维激光雷达的可通行越野路面提取方法，该方法包括如下流程步骤：

步骤s110：将激光雷达获取的连续多帧的三维激光点云数据叠加后，投影到俯视图中得到路面高程图；

步骤s120：利用深度卷积神经网络对所述路面高程图进行特征提取，得到所述路面高程图的通行代价图；

步骤s130：对所述通行代价图进行离散化，获取可通行区域标签、障碍物区域标签和模糊区域标签；

步骤s140：根据可通行区域标签、障碍物区域标签和模糊区域标签对离散化的通行代价图进行图像可视化，获取可通行越野路面区域图。

进一步的，所述步骤s120具体包括：

利用区域生长方法对激光雷达采集的路面高程图提取立面障碍物区域，并结合车辆采集到的轨迹信息，合成自动标注样本；

利用所述自动标注样本结合人工标注样本对所述深度卷积神经网络进行训练；

利用训练好的深度卷积神经网络对所述路面高程图的像素点进行归类划分，分别获得像素点的可通行区域指标值和障碍物区域指标值；

对所述可通行区域指标值和所述障碍物区域指标值进行归一化，得到所述通行代价图。

进一步的，所述利用区域生长方法对激光雷达采集的路面高程图提取立面障碍物区域包括：

遍历所述路面高程图中的像素点，将高度满足预设的路面高度阈值的像素点作为种子点加入种子点队列；遍历所述种子点队列和所述种子点的相邻像素点，判断所述种子点和所述相邻像素点的高度差和角度差是否小于给定的阈值，若是，则将所述相邻像素点加入所述种子点队列，若否，则将所述相邻像素点标记为障碍物区域。

进一步的，遍历所述路面高程图中的像素点，若没有高度满足预设的路面高度阈值的像素点，则将所述路面高程图中的所有像素点均标记为障碍物区域。

进一步的，利用所述自动标注样本结合人工标注样本对所述深度卷积神经网络进行训练的优化目标函数为：

其中，p表示概率，表示自动标注样本，λ表示自动标注样本的权重调整参数，x表示网络输入的路面高程图，θ^br表示深度卷积神经网络的参数集合，表示人工标注样本。

进一步的，对所述可通行区域指标值和所述障碍物区域指标值进行归一化，得到所述通行代价图，包括：

归一化的公式如下所示：

c表示通行代价图，α1和α2分别表示两个超参数；s1表示可通行区域指标值，s2表示障碍物区域指标值；

满足(1)的像素被离散化为可通行区域标签，满足(2)的像素被离散化为障碍物标签，满足(3)的像素被离散化为模糊区域标签。

本发明有益效果：与基于图像的方法相比，充分利用了激光雷达的三维信息，并且不受光照和天候的影响；与基于激光雷达的传统技术方案相比，本发明使用基于深度学习的特征提取方法，不依赖人工定义特征和阈值，可以自适应的学习到环境特征，在不同场景下适应性更强；与通常的深度学习技术相比，本发明提出的自动数据标注方案，可以有效地使用弱监督、半监督的方法训练深度神经网络，有效减少对人工标注样本的需求。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所述的基于三维激光雷达的越野路面提取方法流程图。

图2为本发明实施例所述的深度卷积神经网络的网络结构图。

图3为本发明实施例所述的基于半监督学习方法训练深度卷积神经网络提取可通行越野路面的流程示意图。

图4为本发明实施例所述的利用区域生长法提取立面障碍物区域的流程图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的模块。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以具体实施例为例做进一步的解释说明，且实施例并不构成对本发明实施例的限定。

本领域普通技术人员应当理解的是，附图只是一个实施例的示意图，附图中的部件或装置并不一定是实施本发明所必须的。

实施例

如图1所示，本发明实施例提供了一种基于三维激光雷达的越野路面提取方法，该方法包括如下流程步骤：

步骤s110：将激光雷达获取的连续多帧的三维激光点云数据叠加后，投影到俯视图中得到路面高程图；

步骤s120：利用深度卷积神经网络对所述路面高程图进行特征提取，得到所述路面高程图的通行代价图；

步骤s130：对所述通行代价图进行离散化，获取可通行区域标签、障碍物区域标签和模糊区域标签；

步骤s140：根据可通行区域标签、障碍物区域标签和模糊区域标签对离散化的通行代价图进行图像可视化，获取可通行越野路面区域图。

如图2所示，本发明实施例提供了一种深度卷积神经网络，利用该网络对激光雷达采集的路面高程图进行特征提取，从激光雷达的数据中提取可通行的路面区域。

该网络的输入是通过将连续多帧的三维激光点云数据叠加后，投影到俯视图中得到的高程图(每个像素表示该位置的高度信息)。如图2所示的深度神经网络主要分为两个分支(可通行分支和障碍物分支)。这两个分支的结构是相同的，都是基于全卷积神经网络的框架进行了一些修改。其中包含了卷积层、池化层、softmax层(softmax指的是概率论中的归一化指数函数)、反卷积层和归一化层。这两个分支分别得到某个像素被归类为可通行区域或者障碍物区域的得分(s1和s2)，之后通过归一化层将这两个得分归一化，得到对应于输入高程图的通行代价图。最后，为了便于评价和比较，通过离散化的方法将概率形式的通行代价离散成可通行区域、障碍物区域和模糊区域三个标签值。

归一化的公式如下所示：

c表示通行代价图，α1和α2分别表示两个超参数；s1表示可通行区域指标值，s2表示障碍物区域指标值；

满足(1)的像素被离散化为可通行区域标签，满足(2)的像素被离散化为障碍物标签，满足(3)的像素被离散化为模糊区域标签。

在本发明的实施例中，在训练神经网络的过程中，定义了相应的优化目标函数：

其中，br对应了网络结构中的两个分支，θ^br表示分支网络对应的参数集合，x表示网络的输入高程图。这个优化目标函数整体是一个交叉熵的形式，在训练深度神经网络时，使用随机梯度下降的方法，迭代优化求得最优的网络参数。

如图3所示，为了减少训练深度神经网络时对于大量人工标注样本的需求，半监督学习方法。首先，通过激光雷达采集的数据，利用传统的区域生长方法得到自动提取的立面障碍物区域，并结合车辆采集到的轨迹信息，可以合成大量的自动标注的样本。轨迹区域是数据采集车辆行驶过的地方，可以认为这些区域是完全可通行的样本。只结合需要少量的人工标注样本，用于训练深度神经网络，就可以得到通行代价图。最后用上文提到的离散化方法即可得到三标签的分类输出。

在结合自动标注样本和少量人工标注样本训练神经网络时，本发明提出了如下的优化目标函数：

其中，p表示概率，表示自动标注样本，λ表示自动标注样本的权重调整参数，x表示网络输入的路面高程图，θ^br表示深度卷积神经网络的参数集合，表示人工标注的样本。

针对半监督学习的情况，上述公式中的前项用于计算自动标注样本的预测损失，后项用于计算人工标注样本的预测损失。针对弱监督学习的情况(即只用自动标注样本进行深度神经网络训练)，只保留前项即可。

如图4所示，使用激光雷达的数据进行区域生长，得到自动提取的立面障碍物区域，得到的自动标注障碍物区域，结合车辆行驶得到的轨迹区域，就可以生成大量的自动标注样本，并用于深度神经网络的弱监督、半监督训练。这样可以有效的减少人工标注数据样本的巨大人力成本。

综上所述，本发明实施例所述的方法与基于图像的方法相比，充分利用了激光雷达的三维信息，并且不受光照和天候的影响；与基于激光雷达的传统技术方案相比，本发明使用基于深度学习的特征提取方法，不依赖人工定义特征和阈值，可以自适应的学习到环境特征，在不同场景下适应性更强；与通常的深度学习技术相比，本发明提出的自动数据标注方案，可以有效地使用弱监督、半监督的方法训练深度神经网络，有效减少对人工标注样本的需求。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。