基于激光雷达的道路检测方法、装置、介质及计算机设备与流程

1.本技术涉及道路检测技术领域，尤其涉及一种基于激光雷达的道路检测方法、装置、介质及计算机设备。


背景技术：

2.道路检测技术在自动驾驶、车辆智能控制等领域有广泛应用，通常是采用单目摄像头拍摄路面影像，通过对路面影像的分析实现道路检测，检测过程复杂，处理速度慢。


技术实现要素：

3.为了解决上述技术问题，本技术提供了一种基于激光雷达的道路检测方法、装置、介质及计算机设备。
4.本技术的第一方面，提供一种基于激光雷达的道路检测方法，所述基于激光雷达的道路检测方法包括：获取激光雷达针对目标场景的点云；基于所述目标场景的点云，生成二维的网格平面；将所述点云投影至所述网格平面，得到投影结果，所述投影结果包括所述网格平面中的各网格中包含的点及其统计信息；基于所述投影结果，生成输入图像，所述输入图像中的像素点与所述网格平面中的网格一一对应，且所述像素点的像素值基于对应的网格中包含的点的统计信息确定；将所述输入图像输入预先训练的语义分割模型，预测出所述目标场景中的道路区域。
5.本技术一些实施例中，所述二维的网格平面为俯视视角平面。
6.本技术一些实施例中，所述网格对应的所述统计信息包括所述网格中包含的点的数量、平均反射率、均值、标准差、最小仰角和最大仰角。
7.本技术一些实施例中，每个所述网格均对应多种不同的统计信息，所述输入图像包括多个单通道图像，每个所述单通道图像对应一种统计信息。
8.本技术一些实施例中，所述语义分割模型为全卷积神经网络模型。
9.本技术一些实施例中，将所述输入图像输入预先训练的语义分割模型，预测出所述目标场景中的道路区域，包括：将所述多个单通道图像输入所述全卷积神经网络模型的多通道输入层，每一个通道对应一个所述单通道图像；所述全卷积神经网络模型的隐藏层对输入的多个单通道图像进行下采样处理，得到下采样特征图；所述隐藏层对所述下采样特征图进行多次不同扩张率的扩张卷积处理，得到扩张特征图；所述隐藏层对所述扩张特征图进行上采样处理，得到上采样特征图，所述上采样
特征图的尺寸与所述单通道图像的尺寸相同；所述全卷积神经网络模型的输出层对所述上采样特征图进行特征映射，输出置信图，所述置信图用于表征各像素点位于所述道路区域的概率。
10.本技术一些实施例中，所述隐藏层对所述下采样特征图进行多次不同扩张率的扩张卷积处理，得到扩张特征图，包括：所述隐藏层对所述下采样特征图进行n次扩张卷积处理，n为大于2的正整数；其中，第一次扩张卷积处理的扩张率为（1，1），第n次扩张卷积处理的扩张率为（2
n-1
，2n），1＜n≤n，且n为正整数。
11.本技术的第二方面，提供了一种基于激光雷达的道路检测装置，所述基于激光雷达的道路检测装置包括：获取模块，被配置为获取激光雷达针对目标场景的点云；网格平面生成模块，被配置为基于所述目标场景的点云，生成二维的网格平面；投影模块，被配置为将所述点云投影至所述网格平面，得到投影结果，所述投影结果包括所述网格平面中的各网格中包含的点及其统计信息；输入图像生成模块，被配置为基于所述投影结果，生成输入图像，所述输入图像中的像素点与所述网格平面中的网格一一对应，且所述像素点的像素值基于对应的网格中包含的点的统计信息确定；处理模块，被配置为将所述输入图像输入预先训练的语义分割模型，预测出所述目标场景中的道路区域。
12.本技术的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如上所述的基于激光雷达的道路检测方法的步骤。
13.本技术的第四方面，提供了一种计算机设备，包括处理器、存储器和存储于所述存储器上的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于激光雷达的道路检测方法的步骤。
14.本技术中，将目标场景的点云投影至二维的网格平面，并根据投影至网格平面中的各个点及其统计信息生成输入图像，将输入图像输入语义分割模型中，从而预测出目标场景中的道路区域，由于将点云投影至二维的网格平面，从而将分类问题简化为一个单维度问题，如此，通过简单的语义分割模型即可快速地实现道路区域的预测，从而简化道路检测过程，提高道路检测效率。
附图说明
15.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：图1是本技术一示例性实施例示出的基于激光雷达的道路检测方法的方法流程图；图2是本技术一示例性实施例示出的点云向网格平面投影的示意图；图3是本技术另一示例性实施例示出的基于激光雷达的道路检测方法的方法流程图；图4是本技术一示例性实施例示出的基于激光雷达的道路检测方法中编码器的结
构示意图；图5是本技术一示例性实施例示出的基于激光雷达的道路检测方法中译码器的结构示意图；图6是本技术一示例性实施例示出的基于激光雷达的道路检测方法中衔接模块的结构示意图；图7是本技术一示例性实施例示出的基于激光雷达的道路检测装置的结构示意图；图8是本技术一示例性实施例示出的基于激光雷达的道路检测设备的结构示意图。
具体实施方式
16.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互任意组合。
17.在进行道路检测时，通常是采用单目摄像头拍摄的影像结合深度神经网络的形式，这种方式一方面数据处理量大，过程复杂，检测效率低，另一方面，基于摄像头采集图像的方法受环境光线的影响很大，在夜间或是与训练时采用的光线条件相异的条件下，得到的结果往往差强人意。
18.激光雷达（lidar）用自身发出的激光来采集信息，对环境光不敏感，精确度高，在另一些相关技术中，采用融合摄像机与lidar的方式实现道路检测，同样存在过程复杂、检测效率低等问题，同时也具有一定的局限性。
19.为了解决以上技术问题，本技术提供了一种基于激光雷达的道路检测方法，将目标场景的点云投影至二维的网格平面，并根据投影至网格平面中的各个点及其统计信息生成输入图像，将输入图像输入语义分割模型中，从而预测出目标场景中的道路区域，由于将点云投影至二维的网格平面，从而将分类问题简化为一个单维度问题，如此，通过简单的语义分割模型即可快速地实现道路区域的预测，从而简化道路检测过程，提高道路检测效率。
20.本技术一示例性实施例提供了一种基于激光雷达的道路检测方法，如图1所示，该基于激光雷达的道路检测方法包括：s100、获取激光雷达针对目标场景的点云。
21.其中，目标场景例如为车辆行驶中所处的场景，该点云例如可以由设置于车辆上的采集装置采集得到。可以理解的，点云为一个数据集，其包括目标场景中的多个点的几何坐标、反射率等数据信息。示例性地，点云由车辆上的激光雷达采集，由于激光雷达对环境光不敏感，从而能够保证道路检测结果的准确性，克服采用摄像头影像进行道路检测存在局限性的问题。
22.s200、基于目标场景的点云，生成二维的网格平面。
23.如图2所示，生成二维的网格平面100能够在垂直于该网格平面100的方向上覆盖目标场景的点云200，网格平面100划分为多个网格，网格的尺寸可根据具体分辨率需求设
置，本技术对此不作限制。
24.s300、将点云投影至网格平面，得到投影结果，投影结果包括网格平面中的各网格中包含的点及其统计信息。
25.如图2所示，将点云200中的各个点投影至网格平面100，对于网格平面100中的每一个网格，均可以确定出投影至该网格中的点，对该网格中的点进行数据统计，例如进行数量的统计、数据信息统计等，得到统计信息。示例性地，网格对应的统计信息包括网格中包含的点的数量、平均反射率、均值、标准差、最小仰角和最大仰角。其中，可以通过坐标转换的方式进行点云200投影。
26.s400、基于投影结果，生成输入图像，输入图像中的像素点与网格平面中的网格一一对应，且像素点的像素值基于对应的网格中包含的点的统计信息确定。
27.该步骤中，将网格平面100中的每一个网格作为一个像素，生成输入图像，以便进行后续的道路区域预测。
28.考虑到道路规划和车辆控制是在二维空间进行，将点云200投影至二维的网格平面100比透视表达方式更有优势，从而可以将分类问题简化为一个单维度问题。
29.s500、将输入图像输入预先训练的语义分割模型，预测出目标场景中的道路区域。
30.如前所述，通过将点云200投影至二维的网格平面100并基于投影结果生成输入图像，如此，通过简单的语义分割模型即可快速地对输入图像进行处理，从而实现道路区域的预测，简化道路检测过程，提高道路检测效率。
31.本技术一示例性实施例中，二维的网格平面100为俯视视角平面，该视角能够更好地反映出车辆的周边环境信息，且方便点云200的投影运算。示例性地，如图2所示，点云200中的点坐标为（x，y，z），二维的网格平面100为x-y平面，则坐标（x，y）即为点云200投影至二维的网格平面100中的坐标。
32.在确定各网格中包含的点的统计信息时，统计信息可以为一种，则生成一个输入图像，统计信息也可以为多种，则对应每一种统计信息均生成一个单通道图像，例如，如前所述，统计信息包括点的数量、平均反射率、均值、标准差、最小仰角和最大仰角这六种，则分别针对点的数量、平均反射率、均值、标准差、最小仰角和最大仰角这六种统计信息分别生成六个单通道图像。其中，均值和方差指的是该点与其距离最近的k个临近点之间的距离的均值和方差，k的数值可根据具体需求设置，例如可以为10、20、50等。
33.本实施例中，采用多种统计信息生成多个单通道图像来进行道路检测，能够进一步提高道路区域的检测准确性。
34.本技术一示例性实施例中，语义分割模型为全卷积神经网络模型，采用全卷积神经网络模型（fully convolutional networks，fcn）能够进行深度学习，并能够实现对输入数据的快速处理，在提高检测效率的同时保证道路检测结果的准确性。
35.一实施例中，如图3所示，步骤s500具体包括：s510、将多个单通道图像输入全卷积神经网络模型的多通道输入层，每一个通道对应一个单通道图像。
36.如前所述，为了提高道路检测的准确性，通常是采用多种统计信息分别生成多个单通道图像，因此，该步骤中，将多个单通道图像输入全卷积神经网络模型的多通道输入层，每一个通道对应一个单通道图像。示例性地，根据点的数量这一统计信息生成第一单通
道图像，根据平均反射率这一统计信息生成第二单通道图像，根据均值这一统计信息生成第三单通道图像，根据标准差这一统计信息生成第四单通道图像，根据最小仰角这一统计信息生成第五单通道图像，根据最大仰角这一统计信息生成第六单通道图像。多通道输入层对应设置为六个，包括第一通道、第二通道、第三通道、第四通道、第五通道和第六通道，其中，根据点的数量生成的第一单通道图像输入第一通道，根据平均反射率生成的第二单通道图像输入第二通道，根据均值生成的第三单通道图像输入第三通道，根据标准差生成的第四单通道图像输入第四通道，根据最小仰角生成的第五单通道图像输入第五通道，根据最大仰角生成的第六单通道图像输入第六通道。
37.s520、全卷积神经网络模型的隐藏层对输入的多个单通道图像进行下采样处理，得到下采样特征图。
38.该步骤中，通过对输入的多个单通道图像进行下采样，能够有效减少对全卷积神经网络模型的存储空间需求。示例性地，采用编码器对各单通道图像进行下采样处理。编码器例如如图4所示，该编码器包括第一编码单元、第二编码单元和第三编码单元，第一编码单元的输出像素尺寸w
×
h为：200
×
400，数量为32个，第二编码单元的输出像素尺寸w
×
h为：200
×
400，数量为32个，第三编码单元的输出像素尺寸w
×
h为：100
×
200，数量为32个，如此，通过该编码器得到32个像素尺寸为100
×
200的特征图。
39.s530、隐藏层对下采样特征图进行多次不同扩张率的扩张卷积处理，得到扩张特征图。
40.示例性地，隐藏层包括衔接模块，衔接模块采用扩张卷积来集合多维的上下文信息，通过衔接模块对下采样特征图进行多次不同扩张率的扩张卷积处理，能够在接受区间（也称感受野）大幅增长时不丢失解析度，从而能高效地扩展接受区间而保持很小的参数和层数，从而有效减少对全卷积神经网络模型的存储空间的需求。尤其对于本技术而言，特征图的分辨率较高，通过衔接模块能够在保证不丢失解析度的同时，有效降低对全卷积神经网络模型的存储空间需求，保证道路预测效率和道路预测精确度。
41.s540、隐藏层对扩张特征图进行上采样处理，得到上采样特征图，上采样特征图的尺寸与单通道图像的尺寸相同。
42.通过对步骤s530得到的扩张特征图进行上采样，将特征图还原为输入尺寸，示例性地，隐藏层包括译码器，译码器例如包括一个最大去池化层和两个卷积层，一实施例中，译码器如图5所示，该译码器包括第一译码单元、第二译码单元、第三译码单元和第四译码单元，第一译码单元的输出像素尺寸w
×
h为：200
×
400，数量为32个，第二译码单元的输出像素尺寸w
×
h为：200
×
400，数量为32个，第三译码单元的输出像素尺寸w
×
h为：200
×
400，数量为2个，第四译码单元的输出像素尺寸w
×
h为：200
×
400，数量为2个，如此，通过该译码器得到2个像素尺寸为200
ꢀ×
400的特征图。
43.s550、全卷积神经网络模型的输出层对上采样特征图进行特征映射，输出置信图，置信图用于表征各像素点位于道路区域的概率。
44.通过特征映射，即可得到表征各像素点位于道路区域的概率的置信图，进而预测出目标场景中的道路区域，例如，将位于道路区域的概率高于70%的各像素点所在的区域确定为道路区域。
45.在一个示例性实施例中，步骤s530具体包括：
隐藏层对下采样特征图进行n次扩张卷积处理，n为大于2的正整数，其中，第一次扩张卷积处理的扩张率为（1，1），第n次扩张卷积处理的扩张率为（2
n-1
，2n），1＜n≤n，且n为正整数。
46.本实施例中，对下采样特征图呈指数级扩张，从而使得接受区间也相应地呈指数级增大而没有降低覆盖度，另外特征图为零填充，因而并不损失精度。其中，接受区间的宽度和高度增长率不同，以与输入图像的宽高比相匹配。
47.示例性地，隐藏层中的衔接模块的结构如图6所示，结合下表，衔接模块包括第1至第8扩张卷积层，每一层均用于对下采样特征图进行一次扩张卷积，其中，第1至7扩张卷积层的滤波器大小均为3
×
3，输出像素尺寸w
×
h为：100
×
200，输出特征图个数为128，第8扩张卷积层滤波器大小为1
×
1，输出像素尺寸w
×
h为：100
×
200，输出特征图个数为32，各层采用的激活函数为elu（exponential linear units，指数线性单元）激活函数，第1扩张卷积层的扩张系数为（1，1），接受区间为3
×
3，第2扩张卷积层的扩张系数为（1，2），接受区间为5
×
7，第3扩张卷积层的扩张系数为（2，4），接受区间为9
×
15，第4扩张卷积层的扩张系数为（4，8），接受区间为17
×
31，第5扩张卷积层的扩张系数为（8，16），接受区间为33
×
63，第6扩张卷积层的扩张系数为（16，32），接受区间为65
×
127，第7扩张卷积层的扩张系数为（32，64），接受区间为129
×
255。
48.由上表结合图6可知，通过衔接模块的多个扩张卷积层的处理，最后的扩张卷积层的接受区间远大于输入特征图，像素尺寸为100
×
200，如此，全卷积神经网络模型可以访问一个很大的衔接窗口，以能够准确的判断各个像素点是否在道路区域。
49.本技术中，将目标场景的点云200投影至二维的网格平面100，并根据投影至网格平面100中的各个点及其统计信息生成输入图像，将输入图像输入语义分割模型中，从而预测出目标场景中的道路区域，由于将点云200投影至二维的网格平面100，从而将分类问题简化为一个单维度问题，如此，通过简单的语义分割模型即可快速地实现道路区域的预测，从而简化道路检测过程，提高道路检测效率。
50.本技术还提供了一种基于激光雷达的道路检测装置，如图7所示，基于激光雷达的道路检测装置包括获取模块301、网格平面生成模块302、投影模块303、输入图像生成模块304和处理模块305。其中，获取模块301被配置为获取激光雷达针对目标场景的点云，网格平面生成模块302被配置为基于目标场景的点云，生成二维的网格平面；投影模块303被配置为将点云投影至网格平面，得到投影结果，投影结果包括网格平面中的各网格中包含的点及其统计信息；输入图像生成模块304被配置为基于投影结果，生成输入图像，输入图像中的像素点与网格平面中的网格一一对应，且像素点的像素值基于对应的网格中包含的点
的统计信息确定；处理模块305被配置为将输入图像输入预先训练的语义分割模型，预测出目标场景中的道路区域。
51.图8是根据一示例性实施例示出的一种基于激光雷达的道路检测设备，即计算机设备400的框图。参照图8，计算机设备400包括处理器401，处理器的个数可以根据需要设置为一个或者多个。计算机设备400还包括存储器402，用于存储可由处理器401的执行的指令，例如应用程序。存储器402的个数可以根据需要设置一个或者多个。其存储的应用程序可以为一个或者多个。处理器401被配置为执行指令，以执行上述方法。
52.本领域技术人员应明白，本技术的实施例可提供为方法、装置（设备）、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质,包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘（dvd）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质等。此外，本领域技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
53.在示例性实施例中，提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器402，上述指令可由计算机设备400的处理器401执行以完成上述方法。例如，非临时性计算机可读存储介质可以是rom、随机存取存储器（ram）、cd-rom、磁带、软盘和光数据存储设备等。
54.一种计算机可读存储介质，当存储介质中的指令由基于激光雷达的道路检测设备的处理器401执行时，使得基于激光雷达的道路检测设备能够执行：获取激光雷达针对目标场景的点云；基于目标场景的点云，生成二维的网格平面；将点云投影至网格平面，得到投影结果，投影结果包括网格平面中的各网格中包含的点及其统计信息；基于投影结果，生成输入图像，输入图像中的像素点与网格平面中的网格一一对应，且像素点的像素值基于对应的网格中包含的点的统计信息确定；将输入图像输入预先训练的语义分割模型，预测出目标场景中的道路区域。
55.本技术是参照根据本技术实施例的方法、装置（设备）和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
56.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。
57.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
58.在本技术中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
59.尽管已描述了本技术的优选实施例，但本领域技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
60.显然，本领域技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术的意图也包含这些改动和变型在内。