一种基于多任务学习的道路点云分割方法

本发明属于道路的点云分割，具体涉及到一种基于多任务学习的道路点云分割方法。

背景技术：

1、随着倾斜摄影技术的迅速发展和广泛应用，使得室外场景的大规模点云数据获取变得更加容易，这些点云数据包含了丰富的地理信息，对于城市模型制作、城市规划、交通管理等领域具有重要意义。准确的道路的分割尤为重要，因为道路是连接城市各个部分的重要交通组成部分，对于城市地形建模、城市规划等具有重要的影响，如在城市地形建模中，道路部分需要单独进行模型平整和纹理映射，需要与普通地面区分开来。然而倾斜摄影获取到点云数据并不足以满足实际应用的需求，我们还需要对这些点云进行语义分割，以便于后续建模及使用。

2、目前，基于深度学习的点云分割包括pointnet、randlanet和kpconvnet等方法，这些方法在对建筑物、地面、树木等语义分割方面的准确率可达到80％～90％，但在道路分割方面的准确率较低；主要是因为在倾斜摄影点云中，道路点云的特征不明显，容易和普通地面点混淆，且道路在点云中占比低，降采样时容易损失道路特征。因此，本申请学习点云分割和道路延伸方向特征，以提高点云道路分割的准确性和鲁棒性。

技术实现思路

1、本发明要解决的技术问题在于提供一种基于多任务学习的道路点云分割方法，该分割方法解决了现有点云分割算法未考虑道路的延伸性、平整性等特性，在道路类别上表现不佳的问题。

2、为了解决上述技术问题，本发明通过以下方式来实现：

3、一种基于多任务学习的道路点云分割方法，具体包括以下步骤：

4、s1、基于道路骨架提取算法，计算点云中每个点对应的道路延伸方向；

5、s2、搭建基于多分支mlp的深度学习网络，学习道路分割和道路延伸方向两个任务；

6、s3、用标注好道路和非道路的点云数据训练上述深度学习网络，然后用训练好的模型进行点云道路分割。

7、进一步的，所述步骤s1具体的步骤如下：

8、s11、道路骨架提取和简化

9、1)基于zhang-suen算法提取道路中线像素，将点云映射到二维图像，在二维图像中道路点云对应的像素为白色，非道路为黑色，形成道路遮罩；所述zhang-suen算法通过交替进行两个子迭代来细化二维图像，直到所有像素细化到不能再细化为止；

10、2)定位路口位置，删除路口像素，将道路中线切割为子路段，便于后续子路段简化；

11、3)基于ramer-douglas-peucker算法简化子路段的像素曲线，所述ramer-douglas-peucker算法通过递归地对曲线进行分割，找到曲线上具有代表性的点，并将其连接起来形成简化后的曲线作为最终的道路骨架；

12、s12、道路延伸方向计算

13、基于道路骨架计算道路遮罩中每个道路像素的方向，并将其方向归类为四个方向；再将道路像素映射回三维点云，把点云中对应的点标记为四个方向之一。

14、进一步的，所述步骤s2具体的步骤如下：

15、s21、损失函数计算

16、基于交并比的道路分割损失函数的表达式如下：

17、l1＝-iou(mlpseg(p))

18、其中，p表示点云中的点，mlpseg表示mlp模块的点云分类预测函数；

19、基于交叉熵的道路延伸方向损失函数的表达式如下：

20、

21、其中，mlpdirec表示mlp模块的道路延伸方向分类预测函数；

22、最终损失函数为l1和l2之和。

23、s22、最近邻编码方式

24、对点云中的每个点，选取k个欧氏距离最近的相邻点knn最近邻，将中心点位置和最近邻进行位置编码和法向量编码计算，再将位置编码和法向量编码连接在一起，作为深度学习网络的输入特征向量，其具体表达式如下：

25、

26、s23、多分支mlp网络搭建

27、基于多分支mlp的深度学习网络主要包括共享的encoder模块、多分支mlp模块及路面分类和道路延伸方向的预测分支模块，

28、所述共享的encoder模块，由降采样、mlp和maxpool组成的模块堆叠而成，用于在室外倾斜摄影点云规模较大需降采样及提取局部特征，同时更好适应不同密度的输入点云；

29、所述多分支mlp模块由道路分割和道路方向两个分支组成，每个分支由mlp模块和多个上采样模块堆叠而成，每次堆叠的输入数据连接对应的降采样模块的输入数据，采用两次多分支mlp模块堆叠，两次堆叠的中间插入一个fusion模块，其中mlp模块通过多层神经元和非线性激活函数，处理复杂的非线性模式和高维数据，从而达到更好的分类效果；

30、所述道路分类和道路延伸方向的预测分支模块分别预测两个分支的结果，其中道路分割的预测结果分为道路和非道路两类，道路延伸方向的预测结果为四类。

31、进一步的，所述步骤s3具体的方法如下：

32、将标注好道路和非道路的点云数据分为训练集、验证集和测试集，进行100轮训练，取iou最高的模型保存，再用该模型在测试集进行道路点云分割。

33、与现有技术相比，本发明具有的有益效果：

34、本发明所提出了基于多任务学习的道路分割网络，在分割道路的同时也学习道路的延伸方向，两个任务相互促进，从而达到更好的分割效果；提出的基于道路骨架提取算法的道路延伸方向计算方式，准确的提取道路方向；同时基于knn和法向量的道路特征编码方式，更好的提取道路的空间特征。

技术特征：

1.一种基于多任务学习的道路点云分割方法，其特征在于：具体包括以下步骤：

2.如权利要求1所述的一种基于多任务学习的道路点云分割方法，其特征在于：

3.如权利要求1所述的一种基于多任务学习的道路点云分割方法，其特征在于：

4.如权利要求1所述的一种基于多任务学习的道路点云分割方法，其特征在于：

技术总结
本发明公开了一种基于多任务学习的道路点云分割方法，具体包括以下步骤：基于道路骨架提取算法，计算点云中每个点对应的道路延伸方向；搭建基于多分支MLP的深度学习网络，学习道路分割和道路延伸方向两个任务；用标注好道路和非道路的点云数据训练上述深度学习网络，然后用训练好的模型进行点云道路分割。本发明所提出了基于多任务学习的道路分割网络，在分割道路的同时也学习道路的延伸方向，两个任务相互促进，从而达到更好的分割效果；提出的基于道路骨架提取算法的道路延伸方向计算方式，准确的提取道路方向；同时基于knn和法向量的道路特征编码方式，更好的提取道路的空间特征。

技术研发人员：张严辞,王禹然
受保护的技术使用者：四川大学
技术研发日：
技术公布日：2024/2/21