一种语义点云地图构建方法与流程

本发明涉及点云地图，具体涉及一种语义点云地图构建方法。

背景技术：

1、人们对机器人的智能化要求日益增高，机器人本身的感知能力和理解能力就成了确定机器人智能化水平的重要部分，其中，感知能力指的是机器人能通过自身的传感器获取周围环境中的场景信息，而理解能力是指对获取的环境信息进行分析和处理，进而理解自身当下的情况，不仅仅是室内机器人，现在的室外机器人也需要获取环境中的语义信息，进而对当下的情况进行分析和决策，而语义地图可以提供机器人外界的环境信息和语义信息，从而提高机器人在外的感知和理解处理任务的能力。

2、目前语义地图的构建离不开对图像中语义信息的提取，现有技术通过特征点法slam获取相机的位姿并且利用目标检测网络实现了语义地图的构建，但是还存在以下问题：

3、(1)在动态环境进行同步定位与地图构建slam过程中，缺少对环境语义信息的感知，同时受到动态物体的干扰，容易丢失定位信息，无法执行高层智能任务；

4、(2)对于室外大场景下构建语义地图时，会受制于内存，无法应对相对复杂的动态场景。

技术实现思路

1、本发明的目的在于提供一种语义点云地图构建方法、计算机装置及存储介质，以解决现有技术中语义地图缺少对环境语义信息的感知，同时受到动态物体的干扰，容易丢失定位信息，无法执行高层智能任务以及无法应对相对复杂的动态场景的技术问题。

2、为解决上述技术问题，本发明具体提供下述技术方案：

3、本发明提供了一种语义点云地图构建方法，包括以下步骤：

4、通过视觉传感器连续获取环境数据信息，对所述环境数据信息采用双目立体匹配elas算法通过立体匹配deeppruner网络分别获取基于所述视觉传感器的视差图，对所述视差图采用语义分割网络获取图像的像素级语义信息；

5、对所述像素级语义信息进行动态特征检测获取动态场景下物体位姿估计数据，将所述物体位姿估计数据进行运动一致性检测获取图像中的动态特征点；

6、对所述动态特征点采用点云聚类后获取点云拟合平面，对所述点云拟合平面通过孪生网络进行相似度匹配构建点云子地图，获取点云语义信息的路径规划信息，根据所述路径规划信息获取对应子地图的关键帧图像；

7、对所述关键帧图像中的各类目标对象进行检测与识别，分割所述关键帧图像中的像素点投影到三维坐标中，构建三维语义点云地图，获取点云语义地图信息。

8、作为本发明的一种优选方案，对所述环境数据信息采用elas算法通过deeppruner网络分别获取基于所述视觉传感器的视差图，包括：

9、对所述视觉传感器获取的所述环境数据信息采用elas算法获取每个像素的修剪范围，根据所述修剪范围对所述环境数据信息建立左右视差搜索空间；

10、在所述左右视差搜索空间内对所述环境数据信息设置对应像素点的像素亮度阈值，根据所述环境数据信息的连续像素点亮度值的范围判断是否处于所述像素亮度阈值的范围内，若处在所述像素亮度阈值的范围内，则提取对应像素点作为特征点，否则排除对应像素点；

11、对所述特征点随机产生k个视差值，将所述k个视差值通过循环卷积获取特征集合，对所述特征集合内的左右特征矩阵进行内积操作获取对应视差图的匹配分数：

12、ai,j＝{f0(i+ri,j)·f1(i+di,j)}

13、其中，f0表示左图像左特征矩阵，f1表示右图像右特征矩阵，ri,j表示右目第i个像素的第j个候选项，di,j表示左目第i个像素的第j个候选项，i表示像素个数，ai,j表示第i个像素在第j个候选项的匹配分数；

14、对所述匹配分数ai,j进行迭代获取前k个最佳视差值，对所述前k个最佳视差值进行卷积训练获取对应的视差图。

15、作为本发明的一种优选方案，对所述视差图采用语义分割网络获取图像的像素级语义信息，包括：

16、所述语义分割网络采用全卷积网络对所述视差图执行端到端密集训练，获取深层语义特征，对所述深层语义特征执行反卷积操作后映射至原所述视差图上，提取对应的所述像素级语义信息。

17、作为本发明的一种优选方案，对所述像素级语义信息进行动态特征检测获取动态场景下物体位姿估计数据，包括：

18、将所述像素级语义信息输入全卷积神经网络获取图像特征，根据所述图像特征将对应的所述视差图分成s×s个格子，对每个所述格子预测b个边框及置信值，所述置信值表示边框中包含目标物体的概率以及边框内对应目标的匹配度；

19、对每个所述视差图分成的格子进行目标预测，产生s×s×b个窗口，计算每个窗口对应的极大值，通过搜索局部最大值去除置信值偏低的预测边框，获取置信值高的预测边框，对所述预测边框内的目标进行动态检测，获取物体的位姿估计数据。

20、作为本发明的一种优选方案，将所述位姿估计数据进行运动一致性检测获取图像中的动态特征点，包括：

21、对所述位姿估计数据采用特征提取器darknet提取特征序列数据，组成特征点集u1，对所述特征点集u1通过矩阵变换获取对应的齐次坐标；

22、对所示齐次坐标计算所在极线的基础矩阵，计算所述基础矩阵与像素平面的距离；

23、对所述特征序列数据通过分类损失函数判断所述位姿估计数据的运动损失，所述分类损失函数表达式为：

24、sx,y＝bw(σ(tx)+cx)+bh(σ(ty)+cy)

25、其中，bw、bh表示姿估计数据对应预测边框的边长，tx、ty表示目标边框的边长，cx、cy表示格子的坐标偏移量，σ(tx)、σ(ty)表示对目标边框边长的损失预测；

26、根据所述分类损失函数设置距离阈值，当所述基础矩阵与像素平面的距离小于距离阈值时，将所述基础矩阵判定为动态特征点。

27、作为本发明的一种优选方案，对所述动态特征点采用点云聚类后获取点云拟合平面，包括：

28、将所述动态特征点作为原始点集合q，在所述集合q中随机选取不共线的三点{a(x1,y1,z1),b(x2,y2,z2),c(x3,y3,z3)}构建待拟合平面，获取所述待拟合平面的点云平面方程；

29、计算所述集合q中所有点至所述待拟合平面的距离均值，将所述距离均值作为阈值，再计算所有采样点到所述待拟合平面的距离，将所述距离小于所述阈值的点加入所述集合q中；

30、统计所述待拟合平面内点的个数，若所述个数大于k则任务所述拟合平面有效，计算所述拟合平面内所有点的平均值，并重新拟合平面，选择所述待拟合平面内点的个数最多的平面作为所需提取的点云拟合平面。

31、作为本发明的一种优选方案，对所述点云拟合平面通过孪生网络进行相似度匹配构建点云子地图，包括：

32、采用孪生网络对所述点云拟合平面进行相似度匹配，通过所述相似度匹配获取图像a和图像b，计算所述图像a和图像b之间的位姿转换；

33、对所述图像a采集图像序列设为集合g，对所述图像b采集图像序列设为集合p，设定图像阈值m，在集合g中等间隔的取出图像设其为ga，在集合p中等间隔的取出图像设其为pb；

34、通过所述孪生网络比较所述ga、pb图像中的图像序列，若相似度超过所述图像阈值m，则记录匹配对和相似度；若相似度未超过所述图像阈值m，则不记录；

35、对所述匹配对根据相似度进行排序，从高到低提取所述匹配对的两张图像的特征点进行匹配，获取所述匹配对之间的转移矩阵；

36、根据所述转移矩阵对相邻所述匹配对间的位姿转换进行拼接，构建点云子地图。

37、作为本发明的一种优选方案，根据所述点云子地图获取点云语义信息的路径规划信息，根据所述路径规划信息获取对应子地图的关键帧图像，包括：

38、将所述点云子地图栅格化获取节点集合s,定义起始节点vs、目标节点vt,以所述起始节点vs为起点，搜索与其相邻的节点，并将其添加至集合u中，从所述集合u中选出与起点距离最短的节点vh，将所述节点vh作为当前节点；

39、在搜索过程中，搜索与当前节点vh相邻且不在集合s中的节点vn，将所述节点vn加入到集合u中，对于集合u中的每个节点，计算其到所述起始节点vs的距离dsm以及到所述当前节点vh的距离dsn；

40、比较所述集合u中每个节点到所述起始节点vs的距离dsm与所述集合u中每个节点到所述当前节点vh的距离dsn之间的大小，更新所述目标节点vt，重复执行以上过程，直至当前节点为目标节点vt为止；

41、根据所述起始节点至所述当前节点之间所有节点信息实现路径规划，获取对应子地图的关键帧图像。

42、作为本发明的一种优选方案，对所述关键帧图像进行分割像素的空间坐标转换，获取三维坐标，构建三维语义点云地图，包括：

43、将所述关键帧图像以灰度值的方式记录每个像素所对应的深度值，根据所述深度值将所述关键帧图像进行实例分割，将所述实例分割后的所得图像中的像素点投影到三维空间中，获取每个像素点对应的三维坐标；

44、对所述关键帧图像采用视觉同步与地图构建算法slam创建全局点云地图，通过所述三维坐标提取当前所述关键帧图像对应的位姿信息，将所述位姿信息累加到所述全局点云地图中，构建全面的三维语义点云地图。

45、本发明与现有技术相比较具有如下有益效果：

46、本发明通过elas算法和deeppruner网络分别获取视差图，并使用语义分割网络获取图像的像素级语义信息,在使用deeppruner获取的视差填补elas结果图的空洞时，根据语义分割的结果，将一些纹理较强的物体一并取代，能够在构建语义点云地图时构建出更加平滑美观的地图；

47、采用yolov3网络检测图像中的可移动物体,结合卷积神经网络检测图像中的动态特征点，通过运动一致性对检测到的动态特征进行追踪，采用分治拼接法来构建整个大型场景地图，在构建室外场景地图时，在不同的地点步采集环境的图像序列构建子地图，基于孪生网络对图像序列的相似度匹配进行检测，并且根据候选匹配对计算两子地图之间的相对位姿，最终将子地图合并成整张地图，提高了语义地图的平滑度以及构建精度，能够应对复杂的动态场景，提升了语义地图导航的感知能力以及理解能力。