基于无人系统三维感知的环境模型重建方法、系统及设备

所属的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器（ram）、内存、只读存储器（rom）、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

背景技术：

1、随着模式识别与人工智能的发展，在人类生活中，对于智能机器人的功能性要求也越来越精细。环境感知和环境重建是机器人、自动驾驶等无人系统进行自主导航和决策的重要环节。在与环境进行频繁交互的过程中，视觉解析程度需要更加精细。这不只是图像的检测与识别，而是三维空间上的感知与认知。与图像相比，点云数据可以提供更详细的三维空间信息并且不受旋转、光照条件的影响，但三维点云数据解析的挑战性更大，计算量也会程指数增长。另外，从激光雷达等设备获取的三维点云数据本身具有稀疏性和非规则性，在一些小目标上扫描到的有效数据会更少，并且由于扫描角度或者物体遮挡等原因，造成得到的物体点云数据是缺失、不完整的。由于缺乏完整的传感信息，从缺失的点云数据中，想准确获取感知结果，并精确实现三维重建，这本身也成了“病态”问题。

技术实现思路

1、为了解决现有技术中的上述问题，即现有的模型重建方法基于图像的方法容易受到视角、光照条件的影响，采用点云进行重建的方法计算量过大或容易受到遮挡等因素导致的缺乏完整的传感信息的问题，本发明提供了一种基于无人系统三维感知的环境模型重建方法，所述方法包括：

2、步骤s1，通过设置于无人系统的激光雷达依据设定路径获取待处理三维点云数据；

3、步骤s2，基于所述待处理三维点云数据进行视觉语义解析获得语义解析结果；

4、步骤s3，基于所述语义解析结果，选出待处理三维点云数据中的设定目标的点云；

5、步骤s4，基于所述设定目标的点云进行离群点去除，获得关键点云；

6、步骤s5，基于所述关键点云，通过语义监督下的点云填充网络进行稠密化和补全获得填充点云，将填充点云补全至关键点云中获得补全三维点云数据；

7、步骤s6，基于所述补全三维点云数据，通过场景重建算法构建三维环境模型。

8、在一些优选的实施方式中，所述步骤s2，具体包括：

9、基于所述待处理三维点云数据，通过视觉语义解析网络计算语义解析结果：

10、 ；

11、其中，表示待处理三维点云数据，表示待处理三维点云数据中的第个数据点在x轴、y轴和z轴上的坐标值，表示待处理三维点云数据的数据点总数，表示视觉语义解析网络，表示视觉语义解析网络的权重，表示第c类中的第m个目标的点云，表示三维实数集，视觉语义解析网络的输出为待处理三维点云数据中每一个数据点的类别信息作为语义解析结果。

12、通过本步骤对待处理三维点云数据进行语义解析的方法，有利于后续步骤中有针对性的对感兴趣的目标进行锁定，可以初步筛除环境背景、无关目标的干扰，结合感知区域的目标类别信息可以为接下来的点云补全提供目标表观和形态的先验知识。

13、在一些优选的实施方式中，所述步骤s5，具体包括：

14、基于所述关键点云，对于第c类中的第m个目标，通过语义监督下的点云填充网络根据语义监督信息和关键点云，学习构成所述第c类语义目标的特征，获得填充点云：

15、；

16、将填充点云补全至关键点云中，获得补全三维点云数据。

17、通过本步骤对关键点云的稠密化和填充，即只对设定类别的点云数据进行稠密化处理和填充，减少了大量的计算量，并且通过语义监督的方式进行填充使得点云填充网络减少了对外部信息的依赖，只学习数据或者特征的内部相关性，从而使填充更可控，填充后的补全点云数据质量更高，进一步提高了模型重建的精度。

18、在一些优选的实施方式中，所述语义监督下的点云填充网络，包括填充网络和审核网络，并通过对抗训练和多重审核的方式进行网络的优化：

19、步骤a1，获取三维点云训练集；

20、步骤a2，基于所述三维点云训练集，通过所述填充网络获取训练集填充点云；

21、步骤a3，基于所述训练集填充点云，通过所述审核网络获取训练集填充点云的评价值；

22、步骤a4，基于所述训练集填充点云的评价值，计算填充损失函数；

23、步骤a5，通过随机梯度算法，重复步骤a2至步骤a4直至所述填充损失函数低于设定的阈值，获得训练好的点云填充网络。

24、本步骤中，通过对抗训练和多重审核的方式优化网络参数，能够提高最终生成的填充点云的逼真程度，获得更精确的补全三维点云数据。

25、在一些优选的实施方式中，所述填充损失函数包括：

26、；

27、其中，表示产生的填充点云的真假的损失，表示填充点云归属类别的准确性损失，表示加入填充点云后的点云数据与目标类别点云数据的结构相似性损失，和表示平衡权重；

28、所述产生的填充点云的真假的损失为：

29、；

30、其中，表示向审核网络输入三维点云训练集时审核网络的输出，表示向审核网络输入由填充网络生成的点云时审核网络的输出，表示期望；

31、所述填充点云归属类别的准确性损失为：

32、；

33、其中，表示通过填充网络根据三维点云训练集生成的点云中第个数据点，表示交叉熵损失函数，表示的预测置信度，表示的类别标签；

34、所述加入填充点云后的点云与目标类别点云的结构相似性损失为：

35、；

36、表示将输入的三维点云训练集映射到二维特征空间，表示将输入的三维点云训练集和通过填充网络生成的点云共同映射到二维特征空间，表示两个输入特征的结构相似性指标，表示均值，表示将输入的三维点云训练集映射到二维特征空间后特征的均值，表示将输入的三维点云训练集和通过填充网络生成的点云共同映射到二维特征空间后特征的均值，表示方差，表示将输入的三维点云训练集映射到二维特征空间后特征的方差，表示将输入的三维点云训练集和通过填充网络生成的点云共同映射到二维特征空间后特征的方差，和表示常数。

37、在一些优选的实施方式中，在所述步骤s6之前，还包括判断补全三维点云数据是否合格的步骤，包括：

38、步骤b1，基于所述补全三维点云数据，计算分辨率和完整度；

39、步骤b2，分别判断所述分辨率和完整度是否达到设定的分辨率阈值和完整度阈值，若未同时达到设定的分辨率阈值和完整度阈值，更新待处理三维点云数据回到步骤s2，直至获得的分辨率和完整度达到设定的分辨率阈值和完整度阈值。

40、在一些优选的实施方式中，所述所述更新待处理三维点云数据回到步骤s2，具体包括：

41、将上一轮次的所述填充点云和上一轮次的待处理三维点云数据的并集作为当前轮次的待处理三维点云数据：

42、；

43、其中，表示上一轮次的所有类所有目标的填充点云，表示上一轮次的待处理三维点云数据，表示当前轮次的待处理三维点云数据，表示迭代轮次。

44、本步骤本质上是在获得丰富的点云后进一步进行视觉语义解析和点云填充，通过迭代的方式矫正判别分类信息和空间细节信息，最终获得设定目标的精细感知结果，更进一步提高了后续三维模型的重建精度和空间细节。

45、本发明的另一方面，公开了一种基于无人系统三维感知的环境模型重建系统，所述系统包括：

46、点云获取单元，配置为通过设置于无人系统的激光雷达依据设定路径获取待处理三维点云数据；

47、视觉语义解析单元，配置为基于所述待处理三维点云数据进行视觉语义解析获得语义解析结果；

48、目标划分单元，配置为基于所述语义解析结果，选出待处理三维点云数据中的设定目标的点云；

49、目标集去噪单元，配置为基于所述设定目标的点云进行离群点去除，获得关键点云；

50、填充点云获取单元，配置为基于所述关键点云，通过语义监督下的点云填充网络进行稠密化和补全获得填充点云，将填充点云补全至关键点云中获得补全三维点云数据；

51、三维模型构建单元，配置为基于所述补全三维点云数据，通过场景重建算法构建三维环境模型。

52、在一些优选的实施方式中，所述系统还包括迭代更新单元，包括：

53、基于所述补全三维点云数据，计算分辨率和完整度；

54、分别判断所述分辨率和完整度是否达到设定的分辨率阈值和完整度阈值，若未同时达到设定的分辨率阈值和完整度阈值，更新待处理三维点云数据回到视觉语义解析单元，直至获得的分辨率和完整度达到设定的分辨率阈值和完整度阈值。

55、本发明的第三方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于无人系统三维感知的环境模型重建方法。

56、本发明的有益效果：

57、（1）本发明通过对三维点云数据进行视觉语义解析来获得三维场景的语义解析结果，确认点云数据的目标类别，锁定感兴趣目标。利用视觉语义解析网络对场景的三维点云数据进行前期的语义解析，可以初步筛除环境背景、无关目标等干扰，结合感知区域的目标类别信息可以为接下来的点云补全提供目标表观和形态的先验知识，最终提高模型重建的精度。

58、（2）本发明通过利用语义监督下的点云填充网络对感兴趣目标的稀疏点云数据进行稠密化处理和补全，从而获得三维场景中感兴趣区域的丰富点云。这里只对筛选后的固定类别的点云数据进行稠密化处理和补全，减少了大量的计算。语义监督下的填充网络减少了对外部信息的依赖，而是学习数据或者特征的内部相关性，从而能够填充更可控、质量更高的点云数据，并且填充后的完整点云数据会更有助于感兴趣区域的准确感知。

59、（3）获得丰富点云后进一步进行视觉语义解析和点云填充，迭代矫正判别分类信息和空间细节信息，最终获得感兴趣区域的精细感知结果，从而引导三维场景的语义化建模。