一种基于超体素邻近聚类的点云实例分割方法

本发明涉及三维点云处理，尤其涉及一种基于超体素邻近聚类的点云实例分割方法。

背景技术：

1、数字孪生是基于数字化的方式为目标场景内所有产品创建虚拟模型，并模拟其在物理环境下行为的技术。融合了虚实结合、多源数据分析、决策迭代优化等算法，达成缩短产品研发周期、降低成本的目标。为实现上述目标，助力数字孪生技术在制造业中的落地应用，应保证产品间相对位置关系的虚实一致性。

2、为提高相对位置关系的虚实一致性，借助于成熟的三维扫描技术与设备，通过设备对目标场景的三维点云获取，并基于多源点云配准技术提高产品间相对位置关系的虚实一致性。然而，由于车间内产品的种类繁杂，同类别产品的实例数量多，各实例的位置误差不一致，导致通过场景到场景的直接配准无法有效解决相对位置的虚实一致性问题，因此，对同类别产品的实例分割尤为重要，如对工业机器人群的单机器人实例分割。车间环境的复杂为点云实例分割带来了多种技术难题。首先，现有技术的参数选择难以把控，面向多样化的场景算法鲁棒性较差；其次，基于数据驱动的方法虽然解决了参数选择难的问题，但是其需要大量的数据作为支撑；最后，三维点云自身数据量大、密度不一致造成了处理效率与精度低等问题，上述三类技术问题为车间工业机器人群的实例分割带来了巨大困难。

技术实现思路

1、本发明的目的在于提出一种高精度、高效率的实例分割方法。

2、为达到上述目的，本发明提出一种基于超体素邻近聚类的点云实例分割方法，包括如下步骤：

3、步骤1：获取目标场景信息，并对所述场景信息进行预处理，得到无噪声的三维点云信息；

4、步骤2：构建三维点云布料优化模型，将所述三维点云信息分为地面点数据与非地面点数据，实现所述地面点数据；

5、步骤3：基于三维点云特征学习技术，完成所述目标场景三维点云粗分割；

6、步骤4：将粗分割后目标种类的三维点云信息进行体素化，构建超体素，形成超体素云；

7、步骤5：提取所述超体素云的全局属性，对所述超体素云进行分割，实现所述目标种类的点云实例分割。

8、进一步的，步骤1中利用激光雷达或深度相机类三维点云获取设备对所述目标场景场景进行扫描，获取所述车间场景信息，并通过下采样技术和滤波技术完成所述三维点云的预处理，所述下采样方法具体如下：

9、设输入所述三维点云为p＝{pi|1≤i≤n}，其中，n为所述三维点云中的点的个数；

10、从所述三维点云随机选取一点p0，得到采样点集合s＝{p0}；

11、计算其余各点与点p0间的距离，并从中选择最远距离对应的点作为p1，更新采样点集合s＝{p0,p1}；

12、计算所述三维点云中的其余各点与所述采样点集合s内各点的距离，并选取与所述采样点最近距离代表与所述采样点集合的距离，从中选择最大距离对应的点作为p2，更新采样点集合s＝{p0,p1,p2}。重复上述步骤，直至采样点集合中的点的个数为n'。

13、进一步的，所述步骤2的具体步骤如下：

14、2.1对所述目标场景的三维点云进行翻转，获取目标种类的三维点云倒置版本；

15、2.2将传统布料模拟算法的点云矩阵、布料分辨率、坡度拟合因子及布料硬度参数作为优化算法输入量，实现参数的智能寻优；

16、2.3基于优化后参数，确定布料节点的位置并生成近似地面的布料；

17、2.4比较所述目标场景的三维点云中所有点到所述布料曲线的距离，即可实现地面数据点的提取。

18、进一步的，所述步骤3的具体步骤如下：

19、3.1对所述目标场景点云进行语义标注并得到标注文件，所述标注文件和所述目标场景的三维点云数据构成后续模型学习所需的粗分割数据集；

20、3.2计算所述三维点云的整体特征，包括不同方向上的最大值、最小值、平均值及方差值；

21、3.3计算所述三维点云的协方差矩阵，基于所述协方差矩阵，获取特征值及其特征向量，实现所述目标场景三维点云局部特征的提取；

22、3.4利用机器学习分类算法对不同类别三维点云特征进行学习并保存算法参数；

23、3.5使用所述保存的算法参数对所述目标场景的三维点云进行推理，输入后续扫描三维点云，输出所述目标场景中不同语义产品的粗分割结果。

24、进一步的，所述步骤4基于八叉树算法将所述目标种类的三维点云进行逐步体素化，所述体素化过程中，体素大小达到目标分辨率时停止计算，通过判断所述体素间的连通性，构建超体素，具体计算方法如下：

25、4.1计算所述目标场景的三维点云在x、y、z方向上的最大值与最小值，定义所述体素分辨率大小，获得定义分辨率；

26、4.2构建所述目标场景三维点云的最小包围盒，并等分为八个子立方体；

27、4.3分别判断所述子立方体内是否存在点云，若不存在则删除所述子立方体；若存在，则对所述子立方体继续等分为新的八个子立方体；

28、4.4重复上述过程，直至所述体素分辨率小于等于所述定义分辨率；

29、4.5计算两两体素块间的距离，对所述体素块进行初步聚类，构建所述三维点云的超体素，形成超体素云。

30、进一步的，所述步骤5中，提取所述超体素云的全局属性，形成具有宏观结构的超体素云，并基于聚类算法对所述超体素云进行分割，实现所述目标种类的点云实例分割，具体步骤为：

31、5.1计算每个超体素块的中心，对所述超体素云的全局特征进行提取；

32、5.2计算所述超体素云的全局特征间距离矩阵，并将所述定义分辨率作为先验知识，基于所述距离矩阵对不同超体素的实例进行判断；

33、5.3基于判断结果，对不同实例进行上采样，实现在目标场景三维点云中目标种类的实例分割任务。

34、与现有技术相比，本发明的优势之处在于：

35、本发明基于超体素邻近聚类的点云实例分割方法采用分步式三维点云实例分割方法，融合了地面识别、特征学习及体素构建，在有效提高分割效率的同时，大幅度提升点云实例分割的准确性。

技术特征：

1.一种基于超体素邻近聚类的点云实例分割方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于超体素邻近聚类的点云实例分割方法，其特征在于，步骤1中利用激光雷达或深度相机类三维点云获取设备对所述目标场景场景进行扫描，获取所述车间场景信息，并通过下采样技术和滤波技术完成所述三维点云的预处理，所述下采样方法具体如下：

3.根据权利要求2所述的基于超体素邻近聚类的点云实例分割方法，其特征在于，所述步骤2的具体步骤如下：

4.根据权利要求3所述的基于超体素邻近聚类的点云实例分割方法，其特征在于，所述步骤3的具体步骤如下：

5.根据权利要求4所述的基于超体素邻近聚类的点云实例分割方法，其特征在于，所述步骤4基于八叉树算法将所述目标种类的三维点云进行逐步体素化，所述体素化过程中，体素大小达到目标分辨率时停止计算，通过判断所述体素间的连通性，构建超体素，具体计算方法如下：

6.根据权利要求5所述的基于超体素邻近聚类的点云实例分割方法，其特征在于，所述步骤5中，提取所述超体素云的全局属性，形成具有宏观结构的超体素云，并基于聚类算法对所述超体素云进行分割，实现所述目标种类的点云实例分割，具体步骤为：

技术总结
本发明提出一种基于超体素邻近聚类的点云实例分割方法，首先采集目标场景的三维点云，通过预处理得到无噪声的三维点云；采用布料模拟优化算法对三维点云地面点进行分割，将目标场景分为地面场景与非地面场景；基于三维点云特征学习技术，实现目标场景的粗分割；基于八叉树搜索技术，实现点云的体素化，并在此基础上，对体素进行初聚类，实现点云到超体素云的转换；提取超体素云的全局特征，计算全局特征间的距离矩阵，利用体素分辨率，判断超体素间的连通性，以实现目标种类三维点云的实例分割，本发明采用分步式三维点云实例分割方法，融合了地面识别、特征学习及体素构建，在保证分割效率的同时，大幅度提升点云实例分割的准确性。

技术研发人员：刘银华,李彦征,王雪琪
受保护的技术使用者：上海理工大学
技术研发日：
技术公布日：2024/2/25