一种基于区域相关性建模的三维点云模型分类方法及系统

1.本发明属于三维点云分类技术领域，具体涉及一种基于区域相关性建模的三维点云模型分类方法及系统。


背景技术：

2.点云是一种用于描述物体三维空间拓扑分布和表面形态的数据形式，通过对物体表面采样的离散点的三维坐标的集合表示，在自动驾驶、机器人、遥感、医疗等领域得到了广泛应用。点云获取方式从技术实现上可以分为主动式的飞行时间法、结构光投影法，以及被动式的运动恢复结构、双目立体成像、多视角成像等。采用图像作为物体的信息传感单元，通过图像处理技术可以提取利用像素位置表达的物体高度信息，同时结合空间几何结构，可计算出对应像素点位置的三维坐标。因此，点云数据具有无序性(即改变点的顺序，点云表示的信息不改变)和几何不变性(对点云进行平移、缩放、旋转等尺度变换，点云表示的信息不改变)。物体的分类与识别是计算机视觉领域的经典问题，三维物体的分类和识别是三维视觉引导的机械臂抓取、无人驾驶、数字化智能医疗等领域需要解决的基础问题。
3.三维点云模型分类方法可以分为基于人工设计的特征提取，以及基于深度学习的方法。利用点云的微分几何特征，设计体现点云局部和全局的特征描述子，如快速点特征直方图、点对直方图、曲率、局部特征描述子等，在点云分类中有广泛的应用。但受限人工设计特征的局限性，无法体现高层语义信息，无法充分提取反映点云局部和全局分布的特征。深度学习技术通过构建合适的网络框架，在充分的数据集训练的基础上，可以自学习到和物体标签相对应的高层语义特征，可以有效提高特征提取能力，提高分类效果。在2d图像的识别与分类、分割等领域已有广泛的研究和应用。对于三维点云数据而言，由于点云的无序性、非结构化等特点，传统的卷积神经网络无法适用，为此研究者们也提出了不同的方法和模型，以应对这些挑战。如基于多视图的mvcnn，从三维模型的不同视角获取二维渲染图片，将其作为原始的训练数据，使用经典、成熟的二维卷积神经网络进行训练，并用训练出的模型对三维模型进行识别和分类；基于体素的octnet，使用八叉树对空间进行划分，将点云下采样为稀疏的体素数据，进行卷积、池化等操作，从而实现识别和分类；基于逐点处理的pointnet，使用多层感知器对将每个点维度映射到高维，并使用最大值池化进行特征提取，降维后使用分类器进行分类；基于pointnet方法改进的pointnet++，在点云内选取若干邻域，在每个邻域内使用pointnet进行特征提取，并进行分类；基于空间变换的splatnet，将欧式空间的点云变换到高维空间，将点的特征变换到高维空间的规则的晶格顶点上，使用哈希表做索引进行卷积，从而实现分类；基于邻域几何关系的rs-cnn，将点云划分为若干邻域，计算邻域内点之间的距离，利用多层感知器将其映射到高维，并使用对称函数对特征进行聚合，进行识别和分类。
4.点云分类的关键是提取点云中体现物体分类信息的局部和全局特征，上述的pointnet采用mlp提取高维度的特征向量，并采用最大池化方法提取全局的特征，没有充分反映物体局部区域的特征。除了点云本身不同尺度的局部和全局的特征外，点云模型中不
同区域之间的相互关系也是分类的重要特征，提供了和类型相关的高层语义信息，为此，亟需一种能考虑局部特征以及不同区域之间相关性的分类方法。


技术实现要素：

5.针对现有技术中存在的上述问题，本发明提供一种基于区域相关性建模的三维点云模型分类方法及系统，利用卷积神经网络学习区域间的相互关系，并进行分类，可以获得点云中区域间相关性特征，提高分类准确性。
6.本发明采用以下技术方案：
7.一种基于区域相关性建模的三维点云模型分类方法，包括步骤：
8.s1、采用等投影面积法，将三维点云模型投影至二维平面，并划分得到n
×
m个区域，n表示设定方位角方向上的区域划分个数，m表示相应极角方向上的区域划分个数；
9.s2、分别对每个区域进行特征提取，以分别得到每个区域的m维特征，并采用n
×m×
m维特征表示三维点云模型；
10.s3、将n
×m×
m维特征作为输入，利用卷积神经网络学习得到各区域间的相关性特征；
11.s4、卷积神经网络基于相关性特征对三维点云模型进行分类。
12.作为优选方案，步骤s1中，包括步骤：
13.s1.1、读取并显示三维点云模型；
14.s1.2、计算三维点云模型质心及其主方向；
15.s1.3、基于质心以及主方向，对空间坐标系以及三维点云模型进行位姿矫正，以使三维点云模型位于空间坐标系的xoy平面之上；
16.s1.4、以位姿矫正后的空间坐标系坐标原点为中心构建球面坐标系，并对整个球形表面进行等面积划分，以划分得到n
×
m个区域。
17.作为优选方案，步骤s1.2中，具体采用主成分分析法计算三维点云模型主方向。
18.作为优选方案，步骤s1.3中，位姿矫正包括：
19.将空间坐标系原点移至质心位置处；
20.基于主方向对三维点云模型进行位姿矫正，使三维点云模型位于空间坐标系的xoy平面之上。
21.作为优选方案，步骤s1.4中：
22.在设定方位角的方向上进行方位角间隔为个数为n的均匀划分，则极角θ以及极角间隔δθ满足：
23.c＝(θ
i+1-θi)(sinθ
i+1
+sinθi)，
24.其中，θ
i+1
、θi分别表示第i+1和第i个极角的大小，极角间隔δθ＝θ
i+1-θi，i+1表示在球面坐标系下方位角为范围内、在极角θ方向上划分的区域个数m，c表示一个常数。
25.作为优选方案，步骤s1与步骤s2之间还包括步骤：
26.统计每个区域内的点数量，对于点数量在预设范围内的区域，将该区域内的点数量增至预设范围的上限值，对于点数量在预设范围以下的区域则直接丢弃。
27.作为优选方案，步骤s2中，包括步骤：
28.s2.1、采用pointnet在shapenet数据集上进行训练，以训练得到模型参数；
29.s2.2、用训练好的模型参数分别对每个区域进行特征提取，以分别得到每个区域的m维特征；
30.s2.3、采用n
×m×
m维特征表示三维点云模型。
31.作为优选方案，步骤s2.1中，训练过程包括以下步骤：
32.s2.1.1、pointnet在shapenet数据集中，不可重复的随机采样100个点，表示为100
×
3维特征；
33.s2.1.2、使用共享权重的mlp对每个点进行处理，将其特征映射至1024维，得到100
×
1024维特征；
34.s2.1.3、使用最大值池化提取出1024维特征，得到1
×
1024维特征；
35.s2.1.4、通过全连接层，将1
×
1024维特征输入分类器，分类器输出16个预测结果，并将16个预测结果分为16个类；
36.s2.1.5、得到训练完成的模型参数。
37.作为优选方案，n＝6，m＝6，m＝1024。
38.还提供，一种基于区域相关性建模的三维点云模型分类系统，基于上述的分类方法，包括依次联接的区域划分模块、特征提取模块、卷积神经网络模块，卷积神经网络模块包括相联的特征学习单元、分类单元，特征学习单元与特征提取模块联接；
39.区域划分模块，用于采用等投影面积法，将三维点云模型投影至二维平面，并划分得到n
×
m个区域，n表示设定方位角方向上的区域划分个数，m表示相应极角方向上的区域划分个数；
40.特征提取模块，用于分别对每个区域进行特征提取，以分别得到每个区域的m维特征，并采用n
×m×
m维特征表示三维点云模型；
41.特征学习单元，用于将n
×m×
m维特征作为输入，利用卷积神经网络学习得到各区域间的相关性特征；
42.分类单元，用于基于相关性特征对三维点云模型进行分类。
43.本发明的有益效果是：
44.本发明使用pointnet训练的模型参数对三维点云模型进行特征提取，可以得到点云数据较深层次的特征；
45.本发明通过将三维点云模型划分为n
×
m个区域，并利用卷积神经网络学习区域间的相互关系，并进行分类，可以获得点云中区域间相关性特征，提高分类准确性。
46.本发明将非结构化的点云数据通过在球面坐标系下的等表面积划分，并结合点云的全局特征提取方法，转换为结构化的图像数据表达形式，利用卷积神经网络在结构化图像数据方面良好的特征提取技术，对三维点云模型中不同区域之间的相关性进行建模，由于本方法融合了子区域的局部特征，以及不同子区域之间的相关性特征，能够有效提高三维点云模型的分类精度。
附图说明
47.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
48.图1是本发明所述一种基于区域相关性建模的三维点云模型分类方法的流程图；
49.图2是本发明所述一种基于区域相关性建模的三维点云模型分类方法的实现步骤示意图；
50.图3是本发明所述一种基于区域相关性建模的三维点云模型分类方法中将三维点云模型投影至二维平面的示意图；
51.图4是本发明所述一种基于区域相关性建模的三维点云模型分类系统的结构示意图。
具体实施方式
52.以下通过特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
53.参照图1、2，本实施例提供一种基于区域相关性建模的三维点云模型分类方法，具体针对牙齿三维点云模型进行分类，包括步骤：
54.s1、采用等投影面积法，将牙齿三维点云模型投影至二维平面，并划分得到n
×
m个区域，n表示设定方位角方向上的区域划分个数，m表示相应极角方向上的区域划分个数；
55.s2、分别对每个区域进行特征提取，以分别得到每个区域的m维特征，并采用n
×m×
m维特征表示牙齿三维点云模型；
56.s3、将n
×m×
m维特征作为输入，利用卷积神经网络cnn学习得到各区域间的相关性特征；
57.s4、卷积神经网络基于相关性特征对牙齿三维点云模型进行分类。
58.具体地：
59.步骤s1中，包括步骤：
60.s1.1、读取并显示牙齿三维点云模型；
61.s1.2、计算牙齿三维点云模型质心及其主方向；
62.s1.3、基于质心以及主方向，对空间坐标系以及牙齿三维点云模型进行位姿矫正，以使牙齿三维点云模型的牙合面平行于空间坐标系的xoy面，垂直于z轴；
63.s1.4、以位姿矫正后的空间坐标系坐标原点为中心构建球面坐标系，并对整个球形表面进行等面积划分，以划分得到n
×
m个区域。使用等投影面积法进行区域划分是为保证对于近似球面或半球面的点云数据，划分出的每个区域面积相同，即在密度均匀的情况下，点的数量近似。
64.步骤s1.2中，具体采用主成分分析法计算牙齿三维点云模型主方向，即计算其协方差的特征向量方向，进一步，步骤s1.3中，按照该方向对牙齿三维点云模型进行位姿矫正，以使牙齿三维点云模型的牙合面平行于空间坐标系的xoy面，垂直于z轴。
65.步骤s1.3中，位姿矫正还包括：将空间坐标系原点移至质心位置处。
66.参照图3，步骤s1.4中：
67.在设定方位角的方向上进行方位角间隔为个数为n的均匀划分，则极角θ以及极角间隔δθ满足：
68.c＝(θ
i+1-θi)(sinθ
i+1
+sinθi)，
69.其中，θ
i+1
、θi分别表示第i+1和第i个极角的大小，极角间隔δθ＝θ
i+1-θi，i+1表示在球面坐标系下方位角为范围内、在极角θ方向上划分的区域个数m，c表示一个常数。
70.本实施例中n＝6、m＝6。
71.步骤s1与步骤s2之间还包括步骤：
72.统计每个区域内的点数量，对于点数量在预设范围内的区域，将该区域内的点数量增至预设范围的上限值，对于点数量在预设范围以下的区域则直接丢弃。
73.本实施例中，预设范围为50个～100个，对于点数量在50到100之间的区域进行随机插值，将点的数量增至100，对于点数量在50以下的区域则直接丢弃。
74.步骤s2中，包括步骤：
75.s2.1、采用pointnet在shapenet数据集上进行训练，以训练得到模型参数；
76.具体地：shapenet数据集是一个有丰富标注的、大规模的3d图像公开数据集，共有超过16000个样本，每个样本点的数量在2500左右，包含16个类别。在使用pointnet对shapenet数据集进行训练时，具体过程为：
77.s2.1.1、pointnet在shapenet数据集中，不可重复的随机采样100个点，表示为100
×
3维特征；
78.s2.1.2、使用共享权重的mlp对每个点进行处理，将其特征映射至1024维，得到100
×
1024维特征；
79.s2.1.3、使用最大值池化提取出1024维特征，得到1
×
1024维特征；
80.s2.1.4、通过全连接层，将1
×
1024维特征输入分类器，分类器输出16个预测结果，并将16个预测结果分为16个类；
81.s2.1.5、得到训练完成的模型参数，即本实施例中m＝1024。
82.训练时参数具体设置为：
83.采样点数量设置为100，训练100轮，学习率为0.001，最终在shapenet数据集中测试准确率为96.5％。
84.s2.2、用训练好的模型参数分别对每个区域进行特征提取，以分别得到每个区域的1024维特征。
85.s2.3、采用6
×6×
1024维特征表示牙齿三维点云模型。
86.步骤s3中，使用卷积神经网络算法对三维模型进行分类，具体为：
87.将每一类表示三维模型的特征数据按照7：3分为训练集和测试集，将训练集数据输入至卷积神经网络中，并用测试集数据对其分类准确率进行测试，其中，三维模型的特征数据是人工采集并通过专家进行分类的牙齿点云数据集，包含上、下第一、二磨牙四个类别，根据神经网络算法需要将其分为训练集和测试集。
88.其中每一个牙齿三维点云模型特征数据的输入维度为6
×6×
1024。
89.训练过程使用adam作为优化器，交叉熵损失作为损失函数，学习率设置为0.001，训练50轮，
90.卷积神经网络使用relu作为激活函数，softmax作为分类器，
91.卷积神经网络详细设计如下表所示：
[0092][0093][0094]
最终通过测试集测试识别准确率为84.3％。
[0095]
由于卷积神经网络采用卷积核扫描图像上的不同位置，经过激活函数非线性作用和池化，并经过多层卷积后，所得到的特征向量体现了图像在不同尺度下的信息，即反映了点云数据的空间相关性信息。
[0096]
可知，本发明将非结构化的点云数据通过在球面坐标系下的等表面积划分，并结合点云的全局特征提取方法，转换为结构化的图像数据表达形式，利用卷积神经网络在结构化图像数据方面良好的特征提取技术，对三维点云模型中不同区域之间的相关性进行建模，由于本方法融合了子区域的局部特征，以及不同子区域之间的相关性特征，能够有效提高三维点云模型的分类精度。
[0097]
实施例二：
[0098]
参照图4所示，本实施例提供一种基于区域相关性建模的三维点云模型分类系统，基于上述实施例一所述的分类方法，包括依次联接的区域划分模块、特征提取模块、卷积神经网络模块，卷积神经网络模块包括相联的特征学习单元、分类单元，特征学习单元与特征提取模块联接；
[0099]
区域划分模块，用于采用等投影面积法，将三维点云模型投影至二维平面，并划分得到n
×
m个区域，n表示设定方位角方向上的区域划分个数，m表示相应极角方向上的区域划分个数；
[0100]
特征提取模块，用于分别对每个区域进行特征提取，以分别得到每个区域的m维特征，并采用n
×m×
m维特征表示三维点云模型；
[0101]
特征学习单元，用于将n
×m×
m维特征作为输入，利用卷积神经网络学习得到各区域间的相关性特征；
[0102]
分类单元，用于基于相关性特征对三维点云模型进行分类。
[0103]
需要说明的是，本实施例提供的一种基于区域相关性建模的三维点云模型分类系统，与实施例一类似，在此不多做赘述。
[0104]
以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的保护范围内。