一种牙颌三维模型分割方法和系统

1.本发明属于计算机视觉技术领域，尤其涉及一种牙颌三维模型分割方法和系统。


背景技术：

2.计算机辅助设计(cad)现已广泛应用于齿科领域，如正畸诊断、牙体修复、牙齿重排等。对牙颌三维模型的分割是齿科cad的基础，精确的牙齿分割结果对后续分析与设计起着关键作用。目前牙颌三维模型分割算法可根据是否使用纯手工特征分为传统分割算法以及基于深度学习的分割算法。
3.传统牙颌模型分割算法一般依赖手工构造的特征，如法向量、曲率等。典型算法包括基于曲率的算法、基于轮廓线的算法、基于投影的算法、基于调和场的算法等。手工特征的设计对最终分割精度有较大影响，在曲率不明显的边界区域，传统分割算法往往由于手工特征的相似性而表现出较差的分割精度。此外，对操作者专业经验要求高以及高维特征计算耗时严重也是目前传统分割算法普遍存在的问题，其整体分割效果要低于后来兴起的基于深度学习的方法。
4.目前基于深度学习的牙颌三维模型分割算法倾向于使用原始的点云坐标以及法向特征。区别于传统分割算法所依赖的手工构造特征，基于深度学习的方法一般通过多层邻域建立以及特征聚合的方式实现局部特征的提取，典型的特征提取算法为pointnet++，后续多项研究均在此基础上进行。基于深度学习的方法在特征提取能力上显著强于人工设计的特征，在分割精度上通常可以达到更高的指标值。但目前该类方法的效果通常依赖于人工标注数据集的规模，而三维图像数据获取难度大、标注成本高，往往难以达到深度学习的数据集规模要求。与之相对的，传统分割算法所使用的基于规则构造的人工特征具有天然普适性，并不依赖于大规模的数据集，且相对于深度学习提取的特征具有更清晰的几何意义和更好的可解释性。现有的基于人工特征以及深度学习的算法各有优缺点，且尚未很好的结合。


技术实现要素：

5.本发明针对现有技术中的不足，提供一种牙颌三维模型分割方法和系统。
6.第一方面，本发明提供一种牙颌三维模型分割方法，包括：
7.获取牙颌三维模型中每个顶点的手工特征；
8.将每个顶点的手工特征与笛卡尔坐标拼接，得到每个顶点的输入特征；
9.将每个顶点的输入特征依次输入深度学习点云分割网络，得到每个顶点的牙位标签；
10.将每个顶点的牙位标签依次映射至牙颌三维模型，得到相邻两个牙齿的以及牙齿和牙龈的边界线。
11.进一步地，所述获取牙颌三维模型中每个顶点的手工特征，包括：
12.根据以下公式计算每个顶点的拉普拉斯坐标：
[0013][0014]
其中，δi为牙颌三维模型中第i个顶点的拉普拉斯坐标；vi为牙颌三维模型中第i个顶点；di为与第i个顶点直接相连的顶点的数量；vj为牙颌三维模型中第j个顶点；ni＝{j(i,j)∈k}，为顶点i的领域顶点集合，k为邻域内所有顶点的集合；
[0015]
获取每个顶点的法向量；
[0016]
获取顶点主曲率、高斯曲率和平均曲率；
[0017]
获取每个顶点的rsd特征；
[0018]
获取每个顶点的fpfh特征。
[0019]
进一步地，所述将每个顶点的手工特征与笛卡尔坐标拼接，得到每个顶点的输入特征，包括：
[0020]
根据以下公式计算每个顶点的输入特征：
[0021][0022]
其中，f
in
为第i个顶点的输入特征；vi牙颌三维模型中第i个顶点；δi为牙颌三维模型中第i个顶点的拉普拉斯坐标；mi为第i个顶点的法向量；k
1i
、k
2i
均为第i个顶点的主曲率；ki为第i个顶点的高斯曲率；hi为第i个顶点的平均曲率；f
rsdi
为第i个顶点的rsd特征；f
fpfhi
为第i个顶点的fpfh特征。
[0023]
进一步地，所述将每个顶点的输入特征依次输入深度学习点云分割网络，得到每个顶点的牙位标签，包括：
[0024]
将每个顶点的输入特征依次输入至深度学习点云分割网络的三个特征提取层，在每个特征提取层中使用最远点采样算法进行降采样，利用不同半径参数的球形查询算法确定降采样点的邻域，对每个邻域内的点使用pointnet算法进行局部特征提取，将提取自不同半径邻域内点的特征拼接作为当前特征提取层的第一输出特征；
[0025]
将每个顶点的第一输出特征依次输入至深度学习点云分割网络的三个特征传播层，第m个特征传播层将前一层的输出以及第4-m个特征提取层的输入拼接起来作为当前特征传播层的输入，在每个特征传播层中，通过三线性插值将特征由下采样点向周围点扩散，并用mlp算法对特征降维作为当前特征传播层的第二输出特征；
[0026]
将每个顶点的第二输出特征输入至两个mlp网络，使输出特征通道数等于语义类别的数目，将上下牙龈分别视作两个语义类别，将降维后的特征输入至softmax函数得到当前点归属于不同语义类别的概率，取概率最大值对应的类别为牙位标签。
[0027]
第二方面，本发明提供一种牙颌三维模型分割系统，包括：
[0028]
获取模块，用于获取牙颌三维模型中每个顶点的手工特征；
[0029]
拼接模块，用于将每个顶点的手工特征与笛卡尔坐标拼接，得到每个顶点的输入特征；
[0030]
输入模块，用于将每个顶点的输入特征依次输入深度学习点云分割网络，得到每个顶点的牙位标签；
[0031]
映射模块，用于将每个顶点的牙位标签依次映射至牙颌三维模型，得到相邻两个牙齿的以及牙齿和牙龈的边界线。
[0032]
进一步地，所述获取模块包括：
[0033]
第一计算单元，用于根据以下公式计算每个顶点的拉普拉斯坐标：
[0034][0035]
其中，δi为牙颌三维模型中第i个顶点的拉普拉斯坐标；vi为牙颌三维模型中第i个顶点；di为与第i个顶点直接相连的顶点的数量；vj为牙颌三维模型中第j个顶点；ni＝{j(i,j)∈k}，为顶点i的领域顶点集合，k为邻域内所有顶点的集合；
[0036]
第一获取单元，用于获取每个顶点的法向量；
[0037]
第二获取单元，用于获取顶点主曲率、高斯曲率和平均曲率；
[0038]
第三获取单元，用于获取每个顶点的rsd特征；
[0039]
第四获取单元，用于获取每个顶点的fpfh特征。
[0040]
进一步地，所述拼接模块包括：
[0041]
第二计算单元，用于根据以下公式计算每个顶点的输入特征：
[0042][0043]
其中，f
in
为第i个顶点的输入特征；vi牙颌三维模型中第i个顶点；δi为牙颌三维模型中第i个顶点的拉普拉斯坐标；mi为第i个顶点的法向量；k
1i
、k
2i
均为第i个顶点的主曲率；ki为第i个顶点的高斯曲率；hi为第i个顶点的平均曲率；f
rsdi
为第i个顶点的rsd特征；f
fpfhi
为第i个顶点的fpfh特征。
[0044]
本发明提供一种牙颌三维模型分割方法和系统，其中方法包括获取牙颌三维模型中每个顶点的手工特征；将每个顶点的手工特征与笛卡尔坐标拼接，得到每个顶点的输入特征；将每个顶点的输入特征依次输入深度学习点云分割网络，得到每个顶点的牙位标签；将每个顶点的牙位标签依次映射至牙颌三维模型，得到相邻两个牙齿的以及牙齿和牙龈的边界线。本发明采用上述方案，融合使用了多种轻量级的手工特征，相比于仅使用法向和曲率信息的算法，能够更好的捕获牙颌模型多尺度、多层次的局部特征，对牙颌分割任务的精度提升可以起到显著作用；将几类手工特征直接引入深度学习框架，在手工特征的基础上用深度学习进一步提取三维牙颌模型特征，降低了网络的学习成本，减少了深度网络对训练样本数量以及训练周期的依赖性。
附图说明
[0045]
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0046]
图1为本发明实施例提供的一种牙颌三维模型分割方法的工作流程图；
[0047]
图2为本发明实施例提供的一种牙颌三维模型分割系统的结构示意图；
[0048]
图3为本发明实施例提供的一种牙颌三维模型分割方法的结构示意图；
[0049]
图4为本发明实施例提供的一种牙颌三维模型分割方法中基于深度学习的分割网络框架图；
[0050]
图5为本发明实施例提供的一种牙颌三维模型分割方法中上下颌模型图。
具体实施方式
[0051]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0052]
如背景技术中所述，现有的基于人工特征以及深度学习的算法各有优缺点，且尚未很好的结合。因此为了解决上述问题，本发明实施例提供一种牙颌三维模型分割方法，如图3所示，图3为牙颌三维模型分割方法的结构示意图。
[0053]
具体的，如图1所示，所述分割方法包括：
[0054]
步骤s101,获取牙颌三维模型中每个顶点的手工特征。
[0055]
本步骤中，牙颌三维模型中通常包含数万到数十万顶点及三角面片根据模型中包含的顶点坐标以及三角面片提供的邻接信息可提取各种手工特征来对模型局部或全局信息进行表征。
[0056]
根据以下公式计算每个顶点的拉普拉斯坐标：
[0057][0058]
其中，δi为牙颌三维模型中第i个顶点的拉普拉斯坐标；vi为牙颌三维模型中第i个顶点；di为与第i个顶点直接相连的顶点的数量；vj为牙颌三维模型中第j个顶点；ni＝{j(i,j)∈k}，为顶点i的领域顶点集合，k为邻域内所有顶点的集合。
[0059]
获取每个顶点的法向量，可通过三角面片任意两边向量叉乘并归一化的方法计算得到。再依次遍历所有顶点，找出所有与目标顶点相邻的三角面片，将所有与目标顶点相邻的三角面片平均法向量作为目标顶点的法向量。
[0060]
获取顶点主曲率、高斯曲率和平均曲率。假设ni为以三角面片为最小单元组成的模型中，顶点vi的邻域，a(vi)表示顶点vi局部平均区域的面积，f(vi)为由三角面片为最小单元组成的模型定义的函数在顶点vi处的值。则laplace-beltrami算子的余切离散化形式为：
[0061][0062]
其中，vj∈ni(vi)表示顶点vi领域的所有顶点；α
ij
和β
ij
分别为邻域三角面片中以v
j-vi为公共边的两个三角面片中与v
j-vi相对的两个角。
[0063]
第i个顶点的平均曲率计算式为：
[0064]
假设θj为顶点vi邻域三角面片中以顶点vi为顶点的角，则第i个顶点高斯曲率为：两个主曲率可由平均曲率和高斯曲率计算得到：
[0065][0066]
其中，k
1i
、k
2i
均为第i个顶点的主曲率；ki为第i个顶点的高斯曲率；hi为第i个顶点
的平均曲率。
[0067]
获取每个顶点的rsd特征。遍历邻域内所有点，计算邻域内所有点两两之间的距离d和点与点之间法向量之间的差α，可依据余弦定理的taylor展开式估计两点所处圆的半径r，简化计算式为顶点vi的rsd特征为顶点vi邻域所有点对中半径r的最大值和最小值，即f
rsdi
＝[r
max
,r
min
]。
[0068]
获取每个顶点的fpfh特征。先计算所有点法向量，然后定义点p
t
和点ps构成的点对局部坐标系(u,v,w)如下：
[0069][0070]
其中，
×
表示外积；ns为点ps的法向量；u,v,w分别为点对局部坐标系的基向量。
[0071]
基于点对局部坐标系，构建特征向量α，φ，θ：
[0072][0073]
其中，
·
为内积；n
t
为点p
t
的法向量；d为点p
t
和点ps的欧式距离。
[0074]
定义spfh(simplified point feature histogram)特征为：将邻域内点对的《α，φ，θ》特征集合放在三个对应的直方图中，统计投票数量，直方图区间段数为n，则spfh特征矢量有3n维，如此处n取11，则对应的spfh特征矢量有33维。
[0075]
定义顶点vi的邻域包括两个部分：一部分是顶点vi与周围k个点组成的点对，另一部分是顶点vi的每个邻点vk与周围k个点组成的点对。第二部分的统计量取加权平均，则可得到最终f
fpfhi
计算方法：
[0076][0077]
其中，权重ωk表示顶点与邻点vk的距离。
[0078]
步骤s102,将每个顶点的手工特征与笛卡尔坐标拼接，得到每个顶点的输入特征。
[0079]
本步骤中，根据以下公式计算每个顶点的输入特征：
[0080][0081]
其中，f
in
为第i个顶点的输入特征；vi牙颌三维模型中第i个顶点；δi为牙颌三维模型中第i个顶点的拉普拉斯坐标；mi为第i个顶点的法向量；k
1i
、k
2i
均为第i个顶点的主曲率；ki为第i个顶点的高斯曲率；hi为第i个顶点的平均曲率；f
rsdi
为第i个顶点的rsd特征；f
fpfhi
为第i个顶点的fpfh特征。
[0082]
其中笛卡尔坐标vi有3维特征，拉普拉斯坐标δi有3维特征，法向量mi有3维特征，主
曲率k
1i
和k
2i
、高斯曲率ki和平均曲率hi均为1维特征，rsd特征f
rsdi
有2维，fpfh特征f
fpfhi
有33维，故f
in
共48维特征。
[0083]
步骤s103,将每个顶点的输入特征依次输入深度学习点云分割网络，得到每个顶点的牙位标签。
[0084]
本步骤中，将每个顶点的输入特征依次输入至深度学习点云分割网络的三个特征提取层，在每个特征提取层中使用最远点采样算法进行降采样，利用不同半径参数的球形查询算法确定降采样点的邻域，对每个邻域内的点使用pointnet算法进行局部特征提取，将提取自不同半径邻域内点的特征拼接作为当前特征提取层的第一输出特征；
[0085]
将每个顶点的第一输出特征依次输入至深度学习点云分割网络的三个特征传播层，第m个特征传播层将前一层的输出以及第4-m个特征提取层的输入拼接起来作为当前特征传播层的输入，在每个特征传播层中，通过三线性插值将特征由下采样点向周围点扩散，并用mlp算法对特征降维作为当前特征传播层的第二输出特征；
[0086]
将每个顶点的第二输出特征输入至两个mlp网络，使输出特征通道数等于语义类别的数目，将上下牙龈分别视作两个语义类别，将降维后的特征输入至softmax函数得到当前点归属于不同语义类别的概率，取概率最大值对应的类别为牙位标签。
[0087]
如图4中12所示，因模型共含n个节点，每个节点有48维特征，故可组成网络输入为n
×
48的矩阵。对输入的所有点，将计算得到的节点特征f
in
依次输入至三个特征提取层sa1-sa3，即图4中的6-8。
[0088]
具体的，在每个特征提取层sa中包含以下步骤：
[0089]
使用最远点采样算法将输入点降采样至npoint个点，如图4中20所示，sa1中降采样至512个点。利用不同半径参数的球形查询算法确定降采样点的邻域，如图4中14-15所示，r＝0.1表示球形邻域半径为0.1，s＝32表示在球形邻域内查找32个点。
[0090]
进一步的，对每个邻域内的点使用pointnet算法进行局部特征提取，具体包括多层级联的mlp-batchnorm-relu层。图4中17表示mlp层，其作用是将输入特征进行维度变换，如图4中13所示，该层将输入特征维度变为32，其它mlp层以此类推。图4中18表示batchnorm，图4中19表示激活函数relu。
[0091]
进一步的，将提取自不同半径邻域内点的特征拼接作为当前特征提取层的第一输出特征，第一输出特征维度由当前邻域内特征提取分支最后一个mlp层决定。
[0092]
具体的，在每个特征传播层fp中包含以下步骤：
[0093]
第m个特征传播层将前1层的输出以及第4-m个特征提取层的输入拼接起来作为当前特征传播层的输入，如图4中的16所示。
[0094]
进一步的，在每个特征传播层中，通过三线性插值将特征由下采样点向周围点扩散，即上采样至npoint个点。
[0095]
进一步的，用多层级联的mlp-batchnorm-relu层对特征降维，作为当前特征传播层的第二输出特征。
[0096]
将每个顶点的第二输出特征依次输入至两层mlp网络，使输出特征通道数等于语义类别的数目，此处不考虑上下颌的第三磨牙，同时将上下牙龈分别视作两个语义类别，故语义类别总数为30，具体包括上颌牙龈区域，即图5中的22，对应语义编号为0；右上区11-17号牙，即图5中的23-29，对应语义编号为1-7；左上区21-27号牙，即图5中的30-36，对应语义
编号为8-14；下颌牙龈区域，即图5中的37，对应语义编号为15；左下区31-37号牙，即图5中的38-44，对应语义编号为16-22；右下区41-47号牙，即图5中的45-51，对应语义编号为23-29。
[0097]
进一步的，将降维后的特征送入softmax函数得到当前点归属于不同语义类别的概率，即图4中的21，取概率最大值对应的类别为当前点所属语义类别，即牙位标签。
[0098]
步骤s104,将每个顶点的牙位标签依次映射至牙颌三维模型，得到相邻两个牙齿的以及牙齿和牙龈的边界线。如图3中5所示。
[0099]
本发明融合使用了多种轻量级的手工特征，相比于仅使用法向和曲率信息的算法，能够更好的捕获牙颌模型多尺度、多层次的局部特征，对牙颌分割任务的精度提升可以起到显著作用；将几类手工特征直接引入深度学习框架，在手工特征的基础上用深度学习进一步提取三维牙颌模型特征，降低了网络的学习成本，减少了深度网络对训练样本数量以及训练周期的依赖性。
[0100]
如图2所示，本发明实施例部分还提供一种牙颌三维模型分割系统，包括：
[0101]
获取模块，用于获取牙颌三维模型中每个顶点的手工特征；
[0102]
拼接模块，用于将每个顶点的手工特征与笛卡尔坐标拼接，得到每个顶点的输入特征；
[0103]
输入模块，用于将每个顶点的输入特征依次输入深度学习点云分割网络，得到每个顶点的牙位标签；
[0104]
映射模块，用于将每个顶点的牙位标签依次映射至牙颌三维模型，得到相邻两个牙齿的以及牙齿和牙龈的边界线。
[0105]
进一步地，所述获取模块包括：
[0106]
第一计算单元，用于根据以下公式计算每个顶点的拉普拉斯坐标：
[0107][0108]
其中，δi为牙颌三维模型中第i个顶点的拉普拉斯坐标；vi为牙颌三维模型中第i个顶点；di为与第i个顶点直接相连的顶点的数量；vj为牙颌三维模型中第j个顶点；ni＝{j(i,j)∈k}，为顶点i的领域顶点集合，k为邻域内所有顶点的集合；
[0109]
第一获取单元，用于获取每个顶点的法向量；
[0110]
第二获取单元，用于获取顶点主曲率、高斯曲率和平均曲率；
[0111]
第三获取单元，用于获取每个顶点的rsd特征；
[0112]
第四获取单元，用于获取每个顶点的fpfh特征。
[0113]
可选的，所述拼接模块包括：
[0114]
第二计算单元，用于根据以下公式计算每个顶点的输入特征：
[0115][0116]
其中，f
in
为第i个顶点的输入特征；vi牙颌三维模型中第i个顶点；δi为牙颌三维模型中第i个顶点的拉普拉斯坐标；mi为第i个顶点的法向量；k
1i
、k
2i
均为第i个顶点的主曲率；ki为第i个顶点的高斯曲率；hi为第i个顶点的平均曲率；f
rsdi
为第i个顶点的rsd特征；f
fpfhi
为第i个顶点的fpfh特征。
[0117]
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
[0118]
以上结合具体实施方式和范例性实例对本发明进行了详细说明，不过这些说明并不能理解为对本发明的限制。本领域技术人员理解，在不偏离本发明精神和范围的情况下，可以对本发明技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本发明的范围内。本发明的保护范围以所附权利要求为准。