一种三维牙颌模型牙齿分割方法

本发明属于医学图像分割领域，具体涉及一种三维牙模型牙齿分割方法。

背景技术：

1、随着生物技术和医疗技术的高速发展，我国精准医疗事业不断发展。精准医疗是一种基于患者个体做诊断、治疗以及预防的医疗模式。相比于传统医疗仅仅根据患者的临床症状以及疾病之前的共性制定治疗方案，精准医疗的最大优势是可以根据大数据分析与患者个体的生物信息差异，为每个患者提供最适合的个性化医疗方案。精准医疗能使医生对患者的疾病做更加准确有效的分析、诊断、治疗与预防。

2、近年来，由于饮食习惯等因素的影响，受口腔疾病困扰的患者数量较多并仍表现出逐年增加的趋势，牙齿拥挤、稀疏等现象普遍存在于广大人群中。牙齿不齐会导致患者增加消化系统疾病发病率、发音受限、面部软组织不协调导致不美观、牙齿过度磨损以及难以清洁造成蛀牙或增加其他口腔疾病的发病率。牙齿的正畸对于患者的外表美观、身体健康与心理健康都有着十分重要的作用。

3、计算机辅助正畸治疗系统利用口内扫描仪获取患者牙的数据，通过软件直接确定每颗牙齿的位置、并帮助口腔医生对患者牙做牙弓形态分析、wala嵴区域分析与咬合平面分析，以及制定最适合患者本人的个性化正畸治疗方案，设计出完美的牙列和咬合关系。计算机辅助正畸可以让漫长的牙齿矫正过程可视化，通过软件生成直观的动画方案，给患者展示正畸方案的矫正过程。也可以帮助患者对比不同方案的治疗结果。计算机辅助正畸的直观、精准、个性化等诸多优势，使得正畸过程更加高效、快捷。

4、牙齿分割是数字化口腔正畸中最基础也是最关键的一步。通过口内扫描仪获取患者的三维牙模型数据包括了牙龈和牙齿两部分，计算机辅助正畸治疗系统需要首先从患者的三维牙模型数据中分割出单颗牙齿，方便口腔医生通过对单颗牙齿做分析、拖动和排列，以模拟治疗方案的效果并根据患者的实际情况和偏好对方案做进一步调整。三维牙模型的牙齿分割是至关重要的一步，其分割效率与分割精度直接影响了后续口腔治疗的准确性和效率。

5、三维牙模型的牙齿分割方法大致分为四类：基于曲率的牙齿分割、基于谐波场的牙齿分割、基于二维图像的牙齿分割以及基于深度学习的牙齿分割。

6、(1)基于曲率的牙齿分割。基于曲率的分割方法对三维牙模型的数据点做曲率计算，利用牙齿-牙龈边缘区以及牙齿-牙齿边缘区为凹陷区域这一特点，利用曲率识别出这些边缘凹陷区域并分割牙列或牙齿。

7、kumar等[kumar y,janardan r,larson b,et al.improved segmentation ofteeth in dental models.computer-aided design and applications,2011,8(2):211-224.]通过为用户提供一个直观的控制曲率的工具，使其能观察边界特征区域随主曲率变化的过程，并设置一个最合适的曲率值。随后细化特征区域，采用泛洪填充(flood fill)算法将牙龈与牙齿分离，并修复错误牙龈线，以分割牙列。

8、yuan等[yuan t,wang y,hou z,et al.tooth segmentation and gingivaltissue deformation framework for 3d orthodontic treatment planning andevaluating.medical&biological engineering&computing,2020,58:2271-2290.]提出了一种结合局部曲面拟合和三维形态运算的方法，能实现精确的主曲率计算以及边界特征区域的提取。先通过主曲率识别沿齿-齿、齿-龈分布的凹形边缘区域(即特征区域)，利用数学形态学操作填充特征区域内的孔洞使其边缘光滑。最后从特征区域中提取牙齿边缘曲线，分割牙齿。

9、基于曲率的牙齿分割方法基本都需要设置曲率阈值，牙齿分割效果也极大地依赖曲率阈值的选取，有的方法通过自动设置全局阈值，有的方法通过用户手动设置合适的阈值。全局阈值很难满足不同形态的牙齿，容易造成过分割或欠分割。

10、(2)基于谐波场的牙齿分割。基于谐波场(harmonic field，hf)的牙齿分割方法利用了谐波场的平滑和形状识别的特性来分割牙齿。

11、zou等[zou b,liu s,liao s,et al.interactive tooth partition of dentalmesh base on tooth-target harmonic field.computers in biology and medicine,2015,56:132-144.]提出了一种利用谐波场的半自动分割牙齿的方法。其在先验知识的指导下，采用改进的加权方案和约束的齿-目标谐波场(tooth-target harmonic field)来识别牙齿边缘。利用文献[kumar y,janardan r,larson b.automatic featureidentification in dental meshes.computer-aided design and applications,2012,9(6):747-769.]的方法自动识别牙齿上的特征点、用户鼠标点击每颗牙齿齿间间隙的点，以及该算法自动识别的牙龈点这三种特征点构建谐波场，获取牙齿边缘进而分割牙齿。

12、liao等[liao s,liu s,zou b,et al.automatic tooth segmentation ofdental mesh based on harmonic fields.biomed research international,2015,2015.]改进了zou等的工作，提出了一种利用谐波场的全自动分割牙齿的方法。根据文献[kondo t,ong s h,foong k w c.tooth segmentation of dental study models usingrange images.ieee transactions on medical imaging,2004,23(3):350-362.]将牙齿上的特征点分为奇偶两组，其次根据以上先验知识设计新的牙齿约束方案构建谐波场识别牙齿边缘并分割牙齿。

13、基于谐波场的牙齿分割方法有个致命的缺陷是不能独立地分割牙齿，该方法必须依赖其他方法对三维牙模型做一定的预处理，得到相应的初始条件才能将谐波场应用于牙齿分割。

14、(3)基于二维图像的牙齿分割。基于二维图像的牙齿分割是指将三维牙模型转化为二维图像，在二维图像上做图像处理，借此辅助三维牙模型上的牙齿分割。

15、kondo等[kondo t,ong s h,foong k w c.tooth segmentation of dentalstudy models using range images.ieee transactions on medical imaging,2004,23(3):350-362.]首先提出将三维牙模型转换为平面视图与全景视图的深度图像的创新思想，避免了直接处理三维数据的复杂性。该方法的算法思想是：将牙齿模型的三维网格数据转化为两幅不同视角的深度图像数据，在平面深度图像上检测牙齿间隙的位置和角度，在全景深度图像上检测牙齿间隙的位置。通过将两个图像的检测结果结合起来以获取牙齿间隙准确的位置和方向。该方法的优势有以下两点：(1)平面深度图像适合检测磨牙之间的牙齿间隙以及牙齿拥挤之间的牙齿间隙，全景深度图像适合检测对齐良好的牙齿的间隙，特别是前牙。两幅图像互补，极大地放宽了该方法所能处理的模型的限制。(2)将三维牙模型转化为二维深度图像，可以将图像处理技术应用于牙齿分割，如用于提取图像特征的梯度方向检测和表面法线分析等。

16、wongwaen等[wongwaen n,sinthanayothin c.computerized algorithm for 3dteeth segmentation.2010international conference on electronics andinformation engineering.ieee,2010,1:v1-277-v1-280.]采用三次样条算法拟合牙的牙弓曲线，生成沿牙弓的全景牙图像。牙齿间的间隙表现在全景牙图像上的高度差，利用凹点检测技术检测出任意两颗牙齿之间的凹面。

17、基于二维图像的牙齿分割能将三维上的数据转化为二维并进行图像处理，降低操作的复杂度，但是三维数据到二维数据的转换不可避免地会造成信息损失。

18、(4)基于深度学习的牙齿分割。随着人工智能与深度学习的发展，深度学习在分割领域得到了广泛应用，越来越多的研究人员将深度学习应用于牙齿分割领域。

19、cui等[cui z,li c,chen n,et al.tsegnet:an efficient and accurate toothsegmentation network on 3d dental model.medical image analysis,2021,69:101949.]提出了一种基于网络的全自动牙齿分割方法(tsegnet)，tsegnet从输入的三维牙模型中提取三维点云作为系统的输入，给三维点云中的每一个点分配唯一的标签作为系统的输出。首先利用距离感知的牙齿质心预测模块生成一组候选牙齿质心点集，用于后续正确识别牙齿对象。为了训练网络，tsegnet使用了距离估计、倒角距离和分割损耗三个损耗项来监督牙齿质心的预测。其次利用置信度感知学习来分割单个牙齿。

20、zheng等[zheng y,chen b,shen y,et al.teethgnn:semantic 3d teethsegmentation with graph neural networks.ieee transactions on visualizationand computer graphics,2022.]提出了一种基于图神经网络(graph neural networks，gnn)的三维牙齿模型分割方法teethgnn。teethgnn先将原始三维网格牙模型做简化，降低三角面片数量，其次训练一个两分支的图神经网络，其中一个用于预测每个三角面片的分割标签，另一个回归每个三角面片到牙齿质心的偏移量，通过标签优化与边缘优化确定牙模型中每个三角面片的标签。

21、基于深度学习的牙齿分割方法能比传统分割方法利用更多维度的牙齿特征，如牙齿形状、局部上下文等特征。但是基于深度学习的牙齿分割方法需要大量的牙齿样本用于训练分割网络。

技术实现思路

1、本发明的目的在于：针对上述存在的问题，提供一种三维牙模型牙齿分割方法，能在小样本的情况下精确分割单颗牙齿，实现为基于深度学习的牙齿分割系统做前期的标注任务。

2、本发明的采用的技术方案为：

3、一种三维牙颌模型牙齿分割方法，该方法包括下列步骤：

4、步骤s1，深度图像与投影图像的生成：

5、计算三维牙模型的曲率，基于曲率检测牙模型的特征区域，采用三次多项式拟合牙弓曲线；

6、按等弧长原则离散牙弓曲线，并对三维牙模型进行三角网格细分；

7、确定三维牙模型中三维坐标与二维坐标的坐标转换方式，根据数据点到牙弓曲面的距离、数据点的曲率值、数据点的密度值生成全景深度图像、曲率全景投影图像与密度全景投影图像。

8、步骤s2：基于深度图像与投影图像的边缘检测：

9、基于小波变换对全景深度图像与全景投影图像做边缘检测，综合三幅图像的边缘检测结果得到齿-齿、齿-龈边缘。

10、步骤s3：基于多目标优化的区域增长算法：

11、种子点按如下要求选取：远离牙齿-牙龈边缘；每颗牙齿的种子点集个数与该牙齿的数据点个数的偏差在允许范围内，如每颗牙齿的种子点集个数与该牙齿的数据点个数比例大致相当；在磨牙面均匀取点；为非边缘点。

12、停止条件采取局部与整体相结合的方式，在局部上，通过分析齿-齿、齿-龈边缘反映射回三维的齿-齿、齿-龈边缘点集的特征，利用多目标优化选取适合的曲率阈值和密度阈值，并用这两个阈值作为局部控制区域增长停止的条件；在整体上，通过二维全景图像中已增长区域占齿-齿、齿-龈边缘像素的多少控制区域增长的停止。

13、步骤s4：基于区域增长的牙列分割与牙齿分割：

14、通过区域增长分割出完整牙列，在分割出的牙列上再做一次区域增长分割牙齿。

15、进一步地，三维网格模型(三维牙模型)的曲率计算方式为利用bézier曲面拟合三角面片的网格曲率，每个顶点的曲率为与该顶点相邻的面的曲率的加权平均值。

16、进一步地，牙弓曲线的拟合方式为：

17、利用三维牙模型的曲率值对其做嵴检测，根据检测出的特征区域，三次拟合牙弓。由于三维牙模型近似平行于xoy面(二维平面)，且为了后续计算全景深度图像方便，故牙弓曲线的拟合仅考虑x、y轴坐标(即二维平面所对应的坐标)，忽略z轴坐标的影响。

18、进一步地，三维牙模型中三维坐标与二维坐标的坐标转换方式为：

19、将牙模型的牙弓曲线离散成一系列离散点darch＝[d1,d2,...,dn]，对于每个离散点di，过di作垂直于牙弓曲线的垂线li，过垂线li作垂直于xoy面的垂面pi。相邻两个垂面pipi+1所夹的三维牙数据构成全景图像中的第i列像素。计算数据点的z坐标(三维坐标系中表示深度的坐标)在牙模型的相对位置得到其行坐标。通过上述操作完成从三维坐标到二维坐标的坐标转换；

20、在将三维牙模型转化为二维图像时，记录下每个数据点在二维全景图像中的横纵坐标值并存于矩阵中，通过上述操作完成从二维坐标到三维坐标的坐标转换。

21、进一步地，步骤s2中，基于深度图像与投影图像的边缘检测具体为：

22、根据三维牙模型中数据点到牙弓曲面的距离、数据点的曲率值以及密度值，生成全景深度图像、曲率全景投影图像与密度全景投影图像；

23、选取b样条函数(b-spline)作为小波函数，ostu阈值法(一种基于图像直方图的自适应阈值分割算法)作为后续阈值处理方法，利用小波模极大值法对各全景图像做边缘检测，输出各自边缘检测结果并将其合并，得到最终的齿-齿、齿-龈边缘图像。

24、进一步地，步骤s3中，区域增长算法种子点集的选取过程具体为：

25、基于齿-齿、齿-龈边缘的粗粒度牙列识别：首先计算齿-齿、齿-龈边缘中每列像素的平均行坐标；再用三次多项式拟合指示牙列位置的曲线；最后，曲线以上的像素点被认为是粗粒度牙列点，将得到的粗粒度牙列利用坐标变换反映射回三维数据点。

26、考虑到牙列中每颗牙齿的点数不同，以及磨牙咬合面结构复杂、沟壑较多，选取种子点集的条件确定为：(1)远离牙齿-牙龈边缘；(2)每颗牙齿的种子点集个数与该牙齿的数据点个数比例大致相当；(3)在磨牙面均匀取点；(4)为非边缘点。

27、在粗粒度牙列中选取满足条件的种子点集。

28、进一步地，步骤s3中，区域增长算法停止条件的选取过程具体为：

29、在局部上，利用三维数据点的非边缘性作为停止条件控制区域增长的停止，用数据点的曲率值和密度值表征数据点是否为边缘点。

30、在整体上，利用二维全景图上的齿-齿、齿-龈边缘作为停止条件控制区域增长的停止，当已增长区域占据了二维全景图上的齿-齿、齿-龈边缘像素点的一定比例后停止增长。

31、进一步地，步骤s4中，基于区域增长的牙列分割与牙齿分割具体为：

32、根据选取好的种子点集与停止条件对三维牙模型做区域增长，已增长区域的外边界构成牙列的边界。

33、选取牙龈上的点为种子点，牙列边界为停止条件，再次区域增长，分割出牙列与牙龈。

34、在牙列上做区域增长，将牙列分为若干个区域，将区域点数大于指定值的区域标记为牙齿区域(大区域)，再将非牙齿区域(小区域)按照指定条件合并到对应的牙齿区域，按照最终的牙齿区域分割出单颗牙齿。

35、本发明提供的技术方案至少带来如下有益效果：

36、本发明基于深度图像与投影图像对三维牙模型做牙齿分割，能够实现全自动且准确地分割牙列与牙齿，具有易操作、可靠、准确的特点。且本发明不需要大量牙模型数据集，不需要事先对牙模型做标记，能在小样本的情况下精确分割单颗牙齿，可以实现为基于深度学习的牙齿分割系统做前期的标注任务，对于计算机辅助正畸系统具有重要意义。