基于牙体修复及结构化分割的龋病程度分类方法

本发明属于医学图像分割及医疗辅助领域，涉及一种能够对口腔全景片进行牙体结构修复及内部结构分割的方法，可以用于准确地分类出全景片中龋坏病灶的侵蚀程度。

背景技术：

1、龋病是由细菌引起的牙体硬组织破坏，形成龋洞的一种最常见的口腔疾病。龋病是一种进展性疾病，若不及时治疗，可发展成牙髓炎、根尖周炎等并发症，甚至会造成整个牙齿的脱落。此外龋坏还可能继发感染形成病灶，导致关节炎、心骨膜炎、慢性肾病和多种眼病等其他全身疾病。在龋病的诊疗过程中，治疗原则是彻底去除龋坏病变组织，并尽可能多地保留牙体硬组织。不同侵蚀程度的龋齿病灶需要采用不同的治疗方案。因此，需要设计一种能够准确定位侵蚀程度的方法来辅助龋病治疗。

2、口腔全景片作为一种耗时少、低成本、低辐射的影像检查技术，可以为医生呈现全面的口腔状况，并可提示大部分牙齿病变信息，因此得到广泛应用。然而现有方法对基于全景片的龋病检测及分类尚处起步阶段，现有方法利用人工智能的深度神经网络来实现对全景片中龋齿病变的自动分割，而对病灶的分类则仅依赖端到端的方法进行简单实现，这样的方法普遍存在两个问题：首先，口腔龋齿病灶复杂多样，病变仅呈现出以低密度影为主要特征的图像表现，由于细菌侵蚀的随机性，龋坏病灶又往往表现出形态及尺度的多样性，这为神经网络提取稳定的病灶类别特征带来了严峻的挑战；其次，尽管神经网络在目标定位及关键点检测中表现出了一定的距离感知能力，但是由于龋齿程度的分类边界位于无明显差异的牙本质结构内部，神经网络的这一距离感知能力无法对龋病边界在牙本质结构内的侵蚀深度进行准确的判断。因此现有方法只能依靠病灶大小及其粗略的位置进行分类，失去严格的分类度量标准将导致龋病程度分类结果表现极差。

3、根据国际龋齿分类和管理系统(iccms)对牙齿表面的放射学分类标准规定，龋损入侵至牙釉质及牙本质外1/3处为初始龋损阶段(浅龋)，龋损入侵至牙本质超外1/3且未达到牙本质内1/3处为中等龋齿阶段(中龋)，当龋损入侵至牙本质内1/3处以及牙髓出现临床空洞为广泛龋齿阶段(深龋)。根据上述分类标准，要实现对口腔全景片上的龋齿进行准确的程度分类分割，必须设计出一种能够检测牙本质结构的方法。该方法可以根据牙本质结构准确划分出侵蚀程度的分类边界，从而实现对龋齿的精确分类。

技术实现思路

1、本发明提供了一种基于牙体修复及结构化分割的龋病程度分类方法。首先，使用unet搭建龋病分割网络，实现对所有不同类别的龋齿区域进行二值分割预测。同时搭建基于mask rcnn的结构化实例分割网络，用于分割牙体实例，为了能够分割牙体实例内部的结构，模型通过多类别分割头来分割牙齿的牙釉质、牙本质、牙髓腔及填充材料等区域。为结构化分割的骨干网络加入图像级细粒度特征，用于补充牙体内部的结构信息，同时设计结构感知模块，用于促进结构化分割网络分割出更加完整的牙体结构。最后本发明设计出基于扩散模型的牙体结构修复网络，用于对牙体的异常结构区域进行图像重建，使其能够分割出正常的牙体结构。

2、技术问题所采用的技术方案实现如下：

3、基于牙体修复及结构化分割的龋病程度分类方法，其步骤如下：

4、步骤1.数据集获取，本方法为龋齿分类任务完成两种数据标注，所获得的数据集分别为dc1000和tsd，它们均来自于浙江省人民医院口腔科的1000张全景片。其中dc1000数据集用于训练龋病分割网络，而tsd数据集则被用于训练牙体结构化分割网络，同时tsd数据中的牙实例切片及其异常结构标注被用于训练结构修复网络。

5、步骤2.数据处理，对步骤1所收集的数据集进行中心裁剪，去除非牙外周区域。对dc1000数据集进行重叠裁剪，通过初步训练的神经网络进行数据清洗，去除离群龋病标注；对tsd数据集采用同样的中心裁剪方式提高牙体前景占比。

6、步骤3.定义龋病分割网络，使用步骤2中的dc1000数据集训练unet模型，实现对龋坏区域的预测。测试阶段对于传入的任意一张全景图像进行中心裁剪，使用50％重复占比的方式裁剪切片，完成龋病区域预测后根据位置进行合并得到最终的分割结果。

7、步骤4.定义结构化分割网络，使用步骤2中获取的tsd数据集训练实例分割网络。首先，通过多类别分割头实现对牙体实例的内部结构分割(即牙釉质、牙本质和牙髓腔等区域)，然后通过引入细粒度的图像级语义特征补充对牙体内部结构的描述，以达到更好的结构分割效果，最后设计基于生成对抗训练方式的结构感知模块，通过鉴别真实结构标注与模型结构预测之间的差异，来激励结构分割网络产生更好的牙体结构分割结果。

8、步骤5.定义牙体结构修复网络，使用步骤2中的tsd数据集获取牙体实例切片及其异常结构标注训练扩散模型中的噪声预测网络。依据步骤4中结构分割结果中的异常结构掩码，对前向扩散的正常结构和反向扩散的异常结构进行图像合成，以达到高质量的牙体结构修复效果。采用隐式模型加速修复速度，同时在修复过程中使用重复回退采样来消除加速修复过程中出现的不和谐情况。

9、步骤6.划定龋病侵蚀程度分级线。

10、首先使用步骤4中的结构化分割网络对牙体实例进行第一次结构分割，旨在获取填充材料等异常结构区域的掩码。

11、然后根据该掩码使用步骤5中的牙体结构修复网络进行异常结构修复，将修复好的牙实例图像还原到原全景图像中再次送入结构化分割网络中完成第二次结构分割。最后，在分割结果中的牙本质结构上划定出内外1/3分级线，作为龋病程度的分类决策边界。

12、步骤7.分类龋坏病灶程度，根据步骤3中的龋病分割网络进行全景片中的龋齿检测，获得该检出病变对应的牙体实例，判断该检出病变在牙实例中按照步骤6划定出的程度分级线区域内的最深处落点，得到龋坏病变的精确分类结果。

13、步骤1所述的dc1000数据集和tsd数据集所使用的1000张全景图像为浙江省人民医院口腔科芬兰普兰梅卡系列x射线机所拍摄的曲面断层片，全景图像素尺寸为2943*1435。其中标注的dc1000数据集包含浅、中、深7500多个龋坏病灶，标注的tsd数据集则包括这1000张全景图像上约3万多颗牙体实例及其对应的结构。

14、步骤2所述的数据处理，具体实现如下：

15、训练阶段的数据处理是将dc1000的训练集进行裁剪，形成若干384*384大小的全景切片，选择其中包含龋病的区域进行训练，训练前对全景切片样本进行亮度随机改变、切片水平翻转、对比度调整来进行数据增强，以增强龋病识别网络的泛化能力。

16、测试阶段则先提取龋病可能出现的龋病区域范围，裁剪得到1536*768的中心口腔位置的待测图像。对每张待测图像按照50％重复占比裁剪出同样为384*384大小的全景切片进行龋病预测。

17、将tsd数据集中的全景图像进行裁剪，得到1864*1063的牙体区域。其中使用结构化coco格式作为结构体标注。使用连通域方法切割牙体实例确定牙釉质和牙本质的分界线，在牙本质结构上通过先后叠加牙髓腔和异常结构掩码，形成最终的结构化的分割掩码图，用于监督结构化分割网络的训练。

18、步骤3所述的龋病分割网络利用unet结构实现对全景图像中的龋病区域的分割检测。利用resnet34作为编码器，卷积过程进行四次下采样后进行特征解码，采用残差连接进行高低级语义特征融合以实现更完整的龋病分割，龋病分割网络损失函数lseg定义如下：

19、

20、其中，xi为包含龋病的牙体切片图像，f(xi)为龋病分割网络对全景切片图像xi的分割预测结果，yi为全景切片图像xi对应的龋齿病变标注。lbce表示二分类损失函数，ldce表示dice损失函数。

21、步骤4所述的结构化分割网络，首先利用maskrcnn网络进行牙体实例分割，具体的利用resnet50编码器构成的fpn网络进行候选区域特征映射，采用区域候选框网络生成牙体实例的候选框，根据候选框从特征映射中进行感兴趣区域对齐以提取牙体实例特征，候选框定位损失lrpn定义如下：

22、

23、其中，n’为训练过程为每张全景图像预设的候选框个数，pi为第i个候选框内图像部分作为牙体实例的置信度，ti为描述的候选框信息，和分别表示该候选框对应牙体实例的前景类别及位置。利用ti所描述的候选框获取图像级细粒度特征，与来自fpn网络的特征映射进行特征融合，得到预测的结构分割掩码的过程描述如下：

24、

25、其中，为候选框ti对应的特征映射中对应层的特征图，i为三通道全景图像，segm(·)表示多分类分割头，roialign(·)和encoder(·)分别为兴趣区域对齐操作和用于提取图像级特征的微型unet网络，将图像级特征与特征映射对齐后获得的结果进行对应元素累加，完成特征融合，实现图像级细粒度特征对来自特征映射的高层语义特征的牙体结构信息补充。

26、最后，将整个化实例分割网络的预测过程作为一个结构分割掩码生成器，并通过构建一个判别器来实现对所分割出的结构分割掩码与该牙体实例对应的真实结构掩码进行分类，形成生成对抗目标函数如下所示：

27、

28、其中，g(·)和d(·)分别代表结构化的实例分割网络和针对性设计的判别网络，结构分割掩码等价为g(i)。通过迭代训练的方式分别优化上述目标函数，训练判别器时最大化该目标函数，能够使得判别网络去识别出预测的结构分割掩码和真实结构掩码间的特征差异，使得再训练生成器时最小化目标函数促使结构化的实例分割网络产生更完整的结构掩码预测。

29、步骤5所述的牙体结构修复网络，是基于去噪扩散概率模型设计的图像重建方法。去噪概率模型从纯高斯分布的一个采样，通过多个时间步去噪生成图像。使用unet网络对特定时间步的待去噪图像进行图像中噪声分布的预测，根据重参数化技巧及变分法，得到模型进行噪声分布预测的近似优化目标函数如下：

30、

31、其中，x0为初始牙齿实例图像，t为扩散过程中的当前时间步，为加噪系数αt在时间步t时的累乘值，∈和∈θ分别为采样到的高斯噪声和网络对特定时间按步图像上的噪声预测。通过加噪系数αt和噪声预测模型∈θ(·)可以实现基于扩散模型的图像修复，根据预测的结构分割掩码或真实结构掩码中的异常结构区域maskabn进行逐时间步的图像合并，合并修复过程描述如下：

32、xt-1＝(1-maskabn)·a(xt-1|x0)+maskabn·pθ(xt-1|xt)   (公式6

33、其中，q(xt-1|x0)描述为初始牙齿实例图像x0的加噪采样过程描述为时间步t时对带噪牙齿图像xt根据噪声预测模型∈θ(·)的采样结果进行的一次去噪过程。在去噪扩散概率模型进行牙体结构修复的基础上，进一步提出使用隐式模型加快图像修复速度的方法。取扩散步长的一个子序列τ进行反向采样，去噪过程采用如下形式：

34、

35、其中，为τ时间步序列下的一个子采样带噪图像切片，式7中第一项指对应还原生成的图像切片，第二项为时间步τi预测得到的噪声分布，表示对应的子序列加噪幅度的调控因子。通过子时间步序列进行跳跃采样以加快图像修复的速度。最后，通过使用回退重复采样的方式来实现更加和谐的牙体结构修复。在修复扩散的逆向采样过程中进行到时间步τi-1后，对逆向采样出的带噪牙齿图像进行正向加噪，根据如下方式得到τi时间步下的带噪牙齿图像：

36、

37、式中，r为重复回退次数，为τi-1时间步时的加噪幅度，回退后的切片图像经过上述去噪过程得到新的去噪牙齿图像重复采样计数r到达指定重复次数r，图像修复过程进行到下一个子时间步τi-2的去噪采样中。将修复好的牙齿实例图像还原到原全景图像中生成不带异常结构的全景图像。

38、在步骤6中对完成结构化修复的全景图像进行二次牙体实例结构化分割，预测得到不带异常区域的结构分割掩码。根据结构分割掩码中的牙本质及牙髓腔轮廓，画定若干条垂直牙髓腔轮廓且从牙髓轮廓边界指向牙本质外边界轮廓的分级向量，在分级向量上根据公式9所示方式确定出一系列中间轮廓的坐标：

39、

40、其中，oj是牙髓腔轮廓上的坐标点，是以oj为起始坐标，垂直该点处的牙髓轮廓线，并以垂线交牙本质外轮廓交点坐标处的外法向量；s为步长因子，通过设置该步长因子获得牙本质内外1/3轮廓坐标构成最终的程度分级线。

41、步骤7所述的分类过程，通过将步骤3所得的龋坏分割结果在步骤6中划定出的分级线构成的侵蚀程度区域内进行落点判断，根据落点最深的程度区域作为该龋坏病灶最终的分类结果。

42、本发明的有益效果如下：

43、本发明基于牙体修复及结构化分割实现对龋病程度的分类。本方法利用结构化分割网络完成对全景图像中的牙体实例分割，同时对牙体内部结构的分割。然后利用牙体结构修复网络，对存在异常牙体结构区域进行牙体重建，使牙实例能够被分割出正常的牙体结构。本发明结合牙体结构分割及龋病检测联合完成对龋病的分类，并严格按照国际龋齿分类和管理系统对牙齿表面的放射学分类标准规定进行分类。该方法通过解耦龋病分类过程，联合多任务学习，确定出分类边界，使得到的龋病程度分类结果具有更高的准确度及可解释性。