基于深度学习的牙位识别和牙齿分割方法及系统与流程

1.本发明属于牙齿图像处理技术领域，尤其涉及一种基于深度学习的牙位识别和牙齿分割方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.在实际操作中，需要通过x射线拍摄完整的口腔全景片后才能进行牙位的识别，这样做不仅会增加用户的开销也会对身体有轻微的伤害。现有的利用人工智能处理口腔图像的技术大多都只是利用预训练好的神经网络模型进行推理得到牙齿位置的结果，但发明人发现，自然光下拍摄角度不佳或不清晰的口腔图像，无法只是通过网络模型推理就能得到准确的分割和识别结果。


技术实现要素：

4.为了解决上述背景技术中存在的技术问题，本发明提供一种基于深度学习的牙位识别和牙齿分割方法及系统，其能够高效准确的识别出自然光口腔图像中牙齿的位置并完成牙齿的分割，并且对牙齿的识别和分割结果进一步修正。
5.为了实现上述目的，本发明采用如下技术方案：
6.本发明的第一个方面提供一种基于深度学习的牙位识别和牙齿分割方法。
7.一种基于深度学习的牙位识别和牙齿分割方法，其包括：
8.提取自然光口腔图像的全局和局部特征，得到大小尺度不同的特征图；
9.融合所有尺度的特征图，生成特征金字塔，确定出所有候选的感兴趣区域；
10.对候选的感兴趣区域依次进行过滤和归一化；
11.将归一化的感兴趣区域分别经预先训练的分类模型和实例分割处理，得到每颗牙齿的牙位初步识别结果和实例分割初步结果；
12.对每颗牙齿的实例分割初步结果进行非极大值抑制处理，以确保每颗牙有且只有一颗；
13.根据非极大值抑制处理后的牙齿质心，去除牙位初步识别结果中重复牙位；
14.对去重的牙位进行质心排序，得到最终的牙位识别结果和牙齿分割结果。
15.作为一种实施方式，得到每颗牙齿的牙位初步识别结果的过程为：
16.将归一化的感兴趣区域经预先训练的分类模型，得到自然光口腔图像的类别；其中，所述自然光口腔图像的类别包括上颌图像、下颌图像和正常牙齿咬合图像；
17.根据自然光口腔图像的类别确定出牙位初步识别结果。
18.作为一种实施方式，对候选的感兴趣区域依次进行过滤归一化的过程为：
19.对所有候选的感兴趣区域进行二值分类和回归，确定保留的感兴趣区域；
20.按照前景得分，对保留的感兴趣区域进行排序，再采用非极大值抑制方法过滤重
复的感兴趣区域，并将剩余的感兴趣区域的大小进行归一化。
21.作为一种实施方式，去重后牙位的质心排序形式由自然光口腔图像的类别决定；其中，所述自然光口腔图像的类别包括上颌图像、下颌图像和正常牙齿咬合图像。
22.作为一种实施方式，若自然光口腔图像的类别为上颌图像，则每颗牙齿的质心坐标排序是一条开口向下的抛物线，以此确定该上颌图像的每颗牙齿位置；
23.作为一种实施方式，若自然光口腔图像的类别为下颌图像，则每颗牙齿的质心坐标排序是一条开口向上的抛物线，以此确定该下颌图像的每颗牙齿位置；
24.作为一种实施方式，若自然光口腔图像的类别为正常牙齿咬合图像，则每颗牙齿的质心纵坐标来确定每颗牙齿是属于上颌牙还是下颌牙，再通过每颗牙齿的质心横坐标由小到大的顺序确定出上颌牙及下颌牙的水平排列顺序。
25.作为一种实施方式，通过每颗牙齿的质心坐标以纠正牙位识别错位。
26.本发明的第二个方面提供一种基于深度学习的牙位识别和牙齿分割系统。
27.一种基于深度学习的牙位识别和牙齿分割系统，其包括：
28.特征提取模块，其用于提取自然光口腔图像的全局和局部特征，得到大小尺度不同的特征图；
29.候选感兴趣区域生成模块，其用于融合所有尺度的特征图，生成特征金字塔，确定出所有候选的感兴趣区域；
30.感兴趣区域过滤归一化模块，其用于对候选的感兴趣区域依次进行过滤和归一化；
31.分类分割初步结果获取模块，其用于将归一化的感兴趣区域分别经预先训练的分类模型和实例分割处理，得到每颗牙齿的牙位初步识别结果和实例分割初步结果；
32.非极大值抑制处理模块，其用于对每颗牙齿的实例分割初步结果进行非极大值抑制处理，以确保每颗牙有且只有一颗；
33.重复牙位去除模块，其用于根据非极大值抑制处理后的牙齿质心，去除牙位初步识别结果中重复牙位；
34.质心排序模块，其用于对去重的牙位进行质心排序，得到最终的牙位识别结果和牙齿分割结果。
35.作为一种实施方式，在所述分类分割初步结果获取模块中，得到每颗牙齿的牙位初步识别结果的过程为：
36.将归一化的感兴趣区域经预先训练的分类模型，得到自然光口腔图像的类别；其中，所述自然光口腔图像的类别包括上颌图像、下颌图像和正常牙齿咬合图像；
37.根据自然光口腔图像的类别确定出牙位初步识别结果。
38.作为一种实施方式，在感兴趣区域过滤归一化模块中，对候选的感兴趣区域依次进行过滤归一化的过程为：
39.对所有候选的感兴趣区域进行二值分类和回归，确定保留的感兴趣区域；
40.按照前景得分，对保留的感兴趣区域进行排序，再采用非极大值抑制方法过滤重复的感兴趣区域，并将剩余的感兴趣区域的大小进行归一化。
41.作为一种实施方式，去重后牙位的质心排序形式由自然光口腔图像的类别决定；其中，所述自然光口腔图像的类别包括上颌图像、下颌图像和正常牙齿咬合图像。
42.作为一种实施方式，若自然光口腔图像的类别为上颌图像，则每颗牙齿的质心坐标排序是一条开口向下的抛物线，以此确定该上颌图像的每颗牙齿位置。
43.作为一种实施方式，若自然光口腔图像的类别为下颌图像，则每颗牙齿的质心坐标排序是一条开口向上的抛物线，以此确定该下颌图像的每颗牙齿位置。
44.作为一种实施方式，若自然光口腔图像的类别为正常牙齿咬合图像，则每颗牙齿的质心纵坐标来确定每颗牙齿是属于上颌牙还是下颌牙，再通过每颗牙齿的质心横坐标由小到大的顺序确定出上颌牙及下颌牙的水平排列顺序。
45.作为一种实施方式，通过每颗牙齿的质心坐标以纠正牙位识别错位。
46.本发明的第三个方面提供一种计算机可读存储介质。
47.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于深度学习的牙位识别和牙齿分割方法中的步骤。
48.本发明的第四个方面提供一种电子设备。
49.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于深度学习的牙位识别和牙齿分割方法中的步骤。
50.与现有技术相比，本发明的有益效果是：
51.本发明对自然光口腔图像进行处理，提取全局和局部特征后进行类别识别，且对每颗牙齿的实例分割初步结果和牙位识别初步结果经过非极大值抑制处理以及牙齿质心位置判断，去除牙位初步识别结果中重复牙位，再进行质心排序，得到最终的牙位识别结果和牙齿分割结果，解决了用户拍摄的口腔图像出现拍摄角度不佳、图像不够清晰不能准确的进行牙位识别和牙齿分割的问题，提高了牙位识别和牙齿分割的准确性。
52.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
53.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
54.图1是本发明实施例的基于深度学习的牙位识别和牙齿分割方法流程图；
55.图2是本发明实施例的后处理流程图；
56.图3是本发明实施例的正常咬合图像的牙位识别和牙齿分割的最终结果；
57.图4是本发明实施例的上颌图像的牙位识别和牙齿分割的最终结果；
58.图5是本发明实施例的下颌图像的牙位识别和牙齿分割的最终结果；
59.图6是本发明实施例的上颌口内照牙位识别和牙齿分割的初步结果；
60.图7是本发明实施例的经过后处理将错误的牙位纠正后的结果；
61.图8是本发明实施例的下颌图像牙位识别和牙齿分割的初步结果；
62.图9是本发明实施例的经过后处理将错误的牙位纠正后的结果；
63.图10是本发明实施例的正常咬合图像牙位识别和牙齿分割的初步结果；
64.图11是本发明实施例的经过后处理将错误的牙位纠正后的结果。
具体实施方式
65.下面结合附图与实施例对本发明作进一步说明。
66.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
67.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
68.实施例一
69.本实施例提供了一种基于深度学习的牙位识别和牙齿分割方法，其具体包括如下步骤：
70.步骤1：提取自然光口腔图像的全局和局部特征，得到大小尺度不同的特征图。
71.根据图1可知，在步骤1提取自然光口腔图像的全局和局部特征之前，还包括数据采集和数据处理步骤。
72.其中，数据采集步骤为：采集用户在自然光下的口腔图像。
73.数据预处理步骤为：对采集到的自然光口腔图像进行水平翻转、归一化处理、标准化处理、随机调整对比度、亮度、直方图均衡化等数据增强操作。
74.本实施例采用主干网提取自然光口腔图像的全局和局部特征。其中，选择用swin_transformer代替mask_rcnn中resnet或者vgg等卷积网络。在主干网中，是通过一系列的卷积操作提取口内照片的特征，以得到相应的特征图。本发明选择用swin_transformer的原因是swin_transformer创新性的引入了滑动窗口机制，将注意力计算限制在一个窗口中，不但能够引入卷积操作的局部性，还可以大幅度的节省计算量，也能让模型能够学习到跨窗口的信息。同时通过下采样层，逐渐增大感受野，使得注意力机制能够注意到全局的特征。选用swin_transformer作为骨干网在节省计算量的同时也能够关注全局和局部的信息特征。经过主干网提取特征后，会得到大小尺度不同的特征图。
75.步骤2：融合所有尺度的特征图，生成特征金字塔，确定出所有候选的感兴趣区域。
76.在步骤2中，采用fpn(feature pyramid network)将骨干网得到的特征图进行更好的融合以生成特征金字塔，大多数网络模型会直接使用最后一层的特征图，虽然经过一系列卷积的最后一层特征图有着更好的语义信息，但是其分辨率和位置特征信息都比较低，容易忽略掉在原口内照片中比较小的物体。因此，fpn的作用就是融合不同分辨率的特征图，从而可以获取到各个阶段的特征，减少漏检的情况。
77.步骤3：对候选的感兴趣区域依次进行过滤和归一化。
78.其中，对候选的感兴趣区域依次进行过滤归一化的过程为：
79.对所有候选的感兴趣区域进行二值分类和回归，确定保留的感兴趣区域；
80.按照前景得分，对保留的感兴趣区域进行排序，再采用非极大值抑制方法过滤重复的感兴趣区域，并将剩余的感兴趣区域的大小进行归一化。
81.具体地，在经过fpn网络得到的融合特征图上的像素点上产生一系列的roi(感兴趣区域)，从而获得多个候选roi，rpn(region proposal network)网络的作用就是对候选
roi进行二值分类(前景或后景)和回归，过滤到一部分候选的roi。
82.下面采用proposal layer对rpn生成的roi进行过滤，并且按照前景得分进行排序，再用nms(非极大值抑制方法)来过滤掉重复的框。
83.roi align层是在rol pooling的基础上做出了轻微的改动。这是由于roi pooling在池化的过程中进行了两次取整，这导致当把特征图还原到原口内照片时就会出现很大的偏差。但roi align则放弃了这种直接取整的方法，选择应用双线性插值来得到固定四个点坐标的像素值，使得roi pooling中不连续的操作变得连续起来，还原成口内照片的误差就变得更小。roi align的主要作用就是将proposal layer网络得到的roi统一成相同的尺寸以用于后续的多分类和回归操作。
84.步骤4：将归一化的感兴趣区域分别经预先训练的分类模型和实例分割处理，得到每颗牙齿的牙位初步识别结果和实例分割初步结果。
85.在具体实施过程中，得到每颗牙齿的牙位初步识别结果的过程为：
86.将归一化的感兴趣区域经预先训练的分类模型，得到自然光口腔图像的类别；其中，所述自然光口腔图像的类别包括上颌图像、下颌图像和正常牙齿咬合图像；
87.根据自然光口腔图像的类别确定出牙位初步识别结果。
88.其中，采用fcn(fully convolution network)来对每一个roi进行mask(实例分割)的生成操作。
89.对于输入到本发明的每一张自然光口腔图像，都要通过一个预先训练好的分类模型判断输入的图像是属于上颌、下颌口还是正常咬合。
90.其中，步骤1-步骤4属于图1中的算法处理步骤。
91.经过算法处理步骤，将牙齿分为以下53个类别：11-18、21-28、31-38、41-48共32颗恒牙，51-55、61-65、71-75、81-85共20颗乳牙以及多生牙。
92.下面的步骤5-步骤7属于图1中的后处理步骤，如图2所示。
93.步骤5：对每颗牙齿的实例分割初步结果进行非极大值抑制处理，以确保每颗牙有且只有一颗。
94.本实施例选择使用每颗牙的mask去做nms的原因是因为会存在当用牙齿的检测框做nms时会出现，检测框之间的iou比较高但是实际mask之间的iou比较低的情况，这样可能会多过滤掉某一颗牙齿，但是直接用mask做nms则可以避免这种情况的发生，使得每颗牙有且仅有一颗。
95.步骤6：根据非极大值抑制处理后的牙齿质心，去除牙位初步识别结果中重复牙位。
96.在完成nms后，可以确定每颗牙齿有且仅有一个。但可能会出现不同的牙齿被标注成同一牙位的情况。对于这一问题可以通过以下策略解决，通过计算可以得到出现重复牙位牙齿的质心，比较上述质心的x坐标值和y坐标值则可以对其进行修正，直到预测的结果中不在出现重复的牙位为止。其中，坐标原点就是每一张图片的左上角，以每一张图片的左上角为(0，0)，向左x坐标逐渐增大，向下y坐标逐渐增大。
97.步骤7：对去重的牙位进行质心排序，得到最终的牙位识别结果和牙齿分割结果。上颌图像、下颌图像和正常牙齿咬合图像的最终的牙位识别结果和牙齿分割结果，如图3、图4和图5所示。
98.去重后牙位的质心排序形式由自然光口腔图像的类别决定；其中，所述自然光口腔图像的类别包括上颌图像、下颌图像和正常牙齿咬合图像。
99.若自然光口腔图像的类别为上颌图像，则每颗牙齿的质心坐标排序是一条开口向下的抛物线，以此确定该上颌图像的每颗牙齿位置。
100.如果上颌图像的牙位识别出现错位问题，则可以通过每颗牙齿的质心坐标进行纠正。上颌图像牙位识别和牙齿分割的初步结果如图6所示，经过后处理将错误的牙位纠正后的结果，如图7所示。
101.若自然光口腔图像的类别为下颌图像，则每颗牙齿的质心坐标排序是一条开口向上的抛物线，以此确定该下颌图像的每颗牙齿位置。
102.如果下颌图像的牙位识别出现错位问题，则可以通过每颗牙齿的质心坐标进行纠正。下颌图像牙位识别和牙齿分割的初步结果如图8所示，经过后处理将错误的牙位纠正后的结果，如图9所示。
103.若自然光口腔图像的类别为正常牙齿咬合图像，则每颗牙齿的质心纵坐标来确定每颗牙齿是属于上颌牙还是下颌牙，再通过每颗牙齿的质心横坐标由小到大的顺序确定出上颌牙及下颌牙的水平排列顺序。
104.如果正常咬合图像的牙位识别出现错位问题，则可以通过每颗牙齿的质心坐标进行纠正。正常咬合图像牙位识别和牙齿分割的初步结果如图10所示，经过后处理将错误的牙位纠正后的结果如图11所示。
105.实施例二
106.本实施例提供了一种基于深度学习的牙位识别和牙齿分割系统，其包括：
107.(1)特征提取模块，其用于提取自然光口腔图像的全局和局部特征，得到大小尺度不同的特征图；
108.(2)候选感兴趣区域生成模块，其用于融合所有尺度的特征图，生成特征金字塔，确定出所有候选的感兴趣区域；
109.(3)感兴趣区域过滤归一化模块，其用于对候选的感兴趣区域依次进行过滤和归一化；
110.其中，在感兴趣区域过滤归一化模块中，对候选的感兴趣区域依次进行过滤归一化的过程为：
111.对所有候选的感兴趣区域进行二值分类和回归，确定保留的感兴趣区域；
112.按照前景得分，对保留的感兴趣区域进行排序，再采用非极大值抑制方法过滤重复的感兴趣区域，并将剩余的感兴趣区域的大小进行归一化。
113.(4)分类分割初步结果获取模块，其用于将归一化的感兴趣区域分别经预先训练的分类模型和实例分割处理，得到每颗牙齿的牙位初步识别结果和实例分割初步结果；
114.其中，在所述分类分割初步结果获取模块中，得到每颗牙齿的牙位初步识别结果的过程为：
115.将归一化的感兴趣区域经预先训练的分类模型，得到自然光口腔图像的类别；其中，所述自然光口腔图像的类别包括上颌图像、下颌图像和正常牙齿咬合图像；
116.根据自然光口腔图像的类别确定出牙位初步识别结果。
117.(5)非极大值抑制处理模块，其用于对每颗牙齿的实例分割初步结果进行非极大
值抑制处理，以确保每颗牙有且只有一颗；
118.(6)重复牙位去除模块，其用于根据非极大值抑制处理后的牙齿质心，去除牙位初步识别结果中重复牙位；
119.(7)质心排序模块，其用于对去重的牙位进行质心排序，得到最终的牙位识别结果和牙齿分割结果。
120.其中，去重后牙位的质心排序形式由自然光口腔图像的类别决定；其中，所述自然光口腔图像的类别包括上颌图像、下颌图像和正常牙齿咬合图像。
121.若自然光口腔图像的类别为上颌图像，则每颗牙齿的质心坐标排序是一条开口向下的抛物线，以此确定该上颌图像的每颗牙齿位置。
122.若自然光口腔图像的类别为下颌图像，则每颗牙齿的质心坐标排序是一条开口向上的抛物线，以此确定该下颌图像的每颗牙齿位置。
123.若自然光口腔图像的类别为正常牙齿咬合图像，则每颗牙齿的质心纵坐标来确定每颗牙齿是属于上颌牙还是下颌牙，再通过每颗牙齿的质心横坐标由小到大的顺序确定出上颌牙及下颌牙的水平排列顺序。
124.在具体实施过程中，通过每颗牙齿的质心坐标以纠正牙位识别错位。
125.此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
126.实施例三
127.本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于深度学习的牙位识别和牙齿分割方法中的步骤。
128.实施例四
129.本实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于深度学习的牙位识别和牙齿分割方法中的步骤。
130.本发明是参照本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
131.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。