一种基于深度学习的自动确定基牙方法、系统和电子设备与流程

1.本发明涉及口腔影像分析技术领域，尤其涉及一种基于深度学习的自动确定基牙方法、系统和电子设备。


背景技术：

2.随着经济的飞速发展，人民的生活水平也逐渐提高，越来越多的人们开始关注牙齿的健康问题。同样，牙齿的健康情况也决定了人们的生活质量，并且随着年龄的增长，逐渐会出现牙齿缺失的问题。缺失牙不仅会对生活造成不便也很大程度的影响了面部的美观，对于这一问题，目前有三种口腔修复方案，分别为活动义齿、固定义齿和种植义齿。
3.其中，固定义齿需要把缺失牙周边的天然牙磨小用于搭桥，种植义齿需要将种植体打入到颌骨中，这两种修复方式除了花费的费用较高之外，也对患者的口腔状况要求较高，很多老年人的口腔状况并不能支持这两种修复方式。因此，活动义齿成为了最广泛的牙齿缺失修复方式。由于每个人牙齿的缺失情况不尽相同，那么设计相应的局部活动义齿的方案也多种多样，但是在设计局部活动义齿方案之前都需要确定哪些牙齿可以作为基牙。因此准确的找出基牙对于设计局部活动义齿至关重要。现有的确定基牙都是通过医生人工确定的，且需要进行大量检查才能更准确地确定出基牙，效率低，且会增加患者的医疗成本。


技术实现要素：

4.本发明所要解决的技术问题是针对现有技术的不足，提供了一种基于深度学习的自动确定基牙方法、系统和电子设备。
5.本发明的一种基于深度学习的自动确定基牙方法的技术方案如下：
6.获取目标用户的口腔曲面断层全景片；
7.对口腔曲面断层全景片进行数据增强操作；
8.利用训练好的第一网络模型对经数据增强操作的口腔曲面断层全景片进行牙齿分割和牙位识别，得到待修复牙齿的牙位相邻的每个牙位的牙齿的图像；
9.利用训练好的第二网络模型对所述待修复牙齿的牙位相邻的每个牙位的牙齿的图像进行识别，确定所述待修复牙齿的牙位相邻的每个牙位的牙齿的病变情况；
10.根据所述待修复牙齿的牙位相邻的每个牙位的牙齿的病变情况，确定所述待修复牙齿的牙位相邻的每个牙位的牙齿的健康得分；
11.将所述待修复牙齿的牙位相邻的健康得分较高的牙位的牙齿确定为待修复牙齿对应的基牙。
12.本发明的一种基于深度学习的自动确定基牙方法的有益效果如下：
13.能够快速且准确地确定待修复牙齿对应的基牙，既能节省医疗资源，还能降低用户的医疗成本。
14.在上述方案的基础上，本发明的一种基于深度学习的自动确定基牙方法还可以做
如下改进。
15.进一步，所述训练好的第一网络模型的获取过程包括：
16.利用resnext替代mask r-cnn网络中的resnet或者vgg网络，得到优化后的mask r-cnn网络；
17.基于第一样本集对所述优化后的mask r-cnn网络进行训练，得到所述训练好的第一网络模型。
18.进一步，所述训练好的第二网络模型的获取过程包括：
19.基于第二样本集对yolov5网络进行进行训练，得到所述训练好的第二网络模型。
20.进一步，对口腔曲面断层全景片进行数据增强操作，包括：
21.对所述口腔曲面断层全景片依次进行水平翻转、归一化处理、标准化处理、随机调整对比度、随机调整亮度和直方图均衡化。
22.本发明的一种基于深度学习的自动确定基牙系统的技术方案如下：
23.包括获取模块、增强模块、第一识别模块、第二识别模块、得分模块和确定模块；
24.所述获取模块用于：获取目标用户的口腔曲面断层全景片；
25.所述增强模块用于：对口腔曲面断层全景片进行数据增强操作；
26.所述第一识别模块用于：利用训练好的第一网络模型对经数据增强操作的口腔曲面断层全景片进行牙齿分割和牙位识别，得到待修复牙齿的牙位相邻的每个牙位的牙齿的图像；
27.所述第二识别模块用于：利用训练好的第二网络模型对所述待修复牙齿的牙位相邻的每个牙位的牙齿的图像进行识别，确定所述待修复牙齿的牙位相邻的每个牙位的牙齿的病变情况；
28.所述得分模块用于：根据所述待修复牙齿的牙位相邻的每个牙位的牙齿的病变情况，确定所述待修复牙齿的牙位相邻的每个牙位的牙齿的健康得分；
29.所述确定模块用于：将所述待修复牙齿的牙位相邻的健康得分较高的牙位的牙齿确定为待修复牙齿对应的基牙。
30.本发明的一种基于深度学习的自动确定基牙系统的有益效果如下：
31.能够快速且准确地确定待修复牙齿对应的基牙，既能节省医疗资源，还能降低用户的医疗成本。
32.在上述方案的基础上，本发明的一种基于深度学习的自动确定基牙系统还可以做如下改进。
33.进一步，还包括第一训练模块，所述第一训练模块用于：
34.利用resnext替代mask r-cnn网络中的resnet或者vgg网络，得到优化后的mask r-cnn网络；
35.基于第一样本集对所述优化后的mask r-cnn网络进行训练，得到所述训练好的第一网络模型。
36.进一步，还包括第二训练模块，所述第二训练模块用于：
37.基于第二样本集对yolov5网络进行进行训练，得到所述训练好的第二网络模型。
38.进一步，所述增强模块具体用于：
39.对所述口腔曲面断层全景片依次进行水平翻转、归一化处理、标准化处理、随机调
整对比度、随机调整亮度和直方图均衡化。
40.本发明的一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行上述任一项所述的一种基于深度学习的自动确定基牙方法。
41.本发明的一种电子设备，包括处理器和上述的存储介质，所述处理器执行所述存储介质中的指令。
附图说明
42.图1为本发明实施例的一种基于深度学习的自动确定基牙方法的流程示意图；
43.图2为本发明实施例的一种基于深度学习的自动确定基牙系统的结构示意图。
具体实施方式
44.如图1所示，本发明实施例的一种基于深度学习的自动确定基牙方法，包括如下步骤：
45.s1、获取目标用户的口腔曲面断层全景片；
46.口腔曲面断层全景片中可以显示上下颌骨、全口牙齿、上颌窦及颞下颌关节等解剖结构，能较全面的展示目标用户的口腔情况。
47.s2、对口腔曲面断层全景片进行数据增强操作，具体地：
48.对口腔曲面断层全景片依次进行水平翻转、归一化处理、标准化处理、随机调整对比度、随机调整亮度和直方图均衡化。
49.s3、利用训练好的第一网络模型对经数据增强操作的口腔曲面断层全景片进行牙齿分割和牙位识别，得到待修复牙齿的牙位相邻的每个牙位的牙齿的图像；
50.s4、利用训练好的第二网络模型对待修复牙齿的牙位相邻的每个牙位的牙齿的图像进行识别，确定待修复牙齿的牙位相邻的每个牙位的牙齿的病变情况；
51.其中，病变情况包括牙体龋性损坏、根尖周异常、牙髓异常、牙龈异常、牙周及牙槽骨异常等其中的至少一种。
52.s4、根据待修复牙齿的牙位相邻的每个牙位的牙齿的病变情况，确定待修复牙齿的牙位相邻的每个牙位的牙齿的健康得分；
53.可预先设置待修复牙齿的牙位相邻的每个牙位的牙齿的健康总分，每出现上述“牙体龋性损坏、根尖周异常、牙髓异常、牙龈异常、牙周及牙槽骨异常”等多种类型病变中的任一种情况，则从健康总分中的扣除1分，出现两种情况，则扣除2分，由此得到待修复牙齿的牙位相邻的每个牙位的牙齿的健康得分；
54.s5、将待修复牙齿的牙位相邻的健康得分较高的牙位的牙齿确定为待修复牙齿对应的基牙，其中，待修复牙齿指：需要制作活动义齿的牙齿。
55.在另外一个实施例中，待修复牙齿的牙位相邻的每个牙位的牙齿，每出现上述“牙体龋性损坏、根尖周异常、牙髓异常、牙龈异常、牙周及牙槽骨异常”等多种类型病变中的任一种情况，则不健康得分增加1分，出现两种情况，则不健康得分增加2分，此时，将待修复牙齿的牙位相邻的不健康得分较低的牙位的牙齿确定为待修复牙齿对应的基牙。
56.本发明能够快速且准确地确定待修复牙齿对应的基牙，既能节省医疗资源，还能降低用户的医疗成本。
57.可选地，在上述技术方案中，训练好的第一网络模型的获取过程包括：
58.利用resnext替代mask r-cnn网络中的resnet或者vgg网络，得到优化后的mask r-cnn网络；
59.基于第一样本集对优化后的mask r-cnn网络进行训练，得到训练好的第一网络模型。
60.其中，第一样本集中样本为：指已经进行牙齿分割和牙位标注的全景片数据集。
61.backbone：本发明选择resnext用代替mask r-cnn中resnet或者vgg等卷积网络，在backbone中，是通过一系列的卷积操作提取全景片的特征，以得到相应的特征图。本发明选择用resnext的原因是resnext吸收了vgg/resnet的堆叠重复网络层的优点以及inception家族的split-transform-merge策略。resnext模块包含一系列转换，每个转换都基于一部分特征图，最后这些转换的输出通过相加进行融合。除了网络层宽度和深度外，resnext单元中引入了一种新的维度称为“cardinality”，它代一个resnext单元内相同的转换的个数，即分组的大小。在其它条件不变的情况下，增大cardinality的大小可以增大分类的准确率。经过backbone提取特征后，会得到大小尺度不同的特征图。
62.fpn(feature pyramid network)：fpn的提出是为了将backbone得到的特征图进行更好的融合以生成特征金字塔，大多数网络模型会直接使用最后一层的特征图，虽然经过一系列卷积的最后一层特征图有着更好的语义信息，但是其分辨率和位置特征信息都比较低，容易忽略掉在原全景片中比较小的物体。因此，fpn的作用就是融合不同分辨率的特征图，从而可以获取到各个阶段的特征，减少漏检的情况。
63.rpn(region proposal network)：在经过fpn网络得到的融合特征图上的像素点上产生一系列的roi(感兴趣区域)，从而获得多个候选roi，rpn网络的作用就是对候选roi进行二值分类(前景或后景)和回归，过滤到一部分候选的roi。
64.proposal layer：对rpn生成的roi进行过滤，并且按照前景得分进行排序，再用nms来过滤掉重复的框。
65.roi align：roi align层是在rol pooling的基础上做出了轻微的改动。roi align放弃了直接取整的方法，选择应用双线性插值来得到固定四个点坐标的像素值，使得roi pooling中不连续的操作变得连续起来。roi align的主要作用就是将proposal layer网络得到的roi统一成相同的尺寸以用于后续的多分类和回归操作。
66.mask：采用fcn(fully convolution network)来对每一个roi进行mask的生成操作。将分类的结果和mask进行结合就能得到每颗牙齿的实例分割结果和牙位的识别。
67.牙齿分为以下53个类别：11-18、21-28、31-38、41-48共32颗恒牙，51-55、61-65、71-75、81-85共20颗乳牙以及多生牙，经过训练好的第一网络模型识别后，可以得到患者口腔内现存牙齿的牙位和缺失牙位，即得到待修复牙齿的牙位相邻的每个牙位的牙齿的图像。
68.可选地，在上述技术方案中，训练好的第二网络模型的获取过程包括：
69.基于第二样本集对yolov5网络进行进行训练，得到训练好的第二网络模型。
70.其中，第二样本集中样本为：和第一样本集中样本中的全景片相同，只不过标注是对应的牙齿病理情况。
71.yolov5在图像输入时也对图像进行了mosaic数据增强操作并且在进行推理时采
用了自适应缩放操作，该方法可根据输入图像尺寸大小的不同进行自适应填充。其次，还设计了位于网络最前端的focus结构，该结构最主要的内容是对输入数据进行切片操作，可有效提升图片特征提取的质量。yolov5设计了两种与yolov4结构中使用的相同的csp网络结构，并且将其用于backbone层和neck层。neck层采用了fpn+pan(perceptual adversarial network)结合的方式，不同的是yolov4中使用的都是普通卷积操作而yolov5使用了新设计的csp结构，这也增强了网络对特征的融合能力。在输出端，yolov5使用的是giou_loss做为bounding box的损失函数并且在进行非最大值抑制时使用了加权非最大值抑制，这在不增加计算资源的情况下对检测图像中一些有重叠的目标检测效果较好。yolov5根据网络结构的深度和宽度将其分为由小到大的四个不同版本：yolov5s、yolov5m、yolov5x、yolov5l，本发明为了同时兼顾准确度与速率选择了yolov5m。
72.通过训练好的第二网络模型可以识别中哪些区域出现了牙体龋性损坏、根尖周异常、牙髓异常、牙龈异常、牙周及牙槽骨异常这些疾病，获取经过第二网络模型推理得到的bbox的位置坐标和牙齿疾病的分类结果，并将其经过第一网络模型推理得到的结果进行结合，就可以得到该患者的牙位缺失情况以及牙齿的疾病情况，由此能够确定待修复牙齿的牙位相邻的每个牙位的牙齿的病变情况。
73.本发明基于目标用户的口腔曲面断层全景片，通过0.5s就可以快速且准确地确定待修复牙齿对应的基牙。由于在牙齿分割和牙位识别的模型即训练好的第一网络模型，采用了resnext作为backbone,resnext为牙位的识别提供了丰富的位置信息特征，使得网络模型在能够在关注全局和局部的信息特征的同时减少计算量，使得分类的准确率得到提升。同时本发明引入了yolov5模型即训练好的第二网络模型进行牙齿疾病的检测，将这两部分结合就可以准确的得到患者的缺失牙位和患病牙齿，在通过规则处理就完成自动为患者确定基牙。
74.处理规则为：可预先设置待修复牙齿的牙位相邻的每个牙位的牙齿的健康总分，每出现上述“牙体龋性损坏、根尖周异常、牙髓异常、牙龈异常、牙周及牙槽骨异常”等多种类型病变中的任一种情况，则从健康总分中的扣除1分，出现两种情况，则扣除2分，由此得到待修复牙齿的牙位相邻的每个牙位的牙齿的健康得分；
75.或者，处理规则为：待修复牙齿的牙位相邻的每个牙位的牙齿，每出现上述“牙体龋性损坏、根尖周异常、牙髓异常、牙龈异常、牙周及牙槽骨异常”等多种类型病变中的任一种情况，则不健康得分增加1分，出现两种情况，则不健康得分增加2分，此时，将待修复牙齿的牙位相邻的不健康得分较低的牙位的牙齿确定为待修复牙齿对应的基牙，可以在节省医疗资源、减少患者的额外经济开销。
76.在上述各实施例中，虽然对步骤进行了编号s1、s2等，但只是本技术给出的具体实施例，本领域的技术人员可根据实际情况调整s1、s2等的执行顺序，此也在本发明的保护范围内，可以理解，在一些实施例中，可以包含如上述各实施方式中的部分或全部。
77.如图2所示，本发明实施例的一种基于深度学习的自动确定基牙系统200，包括获取模块210、增强模块220、第一识别模块230、第二识别模块240、得分模块250和确定模块260；
78.获取模块210用于：获取目标用户的口腔曲面断层全景片；
79.增强模块220用于：对口腔曲面断层全景片进行数据增强操作；
80.第一识别模块230用于：利用训练好的第一网络模型对经数据增强操作的口腔曲面断层全景片进行牙齿分割和牙位识别，得到待修复牙齿的牙位相邻的每个牙位的牙齿的图像；
81.第二识别模块240用于：利用训练好的第二网络模型对待修复牙齿的牙位相邻的每个牙位的牙齿的图像进行识别，确定待修复牙齿的牙位相邻的每个牙位的牙齿的病变情况；
82.得分模块250用于：根据待修复牙齿的牙位相邻的每个牙位的牙齿的病变情况，确定待修复牙齿的牙位相邻的每个牙位的牙齿的健康得分；
83.确定模块260用于：将待修复牙齿的牙位相邻的健康得分较高的牙位的牙齿确定为待修复牙齿对应的基牙。
84.本发明能够快速且准确地确定待修复牙齿对应的基牙，既能节省医疗资源，还能降低用户的医疗成本。
85.可选地，在上述技术方案中，还包括第一训练模块，第一训练模块用于：
86.利用resnext替代mask r-cnn网络中的resnet或者vgg网络，得到优化后的mask r-cnn网络；
87.基于第一样本集对优化后的mask r-cnn网络进行训练，得到训练好的第一网络模型。
88.可选地，在上述技术方案中，还包括第二训练模块，第二训练模块用于：
89.基于第二样本集对yolov5网络进行进行训练，得到训练好的第二网络模型。
90.可选地，在上述技术方案中，增强模块具体用于：
91.对口腔曲面断层全景片依次进行水平翻转、归一化处理、标准化处理、随机调整对比度、随机调整亮度和直方图均衡化。
92.上述关于本发明的一种基于深度学习的自动确定基牙系统200中的各参数和各个单元模块实现相应功能的步骤，可参考上文中关于一种基于深度学习的自动确定基牙方法的实施例中的各参数和步骤，在此不做赘述。
93.本发明实施例的一种存储介质，存储介质中存储有指令，当计算机读取指令时，使计算机执行上述任一项的一种基于深度学习的自动确定基牙方法。
94.本发明实施例的一种电子设备，包括处理器和上述的存储介质，处理器执行存储介质中的指令，其中，电子设备可以选用电脑、手机等。
95.所属技术领域的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。
96.因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
97.可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是一一但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram),只读存储器(rom)、可擦式可编程只读存储
器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
98.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。