一种牙齿区域检测方法、装置、设备及存储介质与流程

1.本发明涉及口腔医学影像技术领域，特别是涉及一种牙齿区域检测方法、装置、设备及存储介质。


背景技术：

2.随着社会的发展和进步，人们的生活水平得到了极大的提高，生活方式越来越多元化，这也产生了很多不良生活习惯造成口腔发生问题，人们越来越重视口腔牙齿状况。
3.根据口腔影像可以观察口腔整体结构，进而记录病例资料。口腔医生先对牙齿进行视觉判断，通过眼睛观察牙齿在光源下是否有损伤和颜色的变化，然后通过专用口腔检查仪器检测牙齿的情况，并且结合口腔全景片进行综合分析。虽然口腔影像具备高普适度和低成本的特点，但是还需要医生基于口腔全景片来判断牙齿、牙龈和其他口腔区域。由于人类阅片受情绪和疲劳度影响，长时间的阅片会导致医生的识别效率下降。同时，口腔影像是一种灰度图像，肉眼难以分辨灰度图中目标边缘轮廓不明显的区域。因此目前对口腔整体进行成像并不能让医生快速识别牙齿和口腔其他区域。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种牙齿区域检测方法、装置、设备及存储介质，可以有效得到识别准确和分割清晰的牙齿区域。其具体方案如下：
5.一种牙齿区域检测方法，包括：
6.获取口腔医学影像数据集；所述口腔医学影像数据集包括口腔医学图像和在所述口腔医学图像上标注的口腔医学影像数据；
7.对所述口腔医学影像数据集进行预处理，将预处理后的所述口腔医学影像数据集作为训练样本；
8.构建口腔牙齿预测模型；所述口腔牙齿预测模型包括对图像并行处理的语义分割模型和目标检测模型，还包括用于将所述语义分割模型和所述目标检测模型输出的牙齿区域结果相结合并筛除错误区域的筛选模块；
9.利用所述训练样本对所述口腔牙齿预测模型进行训练；
10.将待测口腔医学图像输入至训练好的所述口腔牙齿预测模型进行识别和分割，输出所述待测口腔医学图像的牙齿区域并进行编码表示。
11.优选地，在本发明实施例提供的上述牙齿区域检测方法中，所述对所述口腔医学影像数据集进行预处理，包括：
12.对所述口腔医学影像数据集进行数据增强处理。
13.优选地，在本发明实施例提供的上述牙齿区域检测方法中，所述对所述口腔医学影像数据集进行预处理，还包括：
14.使用插值方法将所述口腔医学影像数据集中的图像大小调整成统一的尺寸；
15.使用高反差保留算法对调整尺寸后的图像进行处理，得到高反差保留特征；
16.对处理后的图像进行归一化。
17.优选地，在本发明实施例提供的上述牙齿区域检测方法中，所述筛选模块具体用于将所述语义分割模型输出的牙齿区域以及所述目标检测模型输出的牙齿区域检测框和牙齿区域坐标相结合，从结合结果中筛除错误区域以获得所述训练样本的伪标签，并加入未标注的口腔医学影像数据；将所述结合结果中除所述错误区域之外的其他牙齿区域作为筛选出的牙齿区域。
18.优选地，在本发明实施例提供的上述牙齿区域检测方法中，所述口腔牙齿预测模型还包括：用于对所述筛选模块筛选出的牙齿区域进行修正，并更新标注的口腔医学影像数据的修正模块。
19.优选地，在本发明实施例提供的上述牙齿区域检测方法中，所述语义分割模型为包括四个卷积层、四个池化层、四个激活层、四个池化层、四个上采样层和一个输出层的深度学习神经网络模型；所述语义分割模型使用全连接条件随机场；
20.所述目标检测模型为包括十三个卷积层、十五个激活层、四个池化层、两个全连接层和一个输出层的深度学习神经网络模型。
21.优选地，在本发明实施例提供的上述牙齿区域检测方法中，还包括：
22.利用训练好的所述口腔牙齿预测模型对未标注的口腔医学影像进行预测和分析，根据预设规则从预测结果中分析出独立牙齿区域，对独立牙齿区域进行标记。
23.本发明实施例还提供了一种牙齿区域检测装置，包括：
24.数据集获取模块，用于获取口腔医学影像数据集；所述口腔医学影像数据集包括口腔医学图像和在所述口腔医学图像上标注的口腔医学影像数据；
25.数据集预处理模块，用于对所述口腔医学影像数据集进行预处理，将预处理后的所述口腔医学影像数据集作为训练样本；
26.模型构建模块，用于构建口腔牙齿预测模型；所述口腔牙齿预测模型包括对图像并行处理的语义分割模型和目标检测模型，还包括用于将所述语义分割模型和所述目标检测模型输出的牙齿区域结果相结合并筛除错误区域的筛选模块；
27.模型训练模块，用于利用所述训练样本对所述口腔牙齿预测模型进行训练；
28.牙齿区域识别模块，用于将待测口腔医学图像输入至训练好的所述口腔牙齿预测模型进行识别和分割，输出所述待测口腔医学图像的牙齿区域并进行编码表示。
29.本发明实施例还提供了一种牙齿区域检测设备，包括处理器和存储器，其中，所述处理器执行所述存储器中存储的计算机程序时实现如本发明实施例提供的上述牙齿区域检测方法。
30.本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述牙齿区域检测方法。
31.从上述技术方案可以看出，本发明所提供的一种牙齿区域检测方法，包括：获取口腔医学影像数据集；口腔医学影像数据集包括口腔医学图像和在口腔医学图像上标注的口腔医学影像数据；对口腔医学影像数据集进行预处理，将预处理后的口腔医学影像数据集作为训练样本；构建口腔牙齿预测模型；口腔牙齿预测模型包括对图像并行处理的语义分割模型和目标检测模型，还包括用于将语义分割模型和目标检测模型输出的牙齿区域结果相结合并筛除错误区域的筛选模块；利用训练样本对口腔牙齿预测模型进行训练；将待测
口腔医学图像输入至训练好的口腔牙齿预测模型进行识别和分割，输出待测口腔医学图像的牙齿区域并进行编码表示。
32.本发明采集口腔医学影像训练语义分割模型和目标检测模型，将语义分割模型和目标检测模型整合到一个框架之中，采用并行的思想处理口腔医学图像，对于输入的口腔医学影像，语义分割和目标检测模型将同时对图像进行读取和处理，筛选模块将两种模型的输出结果相结合，去除掉错误区域后，可以有效得到识别准确和分割清晰的牙齿区域。基于语义分割模型和目标检测模型的并行处理框架的引入使得图像分割的过程更准确，弥补单模型分割定位不准确的缺陷，减少了阅片过程中的人为干扰因素和对医生专业素养的依赖限制，进一步提高了准确性、一致性和可信度。
33.此外，本发明还针对牙齿区域检测方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。
附图说明
34.为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
35.图1为本发明实施例提供的牙齿区域检测方法的流程图；
36.图2为本发明实施例提供的牙齿区域检测装置的结构示意图。
具体实施方式
37.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.本发明提供一种牙齿区域检测方法，如图1所示，包括以下步骤：
39.s101、获取口腔医学影像数据集；口腔医学影像数据集包括口腔医学图像和在口腔医学图像上标注的口腔医学影像数据；
40.该步骤为原始图像获取阶段。这里的口腔医学影像数据可以经过专业医生进行标注，口腔医学图像可以是口腔牙齿全景图像，包含了完整的口腔牙齿结构信息。优选地，口腔医学影像的选取符合随机性，包括不同性别、年龄段的实验对象。
41.s102、对口腔医学影像数据集进行预处理，将预处理后的口腔医学影像数据集作为训练样本；
42.该步骤为预处理阶段。预处理的方式有很多，可以根据实际情况而选择。具体地，每张口腔医学影像和标注过的口腔医学影像组成一个训练样本，多个训练样本形成数据集；数据集被分为训练集、验证集和测试集；训练集用于模型训练，验证集用于模型调整，测试集则是模型测试；训练集与测试集划分比例为4:1。例如，训练集1000个样本，测试集200个样本。
43.s103、构建口腔牙齿预测模型；口腔牙齿预测模型包括对图像并行处理的语义分割模型和目标检测模型，还包括用于将语义分割模型和目标检测模型输出的牙齿区域结果相结合并筛除错误区域的筛选模块；
44.该步骤为模型构建阶段，主要采用图像并行处理框架作为分类器结构。语义分割的工作是对图像中每一个像素点进行分类，判断每个像素点的类别，例如，属于牙齿、牙龈或其他部位等，从而实现不同区域的划分。图像语义分割模型对于口腔医学图像的分割，相比较于实例分割模型，只区分像素点的类型，而不区分像素点所属的牙齿实例。目标检测的工作是对图像中目标进行分类以及识别目标的位置，例如，牙齿目标位置、牙龈目标位置或其他目标的位置等，从而实现不同区域的识别。
45.s104、利用训练样本对口腔牙齿预测模型进行训练；
46.该步骤为训练阶段。语义分割模型的训练方法包括：将训练样本输入语义分割模型，以获得牙齿区域。目标检测模型的训练方法包括：将训练样本输入目标检测模型，以获得牙齿区域检测框和牙齿区域坐标。
47.s105、将待测口腔医学图像输入至训练好的口腔牙齿预测模型进行识别和分割，输出待测口腔医学图像的牙齿区域并进行编码表示；
48.该步骤为预测阶段，利用训练完成的口腔牙齿预测模型进行口腔医学图像的识别和分割，对所有牙齿区域进行编码表示。
49.在本发明实施例提供的上述牙齿区域检测方法中，采集口腔医学影像训练语义分割模型和目标检测模型，将语义分割模型和目标检测模型整合到一个框架之中，采用并行的思想处理口腔医学图像，对于输入的口腔医学影像，语义分割和目标检测模型将同时对图像进行读取和处理，筛选模块将两种模型的输出结果相结合，去除掉错误区域后，可以有效得到识别准确和分割清晰的牙齿区域。基于语义分割模型和目标检测模型的并行处理框架的引入使得图像分割的过程更准确，弥补单模型分割定位不准确的缺陷，减少了阅片过程中的人为干扰因素和对医生专业素养的依赖限制，进一步提高了准确性、一致性和可信度。
50.在具体实施时，在本发明实施例提供的上述牙齿区域检测方法中，步骤s101对口腔医学影像数据集进行预处理，可以包括：对口腔医学影像数据集进行数据增强处理，如水平翻转和垂直翻转等，这样能够丰富口腔医学影像训练集，减少模型过拟合现象，增强模型的泛化能力。
51.进一步地，步骤s101对口腔医学影像数据集进行预处理，还可以包括：使用插值方法将口腔医学影像数据集中的图像大小调整成统一的尺寸，这样可以更好地提取图像特征，防止模型过拟合。具体地，口腔医学图像通常尺寸较大，对标注的口腔医学图像进行缩放处理，把图像缩放到预先设定的512*512。减少模型过拟合现象，增强模型的泛化能力。
52.在实际应用中，可以对图像和标注图进行随机裁剪，对于裁剪尺寸大于原图的情况，进行填充操作，把原图填充至需要裁剪的大小。
53.进一步地，步骤s101对口腔医学影像数据集进行预处理，还可以包括：使用高反差保留算法对调整尺寸后的图像进行处理，得到高反差保留特征。具体地，使用高斯滤波器对图像进行平滑操作，然后用原始图像减去高斯模糊后的图像得到强化边缘值，在模糊图的基础上加上乘以相关系数的强化边缘值，得到效果增强的图像，减少了图像噪声，保留了边
缘细节特征。具体地，避免大部分像素值超出有效范围而丢失图像信息，原始图像减去高斯模糊后的图像得到的强化边缘值加上127，得到高反差保留特征。其中n维空间高斯分布方程为：
[0054][0055]
式中，r表示模糊半径，σ表示正态分布的标准偏差，n表示样本的维度。
[0056]
其中二维空间高斯分布方程为：
[0057][0058]
式中，u表示样本的x坐标，v表示样本的y坐标。
[0059]
进一步地，步骤s101对口腔医学影像数据集进行预处理，还可以包括：对处理后的图像进行归一化。这样可以保持仿射不变性，简化模型的计算量，加快训练神经网络的收敛性。具体地，使用极差变换法把口腔医学图像像素值变成0至1之间的小数，消除量纲和数据取值范围的影响。把有量纲的表达式转换成无量纲的表达式，成为纯量。其中归一化公式如下：
[0060][0061]
式中，x表示整个样本集，xi表示第i个样本，norm表示归一化处理后的样本集。
[0062]
在具体实施时，在本发明实施例提供的上述牙齿区域检测方法中，筛选模块具体用于将语义分割模型输出的牙齿区域以及目标检测模型输出的牙齿区域检测框和牙齿区域坐标相结合，从结合结果中筛除错误区域以获得训练样本的伪标签，并加入未标注的口腔医学影像数据；将结合结果中除错误区域之外的其他牙齿区域作为筛选出的牙齿区域。
[0063]
在具体实施时，在本发明实施例提供的上述牙齿区域检测方法中，口腔牙齿预测模型还包括：用于对筛选模块筛选出的牙齿区域进行修正，并更新标注的口腔医学影像数据的修正模块。修正所识别区域的像素点和坐标，达到像素级的区分效果
[0064]
在具体实施时，在本发明实施例提供的上述牙齿区域检测方法中，语义分割模型可以包括卷积层、激活层、池化层、上采样层以及softmax层。优选地，语义分割模型可以设置为包括四个卷积层、四个池化层、四个激活层、四个池化层、四个上采样层和一个输出层的深度学习神经网络模型。语义分割模型使用全连接条件随机场。语义分割模型所使用的条件随机场符合gibbs分布：
[0065][0066]
式中，e(x∣i)表示能量函数，z(i)表示规范化因子，p(x＝x|i)表示条件概率。
[0067][0068]
式中，一元势函数来自于前面全连接网络的输出，i,j分别表示，表示一元势能，只与i点的值相关，表示二元势能，各个节点之间的关系，e(x)表示势
能函数。
[0069]
在具体实施时，在本发明实施例提供的上述牙齿区域检测方法中，目标检测模型可以包括卷积层、激活层、池化层、全连接层以及softmax层。优选地，目标检测模型可以设置为包括十三个卷积层、十五个激活层、四个池化层、两个全连接层和一个输出层的深度学习神经网络模型。其中，神经网络参数更新公式为：
[0070][0071][0072]
式中，w表示权重，b表示偏置，z表示每层神经网络的输出结果，l表示神经网络的第l层；表示第l层权重w的梯度，损失函数对w的偏导，梯度代表函数在一点沿梯度方向变化最快；表示第l层偏置b的梯度，损失函数对b的偏导；表示损失函数对第l输出层函数z的偏导；表示第l层输出函数对第l层权重w的偏导；表示第l层输出函数对第l层偏置b的偏导。
[0073]
进一步地，在具体实施时，在本发明实施例提供的上述牙齿区域检测方法中，还可以包括：利用训练好的口腔牙齿预测模型对未标注的口腔医学影像进行预测和分析，根据预设规则从预测结果中分析出独立牙齿区域，对独立牙齿区域进行标记。
[0074]
具体地，预设标记规则按照齿科标准的牙位表示法设置。其中，牙位表示法是给每颗人类牙齿编号表示的方法；用十字符号将上下牙列分为上下左右四个区，右上区又称为a区，左上区又称为b区，右下区又称为c区，左下区又称为d区。每颗牙齿用两位阿拉伯数字标记，第一位表示牙齿所在的象限：患者的右上、左上、左下、右下在恒牙为1、2、3、4，在乳牙为5、6、7、8；第二位表示牙齿的位置：从中门齿到第三臼齿为1-8。
[0075]
下面以一个实例对本发明实施例提供的上述牙齿区域检测方法的具体步骤进行说明：
[0076]
步骤一、数据的获取。在口腔医院采集2834样本，每份样本包括原始口腔医学影像数据和所述原始口腔医学影像数据对应的标注口腔医学影像数据。
[0077]
步骤二、图像的预处理。对图像进行翻转、缩放、高斯模糊、归一化等操作，丰富口腔医学影像训练集，减少模型过拟合现象，增强模型的泛化能力。
[0078]
步骤三、样本集的划分。按照浓度梯度法，以4：1的比例，将2834个实验样本划分为2267个样本组成的训练集和567个样本组成的测试集。
[0079]
步骤四、模型的建立。并行处理框架主要包括语义分割模型和目标检测模型。预设语义分割模型包括四个卷积层、四个池化层、四个激活层、四个池化层、四个上采样层和一个输出层的深度学习神经网络模型。预设目标检测模型包括十三个卷积层、十五个激活层、四个池化层、两个全连接层和一个输出层的深度学习神经网络模型。
[0080]
步骤五、模型测试。对建模集和预测集进行预测，输出结果中阈值超过0.9的记为正样本，选取的模型在测试集上精度为0.96，获得了满意的预测精度。
[0081]
通过执行上述步骤一至步骤五，可以有效识别出口腔影像中的牙齿区域，减少阅片过程中的人为干扰因素和对医生专业素养的依赖限制。
[0082]
基于同一发明构思，本发明实施例还提供了一种牙齿区域检测装置，由于该装置解决问题的原理与前述一种牙齿区域检测方法相似，因此该装置的实施可以参见牙齿区域检测方法的实施，重复之处不再赘述。
[0083]
在具体实施时，本发明实施例提供的牙齿区域检测装置，如图2所示，具体包括：
[0084]
数据集获取模块11，用于获取口腔医学影像数据集；口腔医学影像数据集包括口腔医学图像和在口腔医学图像上标注的口腔医学影像数据；
[0085]
数据集预处理模块12，用于对口腔医学影像数据集进行预处理，将预处理后的口腔医学影像数据集作为训练样本；
[0086]
模型构建模块13，用于构建口腔牙齿预测模型；口腔牙齿预测模型包括对图像并行处理的语义分割模型和目标检测模型，还包括用于将语义分割模型和目标检测模型输出的牙齿区域结果相结合并筛除错误区域的筛选模块；
[0087]
模型训练模块14，用于利用训练样本对口腔牙齿预测模型进行训练；
[0088]
牙齿区域识别模块15，用于将待测口腔医学图像输入至训练好的口腔牙齿预测模型进行识别和分割，输出待测口腔医学图像的牙齿区域并进行编码表示。
[0089]
在本发明实施例提供的上述牙齿区域检测装置中，可以通过上述五个模块的相互作用，对于输入的口腔医学影像，语义分割和目标检测模型将同时对图像进行读取和处理，筛选模块将两种模型的输出结果相结合，去除掉错误区域后，有效得到识别准确和分割清晰的牙齿区域，弥补单模型分割定位不准确的缺陷，减少了阅片过程中的人为干扰因素和对医生专业素养的依赖限制，进一步提高了准确性、一致性和可信度。
[0090]
在具体实施时，在本发明实施例提供的上述牙齿区域检测方法中，还可以包括：独立牙齿区域标记模块，用于利用训练好的口腔牙齿预测模型对未标注的口腔医学影像进行预测和分析，根据预设规则从预测结果中分析出独立牙齿区域，对独立牙齿区域进行标记。
[0091]
关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
[0092]
相应地，本发明实施例还公开了一种牙齿区域检测设备，包括处理器和存储器；其中，处理器执行存储器中存储的计算机程序时实现前述实施例公开的牙齿区域检测方法。
[0093]
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
[0094]
进一步地，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的牙齿区域检测方法。
[0095]
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
[0096]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0097]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元
及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0098]
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
[0099]
综上，本发明实施例提供的一种牙齿区域检测方法，包括：获取口腔医学影像数据集；口腔医学影像数据集包括口腔医学图像和在口腔医学图像上标注的口腔医学影像数据；对口腔医学影像数据集进行预处理，将预处理后的口腔医学影像数据集作为训练样本；构建口腔牙齿预测模型；口腔牙齿预测模型包括对图像并行处理的语义分割模型和目标检测模型，还包括用于将语义分割模型和目标检测模型输出的牙齿区域结果相结合并筛除错误区域的筛选模块；利用训练样本对口腔牙齿预测模型进行训练；将待测口腔医学图像输入至训练好的口腔牙齿预测模型进行识别和分割，输出待测口腔医学图像的牙齿区域并进行编码表示。这样采集口腔医学影像训练语义分割模型和目标检测模型，将语义分割模型和目标检测模型整合到一个框架之中，采用并行的思想处理口腔医学图像，对于输入的口腔医学影像，语义分割和目标检测模型将同时对图像进行读取和处理，筛选模块将两种模型的输出结果相结合，去除掉错误区域后，可以有效得到识别准确和分割清晰的牙齿区域。基于语义分割模型和目标检测模型的并行处理框架的引入使得图像分割的过程更准确，弥补单模型分割定位不准确的缺陷，减少了阅片过程中的人为干扰因素和对医生专业素养的依赖限制，进一步提高了准确性、一致性和可信度。此外，本发明还针对牙齿区域检测方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。
[0100]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0101]
以上对本发明所提供的牙齿区域检测方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。