一种增强牙根管ROI辨识模型的区分度的方法

一种增强牙根管roi辨识模型的区分度的方法
技术领域
1.本发明涉及计算机视觉技术领域，尤其涉及一种增强牙根管roi辨识模型的区分度的方法。


背景技术：

2.基于人工智能的x光影像辅助诊断是临床医学研究热点，对于突破医生诊断主观性瓶颈问题，发展远程智慧医疗、提升边远困难地区医疗水平具有重大的学术、经济以及社会价值。
3.口腔x光影像的人工智能辅助诊断尚处于起步阶段，本发明主要对牙根管治疗史进行人工智能辅助诊断，通过采集临床口腔牙齿根尖片x光影像数据，对根尖片x光影像中牙根管阳性牙齿和阴性牙齿进行人工标注，建立机器学习所需的样本集。再牙根管治疗史辨别中分为：牙根管治疗阳性，该牙齿存在牙根管治疗史(该牙齿经过牙根管治疗)；牙根管治疗阴性，该牙齿不存在牙根管治疗史(该牙齿未曾经过牙根管治疗)。
4.中国发明专利公开说明书cn112037913a公开了一种基于卷积神经网络的牙周炎智能检测方法及系统，其公开了样本为全景片和根尖片，同时对根尖片进行切割边缘和对根尖片上牙翻转的预处理操作来构建样本集，并采用的迁移学习方法进行训练测试。
5.中国发明专利公开说明书cn112837279a公开了一种基于人工智能的牙齿畸变检测预诊系统，具体公开了获得检测人员的rgb图像和深度图像:在rgb图像中分割牙齿区域图像并对牙齿区域进行分析选出标准牙齿；以标准牙齿为基准对每个牙齿分析获得牙弓弯曲程度、牙齿左右偏移量和牙齿前后偏移量；根据获得的三个特征经过分类器处理获得牙齿畸变等级。
6.verma d等提出了一种cnn-svm的方法来进行正常和病变的二分类问题，病变牙齿包括龋齿和根尖周感染等，cnn作为特征提取器，svm作为分类器。本发明使用vgg16作为，能够对牙根管特征做到更好的提取。该论文的预处理过程只进行了ostu阈值分割，然后二值化图像与原图进行相乘，但预处理方法不够合理。
7.mahmoud y e等提出了一种fnn(前馈神经网络)和k-nn(最近邻算法)两种方法来进行根尖周病变预测，通过中值滤波和平均滤波去噪，直方图均衡化进行图像增强，二维离散小波变换算法进行特征提取。


技术实现要素：

8.本发明的实施例提供了一种增强牙根管roi辨识模型的区分度的方法，用于解决现有技术中存在的问题。
9.为了实现上述目的，本发明采取了如下技术方案。
10.一种增强牙根管roi辨识模型的区分度的方法，包括：
11.s1基于采集的根切片牙根管原始图像构建样本集，同时对该样本集进行扩增处理；
12.s2通过色域增强方法，对扩增处理后的样本集中的特征图进行roi特征增强操作，获得特征增强集；
13.s3基于该特征增强集，通过划分处理获得训练集和测试集；
14.s4将训练集和测试集输入到卷积神经网络中进行训练和测试；
15.s5随机获取根切片牙根管原始图像输入到执行了步骤s4后的卷积神经网络中，对该卷积神经网络进行优化。
16.优选地，步骤s1包括：
17.通过反转、增强对比度和增加亮度的方法对样本集进行扩增处理；
18.根切片牙根管原始图像包括根切片牙根管阴性图像和根切片牙根管阳性图像。
19.优选地，步骤s2包括：
20.s21对样本集中的根切片牙根管原始图像进行灰度化转换，获得灰度图像，在该灰度图像中选取牙根管roi区域图像；
21.s22基于灰度图像的牙根管roi区域所有像素点，计算获得灰度图像的牙根管roi区域的像素均值，再计算获得每个灰度图像的牙根管roi像素点值与灰度图像的牙根管roi区域的像素均值的差值；
22.s23将该差值与预设阈值进行比较，若该差值超过预设阈值，则增加灰度图像的牙根管roi区域的像素点的亮度，获得特征增强集。
23.优选地，灰度图像中牙根管roi区域图像的长度为灰度图像长度的三分之二，灰度图像中牙根管roi区域图像的宽度为灰度图像宽度的五分之四。
24.优选地，步骤s3包括：
25.对样本集进行乱序处理，随机获得80％的灰度图像构成训练集，20％的灰度图像构成测试集。
26.优选地，卷积神经网络为基于vgg16架构的卷积神经网络，步骤s4包括：
27.s41选取adam优化器作为卷积神经网络中的优化器，选取softmax分类器作为卷积神经网络中的分类器；
28.s42将式
[0029][0030]
作为卷积神经网络中的交叉熵损失函数；式中，m表示样本个数，n为标签类别的个数，q(xij)表示第i个样本被模型判断为第j个标签的概率，p(xij)表示表示第i个样本实际为第j个标签的概率；
[0031]
s43依次将训练集和测试集输入到卷积神经网络中进行训练和测试；
[0032]
s44重复步骤s43多次，获得测试结果，基于该测试结果获得测试后的卷积神经网络。
[0033]
由上述本发明的实施例提供的技术方案可以看出，本发明提供一种增强牙根管roi辨识模型的区分度的方法，基于临床数据图像制作样本集，同时为了提高训练模型的泛化能力，采用数据增强的方式扩增样本集。为了突出牙根管阳性牙齿和牙根管阴性牙齿的区别，本发明提出了针对牙根管治疗史判断的roi特征增强的方法，通过将牙根管阳性牙齿
的突出部位进行增强亮度来实现。经过roi特征增强后的全部样本进行训练集和测试集的划分，输入卷积神经网络进行训练与测试。得到的模型就可以用来诊断牙齿牙根管是否具有治疗史，同时可以保存模型做进一步的训练和优化。本发明提供的方法，在预处理阶段对牙齿根尖片进行roi(感兴趣区域)区域增强。有过根管治疗史的牙齿根管处会有亮色，针对这一特点，将该亮色进一步增强，和牙根管阴性牙齿有更好的区分度；弥补了牙根管治疗史人工智能辅助诊断的空缺，使用卷积神经网络进行训练模型，本发明使用的网络架构为vgg16，该架构提取特征能力强。全连接层使用的softmax作为分类器，能够准备的输出预测结果。
[0034]
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0035]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]
图1为本发明提供的一种增强牙根管roi辨识模型的区分度的方法的处理流程图；
[0037]
图2为本发明提供的一种增强牙根管roi辨识模型的区分度的方法一种优选实施例的流程图；
[0038]
图3为本发明提供的一种增强牙根管roi辨识模型的区分度的方法中卷积神经网络的结构示意图；
[0039]
图4为本发明提供的一种增强牙根管roi辨识模型的区分度的方法的测试实施例的流程图；
[0040]
图5为本发明提供的一种增强牙根管roi辨识模型的区分度的方法的测试实施例中进行roi增强的效果示意图；
[0041]
图6为本发明提供的一种增强牙根管roi辨识模型的区分度的方法的测试实施例的处理结果对比图。
具体实施方式
[0042]
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0043]
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
[0044]
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
[0045]
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
[0046]
本发明提供一种用于增强牙根管roi(感兴趣区域)辨识模型的准确性的方法，用于解决现有技术中的如下问题：
[0047]
目前针对口腔x光影像的人工智能辅助诊断的研究并不多，同时仅有的几项研究，重点也都放在了龋齿、牙周炎和智齿上，并没有提出对牙根管治疗史的人工智能辅助诊断的方案。即使牙根管治疗后的状态在x光片的表征比较明显，容易判断，但也是在临床医学中人工智能辅助诊断必不可少的一个环节；
[0048]
现有技术中，无论是龋齿、牙周炎和智齿还是其他牙病，对样本的预处理方法都过于简单，可能会导致对相应牙病的关键特征并不能很好的突出，对最终诊断的准确率会有很大的影响。如果把相应牙病的特征进行突出，再作为训练样本进行训练，准确率会有很大程度的提升；
[0049]
牙齿病变和治疗状态在根尖片往往体现在细微之处，如果在训练之前不能对样本进行roi区域增强操作，会造成训练后的模型对roi区域的不敏感，同时会对模型的鲁棒性造成很大的影响，导致最终预测的准确率不高。
[0050]
参见图1，本发明提供一种增强牙根管roi辨识模型的区分度的方法，包括如下步骤：
[0051]
s1基于采集的根切片牙根管原始图像构建样本集，对该样本集进行扩增处理；
[0052]
s2通过色域增强方法，对扩增处理后的样本集中的特征图进行roi特征增强操作，获得特征增强集；
[0053]
s3基于该特征增强集，同时通过划分处理获得训练集和测试集；
[0054]
s4将所述训练集和测试集输入到卷积神经网络中进行训练和测试；
[0055]
s5随机获取根切片牙根管原始图像输入到执行了步骤s4后的卷积神经网络中，保存卷积神经网络模型参数，不断地对该卷积神经网络进行优化。
[0056]
该优化后的卷积神经网络用于识别处理牙根管roi图像。
[0057]
进一步的，在本发明提供的优选实施例中，步骤s1包括：
[0058]
通过反转、增强对比度和增加亮度的方法对所述样本集进行扩增处理；
[0059]
所述根切片牙根管原始图像包括根切片牙根管阴性图像和根切片牙根管阳性图像。
[0060]
进一步的，在本发明提供的优选实施例中，步骤s2包括：
[0061]
s21对样本集中的根切片牙根管原始图像进行灰度化转换，获得灰度图像，在该灰度图像中选取牙根管roi区域图像；
[0062]
对于所有样本来说，x光片在拍摄时可能会因为曝光等原因造成亮暗强度不一致，所以需要求取每张待处理图像的像素均值作为该样本图像的参考标准；因此，子步骤s22的执行过程为，基于灰度图像的牙根管roi区域所有像素点，计算获得灰度图像的牙根管roi
区域的像素均值，再计算获得每个灰度图像的牙根管roi像素点值与灰度图像的牙根管roi区域的像素均值的差值；
[0063]
s23将该差值与预设阈值进行比较，若该差值超过预设阈值，则增加灰度图像的牙根管roi区域的像素点的亮度，获得特征增强集。
[0064]
牙根管大致分布在图像的中心位置，为了有效的排除了图像边界噪声或者其它因素影响，在一种改进方式中，灰度图像中牙根管roi区域图像的长度为灰度图像长度的三分之二，灰度图像中牙根管roi区域图像的宽度为灰度图像宽度的五分之四。
[0065]
更进一步的，步骤s3包括：
[0066]
对样本集进行乱序处理，随机获得80％的灰度图像构成训练集，20％的灰度图像构成测试集。
[0067]
在本发明提供的优选实施例中，卷积神经网络采用基于vgg16架构的卷积神经网络。vgg16算法结构由卷积层、池化层与全连接层构成，所有隐藏层的激活函数均采用relu激活函数。vgg16算法使用多个较小卷积核(3
×
3)的卷积层代替一个卷积核较大的卷积层，一方面可以减少参数，另一方面相当于进行了更多的非线性映射，可以增加网络的拟合与表达能力。vgg16神经网络具体流程如图3所示.
[0068]
深度学习中常用四种优化器：sgd、rmsprop、adam。sgd在随机选择梯度的同时会引入噪声，使得权值更新的方向不一定正确。此外，sgd也没能单独克服局部最优解的问题。rmsprop算法在经验上已经被证明是一种有效且实用的深度神经网络优化算法，目前它是深度学习从业者经常采用的优化方法之一。但在实际操作中，adam作为默认算法更多，一般比rmsprop要好一点。因此在本实施例中，选取adam优化器作为所述卷积神经网络中的优化器。
[0069]
在本实施例中，分类器属于神经网络的全连接层，具体功能是给出对样本的判断概率，使用的softmax作为分类器，会同时输出对样本判断为阴性样本和阳性样本的概率，且两者概率和为1。损失函数根据分类器输出的概率判断结果与真实结果进行交叉熵计算得到损失函数的值。每训练一次，分类器就会改变一次，所以损失函数也是随着训练次数也是在不断改变的。损失函数的值也会随着训练次数的增加而减小。
[0070]
在本实施例中，卷积神经网络中的交叉熵损失函数(crossentropy loss)是分类问题中经常使用的一种损失函数，特别是在神经网络做分类问题时，也经常使用交叉熵作为损失函数，交叉熵涉及到计算每个类别的概率，所以交叉熵几乎每次都和softmax函数一起出现。一个训练次数的loss为下面公式所示，其中m表示样本个数，n为标签类别的个数，x表示一个样本，常常使用p(x)来表示样本的真实分布，q(x)来表示模型所预测的分布，i表示是第几个样本，j表示第几个标签，q(xij)表示第i个样本被模型判断为第j个标签的概率，p(xij)表示表示第i个样本实际为第j个标签的概率(只有0和1)。
[0071][0072]
步骤s4包括：
[0073]
s41选取adam优化器作为所述卷积神经网络中的优化器，选取softmax分类器作为所述卷积神经网络中的分类器；
[0074]
s42将式
[0075][0076]
作为所述卷积神经网络中的交叉熵损失函数；式中，m表示样本个数，n为标签类别的个数；
[0077]
s43依次将所述训练集和测试集输入到所述卷积神经网络中进行训练和测试；
[0078]
s44重复步骤s42和s43多次，获得测试结果，基于该测试结果获得测试后的所述卷积神经网络。
[0079]
该训练测试后的卷积神经网络即可用于牙根管roi的辨识。
[0080]
本领域技术人员应能理解上述卷积神经网络的应用类型仅为举例，其他现有的或今后可能出现的卷积神经网络应用类型如vgg19、alexnet均可适用于本发明实施例，也应包含在本发明保护范围以内，并在此以引用方式包含于此。
[0081]
本发明还提供一个实施例，用于显示实施了本方法的效果。其处理流程如下：
[0082]
采集临床数据图像构建样本集，通过反转、增强对比度和增加亮度的方法对所述样本集进行扩增处理；样本集中包括根切片牙根管阴性图像和根切片牙根管阳性图像；
[0083]
对样本集中的根切片牙根管原始图像进行灰度化转换，获得灰度图像；
[0084]
确定牙根管roi区域：牙根管大致分布在图像的中心位置，所以选取图像中心点左右三分之二处，上下五分之四处作为牙根管的roi区域；
[0085]
历牙根管roi区域的所有像素点：将牙根管roi区域的所有像素点与该图像平均值进行比对，经过多次试验测试确定阈值，当该像素点与该样本图片的像素平均值做差大于阈值后，就对该像素点进行像素强度增强，使得特征更加明显；使用效果如图5所示：可以看出进行处理后的阳性样本的特征roi效果进一步得到了增强，而阴性样本无较大变换。经过处理后，可以使得阳性样本和阴性样本的区分度更大，经过卷积神经网络的的特征提取后差异性更加明显，更易区分；
[0086]
对样本集进行乱序处理，随机获得80％的灰度图像构成训练集，20％的灰度图像构成测试集；
[0087]
选取adam优化器作为所述卷积神经网络中的优化器，选取softmax分类器作为所述卷积神经网络中的分类器；
[0088]
将式
[0089][0090]
作为所述卷积神经网络中的交叉熵损失函数；式中，m表示样本个数，n为标签类别的个数；
[0091]
依次将所述训练集和测试集输入到所述卷积神经网络中进行训练和测试；
[0092]
重复上述训练和测试过程迭代二百次，获得测试结果，基于该测试结果获得测试后的所述卷积神经网络。
[0093]
随机获取根切片牙根管原始图像输入到执行了步骤s4后的卷积神经网络中，保存卷积神经网络模型参数，不断地对该卷积神经网络进行优化。
[0094]
模型的测试效果如图6的混淆矩阵所示，图a是经过roi增强，图b没有经过roi增强，一共使用了184张样本，阳性和阴性各一半，可以看出，经过roi增强后的模型预测效果明显优于没有经过roi增强的模型。
[0095]
综上所述，本发明提供一种增强牙根管roi辨识模型的区分度的方法，基于临床数据图像制作样本集，同时为了提高训练模型的泛化能力，采用数据增强的方式扩增样本集。为了突出牙根管阳性牙齿(有牙根管治疗史)和牙根管阴性牙齿(无牙根管治疗史)的区别，本发明提出了针对牙根管治疗史判断的roi特征增强的方法，通过将牙根管阳性牙齿的突出部位进行增强亮度来实现。经过roi特征增强后的全部样本进行训练集和测试集的划分，输入卷积神经网络进行训练与测试。得到的模型就可以用来诊断牙齿牙根管是否具有治疗史，同时可以保存模型做进一步的训练和优化。本发明提供的方法，在预处理阶段对牙齿根尖片进行roi(感兴趣区域)区域增强。有过根管治疗史的牙齿根管处会有亮色，针对这一特点，将该亮色进一步增强，和牙根管阴性牙齿有更好的区分度；弥补了牙根管治疗史人工智能辅助诊断的空缺，使用卷积神经网络进行训练模型，本发明使用的网络架构为vgg16，该架构提取特征能力强。全连接层使用的softmax作为分类器，能够准备的输出预测结果。
[0096]
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
[0097]
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
[0098]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0099]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。