一种建立口腔诊断神经网络模型的方法及口腔诊断方法与流程

本发明涉及口腔医学技术领域，尤其涉及一种建立口腔诊断神经网络模型的方法及口腔诊断方法。

背景技术：

我国错牙合畸形患者基数大，且存在日益增多的情况，其中，儿童的错牙合畸形应当在早期，针对错牙合的病因、机制及发生、发展过程，利用口腔治疗方法进行预防与矫治，此时矫治难度较小，矫治后通常可以达到颅面牙合的美观及功能的完美协调发展。

目前的口腔诊断过程，主要通过口腔镜探入患者口腔内检测患者口腔情况，其中，口腔镜分为多种类型，每个口腔镜只有单一功能，若轮换使用多个工具显然会复杂化检查步骤、延长检查时间，对于患者来说诊断效率低。

技术实现要素：

本发明的主要目的在于提出一种建立口腔诊断神经网络模型的方法及口腔诊断方法，以解决现有技术中口腔诊断过程中检查步骤多、检查时间长，对患者来说诊断效率不高的问题。

为实现上述目的，本发明实施例第一方面提供一种建立口腔诊断神经网络模型的方法，包括：

获取包含已分类患者口腔图像的训练集；

从所述训练集中获取预设口腔缺陷图像构建样本集；

在vgg16卷积神经网络模型的结构基础上，应用损失函数和激活函数；

将所述训练集和所述样本集投入所述vgg16神经网络进行训练，生成口腔诊断神经网络模型。

结合本发明第一方面，本发明第一实施方式中，在vgg16卷积神经网络模型结构的基础上，应用损失函数和激活函数之前，包括：

将所述已分类患者口腔图像和所述预设口腔缺陷图像进行增量处理。

结合本发明第一方面第一实施方式，本发明第二实施方式中，将所述已分类患者口腔图像和所述预设口腔缺陷图像进行增量处理，包括：

对所述已分类患者口腔图像和所述预设缺陷图像执行旋转预设角度、平移预设幅度、垂直镜像处理和水平镜像处理中的至少一种处理方式。

结合本发明第一方面，本发明第三实施方式中，所述损失函数的计算公式为：

其中，y表示预设口腔缺陷图像出现的真实概率，表示预设口腔缺陷图像出现的预测概率，m表示已分类患者口腔图像的数量，n表示每个已分类患者口腔图像中的分类标签的数量，i表示第i个分类标签，j表示第j个已分类患者口腔图像，yij和表示第j个已分类患者口腔图像的第i个标签。

结合本发明第一方面，本发明第四实施方式中，将所述训练集和所述样本集投入所述vgg16卷积神经网络模型进行训练，生成口腔诊断神经网络模型，包括：

将所述训练集投入vgg16卷积神经网络模型进k次迭代训练；

通过所述损失函数度量第n次迭代训练结果与所述样本集的差距；

其中，k为正整数，n为小于或等于k的正整数；

计算第n次所述迭代训练结果的最小化损失函数，并根据所述最小化损失函数调节第n+1次所述迭代训练的学习率；

根据k次所述迭代训练的训练结果生成口腔诊断神经网络模型。

本发明实施例第二方面提供一种口腔诊断方法，包括：

获取待诊断患者口腔图像；

使用如上任一项所述的口腔诊断神经网络模型对所述待诊断患者口腔图像进行预设口腔缺陷的初步诊断。

本发明实施例第三方面提供一种建立口腔诊断神经网络模型的装置，包括：

训练集获取模块，用于获取包含已分类患者口腔图像的训练集；

样本集获取模块，用于从所述训练集中获取预设口腔缺陷图像构建样本集；

基础神经网络模型设置模块，用于在vgg16卷积神经网络模型的结构基础上，应用损失函数和激活函数；

口腔诊断神经网络模型建立模块，用于将所述训练集和所述样本集投入所述vgg16神经网络进行训练，生成口腔诊断神经网络模型。

本发明实施例第四方面提供一种口腔诊断装置，包括：

图像获取模块，用于获取待诊断患者口腔图像；

诊断模块，用于使用如上任一项所述的口腔诊断神经网络模型对所述待诊断患者口腔图像进行预设口腔缺陷的初步诊断。

本发明实施例的第五方面提供了一种终端设备，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上第一方面所提供的方法的步骤。

本发明实施例的第六方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上第一方面所提供的方法的步骤。

本发明实施例提出一种建立口腔诊断神经网络模型的方法，通过已分类患者口腔图像的训练集，和预设口腔缺陷图像构建的样本集，在vgg16卷积神经网络模型的结构基础上，应用损失函数和激活函数，生成口腔诊断神经网络模型。患者上传牙齿照片后，通过上述口腔诊断神经网络模型，可以实现如错牙合等口腔缺陷的图像识别和初步诊断，从而简化检查步骤、缩短检查时间，提高患者就诊的整体诊断效率。

附图说明

图1为本发明实施例一提供的建立口腔诊断神经网络模型的方法的实现流程示意图；

图2为本发明实施例二提供的建立口腔诊断神经网络模型的装置的组成结构示意图；

图3为本发明实施例三提供的口腔诊断方法的实现流程示意图；

图4为本发明实施例四提供的口腔诊断装置的组成结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，在本文中，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本文中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。

在后续的描述中，发明实施例序号仅仅为了描述，不代表实施例的优劣。

实施例一

如图1所示，本发明实施例提供了一种建立口腔诊断神经网络模型的方法，旨在建立一种口腔诊断神经网络模型，用于取得初步的口腔诊断结果，节约患者的检查时间，提高诊断效率。方法包括但不限于如下步骤：

s101、获取包含已分类患者口腔图像的训练集。

在上述步骤s101中，已分类患者图像取自临床诊断中患者口内照片，通过对其进行分类，获得分类处理后的图像数据。

在具体应用中，可以通过快速建模和测试对取自临床诊断中患者口内照片进行分类，为提高分类准确性，还可同时经过筛选具有预设口腔缺陷的图像，对其进行标记、添加噪声，最终获得已分类患者口腔图像的训练集。其中，预设的口腔缺陷可以是前牙牙冠过小、前牙稀疏、虎牙、前牙冠残缺、前牙碰断、前牙反牙合、下颌前突，近中错牙合等牙齿畸形情况。

s102、从所述训练集中获取预设口腔缺陷图像构建样本集。

在上述步骤s101和步骤s102中，可以将已分类患者口腔图像，按照70％、20％和10％的比例，划分为训练集、包括预设口腔缺陷图像的样本集以及用于测试的测试集。

在一个实施例中，对于包括预设口腔缺陷图像的样本，还将其的标签单一化，即若预设口腔缺陷图像具有多个类型的分类标签，则只保留关于预设口腔缺陷的分类标签。

在本发明实施例中，所要建立的口腔诊断神经网络模型用于诊断一种口腔缺陷情况，因此，上述步骤s101和步骤s102中，预设口腔缺陷图像为上文提到的牙齿畸形情况中的一种。

s103、在vgg16卷积神经网络模型的结构基础上，应用损失函数和激活函数。

在一个实施例中，上述步骤s103中的损失函数的计算公式为：

其中，y表示预设口腔缺陷图像出现的真实概率，表示预设口腔缺陷图像出现的预测概率，m表示已分类患者口腔图像的数量，n表示每个已分类患者口腔图像中的分类标签的数量，i表示第i个分类标签，j表示第j个已分类患者口腔图像，yij和表示第j个已分类患者口腔图像的第i个标签。

在一个实施例中，如果预设口腔缺陷图像只保留关于预设口腔缺陷的分类标签，则将表示第j个已分类患者口腔图像的第一个标签。

s104、将所述训练集和所述样本集投入所述vgg16卷积神经网络模型进行训练，生成口腔诊断神经网络模型。

在具体应用中，上述步骤s104的神经网络训练过程可以为：

s1041、将所述训练集投入vgg16卷积神经网络模型进k次迭代训练。

s1042、通过所述损失函数度量第n次迭代训练结果与所述样本集的差距。

s1043、计算第n次所述迭代训练结果的最小化损失函数，并根据所述最小化损失函数调节第n+1次所述迭代训练的学习率。

s1044、根据k次所述迭代训练的训练结果生成口腔诊断神经网络模型。

其中，为了判断训练集中的图像是否具有预设口腔缺陷特征，所使用的vgg16卷积神经网络模型由多个卷积层和顶端的全连接层组成，其中还包括关联权重和池化层，而全连接层设有两个神经元。

本发明实施例中，上述模型训练过程中，详细的训练参数可设置为：

(1)epochs＝50，表示数据集将迭代训练50次；

(2)batchsize＝32，表示一次性向神经网络输入样本的批次大小；

(3)lossfunction＝“categorical_crossentropy”，表示使用损失函数；

(4)optimizer＝“adadelta”，表示对神经网络模型训练的学习率进行约束，本发明实施例中，通过最小化分类交叉熵对神经网络模型训练的学习率进行约束，可让预测值接近真实值。

在具体应用中，为避免神经网络模型的训练出现过拟合，在上述步骤s103之前，还可以包括：

将所述已分类患者口腔图像和所述预设口腔缺陷图像进行增量处理。

通过增加训练集和样本集的数据量，可以减少误差，避免神经网络模型训练中的过拟合现象。

在一个实施例中，可以根据原有的已分类患者口腔图像和预设口腔缺陷图像，增加训练集和样本集的数据量，其包括：

对所述已分类患者口腔图像和所述预设缺陷图像执行旋转预设角度、平移预设幅度、垂直镜像处理和水平镜像处理中的至少一种处理方式。

详细地说，上述的将已分类患者口腔图像和预设缺陷图像旋转预设角度，可以表现为：将已分类患者口腔图像和预设缺陷图像旋转10％的幅度；

上述的将已分类患者口腔图像和预设缺陷图像平移预设幅度，可以表现为：将已分类患者口腔图像和预设缺陷图像横向平移10％的幅度、纵向平移10％的幅度；

上述的将已分类患者口腔图像和预设缺陷图像垂直镜像处理和水平镜像处理，可以表现为：将已分类患者口腔图像和预设缺陷图像水平翻转、垂直翻转。

在另一实施例中，还可以对原有的已分类患者口腔图像和预设口腔缺陷图像进行多视点采样，增加训练集和样本集的数据量，其包括：

从h个互不相同的视角对所述已分类患者口腔图像和所述预设缺陷图像进行采样，获得采样图像；

根据色彩特征对所述采样图像进行特征提取，所述特征提取后的采样图像为增加的所述训练集和样本集。

其中，视角为镜头方向与图像之间的夹角。

在具体应用中，根据色彩特征对所述采样图像进行特征提取，获得特征提取后的采样图像详细的实现方式可以为：

获取采样图像的色彩特征，公式为：

其中，μx表示采样图像的整体颜色信息；σx表示采样图像的细节颜色信息；sx表示视角在0～45°内的采样图像的颜色信息，式中pxt表示采样图像中第t个像素的第x个颜色分量，h表示采样图像的像素点数量。

根据所述色彩特征，计算所述采样图像每个像素点的参数值，并通过滤波器选择参数值范围在(255,255,0)至(255,255,255)中的像素，获得特征提取后的采样图像。

实施例二

如图2所示，本发明实施例还提供一种建立口腔诊断神经网络模型的装置20，包括：

训练集获取模块21，用于获取包含已分类患者口腔图像的训练集；

样本集获取模块22，用于从所述训练集中获取预设口腔缺陷图像构建样本集；

基础神经网络模型设置模块23，用于在vgg16卷积神经网络模型的结构基础上，应用损失函数和激活函数；

口腔诊断神经网络模型建立模块24，用于将所述训练集和所述样本集投入所述vgg16神经网络进行训练，生成口腔诊断神经网络模型。

实施例三

如图3所示，本发明实施例还提供一种口腔诊断方法，包括：

s301、获取待诊断患者口腔图像；

s302、使用如上述图1中的口腔诊断神经网络模型对所述待诊断患者口腔图像进行预设口腔缺陷的初步诊断。

在实际应用中，上述步骤s301可以为通过终端获取待诊断患者口腔图像。

可以想到的是，根据上述图1所获得的口腔诊断神经网络模型存储在云服务器中，终端获取到待诊断患者口腔图像后，将其上传至云服务器，由存储在云服务器中的口腔诊断神经网络模块根据待诊断患者口腔图像，判断患者是否具有预设口腔缺陷，从而基于此患者，完成预设口腔缺陷的诊断。

如图4所示，本发明实施例还提供一种口腔诊断装置40，包括：

图像获取模块41，用于获取待诊断患者口腔图像；

诊断模块42，用于使用如上述图1中的口腔诊断神经网络模型对所述待诊断患者口腔图像进行预设口腔缺陷的初步诊断。

本发明实施例还提供一种终端设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如实施例一中所述的建立口腔诊断神经网络模型的方法中的各个步骤或如实施例二中的所述的口腔诊断方法中的各个步骤。

本发明实施例还提供一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如实施例一中所述的建立口腔诊断神经网络模型的方法中的各个步骤或如实施例二中的所述的口腔诊断方法中的各个步骤。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。