一种基于深度学习的牙齿颜色值判断方法及系统与流程

本发明涉及计算机技术领域，特别涉及一种基于深度学习的牙齿颜色值判断方法及系统。

背景技术：

牙齿比色是通过特定的牙齿颜色模具(shadeguide)与牙齿实物对照，得出牙齿的颜色值。该过程在口腔诊断、牙齿整形美白领域较为常见，通常需要被测者，专业人员当面进行，且必须手持比色模具近距离比色，如此，需要被检测者在特定的时间、地点及相应的检测环境中，通过具有一定经验的专业人员配合比色模具才能完成，且颜色值判断结果，由于个体因素存在，容易产生偏差，判断标准不统一。

技术实现要素：

为解决上述技术问题，本发明提供了一种基于深度学习的牙齿颜色值判断方法及系统，该方法不需要专业人员参与，且判断标准统一，判断结果准确，速度较快。

本发明实施例提供的技术方案如下：

第一方面，提供了一种基于深度学习的牙齿颜色值判断方法，所述方法至少包括如下步骤：

通过预先训练的牙齿区域检测模型对输入的待识别牙齿图像进行牙齿区域检测，获取若干牙齿区域坐标以及相应牙齿区域的置信度；

基于所述牙齿区域的置信度更新所述牙齿区域坐标，获得第一牙齿区域图；

基于所述更新后的牙齿区域坐标对所述第一牙齿区域图进行预处理获得第二牙齿区域图；

将所述第二牙齿区域图转化到hsv颜色空间，并通过区域聚类将所述转化后的第二牙齿区域图分为牙齿区域及非牙齿区域，将所述非牙齿区域置为指定颜色，得到第三牙齿区域图；

通过预先训练好的牙齿色度判断模型对所述第三牙齿区域图进行颜色值预测，得到牙齿颜色值预测值，并将所述牙齿颜色值预测值映射到比色卡中获得所述牙齿的颜色值。

在一些实施例中，所述预先训练牙齿区域检测模型时，至少包括如下步骤：

拍摄若干不同个体的牙齿图像样本；

对所述牙齿图像样本进行标注，获得若干具有矩形框标注牙齿区域的牙齿图像样本；

对已标注的牙齿图像样本增加随机变换，以获得多样性的牙齿图像样本；

基于所述多样性的牙齿图像样本构建牙齿区域检测模型。

在一些实施例中，所述预先训练牙齿色度判断模型时，至少包括如下步骤：

将经过所述牙齿区域检测模型获取并更新后获得的第一牙齿区域样本图进行裁切，获得第二牙齿区域样本图；

标出所述第二牙齿区域样本图中牙齿的实际区域，获得以蒙版表示的第三牙齿区域样本图；

基于所述第三牙齿区域样本图及拍摄所述牙齿图像样本时记录的牙齿颜色值构建牙齿色度判断模型。

在一些实施例中，所述通过预先训练的牙齿区域检测模型对输入的待识别牙齿图像进行牙齿区域检测之前，还包括对所述待识别牙齿图像进行预处理，所述对待识别牙齿图像进行预处理具体包括如下步骤：

将所述待识别牙齿图像等比例缩放到最大宽度为固定像素值。

在一些实施例中，所述基于所述牙齿区域的置信度更新所述牙齿区域坐标，获得第一牙齿区域图，具体包括如下步骤：

过滤掉置信度较低的牙齿区域；

合并重复或有交集的牙齿区域；

筛选出合并后置信度最高的区域作为目标牙齿区域，获得所述目标牙齿区域坐标及相应的第一牙齿区域图。

在一些实施例中，所述基于所述更新后的牙齿区域坐标对所述第一牙齿区域图进行预处理获得第二牙齿区域图，具体包括如下步骤：

对所述第一牙齿区域图进行白平衡修正；

根据所述更新后的牙齿区域坐标对修正后的第二牙齿区域图进行裁切，获得所述第二牙齿区域图。

另一方面，提供了一种基于深度学习的牙齿颜色值判断系统，所述系统至少包括：

牙齿区域检测模块：用于通过预先训练的牙齿区域检测模型对输入的待识别牙齿图像进行牙齿区域检测，获取若干牙齿区域坐标以及相应牙齿区域的置信度：

牙齿区域更新模块：用于基于所述牙齿区域的置信度更新所述牙齿区域坐标，获得第一牙齿区域图；

第一预处理模块：用于基于所述更新后的牙齿区域坐标对所述第一牙齿区域图进行预处理获得第二牙齿区域图；

区域聚类模块：用于将所述第二牙齿区域图转化到hsv颜色空间，并通过区域聚类将所述转化后的第二牙齿区域图分为牙齿区域及非牙齿区域，将所述非牙齿区域置为指定颜色，得到第三牙齿区域图；

牙齿颜色值判断模块：用于通过预先训练好的牙齿色度判断模型对所述第三牙齿区域图进行色度预测，得到牙齿色度预测值，并将所述牙齿色度预测值映射到比色卡中获得所述牙齿的颜色值。

在一些实施例中，所述系统还包括牙齿区域检测模型训练模块，所述牙齿区域检测模型训练模块至少包括：

样本采集子模块：用于拍摄若干不同个体的牙齿图像样本；

标注子模块：用于对所述牙齿图像样本进行标注，获得若干具有矩形框标注牙齿区域的牙齿图像样本；

样本多样性子模块：用于对已标注的牙齿图像样本增加随机变换，以获得多样性的牙齿图像样本；

第一模型构建子模块：用于基于所述多样性的牙齿图像样本构建牙齿区域检测模型。

在一些实施例中，所述系统还包括牙齿色度判断模型训练模块，所述牙齿色度判断模型预训练模块至少包括：

裁切子模块：用于将经过所述牙齿区域检测模型获取并更新后获得的第一牙齿区域样本图进行裁切，获得第二牙齿区域样本图；

蒙版处理子模块：用于标出所述第二牙齿区域样本图中牙齿的实际区域，获得以蒙版表示的第三牙齿区域样本图；

第二模型构建子模块：用于基于所述第三牙齿区域样本及拍摄所述牙齿图像样本时记录的牙齿颜色值构建牙齿色度判断模型。

在一些实施例中，所述系统还包括第二预处理模块，所述第二预处理模块用于：

在通过预先训练的牙齿区域检测模型对输入的待识别牙齿图像进行牙齿区域检测之前，进行待识别牙齿图像预处理，所述待识别牙齿图像预处理具体包括：将所述待识别牙齿图像等比例缩放到具有一定像素值的最大宽度。

在一些实施例中，所述牙齿区域更新模块至少包括：

过滤子模块：用于过滤掉置信度较低的区域；

合并子模块：用于合并重复或有交集的牙齿区域；

筛选子模块：用于筛选出合并后置信度高的区域作为目标牙齿区域，获得所述目标牙齿区域坐标及相应的第一牙齿区域图。

在一些实施例中，所述第一预处理模块至少包括：

修正子模块：用于对所述第一牙齿区域图进行白平衡修正；

裁切子模块：用于根据所述更新后的牙齿区域坐标对修正后的第二牙齿区域图进行裁切，获得所述第二牙齿区域图。

本发明相比现有技术而言的有益效果在于：

本发明实施例提供一种基于深度学习的牙齿颜色值判断方法及系统，本实施例所保护的一种基于深度学习的牙齿颜色值判断方法，其主要通过预先构建的牙齿区域检测模型及牙齿色度判断模型进行牙齿区域确定及牙齿色度判断，用户可以通过自己的手机向牙齿颜色值判断系统发送拍摄的包含牙齿图像的照片，获取牙齿颜色值的判断结果，而不需要专业人员使用比色模具对用户本人现场进行牙齿颜色值的判断，从而减少了人力物力成本，且判断标准统一，规避了人工比色过程中由于专业人员个体因素而造成的结果偏差；

另外，通过该基于深度学习的牙齿颜色值判断方法，输入的牙齿照片以端到端(end-to-end)的方式获得牙齿颜色值的判断结果，速度快，且判断过程不受地理、时间、环境的限制，仅需要带摄像头且联网状态的手机即可完成。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一中的一种基于深度学习的牙齿颜色值判断方法的流程图；

图2是本发明实施例二中的一种基于深度学习的牙齿颜色值判断系统的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本实施例提供一种基于深度学习的牙齿颜色值判断方法，属于计算机技术领域，适用于口腔诊断、牙齿整形美白等业务场景。

图1为本实施例一提供的一种基于深度学习的牙齿颜色值判断方法的流程图，如图1所示，该方法至少包括如下步骤：

s1、通过预先训练的牙齿区域检测模型对输入的待识别牙齿图像进行牙齿区域检测，获取若干牙齿区域坐标以及相应牙齿区域的置信度。

其中，输入的待识别牙齿图像，是指任意客户端发送的待识别牙齿图像。客户端为移动设备或pc中的一种，待识别图像为存储在该客户端上的任意一张包括牙齿的图像，通常为手机拍摄的牙齿的照片。

一张图像在通过牙齿区域检测模型后，会得到一组或多组检测结果(存在多副牙齿的情况)。为了便于描述，本实施例中仅以图像中包含一副牙齿为例进行阐述，故本实施例中检测结果仅包含一组，该一组检测结果包括若干牙齿区域的坐标、每一牙齿区域内物体的类型及每一牙齿区域置信度三部分，其中牙齿区域可以为连续或不连续的一个或多个，并且当模型未检出牙齿区域时则返还的结果为空。本实施例中，由于在训练牙齿区域检测模型时指定类型仅包括牙齿一种物体，因此检测结果中牙齿区域内物体的类型只有牙齿一种物体。优选地，牙齿区域以坐标点表示(如左上、右下坐标点等)。相应牙齿区域的置信度范围为[0-1]，置信度越高表示该牙齿区域为牙齿的可能性越大。

本实施例中，在步骤s1之前还包括：步骤sa、构建牙齿区域检测模型，具体为以原有的yolo3实时物体检测模型为基础训练训练牙齿区域检测模型，该步骤至少包括如下子步骤：

sal、拍摄若干不同个体的牙齿图像样本。

具体地，获取不同手机终端拍摄的真实的牙齿图像样本，样本数量为500张左右，并在拍摄过程中由专业人员用比色模具获得真实的牙齿色度并记录。

sa2、对牙齿图像样本进行标注，获得若干具有矩形框标注牙齿区域的牙齿图像样本。

本实施例中，对标注矩形框的方法并不限制，可采用任意可以选择矩形区域的图像工具，在图像上拉一个矩形区域，使其在包含所有牙齿的同时，面积尽量小。

需要说明的是，本实施例中的矩形均为水平/垂直设置的，即矩形的长边与水平面一定保持平行/垂直。该矩形并不是最小外接矩形，因为最小外接矩形允许矩形旋转，即矩形的长边与水平面夹角不加以限制。

sa3、对已标注的牙齿图像样本增加随机变换，以获得多样性的牙齿图像样本。

该步骤中，在已标注的牙齿图像样本基础上增加随机变换，在不改变样本分布的情况下，增加样本的多样性。随机变换可以是随机进行的某一方面变换，如对比度、亮度、随机旋转、翻转、裁切等。

sa4、基于多样性的牙齿图像样本构建牙齿区域检测模型。

具体地，本实施例以原有的yolo3实时物体检测模型为基础，基于多样性的牙齿图像样本构建牙齿区域检测模型。

训练策略具体为：前60个周期(epoch)，封住神经网络的所有层，只开放最后一层参数，后60个周期(epoch)开放所有层进行训练。

参考训练参数具体为：

样本批容量(batchsize)：32，第一阶段初始学习率(1earningrate)：0.001，第二阶段初始学习率(1earningrate)：0.0001。

优化器(optimizer)具体为：adam优化器。

作为一种优选，在sa4完成后，步骤sa还包括：

sa5、将训练完成的牙齿区域检测模型进行固化存储，删除重复变量与梯度，只保存与预测相关的参数，压缩后保存。

本实施例中，步骤s1之前，还包括：

s0、对待识别牙齿图像进行预处理，该步骤具体包括如下子步骤：

将待识别牙齿图像等比例缩放到最大宽度为固定像素值，优选地，固定像素值为800像素，以使待识别牙齿图像具有统一的大小，便于后续图像处理。

s2、基于牙齿区域的置信度更新牙齿区域坐标，获得第一牙齿区域图。

在一些实施例中，步骤s2具体包括如下子步骤：

s21、过滤掉置信度较低的牙齿区域；

s22、合并重复或有交集的牙齿区域；

s23、筛选出合并后置信度最高的区域作为目标牙齿区域，获得所述目标牙齿区域坐标及相应的第一牙齿区域图。

具体地，得到牙齿区域检测模型的检测结果后，通过预先设置的置信度阈值筛选掉置信度较低的区域，本实施例中置信度阈值为[0.25，1]，即将置信度小于0.25的区域视为无效区域，自动过滤。然后，通过非极大值抑制(non-maximumsuppression)算法合并重复或有交集的区域，非极大值抑制中交集面积(intersectionoverunion，iou)阈值设置为0.15。即，当两个重复或有交集的牙齿区域的交集面积高于这两个牙齿区域中任意一个区域的面积时，将这两个牙齿区域合并形成一个新的牙齿区域；当交集面积小于任意一个区域的面积时，仍将这两个牙齿区域作为单独区域，不作合并。

经过区域合并后，筛选出置信度最高的区域作为目标牙齿区域，获得目标第一牙齿区域图作为最终检测结果。最后输出检测结果，包括目标牙齿区域的牙齿区域坐标、区域内物体类型为牙齿的检测类型结果及该目标牙齿区域的置信度，若未检出牙齿区域则输出结果为空。

因此，本实施例中的第一牙齿区域，为整副牙齿中置信度最高的牙齿区域，其包括矩形框内的部分牙齿或者若干颗牙齿。

s3、基于更新后的牙齿区域坐标对第一牙齿区域图进行预处理获得第二牙齿区域图；

在一些实施例中，步骤s3具体包括如下子步骤：

s31、对第一牙齿区域图进行白平衡修正；

具体地，用robustgrayworld算法对第一牙齿区域图进行白平衡修正，减少因手机设备不同、环境光照不同对第一牙齿区域图造成的影响。

s31、根据更新后的牙齿区域坐标对修正后的第二牙齿区域图进行裁切，获得第二牙齿区域图。

s4、将第二牙齿区域图转化到hsv颜色空间，并通过区域聚类将转化后的第二牙齿区域图分为牙齿区域及非牙齿区域，将非牙齿区域置为指定颜色，得到第三牙齿区域图。

具体地，首先将第二牙齿区域图转化到hsv颜色空间。然后，按照k-均值聚类(k-means)聚为两类。接着，算出每类像素点对图像中心的平均距离，平均距离较小的一类即为牙齿区域。最后将非牙齿区域置为指定颜色，为了便于分辨，指定颜色为黑色。

此处k-means算法中，由于聚类结果分为两类，故k＝2。

s5、通过预先训练好的牙齿色度判断模型对第三牙齿区域图进行色度预测，得到牙齿色度预测值，并将牙齿色度预测值映射到比色卡中获得牙齿的颜色值。

具体地，在获得第三牙齿区域图后，通过牙齿色度判断模型得到牙齿色度预测值。本实施例中，牙齿色度判断模型将牙齿区域像素的色度归一化到[0，1]区间内。

通过预先构建的牙齿色度预测值与比色卡中颜色值之间建立的映射关系，在获得牙齿色度预测值后，通过映射关系得到牙齿颜色值，并将该牙齿颜色值返还至客户端。

本实施例中，在步骤s1之前且在步骤sa之后还包括：步骤sb、构建牙齿色度判断模型，具体为以resent-18作为基础网络训练训练牙齿色度判断模型，该步骤至少包括如下子步骤：

sb1、将经过牙齿区域检测模型获取并更新后获得的第一牙齿区域样本图进行裁切，获得第二牙齿区域样本图；

sb2、标出第二牙齿区域样本图中牙齿的实际区域，获得以蒙版表示的第三牙齿区域样本图；

sb3、基于第三牙齿区域样本图及拍摄牙齿图像样本时记录的牙齿颜色值构建牙齿色度判断模型。

具体地，首先，更新后的第一牙齿区域样本图为具有矩形框标注牙齿区域的牙齿图像样本，沿矩形框裁切获得第二牙齿区域样本图。接着，在获得以蒙版表示的牙齿实际区域时，以像素为最小单位用标注工具标出每张牙齿的实际区域，若图像中的像素点为牙齿，则跳过；若为其他区域，如牙龈、舌头、嘴唇等非牙齿区域，则用指定颜色的蒙版盖住(该指定颜色可以为黑色(r＝0，g＝0，b＝0))，以得到严格的牙齿区域，避免无关区域影响颜色判断。

本实施例对该步骤中采用的标注工具不做限制，原则上能够依此法标注出牙齿精确区域的标注工具，只要标注的最终结果符合要求，无论其标注形式，均可采用，常见的有labelme。

同样作为一种优选，在sb3完成后，步骤sb还包括：

sb4、将训练完成的牙齿色度判断模型进行固化存储，删除重复变量与梯度，只保存与预测相关的参数，压缩后保存。

本实施例所保护的一种基于深度学习的牙齿颜色值判断方法，其主要通过预先构建的牙齿区域检测模型及牙齿色度判断模型进行牙齿区域确定及牙齿色度判断，用户可以通过自己的手机向牙齿颜色值判断系统发送拍摄的包含牙齿图像的照片，获取牙齿颜色值的判断结果，而不需要专业人员使用比色模具对用户本人现场进行牙齿颜色值的判断，从而减少了人力物力成本，且判断标准统一，规避了人工比色过程中由于专业人员个体因素而造成的结果偏差；

另外，通过该基于深度学习的牙齿颜色值判断方法，输入的牙齿照片以端到端(end-to-end)的方式获得牙齿颜色值的判断结果，速度快，且判断过程不受地理、时间、环境的限制，仅需要带摄像头且联网状态的手机即可完成。

实施例二

为执行上述实施例一中一种基于深度学习的牙齿颜色值判断方法，本实施例提供一种基于深度学习的牙齿颜色值判断系统。

图2为本发明实施例二提供的一种基于深度学习的牙齿颜色值判断系统的结构示意图。如图2所示，该基于深度学习的牙齿颜色值判断系统100至少包括：

牙齿区域检测模块1：用于通过预先训练的牙齿区域检测模型对输入的待识别牙齿图像进行牙齿区域检测，获取若干牙齿区域坐标以及相应牙齿区域的置信度：

牙齿区域更新模块2：用于基于牙齿区域的置信度更新牙齿区域坐标，获得第一牙齿区域图；

第一预处理模块3：用于基于更新后的牙齿区域坐标对第一牙齿区域图进行预处理获得第二牙齿区域图；

区域聚类模块4：用于将第二牙齿区域图转化到hsv颜色空间，并通过区域聚类将转化后的第二牙齿区域图分为牙齿区域及非牙齿区域，将非牙齿区域置为指定颜色，得到第三牙齿区域图；

牙齿颜色值判断模块5：用于通过预先训练好的牙齿色度判断模型对第三牙齿区域图进行色度预测，得到牙齿色度预测值，并将牙齿色度预测值映射到比色卡中获得牙齿的颜色值。

在一些实施例中，系统还包括牙齿区域检测模型训练模块6，牙齿区域检测模型训练模块6至少包括：

样本采集子模块61：用于拍摄若干不同个体的牙齿图像样本；

标注子模块62：用于对所述牙齿图像样本进行标注，获得若干具有矩形框标注牙齿区域的牙齿图像样本；

样本多样性子模块63：用于对已标注的牙齿图像样本增加随机变换，以获得多样性的牙齿图像样本；

第一模型构建子模块64：用于基于多样性的牙齿图像样本构建牙齿区域检测模型。

在一些实施例中，系统100还包括牙齿色度判断模型训练模块7，牙齿色度判断模型预训练模块7至少包括：

裁切子模块71：用于将经过牙齿区域检测模型获取并更新后获得的第一牙齿区域样本图进行裁切，获得第二牙齿区域样本图；

蒙版处理子模块72：用于标出第二牙齿区域样本图中牙齿的实际区域，获得以蒙版表示的第三牙齿区域样本图；

第二模型构建子模块73：用于基于第三牙齿区域样本及拍摄牙齿图像样本时记录的牙齿颜色值构建牙齿色度判断模型。

在一些实施例中，系统100还包括第二预处理模块8，第二预处理模块8用于：

在通过预先训练的牙齿区域检测模型对输入的待识别牙齿图像进行牙齿区域检测之前，进行待识别牙齿图像预处理，待识别牙齿图像预处理具体包括：将待识别牙齿图像等比例缩放到具有一定像素值的最大宽度。

在一些实施例中，牙齿区域更新模块2至少包括：

过滤子模块21：用于过滤掉置信度较低的区域；

合并子模块22：用于合并重复或有交集的牙齿区域；

筛选子模块23：用于筛选出合并后置信度最高的区域作为目标牙齿区域，获得所述目标牙齿区域坐标及相应的第一牙齿区域图。

在一些实施例中，第一预处理模块3至少包括：

修正子模块31：用于对第一牙齿区域图进行白平衡修正；

裁切子模块32：用于根据更新后的牙齿区域坐标对修正后的第二牙齿区域图进行裁切，获得第二牙齿区域图。

需要说明的是：上述实施例提供的基于深度学习的牙齿颜色值判断系统在触发牙齿颜色值判断业务时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于深度学习的牙齿颜色值判断系统与基于深度学习的牙齿颜色值判断方法的实施例属于同一构思，即该系统是基于该方法的，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。