一种牙齿图像分割方法、存储介质和电子设备与流程

1.本发明涉及图像处理领域，尤其涉及一种牙齿图像分割方法、存储介质和电子设备。


背景技术：

2.随着数字化口腔技术的不断发展，基于三维数字化技术的口腔辅助诊断和治疗系统都依赖于患者牙齿和牙龈三维数字模型的建立。通过传统的患者咬合硅橡胶然后翻制石膏模型，扫描石膏模型，或者使用数字化口内扫描仪直接获得患者三维数字牙齿模型和牙龈模型，得到的牙齿模型数据精度较高。
3.牙齿图像分割是从包含众多牙齿信息的牙模图像中分割出若干包含单颗牙齿信息的图像，由于牙模图像上的牙齿信息纵横交错，现有的牙齿图像分割方式存在着分割精度不高、效率低下等问题。


技术实现要素：

4.为此，需要提供一种牙齿图像分割的技术方案，用于解决现有的牙齿图像分割方式精度不高的问题。
5.第一方面，本发明提供了一种牙齿图像分割方法，包括以下步骤：
6.s1：获取牙模图像；所述牙模图像包括至少一个牙齿信息；
7.s2：将所述牙模图像输入至训练完成的第一神经网络，输出所述牙模图像上的牙齿信息所在的特征点对应的向量信息；所述向量信息由所述特征点指向与所述特征点距离最近的牙齿中心点；
8.s3：对所有所述向量信息进行聚类分析，筛选出若干向量信息集合，并根据各个所述向量信息集合中的向量信息确定对应的牙齿中心点坐标；相同向量信息集合中的向量信息的终点之间的距离小于预设误差范围；
9.s4：根据各个牙齿中心点坐标对所述牙模图像进行分割，得到分割后的牙齿图像。
10.在某些实施例中，所述牙模图像为三维图像；
11.在步骤s1之后步骤s2之前还包括步骤：
12.s11：将所述牙模图像上各个体素大小调整至第一尺寸；所述第一尺寸为所述第一神经网络在进行训练时，输入至所述第一神经网络中的牙模样本图像上的体素大小；
13.将所述牙模图像输入至训练完成的第一神经网络包括：将经过步骤s11调整后的牙模图像输入至训练完成的第一神经网络。
14.在某些实施例中，将所述牙模图像输入至训练完成的第一神经网络还包括：
15.提取所述牙模图像中的重点区域，得到重点区域图像，将所述重点区域图像输入至训练完成的第一神经网络；所述重点区域图像包含所述牙模图像上的所有牙齿信息；
16.在某些实施例中，
17.所述第一神经网络根据以下方式进行训练：
18.获取若干牙模样本图像，所述牙模样本图像包含至少一个牙齿信息，每一牙齿信息对应一个牙齿中心点；
19.将所述牙模样本图像输入第一神经网络进行迭代训练，计算各个牙齿信息中的特征点对应的向量信息并输出。
20.在某些实施例中，步骤s4包括：
21.s41：将确定的若干所述牙齿中心点坐标和所述牙模图像输入至训练完成的第二神经网络，输出基于各个所述牙齿中心点坐标分割后的牙齿图像。
22.在某些实施例中，所述牙模图像为三维图像；
23.在步骤s3之后步骤s41之前还包括步骤：
24.s31：将所述牙模图像上各个体素大小调整至第二尺寸；所述第二尺寸为所述第二神经网络在进行训练时，输入至所述第二神经网络中的牙模样本图像上的体素大小；
25.将所述牙模图像输入至训练完成的第二神经网络包括：将经过步骤s31调整后的牙模图像输入至训练完成的第二神经网络。
26.在某些实施例中，将确定的若干所述牙齿中心点坐标和所述牙模图像输入至训练完成的第二神经网络包括：
27.以各个牙齿中心点为中心，将所述牙模图像分割为相应数量的包含单颗牙齿信息的图像，将各个牙齿中心点坐标以及其对应的所述包含单颗牙齿信息的图像依次输入至训练完成的第二神经网络。
28.在某些实施例中，根据各个所述向量信息集合中的向量信息确定对应的牙齿中心点坐标包括：
29.将各个所述向量信息集合中的向量信息对应的终点坐标的平均值作为对应的牙齿中心点坐标。
30.第二方面，本技术实施例还提供了一种存储介质，存储介质存储有计算机程序，计算机程序被处理器执行时实现如本发明第一方面的方法步骤。
31.第三方面，本技术实施例还提供了一种电子设备，包括处理器和存储介质，存储介质为如第二方面的存储介质；
32.处理器用于执行存储介质中存储的计算机程序以实现如第一方面的方法步骤。
33.区别于现有技术，本发明提供了一种牙齿图像分割方法、存储介质和电子设备，所述方法包括以下步骤：s1：获取牙模图像；s2：将所述牙模图像输入至训练完成的第一神经网络，输出所述牙模图像上的牙齿信息所在的特征点对应的向量信息；s3：对所有所述向量信息进行聚类分析，筛选出若干向量信息集合，并根据各个所述向量信息集合中的向量信息确定对应的牙齿中心点坐标；s4：根据各个牙齿中心点坐标对牙模图像进行分割，得到分割后的牙齿图像。上述方案通过将牙模图像输入至训练完成的第一神经网络中，得到牙齿信息的特征点对应的向量信息，并基于所有向量信息进行聚类分析，从而得到牙模图像上各个牙齿的中心点坐标，再基于中心点坐标完成对单颗牙齿的识别分割，能够有效提升牙齿图像分割的准确性。
附图说明
34.图1为本技术第一示例性实施例所述的牙齿图像分割方法的流程图；
或者其他类似的表述，意在涵盖非排他性的包含，这些表述并不排除在包括要素的过程、方法或者产品中还可以存在另外的要素，从而使得包括一系列要素的过程、方法或者产品中不仅可以包括那些限定的要素，而且还可以包括没有明确列出的其他要素，或者还包括为这种过程、方法或者产品所固有的要素。
58.与《审查指南》中的理解相同，在本技术中，“大于”、“小于”、“超过”等表述理解为不包括本数；“以上”、“以下”、“以内”等表述理解为包括本数。此外，在本技术实施例的描述中“多个”的含义是两个以上(包括两个)，与之类似的与“多”相关的表述亦做此类理解，例如“多组”、“多次”等，除非另有明确具体的限定。
59.如图1所示，在第一方面，本发明提供了一种牙齿图像分割方法，该方法包括以下步骤：
60.s1：获取牙模图像；
61.s2：将所述牙模图像输入至训练完成的第一神经网络，输出所述牙模图像上的牙齿信息所在的特征点对应的向量信息；
62.s3：对所有所述向量信息进行聚类分析，筛选出若干向量信息集合，并根据各个所述向量信息集合中的向量信息确定对应的牙齿中心点坐标；
63.s4：根据各个牙齿中心点坐标对牙模图像进行分割，得到分割后的牙齿图像。
64.在步骤s1中，所述牙模图像为口扫牙模图像，优选为三维图像，所述三维图像置于三维空间坐标系中。所述三维图像可以通过口腔扫描仪扫描人体口腔后生成，也可以通过运行内置于移动终端或云端服务器中的计算机程序扫描人体口腔后生成。
65.所述牙模图像包括至少一个牙齿信息，牙模图像包含多个牙齿信息，相邻牙齿信息之间排布较为紧密，需要对牙模图像进行处理以识别出单颗牙齿图像。
66.在步骤s2中，第一神经网络即第一神经网络模型，其输入为牙模图像，输出为牙模图像上各个牙齿信息所在的特征点对应的向量信息。所述向量信息由所述特征点指向与所述特征点距离最近的牙齿中心点。所述特征点是指牙模图像中牙齿信息所包含的区域中的坐标点，以三维图像为例，则特征点为牙齿信息对应的所有体素，体素是三维图像分割的最小单元。距离最近的牙齿中心点是指与特征点在三维空间坐标系中距离最近的牙齿中心点。在模型训练过程中，每个牙齿的中心点坐标被同步输入至待训练的第一神经网络中；在模型训练完成中，输入任意的牙模图像，就可以得到该牙模图像上的牙齿信息所对应的各个特征点对应的向量信息。
67.在步骤s3中，相同向量信息集合中的向量信息的终点之间的距离小于预设误差范围。如果牙模图像上的牙齿信息属于同一颗牙齿，则在经过步骤s2的第一神经网络运算后，该牙齿信息的特征点对应的向量信息的终点将大部分指向同一位置，即属于同一颗牙齿的向量信息对应的终点坐标是十分接近的，因而通过将终点之间的距离小于预设误差范围的向量进行归类，就可以分析出当前牙模图像上具有多少个聚集的向量信息集合，即牙模图像上具有多少个牙齿中心点或多少颗牙齿。
68.在步骤s4中，当各个牙齿的中心点坐标确认后，就可以基于各个中心点坐标反推得到各个牙齿图像。具体方法既可以是先基于牙齿的中心点确定一块能够包含单颗牙齿大小的区域，而后对该区域进行二值化处理和连通域的筛选，从而得到该中心点对应的牙齿图像；也可以直接将牙模图像和各个中心点坐标输入到另一个训练完成的神经网络进行计
算，以得到牙模图像对应的牙齿图像。
69.上述方案通过将牙模图像输入至训练完成的第一神经网络中，得到牙齿信息的特征点对应的向量信息，并基于所有向量信息进行聚类分析，从而得到牙模图像上各个牙齿的中心点坐标，再基于中心点坐标完成对单颗牙齿的识别分割，能够有效提升牙齿图像分割的准确性。
70.如图2所示，在某些实施例中，在步骤s1之后步骤s2之前还包括步骤：
71.s11：将所述牙模图像上各个体素大小调整至第一尺寸；
72.步骤s2包括：
73.s21：将经过步骤s11调整后的牙模图像输入至训练完成的第一神经网络，输出所述牙模图像上的牙齿信息所在的特征点对应的向量信息。
74.在步骤s11中，所述第一尺寸为所述第一神经网络在进行训练时，输入至所述第一神经网络中的牙模样本图像上的体素大小。待进行牙齿分割的牙模图像的尺寸各异，其对应的体素大小也不尽相同(体素尺寸越小，精度越高)，通过先将牙模图像调整为符合第一神经网络训练时的体素大小图像，能够使得第一神经网络更加快速、准确地输出该牙模图像上的牙齿信息对应的向量信息。
75.如图3所示，在某些实施例中，步骤s2包括：
76.s22：提取所述牙模图像中的重点区域，得到重点区域图像，将所述重点区域图像输入至训练完成的第一神经网络，输出所述牙模图像上的牙齿信息所在的特征点对应的向量信息。
77.在步骤s22中，所述重点区域图像包含所述牙模图像上的所有牙齿信息。通常，获取的牙模图像除了包含牙齿信息部分以外，还包括背景部分，若背景部分占牙模图像整体的比重过大，将会影响牙齿图像分割的精度，因而需要先提取出包含所有牙齿信息的重点区域图像，再基于所述重点区域图像进行分析。重点区域图像可以根据以下方式确定：在获取到牙模图像时，可以通过灰度判断的方式获取上下左右四个方位距离图像边缘最近、且灰度值达到牙齿信息的特征点，而后基于这四个特征点的坐标沿图像边缘方向向外延伸预设个坐标单位值，将延伸后的坐标点的连线作为重点区域图像，以保证所有的牙齿信息都能够被囊括在所述重点区域中。通过对牙模图像中重点区域图像的提取，能够有效减小第一神经网络计算的数据量，提升计算精度。
78.在某些实施例中，所述第一神经网络根据以下方式进行训练：
79.获取若干牙模样本图像，所述牙模样本图像包含至少一个牙齿信息，每一牙齿信息对应一个牙齿中心点；
80.将所述牙模样本图像输入第一神经网络进行迭代训练，计算各个牙齿信息中的特征点对应的向量信息并输出。
81.优选的，所述第一神经网络包括但不限于三维分割网络vnet，三维分割网络vnet是神经网络的一种，在训练过程中，可以不断调整这个网络的诸多参数，不断迭代缩小神经网络输出结果与标准结果之间的差值，从而获得与之配对的训练权重，将最终得到的训练权重作为该神经网络的最佳参数设置，以得到训练完成的第一神经网络。
82.在某些实施例中，如图4所示，步骤s4包括：s41：将确定的若干所述牙齿中心点坐标和所述牙模图像输入至训练完成的第二神经网络，输出基于各个所述牙齿中心点坐标分
割后的牙齿图像。通过训练完成的神经网络来得到分割后的牙齿信息，相较于直接通过二值化判断的方式，能够更加精准地实现牙齿图像的分割。
83.需要说明的是，在本实施例中，每个牙齿中心点坐标还原得到的牙齿信息可以通过不同的标识信息进行标记，例如有20个牙齿中心点，则分别可以采用编号1-20标记还原的牙齿信息的特征点，以便后续在得到分割后的牙齿图像时，能够区分突出显示。
84.在某些实施例中，如图5所示，所述牙模图像为三维图像；在步骤s3之后步骤s41之前还包括步骤：
85.s31：将所述牙模图像上各个体素大小调整至第二尺寸；所述
86.步骤s4包括：：将确定的若干所述牙齿中心点坐标和经过步骤s31调整后的牙模图像输入至训练完成的第二神经网络，输出基于各个所述牙齿中心点坐标分割后的牙齿图像。
87.在步骤s31中，所述第二尺寸为所述第二神经网络在进行训练时，输入至所述第二神经网络中的牙模样本图像上的体素大小。待进行牙齿分割的牙模图像的尺寸各异，其对应的体素大小也不尽相同(体素尺寸越小，精度越高)，在牙模图像被输入至训练完成的第二神经网络之前，通过先将牙模图像调整为符合第二神经网络训练时的体素大小图像，能够使得第二神经网络更加快速、准确地输出该牙模图像上对应的牙齿图像(即分割后的结果)。
88.优选的，将确定的若干所述牙齿中心点坐标和所述牙模图像输入至训练完成的第二神经网络包括：以各个牙齿中心点为中心，将所述牙模图像分割为相应数量的包含单颗牙齿信息的图像，将各个牙齿中心点坐标以及其对应的所述包含单颗牙齿信息的图像依次输入至训练完成的第二神经网络。所述第二神经网络包括但不限于unet++模型、unet模型、deeplabv3模型等。
89.简言之，在训练第二神经网络过程中，第二神经网络的输入为牙模样本图像、牙齿中心点坐标，每一牙模样本图像包含一个或多个牙齿信息，第二神经网络的输出为各个包含单颗牙齿信息的图像。在训练过程中，第二神经网络通过不断调相关多参数，不断迭代缩小神经网络输出结果与标签结果(即标准的包含单颗牙齿信息的图像)之间的差值，从而获得与之配对的训练权重，将最终得到的训练权重作为该神经网络的最佳参数设置，以得到训练完成的第二神经网络。而后只要将任意包含牙齿信息的牙模图像以及该牙齿中心点坐标(已通过对向量信息进行聚类分析得到)输入至训练完成的第二神经网络中，就可以得到该牙模图像对应的所有包含单颗牙齿信息的图像(即牙齿图像)，对于得到的所有牙齿图像可以以单颗或多颗的方式进行展示。
90.在某些实施例中，根据各个所述向量信息集合中的向量信息确定对应的牙齿中心点坐标包括：将各个所述向量信息集合中的向量信息对应的终点坐标的平均值作为对应的牙齿中心点坐标。这样可以提升计算得到的牙齿中心点坐标的精准性。
91.如图6所示，以下对本实施例涉及的方法的原理作进一步说明。某一牙模图像1包含4颗牙齿信息30，分别是牙齿信息a、牙齿信息b、牙齿信息c和牙齿信息d，在获取到牙模图像1后，会先对牙模图像1进行处理，以提取包含所有牙齿信息30的重点区域图像20，而后可以将重点区域图像20输入至训练完成的第一神经网络中，第一神经网络会输出牙齿信息a-d中的所有体素点(即特征点301，)对应的向量信息，向量信息通过图6中的牙齿信息a-d画
圈部分内的箭头进行表示。需要说明的是，在图6中，仅展示了牙齿信息a-d中的部分特征点，图6中画圈部分a-d内包含的所有体素点都应当视为是牙齿信息a-d对应的特征点。
92.在得到所有牙齿信息的特征点对应的向量信息后，就可以对这些向量信息进行聚类分析，从图6中不难看出，尽管有些牙齿信息的特征点的向量信息会指向外围，但同属于同一颗牙齿的特征点对应的向量信息往往会往这颗牙齿的中心进行聚集，因而通过分析这些聚集的向量信息的终点坐标，将终点距离差值较小的向量信息进行分类，而后对分类后的向量信息的终点坐标取平均值，就可以得到各个牙齿中心点302的坐标。而后再将各个牙齿中心点302的坐标与牙模图像一起输入至训练完成的第二神经网络，就可以得到分割后的牙齿图像。
93.以下结合具体的应用场景，对于本技术涉及的方法作进一步说明，该方法具体涉及训练阶段和前向推理阶段。
94.所述训练阶段具体包括以下几个阶段：
95.(1)roi检测阶段，即检测cbct哪个位置区域包含牙齿信息。
96.具体步骤如下：读取images(即牙模图像)与labels(即标签类型)，对images与labels统一进行归一化处理，将images的数值归一化至合理区间，方便后续计算，将所有cbct图像的体素大小均缩放至统一大小，如0.2或0.25等。
97.cbct数据是一个三维数组，里面的数字有大有小，这是因为x光在穿透人体头部的时候，遇到不同的东西，如骨头，单纯的皮肉组织等，会有不同的透射率。而labels是一种标签，即说明images中的数据哪些是牙齿，哪些是颌骨等。
98.(2)cnt检测阶段，即牙模图像中重点区域图像的提取以及第一神经网络的训练。
99.训练阶段的cnt检测首先是对通过labels定位输入的images的牙齿信息范围(即牙模图像中哪个范围内才包含有牙齿信息)，而后提取出这一牙齿信息范围内的images和labels。在此基础上，再根据labels分别计算各个牙齿的三维坐标点相对于各个牙齿之中心点的偏移量(即向量信息)。(3)单颗牙齿分割，即第二神经网络的训练
100.在这一训练阶段的首要目的是通过labels与images来生成训练所需要的数据。在单颗牙齿分割这一步骤中，本技术先通过labels分别定位出各个牙齿的中心点三维坐标，然后在以定位出的各个牙齿的中心点三维坐标提取出包含整颗牙齿的体素块(体素块的大小可以为64*64*64或者128*128*128等)，这个提取动作会对images和labels的三维数据进行同样的操作，保证images和labels能够相对应，这样配对的数据再被送入roi检测所使用的神经网络，就可以获得获取单颗牙齿分割权重。所述前向推理阶段可以包括以下几个步骤：
101.(1)读取cbct images数据，并对其进行归一化处理，使得归一化处理后的图像上的体素大小与训练阶段所做的处理一致。将预处理后的images送入到roi检测网络中，得到初步牙齿分割结果，如图7所示。
102.(2)将初步牙齿分割结果缩放至数据读取后的images的大小。
103.(3)对缩放后的图像进行裁剪，确定具体牙齿区域位置，获得其三维坐标范围。
104.(4)根据三维坐标范围对images进行裁剪，并按照步长为2的规则，将其送入cnt点检测神经网络，根据前向推理结果进行后处理，并对结果进行聚类，保证一颗牙齿对应一个cnt点。
105.(5)将cnt点结果映射回一开始的images坐标中，在此基础上，根据cnt点坐标挖出cnt点三维空间内一定的体素块(体素块大小与训练阶段保持一致)，送入单颗牙齿分割网络，并依据cnt点坐标和分割结果，逐步将分割结果映射至与images同样大小的空label标签中，此结果为最终的牙齿分割结果。效果如图8所示。
106.在第二方面，本发明还提供了一种存储介质，存储介质存储有计算机程序，计算机程序被处理器执行时实现如本发明第一方面的方法步骤。
107.如图9所示，在第三方面，本发明还提供了一种电子设备10，包括处理器101和存储介质102，该存储介质102为如第二方面的存储介质；处理器101用于执行存储介质102中存储的计算机程序以实现如第一方面的方法步骤。
108.在本实施例中，电子设备为计算机设备，包括但不限于：口扫仪、个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等。存储介质包括但不限于：ram、rom、磁碟、磁带、光盘、闪存、u盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。处理器包括但不限于cpu(中央处理器)、gpu(图像处理器)、mcu(微处理器)等。
109.本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法的全部或部分步骤。
110.上述各实施例是参照根据实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
111.这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
112.这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
113.尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。