3D语义分割网络构建方法、CBCT3D牙齿实例分割方法及系统与流程

3d语义分割网络构建方法、cbct 3d牙齿实例分割方法及系统
技术领域
1.本发明涉及基于图像的牙齿分割领域，尤其涉及一种用于牙齿实例分割的3d语义分割网络构建、cbct 3d牙齿实例方法及系统。


背景技术：

2.牙齿分割是数字化牙齿正畸的基础，近些年来计算机视觉和图形学的发展，使得数字化口腔医疗成为了现实。cbct作为一种获得三维影像学图像的方法，比起普通ct，cbct除了具有辐射剂量小、扫描时间短、图像空间分辨率高等优点之外，它还提供了包括牙齿在内的所有口腔组织的更全面的3d体积信息。所以从cbct图像中分割牙齿可以得到更完整、更准确的牙齿模型。然而，现有的基于cbct数据的牙齿实例分割方法主要是基于toothnet/3d hourglass net/3d v-net/3d fcn等网络，其输入是cbct图像序列构成的h
×w×
l的三维体素，再输出每颗牙齿的bbox/中心点+每颗牙齿的体素。但现有方法存在如下缺点：
3.·
训练数据的标注难度大，耗时久，成本高；
4.·
3d卷积网络参数量巨大，推理速度慢，推理时占用的显存资源量非常大；
5.·
一般无法获取牙齿的牙号，需要进一步处理才可以获得牙号。


技术实现要素：

6.本发明的目的是针对现有技术的不足，提供一种3d语义分割网络构建方法、cbct 3d牙齿实例分割方法及系统。
7.本发明采用的技术方案如下：
8.一种3d语义分割网络构建方法，包括以下步骤：
9.a、构建第一训练数据集，所述第一训练数据集的每一样本包括基于一张cbct数据对应牙列网格提取的点云特征数据，其中每个样本的标签通过如下方法标注：
10.收集cbct数据及对应的具有标注的口扫数据，将cbct数据重建为牙列网格数据；
11.使用icp将牙列网格数据与对应的具有标注的口扫数据进行配准，然后基于口扫数据的牙号使用最近邻算法对牙列网格数据进行标注；提取牙列网格的点云特征数据，基于标注后的牙列网格数据对每个点云特征数据进行标注，其中每个牙位的牙齿对应的点云对应同一个标签；
12.b、构建3d语义分割网络结构，所述3d语义分割网络由图卷积网络和多尺度特征融合模块组成；其中，图卷积网络用于基于输入的点云特征数据提取获得多尺度的特征图；多尺度特征融合模块用于对输入的多尺度的特征图进行特征融合并输出点云每个点的牙号预测结果；
13.c、将第一训练数据集的每个样本作为3d语义分割网络的输入，以最小化每个点云的牙号预测结果与标签的损失为目标进行训练获得用于牙齿实例分割的3d语义分割网络。
14.一种cbct 3d牙齿实例分割方法，包括以下步骤：
15.步骤1、将cbct数据转换成一组二维cbct图像序列，将一组二维cbct图像序列输入
至2d语义分割网络，进行牙齿区域分割，获得每一张二维cbct图像的牙齿区域分割结果；将全部的二维cbct图像的牙齿区域分割结果按照cbct的扫描顺序进行堆叠，获得提取的牙齿区域；
16.步骤2、采用面绘制方法将提取的牙齿区域三维重建为牙列网格数据；
17.步骤3、提取网格数据的点云特征数据，采用上述方法构建获得的3d语义分割网络进行基于点云语义的实例分割，得到网格数据的牙齿实例。
18.进一步地，所述步骤1中，所述2d语义分割网络通过如下方法获得：
19.a、构建第二训练数据集，所述第二训练数据集的每一样本为一组由cbct数据转换成的二维cbct图像序列，其中部分二维cbct图像具有对应的标签图像；
20.b、构建2d语义分割网络结构，所述2d语义分割网络由2d骨干网络、双向时空融合模块和特征融合模块组成；其中，网络的输入是以当前帧为中心的前后共2n+1张二维cbct图像，2d骨干网络用于基于输入的每2n+1张二维cbct图像提取获得全局特征图和局部多尺度特征图；双向时空融合模块用于对输入的按照cbct数据的扫描顺序获得的一组全局特征图序列和按照cbct数据的逆向扫描顺序获得的一组全局特征图序列进行融合获得时空全局特征图；特征融合模块用于将时空全局特征图与当前帧的局部多尺度特征图融合并输出当前帧的二维cbct图像的分割预测结果；
21.c、将训练数据集的每个样本作为2d语义分割网络的输入，以最小化每张二维cbct图像的分割预测结果与标签图像的损失为目标进行训练获得2d语义分割网络。
22.进一步地，所述双向时空融合模块为convlstm、注意力机制模块或gru循环神经网络。
23.进一步地，所述特征融合模块为upperhead、u-net、fpn或fastfcn。
24.进一步地，所述步骤2中，面绘制方法为marching cube。
25.进一步地，所述步骤3中，2d骨架网络为swin、resnet、efficientnet或transformer。
26.一种cbct 3d牙齿实例分割系统，包括：
27.牙列网格重建单元，用于输入cbct数据，基于深度学习分割模型，进行牙齿区域分割，提取牙齿区域；再采用面绘制方法将提取的牙齿区域三维重建为牙列网格数据；
28.牙齿实例分割单元，用于提取网格数据的点云特征数据，采用上述方法构建获得的3d语义分割网络进行基于点云语义的实例分割，得到网格数据的牙齿实例。
29.本发明的有益效果是：本发明提出一种基于弱监督的半自动数据标注方式构建用于牙齿实例分割的3d语义分割网络，可解决用于训练的cbct数据的标注难于获取的问题；从而可以以更低的成本获得更大量的数据，提高3d语义分割网络的效果、鲁棒性和泛化性。进一步提高cbct 3d牙齿实例分割方法及系统准确性，可大规模推广应用。
附图说明
30.图1是本发明cbct 3d牙齿实例分割方法的流程示意图；
31.图2是本发明2d语义分割网络在时序上的展开的结构示意图；
具体实施方式
32.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
33.在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。
34.在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
35.应当理解，尽管在本技术可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
36.本发明提供的一种3d语义分割网络构建方法，包括以下步骤：
37.a、构建第一训练数据集，所述第一训练数据集的每一样本包括基于一张cbct数据对应牙列网格提取的点云特征数据，其中每个样本的标签通过如下方法标注：
38.收集cbct数据及对应的具有标注的口扫数据，将cbct数据重建为牙列网格数据；
39.使用icp将牙列网格数据与对应的具有标注的口扫数据进行配准，然后基于口扫数据的牙号使用最近邻算法对牙列网格数据进行标注；提取牙列网格的点云特征数据，基于标注后的牙列网格数据对每个点云特征数据进行标注，其中每个牙位的牙齿对应的点云对应同一个标签；
40.由于cbct数据一般都会有对应的口扫数据，而口扫数据的标注成本较低，并且现有的口扫分割算法也有较高的成熟度，可以直接使用，因此，本发明可以以更低的成本获得更大量的数据，提高3d语义分割网络的效果、鲁棒性和泛化性。
41.进一步地，为了提高标注的准确度，可以对算法自动标注后的数据进行人工矫正，由于自动标注的准确度已经很高，只需要修改少量错标注的3d网格，且在网格上标注比在cbct图像上标注难度要低。
42.b、构建3d语义分割网络结构，所述3d语义分割网络由图卷积网络和多尺度特征融合模块组成；其中：
43.图卷积网络用于基于输入的点云特征数据提取获得多尺度的特征图；本发明采用的图卷积网络优选为point transfomer进行处理，其他用于点云处理的网络(如pointnet/dgcnn/pointcnn等)，也同样适用；
44.多尺度特征融合模块用于对输入的多尺度的特征图进行特征融合并输出每个点的牙号预测结果；本发明优选guided upsampling模块进行多尺度的特征融合，可以更好的保持边界信息和结构信息，减少边界上分类的错误。其他多尺度融合模块，如u-net/fpn等同样适用。
45.c、将训练数据集的每个样本作为3d语义分割网络的输入，以最小化每个点云的牙号预测结果与标签的损失为目标进行训练获得用于牙齿实例分割的3d语义分割网络。作为
一优选方案，本发明可以采用boundary loss与dice loss的组合作为损失函数，其中boundary loss可以减少边界上的分类错误，dice loss可以减少类别不平衡的影响，可以进一步提高3d语义分割网络的效果、鲁棒性和泛化性。
46.本发明构建的3d语义分割网络可用于cbct 3d牙齿实例分割，示例性地，本发明提供的一种cbct 3d牙齿实例分割方法，其分割流程如图1所示，包括以下步骤：
47.步骤1、将cbct数据转换成一组二维cbct图像序列，将一组二维cbct图像序列输入至2d语义分割网络，使用2d语义分割网络进行前背景分割即牙齿区域分割，获得每一张二维cbct图像的牙齿区域分割结果(2d的二值mask图像)，其中1表示牙齿，0表示除牙齿外的背景；将全部的二维cbct图像的牙齿区域分割结果按照cbct的扫描顺序进行堆叠，获得提取的牙齿区域，提取的牙齿区域为3d的二值mask立方体。
48.示例性地，本发明的2d语义分割网络采用的结构为由2d骨干网络、双向时空融合模块和特征融合模块组成的网络结构，通过如下方法进行训练：
49.a、构建第二训练数据集，所述第二训练数据集的每一样本为一组由cbct数据转换成的二维cbct图像序列，其中部分二维cbct图像具有对应的标签图像；示例性地，如标注m张关键帧，m(例如20)远小于图像总数(例如400)。
50.b、构建2d语义分割网络结构，其中，网络的输入是以当前帧为中心的前后共2n+1张二维cbct图像，使用多张图像而不是单张图像作为输入，可以提供更加丰富的上下文信息，更有利于区分前背景，并且增强相邻cbct二值mask的平滑性；具体地，如图2所示，输入是以当前帧为中心的前后共2n+1张二维cbct图像首先经过2d骨干网络的处理，提取获得每张输入的二维cbct图像的全局特征图(feature map)和局部多尺度特征图；本发明采用的2d骨干网络优选为swin；其他的骨干网络backbone，比如resnet/efficientnet/transformer等同样适用。局部多尺度特征图是2d骨干网络不同阶段的输出。对于全局特征图，本发明采用2d骨干网络最后一个阶段的输出，并使用金字塔池化模块ppm进行处理；其他处理方式，比如aspp、注意力机制、non-local等同样适用。
51.然后将输入的全部二维cbct图像对应的全局特征图经过双向时空融合模块的处理，输出时空全局特征图。本发明采用双向convlstm作为双向时空融合模块，对按照cbct的扫描顺序获得的全局特征图和按照cbct的逆向扫描顺序获得的全局特征图进行融合。其他融合方式如注意力机制、gru等同样适用。
52.最后将多尺度特征图和时空全特征图经由特征融合模块进行融合，获得最终的二值mask的分割结果。其他的语义分割head同样适用，比如u-net、fpn、fastfcn等。
53.c、将训练数据集的每个样本作为2d语义分割网络的输入，以最小化二维cbct图像的分割预测结果与标签图像的损失为目标进行训练获得2d语义分割网络。损失函数可以采用softmax loss等。
54.步骤2、采用面绘制方法将提取的牙齿区域三维重建为牙列网格数据；具体地，使用marching cube等算法(其他将体素转变为mesh的算法同样适用)处理上述3d的二值mask立方体，重建获得牙列网格数据，牙列网格数据包含所有牙齿的3d网格。
55.步骤3、提取网格数据的点云特征数据，采用前述构建获得的3d语义分割网络进行基于点云语义的实例分割，其中，输入的点云首先经过图卷积网络进行处理，获得多尺度的特征图；然后多尺度特征图经过多尺度特征融合模块进行融合，获得最终的输出：每个点的
牙号。将牙号相同的点组合即可得到每颗牙齿的网格和对应牙号完成网格数据的牙齿实例分割。
56.基于上述使用2d骨干网络+图卷积网络处理cbct的实例分割，可以极大程度上降低模型的参数量、显存占用量和耗时。同时本发明将cbct 3d牙齿实例分割建模成语义分割问题，可以直接输出牙号，无需后处理。
57.与前述一种cbct 3d牙齿实例分割方法的实施例相对应，本发明还提供了一种cbct3d牙齿实例分割系统的实施例。
58.本发明的一种cbct 3d牙齿实例分割系统，包括：
59.牙列网格重建单元，用于输入cbct数据，基于深度学习分割模型，进行牙齿区域分割，提取牙齿区域；再采用面绘制方法将提取的牙齿区域三维重建为牙列网格数据；
60.牙齿实例分割单元，用于提取网格数据的点云特征数据，采用上述方法构建获得的3d语义分割网络进行基于点云语义的实例分割，得到网格数据的牙齿实例。
61.对于系统实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
62.显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法把所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围。