产生表示处于目标牙齿布局的牙列的三维数字模型的方法与流程

1.本技术总体上涉及利用深度学习神经网络基于隐空间编码变换的产生表示处于目标牙齿布局的牙列的三维数字模型的方法。


背景技术：

2.随着计算机技术的飞速发展，牙科诊疗越来越多地借助计算机技术。例如，在利用壳状牙齿矫治器的正畸治疗中，通常是基于表示处于初始牙齿布局的牙列的三维数字模型产生表示处于目标牙齿布局的所述牙列的三维数字模型，然后，基于两者产生表示处于若干逐次的中间牙齿布局的所述牙列的三维数字模型，最后，基于这些三维数字模型制作一系列逐次的壳状牙齿矫治器。当前，主要是通过人工手动移动表示处于初始牙齿布局的牙列的三维数字模型的各牙齿来获得表示处于目标牙齿布局的牙列的三维数字模型。一方面，这种方法效率较低，成本较高，另一方面，其结果比较依赖操作者的专业技能。
3.鉴于以上，有必要提供一种计算机自动执行的产生表示处于目标牙齿布局的牙列的三维数字模型的方法。


技术实现要素：

4.本技术的一方面提供了一种计算机执行的利用深度学习神经网络基于隐空间编码变换产生表示处于目标牙齿布局的牙列的三维数字模型的方法，其包括：获取表示处于初始牙齿布局的第一牙列的第一三维数字模型；基于所述第一三维数字模型产生第一点云；利用经训练的深度学习神经网络：对所述第一点云进行特征提取，以将所述第一三维数字模型映射到隐空间，获得所述第一三维数字模型在隐空间的第一编码；基于所述第一编码产生表示处于目标牙齿布局的所述第一牙列的第二三维数字模型在隐空间的第二编码；以及基于所述第一编码和第二编码求解所述第一牙列从初始牙齿布局到目标牙齿布局各牙齿的平移和旋转量；以及基于所述第一三维数字模型和求解获得的平移和旋转量产生所述第二三维数字模型。
5.在一些实施方式中，目标牙齿布局是正畸治疗期望达成的牙齿布局。
6.在一些实施方式中，所述第一点云中每颗牙齿的点云点数量相同。
7.在一些实施方式中，对所述第一点云提取的特征包括各牙齿的局部形状特征和全局特征。
8.在一些实施方式中，所述深度学习神经网络包括第一特征提取模块，用于对所述第一点云进行特征提取，所述的计算机执行的利用深度学习神经网络基于隐空间编码变换产生表示处于目标牙齿布局的牙列的三维数字模型的方法还包括所述第一特征提取模块：对所述第一点云的单颗牙齿的点云进行邻域卷积，以提取单颗牙齿的局部形状特征；对所述第一点云整个进行逐点卷积；基于所述局部形状特征和所述逐点卷积的结果，利用第一基于注意力机制的特征提取模块提取全局特征；以及基于所述第一基于注意力机制的特征提取模块的输出，利用多层的第二基于注意力机制的特征提取模块获得所述第一编码。
9.在一些实施方式中，所述逐点卷积是采用pointconv网络进行。
10.在一些实施方式中，所述第一和第二基于注意力机制的特征提取模块是transformer。
11.在一些实施方式中，所述深度学习神经网络包括第一子网络和第二子网络，所述第一子网络包括第一特征提取模块、特征变换模块以及第一特征变换求解模块，其中，所述第一特征提取模块基于所述第一点云产生所述第一编码，所述特征变换模块基于所述第一编码产生所述第二编码，所述第一特征变换求解模块基于所述第一编码和第二编码产生所述平移和旋转量，所述第二子网络用于训练所述深度学习神经网络，训练所述深度学习神经网络时，分别向所述第一子网络和第二子网络输入表示处于初始牙齿布局和目标牙齿布局的同一牙列的三维数字模型的点云，所述第二子网络包括第二特征提取模块和第二特征变换求解模块，所述第二特征提取模块用于将所述表示处于目标牙齿布局的牙列的三维数字模型映射到隐空间，所述第二特征变换求解模块基于所述第一特征提取模块以及所述第二特征提取模块的输出求解各牙齿的平移和旋转量，所述第一和第二特征提取模块结构相同且共享参数，所述第一和第二特征变换求解模块结构相同且共享参数。
12.在一些实施方式中，所述特征变换模块是逐点卷积网络，所述第一和第二特征变换求解模块是多层逐点卷积网络。
13.在一些实施方式中，所述第一点云是通过对所述第一三维数字模型进行采样而获得。
附图说明
14.以下将结合附图及其详细描述对本技术的上述及其他特征作进一步说明。应当理解的是，这些附图仅示出了根据本技术的若干示例性的实施方式，因此不应被视为是对本技术保护范围的限制。除非特别指出，附图不必是成比例的，并且其中类似的标号表示类似的部件。
15.图1为本技术一个实施例中的利用深度学习神经网络基于隐空间编码变换产生表示目标牙齿布局的三维数字模型的方法的示意性流程图；
16.图2示意性地展示了本技术一个实施例中的深度学习神经网络的结构；
17.图3示意性地展示了图2所示深度学习神经网络的特征提取模块的结构；
18.图4a展示了本技术一个例子中表示处于初始牙齿布局的牙列的三维数字模型；以及
19.图4b展示了利用本技术的方法基于图4a所示的三维数字模型产生的表示处于目标牙齿布局的所述牙列的三维数字模型。
具体实施方式
20.以下的详细描述中引用了构成本说明书一部分的附图。说明书和附图所提及的示意性实施方式仅仅出于是说明性之目的，并非意图限制本技术的保护范围。在本技术的启示下，本领域技术人员能够理解，可以采用许多其他的实施方式，并且可以对所描述实施方式做出各种改变，而不背离本技术的主旨和保护范围。应当理解的是，在此说明并图示的本技术的各个方面可以按照很多不同的配置来布置、替换、组合、分离和设计，这些不同配置
都在本技术的保护范围之内。
21.本技术的一方面提供了一种计算机执行的利用深度学习神经网络基于隐空间编码变换产生表示处于目标牙齿布局的牙列的三维数字模型的方法。一个牙列可以是单个牙颌的所有牙齿，例如，上颌或下颌的所有牙齿。
22.在一个实施例中，目标牙齿布局是指牙齿正畸治疗期望达到的牙齿布局，可以理解，对于不同牙列，可以有不同的目标牙齿布局，即使对于同一牙列，不同的技师或系统所给出的目标牙齿布局之间也可能存在些微差别。
23.请参图1，为本技术一个实施例中的计算机执行的利用深度学习神经网络基于隐空间编码变换产生表示处于目标牙齿布局的牙列的三维数字模型的方法100的示意性流程图。
24.在101中，获取表示处于初始牙齿布局的第一牙列的第一三维数字模型。
25.在一个实施例中，初始牙齿布局可以是进行正畸治疗之前患者的牙齿布局；在又一实施例中，初始牙齿布局也可以是正畸治疗过程中任何时刻患者的当前牙齿布局。
26.所述第一三维数字是经分割的三维数字模型(即牙齿之间相互独立)，可以独立地对各牙齿进行移动。
27.在一个实施例中，可以通过直接扫描患者的牙颌，以获取表示初始牙齿布局的三维数字模型。在又一实施例中，可以通过扫描患者牙颌的实体模型，例如石膏模型，以获取表示初始牙齿布局的三维数字模型。在又一实施例中，可以通过扫描患者牙颌的咬模，以获取表示初始牙齿布局的三维数字模型。
28.在一个实施例中，可以基于三角网格构建三维数字模型，下面的具体实施例均是基于这种三维数字模型进行说明。可以理解，除了三角网格，还可以基于其他类型的网格构建牙颌三维数字模型，例如四边形网格、五边形网格、六边形网格等，此处不再进行一一说明。
29.在103中，基于第一三维数字模型产生第一点云。
30.在一个实施例中，可以对第一三维数字模型进行均匀采样，以产生所述第一点云。
31.在又一实施例中，可以将所述第一三维数字模型上的所有顶点作为候选点，使用最远点采样算法采样得到所述第一点云。
32.在又一实施例中，可以对所述第一三维数字模型的所有面片区域进行随机采样，扩大候选点集，再使用最远点采样算法得到分布均匀的所述第一点云。
33.在一个具体的例子中，可以对每颗牙齿的三维模型，利用随机采样的方法选取候选采样点集，其点数为最终采样点数量的数倍。在一个例子中，最终采样点数量可以取400，候选采样点的预期数量可以取4000。在所述一颗牙齿的三维数字模型的每个面片上，按其面积占该牙齿总面积的比例均匀随机采样相应数量的点，构成候选采样点。然后，使用最远点采样方法对所述候选点集进行采样，得到每颗牙齿的分布足够均匀的采样点云。
34.可以理解，由于所述第一三维数字模型是经分割的，对它的点云化是按单颗牙齿进行，所述第一点云是由所述第一三维数字模型各牙齿的点云所构成。
35.为了便于实现，每颗牙齿的点云点的数量可以是相同的并且预先给定的。可以理解，每颗牙齿的点云点的数量也可以是不固定的。
36.为了便于描述，以下将表示处于目标牙齿布局的所述第一牙列的三维数字模型称
为第二三维数字模型。
37.在105中，利用经训练的深度学习神经网络对第一点云进行局部形状特征和全局上下文特征的提取，得到第一三维数字模型在隐空间的第一编码，基于第一编码产生表示第二三维数字模型在隐空间的第二编码，基于第一编码和第二编码计算第一牙列各牙齿从初始布局到目标布局的平移和旋转量。
38.请参图2，示意性地展示了本技术一个实施例中的基于隐空间编码变换产生目标牙齿布局的深度学习神经网络200的大致结构，该深度学习神经网络200包括第一子网络201和第二子网络203。
39.第一子网络201包括输入模块2011、特征提取模块2013、特征变换模块2015、特征变换求解模块2017以及输出模块2019。
40.输入模块2011接收所述第一点云，将其输出至特征提取模块2013。
41.请参图3，示意性地展示了本技术一个实施例中特征提取模块2013的大致结构。
42.特征提取模块2013的输入为表示处于初始牙齿布局的牙列的三维数字模型的点云p(n
t
*n
p
*3)，其中，n
t
代表牙齿的数量，n
p
代表每颗牙齿上的采样点数量，3表示每个采样点的三维坐标。
43.特征提取模块2013包括局部特征提取模块20131，它包括若干个分支，每一分支对应一颗牙齿，用于提取该牙齿的局部特征。其中，这些分支结构相同，共享参数。
44.每一所述分支对于输入的单颗牙齿的点云进行去中心化(centering)，即对点云中的每个点减去牙齿的中心点，并通过多层点云邻域卷积得到底层形状特征。在一个实施例中，可以采用pointconv进行点云邻域卷积，可以理解，除此之外也可以采用pointnet++、kpconv、pointcnn等点云卷积网络进行点云邻域卷积。对于得到的底层形状特征，通过下采样层(downsample)和多层邻域卷积得到上层特征，并重复这一步骤若干次(例如，迭代3次)得到不同层次的形状特征。
45.在一个具体的例子中，可以使用以pointconv为代表的点云特征提取方法进行局部形状特征的提取，得到当前的局部形状特征。接着，对当前的局部形状特征对应的点云，利用最远点采样方法对其进行下采样，得到数量更少的点云和对应位置的当前局部形状特征。然后，将得到的下采样点云和对应的局部形状特征作为输入，使用以pointconv为代表的点云特征提取方法进行进一步的特征提取，并将得到的特征作为新的当前局部形状特征。重复该操作数次(例如，迭代3次)，得到单颗牙齿在各个层次下的点云和对应的局部形状特征。
46.特征提取模块2013还包括多层逐点卷积网络20133，将所述第一点云整个输入多层逐点卷积网络20133，得到每个点的高维特征，作为当前特征。接着，对单颗牙齿的当前特征对应的点云进行下采样，其采样点与上述局部特征提取中的对应层次的下采样保持一致，得到数量更少的点云和对应位置的当前特征。
47.然后，将得到的整个牙列中所有牙齿的下采样点云和对应的特征以及上述局部特征提取中得到的对应层次的局部形状特征作为输入，使用基于注意力机制的特征提取模块20135(例如，transformer)进行进一步的全局上下文特征提取，并将得到的特征作为新的当前特征。重复该操作数次(例如，迭代3次)，得到最终的低分辨率的牙齿点云和对应的牙齿特征。
48.transformer的实现可参由ashish vaswani等在in proceedings of the 31st international conference on neural information processing systems.2017,6000
–
6010发表的题为《attention is all you need》的文章中所披露的方案。
49.最后，整个牙列中所有牙齿的点云和将得到的特征作为输入，使用多层基于注意力机制的特征提取模块20137(例如，transformer)进行特征提取，得到最终的牙齿特征编码，即所述第一三维数字模型在隐空间的第一编码c(n
t
*n
p’*d)，其中，n
p’代表第一编码中每颗牙齿的点数，d代表对应每个点的特征维数。
50.接着，所述第一编码被输出至经训练的特征变换模块2015，它基于所述第一编码产生表示所述第二三维数字模型在隐空间的第二编码。
51.在一个实施例中，特征变换模块2015可以采用逐点卷积网络。
52.然后，所述第一编码和第二编码被输出至第一特征变换求解模块2017，它基于两者计算出所述第一牙列各牙齿从初始牙齿布局到目标牙齿布局的平移和旋转量。
53.在一个实施例中，特征变换求解模块2017可以采用多层逐点卷积网络。具体地，可以把所述第一编码和第二编码相减或者逐点连接，利用所述多层逐点卷积网络提取变换特征。
54.将得到的单颗牙齿的变换特征作为输入，使用最大值池化或平均值池化得到单颗牙齿的变换特征。
55.将得到的所有牙齿的变换特征，利用多层逐点卷积求解初始牙齿布局和目标牙齿布局之间对应的刚体变换(即平移和旋转量)。在一个实施例中，可以用单位四元数表示旋转，三维向量表示平移，旋转中心可以选取每颗牙齿点云的几何中心。
56.在107中，基于第一三维数字模型和预测得到的各牙齿的平移和旋转量产生表示处于目标牙齿布局的第一牙列的第二三维数字模型。
57.将深度学习神经网络200预测得到的各牙齿的平移和旋转量应用于所述第一三维数字模型即得到所述表示处于目标牙齿布局的第一牙列的第二三维数字模型。
58.请参图4a，展示了本技术一个例子中处于初始牙齿布局的一个牙列的三维数字模型。请参图4b，展示了利用本技术的方法基于图4a所示的三维数字模型产生的表示处于目标牙齿布局的所述牙列的三维数字模型。
59.请再参图2，所述第二子网络203用于深度学习神经网络200的训练，它包括输入模块2031、特征提取模块2033、特征变换求解模块2037以及输出模块2039。其中，所述第一子网络201的特征提取模块2013和第二子网络203的特征提取模块2033结构相同且共享参数，所述第一子网络201的特征变换求解模块2017和第二子网络203的特征变换求解模块2037结构相同且共享参数。
60.输入模块2031接收表示处于目标牙齿布局的牙列的三维数字模型的点云，特征提取模块2033对该点云进行局部和全局特征提取(与特征提取模块2013的操作相同)，以将该三维数字模型映射到隐空间，得到该三维数字模型在隐空间的编码。特征变换求解模块2037基于表示处于初始牙齿布局的牙列的三维数字模型在隐空间的编码和表示处于目标牙齿布局的同一牙列的三维数字模型在隐空间的编码产生该牙列从初始牙齿布局到目标牙齿布局各牙齿的旋转和平移量。
61.在一个实施例中，可以利用多组表示处于初始牙齿布局和目标牙齿布局的牙列的
三维数字模型训练深度学习神经网络200，其中，每一组包括表示分别处于初始牙齿布局和目标牙齿布局的同一牙列的两个三维数字模型。在一个实施例中，这些表示处于目标牙齿布局的牙列的三维数字模型可以是通过人工手动调整表示处于初始牙齿布局的对应牙列的三维数字模型各牙齿的位姿而获得。
62.在训练深度学习神经网络200时，向第一子网络201的输入模块2011输入表示处于初始牙齿布局的一个牙列的三维数字模型的点云，向第二子网络203的输入模块2031输入表示处于目标牙齿布局的同一牙列的三维数字模型的点云。
63.基于特征变换模块2013产生的表示处于目标牙齿布局的所述牙列的三维数字模型在隐空间的编码(神经网络预测的编码)与特征提取模块2031所产生编码(真实的编码)计算特征变换损失，以此训练特征变换模块2013。
64.基于特征变换求解模块2017产生的平移和旋转量(神经网络预测的平移和旋转量)与真实的平移和旋转量(基于表示处于初始牙齿布局的牙列的三维数字模型和表示处于目标牙齿布局的同一牙列的三维数字模型计算获得)计算平移和旋转变换损失，以此训练特征变换求解模块2017。
65.类似地，基于特征变换求解模块2037产生的平移和旋转量(神经网络预测的平移和旋转量)与真实的平移和旋转量(基于表示处于初始牙齿布局的牙列的三维数字模型和表示处于目标牙齿布局的同一牙列的三维数字模型计算获得)计算平移和旋转变换损失，以此训练特征变换求解模块2037。
66.特征变换求解模块2017和2037采用相同的结构并且共享参数。
67.在一个实施例中，在所述深度学习神经网络200的训练中，所述第一子网络201预测得到的处于目标牙齿布局的牙列的特征和真实的处于目标牙齿布局的牙列的特征之间的距离损失，可以采用l2距离或l1距离。
68.所述第一子网络201预测得到的旋转和平移量与真实的旋转和平移量的距离损失，其中旋转量损失可以使用两个单位四元数的余弦距离，平移量损失可以使用l2距离或l1距离，两者的加权和代表总损失。
69.所述第二子网络203求解得到的旋转和平移量与真实的旋转和平移量的距离损失，可以采用与所述第一子网络201相同的算法。
70.以上三个损失的加权和即为所述深度学习神经网络200训练时使用的损失函数。在一个实施例中，可以使用以adam为代表的梯度下降优化器，用大量真实牙齿矫正数据对所述深度学习神经网络200进行训练。
71.总地来说，以上方法是对表示处于原始牙齿布局的牙列的三维数字模型的点云进行牙齿的局部和全局特征提取，以将所述三维数字模型映射到隐空间，得到其在隐空间的第一编码。接着，在隐空间将该第一编码变换到表示处于目标牙齿布局的所述牙列的三维数字模型在隐空间的第二编码。最后，基于所述第一编码和第二编码求解得到所述牙列从原始牙齿布局到目标牙齿布局各牙齿的旋转和平移量。
72.本技术的上述方法能够由计算机自动执行，与人工移动各牙齿以获得表示处于目标牙齿布局的牙列的三维数字模型的方法相比，极大地提高了效率，同时降低了成本。
73.尽管在此公开了本技术的多个方面和实施例，但在本技术的启发下，本技术的其他方面和实施例对于本领域技术人员而言也是显而易见的。在此公开的各个方面和实施例
仅用于说明目的，而非限制目的。本技术的保护范围和主旨仅通过后附的权利要求书来确定。
74.同样，各个图表可以示出所公开的方法和系统的示例性架构或其他配置，其有助于理解可包含在所公开的方法和系统中的特征和功能。要求保护的内容并不限于所示的示例性架构或配置，而所希望的特征可以用各种替代架构和配置来实现。除此之外，对于流程图、功能性描述和方法权利要求，这里所给出的方框顺序不应限于以同样的顺序实施以执行所述功能的各种实施例，除非在上下文中明确指出。
75.除非另外明确指出，本文中所使用的术语和短语及其变体均应解释为开放式的，而不是限制性的。在一些实例中，诸如“一个或多个”、“至少”、“但不限于”这样的扩展性词汇和短语或者其他类似用语的出现不应理解为在可能没有这种扩展性用语的示例中意图或者需要表示缩窄的情况。