利用基于变分自编码器的深度学习神经网络产生表示目标牙齿布局的数字数据集的方法与流程

本申请总体上涉及利用基于变分自编码器的深度学习神经网络产生表示目标牙齿布局的数字数据集的方法。

背景技术：

随着计算机技术的飞速发展，牙科治疗越来越多地借助计算机技术，例如，牙科专业人员可以利用计算机自动产生正畸治疗所需的目标牙齿布局(即正畸治疗结束时期望达到的牙齿布局)，以解放人力、提高效率。其中的一个方法是通过定义牙齿的特征点，然后进行牙弓曲线拟合与优化，再通过局部包围盒的碰撞检测迭代优化，进行全自动的排牙。

然而，以上方法具有以下不足之处：(一)牙弓曲线的参数及形状与牙齿的初始布局直接相关，也就是说，牙弓曲线的参数及形状在计算初始化时就已经确定，对于初始布局较为杂乱的牙齿模型，该方法很难拟合得到准确的牙弓曲线；(二)该方法对噪声较为敏感，与拟合得到的牙弓曲线偏离较大的牙齿会影响牙弓曲线的准确度。

鉴于以上，有必要提供一种新的用于产生目标牙齿布局的方法。

技术实现要素：

本申请的一方面提供了一种计算机执行的利用基于变分自编码器的深度学习神经网络产生表示目标牙齿布局的数字数据集的方法，其包括：获取表示初始牙齿布局的第一数字数据集；以及利用经训练的基于变分自编码器的深度学习神经网络，基于所述第一数字数据集，产生表示目标牙齿布局的第二数字数据集。

在一些实施方式中，目标牙齿布局可以是正畸治疗期望达成的牙齿布局。

在一些实施方式中，所述基于变分自编码器的深度学习神经网络包括第一子网络和第二子网络，其中，所述第一子网络是基于变分自编码器的深度学习神经网络，其输入和输出均为表示目标牙齿布局的数字数据集，它包括第一编码器和第一解码器，所述第一解码器的输入来自所述第一编码器的输出，通过训练所述第一子网络，得到经训练的所述第一解码器；所述第二子网络是基于自编码器结构的深度学习网络，其输入为表示初始牙齿布局的数字数据集，输出为表示目标牙齿布局的数字数据集，它包括第二编码器和第二解码器，所述第二解码器的输入来自所述第二编码器的输出，所述第二解码器的结构与所述第一解码器相同并且采用所述经训练的第一解码器的参数，通过训练第二子网络，得到经训练的第二编码器，使得第二子网络能够基于表示初始牙齿布局的数字数据集，产生表示目标牙齿布局的数字数据集。

在一些实施方式中，所述第一子网络还包括噪声产生模块，用于为所述第一编码器的输出加上噪声后再输入所述第一解码器，以提高所述第一解码器的鲁棒性。

在一些实施方式中，所述第一子网络是以n组数据进行训练，所述n组数据的每一组包括表示一对上下颌牙列的目标布局的数字数据集，所述第二子网络是以m组数据进行训练，所述m组数据的每一组包括表示一对上下颌牙列的初始布局的数字数据集和目标布局的数字数据集，所述n和m为大于1的整数。

在一些实施方式中，所述计算机执行的利用基于变分自编码器的深度学习神经网络产生表示目标牙齿布局的数字数据集的方法还可以包括：利用所述经训练的基于变分自编码器的深度学习神经网络，基于所述第一数字数据集，产生表示第一牙齿布局的数字数据集；基于所述第一牙齿布局拟合得到目标牙弓曲线；以及基于所述目标牙弓曲线调整所述第一牙齿布局，得到所述第二数字数据集。

在一些实施方式中，所述目标牙弓曲线可以是beta曲线。

在一些实施方式中，所述目标牙弓曲线是基于所述第一牙齿布局，根据牙齿偏离牙弓曲线的程度迭代拟合得到。

在一些实施方式中，所述计算机执行的利用基于变分自编码器的深度学习神经网络产生表示目标牙齿布局的数字数据集的方法还可以包括：基于所述表示第一牙齿布局拟合得到第一牙弓曲线；将偏离所述第一牙弓曲线超过预设阈值的牙齿剔除；以及基于剩余的牙齿拟合得到所述目标牙弓曲线。

在一些实施方式中，所述计算机执行的利用基于变分自编码器的深度学习神经网络产生表示目标牙齿布局的数字数据集的方法还可以包括：基于所述目标牙弓曲线调整所述第一牙齿布局得到表示第二牙齿布局的数字数据集；以及基于所述第二牙齿布局，以碰撞检测迭代调整牙齿布局，得到所述第二数字数据集。

附图说明

以下将结合附图及其详细描述对本申请的上述及其他特征作进一步说明。应当理解的是，这些附图仅示出了根据本申请的若干示例性的实施方式，因此不应被视为是对本申请保护范围的限制。除非特别指出，附图不必是成比例的，并且其中类似的标号表示类似的部件。

图1为本申请一个实施例中的利用基于变分自编码器的深度学习神经网络产生表示目标牙齿布局的数字数据集的方法的示意性流程图；以及

图2示意性地展示了本申请一个实施例中的基于变分自编码器的深度学习神经网络的结构。

具体实施方式

以下的详细描述中引用了构成本说明书一部分的附图。说明书和附图所提及的示意性实施方式仅仅出于是说明性之目的，并非意图限制本申请的保护范围。在本申请的启示下，本领域技术人员能够理解，可以采用许多其他的实施方式，并且可以对所描述实施方式做出各种改变，而不背离本申请的主旨和保护范围。应当理解的是，在此说明并图示的本申请的各个方面可以按照很多不同的配置来布置、替换、组合、分离和设计，这些不同配置都在本申请的保护范围之内。

本申请的一方面提供了一种计算机执行的利用基于变分自编码器的深度学习神经网络产生目标牙齿布局的方法。

本申请的方法和系统可用于不同的场景，可以理解，在不同的应用场景中，目标牙齿布局具有不同的意义，对于牙齿正畸治疗，目标牙齿布局可以是正畸治疗期望达到的牙齿布局。

请参图1，为本申请一个实施例中的计算机执行的利用基于变分自编码器的深度学习神经网络产生表示目标牙齿布局的数字数据集的方法100的示意性流程图。

在101中，获取表示初始牙齿布局的第一数字数据集。

在本申请的启示下，可以理解，在一个实施例中，初始牙齿布局可以是进行正畸治疗之前患者的牙齿布局；在又一实施例中，初始牙齿布局也可以是利用本申请的方法产生目标牙齿布局时所基于的患者当前牙齿布局。

在一个实施例中，表示牙齿布局的数字数据集可以包括牙齿的位置坐标和角度坐标，即表示牙齿位姿(位置和姿态)的数字数据集。可以理解，基于这种表示牙齿布局的数字数据集与表示牙齿几何形态的数字数据集就能得到表示对应牙齿布局的三维数字模型。

在一个实施例中，表示牙齿初始布局的数字数据集可以基于表示牙齿初始布局的三维数字模型而获得。

在一个实施例中，可以通过直接扫描患者的牙颌，以获取表示初始牙齿布局的三维数字模型。在又一实施例中，可以通过扫描患者牙颌的实体模型，例如石膏模型，以获取表示初始牙齿布局的三维数字模型。在又一实施例中，可以通过扫描患者牙颌的咬模，以获取表示初始牙齿布局的三维数字模型。

在一个实施例中，可以基于三角网格构建三维数字模型，下面的具体实施例均是基于这种三维数字模型进行说明。可以理解，除了三角网格，还可以基于其他类型的网格构建牙颌三维数字模型，例如四边形网格、五边形网格、六边形网格等，此处不再进行一一说明。

在一个实施例中，表示初始牙齿布局的三维数字模型可以是经分割(即牙齿之间相互独立)的stl文件。

在一个实施例中，在获得表示初始牙齿布局的三维数字模型后，可以为其设定坐标系，可以基于该坐标系来表示牙齿的位置坐标和角度坐标。在一个实施例中，为便于计算，可以为整个牙列的三维数字模型设定一个世界坐标系，为该牙列中每一颗牙齿的三维数字模型设定一个局部坐标系。

在103中，利用经训练的基于变分自编码器的深度学习神经网络，基于第一数字数据集，产生表示第一牙齿布局的数字数据集。

本申请的发明人经过大量的研究和测试发现，与其他神经网络相比，基于变分自编码器(variationalautoencoder，vae)的神经网络能更好地学习目标位牙齿的数据分布，从而能够尽量保证利用它预测得到的目标位符合经验数据中的规律。

在利用神经网络预测牙齿的目标位姿之前，需要对其进行训练。对神经网络进行训练的目标是为了得到预测准确率较高的模型y＝f(x)，其中，y表示牙齿目标位姿，x表示牙齿初始位姿。由于目标位姿与初始位姿不同，可以将基于变分自编码器的深度学习神经网络分成两个子网络，其中，第一子网络是基于变分自编码器的深度学习神经网络，它实质上是一个自编码学习网络，用于训练从目标位姿数据空间到目标位姿数据空间的映射的自动解码器；第二子网络是基于自编码器结构的深度学习神经网络，其解码器的结构可以与第一子网络的解码器相同，并且可以采用经训练的第一子网络的自动解码器参数，然后在此基础上训练其自动编码器，使其学习从初始位姿数据空间到目标位姿数据空间的映射规则。

请参图2，示意性地展示了本申请一个实施例中的用于预测牙齿目标位姿的基于变分自编码器的深度学习神经网络200的大致结构。

基于变分自编码器的深度学习神经网络200包括第一子网络201和第二子网络203。

第一子网络201包括输入模块2011、编码器2013、解码器2015、高斯噪声模块2017以及输出模块2019。

输入模块2011用于接收第一子网络201的输入。由于第一子网络201的目的在于训练从目标位姿数据空间到目标位姿数据空间的映射的解码器2015，输入模块2011接收的输入可以是表示牙齿目标位姿的数据。在一个实施例中，这些目标位姿数据可以是经人工确认的。

高斯噪声模块2017用于给编码器2013的输出加上噪声，以提高解码器2015对噪声的鲁棒性。

输出模块2019的输出为第一子网络201基于输入的牙齿目标位姿数据预测测到的目标位姿数据。

总的来说，子网络201是用于学习从目标位姿数据空间到目标位姿数据空间的映射的解码器，通过目标位姿数据分布的隐空间(latentspace)，学习目标位姿数据的分布模式，进而通过学习到的隐空间，使得在该空间下的任意的采样点都能够生成一个合理的符合目标位姿数据分布的一个具体的牙齿目标位姿。

第二子网络203包括输入模块2031、编码器2033、解码器2035以及输出模块2037。

其中，第二子网络203的解码器2035与第一子网络201的解码器2017结构相同，并且采用经训练的第一子网络201的解码器2017的参数。

对第二子网络203进行训练的目的是训练其编码器2033，使得第二子网络203能够基于输入的表示牙齿初始位姿的数据预测得到表示牙齿目标位姿的数据。

总的来说，第二子网络203是编码器网络，其编码器2033学习从初始位姿数据空间到目标位姿数据空间的映射规则。

在一个实施例中，每颗牙齿的位姿可以结合位置坐标和角度坐标来表示。其中，位置坐标可以(x,y,z)的形式表示，角度坐标可以四元数形式(i,j,k,w)来表示。经大量测试，发明人发现，就角度坐标而言，旋转矩阵的精度表现在很多情况下优于四元数，欧拉角虽然具有数据量小的好处，但其存在万向可能节锁死的情况。因此，在一个实施例中，可以将位置坐标和旋转矩阵作为神经网络的输入数据。

在一个实施例中，旋转矩阵m可以下面方程式(1)来表达：

这样，对于每颗牙齿，就位置和角度，分别有3维向量和9维向量。

在牙齿的正畸治疗中，其中的一项要求是上、下颌前牙的覆盖及覆合关系适当，其中，覆盖是指上、下颌前牙切端之间的水平位置关系(通常，上前牙切端到下切牙唇面的距离在3mm以内被认为是正常的覆盖)，覆合是指上、下颌前牙切端之间的垂直位置关系(通常，上前牙切缘盖过下前牙不超过下前牙牙冠长度1/3，或者下前牙咬合于上前牙舌侧1/3以内被认为是正常的覆合)。

为了使人工神经网络在计算中纳入该点，在一个实施例中，可以把表示处于咬合状态的上、下颌牙列的数字数据集作为人工神经网络的输入。那么，对于位置坐标，每一组上、下颌牙齿有6个维度，在不考虑缺牙的情况下，对应14组牙构成6*14的矩阵。在一个实施例中，可以将该矩阵归一化后再作为神经网络的输入。

同理，对于角度坐标，每一组上、下颌牙齿有18个维度，在不考虑缺牙的情况下，对应14组牙构成18*14的矩阵。

在一个实施例中，神经网络的输入可以是上述牙齿位置坐标信息和角度坐标信息的矩阵。

在本申请的启示下，可以理解，除了牙齿位置坐标信息和角度坐标信息外，还可以增加一些其他的牙齿特征作为神经网络的输入，例如，牙齿尖点的位置、牙齿的形态等。

在一些情况下，认为第一牙齿布局还不够接近期望的目标布局，因此，可以对其进行进一步的优化。

在105中，基于第一牙齿布局拟合牙弓曲线，并基于该牙弓曲线调整第一牙齿布局得到表示第二牙齿布局的数字数据集。

该操作的目的在于基于拟合得到的牙弓曲线，对由人工神经网络产生的第一牙齿布局进行进一步的调优，使其更接近期望的目标牙齿布局。

如业界一般技术人员所知，有多种拟合牙弓曲线的方法，下面将以beta曲线为例进行说明。

在一个实施例中，可以基于表示第一牙齿布局的数字数据集和表示牙齿形态的数字数据集，得到表示第一牙齿布局的三维数字模型。

首先，获取处于第一牙齿布局的牙齿三维数字模型上的特征点，然后，将这些特征点投影到xoy平面，接着，基于这些特征点在xoy上的投影拟合牙弓曲线。

在一个实施例中，基于beta曲线的牙弓曲线的方程式可以由以下方程式(2)表达：

f(x)＝d[1-(2x/w)²]^e方程式(2)

其中，d代表牙弓深度，w代表牙弓宽度，e为牙弓曲线参数。

在一个实施例中，可基于以下能量函数拟合牙弓曲线，即求得参数d、w以及e。

其中，m代表牙齿数量，ωi代表第i颗牙齿的权重，δi代表把第i颗牙齿调整到牙弓曲线上的移动量。

由于在正畸治疗过程中需要移动后磨牙的可能性较其他牙齿低，在一个实施例中，可以设置后磨牙的权重相对前磨牙高。

由于偏离拟合得到的牙弓曲线较多的牙齿也参与了牙弓曲线的拟合，这会对牙弓曲线的准确度造成一定的不利影响，为了尽可能地消除这种影响，可以排除偏离牙弓曲线超过预设阈值的牙齿参与牙弓曲线的拟合。

在一个实施例中，在所有牙齿参与拟合的情况下拟合得到第一牙弓曲线，然后基于以下方程式(4)计算特征点投影与第一牙弓曲线之间的最短距离，再联立方程式(2)即可求得把牙齿调整到牙弓曲线上所需的平移量δx和δy。

其中，px代表特征点投影的坐标。

当一颗牙齿偏离第一牙弓曲线的距离大于一预设的阈值时，可以删除该牙齿，以剩下的牙齿重新拟合得到第二牙弓曲线，并以第二牙弓曲线为准，调整第一牙齿布局，得到第二牙齿布局。

在又一实施例中，也可以根据各牙齿偏离第一牙弓曲线的程度赋予其不同的权重，以降低偏离大的牙齿对第二牙弓曲线的拟合的影响，再基于新的权重重新拟合得到第二牙弓曲线，最后基于第二牙弓曲线，调整第一牙齿布局，得到第二牙齿布局。

也就是说，可以基于第一牙齿布局以及牙齿偏离牙弓曲线的程度，迭代拟合得到目标牙弓曲线，并基于该目标牙弓曲线再调整第一牙齿布局，得到第二牙齿布局。可以理解，迭代拟合可以是一次迭代，也可以是多次迭代。

在一个实施例中，目标牙弓曲线的迭代拟合过程可以下面的伪代码描述：

由于和初始牙齿布局相比，由人工神经网络预测获得的第一牙齿布局更接近目标牙齿布局，因此基于第一牙齿布局拟合得到的牙弓曲线也更准确。

在107中，基于第二牙齿布局，以碰撞检测迭代调整牙齿布局，得到表示目标牙齿布局的数字数据集。

在一个实施例中，在该操作中，可以使用矩形包围盒的方法，以第一磨牙为基准，上下颌左右两侧牙均从远中往近中方向逐颗调整，根据碰撞检测计算出待调整牙齿与其相邻牙齿的间距，以判断待调整牙齿往近中方向还是远中方向调整，并基于该判断调整第二牙齿布局，得到表示目标牙齿布局的数字数据集。

在一个实施例中，基于碰撞检测迭代调整牙齿布局的过程可以下面伪代码描述：

可以理解，本申请的利用基于变分自编码器的深度学习神经网络产生表示目标牙齿布局的数字数据集的方法的大部分操作均能够由计算机执行，例如，获取表示牙齿初始布局的三维数字模型；利用经训练的基于变分自编码器的深度学习神经网络，基于表示初始牙齿布局的数字三维模型，产生表示第一牙齿布局的数字数据集；基于第一牙齿布局拟合牙弓曲线，并基于该牙弓曲线调整第一牙齿布局得到表示第二牙齿布局的数字数据集；以及基于碰撞检测迭代调整表示第二牙齿布局的三维数字模型，得到表示目标牙齿布局的数字数据集。

尽管在此公开了本申请的多个方面和实施例，但在本申请的启发下，本申请的其他方面和实施例对于本领域技术人员而言也是显而易见的。在此公开的各个方面和实施例仅用于说明目的，而非限制目的。本申请的保护范围和主旨仅通过后附的权利要求书来确定。

同样，各个图表可以示出所公开的方法和系统的示例性架构或其他配置，其有助于理解可包含在所公开的方法和系统中的特征和功能。要求保护的内容并不限于所示的示例性架构或配置，而所希望的特征可以用各种替代架构和配置来实现。除此之外，对于流程图、功能性描述和方法权利要求，这里所给出的方框顺序不应限于以同样的顺序实施以执行所述功能的各种实施例，除非在上下文中明确指出。

除非另外明确指出，本文中所使用的术语和短语及其变体均应解释为开放式的，而不是限制性的。在一些实例中，诸如“一个或多个”、“至少”、“但不限于”这样的扩展性词汇和短语或者其他类似用语的出现不应理解为在可能没有这种扩展性用语的示例中意图或者需要表示缩窄的情况。