用于口内扫描仪的智能扫描的制作方法

1.本公开的实施例涉及牙科领域，并且特别涉及使用机器学习和/或其它技术来使执行口内扫描的过程自动化。


背景技术：

2.对于修复性牙科工作，可以使用口内扫描仪生成患者牙弓上的准备牙齿和/或周围牙齿的一个或多个口内扫描。随后，这些口内扫描被用于生成包括准备牙齿和周围牙齿的牙齿点位的虚拟三维(3d)模型。例如，可以生成患者牙弓的虚拟3d模型。随后，虚拟3d模型可以被发送到实验室。类似地，对于正畸牙科工作，生成一个或多个牙弓的口内扫描，这些扫描用于生成所述一个或多个牙弓的虚拟3d模型并用于生成治疗计划。
3.口内扫描过程涉及显著的用户输入，其中口内扫描仪的用户手动输入患者信息，手动选择待扫描的患者，手动选择待扫描的牙弓的一段，手动指示扫描是否成功，手动输入指令以在口内扫描的阶段或模式之间过渡，手动选择处方细节，手动选择要发送数据的实验室等。在口内扫描之前、期间和之后，用户需要操作屏幕上和口内扫描仪上的不同选择和按钮。例如，在扫描之前，用户需要填写各种处方(rx)选择。在扫描期间，用户需要按下按钮以开始和停止扫描，在修复性治疗中需要标记需要重新扫描的区域，并且当扫描已结束时，用户需要按下按钮以开始后处理。


技术实现要素：

4.在本公开的第一方面中，一种方法包括：接收患者口腔的一个或多个第一口内扫描；基于一个或多个第一口内扫描的处理，自动确定与一个或多个第一口内扫描相关联的第一扫描角色，其中，第一扫描角色是上牙弓角色、下牙弓角色或咬合角色中的第一个；以及，确定与第一扫描角色相关联的第一三维表面。
5.本公开的第二方面可以进一步扩展本公开的第一方面。在本公开的第二方面中，该方法还包括：接收患者口腔的一个或多个第二口内扫描，而不接收一个或多个第二口内扫描与第二扫描角色相关联的指示；基于一个或多个第二口内扫描的处理，自动确定与一个或多个第二口内扫描相关联的第二扫描角色，其中，第二扫描角色是上牙弓角色、下牙弓角色或咬合角色中的第二个；以及，确定与第二扫描角色相关联的第二三维表面。
6.本公开的第三方面可以进一步扩展本公开的第一方面或本公开的第二方面。在本公开的第三方面中，处理第一扫描角色包括将一个或多个第一口内扫描输入到机器学习模型中，该机器学习模型已经被训练以将口内扫描分类为与上牙弓角色、下牙弓角色或咬合角色相关联，其中，机器学习模型输出第一扫描角色。
7.在本公开的第四方面中，一种方法包括：接收患者口腔的一个或多个第一口内扫描；确定一个或多个第一口内扫描描绘患者的第一牙弓；确定患者的第一牙弓的第一身份；以及使用一个或多个第一口内扫描来确定第一牙弓的第一三维表面。
8.本公开的第五方面可以进一步扩展本公开的第四方面。在本公开的第五方面中，
该方法还包括：接收用户输入，该用户输入指示一个或多个第一口内扫描描绘患者的第二牙弓，第二牙弓具有第二身份；确定用户输入不正确；以及，输出一个或多个第一口内扫描描绘具有第一身份的第一牙弓而不是具有第二身份的第二牙弓的通知。
9.本公开的第六方面可以进一步扩展本公开的第四或第五方面。在本公开的第六方面中，该方法还包括：确定第一牙弓的第一三维表面完成；以及，响应于确定第一牙弓完成，自动生成第一牙弓的第一三维模型。
10.本公开的第七方面可以进一步扩展本公开的第四至第六方面。在本公开的第七方面中，接收患者口腔的一个或多个第一口内扫描而不首先接收第一牙弓的身份的指示或新的牙弓正被扫描的指示。
11.本公开的第八方面可以进一步扩展本公开的第四至第七方面。在本公开的第八方面中，确定一个或多个第一口内扫描描绘患者的第一牙弓以及确定患者的第一牙弓的第一身份包括：将一个或多个第一口内扫描输入到机器学习模型中，该机器学习模型已经被训练以将口内扫描分类为描绘上牙弓、下牙弓或咬合，其中，机器学习模型输出指示第一牙弓的第一身份的第一分类。
12.本公开的第九方面可以进一步扩展本公开的第八方面。在本公开的第九方面中，一个或多个第一口内扫描包括多个口内扫描，并且，确定一个或多个第一口内扫描描绘患者的第一牙弓以及确定患者的第一牙弓的第一身份包括：将所述多个口内扫描中的每一个口内扫描输入到机器学习模型中，其中，机器学习模型输出多个分类，所述多个分类中的每一个分类与所述多个口内扫描中的一个口内扫描相关联；以及，确定由机器学习模型输出的大部分分类指示第一牙弓的第一身份。
13.本公开的第10方面可以进一步扩展本公开的第九方面。在本公开的第10方面中，对于第一三维表面或一个或多个第一口内扫描中的口内扫描中的至少一个：在第一三维表面或口内扫描中的至少第一阈值数量的点描绘舌头的情况下，检测下牙弓；在果第一三维表面或口内扫描中的至少第二阈值数量的点描绘上颚的情况下，检测上牙弓；并且，在第一三维表面或口内扫描中的至少第三阈值数量的点描绘来自下牙弓的牙齿且第一三维表面或口内扫描中的至少第三阈值数量的点描绘上牙弓的情况下，检测咬合。
14.本公开的第11方面可以进一步扩展本公开的第九方面或第10方面。在本公开的第11方面中，一个或多个第一口内扫描包括多个口内扫描，并且其中，确定一个或多个第一口内扫描描绘患者的第一牙弓以及确定患者的第一牙弓的第一身份包括：将所述多个口内扫描中的每一个口内扫描输入到机器学习模型中，其中，机器学习模型输出多个分类，所述多个分类中的每一个分类与所述多个口内扫描中的一个口内扫描相关联；以及，确定由机器学习模型输出的所述多个分类的移动平均值，其中，移动平均值指示第一牙弓的第一身份。
15.本公开的第12方面可以进一步扩展本公开的第九至第11方面。在本公开的第12方面中，一个或多个第一口内扫描包括按先后顺序接收的多个口内扫描，其中，一个或多个第一口内扫描被按该先后顺序输入到机器学习模型中，并且其中，机器学习模型是递归神经网络。
16.本公开的第13方面可以进一步扩展本公开的第九至第12方面。在本公开的第13方面中，对于一个或多个第一口内扫描中的每一个口内扫描，机器学习模型输出置信值，该方法还包括：对于一个或多个第一口内扫描中的每一个口内扫描，确定与针对该口内扫描的
机器学习模型的输出相关联的置信值是否低于置信阈值；以及，丢弃具有低于该置信阈值的置信值的机器学习模型的那些输出。
17.本公开的第14方面可以进一步扩展本公开的第九至第13方面。在本公开的第14方面中，当接收到一个或多个第一口内扫描时并且在第一牙弓的口内扫描完成之前，将一个或多个第一口内扫描输入到机器学习模型中，该方法还包括：通过将第一牙弓的第一三维表面的至少一部分投影到平面上来生成第一牙弓的高度图；以及，使用机器学习模型或已被训练以将高度图分类为描绘上牙弓、下牙弓或咬合的替代机器学习模型来处理来自高度图的数据，其中，机器学习模型或替代机器学习模型输出第二分类，该第二分类以与第一分类相比以更高水平的精度指示第一牙弓的第一身份。
18.本公开的第15方面可以进一步扩展本公开的第四至第14方面。在本公开的第15方面中，该方法还包括：接收描绘上牙弓与下牙弓之间的第一咬合关系的第二口内扫描，第二口内扫描已在第一时间生成；接收描绘上牙弓与下牙弓之间的第二咬合关系的第三口内扫描，第三口内扫描已在第二时间生成；确定第一咬合关系与第二咬合关系之间的第一差异；确定第一时间与第二时间之间的第二差异；以及至少部分地基于第一差异和第二差异来确定第二口内扫描和第三口内扫描描绘患者的相同咬合还是描绘患者的不同咬合。
19.本公开的第16方面可以进一步扩展本公开的第四至第15方面。在本公开的第16方面中，确定一个或多个第一口内扫描描绘患者的第一牙弓以及确定患者的第一牙弓的第一身份包括：确定第一三维表面或一个或多个第一口内扫描中的一些口内扫描中的至少一个是否包括舌头或上颚的表示；以及响应于确定第一三维表面或所述一个或多个第一口内扫描中的一些口内扫描中的至少一个包括舌头的表示，确定患者的第一牙弓的第一身份是针对下颌的；或者响应于确定第一三维表面或一个或多个第一口内扫描中的一些口内扫描中的至少一个包括上颚的表示，确定患者的第一牙弓的第一身份是针对上颌的。
20.本公开的第17方面可以进一步扩展本公开的第四至第16方面。在本公开的第17方面中，确定一个或多个第一口内扫描描绘患者的第一牙弓以及确定患者的第一牙弓的第一身份包括：确定在口内扫描仪被插入到患者口腔中之前生成的一个或多个第一口内扫描中的至少一个是描绘鼻子还是下巴；以及响应于确定一个或多个第一口内扫描中的至少一个包括下巴的表示，确定患者的第一牙弓的第一身份是针对下牙弓的；或者响应于确定一个或多个第一口内扫描中的至少一个包括鼻子的表示，确定患者的第一牙弓的第一身份是针对上牙弓的。
21.本公开的第18方面可以进一步扩展本公开的第17方面。在本公开的第18方面中，该方法还包括：基于来自生成一个或多个第一口内扫描的口内扫描仪的惯性测量单元的数据，在生成一个或多个第一口内扫描之后检测口内扫描仪围绕口内扫描仪的纵轴线旋转；在口内扫描仪围绕纵轴线旋转之后，接收患者口腔的一个或多个第二口内扫描；如果第一牙弓的第一身份是上牙弓，则确定一个或多个第二口内扫描描绘下牙弓；以及如果第一牙弓的第一身份是下牙弓，则确定一个或多个第二口内扫描描绘上牙弓。
22.本公开的第19方面可以进一步扩展本公开的第四至第18方面。在本公开的第19方面中，确定一个或多个第一口内扫描描绘患者的第一牙弓以及确定患者的第一牙弓的第一身份包括：生成第一牙弓的图像，该图像包括高度图；以及使用已经被训练以将牙弓的图像分类为描绘上牙弓、下牙弓或咬合的机器学习模型来处理来自图像的数据，其中，机器学习
模型输出指示第一牙弓的第一身份的分类。
23.本公开的第20方面可以进一步扩展本公开的第19方面。在本公开的第20方面中，在确定第一牙弓的第一身份之前生成第一三维表面，并且其中，通过将第一牙弓的第一三维表面的至少一部分投影到二维表面上来生成第一牙弓的图像。
24.本公开的第21方面可以进一步扩展本公开的第四至第20方面。在本公开的第21方面中，该方法还包括：将一个或多个第一口内扫描标记为属于第一牙弓的第一段；接收患者口腔的一个或多个第二口内扫描；确定一个或多个第二口内扫描描绘具有第一身份的患者的第一牙弓；以及将一个或多个第二口内扫描标记为属于第一牙弓的第二段。
25.本公开的第22方面可以进一步扩展本公开的第四至第21方面。在本公开的第22方面中，该方法还包括：确定一个或多个第一口内扫描是描绘第一牙弓的舌侧视图、颊侧视图还是咬合视图。
26.本公开的第23方面可以进一步扩展本公开的第一至第22方面。在本公开的第23方面中，一种计算机可读介质包括指令，该指令在由处理装置执行时使处理装置执行本公开的第一至第22方面中任一方面的方法。
27.本公开的第24方面可以进一步扩展本公开的第一至第22方面。在本公开的第24方面中，一种系统包括：口内扫描仪，用于生成所述一个或多个口内扫描；以及计算装置，经由有线或无线连接连接到口内扫描，该计算装置用于执行本公开的第一至第22方面中任一方面的方法。
28.在本公开的第25方面中，一种方法包括：接收患者口腔的一个或多个第一口内扫描；处理一个或多个第一口内扫描；基于一个或多个第一口内扫描的处理，确定在一个或多个第一口内扫描中描绘的上牙弓或下牙弓中的第一个；使用一个或多个第一口内扫描自动生成上牙弓或下牙弓中的第一个的第一三维表面；接收患者口腔的一个或多个第二口内扫描；处理一个或多个第二口内扫描；基于一个或多个第二口内扫描的处理，确定在一个或多个第二口内扫描中描绘的上牙弓或下牙弓中的第二个；以及使用一个或多个第二口内扫描自动生成上牙弓或下牙弓中的第二个的第二三维表面。
29.本公开的第26方面可以进一步扩展本公开的第25方面。在本公开的第26方面中，该方法还包括：接收患者口腔的一个或多个第三口内扫描；处理一个或多个第三口内扫描；以及基于一个或多个第三口内扫描的处理，确定在一个或多个第三口内扫描中描绘了患者咬合。
30.本公开的第27方面可以进一步扩展本公开的第25或26方面。在本公开的第27方面中，当接收到一个或多个第一口内扫描时，生成第一三维表面，该方法还包括：自动确定用户已经从扫描上牙弓或下牙弓中的第一个过渡到扫描上牙弓或下牙弓中的第二个；以及响应于确定一个或多个第二口内扫描描绘上牙弓或下牙弓中的第二个，从第一三维表面的生成切换到第二三维表面的生成。
31.本公开的第28方面可以进一步扩展本公开的第25至27方面。在本公开的第28方面中，一种计算机可读介质包括指令，该指令在由处理装置执行时使处理装置执行本公开的第25至第27方面中任一方面的方法。
32.本公开的第29方面可以进一步扩展本公开的第25至第27方面。在本公开的第29方面中，一种系统包括：口内扫描仪，用于生成一个或多个第一口内扫描和一个或多个第二口
内扫描；以及计算装置，经由有线或无线连接连接到口内扫描，该计算装置执行本公开的第25方面至第27方面中任一方面的方法。
33.在本公开的第30方面中，一种方法包括：接收牙弓的多个第一口内扫描；基于多个第一口内扫描的处理，自动确定多个第一口内扫描描绘修复性牙科对象；确定用于将由多个第一口内扫描生成的牙弓的三维模型的第一部分的第一分辨率；接收牙弓的多个第二口内扫描；基于多个第二口内扫描的处理，自动确定多个第二口内扫描未能描绘修复性牙科对象；确定用于将由多个第二口内扫描生成的牙弓的三维模型的第二部分的第二分辨率；以及生成具有第一部分和第二部分的牙弓的三维模型，其中，第一部分包括修复性牙科对象的描绘并且由多个第一口内扫描生成并具有第一分辨率，并且其中，第二部分由多个第二口内扫描生成并具有第二分辨率，其中，第一分辨率大于第二分辨率。
34.本公开的第31方面可以进一步扩展本公开的第30方面。在本公开的第31方面中，三维模型包括单个可变分辨率三维表面，其中，单个可变分辨率三维表面的第一部分具有第一分辨率，并且可变分辨率三维表面的第二部分具有第二分辨率。
35.本公开的第32方面可以进一步扩展本公开的第30或第31方面。在本公开的第32方面中，该方法还包括：基于牙弓的不间断连续扫描来接收多个第一口内扫描和多个第二口内扫描，其中，未接收到指示从牙弓的扫描到修复性牙科对象的扫描的过渡或指示从修复性牙科对象的扫描到牙弓的扫描的过渡的用户输入。
36.本公开的第33方面可以进一步扩展本公开的第30至第32方面。在本公开的第33方面中，基于多个第一口内扫描的处理自动确定多个第一口内扫描描绘修复性牙科对象包括：使用已被训练以识别修复性牙科对象的经训练的机器学习模型来处理来自多个第一口内扫描的数据，其中，对于每一个口内扫描，所述经训练的机器学习模型生成将口内扫描分类为包含修复性牙科对象或不包含修复性牙科对象的输出。
37.本公开的第34方面可以进一步扩展本公开的第30至第33方面。在本公开的第34方面中，对于每一个口内扫描，所述经训练的机器学习模型输出示意图，该示意图针对口内扫描中的每一个像素包括关于该像素是否描绘修复性牙科对象的指示。
38.本公开的第35方面可以进一步扩展本公开的第30至34方面。在本公开的第35方面中，该方法还包括：确定第二部分的第一区域，其描绘牙齿到牙龈的边界或牙齿到牙齿的边界；确定第二部分的第二区域，其未能描绘牙齿到牙龈的边界或牙齿到牙齿的边界；以及更新三维模型以使第二区域的第二部分具有低于第二分辨率的第三分辨率。
39.本公开的第36方面可以进一步扩展本公开的第30至35方面。在本公开的第35方面中，该方法还包括：基于多个第一口内扫描的处理，自动确定多个第一口内扫描是描绘上牙弓、下牙弓还是咬合；以及基于多个第二口内扫描的处理，自动确定多个第二口内扫描是描绘上牙弓、下牙弓还是咬合。
40.本公开的第37方面可以进一步扩展本公开的第30至36方面。在本公开的第37方面中，一种计算机可读介质包括指令，该指令在由处理装置执行时使处理装置执行本公开的第30至第36方面中任一方面的方法。
41.本公开的第38方面可以进一步扩展本公开的第30至36方面。在本公开的第38方面中，一种系统包括：口内扫描仪，用于生成多个第一口内扫描和多个第二口内扫描；以及计算装置，经由有线或无线连接连接到口内扫描，该计算装置执行本公开的第30至第36方面
中任一方面的方法。
42.在本公开的第39方面中，一种方法包括：接收患者口腔的一个或多个口内扫描；使用已被训练以对口内扫描中表示的牙齿点位进行分类的经训练的机器学习模型来处理包括来自所述一个或多个口内扫描的数据的输入，其中，所述经训练的机器学习模型生成包括一个或多个牙科分类的输出，所述一个或多个牙科分类包括关于所述一个或多个口内扫描是否包括一种或多种类型的修复性牙科对象的描绘的指示；基于由所述经训练的机器学习模型输出的牙科分类，确定所述一个或多个口内扫描描绘修复性牙科对象；以及使用所述一个或多个口内扫描的至少部分口内扫描来确定修复性牙科对象的三维表面。
43.本公开的第40方面可以进一步扩展本公开的第39方面。在本公开的第40方面中，所述经训练的机器学习模型输出示意图，该示意图针对口内扫描中的每一个像素包括关于该像素是否描绘修复性牙科对象的指示。
44.本公开的第41方面可以进一步扩展本公开的第39或第40方面。在本公开的第41方面中，所述一种或多种类型的修复性牙科对象包括准备物、扫描体和牙科植入物，并且其中，所述一个或多个牙科分类包括准备物分类、扫描体分类和牙科植入物分类。
45.本公开的第42方面可以进一步扩展本公开的第41方面。在本公开的第42方面中，所述经训练的机器学习模型输出概率图，其针对口内扫描中的每一个像素包括该像素描绘准备物的第一概率、该像素描绘扫描体的第二概率或该像素描绘牙科植入物的第三概率中的至少一个。
46.本公开的第43方面可以进一步扩展本公开的第42方面。在本公开的第43方面中，概率图针对所述一个或多个口内扫描中的每一个像素，还包括像素属于表示牙龈的牙科分类的概率、像素属于表示牙齿的附件的牙科分类的概率、像素属于表示牙齿上的托槽的牙科分类的概率或像素属于表示多余材料的牙科分类的概率中的至少一个，该多余材料包括除了牙齿、牙龈、扫描体或牙科植入物以外的材料。
47.本公开的第44方面可以进一步扩展本公开的第41至第43方面。在本公开的第44方面中，所述经训练的机器学习模型能够在多个不同类型的扫描体之间进行区分，并且其中，针对所述多种不同类型的扫描体中的每种类型的扫描体，所述经训练的机器学习模型的输出包括所述一个或多个口内扫描包括该类型扫描体的描绘的概率。
48.本公开的第45方面可以进一步扩展本公开的第39至44方面。在本公开的第45方面中，在接收到所述一个或多个口内扫描时，在口内扫描会话期间处理所述一个或多个口内扫描，并且同时生成额外的口内扫描。
49.本公开的第46方面可以进一步扩展本公开的第39至45方面。在本公开的第46方面中，所述经训练的机器学习模型将所述一个或多个口内扫描分成多个区域，并且其中，对于每个区域，输出包括关于该区域是否包含修复性牙科对象的描绘的指示。
50.本公开的第47方面可以进一步扩展本公开的第39至46方面。在本公开的第47方面中，该方法还包括：确定所述一个或多个口内扫描的中心区域，其中，来自所述一个或多个口内扫描的数据包括来自中心区域的数据并且排除中心区域之外的数据。
51.本公开的第48方面可以进一步扩展本公开的第39至47方面。在本公开的第48方面中，该方法还包括：接收患者口腔的一个或多个彩色图像，其中，所述一个或多个彩色图像与所述一个或多个口内扫描中的口内扫描相关联，并且由口内扫描仪以与口内扫描大致相
同的位置和方向进行拍摄；以及生成针对所述经训练的机器学习模型的输入，该输入包括来自口内扫描的数据和来自所述一个或多个彩色图像的数据，其中，所述经训练的机器学习模型使用来自所述一个或多个彩色图像的数据以及来自口内扫描的数据生成该输出。
52.本公开的第49方面可以进一步扩展到本公开的第39至48方面。在本公开的第49方面中，该方法还包括：接收在利用红外光或紫外光中的至少一种照射患者口腔的照明条件下生成的额外图像，其中，额外图像与所述一个或多个口内扫描中的口内扫描相关联并且由口内扫描仪以与口内扫描大致相同的位置和方向进行拍摄；以及生成针对经训练的机器学习模型的输入，该输入包括来自口内扫描的数据和来自额外图像的数据，其中，所述经训练的机器学习模型使用来自额外图像的数据以及来自口内扫描的数据来生成输出。
53.本公开的第50方面可以进一步扩展本公开的第49方面。在本公开的第50方面中，所述一个或多个牙科分类还包括关于所述一个或多个口内扫描是否包括真实牙齿的描绘的指示或关于所述一个或多个口内扫描是否包括人工牙齿的描绘的指示中的至少一个。
54.本公开的第51方面可以进一步扩展本公开的第39至50方面。在本公开的第51方面中，该方法还包括：接收描绘修复性牙科对象的多个额外的口内扫描，其中，使用所述一个或多个口内扫描和所述多个额外的口内扫描来确定修复性牙科对象的三维表面；通过将三维表面投影到平面上来生成高度图；以及使用所述经训练的机器学习模型或已被训练以识别高度图中的修复性牙科对象的额外的经训练的机器学习模型来处理高度图，其中，所述经训练的机器学习模型生成包括关于高度图是否包括修复性牙科对象的描绘的指示的输出。
55.本公开的第52方面可以进一步扩展本公开的第51方面。在本公开的第52方面中，高度图描绘包括修复性牙科对象的牙弓的咬合视图。
56.本公开的第53方面可以进一步扩展本公开的第52方面。在本公开的第53方面中，该方法还包括：确定修复性牙科对象所处的牙弓上的牙齿位置；以及利用三维表面中的所确定的牙齿位置标记修复性对象。
57.本公开的第54方面可以进一步扩展本公开的第39至53方面。在本公开的第54方面中，接收所述一个或多个口内扫描，而不首先接收指示修复性对象将被待扫描的用户输入。
58.本公开的第55方面可以进一步扩展本公开的第39至54方面。在本公开的第55方面中，该方法还包括：提示用户识别修复性牙科对象所处的牙弓上的牙齿位置。
59.本公开的第56方面可以进一步扩展本公开的第39至55方面。在本公开的第56方面中，一种计算机可读介质包括指令，该指令在由处理装置执行时使处理装置执行本公开的第39至55方面中任一方面的方法。
60.本公开的第57方面可以进一步扩展到本公开的第39至55方面。在本公开的第57方面中，一种系统包括：口内扫描仪，用于生成所述一个或多个口内扫描；以及计算装置，经由有线或无线连接连接到口内扫描，计算装置执行本公开的第39至第55方面中任一方面的方法。
61.在本公开的第58方面中，一种方法包括：使用由口内扫描仪在第一时间生成的多个第一口内扫描来确定牙弓的至少一部分的第一三维表面；确定第一三维表面描绘准备牙齿的至少一部分或准备牙齿的周围区域的至少一部分；接收由口内扫描仪在第二时间生成的牙弓的一个或多个额外的口内扫描；确定所述一个或多个额外的口内扫描描绘准备牙齿
的至少一部分或准备牙齿的周围区域的一部分；确定第一时间与第二时间之间的时间差；确定准备牙齿或准备牙齿的周围区域中的至少一个在第一三维表面与所述一个或多个额外的口内扫描之间的变化；至少部分地基于时间差和准备牙齿或准备牙齿的周围区域中的至少一个的变化，确定是使用a)第一三维表面、b)来自所述一个或多个额外的口内扫描的数据、还是c)第一三维表面和来自所述一个或多个额外的口内扫描的数据的组合，来描绘准备牙齿的一部分或准备牙齿的周围区域；以及生成牙弓的三维模型，其中，a)第一三维表面，b)来自一个或多个额外的口内扫描的数据，或c)第一三维表面和来自所述一个或多个额外的口内扫描的数据的组合被用于描绘三维模型中的准备牙齿的一部分或准备牙齿的周围区域的一部分。
62.本公开的第59方面可以进一步扩展本公开的第58方面。在本公开的第59方面中，所述一个或多个额外的口内扫描包括多个第二口内扫描，该方法还包括：使用多个第二口内扫描来确定牙弓的至少部分的第二三维表面；确定第二三维表面包括准备牙齿的至少一部分或准备牙齿的周围区域的一部分的表示；以及基于比较第一三维表面和第二三维表面来确定对准备牙齿或准备牙齿的周围区域中的至少一个的变化；其中，确定是使用a)第一三维表面、b)来自所述一个或多个额外的口内扫描的数据、还是c)第一三维表面和来自所述一个或多个额外的口内扫描的数据的组合来描绘准备牙齿的一部分或准备牙齿的周围区域的一部分，包括确定是使用a)第一三维表面、b)第二三维表面、还是c)第一三维表面和第二三维表面的组合来描绘准备牙齿的一部分或准备牙齿的周围区域的一部分；并且其中，a)第一三维表面、b)第二三维表面或c)第一三维表面和第二三维表面的组合用于描绘三维模型中的准备牙齿的一部分或准备牙齿的周围区域的一部分。
63.本公开的第60方面可以进一步扩展本公开的第59方面。在本公开的第60方面中，该方法还包括：确定时间差超过时间差阈值；确定准备牙齿的变化超过变化阈值；以及基于时间差超过时间差阈值以及对准备牙齿或准备牙齿的周围区域中的至少一个的变化超过变化阈值，来确定使用a)第一三维表面或b)第二三维表面。
64.本公开的第61方面可以进一步扩展本公开的第59或第60方面。在本公开的第61方面中，该方法还包括：确定第二时间是第一时间之后的至少一个阈值时间量；识别在第一三维表面中描绘的排龈线(retraction cord)；确定第二三维表面不包括排龈线的表示；以及确定将第二三维表面而不是第一三维表面用于排龈线的插入和随后的移除暴露准备牙齿的边缘线的区域。
65.本公开的第62方面可以进一步扩展本公开的第59至第61方面。在本公开的第62方面中，该方法还包括：确定第二时间在第一时间之后；确定准备牙齿在来自第二三维表面的准备牙齿的一部分中比在来自第一三维表面的准备牙齿的一部分中包括更少的材料；以及确定将第二三维表面用于准备牙齿的一部分。
66.本公开的第63方面可以进一步扩展本公开的第59至第62方面。在本公开的第63方面中，第二时间晚于第一时间，该方法还包括：接收音频数据，该音频数据已经在第一时间与第二时间之间的第三时间生成；确定音频数据包括与牙钻相关联的声音；以及确定使用第二三维表面。
67.本公开的第64方面可以进一步扩展本公开的第59至第63方面。在本公开的第64方面中，该方法还包括：基于用于口内扫描仪的惯性测量数据来确定口内扫描仪在多个第一
口内扫描的生成与多个第二口内扫描的生成之间的惯性状态；其中，口内扫描仪的惯性状态用于确定是使用a)第一三维表面、b)第二三维表面、还是c)第一三维表面和第二三维表面的组合来描绘准备牙齿的一部分或准备牙齿的周围区域的一部分。
68.本公开的第65方面可以进一步扩展本公开的第59至第64方面。在本公开的第65方面中，该方法还包括：基于使用彩色图像处理或经训练的机器学习模型中的至少一个来处理所述一个或多个额外的口内扫描，识别在第二三维表面中遮挡准备牙齿的一部分的液体；以及确定使用第一三维表面而不是第二三维表面来描绘准备牙齿的一部分。
69.本公开的第66方面可以进一步扩展本公开的第65方面。在本公开的第66方面中，液体包括血液或唾液中的至少一种。
70.本公开的第67方面可以进一步扩展本公开的第59至66方面。在本公开的第67方面中，该方法还包括：向显示器输出a)第一三维表面、b)第二三维表面、或c)第一三维表面和第二三维表面的组合是否被确定用于描绘准备牙齿的一部分或准备牙齿的周围区域的一部分的指示；接收用户输入，该用户输入指示确定是否使用a)第一三维表面、b)第二三维表面、或c)第一三维表面和第二三维表面的组合来描绘准备牙齿的一部分或准备牙齿的周围区域的一部分是不正确的，其中，用户输入指示a)第一三维表面、b)第二三维表面或c)第一三维表面和第二三维表面的组合中正确的一个，以用于描绘准备牙齿的一部分或准备牙齿的周围区域的一部分；以及使用a)第一三维表面、b)第二三维表面或c)第一三维表面和第二三维表面的组合中的正确的一个来更新牙弓的三维模型，以描绘准备牙齿的一部分或准备牙齿的周围区域的一部分。
71.本公开的第68方面可以进一步扩展本公开的第59至67方面。在本公开的第68方面中，该方法还包括：将第一三维表面分割成牙龈和一个或多个牙齿，其中，所述一个或多个牙齿中的一个是准备牙齿；以及，将第二三维表面分割成牙龈和一个或多个额外的牙齿，其中，所述一个或多个额外的牙齿中的一个是准备牙齿。
72.本公开的第69方面可以进一步扩展本公开的第58至68方面。在本公开的第69方面中，该方法还包括：向显示器输出关于a)三维表面的第一版本、b)来自所述一个或多个额外的口内扫描的数据、或c)三维表面的第一版本和来自所述一个或多个额外的口内扫描的数据的组合是否被确定用于描绘准备牙齿的一部分或准备牙齿的周围区域的一部分的指示。
73.本公开的第70方面可以进一步扩展本公开的第58至69方面。在本公开的第70方面中，该方法还包括：确定准备牙齿的口内扫描完成；自动确定准备牙齿的边缘线的轮廓；在三维模型上突出显示边缘线的轮廓。
74.本公开的第71方面可以进一步扩展本公开的第58至70方面。在本公开的第71方面中，该方法还包括：自动处理来自三维模型的数据以识别被推荐进行额外口内扫描的区域；以及通知用户生成描绘该区域的一个或多个额外的口内扫描。
75.本公开的第72方面可以进一步扩展本公开的第71方面。在本公开的第72方面中，自动处理来自三维模型的数据以识别被推荐进行额外口内扫描的区域包括：对于在三维模型中表示的牙齿，确定环绕牙齿的成像牙龈组织的量；以及确定环绕牙齿的成像牙龈组织的量在该区域处小于阈值。
76.本发明的第73方面可以进一步扩展本发明的第71和第72方面。在本公开的第73方面中，被推荐进行额外口内扫描的区域包括缺失的颚区域、未扫描的牙齿、牙齿的不完全扫
描、牙齿扫描中的空隙、不清楚的边缘线或具有不足颜色信息的区域中的至少一个。
77.本公开的第74方面可以进一步扩展本公开的第58到第73方面。在本公开的第74方面中，该方法还包括：在生成牙弓的三维模型之后，从多个视图设定和多个缩放设定中生成示出牙弓的三维模型的虚拟相机的轨迹，其中，准备牙齿的一个或多个放大视图被包括在该轨迹中；以及自动执行该轨迹以从所述多个视图设定和所述多个缩放设定中显示三维模型。
78.本公开的第75方面可以进一步扩展本公开的第74方面。在本公开的第75方面中，该方法还包括：基于由用户针对牙弓的一个或多个先前的三维模型手动执行的一个或多个缩放操作和一个或多个旋转操作来确定虚拟相机的轨迹。
79.本公开的第76方面可以进一步扩展本公开的第58至75方面。在本公开的第76方面中，一种计算机可读介质包括指令，该指令在由处理装置执行时使处理装置执行本公开的第58至75方面中任一方面的方法。
80.本公开的第77方面可以进一步扩展本公开的第58至第75方面。在本公开的第77方面中，一种系统包括：口内扫描仪，用于生成多个第一口内扫描和所述一个或多个额外的口内扫描；以及计算装置，经由有线或无线连接连接到口内扫描，该计算装置执行本公开的第58方面至第75方面中任一方面的方法。
81.在本公开的第78方面中，一种自动生成用于治疗患者的牙弓中的一个或多个牙齿的处方的方法包括：接收由口内扫描仪生成的患者的多个口内扫描；使用所述多个口内扫描来确定患者的一个或多个牙弓的至少一部分的三维表面；自动确定修复性牙科对象是否在三维表面或所述多个口内扫描中的一个或多个口内扫描中的至少一个中被表示；以及至少部分地基于a)在三维表面或所述一个或多个口内扫描中的至少一个中存在或不存在修复性牙科对象或b)修复性牙科对象在患者的所述一个或多个牙弓中的位置中的至少一个，自动生成用于治疗所述一个或多个牙齿的处方。
82.本公开的第79方面可以进一步扩展本公开的第78方面。在本公开的第79方面中，该方法还包括：将患者的所述一个或多个牙弓的至少所述部分的三维表面与患者的所述一个或多个牙弓的先前生成的三维表面进行比较；基于该比较的结果确定三维表面与先前生成的三维表面之间的一个或多个差异；以及基于所述一个或多个差异确定待治疗的所述一个或多个牙齿。
83.本公开的第80方面可以进一步扩展本公开的第79方面。在本公开的第80方面中，修复性牙科对象是准备牙齿，并且患者的所述多个口内扫描描绘准备牙齿，该方法还包括：使用三维表面生成包括准备牙齿的所述一个或多个牙弓的三维模型的第一部分；以及使用先前生成的三维表面生成三维模型的剩余部分(remainder)。
84.本公开的第81方面可以进一步扩展本公开的第79或第80方面。在本公开的第81方面中，修复性牙科对象是准备牙齿，并且其中，待处理的所述一个或多个牙齿包括准备牙齿，该方法还包括：至少部分地基于先前生成的三维表面的一部分自动确定将放置在准备牙齿上的牙冠的外部表面，该先前生成的三维表面描绘在牙齿被打磨以变为准备牙齿之前的牙齿；以及至少部分地基于准备牙齿在三维表面中的表示来自动确定牙冠的内部表面。
85.本公开的第82方面可以进一步扩展本公开的第79至81方面。在本公开的第82方面中，修复性牙科对象是准备牙齿，并且待治疗的所述一个或多个牙齿包括准备牙齿，该方法
还包括：基于该比较的结果确定准备牙齿在三维表面与先前生成的三维表面之间的一个或多个改变区域，其中，所述一个或多个差异被包括在所述一个或多个改变区域中；基于该比较的结果确定准备牙齿在三维表面与先前生成的三维表面之间的一个或多个未改变区域；确定所述一个或多个未改变区域与所述一个或多个改变区域之间的边界；以及至少部分地基于该边界自动确定边缘线。
86.本公开的第83方面可以进一步扩展本公开的第78至第82方面。在本公开的第83方面中，修复性牙科对象包括扫描体、牙科植入物或准备牙齿。
87.本公开的第84方面可以进一步扩展本公开的第78至83方面。在本公开的第84方面中，该方法还包括：将所述一个或多个牙弓的至少所述部分的三维表面分割成多个单独的牙齿；确定待治疗的所述一个或多个牙齿中的每一个牙齿的牙齿编号；以及自动地将待治疗的所述一个或多个牙齿中的每一个牙齿的牙齿编号添加到处方。
88.本公开的第85方面可以进一步扩展本公开的第78至第84方面。在本公开的第85方面中，该方法还包括：确定用于治疗所述一个或多个牙齿的牙科假体的类型；以及将牙科假体的类型的识别符添加到处方中。
89.本公开的第86方面可以进一步扩展本公开的第85方面。在本公开的第86方面中，确定牙科假体的类型包括：至少部分地基于准备物的几何形状来确定镶嵌体(inlay)、高嵌体(only)、牙冠、义齿、贴片或牙桥是否适于治疗所述一个或多个牙齿。
90.本公开的第87方面可以进一步扩展本公开的第85至86方面。在本公开的第87方面中，该方法还包括：确定治疗患者的牙医的身份；基于准备物、牙科假体的类型或由牙医所使用的牙科实验室的历史统计中的至少一个，确定将该处方发送到的推荐的牙科实验室；以及将推荐的牙科实验室添加到该处方。
91.本公开的第88方面可以进一步扩展本公开的第87方面。在本公开的第88方面中，该方法还包括：确定a)由牙医用于牙科假体的材料的历史统计、b)由推荐的牙科实验室用于牙科假体的材料的历史统计或c)推荐的牙科实验室可用的材料中的至少一种；基于a)由牙医用于牙科假体的材料的历史统计、b)由推荐的牙科实验室用于牙科假体的材料的历史统计或c)推荐的牙科实验室可用的材料中的至少一个，选择用于牙科假体的材料；将所选材料添加到处方。
92.本公开的第89方面可以进一步扩展本公开的第87至88方面。在本公开的第89方面中，该方法还包括：接收牙弓的彩色图像，彩色图像已经由口内扫描仪生成；基于彩色图像确定与准备物相邻的牙齿的颜色；至少部分地基于与准备物相邻的牙齿的颜色来确定牙科假体的颜色；以及自动地将牙科假体的颜色添加到处方。
93.本公开的第90方面可以进一步扩展本公开的第78至第89方面。在本公开的第90方面中，该方法还包括：接收由口内扫描仪生成的一个或多个二维图像；确定所述一个或多个二维图像是否描绘口腔的内部；以及在没有用户输入的情况下，基于所述一个或多个二维图像是否描绘口腔的内部，使口内扫描仪开始生成所述多个口内扫描或停止生成口内扫描。
94.本公开的第91方面可以进一步扩展本公开的第90方面。在本公开的第91方面中，确定所述一个或多个二维图像描绘口腔的内部包括：将所述一个或多个二维图像输入到被训练来将图像分类为口内图像的机器学习模型中，其中，机器学习模型输出针对所述一个
或多个二维图像的分类，该分类指示所述一个或多个二维图像描绘口腔的内部。
95.本公开的第92方面可以进一步扩展本公开的第78至第91方面。在本公开的第92方面中，该方法还包括：将口内扫描或从三维表面生成的高度图中的至少一个输入到被训练以将高度图分类为上牙弓视图、下牙弓视图或咬合视图的机器学习模型中，其中，机器学习模型输出上牙弓视图、下牙弓视图或咬合视图中的一个的分类；以及在图形用户界面中指示所确定的上牙弓视图、下牙弓视图或咬合视图中的一个。
96.本公开的第93方面可以进一步扩展本公开的第78至92方面。在本公开的第93方面中，该方法还包括：确定已经生成描绘上牙弓与下牙弓关系的上牙弓的第一三维表面、下牙弓的第二三维表面和咬合的第三三维表面；响应于确定已经生成上牙弓的第一三维表面、下牙弓的第二三维表面和咬合的第三三维表面，基于上牙弓的第一三维表面、下牙弓的第二三维表面和咬合的第三三维表面自动确定上牙弓和下牙弓上的咬合接触区域；以及自动生成描绘上牙弓和下牙弓上的咬合接触区域的咬合图，而不首先接收生成咬合图的用户请求。
97.本公开的第94方面可以进一步扩展本公开的第78至第93方面。在本公开的第94方面中，该方法还包括：接收描绘上牙弓与下牙弓之间的第一咬合关系的第一口内扫描，第一口内扫描已经在第一时间生成；接收描绘上牙弓与下牙弓之间的第二咬合关系的第二口内扫描，第二口内扫描已经在第二时间生成；确定第一咬合关系与第二咬合关系之间的第一差异；确定第一时间与第二时间之间的第二差异；以及至少部分地基于第一差异和第二差异来确定第一口内扫描和第二口内扫描是描绘患者的相同咬合还是患者的不同咬合。
98.本公开的第95方面可以进一步扩展本公开的第94方面。在本公开的第95方面中，该方法还包括：响应于确定第一口内扫描和第二口内扫描描绘相同咬合，合并来自第一口内扫描和第二口内扫描的数据以生成描绘该咬合的三维表面。
99.本公开的第96方面可以进一步扩展本公开的第94至95方面。本公开的第96方面包括响应于确定第一口内扫描和第二口内扫描描绘不同咬合而执行以下操作：生成描绘来自第一口内扫描的第一咬合的第一三维表面；以及生成描绘来自第二口内扫描的第二咬合的第二三维表面。
100.本公开的第97方面可以进一步扩展本公开的第78至96方面。在本公开的第97方面中，该方法还包括：接收口内扫描仪的用户的生物特征数据；以及使用生物特征数据自动确定口内扫描仪的用户的身份。
101.本公开的第98方面可以进一步扩展本公开的第97方面。在本公开的第98方面中：接收生物特征数据包括接收由口内扫描仪生成的用户的面部的图像；以及使用生物特征数据自动确定口内扫描仪的用户的身份包括使用被训练以执行面部识别的经训练的机器学习模型来处理面部的图像，其中，用户的身份从与特定牙科诊所相关联的可能用户的列表中确定。
102.本公开的第99方面可以进一步扩展本公开的第97或98方面。在本公开的第99方面中，该方法还包括：基于关于用户的历史数据来确定用户a)仅执行正畸牙科程序还是b)仅执行修复性牙科程序；响应于确定用户仅执行修复性牙科程序，自动开始修复性牙科程序工作流程，其中，处方用于牙科假体；以及响应于确定用户仅执行正畸牙科程序，自动开始正畸牙科程序工作流程，其中，处方用于正畸。
103.本公开的第100方面可以进一步扩展本公开的第78至99方面。在本公开的第100方面中，患者是未知患者，该方法还包括：确定当前日期和时间；确定针对当前日期和时间安排的已知患者；将未知患者的牙弓的三维表面与针对所述当前日期和时间安排的已知患者的牙弓的三维表面进行比较；确定未知患者的牙弓的三维表面与已知患者的牙弓的三维表面之间的匹配；以及将未知患者验证为已知患者。
104.本公开的第101方面可以进一步扩展本公开的第78至第100方面。在本公开的第101方面中，该方法还包括，响应于确定修复性牙科对象被包括在患者的牙弓中：确定修复性牙科程序要被执行；以及开始修复性牙科程序工作流程。
105.本公开的第102方面可以进一步扩展本公开的第78至第101方面。在本公开的第102方面中，该方法还包括，在确定没有修复性牙科对象被包括在患者的牙弓中之后：确定正畸牙科程序要被执行；以及开始正畸牙科程序工作流程。
106.本公开的第103方面可以进一步扩展本公开的第78至第102方面。在本公开的第103方面中，患者是未知患者，该方法还包括：将未知患者的牙弓的三维表面与已知患者的牙弓的多个三维表面进行比较；确定未知患者的牙弓的三维表面与已知患者的牙弓的三维表面之间的匹配；以及将未知患者识别为已知患者。
107.本公开的第104方面可以进一步扩展本公开的第78至第103方面。在本公开的第104方面中，一种计算机可读介质包括指令，该指令在由处理装置执行时使处理装置执行本公开的第78至第103方面中任一方面的方法。
108.本公开的第105方面可以进一步扩展本公开的第78至第103方面。在本公开的第105方面中，一种系统包括：口内扫描仪，用于生成所述多个口内扫描；以及经由有线或无线连接连接到口内扫描的计算装置，该计算装置执行本公开的第78至第103方面中任一方面的方法。
109.在本公开的第106方面中，一种方法包括：接收口腔的口内扫描，该口内扫描已经由包括插入到口腔中的探头的口内扫描仪生成；从口内扫描中确定口内扫描中的区域，该区域表示与口内扫描仪相关联的光学表面的脏区域；确定表示光学表面的脏区域的区域是否满足一个或多个标准；以及响应于确定表示光学表面的脏区域的区域满足所述一个或多个标准，执行以下操作：确定光学表面被遮挡；以及生成指示光学表面被遮挡的通知。
110.本公开的第107方面可以进一步扩展本公开的第106方面。在本公开的第107方面中，口内扫描是基于由口内扫描仪输出并且从口腔中的对象反射回口内扫描仪中的非相干光生成的。
111.本公开的第108方面可以进一步扩展本公开的第106至107方面。在本公开的第108方面中，探头插入到一次性套筒中，其中，光学表面是一次性套筒的窗口，并且其中，该通知包括更换一次性套筒的第一通知或指示脏的一次性套筒的窗口的百分比的第二通知中的至少一个。
112.本公开的第109方面可以进一步扩展本公开的第106至108方面。在本公开的第109方面中，光学表面是探头的窗口或镜子，并且其中，通知包括清洁口内扫描仪的探头的通知。
113.本公开的第110方面可以进一步扩展本公开的第106至109方面。在本公开的第110方面中，该方法还包括：拒绝口内扫描，其中，在生成口腔中的牙弓的三维模型期间，不使用
被拒绝的口内扫描。
114.本公开的第111方面可以进一步扩展本公开的第106至110方面。在本公开的第111方面中，每一个点对应于口内扫描中的像素，该方法还包括：响应于确定表示光学表面的脏区域的区域满足所述一个或多个标准，使用口内扫描确定口腔中的牙齿点位的三维表面，其中，与表示光学表面的脏区域的区域中的点相关联的那些像素不用于确定三维表面。
115.本公开的第112方面可以进一步扩展本公开的第106至111方面。在本公开的第112方面中，该方法还包括：响应于确定表示光学表面的脏区域的区域满足所述一个或多个标准，丢弃与表示光学表面的脏区域的区域相关联的那些点的数据。
116.本公开的第113方面可以进一步扩展本公开的第106至112方面。在本公开的第113方面中，该方法还包括：识别表示光学表面的脏区域的点的集群；确定点的集群的尺寸或形状中的至少一个；确定尺寸或形状是否指示牙齿点位；以及响应于确定尺寸或形状指示牙齿点位，使用口内扫描确定牙齿点位的三维表面，其中，与和光学表面的脏区域相关联的点相关联的那些像素被用于确定三维表面。
117.本公开的第114方面可以进一步扩展本公开的第106至113方面。在本公开的第114方面中，该方法还包括：使用经训练的机器学习模型处理口内扫描或来自三维表面的数据中的至少一个，该三维表面是从口内扫描和一个或多个额外的口内扫描生成的，该经训练的机器学习模型已经被训练以识别口内扫描中由脏探头或探头上的脏套筒遮挡的区域，其中，所述经训练的机器学习模型输出示意图，该示意图对于口内扫描或来自三维表面的数据中的至少一个中的每一个像素包括关于该像素是否表示光学表面的脏区域的指示，像素中的每一个像素与点中的一个相关联。
118.本公开的第115方面可以进一步扩展本公开的第106至第114方面。在本公开的第115方面中，该方法还包括：接收由口内扫描仪生成的多个口内扫描，其中，口内扫描是所述多个口内扫描中的一个；针对所述多个口内扫描中的每一个口内扫描，确定表示光学表面的脏区域的那些点；以及确定表示针对所述多个口内扫描的至少一个阈值量的光学表面的脏区域的点；其中，所述一个或多个标准包括表示针对所述多个口内扫描中的至少所述阈值量的光学表面的脏区域的点的数量满足或超过脏区域尺寸阈值的标准。
119.本公开的第116方面可以进一步扩展本公开的第106至115方面。在本公开的第116方面中，所述一个或多个标准包括阈值，其中，当表示光学表面的脏区域的点的数量超过该阈值时，满足所述一个或多个标准。
120.本公开的第117方面可以进一步扩展本公开的第106至116方面。在本公开的第117方面中，从口内扫描中确定口内扫描中表示探头的光学表面的脏区域的区域包括：确定口内扫描中描绘的点与口内扫描仪的探头的距离；以及确定具有小于或等于距离阈值的距离的点，其中，具有小于或等于该距离阈值的距离的那些点是表示光学表面的脏区域的点。
121.本公开的第118方面可以进一步扩展本公开的第117方面。在本公开的第118方面中，口内扫描仪的探头包括窗口并且被插入到套筒中，其中，套筒包括与探头的窗口对准的第二窗口，并且其中，距离阈值大约为到套筒的第二窗口的测量距离。
122.本公开的第119方面可以进一步扩展本公开的第117至118方面。在本公开的第119方面中，该方法还包括：识别具有小于或等于距离阈值的距离的点的集群；确定点的集群的尺寸或形状中的至少一个；确定尺寸或形状是否指示牙齿点位；以及响应于确定尺寸或形
状指示牙齿点位，使用口内扫描确定牙齿点位的三维表面，其中，与具有小于或等于距离阈值的距离的点相关联的那些像素被用于确定三维表面。
123.本公开的第120方面可以进一步扩展本公开的第117至118方面。本公开的第120方面包括，对于具有小于或等于距离阈值的距离的每一个点，执行以下操作：确定在平面上的点的阈值接近度内的多个周围点；确定在平面上的点的阈值接近度内的那些点的距离；确定在平面上的点的阈值接近度内的具有超过距离阈值的距离的那些点的数量；确定在平面上的点的阈值接近度内的具有超过距离阈值的距离的点的数量是否超过额外阈值；以及响应于确定在平面上的点的阈值接近度内的具有超过距离阈值的距离的点的数量超过该额外阈值，将点分类为遮挡点。
124.本公开的第121方面可以进一步扩展本公开的第117至120方面。在本公开的第121方面中，该方法还包括：接收由口内扫描仪生成的第二口内扫描；确定第二口内扫描中描绘的点与口内扫描仪的探头的距离；确定第二口内扫描中具有小于或等于距离阈值的距离的那些点；将第二口内扫描中的具有小于或等于距离阈值的距离的那些点与口内扫描中的具有小于或等于距离阈值的距离的那些点进行比较；以及基于该比较，确定在口内扫描和第二口内扫描两者中具有小于或等于距离阈值的距离的点；其中，所述一个或多个标准包括具有小于或等于距离阈值的距离的点的数量由多个口内扫描共享的标准。
125.本公开的第122方面可以进一步扩展本公开的第106至121方面。在本公开的第122方面中，该方法还包括：接收口腔的额外口内扫描，其中，从口内扫描中确定口内扫描中表示与口内扫描仪相关联的光学表面的脏区域的区域包括：确定口内扫描与额外口内扫描之间的一个或多个未改变点；以及确定所述一个或多个未改变点是口内扫描中表示光学表面的脏区域的区域。
126.本公开的第123方面可以进一步扩展本公开的第106至122方面。在本公开的第123方面中，一种计算机可读介质包括指令，该指令在由处理装置执行时使处理装置执行本公开的第106至121方面中任一方面的方法。
127.本公开的第124方面可以进一步扩展本公开的第106至122方面。在本公开的第124方面中，一种系统包括：口内扫描仪，用于生成口内扫描；以及计算装置，经由有线或无线连接连接到口内扫描，该计算装置执行本公开的第106至第121方面中任一方面的方法。
128.在本公开的第125方面中，一种方法包括：接收口腔的口内扫描，该口内扫描已经由包括插入到口腔中的探头的口内扫描仪生成；接收由口内扫描仪生成的一个或多个二维(2d)图像，其中，所述一个或多个2d图像与口内扫描相关联；从口内扫描或所述一个或多个2d图像中的至少一个确定口内扫描中表示与口内扫描仪相关联的光学表面的脏区域的点的数量；确定表示光学表面的脏区域的点的数量是否满足一个或多个标准；以及响应于确定表示光学表面的脏区域的点的数量满足所述一个或多个标准，执行以下操作：确定光学表面是被遮挡；以及生成指示光学表面是被遮挡的通知。
129.本公开的第126方面可以进一步扩展本公开的第125方面。在本公开的第126方面中，所述一个或多个2d图像是彩色2d图像。
130.本公开的第127方面可以进一步扩展本公开的第125或126方面。在本公开的第127方面中，一种系统可包括：口内扫描仪，用于生成口内扫描和2d图像；以及计算装置，经由有线或无线连接连接到口内扫描，该计算装置执行本公开的第125或第126方面中任一方面的
方法。可替代地，在本公开的第127方面中，计算机可读介质可包括指令，当由处理装置执行时，该指令使处理装置执行本公开的第125或第126方面中任一方面的方法。
131.在本公开的第128方面中，一种方法包括：接收准备牙齿的多个第一扫描；使用多个第一扫描确定准备牙齿的第一三维表面；接收针对准备牙齿设计的临时牙科假体的或准备牙齿的印模的多个第二扫描；使用多个第二扫描来确定表示临时牙科假体的或准备牙齿的印模的凹版表面的第二三维表面；针对准备牙齿的边缘线的一个或多个段，自动确定是将第一三维表面、第二三维表面、还是第一三维表面和第二三维表面的组合用于准备牙齿的三维模型；以及至少部分地基于针对边缘线的一段或多段确定是将第一三维表面、第二三维表面、还是第一三维表面和第二三维表面的组合用于三维模型，来生成准备牙齿的三维模型。
132.本公开的第129方面可以进一步扩展本公开的第128方面。在本公开的第129方面中，该方法还包括：确定边缘线的一段或多段；对于所述一段或多段中的每一段，在使用第一三维表面的情况下，确定该段的第一质量评级，在使用第二三维表面的情况下，确定该段的第二质量评级，以及在使用第一三维表面和第二三维表面的组合的情况下，确定该段的第三质量评级；其中，对于每一段，通过从第一质量评级、第二质量评级和第三质量评级中选择与最高质量评级相关联的选项来确定是使用第一三维表面、第二三维表面、还是者第一三维表面和第二三维表面的组合。
133.本公开的第130方面可以进一步扩展本公开的第129方面。在本公开的第130方面中，该方法还包括：反转第二三维表面；将反转的第二三维表面与第一三维表面配准；以及对于所述一段或多段中的每一段，执行以下操作：确定该段距离第一三维表面的第一深度；确定该段距离第二三维表面的第二深度；以及至少部分地基于第一深度与第二深度的比较来确定是使用第一三维表面还是第二三维表面。
134.本公开的第131方面可以进一步扩展本公开的第130方面。在本公开的第131方面中，该方法还包括：确定第一深度或第二深度中的哪个是更大的深度；以及选择第一三维表面或第二三维表面中具有更大深度的那个。
135.本公开的第132方面可以进一步扩展本公开的第128至131方面中的任意方面。在本公开的第132方面中，该方法还包括：反转第二三维表面；将反转的第二三维表面与第一三维表面配准；以及对于所述一段或多段中的每一段，执行以下操作：从第一三维表面中确定该段的第一曲率；从第二三维表面中确定该段的第二曲率；以及至少部分地基于第一曲率与第二曲率的比较来确定是使用第一三维表面还是第二三维表面。
136.本公开的第133方面可以进一步扩展本公开的第128至第132方面。在本公开的第133方面中，该方法还包括：自动识别准备牙齿在三维模型中的边缘线；以及在三维模型上标记该边缘线。
137.本公开的第134方面可以进一步扩展本公开的第128至第133方面。在本公开的第134方面中，该方法还包括：将第二三维表面与第一三维表面进行比较；基于该比较的结果，确定第二三维表面与第一三维表面匹配；以及确定第二三维表面属于临时牙科假体的凹版表面或准备牙齿的印模。
138.本公开的第135方面可以进一步扩展本公开的第128至134方面。在本公开的第135方面中，未接收到将第二三维表面链接到第一三维表面的用户输入，其中，将第二三维表面
与多个三维表面进行比较，其中所述多个三维表面中的每一个针对相同患者或不同患者的不同准备牙齿。
139.本公开的第136方面可以进一步扩展本公开的第128至135方面。在本公开的第136方面中，该方法还包括：基于第二三维表面的形状确定第二三维表面是为准备牙齿设计的临时牙科假体的或准备牙齿的印模的凹版表面。
140.本公开的第137方面可以进一步扩展本公开的第128至第136方面。在本公开的第136方面中，该方法还包括：自动识别第一三维表面中的边缘线；以及自动识别第二三维表面中的边缘线。
141.本公开的第138方面可以进一步扩展本公开的第137方面。在本公开的第138方面中：通过将第一三维表面或第一三维表面到一个或多个平面上的投影中的至少一个输入到经训练的机器学习模型中，在第一三维表面中自动识别边缘线，该经训练的机器学习模型输出第一三维表面的边缘线的指示；并且通过将第二三维表面或第二三维表面到一个或多个平面上的投影中的至少一个输入到经训练的机器学习模型中，在第二三维表面中自动识别边缘线，该经训练的机器学习模型输出第二三维表面的边缘线的指示。
142.本公开的第139方面可以进一步扩展本公开的第128至138方面。在本公开的第139方面中，一种计算机可读介质包括指令，该指令在由处理装置执行时使处理装置执行本公开的第128至138方面中任一方面的方法。
143.本公开的第140方面可以进一步扩展本公开的第128至138方面。在本公开的第140方面中，一种系统包括：口内扫描仪，用于生成多个第一扫描和多个第二扫描；以及计算装置，经由有线或无线连接连接到口内扫描，该计算装置执行本公开的第128至第138方面中任一方面的方法。
144.在本公开的第141方面，一种方法包括：接收无牙牙弓的多个第一扫描；接收为无牙牙弓设计的第一义齿的或对无牙牙弓的至少一部分取得的印模的多个第二扫描；使用多个第一扫描和多个第二扫描确定无牙牙弓的三维表面；以及使用三维表面生成虚拟三维模型，其中，虚拟三维模型可用于制造用于无牙牙弓的第二义齿。
145.本公开的第142方面可以进一步扩展本公开的第141方面。在本公开的第142方面中，该方法还包括：使用多个第一扫描确定第一三维表面；使用多个第二扫描确定第二三维表面；将第二三维表面与第一三维表面进行比较；以及基于该比较的结果确定第二三维表面与第一三维表面匹配。
146.本公开的第143方面可以进一步扩展本公开的第141至第142方面。在本公开的第143方面中，三维表面包括一个或多个mucco动态边界。
147.本公开的第144方面可以进一步扩展本公开的第141至第143方面。在本公开的第144方面中，该方法还包括：接收将多个第二扫描与多个第一扫描相关联的用户输入。
148.本公开的第145方面可以进一步扩展本公开的第141至第144方面。在本公开的第145方面中，印模仅是无牙牙弓的一部分。
149.本公开的第146方面可以进一步扩展本公开的第141至145方面。在本公开的第146方面中，一种计算机可读介质包括指令，该指令在由处理装置执行时使处理装置执行本公开的第141至145方面中任一方面的方法。
150.本公开的第147方面可以进一步扩展本公开的第141至第145方面。在本公开的第
147方面中，一种系统包括：口内扫描仪，用于生成多个第一扫描和多个第二扫描；以及计算装置，经由有线或无线连接连接到口内扫描，该计算装置执行本公开的第141至第145方面中任一方面的方法。
附图说明
151.通过示例而非限制的方式，在附图的图中示出了本公开的实施例。
152.图1示出了用于执行口内扫描和/或生成口内点位的虚拟三维模型的系统的一个实施例。
153.图2a示出了根据本公开一个实施例的口内扫描应用的模型训练工作流程和模型应用工作流程。
154.图2b示出了根据本公开一个实施例的示例口内扫描工作流程。
155.图3是示出训练机器学习模型以识别扫描角色的方法的一个实施例的流程图。
156.图4示出了示例单独的高度图，其用于训练机器学习模型以确定扫描角色。
157.图5示出了颌的示例咬合视图，其用于训练机器学习模型以确定扫描角色。
158.图6示出了多个示例的颌视图，其用于训练机器学习模型以确定扫描角色。
159.图7是示出自动确定口内扫描的扫描角色的方法的实施例的流程图。
160.图8a-8b示出了在不接收指定扫描角色的用户输入的情况下执行口内扫描的方法的一个实施例的流程图。
161.图9是示出训练机器学习模型以分类包括修复性对象的牙科对象的方法的一个实施例的流程图。
162.图10a-10b示出了自动识别修复性对象以及生成包括这种修复性对象的牙弓的3d模型的方法的一个实施例的流程图。
163.图11示出了用于自动识别修复性对象以及生成包括这样的修复性对象的牙弓的3d模型的方法的一个实施例的流程图。
164.图12a-12b示出了在患者口腔中自然发生的修复性对象和牙科对象的口内扫描
165.图13a示出了牙弓的可变分辨率3d模型。
166.图13b示出了牙弓的3d模型。
167.图13c示出了图13b的牙弓的3d模型的可变分辨率版本。
168.图14a-14b示出了当准备牙齿被修改时自动生成和更新准备牙齿的3d模型的方法的一个实施例的流程图。
169.图15a-15f示出了确定使用哪些3d表面来表示3d模型的修复性对象的方法的实施例的流程图。
170.图16是示出用于确定是否推荐对牙齿的额外扫描的方法的一个实施例的流程图。
171.图17是示出用于确定准备牙齿边缘线的轮廓的方法的一个实施例的流程图。
172.图18是示出确定轨迹以显示牙弓的3d模型的方法的一个实施例的流程图。
173.图19a-19c示出了在准备牙齿的各个阶段的准备牙齿的3d表面的侧视图。
174.图20是示出自动生成用于牙科假体或正畸的处方的方法的一个实施例的流程图。
175.图21是示出自动确定牙科假体的3d模型的方法的一个实施例的流程图。
176.图22a-22c示出了自动生成患者的牙科假体和/或正畸的一个或多个处方的方法
的一个实施例的流程图。
177.图23是示出自动生成牙科假体的处方的方法的一个实施例的流程图。
178.图24是示出自动确定何时开始和/或停止生成口内扫描的方法的一个实施例的流程图。
179.图25是示出自动检测多咬合扫描情景的方法的一个实施例的流程图。
180.图26是示出自动确定患者身份的方法的一个实施例的流程图。
181.图27是示出自动确定口内扫描仪的用户的身份的方法的一个实施例的流程图。
182.图28是示出自动检测口内扫描仪的脏光学表面或口内扫描仪上的保护性套筒的方法的一个实施例的流程图。
183.图29是示出了用于确定如何使用与光学表面的脏区域相关联的口内扫描的像素的方法的一个实施例的流程图。
184.图30是示出使用经训练的机器学习模型来识别口内扫描仪的光学表面的脏区域或口内扫描仪上的保护性套筒的方法的一个实施例的流程图。
185.图31是示出用于确定口内扫描或图像中的哪些像素表示口内扫描仪的光学表面的脏区域或口内扫描仪上的保护性套筒的方法的一个实施例的流程图。
186.图32a-32b示出了根据本公开一个实施例的具有脏光学表面的口内扫描仪的探头。
187.图33示出了根据本公开一个实施例的具有脏表面的口内扫描仪。
188.图34a-34b示出了由具有脏表面的口内扫描仪所拍摄的图像。
189.图35是示出使用将接收牙科假体的牙齿点位的扫描和牙齿点位的印模的凹版表面的扫描或预先存在的牙科假体来确定牙科假体的3d模型的方法的一个实施例的流程图。
190.图36是示出自动确定与牙齿点位的凹版表面的3d表面配准的准备牙齿的3d表面的方法的一个实施例的流程图。
191.图37是示出确定使用哪些3d表面来生成准备牙齿的3d模型中的边缘线的段的方法的一个实施例的流程图。
192.图38是示出用于确定使用哪些3d表面来生成准备牙齿的3d模型中的边缘线的段的方法的一个实施例的流程图。
193.图39示出了从两个不同的3d表面选择点以生成具有清晰边缘线的准备牙齿的3d模型。
194.图40a示出了设置在准备牙齿上的牙冠。
195.图40b示出了图40a的准备牙齿的表面的侧视图。
196.图40c示出了图40a的牙冠的凹版表面的3d表面的侧视图。
197.图41是示出为制造义齿而生成无牙牙弓的3d模型的方法的一个实施例的流程图。
198.图42示出了根据本公开实施例的示例计算装置的框图。
具体实施方式
199.本文描述了用于简化和自动化执行口内扫描的过程的方法和系统。在一些实施例中，用户输入被最小化。例如，在实施例中，可以减少或消除患者信息的用户输入、选择待扫描患者的用户输入、选择待扫描牙弓的段的用户输入、指示扫描是否成功的用户输入、手动
输入指令以在口内扫描的阶段或模式之间过渡的用户输入、选择处方细节的用户输入、选择要发送数据的实验室的用户输入等。
200.本文中公开的实施例提供了用于自动识别与接收到的口内扫描相关联的段和/或角色、用于自动识别、分类和/或确定口内扫描中的修复性对象的位置、用于自动生成用于治疗患者牙弓的处方、用于自动确定是否要对患者应用修复性或正畸工作流程等的自动化系统和方法。额外地，本文中公开的实施例提供了用于自动检测口内扫描仪的表面是否是脏的的系统和方法。额外地，本文中公开的实施例提供了一种用于使用来自义齿的凹版表面、弹性体印模或临时牙冠的数据来确定边缘线或其它信息的系统和方法。
201.利用应用本文所述的一个或多个实施例，医生能够以少得多的训练执行正畸和/或修复性牙科操作，这与传统工作流程相反。额外地，实施例实现了更快的全扫描(例如，由于可能不需要经历漫长的处方(rx)生成过程，并且由于可能不需要擦除或标记区域，从而引起患者的就坐时间更少)。额外地，实施例减少或消除了对医生在扫描患者和与计算机对接以查看扫描结果之间来回过渡的需要，这使交叉污染最小化(由于较少需要或不需要触摸屏幕或键盘)。
202.在一个示例中，用于生成用于正畸治疗的处方的常见序列是(1)选择案例定义下拉菜单，(2)选择正畸案例类型，(3)患者姓名的类型，(4)选择是否将使用托槽，以及(5)选择咬合扫描的数量(例如，两次咬合扫描)。额外地，医生执行对患者的扫描，其包括(1)按下按钮以开始扫描模式，(2)手动选择上牙弓以进行扫描，(3)扫描上牙弓，(4)手动选择下牙弓以进行扫描，(5)扫描下牙弓，(6)选择咬合以进行扫描，(7)扫描咬合，(8)执行咬合间隙审阅，(9)如果需要则删除并重新扫描，以及(10)指示扫描完成并且3d模型将被生成。相反，在实施例中，用于生成用于正畸治疗的处方并执行扫描的简化序列包括(1)开始扫描。所有其它操作可以是自动化的。例如，该系统可以自动识别被扫描的当前角色(例如，下牙弓、上牙弓、咬合)，并且相应地生成适当的模型，并且可以自动确定扫描何时完成(例如，针对特定角色或整体)并且开始后处理(例如，这可以在积累了足够的数据并且开始新的扫描区域或者医生已经从患者口腔中移除了口内扫描仪时开始)。该系统可以自动执行咬合间隙审阅，并通知医生是否存在任何问题。该系统还可以自动确定当前案例类型是正畸案例类型。额外地，该系统可以自动确定被扫描的患者的身份(例如，基于指示与当前时间相对应的患者预约的日历系统和/或基于口内扫描与患者扫描的存储记录的比较)。
203.在另一示例中，用于生成修复性牙科治疗的处方的常见序列是(1)选择案例定义下拉菜单，(2)选择修复案例类型，(3)患者姓名中的类型，(4)选择哪些牙齿是准备牙齿和/或植入物，(5)定义植入物的类型，(6)手动选择要用于植入物(口腔修复)的材料，(7)手动设定准备物类型(例如，牙桥、牙冠等)，(8)手动设定修复的颜色定义，以及(9)手动选择要使用的实验室。额外地，医生对患者执行扫描，其包括(1)按下按钮以开始扫描模式，(2)手动选择上牙弓以进行扫描，(3)扫描上牙弓，(4)手动选择下牙弓以进行扫描，(5)扫描下牙弓，(6)手动选择咬合以进行扫描，(7)扫描咬合，(8)手动选择待扫描的准备牙齿，(9)扫描准备牙齿，(10)执行咬合间隙审阅，(11)如果需要则手动删除并重新扫描，(12)指示扫描完成并且3d模型将被生成，(13)审阅3d模型，(14)手动标记3d模型中的边缘线，并且将3d模型发送到所选择的实验室。相反，在实施例中，用于生成用于修复
治疗的处方并执行扫描的简化序列包括(1)开始扫描。所有其它操作可以是自动化的。例如，该系统可以自动识别正被扫描的当前角色(例如，下牙弓、上牙弓、咬合)并且识别准备牙齿是否正被扫描，并且相应地生成适当的模型，并且可以自动确定扫描何时完成(例如，针对特定角色或整体)并且开始后处理(例如，这可以在积累了足够的数据并且开始新的扫描区域或者医生已经从患者口腔中移除了口内扫描仪时开始)。该系统可以自动执行咬合间隙审阅，并通知医生是否存在任何问题。该系统还可以自动确定当前案例类型是修复案例类型。额外地，该系统可以自动确定被扫描的患者的身份(例如，基于指示与当前时间相对应的患者预约的日历系统和/或基于口内扫描与患者扫描的存储记录的比较)。利用每个自动化识别和/或操作，处理逻辑可以向口内扫描仪的用户提供视觉和/或音频反馈，这让用户知道系统理解扫描过程的当前状态。例如，当检测到上牙弓时、当检测到准备牙齿时、当检测到下牙弓时、当检测到患者咬合时、当确定扫描完成时等，该系统可以通知用户。处理逻辑还可以在自动生成3d模型时、在自动执行咬合间隙审阅时、在自动确定处方的一个或多个细节时等通知医生。根据该信息，用户可以知道他们在扫描工作流程中的何处，而不需要手动输入信息。
204.额外地，针对修复性治疗，医生通常需要修改准备牙齿(例如，通过执行额外的钻孔/打磨或通过添加/移除排龈线)，随后重新扫描准备牙齿。在实施例中，该系统在每一个重新扫描之后识别有哪些改变，并且示出作出改变的区域，识别牙齿的变化(例如，对边缘线和/或准备物形状)和/或牙龈的改变(例如，在使用排龈线暴露边缘线之前和之后拍摄的图像之间)。该系统包括用于确定使用来自每一个扫描的数据的哪些部分来生成最高质量的3d模型的逻辑。额外地，在每一个扫描/重新扫描之后，该系统可以计算和示出咬合表面、边缘线、插入路径(包括任何插入路径问题)等。额外地，该系统可以基于相邻牙齿的颜色/色调自动确定用于修复的颜色，并且还可以基于医生的使用模式自动确定材料类型、实验室选择等。
205.本文描述了各种实施例。应该理解，这些各种实施例可以作为独立解决方案来实现和/或可以进行组合。因此，对实施例或一个实施例的引用可以指相同的实施例和/或不同的实施例。额外地，一些实施例是参考修复性牙科来讨论的，并且特别是参考准备牙齿来讨论的。然而，应该理解，参考修复性牙科(例如，修复)讨论的实施例也可以应用于矫正牙科(例如，正畸)。额外地，参考准备牙齿讨论的实施例也可以一般地应用于牙齿，而不仅是准备牙齿。此外，参考边缘线讨论的实施例也可以应用于其它牙齿特征，诸如裂缝、碎屑、牙龈线、龋齿等。
206.本文参考口内扫描和口内图像讨论了一些实施例。然而，应该理解，参考口内扫描描述的实施例也适用于实验室扫描或模型/印模扫描。实验室扫描或模型/印模扫描可包括牙齿点位或牙齿点位的模型或印模的一个或多个图像，其可包括或不包括高度图，并且其可包括或不包括彩色图像。
207.图1示出了用于执行口内扫描和/或生成口内点位的虚拟三维模型的系统100的一个实施例。系统100包括牙科诊所108和可选地一个或多个牙科实验室110。牙科诊所108和牙科实验室110分别包括计算装置105、106，其中计算装置105、106可以经由网络180相互连接。网络180可以是局域网(lan)、公共广域网(wan)(例如，因特网)、专用wan(例如，内联网)或其组合。
208.计算装置105可以经由有线或无线连接联接到一个或多个口内扫描仪150(还称为扫描仪)和/或数据存储125。在一个实施例中，牙科诊所108中的多个扫描仪150无线地连接到计算装置105。在一个实施例中，扫描仪150经由直接无线连接、无线地连接到计算装置105。在一个实施例中，扫描仪150经由无线网络、无线地连接到计算装置105。在一个实施例中，无线网络是wi-fi网络。在一个实施例中，无线网络是bluetooth网络、zigbee网络或一些其它无线网络。在一个实施例中，无线网络是无线网状网络，其示例包括wi-fi网状网络、zigbee网状网络等。在一个示例中，计算装置105可以物理地连接到一个或多个无线接入点和/或无线路由器(例如，wi-fi接入点/路由器)。口内扫描仪150可包括无线模块，诸如wi-fi模块，并且经由无线模块可以经由无线接入点/路由器加入无线网络。计算装置106还可以连接到数据存储(未示出)。数据存储可以是本地数据存储和/或远程数据存储。计算装置105和计算装置106可分别包括一个或多个处理装置、存储器、次级存储器、一个或多个输入装置(例如，诸如键盘、鼠标、平板、触摸屏、麦克风、相机等)、一个或多个输出装置(例如，显示器、打印机、触摸屏、扬声器等)、和/或其它硬件组件。
209.在实施例中，扫描仪150包括惯性测量单元(imu)。imu可包括加速度计、陀螺仪、磁力计、压力传感器和/或其它传感器。例如，扫描仪150可包括一个或多个微机电系统(mems)imu。imu可以生成惯性测量数据，包括加速度数据、旋转数据等。
210.计算装置105和/或数据存储125可以位于牙科诊所108(如图所示)、牙科实验室110或诸如提供云计算服务的服务器场的一个或多个其它位置。计算装置105和/或数据存储125可以连接到与计算装置105处于相同或不同位置的组件(例如，在远离牙科诊所108的第二位置处的组件，诸如提供云计算服务的服务器场)。例如，计算装置105可以连接到远程服务器，其中口内扫描应用115的一些操作在计算装置105上执行，口内扫描应用115的一些操作在远程服务器上执行。
211.一些额外的计算装置可以经由有线连接物理地连接到计算装置105。一些额外的计算装置可以经由无线连接无线地连接到计算装置105，该无线连接可以是直接无线连接或经由无线网络的无线连接。在实施例中，一个或多个额外的计算装置可以是移动计算装置，诸如膝上型计算机、笔记本计算机、平板计算机、移动电话、便携式游戏控制台等。在实施例中，一个或多个额外的计算装置可以是传统上固定的计算装置，诸如台式计算机、机顶盒、游戏控制台等。额外的计算装置可以用作计算装置105的瘦客户端。在一个实施例中，额外的计算装置使用远程桌面协议(rdp)来访问计算装置105。在一个实施例中，额外的计算装置使用虚拟网络控制(vnc)访问计算装置105。一些额外的计算装置可以是被动客户端，其不具有对计算装置105的控制并且接收口内扫描应用115的用户界面的可视化。在一个实施例中，一个或多个额外的计算装置可以在主模式下操作，并且计算装置105可以在从属模式下操作。
212.口内扫描仪150可包括用于光学捕获三维结构的探头(例如，手持式探头)。口内扫描仪150可用于执行患者口腔的口内扫描。在计算装置105上运行的口内扫描应用115可以与扫描仪150通信，以实现口内扫描。口内扫描的结果可以是口内扫描数据135a、135b至135n，其可包括一组或多组口内扫描，这些口内扫描可包括口内图像。每一个口内扫描可包括二维(2d)或3d图像，其可包括牙齿点位的一部分的深度信息(例如，高度图)。在实施例中，口内扫描包括x、y和z信息。在一个实施例中，口内扫描仪150生成许多离散的(即，单独
的)口内扫描。
213.在一些实施例中，离散口内扫描的集合被合并成混合口内扫描的较小集合，其中每个混合扫描是多个离散扫描的组合。口内扫描数据135a-135n可包括原始扫描和/或混合扫描，它们中的每一个可以被称为口内扫描(并且在一些情况下被称为口内图像)。在扫描时，口内扫描仪可以每秒生成多个(例如，数十个)扫描(例如，高度图)(被称为原始扫描)。为了提高所捕获的数据质量，混合过程可以用于通过一些平均过程将原始扫描的序列组合成混合扫描。额外地，口内扫描仪150可以每秒生成许多扫描。这可能是过多的数据而无法使用机器学习模型来实时处理。因此，可以将相似扫描的组组合成混合扫描，并且可以将混合扫描输入到一个或多个经训练的机器学习模型中。这可以极大地减少用于处理口内扫描的计算资源而不降低质量。在一个实施例中，每个混合扫描包括来自多达20个原始扫描的数据，并且还包括彼此相差小于阈值角度差和/或彼此相差小于阈值位置差的扫描。因此，一些混合扫描可包括来自20个扫描的数据，而其它混合扫描可包括来自少于20个扫描的数据。在一个实施例中，口内扫描(其可以是混合扫描)包括图像中的每一个像素的高度值和强度值。
214.在实施例中，口内扫描数据135a-135n还可包括牙齿点位的彩色2d图像和/或特定波长的图像(例如，近红外(niri)图像、红外图像、紫外图像等)。在实施例中，口内扫描仪150在扫描期间在生成3d口内扫描与一种或多种类型的2d口内图像(例如，彩色图像、niri图像等)之间交替。例如，可以在第四个和第五个口内扫描的生成之间生成一个或多个2d彩色图像。例如，一些扫描仪可包括多个图像传感器，其同时生成患者牙弓的不同区域的不同2d彩色图像。这些2d彩色图像可以拼接在一起以形成包括多个图像传感器的视场的组合的较大视场的单一彩色表示。
215.扫描仪150可以将口内扫描数据135a、135b至135n传输到计算装置105。计算装置105可以将口内扫描数据135a-135n存储在数据存储125中。
216.根据一个示例，用户(例如，医师)可以使患者经受口内扫描。在这样做时，用户可以将扫描仪150应用于一个或多个患者口内位置。扫描可以被分成一个或多个段(还称为角色)。例如，该段可包括患者的下牙弓、患者的上牙弓、患者的一个或多个准备牙齿(例如，将应用诸如牙冠或其它牙科假体的牙科装置的患者的牙齿)、与准备牙齿接触的一个或多个牙齿(例如，牙齿本身不受牙科装置的影响，但是该牙科装置位于一个或多个这样的牙齿旁边或者在口腔闭合时与一个或多个这样的牙齿接合)，和/或患者咬合(例如，在患者口腔闭合的情况下执行的扫描，其中扫描指向患者的上牙和下牙的界面区域)。通过这种扫描仪应用，扫描仪150可以将口内扫描数据135a-135n提供到计算装置105。口内扫描数据135a-135n可以以口内扫描数据集的形式提供，它们中的每一个可包括特定牙齿和/或口内点位的区域的2d口内图像(例如，彩色2d图像)和/或3d口内扫描。在一个实施例中，为上颌弓、下颌弓、患者咬合和每个准备牙齿创建单独的口内扫描数据集。可替代地，生成单个的大口内扫描数据集(例如，针对下颌弓和/或上颌弓)。口内扫描可以从扫描仪150以一个或多个点(例如，一个或多个像素和/或像素组)的形式提供到计算装置105。例如，扫描仪150可以将口内扫描作为一个或多个点云提供。口内扫描可以分别包括高度信息(例如，指示每一个像素的深度的高度图)。
217.患者的口腔被扫描的方式可以取决于要应用的程序。例如，如果要创建上义齿或
下义齿，则可以对下颌或上颌的无牙牙弓进行完整扫描。相反，如果要创建牙桥，则可以只扫描整个牙弓的一部分，该部分包括无牙区域、相邻的准备牙齿(例如，抵接的牙齿)、以及相对的牙弓和齿列。可替代地，如果要创建牙桥，则可以执行上和/或下牙弓的全扫描。
218.作为非限制性的示例，牙科程序可以大致分为口腔修复(修复性的)和正畸程序，随后进一步细分为这些程序的特定形式。额外地，牙科程序可包括牙龈疾病、睡眠呼吸暂停和口内病症的识别和治疗。术语口腔修复程序指的是涉及口腔并且针对在口腔(口内点位)内的牙齿点位处的牙科假体、或者其真实或虚拟模型的设计、制造或安装的任意程序，或者针对为接收这种假体而对口内点位的设计和准备。例如，假体可包括诸如牙冠、贴片、镶嵌体、高嵌体、植入物和牙桥的任何修复物，例如，以及任何其它人工部分或完整义齿。术语正畸程序特别指的是涉及口腔的任何程序，并且涉及在口腔内的口内点位处设计、制造或安装正畸元件或其真实或虚拟模型，或者针对为接收这样的正畸元件而对口内点位的设计和准备。这些元件可以是器具，包括但不限于托槽和线、保持器、透明对准器或功能性器具。
219.在实施例中，可以在牙科诊所108的访问期间对患者口腔执行口内扫描。口内扫描可以例如作为半年或每年的牙科健康检查的一部分来执行。口内扫描也可以在一个或多个牙科治疗(诸如正畸治疗和/或口腔修复治疗)之前、期间和/或之后执行。口内扫描可以是对上牙弓和/或下牙弓的完全或部分扫描，并且可以被执行以便收集用于执行牙科诊断的信息、生成治疗计划、确定治疗计划的进展和/或用于其它目的。从口内扫描中生成的牙齿信息(口内扫描数据135a-135n)可包括上颌和/或下颌的全部或一部分的3d扫描数据、2d彩色图像、niri和/或红外图像和/或紫外图像。口内扫描数据135a-135n还可包括示出上牙弓与下牙弓的关系的一个或多个口内扫描。这些口内扫描可以用于确定患者咬合和/或确定患者的咬合接触信息。患者咬合可包括确定的上牙弓中的牙齿与下牙弓中的牙齿之间的关系。
220.对于许多口腔修复程序(例如，创建牙冠、牙桥、贴片等)，患者的现有牙齿被打磨成残端(stump)。被打磨的牙齿在本文中被称为准备牙齿，或简称为准备物。准备牙齿具有边缘线(还称为终止线)，其是准备牙齿的天然(未打磨)部分与准备牙齿的准备好的(打磨)部分之间的边界。准备牙齿通常被创建成使得牙冠或其它假体可以安装或安置在准备牙齿上。在许多情况下，准备牙齿的边缘线是下龈缘(sub-gingival)(牙龈线下方)。
221.在创建准备牙齿之后，医师通常执行操作以使该准备牙齿准备好用于扫描。使准备牙齿准备好扫描可包括从准备牙齿上擦去血液、唾液等和/或从准备牙齿上分离患者牙龈以暴露终止线。在一些情况下，医师将在准备牙齿和患者牙龈之间围绕准备牙齿插入细线(还称为牙科用线)。随后，医师将在生成一组准备牙齿的口内扫描之前移除细线。随后，牙龈的软组织将回复到其自然位置，并且在许多情况下，在短暂的时间段之后，向后塌陷越过终止线。因此，口内扫描数据135a-135n中的一些可包括在牙龈已经塌陷越过边缘线之前进行的口内扫描，而其它口内扫描数据135a-135n可包括在牙龈已经塌陷越过边缘线之后进行的口内扫描。其结果是，在描绘准备牙齿时，特别是在描绘边缘线时，一些口内扫描数据优于其它口内扫描数据。
222.口内扫描仪可以通过在患者口腔内部移动扫描仪150以捕获一个或多个牙齿的所有视点来工作。在一些实施例中，在扫描期间，扫描仪150计算到固体表面的距离。这些距离可以被记录为称为“高度图”的图像。每一个扫描(例如，可选地，高度图)与先前的扫描集合
在算法上重叠或“拼接”，以生成长的3d表面。这样，每一个扫描与空间中的旋转或投影相关联，以确定其如何拟合到3d表面中。
223.在口内扫描期间，口内扫描应用115可以将远离口内扫描会话而生成的两个或更多个口内扫描配准和拼接在一起。在一个实施例中，执行配准包括在多个扫描中捕获表面的各个点的3d数据，以及通过计算扫描之间的变换来配准扫描。在口内扫描期间，可以基于配准并拼接在一起的口内扫描来生成一个或多个3d表面。所述一个或多个3d表面可以被输出到显示器，使得医生或技术人员能够查看他们迄今为止的扫描进度。当每个新的口内扫描被捕获并被配准到先前的口内扫描和/或3d表面时，所述一个或多个3d表面可以被更新，并且更新的(多个)3d表面可以被输出到显示器。在实施例中，为上颌和下颌生成单独的3d表面。该过程可以实时或接近实时地执行，以在口内扫描过程期间提供所捕获的3d表面的更新视图。
224.当与特定扫描角色(例如，上颌角色、下颌角色、咬合角色等)相关联的扫描会话或扫描会话的一部分完成时(例如，已经捕获了针对口内点位或牙齿点位的所有扫描)，口内扫描应用115可以自动生成一个或多个扫描的牙齿点位(例如，上颌和下颌的)的虚拟3d模型。最终的3d模型可以是一组3d点和它们相互的连接(即，网格)。为了生成虚拟3d模型，口内扫描应用115可以将从口内扫描会话生成的与特定扫描角色相关联的口内扫描进行配准并拼接在一起。在该阶段执行的配准可以比在口内扫描的捕获期间执行的配准更精确，并且可以比在口内扫描的捕获期间执行的配准花费更多的时间来完成。在一个实施例中，执行扫描配准包括在多个扫描中捕获表面的各个点的3d数据，以及通过计算扫描之间的变换来配准扫描。3d数据可以被投影到3d模型的3d空间中以形成3d模型的一部分。通过对每个配准的扫描的点应用适当的变换并将每一个扫描投影到3d空间中，口内扫描可以被整合到共同的参考系中。
225.在一个实施例中，针对相邻或重叠的口内扫描(例如，口内视频的每一个连续帧)执行配准。在一个实施例中，使用混合扫描来执行配准。执行配准算法以配准两个相邻或重叠的口内扫描(例如，两个相邻的混合口内扫描)和/或将口内扫描与3d模型配准，这基本上涉及确定将一个扫描与另一个扫描和/或与3d模型对准的变换。配准可以涉及识别扫描对(或扫描和3d模型的)的每一个扫描中的多个点(例如点云)，对这些点进行曲面拟合，以及使用围绕点的局部搜索来匹配所述两个扫描(或扫描和3d模型的)的点。例如，口内扫描应用115可以将一个扫描的点与另一个扫描的表面上插值的最靠近的点进行匹配，并且迭代地使匹配点之间的距离最小化。还可以使用其它配准技术。
226.口内扫描应用115可以针对口内扫描序列中的所有口内扫描重复配准，以获得针对每一个口内扫描的变换，以将每一个口内扫描与(多个)先前口内扫描和/或与共同参考系(例如，与3d模型)配准。口内扫描应用115可以通过将适当确定的变换应用于口内扫描中的每一个来将口内扫描整合到单个虚拟3d模型中。每个变换可包括围绕一至三个轴线的旋转和在一至三个平面内的平移。
227.在许多情况下，来自一个或多个口内扫描的数据并不完全对应于来自一个或多个其它口内扫描的数据。因此，在实施例中，口内扫描应用115可以处理口内扫描(例如，其可以是混合口内扫描)，以确定哪些口内扫描(或口内扫描的哪些部分)用于3d模型的部分(例如，用于表示特定牙齿点位的部分)。口内扫描应用115可以使用诸如扫描中表示的几何数
据和/或与口内扫描相关联的时间戳的数据来选择最佳口内扫描，以用于描绘牙齿点位或牙齿点位的一部分(例如，用于描绘准备牙齿的边缘线)。在一个实施例中，图像被输入到已被训练以选择和/或评级牙齿点位的扫描的机器学习模型中。在一个实施例中，一个或多个得分被分配给每一个扫描，其中每一个得分可以与特定牙齿点位相关联并且指示在口内扫描中该牙齿点位的表示的质量。
228.额外地或可替代地，口内扫描可以基于分配给那些扫描的得分被分配权重。分配的权重可以与不同的牙齿点位相关联。在一个实施例中，权重可以针对牙齿点位(或多个牙齿点位)分配给每一个扫描(例如，分配给每一个混合扫描)。在模型生成期间，来自多个口内扫描的冲突数据可以使用加权平均来组合以描绘牙齿点位。所应用的权重可以是基于牙齿点位的质量得分而分配的那些权重。例如，处理逻辑可以确定来自第一组口内扫描的针对特定重叠区域的数据在质量上优于第二组口内扫描的特定重叠区域的数据。随后，当对口内扫描数据集之间的差异进行平均时，可以对第一口内扫描数据集比第二口内扫描数据集进行更重的加权。例如，被分配较高评级的第一口内扫描可以被分配70％的权重，而第二口内扫描可以被分配30％的权重。因此，当数据被平均时，合并结果将看起来更像来自第一口内扫描数据集的描绘，而不太像来自第二口内扫描数据集的描绘。
229.口内扫描应用115可以从口内扫描生成一个或多个3d模型，并且可以经由用户界面向用户(例如，医生)显示3d模型。随后，可以由医生在视觉上检查3d模型。医生可以使用合适的用户控制件(硬件和/或虚拟)经由用户界面关于多达六个自由度(即，关于三个相互正交的轴线中的一个或多个平移和/或旋转)虚拟地操纵3d模型，以便实现从任何期望的方向观察3d模型。医生可以审阅(例如，在视觉上检查)生成的口内点位的3d模型，并且确定3d模型是否可接受(例如，准备牙齿的边缘线是否在3d模型中被精确地表示)。在一些实施例中，口内扫描应用115自动生成3d模型的视图的序列，并滚动生成序列中的视图。这可包括放大、缩小、摇摆、旋转等。
230.口内扫描应用115可包括用于自动执行一个或多个传统上由用户手动执行的操作的逻辑，该操作在本文中被称为智能扫描。用户可以通过从口内扫描应用115的用户界面做出执行智能扫描的选择进入智能扫描模式。可替代地，口内扫描应用115可以默认为智能扫描模式。在任何时候，用户可以选择退出智能扫描模式。提供了口内扫描的多个阶段和工作流程，以及对如何移除用户需要添加输入(除了扫描之外)的每一个阶段/工作流程的描述。
231.自动用户识别(扫描仪登录)
232.在一些实施例中，执行一种或多种形式的自动用户识别以确定扫描仪150的医生(或其它用户)的身份和/或在开始口内扫描之前或在另一时间将医生登录到口内扫描应用115中。可以使用的自动用户识别的示例包括面部识别、指纹识别、语音识别、其它生物特征信息和/或扫描仪运动识别。对于面部识别，用户可以使用扫描仪150来生成他们面部的一个或多个图像。可替代地，计算装置105可包括单独的相机(未示出)，该相机可以捕获用户面部的一个或多个图像。计算装置105可以具有扫描仪150的用户的面部的图像和/或被训练以识别扫描仪150的用户的面部的经训练的机器学习模型，并且随后可以执行面部识别以识别用户(例如，通过将所捕获的图像输入到所述经训练的机器学习模型中)。
233.对于语音识别，扫描仪150和/或计算装置105可包括麦克风。所述一个或多个麦克风可以捕获扫描仪150的用户说话(例如，说出特定登录短语)的音频。计算装置105可以已
经记录了扫描仪150的用户的有声音频和/或被训练以识别扫描仪150的用户的语音的经训练的机器学习模型，并且随后可以执行语音识别以识别用户(例如，通过将所捕获的音频输入到经训练的机器学习模型中和/或将所捕获的音频与存储的音频进行比较)。
234.扫描仪150可包括一个或多个运动传感器(例如，陀螺仪和/或加速度计)。用户可以通过在口内扫描应用115中选择记录扫描仪运动密码选项，随后在他们认为合适时移动扫描仪150(例如，向上、向下、向左、向右、向前、向后移动扫描仪、旋转扫描仪等)来设定扫描仪运动密码。一旦记录了扫描仪运动密码，未知用户就可以根据他们记录的扫描仪运动密码通过移动扫描仪150登录到他们的用户id或口内扫描应用115上的账户。口内扫描应用115可以比较接收到的扫描仪运动(例如，其可包括一系列加速度和/或旋转)并且将其与一组记录的扫描仪运动进行比较。如果在接收到的扫描仪运动和与用户账户相关联的存储的扫描仪运动之间识别出匹配，则扫描仪运动识别可以成功，并且用户可以被识别并登录到他们的账户中。
235.口内扫描仪150可包括触摸板或其它触敏输入装置，其在实施例中可以用作指纹读取器。对于指纹识别，用户可以将手指(例如，拇指)按压到触摸板或其它触敏输入装置上。用户的指纹可以基于用户按压触摸板或其它触摸敏感的输入装置来确定。指纹可以与一个或多个存储的指纹进行比较。如果识别出检测到的指纹和与用户账户相关联的指纹之间的匹配，则可以识别出与该用户账户相关联的医生，并且可以自动地将该医生登录到他们的用户账户中。
236.自动患者识别
237.如上所述，口内扫描应用115可以自动确定扫描仪150的用户的身份，并且使用一种或多种识别技术将该用户登录到他们在口内扫描应用115上的账户中。额外地或可替代地，口内扫描应用115可以自动确定患者的身份。患者的这种识别可以在患者的口内扫描之前、期间或之后执行。
238.对于第一次的患者，将用户名和细节手动或自动添加到患者记录中。对于手动输入，医生或技术人员可以将患者细节输入到口内扫描应用115中。对于自动输入，口内扫描应用115可以访问实践管理软件、日历软件和/或包含患者信息的其它软件，并且可以检索该患者信息并且利用检索到的患者信息自动填充口内扫描应用115中的患者输入。例如，可以从实践管理软件和/或日历软件自动检索在当前时间被分配给当前牙科椅的患者的信息。
239.一旦用户信息已经被添加一次，医生可以只需开始扫描，并且口内扫描应用可以基于该患者的牙齿形状自动识别患者。例如，患者可能先前已经经历了口内扫描，并且患者牙弓的一个或多个3d模型可以与针对该患者的输入相关联。医生可以在稍后的访问期间开始扫描患者口腔，而无需首先输入识别患者的信息。口内扫描应用115可以将口内扫描配准并拼接在一起，以生成如上所述的牙弓的3d表面和/或3d模型，并且可以将3d表面或3d模型与一个或多个患者的牙弓的存储的3d模型进行比较。如果在存档的患者的牙弓的3d表面或3d模型与存储的3d模型之间发现匹配或近似匹配，则可以基于该匹配或近似匹配自动识别患者。随后，基于当前访问生成的3d模型可以自动地与患者相关联并且存储在患者文件中，和/或可以开始针对患者的处方，并且可以自动地将患者信息添加到处方。
240.扫描的自动开始和停止
241.在实施例中，扫描仪150可以以某一频率(例如，以大约10hz的频率)拍摄没有或具有照明(例如，具有最小照明)的图像(例如，彩色图像)。该系统可以基于生成的图像来检测扫描仪150何时开始进入口腔。在一些实施例中，口内扫描应用115或扫描仪150处理接收到的图像以确定是否识别出通常在口腔中或口腔周围发现的对象(例如，牙齿、嘴唇、舌头等)。例如，口内扫描应用115或扫描仪150可包括经训练的机器学习模型，其被训练为执行图像的对象分类并且检测与面部、嘴和/或口腔相关联的某些对象的存在，诸如牙齿、嘴唇、舌头等。当从没有检测到口内对象的图像过渡到检测到口内对象的图像时，口内扫描应用115或扫描仪150可以确定扫描仪150已经被插入到患者嘴中。当该系统检测到扫描仪150已经被插入到口腔中时，口内扫描仪150可以自动开始生成口内扫描。这可包括口内扫描应用115向扫描仪150发送开始扫描的指令。
242.当从检测到口内对象的图像过渡到未检测到口内对象的图像时，口内扫描应用115或扫描仪150可以确定扫描仪150已经从患者口腔中移除。当该系统检测到扫描仪150已经从口腔中移除时，口内扫描仪150可以自动停止生成口内扫描。这可包括口内扫描应用115向扫描仪150发送停止扫描的指令。在一些情况下，口内扫描应用115可以响应于检测到口内扫描仪150从患者口腔中的移除而自动开始生成一个或多个牙弓的3d模型和/或对生成的牙弓3d模型执行后处理和/或诊断。
243.口内对象将开始出现在扫描仪150的视场(fov)中(例如，在扫描仪150的前相机的fov中或扫描仪150的fov的前面)，并且随后将被示出为当扫描仪150进入口腔时朝向相机的后面移动。例如，口内对象的图像最初将首先出现在扫描仪150的前相机的fov中(如果扫描仪包括多个相机)或出现在扫描仪的fov的前面(例如，如果扫描仪仅包括单个相机和/或单个fov)，随后当扫描仪进入口腔内时，出现在扫描仪150的后相机的fov中或扫描仪150的fov的后面。额外地，当扫描仪150从口腔中移除时，口内对象将被显示为沿与扫描仪150插入口腔中时所示的方向相反的方向移动。例如，口内对象的图像将首先停止出现在扫描仪150的后相机的fov中(如果扫描仪包括多个相机)或扫描仪的fov的后面(例如，如果扫描仪仅包括单个相机和/或单个fov)，随后当扫描仪从口腔中移除时将停止出现在扫描仪150的前相机的fov中或扫描仪150的fov的前方。口内扫描应用115可以检测口内对象的运动和/或检测到与未检测到口内对象之间的过渡，并且可以使用该信息来提高扫描的开始和停止决定的精度。
244.除了自动开始和停止扫描之外，该系统可以基于关于扫描仪150是否在口腔中的确定而自动地开始和停止一个或多个光源。例如，对于使用结构化光(sl)投影仪的扫描仪150，口内扫描应用115和/或口内扫描仪150可以自动打开和关闭结构化光(sl)投影仪。这可以减少或消除当扫描仪150从患者嘴中移除时到牙科诊所的房间中的对象上的迷离的光投影(被称为disco效应)。
245.在实施例中，口内扫描应用115在图形用户界面(gui)中提供反馈以显示该系统理解其所在的位置。这可包括提供关于口内扫描应用115是否已经检测到扫描仪150在患者口腔的内部或外部的指示(例如，视觉指示)。额外地或可替代地，口内扫描应用115可以在gui中提供上牙弓当前是否正在被扫描、下牙弓当前是否正在被扫描、患者咬合当前是否正在被扫描、是否检测到修复性对象等的指示(例如，视觉指示)。
246.自动角色识别
247.扫描过程通常具有若干阶段——所谓的角色(还称为扫描角色)。三个主要角色是上颌角色(还称为上牙弓角色)、下颌角色(还称为下牙弓角色)和咬合角色。咬合角色是指当颌闭合时上颌和下颌的相对位置的角色。传统上，扫描仪150的用户通过口内扫描应用115的用户界面选择目标角色，并且仅在这种用户输入之后扫描才继续。在实施例中，口内扫描应用被配置为消除这样的用户输入并且在扫描时自动识别角色。在实施例中，口内扫描应用115自动确定用户当前是扫描上颌上的牙齿(上颌角色)、扫描下颌上的牙齿(下颌角色)，还是在患者的颌闭合时扫描上颌和下颌上的牙齿(咬合角色)。口内扫描应用115随后可以将检测到的角色分配给口内扫描数据、3d表面和/或检测到该角色的3d模型。因此，口内扫描应用115可以自动确定用户是正在扫描上颌、下颌还是咬合，并且基于这样的确定来适当地标记口内扫描。额外地或可替代地，从这种口内扫描生成的3d表面和/或3d模型也可以利用确定的角色来标记。
248.在一些实施例中，将单独的角色分配给牙弓上的每一个准备牙齿和/或其它修复性对象。因此，角色可包括上颌角色、下颌角色、咬合角色以及一个或多个准备角色，其中，准备角色可以与准备牙齿或另一类型的准备物或修复性对象相关联。除了自动识别上颌角色、下颌角色和咬合角色之外，口内扫描应用115还可以从口内扫描数据、3d表面和/或3d模型中自动识别准备角色。在一些实施例中，准备物可以与颌角色(例如，上颌角色或下颌角色)和准备角色两者相关联。
249.在一些实施例中，口内扫描应用115使用机器学习来检测口内扫描是描绘上牙弓(上颌角色)、下牙弓(下颌角色)还是咬合(咬合角色)。在一些实施例中，口内扫描应用115使用机器学习来检测口内扫描是否描绘上牙弓(上颌角色)、下牙弓(下颌角色)、咬合(咬合角色)和/或准备(准备角色)。当生成口内扫描数据时，来自口内扫描数据的口内扫描和/或来自口内扫描数据的2d图像可以被输入到已被训练以识别角色的经训练的机器学习模型中。所述经训练的机器学习模型随后可以输出针对口内扫描数据的(多个)角色的分类。在一些实施例中，口内扫描应用115通过将多个口内扫描拼接在一起而生成3d表面，并且将来自3d表面的数据输入到经训练的机器学习模型中，所述经训练的机器学习模型输出3d表面的(多个)角色的分类。相同的ml模型可以用于处理口内扫描数据和处理来自生成的3d表面的数据两者。可替代地，不同的ml模型可以用于处理口内扫描数据和来自3d表面的数据。所述一个或多个ml模型可以处理3d数据(例如，3d表面)或2d数据(例如，高度图或者3d表面到2d平面上的投影)。口内扫描应用115可以经由图形用户界面(gui)提供反馈，以显示系统了解其所在的位置(例如，当前角色是上牙弓、下牙弓、咬合还是准备牙齿)。
250.实施例使用机器学习将2d图像、口内扫描、3d表面和/或高度图分类到它们的相关扫描角色中。一种实施方式使用深度神经网络来学习如何将输入图像、口内扫描、3d表面和/或高度图与人类标记的扫描角色相联系。该训练的结果是可以直接从输入图像、口内扫描、3d表面和/或高度图预测扫描角色的标签的函数。可能的输入可以是单独的高度图或口内扫描、3d表面、通过将多个高度图或口内扫描拼接在一起而生成的颌的咬合视图和/或多个颌视图(例如，通过将多个高度图和/或口内扫描拼接在一起而生成的)。
251.使用来自多个口内扫描和/或图像(称为多个颌视图)的单独口内扫描和/或图像(例如，单独的高度图)和/或3d表面的数据来确定角色可以使得能够选择或识别一个角色改变为另一个角色的时刻。例如，口内扫描应用115可以自动确定医生何时从扫描下牙弓过
渡到扫描上牙弓，或者何时从扫描上牙弓过渡到扫描下牙弓。处理逻辑可以另外确定牙弓的扫描何时完成，并且可以自动地继续生成牙弓的3d模型和/或响应于这种确定而执行一个或多个其它的操作。例如，当上、下和咬合角色全部完成时，口内扫描应用115可以计算和显示咬合间隙信息(例如，诸如经由咬合图)和/或自动执行咬合间隙计算(例如，在屏幕的另一部分而不是在显示3d表面或3d模型的地方)。
252.在一些实施例中，当接收到口内扫描并生成3d表面时，口内扫描应用115连续地或周期性地确定与口内扫描和/或3d表面相关联的角色。基于单个扫描确定的角色分类可能没有基于来自多个口内扫描(例如，来自3d表面或多个颌视图)的数据确定的角色分类精确。由于误差对于单独的预测(例如，基于单个口内扫描)可能是不可避免的，因此在一些实施例中可以使用聚合的解决方案。例如，口内扫描应用115可以对口内扫描进行初始分类，并且随后可以对拼接到初始口内扫描的额外口内扫描和/或从初始口内扫描到额外口内扫描的拼接生成的3d表面进行进一步分类。进一步分类可以比初始分类更精确。因此，随着生成进一步的口内扫描，角色分类的精度可以持续提高。因此，与牙弓的段相关联的角色可以被实时地正确分类，并且可以进一步与相同角色/牙弓的相应段进行组合。
253.在一个示例中，可以并入拼接，使得在整个3d表面(例如，拼接扫描的段)上执行分类。在另一示例中，为了实现更好的精度，口内扫描应用115可以使用基于多个口内扫描的分类的统计方法。例如，口内扫描应用115可以对口内扫描的序列进行分类，并且随后可以基于序列中的单独口内扫描的大部分分类来将分类分配给整个序列。在一个实施例中，口内扫描应用115使用预测的移动平均值，其中一些数量(例如，5、10、20、50、100等)的最近的口内扫描中的主要分类被确定为是那些最近的口内扫描的角色。
254.口内扫描的角色的每一个预测或分类可以伴随有不确定性值。不确定性值越高，预测正确的确定性就越低。在一个实施例中，口内扫描应用115丢弃最不确定的预测。这可包括丢弃具有无法满足某个标准的不确定性(例如，无法满足阈值，诸如50％确定性阈值)的预测和/或丢弃具有最高不确定性值的设定数量的预测。因此，预测的移动平均值可以用于确定角色，其中移动平均中的一个或多个预测已经被丢弃。
255.通常，最好从输入中移除移动组织(嘴唇、面颊、舌头等)以使最终模型更清洁。但是在扫描角色识别的背景下，最好将原始数据与移动组织一起使用，由于移动组织可以提供有助于识别角色的额外信息。例如，舌头通常与下颌角色相关联，并且嘴唇的形状对于上颌和下颌来说是不同的。与清洁的输入(其中已经从扫描中移除了移动组织)相比，所有这些特定特征可以给出好得多的角色识别的精度。因此，在实施例中，输入到机器学习模型中以确定角色的扫描数据尚未被移动组织移除算法处理和/或尚未去除移动组织。
256.扫描角色只是在给定上述输入的情况下可以识别出的许多可能特征中的一个。也可以识别出其它特征。例如，口内扫描应用115可以确定口内扫描、3d表面、高度图、2d图像等的一个或多个额外的分类。在实施例中，可以使用一个或多个经训练的机器学习模型来进行这样的确定。在一个实施例中，单个机器学习模型可以被训练为将多种类型的分类分配给输入的口内扫描数据(例如，包括角色分类以及一个或多个额外类型的分类)。在一个实施例中，不同经训练的机器学习模型被用于确定不同类型的分类。在一个实施例中，口内扫描应用115针对输入的口内扫描数据和/或口内3d表面数据确定口内扫描数据描绘颌的是舌侧还是颊侧。在一个实施例中，口内扫描应用115针对输入的口内扫描数据和/或口内
3d表面数据确定是否要执行正畸治疗和/或修复治疗。在一个实施例中，口内扫描应用115针对输入的口内扫描数据和/或口内3d表面数据确定在患者牙齿上是否检测到任何托槽和/或附件，以及可选地确定这些托槽和/或附件的位置(例如，分割)。在实施例中，所有这些特征可以从单个模型中同时识别，并且甚至在预测精度方面彼此支持。
257.通过将口内扫描数据和/或口内3d表面数据分割成牙科分类，诸如牙齿、牙龈、多余材料等，可以提高角色和/或其它特征(诸如上面所阐述的角色和/或其它特征)的识别的精度。一个或多个经训练的机器学习模型可以被训练以执行口内扫描数据和/或口内3d表面数据的这种分割。相同的机器学习模型可以执行这种分割以及上述分类中的一个或多个。可替代地，一个或多个单独的机器学习模型可以执行这种分割。
258.在实施例中，通过将口内扫描、高度图、图像、3d表面、3d模型的投影等输入到一个或多个经训练的机器学习模型中，使用经训练的机器学习模型来另外执行软组织分类(例如，舌、面颊、嘴唇、上颚等的)。
259.在一些实施例中，输入的口内扫描数据/3d表面数据被限制为口内扫描(例如，高度图)和/或通过将这种口内扫描拼接在一起而生成的3d表面(或3d表面到一个或多个平面上的投影)。在其它实施例中，所使用的输入层/数据(例如，其是一个或多个经训练的机器学习模型的输入)包括彩色图像(例如，彩色2d图像)和/或在特定照明条件下生成的图像(例如，niri图像)。扫描仪150可以单独生成口内扫描(其包括高度信息)和彩色2d图像和/或其它2d图像。口内扫描和2d图像可以在足够接近的时间内生成，以使它们描绘相同的或接近相同的表面。2d图像(例如，彩色2d图像)可以提供额外的数据，由于这些对象之间的颜色差异，该额外的数据改善了牙齿和牙龈、舌头等之间的区分。
260.为了更好地考虑多个输入，在一些实施例中，使用递归神经网络(rnn)来分类角色和/或一个或多个额外特征，如上所述。使用rnn允许系统基于扫描的序列来识别特征，并且能够提高精度。在一些实施例中，一个或多个经训练的机器学习模型(其可以是或可以不是rnn)包括多个输入层，其中多个输入层中的每一个可以接收单独的口内扫描。随后，所述经训练的ml模型可以基于所述多个扫描来进行(例如，扫描角色的)预测或分类。这可以与用于诸如彩色2d图像和/或niri图像的额外信息的输入层组合。
261.在一些实施例中，如上所述，处理逻辑自动识别扫描角色，并将这些自动识别的扫描角色自动分配给牙弓的3d表面、口内扫描和/或3d模型。可替代地，在实施例中，用户可以手动选择针对一个或多个口内扫描的扫描角色、牙弓的3d表面和/或牙弓的3d模型。在这种实施例中，处理逻辑可以自动执行如本文所述的角色分类，并且如果检测到与由医生输入的角色不同的角色，则可以输出警告。在一个实施例中，处理逻辑输出声明检测到替代角色的通知，并且询问医生是否将替代角色分配给口内扫描3d表面和/或3d模型。
262.多咬合检测
263.与咬合角色的检测相关，实施例中的口内扫描应用115还可以检测多咬合情景。在多咬合情景中，可以记录不同的咬合，其示出上颌与下颌之间的不同关系。除了对咬合角色进行分类之外，口内扫描应用115可以针对被分类为咬合的不同口内扫描来比较扫描数据和/或扫描数据的分析。可替代地或额外地，口内扫描应用115可以应用机器学习以对多咬合情景进行分类。口内扫描应用115可以检测咬合之间的差异，并且确定这样的差异是否仅仅表示单个咬合的变化或者这样的差异是否表示多个不同的咬合(称为多咬合检测)。在一
些情况下，多个咬合是在医生的指导下，医生可能已经指示患者以不同方式咬合。实施例中的系统可以使用机器学习的应用或基于多个咬合扫描的比较来自动检测这种多咬合情景。
264.在一个示例中，医生可能需要利用扫描仪150进入口腔和离开口腔，并且等待几秒。可以单独地记录咬合部分的扫描。有时，非故意运动可能在咬合的扫描中产生差异。为了理解这是预期的多咬合还是错误，该系统可以输出潜在的多咬合的指示，并且要求医生进行确认。可替代地，该系统可以自动确定是否存在多咬合。当进行这种确定时，口内扫描应用115可以考虑咬合位置(例如，不同咬合之间的差异)和/或进行与咬合相关联的扫描的时间。该特征在包括咬合提升(bite elevation)的情况下可能是有用的。
265.关于多咬合检测，一些可能的情景包括：(a)口腔的两侧给出相同的咬合关系，这指示一切正常，并且不是多咬合情况；以及(b)口腔的两侧给出不同的咬合关系，这指示需要确定是失真还是多咬合情况。在实施例中，为了决定检测到的差异是由于失真还是由于多咬合情况，该系统可以考虑两个咬合扫描之间的时间间隔和所述两个扫描之间的咬合的改变或差异的尺寸两者。在一个实施例中，确定两次咬合扫描之间的时间间隔(例如，其可以以秒来测量)，并且将时间间隔与时间间隔阈值进行比较。时间间隔阈值可以是例如1秒、2秒、4秒、10秒等。在一个实施例中，比较所述两个咬合扫描，并且计算所述两个扫描之间的咬合的差异(例如，其可以以微米测量)。随后可以将咬合差异与咬合差异阈值进行比较。咬合差异阈值可以是例如50微米、75微米、100微米、150微米、200微米等。在一个实施例中，如果时间间隔超过时间间隔阈值并且咬合差异超过咬合差异阈值，则口内扫描应用115确定所述两个咬合扫描表示多咬合情景。
266.修复性对象的自动识别
267.在一些实施例中，口内扫描应用115能够自动识别描绘修复性对象的口内扫描和/或3d表面。修复性对象可以是，例如准备物或扫描体。修复性对象还可包括例如牙科假体，诸如植入物、牙冠、镶嵌体、高嵌体、帽、贴片等。尽管术语准备物通常是指准备牙齿的残端，包括边缘线和牙齿剩余部分的肩部，但本文的术语准备物还包括人工残端、枢轴、芯和柱、或可植入口腔内以便接收牙冠或其它假体的其它装置。本文参考准备牙齿描述的实施例也适用于其它类型的准备物，诸如前述人工残端、枢轴等。在一些实施例中，处理逻辑自动识别口内扫描、图像、3d表面和/或3d模型中的修复性对象。例如，处理逻辑可以执行口内扫描、图像、3d表面和/或3d模型的像素级分类，其中至少一个分类用于修复性对象。
268.在一些实施例中，口内扫描应用115包括被训练以执行牙齿点位的分类的一个或多个经训练的机器学习模型(例如，神经网络)，其中至少一个分类用于修复性对象。(多个)所述经训练的机器学习模型可以执行图像级分类/扫描级分类、可以执行像素级分类、或可以执行像素组的分类。传统上，医生手动地识别修复性对象。实施例通过消除对医生手动识别修复性对象的需要来提供改进的用户体验。在实施例中，可以同时从单个经训练的机器学习模型中识别多个特征(例如，修复性对象的类型)。
269.修复性治疗案例包括非常特定的对象，例如植入物、扫描体和所谓的准备物。这种对象的识别对于进一步的处理和治疗是有用的。手动识别非常耗时且容易出错。实施例消除了对修复性对象的手动识别/输入。
270.在一个实施例中，口内扫描应用115使用机器学习来将口内扫描数据/口内3d表面数据分类到相关的牙科分类中，其可包括准备物、扫描体、规则牙齿等。一种实施方式使用
深度神经网络来学习如何将输入图像与人类标记的牙科分类相联系，其中牙科分类包括规则牙齿和一个或多个修复性对象。该训练的结果是经训练的机器学习模型，其可以直接从输入扫描数据和/或3d表面数据预测标签。输入数据可以是单独的口内扫描(例如，高度图)、3d表面数据(例如，来自多个扫描的3d表面或这种3d表面到平面上的投影)和/或其它图像(例如，彩色图像和/或niri图像)。在扫描时，这样的数据可以是实时可用的。额外地，与单独扫描相关联的口内扫描数据可以足够大(例如，扫描仪可以具有足够大的fov)以便包括至少一个牙齿及其周围环境。如果给定了基于单个口内扫描的输入，所述经训练的神经网络能够预测扫描(例如，高度)是否包含上述牙科分类中的任何一个。这种预测的性质可以是概率性的：对于每个分类，存在其呈现在口内扫描上的可能性。这种方案允许该系统识别从口内扫描生成的3d表面和/或3d模型上的区域，该区域与修复性对象相关并且因此应该与天然牙齿不同地治疗。例如，可以以比不包括修复性对象的其它区域更高的分辨率来扫描这样的区域，和/或可以针对从包括修复性对象的扫描生成的3d表面使用更高的分辨率。因此，该系统可以自动确定扫描是否描绘了修复性对象，并且当使用该扫描生成3d模型时，可以执行进一步的处理以针对模型的那个区域生成更高的分辨率。其结果是，该3d模型中的修复性对象可以具有比该3d模型中的其它对象(例如，其它牙齿)更高的分辨率。因此，在实施例中，可以生成具有可变分辨率的3d模型。
271.在一些实施例中，除了使用较高分辨率来描绘修复性对象之外或代替使用较高分辨率来描绘修复性对象，口内扫描应用115使用更高的分辨率来描绘其它类型的牙科对象。例如，口内扫描应用115可以识别牙龈和牙齿(或多个牙齿和周围龈缘)的边界，并且可以在3d模型中对这种边界使用更高的分辨率。在另一示例中，口内扫描应用可以识别牙齿之间的齿间区域(例如，牙齿到牙齿边界)，并且可以使用更高的分辨率来描绘3d模型中的齿间区域。在另一示例中，口内扫描应用能够检测边缘线，并且使用更高的分辨率在3d模型中描绘边缘线。
272.在一个实施例中，最初以第一分辨率生成3d模型(或者最初以第一分辨率生成3d模型的多个部分)，并且执行平滑和/或简化操作以针对3d模型的一个或多个区域或者3d模型的一个或多个部分的一个或多个区域将第一分辨率降低到较低的第二分辨率(例如，通过减少每单位面积的点、顶点和/或多边形的数量)。可用于简化3d表面的两种技术是点移除(其中删除区域中一定百分比的点)和边缘收缩(其中用单个点替换三角形边缘的两个端点，并且随后重新绘制三角形)。例如，口内扫描应用115可以识别3d模型中的修复性对象、牙齿到牙龈的边界、边缘线和/或牙齿到牙齿的边界。处理逻辑随后可以降低不包括在3d模型中的识别出的修复性对象、牙齿到牙龈的边界、边缘线和/或牙齿到牙齿的边界的那些区域的分辨率。在一些实施例中，多分辨率3d模型可包括多于两个的不同分辨率。例如，牙龈可以利用第一分辨率表示，该第一分辨率是最低分辨率，除了与其它牙齿或牙龈邻接的牙齿的区域之外的天然牙齿可以利用第二分辨率表示，该第二分辨率是比第一分辨率更高的分辨率，并且牙齿到牙龈的边界、修复性对象和牙齿到牙齿的边界可以利用第三分辨率表示，该第三分辨率比第二分辨率更高。在一些情况下，准备牙齿的边缘线可以利用仍高于第三分辨率的第四分辨率表示。
273.在一些实施例中，口内扫描应用115通过确定口内扫描/3d表面是否描绘修复性对象和/或是否使用更高分辨率表示另一类型的对象来生成牙弓的多分辨率3d模型。口内扫
描应用115可以对3d模型的描绘修复性对象、边缘线、齿间区域、牙齿到牙龈的边界和/或为更高分辨率识别的其它区域的部分使用第一分辨率，并且可以对3d模型的未描绘修复性对象或为更高分辨率识别的其它区域的部分使用第二分辨率。牙弓的3d模型中的修复性对象可以受益于增大的分辨率，由于这些区域可以用于例如确定要放置在修复性对象上的口腔修复的内部表面的尺寸和/或形状。类似地，边缘线、齿间区域、和/或牙齿到牙龈的边界可以受益于增大的分辨率。然而，增加3d模型的其它区域的分辨率可能是不利的，并且可能不必要地增加处理器利用率、存储器利用率等。牙弓的多分辨率3d模型提供了对于修复性对象和可选的其它区域诸如边缘线、齿间区域和/或牙齿到牙龈的边界的高分辨率的优点，以及对于牙弓的3d模型的剩余部分的较低分辨率的优点。
274.在口内扫描过程完成之后，得到的3d模型可以具有看起来粗糙的表面和/或3d模型的文件尺寸可能过大，从而产生保存到存储器和/或传输包含3d模型的文件的问题。如上所述，在一些实施例中，最初使用更高的分辨率来描绘3d模型中的一种或多种类型的牙科对象，并且最初使用更低的分辨率来描绘3d模型中的一种或多种其它类型的牙科对象。可替代地，最初可以生成具有单个分辨率的3d模型。在任一情况下，在生成3d模型之后，可以对3d模型的一个或多个区域执行平滑和/或简化操作以降低3d模型在一个或多个区域处的分辨率。这使得口内扫描应用115能够避免感兴趣区域的过度平滑或过度简化(从而隐藏牙齿特征，诸如边缘线、牙齿到牙龈的边界、牙齿到牙齿的边界、牙齿特征等)和/或其它区域的欠平滑或欠简化。因此，可以在感兴趣区域中保持高分辨率，同时可以对不感兴趣的区域执行平滑和/或简化以降低不感兴趣的那些区域处的分辨率。可以通过将3d模型、3d模型的多个部分、3d模型到一个或多个平面上的投影和/或用于生成3d模型的口内扫描输入到已被训练以执行牙科对象分类(例如，牙科对象的像素级分类)的经训练的ml模型中和/或通过将成本函数(cost function)应用于所述经训练的ml模型的输出来识别感兴趣区域。这可包括识别修复性对象、天然牙齿、龈缘、牙齿到牙齿的边界、牙齿到牙龈的边界、边缘线和/或其它牙科对象或分类。
275.在一些实施例中，不同区域可以具有减小不同量的分辨率。例如，包括牙龈的表示的区域(其可以不是感兴趣区域)可以具有减少最大量的分辨率，而包括天然牙齿的表示的区域(其也可以不是感兴趣区域)可以具有减少较少量的分辨率。例如，感兴趣区域(aoi)可包括修复性对象、牙齿到牙齿的边界、牙齿到牙龈的边界和/或边缘线。在实施例中，aoi是用户可选择的。例如，用户可以从下拉菜单中选择哪些类型的牙科对象或分类对应于aoi。
276.为了更好地定位目标对象，该系统可以将高度图划分成区域(网格状)并且针对每个这样的区域检测修复性对象。例如，一个区域可包括一片像素。作为这种方案的变型，可以使用中心区域，使得仅当对象在口内扫描上完全呈现而不是在口内扫描中仅部分被观看时，才识别出对象。例如，如果在口内扫描的中心区域中识别出修复性对象，则口内扫描可以被分类为修复性对象的扫描。然而，如果口内扫描的中心区域不包括修复性对象(即使口内扫描的一些其它区域确实包括修复性对象)，则口内扫描可能不被分类为修复性对象的扫描。
277.在一些实施例中，该系统不仅可以识别口内扫描和/或3d表面(例如，高度图)上修复性对象的存在，而且还可以根据本文讨论的任何牙科分类进行口内扫描和/或3d表面的分割。因此，口内扫描和/或3d表面的每一个像素可以被分类为属于特定的牙科分类。该方
案允许修复性对象的更好定位，并且最终通过组合口内扫描的分割来执行3d模型的完全分割。
278.为了更好的精度，可以使用额外的输入，诸如彩色层、niri层、用于多个扫描的层等，如本文别处所讨论的那样。修复性对象识别可以与其它识别问题组合，如牙齿/牙龈/多余材料分割、托槽/附件检测、角色检测等。
279.自动处方(rx)
280.在实施例中，如以下进一步详细阐述的，口内扫描应用115可以自动生成用于治疗患者的处方。口内扫描应用115可以自动生成用于正畸治疗和/或修复性治疗的处方。用于正畸治疗的处方可包括用于将一系列对准器应用于患者牙齿以修正错位咬合的治疗计划，例如，用于修复性治疗的处方可包括用于牙帽、牙桥、义齿、牙冠等的信息。
281.不同诊所可能只专注于正畸治疗、只专注于修复性治疗、或正畸和修复性治疗两者。牙科诊所信息可以用于自动确定是生成正畸治疗处方还是修复性治疗处方。例如，对于正畸诊所，可以自动进行确定以生成正畸治疗处方。对于只执行修复性治疗或执行修复和正畸治疗两者的诊所，可以使用其它信息来自动生成处方。
282.在一些情况下，医生可以对患者牙弓采取预扫描(例如，在执行任何治疗之前)。可以基于预扫描生成患者牙弓的预扫描3d模型。口内扫描应用115可以将预扫描和/或预扫描3d模型保存到患者记录，并且可以将保存的扫描/3d模型识别为预扫描/预扫描3d模型。在一个示例中，可以在打磨牙齿以形成准备牙齿之前生成预扫描3d模型。预扫描3d模型可以在牙齿被打磨以形成准备牙齿之前提供关于牙齿的形状、着色、位置等的信息。预扫描3d模型随后可用于各种目的，诸如确定牙齿已经被打磨了多少来生成准备物，从而确定修复的形状等。
283.在一些情况下，口内扫描应用115(或医生或诊所)可以使用较旧的患者扫描和/或患者的牙弓的3d模型。当该系统已访问旧的患者扫描/3d模型时，该系统可以使用这种旧的扫描和/或3d模型用于多种目的。较旧扫描和/或3d模型的非穷举性用途列表包括：检测患者姓名(如上所述)，(b)检测哪个牙齿正在被治疗，(c)消除对预扫描的需要，和/或(d)计算目标牙冠结构，并简化边缘线(其中新形状和旧牙齿具有相同的形状)。对于b和c，可能希望特定牙齿的精细局部配准以提高差异精度(例如，如果较旧的扫描来自显著的过去时间)。
284.在一个示例中，口内扫描应用115可以将患者的当前口内扫描(或者根据当前口内扫描生成的3d表面或3d模型)与先前口内扫描(或者根据先前口内扫描生成的3d表面或3d模型)进行比较。基于该比较，口内扫描应用115可以确定患者的当前牙齿与患者的先前牙齿之间的差异。这些差异可以指示哪个牙齿或哪些牙齿正在被治疗。关于正在治疗的牙齿的信息可以被添加到处方。
285.在另一示例中，口内扫描应用115可以向医生提供患者牙弓的先前扫描(或3d模型)存在的指示。基于这种指示，医生可以选择不执行预扫描。在这种情景下，先前生成的扫描和/或患者牙弓的3d模型可以用于与预扫描3d模型通常将用于的目的相同的目的。例如，医生可以在形成准备牙齿之前略过执行预扫描。
286.在另一示例中，口内扫描应用115可以使用一个或多个较旧的患者扫描(或从较旧的患者扫描中生成的3d模型)来计算目标牙冠结构和/或边缘线。例如，所述一个或多个较旧的3d模型可以提供牙冠的外形。
287.一旦接收到口内扫描，就可以执行扫描的基本分析。口内扫描应用115可以搜索一个或多个不同类型的问题。可以搜索的问题的类型包括：(a)寻找准备牙齿和/或其它准备对象，以及(b)搜索扫描体。对准备牙齿和/或准备对象的搜索可以经由3d图像处理和/或经由应用到机器学习(ml)分类来执行，这将在下面更详细地描述。对扫描体的搜索可以经由ml分类来执行，如下文进一步描述。
288.处方(rx)可以基于准备牙齿的检测(例如，包括准备牙齿的位置和/或形状的确定)和/或扫描体的检测(例如，包括扫描体的位置、间距、角度、形状、类型等的确定)而自动生成和/或利用建议来填写。处方可包括基于准备物从实验室订购的适当牙科器具的建议。可以自动添加到处方的牙科器具的示例包括牙冠、牙桥、镶嵌体、贴片和义齿。在实施例中，可以基于修复性对象(例如，准备牙齿)的几何形状、位置和/或数量来确定适当的牙科器具(例如，口腔修复)。例如，对所确定处方(诸如单个牙冠或牙桥)的临床决策可以是基于规则的，或者也可以是学习的(例如，使用机器学习)。例如，可以使用训练数据集来训练机器学习模型，该训练数据集包括3d表面的输入和/或3d表面的投影以及放置在准备牙齿和/或3d表面中的其它修复性对象处的牙科假体的类型。机器学习模型可以被训练为接收3d表面/3d模型或3d表面/3d模型的一个或多个投影作为输入，并且输出要使用的牙科假体的预测。
289.该系统可以基于先前的历史(一般统计、医生过去的统计、实验室材料可用性等)来推荐用于牙科假体的材料，并且可以基于对侧牙齿和相邻牙齿来推荐颜色。可以基于对邻近牙齿的最佳估计和/或基于治疗前扫描和/或先前生成的扫描来决定颜色。确定的颜色可以自动添加到处方。
290.该系统可以基于医生先前使用的实验室来推荐实验室(例如，牙科实验室110)以供使用。在实施例中，关于要使用的实验室、要使用的材料、要使用的颜色等信息可以自动添加到处方。一旦处方生成，处方就可以被自动地发送到在处方中所指示的牙科实验室110。在处方被发送到牙科实验室110之前，医生可以审阅并批准该处方。
291.该系统可以自动生成用于修复治疗和/或正畸治疗的处方，该处方可以是用于牙冠、牙盖、牙桥、对准器等的处方。例如，处方可包括例如特定材料和/或牙科实验室的自动选择。关于材料和/或牙科实验室的决策可以基于历史统计和/或基于机器学习的应用。例如，机器学习模型可以使用训练数据进行训练，该训练数据包括具有所使用的材料和/或实验室的标签的牙弓和/或准备物的3d表面/模型。机器学习模型可以被训练为接收牙弓或准备物的3d表面或3d表面的一个或多个投影，并且输出要使用的材料和/或实验室的预测。偏好可以与案例类型、用户名、治疗的类型、治疗的区域等相关。该系统可以学习与这些属性相关联的医生偏好，并且在大部分时间基于这样的学习获得默认决策权。当该系统看到没有一个正确的选择时，该系统可以显示多个(例如，两个)选项以供医生在其间进行选择。
292.医生可以审阅生成的3d模型和/或自动生成的处方的其它性质。医生可以做出他们认为适合于3d模型和/或处方的其它方面的任何改变。这可包括生成一个或多个额外的口内扫描，并使用额外的口内扫描来更新3d模型，改变用于口腔修复的材料，改变将处方发送到的实验室，改变修复的颜色等。医生的每一个决策可以进入特定医生的学习数据库中，并且用于更新可以针对该医生的偏好而被专门训练的一个或多个机器学习模型。一旦医生(例如，牙医)已经确定3d模型和/或处方是可接受的，医生就可以指示计算装置105将处方发送到牙科实验室110的计算装置106。可替代地，可以自动生成并发送这样的指令。
293.口内扫描应用115和/或单独的牙科建模应用可以分析3d模型以确定其是否足以制造牙科假体。口内扫描应用或牙科建模应用可包括逻辑以识别边缘线和/或修改一个或多个牙齿点位的表面和/或修改边缘线。如果3d模型被认为是合适的(或者能够被修改以使其被置于被认为合适的状况下)，则可以从3d模型制造牙科假体。
294.在实施例中，口内扫描应用115分析生成的3d表面或3d模型并且确定针对3d模型或表面的一个或多个质量评级。不同质量评级可以分配给3d模型的不同部分，诸如边缘线的多个部分、准备牙齿的多个区域、准备牙齿周围的多个区域等。口内扫描应用115可以提供关于未能满足特定质量标准的区域的反馈，并且可以从重新扫描中受益，以生成牙齿点位的质量更好的3d模型。例如，口内扫描应用115可以确定牙齿周围、特别是准备牙齿周围的扫描牙龈或牙龈的量。扫描的牙龈量可以与扫描的牙龈阈值进行比较，并且如果检测到的牙齿周围的扫描的牙龈量小于阈值，则口内扫描应用115可以标记该牙齿以用于接收进一步的牙龈扫描。在一个示例中，扫描每一个牙齿周围的至少3mm的龈缘组织(gingival tissue)是有益的。因此，如果牙齿周围的牙龈组织的任何扫描区域的外边界离牙齿小于3mm，则牙龈组织的该区域和/或牙齿可被标记给医生以用于进一步扫描。
295.在另一示例中，口内扫描应用115可以检测未生成口内扫描数据的缺失区域。这可包括缺失的颚扫描数据、未扫描的牙齿、牙齿的不完全扫描、扫描信息中的孔或空隙(例如，阈值尺寸以上的空隙)等。这样的缺失区域可被标记给医生以用于进一步扫描。在另一示例中，口内扫描应用115可以检测是否遵循扫描协议，并且可以标记与扫描协议的一个或多个偏差。例如，口内扫描应用可以确定一个或多个咬合扫描是否缺失。在另一示例中，口内扫描应用115确定边缘线的任何部分是否不清楚、形成不良或被遮挡，如上所述。在另一示例中，口内扫描应用基于区域的2d彩色图像确定区域的颜色质量。如果已经生成了区域的不足的2d彩色图像，则该区域的颜色质量可能较低。因此，口内扫描应用115可以标记区域以用于进一步扫描，以接收用于该区域的额外颜色信息。在另一示例中，表面质量(例如，表面上的已知点的数量)可以取决于针对该表面已经接收的扫描的数量。通过针对特定区域的表面进行少量扫描，可以产生该区域，但是该区域具有低确定性或低质量。口内扫描应用115可以标记具有过少数据点的区域以用于进一步扫描。
296.通常，在医生完成口内扫描并且已经生成虚拟3d模型之后，医生手动地在3d中移动该模型以确定该模型是否适当。在实施例中，该系统自动确定和生成旋转路径和/或缩放序列，如医生在扫描之后和在完成准备物之后将完成的那样。随后，这可以自动地向医生回放。该系统可以学习预期的移动、缩放、旋转等，并且创建轨迹。该系统可以额外地或可替代地在屏幕上一次显示具有或不具有运动的多个视图。如果已经识别出问题区域，则该系统可以生成指向和/或强调那些问题区域(例如，像不清楚的边缘线或距离相对的颌的小距离)的箭头或其它识别符。自动生成的轨迹可以额外地或可替代地放大识别出的问题区域。
297.修复性工作流程
298.在一些实施例中，口内扫描应用115自动执行或遵循修复性工作流程。修复性工作流程是牙科中(手动或自动)操作的最复杂的工作流程中的一个，并且通常医生花费大量时间来学习如何执行修复性工作流程。在实施例中，修复性工作流程的许多方面可以是自动化的，这节省了相当多的时间并且降低了医生的复杂性。额外地，自动化的修复性工作流程能够减少用于训练医生使用口内扫描应用115的训练时间。
299.在实施例中，修复性工作流可以在具有预扫描或没有预扫描的情况下进行工作。在一些实施例中，医生可以在执行一个或多个修复性操作(诸如打磨牙齿以形成准备物、拔牙、插入植入物等)之前生成患者口腔的预扫描3d模型。在一些实施例中，患者牙弓的先前3d模型可能已经存在，其可以用于与预扫描3d模型所用于的目的相同的目的。
300.口内扫描应用115可以具有牙齿和牙龈、扫描体和口腔中的其它常见要素的完全分割能力和识别能力，如上所述。从如上所述的口内扫描和/或从3d表面中，口内扫描应用115可以执行这些识别和/或分割。在一个实施例中，为了执行自动修复性工作流程，自动执行牙齿、牙龈、扫描体和准备牙齿的分割。
301.修复性工作流程的一个复杂情况是医生可以在准备牙齿或其它牙齿点位的过程中多次扫描牙齿或其它牙齿点位，并且在每一个扫描之间医生可以对牙齿点位进行改变。可以基于口内扫描的初始集合生成3d表面和/或3d模型。随后，在医生对牙齿位置进行了一些改变(例如，通过打磨牙齿)之后，可以生成第二组口内扫描。传统上，医生需要以某种方式在包括牙齿点位的3d模型或3d表面上进行标记，以识别要保留3d模型/3d表面的哪些部分以及应该使用来自口内扫描的新集合的数据来覆盖哪些部分。该系统可以假设口内扫描的集合之间的变化(例如，准备物的返工、牙线的移除、牙线的添加等)都发生在扫描之间。
302.在实施例中，一个或多个标准可用于确定已经对牙齿点位的3d模型或3d表面做出了可能的改变。在一个实施例中，每当医生从患者口腔中取出扫描仪150并停止扫描时，口内扫描应用115将测量扫描之间经过的时间量。扫描之间经过时间可以与时间阈值进行比较。时间阈值可以是例如10秒、30秒、1分钟或其它时间阈值)。如果经过的时间超过时间阈值，则口内扫描应用115可以确定3d表面/3d模型有可能已经被修改。
303.在一些实施例中，扫描仪150和/或计算装置150包括麦克风。麦克风可以在扫描之间接收音频，并且评估音频以确定是否从音频中检测到特定声音，诸如是独特响声的钻头声音。在一个实施例中，将接收到的音频的音频特征(例如，音频指纹)与存储的与用于修改牙齿点位的钻头或其它工具相关联的音频特征(例如，音频指纹)进行比较。这可包括使用音频指纹识别算法从音频种生成音频指纹。如果接收到的音频的音频特征与存储的与牙齿点位(例如，牙钻)的修改相关联的音频特征匹配，则口内扫描应用115可以确定3d表面/3d模型已经可能被修改。
304.口内扫描仪150可包括一个或多个运动传感器(例如，加速度计和/或陀螺仪)，其可用于检测扫描仪150的运动。可以评估来自运动传感器的数据以确定扫描仪150在扫描之间是否离开医生的手(例如，被放置在表面上或在篮子中)。在一个实施例中，特定运动概况(profile)可以指示扫描仪从患者的口腔中移除和/或放置在表面上。额外地，在阈值持续时间内没有任何运动可以指示扫描仪150已经被医生放下(例如，在表面上或在篮子中)。因此，可以将接收到的运动数据与一个或多个运动标准进行比较，以确定扫描仪150是否已经在扫描之间被放下。来自运动传感器的数据可以额外地或可替代地用于确定扫描仪150在扫描之间是否在医生手中保持静止(例如，医生是否有短暂休息)。接收到的运动数据可以与一个或多个额外运动标准进行比较，以确定扫描仪150是否保持静止在医生的手中。这样的标准可包括例如第二阈值持续时间，其比可用于确定扫描仪150已被医生放下的阈值持续时间更短。这样的标准还可包括否定规则，其中如果识别出指示从患者的口腔移除扫描仪和/或将扫描仪放置在表面上的运动概况，则不满足放在手中的规则。
305.假设扫描已经停止，并且在扫描之间已经经过了一段时间(例如，满足了上述标准中的一个或多个)，则该系统可以假设3d表面/模型中的可能变化。这些变化可以与例如牙龈线、边缘线和/或准备物的形状相关。对于每个准备牙齿，该系统决定是否存在与准备牙齿相关联的3d表面的变化。通过从周围的未改变的特征(例如，未改变的组织)中找到在新扫描中表示的准备牙齿相对于已经生成的3d表面/模型的精确位置，可以使该确定更容易。基于较早执行的分类和分割，该系统获知3d表面/模型中的哪些像素描绘准备物并且哪些像素描绘周围特征以及新的口内扫描中的哪些像素描绘准备物并且哪些像素描绘周围特征。
306.该系统可以审阅准备牙齿的新区域，并且将来自新扫描的准备牙齿的特定部分与3d表面/模型中的准备牙齿的特定部分进行比较。例如，取出的牙科用线将改变准备牙齿的周围区域的牙龈形状。在一个实施例中，该系统通过3d表面和新口内扫描之间的3d比较来完成这一点。口内扫描应用115随后可以通过用来自一次或多次新口内扫描的数据替换与准备牙齿的一些部分或准备牙齿周围的区域相关联的数据来更新3d表面或3d模型。随后，口内扫描应用115可以显示修改的3d模型或牙弓的3d表面。在一些实施例中，口内扫描应用115的gui示出了当前表面改变后以及其存在预改变时的先前表面。例如，可以利用虚线、透视网格、或不同于当前改变后表面的可视化的其它可视化来示出改变后表面与改变前表面之间的差异。
307.在一个实施例中，该系统将采用由扫描的新部分所揭示的牙齿的形状，在该位置下方曾是牙龈线。然而，该系统也可以保持牙龈线曾位于何处的表示。这可以是表面的更好表示(注意，它可以不是单个表面，而是多个表面)，并且该系统可以检查如果使用它是否可以给出更好的临床结果。该系统还可以检测该区域(假设扫描之间的视角几乎相同)的口内扫描之间的变化(与扫描和3d表面或3d模型之间的变化相反)。在一些情况下，该系统可以观察到牙科用线已经在牙龈与牙齿之间。对于这种情况，该系统可以预期一个或多个下一个扫描是没有牙科用线的。该系统还可以检测基于牙龈出血和/或多余唾液的变化。
308.在一些实施例中，口内扫描应用115检测扫描和/或3d表面/模型上的边缘线和/或牙齿回撤线(dental retraction lines)。口内扫描应用115可以确定边缘线和/或牙齿回撤线内的区域将被修改，并且边缘线和/或牙齿回撤线外部的区域将不被修改。医生对准备牙齿所做的另一种改变是对准备牙齿进行返工，诸如通过进一步打磨准备牙齿。有时，这在咬合间隙显示准备牙齿和相对牙弓上的相对牙齿之间的距离过小之后执行。在准备牙齿的形状分析指示该形状应该被修改之后，在报告了在准备牙齿上的口腔修复术的有问题的插入路径之后(例如，如果插入路径堵塞)，或者当该系统报告了低质量的边缘线时，准备牙齿也可以被返工。对于这些情况中的每一种，医生通常将对准备牙齿进行返工。
309.随着每一个改变，该系统将需要理解牙齿点位的什么部分改变，并且从先前3d表示中移除该改变部分，并且利用来自新扫描数据的信息替换该改变部分。在一些实施例中，这可以借助扫描仪150知道其精确位置的帮助来实现，例如基于运动数据和/或口内扫描的评估以确定扫描仪150在扫描之间的运动。
310.在一个示例中，口内扫描应用115可包括用于自动识别(例如，突出显示)准备牙齿的图像和/或3d模型中的边缘线的逻辑。这可以使得医生更容易检查边缘线的精度。口内扫描应用115可以另外标记和/或突出显示不清楚、不确定和/或未定的边缘线的特定段。额外
地或可替代地，口内扫描应用115可以标记和/或突出显示不清楚、不确定和/或未定的特定区域(例如，表面)。例如，可接受的边缘线的段可以以第一颜色(例如，绿色)示出，而不可接受的边缘线的段可以以第二颜色(例如，红色)示出。在一个实施例中，使用经训练的机器学习模型来识别准备牙齿中的边缘线。
311.口内扫描应用115可以额外地或可替代地包括用于自动校正牙齿的图像和/或3d模型中的牙齿表面和/或用于修改准备牙齿的不可接受的边缘线的逻辑。这可以被称为边缘线的“虚拟清理(virtual cleanup)”或“雕刻(sculpting)”。在一个实施例中，口内扫描应用115包括用于执行这种虚拟清理或雕刻的逻辑，如在标题为“自动化检测、生成和/或校正数字模型中的牙齿特征”的美国公开no.2021/0059796中所阐述的那样，其通过引用并入在本文中。
312.在一个实施例中，经训练的机器学习模型被用于修改准备牙齿的图像和/或3d模型，诸如以校正准备牙齿的边缘线(例如，以雕刻或执行边缘线的虚拟清理)。可以在修改的图像和/或修改的3d模型中指示更新的边缘线(例如，虚拟清理或雕刻的边缘线)。医生可以检查修改的边缘线以确定其是否精确。
313.在一个示例中，扫描的准备牙齿的真实边缘线的一部分可能在3d模型中不能被足够清楚地限定。例如，在(例如，经由扫描)导致第一3d虚拟模型被生成的初始3d数据收集步骤期间，物理牙齿表面的一部分可能已经被异物(例如，唾液、血液或碎屑)覆盖。物理牙齿表面的这一部分也可能已经被另一个元素(例如牙龈、面颊、舌头、牙科器械、人工制品等的部分)遮挡。可替代地，例如，在(例如，经由扫描)导致第一虚拟3d模型被生成的初始3d数据收集步骤期间，该区域可能已经变形或以其它方式有缺陷，并且可能未适当地对应于物理牙齿表面(例如，由于实际扫描过程中的一些缺陷)。可以执行自动校正以去除异物的表示并显示下面的牙齿表面和/或边缘线。如果执行了牙齿表面和/或边缘线的自动校正，则可以创建被遮挡区域，并且可以在3d模型中移除遮挡对象。
314.当牙齿点位的改变很小(例如，几十微米到几百微米)时，可能难以检测到该改变并确定如何更新3d表面和/或3d模型。另一方面，当牙齿点位的改变较大时(例如，在毫米的量级)，没有地方混淆，并且容易替换到3d表面和/或3d模型。这种小的改变可以是当3d变化在几十微米到几百微米的尺度上时。这种尺寸的改变有时可能在噪声的范围内，并且与先前扫描(如在扫描期间常见的)的平均将改变与改变的牙齿点位的先前描绘混合并在一起。因此，在一些实施例中，每一个扫描将不与先前扫描平均，直到可以做出关于是否已经对牙齿点位做出改变的决策为止。额外地，即使在做出决策之后，也可以保留不同扫描的记录，使得如果给出指示在没有检测到改变的情况下发生改变或者在检测到改变的情况下没有发生改变的新信息或用户引导，则可以改变决定。
315.在牙齿点位修改之前生成的较早扫描与在牙齿点位修改之后生成的较晚扫描之间在牙齿点位处的小差异可以是在扫描的每一个表面点的误差水平处。然而，通常将针对包括多个点而不是在单个点处的区域来检测差异。牙齿点位的区域的这种差异可以通过创建较早扫描(在修改之前生成)与较晚扫描(在修改之后生成)之间的差异图来表示。可以将低通滤波器应用于差异图，以确定差异是点差异还是区域差异。点差异通常是噪声，并且区域差异是牙齿点位的实际差异的概率很高。
316.额外地，口内扫描应用115能够检测3d模型或3d表面与在3d模型或3d表面中描绘的牙齿点位改变之后生成的口内扫描之间的特定类型的共同差异。例如，一些区域的差异(如当取出牙科排龈线时)将具有特定位置并且在牙齿周围。口内扫描应用可包括用于检测这种共同差异的征兆的一个或多个规则和/或可包括一个或多个机器学习模型，这些机器学习模型已经被训练来接收来自两个口内扫描的数据(或来自两个口内扫描集合的数据)并且识别来自所述两个口内扫描或来自所述两个口内扫描的集合的数据之间的特定类型的差异。
317.在一个实施例中，在口内扫描应用115自动决策检测到的差异是否与牙齿点位的修改或与噪声和/或误差相关联的情况下，口内扫描应用115的gui将显示这些结果(例如，以某种突出显示的方式)。这可包括示出由口内扫描应用115做出的决策产生的第一3d表面，并且可替代地示出由先前3d表面或3d模型的改变。口内扫描应用115还可以显示第二3d表面，其将由与第一3d表面同时(alongside the first 3d surface)的不同决定产生。口内扫描应用115可以输出对批准或拒绝自动确定的请求。这种批准或拒绝可以是语音批准或拒绝、按下扫描仪150和/或计算装置105的输入装置(例如，触摸屏、触摸板、鼠标等)上的一个或多个按钮、基于扫描仪150的运动数据检测到的手势、和/或某种其它类型的输入的形式。
318.在实施例中，口内扫描应用115可以检测修复性工作流程的不同模式或阶段之间的过渡。例如，口内扫描应用115可以检测何时将牙科用线(还称为牙科细线或排龈线)插入在准备牙齿周围的牙齿与牙龈之间和/或何时从牙齿与牙龈之间移除牙科用线。额外地，口内扫描应用115可以在准备牙齿的形成期间检测准备牙齿的打磨阶段或轮次。当识别修复性工作流程/治疗的阶段时，并且当识别“模式”或治疗阶段之间的过渡时，口内扫描应用可以输出通知，使得医生知道口内扫描应用正在精确地跟踪修复性工作流程或治疗。如果口内扫描应用115已经不正确地识别了工作流程或治疗的阶段，医生可以提供指示口内扫描应用115是错误的和/或指示正确的阶段或更多的输入。该输入可用于执行口内扫描应用115(例如，口内扫描应用115的一个或多个机器学习模型的)的进一步训练以提高精度。
319.在实施例中，每一个口内扫描被单独地记录并且可以被单独地处理，并且这些口内扫描可以在接收到一个或多个额外的扫描之后和/或在牙弓或牙齿点位的扫描完成之后被重新处理。可以使用口内扫描和额外的口内扫描(和/或3d表面或3d模型)来执行重新处理，这提供了改进的精度。因此，即使该系统没有实时精确地识别工作流程或治疗的阶段和/或没有实时检测正确的扫描角色，该系统也能够更新和校正较早的治疗阶段或模式的分类中的误差和/或扫描后的扫描模式的分类中的误差。这可能消除任何对重新扫描的需要。
320.在重新扫描期间，一些扫描可能被丢弃，这是由于不总是能够预先知道医生的意图，并且口内扫描应用的一些决策可能是错误的。在实施例中，口内扫描应用115维持(例如，存储)扫描会话的所有扫描数据。如果口内扫描应用115在决策上是错误的，并且接收到来自医生的校正，则其可以总是使用存储的但先前未使用的数据来执行重新计算，而不需要重新扫描患者。重新计算可包括使用与先前使用的扫描不同扫描和/或使用与先前使用的扫描不同的加权来重新确定3d表面和/或3d模型。可以执行这样的重新计算以确定用于分割、角色识别、修复性工作流程识别、正畸工作流程识别、对牙齿点位的改变的确定和/或
本文所讨论的其它预测、分类或确定中的任何一个的更新。
321.在一些情况下，医生可能提供可以以多种方式解释的模糊的或不清楚的输入，其中每种解释可能导致不同的结果。额外地，在一些情况下，口内扫描应用确定存在两个不同结果是正确的(例如，对牙齿点位进行了修改并且未对牙齿点位进行修改)的相等可能性(或近似相等可能性)。在这样的情况下，其中口内扫描应用接收模糊的或不清楚的输入或者不能自动确定正确的输出，口内扫描应用115可以建议医生在其间做出决定的两个或三个选项。在实施例中，可以针对每个选项示出单独的3d表面或3d模型。随后，医生可以选择正确的选项。一旦选择了正确的选项，就可以使用正确选项的知识来执行重新训练。这可包括重新训练一个或多个机器学习模型。
322.凹版表面在修复性案例中的使用
323.在一些实施例中，基于患者口腔中的牙齿点位的扫描生成的3d模型是不精确的或质量次优的，由于在牙齿点位处没有足够的特征来执行扫描的配准和拼接和/或生成牙齿点位的精确描绘。在这种情况下，可以生成针对牙齿点位制造的牙科假体的和/或对牙齿点位取得的印模的凹版表面的额外扫描。随后，来自印模或牙科假体的凹版表面的扫描数据可以与牙齿点位的扫描数据一起使用，以生成牙齿点位的更精确的3d模型。额外地，准备牙齿的口内扫描可包括不清楚或被遮挡的或限定不良的边缘线。在这种情况下，来自用于准备牙齿的牙科假体的准备牙齿的印模的凹版表面的扫描数据可以提高准备牙齿的3d模型中的边缘线的质量、限定和/或清晰度。因此，凹版表面的扫描可以改进例如准备牙齿周围的边缘线的描绘、牙弓的无牙区域的描绘等。
324.在一些情况下，医生不需要向口内扫描应用115提供任何输入，该输入指示他们正在进行凹版表面的扫描，或者他们正在进行针对特定患者的凹版表面的扫描。在一些实施例中，当生成牙科假体(例如，临时牙科假体)或印模的凹版表面的一个或多个扫描时，自动分析那些扫描。基于这种分析，口内扫描应用115可以确定扫描是凹版表面的而不是口腔中的牙齿点位的。例如，牙齿点位的扫描具有带有主要为凸形表面的总体上的丘状形状(mound-like shape)。另一方面，凹版表面的扫描通常具有带有主要为凹形表面的谷状形状(valley-like shape)。基于这样的信息，口内扫描应用可以自动确定接收到的扫描是针对口腔中的对象还是针对牙科假体或印模的凹版表面。在一个实施例中，经训练的机器学习模型输出扫描是口腔中的对象还是凹版表面的分类。
325.在一些实施例中，口内扫描应用115生成凹版表面的3d表面和/或3d模型，并将3d表面和/或3d模型与一个或多个患者的存储的3d模型进行比较。口内扫描应用115可以另外将口内扫描与一个或多个患者的存储的3d模型进行比较。针对凹版表面的口内扫描和/或3d表面，口内扫描应用可以在与存储的3d模型比较之前反转来自口内扫描和/或3d表面的数据。随后，可以与各种3d模型进行比较，直到识别出匹配为止。例如，可以在凹版表面与特定患者的特定3d模型的牙弓上的特定准备牙齿的表面之间进行匹配。一旦识别出匹配，口内扫描应用115就可以自动识别与凹版扫描数据相关联的患者和/或与凹版扫描数据相关联的特定准备牙齿。口内扫描应用115可以另外自动确定3d模型和/或3d模型的特定区域(例如，与识别出的准备牙齿相关联的区域)以与3d表面和/或凹版扫描数据组合以便生成更新的3d模型(例如，具有改进的边缘线)。
326.例如，可以制造临时牙冠以用于放置在准备牙齿上。临时牙冠的凹版表面可以使
用扫描仪150扫描，并且临时牙冠的凹版表面的扫描可以与准备牙齿的扫描一起使用，以确定准备牙齿周围的边缘线。实施例中的口内扫描应用115可以自动获取凹版扫描数据并且将其与准备牙齿的扫描数据组合，以确定边缘线在何处没有使用牙科用线。这可包括确定用于边缘线的一些区域(例如，诸如在准备牙齿的口内扫描数据中被牙龈遮挡的那些区域)的凹版扫描数据的部分，以及确定用于边缘线的其它区域的准备牙齿的口内扫描数据的部分。在其它情况下，口内扫描应用115可以确定仅使用来自准备牙齿的扫描的数据用于边缘线，或者仅使用来自临时牙冠的凹版表面的扫描的数据用于边缘线。口内扫描应用115可以自动确定使用来自口内扫描的什么数据和使用来自凹版表面的扫描的什么数据来确定边缘线。例如，可以基于准备牙齿的口内扫描数据来确定90％的边缘线(例如，由于边缘线的这些部分在口内扫描数据中被暴露)，并且可以基于临时牙冠的凹版表面的扫描数据来确定10％的边缘线(例如，由于边缘线的这些部分在口内扫描数据中被遮挡)。
327.牙齿点位的扫描由于患者缺失牙齿的区域(称为无牙区域)而变得复杂。例如，在缺失两个或更多个相邻牙齿的情况下，可能存在需要扫描的大跨度的软组织。对牙弓的无牙区域的扫描是特别有挑战性的，由于可能没有足够的几何参考点来执行扫描的配准和拼接。额外地，软的牙龈组织可能在扫描之间移动或变形，从而降低了生成的3d模型的精度。此外，对于软的牙龈组织，可能有利的是捕获软的牙龈组织的可能位置和/或形状的全部范围，这通常不能仅通过无牙区域的口内扫描来捕获。因此，该系统通常不能准确地捕获无牙区域的完整包络。
328.因此，在实施例中，可以取得无牙区域的印模(例如，使用弹性体印模材料)，其中印模捕获软组织在无牙区域处的运动的包络。随后可以使用扫描仪150扫描该印模的凹版表面。可替代地或额外地，可以使用扫描仪150扫描先前制造的义齿的凹版表面。凹版表面150的扫描可以捕获软组织的完整运动包络。可以另外生成无牙区域的扫描。无牙区域的扫描可以自动地与印模或义齿的凹版表面的扫描组合，以生成可用于制造患者的新义齿的3d模型。例如，组合的扫描可用于确定待制造的新义齿的凹版表面。
329.脏光学表面的自动检测
330.口内扫描仪150在非无菌环境中进行操作。唾液、血液和其它物质可能积聚在扫描仪头的光学表面上，阻碍光进出扫描仪150的光路。光学表面可以是例如扫描仪150的头中的窗口或镜子。大多数口内扫描仪150具有出射窗口，在该出射窗口上方构成扫描仪，并且在出射窗口下方该系统期望扫描牙齿和其它牙科对象。额外地，大多数口内扫描仪150包括在扫描仪150的头中的折叠镜，该折叠镜反射光使得光以与扫描仪150的纵向轴线成一定角度(例如，以与纵向轴线成直角、锐角或钝角)离开扫描仪。对于包括出射窗口的扫描仪，出射窗口可能变脏。对于没有出射窗口的扫描仪，折叠镜可能变脏。光学表面(例如，出射窗口和/或镜子)的阻碍或变脏可能对口内扫描数据的精度具有负面影响，口内扫描数据诸如口内扫描、口内彩色图像以及由扫描仪150生成的niri图像。对于封闭尖端的扫描仪(例如，扫描仪或扫描仪)，灰尘和尘垢积聚在扫描仪头的出射窗口上和/或覆盖扫描仪头的至少一部分的保护性套筒的出射窗口上。对于开放尖端的扫描仪(例如，扫描仪、扫描仪或扫描仪)，灰尘和尘垢积聚在扫描头中的折叠镜和/或透镜上和/或在套筒或扫描仪头的附件内的折叠镜上。光学表面上的干扰或阻碍可包括但不限于出射窗口上的、折叠镜上的、玻璃上的、透镜上的、或扫描仪150的光路
中的任何其它对象或表面(被称为光学表面)上的灰尘、血液或尘垢。
331.在实施例中，口内扫描应用115和/或口内扫描仪150自动检测扫描仪150的光学表面上的阻碍(例如，灰尘、尘垢、血液、唾液等)。可以使用图像处理和/或机器学习的应用来检测阻碍。在一些实施例中，通过生成和/或分析深度图/高度图来检测脏光学表面。在其它实施例中，在不使用深度图或确定深度的情况下识别脏光学表面。
332.口内扫描应用115可以确定光学表面的阻碍水平。如果阻碍水平超过阻碍阈值(例如，脏度阈值)，则口内扫描应用115可以生成警告消息以清洁光学表面和/或更换扫描仪150上的保护性套筒或附件。在实施例中，可以设定在光学表面上符合“脏”的标准的阻碍的阈值量。默认阈值可以自动设定，并且医生可以经由用户输入来调整该阈值。当该系统检测到光学表面(例如，套筒、透镜、窗口和/或镜子)已经达到阈值时，可以生成消息和/或可以停止扫描。在一个实施例中，该系统可以决定向牙医输出弹出警告以“请更换套筒”。如果牙医忽略该通知，则该系统可以自动暂停扫描和/或可以阻止将虚拟3d模型发送到实验室(例如，在极脏的套筒/镜子/窗口情况下)。这也可以防止医生再次使用套筒，这降低了患者之间交叉感染的风险。
333.在一个实施例中，使用深度信息来检测脏光学表面(即，光学表面上的阻碍)。这可包括生成深度图或高度图，并且随后将深度图/高度图中的高度/深度与深度阈值进行比较。光学表面的深度(例如，光学表面与聚焦光学器件的距离)可以是已知的，并且深度阈值(还称为距离阈值)可以基于光学表面的已知深度设定。口内扫描应用115可以确定来自深度图的深度中的哪个(如果有的话)等于或小于深度阈值。与小于或等于深度阈值的深度值相关联的每一个点或像素可被标识为被遮挡的。深度检测能力不限于出射窗口，并且继续进入扫描仪中。在一个实施例中，在扫描仪150内部检测到的每一个深度(例如，在镜子、透镜等的某一深度处)被认为是光学表面上的干扰或阻碍，这是由于扫描仪150内部的光路应该是清楚的。
334.在一个示例中，口内扫描仪150包括套筒的出射窗口(或内部镜子或探头出射窗口)的已知距离。这些值可以通过校准或通过设计来确定，并且可以由口内扫描应用115和/或扫描仪150来存储。口内扫描应用115可以接收具有一个或多个距离候选的深度图。对于深度图中的每一个候选，口内扫描仪115可以使用阈值检查其是否靠近出射窗口(或镜子)。可以使用不同的阈值来决定候选是低于还是高于出射窗口。口内扫描应用115可以对靠近出射窗口的候选的数量进行计数。如果候选的数量大于阈值，则该系统可以输出套筒可能是脏的通知。可替代地或额外地，处理逻辑可以输出指示光学表面是脏的百分比的通知。当光学表面变得更脏和/或被清洁时，可以更新该通知。额外地或可替代地，口内扫描应用115可以确定脏区域的尺寸(符合脏的标准的相邻点的数量)，并且确定脏区域的尺寸是否超过尺寸阈值。如果是，则口内扫描仪115可以确定扫描仪150具有脏的光学表面。额外地或可替代地，口内扫描应用115可以确定阈值数量的扫描(例如，连续扫描)是否具有尺寸超过阈值的脏区域。如果是，则口内扫描仪115可以确定扫描仪150具有脏光学表面。
335.在一个实施例中，口内扫描应用115比较两个或更多个口内扫描以确定所述两个或更多个口内扫描之间的未改变的像素/点。如果扫描之间的点/像素中的大部分或一些不同，但是一些保持不变，则口内扫描应用115可以确定那些未改变的点/像素被脏光学表面遮挡。在一个实施例中，口内扫描应用生成作为多个彩色图像的平均的彩色图像。随后可以
分析该平均(例如，使用经训练的ml模型)以识别移动对象和不移动对象。移动对象可以在组合图像中表现为涂抹的对象，并且可以与光学表面的清洁区域相关联，而不移动对象可以在组合图像中表现为锐利或清楚的对象，并且可以与光学表面的脏区域相关联。
336.在实施例中，口内扫描应用150能够在脏透镜、脏镜子、扫描仪150的脏出射窗口和扫描仪150上的脏套筒之间进行区分。在实施例中，口内扫描应用150可以输出关于哪个(或哪些)光学组件被检测为脏的指示。如果保护性套筒(例如，保护性套筒的窗口)或保护性附件(例如，保护性附件的镜子)被检测为脏的，则用户可以通过用清洁的套筒或附件替换脏的套筒或附件来修正该问题。如果扫描仪150的出射窗口被检测为脏的，则医生可能需要在继续扫描程序之前清洁出射窗口。通常，没有什么能够防止牙医使用脏套筒、脏附件、脏透镜等。在实施例中，该系统自动检测脏套筒或脏附件，并且防止进一步扫描，直到脏套筒或脏附件被更换或清洁为止。
337.脏的套筒和其它脏的光学表面在生成牙科器具的建模阶段中导致显著的时间浪费。例如，计算机辅助绘图(cad)设计者平均花费8分钟来处理使用清洁的口内扫描仪生成的虚拟3d模型，对比花费约12分钟来处理使用脏扫描仪生成的虚拟3d模型。因此，通过应用脏的套筒/脏的扫描仪检测方法，可以减少cad设计者的工作时间。额外地，可以减少被拒绝的案例数量，并且可以减少临床升级(clinical escalations)的数量。
338.在一些实施例中，当口内扫描仪150的扫描仪头插入到口腔中时，口内扫描仪150的一个或多个光学表面可能起雾。例如，如果在套筒有机会加热到患者体温附近之前，更换保护性套筒和/或将冷套筒插入到患者口腔中，则可能发生这种情况。在一些情况下，起雾可被解释为脏光学表面。在一些情况下，由口内扫描仪150生成的彩色图像可用于检测已经被识别为脏的区域的颜色、不透明度和/或透明度。例如，(多个)彩色图像和/或口内扫描可以输入到经训练的ml模型中，该模型已被训练以识别脏光学表面和识别起雾的光学表面。ml模型可以输出关于光学表面是否脏或者其是否起雾的指示。在一个实施例中，口内扫描仪150确定扫描仪150的一个或多个区域的温度，并且输出指示检测到的脏表面可能是由于起雾而引起的通知，并且等待确定光学表面的遮挡是否自动清除(例如，等待几秒)。
339.对于由口内扫描应用115所做出的任何自动化的决策，诸如自动扫描角色确定、自动处方生成、口内扫描的多个部分的自动选择以用于3d表面、牙科对象的自动分类等，医生可以否决(override)自动决策。在由口内扫描应用115所做出的自动决策的每一个示例中，口内扫描应用115可以提供做出的自动决策的指示以及医生将自动决策改变为不同决策的选项。当发生这种手动否决时，记录原始决策、导致原始决策的细节以及医生的手动决策。随后，该数据可以用于重新训练口内扫描应用115的一个或多个组件(例如，一个或多个经训练的ml模型)，以便提高该系统的精度。
340.图2a示出了根据本公开一个实施例的口内扫描应用的模型训练工作流程205和模型应用工作流程217。在实施例中，模型训练工作流程205可以在包括或不包括口内扫描应用的服务器处执行，并且所述经训练的模型被提供给口内扫描应用(例如，在图1的计算装置105上)，其可以执行模型应用工作流程217。模型训练工作流程205和模型应用工作流程217可以由计算装置的处理器执行的处理逻辑来执行。这些工作流程205、217中的一个或多个可以例如由在口内扫描应用115中实现的一个或多个机器学习模块或在图42中示出的计算装置4200的处理装置上执行的其它软件和/或固件来实现。
341.模型训练工作流程205用于训练一个或多个机器学习模型(例如，深度学习模型)以执行针对口内扫描数据(例如，3d扫描、高度图、2d彩色图像、niri图像等)和/或基于口内扫描数据生成的3d表面的一个或多个分类、分割、检测、识别等任务。模型应用工作流程217是应用所述一个或多个经训练的机器学习模型来执行针对口内扫描数据(例如，3d扫描、高度图、2d彩色图像、niri图像等)和/或基于口内扫描数据生成的3d表面的分类、分割、检测、识别等任务。机器学习模型中的一个或多个可以接收和处理3d数据(例如，3d点云、3d表面、3d模型的多个部分等)。机器学习模型中的一个或多个可以接收和处理2d数据(例如，2d图像、高度图、3d表面到平面上的投影等)。
342.本文描述了许多不同的机器学习输出。描述并示出了机器学习模型的特定数量和布置。然而，应该理解，可以修改所使用的机器学习模型的数量和类型以及这样的机器学习模型的布置以实现相同或相似的最终结果。因此，所描述和示出的机器学习模型的布置仅仅是示例，并且不应被解释为限制。
343.在实施例中，一个或多个机器学习模型被训练以执行以下任务中的一个或多个。每一个任务可以由单独的机器学习模型来执行。可替代地，单个机器学习模型可以执行任务中的每一个或任务的子集。额外地或可替代地，不同的机器学习模型可被训练以执行任务的不同组合。在一个示例中，可以训练一个或几个机器学习模型，其中所述经训练的ml模型是具有多个共享层和多个更高级别的不同输出层的单个共享神经网络，其中输出层中的每一个输出不同的预测、分类、标识等。所述一个或多个经训练的机器学习模型可被训练以执行以下任务：i)扫描角色分类—这可包括将口内扫描、口内扫描的集合、从多个口内扫描中生成的3d表面、从多个口内扫描中生成的3d模型等分类为与上颌角色、下颌角色或咬合角色相关联。这还可包括将口内扫描分类为与准备角色相关联。ii)扫描视图分类—这可包括将口内扫描或口内扫描的集合分类为描绘颌的舌侧、颌的颊侧或颌的咬合视图。其它视图也是可以确定的，例如，颌的右侧、颌的左侧等。iii)牙科对象分割—这可包括对来自口内扫描、口内扫描集合、从多个口内扫描中生成的3d表面、从多个口内扫描中生成的3d模型等的不同类型的牙科对象执行点级分类(例如，像素级分类或体素级分类)。不同类型的牙科对象可包括例如牙齿、龈缘、上颚、准备牙齿、除了准备牙齿之外的修复性对象、植入物、托槽、牙齿附件、软组织、排龈线(牙科用线)、血液、唾液等。在一些实施例中，可以识别不同类型的修复性对象，可以识别不同类型的植入物，可以识别不同类型的托槽，可以识别不同类型的附件，可以识别不同类型的软组织(例如，舌头、嘴唇、面颊等)等。iv)扫描成功确定和/或扫描质量排序—这可包括将质量值分配给单独的扫描、3d表面、3d模型等。高于阈值的质量值可以被确定为扫描成功。这还可包括将质量值分配给3d表面或3d模型的多个部分或区域。具有低于阈值的质量值的多个部分或区域可以被标记以用于重新扫描。v)处方生成—这可包括基于口内扫描、口内扫描的集合、从多个口内扫描中生成的3d表面、从多个口内扫描中生成的3d模型等来预测处方的参数。可以预测的处方参数的示例包括处方是用于正畸治疗还是修复性治疗、一个或多个待治疗的牙齿、要使用的口腔修复的类型、要用于口腔修复的颜色、要用于口腔修复的材料、要使用的实验室等。与处方生成相关联的不同类型的预测/分类中的每一个可以由单独的ml模型确定或者由被训
练以生成多个不同输出的ml模型来确定。例如，可以训练单独的ml模型以确定牙科实验室、牙科假体的类型、牙科假体的材料、牙科假体的颜色等。vi)案例类型分类—这可包括基于口内扫描、口内扫描的集合、从多个口内扫描中生成的3d表面、从多个口内扫描中生成的3d模型等来确定是否将针对患者执行正畸治疗和/或修复性治疗。vii)牙齿表面变化检测—这可包括确定医生在口内扫描之间是否对一个或多个牙齿点位做出了任何改变，例如通过打磨牙齿、添加牙科用线、移除牙科用线等，以及在扫描之间是否已经发生变化，诸如血液的积聚、血液的移除、唾液的积聚、唾液的移除等。可以基于一个或多个第一扫描或从所述一个或多个第一扫描和一个或多个第二扫描中生成的3d表面/3d模型或从所述一个或多个第二扫描生成的3d表面的输入来进行这样的确定。机器学习模型可以识别变化的区域和所做出的任何变化，并且可以确定利用来自一个或多个第二扫描的数据替换较早的3d表面/3d模型的哪些部分。viii)脏光学表面检测—这可包括基于一个或多个口内扫描将口内扫描仪或保护性套筒/附件分类为脏的。额外地，这可包括对扫描区域进行像素级分类，将其分类为脏的，和/或可包括确定扫描仪的哪些部分是脏的(例如，保护性套筒的窗口、扫描仪头的窗口、透镜、折叠镜等)。ix)扫描完成识别—这可包括基于口内扫描、口内扫描的集合和/或从多个口内扫描中生成的3d表面来确定上颌的扫描何时完成、下颌的扫描何时完成和/或咬合的扫描何时完成。这还可包括确定何时扫描整体完成。一旦完成了对段的扫描，处理逻辑就可以自动生成该段(例如，牙弓)的3d模型。一旦完成了所有段的扫描(例如，上牙弓、下牙弓和咬合)，处理逻辑可以自动执行后处理、执行咬合接触分析、执行诊断等。x)检测插入口腔/从口腔中撤回—这可包括基于一个或多个2d图像确定扫描仪是否在口腔中、扫描仪是否正被插入到口腔中和/或扫描仪是否正从口腔中撤回。xi)边缘线识别/标记—这可包括基于口内扫描、口内扫描的集合、从多个口内扫描中生成的3d表面、从多个口内扫描中生成的3d模型等，执行准备牙齿周围的边缘线的像素级识别/分类。这还可包括标记识别出的边缘线。边缘线识别和标记在美国专利号no.2021/0059796中描述。xii)牙齿编号分类—这可包括从3d表面数据中执行每一个牙齿的像素级识别/分类和/或组/片级(group/patch-level)识别/分类。可以使用一种或多种标准牙齿编号方案(诸如美国牙科协会(ada)牙齿编号)对牙齿进行分类。xiii)移动组织(多余组织)识别/移除—这可包括执行来自口内扫描的移动组织(例如，舌头、手指、嘴唇等)的像素级识别/分类，并且可选地从口内扫描中移除这样的移动组织。移动组织识别和移除在标题为“使用机器学习的多余材料去除”的美国公开号no.2020/0349698中描述，其通过引用并入在本文中。xiv)插入路径预测—这可包括基于3d表面、3d模型等预测牙科假体的插入路径。xv)多咬合检测—这可包括基于多个口内扫描(例如，每个描绘略微不同的咬合)和/或从口内扫描中生成的3d表面来识别多咬合情况的存在或不存在。xvi)凹版表面检测/使用—这可包括将口内扫描、口内扫描的集合、从多个口内扫描中生成的3d表面、从多个口内扫描中生成的3d模型等分类为描绘或不描绘印模或口腔修
复的凹版表面。这也可包括确定凹版表面和与凹版表面相关联的准备物之间的匹配。xvii)医生语音识别—这可包括基于医生的音频将语音识别为属于特定医生(例如，一组可能医生中的一个)。xviii)医生面部识别—这可包括基于医生的面部图像将面部识别为属于特定医生(例如，一组可能医生中的一个)。xix)运动模式识别—这可包括基于由扫描仪生成的运动数据将扫描仪的用户识别为特定医生(例如，一组可能医生中的一个)。xx)3d模型观察轨迹生成—这可包括从牙弓的3d模型(或3d模型的一个或多个投影)确定3d模型的观察轨迹。xxi)牙齿到牙龈的边界识别/标记—这可包括基于口内扫描、口内扫描的集合、从多个口内扫描中生成的3d表面、从多个口内扫描中生成的3d模型等来执行一个或多个牙齿周围的牙齿到牙龈的边界的像素级识别/分类。xxii)牙齿到牙齿(齿间区域)的边界识别/标记—这可包括基于口内扫描、口内扫描的集合、从多个口内扫描中生成的3d表面、从多个口内扫描中生成的3d模型等，针对牙齿之间的一个或多个齿间区域执行牙齿到牙齿的边界的像素级识别/分类。
344.注意，对于与口内扫描/3d表面/3d模型相关联的上述任务中的任何任务，尽管它们被描述为基于口内扫描、3d表面和/或3d模型的输入来执行，但是应该理解，这些任务也可以基于诸如彩色图像、niri图像等的2d图像来执行。这些任务中的任何一个都可以使用具有多个输入层或通道的ml模型来执行，其中第一层可包括口内扫描/3d表面(或3d表面的投影)/3d模型(或3d模型的投影)，第二层可包括2d彩色图像，第三层可包括2d niri图像等。在另一示例中，第一层或通道可包括第一3d扫描，第二层或通道可包括第二3d扫描等。
345.可用于执行上述要求中的一些或全部的一种类型的机器学习模型是人工神经网络，诸如深度神经网络。人工神经网络通常包括具有将特征映射到期望的输出空间的分类器或回归层的特征表示组件。例如，卷积神经网络(cnn)托管多层卷积滤波器。执行池化，并且可以在较低的层解决非线性，在较低层的顶部上通常额外多层感知器，从而将由卷积层提取的顶层特征映射到决策(例如，分类输出)。深度学习是一类机器学习算法，其使用级联的多层非线性处理单元来进行特征提取和变换。每一个后续层使用来自前一层的输出作为输入。深度神经网络可以以监督(例如，分类)和/或无监督(例如，模式分析)的方式学习。深度神经网络包括层的层次结构，其中不同的层学习与不同的抽象级别相对应的不同级别的表示。在深度学习中，每一个级别都学习将其输入数据变换成稍微更抽象和综合的表示。例如，在图像识别应用中，原始输入可以是像素矩阵；第一表示层可以提取像素并对边缘进行编码；第二层可以组成边缘的布置并对其进行编码；第三层可以编码较高级别的形状(例如，牙齿、嘴唇、牙龈等)；第四层可以识别扫描角色。值得注意的是，深度学习过程可以自行学习哪些特征将最佳地放置在哪个级别中。“深度学习”中的“深度”是指变换数据所经过的层数。更精确地说，深度学习系统具有很大的信用分配路径(cap)深度。cap是从输入到输出的变换链。cap描述了输入与输出之间的潜在因果关系。对于前馈神经网络，cap的深度可以是网络的深度，并且可以是隐藏层的数量加一。对于信号可能不止一次地传播通过层的循环神经网络，cap深度可能不受限。
346.在一个实施例中，将u-net架构用于一个或多个机器学习模型。u-net是一种类型
的深度神经网络，其将编码器和解码器组合在一起，并在它们之间进行适当的连接，以捕获局部特征和全局特征两者。编码器是一系列卷积层，这些卷积层在从输入到输出进行处理时增加了通道数量同时减小了高度和宽度，而解码器增大高度和宽度并减少通道数量。来自编码器的具有相同图像高度和宽度的层可以与来自解码器的输出连接。来自编码器和解码器的任何或所有卷积层都可以使用传统的或深度可分离的卷积。
347.在一个实施例中，一个或多个机器学习模型是递归神经网络(rnn)。rnn是一种类型的神经网络，其包括使神经网络能够捕获时间依赖性的存储器。rnn能够学习依赖于当前输入和过去输入两者的输入-输出映射。rnn将处理过去和未来的扫描，并基于该连续扫描信息进行预测。可以使用训练数据集训练rnn以生成固定数量的输出(例如，以将诸如视频数据的时变数据分类为属于固定数量的分类)。可以使用的一种类型的rnn是长短期记忆(lstm)神经网络。
348.用于这种任务的常见架构是lstm(长短期记忆)。不幸的是，lstm不太适合图像，因为它不能像卷积网络那样捕获空间信息。为此，可以利用convlstm
–
lstm的变型，其在lstm单元内包含卷积操作。convlstm是lstm(长短期记忆)的变型，在lstm单元内部包含卷积操作。convlstm在lstm单元中的每个门处利用卷积运算替换矩阵乘法。这样，它通过多维数据中的卷积操作来捕获底层的空间特征。convlstm与lstm的主要区域别在于输入维度的数量。由于lstm输入数据是一维的，因此不适用于诸如视频、卫星、雷达图像数据集等空间序列数据。convlstm被设计为3d数据作为其输入。在一个实施例中，使用cnn-lstm机器学习模型。cnn-lstm是cnn(卷积层)与lstm的集成。首先，模型的cnn部分处理数据，并且一维结果馈送给lstm模型。
349.在一个实施例中，使用称为mobilenet的一类机器学习模型。mobilenet是基于流线型架构的高效机器学习模型，其使用深度可分离卷积来建立轻量深度神经网络。mobilenet可以是卷积神经网络(cnn)，其可以在空间域和通道域两者中执行卷积。mobilenet可包括可分离的卷积模块的堆叠，这些模块由深度卷积和点卷积(conv 1x1)组成。可分离卷积在空间域和通道域中独立地执行卷积。卷积的这种分解可以显著将计算成本从hwnk2m降低到hwnk2(深度)加上hwnm(conv 1x1)(总共为hwn(k2+m))，其中n表示输入通道数量，k2表示卷积核的尺寸，m表示输出通道数量，hxw表示输出特征映射的空间尺寸。这可以减少conv 1x1的计算成本的瓶颈。
350.在一个实施例中，生成对抗网络(gan)用于一个或多个机器学习模型。gan是一类人工智能系统，它使用在零和游戏框架中相互竞争的两个人工神经网络。gan包括生成候选方的第一人工神经网络和评估生成的候选方的第二人工神经网络。gan包括生成候选的第一人工神经网络和评估生成的候选的第二人工神经网络。gan学习从潜在空间映射到感兴趣的特定数据分布(从照片到人眼无法区分的输入图像变化的数据分布)，而鉴别网络区分来自训练数据集的实例与生成器产生的候选。生成网络的训练目标是提高鉴别网络的误差率(例如，通过产生看似来自训练数据集的新合成实例来欺骗鉴别网络)。共同训练生成网络和鉴别网络，生成网络学习生成对于鉴别网络来说日益难以与真实图像(来自训练数据集)区分开的图像，而鉴别网络同时学习能够更好地区分合成图像与来自训练数据集的图像。gan的所述两个网络一旦达到平衡就被训练。gan可包括生成人工口内图像的生成器网络和分割人工口内图像的鉴别器网络。在实施例中，鉴别器网络可以是mobilenet。
351.在一个实施例中，一个或多个机器学习模型是条件生成对抗(cgan)网络，诸如pix2pix。这些网络不仅学习从输入图像到输出图像的映射，而且学习损失函数以训练该映射。gan是学习从随机噪声向量z到输出图像y的映射的生成模型，g：z
→
y。相反，条件gan学习从观察到的图像x和随机噪声向量z到y的映射：g：{x，z}
→
y。生成器g被训练为产生无法由经对抗训练的鉴别器d与“真实”图像区分开的输出，鉴别器d被训练为尽可能好地检测生成器的“假冒”。在实施例中，生成器可包括u-net或编码器-解码器架构。在实施例中，鉴别器可包括mobilenet架构。可以使用的cgan机器学习架构的示例是在isola、phillip等人的“使用条件对抗网络进行图像到图像的转换”arxiv preprint(2017年)中描述的pix2pix架构。
352.神经网络的训练可以以监督学习的方式实现，其涉及通过网络馈送由标记的输入组成的训练数据集，观察其输出，限定误差(通过测量输出与标记值之间的差)，以及使用诸如深度梯度下降和反向传播等技术来调整网络在其所有层和节点间的权重，以使误差最小化。在许多应用中，在训练数据集中的许多标记的输入间重复该过程产生网络，该网络在被提供与训练数据集中存在的输入不同的输入时，可以产生正确的输出。在诸如大图像等高维度设定中，当足够大且多样化的训练数据集可用时，实现这种归纳。
353.对于模型训练工作流程205，包含数百、数千、数万、数十万或更多口内扫描、图像和/或3d模型的训练数据集应该被用于形成训练数据集。在实施例中，经历了修复性程序和/或正畸程序的多达数百万个患者齿列案例可用于形成训练数据集，其中每种案例可包括一种或多种类型的有用信息的各种标签。每种情况可包括例如示出一个或多个牙齿点位的3d模型、口内扫描、高度图、彩色图像、niri图像等的数据、示出将数据(例如，3d模型、口内扫描、高度图、彩色图像、niri图像等)像素级分割成各种牙科分类(例如，牙齿、修复性对象、龈缘、移动组织、上颚等)的数据、示出数据的一个或多个指定分类(例如，扫描角色、在口中、不在口中、舌侧视图、颊侧视图、咬合视图、前视图、左视图、右视图等)的数据等。可以处理该数据以生成用于训练一个或多个机器学习模型的一个或多个训练数据集236。机器学习模型可以被训练，例如，以使传统上在口内扫描期间需要医生输入的一个或多个过程自动化，诸如输入扫描角色、输入指令以开始或停止扫描、识别在修改准备牙齿之后要更新3d表面或3d模型的哪些区域、生成正畸或修复性处方等过程。这样的经训练的机器学习模型可以被添加到口内扫描应用，并且可以被应用以显著地减少与口内扫描相关联的用户输入的水平和/或简化扫描过程。
354.在一个实施例中，生成一个或多个训练数据集236包括收集具有标签210的一个或多个口内扫描和/或具有标签212的一个或多个3d模型。所使用的标签可以取决于特定机器学习模型将被训练来做什么。例如，为了训练机器学习模型执行牙齿点位的分类(例如，牙齿点位分类器268)，训练数据集236可包括各种类型的牙齿点位的像素级标签。还可以生成训练数据集，其包括医生的语音数据、医生的面部图像和/或其它信息。
355.处理逻辑可以收集训练数据集236，该训练数据集包括具有一个或多个相关联标签(例如，映射(例如，概率图)形式的像素级标记的牙科分类、扫描角色的图像级标签等)的牙齿点位(例如，牙弓的)的2d或3d图像、口内扫描、3d表面、3d模型、高度图等。在实施例中，可以调整训练数据集236中的一个或多个图像、扫描、表面和/或模型以及可选地相关联的概率图的尺寸。例如，机器学习模型可用于具有某些像素尺寸范围的图像，并且如果一个或
多个图像落在那些像素尺寸范围之外，则可调整它们的尺寸。例如，可以使用诸如最近邻插值或盒采样的方法来调整图像的尺寸。训练数据集可以额外地或可替代地被增强。大规模神经网络的训练通常使用数万个图像，这些图像在许多现实世界应用中不容易获取。数据增强可用于人工地增加有效样本尺寸。常见的技术包括对现有图像进行随机旋转、移位、剪切、反转等以增加样本尺寸。
356.为了实现训练，处理逻辑将(多个)训练数据集236输入到一个或多个未经训练的机器学习模型中。在将第一输入到机器学习模型中之前，可以初始化机器学习模型。处理逻辑基于所述(多个)训练数据集来训练所述(多个)未经训练的机器学习模型，以生成执行如上所述的各种操作的一个或多个经训练的机器学习模型。
357.可以通过同时将一个或多个图像、扫描或3d表面(或来自图像、扫描或3d表面的数据)输入到机器学习模型中来执行训练。每一个输入可包括来自图像、口内扫描或来自训练数据集的训练数据项中的3d表面的数据。例如，训练数据项可包括高度图和相关联的概率图，其可以被输入到机器学习模型中。如上所述，训练数据项还可包括彩色图像、在特定照明条件(例如，uv或ir辐射)下生成的图像等。额外地，图像的像素可包括高度值或者可包括高度值和强度值两者。输入到机器学习模型中的数据可包括单个层(例如，仅来自单个图像的高度值)或多个层。如果使用多个层，则一个层可包括来自图像/扫描/表面的高度值，并且第二层可包括来自图像/扫描/表面的强度值。额外地或可替代地，额外的层可包括用于色彩值的三个层(例如，用于每一色彩通道的单独层，诸如r层、g层和b层)、用于来自在特定照明条件下生成的图像的像素信息的层等。在一些实施例中，来自多个图像/扫描/表面的数据被一起输入到机器学习模型中，其中多个图像/扫描/表面可以全部是相同的牙齿点位。例如，第一层可包括来自牙齿点位的第一扫描的高度值，第二层可包括来自牙齿点位的第二扫描的高度值，第三层可包括来自牙齿点位的扫描的高度值等。在一些实施例中，使用rnn。在这种实施例中，第二层可包括机器学习模型的先前输出(其由处理先前输入产生)。
358.机器学习模型处理输入以生成输出。人工神经网络包括由数据点中的值(例如，高度图中的像素的强度值和/或高度值)组成的输入层。下一层称为隐藏层，并且隐藏层处的节点分别接收一个或多个输入值。每个节点均包含应用于输入值的参数(例如，权重)。因此，每个节点本质上将输入值输入到多元函数(例如，非线性数学变换)中以产生输出值。下一层可以是另一个隐藏层或输出层。在任一情况下，下一层处的节点都会接收来自先前层处的节点的输出值，并且每一个节点分别将权重应用于那些值，并且随后生成其自己的输出值。这可以在每一层处执行。最后的层是输出层，其中对于机器学习模型可以产生的每一个类、预测和/或输出有一个节点。例如，对于正被训练以执行牙齿点位分类的人工神经网络，可能存在第一分类(多余材料)、第二分类(牙齿)、第三分类(牙龈)、第四分类(修复性对象)和/或一个或多个额外的牙科分类。此外，可以为图像中的每个像素确定该分类。此外，可以针对图像/扫描/表面中的每一个像素确定分类、预测等，可以针对整个图像/扫描/表面确定分类、预测等，或者可以针对图像/扫描/表面的每一个像素区域或像素组确定分类、预测等。对于像素级别分割，对于图像/扫描/表面中的每一个像素，最后层应用图像/扫描/表面的像素属于第一分类的概率、像素属于第二分类的概率、像素属于第三分类的概率和/或像素属于其它分类的一个或多个额外的概率。
359.因此，输出可包括一个或多个预测和/或一个或多个概率图。例如，对于输入图像/
扫描/表面中的每一个像素，输出概率图可包括该像素属于第一牙科分类的第一概率、该像素属于第二牙科分类的第二概率等。例如，概率图可包括属于表示牙齿、龈缘或修复性对象的牙科分类的像素的概率。在其它实施例中，不同的牙科分类可以表示不同类型的修复性对象。
360.处理逻辑随后可以将生成的概率图和/或其它输出与训练数据项中所包括的已知概率图和/或标签进行比较。处理逻辑基于输出概率图和/或(多个)标签与所提供的概率图和/或(多个)标签之间的差异来确定误差(即，分类误差)。处理逻辑基于该误差来调整机器学习模型中的一个或多个节点的权重。可以针对人工神经网络中的每一个节点确定误差项或增量。基于该误差，人工神经网络针对其节点中的一个或多个节点调整其参数中的一个或多个参数(针对节点的一个或多个输入的权重)。可以以反向传播的方式更新参数，使得首先更新最高层的节点，接着更新下一层的节点等。人工神经网络包含多层“神经元”，其中每个层接收来自先前层的神经元的值作为输入。每个神经元的参数包括与从先前层的每一个神经元接收的值相关联的权重。因此，调整参数可包括调整分配给人工神经网络中的一个或多个层处的一个或多个神经元的输入中的每一个的权重。
361.一旦模型参数已经被优化，则可以执行模型验证以确定模型是否已经改进并且确定深度学习模型的当前精度。在一轮或多轮训练之后，处理逻辑可以确定是否已经满足停止标准。停止标准可以是目标精度水平、来自训练数据集的处理图像的目标数量、一个或多个先前数据点上的参数的目标变化量、其组合和/或其它标准。在一个实施例中，当已经处理了至少最小数量的数据点并且达到至少阈值精度时，满足停止标准。阈值精度可以是例如70％、80％或90％精度。在一个实施例中，如果机器学习模型的精度已经停止改进，则满足停止标准。如果尚未满足停止标准，则执行进一步的训练。如果已经满足停止标准，则训练可以完成。一旦训练了机器学习模型，训练数据集的保留部分就可以用于测试该模型。
362.例如，在一个实施例中，机器学习模型(例如，牙齿点位分类器268)被训练为通过将那些口内图像的区域分类成一个或多个牙科分类来分割口内图像。可以执行类似的过程来训练机器学习模型以执行诸如如上所述的那些任务之类的其它任务。例如。可以收集具有标记的牙科分类的一组许多(例如，数千至数百万)3d模型和/或牙弓的口内扫描。在一个示例中，3d模型中的每一个点可包括具有表示天然牙齿的第一标签的第一值、表示修复性对象的第二标签的第二值和表示牙龈/龈缘的第三标签的第三值的标签。例如，三个值中的一个可以是1，并且另两个值可以是0。
363.牙齿点位分类器268可包括对3d数据进行操作的一个或多个机器学习模型，或者可包括对2d数据进行操作的一个或多个机器学习模型。如果牙齿点位分类器268包括对2d数据进行操作的机器学习模型，则对于具有标记的牙科分类的每一个3d模型，可以生成一组图像(例如，高度图)。可以通过将3d模型(或3d模型的一部分)投影到2d表面或平面上来生成每一个图像。在一些实施例中，可以通过将3d模型投影到不同的2d表面或平面上来生成3d模型的不同图像。例如，可以通过将3d模型投影到处于自顶向下视点的2d表面上来生成3d模型的第一图像，可以通过将3d模型投影到处于第一侧视点(例如，颊侧视点)的2d表面上来生成第二图像，可以通过将3d模型投影到处于第二侧视点(例如，舌侧视点)的2d表面上来生成第三图像等。每一个图像可包括高度图，该高度图包括与图像的每一个像素相关联的深度值。对于每一个图像，概率图或掩模可以基于3d模型中的标记的牙科分类和3d
模型被投影到其上的2d表面来生成。概率图或掩模可以具有等于所生成图像的像素尺寸的尺寸。概率图或掩模中的每一个点或像素可包括指示该点表示一个或多个牙科分类的概率的概率值。例如，可以存在四个牙科分类，包括表示多余材料的第一牙科分类、表示牙齿的第二牙科分类、表示牙龈的第三牙科分类以及表示修复性对象的第四牙科分类。例如，具有第一牙科分类的点可以具有值(1，0，0，0)(第一牙科分类的100％概率以及第二、第三和第四牙科分类的0％概率)，具有第二牙科分类的点可以具有值(0，1，0，0)，具有第三牙科分类的点可以具有值(0，0，1，0)，以及具有第四牙科分类的点可以具有值(0，0，0，1)。如果机器学习模型被训练为执行与像素级分类/分割相对的图像级分类/预测，则与具有像素级值的示意图相反，单个值或标签可以与生成的图像相关联。
364.可以收集训练数据集，其中训练数据集中的每一个数据项可包括图像(例如，包括高度图的图像)或3d表面和相关联的概率图(如果与图像相关联，则可以是2d示意图，或者如果与3d表面相关联，则可以是3d示意图)和/或其它标签。额外数据也可被包括在训练数据项中。分割的精度可以通过额外的类、输入和多个视图支持来提高。多个信息源可以被并入模型输入中，并且被联合地用于预测。可以从单个模型或使用多个模型同时预测多个牙科分类。可以同时解决多个问题：角色分类、牙齿/牙龈/修复性对象分割、视图确定等。精度高于传统的图像和信号处理方案。
365.额外的数据可包括彩色图像数据。例如，对于每一个口内扫描或图像(其可以是单色的)，也可以存在相应的彩色图像。每个数据项可包括扫描(例如，高度图)以及彩色图像。两种不同类型的彩色图像是可用的。一种类型的彩色图像是取景器图像，而另一种类型的彩色图像是扫描纹理。扫描纹理可以是多个不同取景器图像的组合或混合。每一个口内扫描可以与大约在生成口内图像的同时生成的相应取景器图像相关联。如果使用混合扫描，则每一个扫描纹理可以基于与用于产生特定混合扫描的原始扫描相关联的取景器图像的组合。
366.默认方法可以仅基于深度信息，并且仍然允许区分若干牙科分类，诸如牙齿、牙龈、多余材料(例如，移动组织)、修复性对象等。然而，有时深度信息对于良好的精度是不够的。例如，部分扫描的牙齿可能看起来像牙龈或者甚至是单色的多余材料。在这种情况下，颜色信息可以有所帮助。在一个实施例中，颜色信息被用作额外的3层(例如，rgb)，从而得到网络的4层输入。可以使用两种类型的颜色信息，其可包括取景器图像和扫描纹理。取景器图像具有更好的质量，但是需要相对于高度图进行对准。扫描纹理与高度图对准，但可能具有彩色伪像(color artifacts)。
367.另一种类型的额外数据可包括在特定照明条件下生成的图像(例如，在紫外或红外照明条件下生成的图像)。额外数据可以是2d或3d图像，并且可包括或不包括高度图。
368.在一些实施例中，数据点的集合与相同的牙齿点位相关联，并且被依次标记。在一些实施例中，使用递归神经网络，并且在训练期间以升序将数据点输入到机器学习模型中。
369.在一些实施例中，每一个图像或扫描包括图像中的每一个像素的两个值，其中第一值表示高度(例如，提供高度图)，并且其中第二值表示强度。高度值和强度值两者均可以用于训练机器学习模型。
370.在一个示例中，共焦口内扫描仪可以基于口内扫描仪的焦点设定来确定表面上的
点的高度(其由口内图像的像素捕获)，该焦点设定产生表面上的该点的最大强度。焦点设定提供了该点的高度或深度值。通常丢弃强度值(称为等级)。然而，与高度或深度值相关联的强度值(等级)可以被保持，并且可以被包括在被提供给机器学习模型的输入数据中。
371.一旦生成一个或多个经训练的ml模型238，它们就可以存储在模型存储器245中，并且可以添加到口内扫描应用(例如，口内扫描应用115)。口内扫描应用115随后可以使用所述一个或多个经训练的ml模型238以及额外的处理逻辑来实现“智能扫描”模式，其中在一些情况下用户手动输入信息被最小化或者甚至被消除。
372.在一个实施例中，模型应用工作流程217包括一个或多个经训练的机器学习模型，其用作牙齿点位分类器268、扫描完成识别器267和角色识别器264。在实施例中，这些逻辑可以被实现为单独的机器学习模型或单个组合的机器学习模型。例如，角色识别器264、扫描完成识别器267和牙齿点位分类器268可以共享深度神经网络的一个或多个层。然而，这些逻辑中的每一个可包括被训练以生成不同类型输出的深度神经网络的不同的更高级别的层。为了方便起见，所示示例仅示出了在以上任务列表中阐述的一些功能。然而，应该理解，任何其它任务也可以被添加到模型应用工作流程217。
373.对于模型应用工作流程217，根据一个实施例，口内扫描仪生成口内扫描248的序列。3d表面生成器255可以在这些口内扫描之间执行配准，将口内扫描拼接在一起，并且从口内扫描中生成3d表面260。当生成进一步的口内扫描时，这些可以被配准并拼接到3d表面260，从而增加3d表面260的尺寸和3d表面260的数据量。输入数据262可包括口内扫描248中的一个或多个和/或生成的3d表面260。
374.输入数据262可被输入到牙齿点位分类器268中，该牙齿点位分类器可包括经训练的神经网络。基于输入数据262，牙齿点位分类器268输出关于牙齿点位分类270的信息，其可以是输入数据的点级(例如，像素级)分类。这可包括输出每一个像素的分类概率集和/或每一个像素的单个分类。输出的牙齿点位分类270可以是，例如，分类和/或分类概率的掩模或映射。在一个实施例中，牙齿点位分类器268针对每一个像素识别其是否表示牙齿、龈缘或修复性对象。如果像素低于牙齿、龈缘或修复性对象的概率阈值，则牙齿点位分类器268可以另外将像素分类为“其它”。在一个实施例中，牙齿点位分类器268另外对表示移动组织(多余组织)、上颚、准备牙齿、除准备牙齿之外的修复性对象、植入物、托槽、牙齿附件、舌头、软组织等的像素进行分类。可以训练牙齿点位分类器268以对所描述类型的牙科分类中任何一个或多个进行分类。在一些实施例中，可以识别不同类型的修复性对象，可以识别不同类型的植入物，可以识别不同类型的托槽，可以识别不同类型的附件，可以识别不同类型的软组织(例如，舌头、嘴唇、面颊等)等。
375.当已经生成了单个口内扫描248时，用于牙齿点位分类器268的输入数据262可包括该单个扫描。一旦生成了多个扫描248，用于牙齿点位分类器268的输入数据262就可包括多个扫描。基于多个扫描的分类可能比基于单个扫描的分类更精确。一旦已经生成了3d表面260，牙齿点位分类器268的输入数据262就可以包括3d表面(例如，3d表面到一个或多个平面上的一个或多个投影)，这可以产生更精确的分割。
376.输入数据262可以被输入到角色识别器264中，其可包括经训练的神经网络。基于输入数据262，角色识别器264输出与输入数据262相关联的扫描角色266的分类。例如，角色识别器264可以将输入数据262分类为与上颌角色、下颌角色或咬合角色相关联。当已经生
成单个口内扫描248时，角色识别器264的输入数据262就可包括该单个扫描。一旦已经生成了多个扫描248，角色识别器264的输入数据262就可包括所述多个扫描。基于多个扫描的分类可能比基于单个扫描的分类更精确。一旦已经生成了3d表面260，角色识别器264的输入数据262就可包括3d表面或3d表面到平面上的多个投影，这可以产生更精确的角色分类。
377.可选地，分割信息(例如，像素级牙齿点位分类270)可以作为额外层输入到角色识别器264中。这可以提高角色识别器264的精度。例如，像素级牙齿点位分类270可包括关于被分类为上颚的像素或点以及被分类为舌头的像素或点的信息。通常，具有上颚分类的至少阈值数量的像素/点的扫描是上牙弓的扫描。类似地，具有至少阈值数量的具有舌头分类的像素/点的扫描通常是下牙弓的扫描。因此，牙齿点位分类信息可以有助于提高角色识别器的精度。
378.在一个实施例中，如果第一三维表面或口内扫描中的至少第一阈值数量的点描绘舌头，则检测到下牙弓。第一阈值数量可以是例如扫描、扫描集或3d表面中的像素/点的总数量的2％、5％、10％、15％、20％、25％、30％、35％或某个其它百分比。在一个实施例中，如果第一三维表面或口内扫描中的至少第二阈值数量的点描绘上颚，则检测到上牙弓。第二阈值数量可以是例如扫描、扫描集或3d表面中的像素/点的总数量的2％、5％、10％、15％、20％、25％、30％、35％或某个其它百分比。在一个实施例中，如果第一三维表面或口内扫描中的至少第三阈值数量的点描绘来自下牙弓的牙齿并且第一三维表面或口内扫描中的至少第三阈值数量的点描绘上牙弓，则检测到咬合。第三阈值数量可以是例如扫描、扫描集或3d表面中的像素/点的总数量的2％、5％、10％、15％、20％、25％、30％、35％或某个其它百分比。
379.角色识别器264还可包括基于经训练的ml模型的输出执行一个或多个操作的逻辑。例如，经训练的ml模型可以处理每一个口内扫描248以确定该扫描的角色分类。角色识别器264的额外逻辑随后可以确定针对口内扫描的窗口的ml模型的输出的移动中间值或移动平均值，并且基于移动中间值或平均值来确定角色分类。
380.输入数据262可以被输入到扫描完成识别器267中，该扫描完成识别器可包括经训练的神经网络。基于输入数据262，扫描完成识别器267可以输出关于特定区域段(例如，上牙弓或下牙弓)的扫描是否完成的预测，称为完成数据269。扫描完成识别器267可以另外确定是否完成所有段的扫描。可选地，扫描完成识别器267可以接收由角色识别器264输出的角色分类数据266作为额外的输入层。角色分类信息266可以提高确定一个段和/或所有段的完成的精度。例如，当角色从上颌角色变为下颌角色时，这可以增加上颌段完成的概率。类似地，当角色从下颌角色变为上颌角色时，这可以增加下颌段完成的可能性。额外地，当角色从上颌角色或下颌角色变为咬合角色时，该信息可以指示上段和下段有可能完成。
381.当完成对段(例如，上牙弓或下牙弓)的扫描时，3d模型生成器276根据输入数据262执行口内扫描248的更精确的配准和拼接，以生成完成区域段的3d模型278。在实施例中，3d模型生成器276响应于接收到指示对段的扫描完成的完成数据269而自动生成段的3d模型。3d模型生成器276可以另外从角色识别器264接收角色分类信息266，并且可以基于角色分类信息266自动适当地标记生成的3d模型(例如，作为上牙弓或下牙弓)，3d模型生成器276可以另外从牙齿点位分类器268接收牙齿点位分类信息270，并且可以可选地将牙齿点位分类应用于生成的3d模型。例如，3d模型生成器276可以在3d模型中标记牙齿、龈缘、准备
牙齿和其它修复性对象、托槽、牙齿附件等。
382.一旦完成了上牙弓和下牙弓的3d模型，并且完成了咬合角色的扫描，后处理器283就可以自动执行一个或多个后处理操作。这可包括生成咬合图、分析上牙弓与下牙弓之间的咬合接触、确定准备牙齿的边缘线、确定边缘线的质量等。也可以执行许多其它后处理操作。
383.处方生成器272可以自动开始针对患者的处方274并且填写针对处方274的一些或全部信息。处方生成器272可以接收输入数据262和/或3d模型，并且可以基于将输入数据262和/或3d模型输入到被训练为基于过去患者的齿列来识别过去患者的机器学习模型中来确定患者的身份，和/或可以将输入数据262和/或3d模型与已知患者的存储的3d模型进行比较。如果所述经训练的ml模型输出对特定患者的识别，或者如果在输入数据与患者牙弓的存储的3d模型的一部分之间存在匹配，则处方生成器272可以确定与输入数据262和/或3d模型相关联的患者的身份，并且可以基于存储的关于识别出患者的信息来填写处方274中的一个或多个患者细节。这样的信息可包括患者姓名、性别、年龄、过敏等。
384.处方生成器272可以另外接收输入数据262中的关于牙科分类270的信息和/或可以接收患者牙弓的一个或多个3d模型。3d模型可包括牙科分类的点级标签。牙科分类可包括诸如天然牙齿的识别、一个或多个修复性对象(例如，准备牙齿)的识别、龈缘的识别等信息。
385.处方生成器272可以基于输入数据262、牙科分类信息270和/或(多个)3d模型278自动预测患者是否需要正畸治疗和/或修复性治疗。处方生成器272可包括与特定牙科诊所相关联的信息，在该牙科诊所执行模型应用工作流程217。这种信息可包括关于已经在牙科诊所执行的多个修复性治疗和/或已经在牙科诊所执行的多个正畸治疗的历史信息。如果仅执行了修复性治疗，则处方生成器272可以自动确定将执行修复性治疗，并且可以开始修复性工作流程。如果仅执行了正畸治疗，则处方生成器272可以自动确定将执行正畸治疗，并且开始正畸工作流程。如果牙科诊所执行修复性治疗和正畸治疗两者，则处方生成器272可以使用输入数据262、牙科分类270和/或(多个)3d模型278来确定要执行正畸治疗还是修复性治疗。在一个实施例中，如果没有识别修复性对象并且一个或多个其它提示指示要执行正畸治疗(例如，诸如检测到错位咬合)，则处方生成器272可以确定要执行正畸治疗，并且开始正畸工作流程。在一些实施例中，如果没有检测到修复性对象，则处理逻辑可以确定输入数据(例如，来自扫描会话)来自患者安排访问(例如，检查)。例如，可以基于将与输入数据相关联的当前日期与一个或多个先前生成的3d模型的日期进行比较来做出这种确定。如果日期指示扫描会话的某个周期性或规律定时，则处理逻辑可以确定当前输入数据与计划的患者访问相关联，并且不一定与正畸治疗或修复性治疗相关联。额外地，如果在没有修复性对象的情况下生成第一3d模型，并且随后在同一天生成具有一个或多个修复性对象的第二3d模型或3d表面，则处理逻辑可以确定第一3d模型是治疗前3d模型。在一些实施例中，如果没有检测到修复性对象，则处理逻辑可以确定要执行除正畸工作流程或修复性工作流程之外的一些医学治疗工作流程。在一个实施例中，如果识别出一个或多个修复性对象，则处方生成器272可以确定要执行修复性治疗，并且可以开始修复性工作流程。
386.处方生成器272可以基于输入数据262、牙科分类数据270和/或3d模型278来识别与修复性对象相关联的牙齿编号(例如，可选地根据美国牙科协会(ada)牙齿编号系统)。在
一个实施例中，处方生成器272包括经训练的机器学习模型，该模型已被训练以确定与修复性对象相关联的牙齿编号。随后，处方274可以被填写关于哪些牙齿要将接受口腔修复的信息。
387.处方生成器272可包括经训练的机器学习模型，该模型已经被训练以确定待应用于每一个修复性对象的牙科假体的类型。机器学习模型可以已经使用训练数据进行训练，该训练数据包括具有修复性对象的牙弓的扫描、图像、3d模型、3d表面等以及指示什么类型的牙科假体被应用于那些修复性对象的标签。输入数据262、牙科分类270和/或(多个)3d模型278可以被输入到所述经训练的ml模型中，其可以针对每一个修复性对象输出待应用于该修复性对象的牙科假体的类型的预测。可以用对具有修复性对象的每一个牙齿编号使用什么牙科假体的指示来自动填写处方274。
388.处方生成器272可包括经训练的机器学习模型，该模型已经被训练以确定要用于处方274中包括的每一个牙科假体的材料类型。机器学习模型可以已经使用训练数据进行训练，该训练数据包括具有修复性对象的牙弓的扫描、图像、3d模型、3d表面等以及指示什么类型的材料用于应用于那些修复性对象的牙科假体的标签。输入数据262、牙科分类270和/或(多个)3d模型278可以被输入到所述经训练的ml模型中，其可以针对每一个修复性对象输出对要应用于该修复性对象的牙科假体所使用的材料类型的预测。处方274可以自动填写包括在处方274中的每一个牙科假体使用什么材料的指示。
389.处方生成器272可包括经训练的机器学习模型，该模型已经被训练以确定包括在处方274中的用于制造每一个牙科假体的实验室。机器学习模型可以已经使用训练数据进行训练，该训练数据包括具有修复性对象的牙弓的扫描、图像、3d模型、3d表面等以及指示使用什么实验室来制造应用于那些修复性对象的牙科假体的标签。输入数据262、牙科分类270和/或(多个)3d模型278可以被输入到所述经训练的ml模型中，其可以针对每一个修复性对象输出牙科实验室的预测以用于待应用于该修复性对象的牙科假体。处方274可以自动填写对于处方274中包括的每一个牙科假体要使用什么实验室的指示。
390.在实施例中，以上识别出的处方生成器272的ml模型中的一个或多个可以被组合成单个经训练的ml模型(例如，单个深度神经网络)。
391.在模型应用工作流程217的一些实施方式中，脏扫描仪确定器280自动检测扫描仪的一个或多个脏光学表面。脏扫描仪确定器280可以使用或不使用经训练的ml模型来检测脏光学表面。在一个实施例中，脏扫描仪确定器280包括经训练的ml模型，该模型已被训练为接收输入数据262(例如，口内扫描和/或彩色图像)并输出脏光学表面或清洁光学表面的分类。在一个实施例中，所述经训练的ml模型输出扫描仪的视场(fov)的清洁区域和脏区域的像素级分类。
392.代替使用ml模型来识别光学表面的脏区域，或者除了使用ml模型来识别光学表面的脏区域之外，脏扫描仪确定器280可以使用图像处理技术来识别光学表面的脏区域。在一个实施例中，脏扫描仪确定器280基于来自口内扫描的深度信息来确定光学表面的脏区域。如果光学表面的区域被尘垢、灰尘、血液等污损，则与该区域相关联的像素的检测到的深度通常将比不与脏区域相关联的像素的深度小得多。可以将检测到的深度(或高度)与一个或多个深度阈值(或一个或多个高度阈值)进行比较，并且可以检测脏区域的处于或低于所述
一个或多个深度阈值(或处于或高于一个或多个高度阈值)的深度。
393.脏扫描仪确定器280可以确定脏区域的尺寸和/或脏的光学表面的百分比。如果检测到脏区域具有超过尺寸阈值的尺寸和/或脏的光学表面的百分比超过阈值，则脏扫描仪确定器280可以确定扫描仪(或扫描仪上的套筒或附件)是脏的。例如，脏扫描仪确定器280可以输出扫描仪清洁度信息282。如果扫描仪清洁度信息282是脏扫描仪的，则脏扫描仪确定器280可以输出替换扫描仪上的套筒或附件或清洁扫描仪的通知。可替代地或额外地，处理逻辑可以输出脏的光学表面(例如，套筒的窗口)的量或百分比的指示。一旦光学表面的阈值量是脏的，该指示就可以出现，并且可以随着光学表面变得更脏和/或更清洁而进行更新。在一些实施例中，使用不同的脏度阈值。如果被遮挡的像素的量超过第一脏度阈值，则可以输出通知。如果被遮挡的像素的量超过第二个、更大的脏度阈值，则扫描可以自动暂停和/或可以阻止使用脏扫描仪的口内扫描生成的处方274发送到牙科实验室。
394.在实施例中，脏扫描仪确定器280可以确定哪个或哪些光学表面是脏的。脏扫描仪确定器280可以根据哪些表面是脏的来输出不同的通知。例如，如果套筒的窗口是脏的，则脏扫描仪确定器280可以输出更换套筒的通知。然而，如果扫描仪的窗口或镜子是脏的，则脏扫描仪确定器280可以输出清洁窗口或镜子的通知。
395.图2b示出了根据本公开一个实施例的示例口内扫描工作流程284。口内扫描工作流程284可以例如由图1的系统100执行。示例口内扫描工作流程284开始于医生打开口内扫描仪并将口内扫描仪插入到患者口腔中(框285)。处理逻辑(例如，在扫描仪150和/或计算装置105上执行)随后自动检测扫描仪何时插入到患者口腔中(框286)。在一个实施例中，扫描仪在其被打开时开始生成周期性图像(例如，彩色2d图像)，并且这些图像被输入到已被训练以检测对口腔内的插入的经训练的ml模型中。处理逻辑可以检测到扫描仪响应于ml模型输出一个或多个图像描绘口腔中的对象的指示而被输入到患者口腔中。在框287处，处理逻辑自动开始生成口内扫描。这还可包括如果扫描仪使用结构化光来确定用于扫描的深度信息，则自动输出结构化光。
396.在框288处，处理逻辑自动确定与一个或多个生成的口内扫描相关联的第一牙弓(例如，上牙弓或下牙弓)。在一个实施例中，口内扫描被输入到被训练以确定与扫描相关联的扫描角色的经训练的ml模型中。处理逻辑可以响应于ml模型输出一个或多个扫描描绘第一牙弓的指示而检测扫描仪正在扫描第一牙弓。在框289处，处理逻辑通过将牙弓的扫描配准和拼接在一起来自动生成第一牙弓的第一3d表面。当额外的扫描被接收并被分类为第一牙弓的扫描时，这些扫描可以被拼接到第一3d表面。3d表面或3d表面的一个或多个视图或部分可以被输入到所述经训练的ml模型或被训练以确定与3d表面相关联的扫描角色的另一个经训练的ml模型中。处理逻辑可以响应于ml模型输出3d表面是第一牙弓的指示而确认扫描仪正在扫描第一牙弓。可替代地，如果ml模型确定3d表面是第二牙弓的，则第一牙弓的分类可以变为用于3d表面的第二牙弓以及用于生成3d表面的相关联的口内扫描的分类。
397.当医生继续扫描患者口腔时，最终医生将完成扫描第一牙弓，并将开始扫描第二牙弓(例如，将从扫描上牙弓切换到扫描下牙弓，或从扫描下牙弓切换到扫描上牙弓)。在框290处，处理逻辑自动检测从扫描第一牙弓到第二牙弓的切换，并且确定一个或多个最近的口内扫描是第二牙弓的。在一个实施例中，口内扫描被输入到经训练的ml模型，该模型被训练以确定与该扫描相关联的扫描角色。处理逻辑可以响应于ml模型输出一个或多个扫描描
绘第二牙弓的指示而检测扫描仪正在扫描第二牙弓(并且已从第一牙弓的扫描切换到第二牙弓的扫描)。在框290处，处理逻辑通过将第二牙弓的扫描配准和拼接在一起来自动生成第二牙弓的第二3d表面。当额外的扫描被接收并被分类为第二牙弓的扫描时，这些扫描可以被拼接到第二3d表面。第二3d表面或第二3d表面的一个或多个视图或部分可以被输入到所述经训练的ml模型或被训练以确定与3d表面相关联的扫描角色的另一个经训练的ml模型中。处理逻辑可以响应于ml模型输出3d表面是第二牙弓的指示而确认扫描仪正在扫描第二牙弓。可替代地，如果ml模型确定3d表面是第一牙弓的，则第二牙弓的分类可以变为用于第二3d表面的第一牙弓以及用于生成第二3d表面的相关联的口内扫描的分类。
398.一旦医生完成扫描第一牙弓和第二牙弓(例如，患者的上牙弓和下牙弓)，医生就可以过渡到对患者咬合的扫描。医生可以指示患者闭合他们嘴，并且可以生成闭合嘴的一个或多个扫描，以示出上牙弓与下牙弓的关系。在框292处，处理逻辑自动检测从扫描第二牙弓到扫描咬合的切换，并且确定一个或多个最近的口内扫描是患者咬合的(咬合角色)。在一个实施例中，将(多个)口内扫描输入到经训练的ml模型中，该模型被训练以确定与扫描相关联的扫描角色。处理逻辑可以响应于ml模型输出一个或多个扫描描绘患者咬合的指示而检测扫描仪正在扫描患者咬合(并且已经从第二牙弓的扫描切换到咬合的扫描)。
399.在框292处，处理逻辑基于患者咬合的一个或多个扫描自动确定第一3d表面相对于第二3d表面的相对位置和方向。在框294处，处理逻辑可以自动生成第一牙弓(例如，上牙弓)的3d模型和第二牙弓(例如，下牙弓)的3d模型。可替代地，如果在该阶段可以确定整个第一牙弓在第一3d表面中完成，则在框290之后可以自动生成第一牙弓的3d模型。额外地，如果在该阶段可以确定整个第二牙弓在第二3d表面中完成，则在框292之后可以自动生成第二牙弓的3d模型。
400.在框295处，处理逻辑自动执行第一和/或第二3d模型的一个或多个后处理操作。这可包括例如自动确定第一和第二牙弓中的牙齿的咬合间隙信息，以及执行咬合间隙分析以确定在上牙弓和下牙弓的牙齿之间是否存在任何问题接触点。
401.在框296处，处理逻辑自动生成第一和/或第二牙弓的审阅轨迹。这可包括确定第一和/或第二牙弓的视图的序列以及视图之间的过渡。该轨迹可包括旋转3d模型、平移3d模型、放大或缩小3d模型的某些区域(例如，对于潜在问题区域，诸如从咬合间隙分析识别的区域)等。轨迹可以基于医生对牙弓的3d模型的历史审阅而自动确定。在一个实施例中，所述一个或多个3d模型被输入到经训练的ml模型中，该模型已被训练以基于3d表面/3d模型的输入生成3d表面/3d模型的审阅轨迹。在框297处，处理逻辑根据自动确定的审阅轨迹自动显示第一和/或第二3d模型。在3d模型的显示期间的任何时间，医生可以指示处理逻辑暂停轨迹、倒回轨迹、加速轨迹、减慢轨迹等。医生还可以取消自动确定的审阅轨迹，并在任何时间手动操纵第一和/或第二3d模型的视图。
402.图3、图7-图11、图14a-图18、图20-图31、图35-图38和图41是示出了可以被执行以实现“智能扫描”的各种方法的流程图，该“智能扫描”减少了用户输入的量并且精简扫描过程。方法可以由处理逻辑执行，该处理逻辑可包括硬件(例如，电路、专用逻辑、可编程逻辑、微代码等)、软件(例如，在处理装置上运行以执行硬件模拟的指令)、固件或其组合。在一个实施例中，方法的至少一些操作由扫描系统的计算装置和/或由服务器计算装置(例如，由图1的计算装置105或图42的计算装置4200)执行。
403.图3是示出了训练机器学习模型以识别扫描角色的方法300的实施例的流程图。在方法300的框302，处理逻辑收集训练数据集，该训练数据集可包括牙齿点位的口内扫描(例如，高度图)、牙齿点位的3d表面、牙齿点位的2d图像和/或牙齿点位的3d表面的投影。训练数据集的每一个数据项(例如，口内扫描、图像、3d表面等)可包括一个或多个标签。训练数据集中的数据项可包括指示扫描角色的图像级标签。例如，一些口内扫描可包括下牙弓的标签，一些口内扫描可包括上牙弓的标签，并且一些口内扫描可包括咬合的标签。训练数据集中的数据项还可包括其它标签，诸如牙科分类的像素级分类，诸如牙齿、龈缘、修复性对象等。参照图9更详细地描述了训练ml模型以执行牙科分类的像素级分类。数据项还可包括其它标签，诸如舌侧视图、颊侧视图、牙弓左侧、牙弓右侧、咬合视图等的标签。如上所述，多个其它类型的标签也可以与训练数据集中的数据项相关联。
404.在框304处，来自训练数据集的数据项被输入到未经训练的机器学习模型中。在框306处，基于训练数据集来训练机器学习模型以生成经训练的机器学习模型，该经训练的机器学习模型将来自口内扫描、图像和/或3d表面(或3d表面的投影)的扫描角色进行分类。机器学习模型还可被训练为输出一个或多个其它类型的预测、图像级分类、像素级分类、片级分类(其中片是一组像素)、决策等。例如，机器学习模型还可以被训练为执行口内扫描、图像、3d表面等到牙科分类的像素级分类。
405.在一个实施例中，在框310处，训练数据项的输入被输入到机器学习模型中。输入可包括来自口内扫描(例如，高度图)、3d表面、2d图像和/或3d表面的投影的数据。在框312处，机器学习模型处理该输入以生成输出。该输出可包括输入属于上牙弓角色的第一概率、输入属于下牙弓角色的第二概率以及输入属于咬合角色的第三概率。输出可以另外包括输入包含修复性对象的描绘的概率。该输出可以另外包括将将像素级分类输入到牙科分类中。
406.在框314处，处理逻辑将上牙弓角色、下牙弓角色和咬合角色的输出概率与和与输入相关联的角色进行比较。在框316处，处理逻辑基于输出扫描角色概率和与输入相关联的角色的标签之间的差异来确定误差。在框318处，处理逻辑基于该误差来调整机器学习模型中的一个或多个节点的权重。
407.额外地，在框314处，处理逻辑可以将其它预测、分类等的输出概率和与输入相关联的一个或多个其它标签进行比较。在框316处，处理逻辑可以确定每个比较的误差。在框318处，处理逻辑可以基于这些误差来调整机器学习模型中的一个或多个节点的权重。因此，机器学习模型可被训练为执行扫描角色分类以及牙科对象分割和/或一个或多个其它分类、预测和/或分割操作。
408.在框320处，处理逻辑确定是否满足停止标准。如果不满足停止标准，则该方法返回到框310，并且将另一个训练数据项输入到机器学习模型中。如果满足停止标准，则该方法进行到框325，并且机器学习模型的训练完成。
409.在一个实施例中，多个不同的ml模型被训练以执行扫描角色分类。每个ml模型可被训练为执行对不同类型输入数据的扫描角色分类。例如，第一ml模型可被训练以对口内扫描执行扫描角色分类，第二ml模型可被训练以对从多个口内扫描中生成的相对小的3d表面或这样的3d表面到平面上的投影执行扫描角色分类，并且第三ml模型可被训练以从由大量扫描生成的相对大的3d表面或这样的3d表面到一个或多个平面上的投影(例如，整个牙
弓的3d表面到可以是水平面的咬合平面上的投影)中执行扫描角色分类。第一ml模型可以几乎在扫描生成之后立即确定口内扫描的扫描角色，但是没有高精度。当生成进一步的口内扫描时，第二ml模型可以以更高的精度确定多个扫描的扫描角色(例如，通过将多个扫描拼接在一起而生成的3d表面)。当生成更进一步的扫描时，第三ml模型可以以更高的精度确定3d表面的扫描角色。在一个实施例中，单个ml模型被训练以执行上面讨论的第一、第二和第三ml模型的操作。
410.图4示出了示例口内扫描402、404、406，其可以用于训练机器学习模型以确定扫描角色和/或可以被输入到经训练的ml模型中以便所述经训练的ml模型对口内扫描的扫描角色进行分类。当生成各个高度图和/或扫描时使用这些高度图(或其它口内扫描)来确定扫描角色的解决方案可以提供扫描角色的实时或近实时确定。口内扫描402、404、406可以是离散的或原始的口内扫描，或者可以是混合口内扫描。在一个实施例中，口内扫描402、404、406是混合口内扫描。与使用原始口内扫描相比，使用混合口内扫描来确定扫描期间的扫描角色可以减少计算资源使用。由于扫描仪的视场(fov)，单独的口内扫描是小的，并且是有噪声的，这使得从口内扫描中对扫描角色进行精确分类具有挑战性。
411.图5示出了3d表面500、505、510的示例投影(称为多颌视图，由于它们组合来自多个口内扫描的数据并且将该数据投影到多个平面上以生成一组视图(例如，高度图))，该视图可以用于训练机器学习模型以确定扫描角色和/或可以输入到经训练的ml模型中以便所述经训练的ml模型对3d表面(以及用于生成3d表面的相关联的口内扫描)的扫描角色进行分类。在实施例中，3d表面可以被投影到多个平面上以生成具有高度信息(例如，高度图)的投影，该高度信息包含与多个口内扫描相关联的信息。处理逻辑可以使用来自不同方向的颌的一组投影，该投影在从部分拼接的3d表面的扫描期间是可用的。例如，多个投影可以被输入到经训练的神经网络的不同输入层或通道中。这样的投影比单独的高度图或口内扫描(接近咬合视图丰富度)给出更多信息，并且同时从接近扫描的最开始就可以实时或接近实时地获得。这种方案给出高精度以及实时特性。
412.图6示出了颌的示例咬合视图600，其可用于训练机器学习模型以确定扫描角色和/或可被输入到经训练的ml模型中以便所述经训练的ml模型对颌的扫描角色(以及用于生成颌的3d表面的相关联的口内扫描)进行分类。使用咬合视图来确定角色是最精确的解决方案，由于颌的咬合视图通常具有良好的质量并且具有提供容易分类的许多特征。另一方面，颌的咬合视图仅在已经发生一些扫描之后才可用，因此不能用于实时解决方案。然而，咬合视图600的使用可以是对不太精确的解决方案(如从单独的高度图中确定的扫描角色)的额外检查，其提高了预测的整体精度。
413.图7是示出自动确定口内扫描的扫描角色的方法700的实施例的流程图。在方法700的框702处，处理逻辑接收患者口腔的一个或多个口内扫描(例如，高度图)和/或2d图像(例如，彩色图像、niri图像等)。在一个实施例中，接收一个或多个口内扫描的序列，其中口内扫描的序列在时间上彼此接近地生成并且形成组。甚至在单个牙弓的扫描期间，可以生成多组口内扫描。一组口内扫描可以是在彼此的阈值时间内进行的口内扫描、具有彼此重叠的阈值量的口内扫描、在按下的扫描仪的开始按钮与停止按钮之间进行的口内扫描、或者共享一些其它共性的组。在一个实施例中，当生成口内扫描时，如果可能，将它们相互拼接。可以将值分配给3d表面，并且该值可以应用于用于生成该3d表面的所有口内扫描。在一
个实施例中，具有相同的分配的3d表面值的口内扫描是组的一部分。在一个实施例中，来自口内扫描的组的口内扫描被同时、并行或依次地一起处理。
414.在框704处，处理逻辑自动确定与口内扫描和/或2d图像相关联的扫描角色。在一个实施例中，使用一个或多个ml模型来确定扫描角色，所述一个或多个ml模型已经被训练以基于来自口内扫描和/或与口内扫描相关联的2d图像的数据输入来确定扫描角色。ml模型可以接收一个或一组口内扫描作为输入。如果一次将多个口内扫描输入到ml模型中，则那些多个口内扫描将来自同一组口内扫描。在一些情况下，口内扫描可以在它们被输入到ml模型之前被调整尺寸。
415.在一个实施例中，使用一个或多个ml模型来确定扫描角色，所述一个或多个ml模型已经被训练以基于通过将多个口内扫描拼接在一起而生成的3d表面的输入来确定扫描角色。3d表面可以是较大3d表面的一段，其中该段是通过将来自一组口内扫描的多个口内扫描拼接在一起而生成的。3d表面的尺寸可以被调整为ml模型被配置为接纳的尺寸。这可包括调整3d表面的比例。
416.在一个实施例中，通过将3d表面投影到多个平面上以提供3d表面的多个不同的2d视图来确定扫描角色，其中每一个投影可包括沿着垂直于3d表面被投影到其上的平面的轴线的高度信息，并且将多个投影输入到一个或多个经训练的ml模型中，该模型已被训练以基于牙齿点位的3d表面的一组投影的输入来确定扫描角色。3d表面可以是较大3d表面的一段，其中该段是通过将来自一组口内扫描的多个口内扫描拼接在一起而生成的。3d表面的投影的尺寸可以被设置为ml模型被配置为所接收的尺寸。这可包括调整3d表面的投影的比例。
417.在一个实施例中，通过将全颌(或颌的一部分)的3d表面投影到咬合平面(其可以是水平面)上，并将到咬合平面上的投影输入到一个或多个经训练的ml模型中来确定扫描角色，该模型已经被训练以基于颌(或颌的一部分)的咬合视图的输入来确定扫描角色。投影可以具有可以由ml模型接受的尺寸，或者可以被调整尺寸和/或缩放以使得其具有可以由ml模型接受的尺寸。
418.在一个实施例中，在框706处，处理逻辑通过将多个口内扫描拼接在一起来生成3d表面。处理逻辑随后可以将3d表面投影到多个不同的平面上以提供3d表面的多个视图。例如，处理逻辑可以将3d表面投影到舌侧平面上、颊侧平面上以及咬合平面上。
419.在框708处，处理逻辑可以将来自口内扫描的数据(例如，高度图)和/或与口内扫描相关联的彩色图像输入到经训练的ml模型中。额外地或可替代地，处理逻辑可以将在框706处生成的3d表面的一个或多个投影输入到经训练的ml模型中，可选地，一并输入一个或多个彩色图像。额外地或可替代地，处理逻辑可以将3d表面输入到经训练的ml模型中(例如，针对被训练以对3d数据进行操作的ml模型)。
420.在一个实施例中，惯性测量数据(例如，旋转数据和/或加速度数据)可用于确定扫描角色或辅助确定扫描角色。例如，如果针对第一扫描确定了上颌角色，并且在第一扫描与第二扫描之间检测到口内扫描仪围绕水平轴线(或相对或近似水平的轴线)的旋转，则这可以是第二扫描属于下颌的指示。然而，如果在第一扫描与第二扫描之间停止扫描，则惯性测量数据可能不会改进扫描角色的检测。通常，当口内扫描仪是倾斜的使得口内扫描仪的视场在口内扫描仪(面向上)上方时，生成的扫描是属于上颌的。类似地，通常当口内扫描仪倾
斜使得口内扫描仪的视场在口内扫描仪下方(面向下)时，生成的扫描是属于下颌的。加速度计可以用于生成加速度数据，该加速度数据可用于确定重力方向，并且所确定的重力方向可用于确定口内扫描仪是面向上还是面向下还是面向侧向。所确定的相对于扫描仪和/或相对于检测到的牙齿侧面的重力方向可用于提高角色检测的精度。因此，由可包括陀螺仪和/或加速度计的惯性测量单元生成的惯性测量数据可以与口内扫描、3d表面、3d表面的投影等一起被输入到诸如经训练的ml模型的模型中，以提高角色识别的精度。
421.在框710处，所述经训练的ml模型可以基于输入数据(例如，口内扫描、投影、图像、3d表面等)的处理输出角色分类。输出角色分类可包括上牙弓角色、下牙弓角色或咬合角色。在一个实施例中，该输出包括角色是上牙弓角色的第一概率、角色是下牙弓角色的第二概率以及角色是咬合角色的第三概率。在一个实施例中，ml模型进一步输出关于准备牙齿角色是否与输入相关联的指示。在一些情况下，输出可包括上牙弓角色、下牙弓角色或咬合角色中的一个的第一分类和准备牙齿角色或无准备牙齿角色的第二分类。
422.对于一些口内扫描仪(例如，具有大视场的那些口内扫描仪)和/或一些口内扫描，上牙弓的部分和下牙弓的部分两者均在口内扫描中被表示，即使扫描不是患者咬合扫描。因此，在一些实施例中，处理逻辑能够针对单个输入(例如，单个口内扫描)确定多个不同的扫描角色，其中针对输入的第一区域确定第一扫描角色，并且针对输入的第二区域确定第二扫描角色。例如，处理逻辑可以将口内扫描的第一区域分类为上牙弓，并且将口内扫描的第二区域分类为下牙弓。因此，在一些实施例中，处理逻辑输出输入数据的像素级或区域/片级角色分类。例如，处理逻辑可以将每一个像素分类为属于上牙弓角色、下牙弓角色、咬合角色和/或准备角色。
423.在框712处，处理逻辑确定是否已为识别出的一个或多个角色创建了段(例如，是否已经创建上牙弓段或3d表面或下牙弓段或3d表面)。如果尚未为识别出的一个或多个角色创建段，则该方法继续到框714，并且处理逻辑为识别出的(多个)角色生成新的段。这可包括开始与识别出的角色相关联的3d表面。如果在框712处，处理逻辑确定对于识别出的角色已经存在段，则在框715处处理逻辑可以基于(多个)口内扫描将数据添加到段。这可包括将(多个)口内扫描拼接到已经生成的3d表面。如果口内扫描包括具有第一角色分类的第一区域或分区和具有第二角色分类的第二区域或分区，则处理逻辑可以将口内扫描的第一区域拼接到与第一角色相关联的第一3d表面，并且可以将口内扫描的第二区域拼接到与第二角色相关联的第二3d表面。因此，在实施例中，可以同时确定和生成两个3d表面(一个用于上牙弓，一个用于下牙弓)。
424.在框716处，处理逻辑确定扫描是否完成。可以基于对上牙弓和下牙弓的段的完整性的分析以及与咬合角色相关联的一个或多个口内扫描的存在、基于扫描仪从患者口腔中移除的检测、基于扫描仪被放置在表面上或在篮子中的检测、和/或基于其它信息来进行这样的确定。在一个实施例中，处理逻辑自动确定扫描是否完成。可以基于一个或多个经训练的ml模型的输出来进行这样的确定。例如，第一ml模型可以具有先前输出的所有扫描角色的分类，并且第一ml模型或第二ml模型可以具有先前输出的上牙弓的3d表面完成的预测和下牙弓完成的预测，并且第三ml模型可以输出扫描仪已经从患者口腔中移除的指示。处理逻辑可以从一个或多个ml模型接收这样的输出，并且基于一个或多个输出确定扫描完成。如果扫描完成，则该方法继续到框718。如果扫描未完成，则该方法返回到框702。
425.在实施例中，处理逻辑可以自动确定扫描角色以及扫描角色之间的过渡，而无需用户按下任何按钮。例如，用户开始扫描，检测到上牙弓，随后在某一点处检测到下牙弓。该系统确定上牙弓完成。用户继续扫描下牙弓，随后在某一点处检测到咬合。随后，该系统确定下牙弓完成。在额外的扫描后，扫描仪从患者口腔中撤回，并且该系统确定患者咬合的扫描完成。当上牙弓、下牙弓和咬合中的每一个完成时，处理逻辑可以提供相应扫描角色或段完成的视觉和/或听觉指示。
426.在框718处，处理逻辑可以自动生成上牙弓的第一3d模型和下牙弓的第二3d模型。可替代地，第一3d模型可在完成上牙弓扫描之后但在完成整个扫描之前自动生成。类似地，第二3d模型可以在下牙弓的扫描完成之后但在完成整个扫描之前自动生成。
427.在框719处，处理逻辑自动执行上牙弓和/或下牙弓的后处理。在框720处，处理逻辑显示上牙弓和/或下牙弓。
428.图8a-图8b示出了在不接收指定扫描角色的用户输入的情况下执行口内扫描的方法800的实施例的流程图。在方法800的框802处，处理逻辑接收一个或多个第一口内扫描和/或患者口腔的相关联的2d图像。在框804处，处理逻辑确定第一口内扫描和/或第一2d图像描绘患者的第一牙弓，并且确定第一牙弓的第一身份(例如，将第一牙弓识别为上牙弓或下牙弓)。这可包括在框806处根据口内扫描生成第一3d表面和/或在框808处将来自第一口内扫描的数据、第一2d图像和/或第一3d表面(例如，其可包括第一3d表面到一个或多个平面上的一个或多个投影)输入到经训练的ml模型中，该ml模型输出第一牙弓的分类。
429.在框810处，处理逻辑可选地通过将多个口内扫描拼接在一起来生成第一牙弓的第一3d表面。可替代地，可以在框806处已经生成第一3d表面。在框812处，处理逻辑自动确定第一牙弓的第一3d表面何时完成和/或用户何时已过渡到下一牙弓的扫描(例如，从上颌到下颌或从下颌到上颌的过渡)。在一个实施例中，通过使用惯性测量数据来促进扫描角色之间的过渡的检测。例如，如果针对第一扫描确定了上颌角色，并且在第一扫描与第二扫描之间检测到口内扫描仪围绕水平轴线(或相对或近似水平轴线)的旋转，则这可以是第二扫描是下颌的指示。
430.在框814处，如果确定第一3d表面完成，则处理逻辑可以自动生成第一牙弓的第一3d模型。
431.在框816处，处理逻辑接收一个或多个第二口内扫描和/或患者口腔的相关2d图像。在框818处，处理逻辑确定第二口内扫描和/或第二2d图像描绘患者的第二牙弓，并且确定第二牙弓的第二身份(例如，将第二牙弓识别为上牙弓或下牙弓)。这可包括在框820处从口内扫描中生成第二3d表面和/或在框822处将来自第二口内扫描、第二2d图像和/或第二3d表面(例如，其可包括第二3d表面到一个或多个平面上的一个或多个投影)的数据输入到经训练的ml模型中，该ml模型输出第二牙弓的分类。
432.在框824处，处理逻辑可选地通过将多个口内扫描拼接在一起来生成第二牙弓的第二3d表面。可替代地，可以在框820处已经生成第二3d表面。在框830处，处理逻辑自动确定第二牙弓的第二3d表面何时完成和/或用户何时已过渡到扫描患者咬合。在框832处，如果确定了第二3d表面完成，则处理逻辑可以自动生成第二牙弓的第二3d模型。
433.在框834处，处理逻辑接收一个或多个第三口内扫描和/或患者口腔的相关联的2d图像。在框836处，处理逻辑确定第三口内扫描和/或第三2d图像描绘了患者咬合。这可包括
从口内扫描生成第三3d表面和/或将来自第三口内扫描的数据、第三2d图像和/或第三3d表面(例如，其可包括第三3d表面到一个或多个平面上的一个或多个投影)输入到经训练的ml模型中，该模型在框838处输出患者咬合角色的分类。
434.在框840处，处理逻辑使用描绘患者咬合的第三口内扫描确定第一3d模型相对于第二3d模型的相对位置和方向。这可包括在框842处确定描绘上牙弓与下牙弓的关系的咬合的3d表面。
435.在框844处，处理逻辑基于在框842处确定的上牙弓和下牙弓和/或3d表面的3d模型来确定上牙弓和下牙弓上的咬合接触区域。处理逻辑还可以确定上牙弓和/或下牙弓(例如，这种牙弓的第一和/或第二3d模型)上的准备牙齿上的边缘线。在框846处，处理逻辑可以生成描绘上牙弓和下牙弓上的咬合接触区域的咬合图。这可以自动执行而无需首先从用户接收指令以生成咬合图或执行咬合接触分析。例如，可以以咬合图的形式执行咬合分析，该咬合图可以取决于从牙齿表面到相对牙弓中的相对牙齿的距离而以不同的颜色(例如，作为热示意图)呈现咬合图。使用该咬合图，可以执行对存在于上颌下颌复合体中的遮挡和干扰的分析。
436.方法700和800提供了优于现有技术的用于口内扫描的工作流程的多个优点。传统上，用户提供他们正在扫描上牙弓的输入，扫描上牙弓，随后提供他们完成上牙弓扫描的输入。额外地，用户提供他们正在扫描下牙弓的输入，扫描下牙弓，随后提供他们完成下牙弓扫描的输入。额外地，用户提供他们正在扫描患者咬合的输入，扫描患者咬合，随后提供他们完成患者咬合扫描的输入。额外地，对于每个准备牙齿，用户提供他们正在扫描该特定准备牙齿的输入，扫描该特定准备牙齿，随后提供他们完成准备牙齿扫描的输入。从准备牙齿扫描通道为准备牙齿生成的3d模型可以比为上颌和下颌生成的3d模型具有更高的分辨率。该工作流程产生每个准备牙齿的多个扫描通过(一个与上颌或下颌扫描角色相关联，一个与准备牙齿扫描角色相关联)，并且还产生用于上牙弓、下牙弓和每个准备牙齿中的每一个的单独段或3d模型。因此，为每一个准备牙齿生成复制段/3d模型，一个复制段/3d模型专用于该准备牙齿，并且一个复制段/3d模型专用于包括该准备牙齿的完整牙弓。相反，在本文的实施例中，诸如参考方法700所描述的，每一个准备牙齿仅被扫描一次(在单个扫描通道中)。例如，当医生扫描包括准备牙齿的牙弓时，处理逻辑自动识别准备牙齿，并且对准备牙齿使用比牙弓的剩余部分所使用的分辨率更高的分辨率。额外地，可以以比实施例中的准备牙齿的剩余部分所使用的分辨率甚至更高的分辨率示出描绘准备牙齿的边缘线的3d模型的一部分。因此，在一些实施例中，多分辨率3d模型可包括三个或更多个不同的分辨率，每一个分辨率与不同类型的牙科对象或区域相关联。在一些实施例中，对未被指定为感兴趣区域的一些区域执行平滑或简化以降低那些区域的分辨率。
437.图9是示出训练机器学习模型以分类包括修复性对象的牙科对象的方法900的一个实施例的流程图。在方法900的框902处，处理逻辑收集训练数据集，该训练数据集可包括标记的口内扫描、2d图像、3d表面和/或3d表面的投影。在实施例中，训练数据集中的数据项包括牙科分类的点级或像素级标签。牙科分类可包括例如牙齿分类、龈缘分类、修复性对象分类、颚分类和/或一个或多个其它牙科分类。牙科分类可以另外包括不同类型的修复性对象分类，诸如一种或多种类型的扫描体(或通用扫描体分类)、准备牙齿分类、植入物分类等。多个其它类型的标签也可以与训练数据集中的数据项相关联，诸如多余材料或移动组
织分类。在实施例中，训练数据集中的数据项包括图像级或输入级分类。在一个实施例中，输入级分类包括修复性对象或无修复性对象。
438.在框904处，处理逻辑将训练数据输入到未经训练的机器学习模型中。在框906处，处理逻辑基于训练数据集来训练未经训练的ml模型以生成识别口内扫描、2d图像、3d表面和/或3d表面的投影中的修复性对象的经训练的ml模型。在一个实施例中，ml模型被训练为执行输入级或图像级/扫描级分类，将输入分类为第一类“修复性对象”或第二类“无修复性对象”之一。在一个实施例中，基于训练数据集来训练机器学习模型以生成经训练的机器学习模型，该经训练的机器学习模型执行口内扫描、图像和/或3d表面(或3d表面的投影)到牙科分类的分割。这可包括将口内扫描、3d表面、图像等进行像素级分类为牙科分类。机器学习模型还可被训练为输出一个或多个其它类型的预测、图像级分类(例如，角色分类)、像素级分类、片级分类(其中片是一组像素)、决策等。
439.在一个实施例中，在框910处，训练数据项的输入被输入到机器学习模型中。输入可包括来自口内扫描(例如，高度图)、3d表面、2d图像和/或3d表面的投影的数据。在框912处，机器学习模型处理该输入以生成输出。该输出可包括“修复性对象”或“无修复性对象”的分类。可替代地或额外地，对于来自输入的每一像素，输出可包括像素属于牙齿分类的第一概率、像素属于龈缘分类的第二概率以及像素属于修复性对象分类的第三概率。对于每一个像素，该输出可以另外包括像素属于颚分类的概率、像素属于准备牙齿分类的概率、像素属于边缘线分类的概率、像素属于附件分类的概率、像素属于托槽分类的概率、像素属于扫描体分类的概率等。在一个实施例中，ml模型输出具有与输入图像和/或口内扫描(例如，高度图)的尺寸相等的尺寸的概率图。
440.在框914处，处理逻辑将针对输入和/或针对像素中的每一个的输出牙科分类概率与针对输入和/或针对输入的像素/点的已知牙科分类进行比较。在框916处，处理逻辑基于输出和与该输入相关联的标签之间的差异来确定误差。在框918处，处理逻辑基于该误差来调整机器学习模型中的一个或多个节点的权重。
441.额外地，在框914处，处理逻辑可以将其它预测、分类等的输出概率和与输入相关联的一个或多个其它标签进行比较。在框916处，处理逻辑可以确定每个比较的误差。在框918处，处理逻辑可以基于这些误差来调整机器学习模型中的一个或多个节点的权重。因此，机器学习模型可被训练以执行牙科对象分类以及一个或多个其它分类、预测和/或分割操作。
442.在框920处，处理逻辑确定是否满足停止标准。如果尚未满足停止标准，则该方法返回到框910，并且另一个训练数据项被输入到机器学习模型中。如果满足停止标准，则该方法进行到框925，并且机器学习模型的训练完成。
443.图10a-10b示出了自动识别修复性对象和生成包括这种修复性对象的牙弓的3d模型的方法1000的一个实施例的流程图。在方法1000的框1002处，处理逻辑接收牙弓的一个或多个口内扫描和/或相关联的图像(例如，彩色图像和/或niri图像和/或紫外线图像)。
444.在框1004处，处理逻辑自动确定口内扫描中、图像中和/或通过将口内扫描拼接在一起而形成的3d表面中的牙齿点位的分类。牙齿点位的分类可以在图像/扫描级的基础上、点/体素/像素级的基础上或中间基础上(例如，对于包含9个像素或一些其它数量的像素的片或区域)执行。在一个实施例中，处理逻辑将扫描/图像分类为包含修复性对象或不包含
修复性对象。额外地或可替代地，处理逻辑可以将扫描/图像分类为包含被指定使用高分辨率来表示的其它类型的牙科对象和/或感兴趣区域。这样的一个或多个分类可以使用经训练的ml模型或基于规则的方案来进行。例如，处理逻辑可以基于使用已经被训练以识别修复性对象和/或边缘线的机器学习模型对第二口内扫描数据的处理来确定输入是否包括修复性对象(例如，准备牙齿)和/或边缘线的表示。可替代地，一个或多个基于规则的算法可用于处理口内扫描数据和/或3d表面，并且可以基于口内扫描数据和/或3d表面数据满足所述一个或多个基于规则的算法的标准来确定口内扫描数据和/或3d表面描绘修复性对象和/或边缘线。例如，准备牙齿和扫描体可以具有未在口腔中自然出现的形状。可以使用基于规则的算法来分析口内扫描数据和/或3d表面数据中表示的牙齿点位的形状，以确定其满足准备牙齿或扫描体的标准。
445.在一个实施例中，处理逻辑执行牙齿点位的像素级分类或片级分类，以识别描绘修复性对象的像素或片(例如，像素组)并且识别未描绘修复性对象的像素或片。在一个实施例中，处理逻辑执行牙齿点位的像素级或片级分类(还称为区域级分类)以识别描绘牙齿的像素或片/区域、描绘龈缘的像素或片/区域以及描绘修复性对象的像素或片/区域。在一个实施例中，处理逻辑执行牙齿点位的像素级或片级分类(还称为区域级分类)以识别描绘牙齿之间的齿间区域的像素或片/区域、描绘龈缘与牙齿之间的边界的像素或片/区域、描绘边缘线的像素或片/区域和/或以其它方式与感兴趣区域相关联的像素/片。还可以执行像素级分类或片级分类以识别描绘在口腔中发现的其它类型的对象的像素或片/区域，所述对象诸如上颚、牙齿上的附件、牙齿上的托槽、准备牙齿、扫描体、修复等。在一些实施例中，基于这些分类，处理逻辑可以执行口内扫描、图像和/或3d表面的分割。
446.在一个实施例中，在框1006处，处理逻辑通过将多个口内扫描拼接在一起而生成3d表面。处理逻辑随后可以将3d表面投影到多个不同的平面上以提供3d表面的多个视图。例如，处理逻辑可以将3d表面投影到舌侧平面上、颊侧平面上以及咬合平面上。
447.在框1008处，处理逻辑可以将来自口内扫描的数据(例如，高度图)和/或与口内扫描相关联的彩色图像输入到经训练的ml模型中。额外地或可替代地，处理逻辑可以将在框1006处生成的3d表面的一个或多个投影输入到经训练的ml模型中，可选地一并输入一个或多个彩色图像。额外地或可替代地，处理逻辑可以将3d表面或3d表面的多个部分输入到经训练的ml模型(例如，针对被训练以对3d数据进行操作的ml模型)。
448.在框1010处，所述经训练的ml模型可以基于输入数据(例如，口内扫描、投影、图像、3d表面等)的处理输出一个或多个牙科分类。例如，输出的牙科分类可包括本文上面讨论的任何牙科分类。在一个实施例中，在框1012处，处理逻辑(例如，ml模型)生成示意图(map)，该示意图包括针对口内扫描中的每一个像素、体素或点的3d表面或被输入到ml模型中的3d表面的投影的像素的牙科分类的一个或多个指示。在一个实施例中，示意图包括针对每一个像素、体素或点的指示该像素/体素/点的最可能的牙科分类的值。对于每一个像素/体素/点，示意图还可包括置信值，该置信值指示针对该像素/体素/点所确定的牙科分类是正确的置信度。在一个实施例中，示意图是概率图，其对于每一个像素、体素或点包括针对每种类型的牙科分类的单独概率值。
449.在一个实施例中，(多个)ml模型还输出与口内扫描数据和/或3d表面数据相关联的角色分类。
450.在一个实施例中，在框1014处，处理逻辑(例如，ml模型)将口内扫描、3d表面和/或3d表面的投影划分成多个区域或片。处理逻辑(例如，ml模型)随后可以生成示意图，该示意图包括针对每个区域或片的针对该区域或片的牙科分类的指示。该技术在本质上降低了输入数据的分辨率，这降低了与处理输入数据以执行牙科分类和/或分割相关联的计算负荷。
451.在框1016处，处理逻辑可以确定是否已经检测到一个或多个修复性对象。在一个实施例中，处理逻辑确定是否识别出被指定为以高分辨率表示的一个或多个其它类型的牙科对象或感兴趣区域。这种其它类型的牙科对象或感兴趣区域的示例包括边缘线、牙齿到龈缘边界、以及牙齿到牙齿边界(例如，牙齿之间的齿间区域)。如果没有检测到修复性对象(或没有要以更高分辨率表示的其它对象或感兴趣区域)，则在框1018处，处理逻辑可以基于在框1004处确定的分类来确定牙弓的不包含修复性对象(并且可选地不包括被指定以高分辨率表示的任何其它牙科对象或区域)的区域的3d表面。这可包括将描绘牙弓的区域的口内扫描拼接到牙弓的3d表面。在一个实施例中，如果确定口内扫描不描绘修复性对象或被指定为以高分辨率表示的其它牙科对象或区域，则口内扫描可以被标记为不描绘诸如准备物的修复性对象(并且可选地不包含被指定为以高分辨率表示的任何其它牙科对象或区域)。从口内扫描中生成的3d表面的区域可以具有低分辨率。3d表面的其它区域可以具有低分辨率或高分辨率(其中高和低在本文中被用作相对于彼此的术语)。
452.如果在框1016处处理逻辑确定已经检测到一个或多个修复性对象和/或已经检测到被指定以高分辨率表示的一个或多个其它类型的牙科对象或区域，则在框1020处，处理逻辑可以基于在框1004处确定的分类来确定包含修复性对象和/或被指定为以高分辨率表示的其它类型的牙科对象或区域的牙弓区域的3d表面。在一个实施例中，如果确定口内扫描描绘修复性对象，则可以将口内扫描标记为包含诸如准备物的修复性对象。如果确定口内扫描描绘要使用高分辨率来表示的另一个牙科对象或感兴趣区域，则可以将口内扫描标记为包含这样的另一个牙科对象或感兴趣区域。从口内扫描生成的3d表面可以具有高分辨率。3d表面的其它区域可以具有低分辨率或高分辨率。
453.在框1022处，处理逻辑可以基于所确定的牙科分类来标记3d表面上的牙弓的区域。在一个实施例中，处理逻辑标记包含修复性对象的区域。处理逻辑可以另外标记与不同牙科分类相关联的区域。例如，处理逻辑也可标记牙齿和龈缘。在其它示例中，处理逻辑可以标记牙齿与龈缘之间的边界，可以标记牙齿之间的齿间区域，可以标记边缘线等。如果针对3d表面到平面上的口内扫描或投影确定牙科分类，则口内扫描或投影到3d表面的配准信息可以用于确定3d表面上与口内扫描或投影中的像素相对应的点。随后，可以根据口内扫描或投影中的相应像素的牙科分类，为3d表面上的这些点分配牙科分类。
454.3d表面的不同口内扫描和/或投影可以具有对应于3d表面上的同一点的像素。在一些情况下，这些多个像素可以具有不同的确定的牙科分类和/或不同的牙科分类概率。在这种情况下，处理逻辑可以使用投票功能来确定每一个点的牙科分类。例如，来自口内扫描的每组概率值可以指示特定的牙科分类。处理逻辑可以确定对于点的每一个牙科分类的投票数，并且随后可以将该点分类为具有接收最多投票的牙科分类。
455.通常，牙科分类的最高概率值的多数投票表示该点的牙科分类。然而，在一些情况下，可以执行进一步处理以选择用于点的牙科分类，即使该牙科分类不是用于该点的最高概率牙科分类。例如，可以应用一个或多个成本函数来选择除了点的最高概率牙科分类之
外的牙科分类。在另一示例中，处理逻辑可以计算诸如修复性对象、牙齿等的特定牙科对象的一个或多个质量得分。每个质量评分可以基于如使用成本函数计算的牙科对象(或牙科对象的段)的成本值，并且牙科对象质量得分可以与质量阈值进行比较以确定将哪个牙科类分配给点。
456.在一个实施例中，处理逻辑生成矩阵，该矩阵针对每一个点(例如，3d表面上的边缘、顶点、体素等)识别该点属于修复性对象分类或其它牙科分类的概率。例如，矩阵中没有机会表示修复性对象的条目可以具有分配的0％概率。处理逻辑还可以生成矩阵，该矩阵针对每一个点(例如，3d表面上的边缘、顶点、体素等)识别该点属于边缘线、牙龈到牙齿边界或牙齿到牙齿边界(例如，牙齿之间的齿间区域)的概率。
457.处理逻辑可以使用成本函数来创建经过具有表示修复性对象或其它牙科分类的高概率的点的最接近轮廓。在一个实施例中，针对修复性对象或其它牙科分类绘制的轮廓的总成本是包括在修复性对象或其它牙科分类中的所有边缘(例如，顶点)之和，通过与每个顶点相关联的权重进行调整。顶点的每一个权重可以是分配给该顶点的概率的函数。包括在修复性对象或其它牙科分类中的顶点的成本可以是大约1/(a+p)，其中a是小常量并且p是表示修复性对象或其它牙科分类的顶点的概率。顶点的概率越小，则该顶点被包括在分类为修复性对象(或其它牙科分类，如果被计算以确定另一牙科分类的轮廓)的区域中的成本越大。还可以基于包括修复性对象的段的顶点的成本之和来计算这些段的成本。当概率接近100％时，则成本大约是按长度调整的1。
458.在一个实施例中，使用来自矩阵的值作为成本基础，将路径寻找操作或算法应用于3d模型。可以使用任何路径寻找算法。要使用的可能的路径寻找算法的一些示例包括动态编程、dijkstra算法、a*搜索算法、增量启发式搜索算法等。路径寻找算法可以应用成本函数来确定修复性对象的路径。
459.使用表示矩阵中的修复性对象的概率作为成本基础的路径寻找算法可以搜索具有最大成本的路径或具有最小成本的路径。上述成本函数使用基于概率的倒数的函数来搜索最小成本。可替代地，可以使用直接基于概率的成本函数，其中搜索最大成本。如果运行路径寻找算法以使成本最大化，则将确定顶点之间的路径，其引起概率值的最大聚集。顶点的概率得分可以被输入到路径寻找算法中，以寻找具有针对该概率得分的最大成本的路径。路径寻找算法可用于定义表示修复性对象(或具有另一个牙科分类的其它牙科对象)、边缘线、牙齿到牙龈边界、牙齿到牙齿边界等的轮廓。
460.在一个实施例中，在框1024处，处理逻辑确定牙弓上已经识别出修复性牙科对象的牙齿位置。可以更新3d表面和/或口内扫描以包括与修复性牙科对象相关联的牙齿位置信息。
461.牙齿位置的确定可以使用机器学习或基于规则的图像处理算法的应用自动地执行。在一个示例中，具有3d表面上的点的点级分类的部分或整个上颌或下颌的3d表面可以被投影到咬合平面上。3d表面到咬合平面上的投影可以产生示出部分或整个上颌或下颌的图像或高度图。投影图像或高度图可包括牙科分类的像素级分类。具有像素级分类的投影图像或高度图可以被输入到经训练的ml模型中，该ml模型可以输出图像或高度图中的每一个牙齿和/或图像或高度图中的每一个修复性对象的牙齿编号。
462.在一个实施例中，为了确定用于修复性对象的牙弓上的牙齿位置，处理逻辑提示
用户输入牙齿编号。用户可输入牙齿编号，随后可以存储输入的牙齿编号。
463.在框1026处，处理逻辑确定牙弓(例如，上颌或下颌)的扫描是否完成。如上所述，诸如通过使用一个或多个ml模型的输出、运动数据等来进行这种确定。如果牙弓的扫描未完成，则该方法返回到框1002，并且接收牙弓的额外的口内扫描、彩色图像和/或niri图像。如果牙弓的扫描完成，则该方法继续到框1028。除了进行到框1028之外，处理逻辑还可以并行地返回到框1002以接收针对其扫描未完成的另一牙弓的口内扫描。如果对两个牙弓以及可选地对患者咬合的扫描完成，则处理逻辑可以进行到框1028，而无需并行地返回到框1002。
464.在框1028处，处理逻辑基于与该牙弓相关联的口内扫描(例如，被分类为具有与牙弓相关联的扫描角色的口内扫描)自动生成一个或多个牙弓的3d模型。如上所述，口内扫描的分辨率可以基于在该口内扫描中是否检测到要以高分辨率表示的修复性对象和/或其它类型的牙科对象。特别地，描绘修复性对象和/或被指定为以高分辨率表示的其它类型的牙科对象的口内扫描可以具有比未描绘修复性对象和/或被指定为以高分辨率表示的其它类型的牙科对象的口内扫描更高的分辨率。
465.在一个实施例中，在框1030处，处理逻辑确定用于描绘修复性对象和/或被指定为以高分辨率表示的其它类型的牙科对象(例如，边缘线、龈缘到牙齿边界、牙齿到牙齿边界等)的牙弓的第一部分的第一分辨率。在一个实施例中，在框1032处，处理逻辑确定用于未描绘修复性对象的牙弓的第二部分或被指定为以高分辨率表示的其它类型的牙科对象的第二分辨率。值得注意的是，第二分辨率是比第一分辨率更低的分辨率。
466.在框1034处，处理逻辑生成牙弓的可变分辨率3d模型。在牙弓的可变分辨率3d模型中，第一分辨率用于牙弓的第一部分(例如，描绘修复性对象)，并且第二分辨率用于牙弓的第二部分(例如，不描绘修复性对象)。
467.在一个实施例中，最初以高分辨率生成3d模型，并且基于牙科对象分类信息，处理逻辑随后执行平滑或简化操作以针对3d模型的一个或多个区域将分辨率降低到较低分辨率，所述一个或多个区域被确定为不描绘修复性对象或其他感兴趣区域。在一个实施例中，最初将3d模型生成为多分辨率3d模型，并且平滑或简化高分辨率区域和/或低分辨率区域的部分以降低那些部分的分辨率。在一些实施例中，除了降低一个或多个区域的分辨率之外或代替降低一个或多个区域的分辨率以实现多分辨率3d模型，可以增加3d模型的一个或多个区域的分辨率以实现多分辨率3d模型。
468.在框1036处，可以显示3d模型(例如，输出到图1的口内扫描应用115的gui的显示器)。
469.通常应该精确地测量和仔细地研究待植入假体的口内点位，使得假体(诸如牙冠、义齿或牙桥)能被，例如，适当地设计并且其尺寸被确定为适合其位置。由于这个原因，在3d模型中以比牙弓的其它区域更高的分辨率来表示准备牙齿可能是有用的。良好的配合使得机械应力能够在假体与颌之间适当地传递，并且能够防止例如经由假体与口内点位之间的界面的牙龈感染和蛀牙。在已经扫描了口内点位之后，可以生成牙齿点位的虚拟3d模型(在本文中也简称为3d模型)，并且该3d模型可以用于制造牙齿假体。因此，可以使用包括准备牙齿或其它修复性对象的高分辨率表示的可变分辨率3d模型。
470.图11示出了用于自动识别修复性对象和生成包括这样的修复性对象的牙弓的3d
模型的方法1100的一个实施例的流程图。参考识别修复性对象来描述方法1100。然而，应该理解，方法1100也可应用于使用比牙弓上的牙科对象的剩余部分更高的分辨率来描绘的其它类型的牙科分类。例如，处理逻辑可以访问要以高分辨率表示的对象或感兴趣区域(aoi)的类型的列表。该列表可以由用户修改，或者由处理逻辑基于用户的实践自动修改。用户或处理逻辑可以将任何类型的牙科对象分类添加到列表和/或可以从该列表移除任何类型的牙科对象分类。随后，列表上的那些对象和/或aoi将以比其它对象和/或aoi更高的分辨率来表示。在一个实施例中，该列表自动包括修复性对象(例如，准备牙齿)作为默认值。在一个实施例中，该列表另外包括边缘线、牙龈到牙齿边界和/或齿间区域作为默认值。
471.在方法1100的框1102处，处理逻辑接收牙弓的一个或多个第一口内扫描和/或第一图像(例如，2d彩色图像和/或2d niri图像和/或2d紫外线图像)。
472.在框1104处，处理逻辑基于处理第一口内扫描和/或第一图像自动确定第一口内扫描和/或第一图像描绘修复性对象，诸如准备物(或列表上的其它类型的对象)。在一个实施例中，在框1106处，处理逻辑将来自第一口内扫描的输入数据(例如，高度图)和/或与第一口内扫描相关联的第一图像输入到经训练的ml模型中。在框1010处，所述经训练的ml模型输出第一口内扫描和/或第一图像包含诸如准备物(或列表上的其它类型的对象)的修复性牙科对象的描绘的指示。
473.在框1110处，处理逻辑确定用于要从第一口内扫描生成的牙弓的3d模型的第一部分的第一分辨率。3d表面可包括多个面，这些面被分成连接的三角形或其它表面形状。分辨率可以是在给定的单位面积中的这样的面的数量。较大的分辨率在给定的单位面积中具有较多的面数量，而较小的分辨率在给定的单位面积中具有较少的面数量。
474.在框1112处，处理逻辑接收牙弓的一个或多个第二口内扫描和/或第二图像(例如，2d彩色图像和/或2d niri图像和/或2d紫外线图像)。在框1114处，基于处理第二口内扫描和/或第二图像，处理逻辑自动确定第二口内扫描和/或第二图像未能描绘修复性对象(或列表上的其它类型的对象)。在一个实施例中，在框1116处，处理逻辑将来自第二口内扫描的输入数据(例如，高度图)和/或与第二口内扫描相关联的第二图像输入到所述经训练的ml模型中。在框1010处，所述经训练的ml模型输出第二口内扫描和/或第二图像未能包含对修复性牙科对象(或列表上的其它类型的对象)的描绘的指示。
475.在框1120处，处理逻辑确定用于要从第二口内扫描生成的牙弓的3d模型的第二部分的第二分辨率。
476.在框1122处，处理逻辑生成牙弓的可变分辨率3d模型，其中可变分辨率3d模型具有用于3d模型的第一部分的第一分辨率和用于3d模型的第二部分的较低的第二分辨率。在框1124处，处理逻辑显示牙弓的可变分辨率3d模型。
477.在一些实施例中，要以更高分辨率描绘的牙科对象和/或aoi的列表被划分成多个类别，其中一个类别可以是高分辨率，并且另一个类别可以是超高分辨率。与包括在超高分辨率类别中的牙科对象和/或aoi相关联的区域可以用比与包括在高分辨率类别中的牙科对象和/或aoi相关联的区域更高的分辨率来表示。例如，边缘线可以在超高类别中，而准备牙齿或其它修复性对象可以在高分辨率类别中。
478.图12a示出了口内扫描应用的gui的视图，其示出了在扫描下牙弓期间下牙弓的3d表面1200。如图所示，在扫描期间，处理逻辑已经识别出龈缘、第一类型的修复性对象1216、
第二类型的修复性对象1220及牙齿1206。第一类型的修复性对象1216是金牙冠，并且第二类型的修复性对象1220是准备牙齿。gui可包括扫描角色指示器1202，该扫描角色指示器示出了用于上牙弓扫描角色的第一图形1210、用于下牙弓扫描角色的第二图形1212以及用于咬合扫描角色的第三图形1214。在扫描期间，处理逻辑还确定3d表面1200是下牙弓，其在扫描角色指示器1202中通过突出显示与下牙弓扫描角色相关联的第二图形示出。一旦下牙弓的扫描完成并且用户过渡到扫描上牙弓，与上牙弓扫描角色相关联的第一图形1210就可以被突出显示，并且与下牙弓扫描角色相关联的第二图形的可视化可以被更新以指示下牙弓的扫描完成。类似地，一旦完成上牙弓的扫描并且用户过渡到扫描患者咬合，就可以突出显示与咬合扫描角色相关联的第三图形1214，并且可以更新与上牙弓扫描角色相关联的第一图形1210的可视化以指示上牙弓的扫描完成。
479.在一个实施例中，与上牙弓相关联的第一图形1210包括用于上牙弓上的每一个牙齿的单独的牙齿图标。类似地，与下牙弓相关联的第二图形1212包括用于下牙弓上的每一个牙齿的单独图标。牙齿上的每一个图标可以与一个牙齿编号相关联。处理逻辑可能已经识别出与识别出的修复性对象相关联的牙齿编号。可以更新与和修复性对象相关联的那些牙齿编号相关联的图标的可视化，使得用户一眼就可以看到下牙弓上的哪些牙齿位置具有修复性对象。
480.图12b示出了口内扫描应用的gui的视图，其示出了在上牙弓的扫描期间上牙弓的3d表面1250。如所示，在扫描期间，处理逻辑已经识别龈缘1252、修复性对象1256和牙齿1254。修复性对象1256是准备牙齿。gui可包括扫描角色指示器1202，其示出用于上牙弓扫描角色的第一图形1210、用于下牙弓扫描角色的第二图形1212以及用于咬合扫描角色的第三图形1214。在扫描期间，处理逻辑还确定3d表面1250是上牙弓，其在扫描角色指示器1202中通过突出显示与上牙弓扫描角色相关联的第一图形1210来示出。一旦完成上牙弓的扫描并且用户过渡到扫描下牙弓，则可以突出显示与上牙弓扫描角色相关联的第二图形1212，并且可以更新与上牙弓扫描角色相关联的第一图形1210的可视化以指示完成了对上牙弓的扫描。类似地，一旦下牙弓的扫描完成并且用户过渡到扫描患者咬合，则可以突出显示与咬合扫描角色相关联的第三图形1214，并且可以更新与下牙弓扫描角色相关联的第二图形1212的可视化以指示下牙弓的扫描完成。
481.在一个实施例中，与上牙弓相关联的第一图形1210包括用于上牙弓上的每一个牙齿的单独的牙齿图标。类似地，与下牙弓相关联的第二图形1212包括用于下牙弓上的每一个牙齿的单独图标。牙齿上的每一个图标可以与一个牙齿编号相关联。处理逻辑可以已经识别与识别出的修复性对象相关联的牙齿编号。可更新与和修复性对象相关的那些牙齿编号相关的图标的可视化，使得用户一眼就可以看到下牙弓上的哪些牙齿位置具有修复性对象。
482.图13a示出了牙弓的可变分辨率3d模型1300。可变分辨率3d模型包括三个不同的区域。第一区域1302包括扫描体1310，并且以高分辨率示出。第二区域1304包括天然牙齿1314，并以较低分辨率示出。第三区域1306包括牙桥1316，并且可以以高分辨率或以较低分辨率示出，这取决于口内扫描应用的设定。对于口内扫描应用，以高分辨率呈现诸如扫描体和准备物的修复性牙科对象，并且以较低分辨率呈现天然牙齿。口内扫描应用可包括使用牙科假体的高分辨率的第一设定或使用牙科假体的较低分辨率的第二设定。该设定可以是
用户可选择的。在实施例中，用户还可以选择将高分辨率设定用于天然牙齿和/或将较低分辨率设定用于修复性牙科对象。
483.图13b示出了牙弓的3d模型1350。3d模型1350是高分辨率模型，其对于3d模型1350的所有区域具有均匀的分辨率。如图所示，每单位面积的非常高数量的顶点和/或多边形被包括在3d模型1350中。
484.图13c示出了更新的3d模型1360，其是3d模型1350的可变分辨率版本。描绘了3d模型1360的多个区域1362、1364、1366、1368。第一区域1368是龈缘的，并且具有第一分辨率，该第一分辨率可以是3d模型1360的最低分辨率。第二区域1362是天然牙齿的，并且具有可稍高于第一分辨率的第二分辨率。第三区域1366是牙齿到龈缘边界，并且第四区域1364是牙齿到牙齿边界(齿间区域)。第三区域1364和第四区域1366可以各自具有第三分辨率，该第三分辨率可以是比第二分辨率更高的分辨率。如图所示，第一区域1368每单位面积具有最低数量的顶点和/或多边形，第二区域1362每单位面积具有比第一区域1368更多数量的顶点和/或多边形，并且第三和第四区域1364、1366每单位面积具有比第二区域1362更多数量的顶点和/或多边形。
485.图14a-图14b示出了当准备牙齿被修改时自动生成和更新准备牙齿的3d模型的方法1400的实施例的流程图。与牙医学习的口内扫描相关联的最复杂的工作流程之一是修复性工作流程。修复性工作流程通常涉及医生在打磨牙齿之前扫描牙齿并且生成准备牙齿的预扫描3d模型，随后打磨牙齿以生成准备牙齿，随后在准备牙齿周围插入排龈线，随后在龈缘先后塌陷越过准备牙齿的边缘线之前再个扫描牙齿并且生成准备牙齿的3d模型。随后，如果需要修整准备牙齿，医生手动选择准备牙齿的3d模型的区域以擦除和替换，再个扫描准备牙齿，并基于生成的进一步扫描替换手动选择的3d模型的区域。医生可能需要执行对准备牙齿的额外打磨，以增大准备牙齿与例如相对颌上的牙齿之间的间隙，或者可能需要重新填塞牙科细线，拉动牙科细线，并且重新扫描准备牙齿周围的边缘线的区域，该区域在先前3d模型中被遮挡。
486.方法1400提供了自动化修复工作流程，其中处理逻辑自动执行传统上由医生手动执行的许多操作，诸如识别准备牙齿的3d模型的哪些区域要更新。处理逻辑可以通过理解准备牙齿的哪些区域或周围已经改变随后确定改变区域的哪些扫描具有更好的质量来自动执行这样的操作。
487.方法1400涉及自动确定正畸工作流程或修复性工作流程是否适当，并且在最少用户输入或没有用户输入的情况下自动遵循修复性治疗工作流程。在一个实施例中，处理逻辑基于对一个或多个口内扫描和/或从口内扫描中生成的3d表面(或3d表面的投影)的分析来自动确定正畸工作流程或修复性工作流程是否适当。在一个实施例中，如果检测到修复性对象，则确定修复性工作流程是适当的。在一个实施例中，如果没有检测到修复性对象，则确定正畸工作流程是适当的。在一些实施例中，处理逻辑可包括历史信息，该历史信息指示正在其中执行扫描的特定牙科诊所是仅提供正畸治疗、仅提供修复性治疗、还是提供正畸和修复性治疗。如果处理逻辑确定牙科诊所仅提供修复性治疗，则可以基于这样的信息自动确定修复性工作流程。如果处理逻辑确定牙科诊所仅提供正畸治疗，则可以基于这样的信息自动确定正畸工作流程。在实施例中，关于牙科诊所的历史信息和口内扫描数据(或3d表面数据)的分析的组合被用于确定正畸工作流程或修复性工作流程是否适当。
488.在方法1400的框1402处，处理逻辑接收由口内扫描仪在第一时间生成的多个第一口内扫描和/或牙弓的2d图像(例如，彩色图像)。可以在医生已经打磨牙齿以形成准备牙齿之后由扫描口腔的口内扫描仪生成时接收多个第一口内扫描。在框1404处，处理逻辑使用多个第一口内扫描(例如，通过将多个第一口内扫描拼接在一起)来确定牙弓的至少一部分的第一3d表面。
489.在框1406处，处理逻辑自动确定第一3d表面描绘准备牙齿的至少一部分和/或准备牙齿的周围区域的一部分。准备牙齿和/或周围区域的所描绘部分可包括准备牙齿的打磨区域、准备牙齿的未打磨区域、准备牙齿周围的龈缘等。在一个实施例中，基于口内扫描、第一3d表面和/或3d表面的一个或多个投影中的一个或多个的输入被提供到经训练的ml模型，该ml模型输出关于输入是否包括准备牙齿或不包括准备牙齿的指示。所述经训练的ml模型可以输出关于输入是否包括准备牙齿的图像级或表面级指示，或者可以输出将输入的像素或点至少划分成第一类(准备牙齿)和第二类(非准备牙齿)的像素级分类。可替代地，所述经训练的ml模型可以输出区域级分类。
490.可能已经执行了治疗前扫描操作以生成患者牙弓的治疗前3d模型。在一个实施例中，处理逻辑将3d表面与治疗前3d模型进行比较。基于该比较，处理逻辑可以确定3d表面中的牙齿中的一个与治疗前3d模型中的对应牙齿不同。处理逻辑可以确定3d表面与治疗前3d模型之间的差异，并且基于这样的差异可以确定与该差异相关联的牙齿是准备牙齿。
491.在一个实施例中，在框1408处，处理逻辑将来自第一口内扫描的数据、从第一口内扫描生成的第一3d表面、第一3d表面的一个或多个投影和/或一个或多个2d图像输入到经训练的ml模型中。在框1410处，所述经训练的ml模型生成3d表面的像素级分类，将像素分类为表示准备牙齿或表示除准备牙齿之外的某物。在一个实施例中，像素可被分类为准备牙齿、龈缘、天然牙齿和/或其它类型的修复性对象。在框1411处，处理逻辑可以基于ml模型输出的像素级分类来将第一3d表面分割成牙龈、准备牙齿和额外的牙齿。
492.在框1412处，处理逻辑接收由口内扫描仪在第二时间生成的一个或多个额外的口内扫描和/或牙弓的2d图像(例如，彩色图像)。在第一时间与第二时间之间，医生可能已经审阅了第一3d表面并且确定需要对第一3d表面进行一个或多个修改。这可包括例如在准备牙齿周围插入和/或移除牙科用线，或者进一步打磨准备牙齿的一部分。为了执行这种动作，医生可能已经从患者的口腔移除了口内扫描仪，并且将其放下到表面上或篮子中。医生也可以使用牙钻来打磨准备牙齿。第一时间与第二时间之间经过的时间量、第一时间和第二时间之间口内扫描仪的运动数据、第一时间和/或第二时间之间记录的音频和/或其它数据可以用作确定准备牙齿在第一时间与第二时间之间是否可能已经做出任何改变的线索。
493.在框1414处，处理逻辑使用所述一个或多个额外的口内扫描(例如，通过将一个或多个额外的口内扫描拼接在一起)来确定牙弓的至少一部分的第二3d表面。
494.在框1416处，处理逻辑自动确定第二3d表面描绘准备牙齿的至少一部分和/或准备牙齿的周围区域的在第一3d表面中表现的部分和/或准备牙齿的未在第一3d表面中表现的不同部分(例如，准备牙齿的先前由龈缘覆盖的部分)和/或准备牙齿周围的区域的一部分(例如，准备牙齿周围的龈缘)。在一个实施例中，基于额外的口内扫描、第二3d表面和/或第二3d表面的一个或多个投影中的一个或多个的输入被提供到经训练的ml模型，该ml模型输出关于输入包括准备牙齿还是不包括准备牙齿的指示。
495.在一个实施例中，在框1418处，处理逻辑将来自所述一个或多个额外的口内扫描的数据、从一个或多个额外的口内扫描中生成的第二3d表面、第二3d表面的一个或多个投影和/或一个或多个额外的2d图像输入到经训练的ml模型中。在框1420处，所述经训练的ml模型生成第二3d表面的像素级分类，将像素分类为表示准备牙齿或表示除准备牙齿之外的某物。在一个实施例中，像素可被分类为准备牙齿、龈缘、天然牙齿和/或其它类型的修复性对象。在框1421处，处理逻辑可以基于ml模型输出的像素级分类将第二3d表面分割成牙龈、准备牙齿和额外的牙齿。
496.在框1422处，处理逻辑可以确定第一时间与第二时间之间的时间差。
497.在框1424处，处理逻辑可以将第二3d表面与第一3d表面进行比较以确定第二3d表面与第一3d表面之间的一个或多个差异。额外地或可替代地，处理逻辑可以基于第二3d表面与第一3d表面的比较和/或一个或多个额外的口内扫描与第一3d表面的比较来确定准备牙齿的变化(例如，准备牙齿的形状的变化、准备牙齿的暴露的龈下部分的变化等)和/或准备牙齿周围的在第一3d表面与所述一个或多个额外的口内扫描之间的区域的变化。
498.在一个实施例中，处理逻辑将来自多个第一口内扫描和/或第一3d表面的空间信息与来自所述一个或多个额外的口内扫描和/或第二3d表面的空间信息进行比较。多个口内扫描和/或第一3d表面与一个或多个额外的口内扫描和/或第二3d表面的空间比较可包括在这两组数据之间执行配准。配准涉及确定将一个图像或表面与另一个对准的变换。配准可以涉及识别图像/表面对中的每一个图像/表面中的多个点、点云、边缘、拐角、表面向量等，对每一个图像/表面的点进行表面拟合，以及使用点周围的局部搜索来匹配所述两个图像/表面的点。例如，处理逻辑可以将所述一个或多个额外的口内扫描的点与在第一3d表面上插值的最近点进行匹配，并且迭代地使匹配点之间的距离最小化。处理逻辑可以基于表面顶点的随机采样、基于将顶点合并(binning)到体素网格并对每一个体素进行平均、基于特征检测(例如，检测牙齿尖端)和/或基于其它技术来选择点。
499.处理逻辑可以利用适当的方法验证检测到的匹配的质量，并丢弃没有良好匹配的点。一种用于验证的合适方法包括在对准之后计算小于与参考表面相距的阈值距离(例如，以毫米为单位)的测试表面的测试部分上的表面区域的百分比。如果匹配的表面区域的尺寸大于尺寸阈值，则可以验证匹配。另一种用于验证的合适方法包括在对准后计算测试表面的测试部分和参考表面的顶点之间的平均或中值距离。如果顶点之间的平均值或中值小于阈值距离，则验证可能是成功的。
500.处理逻辑计算整组匹配的平均值和/或中值对准。处理逻辑可以通过使用适当的方法检测和移除异常值，该异常值暗示测试表面和参考表面的对准变体与整组匹配的平均值和/或中值对准过于不同。例如，测试表面与参考表面的对准具有与平均值或中值相差超过阈值的对准值的表面片可能过于不同。可以使用的一种适当方法是随机采样一致(ransac)算法。如果两个表面不能比较，则空间比较器168将确定配准已失败，因为残存点的数量过小而不能合理地覆盖整个测试表面。可以使用的一种适当的方法是随机采样一致性(ransac)算法。例如，如果输入数据包含错误(例如，用户试图将一个人的口内扫描与另一个人的口内扫描进行匹配)，则这可能发生。
501.表面匹配的结果可以是匹配点对的密集集合，每一对对应于测试表面上的区域和参考表面上的匹配区域。每个这样的区域还与点相关联，因此每对也可以被看作是测试表
面上的一个点和参考表面上的匹配点的点对。测试表面上的这些点的有序集合是测试表面上的点云，并且以相同方式排序的参考表面上的一组匹配点是参考表面上的匹配点云。
502.可以使用适当的算法来计算测试点云与参考点云的近似对准。这种合适算法的一个示例包括测试点云与参考点云之间的距离的最小二乘最小化(least-squares minimization)。在经由测试表面的刚性变换进行近似对准之后，测试点云和参考点云不会精确地重合。可以使用适当的算法来计算非刚性变换，诸如分段平滑弯曲空间变换(piecewise-smooth warp space transformation)，其平滑地使3d空间变形，使得1)该变形尽可能平滑，以及b)在应用弯曲变换之后，测试点云与参考点云更好地对准。可能的实施方式选项包括但不限于径向基函数插值、薄板样条法(tps)和估计牙齿移动并将它们传播到附近空间。
503.因此，一旦在第一3d表面和第二3d表面的表面面片之间和/或一个或多个额外的口内扫描之间确定了对应点集，就可以解决两个坐标系中的两组对应点之间变换的确定。本质上，配准算法可以计算表面之间的变换，该变换将使一个表面上的点之间的距离最小化，并且在另一个表面上的插值区域中找到离它们近的点可以用作参考。该变换可包括在多达六个自由度上的旋转和/或平移运动。额外地，该变换可包括图像中的一个或两个的变形(例如，弯曲空间变换和/或其它非刚性变换)。图像配准的结果可以是指示将引起3d表面与另一个3d表面相对应的旋转、平移和/或变形的一个或多个变换矩阵。
504.空间比较的结果可包括对准变换(例如，位置和/或方向的刚性变换以实现刚体对准)和弯曲空间变换或其它非刚性变换(例如，3d空间的平滑变形)。处理逻辑可以使用这种信息来确定第一3d表面和第二3d表面上的点、点云、特征等之间的差异。随后，处理逻辑可以区分扫描仪不精确引起的差异和由准备牙齿的临床变化引起的差异。
505.准备牙齿的3d表面与准备牙齿的第二3d表面之间的可归因于扫描仪误差或噪声的差异以及可归因于实际物理变化的差异通常出现在不同的空间频率域中。扫描仪误差可能具有非常高的空间频率或非常小的尺度。这可以是由扫描仪引入的噪声，并且可以利用低通滤波器滤除。具有非常高的空间频率(非常小的尺度)的空间差异可以是具有超过频率阈值的空间频率的那些空间差异。可归因于临床变化的空间差异可以具有低于频率阈值的空间频率。
506.在框1426处，处理逻辑至少部分地基于时间差和对准备牙齿的改变和/或对准备牙齿周围的区域的改变来确定是否使用a)第一三维表面、b)来自所述一个或多个额外的口内扫描和/或第二3d表面的数据、或c)第一3d表面和来自所述一个或多个额外的口内扫描和/或第二3d表面的的数据的组合，以描绘准备牙齿的被改变的一部分。可以应用各种不同的规则来确定第一和/或第二3d表面的哪些部分用于准备牙齿的不同部分和/或准备牙齿的周围区域。这样的规则的示例参照图15a-15f进行阐述。处理逻辑可以应用这些规则中的一个或组合来确定第一和/或第二3d表面的哪些部分用于准备牙齿的不同部分。
507.在一些情况下，准备牙齿和/或周围区域的变化足够小，使得其可能被噪声和/或扫描仪不精确度遮挡或淹没。在实施例中，处理逻辑执行一个或多个操作以区分可归因于噪声或扫描仪不精确性的改变和可归因于医生对牙齿所作的物理改变的改变。
508.例如，处理逻辑可以确定在第一3d表面中的准备牙齿的第一表示与第二3d表面中的准备牙齿的第二表示和/或额外的口内扫描之间的多个空间差异。处理逻辑可以确定多
个空间差异中的第一空间差异可归因于扫描仪不精确性并且多个空间差异中的第二空间差异可归因于对准备牙齿的临床改变。在一个实施例中，处理逻辑执行在标题为“纵向分析和有限精度系统下的可视化”的美国专利第no.10,499,793号中描述的一个或多个操作，以区分可归因于噪声/扫描仪不精确性的改变和可归因于准备牙齿的实际物理改变的改变。美国专利第no.10,499,793号通过引用并入本文中。
509.在框1428处，处理逻辑生成牙弓的3d模型。在3d模型中，描绘准备牙齿的一部分和/或周围区域的被改变的部分(例如，被暴露的部分、被进一步打磨的部分等)的区域可以使用a)第一三维表面、b)来自所述一个或多个额外的口内扫描和/或第二3d表面的数据、或c)第一3d表面与来自所述一个或多个额外的口内扫描和/或第二3d表面的数据的组合来生成，如在框1426处所确定的那样。在框1430处，处理逻辑可以(例如，在牙科扫描应用的gui中)显示牙弓的3d模型。
510.在框1432处，处理逻辑向显示器(例如，经由牙科扫描应用的gui)输出关于a)第一三维表面、b)来自所述一个或多个额外的口内扫描和/或第二3d表面的数据、或c)第一3d表面与来自所述一个或多个额外的口内扫描和/或第二3d表面的数据的组合是否被用于生成牙弓的3d模型的部分的指示。处理逻辑可以另外在显示器中(例如，经由诸如部分透明的表面、网格、虚线等的可视化)示出准备牙齿的原始部分和/或准备牙齿的周围区域的一部分看起来像什么。处理逻辑可以另外可选地显示如果在使用a)第一三维表面、b)来自所述一个或多个额外的口内扫描和/或第二3d表面的数据、或c)第一3d表面与来自3d模型中的所述一个或多个额外的口内扫描和/或第二3d表面的数据的组合之间选择了不同的选项，则3d模型中的准备牙齿和/或周围区域(例如，龈缘)将看起来像什么。
511.在框1434处，处理逻辑可以接收用户输入，该用户输入校正或验证在牙弓的3d模型中使用哪个或哪些3d表面的决策。在框1436处，处理逻辑可以确定用户输入是对所执行的自动选择的校正还是验证。如果接收到校正，则该方法继续到框1438，并且根据该校正(例如，使用用户选择的以下项中的一个)来更新3d模型：a)第一三维表面、b)来自所述一个或多个额外的口内扫描和/或第二3d表面的数据、或c)第一3d表面和来自所述一个或多个额外的口内扫描和/或第二3d表面的数据的组合。如果接收到验证，则该方法可以继续到框1440，在那里先前生成的3d模型可以用于进一步操作和/或可以被存储。
512.图15a-图15f示出了确定使用哪些3d表面来表示3d模型的修复性对象的方法的实施例的流程图。图15a-图15f的方法中的一个或多个可以在方法1400的框1426处单独或一起执行。
513.图15a示出了描绘应用第一规则以用于确定使用哪些3d表面来表示修复性对象(例如，准备牙齿)的方法1500的流程图。在方法1500的框1502处，处理逻辑确定在第一时间进行的多个第一口内扫描与在第二时间进行的所述一个或多个额外的口内扫描之间的时间差是否超过时间差阈值。在一个实施例中，处理逻辑对在连续扫描期间(例如，在医生按下开始与停止扫描按钮之间或者处理逻辑自动确定开始与停止扫描之间)生成的扫描进行分组。在一个实施例中，处理逻辑对a)在连续扫描期间生成的扫描和b)与相同扫描角色相关联的扫描进行分组。在一个实施例中，处理逻辑对在与扫描之前和/或之后生成的扫描在阈值时间差内的时间生成的扫描进行分组。如果所述多个第一口内扫描与所述一个或多个额外的口内扫描在同一组中，则第一时间与第二时间之间的时间差可以小于时间差阈值。
如果所述多个第一口内扫描与所述一个或多个额外的口内扫描在不同的组中，则第一时间与第二时间之间的时间差可以大于时间差阈值。
514.额外地，处理逻辑确定与多个第一口内扫描相关联的第一3d表面和与所示一个或多个第二口内扫描相关联的第二3d表面之间的变化是否超过变化阈值。如果时间差超过时间差阈值并且变化差超过变化差阈值，则该方法进行到框1504，并且处理逻辑确定使用第二3d表面来表示准备牙齿的一部分。如果时间差超过时间差阈值并且变化差低于变化差阈值，则该方法进行到框1506，并且处理逻辑确定使用第一3d表面或第一3d表面和第二3d表面的组合来表示准备牙齿的该部分。如果时间差低于时间差阈值并且变化差高于变化差阈值，则该方法进行到框1508，并且处理逻辑确定使用第一3d表面或第一3d表面和第二3d表面的组合来表示准备牙齿的该部分。如果时间差低于时间差阈值并且变化差低于变化差阈值，则该方法进行到框1510并且处理逻辑确定使用第一3d表面或第一3d表面和第二3d表面的组合来表示准备牙齿的该部分。
515.图15b示出了描绘应用第二规则以用于确定使用哪些3d表面来表示准备牙齿的方法1520的流程图。第二规则基于是否在第一和/或第二3d表面中识别出排龈线来确定使用哪个3d表面来表示准备牙齿(或准备牙齿的一部分)。
516.如果识别出排龈线在第一3d表面中而不在第二3d表面中，则这可以指示在生成用于第一3d表面的口内扫描与生成用于第二3d表面的口内扫描之间拉动了排龈线。对于诸如牙冠和牙桥的修复性牙科工作，可以使用口内扫描仪生成患者牙弓上的准备牙齿和/或周围牙齿的一个或多个口内扫描。在下龈缘(sub-gingival)准备的情况下，龈缘覆盖边缘线(本文还称为终止线)的至少一部分并且是收缩的，以完全暴露边缘线。因此，通常在医生将牙科排龈线填塞在准备牙齿周围的牙龈下，并且随后取出排龈线，短暂地暴露下龈缘边缘线之后，进行口内扫描。对于显示排龈线的扫描，边缘线可以被排龈线覆盖。对于在已经拉动排龈线之后进行的扫描，可以示出下龈缘边缘线。
517.在方法1520的框1522处，处理逻辑确定在第一时间进行的多个第一口内扫描与在第二时间进行的一个或多个额外的口内扫描之间的时间差是否超过时间差阈值。如果时间差满足或超过时间差阈值，则该方法进行到框1524。否则，该方法进行到框1530。
518.在框1524处，处理逻辑确定在第一3d表面中是否识别出排龈线(牙科用线)。可以通过将多个第一口内扫描、第一3d表面和/或第一3d表面到一个或多个平面上的一个或多个投影输入到经训练的ml模型中来识别排龈线的存在或不存在。所述经训练的ml模型可以被训练以执行图像/表面级分类，以识别口内扫描(例如，诸如高度图的图像)或3d表面中准备牙齿周围排龈线的存在和缺少。可替代地，所述经训练的ml模型可以执行像素级(还称为点级)分类以标识出属于排龈线的特定点/像素。如果在第一3d表面中识别出排龈线，则该方法继续到框1526。否则，该方法进行到框1530。
519.在框1526处，处理逻辑确定在第二3d表面中是否识别出排龈线(牙科用线)。如果在第二3d表面中没有识别出排龈线，则该方法继续到框1528。否则，该方法进行到框1530。
520.在框1528处，处理逻辑确定将第二3d表面用于准备牙齿的部分(例如，准备牙齿的示出边缘线的部分)。
521.在框1530处，处理逻辑确定使用第一3d表面与第二3d表面的组合的第一3d表面。
522.图15c示出了描绘应用第三规则的方法1540的流程图，该第三规则用于确定使用
哪些3d表面来表示修复性对象(例如，准备牙齿)。方法1540基于准备牙齿中的材料量确定使用哪个3d表面来描绘准备牙齿。通常在准备牙齿的生成期间，医生可以确定在生成3d表面或3d模型之后需要从准备牙齿移除另外的材料。随后医生可以打磨准备牙齿以移除另外的材料，并且生成准备牙齿的另一扫描。处理逻辑可以利用该工作流程来确定使用哪个3d表面来描绘准备牙齿的至少一部分。
523.在方法1540的框1542处，处理逻辑确定用于生成第二3d表面的一个或多个额外的口内图像的第二时间是否晚于用于生成第一3d图像的多个口内图像的第一时间。如果是，则该方法继续到框1544。否则，方法进行到框1548。
524.在框1544处，处理逻辑确定准备牙齿在第二3d表面中是否包括比在第一3d表面中更少的材料。该确定可以基于第一与第二3d表面之间的比较以及根据该比较确定第一和第二3d表面中的准备物之间的任何差异来进行。如果准备牙齿在第二3d表面中比在第一3d表面中包括更少的材料，则这指示在多个第一口内扫描的生成与所述一个或多个额外的口内扫描之间从准备牙齿移除了材料。如果准备牙齿在第二3d表面中比在第一3d表面中包括更少的材料，则方法继续到框1546。否则，方法进行到框1548。
525.在框1546处，处理逻辑确定将第二3d表面用于准备牙齿的至少一部分(例如，准备牙齿的示出边缘线的部分)，其在第一和第二3d表面之间不同。
526.在框1548处，处理逻辑确定使用第一3d表面与第二3d表面的组合的第一3d表面。
527.图15d示出了描绘应用第四规则的方法1550的流程图，该第四规则用于确定使用哪些3d表面来表示准备牙齿。方法1550基于在用于生成第一3d表面的多个口内扫描的生成与用于生成第二3d表面的一个或多个口内扫描之间接收的音频数据来确定使用哪个3d表面来描绘准备牙齿。通常在准备牙齿的生成期间，医生可以确定在生成3d表面或3d模型之后需要从准备牙齿移除另外的材料。随后医生可以打磨准备牙齿以移除另外的材料，并且生成准备牙齿的另一扫描。用于打磨牙齿的工具(例如，牙钻)产生独特的声音。麦克风可以在口内扫描的生成期间和/或之间记录音频，并且可以分析这样的音频数据以确定其是否包括牙钻的声音。
528.在方法1550的框1552处，处理逻辑在生成多个第一口内扫描的第一时间与生成所述一个或多个额外的口内扫描的第二时间之间接收音频数据。在框1554处，处理逻辑确定音频数据是否包括牙钻的声音。这可包括将音频数据与牙钻的记录进行比较。在一个实施例中，处理逻辑生成接收到的音频数据的音频指纹，并将其与使用中的音频牙钻的记录的音频指纹进行比较。如果在接收到的音频数据与存储的音频数据之间存在匹配，则处理逻辑可以确定该音频数据包括牙钻的声音。
529.如果确定音频数据包括牙钻的声音，则该方法进行到框1556。如果音频不包括牙钻的声音，则该方法继续到框1558。
530.牙科诊所可包括在不同椅子上并行工作的多个医生。因此，在一些情况下，即使医生在扫描之间没有进一步打磨准备牙齿，也可以记录牙钻声音。然而，与在与被分析的3d表面相关联的患者身上使用的牙钻的声音相比，远处牙钻的声音通常更微弱或更不响亮。因此，在实施例中，检测到的牙钻的音量水平需要超过音量阈值以便进行到框1556。
531.在框1556处，处理逻辑确定将第二3d表面用于准备牙齿的至少一部分(例如，准备牙齿的示出边缘线的部分，其在第一和第二3d表面之间不同的。
532.在框1558处，处理逻辑确定使用第一3d表面与第二3d表面的组合的第一3d表面。
533.图15e示出了描绘应用第五规则的方法1560的流程图，该第五规则用于确定使用哪些3d表面来表示修复性对象(例如，准备牙齿)。第五规则使用惯性测量数据来确定哪些3d表面用于准备牙齿。在框1562处，处理逻辑从口内扫描仪接收惯性测量数据。处理逻辑可以接收在生成多个第一口内扫描的第一时间生成的惯性测量数据、在生成一个或多个额外的口内扫描的第二时间生成的第二惯性测量数据和/或在第一与第二时间之间生成的第三惯性测量数据。
534.在框1564处，处理逻辑基于接收到的惯性测量数据确定在多个第一口内扫描的生成与所述一个或多个第二口内扫描之间的口内扫描仪的惯性状态。
535.在框1566处，处理逻辑使用所确定的口内扫描仪在第一时间与第二时间之间的惯性状态来确定是使用a)第一3d表面、b)第二3d表面、还是c)第一3d表面与第二3d表面的组合来描绘准备牙齿的一部分。例如，如果惯性状态指示在第一与第二时间之间口内扫描仪的运动一样小，则这可以指示医生仅在扫描之间休息并且不执行将改变准备牙齿的任何动作。另一方面，如果惯性状态指示从口腔中移除口内扫描仪，则这可以提供以可以改变准备牙齿的方式在准备牙齿上执行进一步动作的线索。
536.图15f示出了描绘应用第七规则的方法1570的流程图，该第七规则用于确定使用哪些3d表面来表示修复性对象(例如，准备牙齿)。在框1572处，处理逻辑基于使用彩色图像处理和/或被训练以识别准备牙齿上的液体的经训练的机器学习模型处理所述一个或多个额外的口内扫描(或第二3d表面到一个或多个平面上的投影)和/或一个或多个相关联的2d彩色图像，来识别遮挡第二3d表面中的准备牙齿的部分的液体(例如，血液或唾液)。
537.在框1574处，如果在第二3d表面中检测到遮挡准备牙齿的液体，则处理逻辑确定使用第一3d表面而不使用第二3d表面。类似地，如果在第一3d表面中识别出遮挡液体而在第二3d表面中未识别出遮挡液体(例如，如果医生在扫描之间擦拭或清洗准备牙齿，则可能是这种情况)，则处理逻辑确定使用第二3d表面。
538.用于确定使用哪些3d表面来表示修复性对象的第八规则可以使用在扫描之间是否从患者嘴中移除口内扫描仪的确定作为关于是否对准备牙齿做出改变的线索。例如，经训练的ml模型可以处理由口内扫描仪生成的彩色图像，以识别扫描仪何时被插入到患者口腔中和/或从患者口腔中抽出。如果在口内扫描之间检测到口内扫描仪已经从患者口腔中移除，则处理逻辑可以确定将第二3d表面用于准备牙齿的至少一部分。
539.用于确定使用哪些3d表面来表示修复性对象的第九规则可以确定第一3d表面和第二3d表面的质量评级，并且使用该质量评级来确定使用哪个3d表面来生成3d模型或更新先前生成的3d模型。可以针对第一3d表面和第二3d表面的不同区域或部分确定质量评级。质量评级可以使用多个标准来确定，诸如数据点的数量(例如，点云的密度)、空隙的存在、数量和/或尺寸、扫描仪与3d表面的角度、与3d表面中的扫描之间的配准相关联的不确定性、移动组织、牙龈组织和/或被遮挡的准备牙齿的其它对象(例如，被遮挡的边缘线)的量、成本函数值等。
540.在一个实施例中，处理逻辑将第一3d表面和第二3d表面划分成超像素(或3d的其它等效结构)。超像素是共享共同特性(例如，像像素强度)的一组像素。在一个实施例中，可以为每一个超像素分配质量得分。可以将与第一3d表面相关联的超像素与来自第二3d表面
的重叠超像素进行比较，并且可以选择具有最高质量值的超像素。
541.在一个实施例中，口内扫描、3d表面和/或3d表面的投影被输入到已经被训练以选择和/或分级牙齿点位的区域的机器学习模型中。在一个实施例中，一个或多个得分被分配给ml模型的每一个输入，其中每一个得分可以与特定牙齿点位相关联并且指示输入中的该牙齿点位的表示的质量。
542.用于确定使用哪个表面的第一至第九规则中的每一个仅仅是可以被应用以确定使用哪个表面用于3d模型中的准备牙齿的规则的示例。这些规则可以被组合，并且这些规则中的两个或更多个的输出可以被应用于投票或加权投票算法以确定使用哪个表面。例如，如果多个规则指示应该使用特定3d表面，则处理逻辑可以确定使用该特定3d表面。在一些实施例中，如果规则中的任何一个指示使用第二3d表面，则使用第二3d表面。
543.额外地或可替代地，可以基于分配给这些3d表面的那些区域的分数来两个3d表面不同的第一3d表面和第二3d表面的区域分配权重。可以基于上述第一至第九规则中的一个或多个和/或一个或多个其它选择规则的输出来确定该得分。在模型更新期间，可以使用加权平均值来组合来自第一和第二3d表面的冲突数据，以描绘准备牙齿。应用的权重可以是基于针对准备牙齿的特定3d表面投票的规则的质量评分和/或数量而分配的那些权重。例如，处理逻辑可以确定来自第一3d表面的特定重叠区域的数据在质量上优于第二3d表面的特定重叠区域的数据。随后，当对图像数据集之间的差异求平均值时，可以对第一3d表面比第二3d表面更重地加权。例如，被分配较高评级的第一3d表面可以被分配70％的权重，并且第二3d表面可以被分配30％的权重。因此，当数据被平均时，合并的结果看起来更像来自第一3d表面的描绘，而不太像来自第二3d表面的描绘。
544.图16是示出用于确定是否推荐对牙齿的额外扫描的方法1600的一个实施例的流程图。在针对特定扫描角色(例如，针对上牙弓、下牙弓、患者咬合等)执行口内扫描之后，处理逻辑可以自动确定是否推荐生成一个或多个额外的口内扫描。例如，如果包含边缘线的准备牙齿的区域缺乏清晰度，则可能无法适当地确定边缘线，因此可能无法适当地设计修复体的边缘。在另一示例中，如果在牙齿周围没有足够的牙龈组织被成像，则与该牙齿相关联的对准器和/或牙科假体可以被设计成与牙齿周围的牙龈组织干涉。额外地，一个或多个自动确定的质量、生成的牙弓3d模型的质量和/或制造的牙科假体的质量可能受颚区域、空隙、颜色信息的量、一个或多个不清楚或冲突区域等的存在或缺乏的影响。方法1600可以检测可能负面地影响治疗的这些和其它问题，并且可以推荐重新扫描识别这些问题的区域。
545.在方法1600的框1602处，处理逻辑处理来自3d模型和/或3d表面的数据以识别推荐额外扫描的一个或多个区域。可以使用图像处理和/或机器学习的应用来执行数据的处理。在一个实施例中，3d模型或3d表面的一个或多个部分或者3d模型或3d表面到一个或多个表面上的一个或多个投影被输入到经训练的机器学习模型中。所述经训练的机器学习模型可以输出具有两个不同的像素级或点级分类的示意图，其中一个分类指示不推荐进一步扫描，并且另一个分类指示推荐进一步扫描。在其它实施例中，ml模型可以输出与为什么推荐进一步扫描相关联的不同分类。例如，ml模型可以输出空隙、不清楚区域、被遮挡区域、低置信度区域等的指示。
546.在一个示例中，扫描的准备牙齿的边缘线的一部分或另一个牙科对象的一部分可能在3d模型中不能被足够清楚地限定。例如，在引起第一3d虚拟模型被生成的初始3d数据
收集步骤期间(例如，经由扫描)，物理牙齿表面的一部分可能已经被诸如唾液、血液或碎屑的异物覆盖。物理牙齿表面的该部分也可能被另一元素例如牙龈、面颊、舌头、牙科器械、人工制品等的部分所遮挡。可替代地，例如，在引起第一虚拟3d模型被生成的初始3d数据收集步骤期间(例如，经由扫描)，该区域可能已经失真或以其它方式有缺陷，并且可能未适当地对应于物理牙齿表面(例如，由于实际扫描过程中的一些缺陷)。这些情况可能导致3d模型的不清楚或低质量区域。
547.在一个实施例中，在框1604处，处理逻辑为3d模型中的一个或多个牙齿确定所述一个或多个牙齿周围的成像牙龈组织的量。可以通过执行图像处理以测量距所述一个或多个牙齿中的每一个牙齿周围的扫描龈缘的外边缘的距离来做出这种确定。处理逻辑随后可以将所确定的距离与距离阈值进行比较。如果这些距离中的任何距离小于距离阈值，则这可以是对牙齿周围的龈缘的进一步扫描将是有益的指示。因此，在框1606处，响应于确定牙齿周围的成像牙龈组织的量小于阈值(例如，牙齿的边缘与扫描的龈缘的最近外边缘之间的检测到的距离小于距离阈值)，处理逻辑可以识别牙齿和/或牙齿周围的龈缘以用于进一步扫描。
548.在一个实施例中，在框1608处，处理逻辑确定识别出的区域包括缺失的颚区域、牙齿的不完整表面、牙齿表面中的空隙、不清楚的边缘线和/或颜色信息不足的区域。这些确定可以通过将3d表面、3d模型、3d表面或3d模型的一部分、与3d表面或3d模型相关联的口内扫描、与3d表面或3d模型相关联的2d图像(例如，彩色图像)和/或3d表面或3d模型的一个或多个投影输入到经训练的ml模型中来进行，经训练的ml模型可以输出关于3d表面或3d模型是否具有缺失的颚区域、牙齿的不完整表面、牙齿表面中的空隙、不清楚的边缘线和/或具有不足的颜色信息的区域的指示。额外地或可替代地，处理逻辑可以执行一个或多个图像处理操作以检测不足的颜色信息、空隙、牙齿的不完整表面、缺失的颚区域等。
549.在一个实施例中，处理逻辑计算边缘线的一个或多个段的边缘线质量得分。每一个边缘线质量得分可以基于使用成本函数计算的边缘线(或边缘线的段)的成本值。在一个实施例中，确定整个边缘线的边缘线质量得分。在一个实施例中，计算多个额外的边缘线质量得分，其中每一个边缘线质量得分用于边缘线的特定段。可以识别边缘线中具有低于边缘线质量评分阈值的边缘线质量评分的那些段，以用于进一步扫描。
550.在一些实施例中，处理逻辑可以额外地或替代地确定不包括边缘线或不与边缘线相关联的表面的清晰度值和/或质量值。处理逻辑可以在3d模型上标记具有低质量值的这种表面(或表面的多个部分)。例如，可以将一个或多个表面部分的表面质量得分与质量阈值进行比较。具有低于质量阈值的表面质量得分的任何表面(或多个表面部分)可以被标记或突出显示。
551.在一个实施例中，处理逻辑1600使用美国公开号no.2021/0059796中阐述的技术来确定要重新扫描哪些区域，该美国公开通过引用并入本文中。
552.图17是示出用于确定准备牙齿边缘线的轮廓的方法1700的一个实施例的流程图。一旦生成了牙弓的3d模型，就可以自动执行方法1700。在框1702处，处理逻辑确定准备牙齿的口内扫描完成，并且生成包括准备牙齿的3d表面或3d模型。这可包括确定包括准备牙齿的牙弓的口内扫描是完成的。一旦完成了对牙弓的扫描，就可以自动生成包括准备牙齿的牙弓的3d模型。牙弓的3d模型可以是可变分辨率3d模型，其中准备牙齿在3d模型中具有比
3d模型的其它区域更高的分辨率。处理逻辑可以使用本文所讨论的用于修复性对象识别的技术中的一种或多种在3d模型上自动识别准备牙齿。
553.在框1704处，处理逻辑使用机器学习和成本函数自动确定准备牙齿的边缘线的轮廓。如上所述，3d模型可以被分割成自然牙齿、准备牙齿和龈缘。例如，3d模型上的每一个点可包括关于该点属于一个或多个牙科分类的概率的信息。在一个实施例中，每一个点包括该点属于自然牙齿牙科分类、龈缘牙科分类、准备物牙科分类以及边缘线牙科分类的概率。在一个实施例中，一旦准备牙齿(例如，包括准备牙齿的牙弓)的3d模型完成，3d模型或3d模型到一个或多个平面上的投影就可以被输入到经训练的ml模型中，该ml模型至少输出指示边缘线的表示的第一类和指示除了边缘线之外的某物的表示的第二类。处理逻辑可以通过使用那些点描绘边缘线的概率将成本函数应用于3d模型上的点来计算边缘线。在一个实施例中，处理逻辑生成矩阵，该矩阵针对每一个点(例如，3d模型的表面上的边缘、顶点、体素等)识别该点表示边缘线的概率。例如，矩阵中没有机会表示边缘线的条目具有被分配的0％概率。
554.处理逻辑使用成本函数来创建经过具有表示边缘线的高概率的点的最接近的轮廓。在一个实施例中，为边缘线绘制的轮廓的总成本是边缘线中包括的所有边缘(例如，顶点)之和，通过与每个顶点相关联的权重进行调整。顶点的每一个权重可以是分配给该顶点的概率的函数。包括在边缘线中的该顶点的成本可以是大约1/(a+p)，其中a是小常量，p是顶点表示边缘线的概率。顶点的概率越小，则该顶点被包括在边缘线中的成本越大。还可以基于包括边缘线的段的顶点的成本之和来计算这些段的成本。当概率接近100％时，则成本大约是按长度调整的1。
555.在一个实施例中，使用来自矩阵的值作为成本基础，将路径寻找操作或算法应用于3d模型。可以使用任何路径寻找算法。要使用的可能的路径寻找算法的一些示例包括动态编程、dijkstra算法、a*搜索算法、增量启发式搜索算法等。路径寻找算法可以应用成本函数来确定边缘线的路径。
556.使用表示矩阵中的边缘线的概率作为成本基础的路径寻找算法可以搜索具有最大成本的路径或具有最小成本的路径。上述成本函数使用基于概率的倒数的函数来搜索最小成本。可替代地，可以使用直接基于概率的成本函数，其中搜索最大成本。如果运行路径寻找算法以使成本最大化，则将确定顶点之间的路径，其引起概率值的最大聚集。顶点的概率得分可以被输入到路径寻找算法中，以寻找具有针对该概率得分的最大成本的路径。路径寻找算法可用于定义表示边缘线的轮廓。
557.在框1706处，处理逻辑突出显示或以其它方式标记3d模型上的边缘线的轮廓。在一个实施例中，处理逻辑计算边缘线的不同段的单独成本。例如，处理逻辑可以确定边缘线的多个段，每一个段包括连接或相邻顶点的集合。对于每一个段，处理逻辑可以使用成本函数来计算该段的成本。可以针对重叠和/或非重叠段计算成本值。处理逻辑可以确定是否有任何区域段具有不满足成本标准的成本值/得分。例如，处理逻辑可以确定是否有任何段具有超过成本阈值的成本(如果成本函数对于最小成本优化)。可替代地，处理逻辑可以确定任何段是否具有低于成本阈值的成本值/得分(如果成本函数对于最大成本是优化的)。处理逻辑可选地突出显示边缘线的不满足成本标准和/或满足成本标准但接近不满足成本标准的段。边缘线的这些段可被识别为具有不可接受的不确定性或清晰度水平。
558.在一个实施例中，处理逻辑应用美国专利公开号no.2021/0059796的技术来确定边缘线的轮廓。
559.处理逻辑可以自动确定边缘线是否存在任何问题，诸如边缘线的不清楚或被遮挡的区域。处理逻辑随后可以推荐对检测到问题的边缘线的区域的一个或多个额外的口内扫描。
560.图18是示出确定轨迹以显示牙弓的3d模型的方法的一个实施例的流程图。在框1802处，处理逻辑基于由用户针对牙弓的一个或多个先前的3d模型执行的一个或多个缩放操作、摇摄操作、暂停操作、播放操作、旋转操作等来收集包括虚拟相机的轨迹的训练数据。这种数据可以通过记录在附件的医生和/或其它医生观察牙弓3d模型的观察会话来生成。从观察会话，处理逻辑可以确定医生手动循环通过的3d模型的每一个视图。例如，处理逻辑可以确定医生放大了准备牙齿的3d表面，他们围绕竖直轴线在牙弓周围旋转等。训练数据可包括与不同类型的治疗相关联的不同轨迹。例如，训练数据可包括利用一个准备牙齿、利用多个准备牙齿、利用不同牙齿编号的准备牙齿、不用准备牙齿、利用不同类型的错位咬合等的治疗。
561.在框1804处，在生成牙弓的3d模型之后，处理逻辑使用训练数据生成虚拟相机的轨迹，该虚拟相机从多个视图设定和多个缩放设定示出牙弓的3d模型。准备牙齿的(或多个准备牙齿的)一个或多个放大视图被包括在轨迹中。
562.在一个实施例中，在训练数据集上训练机器学习模型以接收3d模型并输出3d模型的轨迹。在另一个实施例中，处理逻辑包括被应用以自动生成轨迹的一组规则。例如，可以基于是否描绘了上牙弓或下牙弓、牙弓上是否存在任何准备牙齿、准备牙齿的位置、在牙弓上是否检测到任何错位咬合、错位咬合的位置和/或类型、是否已经识别出附件、是否已经识别出托槽等来生成轨迹。
563.在一个实施例中，医生可以通过输入记录轨迹请求来手动记录标准虚拟相机轨迹。随后，医生可以手动执行一个或多个缩放、旋转、平移等操作，每个操作都可以被记录。处理逻辑可以另外记录操作之间的时间间隔，以确定将3d模型的特定视图显示多长时间。随后，医生可以在完成时输入停止记录命令。随后，记录的轨迹可以自动地应用于医生所观察的其它3d模型。在实施例中，医生可以针对不同类型的患者案例记录不同的轨迹。医生随后可以选择他们想要使用哪个轨迹来查看特定3d模型。可替代地，处理逻辑可以将当前3d模型的患者案例细节(例如，准备牙齿的存在、准备牙齿的位置、上颌或下颌等)与和多个存储的虚拟相机轨迹相关联的患者案例细节进行比较。随后，处理逻辑可以自动选择与最接近地匹配当前患者案例细节的患者案例细节相关联的虚拟相机轨迹。
564.在框1806处，处理逻辑自动执行所确定的虚拟相机轨迹以从所述多个视图设定和多个缩放设定中显示3d模型。
565.图19a-图19c示出了在准备牙齿1905的各个阶段的准备牙齿的3d表面的侧视图。图19a示出了在已经执行打磨以形成准备牙齿1905之后的准备牙齿1905的第一3d表面的第一侧视图1900。然而，当龈缘1910遮挡准备牙齿1905的边缘线时，生成第一3d表面。因此，在图19a中未示出边缘线。
566.图19b示出了在已经进一步打磨以改变准备牙齿的形状之后和在排龈线被填塞在准备牙齿周围并被移除以暴露边缘线1915之后的准备牙齿1912的第二3d表面的第二侧视
图1920。如图所示，准备牙齿的形状和准备牙齿周围的牙龈的形状在第一侧视图1900和第二侧视图1920之间已经改变。
567.图19c示出了在已经执行进一步打磨以改变准备牙齿的形状之后的准备牙齿1914的第三3d表面的第三侧视图1940。还示出了准备牙齿的第一3d表面的第一侧视图1905，其叠加在准备齿的第三3d表面的第三侧视图1914上。处理逻辑可以示出准备牙齿的当前3d表面与过去3d模型(例如，3d表面的直接先前版本或3d表面的一个或多个较早版本)之间的变化，以向医生指示什么已经改变和/或示出哪个3d表面正被用于更新牙弓的3d模型中的准备牙齿或更新准备牙齿的3d模型。医生可以否决使用哪个3d表面的自动选择，从而产生不同的3d模型。
568.图20是示出自动生成用于牙科假体或正畸的处方的方法2000的一个实施例的流程图。在方法2000的框2002处，处理逻辑接收由口内扫描仪生成的患者的多个口内扫描。在框2004处，处理逻辑使用所述多个口内扫描确定一个或多个牙弓的至少一部分的3d表面。在框2006处，处理逻辑自动确定在3d表面和/或所述多个口内扫描中的一个或多个口内扫描中是否表示修复性对象。这可以使用本文上面描述的任何技术(例如，通过将口内扫描输入到被训练以识别修复性对象的机器学习模型中)来实现。
569.在框2006处，处理逻辑确定是否检测到修复性对象。如果没有检测到修复性对象(例如，没有准备牙齿或扫描体)，则该方法进行到框2016。如果检测到一个或多个修复性对象，则处理逻辑进行到框2010。
570.在框2010处，处理逻辑确定修复性对象的位置。这可包括确定与修复性对象相关联的牙齿编号。在框2012处，处理逻辑自动生成口腔修复处方。生成口腔修复处方可包括将准备牙齿和/或周围牙齿的3d模型添加到处方中，将待治疗的牙齿编号的指示输入到处方，确定并输入待制造的牙科假体的类型(例如，镶嵌体、高嵌体、牙桥、牙冠、义齿等)，确定并输入将用于牙科假体的材料的类型，确定并输入制造牙科假体的牙科实验室等。这些处方细节中的每一个可以使用上述技术自动确定。一旦生成了口腔修复处方，就可以将其自动发送到处方中所指示的牙科实验室。可替代地，可以在医生已审阅并批准处方(并且可选地对处方作出一个或多个改变)之后将处方发送到牙科实验室。
571.在框2016处，处理逻辑使用3d模型自动生成用于治疗错位咬合的处方。这可包括确定包括患者牙齿的最终布置的治疗目标，确定患者牙齿的一个或多个中间布置，以及生成患者牙齿的最终布置的最终3d模型和患者牙齿的每一个中间布置的中间3d模型。3d模型中的每一个可用于制造透明塑料对准器。
572.一旦生成了患者牙弓的虚拟3d模型，牙科医师就可以确定期望的治疗结果，其包括患者牙齿的最终位置和方向。可替代地，治疗结果可以由处理逻辑自动确定。处理逻辑可以随后确定多个治疗阶段以使牙齿从开始位置和方向进展到目标最终位置和方向。最终虚拟3d模型和每一个中间虚拟3d模型的形状可以通过计算从初始牙齿放置和方向到最终校正的牙齿放置和方向的整个正畸治疗中的牙齿运动的进展来确定。对于每一个治疗阶段，可以生成该治疗阶段的患者牙弓的单独的虚拟3d模型。每一个虚拟3d模型的形状将是不同的。原始虚拟3d模型、最终虚拟3d模型和每一个中间虚拟3d模型是唯一的并且是针对患者定制的。
573.因此，可以为单个患者生成多个不同的虚拟3d模型。第一虚拟3d模型可以是患者
的牙弓和/或牙齿的当前存在的唯一模型，并且最终虚拟3d模型可以是患者的牙弓和/或牙齿在校正一个或多个牙齿和/或颌之后的模型。可以对多个中间虚拟3d模型建模，其中的每一个可以递增地不同于先前虚拟3d模型。
574.患者牙弓的每一个虚拟3d模型可用于在特定治疗阶段生成牙弓的唯一定制物理模具。模具的形状可以至少部分地基于用于该治疗阶段的虚拟3d模型的形状。虚拟3d模型可以被表示在诸如计算机辅助绘图(cad)文件的文件中或诸如立体光刻(stl)文件的3d可打印文件中。可以将模具的虚拟3d模型发送给第三方(例如，临床医生办公室、实验室、制造工厂或其它实体)。虚拟3d模型可包括将控制制造系统或装置以便生产具有指定几何形状的模具的指令。
575.图21是示出自动确定牙科假体的3d模型的方法2100的一个实施例的流程图。在方法2100的框2102处，处理逻辑将一个或多个牙弓的至少一部分的3d表面与所述一个或多个牙弓的先前生成的3d表面进行比较。在框2104处，处理逻辑确定是否确定了一个或多个差异。如果确定了一个或多个差异，则该方法继续到框2018。如果确定了没有差异，则该方法进行到框2106，并且处理逻辑基于牙齿点位没有改变而确定在一个或多个牙弓上没有识别出修复性对象。
576.在框2018处，处理逻辑确定所确定的差异指示修复性对象(例如，准备牙齿)。在框2110处，处理逻辑确定3d表面与先前生成的3d表面之间的准备牙齿的一个或多个改变区域。在框2112处，处理逻辑确定3d表面与先前生成的3d表面之间的准备牙齿的一个或多个未改变区域。
577.在框2114处，处理逻辑确定改变区域与未改变区域之间的边界。在框2116处，处理逻辑至少部分地基于改变区域与未改变区域之间的边界来确定边缘线。用于确定边缘线的一种或多种其它前述技术也可以与方法2100中所阐述的技术一起应用和组合，以更精确地确定边缘线。
578.图22a-图22c示出了自动生成患者的牙科假体和/或正畸的一个或多个处方的方法2200的一个实施例的流程图。在方法2200的框2202处，处理逻辑将来自口内扫描、3d表面(例如，其可包括3d表面到一个或多个平面上的投影)和/或2d图像的数据输入到经训练的ml模型中。在框2204处，ml模型输出3d表面、口内扫描和/或2d图像中的牙科对象的分类。在一个实施例中，这可包括在框2206处输出3d表面上的点的像素级或点级分类，并且将3d表面分割成牙龈、修复性对象、天然牙齿和/或其它牙科对象。
579.在框2210处，处理逻辑可选地使用本文上面讨论的自动化技术中的一种来确定用于生成口内扫描的口内扫描仪的用户的身份。在框2212处，处理逻辑确定关于口内扫描仪的用户的历史数据。这可包括确定处方已经发送到的牙科实验室、用于牙科假体的材料、用户过去是否已经执行了修复性和/或正畸治疗等。在框2214处，处理逻辑基于关于用户的历史数据来确定用户是否a)仅执行正畸牙科程序，b)仅执行牙齿修复性牙科程序，或c)执行正畸牙科程序和牙齿修复性牙科程序两者。
580.在框2216处，处理逻辑使用对框2204做出的决定并且在框2214处确定是开始修复性牙科程序工作流程还是开始正畸程序工作流程。如果处理逻辑确定开始修复性牙科程序工作流程，则该方法继续到框2218，并且处理逻辑开始修复性牙科程序工作流程以生成用于牙科假体的处方。如果处理逻辑确定开始正畸牙科程序工作流程，则该方法继续到框
2220，并且处理逻辑开始正畸牙科程序工作流程以生成用于正畸的处方。
581.该方法从框2218继续到框2222。在框2222处，处理逻辑确定待治疗的每一个牙齿的牙齿编号。例如，处理逻辑可以确定与每个识别出的准备牙齿和/或其它修复性对象相关联的牙齿编号。在框2224处，处理逻辑将所确定的(多个)牙齿编号添加到处方。
582.在框2226处，处理逻辑确定要用于治疗所述一个或多个牙齿的牙科假体的类型。在一个实施例中，这包括在框2228处确定修复性对象的几何形状。在框2230处，处理逻辑可以随后至少部分基于修复性对象的几何形状来确定镶嵌体、高嵌体、牙冠、义齿、贴片或牙桥是否适用于所述一个或多个牙齿。在一个实施例中，处理逻辑将(多个)修复性对象和/或周围牙齿的3d表面的数据输入到经训练的ml模型中，该ml模型输出对待使用的牙科假体的类型的预测。可替代地，处理逻辑可以基于修复性对象的尺寸、修复性对象的牙齿位置、其它修复性对象的牙齿位置、无牙区域是否在修复性对象与另一修复性对象之间等来应用一个或多个规则，以确定要使用哪种类型的牙科假体。在框2232处，处理逻辑将用于每一个检测到的修复性对象的牙科假体的类型的识别符添加到处方。
583.在框2236处，处理逻辑基于修复性对象(例如，包括修复性对象和/或周围牙齿的放置和/或几何形状)，来确定要使用的牙科假体的类型、和/或由牙医所使用的牙科实验室的历史统计、将处方发送到的推荐实验室。在框2238处，处理逻辑将推荐的牙科实验室添加到处方。所使用的牙科实验室的历史统计可包括发送给那些牙科实验室的修复性处方，其可包括诸如待制造的牙科假体的类型、牙科假体将被施加到的牙齿、一个或多个准备牙齿的表面形状和/或周围牙齿的表面形状、无牙区域是否存在、无牙区域的尺寸、患者的口腔是大、中还是小等细节。处理逻辑可以确定过去哪些处方和哪些案例细节被发送到哪些牙科实验室。基于该信息，处理逻辑可以确定医生过去已经向哪个牙科实验室发送的处方应该被发送当前处方。这可包括将修复性牙科处方分类为简单、中等和复杂，并且将简单案例分配给第一牙科实验室，将中等案例分配给第二牙科实验室，并将复杂案例分配给第三牙科实验室。在一个实施例中，处理逻辑将关于处方和/或患者案例细节的数据与相关联的所分配的牙科实验室一起输入到ml模型中，以训练ml模型来接收患者案例细节和/或处方，并且输出牙科实验室的预测以将处方分配到该牙科实验室。
584.在框2240处，处理逻辑确定a)由牙医用于牙科假体的材料的历史统计、b)由推荐的牙科实验室用于牙科假体的材料的历史统计、或c)在推荐的牙科实验室处可用的材料中的至少一个。在框2242处，处理逻辑基于a)由牙医用于牙科假体的材料的历史统计、b)由推荐的牙科实验室用于牙科假体的材料的历史统计、或c)在推荐的牙科实验室处可用的材料中的至少一个来选择用于牙科假体的材料。在框2244处，处理逻辑将所选材料添加到处方。
585.在框2246处，处理逻辑确定用于牙科假体的颜色。在一个实施例中，处理逻辑基于牙科假体将替换的牙齿的颜色来确定用于牙科假体的颜色。可以基于在打磨牙齿和/或去除牙齿以形成准备物之前生成的牙齿的彩色图像来确定待替换牙齿的颜色。额外地或可替代地，可以基于周围牙齿的颜色来确定牙齿的颜色，周围牙齿的颜色可从周围牙齿生成的彩色图像来确定。在框2252处，处理逻辑将牙科假体的颜色信息添加到处方。一旦生成了处方，医生就可以对其进行审阅，随后一旦批准就将其发送到指定的牙科实验室。
586.该方法从框2220继续到框2258。在框2258处，处理逻辑确定患者目标齿列的3d模型。在框2260处，处理逻辑确定用于中间正畸治疗阶段的3d模型。在框2262处，处理逻辑将
在框2258和2260处生成的3d模型添加到正畸治疗处方。
587.在框2264处，处理逻辑确定要用于生成针对正畸治疗的对准器的制造商。在框2266处，处理逻辑将制造商添加到处方。一旦处方被生成，其就可以被医生审阅，随后一旦批准就将其发送到指定的牙科实验室。
588.图23是示出自动生成牙科假体的处方的方法2300的一个实施例的流程图。可以执行方法2300以减少医生在生成牙科假体的处方之前需要执行的扫描量。通常，医生扫描包含修复性对象的整个牙弓，以便生成修复性对象和牙弓的剩余部分的精确3d模型。然而，实施例利用在创建准备牙齿之前或在安装另一类型的修复性对象之前生成的一个或多个先前生成的3d模型来生成3d模型。这使医生能够仅扫描准备牙齿或其它修复性对象以及在将修复性对象/准备物添加到牙弓之后的周围牙齿的多个部分，并且仍然获得牙弓的精确3d模型。
589.在方法2300的框2302处，处理逻辑基于牙弓的当前3d表面与牙弓的先前3d表面之间识别出的差异和/或基于修复性对象的识别来确定待治疗的一个或多个牙齿。在框2304处，处理逻辑确定所述一个或多个牙齿是准备牙齿或其它修复性对象。在一些实施例中，框2302和2304的操作可以颠倒，使得首先识别出修复性对象，并且该识别被用于确定哪些牙齿要被治疗。
590.在框2306处，处理逻辑使用当前3d表面生成包括准备牙齿和/或其它修复性对象的牙弓的3d模型的第一部分。在框2308处，处理逻辑使用先前生成的3d表面生成3d模型的剩余部分，其可以是预扫描3d模型或从在先前的患者访问时执行的口内扫描中生成的3d模型。
591.在框2310处，处理逻辑至少部分地基于先前生成的3d表面的描绘在牙齿被打磨或移除之前的牙齿的一部分来自动确定要放置在修复性对象上的牙科假体的外部表面。在框2312处，处理逻辑至少部分地基于在当前3d表面中的准备牙齿或其它修复性对象的表示来自动确定牙科假体的内部表面。在框2414处，处理逻辑使用所确定的外部表面和内部表面自动生成牙科假体的3d模型。
592.在框2318处，处理逻辑基于彩色图像确定邻近修复性对象的牙齿的颜色。处理逻辑可以额外地或替换地确定将从先前的3d模型更换的牙齿的颜色和/或与描绘待更换牙齿的先前的3d模型相关联的彩色图像。在框2320处，处理逻辑基于相邻牙齿的颜色和/或待被更换牙齿的颜色确定牙科假体的颜色。在框2322处，处理逻辑自动地将所确定的牙科假体的颜色添加到处方。
593.图24是示出自动确定何时开始和/或停止生成口内扫描的方法2400的一个实施例的流程图。在方法2400的框2402处，处理逻辑接收由口内扫描仪生成的2d图像。这些可以是例如2d彩色图像。在框2404处，处理逻辑确定2d图像是否描绘口腔的内部。在一个实施例中，在框2406处，处理逻辑将2d图像输入到被训练为将图像分类为口内图像或非口内图像的ml模型中。在框2408处，ml模型随后可以输出2d图像的分类，其指示那些2d图像是否是口内图像或者不是口内图像。
594.在框2410处，处理逻辑基于在框2410处的确定来确定2d图像是否描绘了口腔的内部。如果2d图像描绘了口腔的内部，则该方法继续到框2412。否则，方法继续到框2414。
595.在框2412处，处理逻辑使口内扫描仪开始生成口内扫描。处理逻辑还可以使口内
扫描仪开始输出光图案(例如，结构化光)，这可以协助确定一些类型的扫描仪的高度信息)。
596.在框2414处，处理逻辑使口内扫描仪停止生成口内扫描。处理逻辑还可以使口内扫描仪停止输出光图案。
597.在框2416处，处理逻辑确定是否已经接收到停止的用户输入(例如，经由用户按下扫描仪上的按钮以停止确定是否生成扫描)。如果没有接收到这样的用户输入，则该方法返回到框2404。如果接收到用户停止输入，则该方法结束。
598.图25是示出自动检测多咬合扫描情景的方法2500的一个实施例的流程图。在框2502处，处理逻辑接收描绘上牙弓与下牙弓之间的第一咬合关系的一个或多个第一口内扫描(或从第一口内扫描生成的第一3d表面和/或第一3d表面的一个或多个第一投影)，其中第一口内扫描是在第一时间生成的。在框2504处，处理逻辑接收描绘上牙弓与下牙弓之间的第二咬合关系的一个或多个第二口内扫描(或从第二口内扫描生成的第二3d表面和/或第二3d表面的一个或多个第二投影)，其中第二口内扫描是在第二时间生成的。在框2506处，处理逻辑将第一咬合关系与第二咬合关系进行比较。在框2508处，处理逻辑确定第一咬合关系与第二咬合关系之间的一个或多个几何差异。
599.在框2510处，处理逻辑确定第一时间与第二时间之间的时间差。
600.在框2512处，处理逻辑至少部分地基于几何差异和时间差来确定第一口内扫描和第二口内扫描是描绘患者的相同咬合还是患者的不同咬合(例如，多咬合情景)。例如，如果时间差小于时间差阈值，则第一和第二咬合关系可能针对相同咬合。然而，如果时间差大于或等于时间阈值，则存在第一和第二咬合关系描绘不同咬合的增加的可能性。额外地，第一咬合关系与第二咬合关系之间的差异越大，它们检测到不同的患者咬合的概率就越高。处理逻辑确定第一咬合关系与第二咬合关系之间的几何差异是否超过一个或多个几何差异阈值。如果几何差异超过阈值，则不同咬合关系是针对不同咬合的可能性增加。在一个实施例中，如果几何差异超过几何差异阈值，则处理逻辑确定所述两个咬合关系针对不同患者咬合。
601.在一个实施例中，时间差阈值和/或几何差异阈值是可变阈值。例如，时间差阈值的值可以取决于测量到的咬合关系之间的几何差异。类似地，几何差异阈值的值可以取决于测量到的时间差。在一个实施例中，如果时间差超过时间差阈值并且咬合差异超过咬合差异阈值，则处理逻辑确定两个咬合关系针对不同患者咬合。在一个实施例中，如果时间差小于时间差阈值并且几何差异小于几何差异阈值，则处理逻辑确定所述两个咬合关系针对相同的患者咬合。
602.在一个实施例中，处理逻辑使用经训练的ml模型来确定两个咬合关系是针对相同的患者咬合还是针对不同的患者咬合。ml模型可以基于患者咬合的口内扫描对、患者牙齿的3d表面对和/或这种3d表面的投影的对来进行训练。每对可包括指示所述两个扫描或表面是用于患者的相同患者咬合还是用于患者的不同咬合的标签。因此，ml模型可以被训练为接收一对扫描、3d表面和/或3d表面的投影，并且针对该对扫描确定它们表示相同的患者咬合还是不同的患者咬合。第一口内扫描和第二口内扫描(或由这些口内扫描和/或这些3d表面的投影生成的3d表面)可以被输入到所述经训练的ml模型中，该ml模型可以输出关于第一和第二口内扫描(或第一和第二3d表面)是针对同一患者咬合还是针对不同患者咬合
的预测。
603.在框2514处，处理逻辑确定所述两个咬合关系是针对相同的患者咬合还是针对不同的患者咬合。如果所述两个咬合关系是针对相同的患者咬合，则方法继续到框2516。如果所述两个咬合关系是针对不同的患者咬合，则方法进行到框2518。
604.在框2516处，处理逻辑合并来自第一和第二口内扫描(或来自第一和第二3d表面)的数据以生成描绘患者咬合的单个3d表面。
605.在框2518处，处理逻辑可以生成描绘来自第一口内扫描的第一患者咬合的第一3d表面。在框2520处，处理逻辑可以生成描绘来自第二口内扫描的第二患者咬合的第二3d表面。
606.图26是示出自动确定患者身份的方法2600的一个实施例的流程图。在框2602处，处理逻辑可以确定当前日期和时间。处理逻辑还可以确定正在执行扫描的当前牙科椅。在框2604处，处理逻辑可以通过访问日历软件、办公室管理软件和/或其它软件来确定针对当前日期和时间(和/或当前座椅)安排的已知患者。这样的软件可以包含患者细节，诸如患者姓名、年龄、性别、过敏和/或其它信息。
607.在框2606处，处理逻辑可以将从在当前扫描会话期间生成的接收到的口内扫描生成的3d表面或3d模型与存储的已知患者的3d模型进行比较。基于这样的比较，处理逻辑可以确定在当前3d表面或3d模型与一个或多个存储的3d模型之间是否存在匹配。如果找到这样的匹配，则与存储的3d模型相关联的已知患者也是当前正在被扫描的患者的可能性很高。
608.在框2608处，处理逻辑可以基于已知的安排的患者和/或当前3d表面或3d模型和与已知患者相关联的存储的3d模型之间的匹配来确定当前患者的身份。
609.在框2610处，处理逻辑可以将患者信息添加到用于正畸治疗的处方和/或用于修复性治疗的处方和/或将(多个)处方与识别出的患者相关联。
610.图27是示出自动确定口内扫描仪的用户的身份的方法2700的一个实施例的流程图。在方法2700的框2702处，处理逻辑接收口内扫描仪的用户的生物特征数据。这样的生物特征数据可包括用户说话的音频数据、用户面部的图像、用户指纹的图像或扫描、用户视网膜的图像或扫描等。例如，在框2704处，处理逻辑可以接收由口内扫描仪或由通过有线或无线连接连接到口内扫描仪的计算装置的相机生成的用户的面部的图像。
611.在框2706处，处理逻辑从生物特征数据中自动确定口内扫描仪的用户的身份。这可包括在框2708处将用户的面部的图像输入到被训练以执行(例如，特定牙科诊所的医生的)面部识别的经训练的ml模型中，并且在框2710处由ml模型输出用户身份的指示。可以从与牙科诊所相关联的可能用户的列表确定输出。如果没有识别出与用户的匹配，则ml模型可以输出未知用户指示。
612.图28是示出自动检测口内扫描仪的脏光学表面或口内扫描仪上的保护性套筒或附件的方法2800的一个实施例的流程图。在方法2800的框2802处，处理逻辑接收口腔的口内扫描和/或2d图像，其中扫描和/或图像由口内扫描仪生成。扫描可以通过由口内扫描仪生成相干光或非相干光来生成，该相干光或非相干光从口内对象反射回到口内扫描仪中并且被检测以生成口内扫描和/或2d图像。光可包括结构化光和/或非结构化光。口内扫描仪可以插入到一次性套筒中，该一次性套筒可以用作保护口内扫描仪以免与患者口腔接触的
保护性套筒。
613.在框2804处，针对每一个口内扫描，处理逻辑确定口内扫描中的点的数量，点的数量表示与口内扫描仪相关联的光学表面的脏区域。这样的光学表面可包括扫描仪的透镜、窗口、镜子等和/或口内扫描仪的保护性套筒或保护性附件。
614.在一个实施例中，口内扫描包括高度信息(例如，口内扫描可以是高度图，其可以是2d单色图像，其中每一个像素包括高度值)，并且在框2806处，处理逻辑基于高度信息识别表示光学表面的脏区域的点。例如，处理逻辑可以将针对像素检测到的高度与一个或多个高度阈值(或深度阈值)进行比较。如果高度大于高度阈值(或者深度小于深度阈值)，则这可以指示检测到的表面不是口内表面上的点，而是与扫描仪相关联的光学表面上的脏点。因此，具有大于高度阈值的高度(或小于深度阈值的深度)的点可以被识别为脏点。
615.在一个实施例中，处理逻辑识别多个口内扫描和/或图像之间的不动点。当口内扫描仪被移动并且生成多个扫描和/或图像时，扫描/图像上的所有点或像素应该具有变化的值。例如，依次播放的扫描/图像的视频应该示出口内对象相对于扫描仪的运动。然而，脏表面在扫描和/或图像之间将是相同的。因此，不动表面可指示脏像素。因此，处理逻辑可以将多个扫描一起进行比较，以识别这些扫描之间的不动像素。如果扫描之间的大部分像素显示运动，则那些不显示运动的像素可以被识别为脏像素。
616.在一些实施例中，距离和非移动像素信息可以一起用于确定哪些像素与扫描仪的脏区域相关联。
617.在一个实施例中，处理逻辑将口内扫描和/或2d图像输入到被训练以识别扫描仪的脏光学表面的经训练的ml模型中。ml模型可以输出包括每一个像素作为脏点或清洁点的像素级分类的示意图(例如，概率图)。
618.在框2808处，处理逻辑确定表示口内扫描中的脏区域的点的数量是否满足一个或多个尺寸阈值。一个尺寸阈值可以是总的脏像素计数阈值。如果脏点的总数超过总的脏计数阈值，则这可以指示扫描仪的光学表面是脏的。在一个实施例中，总的脏像素计数阈值可以是例如5000至10000个像素。在一个实施例中，总的脏像素计数阈值被表示为像素的总数的百分比，并且是口内扫描仪的像素的总数的约1/8至约1/4(或约1/6至约1/3)。一个尺寸阈值可以是连续脏区域阈值。处理逻辑可以确定口内扫描和/或2d图像中的一个或多个脏区域，其中脏区域是一起形成连续的脏区域的所有相邻脏像素的区域。如果任何连续脏区域的尺寸超过连续脏区域阈值，则这可以指示扫描仪是脏的。在一些实施例中，不同的连续脏区域阈值与口内扫描和/或2d图像的不同区域相关联。例如，如果大的脏区域在扫描的中心(即，在扫描仪的视场的中心)，则与如果大的脏区域在扫描的外围相比，这可能更多地损害扫描。因此，第一脏区域尺寸阈值可以应用于口内扫描和/或2d图像的第一区域中的脏区域(例如，扫描/图像的中心附近)，并且第二脏区域尺寸阈值可以应用于口内扫描和/或2d图像的第二区域中的脏区域(例如，扫描/图像的边缘附近的耳朵)。在一个实施例中，第一脏区域尺寸阈值小于(较少脏像素)第二脏区域尺寸阈值。
619.如果表示(多个)口内扫描和/或2d图像中的脏区域的点的数量不满足尺寸阈值中任何一个，则该方法继续到框2810。如果表示(多个)口内扫描和/或2d图像中的脏区域的点的数量满足尺寸阈值中的一个或多个，则该方法继续到框2814。
620.在框2814处，处理逻辑可以确定是否已经针对至少阈值数量的口内扫描和/或图
像识别出相同的脏点或相同的脏区域。当生成口内扫描并且口内扫描仪在患者口腔内移动时，在每一个扫描时检测到的表面应该不同。然而，对于每一个扫描，脏光学表面通常将显示相同的脏表面。因此，通过跨多个口内扫描和/或图像比较脏像素和/或脏区域，能够提高脏区域确定的精度。在一个实施例中，处理逻辑确定在移动窗口内的大部分图像或扫描中是否检测到相同的一个或多个脏区域。例如，处理逻辑可以确定10个最近扫描或图像中的至少7个是否包括相同的脏区域。处理逻辑还可以确定多个扫描之间的脏区域的中值或平均值，并且基于该平均值或中值来确定脏区域。如果对于阈值数量的口内扫描和/或图像识别出相同的脏点和/或脏区域，或者满足基于图像组合的脏区域的其它条件中的一个条件，则该方法继续到框2816。如果对于至少阈值数量的扫描没有识别出相同的脏点和/或脏区域，或者不满足基于图像组合的脏区域的一个或多个其它条件，则该方法进行到框2810。
621.在框2810处，处理逻辑确定口内扫描仪不包括被灰尘、尘垢或碎屑遮挡的任何光学表面。
622.在框2816处，处理逻辑确定口内扫描仪的光学表面被灰尘、尘垢或碎屑被遮挡。在一些实施例中，处理逻辑可以基于测量到的高度/深度来具体地确定哪个光学表面是脏的。例如，保护性套筒的窗口可以在已知的第一高度处，扫描仪的窗口可以在已知的第二高度处，折叠镜可以在已知的第三高度处，并且透镜可以在已知的第四高度处。脏区域的测量高度可以与光学表面中的每一个的已知高度进行比较，并且可以将具有与测量高度匹配或接近的高度的光学表面确定为脏光学表面。
623.在框2820处，处理逻辑生成扫描仪的光学表面被遮挡的通知。这可包括生成被遮挡的特定光学表面的通知，如果这样的信息是已知的。例如，处理逻辑可以输出保护性套筒或保护性附件是脏的通知并更换保护性套筒或保护性附件。
624.在框2822处，处理逻辑可以执行以下各项中的一个或多个：a)拒绝当光学表面脏时进行的口内扫描中的一个或多个；b)使用口内扫描来确定口腔中的牙齿点位的3d表面，其中与表示光学表面的脏区域的点相关联的那些像素不用于确定3d表面；或c)丢弃表示脏区域的点的数据。例如，一旦识别出与脏区域相关联的像素，仍然可以通过从那些区域排除数据来使用包括那些脏区域的口内扫描。这可以有效地减小扫描仪的视场。对于一些扫描仪设计，脏区域也可能负面地影响由相邻的非脏区域所确定的深度信息的精度。
625.在一些情况下，如果光学表面过脏而不能生成高质量的3d表面，则处理逻辑可以阻止将从这些扫描中生成的3d模型发送到牙科实验室和/或可以阻止进一步扫描，直到脏的扫描仪被清洁和/或脏的保护性套筒被更换为止。
626.在一个实施例中，处理逻辑基于一个或多个脏区域的尺寸和/或一个或多个脏区域的位置来确定要执行哪个动作。例如，处理逻辑可以确定脏像素区域的数量是否超过脏区域尺寸阈值。如果脏像素区域的数量超过脏区域尺寸阈值，则处理逻辑可以确定精确扫描不再可能，并且可以停止进一步扫描。在一个实施例中，脏区域尺寸阈值是口内扫描仪的像素总数的约1/4至1/2。
627.随后该方法结束。当接收到进一步的口内扫描和/或2d图像时，可以重复方法2800。
628.图29是示出了用于确定如何使用与光学表面的脏区域相关联的口内扫描的像素的方法2900的一个实施例的流程图。即使扫描仪的光学表面是脏的，扫描仪仍然可以用于
生成可用的口内扫描。然而，简单地清洁扫描仪、清洁扫描仪的保护性套筒或附件、或更换扫描仪的保护性套筒或附件可能更有效。
629.在方法2900的框2902处，处理逻辑从一个或多个口内扫描和/或由口内扫描仪生成的2d图像识别表示口内扫描仪的光学表面的脏区域的点的集群。在框2904处，处理逻辑确定表示脏区域的点的集群的尺寸和/或形状。在一些情况下，处理逻辑可能不正确地识别牙齿点位的脏区域。因此，在一个实施例中，处理逻辑执行脏区域的形状评估以确定脏区域是否具有牙科对象的形状或与光学表面上的灰尘或尘垢(例如，血液)相关联的形状。例如，灰尘和尘垢可以具有随机形状或泼溅或液滴状形状。额外地，牙科对象可以具有预定的尺寸范围。
630.在框2906处，处理逻辑确定尺寸或形状是否指示牙齿点位或脏表面。如果该集群的尺寸和/或形状指示脏表面，则该方法继续到框2910，并且处理逻辑确认该集群为脏表面。随后，处理逻辑可以执行以下各项中的一个或多个：a)拒绝在光学表面脏时进行的口内扫描中的一个或多个；b)使用口内扫描来确定口腔中的牙齿点位的3d表面，其中与表示光学表面的脏区域的点相关联的那些像素不用于确定3d表面；或c)丢弃表示脏区域的点的数据。
631.在框2906处，如果集群的尺寸和/或形状指示牙科对象，则该方法继续到框2908。在框2908处，处理逻辑可以使用口内扫描来确定牙齿点位的3d表面。与和脏区域相关联的点相关联的那些像素可以在3d表面的确定中使用。
632.图30是示出使用经训练的机器学习模型来识别口内扫描仪的光学表面的脏区域或口内扫描仪上的保护性套筒的方法3000的一个实施例的流程图。在框3002处，处理逻辑将口内扫描和/或2d图像输入到已被训练以识别输入数据中的脏区域(例如，口内扫描中由于脏光学表面而被遮挡的区域)的经训练的ml模型中。处理逻辑可以将单个扫描或多个扫描输入到ml模型中。在框3004处，ml模型可以输出示意图，该示意图对于口内扫描和/或图像中的每一个像素/点包括关于该像素是否表示光学表面的脏区域的指示。可替代地，ml模型可以输出脏光学表面或清洁光学表面的指示(例如，清洁相对于脏光学扫描仪的扫描或图像级分类)。在一个实施例中，ml模型输出脏度得分，其中得分越高，口内扫描仪就越脏。
633.图31是示出用于确定口内扫描或图像中的哪些像素表示口内扫描仪的光学表面的脏区域或口内扫描仪上的保护性套筒的方法3100的一个实施例的流程图。在一个实施例中，方法3100在方法2800的框2804处执行。在框3102处，处理逻辑针对具有小于或等于距离阈值的距离的口内图像中的每一个点执行一系列操作。
634.在一个实施例中，在框3104处，处理逻辑选择点(例如，像素)。在框3106处，处理逻辑确定在平面上的点的阈值接近度内的周围点。在框3108处，处理逻辑确定在阈值接近度内的那些点的距离。在框3110处，处理逻辑确定具有小于距离阈值的距离的周围点的数量。
635.在框3112处，处理逻辑确定具有超过距离阈值的距离的周围像素的量是否超过数量阈值。在框3114处，如果具有超过距离阈值的距离的周围点的数量超过数量阈值，则该方法继续到框3116，并且所选择的点被分类为被遮挡。在框3114处，如果具有超过距离阈值的距离的周围点的数量小于数量阈值，则该方法继续到框3118，并且将所选择的点分类为未被遮挡。
636.图32a-图32b示出了根据本公开一个实施例的具有脏光学表面的口内扫描仪的探
头(还称为探测构件)3200。在一个实施例中，探测构件3200由透光材料制成，诸如玻璃或塑料。在一个实施例中，探测构件3200用作棱镜。探测构件3200可包括前段3271和后段3272，它们以光学透射的方式在3273处紧密结合(例如，粘合)在一起。探测构件3200可以另外包括倾斜面，该倾斜面由可以是折叠镜的反射镜层3275覆盖。限定感测表面3277的窗口3276可以以留出空气间隙3278的方式设置在前段3271的底端部处。窗口3276可以通过未示出的保持结构来固定到位。诸如光线或光束阵列的光3292可以通过探头3200、离开反射镜3275、通过窗口3276透射到成像对象(诸如牙齿3210)上。光3292可以通过窗口3276反射回来，离开发射镜3275，返回通过探头3200，并且到达探测器(未示出)上。在一个实施例中，光3292在探测构件的壁处以其中壁是全反射的角度反射，并且最终在镜面层305上反射出去通过感测面307。光3292可以聚焦在非平坦焦面或平坦焦面上，其位置可以通过口内扫描仪的聚焦光学器件(在该图中未示出)改变。
637.在一些实施例中，保护性套筒被设置在口内扫描仪的头部上(例如，在探头3200的至少一部分上)。保护性套筒可包括可以与口内探头3200的窗口3277对齐(对准)的额外的窗口3235。窗口3277、镜子3275和/或窗口3235可以分别是随着时间的推移可能变脏的口内扫描仪的光学表面。例如，窗口3235可能被患者血液和/或唾液弄脏。这可能将遮挡物引入到生成的口内扫描和/或图像(例如，2d彩色图像和/或niri图像)的一个或多个区域。如图所示，窗口3277包括第一脏区域3280，并且窗口3235包括第二脏区域3240。这些脏区域3280、3235一起(或单独地)引起探头3200的一些光输出被阻挡或遮挡。这会干扰由口内扫描仪生成的扫描，并且降低这种口内扫描的精度。
638.在实施例中，(例如，镜子3275、窗口3277和/或窗口3235的)光学表面距探测器和/或聚焦透镜的距离可以是已知的。因此，被检测为处于光学表面的已知距离处的点可以指示光学表面脏或者有阻碍物。
639.在测量期间，光(例如，光线或光束的阵列)可以从前段3271投射出。如能够看到的，脏区域2380、3235在光束3292的路径中。因此，光束3992被反射离开脏区域3280、3240，这提供了脏区域3280、3240上的点的深度(z轴)测量。光学表面通常比被扫描的牙科对象显著地靠近探头。因此，在实施例中，具有小于阈值的距离/深度的点可以被识别为脏点。
640.图33示出了根据本公开一个实施例的具有脏表面的口内扫描仪3300。口内扫描仪3300包括发射光(例如，聚焦光束或聚焦光束的阵列)的光源和/或照明模块3302。光通过偏振器(未示出)并通过单向镜子或分束器(例如，偏振分束器)3305，其使光通过。光可以在分束器之前或之后穿过图案，以使光变成图案化光(patterned light)。
641.沿着单向镜子或分束器3305之后的光的光路的是光学器件，其可包括一个或多个透镜组，诸如透镜组3325、透镜组3315和透镜组3320。任何透镜组可以仅包括单个透镜或多个透镜。透镜组中的一个(例如，透镜组3315)可包括至少一个移动透镜。
642.光可以穿过内窥镜探测构件3325，该构件可包括刚性的透光介质，该介质可以是在其内限定了光传输路径的中空物体或由透光材料制成的物体，例如玻璃体或管。在一个实施例中，内窥镜探测构件3325包括诸如折叠棱镜的棱镜。在其端部处，内窥镜探测构件3325可包括确保全内反射的类型的镜子3330。因此，镜子3345可以将光束阵列朝向牙齿段或其它对象引导。内窥镜探测构件3325因此发射光，该光可选地穿过一个或多个窗口3335、3340，随后到达到口内对象的表面上。
643.光可包括在笛卡尔坐标系中布置在x-y平面中的沿着z轴传播的光束阵列。由于入射光束到达的表面是不平坦表面，因此在不同的(xi，yi)位置处，照亮的光斑沿着z轴彼此移位。因此，当在一个位置处的光斑可以在共焦聚焦光学器件的焦点的同时，在其它位置处的光斑可以是失焦的。因此，聚焦光斑的返回光束的光强度将处于其峰值，而其它光斑处的光强度将不处于峰值。因此，对于每一个照亮的光斑，在沿着z轴的不同位置处进行光强度的多次测量。对于每一个这样的(xi，yi)位置，可以得到强度对距离(z)的导数，产生最大导数zi，即z0是对焦距离。
644.光从口内对象反射回来，并穿过窗口3340、3335(如果它们存在的话)，从镜子3330反射回来，穿过光学系统(例如，透镜组3320、3315、3325，并被分束器3305反射到探测器3310上。探测器3310是具有感测元件的矩阵的图像传感器，每一个感测元件分别表示扫描或图像的像素。在一个实施例中，探测器是电荷耦合装置(ccd)传感器，在一个实施例中，探测器是互补金属氧化物半导体(cmos)型图像传感器。其它类型的图像传感器也可用于探测器3310。在一个实施例中，探测器3310检测每一个像素处的光强度，其可用于计算高度或深度。
645.口内扫描仪3300的任何光学表面可能变脏，诸如窗口3335、3340、镜子3330、透镜组3320、3315、3325的透镜、分束器3305等。最常见的是，窗口3335、3340(例如，口内扫描仪的窗口3335或口内扫描仪3300上的保护性套筒的窗口3340)或镜子3330中的一个或多个变脏。例如，在图33中，在镜子3330上示出脏点3345。
646.图33示出了可以在实施例中使用的一种类型的口内扫描仪(例如，共焦口内扫描仪)。然而，可以替代地使用其它类型的口内扫描仪，诸如不应用共焦扫描的口内扫描仪。一种这样的口内扫描仪在标题为“采用多个微型相机和多个微型图案投影器的口内3d扫描仪”的美国公开号no.2019/0388193中描述，其通过引用并入本文中。
647.图34a-图34b示出了由具有脏表面和/或脏套筒的口内扫描仪所拍摄的图像。图34a示出了由脏的口内扫描仪拍摄的第一图像3400，图34b示出了由脏的口内扫描仪拍摄的第二图像3405。如图所示，图像3400、3405中的每一个示出患者的不同牙齿。然而，图像3400、3405两者示出了相同的脏区域3410、3415、3420。图像3400、3405之间的这种匹配脏区域可用于以如上文所讨论的高精度自动识别脏区域。
648.图35是示出使用将接收牙科假体的牙齿点位的扫描和牙齿点位的印模或预先存在的牙科假体的凹版表面的扫描来确定牙科假体的3d模型的方法3500的一个实施例的流程图。在框3502处，处理逻辑接收准备牙齿的多个第一扫描(例如，口内扫描)。在框3504处，处理逻辑使用多个第一扫描(例如，通过将多个第一扫描拼接在一起)确定准备牙齿的第一3d表面。
649.在框3506处，处理逻辑接收对用于准备牙齿的临时牙科假体(例如，临时牙冠)的凹版表面或准备牙齿的印模的多个第二扫描。印模可包括弹性体印模材料，该弹性体印模材料被放置在准备牙齿上，随后在就位时硬化。在框3508处，处理逻辑确定使用多个第二扫描来表示临时牙科假体的凹版表面或准备牙齿的印模的第二3d表面。
650.在框3509处，处理逻辑确定第二3d表面是凹版表面。凹版表面可以具有与患者口腔中的牙齿点位的几何形状可区域别的独特几何形状。例如，凹版表面可以具有总体上凹形的表面(例如，其中凹版表面平均是凹形的)，并且牙齿(包括准备牙齿)和修复性对象的
表面可以具有总体上凸形的表面(例如，其中牙齿/修复性对象的表面平均是凸形的)。在一个实施例中，第二3d表面或第二3d表面的一个或多个投影被输入到经训练的ml模型中，该ml模型输出指示第二3d表面是凹版表面的分类。类似地，第一3d表面或第一3d表面的投影可以被输入到ml模型中，该ml模型可以输出第一3d表面不是凹版表面的分类。
651.在框3510处，处理逻辑可以反转凹版表面。反转的凹版表面应近似匹配第一3d表面。
652.在框3512处，处理逻辑将第一3d表面与第二3d表面进行配准。可以使用本文讨论的任何配准技术和/或其它配准技术来执行这样的配准。可以执行配准以确定第一3d表面与第二3d表面之间的重叠区域。在一个实施例中，处理逻辑基于用户输入和/或指示第一3d表面和第二3d表面与同一准备牙齿相关联的一些线索，知道尝试第一3d表面和第二3d表面之间的配准。
653.在一个实施例中，处理逻辑知道哪个患者与第一3d表面和第二3d表面相关联，但是不具有关于患者的哪个牙齿由第二3d表面表示的信息。因此，处理逻辑可以将反转的第二3d表面与患者的多个准备物的3d表面进行比较，直到找到匹配为止。一旦找到匹配，处理逻辑就可以确定与第二3d表面相关联的特定牙齿。
654.在一个实施例中，处理逻辑不知道哪个患者与第二3d表面相关联，但是知道哪个患者与第一3d表面相关联。处理逻辑可以将反转的第二3d表面与多个患者的准备物的3d表面进行比较，直到在第二3d表面与第一3d表面之间找到匹配为止。一旦找到匹配，处理逻辑就可以确定与第二3d表面相关联的患者以及可选地确定与第二3d表面相关联的牙齿编号。
655.在框3514处，处理逻辑确定第一和第二3d表面中的边缘线。额外地，处理逻辑可以通过将来自第一3d表面和第二3d表面的数据合并在一起来生成第三3d表面。处理逻辑随后可以确定第三3d表面中的边缘线。在一个实施例中，通过将第一3d表面或第一3d表面的一个或多个投影输入到经训练的ml模型中来确定第一3d表面的边缘线，该模型输出第一3d表面上的点的一个或多个牙科分类的像素级或点级分类，其中一个是边缘线牙科分类。类似地，通过将反转的第二3d表面或第二3d表面的一个或多个投影输入到所述经训练的ml模型中来确定第二3d表面的边缘线，该模型输出第二3d表面上的点的一个或多个牙科分类的像素级或点级分类，其中一个是边缘线牙科分类。可替代地，可以通过将第二3d表面或第二3d表面在一个或多个平面上的一个或多个投影输入到经训练的ml模型中来确定非反转第二3d表面的边缘线。ml模型可以已经在牙科假体和/或弹性体印模的凹版表面的扫描上被训练。额外地，用于训练ml模型的训练数据可包括准备牙齿的扫描的倒置。可以通过将第三3d表面或第三3d表面的一个或多个投影输入到所述经训练的ml模型中来确定第三3d表面的边缘线，该模型输出第三3d表面上的点的一个或多个牙科分类的像素级或点级分类，其中一个是边缘线牙科分类。在一个实施例中，处理逻辑应用方法1700的一个或多个操作来确定边缘线。
656.在一个实施例中，处理逻辑从第一、第二和/或第三3d模型(例如，3d模型的一个或多个图像或高度图)生成适当的数据输入。这些输入可包括在扫描期间产生的对边缘线检测有用的任何信息。输入可包括图像数据，诸如提供每一个像素位置处的深度值的2d高度图，和/或作为给定2d模型投影的实际或估计颜色的彩色图像。3d输入也可被使用，并且包括笛卡尔位置和顶点(即网格)之间的连接性。每一个图像可以是通过将表示特定牙齿的3d
模型的一部分投影到2d表面上而生成的2d或3d图像。可以通过将3d模型投影到不同的2d表面上来生成不同的图像。在一个实施例中，一个或多个生成的图像可包括高度图，该高度图提供图像的每一个像素的深度值。可替代地或额外地，可以使用用于生成3d模型的口内图像。生成的图像和/或接收到的口内图像可以由已经被训练以识别准备牙齿上的边缘线的机器学习模型来处理。机器学习模型可以输出概率图，该概率图针对输入到机器学习模型中的图像或3d数据的每一个像素指示该像素或表面表示边缘线的概率。在使用图像的情况下，概率图随后可以被投影回到3d模型上以将概率值分配给3d模型上的点。随后，可以应用成本函数以使用分配给3d模型上的点的概率值找到边缘线。也可以使用其它技术来基于所分配的概率值计算边缘线。
657.在框3516处，处理逻辑可以确定第一3d表面、第二3d表面和/或第三3d表面中的每一个中的边缘线的一段或多段。段可以是边缘线的连续部分。在框3518处，处理逻辑为所述一段或多段中的每一段确定是使用第一3d表面、第二3d表面还是第一3d表面和第二3d表面的组合(例如，第三3d表面)。在一个实施例中，一起执行框3516和3518的操作，并且作为在框3518处执行的操作的结果来确定段。
658.在一个实施例中，处理逻辑为第一3d表面中的边缘线的每一个段和第二3d表面中的边缘线的每一个段确定一个或多个边缘线质量得分。处理逻辑还可以确定第三3d表面的每一个段的边缘线质量得分。每一个边缘线质量得分可以基于使用成本函数计算的边缘线(或边缘线的段)的成本值。在一个实施例中，确定整个边缘线的边缘线质量得分。在一个实施例中，计算多个额外的边缘线质量得分，其中每一个边缘线质量得分用于边缘线的特定段。
659.所选择的段可以是产生最低组合成本值的那些段。例如，来自第一3d表面的第一段、来自第二3d表面的第二段和来自第三3d表面的第三段可以组合以产生具有最佳成本函数值的边缘线，并且因此可以被选择。
660.在一个实施例中，处理逻辑基于那些3d表面上的点的深度和/或3d表面在那些点处的曲率，为边缘线的每一个段确定使用哪个3d表面。图38示出了一种使用深度和/或曲率来选择哪些表面用于边缘线的段的方法。
661.在框3520处，处理逻辑基于针对边缘线的一段或多段确定是使用第一3d表面、第二3d表面还是第一3d表面和第二3d表面的组合，生成准备牙齿的3d模型。在框3522处，处理逻辑可以标记3d模型中的边缘线。
662.在实施例中，处理逻辑可以组合机器学习(例如，如上所述并参照图37)以及考虑距离和/或曲率(例如，如参照图38所阐述的)的一个或多个规则的使用，来选择哪些3d表面用于边缘线的段。
663.图36是示出自动确定与牙齿点位的凹版表面的3d表面配准的准备牙齿的3d表面的方法3600的一个实施例的流程图。在框3600处，处理逻辑将牙科假体的凹版表面或准备牙齿的印模的第二3d表面与单个患者(如果与第二3d表面相关联的患者是已知的)的多个3d模型或与多个患者(如果与第二3d表面相关联的患者是未知的)的3d模型进行比较。在框3604处，处理逻辑基于该搜索找到第二3d表面和第一3d模型中的第一3d表面之间的匹配。在框3606处，处理逻辑可以基于第二3d表面与其匹配的第一3d表面的已知牙齿编号来确定第二3d表面的牙齿编号。在框3608处，处理逻辑可以基于与第一3d表面相关联的患者确定
与第二3d表面相关联的患者。
664.图37是示出确定使用哪些3d表面来生成准备牙齿的3d模型中的边缘线的段的方法3700的一个实施例的流程图。在框3702处，处理逻辑针对边缘线的一段或多段中的每一段确定在使用准备牙齿的第一3d表面的情况下的该段的第一质量评级、在使用为准备牙齿或准备牙齿的印模设计的临时假体的凹版表面的第二3d表面的情况下的该段的第二质量评级、以及可选地在使用第一3d表面和第二3d表面的组合的情况下的该段的第三质量评级。可以使用如上所述的一个或多个机器学习模型和成本函数来进行选择。不同的成本值可以与第一选项(将第一3d表面用于段)、第二选项(将第二3d表面用于段)和第三选项(将第一和第二3d表面的组合用于段)中的每一个相关联，其中每一个成本值表示质量评级。当包括边缘线的所有段的成本时，可以选择产生成本函数的最低组合值的选项。在框3704处，处理逻辑通过从第一质量评级、第二质量评级和第三质量评级选择与最高质量评级(例如，最低成本函数值)相关联的选项来针对边缘线的每一段确定是使用第一3d表面、第二3d表面还是第一3d表面与第二3d表面的组合。
665.图38是示出用于确定使用哪些3d表面来生成准备牙齿的3d模型中的边缘线的段的方法3800的一个实施例的流程图。在方法3800的框3805处，处理逻辑确定用于一对3d表面的冲突表面，其中3d表面中的第一个是通过扫描准备牙齿生成的，并且3d表面中的第二个是通过扫描用于准备牙齿的牙科假体(例如，临时牙冠)的凹版表面或准备牙齿的弹性体印模生成的。在框3810处，处理逻辑针对第一3d表面的冲突表面确定距离口内扫描仪的探头的第一距离(还称为第一深度和/或第一高度)。第一深度可以是基于第一3d表面的一些或所有像素的深度或3d表面到平面上的投影的组合深度值(例如，平均深度或中值深度)。在框3815处，处理逻辑为第一3d表面确定冲突表面的第一平均曲率(或第一高斯曲率)。
666.在框3820处，处理逻辑为第二3d表面的冲突表面确定距离口内扫描仪的探头的第二距离(还称为第二深度和/或第二高度)。第二深度可以是基于第二3d表面的一些或所有像素的深度或第二3d表面在第一3d表面可能已经被投影到的同一平面上的投影的组合深度值(例如，平均深度或介质深度)。在框3825处，处理逻辑为第二3d表面的冲突表面确定第二平均曲率(或第二高斯曲率)。
667.在框3830处，处理逻辑将第一距离和/或第一平均曲率(或第一高斯曲率)与第二距离和/或第二平均曲率(或第二高斯曲率)进行比较。在框3835处，处理逻辑确定a)第一距离与第二距离之间的第一差、和/或b)第一平均曲率(或第二高斯曲率)与第二平均曲率(或第二高斯曲率)之间的第二差。
668.在框3850处，处理逻辑确定以下各项中的一个或多个：a)第一差是否大于第一差阈值，或者b)第二差是否大于第二差阈值。如果第一差小于第一差阈值和/或第二差小于第二差阈值，则该方法可以进行到框3875。
669.在框3875处，处理逻辑将第一3d表面和第二3d表面的组合用于冲突表面。这可包括，例如，对于冲突表面将第一3d表面与第二3d表面求平均值。第一和第二3d表面可以采用加权或非加权平均进行平均。例如，具有较大距离测量(例如，较大高度测量或较小深度测量)的3d表面可以被分配比具有较小距离测量(例如，较小高度测量或较大深度测量)的3d表面更高的权重。
670.在框3850处，处理逻辑可以对于冲突表面确定哪个3d表面具有更大的距离和/或
更大的平均曲率(或更大的高斯曲率)。如果对于冲突表面，第一3d表面具有比第二3d表面更大的距离和/或更大的平均曲率，则该方法继续到框3855。如果对于冲突表面，第二3d表面具有比第一3d表面更大的距离和/或更大的平均曲率，则该方法继续到框3865。
671.在框3855处，处理逻辑丢弃和/或忽略冲突表面的第二3d表面数据。在框3860处，当生成准备牙齿的虚拟3d模型时，处理逻辑使用第一3d表面数据而不使用冲突表面的第二3d表面数据。
672.在框3865处，处理逻辑丢弃和/或忽略冲突表面的第一3d表面数据。在框3870处，当生成用于准备牙齿的虚拟3d模型的3d表面时，处理逻辑使用第二3d表面数据而不使用冲突表面的第一3d表面数据。
673.图39示出了从两个不同的3d表面选择点以生成具有清晰边缘线的准备牙齿的3d模型。图39示出了根据一个实施例的包括准备牙齿和周围龈缘的牙齿点位的冲突扫描数据的解决方案。在图39中，生成准备牙齿的第一3d表面，并且生成用于准备牙齿的牙科假体的凹版表面或准备牙齿的印模的第二3d表面。第二3d表面被反转，随后与第一3d表面3981配准。牙科假体或印模的凹版表面的3d表面包括被暴露的边缘线3994的表示。第一3d表面由在边缘线3994被龈缘覆盖时所进行的扫描生成。第二3d表面示出了表面3982、3996，其包括暴露的边缘线3994。第一3d表面包括表面3996、3984，其包括覆盖边缘线的龈缘。因此，边缘线未在第二3d表面中示出。冲突表面3981可以基于所述两个3d表面之间的比较来确定。
674.对于第二3d表面，针对冲突表面3981，确定距离口内扫描仪的探头的第一距离3990。在一个实施例中，第一距离可以是表面3982的探头的平均距离。然而，为了清楚起见，示出了表面3982上的特定点的第一距离3990。对于第一3d表面，针对表面3984确定距探头的第二距离3988。第二距离可以是表面3984的第一3d表面的平均距离。然而，为了清楚起见，示出了特定点的第二距离3988。如参照图38所述，可以比较第一和第二距离，并且可以计算这些距离之间的差。处理逻辑可以确定第一差大于差阈值，并且第一距离3990大于第二距离3988。第一3d表面随后可用于生成包括边缘线的3d模型的一部分。
675.还可以为冲突表面3981的第一表面3982计算第一平均曲率，并且可以为冲突表面3981的第二表面3984计算第二平均曲率。如图所示，第一表面3982可具有比第二表面3984更大的平均曲率。可以比较第一和第二平均曲率，并且比较的结果可以用作额外的数据点，以确定应该使用哪个3d表面来描绘冲突表面，如参照图38所述。
676.图40a示出了设置在准备牙齿4010上的牙冠4005。
677.图40b示出了通过执行准备牙齿的口内扫描而生成的准备牙齿4010的3d表面4015的侧视图。
678.图40c示出了通过执行牙冠4005的凹版表面的口内扫描而生成的牙冠4005的凹版表面的3d表面的侧视图。
679.如图所示，准备牙齿4010的3d表面4015与牙冠4005的凹版表面的3d表面4020紧密地匹配。因此，牙冠4005的凹版表面的3d表面4020可以被反转，随后与准备牙齿4010的3d表面4025配准。一旦所述两个表面被配准，就可以执行用于确定边缘线和/或生成3d模型的前述技术中的一个或多个。
680.图41是示出为制造义齿而生成无牙牙弓的3d模型的方法4100的一个实施例的流程图。在方法4100的框4102处，处理逻辑接收无牙牙弓的多个第一扫描。这些扫描可以是整
个无牙牙弓的扫描，或者仅仅是无牙牙弓的一部分的扫描。在实施例中，医生可以指示患者在扫描期间将他们的颌移动到各种位置和/或可以在扫描期间以一种或多种方式按压龈缘以捕获无牙牙弓的muccal动态边界。在框4104处，处理逻辑使用无牙牙弓的多个第一扫描确定第一3d表面。扫描可包括对患者上颚的扫描，以改善扫描之间的配准和拼接。
681.在框4106处，处理逻辑接收无牙牙弓的第一义齿的凹版表面的多个第二扫描或对无牙牙弓的至少一部分取得的印模的多个第二扫描。印模可以是整个牙弓的印模，或者仅是牙弓的一个区域的印模。在实施例中，由于使用无牙牙弓的口内扫描，医生可能不需要生成整个牙弓的印模。在实施例中，医生可能已经指示患者在形成弹性体印模期间在各种位置移动他们的颌，以捕获无牙牙弓的muccal动态边界。在框4108处，处理逻辑使用第一义齿的凹版表面和/或弹性体印模的凹版表面的多个第二扫描确定第二3d表面。
682.在框4110处，处理逻辑将第二3d表面与第一3d表面进行比较。这可包括将第二3d表面反转并将反转的第二3d表面与第一3d表面配准。在框4112处，处理逻辑基于该比较确定第二3d表面与第一3d表面匹配(例如，反转的第二3d表面与第一3d表面配准)。
683.在框4114处，处理逻辑使用多个第一扫描和多个第二扫描确定无牙牙弓的3d表面。这可包括将牙弓的第一3d表面合并到第一义齿的凹版表面和/或印模的反转的第二3d表面。在一个实施例中，第一3d表面上的点与第二3d表面上的点求平均值。在一个实施例中，执行加权平均以将第一3d表面上的点合并到第二3d表面上的点。在一个实施例中，第二3d表面比第一3d表面被更重地加权。在一个实施例中，第一3d表面比第二3d表面被更重地加权。额外地，对于一些区域，第一3d表面可以被更重地加权，而对于其它区域，第二3d表面可以被更重地加权。
684.在框4116处，处理逻辑使用在框4114处生成的3d表面来生成3d模型。3d模型可用于制造用于无牙牙弓的第二义齿。
685.图42示出了计算装置4200的示例形式的机器的图形表示，在该计算装置中可以执行用于使机器执行本文讨论的方法中的任何一个或多个的一组指令。在替代实施例中，机器可以连接(例如，联网)到局域网(lan)、内联网、外联网或因特网中的其它机器。计算装置4200可以对应于，例如图1的计算装置105和/或计算装置106。机器可以在客户机-服务器网络环境中以服务器或客户机的能力运行，或者作为对等式(或分布式)网络环境中的对等机器运行。机器可以是个人计算机(pc)、平板计算机、机顶盒(stb)、个人数字助理(pda)、蜂窝电话、网络设备、服务器、网络路由器、交换机或桥接器、或者指定由该机器采取的行为这样的能够执行一组指令(连续的或者不连续的)任意装置。此外，虽然仅示出了单个机器，但是术语“机器”还应被理解为包括单独地或结合地执行一组(或多组)指令以执行本文所讨论的方法中的任何一个或多个的机器(例如，计算机)的任何集合。
686.示例计算装置4200包括处理装置4202、主存储器4204(例如，只读存储器(rom)、闪存、诸如同步dram(sdram)的动态随机存取存储器(dram)等)、静态存储器4206(例如，闪存、静态随机存取存储器(sram)等)以及次级存储器(例如，数据存储装置4228)，它们经由总线4208彼此通信。
687.处理装置4202表示一个或多个通用处理器，例如微处理器、中心处理单元等。更具体地说，处理装置4202可以是复杂指令集计算(cisc)微处理器、精简指令集计算(risc)微处理器、超长指令字(vliw)微处理器、实施其它指令集的处理器或实施指令集的组合的处
理器。处理装置4202还可以是一个或多个专用处理装置，诸如专用整合电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、网络处理器等。处理装置4202被配置为执行用于执行本文所论述的操作和步骤的处理逻辑(指令4226)。
688.计算装置4200还可包括用于与网络4264通信的网络接口装置4222。计算装置4200还可包括视频显示单元4210(例如，液晶显示器(lcd)或阴极射线管(crt))、字母数字输入装置4212(例如，键盘)、光标控制装置4214(例如，鼠标)和信号生成装置4220(例如，扬声器)。
689.数据存储装置4228可包括机器可读存储介质(或更具体地说，非暂时性计算机可读存储介质)4224，其上存储有体现本文所述的方法或功能中的任何一个或多个的一组或多组指令4226，诸如用于口内扫描应用程序4215的指令，其可以对应于图1的口内扫描应用115。非暂时性存储介质是指除了载波之外的存储介质。指令4226在由计算机装置4200执行期间还可以完全或至少部分地驻留在主存储器4204内和/或处理装置4202内，主存储器4204和处理装置4202也构成计算机可读存储介质。
690.计算机可读存储介质4224还可用于存储牙科建模逻辑4250，其可包括一个或多个机器学习模块，并且可以执行本文上述的操作。计算机可读存储介质4224还可以存储包含用于口内扫描应用115的方法的软件库。虽然在一个示例实施例中计算机可读存储介质4224被示出为单个介质，但是术语“计算机可读存储介质”应该被理解为包括存储一组或多组指令的单个介质或多个介质(例如，集中或分布式的数据库和/或相关联的缓存和服务器)。术语“计算机可读存储介质”还应该被理解为包括除了载波之外的能够存储或编码用于由机器执行并且使得机器执行本公开的方法中的任何一个或多个的指令集的任何介质。术语“计算机可读存储介质”因此应该被理解为包括但不限于固态存储器以及光学和磁性介质。
691.应该理解，以上说明意在是示例性的，而非限制性的。在阅读和理解以上说明时，很多其它实施例将是明显的。虽然已经参考具体示例性实施例描述了本公开的实施例，但是应该理解本公开不限于上述实施例，而是能够在所附权利要求书的精神和范围内利用修改和更改而实践。因此，说明书和附图应被视为说明性目的而非限制性目的。因此，应该参考所附权利要求以及与这些权利要求的权利等同的全部范围来确定本公开的范围。