用于口内扫描的历史扫描参考的制作方法

本发明的实施例涉及口内扫描领域，尤其涉及用于提高口内扫描效率和准确度的系统和方法。

背景技术：

在口腔修复和正畸手术中，获得口腔中牙齿部位的三维(3d)模型是执行的初始步骤。在正畸手术中，提供一个或两个颌的模型是重要的。通过使用3d建模扫描仪(例如，扫描棒)创建的3d模型有助于精确地创建用于校正工作的模具。当患者接受进展更新检查，或有时在例行卫生预约期间，通常进行扫描以接受附加治疗。从历史的角度而言，特定患者的每次扫描都被视为新扫描，与同一患者的过去的扫描不相关。

另外，扫描历来是麻烦且耗时的。3d扫描依赖于能够缝合(以下称为“配准”)扫描仪捕获的扫描会话的图像以生成准确且完整的3d模型。通常，由于图像之间的重叠不足，可能无法配准扫描会话的图像。无法配准到扫描会话的另一图像的图像被丢弃，并且用户中断会话以重新扫描任何丢弃的区域。此外，由于图像之间的重叠不足或过度的棒移动，许多扫描仪在中断之后难以初始化。这些限制令人沮丧，并且需要额外的时间来完成工作。

附图说明

通过示例而非限制的方式在附图中示出了本发明。

图1示出了用于执行口内扫描并生成牙齿部位的虚拟三维模型的系统的一个实施例。

图2a示出了根据本发明实施例的在口内扫描会话期间参考历史扫描的第一方法的流程图。

图2b示出了根据本发明实施例的在口内扫描会话期间参考历史扫描的第二方法的流程图。

图3a示出了根据本发明实施例的生成口内扫描会话的表面的方法的流程图。

图3b示出了根据本发明实施例的确定当前口内扫描会话和过去口内扫描会话之间对牙齿部位的改变描绘的方法的流程图。

图4示出了根据本发明实施例的在口内扫描会话期间参考历史扫描的另一种方法的流程图。

图5示出了根据本发明实施例的在当前扫描会话期间拍摄的已经配准到历史模板的口内图像的三维表示。

图6示出了根据本发明实施例的示例计算装置的框图。

具体实施方式

本文描述了用于改善扫描质量的方法和装置，例如对患者的牙齿部位进行的口内扫描。在扫描会话期间，扫描仪的用户(例如，牙科医生)可以生成牙齿部位、牙齿部位的模型或其他物体的多个不同图像(也称为扫描)。图像可以是离散图像(例如，瞄准-拍摄图像)或来自视频的帧(例如，连续扫描)。这些图像可能无法捕获牙齿部位的所有区域和/或可能图像之间存在冲突数据的区域。例如，在扫描会话期间记录的图像可能无法充分地配准到其他图像，因此产生扫描会话的图像的不完整排列。从历史角度而言，可以丢弃在扫描会话中不能或不应该配准到其他图像的图像，使用户重新扫描没有被捕获的区域。在本文描述的实施例中，这样的图像被配准到基于先前扫描的模板。这可以通过减少或消除丢弃的图像来促进快速且准确的扫描会话。另外，在扫描会话期间，已经在扫描会话中扫描的牙齿部位的区域可以被配准到历史模板并且在三维图像中与历史模板相关联地显示。可以使用第一图像(例如，实心表面)来表示当前扫描数据，并且可以使用第二图像(例如，半透明表面或像素化表面)来表示历史扫描数据。当在扫描会话期间接收到额外的口内图像时，可以将这些口内图像配准到从当前扫描会话先前接收的口内图像或历史模板。然后可以更新三维图像以反映新的口内图像。

参考口内扫描仪、口内图像、口内扫描会话等讨论本文描述的实施例。然而，应该理解，实施例也适用于除口内扫描仪之外的其他类型的扫描仪。实施例可以应用于拍摄多个图像并将这些图像一起配准以形成组合的图像或虚拟模型的任何类型的扫描仪。例如，实施例可以应用于桌面模型扫描仪、计算机断层扫描仪(ct扫描仪)等。另外，应该理解，口内扫描仪或其他扫描仪可以用于扫描除口腔中牙齿部位之外的物体。例如，实施例可以应用于在牙齿部位的物理模型或任何其他物体上进行的扫描。因此，描述口内图像的实施例应该被理解为大致适用于由扫描仪生成的任何类型的图像，描述口内扫描会话的实施例应该被理解为适用于任何类型的物体的扫描会话，并且描述口内扫描仪的实施例应该被理解为大致适用于许多类型的扫描仪。

图1示出了用于执行口内扫描和/或生成牙齿部位的虚拟三维模型的系统100的一个实施例。在一个实施例中，系统100执行以下方法200中描述的一个或多个操作。系统100包括可以耦接到扫描仪150和/或数据存储部110的计算装置105。

计算装置105可以包括处理装置、存储器、辅助存储部、一个或多个输入装置(例如，诸如键盘、鼠标、平板电脑等)、一个或多个输出装置(例如，显示器、打印机等)和/或其他硬件组件。计算装置105可以直接或经由网络连接到数据存储部110。网络可以是局域网(lan)、公共广域网(wan)(例如，因特网)、专用wan(例如，内联网)或其组合。在一些实施例中，计算装置105可以集成到扫描仪150中以改善性能和移动性。

数据存储部110可以是内部数据存储部，或直接或经由网络连接到计算装置105的外部数据存储部。网络数据存储部的示例包括存储区域网络(san)、网络附连存储部(nas)和由云计算服务提供商提供的存储服务。数据存储部110可以包括文件系统、数据库或其他数据存储装置。

在一些实施例中，用于获得患者口腔中的牙齿部位的三维(3d)数据的扫描仪150可操作地连接到计算装置105。扫描仪150可包括探针(例如，手持探针)用于光学捕获三维结构(例如，通过光束阵列的共焦聚焦)。这种扫描仪150的一个示例是由爱齐公司(aligntechnology.inc)制造的口内数字扫描仪。口内扫描仪的其他示例包括1m^tmtruedefinition扫描仪、apollodi口内扫描仪、由登士柏西诺德制造的cerecac口内扫描仪，以及由制造的口内扫描仪。

扫描仪150可用于执行患者口腔的口内扫描。在计算装置105上运行的口内扫描应用程序108可以与扫描仪150通信以实现口内扫描。口内扫描的结果可以是已经离散地生成的一系列口内图像(例如，通过对每个图像按压扫描仪的“生成图像”按钮)。或者，口内扫描的结果可以是患者口腔的一个或多个视频。操作者可以利用扫描仪150在口腔中的第一位置开始记录视频，在拍摄视频时将扫描仪150在口腔内移动到第二位置，然后停止记录视频。在一些实施例中，当扫描仪从口腔识别牙齿或软组织时，记录可以自动开始。扫描仪150可以将离散的口内图像或口内视频(统称为口内图像数据135)发送到计算装置105。计算装置105可以将图像数据135存储在数据存储部110中。或者，扫描仪150可以连接到在数据存储部110存储图像数据的另一系统。在这样的实施例中，扫描仪150可以不连接到计算装置105。

根据一个示例，用户(例如，从业者)可以对患者进行口内扫描。在这样做时，用户可以将扫描仪150应用于一个或多个患者口内位置。扫描可以分成一个或多个部分。作为示例，该多个部分可包括患者的下颊区域、患者的下舌侧区域、患者的上颊区域、患者的上舌区域、患者的一个或多个牙齿预备体(例如，将应用诸如牙冠或正畸对准装置的牙科装置的患者的牙齿)、一个或多个接触牙齿预备体的牙齿(例如，牙齿本身不受牙科装置影响但位于一个或多个这样的牙齿旁边或在口闭合时与一个或多个这样的牙齿接触)和/或患者咬合(例如，患者的口关闭时进行扫描，扫描指向患者上下牙齿之间的界面区域)。通过这样的扫描仪应用，扫描仪150可以将图像数据(也称为扫描数据)135提供给计算装置105。图像数据135可以包括2d口内图像和/或3d口内图像。这些图像可以以一个或多个点(例如，一个或多个像素和/或像素组)的形式从扫描仪提供给计算装置105。例如，扫描仪150可以提供这样的3d图像作为一个或多个点云。

要扫描患者口腔的方式可以取决于要应用于其上的过程。例如，如果要创建上部或下部正畸矫治器，则可以执行下颌或上颌无牙全扫描。相反，如果要创建桥，则可以仅扫描整个牙弓的一部分，其包括缺齿区域、相邻的基牙和相对的牙弓和齿列。因此，牙科医生可以将要执行的过程的标识输入到口内扫描应用108。为此目的，牙科医生可以从下拉菜单等上的多个预设选项、从图标中或通过任何其他合适的图形输入界面选择过程。或者，可以以任何其他合适的方式输入过程标识，例如通过预设代码、符号或任何其他合适的方式，口内扫描应用108已经被适当地编程以识别用户做出的选择。

通过非限制性示例，牙科治疗过程可大致分为口腔修复(修复)和正畸治疗过程，然后进一步细分为这些治疗过程的具体形式。另外，牙科治疗过程可以包括牙龈疾病、睡眠呼吸暂停和口内状况的识别和治疗。术语口腔修复治疗过程除其他外，指代涉及口腔的任何治疗过程并且针对在口腔内的牙齿部位设计、制造或安装牙科假体，或其真实或虚拟模型，或针对设计和准备牙齿部位以接纳这种假体。假体可以包括诸如牙冠、贴面、镶嵌物、高嵌体和桥的任何假体，以及任何其他人造的部分或全部义齿。术语正畸治疗过程除其他外，指代涉及口腔的任何治疗过程并且针对在口腔内的牙齿部位设计、制造或安装正畸元件，或其真实或虚拟模型，或针对设计并准备牙齿部位以接纳这种正畸元件。这些元件可以是包括但不限于支架和线、保持器、透明对准器或功能器具之类的器具。

要使用的一种类型的扫描仪也可以输入到口内扫描应用108中，通常由牙科医生在多个选项中选择一个。可以使用的扫描仪的示例包括棒扫描仪、托盘扫描仪等。如果口内扫描应用108无法识别正在使用的扫描仪150，则可以改为输入扫描仪的操作参数。例如，可以提供扫描仪头和扫描表面之间的最佳间隔，以及能够在该距离处扫描的牙齿表面的捕获区域(及其形状)。或者，可以提供其他合适的扫描参数。

口内扫描应用108可以识别适合于扫描牙齿部位的空间关系，从而可以获得针对所讨论的治疗过程的完整且准确的图像数据。口内扫描应用108可以建立扫描牙齿部位的目标区域的最佳方式。

口内扫描应用108可以通过将扫描仪的类型、其分辨率、扫描仪头和牙齿表面之间的最佳间距的捕获区域与目标区域相关联来识别或确定扫描协议等。对于瞄准-拍摄模式，扫描协议可包括与目标区域的牙齿表面在空间上相关联的一系列扫描站。优选地，能够在相邻扫描站处获得的图像或扫描的重叠被设计到扫描协议中以实现精确的图像配准，从而可以配准口内图像以提供复合3d虚拟模型。对于连续扫描模式(视频扫描)，可能无法识别扫描站。相反，从业者可以激活扫描仪并继续在口腔内移动扫描仪以从多个不同的视点捕获目标区域的视频。

在一个实施例中，口内扫描应用108包括图像配准模块111、历史模板模块112、感兴趣的区域(aoi)识别模块115、标记模块118和模型生成模块125。或者，图像配准模块111、历史模板模块112、aoi识别模块115、标记模块118和/或模型生成模块125中的一个或多个的操作可以组合成单个模块和/或分成多个模块。

图像配准模块111负责将在扫描会话期间接收的图像配准或缝合在一起。图像可以包括x射线、2d口内图像、3d口内图像、2d模型和/或对应于扫描发生的患者就诊期间的虚拟3d模型。在一个实施例中，执行图像配准包括捕获多个图像(来自摄像头的视图)中的表面的各个点的3d数据，以及通过计算图像之间的变换来配准图像。然后可以通过对每个配准图像的点应用适当的变换将图像集成到公共参考系中。在一个实施例中，图像可以在当前扫描会话期间实时地一起配准。

在一个实施例中，当接收到每个新图像时，将该新图像与当前扫描会话期间接收的一些或所有先前图像进行比较。如果当前图像与一个或多个先前图像之间存在充分的重叠，则可以将当前图像与那些一个或多个先前图像配准。执行图像配准算法以配准口内图像，其实质上涉及确定将一个图像与另一图像对准的变换。图像配准可以涉及识别图像对的每个图像(例如，点云)中的多个点，表面拟合到每个图像的点，并使用点周围的局部搜索来匹配两个相邻图像的点。例如，图像配准模块111可以将一个图像的点与在另一个图像的表面上内插的最近点匹配，并且迭代地最小化匹配点之间的距离。图像配准模块111还可以找到在一个图像的点处的曲率特征与在另一图像的表面上内插的点处的曲率特征的最佳匹配，而没有迭代。图像配准模块111还可以找到在一个图像的点处的旋转图像(spin-image)点特征与在另一图像的表面上内插的点处的旋转图像点特征的最佳匹配，而没有迭代。可以用于图像配准的其他技术包括基于使用其他特征确定点对点对应关系以及例如最小化点对面距离的那些技术。也可以使用其他图像配准技术。

许多图像配准算法执行表面与相邻图像中的点的拟合，这可以以多种方式完成。诸如贝塞尔(bezier)和b样条(b-spline)表面的参数表面最常见，但也可以使用其他表面。单个表面分块(patch)可以拟合至图像的所有点，或者替代地，单独的表面分块可以拟合任何数量的图像的点的子集。单独的表面分块可以被拟合以具有共同的边界，或者它们可以拟合以便重叠。通过使用具有与被拟合的网格点相同的点数的控制点网，表面或表面分块可拟合以插入多个点，或者通过使用具有比被拟合的网格点少的控制点总数的控制点网，表面可以近似于点。图像配准算法也可以采用各种匹配技术。

在一个实施例中，图像配准模块111可以确定图像之间的点匹配，其可以采用二维(2d)曲率阵列的形式。通过计算点处的特征(该点采样于参数相似点周围的区域)，执行针对相邻图像的对应表面分块中的匹配点特征的局部搜索。一旦确定了两个图像的表面分块之间的对应点集，就可以解决两个坐标系中的两组对应点之间变换的确定。本质上，图像配准算法可以计算两个相邻图像之间的变换，该变换将最小化一个表面上的点之间的距离，并且在另一个图像表面上的内插区域中找到离它们最近的点用作参考。每个变换可以包括围绕一到三个轴的旋转和一到三个平面内的平移。

在一些情况中，接收的图像可能无法与来自当前扫描会话的任何其他图像配准。在传统系统中，这些图像会被丢弃，并且要求用户重新扫描一个或多个区域。本发明的实施例可以使这些没有配准到来自扫描对话的其他图像的图像，通过比较和配准这样的图像，以使其配准到从先前扫描会话中收集的扫描数据生成的历史模板。

历史模板模块112负责确定针对特定患者存在历史扫描，并基于来自图像和历史扫描数据的重叠数据将当前扫描会话的图像配准到历史模板。过去的历史模板可以是或包括对应于患者的过去就诊和/或患者的牙科记录的患者的x射线、2d口内图像、3d口内图像、2d模型和/或虚拟3d模型。过去的历史模板包括在患者的参考数据138中。

在一个实施例中，历史模板模块112可以从计算装置105接收指示口内扫描会话的当前图像不能或不应该配准到当前会话的任何其他图像的指示。当前图像与当前扫描的任何其他现有图像没有充分重叠时，配准可能是不正确的。在这个示例中，历史模板模块112可以确定当前扫描的图像与同一患者的历史图像数据相关。历史图像数据可以包括患者的历史模板；每个模板与患者的先前图像扫描会话相关。在一个示例中，患者可能在过去12个月中每月进行一次口内扫描，在这种情况下，可获得12个患者历史模板。历史模板模块112可以确定当前扫描的图像与历史模板相关联，并将当前扫描会话的当前图像映射到历史模板之一(例如，最新近模板)。在另一个实施例中，用户可以选择当前扫描会话图像应该映射到的历史模板。

aoi识别模块115负责从口内扫描数据(例如，口内图像)和/或从口内扫描数据生成的虚拟3d模型中识别多个感兴趣的区域(aoi)。在一个实施例中，通过将当前扫描会话的图像与历史模板进行比较以确定任何差异来确定感兴趣的区域。这样的感兴趣的区域可以包括空洞(例如，缺少扫描数据的区域)、冲突区域或有缺陷的扫描数据(例如，多个口内图像的重叠表面不匹配的区域)、指示外来物体的区域(例如，螺柱、桥等)、指示牙齿磨损的区域、指示蛀牙的区域、指示牙龈退缩的区域、牙龈线不清楚、患者咬合不清楚、边缘线不清楚(例如，一个或多个牙齿预备体的边缘线)等等。识别出的空洞可以是图像表面中的空洞。表面冲突的示例包括双切牙边缘和/或其他生理上不太可能的牙齿边缘和/或咬合线移位。在识别aoi时，aoi识别模块115可以单独和/或相对于参考数据138分析包括历史模板(例如，历史3d图像点云)和/或患者的一个或多个虚拟3d模型的患者图像数据135。分析可以涉及直接分析(例如，基于像素和/或其他基于点的分析)、机器学习的应用和/或图像识别的应用。aoi识别模块115可以另外地或替代地在患者就诊之前以患者的牙科记录数据和/或患者的数据的形式相对于参考数据分析患者扫描数据(例如，包括患者的一个或多个此次就诊之前的3d图像点云和/或一个或多个此次就诊之前的虚拟3d模型的历史模板)。

在一个示例中，aoi识别模块115可以基于在第一次拍摄的牙齿部位的第一扫描会话生成牙齿部位的第一历史模板，并且稍后基于第二次摄的牙齿部位的第二次扫描会话生成牙齿部位的第二虚拟模型。然后，aoi识别模块115可以将第一历史模板与第二虚拟模型进行比较，以确定牙齿部位的变化并识别aoi以表示该变化。

识别关于缺失和/或有缺陷的扫描数据的感兴趣的区域可以涉及aoi识别模块115执行直接分析，例如确定患者扫描数据中缺失的一个或多个像素或其他点和/或一个或多个患者的虚拟3d模型。标记模块118负责确定如何呈现和/或调出识别出的感兴趣的区域。标记模块118可以提供关于扫描辅助、诊断辅助和/或外来物体识别辅助的指示或指示符。可以确定感兴趣的区域，并且可以在口内扫描会话期间和/或之后提供感兴趣的区域的指示符。可以在构建口内虚拟3d模型之前和/或不构建口内虚拟3d模型的情况下提供这样的指示。或者，可以在构建牙齿部位的口内虚拟3d模型之后提供指示。

现在将讨论提供关于扫描辅助、诊断辅助和/或外来物体识别辅助的指示的标记模块118的示例。标记模块118可以在口内扫描会话期间和/或之后提供指示。可以将指示与患者的牙齿和/或牙龈的一个或多个描绘相关联地和/或分开呈现(例如，经由用户界面)给用户(例如，从业者)(例如，与患者的一个或更多x射线、2d口内图像、3d口内图像、2d模型和/或虚拟3d模型相关联地呈现)。与患者牙齿和/或牙龈的描绘相关联的指示呈现可涉及放置指示以使指示与牙齿和/或牙龈的相应部分相关联。作为说明，可以放置关于断齿的诊断辅助指示以识别断齿。

可以以标志、标记、轮廓、文本、图像和/或声音的形式(例如，以语音的形式)提供指示。可以放置这种轮廓(例如，通过轮廓拟合)，以便符合现存的牙齿轮廓和/或牙龈轮廓。作为说明，可以放置对应于牙齿磨损诊断辅助指示的轮廓，以便符合磨损牙齿的轮廓。可以相对于缺失的牙齿轮廓和/或牙龈轮廓放置(例如，通过轮廓外推)这样的轮廓，以便符合缺失的轮廓的投影路径。作为说明，可以放置对应于缺失牙齿扫描数据的轮廓，以便符合缺失的牙齿部分的投影路径，或者可以放置对应于缺失的牙龈扫描数据的轮廓，以便符合缺失的牙龈部分的投影路径。

在呈现指示(例如，标志)时，标记模块118可以执行一个或多个操作以追求适当的指示显示。例如，在结合牙齿和/或牙龈的一个或多个描绘(例如，相应的虚拟3d模型)显示指示的情况下，这样的操作可以用于显示单个指示而不是例如针对单个aoi的多个指示。另外，处理逻辑可以选择3d空间中的位置以用于指示放置。

在结合3d牙齿和/或牙龈描绘(例如，结合虚拟3d模型)显示指示的情况下，标记模块118可以将3d空间划分为多个立方体(例如，对应于3d空间的一个或多个像素的立体像素)。然后，标记模块118可以考虑与确定的aoi的立体像素相关的立体像素并且标记立体像素，以便指示它们对应的指示(例如，标记)。

在相对于多个指示中一个给定的指示不止一个立方体被标记的情况下，标记模块118可以起作用，以使仅一个标记的立体像素接受标记放置。此外，标记模块118可以选择特定的立体像素，标记模块118确定该特定的立体像素将为了易于用户观看而提供。例如，立体像素的这种选择可以考虑要标记的指示的总体性，并且可以努力避免单个立方体挤满了本应该避免的多个标记。

在放置指示(例如，标记)时，标记模块118可以考虑或不考虑除了避免拥挤之外的因素。例如，标记模块118可以考虑可用照明、可用角度、可用缩放、可用旋转轴和/或与用户观看牙齿和/或牙龈描绘(例如，虚拟3d模型)相对应的其他因素，并且可以寻求旨在考虑到这些因素来优化用户观看的指示(例如，标记)放置。

标记模块118可以键入指示(例如，通过颜色、符号、图标、大小、文本和/或数字)。指示的键入可以用于传达关于该指示的信息。传达的信息可以包括aoi的分类、aoi的大小和/或aoi的重要性等级。因此，可以使用不同的标志或指示符来标识不同类型的aoi。例如，粉红色指示符可用于指示牙龈退缩，白色指示符可用于指示牙齿磨损。标记模块118可以确定aoi的分类、大小和/或重要性等级，然后可以基于分类、大小和/或重要性等级确定该aoi的指示符的颜色、符号、图标、文本等。

现在转向传达aoi分类的键入，指示符可以标识分配给口内感兴趣的区域的分类。例如，aoi可以被分类为空洞、变化、冲突、外来物体或其他类型的aoi。表示患者牙列变化的aoi可能代表龋齿、牙龈退缩、牙齿磨损、牙齿断裂、牙龈疾病、牙龈颜色、痣、病变、牙齿色泽、牙齿颜色、正畸对准的改善、正畸对准的退化等等。可以使用不同的标准来识别每个这样的aoi类。例如，可以通过缺少图像数据来识别空洞，可以通过图像数据中的冲突表面来识别冲突，可以基于图像数据中的差异来识别变化，等等。

当扫描会话正在进行时或者当扫描完成时(例如，已经捕获了牙齿部位的所有图像)，模型生成模块125可以生成扫描的牙齿部位的虚拟3d模型。在扫描会话期间，模型生成模块125可以使用由图像配准模块111输出的图像配准数据来生成牙齿部位的三维表示。三维表示还可以包括由历史模板模块112输出的图像配准数据(例如，将当前图像到历史模板的配准)。aoi识别模块115和/或标记模块118可以执行操作以识别aoi和/或在三维表示中指示这样的aoi。

模型生成模块125可以通过将适当的确定的变换应用于每个图像来将所有图像集成到单个虚拟3d模型中。在一个实施例中，模型生成模块125可以确定与当前扫描会话相关联的历史模板包括当前扫描会话中尚没有扫描的区域。在这种情况下，模型生成模块125可以使用来自历史模板的数据来补充当前扫描的数据。例如，如果在当前扫描会话中存在尚未扫描的任何区域，则可以使用来自历史模板的数据来填充缺失的区域。在一个实施例中，使用与来自当前扫描会话期间接收的图像的数据不同的可视化来显示来自历史模板的数据。例如，与来自当前扫描会话的图像相关联的表面可以被显示为实心物体，并且与历史模板相关联的表面可以被显示为像素化物体的半透明物体。

图2a示出了根据本发明实施例的在口内扫描会话期间参考历史扫描的第一方法200的流程图。该方法可以由包括硬件(例如，电路、专用逻辑、可编程逻辑、微代码等)、软件(例如，在处理装置上运行的指令)或其组合的处理逻辑来执行。在一个实施例中，处理逻辑对应于图1的计算装置105(例如，对应于执行口内扫描应用108的计算装置105)。

在方法200的框202处，牙科医生开始牙齿部位的口内扫描会话。扫描会话可以用于部分或全部下颌或上颌弓的口内扫描，或者两个牙弓的部分或全部扫描。牙科医生可以将口内扫描仪移动到第一口内位置并生成第一口内图像。在框204处，处理逻辑接收多个口内图像。口内图像可以是离散图像(例如，以瞄准-拍摄模式拍摄)或者口内视频的帧(例如，以连续扫描或视频模式拍摄)。口内图像可以是具有特定高度、宽度和深度的三维(3d)图像。

在框206处，处理逻辑确定当前扫描会话的一个或多个口内图像没有配准到与当前扫描会话相关联的任何已存在的图像。在一个实施例中，扫描会话的图像可能不配准到现有图像当它们彼此不充分重叠时。当两个图像之间的重叠数据不足以能够确定第一图像的一部分是与第二图像的一部分相同的物体(例如，牙齿部位的区域)时，图像彼此不充分重叠。当图像彼此不充分重叠时，配准可能不太准确或者可能无法配准。当每个图像内的足够面积和/或点的数量可以被映射到相邻图像时，可以配准图像。在一个实施例中，重叠区域和/或重叠点的数量不满足预定阈值的图像可能无法配准。

在一个实施例中，在当前扫描会话的口内图像没有被配准到当前扫描会话的任何其他图像时，框208处的处理逻辑可以确定当前扫描会话的图像与存在的历史模板相关联。历史模板可以是从先前扫描会话期间拍摄的图像生成的牙齿部位的三维虚拟模型。在将先前扫描会话期间拍摄的图像缝合在一起之后，可能已生成历史模板。或者，处理逻辑可以确定扫描数据从先前的扫描会话开始存在，但是可能没有生成历史模板。在这样的示例中，处理逻辑可以从先前的扫描数据生成历史模板。在一个实施例中，处理逻辑可以搜索数据库以识别与当前扫描会话的图像或与当前患者相关联的历史模板。可以将当前会话图像与先前捕获的图像进行比较以确定它们是否相关联。在另一个实施例中，扫描会话由于它们与数据库中的同一患者相关联而关联起来。用户还可以手动识别患者的存储的历史模板并将其与当前扫描会话相关联。

在框210处，处理逻辑可以确定当前扫描会话的第一图像相对于历史模板的位置，并将图像配准到模板。在一个实施例中，牙齿部位的第二区域处的当前扫描会话的剩余图像可以配准到牙齿部位的第一区域处的历史模板(参见框212)。在一个实施例中，使用第一组标准将图像配准到历史模板，而使用第二组标准将图像彼此配准。在一个实施例中，第一组标准比第二组标准限制更少。在一个实施例中，当图像可以不在更严格的标准下配准到其他图像时，可以在较少限制的标准下将图像配准到历史模板。

因此，来自历史模板的图像数据与来自当前扫描会话的相关联的图像可以一起提供给用户，该来自当前扫描会话的相关联的图像与历史模板在位置上重合。或者，可以不向用户提供历史模板，并且将当前扫描会话的图像放置在不可见的历史模板上提供给用户。没有配准到当前扫描会话的其他图像的当前扫描会话的图像仍然可以配准到历史模板。当前扫描会话的未配准的图像尽管没有足够的重叠来配准到当前扫描会话图像，但是可以与历史模板的区域具有足够的重叠以允许放置到历史模板上。基于历史模板确定未配准的图像的合适放置允许未配准的图像被配准到当前扫描会话的其他图像，尽管与这些图像的重叠不充分。在一个实施例中，处理逻辑可以利用上面关于配准图像所讨论的相同技术来确定图像相对于历史模板的放置。

在一个实施例中，处理逻辑可以基于口内图像生成牙齿部位的三维虚拟模型。处理逻辑可以至少部分地基于历史模板中表示的牙齿部位的先前描绘与口内图像中表示的牙齿部位的当前描绘之间的差异来确定口内图像的一部分表示软组织(例如，牙龈)。被确定为表示软组织的口内图像的部分可以从牙齿部位的三维虚拟模型中移除。

在另一个实施例中，方法200的处理逻辑可以识别在多个口内图像中表示的牙齿部位的修复区域。修复区域可包括牙齿的残端(例如，预备体)。处理逻辑还可以基于历史模板确定在牙齿被磨成残端之前表示牙齿表面的基线区域，并提供要在图形用户界面中显示的基线区域。

图2b示出了根据本发明实施例的在口内扫描会话期间参考历史扫描的第二方法220的流程图。该方法可以由包括硬件(例如，电路、专用逻辑、可编程逻辑、微代码等)、软件(例如，在处理装置上运行的指令)或其组合的处理逻辑来执行。在实施例中，第一方法200和第二方法220可以一起或分开执行。在一个实施例中，处理逻辑对应于图1的计算装置105(例如，对应于执行口内扫描应用108的计算装置105)。

在方法220的框222处，处理逻辑在口内扫描会话期间接收多个口内图像。口内图像可以是离散图像(例如，以瞄准-拍摄模式拍摄)或者口内视频的帧(例如，以连续扫描或视频模式拍摄)。口内图像可以是具有特定高度、宽度和深度的三维(3d)图像。

在框224处，处理逻辑确定当前扫描会话的一个或多个口内图像没有配准到与当前扫描会话相关联的任何已存在的图像。在一个实施例中，当扫描会话的图像与现有图像彼此不充分重叠时他们无法配准。当两个图像之间的重叠数据不足以能够确定第一图像的一部分是与第二图像的一部分属于相同的物体(例如，牙齿部位的区域)时，图像彼此不充分重叠。当图像彼此不充分重叠时，配准可能不太准确或者可能无法配准。当每个图像内的足够面积和/或点的数量可以被映射到相邻图像时，可以配准图像。在一个实施例中，重叠区域和/或重叠点数量不满足预定阈值的图像可能无法配准。

在一个实施例中，在当前扫描会话的口内图像没有被配准到当前扫描会话的任何其他图像时，框226处的处理逻辑可以确定当前扫描会话的图像与存在的历史模板相关联。历史模板可以是从先前扫描会话期间拍摄的图像生成的牙齿部位的三维虚拟模型。在将先前扫描会话期间拍摄的图像缝合在一起之后，可能已生成历史模板。或者，处理逻辑可以确定扫描数据从先前的扫描会话开始存在，但是可能没有生成历史模板。在这样的实例中，处理逻辑可以从先前的扫描数据生成历史模板。在一个实施例中，处理逻辑可以搜索数据库以识别与当前扫描会话的图像或与当前患者相关联的历史模板。可以将当前会话图像与先前捕获的图像进行比较以确定它们是否相关联。在另一个实施例中，扫描会话由于它们与数据库中的同一患者相关联而关联起来。用户还可以手动识别患者的存储的历史模板并将其与当前扫描会话相关联。

在框228处，处理逻辑可以确定当前扫描会话的第一图像相对于历史模板的位置，并将图像配准到模板。在一个实施例中，牙齿部位的第二区域处的当前扫描会话的剩余图像可以配准到牙齿部位的第一区域处的历史模板。

在框230处，处理逻辑可以在历史模板上的第一区域处显示配准的第一口内图像。在另一个实施例中，处理逻辑可以在历史模板的第二区域上显示附加图像。因此，来自历史模板的图像数据与来自当前扫描会话的覆盖在历史模板上的位置上的相关联的图像可以被提供给用户。或者，可以不向用户提供历史模板，并且将当前扫描会话的图像放置在不可见历史模板上提供给用户。没有配准到当前扫描会话的其他图像的当前扫描会话的图像仍然可以配准到历史模板。尽管没有足够的重叠来配准到当前扫描会话图像，但是当前扫描会话的没有配准图像可以与历史模板的区域具有足够的重叠以允许放置到历史模板上。基于历史模板确定没有配准图像的合适放置允许没有配准图像被配准到当前扫描会话的其他图像，尽管与这些图像的重叠不充分。在一个实施例中，处理逻辑可以利用上面关于配准图像所讨论的相同技术来确定图像相对于历史模板的放置。

在一个实施例中，处理逻辑可以从口内图像生成牙齿部位的三维虚拟模型。处理逻辑可以至少部分地基于历史模板中表示的牙齿部位的先前描绘与口内图像中表示的牙齿部位的当前描绘之间的差异来确定口内图像的一部分表示软组织(例如，牙龈)。被确定为表示软组织的口内图像的部分可以从牙齿部位的三维虚拟模型中移除。

在另一个实施例中，方法200的处理逻辑可以识别在多个口内图像中表示的牙齿部位的修复区域。修复区域可包括牙齿的残端(例如，预备体)。处理逻辑还可以基于历史模板确定在牙齿被磨成残端之前表示牙齿表面的基线区域，并提供要在图形用户界面中显示的基线区域。

图3a示出了根据本发明实施例的在口内扫描会话期间生成牙齿部位表面的方法300的流程图。该方法可以由包括硬件(例如，电路、专用逻辑、可编程逻辑、微代码等)、软件(例如，在处理装置上运行的指令)或其组合的处理逻辑来执行。在一个实施例中，处理逻辑对应于图1的计算装置105(例如，对应于执行口内扫描应用108的计算装置105)。在一个实施例中，方法300从方法200的框212继续。

在方法300的框302处，处理逻辑可确定由第一口内图像表示的第一表面和由第二口内图像表示的第二表面。第一表面可以与牙齿部位的第一区域相关联，并且第二表面可以与牙齿部位的第二区域相关联，该第二区域与牙齿部位的第一表面分离。在框303处，处理逻辑可以基于历史模板确定牙齿部位的附加区域处的第三表面和/或附加的表面。第三区域可以将第一区域和第二区域分离。

在框304处，处理逻辑生成包括第一表面和第二表面的牙齿部位的图形表示。在一个实施例中，图形表示可以包括在第一区域处(在图2a的框206中确定)的第一口内图像的变换表示(例如，已经被旋转、被平移和/或被缩放)和第二区域中的剩余口内图像的变换表示(参见框212)。变换的第一口内图像可以限定牙齿部位的第一表面，并且变换的剩余口内图像可以限定牙齿部位的第二表面。图形表示还可以可选地包括从历史模板生成的第三表面和/或任何附加的表面。在框306处，处理逻辑可以在图形用户界面(gui)中显示图形表示，或者可以输出图形表示以在gui上显示。

包括第三区域的一个或多个附加图像可以由处理逻辑接收并且被配准到第一区域的第一口内图像和第二区域的剩余口内图像中的一个或多个。然后可以使用一个或多个附加图像基于当前患者数据重绘第三表面。

图3b示出了根据本发明实施例的确定当前口内扫描会话和过去口内扫描会话之间的牙齿部位的改变的方法310的流程图。该方法可以由包括硬件(例如，电路、专用逻辑、可编程逻辑、微代码等)、软件(例如，在处理装置上运行的指令)或其组合的处理逻辑来执行。在一个实施例中，处理逻辑对应于图1的计算装置105(例如，对应于执行口内扫描应用108的计算装置105。

在方法310的框315处，处理逻辑可以从在当前扫描会话期间拍摄的图像生成牙齿部位的虚拟3d模型。可以通过将图像配准和缝合在一起来生成虚拟3d模型。在框320处，处理逻辑将虚拟3d模型与历史模板进行比较，该历史模板是在较早时间从与牙齿部位的先前扫描相关联的图像生成的。历史模板可以是从先前扫描会话期间拍摄的图像生成的牙齿部位的另一虚拟3d模型。例如，牙科医生可以每年对患者的牙列进行扫描。处理逻辑可以将患者牙齿部位的当前状态与患者一年前的牙齿部位的状态进行比较。在另外的实施例中，患者可以由多个历史模板，该多个历史模板可以基于在不同时间段拍摄的图像。牙科医生可以选择哪个历史模板来与虚拟3d模型比较。

在框325处，处理逻辑确定在历史模板中表示的牙齿部位的先前描绘与在虚拟3d模型中表示的牙齿部位的当前描绘之间的差异，该虚拟3d模型是基于当前扫描的多个口内图像生成的。

为了将当前扫描会话的虚拟3d模型与历史模板进行比较并确定其间的差异，处理逻辑基于虚拟3d模型和历史模板共享的几何特征，确定虚拟3d模型(或用于生成虚拟3d模型的图像)与历史模板的对齐。该比较可以识别出诸如牙齿磨损、空腔等感兴趣的区域。

在框330处，处理逻辑提供牙齿部位的当前描绘与表示在历史模板中的牙齿部位的先前描绘之间的差异的图形表示。在一个实施例中，处理逻辑将虚拟3d模型与多个历史模板进行比较，并且另外可以将历史模板彼此进行比较。然后，处理逻辑可以生成显示牙齿部位随时间变化的运动图像(例如，视频)。例如，可以生成时间流逝视频，其显示患者牙齿的逐渐磨损，牙齿逐渐变黄，牙龈线逐渐后退等。

牙齿部位的当前和先前描绘之间的差异可以被识别为一种类型的感兴趣的区域。在其他实施例中，可以提供其他类型的感兴趣的区域。例如，提供的感兴趣的区域可以包括在历史模板中表示但没有在当前扫描的口内图像中表示的牙齿部位的区域。在一个实施例中，处理逻辑基于口内感兴趣的区域周围的几何特征和/或基于口内感兴趣的区域的几何特征(如果存在这样的特征)来对口内感兴趣的区域的形状进行插值。例如，如果口内感兴趣的区域是空洞，则可以使用空洞周围的区域来内插空洞的表面形状。可以以将口内感兴趣的区域与周围图像进行对比的方式显示口内感兴趣的区域的形状。例如，牙齿可以以白色显示，而口内感兴趣的区域可以以红色、黑色、蓝色、绿色或其他颜色显示。另外地或替代地，诸如标记之类的指示符可以用作口内感兴趣的区域的指示。指示符可以远离口内感兴趣的区域，但包括指向口内感兴趣的区域的指向符。在牙齿部位的许多视图中可以隐藏或遮挡口内感兴趣的区域。但是，指示符可以在所有或许多此类视图中可见。例如，除非指示符被禁用，否则指示符可以在扫描的牙齿部位的所有视图中可见。当口内扫描会话正在进行时，可以显示提供的口内感兴趣的区域的指示。

图4示出了根据本发明实施例的在口内扫描会话期间参考历史扫描的另一方法400的流程图。该方法可以由包括硬件(例如，电路、专用逻辑、可编程逻辑、微代码等)、软件(例如，在处理装置上运行的指令)或其组合的处理逻辑来执行。在一个实施例中，处理逻辑对应于图1的计算装置105(例如，对应于执行口内扫描应用108的计算装置105。

在方法400的框402处，处理逻辑接收牙齿部位的一个或多个图像。如果接收到多个图像，则处理逻辑可以执行图像配准以将这些图像缝合在一起。当图像被缝合在一起时，可以生成并显示包括缝合在一起的图像的牙齿部位的虚拟3d模型。

在框404处，处理逻辑接收牙齿部位的新图像。在框406处，处理逻辑将新图像与一些或所有先前图像进行比较。在框408处，处理逻辑确定新图像是否可以配准到任何先前图像。如果满足第一配准标准，则可以将新图像配准到先前图像。第一配准标准可以包括新图像中有阈值数量的曲线、边缘、点和/或其他特征匹配先前图像的曲线、边缘、点和/或其他特征。当新图像的特征偏离先前图像的特征小于诸如10％的偏差阈值时，可以确定特征匹配。总的来说，匹配特征的数量和匹配程度在这里可以称为重叠量。因此，如果这两个图像之间的重叠量满足重叠阈值，则可以配准图像。如果新图像中没有足以匹配任何先前图像的特征数量(重叠量小于重叠阈值)，则不能执行配准，并且方法前进到框412。如果新图像中存在足以匹配至少一个先前图像的特征数量(重叠量满足或超过重叠阈值)，则该方法继续到框410。

在框410处，处理逻辑使用第一配准标准将新图像配准到先前图像中的一个或多个。然后，处理逻辑可以更新牙齿部位的3d模型以包括缝合到先前图像的新图像并显示更新的3d模型。

在框412处，处理逻辑使用第二图像配准标准将新图像配准到历史模板。在框412处，如果先前图像尚没有配准到历史模板，则处理逻辑还可将先前图像配准到历史模板。历史模板可以是基于在先前时间拍摄的图像生成的患者牙齿部位的虚拟3d模型。第二配准标准可以比第一配准标准限制更少。例如，患者的牙齿部位可能随着时间而改变。牙齿可能会略微磨损并改变形状，牙齿可能会轻微移动，等等。因此，相同牙齿的图像可能不完全匹配。为了考虑这些随时间的变化并且仍然使当前图像能够配准到图像和/或从之前拍摄的图像生成的虚拟模型，放宽了配准标准。放宽的配准标准可以包括减少指定用于配准两个图像的特征的阈值数量和/或增加允许识别两个特征之间的匹配的偏差量。

将新图像和先前图像配准到历史模板使得处理逻辑能够确定由新图像和先前图像表示的牙齿部位的区域。因此，一旦已经配准了新图像和先前图像，就可以确定新图像和先前图像的相对位置。处理逻辑可以基于对历史模板的配准来更新牙齿部位的3d模型。结果是，3d模型可以示出由已经缝合在一起的先前图像表示的牙齿部位的第一区域，并且可以示出由新图像表示的牙齿部位的第二区域。在第一区域和第二区域之间可以存在小的或大的间隔。对于在当前扫描会话中尚没有收集图像数据的牙齿部位的区域，处理逻辑可以基于来自历史模板的数据显示这些区域的概览。

在框418处，处理逻辑确定当前扫描会话是否完成。如果扫描会话没有完成，则该方法返回到框404，并且接收牙齿部位的另一新图像。当接收到新图像时，可以将这些新图像配准到先前图像和/或历史模板。最终，应该生成足够的图像，使得所有图像可以配准到来自当前扫描会话的一个或多个其他图像。如果在框420处扫描完成，则该方法继续到框420。

在框420处，处理逻辑可以细化来自扫描会话的图像之间的图像配准。在扫描会话期间生成的3d模型可能是粗略模型。一旦扫描会话完成，就可以执行更严格的图像配准过程以生成牙齿部位的更精确的3d虚拟模型。与扫描会话期间生成的3d模型相比，更严格的图像配准过程可使用更多处理资源并且花费更多时间来生成3d模型。

图5示出了根据本发明实施例的包括来自当前扫描的图像数据和来自历史模板的图像数据的牙齿部位的图形表示(例如，3d虚拟模型500)。在一个实施例中，3d虚拟模型500包括基于当前扫描的图像的表面502-506，其覆盖在相关联的历史模板508的对应位置上。表面502-506可以显示为实心表面。

表面502-506中的每一个可以基于来自当前扫描的单个图像或者基于来自当前扫描的已经缝合在一起的多个图像。由于图像之间的区域不充分重叠，与表面502相关联的图像可能无法适当地配准到与表面505或表面506相关联的任何图像。类似地，由于图像之间的区域不充分重叠，与表面505相关联的图像可能无法适当地配准到与表面506相关联的任何图像。然而，与表面502-506相关联的图像仍然可以被配准到历史模板508。这可以使得来自当前扫描会话的所有图像能够被使用而不是被丢弃。另外，通过将图像配准到历史模板，可以生成3d虚拟模型500，该3d虚拟模型500示出患者牙齿部位的应该生成有附加图像的区域。

在一个实施例中，基于来自历史模板的数据示出了当前扫描数据尚不可用的牙齿部位的区域。这些区域的表面可以由3d点云表示，或者可以表示为轮廓或半透明表面而不是实体表面。在一个实施例中，可以提供给用户包括来自历史模板508的数据的虚拟3d模型，其表面502-506覆盖在历史模板508上。表面502-506可以彩色显示或填充的形式显示(非3d点云形式)以便基于来自基于基础历史模板508的表面的实际扫描图像来区分表面502-506。随着表面502-506被记录下来，基于口内图像的表面502-506可以实时地显示在历史模板508上。在另一个实施例中，不提供来自历史模板508的数据用于显示，但是基于配准到历史模板508，提供基于口内图像的表面502-506以在其适当的位置显示。表面502-506可以实时地显示在它们适当的位置，而不提供3d点云历史模板508用于显示。

在一个实施例中，恢复模型可以基于历史模板508。例如，如果牙科医生正在为患者口腔内的受影响区域设计新的牙冠，则可以将受影响区域健康的时间的诸如模板508之类的历史模板提供给从业者。可以选择历史模板的区域作为牙冠的修复模型。必要时，可以进一步调整模型以完成牙冠的设计。

在其他实施例中，当用户在不扫描先前扫描并存在于历史模板508中的区域的情况下完成扫描时，可以通过来自历史模板508的相应数据填充缺失区域。这可以通过一个区域来表示，该区域从历史模板的3d点云的显示改变为被填充的相同区域(例如，类似于表面502-506)的显示。在一个实施例中，可以基于与多于一个历史模板相关联的趋势来填充缺失区域。例如，如果存在三个历史模板，并且每个模板显示出扫描之间与来自当前扫描的缺失的区域相关联的牙齿中的1mm偏移，则可以在与该区域相关联的牙齿中为该区域提供额外的1mm偏移。

图6示出了计算装置600的示例形式的机器的图形表示，其中可以执行用于使机器执行本文所讨论的任何一种或多种方法的一组指令。在备选实施例中，机器可以连接(例如，联网)到局域网(lan)、内联网、外联网或因特网中的其他机器。机器可以在客户端-服务器网络环境中以服务器或客户端机器的能力运行，或者作为对等(或分布式)网络环境中的对等机器运行。该机器可以是个人计算机(pc)、平板电脑、机顶盒(stb)、个人数字助理(pda)、蜂窝电话、网络装置、服务器、网络路由器、交换机或者桥接器，或任何能够执行一组指令(顺序或其他)以指定该机器要采取的动作的机器。此外，虽然仅示出了单个机器，但术语“机器”还应被视为包括单独或联合执行一组(或多组)指令以执行本文讨论的任何一个或多个方法的任何机器(例如，计算机)的集合。

示例计算装置600包括处理装置602、主存储器604(例如，只读存储器(rom)、闪存、诸如同步dram(sdram)的动态随机存取存储器(dram)等)、静态存储器606(例如，闪存、静态随机存取存储器(sram)等)和辅助存储器(例如，数据存储装置628)，其经由总线608彼此通信。

处理装置602表示一个或多个通用处理器，例如微处理器、中央处理单元等。更具体地，处理装置602可以是复杂指令集计算(cisc)微处理器、精简指令集计算(risc)微处理器、超长指令字(vliw)微处理器、实现其他指令集的处理器，或实现指令组集合的处理器。处理装置602还可以是诸如专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、网络处理器等的一个或多个专用处理装置。处理装置602被配置为执行用于执行本文讨论的操作和步骤的处理逻辑(指令626)。

计算装置600还可以包括用于与网络664通信的网络接口装置622。计算装置600还可以包括视频显示单元610(例如，液晶显示器(lcd)或阴极射线管(crt))、字母数字输入装置612(例如，键盘)、光标控制装置614(例如，鼠标)，以及信号生成装置620(例如，扬声器)。

数据存储装置628可以包括机器可读存储介质(或者更具体地，非暂时性计算机可读存储介质)624，其上存储有实施本文所述的任何一个或多个方法或功能的一个或多个指令集626。非暂时性存储介质是指除载波之外的存储介质。在由计算机装置600执行指令期间，指令626还可以完全或至少部分地驻留在主存储器604内和/或处理装置602内，主存储器604和处理装置602也构成计算机可读存储介质。

计算机可读存储介质624还可以用于存储口内扫描应用650，其可以对应于图1的类似命名的组件。计算机可读存储介质624还可以存储包含口内扫描应用650的方法的软件库。虽然计算机可读存储介质624在示例实施例中被显示为单个介质，但是术语“计算机可读存储介质”应被视为包括存储一组或多组指令的单个介质或多个介质(例如，集中式或分布式数据库，和/或相关联的高速缓存和服务器)。术语“计算机可读存储介质”还应被视为包括除载波之外的任何介质，其能够存储或编码一组指令以供机器执行并且使机器执行本发明的任何一种或多种方法。因此，术语“计算机可读存储介质”应被视为包括但不限于固态存储器，以及光学和磁性介质。

应当理解，以上描述旨在是说明性的而非限制性的。在阅读和理解以上描述后，许多其他实施例将是显而易见的。尽管已经参考特定示例实施例描述了本发明的实施例，但是应该认识到，本发明不限于所描述的实施例，而是可以在所附权利要求的精神和范围内通过修改和变更来实践。因此，说明书和附图应被视为说明性意义而非限制性意义。因此，本发明的范围应该参考所附权利要求以及这些权利要求所赋予的等同物的全部范围来确定。