用于确定牙科器械的空间坐标的混合现实系统和方法与流程

本申请要求于2017年10月2日提交的临时申请第62/566,841号在35u.s.c.§119(e)下的优先权的权益，其全部内容通过引用并入本文。

关于联邦政府资助的研究或开发的声明

不适用

通过引用致密盘上提交的材料的并入

不适用

联合研究协议各方的名称

不适用

本发明涉及用于确定牙科器械的空间坐标的混合现实系统和方法。

背景技术：

本发明涉及用于确定牙科器械的空间坐标的混合现实系统和方法。混合现实(“mr”)指的是将真实环境和虚拟环境融合以创建新的环境和可视化，其中物理和数字对象共存并且实时交互。在医疗领域，mr已经被用于协助外科医生计划和执行外科手术。医学相关的mr环境中的精度和准确度至关重要，因为精度和准确度不足可能导致严重的患者伤害。

在牙科领域中，已经使用摄像机来提供患者口腔内解剖结构(例如颅骨、上颌骨、下颌骨和齿列)的图像，然后将其用于制造牙科植入物或假体或者提供口腔内对象的静止位置/定位，例如口腔内映射。此外，为了提供定位或映射数据，在患者口腔内固定参考点。然而，在mr环境中执行牙科手术时，能够精确地跟踪主动移动的牙科器械的位置是至关重要的。因此，需要用于确定牙科器械的空间坐标的系统和方法。

本发明使得牙科专业人员能够在不具有固定的口腔内参考点的情况下在mr环境中确定牙科器械(其可以是静止的或主动移动的)的空间位置，使得牙科专业人员可以计划、设计以及精确且准确地执行要对患者执行的牙科手术。本发明包括基于口腔内图像传感器的位置检测装置。基于口腔内图像传感器的位置检测装置包括检测牙科器械的空间坐标的两个或更多个摄像机，生成其数据，并且在延迟时间或实时提供要在mr环境中使用的所述数据。重建并显示患者的颅面解剖结构的图像和牙科器械的位置以供牙科专业人员观看。通过各种显示器，牙科专业人员将能够精确地控制和跟踪牙科器械的移动，以确保精确地执行外科手术。

技术实现要素：

本发明公开了一种位于患者口腔中的基于口腔内传感器的定位和导航装置，其感测和跟踪牙科器械(其可以可选地包括传感器)的移动和位置。本发明的用途之一是使人能够在不具有固定的口腔内参考点的情况下在mr环境中确定牙科器械(其可以是静止的或主动移动的)的空间位置。mr环境可以基于限定空间，例如患者的口腔内空间。限定空间可以由一定数目的平行平面限定，其中每个平面包括一定数目的点，其中每个点具有一组三维坐标(x，y，z)。就数字图形表示而言，每个点可以与像素同义。例如，如果33mm(毫米)乘33mm的平面包括1280乘1280像素，那么每个像素将在限定空间内表示大约0.02578mm(33mm除以1280)乘0.02578mm的子空间。因此，每个像素的坐标将表示限定空间内的某个子空间。如果诸如牙科器械的对象的点位于某个子空间内，则该子空间的像素的坐标可以用于识别对象的点的空间位置。如果平面包括更多像素，则每个像素将表示更小(或更精细)的空间，或更高的分辨率，如图示中所述，这将转化为高精度或高准确度。

可以通过使用从不同角度观看的两个或更多个摄像机来确定空间中的位置的三维坐标。在双摄像机系统(摄像机1和摄像机2)的情况下，摄像机1可以针对距离摄像机1一定距离的平面上的位置提供相对于摄像机1的第一组二维坐标。然后，定位成离开摄像机1的摄像机2可以针对距离摄像机2一定距离的平面上的相同位置提供相对于摄像机2的第二组二维坐标。通过算法，位置相对于摄像机1和摄像机2的三维坐标可以通过基于第一组二维坐标和第二组二维坐标的计算来确定。

在一个实施方式中，摄像机1和摄像机2之间的相对位置应该是固定的。位置的三维坐标(x，y，z)基于以下算法/公式组来计算：

摄像机1：

x＝a1*x1-b1*y1+x01

y＝b1*x1+a1*y1+y01

(x1，y1)是相对于摄像机1的二维坐标。

摄像机2：

x＝a2*x2-b2*y2+x02

z＝b2*x2+a2*y2+y02

(x2，y2)是相对于摄像机2的二维坐标。

a1、b1、x01、y01、a2、b2、x02和y02是需要通过校准确定的参数。在一个实施方式中，摄像机1和摄像机2通过提供具有已知坐标数x、y、z、x1、y1、x2和y2的四个空间位置来校准。将这些已知数应用于上述公式组，可以确定a1、b1、x01、y01、a2、b2、x02和y02。一旦确定了参数，就可以基于(x1，y1)和(x2，y2)来确定任何空间位置的三维坐标(x，y，z)。因此，可以建立包含限定空间中的每个空间位置的三维坐标的数据库。一旦两个摄像机感测到牙科器械的点，即通过基于公式组计算或参考建立的数据库来确定(x1，y1)和(x2，y2)，则点的三维坐标可以被实时获得并且用于显示点的位置以供查看。如果点移动，则系统和方法可以实时计算和更新该点的位置。因此，具有感测牙科器械的两个摄像机的基于口腔内图像传感器的定位和导航装置可以精确地确定牙科器械的空间位置。三个或更多个摄像机也可以用在具有上述相同校准处理的相似系统中，以确定更宽测量范围内的位置的三维坐标。

在阅读了本发明的以下描述之后，本发明的这些和其他方面对于本领域技术人员而言将变得明显。

附图说明

参考以下结合附图的描述，本公开内容的上述特征和目的将变得更加明显，其中，相同的附图标记表示相同的元素，并且在附图中：

图1-1是一定距离处的单个摄像机测量的示意图；

图1-2是如图1-1所示的平面13的图示；

图2是一定距离处的双摄像机测量的示意图；

图3是双摄像机测量系统和用于确定限定空间内的空间位置的算法的示意图；

图4是位于患者口腔中的基于双摄像机口腔内图像传感器的定位和导航装置的图示；

图5是位于患者口腔中的基于双摄像机口腔内图像传感器的定位和导航装置的另一图示。

具体实施方式

为了说明的目的，通过参考本发明的示例性实施方式来描述本发明的原理。在详细说明本发明的任何实施方式之前，应该理解，本发明的应用不限于以下描述中阐述的或在以下附图中示出的部件的布置和构造的细节。本发明能够具有其他实施方式并且能够以各种方式实践或实施。此外，应该理解的是，本文使用的措辞和术语是为了描述的目的，并且不应该被认为是限制性的。本文中对“包括”、“包含”或“具有”及其变体的使用旨在涵盖其后列出的项目及其等同物以及附加项目。

图1-1示出了使用具有视场11的单个摄像机10的测量的实施方式。摄像机10可以感测与摄像机10相距已知距离12并且对应于(如此处示出的垂直于)视场11的限定平面13。限定平面13包括像素矩阵，其中每个像素具有相对于单个摄像机10的一组二维坐标(x1，y1)。在一个实施方式中，如图1-2所示，限定平面13包括与摄像机10中的1280×1280图像传感器对应的1280×1280像素的矩阵。如果限定平面13的尺寸为33mm乘33mm，则限定平面13中的每个像素将表示限定平面13内的约0.02578mm(33mm除以1280)乘0.02578mm的子空间。通过改变距离12，确定彼此平行的更多限定平面，这又形成限定的3维空间33，如图3所示。

在双摄像机测量中，如图2所示，第二摄像机20被放置成离开第一摄像机10。类似地，摄像机20具有视场21，并且可以感测与摄像机20相距已知距离22并且垂直于视场21的限定平面23。限定平面23包括像素矩阵，其中像素24将具有相对于摄像机20的一组二维坐标(x2，y2)。如果像素24也在限定平面13上，则像素24也将具有相对于摄像机10的一组二维坐标(x1，y1)。

图3示出了双摄像机测量系统和用于确定限定空间内的空间位置的算法的实施方式。具有视场11的第一摄像机10和具有第二视场21的第二摄像机20限定了包括像素矩阵的空间33。基于选定并且已知的三维坐标系32，空间33内的像素30将具有相对于坐标系32的三维坐标(x，y，z)。像素30也将具有分别相对于摄像机10和摄像机20的两组二维坐标(x1，y1)和(x2，y2)。

在一个实施方式中，使用以下算法/公式组来将每个像素的(x1，y1)和(x2，y2)计算成(x，y，z)：

x＝a1*x1-b1*y1+x01

y＝b1*x1+a1*y1+y01

(x1，y1)是相对于摄像机10的二维坐标。

x＝a2*x2-b2*y2+x02

z＝b2*x2+a2*y2+y02

(x2，y2)是相对于摄像机20的二维坐标。

a1、b1、x01、y01、a2、b2、x02和y02是需要通过校准确定的参数。在一个实施方式中，提供具有已知坐标数(x、y、z、x1、y1、x2和y2)的空间33中的四个像素。将这些已知数应用于上述公式组，可以确定a1、b1、x01、y01、a2、b2、x02和y02。一旦确定了这些参数，就可以基于(x1，y1)和(x2，y2)来确定空间33中的每个像素的三维坐标(x，y，z)。因此，可以建立包含限定空间中的每个空间位置的三维坐标的数据库。在一个实施方式中，当牙科器械31的尖端进入空间33时，摄像机10和摄像机20感测/捕获尖端的空间位置，即通过基于公式组计算或参考建立的数据库来确定(x1，y1)和(x2，y2)，尖端的三维坐标可以被实时确定并且用于显示尖端的位置以供查看。如果尖端移动，则可以确定一组新的(x1，y1)和(x2，y2)，并且上述系统和方法可以实时计算和更新尖端的位置。

图4描述了具有两个摄像机41的基于口腔内图像传感器的定位和导航装置的一个实施方式。在一个实施方式中，基于口腔内图像传感器的定位和导航装置还可以用作咬合块43，咬合块43可以是可调节的和/或可定制的，并且定位在患者的口腔中，以便在牙科手术期间将患者的口腔保持并固定就位。两个摄像机41可以感测牙科器械42的尖端，并且将两组二维坐标(x1，y1)和(x2，y2)从摄像机41发送到处理器45以用于处理成三维坐标(x，y，z)并且观察尖端42的空间位置。尖端42的空间位置也可以显示在移动装置46上以供观看。可选地，基于口腔内图像传感器的定位和导航装置还可以包括内窥镜44，以用于观察和/或感测患者的口腔解剖结构。图5描绘了口腔内双摄像机定位和导航装置的另一实施方式，其中摄像机10和摄像机20感测牙科器械50的尖端以便确定牙科器械50的空间位置。

在一个实施方式中，基于口腔内图像传感器的定位和导航装置可以将与牙科器械的移动和位置有关的数据发送到mr透镜，以便在mr透镜上显示以供观看。

提供先前的描述是为了使本领域的任何普通技术人员能够制作或使用所公开的方法和设备。对于本领域技术人员来说，对这些示例的各种修改将容易是明显的，并且在不脱离所公开的方法和设备的精神或范围的情况下，可以将本文限定的原理应用于其他示例。所描述的实施方式在所有方面都应被认为仅是说明性的而非限制性的，并且因此，本发明的范围由所附权利要求而不是前面的描述来指示。在权利要求的含义和等同范围内的所有变化都被包含在其范围内。技术人员可以针对每个特定应用以不同方式实现所描述的功能，但是这种实现决策不应被解释为导致脱离所公开的设备和方法的范围。方法或算法的步骤也可以以与示例中提供的顺序可替选的顺序来执行。