利用三维数据增强患者的实时视图的制作方法

相关申请的交叉引用

本申请是2018年2月12日提交的美国专利申请no.15/894,595的pct申请，美国专利申请no.15/894,595是2017年3月30日提交的美国专利申请no.15/474,702的继续申请，美国专利申请no.15/474,702现在是美国专利no.9,892,564，两者都通过引用的方式整体并入本文。

背景技术：

增强现实(ar)系统通常采用用户对现实世界环境的实时视图，并利用计算机生成的虚拟元素(例如视频、声音或图形)来增强该视图。结果，ar系统起到增强用户当前对现实的感知的作用。

ar系统面临的一个常见问题是准确地将虚拟元素的位置与现实世界环境的实时视图对准。该对准过程通常手动完成或仅在手动放置非解剖基准(non-anatomicalfiducials)后自动完成。在任何一种情况下，手动过程都是耗时、麻烦和不准确的。

ar系统面临的另一个常见问题是正确放置虚拟控件以管理虚拟元素。虚拟控件虽然旨在帮助用户与虚拟元素交互，但在实时视图中通常放置的位置使得它们更多地成为障碍而不是对用户的帮助。

本文要求保护的主题不限于解决诸如上述的任何缺点或仅在诸如上述环境中操作的实施例。而是，提供该背景仅用于说明可以实践本文描述的一些实施例的一个示例性技术领域。

技术实现要素：

在一个实施例中，一种利用三维(3d)数据来增强患者的实时视图的方法可以包括各种操作。例如，该方法可以包括识别患者的3d数据，其中3d数据包括患者的外层和患者的多个内层。该方法还可以包括确定3d数据中的患者外层的虚拟形态测定测量。该方法还可以包括记录(registering)患者外层在3d空间中的实时位置。该方法还可以包括确定患者外层的实时形态测定测量。该方法还可以包括使用虚拟形态测定测量及使用实时形态测定测量，自动记录3d数据中的患者外层的位置，使其与所记录的患者外层在3d空间中的实时位置对准。该方法还可以包括在增强现实头戴机中显示被投影到患者外层的实时视图上的3d数据中的患者内层中的一个内层。

在另一个实施例中，一种利用3d数据来增强患者的实时视图的方法可以包括各种操作。例如，该方法可以包括识别患者的3d数据，其中3d数据包括患者的外层和患者的多个内层。该方法还可以包括在增强现实头戴机中显示被投影到患者外层的实时视图上的3d数据中的患者内层的一个内层。该方法还可以包括在增强现实头戴机中生成虚拟用户界面，该虚拟用户界面包括用于改变3d数据中的患者的投影内层的显示的选项。该方法还可以包括由于增强现实头戴机的焦点方向未被聚焦在患者身上，而在增强现实头戴机中显示被投影到实时视图上的虚拟用户界面。该方法还可以包括由于增强现实头戴机的焦点方向聚焦在患者身上，而在增强现实头戴机中隐藏虚拟用户界面。

应理解，前述发明内容和以下具体实施方式都是解释性的，并不是对要求保护的本发明的限制。

附图说明

将通过使用附图以附加的特征和细节来描述和解释实施例，在附图中：

图1示出了示例性增强现实(ar)环境，其中可以利用三维(3d)数据来增强患者的实时视图；

图2a-2f是具有第一位患者的图1的ar环境的照片；

图3是具有第二位患者的图1的ar环境的照片；

图4a-4b是具有第三位患者的图1的ar环境的照片；

图5示出了可利用3d数据增强患者的实时视图的示例性计算机系统；

图6a-6e是利用3d数据增强患者的实时视图的示例性方法的流程图。

具体实施方式

可以采用医学成像来创建患者内部的视觉表示。具体而言，可以采用医学成像来揭示由患者的外层(例如皮肤)隐藏的内部结构，用于例如培训、研究、诊断和治疗的各种目的。

传统的医学成像系统可以为患者创建三维(3d)数据，然后将3d数据作为一个或多个图像显示在计算机显示器上。尽管在与实际患者分离的计算机显示器上查看患者的图像在培训、研究、诊断和治疗、查看中可能是有用的，但这种分离的查看也可能导致一些问题。

例如，在外科医生需要从患者的大脑移除肿瘤的情况下，外科医生可以在计算机显示器上查看患者大脑的图像。在计算机显示器上查看肿瘤的位置之后，外科医生可以将他的视线从计算机显示器移动到手术台上的实际患者，并尝试在实际患者上识别患者脑内肿瘤的大致位置。这种识别肿瘤的大致位置的方法可能是困难的并且容易出错。例如，外科医生可能会意外地将图像中的大脑左侧识别为患有肿瘤，而实际上肿瘤位于大脑的右侧。这种错误可能导致外科医生错误地在患者头骨的左侧进行不必要的切开。

在另一示例中，在医生需要对患者进行膝盖手术的情况下，医生可以在计算机显示器上查看患者膝盖的图像。在计算机显示器上查看膝盖的有问题区域之后，医生可以将他的视线从计算机显示器移动到手术台上的实际患者，并尝试在实际患者上识别膝盖的有问题区域以进行手术。这种识别膝盖的有问题区域的方法可能是困难的并且容易出错。例如，医生可能意外地将错误患者的图像拉到计算机显示器上，而没有意识到手术台上的患者与计算机显示器上的图像不匹配。由于不同患者之间的膝盖的有问题区域的自然变化，该错误可能导致外科医生错误地在不正确位置进行切开。

本文公开的实施例可以提供优于传统医学成像系统的各种益处。特别地，本文公开的实施例可以例如利用3d数据增强患者的实时视图。在一些实施例中，患者的3d数据可以与实际患者的实时视图自动对准或自动记录患者的3d数据，然后可以将从3d数据导出的图像投影到患者的实时视图上。因此，这些实施例可以使医疗专业人员能够在观看实际患者的同时查看患者的虚拟内部，而无需任何耗时、麻烦且不准确的手动对准和/或无需任何耗时、麻烦且不准确的非解剖基准的手动放置。当用于培训、研究、诊断或治疗时，这些实施例可以使医疗专业人员能够更容易且更准确地定位患者体内的目标位置。

例如，当在上面讨论的脑外科示例中使用时，这些实施例可以避免外科医生在大脑右侧和左侧之间混淆肿瘤位置，并且因此可以避免外科医生在去除肿瘤的手术期间对错误的头骨一侧进行不必要的切开。类似地，当在上面讨论的膝盖手术示例中使用时，这些实施例可以避免医生因为自动对准可能失败或者可能指示自动对准正确的低置信度而使用错误患者的3d数据，从而向医生警告患者数据可能不是用于当前在手术台上的患者。

此外，在一些实施例中，利用3d数据增强患者的实时视图可以包括虚拟用户界面和其他虚拟控件的显示，该虚拟用户界面和其他虚拟控件用于改变投影到患者的实时视图上的图像。可以投影该虚拟用户界面和这些其他虚拟控件以避免妨碍医疗专业人员在查看患者时的视野，为医疗专业人员维持相对恒定的焦距，和/或维持虚拟用户界面面对医疗专业人士的方向。以这种方式，这些实施例可以允许医疗专业人员快速且容易地改变投影到患者的实时视图上的图像。

转到附图，图1示出了示例性增强现实(ar)环境100。在一些实施例中，环境100可以包括3d空间102、用户104、患者106和ar头戴机108，ar头戴机108可以通过网络110与服务器112通信。在一些实施例中，环境100还可以包括虚拟用户界面114、虚拟空间差异框116、对象118的虚拟插入部分118a和虚拟光标122，全部以虚线示出，以指示这些虚拟元素由ar头戴机108生成并且仅可由用户104通过ar头戴机108观看。

在一些实施例中，3d空间102可以是任何3d空间，包括但不限于具有手术台103(如图1所示)的手术室、办公室、教室或实验室。在一些实施例中，3d空间102可以是用户104在佩戴ar头戴机108时可以查看患者106的空间。

在一些实施例中，用户104可以是ar头戴机108的任何用户，包括但不限于医疗专业人员(如图1所示)、教师、研究人员、患者或患者的护理人员。例如，医疗专业人员可以使用ar头戴机108以便对患者106执行医疗处理。类似地，研究人员或教师可以在进行医学研究或指导医学生时使用ar头戴机108。此外，当医疗专业人员试图向患者106解释所建议的医疗程序时，患者106的护理人员或患者106自己可以使用ar头戴机108。

在一些实施例中，患者106可以是任何动物，有意识或无意识的，活的或死的，完整或缺少一个或多个身体部位的。例如，患者106可以是活的成年人(如图1所示)，该成年人已失去意识以便由用户104进行医疗处理。在另一示例中，患者106可以是为研究或培训目的而进行解剖的成年人的尸体。在另一示例中，患者106可以是由兽医评估的有意识的动物，以便诊断医学病症。在另一示例中，患者106可以是死者的单个肢体或器官。

在一些实施例中，ar头戴机108可以是ar头戴机形式的任何计算机系统，其能够利用3d数据增强患者106的实时视图。例如，用户104可以使用ar头戴机108以便利用患者106的一个或多个内层来增强患者106的实时视图，所述内层包括但不限于骨头106b(如图1所示)、肌肉、器官或体液。在一些实施例中，ar头戴机108可以执行这种对患者106的实时视图的增强，而不管用户104在3d空间102中的当前位置。例如，用户104可以在手术台103周围走动，并且在3d空间102内从任何角度查看患者106，ar头戴机108可以始终用患者106的一个或多个内层持续地增强患者106的实时视图，以便用户104可以在3d空间102内从任何角度查看患者和患者106的3d数据。ar头戴机108可以根据本文结合图6a-6e公开的方法600利用3d数据执行对患者106的实时视图的这种增强。在一些实施例中，ar头戴机108可以是microsofthololens的修改版本。

在一些实施例中，网络110可以被配置为通信地耦合ar头戴机108和服务器112或其他计算机系统。在一些实施例中，网络110可以是任何有线或无线网络，或多个网络的组合，被配置为在系统和设备之间发送和接收通信。在一些实施例中，网络110可以包括诸如蓝牙网络的个人区域网络(pan)、诸如wifi网络的局域网(lan)、城域网(man)、广域网(wan)或存储区域网络(san)。在一些实施例中，网络110还可以耦合到或可以包括电信网络的多个部分，用于以各种不同的通信协议(例如蜂窝网络)发送数据。

在一些实施例中，服务器112可以是能够结合ar头戴机108一起运行的任何计算机系统。在一些实施例中，服务器112可以被配置为与ar头戴机108实时通信以便向ar头戴机108传送3d数据或从ar头戴机108接收数据。另外，服务器112可用于卸载ar头戴机108所需的一些或全部数据存储或处理程序。

在一些实施例中，虚拟用户界面114可以是由ar头戴机108生成的任何虚拟用户界面，其包括用于改变患者106的3d数据之中的患者106的投影内层的显示的选项。例如，虚拟用户界面114中包括的选项可以包括但不限于使ar头戴机108做出如下动作的选项：

(1)退出查看患者106的增强视图，

(2)显示ar头戴机108的功能演示，

(3)调整投影到患者106上的3d数据的特性，例如投影的3d数据的亮度和颜色，

(4)调整3d数据与患者106的对准，

(5)显示虚拟空间差异框116，

(6)显示3d数据的切片(slice)而不是立体3d数据，

(7)例如在重新定位3d数据的切片时，在用户104的方向上拖动3d数据，

(8)显示3d数据的不同切片，包括但不限于轴向切片、冠状切片、矢状切片和倾斜切片，及

(9)执行ar头戴机108的其他高级特征。

虚拟用户界面114还可以包括对用户104有用的其他信息。例如，虚拟用户界面114可以包括患者106的实时生命体征，例如心率、血压和呼吸率。在另一示例中，虚拟用户界面114可以包括秒表，其显示患者106已经失去意识的时间量。

在一些实施例中，ar头戴机108可以被配置为在距用户104的舒适距离处和/或在用户104的舒适方向上显示虚拟用户界面114。例如，ar头戴机108可以被配置为在ar头戴机108的焦距d2处显示虚拟用户界面114，该焦距d2大约等于患者106与ar头戴机108的实时距离d1。该距离对于用户来说可能是舒适的，因为即使用户在3d空间102周围移动时，并且即使用户移近和远离患者106时，它也可以避免用户104在患者106和虚拟用户界面114之间移动他的视点时必须重新聚焦他的眼睛。在另一示例中，ar头戴机108可以被配置为以垂直于ar头戴机108的焦点方向120而定向的焦点方向显示虚拟用户界面114。该方向对于用户来说可以是舒适的，因为即使用户在3d空间102周围移动时，并且即使用户通常面对患者106或背对患者106时，它也可以使得虚拟用户界面114始终面向用户104正面，而不管ar头戴机108的当前焦点方向120如何。

在一些实施例中，可以由ar头戴机108生成虚拟空间差异框116，以将3d数据中的患者106的投影内层限制在立体的虚拟空间差异框116内。例如，患者106的投影骨骼106b可以被限制在图1中的虚拟空间差异框116内。在一些实施例中，虚拟空间差异框116还可以在导航投影的3d数据时通过为用户104提供参考系来帮助用户。例如，当在虚拟空间差异框116内移动3d数据的轴向切片、冠状切片、矢状切片或倾斜切片时，该参考系可以帮助用户。切片可以是二维(2d)切片和/或3d切片。3d切片可以包括弯曲切片，例如遵循解剖特征的自然曲线的弯曲切片，或具有深度以及高度和宽度的切片。用户104可以使用手势来移动这些切片，这需要用户104大致在虚拟空间差异框116的线的方向上移动他的手，因此虚拟空间差异框116的显示可以使这些手部移动对于用户104更容易。

在一些实施例中，对象118的虚拟插入部分118a可以对应于用户104希望穿过患者106的外层插入患者106体内的对象118的任何部分。例如，对象118可以包括但不限于手术刀(如图1所示)、内窥镜、钻头、探针、其他医疗器械、或者甚至是用户104的手。类似于记录患者106的外层的实时位置，也可以记录对象118的外层的位置。然而，与可以在环境100中保持相对静止的患者106不同，可以在环境100中频繁地移动对象118，因此可以在3d空间102中自动跟踪对象118的相对于所记录的患者106外层位置的实时位置。此时，在用户104将对象118的一些部分插入患者106的外层的情况下，ar头戴机108可以显示被投影到3d数据中的患者106的投影内层中的对象118的虚拟插入部分118a。以这种方式，即使当对象118的实际插入部分在用户104的实时视图中被隐藏时，也可以将对象118的虚拟插入部分118a投影到用户104的实时视图上。

在一些实施例中，对象118可以被专门设计为能够由ar头戴机108更准确跟踪的对象118。例如，在对象118是相对小的医疗器械的情况下，例如具有针的注射器，可以增强对象118以便更易于由ar头戴机108的传感器感测。例如，可以使这些医疗器械的尺寸更大以便更易于感测(例如通过视觉传感器)，可以给予这些医疗器械特定形状以便更易于感测(例如通过将针附接的注射器的尖端形成为球体)，可以使这些医疗器械可见性更高以更易于感测(例如通过添加反射条或光条)，或者这些医疗器械可以由更易于感测的材料制成(例如由金属制成，以便易于由金属探测传感器感测)。

此外，在一些实施例中，可以将附件添加到对象118，例如添加到对象118的手柄，以使ar头戴机108能够更准确地跟踪对象118。例如，附件可以包括任何上述使ar头戴机108的传感器能够更易于感测到附件的增强功能，因此通过将附件附着在对象118上，ar头戴机108的传感器更易于感测对象118。此外，附件可以设计为附着到对象118的将要插入患者106的部分上，例如对象118的尖端，使得ar头戴机108的传感器实际上可以感测到患者106内部的附件。例如，小的磁场发射附件可以附着到对象118的尖端，于是ar头戴机108的磁传感器能够感测附件在患者106内的确切位置，从而有助于提高向用户104显示的虚拟插入部分118a的准确性。

在一些实施例中，虚拟光标122可以是由ar头戴机108在虚拟用户界面114上、在另一虚拟控件上或在3d空间102中的任何其他位置生成的虚拟光标。在一些实施例中，虚拟光标122的位置可以对应于ar头戴机108的焦点方向120，其可以对应于用户104的头部的方向。用户104可以使用虚拟光标122来选择虚拟用户界面114的一个或多个选项，虚拟光标有时与用户104的一个或多个其他动作相结合，例如用户眼睛的眨眼，或用户104的一个或多个手势，如在ar头戴机108的视场中一起敲击两个手指。

在不脱离本公开内容的范围的情况下，可以对环境100进行修改、添加或省略。例如，在一些实施例中，各自佩戴ar头戴机108的多个用户可以同时存在于3d空间102中，以便同时查看利用患者106的3d数据增强的患者106。在另一示例中，多个患者可以同时存在于3d空间102中以便允许佩戴ar头戴机108的用户104同时查看利用患者的3d数据增强的多个患者。在另一示例中，各自佩戴ar头戴机108的多个用户和多个患者可以同时存在于3d空间中。在另一示例中，ar头戴机108所查看的视频可以由ar头戴机108捕获，然后被发送到远程位置，诸如通过网络110发送到服务器112或者发送到远程ar头戴机或虚拟现实(vr)头戴机以供另一用户查看。该示例可以使远程用户能够指导本地用户104完成对患者106的医疗处理。此外，尽管环境100通常被公开为在用户104查看患者106的背景下，但是应当理解，环境100可以更广泛地定义为用户希望查看任何对象(例如树、岩石、油田或行星)的一个或多个内层的任何环境。

在另一示例中，ar头戴机108可以另外或替代地由用户104使用语音命令来控制。例如，用户104可以采用语音命令，因为他的手由于对患者106的手术或其他医疗处理而被占用，因此不方便使用手势控制ar头戴机108。在该示例中，可以采用语音命令来控制虚拟用户界面114(例如，选择虚拟用户界面114上的选项)、虚拟空间差异框116(例如，在显示和隐藏虚拟空间差异框116之间切换或重新定位在虚拟空间差异框116中显示的3d数据的切片)、或虚拟光标122(例如，在显示和隐藏投影到患者106上的虚拟光标122之间切换)、或其某种组合。此外，在该示例中，语音命令可以与任何其他虚拟控件分开使用。例如，可以采用语音命令来在显示和隐藏投影到患者106上的3d数据之间切换，或者调整投影到患者106上的3d数据的透明度，这在用户104对患者106进行手术时可能是有用的，并且可以允许用户104仅在需要时查看投影的3d数据，在3d数据分散注意力时避免查看投影的3d数据或者使3d数据更透明。在另一示例中，ar头戴机108的控件(诸如虚拟用户界面114)可以至少部分地以可听的方式向用户104呈现选项。选项的可听呈现可以允许用户104在实际说出语音命令之前首先听到语音选项(例如，可能的语音命令)。选项的可听呈现还可以允许用户104将ar头戴机108的焦点方向120和/或用户104的视点保持在患者106上，同时仍然能够与当前不在他的视场中和/或当前由ar头戴机108隐藏的虚拟控件交互。

图2a-2f是具有第一位患者的图1的ar环境100的照片。如图2a中所公开的，用户可佩戴ar头戴机，其利用第一位患者的3d数据来增强第一位患者的实时视图。此外在图2a中公开了，用户可以采用手势以便操纵ar头戴机的虚拟控件。图2b-2f公开了从佩戴ar头戴机的用户的角度的实际视图。如图2b中所公开的，用户可以采用手势以使得表示患者大脑的ct图像的3d数据的轴向切片投影到第一位患者的实时视图上。如图2c中所公开的，用户可以采用虚拟空间差异框来查看表示第一位患者大脑的ct图像的3d数据的同一轴向切片。如图2d中所公开的，当佩戴ar头戴机的用户围绕第一位患者逆时针方向行走时，可以在3d空间中从不同角度查看表示第一位患者大脑的ct图像的3d数据的同一轴向切片。如图2e和2f中所公开的，用户可以操纵虚拟用户界面的一个或多个选项以分别从查看轴向切片变为查看矢状切片，然后从查看矢状切片变为查看冠状切片。

图3是与第二位患者一起使用的图1的ar环境的照片。特别地，图3公开了从佩戴ar头戴机的用户的角度的实际视图。如图3中所公开的，ar头戴机可以实时更新虚拟用户界面的显示，以使虚拟用户界面持续定位在大约等于第二位患者与ar头戴机的实时距离的ar头戴机的焦距处。此外，ar头戴机可以实时更新虚拟用户界面的显示，以使虚拟用户界面垂直于ar头戴机的焦点方向而持续定向。

图4a-4b是具有第三位患者的图1的ar环境的照片。特别地，图4a-4b公开了从佩戴ar头戴机的用户的角度的实际视图。如图4a和4b的比较所公开的，ar头戴机可以被配置为在ar头戴机的焦点方向不聚焦于第三位患者时显示投影到实时视图上的虚拟用户界面(如图4b中所公开的)，但是之后，当ar头戴机的焦点方向聚焦于第三位患者时隐藏虚拟用户界面。以这种方式，ar头戴机可以避免虚拟用户界面遮挡对第三位患者的查看。在一些实施例中，由于第三位患者通常位于水平视线下方，因此当ar头戴机的焦点方向高于水平面时显示虚拟用户界面，并当ar头戴机的焦点方向处于或低于水平面时隐藏虚拟用户界面，ar头戴机可以避免虚拟用户界面遮挡对第三位患者的查看。在这些实施例中，用户只需在佩戴ar头戴机时随时向上看即可查看虚拟用户界面。

如图2a-4b的照片中所公开的，三位患者的3d数据的投影内层可以使用表示组织特性的颜色渐变来着色，并且从标准颜色渐变发生改变，以便当投影到三位患者外层的实时视图上时可见。例如，在3d数据包括ct扫描图像和x射线图像中的一个或多个的一些实施例中，由颜色渐变表示的组织特性可以包括从最软组织到最硬组织的组织硬度。在其他实施例中，由颜色渐变表示的组织特性可以包括但不限于松弛性、回声性、增强量、增强速度、密度、放射性和含水量中的一种或多种。为了使佩戴ar头戴机的用户易于看到颜色渐变，可以改变颜色渐变以使颜色比计算机显示器上使用的标准颜色渐变更亮，因为当投影到患者身上时，较暗的颜色渐变可能会混合到患者的视图中。

图5示出了可以利用3d数据来增强患者的视图的示例性计算机系统500。在一些实施例中，计算机系统500可以是本公开内容中描述的任何系统或设备的一部分。例如，计算机系统500可以是图1的ar头戴机108或服务器112中的任何一个的一部分。

计算机系统500可以包括处理器502、存储器504、文件系统506、通信单元508、操作系统510、用户接口512和ar模块514，它们都可以通信地耦合。在一些实施例中，计算机系统500可以是例如台式计算机、客户端计算机、服务器计算机、移动电话、笔记本电脑、智能电话、智能手表、平板电脑、便携式音乐播放器、嵌入式计算机、ar头戴机、vr头戴机或任何其他计算机系统。

通常，处理器502可以包括任何合适的专用或通用计算机、计算实体或包括各种计算机硬件或软件模块的处理设备，并且可以被配置为执行存储在任何适用的计算机可读存储介质上的指令。例如，处理器502可以包括微处理器、微控制器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或配置为解释和/或执行程序指令和/或处理数据的任何其他数字或模拟电路，或其任何组合。在一些实施例中，处理器502可以解释和/或执行存储在存储器504和/或文件系统506中的程序指令和/或处理数据。在一些实施例中，处理器502可以从文件系统506获取程序指令并且将程序指令加载到存储器504中。在将程序指令加载到存储器504中之后，处理器502可以执行程序指令。在一些实施例中，指令可以包括处理器502执行图6a-6e的方法600的一个或多个框。

存储器504和文件系统506可以包括用于携带或其上存储有计算机可执行指令或数据结构的计算机可读存储介质。这样的计算机可读存储介质可以是可由通用或专用计算机(例如处理器502)访问的任何可用的非暂时性介质。作为示例而非限制，这种计算机可读存储介质可包括非暂时性计算机可读存储介质，包括只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、光盘只读存储器(cd-rom)或其他光盘存储器，磁盘存储器或其他磁存储设备、闪存设备(例如，固态存储设备)，或可用于以计算机可执行指令或数据结构的形式携带或存储所需程序代码且可由通用或专用计算机访问的任何其他存储介质。以上的组合也可以包括在计算机可读存储介质的范围内。计算机可执行指令可以包括例如被配置为使处理器502执行特定操作或操作组(例如图6a-6e的方法600的一个或多个框)的指令和数据。这些计算机可执行指令可以包括在例如操作系统510中，一个或多个应用程序中，例如ar模块514中，或者其某种组合中。

通信单元508可以包括被配置为通过网络(例如图1的网络110)传送或接收信息的任何部件、设备、系统或其组合。在一些实施例中，通信单元508可以与其他位置、相同位置处的其他设备，或甚至同一系统内的其他部件通信。例如，通信单元508可以包括调制解调器、网卡(无线或有线)、红外通信设备、无线通信设备(诸如天线)和/或芯片组(诸如蓝牙设备、802.6设备(例如，城域网(man))、wifi设备、wimax设备、蜂窝通信设备等)等。通信单元508可以允许与网络和/或任何其他设备或系统(例如本公开内容中描述的)交换数据。

操作系统510可以被配置为管理计算机系统500的硬件和软件资源，并且可以被配置为给计算机系统500提供常用服务。

用户接口512可以包括被配置为允许用户与计算机系统500交互的任何设备。例如，用户接口512可以包括显示器，例如lcd、led或其他显示器，例如ar镜头，被配置为按照处理器502的指示呈现视频、文本、应用程序用户界面和其他数据。用户接口512还可以包括鼠标、跟踪板、键盘、触摸屏、音量控制、其他按钮、扬声器、麦克风、相机、任何外围设备或其他输入或输出设备。用户接口512可以从用户接收输入并将输入提供给处理器502。类似地，用户接口512可以向用户呈现输出。

ar模块514可以是存储在一个或多个非暂时性计算机可读介质(例如存储器504或文件系统506)上的一个或多个计算机可读指令，当由处理器502执行时，计算机可读指令被配置为执行一或多个方法，例如图6a-6e的方法600的一个或多个框。在一些实施例中，ar模块514可以是操作系统510的一部分，或者可以是计算机系统500的应用程序的一部分，或者可以是其某种组合。

在不脱离本公开内容的范围的情况下，可以对计算机系统500进行修改、添加或省略。例如，尽管在图5中各自示出为单个部件，但计算机系统500的任何部件502-514可以包括多个类似的部件，这些部件共同起作用并且通信地耦合。此外，尽管示出为单个计算机系统，但是应当理解，计算机系统500可以包括联网在一起的多个物理或虚拟计算机系统，例如在云计算环境、多租户环境或虚拟化环境中。

图6a-6e是利用3d数据增强患者的视图的示例性方法600的流程图。在一些实施例中，方法600可以由设备或系统执行，例如由在图1的ar头戴机108和/或服务器112上运行的图5的ar模块514执行。在这些和其他实施例中，方法600可以由一个或多个处理器基于存储在一个或多个非暂时性计算机可读介质上的一个或多个计算机可读指令来执行。现在将结合图1、2a-2f、3、4a-4b、5和6a-6e来描述方法600。尽管以下将方法600描述为由ar头戴机执行，但是应当理解，方法600可替代地由另一计算机系统或计算机系统的组合来执行。

在框602处，ar头戴机可以识别患者的3d数据。例如，在框602处，图1的ar头戴机108可以识别患者106的3d数据。

在一些实施例中，可以使用一或多种方法捕获或生成用于图1的患者106的3d数据，可以在患者106处于环境100中时实时地捕获或生成3d数据，和/或在患者106进入环境100之前捕获或生成3d数据。例如，在患者106进入环境100之前可以获得一些3d数据，然后可以利用在患者106处于环境100中时实时获得的附加3d数据来增强3d数据。例如，患者106的3d数据可以包括，但不限于，mri图像、计算机断层摄影(ct)扫描图像、x射线图像、正电子发射断层摄影(pet)图像、超声图像、荧光图像、红外热成像(irt)图像或单光子发射计算断层摄影(spect)扫描图像或其某种组合。这些图像中的任何一个可以是静止图像或视频图像的形式。例如，方法600可以采用患者106的骨骼系统的静止x射线图像(如图1所示)。在另一示例中，方法600可以采用患者106的跳动心脏的超声视频图像。在另一示例中，方法600可以在心脏的静止图像和心脏跳动的实时视频之间切换。

尽管使用各种不同方法获得，但在一些实施例中，患者的3d数据可包括患者的外层和患者的多个内层。例如，图1的患者106的外层可以包括患者106的皮肤106a和/或由患者106穿戴的衣服107。在另一个示例中，尸体的外层可以是除皮肤之外的组织层，例如肌肉或脂肪层，其中皮肤已从尸体移除。患者106的内层可包括但不限于患者106的内部骨骼106b(如图1所示)、肌肉、器官或体液。3d数据可包括2d图像，例如x射线图像，因为在将2d图像投影到3d空间时，2d图像具有3d意义。例如，患者106的3d数据可以包括可以投影到患者106的皮肤106a或衣服107上的2dx射线图像。3d数据还可以包括时间元素，其有时被称为四维(4d)数据。例如，3d数据可以不仅包括3d图像，还包括随时间变化的3d图像的视频。多个内层可以是一直穿过患者106的多层，或者可以是仅进入患者106的某个部分深度的多层。例如，某些形式的3d数据，例如来自毫米波扫描仪的3d数据，可以仅被配置为揭示存储在患者的外衣和皮肤之间的物品。3d数据可以另外或替代地是仅普遍对应于患者106的数据，而不是特定对应于患者106的数据，诸如从预设的解剖图谱导出的3d数据。3d数据还可以是各种类型的3d数据的组合。

在一些实施例中，必须注意，将图1的患者106按照与捕获3d数据时患者106所在之处相同的相对位置和/或方向定位在手术台103上。可替换地，在将患者106定位在手术台103上的与捕获或生成3d数据时患者106所处的不同的位置和/或方向中时，ar头戴机108可使3d数据变形以匹配患者106的不同位置和/或方向。

在框604处，ar头戴机可以确定3d数据中的患者外层的虚拟形态测定测量。例如，在框604处，图1的ar头戴机108可以确定3d数据中的患者106的外层的虚拟形态测定测量。确定这些虚拟形态测定测量可以涉及ar头戴机108分析3d数据以便确定3d数据中的患者外层的尺寸和形状。在一些实施例中，外层的虚拟形态测定测量可以涉及生成表示外层的尺寸和形状的外层的点云。例如，在外层由三角形或其他多边形形状表示的情况下，点云可以包括多边形形状的一些或全部顶点。

在框606处，ar头戴机可以记录患者外层在3d空间中的实时位置。例如，在框606处，图1的ar头戴机108可以记录患者106的皮肤106a和衣服107在3d空间102中的实时位置。在一些实施例中，ar头戴机108可以包括一个或多个传感器，其被配置为映射3d空间102，并且将患者106的外层的实时位置映射到3d空间102内。这些传感器可以包括但不限于红外传感器、声音传感器、摄影传感器、荧光透视传感器、加速度计、陀螺仪或磁力计。

在框608处，ar头戴机可以确定患者外层的实时形态测定测量。例如，在框608，图1的ar头戴机108可以确定患者106的皮肤106a和衣服107的实时形态测定测量。在一些实施例中，在框606处的记录中采用的传感器也可以用于确定患者106的皮肤106a和衣服107的实时尺寸和形状。在一些实施例中，这可以涉及生成表示皮肤106a和衣服107的尺寸和形状的患者106的皮肤106a和衣服107的点云。

在框610处，ar头戴机可以自动记录3d数据中的患者外层的位置，使其与所记录的患者外层在3d空间中的实时位置对准。例如，在框610处，图1的ar头戴机108可以自动记录3d数据中的患者106的外层的位置，使其与所记录的患者106的皮肤106a和衣服107在3d空间102中的实时位置对准。在一些实施例中，该自动记录可以包括使用点集记录(pointsetregistration)，将在框604处生成的点云与在框608处生成的点云自动对准。与将3d数据中的患者外层与患者的实时外层对准的手动方法相比，框610处的自动记录可以耗时更少，不太麻烦并且更不易出错。此外，在一些实施例中，可以在不使用任何非解剖基准的情况下执行框610，这可以避免非解剖基准的耗时、麻烦和不准确的放置。

在框612处，ar头戴机可以显示被投影到患者外层的实时视图上的3d数据中的患者的一个内层。例如，在框612处，图1的ar头戴机108可以显示被投影到患者106的皮肤106a和衣服107的实时视图上的3d数据中的患者106的骨骼106b。在另一示例中，患者大脑的ct扫描图像被投影到图2b和2c中的患者头部的顶部，或者被投影到图2e中的患者头部的侧面上。

在框614处，ar头戴机可以生成自动记录正确的置信度分数，并且在框616处，ar头戴机可以向用户呈现置信度分数。例如，在框614处，图1的ar头戴机108可以生成在框612处执行的自动记录正确的置信度分数，并且在视觉上、听觉上或以某种其他呈现格式向用户104呈现置信度分数。在一些实施例中，ar头戴机108可以生成该置信度分数作为在框612处执行的点集记录的一部分。例如，置信度分数可以是0％和100％之间的分数，指示3d数据的外层与患者106的外层相匹配的置信度水平。如果置信度分数相对较高，则用户104可以在确信被投影到患者106上的3d数据实际上确实对应于患者106的情况下，使用ar头戴机108继续针对患者106进行培训、研究、诊断或治疗。另一方面，在置信度分数相对较低的情况下，用户104可以停止使用ar头戴机108针对患者106进行任何培训、研究、诊断或治疗，因为可能存在关于被投影到患者106上的3d数据是否实际上确实对应于患者106的合理怀疑。

在框618处，ar头戴机可以在将对象穿过患者的外层插入患者体内之前确定对象的实时形态测定测量。例如，在框618处，图1的ar头戴机108可以在将对象118穿过患者106的外层插入患者106体内之前确定对象118的实时形态测定测量。在一些实施例中，框618处的确定可以以类似于框608处的确定的方式执行。在其他实施例中，特别是对于标准对象，例如标准医疗器械，可以通过访问在标准对象的设计文档中找到的标准对象的形态测定测量来执行框618处的确定。

在框622处，ar头戴机可以相对于3d空间中患者外层的记录位置以及相对于3d数据中的患者外层的记录位置而跟踪对象在3d空间中的实时位置。例如，在框622处，图1的ar头戴机108可以相对于3d空间102中患者106的皮肤106a和衣服107的记录位置以及相对于3d数据中的患者106的外层的记录位置而自动跟踪对象118在3d空间102中的实时位置。

在框624处，当将对象的一部分穿过患者外层插入患者体内时，ar头戴机可以显示被投影到3d数据中的患者的投影内层中的对象的虚拟部分。例如，当穿过患者106的衣服107将图1的对象118的一部分插入患者106体内时，ar头戴机108可以显示被投影到3d数据中的患者106的投影骨骼106b中的对象118的虚拟插入部分118b。

在框626处，ar头戴机可以显示被投影到患者的实时视图上的虚拟空间差异框。例如，在框626处，图1的ar头戴机108可以显示被投影到患者106的实时视图上的虚拟空间差异框116。在一些实施例中，虚拟空间差异框116可以将3d数据中的患者106的投影内层(例如图1的投影骨骼106b)限制在立体的虚拟空间差异框116内。

在框628处，ar头戴机可以生成虚拟用户界面，该虚拟用户界面包括用于改变3d数据中的患者的投影内层的显示的选项。例如，在框628处，图1的ar头戴机108可以生成虚拟用户界面114，虚拟用户界面114包括用于改变3d数据中的患者106的投影骨骼106b的显示的选项。

在框630处，ar头戴机可以在ar头戴机的焦点方向未被聚焦在患者身上时，显示被投影到实时视图上的虚拟用户界面。例如，在框630处，图1的ar头戴机108可以在ar头戴机108的焦点方向120未被聚焦在患者106身上时，显示被投影到实时视图上的虚拟用户界面114。

在框632处，ar头戴机可以在ar头戴机的焦点方向被聚焦在患者身上时，隐藏虚拟用户界面。例如，在框632处，图1的ar头戴机108可以在ar头戴机108的焦点方向120被聚焦在患者106身上时，隐藏虚拟用户界面114。在一些实施例中，框630和632可以避免虚拟用户界面114遮挡患者106的任何视图。

在框634处，ar头戴机可以确定患者与ar头戴机的实时距离。例如，在框634处，图1的ar头戴机108可以确定患者106与ar头戴机108的实时距离d1。该实时距离d1可以是例如到患者106的中心、到患者106的焦点区域的中心、到当前正在患者106上查看的3d数据的切片、或到患者106上的某个其他点或一般区域的实时距离。

在框636处，ar头戴机可以实时更新虚拟用户界面的显示，以使虚拟用户界面持续地定位在大约等于患者与ar头戴机的实时距离的ar头戴机焦距处。例如，在框636处，图1的ar头戴机108可以实时更新虚拟用户界面114的显示，以使虚拟用户界面114持续地定位在大约等于患者106与ar头戴机108的实时距离d1的ar头戴机108的焦距d2处。该焦距d2对于用户104可以是舒适的，因为它可以避免用户104在患者106和虚拟用户界面114之间移动他的视点时必须改变他的眼睛的焦点。

在框638处，ar头戴机可以实时更新虚拟用户界面的显示，以使虚拟用户界面垂直于ar头戴机的焦点方向而持续定向。例如，在框638处，图1的ar头戴机108可以实时更新虚拟用户界面114的显示，以使虚拟用户界面114垂直于ar头戴机108的焦点方向120而持续定向。在虚拟用户界面114位于ar头戴机108上方的情况下，如图1中所公开的，垂直于ar头戴机108定向虚拟用户界面114可以使虚拟用户界面114的顶部朝向ar头戴机108略微向下倾斜，如图1中所公开的。这种定向对于用户104来说可能是舒适的，因为它可以使得虚拟用户界面114始终面向用户104正面，而不管ar头戴机108的当前焦点方向120如何并且不管用户104站在3d空间102中何处。

在框640处，ar头戴机可以在ar头戴机的焦点方向未被聚焦在患者身上时显示被投影到实时视图上和/或虚拟用户界面上的虚拟光标。例如，在框640处，图1的ar头戴机108可以在ar头戴机108的焦点方向120未被聚焦在患者106身上时显示被投影到实时视图上和/或虚拟用户界面114上的虚拟光标122。

在框642处，ar头戴机可以在ar头戴机的焦点方向聚焦在患者身上时隐藏虚拟光标。例如，在框642处，图1的ar头戴机108可以在ar头戴机108的焦点方向120聚焦在患者106身上时隐藏虚拟光标122。在一些实施例中，框640和642可以避免虚拟光标122遮挡患者106的任何视图。在一些实施例中，在框642处，图1的ar头戴机108可以在ar头戴机108的焦点方向120聚焦在患者106身上时仅选择性地隐藏虚拟光标122。在这些实施例中，可能存在这样的情况，用户104可能希望在ar头戴机108的焦点方向120聚焦在患者106身上时使用虚拟光标122，例如，当用户104正在使用注释工具来注释患者106的视图和/或注释投影的3d数据时(例如，即使在其他3d数据被隐藏时也可以保留被投影在患者106身上的十字准线注释，例如，用于帮助在手术期间保持对于感兴趣的位置的跟踪)，或者当用户104正在使用测量工具来测量患者106的视图和/或测量投影的3d数据时。

在一些实施例中，方法600可以完成患者的3d数据与实际患者之间的自动对准。此外，这种自动对准可以在无需手动对准和/或无需手动放置非解剖基准的情况下完成，因此实现了比传统形式的手动对准更容易和更准确的自动对准。

尽管方法600的框在图6a-6e中示出为离散框，但可以将各种框划分为额外的框，组合成更少的框，重新排序，扩展或去除，这取决于期望的实施方式。例如，在一些实施例中，可以在不执行框614-642中的任何框的情况下执行框602-612。此外，在一些实施例中，可以仅执行框602和612，而不执行框604-610，例如，在手动而非与框614-616、618-624、626或628-642中的任何框相结合地自动执行患者和3d数据之间的记录和对准的情况下。此外，在一些实施例中，可以在不执行框634-642的情况下执行框628-632。而且，在一些实施例中，可以在不执行框638-642的情况下执行框628-636，可以在不执行框634-636和640-642的情况下执行框628-632和638，或者可以在不执行框634-638的情况下执行框628-632和640-642。此外，在一些实施例中，可以并行执行框614-642中的任何框。

在另一示例中，方法600还可以包括在将患者覆盖在手术盖布中之前或之后处理自动记录的问题。例如，可以在将患者覆盖在手术盖布中之前执行框610，然后可以在框612处将3d数据投影到手术盖布上。然而，如果在将患者覆盖在手术盖布中之后执行框610，则可以修改方法600以处理使手术盖布遮挡患者的合适外层的问题。对方法600的这种修改可以包括采用足够透明的手术盖布，使得ar头戴机可以穿透手术盖布并找到患者的更合适的外层。另一种修改可以包括将视觉标记放置在患者上的外层上，在手术覆盖之后将保持可见并且在框612期间可以注意到的位置处(例如以特定图案)。此时，即使患者的大部分覆盖在相对不透明的手术盖布中，只要视觉标记仍然可见，就可以使用视觉标记作为参考点执行自动重新记录。另一种这样的修改包括将附加视觉标记放置在患者外层上，或者可能在患者体内，在手术覆盖后不会保持可见但是在框612期间可以注意到的位置处(例如以特定图案)，因为附加视觉标记在框612期间是可见的，或者因为附加视觉标记在框612期间被传感器感测到。这些附加视觉标记可以由ar头戴机中的传感器可以在手术盖布下方检测到的材料制成，即使附加视觉标记对于ar头戴机不可见。例如，金属检测传感器可以检测到金属附加视觉标记(例如插入皮肤下或体腔内的金属网状标记或金属标记)，红外传感器可以检测到红外检测的附加视觉标记，磁性检测传感器可以检测到发射磁场的附加视觉标记，或者射频检测器可以检测到发射射频的附加视觉标记。此时，即使当患者的大部分覆盖在相对不透明的手术盖布中时，只要ar头戴机中的传感器能够检测到手术盖布下方的附加视觉标记的位置，就可以使用附加视觉标记作为参考点执行自动重新记录。

此外，应当理解，方法600可以改善ar系统自身的功能并且可以改善ar的领域。例如，使用虚拟形态测定测量并使用实时形态测定测量，并且在一些情况下，不使用任何非解剖基准，通过自动记录3d数据中的患者106的外层的虚拟位置，使其与所记录的患者106的外层(例如，皮肤106a和衣服107)在3d空间102中的实时位置对准，可以借助方法600改善图1的ar头戴机108自身的功能。与采用手动记录或使用手动放置非解剖基准的记录的传统ar系统相比，可以更容易和更准确地执行这种自动记录。

如上所述，本文描述的实施例可以包括使用包括各种计算机硬件或软件模块的专用或通用计算机(例如，图5的处理器502)，如下面更详细地讨论的。此外，如上所述，本文描述的实施例可以使用携带或具有存储在其上的计算机可执行指令或数据结构的计算机可读介质(例如，图5的存储器504或文件系统506)来实现。

在一些实施例中，本文描述的不同部件和模块可以实现为在计算系统上执行的对象或进程(例如，作为单独的线程)。虽然本文描述的一些方法通常被描述为以软件实现(存储在通用硬件上和/或由通用硬件执行)，但是特定硬件实施方式或软件和特定硬件实施方式的组合也是可能的并且是可预期的。

根据惯例，附图中示出的各种特征可能未按比例绘制。本公开内容中呈现的图示并不意味着是任何特定装置(例如，设备、系统等)或方法的实际视图，而仅仅是用于描述本公开内容的各种实施例的示例表示。因此，为了清楚起见，可以任意地扩大或减小各种特征的尺寸。另外，为了清楚起见，可以简化一些附图。因此，附图可能未示出给定装置(例如，设备)的所有部件或特定方法的所有操作。

本文使用的术语，尤其是所附权利要求中的术语(例如，所附权利要求的主体)通常旨在作为“开放式”术语(例如，术语“包括”应解释为“包括但不限于”，术语“具有”应被解释为“至少具有”，术语“包含”应解释为“包含但不限于”，等)。

另外，如果意图将特定数量引入权利要求的表述，则在权利要求中将明确地表述这样的意图，并且在没有这样的表述的情况下，不存在这样的意图。例如，为了帮助理解，以下所附权利要求可以包含使用引导短语“至少一个”和“一个或多个”以引入权利要求表述。然而，这些短语的使用不应被解释为暗示由不定冠词“一”或“一者”引入的权利要求表述将包含这种引入的权利要求表述的任何特定权利要求限制于仅包含一个这样的表述的实施例，即使当相同的权利要求包括引入短语“一个或多个”或“至少一个”以及诸如“一”或“一者”的不定冠词(例如，“一”和/或“一者”应该被解释为表示“至少一个”或“一个或多个”)时；对于使用引入权利要求表述的定冠词也是如此。

另外，即使明确地表述了将特定数量引入权利要求的表述，也应该理解，这种表述应该被解释为表示至少所述的数字(例如，“两个表述”的简单表述，而没有其他修饰语，表示至少两个表述，或两个或多个表述)。此外，在使用类似于“a、b和c等中的至少一个”或“a、b和c等中的一个或多个”的惯用语的那些情况下，通常这样的结构是意图包括单独的a，单独的b，单独的c，a和b一起，a和c一起，b和c一起，或a、b和c一起等。例如，术语“和/或”的使用意图以这种方式解释。

此外，无论是在发明内容、具体实施方式、权利要求或附图中，呈现两个或多个替代项目的任何转折词或短语应被理解为考虑包括项目之一、项目中的任意一个或两个项目的可能性。例如，短语“a或b”应理解为包括“a”或“b”或“a和b”的可能性。

另外，术语“第一”、“第二”、“第三”等的使用在此不一定用于表示特定顺序或数量的元素。一般来说，术语“第一”、“第二”、“第三”等用于作为通用标识符来区分不同元素。如果没有表明术语“第一”、“第二”、“第三”等暗示特定顺序，则这些术语不应理解为暗示特定顺序。此外，如果没有表明术语“第一”、“第二”、“第三”等暗示特定数量的元素，则这些术语不应理解为暗示特定数量的元素。例如，第一部件可以被描述为具有第一侧，并且第二部件可以被描述为具有第二侧。关于第二部件使用术语“第二侧”可以是将第二部件的这一侧与第一部件的“第一侧”区分开，而不是暗示第二部件具有两侧。

出于解释的目的，已经参考具体实施例描述了前述说明。然而，上面的说明性讨论并非旨在穷举或将本发明限制为所公开的精确形式。鉴于上述教导，许多修改和变化都是可能的。选择和描述实施例以解释实际应用，从而使得本领域其他技术人员能够利用所要求保护的本发明和具有可以适合于预期的特定用途的各种修改的各种实施例。