本申请要求于2016年3月21日提交的美国临时申请no.62/310,969的权益，其全部内容并入本文。
背景技术
介入外科手术的中心问题仍然是器官和血管内未暴露的解剖结构的可视化和医疗装置(诸如导管、支架、探针等)的定位。随着手术从最大暴露转向微创，对增强可视化的要求更加深远。例如用于心律失常的微创经导管消融。
在健康的心脏中，有组织的电激发导致心脏收缩。当该电活动变得不规律时，心脏不再有效泵送，并且患者会出现头晕、昏厥和/或猝死。据美国疾病控制和预防中心的统计数据估计，在美国每年有超过60万受害者因心脏病猝死。不稳定的不规率的电心脏活动被称为心律失常，并且通常由心脏中的异常电连接引起。心律失常影响所有年龄段的人。
通过放置在心脏中的导管将一个或多个能量脉冲施加到心脏的所选区域可以有效地去除这些短路，称为经导管消融。可以使用经导管消融施加的能量脉冲的类型的非限制性示例包括射频能量脉冲、低能量脉冲和高频超声脉冲。作为现代心律失常疗法的主要支柱，消融手术需要将多个导管插入心脏，以记录电活动，识别心律失常原因的关键位置，并使用射频能量或冷冻疗法消融组织。目前，胸壁掩蔽心脏和电生理学实验室中的数据分离(即电信号、解剖位置等)使消融手术变得复杂，需要医生在心理上重建心脏模型。
通过开发电解剖标测系统显著地增强了这些手术，该电解剖标测系统构建了包含解剖位置和局部电信号二者的心脏内膜表面(心内膜)的逐点图。然而，这些系统受到多个二维屏幕上的关键测量的显示限制。在心理上将电记录与整体多维心脏解剖结构相关的技能仍然是心脏电生理学家和手术内协作训练中的关键挑战。因此，培训新医生非常困难，并且结果中显著的技能依赖变化是常见的。
技术实现要素：
在一个方面，提供了一种vr/ar可视化系统。vr/ar可视化系统包括：vr/ar装置，其包括被配置为向操作者显示全息图像的全息显示器；以及计算装置，其可操作地耦接到vr/ar装置。计算装置包括非易失性存储器和处理器。计算装置被配置为接收对象的解剖结构的至少一个存储的3d图像，接收至少一个外科器械的至少一个实时3d位置，将至少一个外科器械的至少一个实时3d位置配准为对应于对象的解剖结构的至少一个存储的3d图像，并生成全息图像。全息图像包括在对象的解剖结构的至少一个3d图像上覆盖的至少一个外科器械的至少一个实时3d位置。
在另一方面，提供了一种3d医学图像的vr/ar可视化方法。方法包括使用计算装置接收对象的解剖结构的至少一个存储的3d图像。计算装置可操作地耦接到vr/ar装置，并且vr/ar装置包括全息显示器和至少一个传感器。方法进一步包括使用计算装置接收至少一个外科器械的至少一个实时3d位置，将至少一个外科器械的至少一个实时3d位置配准为对应于对象的解剖结构的至少一个存储的3d图像，以及使用全息显示器，向操作者显示全息图像，全息图像包括在对象的解剖结构的至少一个3d图像上覆盖的至少一个外科器械的至少一个实时3d位置。
在另一方面，提供了用于向操作者提供三维医学图像的vr/ar可视化的至少一种非暂态计算机可读存储介质。计算机可读存储介质具有体现在其上的计算机可执行指令，其中，计算机可执行指令在由至少一个处理器执行时使处理器接收对象的解剖结构的至少一个存储的3d图像，接收至少一个外科器械的至少一个实时3d位置，将至少一个外科器械的至少一个实时3d位置配准为对应于对象的解剖结构的至少一个存储的3d图像，并显示全息图像。全息图像包括针对操作者在对象的解剖结构的至少一个3d图像上覆盖的至少一个外科器械的至少一个实时3d位置。
在一个方面，本公开是用于在患者身体的部分内发生的手术的虚拟现实/增强现实(vr/ar)系统。在一个方面，本公开是用于发生在难以观察以及接近的人体解剖结构的部分内的医疗手术的vr/ar系统。在一个方面，vr/ar系统在手术期间为用户(例如，操作者)提供多维体验，除了其它手术相关数据之外还具有患者的内部人体器官/系统的针对患者的3d表示。在一个方面，可以在增强现实环境中呈现3d表示和附加信息。在其它方面，可以在vr/ar环境中提供此类信息。另外，系统能够映射和表示在手术期间使用的器械(例如导管)的实时定位。3d表示和相关数据被配置为呈现并允许与用户交互，使得用户不需要与任何其他人通信也不需要破坏无菌性。例如，用户可以向系统提供命令，而无需将输入装置与用户身体的任何部分(诸如用户的手)进行物理接触。
在示例性方面，vr/ar系统用于心脏介入手术。系统在手术发生时实时提供患者心脏的针对患者的3d模型，包括跟踪患者心脏内使用的导管定位的能力。可以以如下所述的方式通过其它感觉(例如，听觉信号)向用户提供附加信息。
在一个方面，vr/ar系统使用计算装置接收对象的解剖结构(例如，患者的解剖结构)的至少一个存储的3d图像。计算装置耦接到vr/ar装置，vr/ar装置包括全息显示器和至少一个传感器。计算装置接收至少一个外科器械的至少一个实时3d位置。将至少一个外科器械的至少一个实时3d位置配准为对应于对象的解剖结构的至少一个存储的3d图像。全息显示器向操作者显示全息图像，全息图像包括在对象的解剖结构的至少一个3d图像上覆盖的至少一个外科器械的至少一个实时3d位置。
在另一方面，vr/ar系统通过处理由插入心血管器官内的导管生成的第一组传感器数据，以3d生成表示对象的心血管器官的电解剖可视化的第一3d图像。第一3d图像被提供给全息显示器，包括但不限于操作者佩戴的头戴式显示器(hmd)，以在操作者的视场中显示电解剖可视化。从输入装置接收第二组传感器数据，其中第二组传感器数据指示操作者的身体部分与电解剖可视化交互的运动。通过处理第二组传感器数据来确定身体部分的运动路径。基于运动路径确定电解剖可视化的旋转角度。向hmd提供第二3d图像，以通过在操作者的视场中旋转心血管器官一定旋转角度来更新电解剖可视化的显示。
从以下对本发明优选实施例的详细描述中，本发明的这些和其它目的和优点将变得显而易见。前面的一般描述和以下的详细描述二者都仅是示例性和说明性的，并且旨在提供对要求保护的本发明的进一步说明。
包括附图以提供对本公开的进一步理解，并且附图被并入并构成本说明书的一部分，示出了本公开的若干实施例，并且与说明书一起用于解释本公开的原理。
附图说明
图1是根据现有方法用于定位心脏内的导管的荧光透视图像。
图2是根据本公开的一个方面的用于内部医疗手术的vr/ar系统的示意性表示。
图3是根据本公开的一个方面的电解剖图的图像。
图4示出根据本公开的一个方面的患者心脏的3d模型。
图5a是根据一个方面的提供给vr/ar系统的操作者的包括下拉菜单的图的图像。
图5b是根据一个方面的提供给vr/ar系统的操作者的包括插入图像下拉菜单的图的图像。
图5c是根据一个方面的提供给vr/ar系统的操作者的包括3d心脏模型的横截面图的图的图像。
图6是示出图2的vr/ar系统的组件的示意性表示的框图。
具体实施方式
在以下优选实施例的详细描述中，参考了附图，该附图形成其一部分，并且在附图中通过图示的方式示出了可以实现本公开的具体实施例。应当理解，在不脱离本公开的范围的情况下，可以利用其它实施例并且可以进行结构改变。
如说明书和所附权利要求中所使用的，单数形式“一”、“一个”和“该”包括复数指示物，除非上下文另有明确说明。本文中范围可以表述为从“约”一个特定值，和/或到“约”另一个特定值。当表述这种范围时，另一个实施例包括从一个特定值和/或到另一个特定值。类似地，当通过使用先行词“约”将值表述为近似值时，将理解该特定值形成另一个实施例。将进一步理解，范围中每个范围的端点相对于另一个端点都是显著的，并且独立于另一个端点。
“可选的”或“可选地”是指随后描述的事件或情况可能发生或可能不发生，并且描述包括该事件或情况发生的实例和不发生的实例。
在本说明书的整个描述和权利要求中，词语“包括”和词语的变体，诸如“包括”和“包含”，是指“包括但不限于”，并且不旨在排除例如其它添加物、组件、整数或步骤。“示例性”是指“……的示例”，并且不旨在表达优选或理想实施例的指示。“诸如”不用于限制性意义，而是用于解释目的。
公开了可用于执行所公开的方法和系统的组件。在此公开了这些和其它组件，并且可以理解，当公开这些组件的组合、子集、交互、集合等时，对于所有方法和系统，本文中对每个都特别考虑和描述，然而可能未明确公开每种不同的个体和集体组合的特定参考以及这些组合的排列。这适用于本申请的所有方面，包括但不限于所公开方法中的步骤。因此，如果存在可以执行的各种附加步骤，则应理解，这些附加步骤中的每一个可以采用所公开方法的任何特定实施例或实施例的组合来执行。
如所属领域的技术人员将了解的，本公开的方面可采用完全硬件实施例、完全软件实施例或组合软件和硬件方面的实施例的形式。在一个方面，本公开可以包括被配置为执行由硬件和软件组件的组合控制的某些步骤和功能(例如，获得电解剖测量等)的物理组件的组合。此外，方法和系统的组件可以采用计算机可读非暂态存储介质上的计算机程序产品的形式，该计算机可读非暂态存储介质具有体现在存储介质中的计算机可读程序指令(例如，计算机软件)。可以利用任何合适的计算机可读存储介质，包括硬盘、cd-rom、光存储装置、闪存装置、固态存储装置和磁存储装置。
此外，如下所述的本公开所使用的组件和方法可以在程序环境中执行，该程序环境可以包括通用计算机或专用装置，诸如硬件装置、控制器或手持计算机。另外，可以使用本领域中已知的各种技术来实现在此描述的组件的技术。例如，该方法可以在计算机系统上执行的软件中实施，或者利用微处理器的组合或其它专门设计的专用集成电路、可编程逻辑装置或其各种组合在硬件中实施。
下面参考方法、系统、设备和计算机程序产品的框图和流程图图示来描述方法和系统的一些方面。应当理解，框图和流程图图示的每个框以及框图和流程图图示中的框的组合可以分别由计算机程序指令实施。这些计算机程序指令可以加载到通用计算机、专用计算机或其它可编程数据处理设备上以产生机器，使得在计算机或其它可编程数据处理设备上执行的指令创建用于实施在流程图的框或多个框中指定的功能的部件。
这些计算机程序指令还可以存储在非暂态计算机可读存储器中，该计算机可读存储器可以指示计算机或其它可编程数据处理设备以特定方式工作，使得存储在计算机可读存储器中的指令产生包括用于实施流程图的框或多个框中指定的功能的计算机可读指令的制品。计算机程序指令也可以加载到计算机或其它可编程数据处理设备上，以使在计算机或其它可编程设备上执行一系列操作步骤，以产生计算机实施的过程，使得在计算机或其它可编程设备上执行的指令提供用于实施流程图的框或多个框中指定的功能的步骤。
因此，框图和流程图图示的框支持用于执行指定功能的部件的组合，用于执行指定功能的步骤的组合，以及用于执行指定功能的程序指令部件。还将理解，框图和流程图图示的每个框以及框图和流程图图示中的框的组合可以由执行特定功能或步骤的专用基于硬件的计算机系统或专用硬件和计算机指令的组合来实施。
在各个方面，本公开涉及虚拟现实和/或增强现实(vr/ar)系统，下面将详细讨论。尽管在全文中使用术语虚拟现实来描述系统，但是本领域技术人员将理解，在术语的一般使用中，虚拟现实可以包括虚拟现实(vr)和增强现实(ar)。在一些情况下，术语“vr/ar”将用于识别系统。因此，当在此使用术语“虚拟现实”或“vr/ar”时，应该理解为包括所有类型的修改现实，除非特别区分。
如在此所使用的“虚拟现实”是指显示表示计算机生成的数据的一个或多个元素和/或与表示计算机生成的数据的一个或多个元素交互的方法。通常，在虚拟现实显示器的视场内可见的所有元素都是计算机生成的元素。
如在此所使用的，“增强现实”是指显示表示计算机生成的数据的一个或多个元素和/或与该一个或多个元素交互的方法。增强现实是虚拟现实和现实生活的混合，其中典型的增强现实显示包括在操作者可见的现实物体上覆盖的一个或多个计算机生成的元素。如在此所使用的术语“增强现实”可以进一步包括“混合现实”，术语“混合现实”是指特别包括用户或操作者与计算机生成的元素交互的能力的增强现实显示方法。
如在此所使用的“全息显示”是指显示虚拟3d物体和/或与虚拟3d物体交互的方法，其中虚拟3d物体被动态更新以响应于操作者的运动，或操作者请求的虚拟3d物体的视图的修改(诸如放大/缩小、平移/旋转的虚拟3d物体的横截面视图等)，来修改虚拟3d物体的操作者的视图。
本公开涉及vr/ar可视化系统10(在此也称为vr/ar系统10或系统10)，用于3d成像数据以及附加信息的可视化和操纵，附加信息包括但不限于2d成像数据、生命体征数据和对象人口统计数据，其与在难以观察/接近对象的解剖结构的部分内发生的医学诊断和治疗过程相关联。通过非限制性示例，vr/ar可视化系统10可用于心脏、胃肠系统、耳道和其它类型的解剖结构或生物系统内的手术。虽然下面描述的实施例涉及与心脏介入手术相关联的vr/ar可视化系统10，但是本领域技术人员可认识到使用其它3d定位或姿势估计模态，包括但不限于结合在此描述的vr/ar可视化系统10的基于阻抗的定位、磁定位、基于标记的定位、或3d超声，可以容易地扩展到其它器官系统和/或其它解剖区域中的诊断或介入手术。
在一个方面，本公开涉及用于与心脏诊断手术和/或心脏介入手术相关联的vr/ar可视化系统10。vr/ar系统10经由3d医学成像装置40能够采集患者20(例如，对象)的心脏15的解剖特征。另外，可以使用一个或多个电解剖标测装置50来获得心脏15的电数据，该电解剖标测装置50被配置为收集电数据以及相关器械的定位和电数据测量的位置。与一个或多个电解剖标测装置50相关联的器械的非限制性示例包括诊断导管、参考导管、消融导管、监测导管、非接触标测导管、多电极阵列导管、多极导管、多极圆形标测导管和磁传感器导管。在一个方面，可以通过相关联的电解剖标测系统分析由一个或多个电解剖标测装置50获得的数据，以确定描述心脏15的心房和心室的内表面的空间布置以及相对靠近心脏15的静脉和动脉(包括但不限于腔静脉、主动脉、肺动脉等)的空间布置的心内膜图。
在一个方面，一个或多个电解剖标测装置50可以提供将使用3d医学成像装置40获得的患者20的心脏15的解剖特征的至少一个3d图和使用一个或多个电解剖标测装置50获得的至少一个3d心内膜表面图进行组合。在一个方面，其内定义3d心内膜表面图的3d坐标系可以配准到其内定义心脏的解剖特征的3d图的坐标系，使得在同一3d坐标系内定义解剖特征的3d图和3d心内膜表面图。
在一个方面，由一个或多个电解剖标测装置50产生的定义共同配准的解剖特征的3d图和3d心内膜表面图的数据可以由vr/ar可视化系统10的计算装置30接收。使用定义共同配准的3d图的数据，计算装置30生成心脏15的3d模型65，该3d模型65被配置为显示在由vr/ar装置60的全息显示器产生的全息图像内。
在一个方面，全息图像可以仅由心脏15的3d模型65的至少一部分组成。在各种其它方面，vr/ar可视化系统10的计算装置30可以接收附加数据，该附加数据可以结合到全息图像中，以便在vr/ar装置60的全息显示器上显示给操作者。
在各个方面，vr/ar系统10可以包括多个vr/ar装置60。作为非限制性示例，第一操作者可以佩戴第一vr/ar装置60，包括但不限于，第一头戴式显示器，并且第二操作者可佩戴第二vr/ar装置60，包括但不限于第二头戴式显示器。在该非限制性示例中，第一操作者和第二操作者可以一起对患者执行外科手术。第一vr/ar装置60和第二vr/ar装置60可以显示患者20的解剖结构的同一器官或部分的不同视图。例如，患者心脏15的显示视图可以基于对应的vr/ar装置60相对于患者20的位置以不同角度定位。
在各种其它方面，附加数据可以由vr/ar可视化系统10的计算装置30接收并且结合到全息图像中。适合于结合到全息图像中的附加数据的非限制性示例包括：在定义3d模型65的坐标系内定义位置和/或测量值的实时3d数据；由诸如荧光镜成像装置的2d成像装置产生的实时2d数据；诸如一个或多个生命体征的实时数字测量、诸如患者人口统计数据的预定数据及其任何组合。在这些各种其它方面中，附加数据可以结合和/或覆盖在心脏15的3d模型65上，或者附加数据可以被显示为全息图像内的单独元素，如下面另外详细描述的。
在一个方面，由电解剖标测装置50获得的附加数据可以由计算装置30接收并且结合到全息图像中。在一个方面，电解剖标测装置可以进一步包括被配置为获得至少一个外科器械的至少一个实时3d位置的器械位置传感器，包括但不限于电生理学(ep)导管。在该方面，计算装置30可以接收至少一个外科器械的至少一个实时3d位置，并且生成包括在对象的解剖结构的至少一个3d图像(包括但不限于心脏15的3d模型65)上覆盖的至少一个外科器械的至少一个实时位置的全息图像。在另一方面，可以使用单独的装置(包括但不限于外科器械系统的单独的器械位置传感器)获得至少一个外科器械的至少一个实时3d位置。合适的器械位置传感器的非限制性示例包括一个或多个电解剖标测装置，除了用于获得3d心内膜表面标测数据的电解剖标测装置50之外，还包括利用超声、磁场、电场和/或任何其它现有合适的位置感测方法的位置感测装置的其它实时位置标测系统。
在另一方面，由电解剖标测装置50获得的附加数据可包括由一个或多个电生理学(ep)导管获得的附加电生理学测量。在一个方面，数据可以包括定义映射到心脏15的3d模型65的坐标系的实时电生理学测量的一个或多个数据集的附加3d实时数据。实时电生理学测量的非限制性示例包括电压图、激活时序图和传播图。在该一个方面，由计算装置30接收的附加电生理学测量的图可以覆盖在全息图像内的心脏15的3d模型65上。在一个方面，附加电生理学测量的图可以被选择以进行显示，使其变得透明，或者从由操作者产生的一个或多个提示所定义的全息图像中去除。在另一方面，由电解剖标测装置50获得的附加数据可包括与消融导管的消融相关联的附加电生理学测量，包括但不限于在心脏15的3d模型65内的特定位置处施加的射频(rf)或低温能量的量。在该另一方面，附加电生理学测量可以以3d视觉元素的形式结合到全息图像中，诸如位于3d模型65内的消融能量的应用点处的圆圈或其它符号，和/或颜色、尺寸、数值或其它视觉元素，以指示在由消融导管实现的消融事件期间测量的消融能量或消融力的量和/或方向。
在另外的方面，计算装置30可以接收定义从至少一个附加医学成像装置获得的至少一个附加2d图像的一个或多个附加数据集。在一个方面，至少一个附加2d图像可以包括3d实时图像(包括但不限于实时荧光镜图像)的2d表示。在该一个方面，至少一个附加2d图像可以以与3d模型65分开显示的2d视觉元素的形式结合到全息图像中。结合到全息图像中的非限制性的合适的2d视觉元素包括虚拟2d监测、插入图像以及3d全息图像中的2d视觉元素的任何其它已知表示。通过非限制性示例，定义实时荧光透视图像的附加数据集可以以插入图像的形式结合到全息图像中，如图5b中所示。
在一个方面，全息图像可以在vr/ar装置60的全息显示器上显示给操作者。响应于来自操作者的一个或多个提示，计算装置30可以根据操作者的偏好修改全息显示器上显示的全息图像。通过非限制性示例，操作者可以放大、缩小、旋转或移动如在全息显示器上显示的全息图像，以便于完成诊断和/或外科手术。在各个方面，如果vr/ar系统10包括多个vr/ar装置60，则由第一操作者佩戴的第一vr/ar装置60可以可操作地耦接到计算装置30，使得仅第一操作者可以修改如在vr/ar系统10的所有vr/ar装置60的所有全息显示器上显示的全息图像。在这些各种其它方面，计算装置30可以接收多个vr/ar装置60中的每一个装置的相对位置和取向，并生成针对每个vr/ar装置60的全息图像，该全息图像对应于每个vr/ar装置60相对于第一操作者佩戴的第一vr/ar装置60的每个位置和每个取向，该第一操作者还控制全息图像的修改。
在一个非限制性示例中，计算装置30可以生成患者心脏的心电图，以显示在全息图像的插入图像中。计算装置30可以从vr/ar装置60或单独的输入装置(例如，相机或运动传感器)接收用户输入的指示(即提示)，以将虚拟标记定位在心电图上而不破坏无菌性。基于用户输入，计算装置30可以确定用于在插入图像以及心电图上显示的度量。例如，虚拟标记可以是虚拟卡尺，其被配置为测量患者心跳的周期或幅度(例如，度量)。
在另一个附加方面，计算装置30可以接收一个或多个附加字母数字数据集，包括但不限于患者人口统计数据集和/或从现有生命体征测量装置获得的对象的生命体征的实时测量。在该另一方面，一个或多个附加字母数字数据集可以以覆盖在全息图像内的透明字母数字元素的形式结合到全息图像中。
在另外的方面，计算装置30可以生成菜单或其它图像元素，该图像元素包括以非透明或透明的行或列的字母数字串、符号和/或图标的形式显示的用户可选元素。在这些附加方面，用户可选元素提供选择由计算装置30的一个或多个处理器执行以实现vr/ar系统10的操作的一个或多个指令的方式。通过非限制性示例，计算装置30可以在如图5a中所示的全息图像内生成透明菜单。
通过选择全息图像内的一个或多个交互式菜单元素，vr/ar装置60的操作者还可以观察3d模型65和附加信息并与之交互而不必破坏无菌性，或与在诊断或外科手术期间在场的任何人通信。如在此所公开的，vr/ar装置60可以取决于系统10的操作者的需要在真实虚拟现实环境或增强现实环境中根据需要呈现和去除信息。在一个方面，全息图像内的元素的布置可以由计算装置30保存并由vr/ar系统10检索，以供随后由同一操作者使用作为优选的元素布置。
在各个方面，计算装置30可以随时间推移更新全息图像以考虑由于一个或多个时变因素引起的变化，包括但不限于：由操作者对用户可选择的菜单元素的选择或取消选择，接收更新的实时数据(诸如更新的生命体征数据)、附加消融事件、其它数据集(诸如与荧光镜成像相关联的实时数据集)的变化。计算装置30可以更新全息图像以包括相对于患者器官定位的器械的一部分的表示，例如，导管尖端相对于患者心脏的位置。计算装置30可以基于来自指示检测到的器械的运动的器械的传感器数据来更新全息图像。
在一个方面，vr/ar系统10的计算装置30被配置为接收患者的心脏解剖结构的重建的3d模型65。在此，3d医学成像装置40被配置为获取与患者心脏15相关的特定物理信息。该信息将编码心脏15的尺寸及其组成/腔和预定义的解剖学界标。这些解剖学上不同的界标用于将3d模型65配准到由电解剖标测装置50获得的心内膜表面的电解剖图。通过将电解剖图配准到其内3d解剖模型的坐标系，由电解剖标测装置50获得的映射到心内膜表面的电解剖图的其它测量也被配准到定义心脏15的3d模型65的坐标系，使得这些映射的电生理学测量能够相对于显示给操作者的全息图像内的3d模型65而被可视化。在一些方面，3d模型65和电解剖图以不同的物理单位生成。因此，为了归一化到同一坐标系，计算装置30例如基于解剖学界标将3d模型65的第一组点配准(例如，映射)到电解剖图的第二组点。
在各个方面，心内膜表面的电解剖图与使用至少一个3d医学成像装置获得的3d解剖模型的配准由计算装置30和/或电解剖标测装置50执行。可以使用任何合适的现有方法来执行两个图的配准，而不进行限制。在一个方面，至少多个预定界标在3d解剖模型和3d心内膜表面图中被识别，以提供两个图的限定交叉点。合适的心脏界标的非限制性示例包括上腔静脉/右心房交界处、下腔静脉/右心房交界处、冠状窦、右心室尖部和右心室流出道。在与心脏的其它已知部分相关联的界标可以用于本公开的其它方面中的界标的同时，这些界标经由mri和荧光透视过程易于接近和识别，并且采用网格配准，如下面更详细讨论的。在其它方面，可以使用统计或基于特征的推断来确定点的位置和数量。
在一个方面，3d医学成像装置40可以包括能够采集与心脏的解剖结构相关的3d数据的任何装置。例如，3d医学成像装置可以包括但不限于荧光透视装置、超声心动图装置(例如，经胸廓、经食道、心内)、x射线装置、探索性内窥镜系统、mri和ct扫描器等。3d医学成像装置40可以取决于要与vr/ar可视化系统10组合执行的诊断和/或外科手术的类型来选择。例如，超声心动图装置40提供心脏解剖结构的快速获取，因为是无创的，可以快速完成，不会使患者暴露于辐射，并且无麻醉。此外，对对象的不动性没有长期要求。在一个方面，定义重建的3d解剖模型的数据可以在结合使用vr/ar可视化系统10执行的诊断或外科手术之前由3d医学成像装置40获得和分析。
3d医学成像装置40采集用于重建对象的心脏15的3d模型65的空间信息。在一个方面，3d医学成像装置40重建空间数据并创建对象的心脏解剖结构的3d解剖模型。可以使用本领域已知的各种技术来创建3d解剖模型。通过非限制性示例，可以收集患者心脏的多个2d视图，并且然后将其重新组合成患者解剖结构的粗略3d图像。一旦生成患者解剖结构的3d图像，电解剖标测装置50向计算装置30提供要修改和/或变换的通用高分辨率心脏网格，以匹配解剖学心脏模型和电解剖心内膜表面模型中识别的相应界标的重叠。计算装置30使用从所创建的患者心脏解剖结构的3d图像采集的数据来变换心脏网格，包括所采集的界标的空间维度(如上所述)。一旦变换，由计算装置30或电解剖标测装置50生成患者的心脏结构的全3d模型65。通过一个非限制性示例，3d医学成像装置40可以通过生成表示对应的解剖结构的3d几何形状的一系列连接的2d多边形(例如，网格)来创建3d解剖模型。通过另一个非限制性示例，装置40可以使用射线投射和/或跟踪来创建3d解剖模型。
在患者心脏结构的变换的全3d模型65已经被电解剖标测装置50创建之后，从对象处收集包括特定于消融需求的电生理学数据的电解剖数据并将其映射到变换的全3d模型65。在一个方面，电解剖数据从一个或多个电解剖标测装置50收集。在一个方面，电解剖标测装置50包括放置在患者心脏15内的电生理学(ep)导管。测量的电解剖数据可包括在患者心脏15的给定位置处发生的电活动(例如，电压数据、激活定时和传播图)，该电活动可用于使用现有诊断方法确定消融需要发生的地方。
为了执行ep研究，vr/ar系统100可以使用一个或多个电解剖标测装置50。在一个方面，可以最初使用诊断导管50，并且如果基于诊断电生理学测量而指示消融则可以使用附加消融导管50。另外，由消融导管50施加的任何能量可以由一个或多个电解剖标测装置50测量和记录。通过非限制性示例，消融导管可以被配置为在导管尖端处施加射频或低能量。在另一方面，消融导管可以被配置为感测在导管50的尖端处由导管施加的力的级别(包括方向性，即轴向或横向)。此类信息可用于模拟3d模型65的虚拟心脏中的实际病变创建，如通过使用测量的力和阻抗实时制作病变。在一个方面，从消融导管测量的力数据然后可以用于采用vr/ar装置60对操作者的听觉反馈。通过非限制性示例，vr/ar装置60可以提供包括改变音调的音高和频率的听觉反馈，其指示消融导管50推动心脏组织的力级别。
ep导管50可以由操作者在整个患者心脏15中移动并收集诊断信息。诊断和消融导管50二者被配置为在其整个使用中(包括在消融期间)获得电解剖数据。除了收集电解剖数据之外，vr/ar系统100还可以采集空间相关信息，即，在患者心脏内发生电解剖数据的位置，以使得电解剖数据可以被映射到变换后的全3d模型。在一个方面，电解剖标测装置50也采集患者体内器械的定位。例如，当利用ep导管50时，采集电极和导管50的轴的远端部分的定位。在一个方面，电解剖标测装置50利用电解剖标测系统来找到电解剖数据的坐标。标测系统能够识别心脏15内的ep导管50的x、y和z坐标，并且然后可以将电解剖数据放置到坐标。例如，可以使用诸如ensitetmnavxtm导航和可视化以及cartotm(韦伯斯特生物传感系统)的电解剖标测系统来收集这些数据。然而，也可以使用能够提供此类信息的其它系统。
图3示出用于心脏模型的当前电解剖图的示例。该心脏模型仅限于右心房(ra)和左心房(la)的几何形状。左侧的图像以正交视图呈现，其中右前斜位(rao)视图在左侧，并且长轴向斜位(lao)视图在右侧。电生理学导管的远端在该几何形状内可视化。具有四个电极的第一(第1)导管定位在正常传导部位处，位于his位置处。具有10个电极的第二导管位于冠状窦中。由于具有4个电极的第3导管前进通过三尖瓣并进入右心室，因此该第3导管仅在lao投影中可视化。最后，具有4个电极的射频(rf)消融导管位于异常电组织的部位处。球体(以红色显示)标记rf病变所处的部位。图3的中央底部的靶心投影指示由消融导管施加到心脏组织的总力(tf)。
虽然以上描述了与心脏手术相关联的电解剖标测装置50和电解剖数据，但可理解的是装置和数据可与人体内发现的其它系统和器官相关联。
当电解剖数据如上描述而被收集和映射时，vr/ar装置60由计算装置30提供患者心脏15的3d模型65(参见图4)，包括ep导管50的放置(参见图5b)。在一个方面，vr/ar装置60可以包括真实的虚拟现实(vr)装置(即，将操作者完全沉浸在创建环境中的装置)或增强现实(ar)装置(即，操作者可以具有在虚拟空间中虚拟显示的图像或模型，但仍然能够看到真实环境并与真实环境交互)。按照这些方式，vr/ar装置60可以是可穿戴装置，包括但不限于microsofthololenstm(即ar装置)和oculusrifttm(即vr装置)。vr/ar装置60可以包括传感器(诸如运动传感器(例如，加速度计、陀螺仪或惯性测量单元)、音频传感器、眼睛和视线跟踪传感器)，和/或电子显示器等，以及其它部件。在另一方面，vr/ar装置60可以提供包括3d模型65的投影全息显示器。vr/ar装置60可以经由无线交换协议或经由有线连接通信地耦接到hmd。在至少一些方面，ar装置的使用可能是有利的，因为其允许操作者实时看到患者并与患者交互，同时观看3d模型65并与3d模型65交互并获得其益处，有助于更安全的患者体验。
在这些方面中，全息图像内的3d模型65可以取决于ep导管的位置呈现为钝的或半透明，或者完全透明以使得能够无阻碍地观察ep导管位置。在透明视图中，操作者可以使用由vr/ar装置的至少一个传感器接收的操作者启用的提示来改变心脏壁的透明度，从而允许在诊断和/或外科手术期间使心脏中的导管容易明显的可视化。导管的各部分也可以在任何视图中表示。另外，vr/ar装置60还可以允许操作者操纵心脏的位置、取向和尺寸，以及创建要观察的切片。此外，操作者可以在不使用手的情况下在视图之间切换以及数据显示，因此操作者可以在整个过程中保持无菌性。
通过非限制性示例，vr/ar系统100可以使用头部和/或眼睛跟踪技术来从操作者接收输入命令(例如，用户输入)，而无需操作者使用操作者的手物理地触摸输入装置(例如，vr/ar装置60)。在一些实施例中，输入装置物理地连接到vr/ar装置60。在其它实施例中，输入装置与vr/ar装置60分离并且通信地耦接到计算装置30。例如，输入装置是microsoftkinecttm。输入装置可以包括成像传感器(例如，相机)、用于成像传感器的照明源、运动传感器、深度传感器以及其它组件。基于传感器数据，输入装置可以采集手势并执行操作者的姿势检测。在一个方面，操作者启用的输入可以从修改vr/ar装置60提供的现有操作者启用的输入来导出。
另外，也可以结合vr/ar装置60使用电解剖标测装置50来产生从收集的电解剖数据采集的为消融手术准备的计划映射。在另一方面，vr/ar装置60可以显示虚拟卡尺(例如，标尺)，以允许操作者在虚拟环境中进行实时准确的测量。该特征允许操作者在各个位置处进行测量，例如，在测量电描记图时，使用毫秒，以及在心脏几何结构中，以毫米为单位进行测量。
可以向操作者显示或传达其它电解剖信息。例如，电解剖信息可以在心脏的3d模型65上数字地表示(例如，心脏上的颜色编码区域，以指示电活动和ep导管在施加时的力数据)，可视地显示给操作者(例如，示出相关力数据和电活动的表格)，或以听觉方式。在一个方面，听觉方式可用于通知操作者在消融手术期间激活ep导管时施加的力。在这种情况下，听觉响应可以与施加时的力成比例。听觉信号涉及由消融导管施加的力。施加的力越强，对于操作者音调就越频繁和高音。该听觉特征仅存在于力传感导管中。力传感导管的示例是tacticathtm(stjudemedical)，其向操作者提供反馈，以指示导管尖端施加到组织多少的力(例如以克为单位测量)。
图5a、图5b和图5c示出根据本公开的一个方面的由vr/ar装置60显示的全息图像的示例性图。图5a示出3d模型65(虚拟心脏模型)的打开的主菜单。该视图中3d心脏模型65的透明度被增加，以允许操作者在一个或多个平面中快速地可视化精确的导管位置，而无需改变模型的取向。在各个方面，vr/ar系统的计算装置30可以将3d模型分割成子单元，以通过渲染3d模型65的一部分成透明和/或不可见来修改全息显示，从而便于选择3d模型65的部分。可以由计算装置30分割的3d模型65的子单元的非限制性示例包括左心房和右心房、左心室和右心室、一个或多个瓣膜，与心脏相关联的一个或多个动脉和静脉，以及任何其它相关的心脏结构。
图5b示出在导管位置打开的情况下在后部投影中显示的3d模型65，其中使用切割平面特征切除了心脏的一部分，使得可以可视化心内导管位置。在该视图中，可以看到四个导管(被圈出)位于冠状窦中(在左心房与左心室分开的房室沟中；朝向屏幕的左侧)，高右心房(在右上腔室，右心房/上腔静脉交界处附近)中，右心室尖部(在右下腔室，指向心脏的顶点)和正常的his传导系统(朝向心脏的中心或关键处)中。在一些方面，计算装置30基于全息显示器的操作者控制的缩放级别(例如，放大/缩小)在显示的3d模型65中包括附加组件。例如，在更大的缩放级别(即，放大的图像)下，计算装置30包括图5b中所示的四个导管中的一个或多个导管。另一方面，在更低的缩放级别(即，缩小的图像)下，例如由于所显示的3d模型65的所得的有限分辨率水平，计算装置30不包括四个导管。在图5b中的右侧，荧光透视屏幕已在虚拟环境中打开。
图5c示出显示为在心室的筒下视图(down-the-barrelview)(即，外科医生的视图)中取向的3d模型65，其中心房和大动脉被虚拟地去除，例如横截面视图。这些图像提供了操作者可以使用vr/ar系统10看到的潜在视图的非限制性示例，并且不应该被解释为由本公开的系统10提供的唯一视图。
在各个方面，计算装置30可以包括但不限于笔记本计算机、台式计算机、平板计算机、具有连接的显示器的服务器等。根据一个方面，如图6中所示，计算装置30可以通过各种已知方式(包括本领域已知的有线和无线连接)与3d医学成像装置40、电解剖标测装置50以及vr/ar装置60通信。在一个方面，计算装置30可以包括无线接口控制器(“w.i.”)100，该无线接口控制器100被配置为控制无线收发机102的操作，以及从其它装置接收和发送信息。无线收发机102可以在宽范围的公共频率上通信，包括但不限于频带2.40hz和/或5ghz-5.8ghz。此外，无线收发机102采用无线接口控制器100还可以利用各种公共协议。例如，在本公开的一些实施例中，组合的无线接口控制器100和无线收发机102可以在各种现有和提出的ieee无线协议上操作，包括但不限于ieee802.11b/g/n/a/ac，最大理论数据传输速率/吞吐量分别为11mbps/54mbps/600mbps/54mbps/1gbps。在一个方面，计算装置30可包括网络适配器126，网络适配器126被配置为通过各种网络和连接与其它装置通信。
计算装置30可以具有一个或多个软件应用104以执行上面讨论的方法。计算装置30包括系统存储器108以及操作系统110，系统存储器108可以存储各种应用104，包括执行上述功能的应用。系统存储器108还可以包括可由各种软件应用104访问的数据112。系统存储器108可以包括随机存取存储器(ram)或只读存储器(rom)。存储在计算装置30上的数据112可以是任何类型的可检索数据。数据可以存储在各种各样的数据库中，包括关系数据库，包括但不限于microsoftaccess和sqlserver、mysql、ingres、db2、informix、oracle、postgresql、sybase11、linux数据存储部件等。
计算装置30可以包括各种其它计算机可读介质，包括存储装置114。存储装置114可以用于存储计算机代码、计算机可读指令、程序模块和用于计算装置30的其它数据112，并且存储装置114可以用于备份或可替代地运行操作系统110和/或其它应用104。存储装置114可以包括硬盘、各种磁存储装置(诸如磁带盒或磁盘)、固态闪存驱动器，或其它光学存储器、随机存取存储器等。
计算装置30可以包括系统总线118，系统总线118将计算装置30的各种组件连接到系统存储器108和存储装置114，以及彼此连接。计算装置30的其它组件可以包括一个或多个处理器或处理单元120、用户界面(ui)122，以及一个或多个输入/输出接口124。此外，计算装置30包括网络适配器126。此外，计算装置30可以包括电源128，包括但不限于电池或外部电源。此外，计算装置30可以包括显示适配器226和显示器228(例如，监视器或屏幕)。另外，输入装置(例如，键盘、鼠标、操纵杆等)可以经由输入输出接口124使用。此外，其它3d医学成像装置40、电解剖标测装置50和vr/ar装置60也可以经由输入/输出接口124与计算装置30通信。
vr/ar系统10被配置为在诊断和/或外科手术期间在介入医生(例如，操作者)前面显示虚拟的针对患者的3d模型65。通过使用揭示实时电生理学的3d模型65，将发生医生培训、患者结果和临床医生协作的改进，以及降低患者和医生二者的辐射暴露率。此外，系统10还将减少患者的医疗和经济负担，否则患者将经受由其解剖结构的不良可视化而影响的多个过程。
虽然本公开的前述书面描述使普通技术人员能够制造和使用目前被认为是其最优模式的事物，但是普通技术人员将了解并理解在此的特定实施例、方法和示例的变型、组合和等同物的存在。因此，本公开不应限制为上述实施例、方法和示例，而是本公开的范围和精神内的所有实施例和方法。在理解或完成本公开所必需的程度上，在此提及的所有出版物、专利和专利申请通过引用明确地并入本文，其程度如同每个单独地并入。
已经如此描述了本公开的示例性实施例，本领域技术人员将理解，所公开的内容仅是示例性的，并且可以在本公开的范围内进行各种其它替换、更改和修改。因此，本公开不限于如在此所示的特定实施例。