用于混合现实环境中手术规划的方法和系统与流程

相关申请的交叉引用

本申请要求于2017年7月28日提交的美国临时专利申请第62/538,479号的优先权，该临时专利申请通过引用全文并入本文。

背景技术：

1.技术领域

本公开总体上涉及用于在医疗应用中的混合现实环境中计算定量信息以及使虚拟患者与真实患者对准的方法和系统。具体而言，本公开提供了用于混合现实环境中手术规划的有效机制。

2.相关技术描述

混合现实技术的最近进展，诸如microsofthololens，已经促使这样的技术在医疗应用中广泛使用。可从患者图像(诸如ct或mri图像)创建三维(3d)模型。这样的3d模型可以以某种格式表示，例如filmbox(fbx)格式，并随后加载到应用(即app)中以运行在混合现实设备中，诸如microsofthololens。可从360度在3d空间中以类全息图的方式观察3d模型。这可以或者用于教育目的，或者覆盖到手术室中的真实患者身上以帮助了解解剖结构和做手术规划并引导手术。

目前，混合现实应用只提供具有有限的用户交互的观察功能，有限的用户交互诸如3d对象模型的旋转、平移和缩放。但是，在医疗应用中，定量信息是极其重要的。例如，当捐赠者捐赠他/她的肝脏时，剩余肝脏的体积必须维持总肝脏体积的30％。同样在肿瘤消融中，如果靠近消融区处有直径3毫米或更大的血管，则热库效应将减小有效消融区的尺寸。在这样的情景下，重要的是在手术期间实时地获取定量信息，并配准和对准混合现实3d解剖模型与经受手术的真实患者，从而可以使用混合现实模型来引导手术过程。因此，非常需要为手术规划在配准的混合现实环境中提供定量信息。

技术实现要素：

根据本公开的一个方面，公开了一种在计算设备上实现的用于对准虚拟解剖模型的方法，所述计算设备具有至少一个处理器、存储设备和能够连接到网络的通信平台。所述方法包括以下步骤：生成患者的器官的虚拟模型，其中所述虚拟模型包括至少三个虚拟标记；生成与虚拟标记的数量相等数量的虚拟球，所述虚拟球被放置在所述患者的所述器官的所述虚拟模型上并与所述虚拟标记相关联；记录所述虚拟球和所述虚拟标记的第一位置；将所述虚拟球放置成与设置在所述患者身上的物理标记重合；记录所述虚拟球的第二位置；基于所述第一和第二位置计算所述虚拟球和所述虚拟标记的变换；以及基于所述计算的变换将所述器官的所述虚拟模型与所述患者对准。

在一个示例中，公开了一种用于对准虚拟解剖模型的系统。所述系统包括通过处理器实现的解剖模型生成单元和配准单元。所述解剖模型生成单元被配置用于生成患者的器官的虚拟模型，其中所述虚拟模型包括至少三个虚拟标记。所述配准单元被配置用于：生成与虚拟标记的数量相等数量的虚拟球，所述虚拟球被放置在所述患者的所述器官的所述虚拟模型上并与所述虚拟标记相关联；记录所述虚拟球和所述虚拟标记的第一位置；将所述虚拟球放置成与设置在所述患者身上的物理标记重合；记录所述虚拟球的第二位置；基于所述第一和第二位置计算所述虚拟球和所述虚拟标记的变换；以及基于所述计算的变换将所述器官的所述虚拟模型与所述患者对准。

通过另一个示例，公开了一种非瞬态机器可读介质，其上记录有用于手术过程协助的信息，其中所述信息，当被机器读取时，使机器执行如下步骤：生成患者的器官的虚拟模型，其中所述虚拟模型包括至少三个虚拟标记；生成与虚拟标记的数量相等数量的虚拟球，所述虚拟球被放置在所述患者的所述器官的所述虚拟模型上并与所述虚拟标记相关联；记录所述虚拟球和所述虚拟标记的第一位置；将所述虚拟球放置成与设置在所述患者身上的物理标记重合；记录所述虚拟球的第二位置；基于所述第一和第二位置计算所述虚拟球和所述虚拟标记的变换；以及基于所述计算的变换将所述器官的所述虚拟模型与所述患者对准。

额外的新颖特征将部分地在以下的描述中阐明，并且对于本领域技术人员，在研究下文和随附附图后，部分新颖特征将变得显而易见，或者可通过示例的生产或操作学到。本教导的新颖特征可通过实践或使用在以下讨论的详细示例中阐述的方法、手段和组合的各种方面来实现和达到。

附图说明

本文中要求保护和/或描述的发明将根据示例性实施例进一步描述。这些示例性实施例将参考附图被详细描述。这些实施例是非限制性的示例性实施例，其中类似的附图标记贯穿附图的数个视图表示类似的结构，并且其中：

图1示出了根据各种实施例的在混合现实中计算定量信息和配准虚拟模型与真实患者的示例性系统图；

图2图示出了根据各种实施例的用于对准虚拟模型与真实患者并用于提供定量混合现实的示例性流程图；

图3图示出了根据各种实施例的在混合现实中基于虚拟选择的模型与患者配准的示例性流程图；

图4示出了根据各种实施例的用于提供定量信息的示例性流程图；

图5根据各种实施例的用于介入程序的手术模拟的示例性流程图；以及

图6示出了根据各种实施例的在混合现实中基于移动场景的飞越(flythrough)的示例性流程图。

具体实施方式

本发明总体上针对在手术规划过程中提供定量信息，并用于在医疗应用中的混合现实环境中对准虚拟模型与真实患者。

图1示出了根据当前教导的实施例的在混合现实中促进定量信息的计算以及虚拟模型与真实患者的配准的示例性系统图100。在一个实施例中，系统100包括基于患者的术前图像102生成的患者解剖模型提取和手术规划模型生成单元104、fbx格式生成单元106、器官掩膜(mask)生成单元108、混合现实设备110、混合现实与患者配准单元113、定量单元114、手术过程规划和模拟单元116、以及基于移动场景的飞越单元118。

患者解剖模型提取和手术规划模型生成单元104可被配置成从诸如ct或mri之类的患者图像分割感兴趣的患者解剖结构。它还可以基于所分割的解剖结构生成手术计划。混合现实格式模型生成单元106可以将解剖模型和规划模型转换成混合现实格式，例如fbx格式。器官掩膜生成单元108可被配置为生成一个或多个掩膜文件以编码每个器官。用户112可以将混合现实格式文件和掩膜文件加载到混合现实设备110中。混合现实与患者配准单元113可被配置为将混合现实环境与真实患者进行配准，包括比例、尺寸、位置和/或取向。之后，混合现实环境和显示与经受手术的真实患者被良好对准。

定量单元114可被配置为提供关于在对准的混合现实环境中的患者器官的定量信息的计算。手术过程规划和模拟单元116可被配置为提供用户交互以在对准的混合现实环境中规划和模拟手术过程。基于移动场景的飞越单元118可被配置为在对准的混合现实环境中提供所选血管结构内的飞越模拟。

系统100可以进一步包括由用户112操作的一个或多个输入设备，诸如计算机鼠标、键盘、触控笔、一个或多个传感器、3d操纵手套、或任何其他合适的输入设备、或其任何组合。此外，系统100和/或输入设备也可以对应独立设备，诸如但不限于移动设备(例如智能电话、平板电脑、个人数字助理、膝上型计算机等)或计算设备(例如台式计算机、相机等)。系统除其他特征外还可以包括一个或多个处理器、存储器、通信电路和显示器。处理器可以包括任何能够控制系统的操作和功能的任何合适的处理电路。在一些实施例中，处理器可以包括中央处理单元(“cpu”)、图形处理单元(“gpu”)、一个或多个微处理器、数字信号处理器、或任何其他类型的处理器、或其任何组合。在一些实施例中，处理器的功能可以由一个或多个硬件逻辑部件执行，包括但不限于现场可编程门阵列(“fpga”)、专用集成电路(“asic”)、专用标准产品(“assp”)、片上系统式系统(“soc”)和/或复杂可编程逻辑器件(“cpld”)。此外，处理器可以包括它们自己的本地存储器，本地存储器可储存程序系统、程序数据和/或一个或多个操作系统。然而，处理器可以运行操作系统(“os”)和/或一个或多个固件应用、媒体应用和/或驻留其上的应用。在一些实施例中，处理器可以运行本地客户端脚本，用于读取和呈现自一个或多个网站接收的内容。例如，处理器可以运行本地javascript客户端，用于呈现html或xhtml内容。

存储器可包括以任何合适方式实现来存储数据的一个或多个类型的存储介质，诸如任何易失性或非易失性存储器、或者任何可移除或不可移除存储器。例如，可使用计算机可读指令、数据结构和/或程序系统来存储信息。各种类型的存储设备/存储器可包括，但不限于硬盘驱动器、固态驱动器、闪存存储器、永久性存储器(例如rom)、电可擦除可编程只读存储器(“eeprom”)、cd-rom、数字多用途盘(“dvd”)或其他光学存储介质、盒式磁带、磁带、磁盘存储或其他磁性存储设备、raid存储系统、或任何其他存储类型，或其任何组合。此外，存储器304可以被实现为计算机可读存储介质(“crsm”)，它可以是处理器可访问以执行存储器内储存的一个或多个指令的任何可用的物理介质。

通信电路可包括允许或使系统的一个或多个组件能够与彼此和/或与一个或多个额外设备、服务器和/或系统通信的任何电路。在一些实施例中，通信电路可以促进通过网络(诸如互联网)的通信。例如，通信电路可使用传输控制协议和互联网协议(“tcp/ip”)(例如，在tcp/ip诸层的每一层中使用的任何协议)、超文本传输协议(“http”)、webrtc、sip和无线应用协议(“wap”)来访问网络，这些协议是可用于促进通信的各种类型的协议中的一些。在一些实施例中，使用http的网页浏览器可被用于通信。可用于促进通信的各种额外的通信协议可包括，但不限于wi-fi(例如802.11协议)、蓝牙、射频系统(例如900mhz、1.4ghz和5.6ghz通信系统)、蜂窝网络(例如gsm、amps、gprs、cdma、ev-do、edge、3gsm、dect、is-136/tdma、iden、lte或任何其他合适的蜂窝网络协议)、红外、bittorrent(比特流)、ftp、rtp、rtsp、ssh和/或voip。

在一个实施例中，显示器可以是与处理器、存储器和/或通信电路中的一个或多个通信的任何合适类型的显示器。各种类型的显示器可包括，但不限于液晶显示器(“lcd”)、单色显示器、彩色图形适配器(“cga”)显示器、增强图形适配器(“ega”)显示器、可变图形阵列(“vga”)显示器、或任何其他类型的显示器，或前述各项的任何组合。更进一步，在一些实施例中，触摸屏可对应于包括能够识别其上触摸输入的电容感测面板的显示设备。在一些实施例中，显示器可以是任选组件。

图2示出了根据本教导的一个实施例的用于提供定量混合现实和用于对准虚拟模型与真实患者的示例性流程图。在步骤202，可从患者图像分割感兴趣的患者解剖结构。该分割可以是自动或半自动的。患者图像可以是ct或mri、或任何其他形式。在步骤204，可从所分割的解剖结构生成手术规划模型。这可包括病灶切除计划、移植计划、或介入计划。在步骤206，患者解剖结构和手术计划两者都可被转换成混合现实格式。这样的混合现实格式可以是fbx或可容易地加载到混合现实设备中的任何其它格式。在步骤208，所分割的解剖结构可被编码成掩膜文件。例如，可使用每像素8字节的格式对8个器官编码，其中每个比特用于代表一个器官。在一个实施例中，如果该比特的值是1，则意味着该器官存在于那个像素处。否则，该器官不存在于那个像素处。在步骤210，将混合现实格式文件和掩膜文件加载到混合现实设备中。在步骤212，可将混合现实格式文件用于显示器官和手术计划，同时可将掩膜文件加载到设备的存储器中，但掩膜文件可不被显示。

在步骤213，包括患者解剖结构、手术计划、以及模拟场景的混合现实环境可以同经受手术的真实患者对准。

在步骤214，用户交互可在对准的混合现实环境中调用定量信息的计算。然后，用户可以操纵混合现实设备在有/无参考患者解剖结构3d模型和手术计划的显示的情况下在真实患者身上测量某些信息(例如距离、角度、直径、体积、尺寸等)。系统可基于器官掩膜以及混合现实与真实患者的对准来计算某些定量信息，并实时显示所希望的信息。在步骤216，可由用户交互式地规划手术计划。手术规划可包括，但不限于肿瘤切除、移植、消融和活组织检查等。规划的手术(例如切除表面、针路径、消融区域、跨血管路径等)连同外科医生所希望的相应定量信息和警告信息可在对准的混合现实环境中的真实患者身上显示。一旦已经制定了手术计划，在步骤217，用户就可以交互地在真实患者身上显示的对准的混合现实环境中模拟和实践手术过程。可将模拟的过程和手术计划进行比较。

在步骤218，可以基于用户选择的血管结构执行基于移动场景的飞越。与常规的飞越不同，可使模型的场景移动以创建飞越效果。

图3示出了根据本教导的一个实施例的基于虚拟选择的模型与患者配准单元113的示例性流程图。具体而言，在一个实施例中，模型与患者配准单元113在混合现实环境中配准虚拟解剖模型与真实患者。为实现这个，在步骤302，可在患者身体上放置多个基准标记。替代地，可使用解剖标志。这种情况下，可不需要在患者身体上放置外部基准标记。解剖基准标记可包括，但不限于乳头、肚脐和血管分叉(用于开放手术)。在步骤304，可进行对患者的扫描。在一个实施例中，对基准标记的要求是可在患者扫描中识别它们。在步骤306，基准标记和解剖器官(包括解剖基准标记)一起，可被从扫描图像分割，并且可被转换成fbx格式并在步骤308加载到混合现实设备中。在步骤310，可在观察器坐标系(即虚拟坐标系)中的已知位置生成多个虚拟球。可以用不同数字或用有区别的颜色来给球贴标签。在步骤312，用户可将球移动到和患者身体上的真实基准标记或解剖标志相同的位置。在步骤313，可基于球的有区别的标识(通过颜色或数字)来指定球与虚拟基准标记的对应关系。然后，可在步骤314记录球在世界坐标系(即虚拟环境)中的位置。还可在步骤316记录虚拟基准标记的世界坐标(即虚拟坐标)。在步骤318，虚拟基准标记与虚拟球的这些坐标及其间的对应关系可用于计算模型坐标系与患者坐标系之间的严格变换。然后在步骤320，可基于计算出的变换来移动虚拟模型以与真实患者对准。也可能将球放置在有区别的表面上，例如放置在开放手术中的肝脏表面上。然后可将在表面上的球的坐标用于配准虚拟模型中的相同表面以计算虚拟模型与真实患者之间的变换。在步骤322，可在对准的虚拟解剖模型上执行定量过程。此后，在步骤324，可在对准的解剖模型的管状结构上执行飞越效果操作。有关定量过程(步骤322)和飞越效果(步骤324)的细节接下来分别参考图4和图6描述。

上面的患者对准方法可用不同方式扩展以对准不同坐标系。作为示例性实施例，它可用于对准磁跟踪系统与混合现实环境。若基准标记是磁性传感器，或它们的位置可通过使用磁性传感器探针(例如通过触摸它)来获得，则基准标记在传感器坐标系中的坐标可用于计算传感器坐标系与混合现实中世界坐标系之间的变换。作为另一个示例性实施例，机器人可通过由机器人的末端执行器触摸或由相机依据立体视觉而感知患者身上的基准标记。以这种方式，可计算机器人与混合现实中世界坐标系之间的坐标变换。混合现实环境与第三应用坐标系之间的变换可用于使来自第三坐标系的用户动作协调并显示到混合现实环境中。

图4示出了根据本教导的一个实施例的定量单元114的示例性流程图。将虚拟模型与真实患者对准后，用户可对虚拟解剖结构的表面上的一个或多个点贴标签。可通过光标点与fbx网格(mesh)的碰撞检测找到表面点。这在步骤402处执行。在步骤404，可变换表面点以在编码的掩膜文件中找到对应点。可提供不同模式的定量以供用户选择。在直径模式中，可需要一个光标点来计算掩膜的标签点处的直径。在步骤406，可计算与血管结构的中心线正交的掩膜的横截面的直径。在步骤408，还可从掩膜文件计算被光标点命中的解剖结构的体积。在步骤410，在距离模式中，可用两个标签点来计算掩膜文件中的点之间的距离。类似地，在角度模式中，在步骤412，可将表面上的三个标签点映射到掩膜以计算通过连接第一点和第二点、以及连接第二点和第三点而形成的两条线之间的角度。

图5示出了根据本教导的一个实施例的用于介入程序的手术模拟单元116的示例性流程图。以下示例基于消融或活组织检查模拟。可类似地执行其它手术模拟，诸如肿瘤切除或移植。在步骤502，可以将虚拟针放入病灶。然后在步骤504，可将针的针尖固定并可将针的针柄移动以找到合适的针路径。在步骤506，在调整针的同时，可实时计算某些定量信息并将该定量信息显示给用户。这可包括，但不限于皮肤进入点到针尖之间的距离、从针尖到所有相交器官表面的距离、针的方位角和仰角。因为模拟是在配准的混合现实与真实患者下执行，所以它可用于帮助外科医生理解过程的复杂性。

图6示出了根据本教导的一个实施例的基于移动场景的飞越单元118的示例性流程图。在常规的飞越中，可将视口(或虚拟相机)放置在血管的(管状的)结构内并沿该管的中心线移动。在混合现实中，视口是人眼，且不可能将其放在管内。下面描述的是用于实现飞越效果的基于移动场景的飞越方法。在步骤602，可由用户选择虚拟管状解剖结构，诸如气道或输尿管，以供执行飞越。在步骤604，可将虚拟模型放大，例如放大到40倍。这以相同因数放大管状解剖结构。此外，可确定所选解剖结构的中心线(轴)，例如管状结构的中心线(即位于管状结构的纵轴上的线)。在步骤606，可将场景放置在靠近观察器的地方，使得管状解剖结构的中心线就是观察器的中心(步骤606)并且中心线的切线方向与观察方向对准(步骤608)。在步骤610，可沿中心线将场景朝向观察器移动。然后，飞越效果可被创建。

尽管前文已经描述了被认为构成本教导和/或其它示例的内容，但是应该理解，可以对其做出各种修改，并且本文中所公开的主题可以以各种形式和示例来实现，并且教导可以应用于许多应用中，仅其中的一些已在本文中被描述。此外，必须意识到，流程图中记载的步骤可以以任何顺序实现，并且不以任何方式受限于图中所描绘的顺序。所附权利要求旨在要求保护落入本教导的真实范围内的任何和所有应用、修改和变型。