具有位置配准机制的计算机辅助手术系统及其操作方法与流程

本申请要求于2014年7月15日提交的、序号为14/331,541的美国专利申请的优先权。本申请包含与于2014年3月10日提交的、序号为14/202,677的美国专利申请相关的主题，并且该申请的主题通过引用并入本文。

技术领域

本发明一般涉及计算机辅助手术系统，更特别地涉及用于利用手术前的医疗数据建立参考位置的系统。

背景技术：

基于图像的手术导航系统参照术前(在手术之前)或术中(手术期间)图像数据集来显示手术工具的位置。二维和三维图像数据集以及诸如在不同时间处取得的多个数据集之类的时变图像数据被使用。主要使用的数据集的类型包括二维荧光图像(fluoroscopic image)以及包括磁共振成像(MRI)扫描、计算机断层(CT)扫描、正电子发射断层(PET)扫描和造影数据的三维数据集。术中图像通常是荧光的，因为C型臂荧光镜(C-arm fluoroscope)关于病人相对容易地安置并且不需要移动病人。其他类型的成像模式需要大量的病人移动并且因此通常仅用于术前和术后成像，但是它们仍然可以在术中被使用。

最受欢迎的手术导航系统利用追踪或定位系统以在手术期间追踪工具、仪器(instrument)和病人。这些系统经由唯一可识别的标记识别预定义的坐标空间，所述唯一可识别的标记被手动附接或固定到诸如仪器或遮蔽物(mask)之类的对象或者可能固有地是诸如仪器或遮蔽物之类的对象的一部分。标记可以采取若干形式，包括可以使用光学(或视觉)方法、电磁方法、无线电方法或声学方法手动定位的那些形式。此外，至少在光学或视觉系统的情况中，标记的位置的定位可以基于实际上充当可识别的标记点的内在特征或标志，而实际的标记由人手动安置。标记将具有通常关于仪器的端点和/或轴线的已知的几何布置。因此，可以至少部分根据标记的几何图形(假设几何图形是唯一的)以及从标记的位置推断的参考帧内的轴线朝向和端点位置来识别对象。标记的位置中的任何误差表示操作的安全裕度(margin)的降低，而对于安全裕度而言零点几毫米都可能是关键的。

因此，对于可以在没有由标记的手动安置引发的位置误差的情况下提供位置配准(registration)的计算机辅助手术系统的需要仍然存在。考虑到计算机辅助手术的使用越来越受欢迎，找到这些问题的答案越发关键。考虑到不断增长的商业竞争压力，以及增长的消费者期待和市场中有意义的产品差异化的减少的机会，找到这些问题的答案是关键的。此外，降低成本、提高效率和性能以及应对竞争压力的需求给找到这些问题的答案的关键必要性添加了更大的紧迫性。

这些问题的解决方案已被长期寻求，但是先前的发展尚未教导或建议任何解决方案，因此本领域技术人员已长期未得到这些问题的解决方案。

技术实现要素：

本发明提供了一种计算机辅助手术系统的操作方法，包括：捕获来自三维对象的历史扫描数据；从在不同位置中的三维对象采样当前表面图像；自动变换历史扫描数据以与当前表面图像对准以用于形成变换数据；以及在没有手动介入的情况下在增强现实显示器上显示被变换数据叠加(overlay)的当前表面图像。

本发明提供了一种计算机辅助手术系统，包括：被配置为记录来自三维对象的历史扫描数据的术前医疗扫描；被配置为从在不同位置中的三维对象采样当前表面图像的位置图像捕获模块；被配置为自动变换历史扫描数据以与当前表面图像对准以用于形成变换数据的3D配准模块；被配置为在没有手动介入的情况下在增强现实显示器上显示被变换数据叠加的当前表面图像的显示器控制器。

本发明的某些实施例具有附加于上文提到的那些步骤或元件的或者代替上文提到的那些步骤或元件的其他步骤或元件。当参照附图时，从对下面的详细描述的阅读中，步骤或元件对本领域技术人员而言将变得明显。

附图说明

图1是本发明的实施例中的具有位置配准的计算机辅助手术系统的功能框图。

图2是本发明的实施例中的手术计划生成机制的功能框图。

图3是本发明的实施例中的感兴趣区域捕获机制的功能框图。

图4是本发明的实施例中的对准和呈现机制的功能框图。

图5是本发明的另一实施例中的计算机辅助手术系统的操作方法的流程图。

具体实施方式

以足够细节描述了以下实施例以使得本领域技术人员能够制造和使用本发明。要理解的是基于本公开其他实施例将是明显的，并且可以在不脱离本发明的范围的情况下做出系统、过程或机制的改变。

在以下描述中，给出了许多具体细节以提供对本发明的深入理解。然而，将明显的是可以在没有这些具体细节的情况下实践本发明。为了避免使本发明模糊，没有详细公开一些公知的电路、系统配置和过程步骤。

示出系统的实施例的附图是半图解的，并且不是按比例绘制的，尤其是尺寸中的一些尺寸是为了呈现清楚，并且在附图中被夸大地示出。类似地，尽管为了便于描述附图中的视图一般示为类似的朝向，但是在大多数情况下附图中的该描绘是任意的。一般而言，可以以任何朝向操作本发明。

其中公开并描述了具有一些共同特征的多个实施例，为了说明、描述及其理解的清楚和容易，彼此类似和相同的特征将通常用类似的附图标记来描述。出于阐述的目的，如本文使用的术语“水平面”被定义为平行于具有非易失性存储器系统的集成电路的有源表面的平面，而与其朝向无关。术语“垂直”指代垂直于如上定义的水平面的方向。诸如“之上”、“之下”、“底部”、“顶部”、“侧”(如“侧壁”中的)、“较高”、“较低”、“上面”、“上方”和“下方”之类的术语是参照水平面定义的，如附图所示。术语“直接在……上”意味着元件之间存在直接接触而没有介入元件。

根据使用术语的上下文，在本发明的实施例中本文所指代的术语“模块”可以包括软件、硬件或其组合。例如，软件可以是机器代码、固件、嵌入代码和应用软件。此外，例如，硬件可以是电路、处理器、计算机、集成电路、集成电路核、压力传感器、惯性传感器、微机电系统(MEMS)、无源器件或其组合。

图像处理可以涉及使用成像仪的投影成像和断层成像。投影成像使用例如相机和X射线利用对象的平面视图。断层成像使用例如包括声呐的透射波、计算机断层(CT)扫描、磁共振成像(MRI)利用穿过对象的切面。

现在参照图1，在此示出了本发明的实施例中的具有位置配准的计算机辅助手术系统100的功能框图。计算机辅助手术系统100的功能框图描绘了术前医疗扫描102，例如对诸如手术病人之类的三维对象104的磁共振成像(MRI)扫描、计算机断层(CT)扫描、正电子发射断层(PET)扫描或者造影数据。

术前医疗扫描102可以向计算机107提供表示三维对象104的内部构造的历史图像数据106。历史图像数据106可以由医师或医学专家用来制定在对三维对象104执行的手术操作期间将被执行的手术计划108。在手术计划108的制定期间，诸如器官模型、血管图、神经图、肌肉和肌腱图、组织结构或它们的组合之类的物理模型110可以制定具有最佳离开路径的手术策略和在手术操作期间可以接纳手术工具的入侵的安全区域。手术计划108和物理模型110的组合可以生成手术计划和突出部分109，手术计划和突出部分109能够突出如果被进入则可能造成危险的操作区域或者可以允许外科医生(未示出)访问的所计划的手术的安全区域。

历史图像数据106可以被传送到兴趣表面提取模块112以便于分离可以表示覆盖手术计划108预期访问的区域的皮肤的外层的历史点云(point cloud)114。历史图像数据可以在由手术计划108表示的预定的手术操作之前多达数天被捕获。

在手术操作的预定时间，三维对象104可以在与用于捕获历史图像数据106的位置实质不同的位置中。诸如立体相机、结构光相机、激光扫描仪之类的位置图像捕获模块116可以提供在用于手术操作的手术位置中的三维对象104的详细的表面图像。位置图像捕获模块116可以将三维对象104的当前表面图像118提供给手术前3D捕获模块120以用于分析。手术前3D捕获模块120可以处理当前表面图像118以从当前表面图像118去除障碍物，诸如毛发、手术遮蔽、消毒敷料等。三维对象104的表面可以被捕获为当前图像数据122。

当前图像数据122可以被耦接到兴趣区域提取模块124以供进一步缩减。兴趣区域提取模块124可以生成当前点云126。

预期点云128可以从兴趣表面提取模块112被耦接到3D配准模块130。诸如表示三维对象104的表面的三维拓扑的相关点的阵列之类的实际点云132可以从兴趣区域提取模块124被耦接到3D配准模块130。3D配准算法模块134可以通过预期点云128和实际点云132的特征对准来执行特征。3D配准模块130可以基于变换参数模块136操纵3D配准算法模块134的结果。变换参数模块136可以在生成复合图像数据138时提供视觉队列或突出部分。

变换模块140可以被耦接到复合图像数据138、手术计划和突出部分109以及诸如来自术前医疗扫描102的数据之类的历史扫描数据142以基于复合图像数据138自动对准历史扫描数据142。变换模块140可以基于历史扫描数据142维持复合图像数据138和手术计划108之间的位置关联。变换模块140可以叠加能够突出如果被进入则可能造成危险的操作区域或者可以允许外科医生访问的所计划的手术的安全区域的手术计划和突出部分109。手术计划108可以通过外科医生为手术做准备而分析术前医疗扫描102来制定。

变换模块140可以在没有手动介入的情况下提供对变换数据144的持续更新。因为历史扫描数据142具有都与由兴趣表面提取模块112识别的表面层有位置关联的许多层，所以所有内部层可以与三维对象104的当前表面图像118有位置关联。

已发现计算机辅助手术系统100可以在没有施加到三维对象104的手动介入或标记的情况下提供历史扫描数据142、手术计划108和当前表面图像118之间的高度准确的位置关联。变换数据144可以提供具有为手术计划108的每个步骤指示安全区和危险区的计算机生成的突出部分的高度准确的位置信息。

变换数据144可以被耦接到由显示器控制器148管理的增强现实显示器146。当前表面图像118可以被耦接到增强现实显示器146以用于建立病人坐标空间，变换数据144可以由显示器控制器148显示在该病人坐标空间中。

工具追踪模块150可以向增强现实显示器146呈现工具追踪数据152。工具追踪模块150可以与当前表面图像118有位置关联。变换数据144也与当前表面图像118有位置关联，这允许增强现实显示器146实时呈现用于执行手术计划108的手术工具的实际位置。已发现计算机辅助手术系统100可以提供当前表面图像118和历史扫描数据142之间的、具有小于2mm的均方差的位置关联，这表示对现有技术标记系统的显著改善，现有技术标记系统在将单个标记放置在三维对象104上的过程中可以引发超过两倍的位置误差。

现在参照图2，在此示出了本发明的实施例中的手术计划生成机制201的功能框图。手术计划生成机制201的功能框图描绘了已捕获三维对象104的图像数据的术前医疗扫描102。术前医疗扫描102可以将历史扫描数据142传送到手术计划108。外科医生(未示出)可以访问历史扫描数据142并且使用物理模型110以便于开发完成对诸如手术病人之类的三维对象104的手术的策略。

手术计划108可以提供操作的要求的大量细节，包括安全区域、进入路径、操作对象的位置、形状和尺寸以及如果被进入则可能伤害手术病人104的危险区。计划成功的关键是操作期间三维对象104的位置和历史扫描数据142之间的配准的绝对位置。手术计划108可以向执行操作的外科医生提供视觉队列。手术计划108可以将图1的手术计划和突出部分109传送到兴趣表面提取模块112。

兴趣表面提取模块112可以使用历史图像数据106来提取兴趣表面以形成点云114，点云114可以被组装为预期点云128以限定三维对象104的外表面。

已发现手术计划108可以提供手术计划和突出部分109，包括在图1的变换数据144的显示期间在图1的增强现实显示器146上可以被突出的具体坐标。手术计划和突出部分109可以识别可以协助执行操作的外科医生(未示出)的、预期点云128中的安全区和危险区。

现在参照图3，在此示出了本发明的实施例中的兴趣区域捕获机制301的功能框图。兴趣区域捕获机制301的功能框图描绘了被耦接到手术前3D捕获模块120的位置图像捕获模块116，诸如立体图像相机、超声表面分析设备、结构光或激光表面分析设备等。

位置图像捕获模块116可以捕获在手术位置中的三维对象104的表面，该手术位置可以与由图1的术前医疗扫描102捕获的三维对象104的位置显著不同。手术前3D捕获模块120可以处理由位置图像捕获模块116提供的当前表面图像118。通过当前图像数据122可以向兴趣区域提取模块124提供三维对象104的完整表面拓扑。要理解的是当前图像数据122包括三维对象104的可见表面拓扑。兴趣区域提取模块124可以识别表面的细节并且可以从兴趣区域的表面以算法方式去除不需要的区域，诸如毛发。

当前点云126可以表示在可操作的手术位置中的三维对象104的详细表面。兴趣区域提取模块124可以从当前点云126产生实际点云132，诸如表示三维对象104的可见表面的三维拓扑的相关点的阵列。要理解的是实际点云132可以包含如在图1的预期点云128中包含的那些点的子集点云，因为它们都源自三维对象104，但是在不同的位置中。

已发现兴趣区域提取模块124可以将实际点云132生成为是图1的兴趣表面提取模块112的预期点云128的子集的、三维对象104的可见表面拓扑。要理解的是位置图像捕获模块116仅监测三维对象104的外表面以在没有附加人为介入的情况下执行预期点云128和实际点云132之间的自动配准和对准。该对准过程可以去除可以伴随附着到三维对象104的表面的标记或遮蔽物的使用的人为引发的位置误差。

现在参照图4，在此示出了本发明的实施例中的对准和呈现机制401的功能框图。对准和呈现机制401的功能框图描绘了耦接到预期点云128和实际点云132的3D配准模块130。3D配准模块130可以利用特征选择模块以用于确定点云的子集，子集基于三维对象的关键点来选择；耦接到特征选择模块的特征匹配模块，以用于基于子集的匹配变换来生成匹配结果；以及耦接到特征匹配模块的点配准模块，以用于基于细化变换来细化匹配结果以可选地对准点云的不同数据集以用于在设备上显示对准后的数据集，其中细化变换包括小于匹配变换的匹配误差的细化误差。

3D配准模块130的示例实施例可以包括三维配准对准模块134，三维配准对准模块134可以实现特征识别结构，特征识别结构可以对预期点云128和实际点云132二者进行操作以识别相似特征。三维配准对准模块134还可以实现用于提供小于5毫米内的位置对准的粗略对准的特征匹配结构。三维配准对准模块134还可以实现配准细化结构，配准细化结构可以在不需要任何人为介入的情况下将位置对准改进为小于2毫米以识别三维对象104的部分。

3D配准模块130可以具有变换参数模块136，变换参数模块136可以确定将预期点云128和实际点云132对准所需要的三维变换，诸如平移、旋转和缩放。复合图像数据138可以包括以适当对准安置历史扫描数据142以与实际点云132相符并且反映诸如手术病人之类的三维对象104的实际位置所需要的变换信息。

要理解的是在由位置图像捕获模块116捕获当前表面图像118之前的某一时间处，可以通过术前医疗扫描102从三维对象104采集历史扫描数据142。还要理解的是历史扫描数据142和当前表面图像之间的位置差异可以是显著的。图1的计算机辅助手术系统100可以在术前医疗扫描102期间或当前表面图像118的捕获期间都没有任何医疗人员的手动介入并且没有施加到三维对象104的外部标记的情况下解决位置差异。

复合图像数据138被耦接到变换模块140。变换模块140可以将来自复合图像数据138以及手术计划和突出部分109的诸如平移、旋转和缩放之类的位置变换施加到由术前医疗扫描102提供的历史扫描数据142。变换模块140可以完成来自手术计划108的突出的信息与历史扫描数据142的适当定向的版本的合并以便于提供被耦接到增强现实显示器146的变换数据144。

显示器控制器148可以接收当前表面图像118、变换数据144和工具追踪数据152以在增强现实显示器146中形成复合显示。变换数据144与当前表面图像118的位置符合允许显示器控制器148用最少的资源叠加数据。工具追踪数据152可以在手术计划108启动之前由手术人员通过位置图像捕获模块116和工具追踪模块150来校准。外科医生(未示出)可以监督手术计划108的执行，或者外科医生可以在计算机辅助下接合(articulate)工具以便于在通过变换数据144提供的视觉帮助下执行手术计划。

要理解的是手术计划108的执行可以在对诸如手术病人之类的三维对象104的风险最小的情况下由远离外科医生的远程位置中的计算机完全执行。已发现计算机辅助手术系统100的实施例可以被用于向区域中仅具有基础手术团队的世界上的偏远位置提供复杂的手术步骤，而外科医生可以从地球的相对侧上的位置来管理操作。

现在参照图5，在此示出了本发明的另一实施例中的计算机辅助手术系统100的操作方法500的流程图。方法500包括：在框502中捕获来自三维对象的历史扫描数据；在框504中从在不同位置中的三维对象采样当前表面图像；在框506中自动变换历史扫描数据以与当前表面图像对准以用于形成变换数据；以及在框508中在没有手动介入的情况下在增强现实显示器上显示被变换数据叠加的当前表面图像。

得到的方法、过程、装置、设备、产品和/或系统是直观的、有成本效益的、不复杂的、高度通用的、准确的、灵敏的并且有效的，并且可以通过使已知组件适合用于准备好的、高效的且经济的制造、应用和利用而被实现。

本发明的另一重要方面是它有价值地支持和服务降低成本、简化系统和提高性能的历史趋势。

本发明的这些方面和其他有价值的方面因此将技术的状态推进到至少下一水平。

尽管已结合具体最佳方式描述了本发明，但是将被理解的是，鉴于前述描述，很多替代、修改和变化对本领域技术人员而言将是明显的。因此，旨在包括落在所包括的权利要求的范围内的所有这样的替代、修改和变化。此前本文阐述的或在附图中示出的所有事物要以说明性的并且非限制性的意义来解释。