2D/2.5D腹腔镜和内窥镜图像数据与3D立体图像数据配准的方法和系统与流程

背景技术：

本发明涉及腹腔镜或内窥镜图像数据与3d立体图像数据的配准，并且更具体而言，涉及将术中2d/2.5d腹腔镜或内窥镜图像数据配准至术前3d立体图像数据，以将来自术前3d立体图像数据的信息覆盖在术中腹腔镜或内窥镜图像数据之上。

微创手术治疗期间，获取腹腔镜或内窥镜图像的序列来指导手术过程。可获取多个2d图像并且拼接起来以重建所观察器官的3d术中模型；然后，该重建的术中模型可以与术前或术中立体图像数据，如核磁共振(mr)、计算机断层扫描(ct)、或正电子发射断层成像(pet)等融合，从而为执行手术治疗的临床医生提供额外的指导。然而，由于参数空间较大并缺乏对配准问题的约束，配准颇具挑战性。用于执行此种配准的一种策略是将术间相机附着于外部光学或电磁跟踪系统上，从而建立相机相对于患者的绝对位姿。这种基于跟踪器的方法确实有助于在术中图像流(视频)和立体图像数据之间建立初始配准，但却为临床工作流程带来了额外硬件组件的负担。

技术实现要素：

本发明提供了一种用于术中图像(例如，腹腔镜或内窥镜图像)与术前体图像数据配准的方法和系统。本发明实施例通过根据虚拟相机的视角和方向模拟3d立体中的虚拟投影图像来将3d立体配准至2d/2.5d术中图像，然后利用附着于术中相机上的方位传感器(例如，陀螺仪或加速度计)的术中图像相关的相关方位测量值来约束配准的同时，计算配准参数以将模拟投影图像匹配至真实的术中图像。进一步地，本发明实施例基于手术方案的在前信息来约束配准。

在本发明的一个实施例中，接收目标器官的多个2d/2.5d术中图像以及用于术中图像的对应的相关方位测量值；通过计算位姿参数将目标器官的3d医学图像体配准至多个2d/2.5d术中图像，从而将3d医学图像体的模拟投影图像匹配至多个2d/2.5d术中图像，其中，配准受到术中图像的相关方位测量值的约束。

通过参考以下详细描述和附图，本发明的这些和其它优点对于本领域的普通技术人员来说将变得显而易见。

附图说明

图1示出了根据本发明实施例的用于将目标解剖对象的3d术前医学图像体配准至目标解剖对象的2d/2.5d术中图像的方法；

图2示出了将术前3d医学图像体中的模拟投影图像匹配至术中图像的实例；

图3示出了根据本发明实施例的、将目标解剖对象的3d术前医学图像体配准至目标解剖对象的术中图像的手术规划和配准的方法；

图4示出了根据由手术方案获得的在前知识确定的示例性约束；及

图5为能够实施本发明的计算机的高级框图。

具体实施方式

本发明涉及一种用于将术中图像(例如，腹腔镜或内窥镜图像)配准至3d立体医学图像的方法和系统。在此所描述的本发明实施例在于从视觉上理解该配准方法。数字图像通常由一个或多个物体(或形状)的数字化表现组成。在此通常根据识别和操作物体来描述某一物体的数字化表现。这些操作均为在计算机系统的存储器或其他电路/硬件内完成的虚拟操作。相应地，应当理解的是，本发明实施例可以在计算机系统内使用计算机系统存储的数据来执行。

可通过首先执行初始刚性对准，然后再进行更为精细的非刚性对准来实现3d医学图像数据与术中图像(例如，内窥镜或腹腔镜视频帧)的融合。本发明实施例利用附着于术中相机的加速计或陀螺仪的稀疏相关方位数据和手术规划信息，在3d立体医学图像数据和术中图像数据之间提供刚性配准，从而限制对配准参数的优化，使所观察到的术中图像数据和3d术前医学图像体实现最佳对准。本发明实施例还提供了优选手术规划流程，可将手术规划信息用于生物力学模型中，以在手术方案内预测组织的运动，从而向用户提供针对预测配准质量相关的反馈以及手术方案可做出哪些改变的指导，以改善配准。

本发明实施例执行3d术前医学图像体和2d术中图像(例如腹腔镜或内窥镜图像，具有相应的、与每个图像相关的2.5d深度信息)的共同配准。应当理解的是，术语“腹腔镜图像”和“内窥镜图像”在此可互换使用，并且术语“术中图像”指手术治疗或介入期间获取的任何医学图像数据，包括腹腔镜图像和内窥镜图像。

图1示出了根据本发明实施例的、用于将目标解剖对象的3d术前医学图像体配准至目标解剖对象的2d/2.5d术中图像的方法。图1的方法对表示了患者解剖结构的术中图像数据进行变换，以执行每一帧术中图像数据的语义分割并生成目标解剖对象的3d模型。在示例性实施例中，图1的方法可用于配准术前3d医学图像体，其中，肝脏已分割成肝脏的术中图像序列帧以指导肝脏的手术治疗如肝脏切除术，进而移除肝脏肿瘤或损伤。

参见图1，在步骤102中，接收术前3d医学图像体。在手术治疗之前获取该术前3d医学图像体。可使用任意显像模式如计算机断层扫描(ct)、核磁共振(mr)或正电子发射断层成像(pet)来获取3d医学图像体。可直接接收来自图像获取设备如ct扫描仪或mr扫描仪的术前3d医学图像体，或可通过从计算机系统的存储器或存储装置中加载之前存储的3d医学图像体来获取术前3d医学图像体。在优选实施方式中，在术前规划阶段，可利用图像获取设备来获取术前3d医学图像体并将其存储在计算机系统的存储器或存储装置中。然后，在手术治疗期间，可从存储器或存储系统加载该术前3d医学图像体。

术前3d医学图像体包括目标解剖对象如目标器官。在优选实施方式中，该目标器官可以为肝脏。与术中图像如腹腔镜和内窥镜图像相比，术前体成像数据可以提供目标解剖对象更详细的视图。在术前3d医学图像体中，可分割目标解剖对象和其他解剖对象。表面目标(例如，肝脏)、关键结构(例如，肝脏门静脉、肝脏脏系统、胆道及其他目标(例如，原发及转移肿瘤)可根据术前成像数据利用任意分割算法进行分割。比如，该分割算法可为基于机器学习的分割算法。在一个实施例中，可采用基于边缘空间学习(msl)的框架，如利用题为“在三维图像中分割心脏腔室的系统和方法”的第7,916,919号美国专利中所描述的方法，上述专利通过引用将其全部内容结合于本文中。在另外一个实施例中，可以使用半自动分割技术，例如图像分割或随机游走分割。

在步骤104中，接收术中图像序列以及对应的相关方位测量值。术中图像序列也可以是一个视频，每个术中图像即为该视频的一帧。例如，术中图像序列可以为通过腹腔镜获取的腹腔镜图像序列或通过内窥镜获取的内窥镜图像序列。根据优选实施例，术中图像序列的每一帧都是2d/2.5d图像。即术中图像序列的每一帧包括分别为每个像素提供典型2d图像外观信息的2d图像通道和在2d图像通道中提供与每个像素相对应的深度信息的2.5d深度通道。例如，术中图像序列的每一帧都可包括rgb-d(红色、绿色、蓝色+深度)图像数据。该图像数据包括rgb图像，其中每一像素分别具有一rgb值；以及深度图像(深度图)，其中，每一像素值对应于图像获取设备(例如，腹腔镜或内窥镜)的像机中心到参考像素的深度或距离。用于获取术中图像的术中图像获取设备(例如，腹腔镜或内窥镜)可配置相机或摄像机来获取每一时间帧的rgb图像，也可配置飞行时间或结构光传感器来获取每一时间帧的深度信息。该术中图像获取设备也可配置方位传感器诸如加速计或陀螺仪，其提供了每帧的相关方位测量值。可直接从图像获取设备接收术中图像序列的帧。例如，在优选实施例中，当通过图像获取设备获取术中图像序列帧时，可实时予以接收。或者，可通过加载计算机系统存储器或存储装置上存储的之前获取的术中图像来接收该术中图像序列帧。

根据本发明实施例，可以通过用户(例如，医生、临床医生等)利用图像获取设备(例如，腹腔镜或内窥镜)执行目标器官的全面扫描来获取术中图像序列。在这种情况下，当图像获取设备不断获取图像(帧)的同时，用户移动该图像获取设备，从而使术中图像序列的帧覆盖目标器官的整个表面。这可以在手术治疗开始时执行，以获取当前变形下目标器官的全貌。可执行3d拼接过程，将术中图像拼接在一起，以形成目标器官例如肝脏的术中3d模型。

在步骤106中，利用术中图像的相关方位测量值将术前3d医学图像体配准至2d/2.5d术中图像，以约束配准。根据本发明实施例，通过利用定义虚拟相机(例如，虚拟内窥镜/腹腔镜)位置和方向的参数空间来模拟术前3d立体中的相机投影以执行该配准。术前3d立体中投影图像的模拟可包括真实感渲染。位置和方位参数决定了3d医学图像体中2d/2.5d投影图像的外形和几何结构，进而通过相似性度量值直接与所观察到的2d/2.5d术中图像进行比较。

使用优化框架来选择用于虚拟相机的位姿参数，从而将模拟投影图像和所接收的术中图像之间的相似性最大化(或将差异性最小化)。即，采用优化问题计算位置和方位参数，将所有术中图像上的术前3d立体的每个2d/2.5d投影图像和对应的模拟2d/2.5d投影图像之间的总体相似性予以最大化(或最小化总体差异性)。根据本发明实施例，在术中图像和对应模拟投影图像中计算用于目标器官的相似性度量值。可以利用任意相似性或差异性度量值来执行该优化问题并且可利用优化算法来解决。例如，相似性度量值可以为互相关、交互信息、归一化互信息等，并且相似性度量值可以与几何拟合项组合，用于在目标器官几何结构基础之上将模拟2.5d深度数据拟合至所观察到的2.5d深度数据。如上所述，由安装至术中图像获取设备(例如，内窥镜/腹腔镜)的方位传感器提供术中图像相对于彼此的相关方位。这些相关方位用以约束该优化问题。尤其是，术中图像的相关方位约束了用于对应的所模拟投影图像而计算的方位参数集。此外，由于是2.5d度量值传感，因此，缩放比例为已知，从而在单位球面上进行位姿优化。进一步地，可基于术中图像获取中使用的已知手术方案的其他在前信息对优化进行约束，比如手术台的位置、手术台上患者的位置以及可能的相机方位的范围。

图2示出了将术前3d医学图像体中的模拟投影图像匹配至术中图像的实例。如图2所示，图像202表示产生于术前3d医学图像体内肝脏的多个模拟2d投影，其中，肝脏已分割；并且，图像204示出了腹腔镜图像内观察到的肝脏的2d投影。配准过程找到使目标器官的模拟投影最佳地匹配至每个所观察到的目标器官投影的位置和方位参数。

回到图1，在步骤108中，在手术治疗期间将术前3d医学图像体覆盖在术中图像之上。配准的结果就是一变换矩阵，该变换矩阵可应用于术前3d医学图像体，将术前3d医学图像体的投影映射至给定的术中图像。这使得术前3d医学图像体中的次表面信息以增强现实的方式覆盖在术中图像获取设备(例如，内窥镜或腹腔镜)的可视化信息之上。在优选实施例中，一旦执行配准，就会收到新的、术中图像序列的帧(视频)，并且，基于该配准将术前3d医学图像体中目标器官的投影覆盖在每一个新的帧上。在显示设备上显示包括术前3d医学图像体覆盖信息在内的每一帧，以指导手术治疗。当获取术中图像时，可实时执行覆盖，并且，可在显示设备上将所覆盖的图像显示为视频流。由于在此所描述的配准为刚性配准，因此，在一些实施方式中，可使用目标器官的生物力学模型来计算每一帧目标器官的非刚性变形。利用生物力学模型来计算非刚性变形将在2015年4月29日提交的题目为“通过解剖模型增强用于指导腹腔镜外科手术的系统和方法”的国际专利申请pct/us2015/28120号中作进一步的详细描述，该专利全部内容通过引用结合在本申请中。

图3示出了根据本发明实施例的、用于将目标解剖对象的3d术前医学图像体配准至目标解剖对象的术中图像的手术规划和配准的方法。图3的方法利用了可在计算机上实现的手术规划模块，例如手术室内的工作站。在步骤302，接收手术方案。利用手术规划模块，用户可指定与期望的术中相机视图对应的目标器官区域。例如，可在计算机显示器上示出目标器官的3d面显示，并为用户提供装置以通过用户输入设备(例如，鼠标和触摸屏)调节视角和选择所关注的结构特征。在术前3d医学图像体内，可根据目标器官的分割自动生成目标器官的3d面显示。此外，也可指明患者表面的预计腹腔镜入口端位置。在手术方案中，还可收集和记录其他相关术中位姿参数，如手术台上患者的位置。

在步骤304中，利用分割了的器官的生物力学模型模拟目标器官的变形。尤其是，可根据术前3d医学图像体中所分割的目标器官生成目标器官的3d网格，并且可采用生物力学模型使3d网格发生变形，以在手术方案给定的条件下模拟目标器官预期的组织运动。在手术方案条件下，基于器官组织的机械性能以及施加在目标器官上的力，采用生物力学模型计算3d网格各个点的位移。例如，这种力可能是由于手术治疗期间腹部的充气所产生的力。在一种可能的实施方式中，生物力学模型将目标器官建模成齐次线性弹性固体，其运动受弹性动力学方程所影响。该生物力学模型可以如2015年4月29日题目为“用于通过解剖模型增强来指导腹腔镜外科手术的系统和方法”的国际专利申请pct/us2015/28120号和题目为“术前图像的生物力学驱动配准到腹腔镜手术的术中3d图像”的国际公开文献wo2014/127321a2号所描述来实施，上述专利其全部内容通过引用结合在本申请中。

在步骤306中，利用模拟变形目标器官为手术方案生成模拟术中图像。基于手术方案条件如指定进行查看的器官部分、术中相机可能的方向范围以及腹腔镜进入点的位置，通过提取模拟变形目标器官的多个虚拟投影图像来生成模拟术中图像。在步骤308中，执行术前3d医学图像体至模拟术中图像的刚性配准。尤其是，可执行上述图1的方法，将术前3d医学图像配准至模拟术中图像，从而利用当前手术方案获取的术中图像来预测配准结果。

在步骤310中，计算预测的配准质量测量值。在一种可能的实施方式中，表面误差用来预测配准。尤其是，可以计算术前3d立体的模拟投影图像和从模拟变形目标器官中提取的模拟术中图像之间的总体表面误差。此外，在术中相机的视野内，也可计算用于当前手术方案的测量器官结构特征的范围和质量的其他度量值。在步骤312中，判断预测的配准质量是否充分。若判断预测的配准质量不令人满意，则执行步骤314；若判断预测的配准质量令人满意，则执行步骤316。在一种可能的实施方式中，可自动判断预测的配准质量是否充分，例如通过将预测配准质量测量值(例如，表面误差)与阈值进行比较。在另外一种可能的实施方式中，手术规划模块可向用户显示结果，并且用户可判定预测的配准质量是否充分。例如，可在显示设备上显示预测的配准质量测量值或多个预测的配准质量测量值以及生物力学仿真生成的变形的目标器官。除了向用户显示生物力学仿真结果以及对应的配准结果来指导规划过程外，手术规划模块也可以提供手术方案参数相关的建议，诸如安排端口和患者方位，以提高配准结果。

在步骤314中，若判断预测的配准质量不令人满意，则优化手术方案。例如，可通过自动调节参数，如安排端口和患者方位来优化手术方案，以提高配准结果，或者可通过用户经手术规划模块的用户输入来手动改变手术方案参数以优化手术方案。用户可通过手术规划模块手动改变手术方案参数，从而合并向用户提供的建议修改。然后，返回步骤304并且重复步骤304-312，以模拟器官的变形和预测用于优化手术方案的配准质量。

在步骤316中，当判断用于手术方案的预测配准质量充分时，利用手术方案进行有约束的刚性配准。如上所述，基于手术方案在前知识来进一步约束图1的配准方法。尤其是，一旦完成手术方案，就会利用手术方案来获取术中图像，图1的方法用于将术前3d医学图像体与所获取的术中图像以及手术方案参数进行配准，比如，手术台上患者位姿和用于腹腔镜图像的端口安排都将进一步约束配准。

图4示出了根据从手术方案获得的在前知识确定的示例性约束。如图4所示，根据手术方案获知手术台402的位置和患者404相对于手术台402的位姿。目标器官406的模拟变形以及模拟投影图像408(模拟术中图像)可提供角度限制以及与模拟投影图像408关于器官406和患者404的角度和深度的范围相关的深度限制410。

上述用于配准3d立体图像数据配准至术中图像以及用于手术规划以提高配准的方法可以在使用公知的计算机处理器、存储器单元、存储设备、计算机软件以及其他部件的计算机上实施。该计算机的高层次框图如图5所示。计算机502包含处理器504，该处理器通过执行定义该操作的计算机程序指令来控制计算机502的整体操作。计算机程序指令可以存储在存储设备512(例如，磁盘)中并且在期望执行计算机程序指令时加载到存储器510中。因此，用于执行图1和3的方法步骤可以由存储器510和/或存储部512中存储的计算机程序指令定义并且由执行计算机程序指令的处理器504控制。图像获取设备520，例如，腹腔镜、内窥镜、ct扫描仪、mr扫描仪、pet扫描仪等可连接至计算机502，以将图像数据输入计算机502中。图像获取设备520和计算机502还可以通过网络进行无线通信。计算机502还包括一个或多个网络接口506，用于经由网络与其他设备通信。计算机502还包括实现与计算机502的用户交互的其他输入/输出设备508(例如，显示器、键盘、鼠标、扬声器、按钮等)。该输入/输出设备508可结合计算机程序用作标注装置，来标注从图像获取设备520接收到的体。本领域技术人员将认识到，实际的计算机或计算机系统的实现可以具有其他部件，并且图5是用于说明目的的该计算机的一些部件的高层次表示。

前面的详细描述将被理解为在每个方面是说明性的和示例性的，而非限制性的，并且这里公开的本发明的范围并非根据该详细描述确定，而是根据基于专利法规所允许的整体范围所解释的权利要求来确定。应当理解的是，这里示出和描述的实施例仅是本发明的原理的说明，并且本领域技术人员在不偏离本发明的范围和精神的情况下可以实现各种修改。本领域技术人员可以在不偏离本发明的范围和精神的情况下实现各种其他特征组合。