将3d超声和2d x射线影像组合的实时场景建模的制作方法
【技术领域】
[0001]本发明涉及一种用于对在多模态成像环境中的图像材料进行可视化的装置、一种对在多模态成像环境中的图像材料进行可视化的方法、一种成像系统、一种计算机可读介质以及一种计算机程序产品。
【背景技术】
[0002]图像引导的医学流程，尤其是外科手术流程的一个挑战是有效地使用由患者在介入之前及期间可能已经经历了的许多成像技术提供的信息。
[0003]例如，在心脏病学中，医师常常访问由C型臂采集的实时X射线图像。这些图像有非常好的空间和时间准确性，从而使得能够精确跟踪甚至细的导管及其他介入工具的前进。然而，软组织在这些图像中几乎不可见，并且此外，这些图像是不给出对介入场景的体积几何结构的直接访问的投影。也为了获取对该重要信息的访问，一个解决方案包括使用第二成像模态，所述第二成像模态是3D的并且能够对软组织进行成像。
[0004]该第二成像系统的一个可能的选择是3D超声成像。该模态的优点是其在外科手术流程期间能够被实时使用。在心脏学流程中，经食管探头能够被导航为紧邻心脏，从而产生具有在标准经胸超声的情况下几乎不可见的解剖细节的实时体积图像。
[0005]典型的介入是经皮瓣膜修复(PVR)，如二尖瓣夹合，其中，X射线和超声的同时参与已经被发现有助于对工具/内镜置管关于软组织解剖结构的放置进行监测。
[0006]然而已经发现，例如在申请人的US WO 2011/070492中，当通常在巨大的压力下执行介入时，目前显示超声实时流和X射线实时流两者的常见方式对于操作者而言，经常不足以直观到容易地理解在两个模态之间的空间关系。
【发明内容】
[0007]因此可能存在对用于对超声图像和X射线图像两者的可视化的替代系统的需要。
[0008]本发明的目的由独立权利要求的主题来解决，其中，另外的实施例被并入在从属权利要求中。应当注意，下面描述的本发明的各方面同样应用于对多模态成像环境中的图像材料进行可视化的方法、成像系统、计算机程序单元以及计算机可读介质。
[0009]根据本发明的第一方面，提供了一种用于对多模态成像环境中的图像材料进行可视化的装置。
[0010]所述装置包括:
[0011]?输入端口，其用于接收:i)由超声探头采集的对象的超声图像数据集，以及ii)所述对象的X射线图像，所述X射线图像是通过将所述对象暴露于从X射线成像器的X射线源发出的辐射，由处于投影方向的平面中的X射线成像器探测器所采集的；
[0012].配准单元，其被配置为将所述超声图像数据集配准在针对所述X射线成像器以及所述超声探头两者的公共坐标框架中；
[0013].图形显示生成器，其被配置为在屏幕上生成在用户能够选择的视图处的3D场景的图形显示，所述图形显示在针对所述X射线成像器和所述超声探头两者的所述公共坐标框架中给予对以下的表示:i)(在用户能够选择的视图处的)所述超声图像数据集的3D投影，以及ii)探测器平面中的所述X射线图像的透视3D视图，所述透视3D视图对应于所述X射线投影方向(例如，由X射线成像器的X射线源的在空间中的位置所定义)以及用户选择的视图，所述生成器被配置为根据并且响应于在所述3D场景上的用户选择的第二视图来更新所述3D场景。
[0014]换言之，根据一个实施例，所述装置操作以实现对所述3D场景的建模，所述建模是基于所述两幅图像(超声图像数据集以及X射线帧)并且基于几何信息的，所述几何信息对应于两者采集方式，并且对应于从图像对计算的将两者采集方式空间“链接”的配准变换。这造成给予人类观察者对在两个模态之间的空间关系的单个并且自然的观看的图形显不O
[0015]所述装置与先前多模态图像观察器非常不同地操作，在所述先前多模态图像观察器中，图像仅仅示出在多格窗口中，每个模态一个格，使得成像模态之间的空间关系本身并不自然地呈现到用户。
[0016]用户选择的视图能够被认为是3D空间中的“相机”，其操作以捕获由3D空间中的两个成像模态形成的组合的场景。所述视图由以下定义:i)在公共参考框架中的位置；ii)具有观察取向的观察方向；以及iii)从所述位置沿所述方向延伸的立体角。可以按用户请求根据先前视图通过诸如平移、旋转或扩大(减小)的修改或者这些修改的组合来得到所述第二视图。在3D场景上的用户选择的视图给予尤其是在所述超声图像数据集上的所述视图，以及在其平面中的所述X射线帧。
[0017]根据一个实施例，所述生成器被配置为响应于减小请求，生成所述3D场景的缩小的版本，从而将所述成像器的SID(源到图像接收器距离)的长度容纳在所述3D场景的该版本中，其中，视觉标记物指示所述X射线源相对于在所述3D场景上的、尤其是在其平面中的所述X射线帧上和在所述超声体积上的、用户选择的视图处的所述探测器平面中的所述X射线图像的位置。
[0018]换言之，在选择了正确的缩放之后，所述组合的场景被建模为图形显示，因此包括所述X射线源位置、在所选择的视图下的超声图像集的3D绘制以及在透视中看到的对应的X射线平面，在所述平面上，2D X射线图像被投影并且可能由于因为透视扭曲而变形。用户能够利用两个模态的各自的成像几何结构立刻视觉理解它们在所述两个模态的3D空间中的总体布置。
[0019]根据一个实施例，所述生成器被配置为响应于用户指明在所述X射线图像中的感兴趣点，生成视线，所述视线从所述感兴趣点延伸穿过所述3D场景上的所选择的视图中的所述超声图像数据，并且延伸到所述X射线源的所述位置。所述生成器操作以生成标记物，从而视觉指明在所述线上的对应的点，并且其中，所述线与所述3D场景上的所选择的视图中的所述超声图像数据相交。
[0020]根据一个实施例，所述生成器被配置为响应于用户指明在所述3D场景上的所选择的视图中的所述超声图像数据集中的感兴趣点，而生成视线，所述视线从所述感兴趣点延伸到所述X射线源的所述位置，并且延伸到在所述X射线图像中并在所述线上的与所述X射线图像相交处的对应的点。所述生成器操作以生成标记物，以视觉指明在所述X射线图像中的所述对应的点。
[0021 ] 所述视线通过连接所述X射线源的所述位置与所述X射线图像(表示所述探测器平面)中的所述点来几何地产生，所述X射线图像中的所述点是所述超声图像数据中的所述点的投影(根据当前X射线采集几何结构)。
[0022]在一个实施例中，所述装置给予允许所述用户手动地调节沿所述线并且在所述超声图像数据集中的标记物的位置的另外的功能。在一个实施例中，基于在所述各自的标记物的各自的近邻中的图像内容(在所述X射线图像和所述超声图像数据中)的相似度代替地使用自动调节算法。
[0023]解剖标志或者医学设备(导管或导丝)能够由用户这样指明并且然后在一个或两个模态中被追踪，其中，所述视线自然地链接在所述3D场景内的相同对象/点的两个指明。感兴趣点也可以通过统计推断自动地被检测。
[0024]根据一个实施例，所述超声图像是在超声图像数据集流中的超声图像，并且其中，所述X射线图像是X射线图像流中的X射线图像，所述两个图像流被配准在所述公共参考系中，所述生成器包括追踪器，以随时间在所述X射线图像流中或在所述超声图像数据集流中追踪所述感兴趣点，所述生成器被配置为重新生成在所述流中的各自的超声图像数据集上的所选择的视图中的或在所述流中的各自的X射线图像中的所述对应的点，并且所述生成器被配置为响应于所述X射线源的位置或所述超声探头的位置的改变而调整所述视线。
[0025]根据一个实施例，所述图形显示是交互式图形显示并且被配置为接收所述用户选择的第一视图或第二视图或者缩小请求。尤其地并且根据一个实施例，所述屏幕是触摸屏，并且包括所述减小请求的对所述视图的所述用户选择是通过在所述屏幕上的手动触摸或滑动动作进行的。根据另一个实施例，包括所述减小请求的对所述视图的所述用户选择是通过致动键盘上的键或通过致动指针工具进行的，所述键盘或指针工具通信性耦合到所述
目.ο
[0026]由3D超声装备采集如本文所设想的所述超声图像数据集，因此形成3D图像体积。然而，所述装置也可以与2D超声成像器一起使用，其中，代替地产生2D切片的序列。然后通过将在其各自的图像平面中的两幅2D图像(所述X射线投影图像和所述2D超声切片)融合为3D透视视图，来形成所述3D场景，其中，所述2D图像中的一幅或两者可能由于透视扭曲而变形。
【附图说明】
[0027]现在将参考附图描述本发明的示范性实施例，其中:
[0028]图1示出了用于图像引导的介入支持的多模态成像布置；
[0029]图2是图1的布置中的成像几何结构的示意性特写；
[0030]图3是图形用户界面的不意性表不;
[0031]图4是图形用户界面的另外的不意性表不；
[0032]图5是针对对多模态图像材料进行可视化的方法的流程图。
【具体实施方式】
[0033]参考图1，示出了用于对诸如二尖瓣夹合的微创介入的多模态图像引导的支持的布置。
[0034]大体上，所述布置包括X射线成像器100、检查台TBL以及超声成像装备USD。特别地，所述布置允许从超声成像器和X射线成像器两者采集图像。如下面将更详细地解释的，所述两个图像流以这样的方式被组合:如用户期望地利用针对相关解剖信息的两个流中的最适合的一个。
[0035]在介入期间，患者PAT被设置于检查台TBL上。诸如导丝GW的医学设备通过进入点被引入到患者的身体中，并且介入放射医师面临对所述导丝进行导航使其通过患者的脉管系统