多成像模态导航系统的制作方法
【专利摘要】一种方法包括：获得针对感兴趣体积的第一3D成像数据。所述第一3D成像数据包括结构成像数据和感兴趣目标组织。所述方法还包括获得2D成像数据。所述2D成像数据包括针对感兴趣体积的平面的结构成像数据。所述平面包括一组基准标记中的至少三个基准标记。所述方法还包括通过将所述至少三个基准标记与在所述第一3D成像数据中识别出的对应基准标记进行匹配并使用映射图，在所述第一3D成像数据中定位对应于所述2D成像数据的所述平面的平面，包括位置和取向。所述方法还包括视觉显示所述第一3D成像数据，其中所述2D成像数据在所述第一3D成像数据中定位的对应平面处被叠加。
【专利说明】
多成像模态导航系统
技术领域
[0001]以下总体上涉及成像，并由其适用于多成像模态导航系统。
【背景技术】
[0002]超声成像系统包括将超声射束发射到检查视野的换能器阵列。当射束贯穿视野中的(例如，物体或对象的子部分的)结构时，射束的子部分从所述结构处衰减、散射和/或反射，其中一些反射(回波)贯穿返回换能器阵列。换能器阵列接收回波，所述回波被处理以生成物体或对象的子部分的图像。所述图像被视觉显示。
[0003]超声成像在医学和非医学应用中得到广泛使用。医学应用的例子是超声引导活检。通常，活检是一种移除感兴趣组织(例如，前列腺、肺、乳房等)的小样本以供后续检查例如癌细胞的异常的过程。对于活检，将针插入通过皮肤并前进到进行采样的目标组织。通常响应于发现肿块、组织的异常物理增大等来执行活检。
[0004]通过超声引导活检，超声用于帮助医生将针定位和/或导航到感兴趣组织。在Pelissier等人于2010年5月6日提交的、序列号为12/775，403、题目为“FreehandUltrasound Imaging Systems and Method for Guiding Find Elongate Instruments”中描述了一种非限制性的方法，所述文献通过引用全文合并于此。在‘403中，电磁传感器被附接到超声探头和针仪器上，并与监视其位置和取向的位置跟踪系统通信。
[0005]在‘403中，将换能器探头抵靠患者放置，并采集2D数据。根据探头上的跟踪传感器来确定探头(以及针仪器附接到探头处的针)相对超声图像的位置。在‘403中，当针仪器没有附接到探头上时，一旦目标组织被定位，则根据针仪器上的跟踪传感器来确定针相对于超声图像的位置。两个场景都允许医生确定探头和/或针在3D空间中的位置。
[0006]通过另一方法，来自第二模态的结构3D体积图像数据也用于进行引导。MRI系统通常能够捕获富有内部结构和特征的高分辨率的3D数据。相比之下，超声能够以能支持实时交互的高采集率来捕获低分辨率到中高分辨率的二维和三维数据集。对于该方法，在活检之前采集3D MRI图像数据。然后，在活检期间，将2D超声数据与3D MRI数据融合。
[0007]这已经包括分割以描述不同组织类型，之后将2D US数据和3D MRI数据进行配准。由这两种模态产生的数据集的规模和结构通常由于模态所捕获的不同物理信息而非常不同，需要初始“正规化”过程来重新映射数据集的一个或两者，从而使其尽可能接近结构上可比的空间。融合数据和跟踪系统用于将探头引导到根据结构图像数据识别出的目标组织。
[0008]不幸的是，基于机电传感器的跟踪系统通常需要昂贵的设备和手动过程，以便提取关于恶性肿瘤的存在和程度的关键信息。甚至最新的基于超声和MRI融合的系统需要昂贵的基于硬件的跟踪技术。此外，由于对相关性和跟踪的不确定性，医生目前在目标组织和周围组织中获取比绝对必要多的样本。这会导致增加的过程时间和患者不适。
【发明内容】
[0009]本申请的各方面解决了上述和其它问题。
[0010]在一个方面，一种方法包括:获得针对感兴趣体积的第一3D成像数据。所述第一 3D成像数据包括结构成像数据和感兴趣目标组织。所述方法还包括获得2D成像数据。所述2D成像数据包括针对感兴趣体积的平面的结构成像数据。所述平面包括一组基准标记中的至少三个基准标记。所述方法还包括:通过将所述至少三个基准标记与在所述第一 3D成像数据中识别出的对应基准标记进行匹配并使用映射图，在所述第一3D成像数据中定位对应于所述2D成像数据的所述平面的平面，包括位置和方向。所述方法还包括:视觉显示所述第一3D成像数据，其中所述2D成像数据在所述第一 3D成像数据中定位的对应平面处被叠加。
[0011]在另一方面，一种多模态导航系统，包括:成像数据处理器，其处理3D体积非US成像数据或3D体积US成像数据中的至少一个，产生第一图像数据和第二图像数据中的至少一个，其中，在3D体积非US成像数据和3D体积US成像数据中的至少一个中表示的结构被视觉增强。所述多模态导航系统还包括:3D US成像数据到3D非US成像数据映射生成器，其融合所述3D体积非US成像数据和所述3D体积US成像数据中经处理的至少一个，并基于经融合的所述3D体积非US成像数据和所述3D体积US成像数据中经处理的至少一个，在其间生成映射。所述映射还将在所述3D体积非US成像数据中识别出的标记映射到3D US成像数据。所述映射还将在所述3D体积非US成像数据中识别出的目标组织映射到3D US成像数据。所述多模态导航系统还包括:2D US成像数据到3D非US成像数据组合器，其将2D US成像数据与所述3D非US成像数据进行组合。所述组合器基于所述映射和标记将2D US成像数据放置在3D非US成像数据中对应于相同平面的位置和取向处。所述多模态导航系统还包括显示器，其同时显示经组合的3D非US成像数据和2D US成像数据。
[0012]在另一方面，一种编码有计算机可执行指令的计算机可读存储介质，当被处理器执行时，所述计算机可执行指令令所述处理器:基于US 3D成像数据与非US 3D成像数据之间的映射以及表示在所述US 3D成像数据和所述非US 3D成像二者中视觉呈现的结构的一组基准以及当前US 2D成像数据来跟踪US探头相对所述非US 3D成像数据的位置。所述计算机可执行指令在被处理器执行时，还令处理器:至少基于映射来建议所述US探头从所述US探头的当前位置到感兴趣目标组织的路径。
[0013]本领域技术人员在阅读和理解所附说明书时可以想到本申请的其它方面。
【附图说明】
[0014]通过例子示出了本申请，且本申请不限制于附图中的图，在附图中相同的附图标记表示类似的元件，其中:
[0015]图1示意性图示了示例性多模态导航系统；
[0016]图2示意性图示了图1的多模态导航系统的示例性成像数据处理器、3DUS成像数据到3D非US成像数据映射生成器、以及2D US成像数据到3D非US成像数据组合器；
[0017]图3示意性图示了具有被附接到其US探头上的仪器导航引导件的示例性US成像系统；
[0018]图4示意性图示了具有被附接到其外部的仪器导航引导件的示例性手持US成像系统；以及
[0019]图5示意性图示了具有集成的仪器导航引导件的示例性手持US成像系统；以及
[0020]图6图示了用于多模态导航的示例性方法。
【具体实施方式】
[0021]后文描述了一种用于在对利用US成像探头采集的2D成像数据和感兴趣体积的先前采集的3D成像数据的成像过程期间基于在2D成像数据和3D成像数据二者中视觉呈现的一组基准标记来跟踪US成像探头相对感兴趣体积的位置的方法。后文还描述了用于建议探头的移动以移动探头使得感兴趣目标组织处于探头的视野中的方法。
[0022]例如，该方法结合例如前列腺的活检的应用便于定位感兴趣目标组织。在一个实例中，在不使用任何外部跟踪系统(例如，机电传感器)和/或从2D成像数据和/或3D成像数据中分割组织的情况下实现跟踪和/或移动。这样，本文描述的方法能够减轻基于硬件的跟踪，提供优异且更快速的位置识别，并减少整体过程成本和过程时间。
[0023]图1示意性图示了与两个或更多个成像系统102连接的示例性多模态导航系统100。图示的多模态导航系统100从两个或更多个成像系统102接收成像数据。在图示的例子中，所述两个或更多个成像系统102包括至少一个非US成像系统104和US成像系统106。
[0024]至少一个非US成像系统104生成3D结构成像数据。如本文所使用的，术语“结构成像数据”指的是包括具有对应于扫描结构(例如，器官、骨骼、肿瘤等)的值的体素的成像数据，这与其体素表示功能(例如，新陈代谢变化、造影剂吸收/分散等)的功能成像数据相反。
[0025]非US成像系统104例如是MRI成像系统、CT成像系统等。在变型中，从数据储存库获得非US 3D成像数据，所述数据储存库例如是放射信息系统(RIS)、医院信息系统(HIS)、电子医学记录(EMR)和/或其它数据储存库。此外，非US 3D成像数据可以包括来自多于一个成像系统的3D成像数据。
[0026]US成像系统106生成3D和2D结构US成像数据。US成像数据通常具有比非US成像数据低的分辨率。在生成初始3D成像数据以及之后后续2D成像数据或者后续2D成像数据和后续3D成像数据的过程期间，采用US成像系统106。对于后者，例如，这可以包括在预定数量的2D US成像数据帧之后生成3D US成像数据。利用前列腺活检过程，当用户引导探头到目标位置进行采样时，以固定时间间隔(例如，几分之一秒)采集2D US成像数据。
[0027]多模态导航系统100包括成像数据处理器108。成像数据处理器108处理非US3D成像数据和/或US 3D成像数据。如下文更详细描述的，在一个实例中，这种处理包括视觉增强在非US 3D成像数据和/或US 3D成像数据中表示的解剖结构，绘制比在处理前结构上更类似的图像数据集。
[0028]多模态导航系统100还包括3DUS成像数据到3D非US成像数据映射生成器IlOdDUS成像数据到3D非US成像数据映射生成器110生成3D US成像数据与3D非US成像数据之间的映射。如下文更详细描述的，所述映射基于增强结构和在3D非US成像数据中识别出的一组初始基准标记。所述基准标记可以包括解剖基准标记、组织基准标记和/或基准标记。
[0029]所述映射允许在3D非US成像数据中识别出的一个或多个目标组织被定位在3DUS成像数据中。所述映射还允许所述一组初始基准标记被定位在3D US成像数据中。一旦映射，就能够识别出对应于在两类成像数据(低、中和高分辨率)中视觉呈现的结构的一个或多个额外基准标记。手动或半自动识别初始和/或额外的基准标记。
[0030]多模态导航系统100还包括2DUS成像数据到3D非US成像数据组合器112。该组合器112将当前2D US成像数据与非US 3D成像数据进行组合。如下文更详细描述的，这包括将2D US成像数据的基准标记与非US 3D成像数据中的基准标记进行匹配，其使得当前2D US成像数据与在非US 3D成像数据中的平面和取向匹配。
[0031]多模态导航系统100还包括路径建议器114，其根据US探头的当前位置来建议将US探头放置到目标组织(或其它识别出的组织)将处于US探头的视野中的目标组织位置处的路径。在根据导出例如其间的US探头的速度、加速度、方向等的信息基于(存储于存储器116中的)一个或多个采集帧的期间采集到的2D US成像数据，来建议所述路径。
[0032]多模态导航系统100还包括显示器118。在一个实例中，显示3D非US成像数据，其中，当前2D US图像数据被叠加到其上。这允许用户视觉看到当前US探头相对在非US成像数据中识别出的感兴趣目标组织被定位在何处。同时绘制字母数字和/或图形标识以在视觉上示出建议的路径，包括预测的方向、平移和/或旋转探头以定位探头从而目标组织处于视野内。
[0033]多模态导航系统100允许经由软件跟踪US探头相对目标组织和3D非US成像数据的位置，而没有被附接到US探头上的任何机电跟踪传感器。额外地，图像数据处理和基准标记减轻了将目标组织分割为可辨别的斑点(blob)或组织以及配准所述斑点的必要。此外，多模态导航系统100允许预测US探头在较少的时间内以更高的置信度到达目标组织的路径。
[0034]可以理解的是，可以经由一个或多个计算机处理器(例如，中央处理单元(CPU)、微处理器、控制器等)实现多模态导航系统100，所述计算机处理器执行嵌入或编码到计算机可读存储介质(不包括瞬态介质，例如物理存储器)上的一个或多个计算机可执行指令。然而，备选地，能够通过载波、信号和其它瞬态介质携带计算机可执行指令中的至少一个，并经由一个或多个计算机处理器来实现。
[0035]图2示意性图示了3D成像数据处理器108、3DUS成像数据到3D非US成像数据映射生成器110、以及2D US成像数据到3D非US成像数据组合器112的例子。如本文所讨论的，3D成像数据处理器108处理3D非US成像数据和/或3D US成像数据。在该例子中，3D成像数据处理器108处理3D非US成像数据和3D US成像数据。
[0036]3D成像数据处理器108包括非US 3D成像数据处理器202。非US 3D成像数据处理器202包括结构增强器204。该结构增强器204在视觉上增强某些结构特性，例如组织边缘、诸如组织的结构之间的边界等。例如，这能够通过应用梯度算子、缩放体素值的幅度等来实现。非US 3D成像数据处理器102能够包括额外的或备选的处理部件。
[0037]3D成像数据处理器108还包括US 3D成像数据处理器206 JS 3D成像数据处理器206包括结构增强器208和图像数据重映射器210。例如通过移除散斑(speckle)、应用梯度算子、缩放体素值的幅度等，结构增强器208在视觉上增强了某些结构特性，例如，组织的边缘、组织之间的边界等。
[0038]图像数据重映射器210将US3D成像数据缩放到非US 3D成像数据的大小，并缩放幅度，使得非US 3D成像数据和US 3D成像数据中的每个的总幅度是近似相同的幅度。类似于非US 3D成像数据处理器202，US 3D成像数据处理器206能够包括额外的或备选的处理部件。
[0039]通过例子，在一个实例中，通过对US 3D成像数据去除散斑、应用梯度以发现组织边缘、重新缩放US 3D成像数据和/或非US 3D成像数据(例如，从而US 3D成像数据的大小和非US 3D成像数据的大小近似相同)、并重新缩放US 3D成像数据的和/或非US 3D成像数据的强度(例如，从而非US 3D成像数据的总强度和非US 3D成像数据的强度匹配)，US 3D成像数据处理器206增强US 3D成像数据中的结构。这种处理将US 3D成像数据转换为更类似于非US 3D成像数据的3D参考系。
[0040]3D US成像数据到3D非US成像数据映射生成器110包括目标组织识别器212。目标组织识别器212允许用户识别非US 3D成像数据中的感兴趣目标组织。这可以包括向用户提供用于以下的工具:允许用户手动跟踪目标组织，在目标组织中设置种子点并随后调用自动提取，通过名字选择组织并调用自动提取等。
[0041 ] 3D US成像数据到3D非US成像数据映射生成器110还包括初始基准识别器214，初始基准识别器识别非US 3D成像数据中的一组初始基准标记。用户可以经由用户输入手动设置一个或多个基准标记。额外地或备选地，用户可以经由用户输入自动设置并且改变、确认和/或拒绝一个或多个基准标记。
[0042]3D US成像数据到3D非US成像数据映射生成器110还包括成像数据融合器216。成像数据融合器216将非US 3D成像数据和US 3D成像数据融合到一起。
[0043]3D US成像数据到3D非US成像数据映射生成器110还包括映射部件218。基于增强结构和一组初始基准标记，映射部件218生成融合的非US 3D成像数据和US 3D成像数据之间的映射图或映射。所述映射图允许US 3D成像数据中的任意位置被映射到非US 3D成像数据。映射图还允许目标组织和/或一个或多个基准标记被定位在US 3D成像数据中。
[0044]3D US成像数据到3D非US成像数据映射生成器110还包括后续基准识别器220。后续基准识别器220允许用户识别一个或多个额外的基准标记。类似地，用户能够经由用户输入手动和/或自动地设置一个或多个基准标记，并且用户能够经由用户输入改变、确认和/或拒绝所述一个或多个基准标记。
[0045]2D US成像数据到非US 3D成像数据组合器112包括数据匹配器222。数据匹配器222基于基准标记将当前2D US成像数据与非US 3D成像数据进行匹配。采集当前2D US成像数据，从而其包括基准标记中的至少三个。数据匹配器222基于所述至少三个基准标记将2DUS成像数据的位置和取向映射到非US 3D成像数据的平面上。
[0046]一般而言，至少三个共面基准标记被用于将2D US成像数据与3D非US成像数据中的平面进行匹配。然而，也可以使用多于三个的共面解剖基准标记。使用多于三个的共面解剖基准标记可以减轻由于组织变形而引起的误差，所述组织变形可以移动2D US成像数据中的基准标记，从而所述基准标记不再与3D非US成像数据中的对应基准标记对齐。
[0047]使用多于三个的共面基准标记还可以改善拟合的分辨率。额外的基准标记也可以是共面的。然而，也可以使用在3D非US成像数据中但是相对2D US成像数据在平面外部的基准标记。可以使用最小二乘法或其它方法将2D US成像数据拟合到3D非US成像数据。在一个实例中，所述拟合优化成像数据集之间的相关性。
[0048]当采集3DUS成像数据时，2D US成像数据到非US 3D成像数据组合器112采用类似的方法来将3D US成像数据映射到3D非US成像数据中的对应的位置和取向。3D非US成像数据与2D US成像数据同时显示在非US 3D成像数据中的确定的位置和取向处。建议路径是如上所述确定的，并被同时显示。
[0049]图3图示了US成像系统106的例子。在该例子中，US成像系统106包括控制台302和与其接口分开的US换能器探头304。
[0050]超声换能器探头304包括具有多个换能器元件306的换能器阵列。换能器阵列能够是线性的、弯曲的和/或其它形状的、完全填满的、稀疏的和/或其组合等。换能器元件306能够以2D和/或3D模式操作。换能器元件306发射超声信号并接收回波信号。
[0051]仪器引导件308(例如，活检针引导件)通过耦合件310(例如，支架、夹子等)被附接到US换能器探头304。在一个实例中，在仪器引导件308中缩回位置处支撑活检针，直到如本文所描述的感兴趣目标组织通过US换能器探头304被定位。然后，针前进以采集感兴趣目标组织的样本。
[0052]发射电路312选择性地启动或激发换能器元件306中的一个或多个。更具体地，发射电路312生成被传送到换能器元件306的一组脉冲(或脉冲信号)。所述一组脉冲启动一组换能器元件306，使得换能器元件306将超声信号发射到检查或扫描视野。
[0053]接收电路314接收响应于发射的超声信号而生成的一组回波(或回波信号)。回波通常是发出的超声信号与扫描视野中的物体(例如，流动血细胞、器官细胞等)之间的相互作用的结果。接收电路314可以被配置用于空间组合、滤波(例如，FIR和/或IIR)和/或其它回波处理。
[0054]射束形成器316处理接收到的回波。在B模式中，这包括向回波应用时间延迟和权重，并对延迟的和加权的回波进行求和。扫描变换器318例如通过将射束变形的数据变换为用于视觉呈现结果数据的显示器或显示区域的坐标系，来扫描变换数据以供显示。
[0055]用户接口(UI)320包括一个或多个输入设备(例如，按钮、把手、滑动器等，触摸屏和/或物理机械设备)和/或一个或多个输出设备(例如，液晶显示器、发光二极管等)，其允许与系统106进行交互。显示器322视觉显示US成像数据。
[0056]控制器324控制系统106的各种部件。例如，这种控制可以包括启动或激发换能器阵列202的单个换能器元件或换能器元件组用于A模式、B模式、C平面和/或其它数据采集模式，操纵和/或聚焦发射的信号等，启动换能器元件306用于操纵和/或聚焦接收到的回波等。
[0057]US探头304和显示器322是相对控制台302的物理分离的机电部件。US探头304和显示器322与控制台302通过通信路径326和328进行通信。通信路径326和328可以是有线(例如，物理电缆和连接器)和/或无线的。
[0058]图4图示了US成像系统106的变型。在该例子中，控制台302包括单个壳体402。单个壳体402容纳并物理上支撑换能器元件306、仪器引导件308、发射电路312、接收电路314、射束形成器316、扫描变换器318和控制器324，其所有都在单个壳体402内部。
[0059]用户接口320和/或显示器322是壳体402的一部分。例如，在一个实例中，显示器322是壳体402的一侧的子部分。用户接口 320可以包括壳体402的其他位置处的物理机械控制件。超声窗口404也是控制台200的一部分或与其集成。在该实例中，换能器元件204被放置在壳体402中超声窗口 404的后方，并通过其发出信号并接收回波。
[0060]在图4中，US成像系统106是手持超声装置，其使用例如来自电源(如电池、电容器等)的内置功率来对其中的部件供电，和/或来自外部电源的功率。手持设备的例子在Walker等人于2003年3月6日提交的、题目为“Intuitive Ultrasonic Imaging System andRelated Method Thereof”的US 7,699,776中描述，其通过引用被并入到本文。[0061 ]具有内部仪器引导件的手持超声装置的例子在O’Conner于2011年I月31日提交的、题目为“U1 trasound imaging apparatus”的、序列号为13/017,344中描述，并且具有外部仪器引导件的例子则在Pelissier于2008年8月7日提交的、题目为“Hand-HeldUltrasound System having Sterile Enclosure” 的美国8，226，562中描述，这两篇文献都通过引用被并入到本文。
[0062]图5图示了图4的变型，其中仪器引导件308被放置在单个壳体402外部，并通过耦合件310被附接到壳体402上。
[0063]尽管本文描述的方法不需要使用外部跟踪系统和/或机电传感器，但是外部跟踪系统和/或机电传感器可以结合本文描述的方法一起使用。例如，当仪器引导件不是成像系统106的一部分或被附接到其上时，被附接到仪器的机电传感器可以被配准到3D非US成像数据坐标系并用于跟踪仪器。
[0064]图6图示了用于将US探头导航到感兴趣目标组织的方法。
[0065]注意，后续动作的顺序是出于解释性的目的而非限制性的。这样，可以以不同的顺序执行一个或多个动作，包括但不限于同时。此外，可以省略一个或多个动作和/或添加一个或多个其它动作。
[0066]在602处，执行感兴趣体积的3D体积结构扫描，生成3D体积结构成像数据。
[0067]在604处，处理所述3D体积结构成像数据以视觉增强在此处表示的结构(例如，边缘、边界等)。
[0068]在606处，在视觉增强的3D体积结构成像数据中识别一个或多个感兴趣目标组织和一组初始基准标记。
[0069]在608处，执行感兴趣体积的3D体积US扫描，生成3D体积US成像数据。
[0070]在610处，处理3D US体积结构成像数据以视觉增强在此处表示的结构(例如，边缘、边界等)。
[0071]在612处，融合视觉增强的非US体积结构成像数据和US体积结构成像数据。
[0072]在614处，生成在经融合的视觉增强的非US体积结构成像数据与US体积结构成像数据之间的映射。
[0073]在616处，在经融合的成像数据的3D非US成像数据中识别额外的基准标记。
[0074]在618处，利用US探头执行体积的平面的2DUS扫描，生成2D US成像数据。如本文所讨论的，扫描的平面包括至少三个共面基准标记。
[0075]在620处，基于所述基准标记，2DUS平面与3D体积结构成像数据中的对应的2D平面匹配。
[0076]在622处，显示3D体积结构成像数据，其中，2DUS平面在对应的2D平面的位置处被叠加到其上。
[0077]在624处，基于在过程期间先前执行的2DUS扫描，确定从US探头的当前位置到目标组织的路径。
[0078]在626处，在所显示的3D体积结构成像数据上同时叠加指示路径的标识。
[0079]在628处，确定目标组织是否在US探头的视野中。
[0080]如果目标组织不在US探头的视野内，则在630处，基于建议的路径移动US探头，并重复动作618至628。[0081 ] 如果目标组织在US探头的视野内，则在632处，对目标组织进行活检。
[0082]在634处，确定是否存在需要活检的其它目标组织。
[0083]如果存在需要活检的其它组织，则重复动作618至632。
[0084]如果不存在需要活检的其它组织，则在636处，完成过程，和/或不再使用多成像模态导航系统100。
[0085]可以通过在计算机可读存储介质上编码或嵌入的计算机可读指令实现上述内容，当被计算机处理器执行时，所述计算机可读指令令处理器执行所描述的动作。额外地或备选地，通过信号、载波或其它瞬态介质携带计算机可读指令中的至少一个。
[0086]已经通过各种实施例描述了本申请。当阅读本申请时，他人可以想到修改和变型。本发明意图被解释为包括所有这种修改和变型，包括只要它们落入到随附权利要求及其等价物的范围内。
【主权项】
1.一种方法，包括: 获得针对感兴趣体积的第一3D成像数据，其中，所述第一3D成像数据包括结构成像数据和感兴趣目标组织； 获得2D成像数据，其中，所述2D成像数据包括针对所述感兴趣体积的平面的结构成像数据，其中，所述平面包括一组基准标记中的至少三个基准标记； 通过将所述至少三个基准标记与在所述第一 3D成像数据中识别出的对应的基准标记进行匹配并使用映射图，在所述第一3D成像数据中定位对应于所述2D成像数据的所述平面的平面，包括位置和取向；并且 视觉显示所述第一3D成像数据，其中，所述2D成像数据在所述第一3D成像数据中定位的对应平面处被叠加。2.根据权利要求1所述的方法，还包括: 获得针对所述感兴趣体积的第二3D成像数据，其中，所述第二3D成像数据包括结构成像数据和所述感兴趣目标组织，其中，所述第一成像数据和第二成像数据对应于不同的成像模态;并且 基于在所述第一 3D成像数据中识别出的所述一组基准标记来生成所述第一 3D成像数据的体素与所述第二3D成像数据的体素之间的所述映射图，其中，所述映射图提供所述一组基准标记和所述目标组织到所述第二 3D成像数据中的对应位置的映射。3.根据权利要求1至2中的任一项所述的方法，其中，所述至少三个基准标记包括在所述第一 3D成像数据和所述第二 3D成像数据二者中视觉呈现的结构。4.根据权利要求3所述的方法，其中，所述结构包括组织的边缘或者两个不同组织之间的边界。5.根据权利要求1至4中的任一项所述的方法，还包括: 视觉增强所述第一 3D成像数据中的结构； 在视觉增强的第一 3D成像数据中识别所述目标组织;并且 在所述视觉增强的第一 3D成像数据中识别一组解剖基准标记。6.根据权利要求5所述的方法，其中，所述结构是通过应用梯度缩放或幅度缩放中的一个或多个来视觉增强的。7.根据权利要求4至5中的任一项所述的方法，还包括: 视觉增强所述第二 3D成像数据中的结构。8.根据权利要求7所述的方法，其中，所述结构是通过以下中的至少一个来视觉增强的:从所述第二3D成像数据中移除散斑，或应用梯度缩放或幅度缩放中的一个或多个。9.根据权利要求7至8中的任一项所述的方法，还包括: 将所述第一 3D成像数据或所述第二 3D成像数据中的至少一个的大小缩放为近似等于所述第二 3D成像数据或所述第一 3D成像数据中的至少一个的大小。10.根据权利要求7至8中的任一项所述的方法，还包括: 缩放所述第一 3D成像数据的和所述第二 3D成像数据的每个体素的强度值，使得所述第一 3D成像数据的和所述第二 3D成像数据的总体强度近似相等。11.根据权利要求1至10中的任一项所述的方法，其中，利用具有视野的US探头来采集所述2D成像数据，并且所述方法还包括: 确定针对所述US探头的路径，所述路径被预测为将所述US探头从所述第一 3D成像数据中的当前位置移动到所述目标组织处于所述US探头的所述视野中的位置，其中，所述路径基于在采集所述2D成像数据之前预定数量的采集帧中采集到的2D成像数据。12.根据权利要求11所述的方法，其中，所述路径基于以下中的一个或多个:在帧之间所述US探头的移动的位置、速度、加速度或方向。13.根据权利要求11所述的方法，还包括: 视觉显示示出被叠加到所显示的第一3D成像数据上的路径的标识，其中，所述标识示出预测的平移和旋转。14.根据权利要求2至13中的任一项所述的方法，其中，所述第一3D成像数据具有第一图像分辨率，并且所述第二 3D成像数据具有第二图像分辨率，并且所述第一图像分辨率大于所述第二图像分辨率。15.根据权利要求2至13中的任一项所述的方法，其中，以第一成像模态生成所述第一3D成像数据，并且以第二成像模态生成所述第二3D成像数据，其中，所述第一成像模态是MRI或CT中的一个，并且所述第二成像模态是US。16.—种多模态导航系统(100)，包括: 成像数据处理器(108)，其处理3D体积非US成像数据或3D体积US成像数据中的至少一个，从而产生第一图像数据和第二图像数据中的至少一个，其中，在3D体积非US成像数据和所述3D体积US成像数据中的所述至少一个中表示的结构被视觉增强； 3D US成像数据到3D非US成像数据映射生成器(110)，其融合所述3D体积非US成像数据和所述3D体积US成像数据中的经处理的至少一个，并基于经融合的所述3D体积非US成像数据和所述3D体积US成像数据中的经处理的至少一个，在其间生成映射； 其中，所述映射还包括将在所述3D体积非US成像数据中识别出的标记映射到所述3DUS成像数据，并且其中，所述映射还将在所述3D体积非US成像数据中识别出的目标组织映射到所述3D US成像数据； 2D US成像数据到3D非US成像数据组合器(116)，其将2D US成像数据与所述3D非US成像数据进行组合，其中，所述组合器基于所述映射和所述标记将所述2D US成像数据放置在所述3D非US成像数据中对应于相同平面的位置和取向处；以及 显示器(118)，其同时显示经组合的3D非US成像数据和所述2D US成像数据。17.根据权利要求16所述的多模态导航系统，还包括: 路径建议器(114)，其建议针对采集到所述2D US成像数据的US探头的路径，其中，所建议的路径预测从所述US探头的当前位置到感兴趣组织的位置的路径。18.根据权利要求16至17中的任一项所述的多模态导航系统，其中，所述3D非US成像数据包括MRI 3D成像数据或CT 3D成像数据中的至少一个。19.根据权利要求16至17中的任一项所述的多模态导航系统，其中，所述成像数据处理器通过应用边缘检测或幅度缩放算法中的至少一个来处理所述3D体积非US成像数据。20.根据权利要求16至19中的任一项所述的多模态导航系统，其中，所述成像数据处理器通过应用去散斑、边缘检测或幅度缩放算法中的至少一个来处理所述3D体积US成像数据。21.根据权利要求20所述的多模态导航系统，其中，所述成像数据处理器通过将所述3D体积US成像数据的大小缩放为所述3D体积非US成像数据的大小来处理所述3D体积US成像数据。22.根据权利要求16至21中的任一项所述的多模态导航系统，其中，所述成像数据处理器通过正规化所述3D体积US成像数据和所述3D体积非US成像数据的总强度来处理所述3D体积US成像数据和所述3D体积非US成像数据。23.根据权利要求16至22中的任一项所述的多模态导航系统，其中，所述标记包括至少三个共面解剖标记。24.—种编码有计算机可执行指令的计算机可读存储介质，当由处理器执行时，所述计算机可执行指令令所述处理器: 基于US 3D成像数据与非US 3D成像数据之间的映射以及表示在所述US 3D成像数据和所述非US 3D成像中二者中视觉呈现的结构的一组基准以及当前US 2D成像数据来跟踪US探头相对于所述非US 3D成像数据的位置。25.根据权利要求24所述的计算机可读存储介质，其中，当由处理器执行时，所述计算机可执行指令还令所述处理器: 至少基于所述映射来建议针对所述US探头从所述US探头的当前位置到感兴趣目标组织的路径。
【文档编号】G06T7/00GK105874507SQ201380081270
【公开日】2016年8月17日
【申请日】2013年11月27日
【发明人】N·A·阿科曼多, D·利布利希, J·P·奥康纳, L·普洛
【申请人】模拟技术公司