多模态医学图像配准和相关联的设备、系统和方法与流程

1.本公开内容总体上涉及超声成像。特别地，多模态医学图像配准包括：确定感兴趣解剖结构的超声图像和来自不同医学成像模态(例如，磁共振或mr、计算机断层摄影或ct)的解剖结构图像相对于解剖结构的参考或标准化局部坐标系的位置和/或取向，以及在空间上变换不同的图像。


背景技术：

2.超声成像系统广泛用于医学成像。例如，医学超声系统可以包括超声换能器探头，该超声换能器探头被耦合到处理系统和一个或多个显示设备。超声换能器探头可以包括超声换能器元件的阵列，超声换能器元件将声波发射到患者体内并记录从患者体内的内部解剖结构反射的声波，该内部解剖结构可以包括组织、血管和内部器官。发射声波和/或接收反射声波或回波响应的操作能够由同一组超声换能器元件来执行，也能够由不同组超声换能器元件来执行。处理系统能够对接收到的回波响应应用波束形成、信号处理和/或成像处理，以创建患者的内部解剖结构的图像。该图像可以以亮度模式(b模式)图像的形式被呈现给临床医生，其中，该图像的每个像素由对应于回波强度的亮度水平或强度水平来表示。
3.虽然超声成像是用于诊断检查、介入和/或处置的安全有用的工具，但是超声成像基于手持式超声探头的运动和定位，因此缺乏绝对的3维(3d)参考系，而其他成像模态(例如，计算机断层摄影(ct)或磁共振成像(mri))的解剖学背景可以提供绝对的3维(3d)参考系。将二维(2d)超声图像或3d超声图像与其他模态(例如，ct或mri)进行共配准和/或融合可能要求额外的硬件、设置时间，因此成本可能很高。另外，对于如何使用超声探头执行成像以将超声图像与其他模态进行共配准和/或融合可能存在某些限制。超声图像与另一成像模态之间的共配准通常是通过识别共同基准点、共同解剖界标和/或基于图像内容的相似性测量来执行的。基于特征或基于图像内容的图像配准会很耗时并且可能容易出错。


技术实现要素：

4.临床上仍然需要改进的用于给医学成像提供多模态图像共配准的系统和技术。本公开内容的实施例提供了用于多模态医学图像共配准的技术。所公开的实施例定义了感兴趣解剖结构中的参考或标准化局部坐标系。可以以一种形式在第一成像模态的第一成像空间中表示参考坐标系，并且以另一形式在与第一成像模态不同的第二成像模态的第二成像空间中表示参考坐标系，以用于进行多模态图像共配准。例如，第一成像模态可以是二维(2d)或三维(3d)超声成像，而第二成像模态可以是3d磁共振(mr)成像。所公开的实施例利用基于姿态的多模态图像共配准技术来配准第一成像模态中的解剖结构的第一图像与第二成像模态中的解剖结构的第二图像。在这一点上，医学成像系统可以使用第一成像系统(例如，超声成像系统)在第一成像模态中采集解剖结构的第一图像，并且使用第二成像系统(例如，mr成像系统)在第二成像模态中采集解剖结构的第二图像。医学成像系统确定第一图像相对于在第一成像模态的成像空间中的参考坐标系的第一姿态。医学成像系统确定
第二图像相对于在第二成像模态的成像空间中的参考坐标系的第二姿态。医学成像系统基于第一图像姿态和第二图像姿态来确定空间变换。医学系统通过对第一图像或第二图像应用空间变换将第一成像模态的第一图像与第二成像模态的第二图像进行共配准。能够显示经共配准或经组合的第一图像与第二图像以辅助医学成像检查和/或医学介入流程。在一些方面，本公开内容可以使用深度学习预测技术来进行解剖结构的局部参考坐标系中的图像姿态回归。所公开的实施例能够应用于对在两种或更多种成像模态中的任何合适的解剖结构的图像的共配准。
5.在一些实例中，一种用于医学成像的系统包括：处理器电路，所述处理器电路与第一成像模态的第一成像系统和不同于所述第一成像模态的第二成像模态的第二成像系统通信，其中，所述处理器电路被配置为：从所述第一成像系统接收在所述第一成像模态中的患者的解剖结构的第一图像；从所述第二成像系统接收在所述第二成像模态中的所述患者的解剖结构的第二图像；确定所述第一图像相对于所述患者的解剖结构的参考坐标系的第一姿态；确定所述第二图像相对于所述参考坐标系的第二姿态；基于所述第一姿态和所述第二姿态来确定所述第一图像与所述第二图像之间的共配准数据；并且将基于所述共配准数据与所述第二图像共配准的所述第一图像输出到与所述处理器电路通信的显示器。
6.在一些实例中，一种医学成像方法包括：在与第一成像模态的第一成像系统通信的处理器电路处接收在所述第一成像模态中的患者的解剖结构的第一图像；在与第二成像模态的第二成像系统通信的所述处理器电路处接收在所述第二成像模态中的所述患者的解剖结构的第二图像；在所述处理器电路处确定所述第一图像相对于所述患者的解剖结构的参考坐标系的第一姿态；在所述处理器电路处确定所述第二图像相对于所述参考坐标系的第二姿态；在所述处理器电路处基于所述第一姿态和所述第二姿态来确定所述第一图像与所述第二图像之间的共配准数据；并且将基于所述共配准数据与所述第二图像共配准的所述第一图像输出到与所述处理器电路通信的显示器。
7.根据下面的详细描述，本公开内容的额外方面、特征和优点将变得明显。
附图说明
8.将参考附图来描述本公开内容的说明性实施例，在附图中：
9.图1是根据本公开内容的多个方面的超声成像系统的示意图。
10.图2是根据本公开内容的多个方面的多模态成像系统的示意图。
11.图3是根据本公开内容的多个方面的多模态成像共配准方案的示意图。
12.图4a图示了根据本公开内容的多个方面的超声成像空间中的三维(3d)图像体积。
13.图4b图示了根据本公开内容的多个方面的磁共振(mr)成像空间中的3d图像体积。
14.图4c图示了根据本公开内容的多个方面的二维(2d)超声图像切片。
15.图4d图示了根据本公开内容的多个方面的2d mr图像切片。
16.图5是根据本公开内容的多个方面的深度学习网络配置的示意图。
17.图6是根据本公开内容的多个方面的深度学习网络训练方案的示意图。
18.图7是根据本公开内容的多个方面的多模态成像共配准方案的示意图。
19.图8是根据本公开内容的多个方面的多模态成像共配准方案的示意图。
20.图9是根据本公开内容的多个方面的用于提供多模态图像配准的医学系统的用户
接口的示意图。
21.图10是根据本公开内容的实施例的处理器电路的示意图。
22.图11是根据本公开内容的多个方面的具有多模态图像共配准的医学成像方法的流程图。
具体实施方式
23.为了促进对本公开内容的原理的理解，现在将参考附图中图示的实施例并使用特定的语言来描述这些实施例。尽管如此，应当理解，这并不旨在限制本公开内容的范围。如本公开内容所涉及的领域技术的人员通常会想到的，对所描述的设备、系统和方法的任何更改和进一步修改以及对本公开内容的原理的任何进一步应用都被充分地预想到并被包括在本公开内容中。特别地，完全预想到，关于一个实施例描述的特征、部件和/或步骤可以与关于本公开内容的其他实施例描述的特征、部件和/或步骤进行组合。然而，为了简洁起见，将不单独描述这些组合的众多迭代。
24.图1是根据本公开内容的多个方面的超声成像系统100的示意图。系统100用于扫描患者的身体的区或体积。系统100包括超声成像探头110，超声成像探头110通过通信接口或链路120与主机130通信。探头110包括换能器阵列112、波束形成器114、处理器电路116和通信接口118。主机130包括显示器132、处理器电路134和通信接口136。
25.在示例性实施例中，探头110是外部超声成像设备，该外部超声成像设备包括壳体，该壳体被配置用于由用户以手持方式操作。换能器阵列112能够被配置为：在用户抓住探头110的壳体而使得换能器阵列112被定位为邻近和/或接触患者的皮肤时获得超声数据。探头110被配置为在探头110被定位在患者体外时获得患者体内的解剖结构的超声数据。在一些实施例中，探头110能够是适合用于腹部检查(例如用于诊断阑尾炎或肠套叠)的外部超声探头。
26.换能器阵列112朝向患者的解剖目标105发射超声信号并且接收从目标105反射回到换能器阵列112的回波信号。超声换能器阵列112能够包括任何合适数量的声学元件，包括一个或多个声学元件和/或多个声学元件。在一些实例中，换能器阵列112包括单个声学元件。在一些实例中，换能器阵列112可以包括声学元件阵列，该声学元件阵列具有任何数量的处于任何合适配置的声学元件。例如，换能器阵列112能够包括1个声学元件至10000个声学元件，包括例如2个声学元件、4个声学元件、36个声学元件、64个声学元件、128个声学元件、500个声学元件、812个声学元件、1000个声学元件、3000个声学元件、8000个声学元件和/或其他更大或更小的数量值的声学元件。在一些实例中，换能器阵列112可以包括声学元件阵列，该声学元件阵列具有任何数量的处于任何合适配置的声学元件，这些合适配置例如为线性阵列、平面阵列、曲面阵列、曲线阵列、周缘阵列、环形阵列、相控阵列、矩阵阵列、一维(1d)阵列、1.x维阵列(例如，1.5d阵列)或二维(2d)阵列。换能器元件阵列(例如，一行或多行、一列或多列和/或一个或多个取向)能够被统一或独立地控制和激活。换能器阵列112能够被配置为获得患者的解剖结构的一维图像、二维图像和/或三维图像。在一些实施例中，换能器阵列112可以包括压电微机械超声换能器(pmut)、电容微机械超声换能器(cmut)、单晶、锆钛酸铅(pzt)、pzt复合物、其他合适的换能器类型和/或其组合。
27.目标105可以包括患者的适合超声成像检查的任何解剖结构，例如，血管、神经纤
维、气道、二尖瓣叶、心脏结构、前列腺、腹部组织结构、阑尾、大肠(或结肠)、小肠、肾脏和/或肝脏。在一些方面，目标105可以包括患者的大肠、小肠、盲肠袋、阑尾、回肠末端、肝脏、上腹部和/或腰肌的至少部分。本公开内容能够在任何数量的解剖位置和组织类型的背景下实施，包括但不限于器官(包括肝脏、心脏、肾脏、胆囊、胰腺、肺)、管道、肠、神经系统结构(包括脑、硬脑膜囊、脊髓和周围神经)；尿路以及心脏、腹部器官和/或身体的其他系统的血管、血液、腔室或其他部分内的瓣膜。在一些实施例中，目标105可以包括恶性肿瘤，例如，人体解剖结构的任何部分内的肿瘤、囊肿、病变、出血或血池。解剖结构可以是血管，作为患者的脉管系统(包括心脏脉管系统、外周脉管系统、神经脉管系统、肾脏脉管系统和/或身体内部的任何其他合适的管腔)的动脉或静脉。除了天然结构以外，本公开内容还能够在人造结构的背景下实施，该人造结构例如但不限于心脏瓣膜、支架、分流器、过滤器、植入物和其他设备。
28.波束形成器114被耦合到换能器阵列112。波束形成器114控制换能器阵列112以例如进行超声信号的发射和超声回波信号的接收。波束形成器114基于接收到的超声回波信号的响应而向处理器电路116提供图像信号。波束形成器114可以包括多阶段波束形成。波束形成能够减少用于耦合到处理器电路116的信号线的数量。在一些实施例中，与波束形成器114组合的换能器阵列112可以被称为超声成像部件。
29.处理器电路116被耦合到波束形成器114。处理器电路116可以包括中央处理单元(cpu)、图形处理单元(gpu)、数字信号处理器(dsp)、专用集成电路(asic)、控制器、现场可编程门阵列(fpga)设备、另一硬件设备、固件设备或其任何组合，它们被配置为执行本文描述的操作。处理器电路134还可以被实施为计算设备的组合，例如，dsp与微处理器的组合、多个微处理器、一个或多个结合有dsp核的微处理器，或任何其他这样的配置。处理器电路116被配置为处理经波束形成的图像信号。例如，处理器电路116可以执行滤波和/或正交解调以调控图像信号。处理器电路116和/或134能够被配置为控制阵列112以获得与目标105相关联的超声数据。
30.通信接口118被耦合到处理器电路116。通信接口118可以包括一个或多个发射器、一个或多个接收器、一个或多个收发器和/或用于发射和/或接收通信信号的电路。通信接口118能够包括硬件部件和/或软件部件，该硬件部件和/或软件部件实施适合用于通过通信链路120向主机130传输信号的特定通信协议。通信接口118能够被称为通信设备或通信接口模块。
31.通信链路120可以是任何合适的通信链路。例如，通信链路120可以是有线链路，例如，通用串行总线(usb)链路或以太网链路。替代地，通信链路120可以是无线链路，例如，超宽带(uwb)链路、电气和电子工程师协会(ieee)802.11wifi链路或蓝牙链路。
32.在主机130处，通信接口136可以接收图像信号。通信接口136可以与通信接口118基本相似。主机130可以是任何合适的计算和显示设备，例如，工作站、个人计算机(pc)、膝上型电脑、平板电脑或移动电话。
33.处理器电路134被耦合到通信接口136。处理器电路134可以被实施为软件部件与硬件部件的组合。处理器电路134可以包括中央处理单元(cpu)、图形处理单元(gpu)、数字信号处理器(dsp)、专用集成电路(asic)、控制器、fpga设备、另一硬件设备、固件设备或其任何组合，它们被配置为执行本文描述的操作。处理器电路134还可以被实施为计算设备的
组合，例如、dsp与微处理器的组合、多个微处理器、一个或多个结合有dsp核的微处理器，或任何其他这样的配置。处理器电路134能够被配置为根据从探头110接收的图像信号来生成图像数据。处理器电路134能够将先进的信号处理和/或图像处理技术应用于图像信号。在一些实施例中，处理器电路134能够根据图像数据来形成三维(3d)体积图像。在一些实施例中，处理器电路134能够对图像数据执行实时处理以提供目标105的超声图像的流式视频。
34.显示器132被耦合到处理器电路134。显示器132可以是监视器或任何合适的显示器。显示器132被配置为显示目标105的超声图像、图像视频和/或任何成像信息。
35.在一些方面，处理器电路134可以实施一个或多个基于深度学习的预测网络，该预测网络被训练为预测输入的超声图像相对于某个坐标系的取向，以辅助超声医师解读超声图像并且/或者提供与另一成像模态(例如，计算机断层摄影(ct)或磁共振成像(mri))的共配准信息，在本文中更详细地描述了这些内容。
36.在一些方面，系统100能够用于收集超声图像以形成训练数据集以供深度学习网络进行训练。例如，主机130可以包括存储器138，存储器138可以是任何合适的存储设备，例如，高速缓冲存储器(例如，处理器电路134的高速缓冲存储器)、随机存取存储器(ram)、磁阻ram(mram)、只读存储器(rom)、可编程只读存储器(prom)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)、闪速存储器、固态存储器设备、硬盘驱动器、固态驱动器、其他形式的易失性和非易失性存储器，或不同类型的存储器的组合。存储器138能够被配置为存储图像数据集140以训练深度学习网络来预测相对于某个参考坐标系的图像姿态，从而用于多模态成像共配准，在本文中更详细地描述了这些内容。
37.如上面所讨论的，超声成像基于手持式超声探头的运动和定位，因此缺乏绝对的3维(3d)参考系，而其他成像模态(例如，ct或mri)的解剖学背景可以提供绝对的3维(3d)参考系。因此，向超声医师提供超声图像与另一成像模态(例如，ct或mri)的图像之间的共配准信息可以是有帮助的。例如，可以基于共配准信息将超声图像叠加在mr 3d图像体积之上，以辅助超声医师解读超声图像，例如确定超声图像相对于正被成像的解剖结构的成像视图。
38.图2是根据本公开内容的多个方面的多模态成像系统200的示意图。系统200用于使用多种成像模态(例如，超声、mr、ct、正电子发射断层摄影(pet)、单光子发射断层摄影(spect)、锥束ct(cbct)和/或混合式x射线系统)对患者的解剖结构进行成像，并且在多种成像模态之间执行图像共配准。为简化说明和讨论，图2图示的系统200包括两个成像系统：第一成像模态的成像系统210和第二成像模态的另一成像系统220。然而，系统200可以包括任何合适数量的(例如，大约3个或4个或更多个)具有不同成像模态的成像系统，并且可以在不同成像模态的图像之间执行共配准。
39.在一些方面，第一成像模态可以与静态图像相关联，并且第二成像模态可以与移动图像相关联。在一些其他方面，第一成像模态可以与移动图像相关联，并且第二成像模态可以与静态图像相关联。在又一些其他方面，第一成像模态和第二成像模态中的每项都可以与移动图像或静态图像相关联。在一些方面，第一成像模态可以与静态3d成像相关联，并且第二成像模态可以与移动3d成像相关联。在一些其他方面，第一成像模态可以与3d移动成像相关联，并且第二成像模态可以与静态3d成像相关联。在一些方面，第一成像模态可以与3d成像相关联，并且第二成像模态可以与2d成像相关联。在一些其他方面，第一成像模态
可以与2d成像相关联，并且第二成像模态可以与3d成像相关联。在一些方面，第一成像模态是以下各项中的一项：超声、mr、ct、pet、spect、cbct或混合式x射线，并且第二成像模态是以下各项中的不同的一项：超声、mr、ct、pet、spect、cbct，或混合式x射线。
40.系统200还包括主机230，主机230与主机130基本相似。在这一点上，主机230可以包括通信接口236、处理器电路234、显示器232和存储器238，它们分别与通信接口136、处理器电路134、显示器132和存储器138基本相似。主机230经由通信接口236被通信性耦合到成像系统210和220。
41.成像系统210被配置为在第一成像模态中扫描和采集患者的解剖结构205的图像212。成像系统220被配置为在第二成像模态中扫描和采集患者的解剖结构205的图像222。患者的解剖结构205可以与目标105基本相似。患者的解剖结构205可以包括任何解剖结构，例如，血管、神经纤维、气道、二尖瓣叶、心脏结构、前列腺、腹部组织结构、阑尾、大肠(或结肠)、小肠、肾脏、肝脏和/或适合在第一成像模态和第二成像模态中成像的任何器官或解剖结构。在一些方面，图像212是3d图像体积，并且图像222是3d图像体积。在一些方面，图像212是3d图像体积，并且图像222是2d图像切片。在一些方面，图像212是2d图像切片，并且图像222是3d图像体积。
42.在一些方面，成像系统210是与系统100相似的超声成像系统，并且第二成像系统220是mr成像系统。因此，成像系统210可以通过朝向解剖结构205发射超声波或声波并记录从解剖结构205反射的回波来采集和生成解剖结构205的图像212，如上文参考系统100所讨论的那样。成像系统220可以通过以下操作来采集和生成解剖结构205的图像222：施加磁场以迫使解剖结构205的质子与该磁场对齐，施加射频电流以激发质子，停止射频电流并且检测质子重新对齐时释放的能量。在超声成像和mr成像中使用的不同的扫描和/或图像生成机制可以引起图像212和图像222在(图4a-4d中示出的)不同的透视图或不同的视图中表示解剖结构205的相同部分。
43.因此，本公开内容提供了用于基于患者的解剖结构(例如，器官)的图像相对于患者的解剖结构的局部参考坐标系的姿态(例如，位置和/或取向)在不同的成像模态的图像之间执行图像共配准的技术。由于参考坐标系是解剖结构的坐标系，因此参考坐标系独立于任何成像模态。在一些方面，本公开内容可以使用深度学习预测技术对解剖结构的局部参考坐标系中的解剖结构的横截面2d成像平面或2d成像切片的位置和/或取向进行回归。
44.例如，处理器电路234被配置为：从成像系统210接收在第一成像模态中的图像212，并且从成像系统220接收在第二成像模态中的图像222。处理器电路234被配置为：确定图像212相对于患者的解剖结构205的参考坐标系的第一姿态，确定图像222相对于患者的解剖结构205的参考坐标系的第二姿态，并且基于第一姿态和第二姿态来确定图像212与图像222之间的共配准。处理器电路234还被配置为将基于共配准与图像222配准的图像212输出到显示器232以供显示。
45.在一些方面，处理器电路234被配置为使用深度学习预测技术来确定第一姿态和第二姿态。在这一点上，存储器238被配置为存储深度学习网络240和深度学习网络250。深度学习网络240能够被训练为对在第一成像模态中的输入图像(例如，图像212)相对于参考坐标系的图像姿态进行回归。深度学习网络250能够被训练为对在第二成像模态中的输入图像(例如，图像222)相对于参考坐标系的图像姿态进行回归。处理器电路234被配置为通
过应用深度学习网络240和深度学习网络250来确定共配准数据，如下面在图3和图4a-4d中更详细地讨论的那样。
46.图3是关于图4a-4d进行讨论的，以图示基于不同成像模态在解剖结构坐标系中的图像姿态的回归而进行的多模态图像共配准。图3是根据本公开内容的多个方面的多模态图像共配准方案300的示意图。方案300由系统200来实施。特别地，处理器电路234可以实施多模态图像共配准，如方案300中所示。方案300包括两条预测路径，一条路径包括被训练为对成像系统210的第一成像模态306执行姿态回归的深度学习网络240(在顶部路径中示出)，另一条路径包括被训练为对成像系统220的第二成像模态308执行姿态回归的深度学习网络250(在底部路径中示出)。在图3所示的示例中，成像模态306可以是超声成像，并且成像模态308可以是mr成像。方案300还包括多模态图像共配准控制器330，多模态图像共配准控制器330被耦合到深度学习网络240和深度学习网络250。多模态图像共配准控制器330可以与处理器电路134和234相似，并且可以包括硬件部件和/或软件部件。
47.方案300定义了针对用于不同成像模态之间的图像共配准的解剖结构205的公共参考坐标系。例如，深度学习网络240被训练为接收在成像模态306中的输入图像212并输出输入图像212相对于公共参考坐标系的图像姿态310。类似地，深度学习网络250被训练为接收在成像模态308中的输入图像222并输出输入图像222相对于公共参考坐标系的图像姿态320。图像姿态310可以包括以下空间变换，该空间变换包括将图像212从在第一成像模态中的成像空间的坐标系变换到参考坐标系的旋转分量或平移分量中的至少一项。图像姿态320可以包括以下空间变换，该空间变换包括将图像222从在第二成像模态中的成像空间的坐标系变换到参考坐标系的旋转分量或平移分量中的至少一项。在一些方面，图像姿态310和图像姿态320中的每项包括6自由度(6dof)变换矩阵，该6dof变换矩阵包括3个旋转分量(例如指示取向)和3个平移分量(例如指示位置)。下面参考图4a-4d讨论了不同的坐标系和变换。
48.图4a-4d图示了对基于用于方案300中所示的多模态图像共配准的患者的解剖结构的特定特征或部分(例如，该解剖结构)而定义的参考坐标系的使用情况。为了简化说明和讨论，图4a-4d图示了对从超声成像和mr成像采集的患者的前列腺的图像的多模态图像共配准。然而，方案300可以应用于使用下面讨论的相似的坐标系变换对以任何合适的成像模态采集的任何解剖结构(例如，心脏、肝脏、肺、血管
……
)的图像的共配准。
49.图4a图示了根据本公开内容的多个方面的超声成像空间中的3d图像体积410。3d图像体积410包括前列腺430的图像。前列腺430可以对应于解剖结构205。针对在超声成像空间中的前列腺430(被指代为organ
us
)定义参考坐标系414。在一些方面，参考坐标系414可以基于前列腺430的质心来定义。例如，参考坐标系414的原点可以对应于前列腺430的质心。因此，参考坐标系414是前列腺430的局部坐标系。
50.图4b图示了根据本公开内容的多个方面的mr成像空间中的3d图像体积420。3d图像体积420包括同一前列腺430的图像。针对在mr成像空间中的前列腺430(被指代为organ
mri
)定义参考坐标系424。在mr成像空间中的参考坐标系424与在超声成像空间中的参考坐标系414相同。例如，参考坐标系424的原点对应于前列腺的质心。在这一点上，在一些实例中，参考坐标系414和424都是相同的，因为它们都是通过患者的解剖结构来定义的(例如，原点是基于感兴趣器官来定义的)。因此，参考坐标系414和424的原点能够具有相同的
位置(例如，前列腺解剖结构中的质心)，并且x轴、y轴和z轴能够被定向在相同的方向上(例如，x轴沿着前列腺的第一主轴，并且y轴在仰卧患者方向上)。在图4a-4b中描绘了基于经直肠超声从下方观察前列腺而得到的参考坐标系414和424，而mri视图是从上方(或侧面)观看得到的。在其他实例中，参考坐标系424中的x-y-z轴的取向可以不同于参考坐标系414的x-y-z轴。如果利用不同的取向，则能够利用平移矩阵来对齐参考坐标系414、424的x-y-z轴。
51.图4c图示了根据本公开内容的多个方面的在超声成像空间中的3d图像体积410的2d超声图像切片412(被指代为plane
us
)。横截面切片412被定义在超声成像空间的坐标系416中。
52.图4d图示了根据本公开内容的多个方面的在mr成像空间中的3d图像体积420的2d mr图像切片422(被指代为plane
mri
)。横截面切片422在mr成像空间的坐标系426中。
53.为了说明图3中的多模态图像共配准，方案300中的图像212可以对应于2d图像切片412，并且方案300中的图像222可以对应于2d图像切片422。深度学习网络240被训练为对在器官(例如，前列腺430)的局部坐标系中的(成像模态306的)图像212的姿态310进行回归。换句话说，深度学习网络240预测(plane
us
的)超声成像空间坐标系416与局部器官参考坐标系414organ
us
之间的变换402。能够通过来表示变换402。能够通过来表示通过深度学习网络240预测或估计的姿态310。
54.类似地，深度学习网络250被训练为对在器官(例如，前列腺430)的局部坐标系中的(成像模态308的)图像222的姿态320进行回归。换句话说，深度学习网络250预测(plane
mri
的)mr成像空间坐标系426与局部器官参考坐标系424organ
mri
之间的变换404。能够通过来表示变换404。可以通过来表示通过深度学习网络250预测或估计的姿态320。
55.多模态图像共配准控制器330被配置为：从深度学习网络240接收姿态310，并且从深度学习网络250接收姿态320。多模态图像共配准控制器330被配置为计算多模态配准矩阵(例如，空间变换矩阵)，如下所示：
[0056][0057]
其中，
mri
t
us
表示将在超声成像空间中的坐标系416变换为在mr成像空间中的坐标系426的多模态配准矩阵，表示将超声图像切片412或图像212变换到超声坐标系416中的变换，表示将mr切片422或图像222变换到mr坐标系426中的变换，并且表示从坐标系414organ
us
变换到坐标系424organ
mri
的变换。由于坐标系414和坐标系424指的是同一局部解剖结构坐标系，因此是单位矩阵。
[0058]
为了将图像212(例如，超声图像切片412)与图像222(例如，mr图像切片422)配准，多模态图像共配准控制器330还被配置为通过将公式(1)中的变换矩阵
mri
t
us
应用于图像212来对图像212执行空间变换。能够在显示器(例如，显示器132和232)上显示(在图9中示出的)经共配准的图像212和22，以辅助临床医生执行成像和/或医学流程(例如，活检和/或医学治疗)。
[0059]
在一些其他方面，图像212可以是与超声3d体积410相似的成像模态306的3d移动图像体积，并且图像222可以是与mr 3d体积420相似的成像模态308的3d静态图像体积。多模态图像共配准控制器330被配置为：定义或选择超声图像体积410中的任意2d切片，定义或选择mr图像体积420中的任意2d切片，如上面的公式所示(1)地确定多模态配准矩阵以将每个超声图像切片与mr图像切片进行共配准。
[0060]
在一些方面，方案300可以应用于对从不同模态获得的患者的心脏的图像的共配准。为了对心脏的图像进行共配准，可以通过将原点放置在心脏的左心室的中心并将x-y轴定义为与通过左心室中心、左心房中心和右心室中心定义的平面共面来定义局部器官参考坐标系(例如，参考坐标系414和424)，其中，x轴从左心室指向右心室，y轴从左心室指向左心房，并且z轴与平面的法线共线。该成像平面通常被称为心脏的心尖4腔视图。
[0061]
虽然方案300是在两种成像模态之间执行共配准的背景下描述的，但是方案300也可以应用于使用基本相似的机制在任何合适数量的(例如，大约3种、4种或更多种)成像模态之间执行共配准。一般而言，对于每种成像模态，可以相对于在成像模态的成像空间中的解剖结构的参考坐标系来确定在成像模态中的输入图像的图像姿态，并且多模态图像共配准控制器330选择主要成像模态的参考图像，确定空间变换矩阵(如公式(1)所示)以将每种成像模态的图像与参考图像共配准。
[0062]
图5是根据本公开内容的多个方面的深度学习网络配置500的示意图。配置500能够通过深度学习网络(例如，深度学习网络240和/或250)来实施。配置500包括深度学习网络510，深度学习网络510包括一个或多个卷积神经网络(cnn)512。为了简化说明和讨论，图5图示了一个cnn512。然而，能够缩放实施例以包括任何合适数量的(例如，大约2个、3个或更多个)cnn 512。配置500能够被训练为对在用于特定成像模态的局部器官坐标系(例如，参考坐标系统414和424)中的图像姿态进行回归，如下面更详细地描述的那样。
[0063]
cnn 512可以包括n个卷积层520的集合，这n个卷积层520的集合后跟有k个完全连接层530的集合，其中，n和k可以是任何正整数。卷积层520被示为520
(1)
至520
(n)
。完全连接层530被示为530
(1)
至530
(k)
。每个卷积层520可以包括过滤器522的集合，该过滤器522被配置为从输入502(例如，图像212、222、412和/或422)中提取特征。值n和k以及过滤器522的大小可以根据实施例而变化。在一些实例中，卷积层520
(1)
至520
(n)
和完全连接层530
(1)
至530
(k-1)
可以利用非线性激活函数(例如，relu——修正线性单元)和/或批标准化和/或舍弃和/或合并。完全连接层530可以是非线性的，并且可以将高维输出逐渐收缩到预测结果的维度(例如，输出540)。
[0064]
输出540可以对应于上面参考图3所讨论的姿态310和/或320。输出540可以是变换矩阵，该变换矩阵包括旋转分量和/或平移分量，该变换矩阵可以将输入图像502从(用于采集输入图像502的成像模态的)成像空间变换到局部器官坐标系中。
[0065]
图6是根据本公开内容的各个方面的深度学习网络训练方案600的示意图。方案600能够由系统100和/或200来实施。特别地，方案600可以被实施为训练多个深度学习网络以对在参考或器官坐标系(例如，参考坐标系统414和424)中的图像姿态进行回归。可以针对特定的成像模态单独训练每个深度学习网络。例如，对于mr图像与超声图像之间的共配准，可以在超声图像上训练一个深度学习网络，并且可以在mr图像上训练另一网络。为了简化说明和讨论，在基于超声图像训练深度学习网络240并基于mr图像训练深度学习网络250
的背景下讨论了方案600，其中，深度学习网络240和250的配置如图5所示。然而，训练方案600可以应用于任何网络架构的经训练的深度学习网络，并且可以用于多模态图像共配准的任何成像模态。
[0066]
在图6的说明性示例中，深度学习网络240被训练为对(在图6的上半部分示出的)在前列腺430的局部参考坐标系414中的前列腺430的超声图像的姿态进行回归。深度学习网络250被训练为对(在图6的下半部分示出的)在前列腺430的局部参考坐标系424中的前列腺430的mr图像的姿态进行回归。如上面所讨论的，局部参考坐标系414和局部参考坐标系424在前列腺430处局部对应于同一参考坐标系。
[0067]
为了训练网络240，收集了根据前列腺430的3d超声成像生成的2d横截面平面或图像切片(被指代为i
us
)的集合。在这一点上，3d超声成像用于采集前列腺430的3d成像体积410。能够从3d成像体积410中随机选择2d横截面平面(例如，2d超声图像切片412)。2d横截面平面是通过局部器官坐标系414中的6dof变换矩阵t
us
∈se(3)(描述了平面的平移和旋转)来定义的。用变换矩阵t
us
来标示每幅2d图像i
us
。替代地，能够使用具有跟踪的2d超声成像来采集前列腺430的2d图像并且基于所述跟踪来确定局部器官坐标系中的每幅图像的姿态。与对3d成像体积410进行切片而获得的2d横截面平面相比，2d超声成像能够提供更高的分辨率2d图像。
[0068]
能够根据2d横截面图像切片和对应的变换来生成训练数据集602，以形成超声图像-变换对。每个对包括2d超声图像切片i
us
和对应的变换矩阵t
us
，例如被示为(i
us
,t
us
)。例如，训练数据集602可以包括被注释或标示有描述图像603在局部器官坐标系414中的平移和旋转的对应变换的2d超声图像603。经标示的图像603是用于训练深度学习网络240所使用的输入。经标示的变换t
us
充当用于训练深度学习网络240的真实情况。
[0069]
深度学习网络240能够(例如使用正向传播)应用于数据集602中的每幅图像603以获得针对输入图像603的输出604。训练部件610在卷积层520中调整过滤器522的系数并且在完全连接层530中调整权重，例如，通过使用反向传播来最大程度地减小预测误差(例如，真实情况t
us
与预测结果604之间的差异)。预测结果604可以包括变换矩阵该变换矩阵用于将输入图像603变换到前列腺430的局部参考坐标系414中。在一些实例中，训练部件610针对每幅输入图像在卷积层520中调整过滤器522的系数并且在完全连接层530中调整权重，以最大程度地减小(t
us
与之间的)预测误差。在其他一些实例中，训练部件610应用批训练过程以基于从输入图像的集合获得的预测误差在卷积层520中调整过滤器522的系数并在完全连接层530中调整权重。
[0070]
可以使用与上面针对网络240所讨论的机制基本相似的机制来训练网络250。例如，能够在训练数据集606上训练网络250，训练数据集606包括被标示有对应的变换矩阵t
mr
的2d mr图像切片607(例如，2d mr图像切片422)。能够通过随机选择3d横截面平面(多平面重建)来获得2d横截面mr图像切片607。2d横截面mr图像切片607是通过局部器官坐标系424中的6dof变换矩阵t
mr
∈se(3)(描述了平面的平移和旋转)来定义的。
[0071]
深度学习网络250能够(例如使用正向传播)应用于数据集606中的每幅图像607以获得针对输入图像607的输出608。训练部件620在卷积层520中调整过滤器522的系数并且在完全连接层530中调整权重，例如，通过使用反向传播来最大程度地减小预测误差(例如，真实情况t
mr
与预测结果604之间的差异)。预测结果604可以包括变换矩阵该变换矩阵
用于将输入图像607变换到前列腺430的局部参考坐标系424中。训练部件620可以针对每幅输入图像或针对每批输入图像在卷积层520中调整过滤器522的系数并在完全连接层530中调整权重。
[0072]
在一些方面，除了平移和旋转以外，用于超声的变换矩阵t
us
和变换矩阵t
mr
中的每个变换矩阵都可以包括剪切分量和缩放分量。因此，超声与mr之间的共配准可以是仿射共配准而不是刚性共配准。
[0073]
在训练了深度学习网络240和250之后，可以在应用或推理阶段应用方案300以进行医学检查和/或引导。在一些方面，可以应用方案300来对不同成像模态(例如，mr和超声)的两个3d图像体积进行共配准，例如通过将在一种成像模态中的3d图像体积的2d图像切片与在另一成像模态中的另一3d图像体积的2d图像切片进行共配准来实现这一点。在一些其他方面，代替在应用/推断阶段中使用两个3d体积作为输入的这种情况，模态之一可以是2d成像模态，并且可以提供2d成像模态的图像以用于实时推断与3d模态的其他3d成像体积的配准并用于实时共同显示(如图7所示)。
[0074]
图7是根据本公开内容的多个方面的多模态成像共配准方案700的示意图。方案700由系统200来实施。特别地，系统200可以提供2d成像模态的2d图像与3d成像模态的3d图像体积的实时共配准，以例如提供成像引导，如在方案700中所示的那样。为了简化讨论和说明，在提供2d超声图像与3d mr图像体积的实时共配准的背景下描述了方案700。然而，方案700能够应用于任何2d成像模态的2d图像与任何3d成像模态的3d图像体积的共配准。
[0075]
在方案700中，2d超声图像切片702是实时采集的，例如是通过使用具有探头110的成像系统210和/或100来实时采集的，探头110是以徒手方式处于相对于目标器官(例如，前列腺430)的任意姿态，但是在(方案600中的)训练期间从对应的3d超声体积中提取的姿态的范围内。在一些其他方面，在训练阶段期间，不是以任意方式从3d超声体积中提取大量横截面切片，而是能够定制所提取的切片的姿态以涵盖在应用阶段中的实时扫描期间遇到的期望姿态的范围。方案700还例如使用具有mr扫描器的成像系统220来采集器官的3d mr图像体积704。
[0076]
方案700将经训练的深度学习网络240实时应用于2d超声图像以估计2d超声图像702在器官坐标系414中的姿态。类似地，方案700将经训练的深度学习网络250应用于3d mr图像体积704以估计3d mr图像体积704从mr成像空间到器官空间的变换。在这一点上，能够在实时超声成像之前采集3d mr图像体积704。因此，能够在采集了3d mr图像体积704并在实时2d超声成像期间将3d mr图像体积704用于共配准之后执行3d mr图像体积704从mr成像空间到器官空间的变换。在这一点上，方案700将多模态图像共配准控制器330应用于根据2d超声成像和3d mr成像进行的姿态估计，以提供对2d超声图像702相对于预先采集的mr图像体积704的姿态的实时估计。多模态图像共配准控制器330可以应用上面的公式(1)来确定从超声成像空间到mr成像空间的变换并且基于如上面参考图3所讨论的变换来执行共配准。
[0077]
方案700可以将2d超声图像702与3d mr图像体积704共同显示在显示器(例如，显示器132或232)上。例如，2d超声图像702能够被叠加在3d mr图像体积704的顶部(如图9所示)，从而为临床医生提供所采集的2d超声图像702相对于正被成像的器官的实时2d成像位置信息。位置信息能够辅助临床医生操控探头以达到超声检查的目标成像视图或者辅助临
床医生执行医学流程(例如，活检)。
[0078]
在一些方面，能够将上面讨论的基于姿态的多模态图像配准与基于特征或基于图像内容的多模态图像配准或任何其他多模态图像配准结合使用，以提供具有高准确度和鲁棒性的共配准。共配准的准确度可以取决于要被配准的图像之间的初始姿态距离。例如，基于特征或基于图像内容的多模态图像配准算法通常具有初始姿态距离的“捕获范围”，在该捕获范围内，该算法倾向于收敛到正确的解，而如果初始姿态距离在捕获范围之外，则该算法可能无法收敛或者可能收敛到不正确的局部最小值。因此，上面讨论的基于姿态的多模态图像配准能够用于在应用基于特征或基于图像内容的多模态图像配准算法之前将不同成像模态的两幅图像对齐为紧密对齐，例如满足基于特定特征或基于图像内容的多模态图像配准算法的捕获范围。
[0079]
图8是根据本公开内容的多个方面的多模态成像共配准方案800的示意图。方案800由系统200来实施。特别地，系统200可以应用基于姿态的多模态图像配准以将不同成像模态的两幅图像对齐为紧密对齐，然后应用如在方案800中所示的多模态图像配准细化以提供具有高准确度的共配准。
[0080]
如图所示，方案800将基于姿态的多模态图像配准810应用于成像模态306的图像212和成像模态308的图像222。基于姿态的多模态图像配准810可以实施上面参考图3讨论的方案300。例如，(例如，前列腺430的)图像212的姿态是相对于在成像模态306的成像空间中的局部器官参考坐标系(例如，参考坐标系414)来确定的。类似地，(例如，前列腺430的)图像222的姿态是相对于在成像模态308的成像空间中的局部器官参考坐标系(例如，参考坐标系424)来确定的。基于姿态的多模态图像配准810基于针对图像212和图像222确定的姿态来对齐图像212与图像222，例如通过执行空间变换以提供共配准估计812来实现这种对齐。在一些实例中，在空间变换之后，图像212可以与图像222对齐，其中，平移错位小于大约30mm并且/或者旋转错位小于大约30度。
[0081]
在执行了基于姿态的多模态图像配准810之后，方案800将多模态图像配准细化820应用于经共配准的图像(例如，经共配准的估计812)。在一些方面，多模态图像配准细化820可以实施基于特征或基于图像内容的多模态图像配准，其中，配准可以基于图像212与图像222之间的(解剖特征或界标的)相似性度量。
[0082]
在一些其他方面，多模态图像配准细化820可以实施另一种基于深度学习的图像共配准算法。例如，在融合引导的介入中的自动化多模态图像配准能够基于根据堆叠的深度学习网络进行的迭代预测。在一些方面，为了训练堆叠的深度学习网络，能够将基于姿态的多模态图像配准810应用于针对堆叠的深度学习网络的训练数据集，以使得在训练之前训练数据集的图像姿态在一定对齐范围内。在一些方面，可以例如通过将预测配准与真实情况配准进行比较来计算来自基于姿态的多模态图像配准810的预测误差。能够用参数化分布(例如，具有最小和最大的姿态参数误差值的均匀分布，或者具有期望的姿态参数平均值和标准偏差的高斯分布)对姿态误差的范围进行建模。姿态参数能够用于生成训练数据集，该训练数据集具有在模态306与模态308之间人工创建未对齐的配准。训练数据集能够用于训练堆叠的深度学习网络。
[0083]
图9是根据本公开内容的多个方面的用于提供多模态图像配准的医学系统的用户接口900的示意图。用户接口900能够由系统200来实施。特别地，系统200可以实施用户接口
900以提供根据上面关于图3、图7和/或图8讨论的方案300、700和/或800确定的多模态图像配准。用户接口900能够被显示在显示器232上。
[0084]
如图所示，用户接口900包括同一患者的解剖结构的超声图像910和mr图像920。可以基于使用方案300、700和/或800执行的共配准来显示超声图像910和mr图像920。用户接口900还根据共配准在图像910中显示指示符912并在图像920中显示指示符922。指示符912可以对应于指示符922，但是每个指示符根据共配准被显示在对应的图像中以在每幅图像910、920中指示解剖结构的相同部分。
[0085]
在一些其他方面，用户接口900可以将图像910和920显示为颜色编码图像或棋盘叠加物。对于颜色编码图像，显示器可以对解剖结构的不同部分进行颜色编码，并且使用相同的颜色来表示图像910和920上的相同部分。对于棋盘叠加物，用户接口900可以显示叠加图像910和920的子图像。
[0086]
图10是根据本公开内容的实施例的处理器电路1000的示意图。处理器电路1000可以被实施在图1的探头110和/或主机130、图2的主机230和/或图3的多模态图像共配准控制器330中。在示例中，处理器电路1000可以与不同成像模态的多个成像扫描器(例如，探头110中的换能器阵列112、mr图像扫描器)通信。如图所示，处理器电路1000可以包括处理器1060、存储器1064和通信模块1068。这些元件可以彼此直接通信，也可以(例如经由一条或多条总线)彼此间接通信。
[0087]
处理器1060可包括cpu、gpu、dsp、专用集成电路(asic)、控制器、fpga、另一硬件设备、固件设备或其任何组合，它们被配置为执行本文描述的操作(例如，图2-9和图11的各个方面)。处理器1060还可以被实施为计算设备的组合，例如，dsp与微处理器的组合、多个微处理器、一个或多个结合有dsp核的微处理器，或任何其他这样的配置。
[0088]
存储器1064可以包括高速缓冲存储器(例如，处理器1060的高速缓冲存储器)、随机存取存储器(ram)、磁阻性ram(mram)、只读存储器(rom)、可编程只读存储器(prom)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)、闪速存储器、固态存储器设备、硬盘驱动器、其他形式的易失性和非易失性存储器或不同类型的存储器的组合。在实施例中，存储器1064包括非瞬态计算机可读介质。存储器1064可以存储指令1066。指令1066可以包括当由处理器1060运行时使处理器1060执行本文描述的并且参考图2的图像系统210和220、主机230和/或图3的多模态图像共配准控制器330执行的操作(例如，图2-9和图11的各个方面)的指令。指令1066也可以被称为代码。术语“指令”和“代码”应被广义地解读为包括(一句或多句)任意类型的计算机可读语句。例如，术语“指令”和“代码”可以指一个或多个程序、例程、子例程、函数、流程等。“指令”和“代码”可以包括单句计算机可读语句或许多计算机可读语句。
[0089]
通信模块1068能够包括任何电子电路和/或逻辑电路以促进处理器电路1000、图2的图像系统210和220、图2的主机230和/或图3的多模态图像共配准控制器330之间的直接或间接的数据通信。在这一点上，通信模块1068能够是输入/输出(i/o)设备。在一些实例中，通信模块1068促进处理器电路1000的各个元件和/或图2的图像系统210和220、主机230和/或图3的多模态图像共配准控制器330之间的直接或间接通信。
[0090]
图11是根据本公开内容的多个方面的具有多模态图像共配准的医学成像方法1100的流程图。方法1100由系统200来实施，例如由处理器电路(例如，处理器电路1000)和/
或其他合适的部件(例如，主机230、处理器电路234和/或多模态图像共配准控制器330)来实施。在一些示例中，系统200能够包括其上记录有程序代码的计算机可读介质，该程序代码包括用于使系统200运行方法1100的各个步骤的代码。方法1100可以采用与分别关于图1和图2描述的系统100和/或200中的机制相似的机制、分别关于图2、图6、图7和/或图8描述的方案300、600、700和/或800、关于图5描述的配置500和/或关于图9描述的用户接口900。如图所示，方法1100包括多个列举的步骤，但是方法1100的实施例也可以包括在所列举的步骤之前、之后和之间执行的额外步骤。在一些实施例中，可以省去所列举的步骤中的一个或多个步骤，也可以以不同的顺序执行所列举的步骤中的一个或多个步骤。
[0091]
在步骤1110处，方法1100包括在与第一成像模态(例如，成像模态306)的第一成像系统(例如，成像系统210)通信的处理器电路(例如，处理器电路1000和234)处接收在第一成像模态中的患者的解剖结构的第一图像。
[0092]
在步骤1120处，方法1100包括在与第二成像模态(例如，成像模态308)的第二成像系统(例如，成像系统220)通信的处理器电路处接收在第二成像模态中的患者的解剖结构的第二图像，第二成像模态不同于第一成像模态。
[0093]
在步骤1130处，方法1100包括在处理器电路处确定第一图像相对于患者的解剖结构的参考坐标系的第一姿态(例如，姿态310)。
[0094]
在步骤1140处，方法1100包括在处理器电路处确定第二图像相对于参考坐标系的第二姿态(例如，姿态320)。
[0095]
在步骤1150处，方法1100包括在处理器电路处基于第一姿态和第二姿态来确定第一图像与第二图像之间的共配准数据。
[0096]
在步骤1160处，方法1100包括将基于共配准数据与第二图像共配准的第一图像输出到与处理器电路通信的显示器(例如，显示器132和/或232)。
[0097]
在一些方面，患者的解剖结构包括器官，并且参考坐标系与器官的质心相关联。参考坐标系还可以与质心、血管分叉、器官的尖端或边界、韧带的部分和/或能够在跨大量患者群体的医学图像上再现性识别的任何其他方面相关联。
[0098]
在一些方面，步骤1130包括将第一预测网络(例如，深度学习网络240)应用于第一图像，第一预测网络是基于第一成像模态的图像的集合和相对于在第一成像模态的成像空间中的参考坐标系的对应姿态来训练的。步骤1140包括将第二预测网络(例如，深度学习网络250)应用于第二图像，第二预测网络是基于第二成像模态的图像的集合和相对于在第二成像模态的成像空间中的参考坐标系的对应姿态来训练的。
[0099]
在一些方面，第一姿态包括第一变换，该第一变换包括平移或旋转中的至少一项，并且第二姿态包括第二变换，该第二变换包括平移或旋转中的至少一项。步骤1150包括基于第一变换和第二变换来确定共配准变换。步骤1150还包括将共配准变换应用于第一图像以将第一图像变换到在第二成像模态的成像空间中的坐标系中。在一些方面，步骤1150还包括还基于共配准变换和第一图像与第二图像之间的次级多模态共配准(例如，多模态图像配准细化820)来确定共配准数据，其中，次级多模态共配准基于图像特征相似性度量或图像姿态预测中的至少一项。
[0100]
在一些方面，第一图像是2d图像切片或第一3d图像体积，并且其中，第二图像是第二3d图像体积。在一些方面，方法1100包括：根据第一3d图像体积来确定第一2d图像切片，
并且根据第二3d图像体积来确定第二2d图像切片。步骤1130包括确定第一2d图像切片相对于参考坐标系的第一姿态。步骤1140包括确定第二2d图像切片相对于参考坐标系的第二姿态。
[0101]
在一些方面，方法1100包括在显示器处显示具有第一指示符(例如，指示符912)的第一图像和具有第二指示符的第二图像，第一指示符和第二指示符(例如，指示符922)基于共配准数据指示患者的解剖结构的相同部分。
[0102]
本公开内容的各个方面能够提供若干益处。例如，与依赖于特征识别和相似性度量的基于特征的多模态图像配准相比，基于图像姿态的多模态图像配准可以具有较小的挑战性并且不易出错。使用用于在感兴趣解剖结构处的局部参考坐标系中的图像姿态回归的基于深度学习的框架能够提供准确的共配准结果，而不依赖于正在使用的特定成像模态。与基于特征的图像配准相比，使用深度学习还能够提供成本更低且耗时更少的系统性解决方案。另外，使用基于图像姿态的多模态图像配准将2d超声图像与3d成像模态(例如，mr或ct)的3d成像体积实时共配准能够在不使用外部跟踪系统的情况下自动提供正被使用的超声探头的空间位置信息。将基于图像姿态的多模态图像配准与2d超声成像实时地结合使用还能够从3d成像体积中自动识别与2d超声图像帧相关联的解剖信息。所公开的实施例能够提供以下临床益处，例如，提高诊断信心，更好地引导介入流程和/或更好的记录发现的能力。在这一点上，将来自术前mri的注释与来自术中超声的结果和发现进行比较的能力能够增强最终报告和/或增加对最终诊断的信心。
[0103]
本领域技术人员将认识到：能够以各种方式修改上述装置、系统和方法。因此，本领域普通技术人员将意识到：本公开内容涵盖的实施例不限于上述特定示例性实施例。在这一点上，虽然已经示出和描述了示例性实施例，但是在前述公开内容中可以预想到各种各样的修改、改变和替换。应当理解，可以对前述内容做出这样的变化，而不会脱离本公开内容的范围。因此，适当的是：以与本公开内容一致的方式广义地解释权利要求。