技术特征：
1.一种用于医学成像的系统，包括：处理器电路，其与第一成像模态的第一成像系统和不同于所述第一成像模态的第二成像模态的第二成像系统通信，其中，所述处理器电路被配置为：从所述第一成像系统接收在所述第一成像模态中的患者的解剖结构的第一图像；从所述第二成像系统接收在所述第二成像模态中的所述患者的解剖结构的第二图像；确定所述第一图像相对于所述患者的解剖结构的参考坐标系的第一姿态；确定所述第二图像相对于所述参考坐标系的第二姿态；基于所述第一姿态和所述第二姿态来确定所述第一图像与所述第二图像之间的共配准数据；并且将基于所述共配准数据与所述第二图像共配准的所述第一图像输出到与所述处理器电路通信的显示器。2.根据权利要求1所述的系统，其中，所述患者的解剖结构包括器官，并且其中，所述参考坐标系与所述器官的质心相关联。3.根据权利要求1所述的系统，其中：被配置为确定所述第一姿态的所述处理器电路被配置为：将第一预测网络应用于所述第一图像，所述第一预测网络是基于所述第一成像模态的图像的集合和相对于在所述第一成像模态的成像空间中的所述参考坐标系的对应姿态来训练的；并且被配置为确定所述第二姿态的所述处理器电路被配置为：将第二预测网络应用于所述第二图像，所述第二预测网络是基于所述第二成像模态的图像的集合和相对于在所述第二成像模态的成像空间中的所述参考坐标系的对应姿态来训练的。4.根据权利要求1所述的系统，其中，所述第一姿态包括第一变换，所述第一变换包括平移或旋转中的至少一项，其中，所述第二姿态包括第二变换，所述第二变换包括平移或旋转中的至少一项，并且其中，被配置为确定所述共配准数据的所述处理器电路被配置为：基于所述第一变换和所述第二变换来确定共配准变换；并且将所述共配准变换应用于所述第一图像以将所述第一图像变换到所述第二成像模态的成像空间中的坐标系中。5.根据权利要求4所述的系统，其中，被配置为确定所述共配准数据的所述处理器电路被配置为：还基于所述共配准变换和所述第一图像与所述第二图像之间的次级多模态共配准来确定所述共配准数据，其中，所述次级多模态共配准基于图像特征相似性度量或图像姿态预测中的至少一项。6.根据权利要求1所述的系统，其中，所述第一成像模态是超声。7.根据权利要求1所述的系统，其中，所述第一成像模态是以下各项中的一项：超声、磁共振(mr)、计算机断层摄影(ct)、x射线、正电子发射断层摄影(pet)、单光子发射断层摄影-ct(spect)或锥束ct(cbct)，并且其中，所述第二成像模态是以下各项中的不同的一项：所述超声、所述mr、所述ct、所述x射线、所述pet、所述spect或所述cbct。8.根据权利要求1所述的系统，还包括所述第一成像系统和所述第二成像系统。
9.根据权利要求1所述的系统，其中，所述第一图像是二维(2d)图像切片，并且其中，所述第二图像是三维(3d)图像体积。10.根据权利要求1所述的系统，其中，所述第一图像是第一三维(3d)图像体积，并且其中，所述第二图像是第二3d图像体积。11.根据权利要求10所述的系统，其中：所述处理器电路被配置为：根据所述第一3d图像体积来确定第一二维(2d)图像切片；根据所述第二3d图像体积来确定第二2d图像切片；被配置为确定所述第一姿态的所述处理器电路被配置为：确定所述第一2d图像切片相对于所述参考坐标系的所述第一姿态；并且被配置为确定所述第二姿态的所述处理器电路被配置为：确定所述第二2d图像切片相对于所述参考坐标系的所述第二姿态。12.根据权利要求1所述的系统，还包括：所述显示器，其被配置为显示具有第一指示符的第一图像和具有第二指示符的第二图像，所述第一指示符和所述第二指示符基于所述共配准数据来指示所述患者的解剖结构的相同部分。13.一种医学成像方法，包括：在与第一成像模态的第一成像系统通信的处理器电路处接收在所述第一成像模态中的患者的解剖结构的第一图像；在与第二成像模态的第二成像系统通信的所述处理器电路处接收在所述第二成像模态中的所述患者的解剖结构的第二图像；在所述处理器电路处确定所述第一图像相对于所述患者的解剖结构的参考坐标系的第一姿态；在所述处理器电路处确定所述第二图像相对于所述参考坐标系的第二姿态；在所述处理器电路处基于所述第一姿态和所述第二姿态来确定所述第一图像与所述第二图像之间的共配准数据；并且将基于所述共配准数据与所述第二图像共配准的所述第一图像输出到与所述处理器电路通信的显示器。14.根据权利要求13所述的方法，其中，所述患者的解剖结构包括器官，并且其中，所述参考坐标系与所述器官的质心相关联。15.根据权利要求13所述的方法，其中：确定所述第一姿态包括：将第一预测网络应用于所述第一图像，所述第一预测网络是基于所述第一成像模态的图像的集合和相对于在所述第一成像模态的成像空间中的所述参考坐标系的对应姿态来训练的；并且确定所述第二姿态包括：将第二预测网络应用于所述第二图像，所述第二预测网络是基于所述第二成像模态的图像的集合和相对于在所述第二成像模态的成像空间中的所述参考坐标系的对应姿态来训练的。
16.根据权利要求13所述的方法，其中，所述第一姿态包括第一变换，所述第一变换包括平移或旋转中的至少一项，其中，所述第二姿态包括第二变换，所述第二变换包括平移或旋转中的至少一项，并且其中，确定所述共配准数据包括：基于所述第一变换和所述第二变换来确定共配准变换；并且将所述共配准变换应用于所述第一图像以将所述第一图像变换到所述第二成像模态的成像空间中的坐标系中。17.根据权利要求16所述的方法，其中，确定所述共配准数据包括：还基于所述共配准变换和所述第一图像与所述第二图像之间的次级多模态共配准来确定所述共配准数据，其中，所述次级多模态共配准基于图像特征相似性度量或图像姿态预测中的至少一项。18.根据权利要求13所述的方法，其中，所述第一图像是二维(2d)图像切片或第一三维(3d)图像体积，并且其中，所述第二图像是第二3d图像体积。19.根据权利要求18所述的方法，还包括：根据所述第一3d图像体积来确定第一2d图像切片；根据所述第二3d图像体积来确定第二2d图像切片，其中，确定所述第一姿态包括：确定所述第一2d图像切片相对于所述参考坐标系的所述第一姿态，并且其中，确定所述第二姿态包括：确定所述第二2d图像切片相对于所述参考坐标系的所述第二姿态。20.根据权利要求13所述的方法，还包括：在所述显示器处显示具有第一指示符的第一图像和具有第二指示符的第二图像，所述第一指示符和所述第二指示符基于所述共配准数据来指示所述患者的解剖结构的相同部分。
技术总结
提供了多模态医学图像配准和相关联的设备、系统和方法。例如，医学成像方法能够包括：接收在第一成像模态中的患者的解剖结构的第一图像；接收在不同的第二成像模态中的所述患者的解剖结构的第二图像；确定所述第一图像相对于所述患者的解剖结构的参考坐标系的第一姿态；确定所述第二图像相对于所述参考坐标系的第二姿态；基于所述第一姿态和所述第二姿态来确定所述第一图像与所述第二图像之间的共配准数据；并且将基于所述共配准数据与所述第二图像共配准的所述第一图像输出到显示器。二图像共配准的所述第一图像输出到显示器。二图像共配准的所述第一图像输出到显示器。
技术研发人员：G
受保护的技术使用者：皇家飞利浦有限公司
技术研发日：2021.02.23
技术公布日：2022/10/17