专利名称：多模态体积图像的基于模型的融合的方法和系统的制作方法
技术领域：
本发明涉及多模态体积医学图像的融合，并且更特别地，涉及术前和术中体积医 学图像的基于模型的融合。
背景技术：
近年来，心脏治疗的主要趋势已朝向微创经导管过程，以减少利用传统外科技术 所涉及的风险。不是全胸骨切开术，而是器材和设备通过小切口被引入，通过脉管前进，并 且被定位来执行各种过程。在不需要直接接入和观察受影响的结构的情况下，这样的介入 通常在所谓的混合手术室(配备有高级成像装备的手术室)中被执行。使用这样的高级成 像装备，诸如经导管主动脉瓣置换术(TAV)的过程经由通过C-臂X射线和经食管超声心动 图系统所提供的实时术中图像来引导。
照惯例，医学图像分析领域已集中在根据成熟的诊断成像模态(例如，计算机断 层扫描(CT)和磁共振(MR))来构造患者特定的解剖模型，以帮助疾病分析和治疗计划。例 如，在瓣膜病管理的环境中，已提出用于在CT和/或MR图像中构建主动脉和二尖瓣的模型 的技术。然而，这样的技术还未被开发来应对术中图像的降低的质量和对比度特征。因此， 这样的技术的使用被限于术前决策。发明内容
本发明提供一种用于通过根据多个成像模态来联合地估计解剖模型而融合术前 和术中图像信息的方法和系统。术前和术中图像信息的融合允许高质量的患者特定的模型 被集成到手术室的成像环境中，以引导心脏介入。本发明的实施方式通过依靠机器学习技 术来实现稳健性(robustness)和效率，以驱动联合估计过程，由此利用了多个成像模态之 间的相似性。本发明的实施方式采用在概率估计框架之内的统计学解剖模型，以确保生理 适应的结果(physiological compliant result)。
在本发明的一个实施方式中，接收使用第一成像模态来捕获的第一图像，以及接 收使用第二成像模态来捕获的第二图像。根据第一和第二图像联合地估计模型和目标解剖 结构的模型以及变换。该模型表示目标解剖结构在第一图像中的模型，而变换将目标解剖 结构在第二图像中的模型投影到第一图像中的模型。第一和第二图像能够基于所估计的变 换进行融合。
参照如下详细描述和附图，本发明的这些以及其它优点对于本领域普通技术人员 将是显而易见的。
图1图示了依照本发明实施方式的用于多模态图像的基于模型的融合的方法；
图2图示了多模态图像的基于模型的融合的概观；
图3图示了依照本发明实施方式的用于联合地估计第一和第二多模态图像中的 模型和变换的方法；
图4图示了使用图3的方法来估计模型和变换的基于模型的融合方法；
图5图示了示例性的多模态图像融合结果；以及
图6是能够实施本发明的计算机的高级框图。
具体实施方式
本发明涉及多模态体积图像的基于模型的融合。本发明的实施方式可以被用于融 合多个成像模态中的图像信息，诸如融合计算机断层扫描(CT)、Dyna CT、超声心动图数据、 突光透视图像(fluoroscopic image)数据以及磁共振成像(MRI)中的图像信息。在此描述 本发明的实施方式，以给出对基于模型的图像融合方法的视觉理解。数字图像常常包括一 个或多个对象(或形状)的数字表示。对象的数字表示在此常常在标识和操纵对象方面来 描述。这样的操纵是在计算机系统的存储器或其他电路/硬件中完成的虚拟操纵。因此， 应理解的是，本发明的实施方式可以在计算机系统之内使用存储在该计算机系统之内的数 据来执行。
本发明的实施方式提供了一种用于多模态体积图像的基于模型的融合的方法。该 方法的益处包括完整性，通过利用被多个模态补充的信息；稳健性，通过利用来自多个模 态的冗余信息来减少估计不确定性；以及融合，通过获得多个模态的模型敏感的集成。本发 明的实施方式可以被应用于经导管瓣膜过程的术前和术中图像的基于模型的融合，但是本 发明并不限于此。
图1图示了依照本发明的实施方式的用于多模态图像的基于模型的融合的方法。 图1的方法在此被描述为融合术前和术中图像信息，但是本发明并不限于此。在步骤102， 接收第一医学图像。该第一医学图像通过使用第一成像模态来捕获。该第一医学图像可以 直接从图像捕获设备中接收到，诸如从CT扫描仪接收到。还可能通过从计算机系统的存储 器或内存中加载所存储的医学图像而接收到第一医学图像。在有利的实施方式中，第一医 学图像可以是患者的术前体积(3D)图像。例如，第一医学图像可以是术前CT或MR图像。
在步骤104，接收第二医学图像。该第二医学图像通过使用第二成像模态来捕获。 该第二医学图像可以直接从图像捕获设备中接收到，诸如从C-臂图像捕获设备接收到。还 可能通过从计算机系统的存储器或内存中加载所存储的医学图像而接收到第二医学图像。 在有利的实施方式中，第二医学图像可以是患者的术中体积(3D)图像。例如，第二第一医 学图像可以是在诸如经导管主动瓣膜置换术之类的手术期间从图像捕获设备接收到的术 中C-臂CT图像或经食管超声心动图(TEE)图像。
在步骤106，在第一和第二图像中联合地估计目标解剖结构的解剖模型。第一和 第二图像中的联合地估计的解剖模型可被表达为模型和变换。模型对应于该目标解剖结构 在第一图像中的经过估计的解剖模型，而变换将第二图像中的经过估计的解剖模型投影到 第一图像中的经过估计的解剖模型。在将术前3D图像和术中3D图像融合的情况下，该步 骤联合地估计目标结构的术前和术中模型，以便提供术前和术中图像信息的模型敏感的集成。
图2图示了多模态图像的基于模型的融合的概观。图2的实例联合地估计了术前和术中图像数据中的主动脉瓣模型。如图2中所示，以统计学主动脉瓣模型202开始，目的是根据体积数据集I1和I2估计3D解剖学的患者特定模型M和变换Φ，其中I1是术前图像 204以及I2是术中图像206，所述变换Φ将术中模型M2映射到术前模型Mp在图2中，联合地估计的患者特定模型M在所融合的图像208中被示出。最优的联合地估计的患者特定模型和变换可以被表达为
权利要求
1.一种用于多模态图像的融合的方法，其包括接收使用第一成像模态来捕获的第一图像；接收使用第二成像模态来捕获的第二图像；以及根据第一和第二图像联合地估计模型和目标解剖结构的模型以及估计变换。
2.权利要求1的方法，其中，目标解剖结构的模型包括目标解剖结构在第一图像中的第一模型，以及变换包括将目标解剖结构在第二图像中的第二模型投影到目标解剖结构的第一模型的变换。
3.权利要求2的方法，其中，变换包括仿射变换和非线性卷绕变换。
4.权利要求1的方法,进一步包括通过使用变换而根据第一和第二图像生成被融合的图像。
5.权利要求1的方法，其中，根据第一和第二图像联合地估计模型和目标解剖结构的模型以及估计变换的步骤包括在第一和第二图像中的每个图像中独立地检测界标；使用第一和第二图像中所检测到的界标来估计最初的变换；基于在第一图像中检测到的界标初始化第一图像中的模型；使用最初的变换初始化第二图像中的所投影的模型；以及至少基于针对模型和所投影的模型的相对应的点所检测到的联合概率更新模型和变换。
6.权利要求5的方法，其中，至少基于针对模型和所投影的模型的相对应的点所检测到的联合概率更新模型和变换的步骤包括基于针对模型和所投影的模型上的每个点所计算的相应单模态概率和针对模型和所投影的模型上的相对应的点所计算的联合概率，更新模型和所投影的模型的点；以及基于目标解剖结构的所学习到的统计学形状模型，正则化模型和变换。
7.权利要求6的方法，其中，基于针对模型和所投影的模型上的每个点所计算的相应单模态概率和针对模型和所投影的模型上的相对应的点所计算的联合概率来更新模型和所投影的模型的点的步骤包括对于模型的每个点，沿着垂直于模型上点的线在第一图像中采集多个候选，以及沿着垂直于所投影的模型上的相对应的点的线在第二图像中采集多个候选；使用相应的经过训练的检测器，计算针对第一图像中的多个候选中的每个和第二图像中的多个候选中的每个的单模态概率；使用经过训练的推进分类器来计算针对第一和第二图像中的每个可能的候选对的联合概率；以及通过乘以第一图像中的候选的单模态概率、第二图像中的候选的单模态概率以及候选对的联合概率，计算针对第一和第二图像中的每个可能候选对的总概率；以及选择第一和第二图像中具有最高总概率的候选对。
8.权利要求6的方法，其中，变换包括仿射变换和非线性卷绕变换，以及基于目标解剖结构的所学习到的统计学形状模型而正则化模型和变换的步骤包括基于所学习到的统计学形状模型，计算模型和变换的后验概率；通过将模型投影到所学习到的统计学形状模型的主成分分析(PCA)形状空间来更新模型，以改进后验概率；基于第一图像中的更新过的模型和第二图像中的所投影的模型，更新仿射变换和非线性卷绕变换。
9.权利要求6的方法，其中，至少基于针对模型和所投影的模型的相对应的点所检测到的联合概率来更新模型和变换的步骤进一步包括重复更新模型和所投影的模型的点以及正则化模型和变换的步骤，直到模型和变换收敛。
10.权利要求1的方法，其中，第一图像是术前图像，而第二图像是术中图像。
11.权利要求10的方法，其中，术前图像是计算机断层扫描(CT)图像，以及术中图像是 C-臂CT图像和经食管超声心动图(TEE)图像中的一个。
12.权利要求1的方法，其中，目标解剖结构是主动脉瓣。
13.一种用于多模态图像的融合的设备，其包括用于接收使用第一成像模态来捕获的第一图像的装置；用于接收使用第二成像模态来捕获的第二图像的装置；以及用于根据第一和第二图像联合地估计模型和目标解剖结构的模型以及估计变换的装置。
14.权利要求13的设备，其中，目标解剖结构的模型包括目标解剖结构在第一图像中的第一模型，以及变换包括将目标解剖结构在第二图像中的第二模型投影到目标解剖结构的第一模型的变换。
15.权利要求14的设备，其中，变换包括仿射变换和非线性卷绕变换。
16.权利要求13的设备，进一步包括用于通过使用变换而根据第一和第二图像生成被融合的图像的装置。
17.权利要求13的设备，其中，用于根据第一和第二图像联合地估计模型和目标解剖结构的模型以及估计变换的装置包括用于在第一和第二图像中的每个图像中独立地检测界标的装置；用于使用在第一和第二图像中检测到的界标来估计最初的变换的装置；用于基于在第一图像中检测到的界标来初始化第一图像中的模型的装置；用于使用最初的变换初始化第二图像中的所投射的模型的装置；以及用于至少基于针对模型和所投影的模型的相对应的点检测到的联合概率来更新模型和变换的装置。
18.权利要求17的设备，其中，用于至少基于针对模型和所投影的模型的相对应的点检测到的联合概率来更新模型和变换的装置包括用于基于针对模型和所投影的模型上的每个点所计算的相应单模态概率和针对模型和所投影的模型上的相对应的点所计算的联合概率来更新模型和所投影的模型的点的装置；以及用于基于目标解剖结构的所学习到的统计学形状模型来正则化模型和变换的装置。
19.权利要求18的设备，其中，用于基于针对模型和所投影的模型上的每个点所计算的相应单模态概率和针对模型和所投影的模型上的相对应的点所计算的联合概率来更新模型和所投影的模型的点的装置包括针对模型的每个点，用于沿着垂直于模型上的点的线在第一图像中采集多个候选以及沿着垂直于所投影的模型上的相对应的点的线在第二图像中采集多个候选的装置；用于使用相应的经过训练的检测器来计算针对第一图像中的多个候选中的每个和第二图像中的多个候选中的每个的单模态概率的装置；用于使用经过训练的推进分类器来计算针对第一和第二图像中的每个可能候选对的联合概率的装置；以及用于通过乘以第一图像中的候选的单模态概率、第二图像中的候选的单模态概率以及候选对的联合概率来计算第一和第二图像中的每个可能候选对的总概率的装置；以及用于选择第一和第二图像中具有最高总概率的候选对的装置。
20.权利要求18的设备，其中，变换包括仿射变换和非线性卷绕变换，以及用于基于目标解剖结构的所学习到的统计学形状模型来正则化模型和变换的装置包括用于基于所学习到的统计学形状模型来计算模型和变换的后验概率的装置；用于通过将模型投影到所学习到的统计学形状模型的主成分分析(PCA)形状空间来更新模型以改进后验概率的装置；基于第一图像中的更新过的模型和第二图像中的所投影的模型，更新仿射变换和非线性卷绕变换。
21.一种非瞬时性计算机可读介质，其利用用于多模态图像的融合的计算机可执行指令来编码，所述计算机可执行指令限定了包括如下步骤的方法接收使用第一成像模态来捕获的第一图像；接收使用第二成像模态来捕获的第二图像；以及根据第一和第二图像联合地估计模型和目标解剖结构的模型以及估计变换。
22.权利要求21的非瞬时性计算机可读介质，其中，目标解剖结构的模型包括目标解剖结构在第一图像中的第一模型，以及变换包括将目标解剖结构在第二图像中的第二模型投影到目标解剖结构的第一模型的变换。
23.权利要求22的非瞬时性计算机可读介质，其中，变换包括仿射变换和非线性卷绕变换。
24.权利要求21的非瞬时性计算机可读介质，其中，所述方法进一步包括通过使用变换而根据第一和第二图像来生成被融合的图像。
25.权利要求21的非瞬时性计算机可读介质，其中，根据第一和第二图像来联合地估计模型和目标解剖结构的模型以及估计变换的步骤包括在第一和第二图像中的每个图像中独立地检测界标；使用在第一和第二图像中检测到的界标来估计最初的变换；基于在第一图像中检测到的界标来初始化第一图像中的模型；使用最初的变换来初始化第二图像中的所投影的模型；以及至少基于针对模型和所投影的模型的相对应的点所检测到的联合概率来更新模型和变换。
26.权利要求25的非瞬时性计算机可读介质，其中，至少基于针对模型和所投影的模型的相对应的点检测到的联合概率来更新模型和变换的步骤包括基于针对模型和所投影的模型上的每个点所计算的相应单模态概率和针对模型和所投影的模型上的相对应的点所计算的联合概率，更新模型和所投影的模型的点；以及基于目标解剖结构的所学习到的统计学形状模型，正则化模型和变换。
27.权利要求26的非瞬时性计算机可读介质，其中，基于针对模型和所投影的模型上的每个点所计算的相应单模态概率和针对模型和所投影的模型上的相对应的点所计算的联合概率来更新模型和所投影的模型的点的步骤包括针对模型的每个点，沿着垂直于模型上的点的线在第一图像中采集多个候选，以及沿着垂直于所投影的模型上的相对应的点的线在第二图像中采集多个候选；使用相应的经过训练的检测器，计算针对第一图像中的多个候选的每个和第二图像中的多个候选的每个的单模态概率；使用经过训练的推进分类器来计算第一和第二图像中的每个可能候选对的联合概率;以及通过乘以第一图像中的候选的单模态概率、第二图像中的候选的单模态概率以及候选对的联合概率，计算针对第一和第二图像中的每个可能候选对的总概率；以及选择第一和第二图像中具有最高总概率的候选对。
28.权利要求26的非瞬时性计算机可读介质，其中，变换包括仿射变换和非线性卷绕变换，并且基于目标解剖结构的所学习到的统计学形状模型来正则化模型和变换的步骤包括基于所学习到的统计学形状模型，计算模型和变换的后验概率；通过将模型投影到所学习到的统计学形状模型的主成分分析(PCA)形状空间来更新模型，以改进后验概率；基于第一图像中的更新过的模型和第二图像中的所投影的模型，更新仿射变换和非线性卷绕变换。
29.权利要求26的非瞬时性计算机可读介质，其中，至少基于针对模型和所投影的模型的相对应的点所检测到的联合概率来更新模型和变换的步骤进一步包括重复更新模型和所投影的模型的点以及正则化模型和变换的步骤，直到模型和变换收敛。
30.权利要求21的非瞬时性计算机可读介质，其中，第一图像是术前图像，而第二图像是术中图像。
31.权利要求30的非瞬时性计算机可读介质，其中，术前图像是计算机断层扫描(CT) 图像，以及术中图像是C-臂CT图像和经食管超声心动图(TEE)图像中的一个。
32.权利要求21的方法，其中，目标解剖结构是主动脉瓣。
全文摘要
本发明涉及多模态体积图像的基于模型的融合的方法和系统。公开了一种用于多模态体积图像的融合的方法和系统。接收使用第一成像模态来捕获的第一图像。接收使用第二成像模态来捕获的第二图像。根据第一和第二图像联合地估计模型和目标解剖结构的模型以及变换。该模型表示目标解剖结构在第一图像中的模型，并且变换将目标解剖结构在第二图像中的模型投影到第一图像中的模型。第一和第二图像能够基于经过估计的变换来融合。
文档编号G06K9/62GK102999938SQ201210120120
公开日2013年3月27日 申请日期2012年3月9日 优先权日2011年3月9日
发明者S·格尔比克, R·I·约纳塞克, 王洋, B·乔治斯库, T·曼西, D·科马尼丘, 郑冶枫, 周少华, M·约翰, J·贝泽 申请人:西门子公司