解剖结构的基于模型的分割的制作方法
【专利摘要】提供了获得不同医学图像(210)的系统和方法，所述不同医学图像示出患者的解剖结构，并且已经由不同医学成像模态和/或不同医学成像协议所采集。所述系统被配置用于：将第一可变形模型拟合到在第一医学图像中的解剖结构(220A)；将第二可变形模型拟合到在第二医学图像中的解剖结构(220B)；将第一拟合模型和第二拟合模型彼此对准(230)；并且随后通过利用所述第二拟合模型的在所述第一拟合模型中缺失的部分来增大所述第一拟合模型；或者基于已经获得较好拟合的所述第二拟合模型的部分来调节或替换所述第一拟合模型的对应部分，来将所述第一拟合模型和所述第二拟合模型融合，以获得融合模型(240)。融合模型表示解剖结构的多模态/多协议分割，并且相比于已知模型向用户提供对解剖结构的更全面的理解。
【专利说明】
解剖结构的基于模型的分割
技术领域
[0001]本发明涉及用于将可变形模型拟合到医学图像中的解剖结构以获得解剖结构的分割的系统和方法。本发明还涉及包括所述系统的工作站和成像装置，并涉及包括用于令处理器系统执行所述方法的指令的计算机程序产品。
【背景技术】
[0002]对医学图像中的各种解剖结构的鲁棒自动分割是在改进临床工作流程中的关键使能器。此处，术语分割是指通过例如对解剖结构的边界的描绘或者通过对由边界包围的体素的标记而对医学图像中的解剖结构的识别。一旦已经执行这样的分割，就能够提取临床参数，例如在心脏结构的情况下，心室质量、射血分数以及壁厚度。因此，自动分割能够显著减少扫描到诊断时间，并且因此帮助临床医师建立更有效的患者管理。
[0003]已知使用可变形模型来分割医学图像中的解剖结构。这种类型的分割也被称为基于模型的分割。可以由模型数据来定义可变形模型。具体地，模型数据可以定义解剖结构的几何结构，例如以多室三角网格的形式。可以通过将仿射变换分配到这样的可变形模型的每个部分来有效地考虑患者间和相位间形状变异性。仿射变换覆盖平移、旋转、沿不同坐标轴的缩放以及剪切。此外，可以通过对在可变形模型的不同部分之间的过渡处的仿射变换的内插来维持网格规律性。应注意，这样的可变形模型也被称为平均形状模型。
[0004]将可变形模型拟合或者应用到医学图像的图像数据(也被称为网格适应)可以涉及对能量函数进行优化，所述能量函数可以基于外部能量项和内部能量项，所述外部能量项帮助使可变形模型适应于图像数据，所述内部能量项维持可变形模型的刚度。应该注意，这样的外部能量项可以利用在所谓的模拟搜索期间训练的边界检测函数，并且可以对针对不同医学成像模态和/或协议固有的不同图像特性进行建模。
[0005]上面描述的类型的可变形模型本身是已知的，将这样的模型应用到医学图像中的解剖结构的方法同样也是已知的。
[0006]例如，0.Ecabert等人的题为“Automatic Model-based Segmentat1n of theHeart in CT Images”(IEEE Transact1ns on Medical Imaging 2008，27(9)，pp.1189-1201)的出版物描述了一种用于从三维(3D)计算机断层摄影(CT)图像对心脏(四个腔、心肌以及大血管)的自动分割的基于模型的方法。此处，执行模型适应，逐渐增加允许的变形的自由度，以改进收敛性以及分割准确性。首先使用广义的霍夫变换的3D实施方式将心脏定位在图像中。通过利用全局相似性变换将模型匹配到图像来校正姿势未对准。然后通过将仿射变换分配到模型的每个解剖区域来解决多室网格的复杂初始化。最后，执行可变形适应以准确地匹配患者的解剖体的边界。
【发明内容】
[0007]解剖建模的问题在于如通过可变形模型的拟合获得的对解剖结构的分割向用户提供了对解剖结构不够全面的理解。
[0008]获得向用户提供对解剖结构的更全面的理解的对解剖结构的分割将是有利的。
[0009]为了更好地解决该问题，本发明的第一方面提供了一种用于将可变形模型拟合到医学图像中的解剖结构以获得所述解剖结构的分割的系统，包括:
[0010]-图像接口，其用于获得患者的第一医学图像和所述患者的第二医学图像，两幅医学图像示出所述解剖结构，并且已经由不同医学成像模态或不同医学成像协议所采集，从而在两幅医学图像中建立对所述解剖结构的不同视觉表示；
[0011 ]-处理子系统，其被配置用于:
[0012]i)将第一可变形模型拟合到在所述第一医学图像中的所述解剖结构，从而获得第一拟合模型；
[0013]ii)将第二可变形模型拟合到在所述第二医学图像中的所述解剖结构，从而获得第二拟合模型；其中，所述第二可变形模型不同于所述第一可变形模型，以适应两幅医学图像中的所述解剖结构的所述不同视觉表示；
[0014]iii)将所述第一拟合模型和所述第二拟合模型彼此对准，并且
[0015]iv)在所述彼此对准之后，将所述第一拟合模型和所述第二拟合模型融合以获得融合模型。
[0016]本发明的又一方面提供了一种包括所述系统的工作站或成像装置。
[0017]本发明的又一方面提供了一种用于将可变形模型拟合到医学图像中的解剖结构以获得所述解剖结构的分割的方法，包括:
[0018]-获得患者的第一医学图像和所述患者的第二医学图像，两幅医学图像示出所述解剖结构，并且已经由不同医学成像模态或不同医学成像协议所采集，从而在两幅医学图像中建立对所述解剖结构的不同视觉表示；
[0019]-将第一可变形模型拟合到在所述第一医学图像中的所述解剖结构，从而获得第一拟合模型；
[0020]-将第二可变形模型拟合到在所述第二医学图像中的所述解剖结构，从而获得第二拟合模型；其中，所述第二可变形模型不同于所述第一可变形模型，以适应两幅医学图像中的所述解剖结构的所述不同视觉表示；
[0021 ]-将所述第一拟合模型和所述第二拟合模型彼此对准，并且
[0022]-在所述彼此对准之后，将所述第一拟合模型和所述第二拟合模型融合以获得融合模型。
[0023]上述测量涉及获得患者的至少两幅医学图像，其中每幅示出诸如器官、器官的部分等的解剖结构。由每幅医学图像的图像数据来表示解剖结构。所述至少两幅医学图像，之后还称作“两者”医学图像，是根据不同医学成像模态和/或不同医学成像协议获得的。此处，术语“医学成像模态”指的是成像的类型，包括但不限于，标准(旋转)X射线成像、计算机断层摄影(CT)、磁共振(MR)、超声(US)、正电子发射断层摄影(PET)、单光子发射计算机断层摄影(SPECT)以及核医学(匪)。医学成像模态的另一术语是医学采集模态。采用不同医学成像协议的医学成像还被称作多协议或多参数成像。这种多协议成像的范例是使用不同对比剂和/或示踪物，以突出显示在所采集的医学图像中的特定解剖结构。
[0024]因此，第一医学图像可以是CT图像，并且第二医学图像可以是MR图像。另一范例是第一医学图像可以是静态CT图像，并且第二医学图像可以是多相CT图像。由于对不同成像模式和/或成像协议的使用，因此解剖结构在两幅医学图像中被不同地表示。例如，解剖信息可以在一幅医学图像中良好地可见，而在另一医学图像中较少或不可见。
[0025]不同可变形模型被提供用于拟合各自的医学图像中的解剖结构。可变形模型不同在于它们考虑解剖结构在每幅各自的医学图像中具有不同视觉表示。这种不同可以涉及例如不同网格拓扑、不同地定义的能量项等。这样一来，每个可变形模型可以考虑在由各自的成像模态和/或成像协议采集时的解剖结构的视觉性质。例如，第一可变形模型可以已经被生成用于拟合在CT图像中的心脏的视觉表示，而第二可变形模型可以已经被生成用于拟合在MR图像中的心脏。
[0026]将可变形模型应用到在各自医学图像中的解剖结构。结果，获得了第一拟合模型，其分割在第一医学图像中的解剖结构，并且获得了第二拟合模型，其分割在第二医学图像中的解剖结构。注意，由于可变形模型中的不同以及在两幅医学图像中的解剖结构的视觉表现中的不同，两个拟合模型在形状上通常不同。
[0027]将拟合模型彼此对准。作为彼此对准的结果，两个拟合模型的公共定位的部分对应于解剖结构的相同部分。注意，这种对准可以基于在拟合模型之间的共同性的匹配，即使用基于模型的配准。备选地或额外地，对准可以基于在第一医学图像与第二医学图像之间的共同性的匹配，即使用基于图像的配准。
[0028]在彼此对准之后，融合拟合模型。结果，获得表示拟合模型的融合的结果的融合模型。这里，术语“融合”指的是来自拟合模型的信息，尤其是形状信息被组合从而获得融合模型。非限制性范例可以是融合模型的不同部分可以源自于第一拟合模型或第二拟合模型。
[0029]发明人已经认识到，现今许多临床决策并不再基于单个模态或协议。相反地，研究不同成像模态和/或成像协议的图像数据以接收对解剖结构，诸如其形态学和功能的更全面的理解。通过在被拟合到从不同成像模态和/或成像协议获得的医学图像之后融合可变形模型，想要获得对解剖结构的更全面的理解的临床医师不需要再参考不同医学工作站的分割结果。相反地，融合模型表示解剖结构的多模态和/或多协议分割。有利地，不需要脑力地将分别获得的建模结果融合到单个模型中。有利地，不需要针对每个模态分别执行测量，与模型的交互等。相反地，这种动作可以被应用到(单个)融合模型。
[0030]US 2012/0230568 Al描述了多模态体积图像的基于模型的融合。然而，这与本发明不同，因为US 2012/0230568 Al使用在从多模态图像估计的模型之间的不同，以获得用于使得不同图像能够融合为单个图像的变换。
[0031]任选地，所述处理子系统配置用于通过以下方式来融合第一拟合模型和第二拟合丰旲型:
[0032]i)利用所述第二拟合模型的在所述第一拟合模型中缺失的部分来增大所述第一拟合模型;或者
[0033]ii)基于已经获得较好拟合的所述第二拟合模型的部分来调节或替换所述第一拟合模型的对应部分。
[0034]通过利用第二拟合模型的部分增大或替换第一拟合模型的部分，混合融合模型被获得，即将不同拟合模型的部分合并。通过基于第二拟合模型的部分来调节第一拟合模型的对应部分，使用不同拟合模型的模型信息来修改第一拟合模型，从而获得融合模型。这些选择很适于获得表示解剖结构的多模态分割的融合模型。注意，为了评价这种更好的拟合，处理子系统可以利用拟合优度函数或类似类型的质量评价函数。
[0035]任选地，所述系统还包括可视化子系统，所述可视化子系统用于将所述融合模型可视化。所述可视化子系统允许向用户(例如，临床医师)可视化融合模型。例如，可视化子系统可以生成显示数据，所述显示数据当在显示器上显示时，显示融合模型。注意，所述显示器可以但不必是可视化子系统的部分。
[0036]任选地，所述可视化子系统被配置用于通过将所述融合模型叠加在显示的图像上来将所述融合模型可视化，所显示的图像是以下项的组中的至少一个:所述第一医学图像、所述第二医学图像以及通过所述第一医学图像和所述第二医学图像的图像融合获得的融合医学图像。通过将融合模型叠加在所显示的图像上，使得用户能够获得对解剖结构的更全面的理解。在这个方面，应注意可以基于由融合模型提供的分割来执行对第一医学图像和第二医学图像的图像融合。
[0037]任选地，所述可视化子系统配置用于基于所述融合模型来处理所显示的图像。由于融合模型表示解剖结构的多模态和/或多协议分割(其被视为比拟合模型中的任意个体地更好地对解剖结构进行建模)，因此所述融合模型可以有利地用在进一步处理所显示的图像中。例如，可以基于由融合模型提供的分割来应用图像增强。另一范例是融合模型可以用于更好地分割在所显示的图像中的解剖结构。
[0038]任选地，所述可视化子系统被配置用于通过基于从所述融合模型导出的解剖信息修剪所显示的图像来处理所显示的图像。通过基于这种解剖信息修剪所显示的图像，能够从显示中省略不必要的图像数据。有利地，解释所显示的图像的认知负担被减少。
[0039]任选地，所述处理子系统被配置用于确定所述第一拟合模型与所述第二拟合模型之间的差异，其中，所述可视化子系统被配置用于与所述融合模型视觉相关地将所述差异可视化。这种差异可以是临床相关的，并因此被可视化。通过与融合模型视觉相关地将所述差异可视化，解释差异的认知负担被减少。
[0040]任选地，所述可视化子系统被配置用于通过对所述融合模型的显示进行视觉编码来将所述差异可视化。此处，术语“视觉编码”指的是调整融合模型的显示以将所述差异可视化。例如，可以使用对融合模型的颜色编码来视觉指示所述差异的位置或幅度。
[0041]任选地，所述第一医学图像由时间序列的图像构成，其中，所述第一可变形模型被布置用于对在所述时间序列的图像上的所述解剖结构中的变化进行建模，并且其中，所述可视化子系统被配置用于在所述融合模型的所述可视化中视觉地表示所述变化。例如，第一医学图像可以是四维(4D)图像，其包括在不同时间(例如，不同心脏相位)处采集的一系列三维(3D)图像。通过确定跨所述系列的在解剖结构中的变化，并在融合模型中将所述变化可视化，用户能够方便地(即，在很少的认知负担的情况下)获得对解剖结构以及在解剖结构中的变化的全面概览。
[0042]任选地，所述可视化子系统配置用于将所述融合模型动画化以视觉地表示所述变化。这种将融合模型动画化很适于将在解剖结构中的变化可视化。
[0043]任选地，所述系统还包括用户交互子系统，所述用户交互子系统用于使得用户能够与所述融合模型交互。例如，用户可以使用指针来选择、拖曳或以其它方式与融合模型(的部分)交互。
[0044]任选地，，所述用户交互子系统被配置用于基于所述用户与所述融合模型的部分的交互，执行关于以下项的组中的一个的对应部分的动作:所的述第一医学图像、所述第二医学图像、所述第一拟合模型以及所述第二拟合模型。因此，基于用户与融合模型的对应部分的交互，关于任意医学图像的部分(即，关于其中的位置)，或任意拟合模型的部分，来执行动作。例如，用户可以将注释添加到融合模型中的所选的部分上，这使得注释被添加到与融合模型的部分对应(即，表示类似内容)的第一医学图像的位置上。
[0045]总之，提供了一种获得不同医学图像的系统，所述不同医学图像示出患者的解剖结构并且已经由不同医学成像模态和/或不同医学成像协议所采集。所述系统被配置用于:将第一可变形模型拟合到在第一医学图像中的解剖结构，将第二可变形模型拟合到在第二医学图像中的解剖结构，将第一拟合模型和第二拟合模型彼此对准，并且随后将第一拟合模型与第二拟合模型融合以获得融合模型。融合模型表示解剖结构的多模态/多协议分割，并且相比于已知模型为用户提供对解剖结构的更全面的理解。本领域技术人员将认识到，可以以任何认为有用的方式将本发明的上述实施例、实施方式和/或方面中的两个或更多个进行组合。
[0046]对应于所描述的对方法的修改和变型的系统和/或计算机程序产品的修改和变型能够由本领域技术人员在本说明书的基础上来执行。
[0047]本领域技术人员将认识到，本发明可以应用于由各种采集模态采集的多维图像数据，例如，二维(2-D)、三维(3-D)或四维(4-D)图像，所述各种采集模态诸如但不限于标准X射线成像、计算机断层摄影(CT)、磁共振成像(MRI)、超声(US)、正电子发射断层摄影(PET)、单光子发射计算机断层摄影(SPECT)和核医学(NM)。
[0048]本发明在独立权利要求中被限定。有利的实施例在从属权利要求中被限定。
【附图说明】
[0049]参考下文描述的实施例，本发明的这些和其他方面显而易见并得到阐明。在附图中，
[0050]图1示出了用于通过将不同可变形模型拟合到不同医学图像并且随后融合所拟合的模型来获得融合模型的系统，其中，所述系统还包括用于将融合模型可视化的可视化子系统和用于使得用户能够与融合模型交互的用户交互子系统；
[0051]图2示出了用于获得融合模型的方法；
[0052]图3示出了包括用于令处理器系统执行所述方法的指令的计算机程序产品；
[0053]图4示出了本发明实施例的流程图；并且
[0054]图5A示出了采取专用于静态CT的具有平坦环形平面的高分辨率全心脏模型的形式的第一拟合模型的范例；
[0055]图5B示出了采取专用于4DTEE的具有动态主动脉瓣模型的中等分辨率心脏模型的形式的第二拟合模型的范例；以及
[0056]图5C示出了通过融合第一拟合模型和第二拟合模型获得的采取具有动态主动脉瓣模型的高分辨率全心脏模型的形式的融合模型。
【具体实施方式】
[0057]图1示出了系统100，其用于将可变形模型拟合到医学图像中的解剖结构以获得解剖结构的分割。系统100包括图像接口 120，所述图像接口用于获得患者的第一医学图像以及患者的第二医学图像。两幅医学图像示出了解剖结构，并且已经由不同医学成像模态或医学成像协议所采集，从而在两幅医学图像中建立对解剖结构的不同视觉表示。图1示出了图像接口 120，所述图像接口从诸如影像归档和通信系统(PACS)的外部数据库040获得采取图像数据042的形式的医学图像。这样一来，图像接口 120可以由所谓的DICOM接口构成。然而，图像接口 120还可以采取任何其它适当形式，诸如存储器或存储设备接口、网络接口等。
[0058]系统100还包括处理子系统140。处理子系统140被配置用于在系统100的操作期间，将第一可变形模型拟合到第一医学图像中的解剖结构，从而获得第一拟合模型;并且将第二可变形模型拟合到第二医学图像中的解剖结构，从而获得第二拟合模型。这样的可变形模型可以以模型数据的形式而对处理子系统140可用，所述模型数据例如定义网格拓扑、用于将网格拟合到图像数据的一个或多个能量项等。处理子系统140还被布置用于将第一拟合模型和第二拟合模型彼此对准，并且在所述彼此对准之后，将第一拟合模型和第二拟合模型融合以获得融合模型。然后，处理子系统140可以例如通过输出定义融合模型的模型数据142而使得融合模型可用。
[0059]根据本发明的任选方面，图1示出了系统100还包括可视化子系统160，所述可视化子系统用于将融合模型可视化。出于该目的，可视化子系统160被示出为从处理子系统140接收模型数据142，并将显示数据162提供给显示器010。可视化子系统160可以通过将融合模型叠加在显示的图像上来将融合模型可视化。所显示的图像可以由例如第一医学图像、第二医学图像或通过第一医学图像和第二医学图像的图像融合获得的融合医学图像构成。出于该目的，可视化子系统160可以从图像接口 120接收图像数据042。
[0060]根据本发明的另外的任选方面，图1示出了系统100还包括用户交互子系统180，所述用户交互子系统用于使得用户能够与融合模型交互。例如，用户可以操作用户输入设备020，诸如计算机鼠标、键盘、触摸屏等，从而将表示用户命令182的用户输入022提供给系统100。当接收到这样的用户命令182时，处理子系统140可以基于用户与融合模型的对应部分交互，执行关于第一医学图像、第二医学图像和/或第一拟合模型和第二拟合模型的部分的动作。
[0061]应注意，将参考图4和图5A、5B和5C进一步描述系统100的操作，包括其各个任选方面。
[0062]图2示出了用于将可变形模型拟合到医学图像中的解剖结构以获得解剖结构的分割的方法200。所述方法200在题为“获得医学图像”的步骤中包括获得210患者的第一医学图像和患者的第二医学图像，两幅医学图像示出解剖结构，并且已经由不同医学成像模态或医学成像协议所采集，从而在两幅医学图像中建立对解剖结构的不同视觉表示。方法200在题为“将第一可变形模型拟合到第一医学图像”的步骤中还包括将第一可变形模型拟合220A到第一医学图像中的解剖结构，从而获得第一拟合模型。方法200在题为“将第二可变形模型拟合到第二医学图像”的步骤中还包括将第二可变形模型拟合220B到第二医学图像中的解剖结构，从而获得第二拟合模型；其中，第二可变形模型不同于第一可变形模型，以适应在两幅医学图像中的解剖结构的所述不同视觉表示。方法200在题为“将拟合模型彼此对准”的步骤中还包括将第一拟合模型和第二拟合模型彼此对准230。方法200在题为“融合拟合模型”的步骤中还包括在所述彼此对准之后，将第一拟合模型和第二拟合模型融合240以获得融合模型。
[0063]应注意，上述步骤可以以任何合适的顺序来执行。例如，可以同时或顺序执行拟合220A第一可变形模型和拟合220B第二可变形模型的步骤。此外，可以通过对准医学图像本身来执行将第一拟合模型和第二拟合模型彼此对准230的步骤，这可以在拟合220A第一可变形模型和拟合220B第二可变形模型之前、期间或之后执行。
[0064]图3示出了计算机程序产品，其包括用于令处理器系统执行图2的方法的指令，SP，包括计算机程序。计算机程序可以以非暂态方式被包括于计算机可读介质260中，例如，作为一系列250机器可读物理标记和/或作为一系列具有不同电气(例如，磁性)或光学性质或值的元件。
[0065]图1的系统和图2的方法的操作，包括它们的各个任选方面，可以更详细地被解释如下。
[0066]图4示出了本发明的实施例的流程图。实施例图示了其中可以有利地应用本发明的两个心脏临床应用情形，S卩，关于3D多切片CT(MSCT)数据集的2D/3D/4D超声心动图数据集的查看和分析。此处，术语“数据集”指的是表示至少一幅医学图像的图像数据。因此，将可变形模型拟合到数据集指的是将可变形模型拟合到数据集的至少一幅医学图像。注意，在数据集表示时间序列或其他序列的医学图像(例如，示出跨不同心脏相位的心脏)的情况下，将可变形模型拟合到数据集可以包括将可变形模型拟合到每幅医学图像，从而获得在不同心脏相位中的每个中的心脏的分割。当例如超声心动图数据集是4D数据集时，情况可以如此。
[0067]首先，在步骤310A中，例如从心脏MSCT血管造影采集参考数据集。在另外的步骤320A中，可以使用专用CT模型，S卩，通过将CT模型拟合到参考数据集，来分割参考数据集。结果，可以获得个性化CT特异性模型，即由网格表示的第一拟合模型。在步骤310B中，可以例如从包括2D、3D和4D图像数据的经食道超声心动图(TEE)研究或具有选择性对比剂注射的旋转C型臂CT，采集相同患者的另外的数据集。在另外的步骤320B中，可以使用一个或多个专用模型来分割所述另外的数据集，从而得到至少再一个拟合模型，即，至少第二拟合模型。然后在步骤340中，可以融合第一拟合模型和第二拟合模型以获得融合模型。
[0068]然而，为了首先将不同拟合模型彼此对准，可以执行多个处理步骤，通常针对第一拟合模型被指代为步骤325A，而针对第二拟合模型被指代为步骤325B。这些步骤可以包括:
[0069]1.粗略对准第一拟合模型和第二拟合模型。这构成了配准问题，更具体地网格-网格或基于分割的配准问题。为了解决这样的问题，可以使用基于迭代最近点(ICP)的算法。这种算法可以适于考虑例如在两个拟合模型之间的网格拓扑中的不同。例如，第一拟合模型可以包括动态心脏瓣膜结构，所述心脏瓣膜结构不是第二拟合模型的部分。出于该目的，可以采用解剖体特异性(二元)加权方案。
[0070]2.基于预定义锚定结构(例如，主动脉根或二尖瓣环)的彼此匹配来细化配准。在先前提到的CT/TEE二尖瓣融合的情况下，这种细化可以如下。因为CT在几何学上更准确并能够对整个心脏进行成像，因此可以将拟合该数据集的可变形模型用作几何参考。二尖瓣的TEE/多普勒以高时间分辨率示出了左心房(LA)和左心室(LV)的仅部分，但是示出了完整的二尖瓣。该数据集的分割可以得到表示瓣叶的运动的一组网格以及对周围结构的粗略分害J。两个数据集共同示出了二尖瓣环，因此二尖瓣环可以用作锚定结构。(弹性)变形可以被应用到TEE网格，以符合参考CT/MR网格的几何结构。相同的(固有)变形可以被应用到TEE网格中的叶网格结构，使得锚定结构匹配并且补充瓣叶结构拟合参考网格的几何结构。该变形可以被描述为优化问题，其最小化包括内部和外部能量部分的能量项。
[0071]在已经将第一拟合模型和第二拟合模型彼此对准之后，然后可以在步骤340中融合第一拟合模型和第二拟合模型两者以获得融合模型。这种融合可以涉及利用第二拟合模型的在第一拟合模型中缺失的部分来增大第一拟合模型，和/或基于已经获得更好拟合的第二拟合模型的部分来调节或替换第一拟合模型的对应部分。出于该目的，网格工具包可以用于关于解剖标签和应用特异性设置来切割和粘合网格。注意，这种网格工具包本身在医学图像分割领域是已知的。在该实施例的背景下，结果可以是融合TEE/CT模型，其包括来自参考CT的高分辨率全心脏几何结构和来自TEE的瓣膜动态。
[0072]最后，在步骤360中，可以将融合模型可视化。这种可视化还可以涉及与融合模型视觉相关地将第一拟合模型与第二拟合模型之间的差异可视化。可以在步骤350中确定这种差异。结果，可以对融合模型进行颜色编码，例如，从而视觉指示在两个拟合模型之间的剩余局部欧几里得距离。融合模型可以叠加在图像上，例如，来自第一数据集的第一医学图像或者来自第二数据集的第二医学图像。还可以融合两幅医学图像，将融合模型叠加在融合医学图像上。尤其地，可以基于融合模型来执行这种图像融合。额外地或备选地，可以基于融合模型来处理所显示的图像。例如，可以基于从融合模型导出的解剖信息修剪(crop)所显示的图像。另一范例是可以使用融合模型进一步分割所显示的图像中的解剖结构。例如，在该实施例的背景下，可以修剪TEE数据集以仅与参考CT一起示出瓣运动或多普勒速度测量结果。同样可想到各种其它类型的处理。
[0073]还应注意，这种融合可以涉及融合动态模型与静态模型，所述动态模型即为可变形模型，其被布置用于对解剖结构中的变化进行建模。这种融合被示出在图5A-5C中。此处，图5A示出了采取专用于静态CT的具有平坦环形平面的高分辨率全心脏模型的形式的第一拟合模型400的范例。此处，拟合模型400被示出为表示网格的节点的点云，其具有使用不透明表面绘制的网格的部分402，从而更好地将所述部分可视化。图5B示出了采取专用于4DTEE的具有动态主动脉瓣模型412的中等分辨率心脏模型的形式的第二拟合模型410的范例。图5C示出了通过融合第一拟合模型和第二拟合模型获得的采取具有动态主动脉瓣模型422的全心脏模型的形式的融合模型420。在这种情况下，即当可变形模型之一被布置用于对一系列图像上的解剖结构中的变化建模时，可以在融合模型420中将该变化可视化。例如，可以将融合模型420动画化或颜色编码以将所述变化可视化。
[0074]通常，可以使得用户与融合模型交互。例如，当在融合模型中将拟合模型之间的差异可视化时，可以使得用户将局部校正应用于融合模型，其可以用作可变形模型的拟合以及随后的拟合模型的融合中的反馈。处理子系统还可以被配置用于基于用户与融合模型的对应部分的交互，来执行关于医学图像中的任意或拟合模型中的任意的动作。例如，可以借助于融合模型将示出融合模型的医学图像中由用户设置的界标传播到另一医学图像。另夕卜，可以跨若干医学图像以对准的方式将如由用户生成的注释或测量结果可视化。
[0075]将认识到，本发明可以有利地用在以下其它应用情形中:
[0076].TEE中示出彩色流多普勒信息的体积部分可以被提取并且覆盖在静态CT网格上；
[0077].可以通过在CT网格中呈现的全心脏解剖体自动完成示出例如仅左心室的部分和左心房的部分的TEE体积的分割；以及
[0078].可以通过在各自介入前CT数据集中表示的解剖体自动完成和实现介入旋转C型臂CT分割，其示出了对比增强的患者心脏的选择部分，并且这给出了患者心脏的姿势的准确更新。
[0079]将认识到，本发明也应用于计算机程序，特别是在载体上或在载体中的计算机程序，所述计算机程序适于将本发明付诸实践。程序可以是以源代码、目标代码、代码中间源和诸如以部分编译形式的目标代码的形式，或者以适合用于实施根据本发明的方法的任何其他形式。还应认识到，这样的程序可以具有许多不同架构设计。例如，实施根据本发明的方法或系统的功能的程序代码可以被细分为一个或多个子例程。在这些子例程之间分布功能的许多不同方式对本领域技术人员来说将是显而易见的。子例程可以被共同存储在一个可执行文件中，以形成自包含程序。这样的可执行文件可以包括计算机可执行指令，例如，处理器指令和/或解读器指令(例如，Java解读器指令)。备选地，一个或多个或所有子例程可以被存储在至少一个外部库文件中，并且静态地或动态地(例如在运行时)与主程序链接。主程序包含对至少一个子例程的至少一个调用。子例程还可以包括对彼此的函数调用。涉及计算机程序产品的实施例包括计算机可执行指令，其对应于本文中提出的至少一个方法的每个处理阶段。这些指令可以被细分为子例程和/或存储在可以被静态地或动态地链接的一个或多个文件中。涉及计算机程序产品的另一实施例包括计算机可执行指令，其对应于本文中提出的系统和/或产品中的至少一个的每个单元。这些指令可以被细分为子例程和/或存储在可以被静态地或动态地链接的一个或多个文件中。
[0080]计算机程序的载体可以是能够承载程序的任何实体或设备。例如，载体可以包括存储介质，诸如R0M(例如，CD ROM或半导体ROM)，或者磁记录介质(例如，硬盘)。此外，载体可以是诸如电学或光学信号的可传送载体，其可以经由电缆或光缆或通过无线电或其他工具来传达。当程序体现在这种信号中时，载体可以由这种线缆或其他设备或单元构成。备选地，载体可以是程序被体现在其中的集成电路，集成电路适于执行相关方法，或者用于相关方法的执行。
[0081]应当注意，上述实施例图示而非限制本发明，并且本领域技术人员能够在不脱离所附权利要求的范围的情况下设计许多备选实施例。在权利要求中，置于括号中的任何附图标记不应被解释为限制权利要求。动词“包括”及其词性变化的使用不排除存在不同于权利要求中所述的其他元件或步骤。在元件之前的冠词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括若干个不同元件的硬件来实施，并且可以借助于适当编程的计算机来实施。在列举了若干器件的设备权利要求中，这些器件中的若干可以具体实现为一个相同的硬件。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不表示不能有利地使用这些措施的组合。
【主权项】
1.一种用于将可变形模型拟合到医学图像中的解剖结构以获得所述解剖结构的分割的系统(100)，包括: -图像接口(120)，其用于获得患者的第一医学图像和所述患者的第二医学图像，两幅医学图像示出所述解剖结构，并且已经由不同医学成像模态或不同医学成像协议所采集，从而在两幅医学图像中建立对所述解剖结构的不同视觉表示； -处理子系统(140 )，其被配置用于: i)将第一可变形模型拟合到所述第一医学图像中的所述解剖结构，从而获得第一拟合模型(400); ii)将第二可变形模型拟合到所述第二医学图像中的所述解剖结构，从而获得第二拟合模型(410);其中，所述第二可变形模型不同于所述第一可变形模型，以适应对两幅医学图像中的所述解剖结构的所述不同视觉表示； iii)将所述第一拟合模型(400)与所述第二拟合模型(410)彼此对准，并且 iv)在所述彼此对准之后，将所述第一拟合模型(400)与所述第二拟合模型(410)融合以获得融合模型(420)， 其中，所述处理子系统(140)被配置用于通过以下方式来将所述第一拟合模型(400)与所述第二拟合模型(410)融合: i)利用所述第二拟合模型的在所述第一拟合模型中缺失的部分来增大所述第一拟合模型;或者 ii)基于已经获得较好拟合的所述第二拟合模型的部分来调节或替换所述第一拟合模型的对应部分。2.根据权利要求1所述的系统(100)，还包括可视化子系统(160)，其用于将所述融合模型(420)可视化。3.根据权利要求2所述的系统(100)，其中，所述可视化子系统(160)被配置用于通过将所述融合模型叠加在显示的图像上来将所述融合模型(420)可视化，所显示的图像是以下项的组中的至少一个:所述第一医学图像、所述第二医学图像以及通过所述第一医学图像与所述第二医学图像的图像融合获得的融合医学图像。4.根据权利要求3所述的系统(100)，其中，所述可视化子系统(160)被配置用于基于所述融合模型(420)来处理所显示的图像。5.根据权利要求4所述的系统(100)，其中，所述可视化子系统(160)被配置用于通过基于从所述融合模型(420)导出的解剖信息修剪所显示的图像来处理所显示的图像。6.根据权利要求2所述的系统(100)，其中，所述处理子系统(140)被配置用于确定所述第一拟合模型(400)与所述第二拟合模型(410)之间的差异，其中，所述可视化子系统(160)被配置用于与所述融合模型(420)视觉相关地将所述差异可视化。7.根据权利要求6所述的系统(100)，其中，所述可视化子系统(160)被配置用于通过对所述融合模型(420)的显示进行视觉编码来将所述差异可视化。8.根据权利要求2所述的系统(100)，其中，所述第一医学图像由时间序列的图像构成，其中，所述第一可变形模型(400)被布置用于对在所述时间序列的图像上的所述解剖结构的变化进行建模，并且其中，所述可视化子系统(160)被配置用于在所述融合模型(420)的所述可视化中视觉地表示所述变化。9.根据权利要求8所述的系统(100)，其中，所述可视化子系统(160)被配置用于将所述融合模型(420)动画化以视觉地表示所述变化。10.根据权利要求2所述的系统(100)，还包括用户交互子系统(180)，其用于使得用户能够与所述融合模型(420)交互。11.根据权利要求10所述的系统(100)，其中，所述处理子系统(140)被配置用于基于所述用户与所述融合模型(420)的部分的交互来执行关于以下项的组中的一个的对应部分的动作:所述第一医学图像、所述第二医学图像、所述第一拟合模型以及所述第二拟合模型。12.—种工作站或成像装置，包括根据权利要求1所述的系统。13.—种用于将可变形模型拟合到医学图像中的解剖结构以获得所述解剖结构的分割的方法(200)，包括: -获得(210)患者的第一医学图像和所述患者的第二医学图像，两幅医学图像示出所述解剖结构，并且已经由不同医学成像模态或不同医学成像协议所采集，从而在两幅医学图像中建立对所述解剖结构的不同视觉表示； -将第一可变形模型拟合(220A)到所述第一医学图像中的所述解剖结构，从而获得第一拟合模型； -将第二可变形模型拟合(220B)到所述第二医学图像中的所述解剖结构，从而获得第二拟合模型；其中，所述第二可变形模型不同于所述第一可变形模型，以适应对两幅医学图像中的所述解剖结构的所述不同视觉表示； -将所述第一拟合模型与所述第二拟合模型彼此对准(230)，并且 -在所述彼此对准之后，通过以下方式来将所述第一拟合模型与所述第二拟合模型融合(240)以获得融合模型: i)利用所述第二拟合模型的在所述第一拟合模型中缺失的部分来增大所述第一拟合模型;或者 ii)基于已经获得较好拟合的所述第二拟合模型的部分来调节或替换所述第一拟合模型的对应部分。14.一种包括指令的计算机程序产品(260)，所述指令用于令处理器系统执行根据权利要求13所述的方法。
【文档编号】G06T7/00GK105849773SQ201480069148
【公开日】2016年8月10日
【申请日】2014年12月15日
【发明人】S·莫卢斯, A·扎尔巴赫, J·威斯
【申请人】皇家飞利浦有限公司