对解剖结构的基于模型的分割的制作方法

本发明涉及一种用于在医学图像中执行对解剖结构的基于模型的分割的系统和方法。本发明还涉及包括所述系统的工作站和成像装置，并且涉及包括用于令处理器系统执行所述方法的指令的计算机程序产品。

背景技术：

对医学图像中的各种解剖结构的鲁棒自动分割是在改进临床工作流程中的关键使能器。此处，术语分割是指通过例如对解剖结构的边界的描绘、通过对由边界包围的体素进行标记等而对医学图像中的解剖结构的识别。一旦已经执行这样的分割，就能够提取临床参数，诸如，在例如心脏结构的情况下，心室质量、射血分数以及壁厚度。额外地或备选地，分割可以被呈现给用户，以使得用户能够从该分割收集临床或解剖信息。

已知使用模型来分割医学图像中的解剖结构。这种类型的分割也被称为基于模型的分割。可以由模型数据来定义模型。模型数据可以定义解剖结构的几何结构，例如以多腔室三角网格的形式。可以通过将仿射变换分配到模型的每个部分来对患者间和疾病阶段间形状变化进行建模。仿射变换覆盖平移、旋转、沿不同坐标轴的缩放以及剪切。此外，可以通过对在模型的不同部分之间的过渡处的仿射变换的内插来维持网格规律性。这样的仿射变换通常用作所谓的“可变形”模型中的分量。

模型到医学图像的图像数据的应用可以涉及适应技术，在基于网格的模型的情况下也被称为“网格适应”。这样的应用因此也被称为“适应”或“适配”。适应技术可以优化基于外部能量项和内部能量项的能量函数，所述外部能量项使模型适应于图像数据，所述内部能量项维持模型的刚度。

上述类型以及其他类似的模型本身是已知的，将这样的模型应用于医学图像的适应技术同样也是已知的。

例如，o.ecabert等人的题为“automaticmodel-basedsegmentationoftheheartinctimages”(ieeetransactionsonmedicalimaging2008,27(9),第1189-1201页)的出版物描述了一种用于从三维(3d)计算机断层摄影(ct)图像对心脏的自动分割的基于模型的方式。

医学图像仅示出了患者的解剖结构的部分可能会发生。这种情况的原因可能是在采集医学图像中使用的成像模态仅可以提供患者的内部的有限的视场。医学图像仅示出了解剖结构的部分的其他原因可能是其他部分可能被封闭，可能在使用的成像模态中不可见等。

技术实现要素：

具有用于使模型适应于仅示出患者的解剖结构的部分的医学图像的系统或方法将会是有利的。便于适应的模型的进一步处理将会是进一步有利的。

本发明的第一方面提供了一种用于基于模型的分割的系统，所述系统包括：

-图像接口，所述图像接口用于访问表示患者的医学图像的图像数据，所述医学图像示出所述患者的解剖结构的第一部分而不示出所述解剖结构的第二部分；

-数据存储设备，所述数据存储设备包括定义用于分割解剖结构的类型的模型的模型数据；以及

-分割子系统，所述分割子系统用于通过将所述模型应用于所述医学图像的所述图像数据而执行对所述医学图像的基于模型的分割，所述基于模型的分割提供具有以下的适应的模型：

i)已经适应于所述患者的所述医学图像中的所述解剖结构的所述第一部分的第一模型部分，以及

ii)表示还未适应于所述医学图像的对应部分的所述解剖结构的所述第二部分的第二模型部分；

-所述分割子系统被配置用于生成识别所述第一模型部分的元数据，以使得在对所述适应的模型的进一步处理中所述第一模型部分能够与所述第二模型部分区分开。

本发明的又一方面提供了一种包括所述系统的工作站或成像装置。

本发明的又一方面提供了一种用于基于模型的分割的方法，所述方法包括：

-访问表示患者的医学图像的图像数据，所述医学图像示出所述患者的解剖结构的第一部分而不示出所述解剖结构的第二部分；

-提供定义用于分割解剖结构的类型的模型的模型数据；

-通过将所述模型应用于所述医学图像的所述图像数据而执行所述医学图像的基于模型的分割，所述基于模型的分割提供具有以下的适应的模型：

i)已经适应于所述患者的所述医学图像中的所述解剖结构的所述第一部分的第一模型部分，以及

ii)表示还未适应于所述医学图像的对应部分的所述解剖结构的所述第二部分的第二模型部分；

-生成识别所述第一模型部分的元数据，以使得在对所述适应的模型的进一步处理中所述第一模型部分能够与所述第二模型部分区分开。

本发明的又一方面提供一种包括指令的计算机程序产品，所述指令用于令处理器系统执行所述方法。

以上措施涉及获得患者的医学图像。患者的医学图像可以使用各种成像模态(例如超声、ct、磁共振(mr)成像等)来获得。此外，提供模型数据，其定义用于分割如在医学图像中示出的解剖结构的类型的模型。所述解剖结构可以是例如器官、器官系统、器官的具体部分等。这样，所述模型可以被布置用于分割人体心脏、人体大脑等。所述模型最初可以是非患者特异性模型。所述模型数据可以被包括在诸如半导体存储器、磁盘或光盘等的数据存储设备上。此外，分割子系统被提供用于执行对所述医学图像的基于模型的分割，即通过将所述模型应用于所述医学图像的图像数据。为此目的，所述分割子系统可以使用适应技术。这样的适应技术可以通过例如定义多个操作的数据来表示。应注意，本段中描述的功能从对解剖结构的基于模型的分割的领域本身是已知的。

由所述系统访问的医学图像示出了患者的解剖结构的第一部分，但是未示出解剖结构的第二部分。对于医学图像仅示出了解剖结构的部分，可能存在各种原因。例如，在经食管超声心动图(tee)中通常仅成像心脏的一小部分。相应地，当将所述模型应用于医学图像的图像数据时，分割子系统可以使所述模型的第一模型部分局部地适应于患者的医学图像的图像数据，即基于示出解剖结构的第一部分的图像数据。然而，由于医学图像未示出解剖结构的第二部分，所述模型的第二模型部分不能局部地适应于所述医学图像中的对应图像数据，即由于这样的图像数据不存在于所述医学图像中。相应地，可以获得部分地被个性化(即，局部地适应于患者的医学图像)并且部分地不被个性化的模型。在这方面，应注意，第二部分不被局部地适应，但是仍然可以在一般方面适应于所述医学图像，即基于已经适应于所述图像数据的第一部分，由此引起或强加所述模型的第二部分的改变。

所述分割子系统被配置用于生成识别所述第一(个性化)模型部分的元数据，以使得在对所述适应的模型的进一步处理中适应的模型部分能够与第二(非个性化)模型部分区分开。例如，在网格模型的情况下，元数据可以识别属于个性化模型部分的顶点和/或边缘。另一范例是，网格模型本身可以包括针对每个顶点和/或边缘的识别顶点和/或边缘是属于模型的个性化部分还是属于模型的非个性化部分的状态信息。

发明人已经认识到，假如医学图像仅示出了解剖结构的部分，被应用于所述医学图像的模型会仅被部分地个性化。相应地，适应的模型会是误导性的，因为其仍然会部分地呈现非局部个性化并且由此很大程度上平均的非患者特异性模型。不论所述模型的部分是否被个性化都会影响对适应的模型的进一步处理。例如，当已经访问患者的又一医学图像时，分割子系统可以制止适应已经个性化的模型部分，而是使用所述又一医学图像仅个性化非个性化的模型部分。另一范例是，当可视化适应的模型时，可以期望向用户视觉指示所述模型的哪个部分已经被个性化并且所述模型的哪个部分还未经被个性化。将认识到，也存在生成的元数据的其他有利用途，并且这样的元数据可以采取各种合适的形式。

任选地，所述系统还包括显示处理器，所述显示处理器用于生成提供所述适应的模型的绘制的输出图像，所述显示处理器被配置用于基于用于在所述输出图像中与所述第二模型部分不同地绘制所述第一模型部分的元数据而选择不同的绘制技术。所述显示处理器因此在输出图像中可视化适应的模型，并且基于所述元数据使用不同的绘制技术可视化适应的模型的个性化部分和非个性化部分。不同绘制技术的范例包括但不限于：三角面的不同颜色、不同透明度或阴影的使用等。例如，适应的模型的非个性化部分可以仅被绘制为具有透明三角面的轮廓或线框，而适应的模型的个性化部分可以被绘制为具有实心或几乎实心的三角面。本发明的该方面基于以下了解：即使适应的模型的部分未被个性化，其仍然也可以对绘制整个模型有用以便为用户提供解剖背景。然而，正常可视化可以表明整个模型被个性化，这可能是误导性的。通过不同地绘制适应的模型的个性化部分和适应的模型的非个性化部分，该信息被视觉地传送给用户。

任选地，所述显示处理器被配置用于将所述适应的模型绘制为在下面的医学图像上的叠加，所述下面的医学图像是所述患者的所述医学图像或另一医学图像。通过将适应的模型绘制在其要适应的医学图像上、或在患者的另一医学图像上面，用户能够将由适应的模型表示的解剖信息匹配到下面的医学图像。应注意，其他医学图像也可以示出解剖结构，但是使用不同的成像模态、在不同的时间等进行采集。此外，适应的模型可以与输出图像中的医学图像进行配准，以便将适应的模型至少粗略地匹配到下面的医学图像。

任选地，所述模型被适配到所述患者的超声图像，并且所述显示处理器被配置用于将所述适应的模型绘制为在所述患者的x-射线图像上的叠加。输出图像因此示出了已经使用超声图像被部分地个性化、被叠加在患者的x-射线图像上的适应的模型。

任选地，所述医学图像提供所述患者的内部的有限视场，并且所述显示处理器被配置用于在所述输出图像中区分所述模型的表示所述医学图像的所述有限视场内的解剖结构的模型部分与所述模型的表示所述有限视场外的解剖结构的另一模型部分。医学图像可以提供相对窄的视场。例如，超声图像通常提供比x-射线图像更窄的视场。相应地，医学图像可能仅部分地示出解剖结构。例如当观察被叠加在x-射线图像上而非被被叠加在超声图像上的模型时，通过在所述输出图像中区分所述模型的表示所述医学图像的所述有限视场内的解剖结构的模型部分与所述模型的表示所述有限视场外的解剖结构的另一模型部分，为用户提供所述医学图像的视场的指示。应注意，对于所述区分，不同的绘制技术可以被使用，包括但不限于：三角面的不同颜色、不同透明度或阴影的使用等。

任选地，所述分割子系统被配置用于，在将所述模型应用于所述医学图像的所述图像数据之后，将所述适应的模型应用于第二医学图像的图像数据，由此进一步适应所述适应的模型，所述第二医学图像至少示出所述解剖结构的所述第二部分，所述适应的模型的所述第二模型部分已经适应于所述第二医学图像中的所述解剖结构的所述第二部分。适应的模型因此可以包括从第一医学图像个性化的第一模型部分、从第二医学图像个性化的第二模型部分等。此外，也可以存在一个或多个非个性化模型部分。有利地，显示处理器可以通过使用不同的绘制技术在输出图像中区分不同的模型部分，由此向用户指示相应的模型部分是否被个性化，并且在前一情况下，其是被个性化到当前显示的医学图像还是被个性化到患者的另一医学图像。

任选地，所述分割子系统被配置用于将状态分配给所述模型的相应的模型部分，所述显示处理器被配置用于当在输出图像中绘制相应的模型部分时基于所述分配的状态而在不同的绘制技术之间进行选择，并且所述分割子系统被配置用于基于以下中的至少一个将所述状态分配给所述相应的模型部分：

-所述相应的模型部分是否已经适应于下面的医学图像，

-所述相应的模型部分是否表示在下面的医学图像中示出的解剖结构，以及

-所述相应的模型部分是否已经适应于除所述下面的医学图像之外的所述患者的另一医学图像。

任选地，所述第一模型部分表示所述解剖结构的在所述医学图像中仅部分地示出的解剖部分，并且所述分割子系统被配置用于：

-估计局部变换以便将所述第一模型部分适应于所述医学图像；并且

-在估计所述局部变换中，应用考虑在所述医学图像中仅部分地示出的解剖部分的正则化项。

本发明的该方面基于以下了解：如果在医学图像中仅部分地示出了解剖部分，并且具体地仅示出了一小部分，变换可能欠确定的或错误确定的。这可以导致损害分割结果的不现实和/或扭曲的变换。通过将正则化项应用于考虑在医学图像中仅部分地示出的解剖部分的的变换估计，变化估计被稳定。

任选地，当在所述医学图像中示出更少解剖部分时，所述正则化项提供更强的正则化。因此，当示出了解剖部分的更小部分时，变换估计更稳定。

任选地，所述正则化项提供吉洪诺夫正则化。

任选地，所述分割子系统被配置用于通过在所述第一模型部分适应于所述患者的所述医学图像中的所述解剖结构的所述第一部分之后或期间将所述第一模型部分的形状外推到所述模型的所述第二模型部分而使所述模型适应于所述解剖结构的所述第二部分。

任选地，执行所述外推包括最小化在存在于所述第一模型部分和所述第二模型部分的顶点和/或边缘之间的关系的基础上定义的内部能量项。

根据以上内容，可以提供用于执行对仅部分地示出了解剖结构的医学图像的基于模型的分割的系统和方法。据此，模型可以被应用于所述医学图像的图像数据，所述基于模型的分割提供具有以下的适应的模型：已经适应于所述患者的所述医学图像中的所述解剖结构的所述第一部分的第一模型部分、以及表示还未适应于所述医学图像的对应部分的所述解剖结构的所述第二部分的第二模型部分。识别所述第一模型部分的元数据可以被生成，以使得在对所述适应的模型的进一步处理中所述第一模型部分能够与第二模型部分区分开。有利地，所述元数据可以用来生成向用户视觉地指示所述模型打的哪个部分已经被个性化以及所述模型打的哪个部分还未被个性化的输出图像。所述元数据在对所述适应的模型的进一步处理中的其他有利用途已经被设想。

本领域技术人员将认识到，可以用任何认为有用的方式来组合本发明的上述实施例、实施方式和/或各方面中的两个或更多个。

所述成像装置、工作站、方法和/或计算机程序产品的修改和变型，其对应于系统的所描述的修改和变型，能够由本领域技术人员基于本说明书来实现。

本领域技术人员将认识到，所述方法可以被应用于多维图像数据，例如应用于二维(2d)、三维(3d)或四维(4d)图像，所述图像是通过各种采集模态来采集的，诸如，但不限于，标准x射线成像、计算机断层摄影(ct)、磁共振成像(mri)、超声(us)、正电子发射断层摄影(pet)、单光子发射计算机断层摄影(spect)和核医学(nm)。

在独立权利要求中定义了本发明。在从属权利要求中定义了有利实施例。

附图说明

参考下文描述的实施例，本发明的这些和其他方面将是显而易见的并将得以阐述。在附图中：

图1示出了用于基于模型的分割的系统的方框图；

图2示出了用于基于模型的分割的方法的流程图；

图3示出了用于执行所述方法的计算机程序产品；并且

图4示出了由所述系统的显示处理器生成的输出图像的范例，其中，模型依据该模型是否表示超声图像的视场内的解剖结构而被不同地可视化；

图5示出了由所述系统的显示处理器生成的输出图像的又一范例，其中，模型被叠加在超声图像上；

图6图示了正则化项在估计用于使第一模型部分适应于医学图像的局部变换中的使用；

图7示出了在全局刚性/仿射变换之后的分割结果；

图8示出了在估计变换中没有使用正则化项的局部刚性/仿射变换之后的分割结果；并且

图9示出了在估计变换中使用正则化项的局部刚性/仿射变换之后的分割结果。

应当注意，在不同图中具有相同附图标记的项目具有相同结构特征和相同功能，或是相同信号。在这样的项目的功能和/或结构已经被解释的情况下，在详细描述中不存在对其重复解释的必要。

附图标记列表

附图标记的以下列表被提供用于便于附图的解读，而不应当被解释为对权利要求进行限制。

020图像库

022-026表示医学图像的数据

030视场

080显示器

100用于执行基于模型的分割的系统

120图像接口

140数据存储设备

142模型数据

160分割子系统

162分割子系统的输出数据

180显示处理器

182表示输出图像的数据

200用于基于模型的分割的方法

210访问图像数据

220提供模型数据

230执行基于模型的分割

240生成元数据

250计算机可读介质

260指令

400-403适应的模型

410适应于医学图像的模型部分

420不适应于医学图像的模型部分

500系统矩阵u

510-514人体心脏

520-524人体心脏的腔室

具体实施方式

图1示出了用于基于模型的分割的系统100。系统100包括用于访问表示患者的医学图像的图像数据022的图像接口120。在图1的范例中，图像接口120被示为连接到外部图像库020。例如，图像库020可以由医院信息系统(his)的影像归档和通信系统(pacs)构成或者为其一部分，系统100可以被连接到所述影像归档和通信系统或者被包括在所述影像归档和通信系统中。相应地，系统100可以获得对医学图像022的访问。一般来说，图像接口120可以采取各种形式，例如到局域或广域网络(例如互联网)的网络接口、到内部或外部数据存储设备的存储接口等。

应注意，遍及该文本并且在适当的情况下，对医学图像的提及应被理解为对医学图像的图像数据的提及。

系统100还包括数据存储设备140，所述数据存储设备140包括模型数据142，所述模型数据142定义用于分割如在医学图像022中示出的解剖结构的类型的模型。例如，模型数据142可以将模型定义为三角形网格。数据存储设备140被示出为系统100的内部部件，并且可以由例如基于盘的数据存储设备(例如硬盘)、基于半导体的数据存储设备(例如rom或ram存储器)、被插入到存储介质阅读器的可移动存储介质等构成。应注意，数据存储设备140也可以分离地被提供，例如以包括模型数据142的可移动存储介质的形式。

系统100还包括分割子系统160，所述分割子系统160用于通过将模型应用于医学图像的图像数据而执行对医学图像的基于模型的分割。为此目的，分割子系统160被示为从图像接口120接收图像数据022，并且从数据存储设备140接收模型数据142。根据所要求保护的本发明，医学图像可以示出患者的解剖结构的第一部分，而不示出解剖结构的第二部分。分割子系统160被配置用于提供具有以下的适应的模型：i)已经适应于患者的医学图像中的解剖结构的第一部分的第一模型部分，以及ii)表示还未适应于医学图像的对应部分的解剖结构的第二部分的第二模型部分。分割子系统160还被配置用于生成输出数据162，所述输出数据162包括识别模型的第一模型部分的元数据，以允许在对适应的模型的进一步处理中第一模型部分与第二模型部分区分开。

图1进一步示出了系统100的任选方面，其中，系统100可以包括显示处理器180，所述显示处理器180被配置用于生成提供适应的模型的绘制的输出图像182。图1示出了为显示器080提供输出图像182的显示处理器180。或者，输出图像182可以经由图像接口120例如被存储在图像库020上，可以被提供给另一实体，例如以便进一步分析等。显示处理器180可以被配置用于通过使用不同绘制技术在输出图像182中区分第一模型部分和第二模型部分。为此目的，显示处理器180可以使用适应的模型和如可以从分割子系统160的输出数据162获得的元数据。例如，在网格模型的情况下，元数据可以识别属于第一(即个性化)模型部分的顶点和/或边缘。另一范例是，网格模型本身可以包括针对每个顶点和/或边缘的，识别顶点和/或边缘是属于模型的个性化部分还是属于模型的非个性化部分的状态信息。不同绘制技术的范例包括但不限于：三角面的不同颜色、不同透明度的使用等。

图1中示出的另一任选方面是，显示处理器180可以将适应的模型绘制为在医学图像上的叠加。为此目的，显示处理器180可以内部地从图像接口120接收医学图像的图像数据122。或者，患者的另一医学图像可以用作下面的医学图像以用于适应的模型在输出图像中的叠加。

应注意，系统100的各种操作(包括其各种任选方面)将会参考附图4-9更详细地进行解释。

系统100可以被体现为单个设备或装置或体现在单个设备或装置中，例如工作站或成像装置。设备或装置可以包括执行适当软件的一个或多个微处理器。软件可以已经被下载和/或被存储在对应的存储器中，例如，诸如ram的易失性计存储器或诸如flash的非易失性计存储器。或者，系统的功能单元可以以可编程逻辑(例如，如现场可编程门阵列(fpga))的形式被实施在设备或装置中。一般来说，系统的每个功能单元可以以电路的形式被实施。应注意，系统100也可以以分布的方式(例如，涉及不同的设备或装置)被实施。例如，分布可以根据客户-服务器模型。

图2示出了用于执行基于模型的分割的方法200。方法200可以对应于图1的系统100的操作。然而，这不是限制，因为方法200也可以使用一个或多个不同的设备或装置来执行。方法200包括，在标题为“访问图像数据”的操作中，访问210表示患者的医学图像的图像数据，所述医学图像示出患者的解剖结构的第一部分而不示出解剖结构的第二部分。方法200还包括，在标题为“提供模型数据”的操作中，提供220定义用于分割解剖结构的类型的模型的模型数据。方法200还包括，在标题为“执行基于模型的分割”的操作中，通过将模型应用于医学图像的图像数据而执行230对医学图像的基于模型的分割，所述基于模型的分割提供具有以下的适应的模型：i)已经适应于患者的医学图像中的解剖结构的第一部分的第一模型部分，以及ii)表示还未适应于医学图像的对应部分的解剖结构的第二部分的第二模型部分。方法200还包括，在标题为“生成元数据”的操作中，生成240识别第一模型部分的元数据，以使得在对适应的模型的进一步处理中第一模型部分与第二模型部分区分开。

将认识到，以上操作可以以任何合适的顺序(例如，连续地、同时地、或其组合)被执行，在适当的情况下经受例如输入/输出关系所必需的具体顺序。

方法200可以作为计算机实施的方法、作为专用硬件、或作为两者的组合被实施在计算机上。如同样在图3中图示的，用于计算机的指令(例如，可执行代码)可以例如以一系列260机器可读物理标记的形式和/或作为具有不同的电气性质，例如，磁性或光学性质或值的一系列单元被存储在计算机可读介质250上。可执行代码可以以暂态或非暂态的方式被存储。计算机可读介质的范例包括存储器设备、光学存储设备、集成电路、服务器、在线软件等。图3示出了光盘250。

图1的系统和图2的方法的操作(包括它们的各个任选方面)可以更详细地被解释如下。应注意，范例可以指的是为网格模型的模型、为人体心脏的解剖结构、以及用于生成适应的模型的可视化的分割子系统的元数据。然而，这些方面不是对所要求保护的本发明进行限制，而是用于提供解释的背景。

基于模型的分割可以用来自动检测医学图像中的器官边界。如在出版物“automaticmodel-basedsegmentationoftheheartinctimages”中描述的，如在背景部分中介绍的，基于模型的分割最初对包括要分割的整个器官(例如，心脏和一些周围区域)的图像执行。然而，基于模型的分割也可以被应用于仅示出器官或其他解剖结构的部分并且有时一小部分的图像。例如，在超声图像中，尤其是在经食管超声心动图(tee)期间采集的超声图像中，通常仅成像心脏的小部分。可以期望在分割之后将心脏模型显示为在超声图像上的2d或3d叠加。然而，由于患者的内部的超声图像的视场(fov)小于心脏并且因此仅部分地示出了心脏，心脏模型可能延伸超过超声图像的边界。由于在图像的fov外没有图像信息可用，在这里模型的形状可以主要由模型的平均形状(例如，其非个性化参考形状)给出。然而，尽管不是个性化的，但是其仍然可以对示出完整模型有用，以便为用户提供背景。然而，正常可视化可以表明模型的表示在fov区域外的解剖结构的部分也被个性化，这会是误导性的。当来自tee分割的模型被叠加在另一医学图像(例如x-射线图像)上时，这会是特别相关的，因为其不再能够被直接看见，该模型部分被包含在原始图像的fov中。

图4示出了如可以由解决以上问题的系统生成的输出图像的范例。即，在输出图像中，模型400依据模型是否表示超声图像的fov内的解剖结构而被不同地可视化。应注意，表示医学图像的fov内的解剖结构的模型也被称为“fov内”模型，并且相之，称为“fov外”模型。进一步参考图4；在这里，模型的在超声图像的fov030内的部分410被示为具有实心着色三角形，而在fov030外的其余部分420通过仅其边缘被绘制而被示为“线框”。应注意，这样的不同可视化也可以被应用于由系统生成的2d模型可视化。例如，模型的在fov内的部分可以填充有颜色，而模型的在fov外的部分可以仅被示为外轮廓。

应注意，在许多情况下，模型的被局部适应(即，被个性化)的部分对应于模型的表示医学图像的fov内的解剖结构的部分。然而，这可以不必是这样的情况。例如，模型的比在医学图像中示出的更小的部分可以被个性化。另一范例是，个性化可以已经关于具有不同fov的患者的另一医学图像被执行。具体范例可以是以下：

·模型可以使用提供第一fov的医学图像被个性化。随后，提供第二fov的第二医学图像可以被接收。例如，两个医学图像都可以在当tee探头在位置上改变时的tee期间被获得。模型可能还尚未适应于第二fov(例如，由于实况跟踪期间的速度原因)。然而，第二fov的位置可以关于第一fov(例如，从在x-射线图像中跟踪tee探头)被知晓。因此，个性化模型部分可以完全或部分地位于第二fov外。

·模型可以在第一fov中被个性化，并且个性化可以已经使用第二fov被延伸到模型的另一部分。相应地，模型的整个个性化部分可以大于第二fov。

·模型可以已经使用ct图像被完全个性化，但是可以被可视化为在超声图像上的叠加。因此，个性化区域可以覆盖整个解剖结构，但是对应于下面的超声图像的fov可以仅对应于模型的小部分。

相应地，如果个性化区域不与fov一致，不同的可视化可以用于个性化和fov区域。例如，分割子系统可以被配置用于将状态分配给模型的每个模型部分，并且显示处理器可以被配置用于当在输出图像中绘制相应的模型部分时基于所述分配的状态在不同的绘制技术之间进行选择。然后基于相应的模型部分是否已经适应于下面的医学图像、和/或相应的模型部分是否表示在下面的医学图像中示出的解剖结构、和/或相应的模型部分是否已经适应于除下面的医学图像之外的患者的另一医学图像，分割子系统可以将状态分配给相应的模型部分。在下面的医学图像是图像序列的部分的情况下，状态也可以指示相应的模型部分已经适应于哪个医学图像。这可以允许将计时信息添加到输出图像中的模型的可视化。例如，如果模型部分在之前的心脏循环中被个性化，可视化可以例如通过朝向灰色去饱和相应的模型部分的颜色而指示个性化有多“旧”。另一范例是，如果当前图像的心脏阶段被知晓，可视化可以指示医学图像的心脏阶段有多靠近相应的模型部分被个性化的当前心脏阶段。

可以如下确定模型部分是否表示具体图像的fov内的解剖结构。在这里，假设模型包括被定义为具体坐标系统中的坐标的点和三角形。在适应之后，不同的点和三角形关于医学图像的位置因此可以被知晓。此外，医学图像的fov的位置可以在同一坐标系统中被确定。即，位置可以提前被知晓(例如，从成像系统)，或可以之后被确定(例如通过应用图像处理方法，例如在3d或4d中阈值化)。使点/三角形位置和fov位置在共同的图像坐标系统中，可以针对模型的每个点/三角形确定其是在fov区域内还是外。模型的外部区域然后可以被更隐约地可视化(例如半透明地，或仅示出三角面而无实心面)，而内部区域可以被更突出地可视化(例如具有实心面和不同的颜色)。或者，整个网格(内部+外部区域)可以被可视化为具有类似的不透明度，并且fov内的部分可以使用更突出的可视化(例如，颜色)被再次叠加以致使其更与众不同。

图5示出了由系统的显示处理器生成的输出图像的又一范例，其中，模型被叠加在医学图像(即超声图像)上。各种其他可视化情况同样可设想到。例如，模型可以被适配到患者的超声图像，并且显示处理器可以将适应的模型绘制为在患者的x-射线图像上的叠加。

图6-9涉及以下内容。如通过分割子系统执行的模型的典型适应可以涉及首先使用全局刚性/仿射变换来修改模型的平均形状以改善模型到图像的对齐。这种变换可以从在fov内可见的所有模型部分来估计。其次，在多腔室模型(例如心脏模型)的情况下，多个局部刚性/仿射变换可以针对心脏模型的不同腔室(例如左/右心室、左/右心房)进行估计，以进一步改善模型与医学图像之间的对齐。然而，如果腔室在fov内仅部分地可见，该腔室的变换参数可以仅从能够检测fov内的对应图像点的那些模型点来估计。因此，变换可能是欠确定的，并且在错误图像点正在被检测(例如，由于医学图像中的噪声)的情况下，也可能是错误确定的。这可以导致损害分割结果的不现实且扭曲的变换。

为了解决以上问题，该系统可以将正则化项应用于变换估计。正则化可以被确定使得，在腔室的大区域在fov内的情况下，正则化对该定义明确的问题有微不足道的的影响。然而，在大区域在fov外的情况下，正则化可以通过抑制从平均模型形状的不现实偏离来稳定变换估计。此外，对于fov外的区域，形状可以使用分割模型的形状约束机制从fov内的区域进行外推。

进一步参考为心脏模型的模型的范例：一旦心脏模型被粗略地定位在医学图像中，心脏模型就可以在若干步骤中适应于医学图像。首先，全局刚性/仿射变换可以针对所有模型点进行估计以基于平移、旋转、缩放和剪切提供模型到图像的对齐。第二，多个局部刚性/仿射变换可以被估计，每个腔室对应一个，例如左/右心室和左/右心房。这些变换可以被估计，因为在一些患者或心脏阶段中，不同腔室的相对尺寸或取向可能变化。通过估计每个腔室的不同变换，这些变化可以被补偿，并且更准确的分割可以被获得。

变换参数可以被如下估计。对于模型网格的每个三角形i，目标点xi可以在图像中例如使用训练的图像特征(例如靠近网格表面的大图像梯度)来检测。将三角形中心ci(q)(为要被估计的变换参数q的函数)吸引到图像点xi的外部能量等式的简化版本可以被描述为：

等式(1)

等式(1)可以被最小化以计算最佳变换参数q并且因此优选地对齐ci与xi。奇异值分解(svd)可以用来最小化等式(1)。在优化期间，单个系统矩阵u可以被求逆。如能够在图6中看出的，矩阵u的对角可以由多个子矩阵构成，每个子矩阵表示器官腔室520-524中的每一个，所述器官腔室520-524在图6中被图形地指示在相应的心脏模型510-514中。当对矩阵u求逆时，足够数量的目标点针对那些腔室中的每个进行预期。在有限的fov的情况下，特定腔室的大多数网格三角形可能未检测到任何目标点，因为它们会缺失图像信息。在极端情况下，对应于一个变换的全部分量可以在fov外。这可以导致具有专门示出针对该分量的零输入的矩阵u的病态等式系统，由此使直接的矩阵求逆不可靠。

为了稳定这种矩阵求逆，正则化可以被采用，例如吉洪诺夫正则化矩阵。矩阵u的条件数量可以通过将小值λ添加到u的对角来增加。考虑到整个系统矩阵u的奇异值，λ＝0.01σ最大的值可以是合适的，其中，σ最大是u的最大奇异值(通常从条件明确的子矩阵得到，例如左心室)。

图7-9图示了应用的正则化矩阵的影响。图7示出了以至此为止适应的模型401的叠加的形式的全局刚性/仿射变换之后的分割结果。如能够观察到的，心脏分量(例如左和右心房以及右心室的外边界)在fov外延伸。由于少量图像信息在这些分量的表面处可用，u中的这些分量的对应子矩阵包括靠近零的值。如果没有正则化被应用，使用svd的病态矩阵u的直接求逆因此在局部刚性/仿射变换期间导致不现实的心脏形状变形。这在图8中以因此适应的模型402的叠加的形式被示出。如通过图9中的适应的模型403示出的，应用的吉洪诺夫正则化矩阵通过将具有值λ的统一矩阵强加在对角上来稳定这些子矩阵，并且正则化的矩阵u的求逆保持那些腔室的变换参数不变。

将认识到，对于在fov外的区域，模型的形状可以使用模型的形状约束机制从模型的在fov内的部分外推。即，模型可以通过最小化内部能量项来外推，所述内部能量项可以对应于(在简化的版本中)：

等式(2)eint＝∑(vi-vj-(t[mi]-t[mj]))²

在这里，vi表示网格顶点，并且vj表示其邻居中的一个。在全局变换t下从平均网格中的对应顶点mi与mj之间的差的任何偏离都可以对内部能量作贡献。因为在fov外没有发现目标图像点xi，外部能量不在那里作贡献(参见等式(1))。因此，最小化内部能量可以保持fov外的形状在通过fov内的适应的形状设定的边界条件下尽可能类似于平均形状。

将认识到，本发明也应用于可以被有利地适配到诸如心脏的变形结构的动态模型。

将认识到，本发明也应用于计算机程序，特别是在载体上或在载体中的计算机程序，所述计算机程序适于将本发明付诸实践。程序可以是以源代码、目标代码、源代码和目标代码的中间代码的形式，例如以部分编译的形式，或者以适合用于实施根据本发明的方法的任何其他形式。还应认识到，这样的程序可以具有许多不同的架构设计。例如，实施根据本发明的方法或系统的功能的程序代码可以被细分为一个或多个子例程。在这些子例程之间分布功能的许多不同方式对本领域技术人员来说将是显而易见的。子例程可以被共同存储在一个可执行文件中，以形成自包含程序。这样的可执行文件可以包括计算机可执行指令，例如，处理器指令和/或解读器指令(例如，java解读器指令)。或者，一个或多个或所有子例程可以被存储在至少一个外部库文件中，并且静态地或动态地(例如在运行时间)与主程序链接。主程序包含对至少一个子例程的至少一个调用。子例程还可以包括对彼此的函数调用。涉及计算机程序产品的实施例包括计算机可执行指令，其对应于本文中提出的方法中的至少一个的每个处理阶段。这些指令可以被细分为子例程和/或存储在可以被静态地或动态地链接的一个或多个文件中。涉及计算机程序产品的另一实施例包括计算机可执行指令，其对应于本文中提出的系统和/或产品中的至少一个的每个单元。这些指令可以被细分为子例程和/或存储在可以被静态地或动态地链接的一个或多个文件中。

计算机程序的载体可以是能够承载程序的任何实体或设备。例如，载体可以包括数据存储设备，例如rom(例如，cdrom或半导体rom)，或者磁记录介质(例如，硬盘)。此外，载体可以是诸如电学或光学信号的可传送载体，其可以经由电缆或光缆或通过无线电或其他工具来传达。当程序体现在这种信号中时，载体可以由这种线缆或其他设备或单元构成。或者，载体可以是程序被体现在其中的集成电路，集成电路适于执行相关方法，或者用于相关方法的执行。

应当注意，上述实施例图示而非限制本发明，并且本领域技术人员能够在不脱离所附权利要求的范围的情况下设计许多备选实施例。在权利要求中，置于括号中的任何附图标记不应被解释为限制权利要求。动词“包括”及其词性变化的使用不排除存在不同于权利要求中所述的其他元件或步骤。在元件之前的词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括若干个不同元件的硬件来实施，并且可以借助于适当编程的计算机来实施。在列举了若干器件的设备权利要求中，这些器件中的若干可以具体实现为一个相同的硬件。尽管在相互不同的从属权利要求中记载了特定措施，但是这并不表示不能有利地使用这些措施的组合。