用于超声图像的基于模型的分割的采集取向相关特征的制作方法

本申请要求享有于2014年5月14日提交的欧洲专利申请号EP14168298.9的优先权的益处，通过引用将其整体并入本文。

背景技术：

在针对计算机断层摄影(CT)图像的基于模型的分割中，假定要被分割的器官通常具有相同图像外观。针对表面模型的每个三角形而言，描述局部图像外观的边界检测特征被学习。对于超声图像，图像外观在对象与探头的相对位置或取向改变时改变。对于一些应用，能够定义采集协议中的取向(例如，在经胸超声心动图(TTE)中)，但是对于其他协议，不能够定义取向。这对于胎儿超声图像而言是尤其相关的。当胎儿在子宫内自由移动时，强加从关于胎儿的固定取向采集图像是不可能的。执行关于不正确的特征集的适应能够导致分割中的不准确度。

技术实现要素：

本公开涉及医学系统并且更具体地涉及被配置为根据用于分割的对象的取向选择分割模型的超声成像系统。

根据本原理，一种基于模型的分割系统，包括：多个簇，每个簇被形成为表示要被分割的目标的取向。一个或多个模型与每个簇相关联，所述一个或多个模型包括与所述簇的取向相关联的至少一个方面。比较单元被配置在存储器存储介质中，所述比较单元被配置为将超声图像与所述簇进行比较以确定最接近的匹配取向，并且被配置为基于具有所述最接近的匹配取向的所述簇来选择所述一个或多个模型。模型适应模块被配置为将所述一个或多个模型适应于所述超声图像。

另一基于模型的分割系统包括超声图像的所述多个簇，其被形成为表示要被数字地分割的子宫内胎儿的取向。一个或多个模型与每个簇相关联，所述一个或多个模型包括与所述簇的取向相关联的至少一个方面，所述至少一个方面包括所述胎儿的外观模型。比较单元被配置在存储器存储介质中，所述比较单元被配置为将所述胎儿的超声图像与所述簇进行比较以确定最接近的匹配取向，并且被配置为基于具有所述最接近的匹配取向的所述簇来选择所述一个或多个模型。模型适应模块被配置为将所述一个或多个模型适应于所述超声图像。

一种用于基于模型的图像分割的方法，包括：确定超声探头相对于要被分割的目标的取向；将一个或多个模型与经图像训练的簇进行关联，所述一个或多个模型包括与所述簇的取向相关联的至少一个方面；将超声图像与所述经图像训练的簇进行比较以确定最接近的匹配取向；并且基于具有所述最接近的匹配取向的所述经图像训练的簇来选择所述一个或多个模型以用于对所述超声图像的模型适应。

在某些方面中，本发明还包括用于基于模型的图像分割的系统，其能够包括在其上的指令，所述指令在被运行时令所述系统：接收定义超声探头相对于要被分割的目标的取向的输入数据；将一个或多个模型与经图像训练的簇相关联，所述一个或多个模型包括与所述簇的取向相关联的至少一个方面；将超声图像与所述经图像训练的簇进行比较以确定最接近的匹配取向；基于具有所述最接近的匹配取向的所述经图像训练的簇来选择(512)所述一个或多个模型以用于对所述超声图像的模型适应；并且识别要被分割的所述目标相对于所述超声探头的所述取向。所述超声图像能够包括胎儿的解剖特征，所述解剖特征取决于所述超声探头相对于所述目标的所述取向而被显示在不同的取向中。

本公开的这些和其他目标、特征和优点将根据要结合附图阅读的本公开的说明性实施例的以下详细描述而变得显而易见。

附图说明

本公开将参考以下附图详细呈现优选实施例的以下描述，其中：

图1是示出根据本原理的被配置用于训练图像簇的超声成像系统的框/流程图；

图2是示出根据本原理的说明性实施例的采用取向模型和超声成像系统的基于模型的分割系统的框/流程图；

图3是根据本原理的示出母体内胎儿的超声图像并且示出成像探头与胎儿的相对取向的图；

图4是根据本原理的示出针对母体内胎儿的三个说明性超声图像簇的图；

图5是根据本原理的示出针对母体内胎儿的三个说明性模型及其相应方面(例如，形状和外观模型)的图；并且

图6是示出根据说明性实施例的用于使用图像簇确定适当模型的对目标的分割的方法的流程图。

具体实施方式

根据本原理，使用更准确的模型选择来执行基于模型的分割，以执行一个或多个模型的适应。在超声成像中，成像探头聚集基于探头的取向可以不同地表现的成像数据，亦即，图像外观在成像对象的相对位置或取向相对于探头改变时改变。在一个实施例中，收集胎儿超声图像。当胎儿在子宫内自由移动时，定义应当从关于胎儿的固定取向采集的图像是极其困难的。例如，用户可能不能够容易地识别其是否正对胎儿的头部的左侧或右侧进行成像。根据本原理，根据胎儿关于探头的取向选择解剖特征。例如，能够选择右耳来辅助识别如何关于胎儿对探头定向。在本发明的模型的训练阶段中，不同的取向的图像被聚类到图像的不同的簇中，并且对于每个簇，训练解释胎儿相对于成像探头的不同的取向的特征。在本发明的模型的分割阶段中，与特定取向相关联的图像的最近取向簇被确定并且被用于实时选择哪个分割模型应当被采用，其最好匹配图像中的胎儿的位置。能够在胎儿或其他目标上执行基于模型的分割以将一个或多个模型适应于图像并且根据一个或多个模型对(一幅或多幅)图像进行分析。通过实时选择适当模型，改进分割准确度并且降低图像处理时间。

应当理解，将依据医学系统来描述本发明；然而，本发明的教导宽广得多并且适于采用定向成像的任何系统。在一些实施例中，本原理被采用在跟踪或分析复杂的生物或机械系统中。具体而言，本原理适于身体的所有区域(诸如肺、胃肠道、子宫、心脏、子宫内胎儿、排泄器官、血管等)中的生物系统的内部跟踪流程。附图中描绘的元件可以被实施在硬件与软件的各种组合中，并且提供可以被组合在单个元件或多个元件中的功能。

能够通过使用专用硬件以及能够运行与合适的软件相关联的软件的硬件来提供附图中示出的各种元件的功能。在由处理器提供时，所述功能能够由单个专用处理器、由单个共享处理器、或由多个个体处理器(它们中的一些能够被共享)来提供。此外，术语“处理器”或“控制器”的明确使用不应被解释为唯一地指代能够运行软件的硬件，并且能够暗含地包括而不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、非易失性存储设备等。

此外，在本文中的记载本发明的原理、方面和实施例的所有陈述，以及其具体范例，旨在涵盖其结构和功能等价物。此外，这样的等价物旨在包括当前已知的等价物和未来发展的等价物(即，无论其结构执行相同功能的所发展的任何元件)。因此，例如，本领域技术人员将认识到，本文呈现的框图表示实现本发明的原理的说明性系统部件和/或电路的概念视图。类似地，将认识到，任何流程表、流程图等表示基本上可以被表示在计算机可读存储介质中并因此由计算机或处理器来运行的各种过程，而无论这样的计算机或处理器是否被明确示出。

此外，本发明的实施例能够采取计算机程序产品的形式，所述计算机程序产品可从计算机可用或计算机可读存储介质存取，所述计算机可用或计算机可读存储介质提供用于由计算机或任何指令运行系统使用或者与计算机或任何指令运行系统结合来使用的程序代码。出于该描述目的，计算机可用或计算机可读存储介质能够是可以包括、存储、通信、传播或运输用于由指令运行系统、装置或设备使用或与其结合来使用的程序的任何装置。所述介质能够是电子的、磁性的、光学的、电磁的、红外的或半导体系统(或者装置或设备)或传播介质。计算机可读介质的范例包括半导体或固态存储器、磁带、可移除计算机软盘、随机存取存储器(RAM)、只读存储器(ROM)、刚性磁盘以及光盘。光盘的当前范例包括压缩盘-只读存储器(CD-ROM)、压缩盘-读/写(CD-R/W)、Blu-Ray^TM以及DVD。

现在参考附图，其中，相似数字代表相同或相似的元件，并且首先参考图1，以框图形式示出了根据本发明的原理构建的超声成像系统10。在图1的超声诊断成像系统中，超声探头12包括用于发射超声波和接收回声信息的换能器阵列14。各种换能器阵列是本领域中公知中(例如，线性阵列、凸面阵列或相位阵列)。例如，换能器阵列14可以包括能够在海拔和方位维度两者中扫描以用于2D和/或3D成像的换能器元件的二维阵列(如所示)。换能器阵列14被耦合到探头12中的微型波束形成器16，微型波束形成器16控制由阵列中的换能器元件对信号的发射和接收。在该范例中，微型波束形成器16通过探头线缆耦合到发射/接收(T/R)开关18，开关18在发射与接收之间切换并且保护主波束形成器22免受高能量发射信号影响。在一些实施例中，系统中的T/R开关18和其他元件能够被包括在换能器探头中而不是分离的超声系统底座中。在微型波束形成器16的控制下的超声波束从换能器阵列14的发射由耦合到T/R开关18和波束形成器22的发射控制器20引导，所述波束形成器接收来自用户接口或控制面板24的用户的操作的输入。由发射控制器20控制的功能之一是波束操纵的方向。波束可以被操纵为从换能器阵列一直向前(与其正交)，或者针对更宽的视野而处于不同的角处。由微型波束形成器16产生的部分波束成形信号被耦合到主波束形成器22，其中，来自换能器元件的个体片块的部分波束成形信号被组合为完全波束成形信号。

波束形成信号被耦合到信号处理器26。信号处理器26能够以各种方式处理所接收的回声信号，例如带通滤波、抽取、I分量和Q分量分离以及谐波信号分离。信号处理器26也可以执行额外的信号增强，诸如散斑减少、信号合成以及噪声消除。经处理的信号被耦合到B模式处理器28，B模式处理器28能够采用针对身体中的结构的成像的幅度检测。由B模式处理器28产生的信号被耦合到扫描转换器30和多平面重新格式化器32。扫描转换器30以其根据其以期望的图像格式被接收的空间关系布置回声信号。例如，扫描转换器30可以将回声信号布置成二维(2D)扇形格式或锥体三维(3D)图像。多平面重新格式化器32能够将从身体的体积区域中的公共平面中的点接收的回声转换为该平面的超声图像，如美国专利No.6443896(Detmer)中所描述的，通过引用将其整体并入本文。体积绘制器34将3D数据集的回声信号转换为如从给定参考点查看的投影3D图像，例如如美国专利No.6530885(Entrekin等)中所描述的，通过引用将其整体并入本文。2D或3D图像从扫描转换器30、多平面重新格式化器32和体积绘制器34被耦合到图像处理器36以用于另外的增强、缓冲和暂时存储，以供图像显示器38上的显示。图形处理器36能够利用超声图像生成用于显示的图形交叠。这些图形交叠能够包含例如标准识别信息，诸如患者名字、图像的日期和时间、成像参数等。出于这些目的，图形处理器40接收来自用户接口24的输入，诸如键入的患者名字。用户接口还能够耦合到多平面重新格式化器32以选择和控制多幅多平面重新格式化(MPR)图像的显示。在某些实施例中，显示器能够被配置为将指示器示出给用户从而向用户示出探头如何关于被成像的目标被取向，例如，示出相对于胎儿的右耳而不是左耳的探头。能够使用本文所描述的方法执行取向的识别，并且显示器然后能够根据该信息显示用于用户解释的指示器。能够通过接收识别超声探头相对于被成像的目标(例如，胎儿)被定位在何处的输入数据在软件中实施指示器。指示器能够够包括例如箭头、识别取向的文本和/或探头在空间中相对于目标的数字表示的图像。

存储器单元或系统42可以包括非暂态存储介质，所述非暂态存储介质用于存储成像系统10的处理器26、28、36、40或(一个或多个)任何其他部件中的一个或多个的数据或输出。在一个尤其有用的实施例中，系统10可以用作训练系统以及成像系统。在这样的情况下，存储器42可以包括训练数据库44，训练数据库44被配置为存储用于在图像处理期间确定目标的位置的训练数据。训练数据通过分类器46来聚类以形成与目标的可能位置有关的簇。在一个特别有用的实施例中，分类器46基于胎儿的位置形成簇48，例如，一个簇可以基于包括鼻部视角的多幅图像，一个簇可以基于包括侧视角的多幅图像(右和左，其中，一个集合被翻转以降低簇的数量)，一个簇可以基于包括头部视角的后面的多幅图像等。应当注意，任何数量(更多或更少)的簇可以取决于手边的应用而形成。分类器46可以被配置为将加权应用到图像中的特征以使评分或将训练数据与采集图像匹配更容易并且更准确。

应当理解，如果系统10未被配置用于训练，则可以从系统10省略训练数据库44和分类器46。系统10将包括从在另一时间由另一系统所收集的训练数据导出的簇48。存储器42服务并且可以被耦合到图1中所描绘的元件中的一个或多个。

超声成像系统10的训练数据被提供到处理系统或工作站100(图2)。工作站100可以将成像系统10包括在其中或者成像系统10可以是分离的单元。超声成像系统10可以利用在系统模型的训练中并且用于获取实时图像，如将描述的。

参考图2，根据一个实施例说明性地示出了处理系统100。系统100可以包括从其监督和/或管理流程的工作站或控制台112。工作站112优选地包括一个或多个处理器114和用于存储程序和应用的存储器116。存储器116可以存储训练数据库118，训练数据库118被配置为存储用于建立模型的训练数据。

对于基于模型的分割，(一个或多个)模型140可以包括多个方面。在一个实施例中，模型包括至少两个方面，形状模式142和外观模型144。可以在模型的训练阶段中训练形状模型142和/或外观模型两者以提供具有对应于簇48的位置或取向的模型。形状模型142描述了要被分割的对象或目标的形状。形状模型142包括预期形状并且可以包括目标的预期变化。形状模型142可以包括元素的网格，并且在一个特定实例中，三角形的网格。还可以采用其他形式的形状模型和/或网格元素。在外观模型144中，对预期外观进行编码。对于网格(三角形)的每个实体，学习在其相应区域中图像看起来如何。外观模型144可以包括关于图像/像素强度、梯度、纹理等的信息。

模型方面(例如，形状模型142和/或外观模型144)均可以分别包括多个实例146和148。实例146提供对应于目标132(例如，子宫内胎儿)的不同的位置的完整模型。根据在簇48中所提供的聚类位置来训练模型的这些实例146和148。

在模型适应和分割期间，超声成像探头12被用于从受检者130收集图像。在尤其有用的实施例中，受检者130包括患者，并且目标132包括胎儿。由于胎儿能够在子宫内自由地移动，因此胎儿的位置需要被确定以提供胎儿的准确和有效的分割。根据胎儿(或其他动态目标)的初始图像，能够确定探头12相对于胎儿132的位置/取向。能够基于被包含在医学数字成像和通信(DICOM)标头(或其他存储的数据)中的元数据、基于图像处理方法、基于探头12和/或图像中的胎儿132的视觉评价等，来确定探头12的位置。探头12的位置被用于根据胎儿关于探头12的取向来选择图像特征。由于胎儿外观随着探头取向和胎儿相对于探头12的位置而改变，因此胎儿的位置需要被确定。这能够通过图像处理来执行以将收集的图像特征与簇48中的特征进行比较。根据训练相位，对胎儿取向进行聚类，并且对于每个簇，对特征进行训练。具有基于搜索特征的最高相似度评分的簇被选择为给定图像中的胎儿的取向。在一些实施例中，系统能够从用户接受可以评价胎儿的位置的用户输入并且输入针对图像的位置/取向从而提供探头相对于被成像的目标可以为什么取向的额外建议。

所选择的簇具有与其相关联的一个或多个模型实例(例如，146和148)。该模型实例在运行中实时被选择以确保模型关于胎儿的适当取向。实时的模型的选择降低计算时间、操作者介入并且改进后续分割过程的准确度。然后，所选择的模型能被用在其中能执行对目标132(例如，胎儿)的测量和分析的基于模型的分割中。在一些实施例中，分割的图像允许诸如胎儿尺寸、脑部体积等的测量结果。

工作站112包括用于查看受检者(患者)130或体积/目标132的内部图像的显示器138并且可以包括超声图像134，但是可以采用其他类型的图像。显示器138还可以允许用户与工作站112及其部件和功能或系统100内的任何其他元件交互。这还由接口120促进，所述接口可以包括键盘、鼠标、操纵杆、触觉设备或任何其他外周设备或控制，以允许用户得到来自工作站112的反馈并与工作站112交互。

工作站112包括分割模块122，分割模块122能够分割图像或图像的部分，以定义收集的图像中的体积或平面。相同或不同的工作站112可以被用于解析目标的实时或存储的图像。为简单起见，工作站112可以被配置用于训练模型和对实时或存储的图像进行图像处理两者。根据本原理，图像处理可以包括识别图像特征，将这些特征与簇相关联以识别位置/取向，使用与簇相关联的模型选择来分割图像，分析图像等。

分割模块122包括比较模块或单元124并且被配置为将超声图像(收集的图像134)与簇48进行比较以确定其之间的最接近的匹配取向。在一个实施例中，能够使用一个或多个图像比较算法将超声图像与一个或多个聚类中的图像进行比较。通常，本领域中已知的任何图像比较算法能够例如被用于获取一幅图像并且将像素或其他图像信息与其他图像进行比较以识别被比较的图像和/或各图像中的一些或全部的相似度的程度。比较模块124可以采用图像处理技术来将图像与簇进行比较并且导出相似度评分。为简单起见，采用术语相似度评分。应当理解，可以采用任何相关评分系统，包括基于图像差异消除图像等。最好的相似度评分将被用于识别选择的簇。所选择的聚类将被用于选择具有最接近的匹配取向的一个或多个模型。

模型适应模块或单元126被配置为将一个或多个模型适应于超声图像。可以使用已知技术来执行适应(例如，网格生成)以使模型与图像相关。

参考图3，说明性超声图像302和304示出了探头312相对于胎儿314的位置。在训练阶段中，根据其关于探头的取向对图像进行聚类。例如，通常，从如说明性地描绘的两个不同侧(要么从左侧要么从右侧)采集胎儿的头部306。从正面、从左侧或从右侧采集骨盆和股骨。对于每个取向，对不同的特征集进行训练和聚类。训练可以包括收集具有相同取向的图像并且对图像进行聚类，以识别对于该位置中的胎儿而言典型的特征。这些簇被用于提供对要被分割的实时图像的自动比较。簇识别针对胎儿的给定取向的典型的特征。当执行比较时，对簇进行评分，并且最高相似度评分被选择为图像的取向。

簇的数量可以基于给定应用的目标而变化。例如，簇的数量可以降低以改进计算时间或增加以改进模型拟合准确度。每个簇包括一个或多个模型或与其相关联的模型的各方面。

参考图4，说明性图示出了与相对于探头312的胎儿位置相关联的三个簇。这些簇可以包括具有多个正面图像的第一簇320、具有多个侧面图像的第二簇322(可以通过翻转来自一侧的图像簇以对应于另一侧的图像来一起将左和右侧聚类)和/或具有多个头后部图像的第三簇324。还可以采用更大数量(或较小数量)的簇。簇包括来自该特定取向上的多幅图像的信息。例如，五幅或更多幅图像在训练阶段中被聚类在一起以创建与该特定取向相关联的特征的记录。

参考图5，每个簇包括相关联的模型或模型的各方面。簇与模型402、404和406相关联。在这种情况下，存在分别与簇320、322和324相关联的三个模型402、404和406。每个模型402、404和406包括表面方面或模型410以及外观方面或模型412。根据需要或期望还可以包括额外的或其他模型。在一个实施例中，形状模型410可以针对每个取向相同，并且仅外观模型412可以针对不同的聚类的取向不同。在其他实施例中，基于簇取向来选择模型410和412两者。然后，模型被用于对所采集的图像的适应。通过根据本原理调节模型选择过程，能够实现更准确的模型适应。这导致来自分割的模型的较少的计算时间、较早的模型收敛和经改进的测量准确度。

基于模型的分割包括初始化和适应。在初始化期间，确定图像中的对象的粗略位置和取向。在适应期间，特征被用于将模型适应于图像。这利用增加的自由度(刚性、仿射、多仿射、可变形等)在若干子步骤中执行。可以使用已知技术执行这些子步骤。

根据本原理，引入初始化与适应之间的一个或多个额外步骤。首先，根据元数据或图像处理方法确定超声图像中的探头的位置。然后，确定初始化模型关于探头的相对位置和取向。然后，确定来自训练的最近(最相似)取向簇，并且根据基于取向簇的最好模型来选择特征。对模型进行适应，并且能够执行基于模型的分割。

应当理解，尽管已经依据胎儿超声描述了本实施例(例如，能够是胎儿超声产品的部分)，但是可以使用任何实时成像系统并且在解剖结构的任何部分上来采用本原理。例如，本原理可应用于基于超声图像对心脏进行建模。

参考图6，根据本原理说明性地示出了用于基于模型的图像分割的方法。在框502中，系统训练步骤可以被用于训练多个簇(经图像训练的簇)。该过程可以包括收集具有特定取向的目标的图像并且组合图像以形成簇。本领域中已知的聚类技术可以被用于创建和存储簇。每个簇表示目标相对于成像探头或其他参考的不同取向。在一个实施例中，要被分割的目标可以包括子宫内胎儿，并且使用针对要被分割的目标的多个位置中的每个的多幅超声胎儿图像来训练所述多个簇。

在框504中，超声探头被定位在相对于在成像会话期间要被分割的目标的取向处。可以使用来自成像设备(例如，超声探头)的元数据、DICOM标头、外部器材、操作者的经验、配准系统、跟踪传感器、计算等由系统确定或识别探头的位置。在框506中，将一个或多个模型与经图像训练的簇相关联，其中，模型的取向与簇的取向对应。一个或多个模型可以包括一个或多个方面。方面可以与簇的取向相关联，而不是整体模型。模型的方面可以包括形状模型、外观模型等。例如，一个方面可以包括外观模型，并且外观模型包括要被分割的目标的不同外观取向。在另一范例中，一个方面包括形状模型，并且形状模型包括针对要被分割的目标的不同形状取向。

在框508中，将收集的超声图像与经图像训练的簇进行比较以确定最接近的匹配取向。尽管自动比较是优选的，但是这可以视觉地执行。在框510中，比较步骤可以包括将超声图像的特征与经图像训练的簇中的特征进行匹配以确定相似度评分。相似度评分可以用在确定最接近的匹配取向中，其中，经图像训练的簇均表示目标的取向。可以使用本领域中已知用于图像比较的技术来导出可能性、相似度评分等。

在框512中，基于具有最接近的匹配取向的经图像训练的簇来选择一个或多个模型，以用于对超声图像的模型适应。在框514中，一个或多个模型被适应于图像。可以在超声成像会话期间(例如，实时)执行对超声图像的(一个或多个)模型的选择和/或适应。

在解读权利要求书时，应当理解：

a)词语“包括”不排除除了在给定的权利要求中列出的元件或动作以外的其他元件或动作的存在；

b)元件前面的词语“一”或“一个”不排除多个这样的元件的存在；

c)权利要求中的任何附图标记不限制其范围；

d)若干“单元”可以由相同项或者硬件或软件实施的结构或功能来表示；并且

e)除非明确地指示，否则并不旨在要求动作的具体顺序。

描述了超声图像的基于模型的分割的采集取向相关特征的优选的实施例(其旨在是说明性而非限制性的)，应当注意，根据以上教导，本领域的技术人员能够做出修改和变化。因此应当理解，可以在所公开的本公开的特定实施例中做出变化，所述变化在如权利要求书所概括的本文所公开的实施例的范围内。因而已经描述了专利法所要求的细节和特性，由专利证书所主张并期望保护的内容权利要求书中得以阐述。