使用联合深度学习模型进行图像分割的系统和方法与流程

本说明书的实施方案整体涉及医学图像的上下文分割，并且更具体地涉及用于使用用于医学图像的上下文分割的生成模型来联合深度学习前景、背景和形状的系统和方法。

医学图像/体积的分割或对象描绘是后续定量任务的基本步骤，而定量任务是医学诊断的关键促成因素。一般来讲，图像分割需要检测、粗略分割和更精细细节的分割。通常，来自医学图像的分割或对象描绘中的一些挑战包括图像诸如超声图像、正电子发射断层摄影(pet)图像等中固有的噪声，成像模态固有的不同对比度，x射线、磁共振(mr)和超声图像的多模态强度变化，以及图像内的复杂形状。传统技术通常要求检测图像中的对象，然后进行精确分割。

此外，传统分割方法采用几何先验、前景/背景强度模型和形状先验。传统方法遇到的一些挑战包括分割任务的初始化、复杂纹理和/或形状的建模、超参数调整和计算定时。已经使用被配置为学习复杂前景/背景强度的机器学习方法来规避这些挑战中的一些。而且，其他方法包括使用基于训练数据开发的形状模型。然后，将机器学习方法和基于形状模型的方法插入到标准分割框架中。

最近基于完全卷积网络(fcn)的方法为通过学习上下文和形状与纹理之间的交互(例如u-net)实现的对象的端到端检测和分割提供了单一框架。此外，考虑到适当的训练数据，基于fcn的方法也扩展到不同问题的普遍性。然而，完全卷积网络(fcn)需要大量代表性训练数据来促进多个实体的学习，诸如这些实体的前景、背景、形状和上下文交互。训练数据有限或不足时，难以解释故障。此外，手动选择数据以提高性能可能是有问题的。

技术实现要素：

根据本说明书的一个方面，公开了方法。该方法包括接收输入图像。此外，该方法包括获得具有三元组预测器的深度学习。该方法还包括通过三元组预测器中的形状模型来处理输入图像，以生成分割形状图像。此外，该方法包括经由显示单元呈现分割形状图像。

根据本说明书的另一方面，公开了系统。该系统包括被配置为采集输入图像的图像采集单元。此外，该系统包括深度学习单元，该深度学习单元包括深度学习模型，其中深度学习模型包括三元组预测器。该深度学习单元被配置为通过三元组预测器中的形状模型来处理输入图像，以生成分割形状图像。此外，该系统包括处理器单元，该处理器单元通信地耦接到深度学习单元并且被配置为经由显示单元呈现分割形状图像。

附图说明

当参考附图阅读以下详细描述时，本说明书的实施方案的这些和其他特征和方面将变得更好理解，附图中相同的字符在整个附图中表示相同的部分，其中：

图1是示出根据本说明书的各方面的使用联合深度学习模型进行图像分割的系统的框图；

图2(a)是根据本说明书的各方面供应至图1的深度学习模型的输入图像；

图2(b)至2(d)是根据本说明书的各方面，在通过图1的深度学习模型处理图2(a)的输入图像之后生成的三通道输出图像；

图3(a)至3(c)是示出根据本说明书的各方面，在从输入图像分割形状边界时，图1的深度学习模型的性能与现存完全卷积网络的性能的比较的图像；

图4(a)至4(c)是示出根据本说明书的各方面，在从输入图像分割胎儿腹部区域时，图1的深度学习模型的性能与现存完全卷积网络的性能的比较的图像；

图5(a)至5(c)是示出根据本说明书的各方面，在从输入图像分割腹部区域时，图1的深度学习模型的性能与现存完全卷积网络的性能的比较的图像；

图6是根据本说明书的各方面的使用联合深度学习模型进行图像分割的方法的流程图；并且

图7是根据本说明书的各方面的形状正则化深度学习模型的框图。

具体实施方式

完全卷积网络(fcn)非常适合将上下文引入学习以进行分割。根据本说明书的各方面，提供了使用图像形成的生成建模的混合对图像进行上下文分割的系统和方法，该图像形成的生成建模的混合使用完全卷积网络(fcn)来联合学习前景(f)、背景(b)和形状(s)的三元组。这种基于fcn的前景、背景和形状三元组的生成建模有助于捕获上下文。此外，这些系统和方法可与较小的训练数据集一起使用。而且，这些系统和方法提供易于解释的结果，并且能够容易地实现跨分割问题的学习转移。

图1是示出根据本说明书的各方面的使用联合深度学习模型进行图像分割的系统100的框图。图像分割系统100用于基于通过前景、背景和形状模型的联合深度学习生成的学习模型的医学图像的上下文分割。更具体地，图像分割系统100包括图像采集单元102，该图像采集单元被配置为采集对应于受检者的输入图像112。

在一个实施方案中，输入图像102是二维(2d)图像，并且图像分割是指2d图像分割。在另一个实施方案中，输入图像102可以指三维(3d)图像，并且图像分割是指3d图像分割。本文所用的术语“受检者”是指患者、患者身体中所关注的器官、机器部件或待通过输入图像102分析的任何其他对象。

图像分割系统100还包括深度学习单元114，该深度学习单元包括深度学习模型104。在一个实施方案中，深度学习模型104是完全卷积网络(fcn)。具体地，深度学习模型104被实现为多通道fcn。在图示实施方案中，深度学习模型104是具有三元组预测器116、118、120的多通道fcn。多通道fcn可基于并行u-net架构来实现，该架构具有用于三元组预测器中的每一者的单独权重。在另一个实施方案中，基于共享u-net架构来实现多通道fcn，该架构具有用于三元组预测器的共享权重。

在图1的示例中，深度学习模型104被描绘为具有前景模型116、背景模型118和形状模型120的三通道fcn。输入图像102被提供给深度学习模型104，并且深度学习模型104被配置为生成三个输出通道106、108和110。具体地，附图标号106用于表示由前景模型116生成的前景纹理图像，而附图标号108用于表示由背景模型118生成的背景纹理图像。而且，由形状模型120生成的分割形状图像用附图标号110表示。图像分割系统100还包括处理器单元122和存储器单元124，该存储器单元经由通信总线126通信地耦接到图像采集单元112和深度学习单元114。

在标准fcn公式中，诸如u-net，考虑到图像对和分割掩模{ik，sk}k＝1，2，...n的训练示例，框架学习由参数w定义的预测器该预测器使训练损失最小化，诸如均方根误差(rmse)根据本说明书的各方面，使训练损失的以下可能性最小化的三元组预测器可根据等式(1)和(2)来定义。

fbs1：

使得

等式(1)的前两项分别学习前景和背景预测器。等式(1)的最后一个项学习对象形状的表示。

另外，可采用更简单的符号来根据公式(2)定义三元组预测器。

fbs2：

使得

可以指出的是，在等式(2)中，使用了更简单的符号。例如，使用代替等式(2)中的第二项包括前景/背景预测器，而第一项包括图像形成模型。等式(2)中的最后一项包括形状预测器。

在等式(1)和(2)的fbs1和fbs2中，预测器受到的预测的影响。另外，等式(1)和(2)的公式可补充有几何先验，诸如长度缩短、曲率光滑度、形状字典先验、反射率等。

等式(1)和(2)的公式fbs1和fbs2被实现为具有适当的损失函数(如均方误差、平均绝对误差等)的多通道回归输出fcn，用于纹理预测和形状的二元交叉熵。具体地，fcn的输出层包括分别用于预测前景纹理图像106、背景纹理图像108和分割形状图像110的三个通道。

在另一个实施方案中，等式(1)中的三元组预测器中的每一者可基于具有p维形状投影(编码器)e和解码器r的卷积去噪自动编码器(cdae)进行修改。cdae的编码器-解码器对被配置为基于卷积神经网络提供输入图像的去噪。编码器e被配置为将任何任意形状s投影到表征表示几何先验的形状空间m的多个基本真值分割掩模中的一个。rmse函数被修改为：

pre1：

其中

等式(3)中的第一项是投影误差成本项，并且基于预测形状和形状空间m之间的距离。等式(3)中的第二项表示成本项，该成本项为基于分割掩模的编码表示与预测掩模之间的距离的。等式(3)中的第三项是欧几里得成本项，其基于基本真值分割掩模与来自形状空间m的预测掩模之间的距离。虽然等式(3)对应于表示形状正则化的成本函数，但可以为等式(1)中的背景纹理正则化和前景纹理正则化添加类似的成本函数。还可以指出的是，等式(2)也可以以类似的方式进行修改，以解决投影误差、表示误差和欧几里得误差。

在一个实施方案中，等式(3)的形状正则化可如图7所示来实现。现在参见图7，其呈现了根据本说明书的一个方面的形状正则化深度学习模型700的框图。形状正则化深度学习模型700包括与第二完全卷积网络704级联的第一完全卷积网络702。

此外，第一fcn702可被称为分割网络，而第二fcn704可被称为形状正则化网络。第一fcn702被配置为处理输入图像708并生成分割图像710。第二fcn704被配置为将分割图像710约束到由多个训练图像714定义的流形(由m表示)中的自动编码器输出图像712。在一个实施方案中，当受检者是患者并且输入图像是医学图像时，使用香草u-net架构作为第一fcn702和第二fcn704。

此外，第二fcn704包括编码器(e)和解码器(r)。第一fcn702的输出对等式(3)中的第三项有贡献，第二fcn704的输出对等式(3)的前两项有贡献。此外，基于多个训练图像对第二fcn704进行预训练。而且，基于自定义损失函数716更新第一fcn。继而基于分割图像710、自动编码器输出图像712和基本真值图像714来确定自定义损失函数。

返回参见图1，实现如关于图1描述的图像分割系统100有助于处理输入图像102以分别生成/预测前景纹理图像106、背景纹理图像108和分割形状图像110。此外，前景纹理图像106、背景纹理图像108和分割形状图像110中的一者或多者可在显示单元128上可视化以帮助向受检者(诸如患者)提供医疗护理。

图2(a)是根据本说明书的各方面的供应至图1的深度学习模型/完全卷积网络(fcn)的输入图像202。在一个实施方案中，输入图像可以是超声图像202。此外，图2(b)至2(d)是在通过fcn处理图2(a)的输入图像202之后生成的三通道输出图像204、206、208。更具体地，图2(a)表示输入图像202，诸如作为图1的fcn/深度学习模型104的输入提供的超声图像。

而且，图2(b)表示由深度学习模型104生成的前景纹理的输出图像204。在一个示例中，前景纹理图像204表示图1的前景纹理图像106。以类似的方式，图2(c)表示由深度学习模型104生成的背景纹理的输出图像206。在一个示例中，背景纹理图像206表示图1的背景纹理图像108。另外，图2(d)表示由深度学习模型104生成的分割形状的输出图像208。在一个示例中，分割形状图像208表示图1的分割形状图像110。

可以指出的是，由于三元组预测器的互补性，基于等式(1)和(2)的公式fbs1和/或fbs2来确定深度学习模型104提供了稳健的形状预测器。同时确定给定选择的训练数据的三元组预测器确保了基于深度学习模型的优异的图像分割。

图3(a)至3(c)是示出根据本说明书的各方面，在从输入图像分割形状边界时，示例性深度学习模型104与现存fcn的性能的比较的图像。图3(a)表示输入图像302，诸如提供给深度学习模型104和/或现存fcn(诸如u-net)的超声图像。

此外，图3(b)表示由现存fcn(诸如u-net)生成的输出图像304。在现存的基于fcn的方法中，需要更大的集合训练数据来抽象前景/背景纹理、形状以及纹理与形状的关系。附图标号308表示图像304中的对象的形状边界的基本真值。如在图3(b)的说明性示例中所见，输出图像304示出了对比度差的区域中形状边界310的不完全生成。

此外，图3(c)表示由图1的深度学习模型104生成的输出图像308。在图3(c)中，附图标号312表示图像306中的对象的形状边界的基本真值。如在图3(c)的说明性示例中所见，输出图像304示出了完整的形状边界314。

可以指出的是，经由示例性深度学习模型104式(1)的fbs1公式来处理输入图像302导致识别完整的形状边界314，而经由u-net处理输入图像302导致识别不完整的形状边界310。

图4(a)至4(c)是示出根据本说明书的各方面，在从输入图像分割胎儿腹部区域时，图1的示例性深度学习模型104与现存fcn的性能的比较的图像。图4(a)至4(c)提供了当前可用技术(诸如u-net和示例性深度学习模型104)在从输入图像(诸如超声图像)分割胎儿腹部区域时的性能的比较。图4(a)表示输入图像402，诸如提供给深度学习模型104和/或现存fcn(诸如u-net)的超声图像。

图4(b)表示通过现存fcnu-net处理输入超声图像402而生成的输出图像404。以类似的方式，图4(c)表示通过根据等式(1)的公式fbs1实现的深度学习模型104处理输入超声图像402而生成的输出图像406。

在图4(b)中，附图标号408通常表示对应于所关注的分割形状(诸如图像404中的胎儿腹部区域)的基本真值形状轮廓。附图标号410通常表示通过u-net处理输入超声图像402而生成的对应于图像404中的所关注的分割形状的分割形状轮廓。

类似地，在图4(c)中，附图标号412通常表示对应于所关注的分割形状(诸如图像406中的胎儿腹部区域)的基本真值形状轮廓。附图标号414通常表示通过深度学习模型104处理输入超声图像402而生成的对应于图像406中的所关注的分割形状的分割形状轮廓。

如图4(a)至4(c)的说明性示例中所描绘的，图4(c)的图像406示出了与u-net生成图像404相比在基本真值形状轮廓412上dice系数重叠的4％的改善，这在胎儿生物测量中尤其显著。此外，在图像406中，由于除了形状建模之外的图像前景和背景的建模，由深度学习模型104生成的分割形状轮廓414紧随胎儿腹部边缘。

可以指出的是，前景和背景纹理的联合学习可以避免fcn相对于医学图像的过度拟合和泛化。考虑到前述内容，图5(a)至5(c)是响应于具有一组肾脏图像的示例性训练阶段和具有含有不同腹部脂肪水平的腹部图像的测试阶段而从深度学习模型104生成的图像。

在图5(a)至5(c)中，呈现了根据本说明书的各方面，当前可用技术(诸如u-net和示例性深度学习模型104)从输入图像分割腹部区域时的性能的比较。

图5(a)表示提供给深度学习模型104和/或现存fcn(诸如u-net)的输入图像502，诸如具有高脂肪含量的腹部的超声图像。而且，图5(b)表示通过现存fcnu-net处理输入超声图像502而生成的输出图像504。以类似的方式，输出图像506对应于通过根据等式(1)的公式fbs1实现的深度学习模型104处理输入超声图像502而生成的输出。

在图5(b)中，附图标号508通常表示对应于所关注的分割形状(诸如图像504中的腹部区域)的基本真值形状轮廓。附图标号510通常表示通过u-net处理输入超声图像502而生成的对应于图像504中的所关注的分割形状的分割形状轮廓。

此外，在图5(c)中，附图标号512通常表示对应于所关注的分割形状(诸如图像506中的腹部区域)的基本真值形状轮廓。附图标号514通常表示通过深度学习模型104处理输入超声图像502而生成的对应于图像506中的所关注的分割形状的分割形状轮廓。

可从图5(b)的图像504观察到，分割形状轮廓510显著偏离基本真值形状轮廓508。此外，可从图5(c)的图像506观察到，分割形状轮廓514和基本真值形状轮廓512显示出显著的重叠。因此，从图5(b)和5(c)可以清楚地看出，图5(c)的分割形状轮廓514比图5(b)的分割形状轮廓510更精确。因此，深度学习模型104的使用导致更精确的形态测量。这可归因于深度学习模型104学习前景和背景纹理的能力，其导致上下文的稳健建模。

图6为根据本说明书的各方面的用于使用联合深度学习模型来分割图像的方法600的流程图。

方法600包括接收输入图像，如步骤602所示。输入图像对应于受检者，诸如但不限于患者、所关注的器官、机器部件、行李等。此外，在步骤604处，获得深度学习模型。在一个实施方案中，深度学习模型包括被配置为预测前景纹理、背景纹理和分割形状的三元组预测器。此外，在某些实施方案中，获得深度学习模型的步骤包括生成表示三元组预测器的多通道完全卷积神经网络。在另一个实施方案中，获得深度学习网络的步骤包括基于多个前景模型权重、多个背景模型权重和多个形状模型权重来制定联合成本函数。此外，使联合成本函数最小化以生成前景模型、背景模型和形状模型。可以指出的是，前景模型包括多个前景模型权重，背景模型包括多个背景模型权重，并且形状模型包括多个形状模型权重。

在其他实施方案中，联合成本函数包括前景成本因子、背景成本因子和形状成本因子。前景成本因子代表前景建模误差，背景成本因子代表背景建模误差，并且形状成本因子代表形状建模误差。通过同时使前景成本因子、背景成本因子和形状成本因子最小化，来使联合成本函数最小化。

在另一个实施方案中，联合成本函数包括形状成本因子、外观成本因子和过度拟合成本因子。因此，在该示例中，通过同时使形状成本因子、外观成本因子和过度拟合成本因子最小化，来使联合成本函数最小化。

而且，在一个实施方案中，基于关于前景、背景和形状的先验信息来修改联合成本函数。具体地，先验信息代表几何先验，诸如长度缩短先验、曲率平滑度先验、形状字典先验、反射率等。当几何先验可用时，对于前景成本因子、背景成本因子和形状成本因子中的每一者，将投影成本因子、表示成本因子和/或欧几里得成本因子添加到联合成本函数中。在一个实施方案中，投影成本因子、示成本因子和欧几里得成本因子基于卷积去噪自动编码器(cdae)生成。

此外，在步骤606处，通过三元组预测器中的形状模型处理输入图像，以生成分割形状图像。此外，可通过使用图1的显示单元128来可视化分割形状图像，如步骤608所示。在一个实施方案中，当受检者为患者时，分割形状图像的显示有利于向受检者提供医疗护理。

另外，该方法包括通过三元组预测器中的前景模型和背景模型处理输入图像。具体地，输入图像由三元组预测器中的前景模型处理以生成前景纹理图像。类似地，输入图像由三元组预测器中的背景模型处理以生成背景纹理图像。此外，前景图像和/或背景图像可在显示单元128上可视化。在受检者为患者的示例中，前景图像和/或背景图像的显示有利于向受检者提供医疗护理。

用于使用上文呈现的医学图像的上下文分割的生成模型进行联合深度学习的系统和方法提供了通过使用前景、背景和形状的同时学习预测器来对医学图像进行稳健的上下文分割的替代方法。此外，前景、背景和形状的生成建模有利地利用了fcn捕获上下文信息的能力。此外，尽管受到有限的训练数据的限制，但此方法提供了易于解释的结果。另外，该方法能够容易地实现跨分割问题的学习转移。

应当理解，不一定能够根据任何特定实施方案实现上述所有这些目的或优点。因此，例如，本领域的技术人员将认识到，本文所述的系统和技术可以以实现或改进如本文所教导的一个优点或一组优点的方式来实施或执行，同时不一定实现本文所教导或建议的其他目的或优点。

虽然已结合仅有限数目的实施方案详细描述了该技术，但应当容易地理解，说明书不限于此类公开的实施方案。相反，可修改该技术以结合迄今未描述但与权利要求的实质和范围相称的任何数量的变型、更改、替换或等同布置。另外，虽然已经描述了该技术的各种实施方案，但应当理解，说明书的各方面可仅包括所描述的实施方案中的一些。因此，本说明书不应被视为受前述描述的限制。