用于自动分割3D医学图像的方法、系统和计算机可读介质与流程

用于自动分割3d医学图像的方法、系统和计算机可读介质
技术领域
1.本文所公开的主题涉及使用机器学习模型自动分割3d医学图像的方法、系统和计算机可读介质。更具体地讲，本发明所公开的主题涉及图像处理，并且涉及用于具有有效且准确的三维3d图像分割能力的医学成像的系统和方法。


背景技术：

2.解剖结构(例如，3d医学图像中的器官)的分割是肿瘤学、放射学领域以及在计划外科介入时的多个临床过程中的基本任务。3d医学图像是受检者体内沿诸如轴向、冠状、矢状或倾斜的取向的3d体积的医学图像，其中医学图像可通过2d采集、3d采集或它们的组合来采集。这些3d医学图像可被视为在3d方向中的每一个方向上的一组2d切片或层，即，在第一正交取向、第二正交取向和第三正交取向中的任一者上的一组2d轴向、冠状或矢状切片，或更一般地为一组2d切片。在本发明的上下文中，术语“第一正交取向”、“第二正交取向”和“第三正交取向”包括三维取向的所有可能的组。用于成像的示例性技术包括常规超声成像、计算机断层摄影(“ct”)成像、磁共振成像(“mr”或“mri”)和核医学成像技术，诸如正电子发射断层显像(“pet”)和单光子发射计算机断层显像(“spect”)。分割用于测量解剖结构的尺寸和形状，以引导个体之间解剖结构的空间归一化以及计划医疗介入。可用分割方法的范围广泛，范围从以2d横截面手动绘制结构的轮廓到使用所谓的“配准”来找到3d图像与标记的概率图或图集之间的最佳对应关系的更先进方法。还存在将自动分割的效率和可重复性与仅来自专业技术人员的人为判断相结合的已知半自动方法。
3.尽管已经公开了大量全自动和半自动分割方法，但手动绘制轮廓仍然通常用作图像分割的选择技术。不愿意使用全自动方法是由于担心其在目标解剖结构可能与正常值不同的情况下可靠性不足，以及由于基于图像配准的方法的高计算要求。
4.在邻接的2d切片组上手动绘制轮廓然后将它们组合在一起可能是耗时且劳动密集型的。随着图像切片的数量增加，以及随着解剖感兴趣区域中器官、肿瘤等的数量和尺寸增加，时间和劳力显著增加。轮廓绘制的质量和所产生3d对象的质量取决于2d切片的分辨率和对比度，并且取决于执行重建的临床医生的知识和判断。
5.使用可靠的自动图像分割可节省时间和劳力，并且可通过消除临床医生的主观性来增加精度。
6.器官的自动图像分割面临着某些挑战。一些器官位于软组织环境中，其中相对于周围结构的分辨率具有较差的对比度，因为相邻的器官具有类似的密度值。此外，器官的形状和位置可能周期性地改变。成像机器的成像参数也不同。
7.分割是将标签分配给3d医学图像的数据集中的单个体素的过程。因此，自动分割意指在人体的2d或3d数字扫描中自动识别和标记人体解剖结构。
8.例如，磁共振成像(“mr”)由于其相对于软组织的高对比度、适当空间分辨率以及其非侵入性特征而广泛用于分析脑结构。mri脑分析可用于评估脑部疾病，诸如阿尔茨海默病和引起组织萎缩的其它神经系统疾病(参见例如：fox，nick c.、freeborough，peter a.，
brain atrophy progression measured from registered serial mri：validation and application to alzheimer
′
s disease.journal of magnetic resonance imaging，1997，7.6：1069-1075(利用配准的一系列mri测量的脑萎缩进展：验证并应用于阿尔茨海默病，《磁共振成像杂志》，1997年，第7卷第6期，第1069-1075页))。为了量化萎缩，需要对脑组织进行适当分割和测量，因为受损结构的精确检测和定位对于诊断和治疗计划而言十分重要(参见例如akkus，zeynettin等人，deep learning for brain mri segmentation：state of the art and future directions.journal ofdigital imaging，2017，30.4：449-459(脑部mri分割的深度学习：现有技术和未来方向，《数字成像杂志》，2017年，第30卷第4期，第449-459页))。mr图像分割的另一个临床应用是放射治疗计划(rtp)，放射治疗计划需要对待辐照的肿瘤周围处于风险中的器官进行精确的轮廓绘制。
9.如上所述，目前手动轮廓绘制是针对器官分割的金标准，其需要逐个切片地绘制各种结构的轮廓，这是耗时昂贵的活动并且可能由于人为误差而不准确。对于精确分割工具的需求是毋庸置疑的。深度学习方法可弥补在一般化方面较弱的传统机器学习工具的限制，因此在医学图像分析中经常提出卷积神经网络(cnn)的使用(参见例如：dolz，jose、desrosiers，christian、ayed，ismail ben，3d fully convolutional networks for subcortical segmentation in mri：a large-scale study.neuroimage，2018，170：456-470(用于mri中皮层下分割的3d全卷积网络：大规模研究，《神经影像)》，2018年，第170期，第456-470页))。
10.尤其需要对大脑内部与阿尔茨海默病的评估相关的各种器官或特定解剖结构或部分(通常称为对象)进行分割(amygdala、caudate、hippocampus、putamen、thalamus)。在经诊断患有可能的阿尔茨海默病的患者中，壳核和丘脑的体积显著减小，并且在基底神经节的器官上也可看到其它变化(参见例如：de jong，laura w.等人，strongly reduced volumes of putamen and thalamus in alzheimer
′
s disease：an mri study.brain，2008，131.12：3277-3285(阿尔茨海默病中的壳核和丘脑体积显著减小：mri研究，《大脑》，2008年，第131卷第12期，第3277-3285页))。损伤初始看起来发生在海马体和内嗅皮质中，即，大脑中形成记忆所必需的部分。随着更多神经元死亡，大脑的另外部分受到影响并且开始萎缩。阿尔茨海默病逐渐导致整个大脑的神经细胞死亡和组织丧失。随着时间推移，大脑显著萎缩，从而影响其几乎所有功能。在阿尔茨海默病的较早阶段检测到适当脑部分的变化的情况下，可开始进行医学治疗，并且可减轻和减缓疾病的症状(诸如衰退的记忆、意识和认知能力)。
11.分割大脑内较小器官的困难在于图像分辨率以及相邻组织之间的低对比度，因此人们可能主要信任基于较大、较容易分离的器官的相对定位；例如，心室是相关的，因为基础神经节的经检查的器官位于其旁边。尤其需要准确地分割这些器官。
12.存在针对如上所述分割器官的现有技术解决方案，其提出借助于两步或多步过程来提高准确性和可靠性。
13.在vanya v.valindria等人的如下文献中：small organ segmentation in whole-body mri using a two-stage fcn and weighting schemes(miccai workshop on machine learning in medical imaging(mlmi)2018，arxiv：1807.11368v1[cs.cv]30jul 2018)(使用两级fcn和加权方案在全身mri中进行小器官分割，2018年关于医学成像中机器
学习的miccai研讨会(mlmi)，arxiv：1807.11368v1[cs.cv]，2018年6月30日)，公开了一种两级方法，根据该方法，对cnn进行粗尺度分割训练以处理多器官分割，然后将细尺度分割仅专注于对应于在粗尺度分割中所选特定器官的裁剪感兴趣区域(roi)的3d边界框。细尺度分割由针对该特定细尺度阶段训练的单独cnn进行。该解决方案的缺点在于两个阶段均以3d方式进行，从而导致高计算需求；粗尺度分割仅是有效分割阶段的初步或准备阶段，由于其3d特性而需要相当多的计算机资源。
[0014]
三步定位/分割过程方法于haibin chen等人的如下文献中：a recursive ensemble organ segmentation(reos)/framework：application in brain radiotherapy(phys med biol.2019jan 11；64(2)：025015.doi：10.1088/1361-6560/aaf83c(递归集成器官分割(reos)/框架：在脑部放射疗法中的应用，《医学和生物学物理学)》，2019年1月11日，64(2)：025015.doi：10.1088/1361-6560/aaf83c))。该方法具有与上述方法相同的缺点。
[0015]
这些已知方法不能解决资源效率和可靠自动分割方面的问题，尤其是对于脑部mr图像的分割，其中将出现上述困难。
[0016]
因此，需要一种能够改进现有方法和系统的解决方案。需要尽可能地消除已知技术的缺点的自动分割方法、计算机程序和系统。尤其需要允许以相对较低的计算需求对感兴趣区域进行有效且可靠的定位以及随后的精细3d分割的自动分割方法。


技术实现要素：

[0017]
在一个示例性实施方案中，提供了一种用于自动分割3d医学图像的方法，该3d医学图像包括待分割的对象，该方法的特征在于包括：通过使用机器学习模型，以第一正交取向、第二正交取向和第三正交取向中的至少两个正交取向，对为3d医学图像的切片形式的对象进行2d分割以导出2d分割数据；基于2d分割数据确定边界框在3d医学图像内的位置，该边界框具有预先确定的尺寸；以及对3d医学图像的对应于边界框的部分中的对象进行3d分割。
[0018]
在另一个示例性实施方案中，提供了一种用于自动分割3d医学图像的系统，该3d医学图像包括待分割的对象，该系统的特征在于包括：2d分割单元，该2d分割单元使用机器学习模型并且被配置成以第一正交取向、第二正交取向和第三正交取向中的至少两个正交取向，对为3d医学图像的切片形式的对象进行2d分割以导出2d分割数据；确定单元，该确定单元被配置成基于2d分割数据确定边界框在3d医学图像内的位置，该边界框具有预先确定的尺寸；以及3d分割单元，该3d分割单元被配置成对3d医学图像的对应于边界框的部分中的对象进行3d分割。
[0019]
在另一个示例性实施方案中，提供了一种计算机可读介质，该计算机可读介质包括指令，该指令在被计算机执行时使得计算机进行上述方法。
[0020]
根据本文所公开的主题的自动分割方法可减少处理时间和/或资源，并且可建立感兴趣区域的边界框的有效定位。本文所公开的自动分割被证明是准确且稳健的，不需要任何后编辑，并且成功消除了与操作者间和操作者内的可变性相关的问题。
附图说明
[0021]
根据以下描述，本主题的实施方案的特性、目标和优点将变得显而易见，这些描述仅以举例的方式给出并且是非限制性的，并且将参考附图来阅读，其中
[0022]
图1示出了自动分割的实施方案的第一阶段；
[0023]
图2示出了自动分割的实施方案的第二阶段；
[0024]
图3示出了u-net架构的一般表示；
[0025]
图4示出了该方法的实施方案的序列，也指出了该系统的实施方案的单元；并且
[0026]
图5是用于进行该方法的示例性计算设备的框图。
具体实施方式
[0027]
本文所公开的主题是基于机器学习模型(例如，基于深度学习技术)的方法。在下文中，描述了用于该方法的示例性图像数据集，以及示例性合适架构和训练的示例性细节。
[0028]
图像数据集
[0029]
收集示例性图像数据集用于阿尔茨海默病的研究。所有图像均为标准t1图像(使用短回波延迟时间和重复时间值通过mri产生的t1加权扫描)，示出了大脑和颈部的一小部分。通过可用工具预处理所有图像，这些工具将图像转化成共同的几何形状(取向、分辨率、均匀的体素尺寸)并应用图集以分割脑中的若干结构。自动分割的轮廓(用于模型训练和评估两者)未被医生验证，因此它们仅可被认为是“伪金”分割。
[0030]
将另外的预处理(本文所公开的示例中的选项)应用于包括以下的图像数据集。首先，将体素尺寸归一化为几乎等于1
×1×
1mm(使用整数因子进行上采样或下采样)。然后，用零个体素裁剪或填充图像以得到256
×
256
×
256分辨率。最后，将最小值-最大值归一化应用于强度值，从而用属于99.9直方图百分位数的强度代替全局强度最大值。
[0031]
用本文所公开的主题处理图像数据集，该主题是使用机器学习模型自动分割3d医学图像的方法。在一个实施方案中，深度学习神经网络模型用于该目的，然而其它类型的机器学习模型也是适用的。3d医学图像包括待分割的对象。对象(例如，人体的器官或特定部分或解剖结构)的图像可仅延伸到整个3d医学图像的某个部分，因此应用定位作为有效分割的准备。
[0032]
因此，该方法是两阶段过程，其中第一阶段在图1中示出，第一阶段用于定位感兴趣区域，实际上是3d医学图像内的边界框10。在该第一阶段中，对图1的第一列中描绘的输入图像的轴向、冠状和矢状切片(或层)进行2d分割以用于该对象，其结果在图1的第二列中以相应的白色轮廓描绘。代替轴向、冠状和矢状取向，可使用任何合适的第一正交取向、第二正交取向和第三正交取向。
[0033]
所描绘的示例包括在全部三个正交取向上的2d分割，然而，以三个正交取向中的至少两个正交取向进行2d分割也可适用于并足以进行用于准确地定位边界框10的组合评估。在后一种情况下，对于3d医学图像的每个相应体素，仅组合评估两个相应值而不是三个，其方式与下文结合所示示例详细描述的相同。两个选项均在本文所公开的主题的范围内。
[0034]
2d分割导出2d分割数据，其在一个实施方案中是概率值，如稍后所详述。基于在图1的第三列中表示为对象的相应白色形状轮廓的轴向、冠状和矢状取向的2d分割数据的融
合(或组合)评估，在3d医学图像内确定边界框10的位置(还可参见图2)。后者在第三列中被描绘为白色矩形，也指示了边界框10在三个正交平面中的尺寸和位置。边界框10的尺寸基于与待分割的对象(即，器官或身体部分)相关的先验信息和/或图像数据集来预先确定。
[0035]
可以想到，图1可仅描绘每个特定取向的最特征性的切片或层，即，具有最大分割面积轮廓的那些。
[0036]
图1的第二列和第三列指示“低分辨率全图像”，这意味着可采用相对于3d医学图像的全分辨率降低的分辨率进行2d分割。分辨率可在3d医学图像的尺寸的全部或任何子集中减小，例如通过生成分辨率降低的3d图像或通过以取向的全部或任何子集仅针对切片的子集(例如，每隔两个、每隔三个等)进行2d分割。以这种方式，2d分割的计算负荷可进一步减小，同时其组合结果为定位边界框10提供足够的准确性，如下文所详述。
[0037]
上述组合定位也可被称为2.5d定位，其通过以下方式实现：在轴向、冠状和矢状平面上，或者更一般地，在第一正交取向、第二正交取向和第三正交取向的平面上训练2d模型，将它们的预测图融合在一起，并且使用融合的预测图计算对象的位置或一次计算多于一个对象的位置。另一方面，从3d图像修剪适当的身体部分(例如，具有安全裕度的脑部分)以用于3d分割，其中仅针对该较小区域训练3d模型。该方法在分割中产生显著较少的假阳性像素，并且允许显著更快的模型训练和评估过程。
[0038]
数据集涉及两个子集(在单独的研究中收集)。将每个子集进一步分成分别用于训练模型、选择最佳模型和评估最佳模型的“训练”、“交叉验证”和“测试”样本。子集1(包括50例)用于训练2d定位模型(30例训练，10例交叉验证，10例测试)。应当注意，2d模型在轴向、矢状或冠状切片上运行，因此数据样本的总数超过10，000。子集2(包括176例)用于训练3d模型(111例训练，35例交叉验证，30例测试)。“训练”、“交叉验证”和“测试”样本分别用于优化模型、选择优化模型和评估优化模型。还可对2d模型的10次测试检查进行3d模型的评估，以允许直接比较。另选地，可使用单独的图像数据集来训练2d模型和3d模型。在模型训练期间，完成若干次迭代(使用训练集)。在每次迭代之后，使用交叉验证集来评估实际模型。在训练结束时，我们选择在交叉验证集上执行情况最佳的模型的版本，这在本领域中通常称为最佳模型。
[0039]
2d卷积神经网络
[0040]
本文所公开的主题可包括用于进行2d分割的2d卷积神经网络。在该上下文中，2d卷积神经网络意指具有输入以接收二维信息的cnn。在一个实施方案中，三个2d卷积神经网络用于2d分割，2d分割中的每一个2d分割针对第一正交取向、第二正交取向和第三正交取向中的相应一个正交取向进行训练。2d卷积神经网络中的每一个2d卷积神经网络可具有u-net架构，并且可由具有分割的3d训练图像的相应取向的切片训练。2d u-net模型独立地对切片上的结构进行分割，即，不使用3d信息。u-net架构本身是已知的，例如从现有技术的讨论中提及的文档中获知；u-net架构的一般表示在图3中示出。该网络包括收缩路径和扩展路径，这赋予其u形架构。收缩路径是典型的卷积网络，其包括重复应用卷积，每个卷积后接整流线性单元和最大池化操作。在收缩期间，空间信息减少，而特征信息增多。扩展路径通过上卷积和级联的序列将特征和空间信息与来自收缩路径的高分辨率特征组合。
[0041]
根据一个示例，2d分割的输入是表示mr图像的一个切片的128
×
128单通道矩阵。输出是2d分割数据的128
×
128矩阵，包括为0和1之间的实数的预测值，其中预测值1是对应
体素中存在对象(例如，器官)的最大概率，并且预测值0是最小概率。模型(即，在示例中使用的特定架构)在每个分辨率下应用2个连续卷积滤波器(具有3
×
3内核)。滤波器的数量在输入分辨率下为16，并且在每个池化层之后加倍。模型具有4个池化层(具有2
×
2池大小)，因此分辨率在网络的“底部”处减小至8
×
8矩阵(具有256个滤波器)。随后，在每个分辨率水平下使用跳过连接将图像逐渐上采样至原始分辨率。
[0042]
在一个示例性实施方案中，训练每个2d模型50个时期。在每个时期，使用100％的阳性(包括器官)样本和25％的阴性(不包括器官)样本。由于随机化，大多数阴性切片用于训练。该方法加速并稳定学习过程，并且最终模型的准确度更高。以8个批次大小和平坦(0.001)学习速率使用adam优化器。
[0043]
针对每个(轴向、冠状、矢状)取向训练单独的模型。初步评估示出每个模型的良好分割结果(80％至90％dice)。
[0044]
三个模型输出的组合评估可为定位器官提供良好的基础。在将每个模型(逐个切片)应用于3d体积之后，可融合三个预测。
[0045]
因此，可通过3d医学图像的体素的三个相应2d分割生成三个相应的预测值，并且组合评估包括对体素进行以下中的任一项：
[0046]
(i)针对每个体素取对应的三个预测值的平均值。
[0047]
(ii)使用预先确定的阈值将预测值二值化并且确定体素，其中对应的三个二进制值中的全部表示对象的存在，例如全部三个二值化值都是“1”。预先确定的阈值可根据经验确定，并且可通常为0.5或任何其它合适的值。使用更高/更低的阈值可使得结果分割不足/过度分割。二值化将连续预测值转换为整数值0和1。
[0048]
(iii)使用预先确定的阈值将预测值二值化并且确定体素，其中对应的三个二进制值中的至少两个二进制值表示对象的存在(“多数表决”)。
[0049]
在2d分割仅在两个正交取向上进行的情况下，可相应地针对每个相应的体素组合地评估两个预测值，由此上述选项(ii)和(iii)将表示相同的评估方式。
[0050]
通过比较图1的第二列和第三列中的白色轮廓，可以看出，2d分割的组合结果更准确地预测了待分割器官的存在与否。由于基于2d分割的过程，这通过相对低的计算负载来实现。
[0051]
因此，与2d模型中的任一个2d模型相比，平均化预测值或取交集或多数表决(在二值化之后)导致更好的分割。在本上下文中，2d模型的这种组合被称为2.5d模型。
[0052]
具有2.5d定位的3d卷积神经网络
[0053]
由于利用所提出的2.5d模型的器官定位对于各种器官足够精确，并且2d模型比3d cnn快，因此定位信息可结合在3d模型中以加速训练过程并增加分割准确性。第一条信息是对象的尺寸，诸如器官(即，边界框10的尺寸)，其可保持恒定并且可为预先确定的，即，基于全图像数据集和其它先验信息计算得出。第二条信息是对象的位置(例如，边界框10的中心)，其可由训练轮廓(在模型训练期间)和2.5d模型的预测(在模型推断期间)计算得出。因此，如图2的第一列所示，确定边界框10在3d医学图像内的位置可包括基于组合评估确定其中心；以及使用基于至少一个分割的3d训练图像预先确定的其尺寸。
[0054]
边界框10的中心可通过以下方式计算：将轴向、冠状、矢状分割模型应用于输入3d医学图像的全部(对应)切片，这导致3d医学图像的三个不同分割；
[0055]
在对轴向、冠状、矢状分割应用阈值(使用例如0.5作为阈值)之后，使用例如多数表决或任何其它技术将它们融合到一个分割中；
[0056]
获取融合分割的最大3d连接分量；以及
[0057]
计算最大3d分量的边界框10并且将其中心用作中心(尺寸对于每个器官可以是固定的)。
[0058]
在3d模型的训练期间，器官的边界框10被切割并馈送到cnn中，因此网络的输入显著小于(例如，100
×
100
×
100或100
×
30
×
50)初始分辨率(256
×
256
×
256)。为了模拟训练过程期间2.5d模型的不准确性，可针对训练输入中的每一个训练输入或一些训练输入，利用随机3d矢量(使用足够的安全裕度以包括器官的所有体素)使边界框10的中心移位。与2d模型训练相比，基于柱状图的强度归一化以及附加的平均值/标准归一化仅应用于3d医学图像的边界框部分。因此，也可具有u-net架构的3d卷积神经网络由分割3d训练图像的部分训练，该部分在尺寸/维度上对应于用于该特定对象分割的边界框10。
[0059]
在一个示例性实施方案中，选择用于3d分割的模型的架构以适应3d输入，即，使用3d卷积神经网络。这里，3d层用于卷积、池化和上采样。在该示例中，池化层的数量减少至3(使用2
×2×
2池大小)。卷积层使用3
×3×
3内核尺寸。滤波器的数量在输入分辨率下增加至24(并且在每个池化层之后加倍)。训练每个3d模型200个时期。在每个时期使用所有训练样本。由于网络的存储器需求增加，批次大小减小至4。将相同的(adam)优化器和平坦(0.001)学习速率与模型选择一起使用。
[0060]
在示例中的模型推断期间，自动计算边界框10的中心，而其尺寸为器官特定常数。在对应于所定位的边界框10的3d医学图像的部分中，进行对象(即，器官)的3d分割。
[0061]
结果
[0062]
评估框架
[0063]
对于每个器官，使用对应的(2d/3d)测试集来评估模型(2d轴向、2d冠状、2d矢状、2.5d、3d)。在评估期间，应用相同的预处理，将模型应用于(每个切片或在边界框10中)图像，将预测值二值化(使用0.5阈值)，并且使用3d dice度量(用于测量两个样本的相似性的统计系数)将结果与伪金相比较。
[0064]
定量评估
[0065]
下表i和ii示出dice度量，其反映模型的总体准确度。分别训练和测试成对的器官(左部和右部)，并且将结果取平均值。根据2d结果，轴向模型的准确性最佳并且矢状模型最差(由于在脑的另一部分中的过度分割)。值得注意的是，2.5d模型始终胜过2d模型中的任一个。基于两个测试集，3d模型在所有测试中均是突出的。
[0066]
表i.
[0067]
10个测试案例的2d模型结果(轴向、冠状、矢状平面)
[0068][0069]
表ii.
[0070]
10个和50个测试案例的2.5d模型和3d模型结果(具有2.5d定位)
[0071][0072]
定性评估
[0073]
图2示出了解剖结构的3d结果。3d分割的结果显示在边界框10(第二列)和整个3d医学图像(第三列)两者中，这是自动分割方法的最终结果。所有结果显示在轴向(左)、冠状(中间)和矢状(右)视图中，具有白色轮廓，仅描绘最特征性的切片。我们的实验已经示出并且从图2的第三列可以看出，边界框聚焦的3d分割导致受检者器官的准确结果。
[0074]
基于定量评估度量，3d模型的平均准确度对于所有结构均高于90％，这意味着所提出的方法可在定位成功时准确地对大脑中的各种结构进行分割。具有最大定位误差的案例从取向的角度来看是异常值，因为与数据集中的任何其它案例不同，头部明显向后倾斜。这可通过使用3d旋转作为训练数据的增强来消除。
[0075]
根据本文所公开的主题的方法的平均准确度和最小准确度对于每个器官均高于90％和80％，这显著高于现有技术解决方案。
[0076]
在所公开的示例中，使用u-net架构呈现准确的脑结构分割。训练2d模型以在3d mr图像的轴向、冠状和矢状切片上分割各种结构。这些2d模型单独不能提供准确的3d分割，但其输出的组合可用于器官边界框的准确定位。在该边界框中训练的3d模型证明在准确性方面优于现有技术。所提出的方法尤其适于创建深度神经网络架构(u-net)以分割大脑内的各种器官。
[0077]
在具有32gb ram、12核、3.6ghz cpu和gtx 1080、8gb ram、2560cuda核gpu的hpz 440工作站上训练并测试2d模型和3d模型。2d模型的训练花费20分钟至25分钟(每个取向)，并且3d模型对于一个器官花费2小时。每个器官的平均分割时间(使用gpu)(包括三个2d模型的推断、边界框的计算和3d模型的推断)在每个案例中针对每个器官为10秒至15秒。
[0078]
因此，在示例中已经开发出具有基于切片的(2d)器官定位的3d u-net模型。所提出的方法专注于以高准确性(以dice评分测量)、稳健性和速度(为了可用性)分割例如基础神经节的提及部分，以帮助医生识别脑部分内的变化来检测例如阿尔茨海默病。所提出的方法的公开示例首先将2d u-net模型应用于三个平面(轴向、冠状、矢状)中的每一个平面，以粗略地分割结构。最后，将3d u-net应用于边界框以分割结构的精确轮廓。对于所有案例，使用自动化(基于图集的)工具限定各种结构的轮廓。评估表明，可使用所提出的框架准确且有效地定位和分割各种结构。
[0079]
一个示例性实施方案是用于自动分割医学图像的系统，该系统包括被配置成执行以上公开的方法的步骤的单元。图4示出了此类系统的单元，也示出了该方法的阶段。这些单元可采用完全硬件实施方案、完全软件实施方案或包括硬件元件和软件元件两者的实施方案的形式。
[0080]
将为3d医学图像的输入图像输入到进行上述预处理任务的任选预处理单元11中。在一个实施方案中，预处理单元11还生成分辨率降低的3d医学图像，利用该3d医学图像可获取分辨率降低的2d切片以用于2d分割。接下来，2d分割单元12生成预测值，例如，由3d医学图像或分辨率降低的3d医学图像的每个体素的三个相应2d分割生成三个相应预测值。确
定单元13基于由2d分割生成的预测值的组合评估来确定边界框10在3d医学图像内或在分辨率降低的3d医学图像内的位置。如上所述，边界框10可具有基于待分割的对象预先确定的尺寸。接下来，通过裁剪单元14裁剪3d医学图像的对应于所定位边界框10的部分，并且通过使用机器学习模型应用3d分割单元15来对3d医学图像的对应于所定位边界框10的部分中的对象进行3d分割。任选的后处理可由后处理单元16进行，例如，用于将分割置于初始尺寸的3d医学图像中，之后输出掩码可作为分割的结果输出。
[0081]
另一个示例性实施方案是包括用于对医学图像进行自动分割的计算机可读程序的计算机可读介质，其中计算机可读程序在计算机上执行时使得计算机执行上文所公开的方法。
[0082]
本文所公开的主题的技术优点在于，其能够自动且有效地定位和分割在较大3d医学图像的子区域中延伸的器官，其中计算需求显著低于现有技术中的计算需求。
[0083]
本公开描述了一种用于图像分割的方法，该方法比现有技术方法更快且同样准确(或更准确)。其在两阶段过程中将2d cnn和3d cnn(诸如u-net)组合以分割组织。第一遍使用2d cnn来定位和执行粗略分割。然后根据由2d分割定位的边界框来裁剪图像，并且将裁剪的图像部分发送到3d cnn以进行更准确的3d分割。该3d分割还可使用与初始2d分割相关的信息。因此，该方法使用2d cnn和3d cnn的特殊组合，其可为u-net。益处在于2d cnn具有比3d网络更少的参数和更短的推断时间。另外，3d cnn可仅在图像的最相关部分上操作；这使得分割任务更容易，因为要识别的杂散组织更少。虽然在图1和图2中展示了mr中的基础神经节分割，该方法可扩展到其它解剖结构和成像模态。
[0084]
除u-net之外，其它类型的cnn也可应用于该方法，例如r-cnn、segnet、vgg-16、resnet或pspnet。此外，可利用针对全部三个取向训练的单个2d cnn来处理2d分割。另一种可能性是将相同的cnn用于具有适当输入的所有2d分割和3d分割。例如，主要包含2d卷积(在各种方向上)和有限3d卷积的单个3d网络可解决本公开中解决的问题。除上文公开的机器学习模型之外的机器学习模型也可用于分割任务。
[0085]
实施方案可以计算机实现的过程和用于实践那些过程的装置的形式来体现。图5是用于进行该方法的示例性合适计算设备100的框图。在该示例性实施方案中，计算设备100包括从用户接收至少一个输入的用户界面104。用户界面104可包括使得用户能够输入相关信息的键盘106。用户界面104还可包括例如指向设备、鼠标、触笔、触敏面板(例如，触摸板和触摸屏)、陀螺仪、加速度计、位置检测器和/或音频输入接口(例如，包括麦克风)。
[0086]
此外，在该示例性实施方案中，计算设备800包括向用户呈现信息诸如输入事件和/或验证结果的呈现界面107。呈现界面107还可包括联接到至少一个显示设备110的显示适配器108。更具体地讲，在该示例性实施方案中，显示设备110可为可视显示设备，诸如阴极射线管(crt)、液晶显示器(lcd)、发光二极管(led)显示器和/或“电子墨水”显示器。另选地，呈现界面107可包括音频输出设备(例如，音频适配器和/或扬声器)和/或打印机。
[0087]
计算设备100还包括处理器114和存储器设备118。处理器114经由系统总线120联接到用户界面104、呈现界面107和存储器设备118。在该示例性实施方案中，处理器114与用户通信，诸如通过经由呈现界面107提示用户和/或通过经由用户界面104接收用户输入。术语“处理器”通常是指任何可编程系统，包括系统和微控制器、精简指令集计算机(risc)、复杂指令集计算机(cisc)、专用集成电路(asic)、可编程逻辑电路(plc)以及能够执行本文所
述功能的任何其它电路或处理器。以上示例仅是示例性的，并且因此不旨在以任何方式限制术语“控制器”的定义和/或含义。
[0088]
在该示例性实施方案中，存储器设备118包括使信息诸如可执行指令和/或其它数据能够被存储和检索的一个或多个设备。此外，存储器设备118包括一个或多个计算机可读介质，诸如但不限于动态随机存取存储器(dram)、静态随机存取存储器(sram)、固态磁盘和/或硬盘。在该示例性实施方案中，存储器设备118存储但不限于应用程序源代码、应用程序对象代码、配置数据、附加输入事件、应用程序状态、断言语句、验证结果和/或任何其它类型的数据。在该示例性实施方案中，计算设备100还可包括经由系统总线120联接到处理器114的通信接口130。此外，通信接口130通信地联接到数据采集设备。
[0089]
在该示例性实施方案中，处理器114可通过使用一个或多个可执行指令对操作进行编码以及在存储器设备118中提供可执行指令来编程。在该示例性实施方案中，处理器114被编程为选择从数据采集设备接收的多个测量值。
[0090]
在操作中，计算机执行体现在存储在一个或多个计算机可读介质上的一个或多个计算机可执行部件中的计算机可执行指令，以实现本文所述和/或所示的本发明的各方面。除非另外指明，否则本文所示和所述的本发明实施方案中的操作的执行或实施顺序不是必需的。即，除非另外指明，否则这些操作可以任何顺序执行，并且本发明的实施方案可包括比本文所公开的那些操作更多或更少的操作。例如，可以设想，在另一个操作之前、同时或之后执行或实施特定操作在本发明的各方面的范围内。
[0091]
实施方案可采用完全硬件实施方案、完全软件实施方案或包括硬件元件和软件元件两者的实施方案的形式。实施方案可以软件实现，该软件包括但不限于固件、常驻软件、微码等。
[0092]
此书面描述使用示例来公开主题，包括最佳模式，并且还使本领域技术人员能够实践主题，包括制造和使用任意设备或系统以及执行任何包含的方法。本专利范围由权利要求书限定，并且可以包括本领域的技术人员想到的其它示例。如果此类其它示例具有与权利要求书的字面语言没有区别的结构元件，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元件，则此类其它示例旨在落入权利要求书的范围内。