交互式迭代图像注释的制作方法

本发明涉及用于交互式图像注释以例如在医学图像中勾画解剖结构的系统和计算机实施的方法。本发明还涉及包括用于执行该计算机实施的方法的指令的计算机可读介质。

本发明还涉及包括该系统的工作站和成像装置，并且涉及包括用于使处理器系统执行该计算机实施的方法的指令的计算机可读介质。

背景技术：

图像注释被广泛用于各种领域，包括但不限于医学领域。在医学领域的示例中，图像注释通常用于标识医学图像中的解剖结构，例如通过勾画解剖结构的边界，通过标记由边界包围的体素等来标识医学图像中的解剖结构。这样的图像注释也被称为分割或勾画。除了医学领域外，在其他领域中对于图像注释也有各种用途。

自动执行图像注释是众所周知的。然而，全自动图像注释具有挑战性，并且通常无法产生所要求的准确度。例如，在医学领域中，诸如放射治疗规划、术前规划等临床应用可能要求足够准确的注释以产生可靠的结果。近年来，基于学习的方法(例如，基于模型的分割或深度(机器)学习方法)已经显示出对自动图像注释的巨大前景。然而，这些方法通常要求大量的手动标记数据，这既费时又费力，因此获得的代价很昂贵。另外，只能为最常见的临床任务提供经过预先训练的算法，但是还有非常多的其他任务需要准确有效地执行图像注释。

例如以如在pace,d.f.等人的“interactivewhole-heartsegmentationincongenitalheartdisease”(miccai2015，第80-88页)中所描述的交互方式来半自动地执行图像注释也是已知的。虽然这避免了对大量手动标记数据的需求，但是与经过良好训练的基于学习的方法相比，这样的图像注释可能不那么准确，并且/或者与在足够大量的图像数据上训练的基于学习的方法相比，这样的图像注释要求更多的用户交互时间。

us2018/061091a1描述了多图谱分割，该多图谱分割应用图像配准以将解剖标记从预先标记的图谱传播到目标图像，并且应用标签融合以解决通过扭曲多个图谱而产生的不一致的解剖标记的问题。机器学习技术可以用于自动检测和校正通过主机自动分割方法产生的系统性错误。

技术实现要素：

获得促进准确注释并同时需要较少的手动标记数据和/或要求较少的用户交互时间的系统和方法将是有利的。

根据本发明的第一方面，提供了一种用于注释图像数据的系统。所述系统可以包括：

输入接口，其被配置为访问要注释的所述图像数据；

用户接口子系统，其包括：

用户输入接口，其被配置为从能由用户操作的用户输入设备接收用户输入数据；

显示输出接口，其被配置为向显示器提供显示数据以对所述系统的输出进行可视化；

处理器，其被配置为使用所述用户接口子系统来建立用户接口，所述用户接口使得所述用户能够迭代注释所述图像数据，其中，所述迭代注释的迭代包括：

所述处理器基于先前图像数据部分的经过用户验证的标签来生成针对当前图像数据部分的标签；

经由所述用户接口使得所述用户能够验证和校正所述生成的标签，以获得针对所述当前图像数据部分的经过用户验证的标签；

其中，所述处理器还被配置为：

通过组合以下各项的相应输出来生成针对所述当前图像数据部分的标签：

标签传播算法，其将所述先前图像数据部分的所述经过用户验证的标签传播到所述当前图像数据部分，以及

用于标记图像数据的机器学习的分类器，其中，所述机器学习的分类器是在经过用户验证的标签和图像数据上训练的并且应用于所述当前图像数据部分的图像数据；并且

使用所述当前图像数据部分的所述经过用户验证的标签和所述图像数据来重新训练所述机器学习的分类器，以获得经过重新训练的机器学习的分类器。

本发明的另外的方面提供了一种用于注释图像数据的计算机实施的方法。所述方法可以包括：

访问要注释的所述图像数据；

使用用户接口来使得用户能够迭代注释所述图像数据，其中，所述迭代注释的迭代包括：

基于先前图像数据部分的经过用户验证的标签来生成针对当前图像数据部分的标签；

经由所述用户接口使得所述用户能够验证和校正所述生成的标签，以获得针对所述当前图像数据部分的经过用户验证的标签；

其中，针对所述当前图像数据部分的所述标签是通过组合以下各项的相应输出来生成的：

标签传播算法，其将所述先前图像数据部分的所述经过用户验证的标签传播到所述当前图像数据部分，以及

用于标记图像数据的机器学习的分类器，其中，所述机器学习的分类器是在经过用户验证的标签和图像数据上训练的并且应用于所述当前图像数据部分的图像数据；并且

使用所述当前图像数据部分的所述经过用户验证的标签和所述图像数据来重新训练所述机器学习的分类器，以获得经过重新训练的机器学习的分类器。

本发明的另外的方面提供了一种计算机可读介质，所述计算机可读介质包括表示指令的瞬态或非瞬态数据，所述指令被布置为使处理器系统执行计算机实施的方法。

上述措施提供了用于访问要注释的图像数据的输入接口。例如，图像数据可以是2d或3d医学图像，该2d或3d医学图像包括解剖结构，该解剖结构要通过注释图像数据的图像元素(例如，像素或体素)来分割。

交互式迭代注释机制的建立如下。将图像数据显式或隐式地划分成图像数据部分(例如，图像切片或图像子体积)。迭代注释这些图像数据部分。在迭代注释期间，先前图像数据部分可以包含经过用户验证的标签，该经过用户验证的标签提供了对先前图像数据部分的注释。如下所述地注释当前图像数据部分(例如，表示跟随先前图像数据部分的图像数据部分)。这里，术语“跟随”可以指在先前图像数据部分之后的“跟随”迭代中对当前图像数据部分进行注释，还可以指在图像数据内“跟随”先前图像数据部分的当前图像数据部分，例如表示相邻图像切片或通常在先前图像数据部分与当前图像数据部分之间存在空间和/或时间(在时空图像数据的情况下)关系。

标签传播算法用于将先前图像数据部分的标签传播到当前图像数据部分。这样的标签传播算法本身是已知的(例如可以从pace等人的出版物中(如在背景技术部分中提及的内容)得知)，并且通常使用先前图像数据部分与当前图像数据部分之间的图像数据的相似性来将标签从先前图像数据部分传播到当前图像数据部分。另外，使用机器学习的分类器，该机器学习的分类器可以在经过用户验证的标签和图像数据(例如，先前图像数据部分的经过用户验证的标签和图像数据)或其他图像数据的经过用户验证的标签(例如，先前图像的经过用户验证的标签)上训练。机器学习的分类器应用于当前图像数据部分，从而提供对当前图像数据部分的标记。将标签传播算法的输出和机器学习的分类器的输出进行组合以获得针对当前图像数据部分的组合标签(也被称为“生成的标签”)。

由于这样的生成的标签可能是不完美的，因此使得用户能够例如使用诸如图形用户接口(gui)之类的用户接口来验证和校正所生成的标签，从而获得经过用户验证的标签。校正标签的机制本身在图像注释领域中是已知的。

在迭代注释的后续迭代中，这些经过用户验证的标签可以用于生成针对要注释的后续图像数据部分的标签。特别地，将经过用户验证的标签传播到后续的图像数据部分。另外，使用当前图像数据部分的经过用户验证的标签和图像数据来重新训练机器学习的分类器。这里，术语“重新训练”既包括全面的重新训练，又包括对机器学习的分类器的部分重新训练。例如，如果机器学习的分类器是在每个图像切片或图像子体积之后被重新训练的神经网络，则仅神经网络的选定层或节点可以被重新训练，以例如限制重新训练的计算复杂度。在其他实施例中，例如在完成了对图像数据的迭代注释之后，可以在不同图像数据的迭代注释之间执行重新训练。在特定示例中，可以将所有图像数据部分的所有经过用户校正的标签与相应的图像数据一起使用，以重新训练机器学习的分类器。

因此，使用经过用户验证的标签来针对后续迭代或后续图像数据改进机器学习的分类器。例如，如果图像数据表示来自2d或3d医学图像的时间序列的2d或3d医学图像，则可以对其应用图像注释的后续图像数据可以是来自所述时间系列的后续2d或3d医学图像。

上述措施有效地对应于(例如从pace等人的文章已知的)交互式迭代注释机制的特定组合和机器学习的分类器。例如使用自动生成的标签(其已经经过用户验证并且在需要的情况下已经经过用户校正)在交互式注释的迭代之间或在不同图像数据之间定期地重新训练机器学习的分类器。因此，经过用户验证的标签表示针对机器学习的分类器的额外训练数据，该额外训练数据可以通过迭代注释随时间而变得可用，并且可以用于重新训练机器学习的分类器。正因如此，机器学习的分类器通常随时间而改进，例如随着每次迭代或随着每幅图像而改进。

同时，用户不需要提供所有训练数据，而实际上可能只需要验证和校正自动生成的标签。即，这些标签是通过传播先前图像数据部分的标签并通过到目前为止训练的机器学习的分类器来生成的。随着通过机器学习的分类器进行标记的准确度逐渐提高，用户需要提供的校正会逐渐变少。因此，迭代注释会逐渐变得更加自动化并且需要较少的用户校正。

在上述措施中，标签传播算法有效地处理了机器学习的分类器，该机器学习的分类器最初具有很少的训练数据或者没有训练数据，因此具有相对较低的准确度(其可能(远)低于标签传播算法的准确度)。因此，标签传播算法可以最初确保足够的自动化标记，并且有效地充当针对自动化标记的bootstrap，否则用户将必须首先手动生成所有标签。因此，上述措施促进了准确的图像注释，其中，随着机器学习的分类器的准确度随时间而提高，用户通过验证和校正标签来确保准确度的部分会逐渐减少。与传统的机器学习方法(其中用户必须手动标记所有训练数据)相比，上述措施需要较少的手动标记数据。

在上文和下文中，标签“当前”和“先前”仅用于区分注释的不同迭代之间的图像数据部分。因此，在重新训练中对“当前”图像数据部分的后续使用是指特定的图像数据，而并不意味着任何其他当前性。因此，短语“使用当前图像数据部分的经过用户验证的标签和图像数据来重新训练机器学习的分类器”应被理解为是指图像数据中的针对其生成所述经过用户验证的标签的部分。

任选地，所述处理器被配置为在所述迭代注释的迭代之间或在不同图像数据(例如，不同图像或图像集)的所述迭代注释之间重新训练所述机器学习的分类器。

处理器可以被配置为通过经由加权来组合标签传播算法和机器学习的分类器的相应输出来生成针对当前图像数据部分的标签。例如，如果标签传播算法和机器学习的分类器均提供概率图或函数，则可以例如使用凸加权函数对这两个输出进行加权，以获得表示或提供标签的组合概率图或函数。在这方面中，要注意，概率函数可以产生概率图，该概率图例如以类似图的格式指示对其应用算法/分类器的图像数据部分的相应图像元素的概率。

任选地，所述处理器被配置为在所述图像数据的所述迭代注释期间或在不同图像数据的所述迭代注释之间调节所述加权。可以在图像数据的迭代注释期间(例如在迭代之间或在图像数据之间，例如在不同图像的迭代注释之间)调节对标签传播算法与机器学习的分类器之间的加权。

任选地，所述处理器被配置为基于量化所述标签传播算法和/或所述机器学习的分类器的注释准确度的度量来确定所述加权。在图像注释领域中存在用于量化注释准确度的度量，例如，如在本说明书中的其他地方所描述的dice系数。这样的度量不仅可以例如将经过用户校正的标签用作“基本事实(groundtruth)”，而且还可以生成不依赖于基本事实的应用特异性度量以给出对注释准确度的粗略指示。例如，鉴于预期的目标形状，可能会预期注释具有某种形状。可以以指示较低的注释准确度的度量来考虑与该预期形状的显著偏差。通过估计标签传播算法和机器学习的分类器中的任一者或两者的注释准确度，可以调节加权，例如通过增大对被度量认为表示较高的注释准确度的相应输出的加权(相对于被度量认为表示较低的注释准确度的其他输出)来调节加权。在特定示例中，可以在迭代之间或在图像数据之间(例如在不同图像的迭代注释之间)调节加权。

任选地，所述度量基于以下两者之间的差异来量化所述注释准确度：i)所述标签传播算法的输出和/或所述机器学习的分类器的输出与ii)经过用户校正的标签。经过用户校正的标签可以有利地用作针对度量的“基本事实”。即，与小的差异或根本没有差异相比，相应输出与经过用户校正的标签之间的较大差异可以指示较低的注释准确度。

任选地，所述处理器被配置为通过相对于所述标签传播算法的输出增大对所述机器学习的分类器的输出的加权来调节所述加权。可以基于机器学习的分类器的注释准确度随时间提高的知识或假设来增大对机器学习的分类器的输出的相对加权。

任选地，所述处理器被配置为在所述迭代注释的开始处以零或基本上为零开始对所述机器学习的分类器的输出的所述加权。可以基于机器学习的分类器的训练不足并因此提供的注解准确度不足的知识或假设来使对机器学习的分类器的输出的相对加权最初基本为零。最初，可以主要通过标签传播算法来确定所生成的标签。

任选地，所述标签传播算法的输出和/或所述机器学习的分类器的输出是概率图或定义轮廓的一个或多个控制点。虽然主要参考概率图来描述迭代注释，但这并不是限制，因为还可以通过标签传播和通过机器学习的分类器来提供其他类型的注释。例如，注释可以是基于控制点的轮廓。对通过标签传播算法和机器学习的分类器提供的轮廓的加权可以例如包括对定义控制点的相对或绝对位置和/或其他方面的参数的加权。

任选地，用户接口使得用户能够选择或定义注释任务，并且处理器基于注释任务例如从内部或外部数据库中选择多个机器学习的分类器中的一个机器学习的分类器。每个机器学习的分类器可以旨在提供任务特异性标记，以例如使得能够注释不同类型的解剖结构、不同的临床任务等。在迭代注释期间或之后，可以基于经过用户验证的标签和图像数据来重新训练所选择的机器学习的分类器。因此，可以随时间获得针对相应注释任务被更好训练的多个机器学习的分类器。

本领域技术人员将意识到，可以以任何认为有用的方式来组合本发明的上述实施例、实施方式和/或任选方面中的两个或更多个。

本领域技术人员能够基于本说明书来执行工作站、成像装置、方法和/或计算机程序产品的与该系统的所描述的修改和变型相对应的修改和变型。

本领域技术人员将意识到，该系统和方法可以应用于通过各种采集模态采集的二维(2d)、三维(3d)或四维(4d)图像数据，这些采集模态例如为但不限于标准的x射线成像、计算机断层摄影(ct)、磁共振成像(mri)、超声(us)、正电子发射断层摄影(pet)、单光子发射计算机断层摄影(spect)和核医学(nm)。图像数据的维度可以与时间有关。

附图说明

参考通过以下描述中的示例所描述的实施例并且参考附图，本发明的这些方面和其他方面将变得显而易见并且得到进一步阐明。

图1示出了用于图像数据的迭代注释的系统，该系统包括用户接口子系统，该用户接口子系统用于使得用户能够在迭代注释期间与系统交互以例如验证和校正标签；

图2图示了迭代注释的迭代；

图3示出了标签传播算法的预测函数(左)、神经网络的预测函数(中)和这两个预测函数的60％-40％加权组合(右)，同时还示出了基于相应预测函数所生成的标记和相对于基本事实标记的差异；

图4图示了标签传播算法和神经网络的预测函数相对于基本事实标记的有效性；

图5示出了用于图像数据的迭代注释的方法；并且

图6示出了包括用于使处理器系统执行该方法的指令的计算机可读介质。

应当注意，这些附图仅是示意性的且并未按比例绘制。在附图中，与已经描述过的元件相对应的元件可以具有相同的附图标记。

附图标记列表

提供了以下附图标记列表以促进对附图的解读，并且不应将其解释为限制权利要求。

020数据存储装置

022数据通信

030图像数据

032标签数据

060显示器

062显示数据

080用户输入设备

082用户输入数据

100用于交互式迭代注释的系统

120输入接口

122内部数据通信

140处理器

142内部数据通信

144内部数据通信

160存储器

180用户接口子系统

182显示输出接口

184用户输入接口

200标签图片

210图像切片

220基于传播的预测函数

230基于神经网络的预测函数

240组合预测函数

250预测的标签图像

260与基本事实标记的差异

300-302预测函数

310-312导出的标签

320-322与基本事实标记的差异

400图像切片

410基本事实切片标记

420基于传播的预测函数

425基于传播的有效性函数

430基于神经网络的预测函数

435基于神经网络的有效性函数

500用于交互式迭代注释的方法

510访问要注释的图像数据

520生成标签

530使得用户能够验证和校正标签

540重新训练神经网络

600计算机可读介质

610非瞬态数据

具体实施方式

以下实施例是参考医学领域描述的。然而，本说明书中描述的技术也能够应用于其中期望或需要图像注释的其他技术领域。因此，对“医学图像”、“解剖结构”等的任何引用都应被解读为等同地适用于包含另一类型的目标的另一类型的图像。

机器学习的算法例如是神经网络。然而，也可以使用其他类型的机器学习的分类器，包括但不限于支持向量机(svm)、adaboost和随机森林，例如参见l.lefkovits等人的出版物“comparisonofclassifiersforbraintumorsegmentation”(ifmbe会议论文集，第59卷)。

图1示出了用于注释图像数据的系统100。系统100包括被配置为访问图像数据的输入接口120。在图1的示例中，输入接口120被示为被连接到包括图像数据030的外部数据存储装置020。数据存储装置020可以例如由医院信息系统(his)的图片归档和通信系统(pacs)构成或者作为它的部分，系统100可以被连接到该医院信息系统(his)或者被包括在该医院信息系统(his)中。因此，系统100可以经由外部数据通信022获得对图像数据030的访问。替代地，可以从系统100的内部数据存储装置(未示出)访问图像数据030。通常，输入接口120可以采取各种形式，例如，去往局域网(lan)或广域网(wan)(例如，互联网)的网络接口、去往内部或外部数据存储装置的存储接口等。

系统100还被示为包括处理器140和存储器160，该处理器140被配置为经由数据通信122与输入接口120内部通信，该处理器160能经由数据通信142访问该存储器160。处理器140还被示为经由数据通信144与用户接口子系统180内部通信。

系统100还被示为包括用户接口子系统180，该用户接口子系统180可以被配置为在系统100的操作期间使得用户能够例如使用图形用户接口与系统100交互。用户接口子系统180被示为包括用户输入接口184，该用户输入接口184被配置为从能由用户操作的用户输入设备080接收用户输入数据082。用户输入设备080可以采取各种形式，包括但不限于计算机鼠标、触摸屏、键盘、麦克风等。图1示出了作为计算机鼠标080的用户输入设备。通常，用户输入接口184可以是与用户输入设备080的类型相对应的类型，即，用户输入设备080可以是与用户设备接口184的类型相对应的类型。

用户接口子系统180还被示为包括显示器输出接口182，该显示器输出接口182被配置为向显示器060提供显示数据062以对系统100的输出进行可视化。在图1的示例中，显示器是外部显示器060。替代地，显示器也可以是内部显示器。应当注意，代替显示输出接口182，用户接口子系统180也可以包括另一类型的输出接口，该另一类型的输出接口被配置为以在感觉上可感知的方式给予用户输出数据(例如，扬声器)。

处理器140可以被配置为在系统100的操作期间使用用户接口子系统180来建立用户接口，该用户接口使得用户能够迭代注释图像数据。在本文中，所述迭代注释的迭代包括：处理器140基于先前图像数据部分的经过用户验证的标签并经由用户接口来生成针对当前图像数据部分的标签，从而使得用户能够验证和校正所述生成的标签，以用于获得针对当前图像数据部分的经过用户验证的标签。处理器140还可以被配置为通过组合以下各项的相应输出来生成针对当前图像数据部分的标签：标签传播算法，其将先前图像数据部分的经过用户验证的标签传播到当前图像数据部分；以及用于图像数据标记的神经网络。可以在经过用户验证的标签和图像数据上训练神经网络，并且由处理器140将该神经网络应用于当前图像数据部分的图像数据。处理器140还可以被配置为使用当前图像数据部分的经过用户验证的标签和图像数据来重新训练神经网络，以获得经过重新训练的神经网络。例如，可以在迭代之间执行这样的重新训练，以例如获得用于后续迭代的经过重新训练的神经网络，或者可以在不同图像数据之间执行这样的重新训练。

作为图像数据030的迭代注释的结果，可以获得表示图像数据030的注释的标签数据032。标签数据032可以由系统100存储在例如数据存储装置020中或其他地方，例如与图像数据030相关联，或者被显示给用户等。

将参考图2-4来更详细地解释系统100的这种操作及其各种任选方面。

通常，系统100可以被实施为单个设备或装置(例如，工作站或成像装置或移动设备)或者被实施在单个设备或装置(例如，工作站或成像装置或移动设备)中。该设备或装置可以包括执行适当软件的一个或多个微处理器。该软件可能已经被下载并且/或者被存储在对应的存储器(例如，诸如ram之类的易失性存储器或诸如flash之类的非易失性存储器)中。替代地，该系统的功能单元(例如，输入接口、任选的用户输入接口、任选的显示输出接口和处理器)可以以可编程逻辑单元的形式被实施在设备或装置中，例如被实施为现场可编程门阵列(fpga)。通常，该系统的每个功能单元可以以电路的形式来实施。应当注意，系统100还可以以分布式方式来实施，例如涉及不同的设备或装置。例如，分布可以根据客户端-服务器模型，例如使用服务器和瘦客户端来实施。例如，(重新)训练可以由一个或多个服务器(例如，一个或多个基于云的服务器或高性能计算系统)来执行。

应当注意，标签传播算法和神经网络可以作为相应数据表示(例如作为算法数据和神经网络数据)而对处理器140可用。这样的数据表示可以例如被存储在存储器160和/或数据存储装置020中并且可以从存储器160和/或数据存储装置020进行访问。

参考图2-4描述的以下实施例假设图像数据包括多个图像切片。例如，图像数据可以是在图像切片中自然划分的3d图像数据，或者可以例如通过多平面重新格式化技术来生成这样的图像切片。然而，这不是限制性的，因为以下实施例也适用于将图像数据划分成相应图像数据部分的其他划分。

简而言之，图1的系统100可以使得用户能够交互式注释3d图像数据的2d图像切片，例如使用针对前景(例如，要注释的解剖结构)和背景(解剖结构的周围环境)的标签或者对不同解剖结构使用不同标签或者对解剖结构的不同部分使用不同标签等来交互式注释3d图像数据的2d图像切片。这样的交互式2d注释可以使用如根据文献已知的注释工具来执行，该注释工具例如为如在zhao，f.、xie，x.的出版物“overviewoninteractivemedicalsegmentation”(bmva2013年报，第7期，第1-22页)所描述的那样，该出版物描述了例如使得用户能够交互式定义样条轮廓的注释工具，其中，该样条轮廓由该注释工具转换成标签所应用到的对应区域，或者该出版物描述了用于交互式标签编辑的画笔工具或其他更加精细的交互方法。在注释2d图像切片之后，然后可以将该注释传播到相邻图像切片，这也参考图2-4进行了更加详细的描述。然后可以利用注释对相邻图像切片进行可视化，并且用户可以再次使用注释工具来校正注释。可以重复该过程，直到已经注释了所有图像数据部分或者图像数据部分的用户希望注释的至少子集为止。

图2图示了迭代注释的迭代。即，当注释图像切片ii(x)210时，标签传播算法可以用于将标签li-1(x)200传播到当前图像切片。这里，ii(x)和li-1(x)可以是切片i中的图像坐标x的函数。通过由用户进行的预测和随后的验证和校正，可以已经先前获得了针对相邻图像切片li-1(x)(未在图2中明确示出)的标签，并且可以基于这两个图像切片中的图像数据的相似性将标签ii-1(x)传播到当前图像切片ii(x)。标签传播算法可以是例如pace等人的出版物中描述的“机械”标签传播算法。这里，术语“机械”可以指的是启发式设计的算法，其例如不依赖于机器学习。

标签传播可以提供预测函数220。此外，如果已经对神经网络进行了充足的训练，则可以将该神经网络应用于ii(x)以提供进一步的预测函数230。这两个预测函数都可以例如是模糊标签预测函数，例如具有0到1之间的值。在图2的特定示例中，这些模糊标签可以是输入图像切片ii-1(x)和ii(x)和针对基于片块的标签传播的标签li-1(x)的函数fp(ii-1(x),li-1(x),ii(x))和针对神经网络预测的函数fn,i(i(x))。

这两个预测函数220、230可以例如通过加权而被组合成组合预测函数240。例如，该组合可以是这两个预测函数220、230的凸组合：

fα＝fnα+fp(1-α)

其中，利用0到1之间的加权因子α来加权神经网络的输出。图2示出了的具有α＝0.6的加权。

可以例如通过将例如为0.5的阈值应用于组合预测函数240的值来将组合预测函数240转换为预测的标签lp,i(x)250。例如，可以将小于0.5的任何值分配给标签“背景”，并且可以将大于0.5的任何值分配给标签“前景”，从而获得预测的标签lp,i(x)250。然后可以将预测的标签lp,i(x)250显示给用户，然后用户可以验证和校正标签。可以使用如此获得的经过用户验证和校正的标签li(x)(未在图2中单独示出)和图像切片ii(x)210并通过使用该数据执行几次训练迭代来细化神经网络。图2还示出了预测标签lp,i(x)250与基本事实的差异260，在该示例中，基本事实是经过用户验证和校正的标签。

替代地，例如在单个图像切片的经过用户验证和校正的标签不表示足够的用于重新训练的训练数据的情况下，可以将多个图像切片的经过用户验证和校正的标签(例如，当前图像的所有图像切片)一起用于重新训练神经网络。

通过示例的方式，图3示出了标签传播算法300的进一步的预测函数(左列)、神经网络301的进一步的预测函数(中间列)和这两个预测函数302的60％-40％加权组合(右列)，以及基于相应预测函数300-302所生成的标记310-312以及它们相对于基本事实标记的差异320-322。能够看出，标签传播算法的预测函数300和标签310提供的解剖结构“分割不足”。通过将预测函数300与神经网络的预测函数301进行组合，可以获得改进的解剖结构注释，从而相对于基本事实标记产生了减少的差异322。

作为神经网络和训练技术，可以使用任何合适的神经网络和训练技术，包括但不限于由ronneberger,o.、fischer,p.、brox,t.在“u-net:convolutionalnetworksforbiomedicalimagesegmentation”(miccai2015，lncs9351，第234-241页)(其此后也被简称为“u-net”)中或由brosch,t.、saalbach,a.在“fovealfullyconvolutionalnetsformulti-organsegmentation”(spiemedicalimaging2018，spieproc，105740u)(此后也被简称为“f-net”)中描述的那些神经网络和训练技术。

通常，有多种用于训练神经网络的变型。例如，可以仅在当前迭代中获得的标签(例如，lp,i(x)250的经过用户验证和校正的版本以及相关联的图像数据部分)上重新训练神经网络。这样的重新训练可以是部分重新训练，其也可以被称为神经网络的“细化”。替代地，可以在所有先前的经过用户验证和校正的标签以及相关联的图像数据部分上重新训练神经网络。例如，可以在交互式注释阶段之后(例如在不同注释阶段之间或者在晚上等)执行这样的重新训练。在一些实施例中，可以由除了提供迭代注释功能的实体之外的另一实体来执行重新训练。例如，该系统可以由用于提供迭代注释功能的工作站和用于重新训练神经网络的服务器来表示。

有多种方法来生成用于组合标签传播算法和神经网络的输出的权重。例如，在使用当前的经过用户验证和校正的标签来重新训练神经网络之前，可以使用先前的标签来估计权重。为此，可以将经过注释的切片用作起点，并且可以使用标签传播将注释传播到下一图像切片：

fp,i(x)＝fp(ii-1(x),li-1(x),ii(x))

结果得到具有元素0≤fp,i(x)≤1的模糊标签图。ii(x)表示当前正被注释的图像i的切片i。fp,i(x)表示模糊标签图像，并且p表示标签传播算法。通过应用阈值t，可以将模糊标签图像转换成标签图像：

通过使用权重α，可以将所传播的模糊标签图像fp,i(x)与利用神经网络生成的模糊标签图像fn,i(x)进行组合。可以通过应用阈值t来获得标签，并且可以计算表征注释准确度的度量m(例如，由dice,l.r.在“measuresoftheamountofecologicassociationbetweenspecies”(ecology，1945，第26卷，第3期，第297-302页)中描述的dice值(也被称为dice系数))。可以在具有经过用户验证和校正的标签的所有图像切片上对度量m进行求和，并且可以通过使注释准确度最大化来获得针对权重和阈值的最优值：

还有很多可能的方法将标签传播算法和神经网络的输出进行组合。例如，在完成了对新的图像的第一切片和第二切片的注释之后，可以根据上述流程来优化权重α和阈值t，以产生针对手边的实际图像的最优结果。这种方法使神经网络在某种程度上意识到其自身的性能：如果神经网络遇到熟悉的情况，其加权将增大，而在不熟悉的情况下，其权重将减小，并且标签主要是从标签传播算法获得的。

代替根据先前注释的图像数据部分(例如，先前的图像切片)或先前注释的图像数据(例如，先前的图像)来确定最优权重，可以使用仅取决于或主要取决于先前注释的图像数据集的数量m的经验权重，例如：

替代地，可以根据先前注释的图像数据部分(例如，图像切片)的数量来做出经验权重。

通常，可以根据通过标签传播(m^p)和神经网络(mⁿ)获得的度量m的先前值(例如，先前示例的平均度量)来选择权重。权重α可以被选择为将较大的权重赋予提供更好的分割结果的算法。

关于模糊预测函数，注意以下内容。模糊预测函数包含隐含的确定性度量：如果该值接近0或1，则可以相对地确定所导出的标签是正确的；然而，如果该值更接近阈值水平(例如，0.5)，则该确定性较低。该属性可以用于局部地改变标签传播预测函数和神经网络预测函数的混合权重，这可以被解读为决策函数的“有效性”或决策函数有效的概率。

例如，有效性函数可以被定义如下：

vp＝|2fp-1|

vn＝|2fn-1|

有效性函数可以是局部组合加权：

fvp＝fpvp+fn(1-vp)

fvn＝fnvn+fp(1-vn)

在图4中示出了针对图像切片400、基本事实切片标记410，通过标签传播算法提供的预测函数fp420、通过神经网络提供的预测函数fn430以及有效性函数vp425和有效性函数vn435的有效性函数的示例。

能够以各种方式使用和组合有效性函数以构建模糊标签图像。例如，这两幅有效性加权的模糊标签图像都通过权重β进行组合：

fβ＝fvnβ+fvp(1-β)

并且通过权重γ将结果得到的函数fβ与fα组合为最终的模糊标签图像fγ：

fγ＝fβγ+fα(1-γ)

其中，β和γ这两者都在0到1之间。粗略地说，α和β是神经网络相对于标签传播的贡献，并且γ是有效性函数相对于加权函数的贡献。

可以通过与针对标签传播的参数优化所描述的优化过程相同的优化过程来获得合适的混合系数α、β和γ。由于神经网络预测函数fn在优化期间不会改变，因此可以将其实施为查找函数。如果在优化混合系数期间所有标签传播参数都是恒定的，则对标签传播预测函数fp计算一次并使用查找表就足够了。

图5示出了用于注释图像数据的计算机实施的方法500的框图。方法500可以对应于图1的系统100的操作。然而，这不是限制，因为方法500也可以使用另一系统、装置或设备来执行。

方法500可以包括访问510要被注释的图像数据(在标题为“访问要被注释的图像数据”的操作中)。方法500还可以包括使用用户接口而使得用户能够迭代注释图像数据，其中，所述迭代注释的迭代包括：基于先前图像数据部分的经过用户验证的标签来生成520针对当前图像数据部分的标签(在标题为“生成标签”的操作中)，以及经由用户接口而使得530用户能够验证和校正所述生成的标签以获得针对当前图像数据部分的经过用户验证的标签(在标题为“使得用户能够验证和校正标签”的操作中)。方法500还可以包括使用当前图像数据部分的经过用户验证的标签和图像数据来重新训练540神经网络以获得经过重新训练的神经网络(在标题为“重新训练神经网络”的操作中)。

通常，图5的方法500的操作可以以任何合适的顺序执行，例如相继执行，同时执行或其组合，在适用的情况下，例如通过输入/输出关系而需要特定的顺序。可以在每个后续迭代中重复该方法的操作，如通过图5中的从框540到框510的循环所图示的那样。在一些实施例中，可以在框510-530的若干迭代之后(例如在已经注释了图像数据的所有图像部分之后)执行框540。

可以在计算机上将这(一种或多种)方法实施为计算机实施的方法、专用硬件或这两者的组合。还如图6所示，用于计算机的指令(例如，可执行代码)可以例如以机器可读的物理标记的系列610的形式和/或作为具有不同的电学(例如，磁性)或光学属性或值的元件的系列被存储在计算机可读介质600上。可执行代码可以以瞬态或非瞬态方式进行存储。计算机可读介质的示例包括存储器设备、光学存储设备、集成电路、服务器、在线软件等。图6示出了光盘600。

根据本申请的摘要，可以提供用于注释图像数据的系统和计算机实施的方法。可以使得用户能够迭代注释图像数据。所述迭代注释的迭代可以包括：基于先前图像数据部分的经过用户验证的标签来生成针对当前图像数据部分的标签；以及使得用户能够验证和校正所述生成的标签，以获得针对当前图像数据部分的经过用户验证的标签。针对当前图像数据部分的标签可以是通过组合以下各项的相应输出来生成的：标签传播算法；以及神经网络，该神经网络是在经过用户验证的标签和图像数据上训练的并且应用于当前图像数据部分的图像数据。使用当前图像数据部分的经过用户验证的标签和图像数据来重新训练神经网络，以获得经过重新训练的神经网络。

示例、实施例或任选的特征，无论是否被指示为非限制性的，都不应被理解为限制要求保护的本发明。

应当注意，上述实施例说明而非限制本发明，并且本领域技术人员将能够设计出许多替代实施例而不脱离权利要求的范围。在权利要求中，括号内的任何附图标记都不应被解释为对权利要求的限制。动词“包括”及其词形变化的使用并不排除存在除了权利要求中记载的元件或阶段之外的元件或阶段。元件之前的冠词“一”或“一个”并不排除存在多个这样的元件。在元件列表或元件组之前的诸如“中的至少一个”的表述表示从该列表或组中选择全部元件或元件的任何子集。例如，表述“a、b和c中的至少一个”应被理解为仅包括a，仅包括b，仅包括c，包括a和b这两者，包括a和c这两者，包括b和c这两者，或者包括全部a、b和c。本发明可以借助于包括若干不同元件的硬件来实施，并且可以借助于经过适当编程的计算机来实施。在列举若干单元的装置型权利要求中，这些单元中的若干单元可以由同一项硬件来实施。在互不相同的从属权利要求中记载了某些措施的事实并不表示不能有利地使用这些措施的组合。