用于分割图像的参数优化的制作方法

本发明涉及用于分割对象的图像的设备、系统和方法。其可以应用于基于软件的交互式图像分析，尤其用于辐射治疗处置规划。

背景技术：

在医学成像领域中，图像分割是将数字图像划分成为像素或体素的图像元素的多个分段的过程。出于基于图像的医学分析的目的或为了改善可视化或基于上下文的导航，医学处置规划在医学图像分割中是必不可少的技术。例如，为了辐射治疗处置规划，图像分割对于防止损害辐射敏感的解剖结构是重要的。

存在分割图像的不同的方式。例如，基于阈值或外观的分割算法、基于图谱配准的分割算法或基于形状模型的分割算法。

在所有的图像分割方法之中，如果自动的方法不能用于特定分割任务或如果自动分割算法的结果需要手动校正，则需要交互式图像分割技术。例如，用于交互式图像分割的一种接受的技术是图像切片的手动勾画轮廓。与通常仅仅用于特定解剖结构的自动图像分割相比，交互式图像分割提供较高的用户灵活性。例如，可以结合不同成像模态和/或特定成像协议使用。

US 2010/022489 A1公开了一种分割图像的计算机实现的方法，其包括以下步骤：接收图像，基于初始分割参数来生成图像的分段，对所生成的分段的特征进行分类，以及生成至少一个改进的分割参数。此外，当分割参数变化时，可以提取感兴趣的轮廓并可以产生不同的轮廓。

Vincent，Martin等人的“A Cognitive Vision Approach to Image Segmentation”、“Tools in Artificial Intelligence”，208，InTech Education and Publishing，第265-294页公开了用于对具有闭合的轮廓区域的图像进行训练的手动分割的框架。特别地，该框架包括定义分割质量函数和通过使分割质量函数最小化或最大化来优化参数集。

EP 1 526 481 A2公开了一种用于分割第一区域和第二区域的方法和装置，其中该方法包括基于颜色布置中的一个或多个使用学习机来确定图像的哪些像素满足用于分类为与第一区域相关联以及图像的哪些像素满足用于分类为与第二区域相关联的准则。

William B.Kerr等人的“A Methodology and Metric for Quantitative Analysis and Parameter Optimization of Unsupervised,Multi-Region Image Segmentation”(第8届国际科学技术发展协会关于信号和图像处理的研讨会，2006年8月14，第243-248页)公开了对用于无监督的多区域图像分割的定量分析和参数优化的方法的使用，其中该方法基于八个个体性能测度。公开了基于在机器分割的图像与对应的地面实况图像之间的交叠的统计分析的度量以评估和优化算法参数，其中比较了无监督分割算法的算法间性能。

然而，在本领域中公知的交互式图像分割工具受限于其效率，因为通常需要选择和优化地调节大量技术参数。此外，例如，由于不准确的轮廓校正，通常分割的可靠性还受到限制。由于进一步的图像分割以及具有致命后果的非优化辐射治疗处置计划，这导致了高成本。

技术实现要素：

本发明的目的是提供一种用于可靠的、准确的且简单的操作对象的交互式图像分割的设备、系统和方法。

在本发明的第一方面中，提出了一种用于分割对象的图像的设备，包括：数据接口，其用于接收所述对象的图像和至少一个轮廓或轮廓的至少一个部分，所述轮廓指示在所述图像内的结构；选择单元，其用于选择在所述图像中的由所述轮廓或所述轮廓的所述部分划分成第一不相交部分和第二不相交部分的区域，所选择的区域包括绘制的区域和/或计算的区域；分类器，其用于基于用于图像分割的至少一个参数来对所选择的区域进行分类；分析单元，其用于基于分类结果来定义目标函数；优化器，其用于通过改变所述目标函数的输出来优化所述参数集；以及图像分割单元，其用于使用所优化的参数集来分割所述图像。优选地，所述分类器被配置为不对所述轮廓或所述轮廓的所述至少一个部分进行分割。

利用在接收到的图像中选择区域的可能性，用户能够以高度自由度和灵活性交互式地分割图像。特别地，与在前面提到的现有技术中公开的技术相比，本发明实现基于用户的选择对局部区域的直接选择。因为区域不是由设备基于初始分割参数来生成的，所以用户对区域选择的正确性具有直接影响。不需要初始分割参数并避免了使用错误参数的风险。本发明因此实现交互式图像分割的有效方式。

借助于在接收到的图像内的给定轮廓，可以容易地识别感兴趣结构，这提高了图像分割的进一步进行的效率。通过选择由给定轮廓或轮廓的部分划分成两个不相交部分的区域并对该区域进行分类，本发明能够出于全局图像分割和/或轮廓校正的目的而局部地优化图像分割参数。特别地，本发明通过以下不同于已知的图像分割技术，例如在前面提到的现有技术中公开的技术：被选择用于参数优化的区域位于给定轮廓的附近。这是有利的，因为以这种方式优化的分割参数可以直接用于调节给定轮廓或轮廓的部分，而无需进一步调节或只需最小的进一步调节。结果，可以简化接收到的图像的交互式分割。

本发明尤其有利地用于辐射治疗规划。由于患者的解剖结构的复杂性，执行辐射治疗规划的医生/操作人员通常需要能够同时调节大量参数的交互式图像分割工具。本领域中已知的辐射治疗规划系统通常装备有难以理解的复杂的图形用户界面。此外，参数优化和轮廓调节通常要求对操作人员的大量训练。借助于本发明，操作人员可以仅使用计算机的鼠标光标和/或用户的手指或结合触摸屏的其他单元来选择区域。不需要复杂的图形用户界面，并且医生/操作人员不需要熟知大量参数，以便以可靠性的满意度完成图像分割的任务。最后，通过定义目标函数并通过增大其输出，可以独立于目标函数的实际算法细节直接地且精确地优化分割参数。因此，可以简化图像的全局分割，同时维护或甚至改善分割质量。

在优选实施例中，所述分类器被配置为将所选择的区域分类成第一图像类别和第二图像类别。这具有的优点在于可以以最小计算量局部地优化包括至少一个图像分割参数的参数集。

在另一优选实施例中，所述第一图像类别是所述第一不相交部分的主要图像类别。在本发明的范围内，本质上表示图像的子集的主要图像类别是实质上表征图像或其部分的图像类别。这意味着当图像或其部分被分类成主要图像类别时分类是肯定的。有利地，第一不相交部分被正确地分类，使得在图像分割的另外的步骤中，可以使用于参数集的额外校正的计算量最小化。

在另一优选实施例中，所述第二图像类别是所述第二不相交部分的主要图像类别。有利地，第二不相交部分被正确地分类，从而在图像分割的另外的步骤中，可以使用于参数集的额外校正的计算量最小化，从而得到快速且有效的图像分割。

在另一优选实施例中，所述优化器被配置为根据所述第一不相交部分来确定第一面积，所述第一面积对应于所述第一图像类别。该实施例是有利的，因为关于第一不相交部分的尺寸的第一面积的尺寸是在第一不相交部分与在第一不相交部分内的实际图像细节之间的一致的测度。因此，可以确定用于对所选择的区域(尤其是第一不相交部分)进行分类的参数集的质量。

在另一优选实施例中，所述优化器被配置为根据所述第二不相交部分来确定第二面积，所述第二面积对应于所述第二图像类别。该实施例是有利的，因为关于第二不相交部分的尺寸的第二面积的尺寸是在第二不相交部分与在第二不相交部分内的实际图像细节之间的一致的测度。因此，可以确定用于对所选择的区域(尤其是第二不相交部分)进行分类的参数集的质量。

在另一优选实施例中，所述目标函数包括所述第一面积和所述第二面积的加和。以这种方式，高可靠性目标函数被选择适当以高准确性确定所选择的参数集的质量。当第一图像类别是第一不相交部分的主要图像类别时和/或当第二图像类别是第二不相交部分的主要图像类别时尤其如此。

在另一优选实施例中，所述优化器被配置为使所述目标函数的所述输出最大化。有利地，可以以最大的准确性优化参数集，使得以特别高的可靠性分割图像。

在另一优选实施例中，所述优化器被配置为根据所述第一不相交部分和/或所述第二不相交部分的地面实况分类来使所述目标函数的所述输出最大化。借助于地面实况分类，可以以高准确性对所选择的区域的第一不相交部分和/或第二不相交部分进行分类，使得参数优化的结果以及后续图像分割是高度可靠的。

在另一优选实施例中，所述图像分割单元被配置为使用所优化的参数集来调节所述轮廓或所述轮廓的所述部分。有利地，使用简化且直观的交互式图像分割技术来实现轮廓校正。

在另一优选实施例中，所述轮廓包括绘制的轮廓和/或计算的轮廓，和/或所选择的区域包括绘制的区域和/或计算的区域。以这种方式，本发明可以独立于轮廓的类型而使用，使得提高用户灵活性。有利地，用户能够自由地选择用于参数优化的区域，使得进一步简化交互式图像分割。

在本发明的另一方面中，提出了一种用于分割对象的图像的系统，其包括：成像装置，其用于生成对象的至少一幅图像；以及本文中公开的用于分割所生成的至少一幅图像的设备。根据本发明的系统具有的优点在于其不仅能够生成医学图像，而且能够进行交互式图像分割，其与现有技术中已知的系统相比是更精确且可靠的并且同时被简化。

在本发明的另一方面中，提出了一种用于分割对象的图像的方法，其包括以下步骤：接收所述对象的图像和至少一个轮廓或轮廓的至少一个部分，所述轮廓指示在所述图像内的结构；选择在所述图像中的由所述轮廓或所述轮廓的所述部分划分成第一不相交部分和第二不相交部分的区域，所选择的区域包括绘制的区域和/或计算的区域；基于用于图像分割的至少一个参数来对所选择的区域进行分类；基于分类结果来定义目标函数；通过增大或减小所述目标函数来优化所述参数集；并且使用所优化的参数集来分割所述图像。

使用根据本发明的方法，交互式图像分割可以容易地被应用到不同类型的医学图像。因此实现直观且简化的交互式图像分割技术，使得可以因此避免难以理解的、使用麻烦的且要求大量训练的复杂的图形用户界面。

在本发明的另一方面中，提供了：一种包括程序代码单元的计算机程序，一旦所述计算机程序在计算机上执行时，所述程序代码单元用于使所述计算机执行如本文所公开的方法的步骤；以及一种存储计算机程序产品的非暂态计算机可读记录介质，所述计算机程序产品当由设备运行时使本文公开的方法被执行。

在从属权利要求中限定本发明的优选实施例。可以理解的是，所要求保护的系统、方法和计算机程序具有与所要求保护的设备和在从属权利要求中限定的相似的和/或相同的优选实施例。

附图说明

本发明的这些和其他方面将从下文中描述的(一个或多个)实施例变得显而易见并参考下文中描述的(一个或多个)实施例得到阐述。在以下附图中：

图1示出了根据本发明的设备的实施例的示意性框图；

图2示出了根据本发明的系统的实施例的示意性框图；

图3示出了根据本发明的方法的实施例；以及

图4示出了用于与图1的设备的实施例一起使用的图像的说明性表示。

具体实施方式

参考图1，示出了根据实施例的用于分割对象14(图2)的图像12的设备10的示意性框图。设备10包括数据接口16，其用于接收对象14的图像12和至少一个轮廓18，轮廓18指示结构19(图4，虚线)，尤其是与对象14的解剖结构相关。可以理解的是，虽然在图1中示出了整体轮廓，但本发明还可以结合轮廓的部分使用。可以使用笔/铅笔绘制或由机器(尤其是通过计算机)生成轮廓18。数据接口16可以是本领域中已知的任意类型的数据接口，尤其是连接成像装置和如本文公开的设备的数据接口。数据接口16的类型可以包括但不限于电流环路、RS-232、GPIB、V.35等。

设备10包括用于选择图像12中的区域22(图4)的选择单元20，使得区域22由轮廓18划分成第一不相交部分23和第二不相交部分26(图4)。在优选实施例中，选择单元20包括用于结合鼠标光标和/或监视器使用的单元，使得用户可以通过在监视器上移动鼠标光标而选择图像12中的区域22。替代地，用户可以通过在触摸屏上移动他的手指或其他单元来选择图像12中的区域22。选择单元20可以与现有图像和/或文本编辑单元(例如，(一个或多个)图像和/或文字编辑软件)协作。

设备10还包括分类器28，其用于基于包括至少一个图像分割参数的参数集来对所选择的区域22进行分类。参数集可以包含多个图像分割参数，其中分类器28可以将相同的或不同的图像分割参数应用到所选择的区域22的第一不相交部分24和第二不相交部分26。在优选实施例中，参数集包括形状参数和/或外观参数，尤其是灰度值转变和/或图像梯度和/或曲率平滑度。该实施例是有利的，因为可以优化大量不同的图像分割参数，使得本发明可应用到大量图像类型和/或解剖结构。在另一优选实施例中，分类器28优选经由数据接口16从外部数据实体(例如，数据库、云系统、本地通信网络)选择一个或多个图像分割参数。

设备10还包括分析单元29以确定选择用于对所选择的区域22进行分类的参数集的质量。为此，分析单元29被配置为定义目标函数。分析单元29可以利用一个或多个算法来定义目标函数，例如，livewire算法、地面实况、2D或3D分割算法、机器学习、等等。在优选实施例中，分析单元29例如单独地定义针对所选择的区域22的第一不相交部分24和第二不相交部分26的目标函数。在另一优选实施例中，分析单元29定义针对所选择的区域22的统一目标函数。然而，本发明不限于这些实施例。在另一优选实施例中，分析单元29定义目标函数，使得目标函数反映轮廓18与区域22内的结构多么好地相对应。在另一优选实施例中，目标函数可以涉及仅一个或多个图像分割参数。特别地，可以基于一个或多个图像分割参数来定义目标函数。在优选实施例中，分析单元29仅基于一个或多个图像类别来定义目标函数。

设备10包括优化器30，其用于通过改变目标函数的输出来优化参数集。在优选实施例中，优化器30选择一个或多个算法，其用于优化优选经由数据接口16来自外部数据实体(例如，数据库、云系统、互联网和/或局域通信网络)的参数集。在另一优选实施例中，优化器30增大或减小目标函数的输出。在另一优选实施例中，优化器30使目标函数的输出最大化或最小化。在另一优选实施例中，优化器30被配置为应用多次迭代，其中目标函数的输出通过每次迭代中的固定增量或可变增量变化。

设备10还包括图像分割单元32，其用于使用所优化的参数集来分割图像12。在优选实施例中，结合鼠标光标或用户的手指和/或一个或多个图像分割函数使用图像分割单元32。可以使用所优化的参数集完全地或部分地分割图像12。优选地，用户可以使用鼠标光标来在监视器上选择由图像分割单元32使用所优化的参数集分割的图像12的部分。这还可以通过使用用户的手指或其他单元以在触摸屏上选择图像12的部分来完成。

参考图2，示出了根据实施例的用于分割图像(尤其是对象的图像12)的系统34的示意性框图。系统34包括：成像装置36，其用于生成对象14的至少一幅图像12；以及用于分割图像的设备，特别是图1的设备10。成像装置36可以包括在医学成像领域中已知的任意类型的成像装置，其采用如下技术：例如，X射线、超声、计算机断层摄影(CT)、磁共振成像(MRI)、正电子发射断层摄影(PET)、内窥镜成像、热成像、弹性成像以及其他。成像装置36优选可以是实现辐射治疗规划的成像装置。优选地，成像装置36是实现剂量测定和/或短程疗法(例如，HDR短程疗法和/或LDR短程疗法)的优化的成像装置。在另一优选实施例中，成像装置36实现利用一个或多个剂量体积直方图的辐射治疗规划。然而，本发明不限于这些实施例。注意，在对象14与成像装置36之间的虚线仅仅出于说明的目的，并不承载任何技术特征。特别地，需注意，能够通过成像装置36整体地或部分地捕获对象14。

参考图3，示出了根据本发明实施例的用于分割对象(尤其是对象14)的图像(尤其是图像12)的方法的示意性框图。在该方法的第一步骤101中，经由数据接口16接收对象14的图像12和轮廓18。轮廓18对应于在图像12内的结构19(虚线)，其中结构通常涉及生物对象(包括人类、哺乳动物或其他生命体)的一个或多个解剖结构/组织。在优选实施例中，在第一步骤101中，图像12和/或轮廓18被存储在内部存储器单元或外部存储器单元中。在第二步骤102中，选择在图像12内的区域(尤其是区域22)，使得区域22由轮廓18划分成第一不相交部分24和第二不相交部分26。在优选实施例中，由用户(优选结合计算机程序)执行该方法的第二步骤102。在第三步骤103中，基于包括至少一个图像分割参数的参数集来对所选择的区域22进行分类。然后，在第四步骤104中，定义目标函数以确定用于对所选择的区域22进行分类的参数集的质量。在第五步骤105中，通过改变来自第四步骤104的目标函数来优化参数集。在第六步骤106中，在第五步骤105优化的参数集被用于分割图像12。可以理解的是，代替整个轮廓，轮廓的部分还可以由根据本发明的方法使用。

在本文公开的所有实施例中，图像分割单元32优选被配置为使用所优化的参数集来调节轮廓18。优选地，用户使用鼠标光标选择轮廓18的一个或多个部分，用户利用鼠标光标突出所选择的一个或多个部分。进一步优选地，用户通过将鼠标光标移动到一个或多个部分将针对所选择的区域22优化的参数集转移到在轮廓18的剩余部分中选择的一个或多个部分。然后，图像分割单元32将所优化的参数集应用到轮廓18的所选择的一个或多个部分。以这种方式，实现能够进行与本领域中已知的文档编辑工具类似的“复制和粘贴分割属性”的交互式图像分割。本发明还应用于分割整体图像12和/或顺序地或同时地分割多幅图像。

参考图4，示出了根据本发明的实施例的说明性表示。图4A示出了根据本发明的由本领域中已知的成像装置(例如，成像装置36)生成的图像。在图像12中，可以看见轮廓18。此外，从图4A中可以看出轮廓18不完全对应于由虚线表示的结构19。

图4B示出了使用本发明处置的图像12。轮廓18包围区域38，其不同于图4A和图4B中的结构19。在轮廓18的附近选择区域22，使得区域22由轮廓18划分成第一不相交部分24和第二部相交部分26。第一不相交部分24位于区域38中并由轮廓18和区域的圆周包围，而第二不相交部分26位于区域38的外部。在已经选择了区域22之后，参数集用于对区域22进行分类。参数集包括一个或多个分割参数，尤其是灰度值转变、图像梯度、曲率平滑度或其他形状参数和/或外观参数。在优选实施例中，基于阈值参数t将区域22分类成第一图像类别C_A和第二图像类别C_B。这些可以使用以下公式(1)来执行：

这里，I(x)是图像元素x的函数，其值与阈值参数t比较。优选地，将第一图像类别选择为主要图像类别或者实质上表征结构19的主要图像类别之一。此外，将第二图像类别选择为主要图像类别或表征邻近结构19的区域的主要图像类别之一。例如，如果结构19是实质上由图像类别癌症组织表征的人体的区域，其中邻近结构19的区域实质上由图像类别健康组织表征，则可以将第一图像类别选择为癌症组织类型，其中可以将第二图像类别选择为健康组织。然而，这应被理解为图像类别的选择的示例而不以任何方式限制本发明。特别地，可以选择多于两个图像类别以对所选择的区域22进行分类。

基于所选择的区域22的类别，可以定义目标函数，其反映用于对区域22进行分类的参数集的质量。在优选实施例中，目标函数可以是第一面积和第二面积的加和，其中第一面积是被分类到第一图像类别的第一不相交部分24内的所有图像元素(尤其是所有像素和/或体素)的面积。此外，第二面积优选是被分类为第二图像类别的第二不相交部分26内的所有图像元素(尤其是所有像素和/或体素)的面积。然而，这并不限制本发明。特别地，目标函数可以是来自第一面积或第二面积的图像元素的加和。替代地，目标函数可以是在整体所选择的区域22内被分类为第一图像类别或第二图像类别的所有像素和/或体素的面积的加和。在另一优选实施例中，根据公式(2)基于公式(1)的阈值参数t来定义目标函数：

这里，A表示第一不相交部分24，B表示第二不相交部分26。公式(2)使用根据公式(1)的分类将目标函数表示为来自被同时分类为第一图像类别C_A的第一不相交部分24的所有图像元素的第一面积和来自被同时分类为第二图像类别C_B的第二不相交部分26的所有图像元素的第二面积的加和。

在下一步骤中，优化被选择用于对区域22进行分类的参数集。在优选实施例中，通过使在公式(2)中指定的第一面积和第二面积的和S最大化来优化如在公式(1)和(2)中示出的阈值参数t，从而得到公式(3)：

以这种方式，将优化阈值参数t，从而生成优化的阈值t_opt，其使在公式(2)中指定的第一面积和第二面积的加和最大化。在另一优选实施例中，可以使用第一不相交部分24和/或第二不相交部分26的地面实况分类来优化阈值参数t以获得阈值t_opt。本发明实现交互图像分割的容易且直观的方式，借助于其用户能够优选通过使用示出在监视器上的鼠标光标简单地选择在给定轮廓附近的区域来执行局部参数优化。

可以理解，代替使目标函数最大化，方法、设备10和系统34可以使能使目标函数的输出最小化以优化用于对所选择的区域22进行分类的参数集。例如，第一图像类别可以是关于实质上不表征结构19的第一不相交部分24的最小图像类别，而第二图像类别可以是关于实质上不表征邻近区域19的区域的第二不相交部分26的最小图像类别。在该情况下，可以通过使第一面积和第二面积的加和最小化来优化阈值参数t。以这种方式，本发明可以独立于参数集的选择或区域的分类的结果而使用，使得可以自动校正分类错误。

在下一步骤中，将来自图4B的针对所选择的区域22优化的参数集应用于调节轮廓18的剩余部分。该轮廓调节的结果被说明性地示出在图4C中。示出对应于结构19的经调节的轮廓18'，其比在调节之前的轮廓18明显更好。类似地，还可以使用所优化的参数集来分割图像12的剩余图像元素。

注意，在图4A-C中示出的图像全部是出于说明的目的，并不要求根据真实对象生成的真实图像的正确度。

尽管在附图和前述描述中已经详细说明并描述了本发明，但这样的说明和描述被认为是说明性或示范性的并非限制性的；本发明不限于公开的实施例。通过研究附图、说明书和权利要求书，本领域技术人员在实践所主张的本发明的过程中，能够理解和实现所公开的实施例的变型。

在权利要求中，词语“包括”不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个元件或其他单元可以实现权利要求中记载的若干项目的功能。在互不相同的从属权利要求中记载特定措施并不指示不能有利地使用这些措施的组合。

计算机程序可以存储/分布在与其他硬件一起提供或作为其他硬件的部分提供的诸如光学存储介质或固态介质的适当的介质上，但是计算机程序也可以以其他的形式分布，例如经由因特网或其他有线或无线的远程通信系统。

权利要求中的任何附图标记不得被解释为对其范围的限制。