在线学习增强的基于图谱的自动分割的制作方法

本公开内容涉及基于图谱的自动分割(atlas-basedauto-segmentation，abas)，并且更具体地，涉及用于在线学习增强的abas的系统和方法。

背景技术：

确定患者体内的结构如器官并提取结构的形状对于许多医学成像应用诸如诊断成像、图像引导手术或图像引导的放射治疗是必不可少的。在这样的应用中，需要根据患者的图像例如计算机断层摄影(ct)图像来确定一个目标结构或多个目标结构。通常将确定患者体内的目标结构称为结构轮廓勾画或分割。尽管由人类专家(也被称为评估者)进行手工勾画轮廓仍然是临床中用于高质量分割的常用方法，但是手工勾画轮廓繁琐且耗时，并且可能遭受大的评估者内和/或评估者间的变化。

由于噪声和其他伪影以及许多软组织结构的有限图像对比度，图像的自动分割可能是有挑战性的。近年来，基于图谱的自动分割(abas)技术已经显示出作为解决方案的前景。abas包括使用一个或更多个先前分割的图像——例如来自先前治疗过的患者的分割的图像或来自同一目标患者的先前治疗的分割的图像——来执行目标图像的分割。将先前分割的图像连同它们的注释例如结构标记图或结构表面称作图谱(atlas)。通过经由图像匹配(也称为图像配准)将图谱图像与从目标患者获得的新目标图像对准来计算图像变换。通过使用经计算的图像变换将在图谱上定义的结构标记映射到目标图像来产生目标图像的结构标记。

abas的准确性通常依赖于所使用的图谱图像的质量和数量。例如，在abas过程期间可以使用多个图谱来提供冗余。另一方面，示出与目标图像中基础对象类似的基础对象的图谱图像也可以有助于提高对目标图像进行标记的准确度。设计了所公开的方法和系统以进一步提高用于图像分割的传统abas的准确度。

技术实现要素：

本公开内容的一个方面涉及图像分割方法。该方法包括接收目标图像和多个图谱，每个图谱包括示出关注的结构和关联的结构描绘的图谱图像，该目标图像由图像获取设备获取并且该目标图像示出关注的结构。该方法还包括由图像处理器通过将相应的图谱配准到目标图像来计算映射图谱，以及由图像处理器基于映射图谱确定目标图像的第一结构标记图。该方法还包括由图像处理器使用映射图谱的子集来训练结构分类器，并且由图像处理器通过将经训练的结构分类器应用于目标图像中的一个或更多个目标图像点来确定目标图像的第二结构标记图。该方法另外包括由图像处理器将第一标记图与第二标记图结合以生成代表关注的结构的第三标记图。

本公开内容的另一方面涉及图像分割系统。该系统包括存储器和耦接至该存储器的图像处理器。存储器被配置成接收和存储目标图像和多个图谱，每个图谱包括示出关注的结构和关联的结构描绘的图谱图像，该目标图像由图像获取设备获取并且该目标图像示出关注的结构。图像处理器被配置成通过将相应的图谱配准到目标图像来计算映射图谱，并且基于映射图谱来确定目标图像的第一结构标记图。图像处理器还被配置成使用映射图谱的子集来训练结构分类器，并且通过将经训练的结构分类器应用于目标图像中的一个或更多个目标图像点来确定目标图像的第二结构标记图。图像处理器还被配置成将第一标记图和第二标记图结合以生成代表关注的结构的第三标记图。

本公开内容的又一方面涉及非暂态计算机可读存储介质，其存储有指令，所述指令在由图像处理器执行时使处理器执行图像分割方法。该方法包括接收目标图像和多个图谱，每个图谱包括示出关注的结构和关联的结构描绘的图谱图像，该目标图像由图像获取设备获取并且该目标图像示出关注的结构。该方法还包括通过将相应的图谱配准到目标图像来计算映射图谱，并且基于映射图谱来确定目标图像的第一结构标记图。该方法还包括使用映射图谱的子集来训练结构分类器，并且通过将经训练的结构分类器应用于目标图像中的一个或更多个目标图像点来确定目标图像的第二结构标记图。该方法另外包括将第一标记图和第二标记图结合以生成代表关注的结构的第三标记图。

符合本公开内容的特征和优点部分地将在以下描述中阐述，并且部分地将根据描述是明显的，或者可以通过对本公开内容的实践来获知。借助于所附权利要求中特别指出的元素和组合，将实现并获得这样的特征和优点。

应当理解，前述的一般性描述和后面的详细描述都只是示例性和说明性的，并非对要求保护的本发明进行限制。

附图说明

在附图中，不一定按比例绘制，并且相同的附图标记可以描述不同视图中的类似部件。具有不同字母后缀的相同附图标记可以表示类似部件的不同实例。附图总体上通过示例而非通过限制的方式示出了本文中讨论的各种实施方式。

图1是示出根据本公开内容的一些实施方式的示例性放射治疗系统的框图。

图2描绘了根据本公开内容的一些实施方式的示例性图像引导放射治疗设备。

图3描绘了根据本公开内容的一些实施方式的示例性图像分割系统。

图4是示出根据示例性实施方式的由图3的图像分割系统执行的示例性图像分割方法的流程图。

图5是示出根据示例性实施方式的由图3的图像分割系统执行的示例性结构分类器训练方法的流程图。

图6a和图6b示出了来自传统方法的分割结果与来自符合本公开内容的示例性方法的分割结果之间的比较。

具体实施方式

在下文中，将参照附图描述与本公开内容一致的实施方式。只要有可能，在整个附图中将使用相同的附图标记来表示相同的部分或相似的部分。

与本公开内容一致的实施方式包括用于在线学习增强的基于图谱的自动分割(abas)的系统和方法。本文未指定的一些示例的详细描述，例如abas方法的详细描述，可以在申请人的发布为美国专利no.9,122,950的在先申请中找到，所述在先申请的全部内容通过引用并入本文。

总体上将所公开的系统和方法设计为基于一个或更多个图谱来分割目标图像。如本文中一致地使用的，“图谱”包括图像和指示图像点属于哪个结构的对应的结构描绘(注释)。“目标图像”是目标患者的图像并且尚待分割。所公开的方法和系统将被应用为基于一个或更多个图谱来分割目标图像。可以通过图像获取设备获取目标图像。

图谱中的图像，也称为图谱图像，可以是另一患者的图像或在较早时间拍摄的目标患者的早先图像。在本公开内容中，图像——目标图像或图谱图像——包括多个图像点，如果图像是二维(2d)图像则可以将所述图像点称作像素，或者如果图像是三维(3d)图像则可以将所述图像点称作体素。目标图像中的图像点被称为目标图像点。类似地，图谱图像中的图像点被称为图谱图像点。

结构描绘可以表示为例如结构标记图、结构表面或结构轮廓。以下描述使用标记图作为结构描绘的示例，并且类似地应用于结构表面和轮廓的场景。标记图指的是结构标记的图，每个结构标记将相应的图像点标识为在特定的关注结构内。替选地，与本公开内容一致，标记图也可以是包含结构标记的概率图，每个结构标记表示图像点属于该结构的概率。例如，当对包括多个结构的目标图像进行分割时，图像点的结构标记可以提供一组指示图像点属于所考虑中的每个结构的可能性有多大的概率值。所公开的系统和方法提供了目标图像的估计结构标记图。

图1是示出根据本公开内容的一些实施方式的示例性放射治疗系统100的框图。放射治疗系统100可以是igrt系统。如图1所示出的，放射治疗系统100可以包括控制台110、数据库120、放射治疗设备130和图像获取设备140。在一些实施方式中，可以将放射治疗设备130和图像获取设备140集成到单个图像引导的放射治疗设备150中，如图1中的虚线框150所指示的。在一些实施方式中，放射治疗设备130和图像获取设备140可以是单独的设备。在一些实施方式中，放射治疗设备130和图像获取设备140可以物理地彼此连接或通信地彼此连接，如图1中的放射治疗设备130和图像获取设备140之间的点划线所指示的。

控制台110可以包括用于控制放射治疗设备130和图像获取设备140以及/或者执行诸如治疗计划、治疗执行、图像获取、图像处理、运动跟踪、运动管理的功能或操作或放射治疗过程中涉及的其他任务的硬件部件和软件组件。控制台110的硬件部件可以包括：一个或更多个计算机(例如通用计算机、工作站、服务器、终端、便携/移动设备等)；处理器设备(例如中央处理单元(cpu)、图形处理单元(gpu)、微处理器、数字信号处理器(dsp)、现场可编程门阵列(fpga)、专用或专门设计的处理器等)；存储器/存储设备(例如只读存储器(rom)、随机存取存储器(ram)、快闪存储器、硬盘驱动器、光盘、固态驱动器(ssd)等)；输入设备(例如键盘、鼠标、触摸屏、麦克风、按钮、旋钮、轨迹球、杠杆、手柄、操纵杆等)；输出设备(例如显示器、打印机、扬声器、振动设备等)；或其他合适的硬件。控制台110的软件组件可以包括操作系统软件、应用软件等。例如，如图1所示，控制台110可以包括可存储在控制台110的存储器/存储设备中的治疗计划/递送软件115。软件115可以包括用于执行下面详细描述的过程的计算机可读及可执行的代码或指令。例如，可以将控制台110的处理器设备通信地连接至存储软件115的存储器/存储设备，以访问和执行代码或指令。代码或指令的执行可以使处理器设备执行操作以实现与所公开的实施方式一致的一个或更多个功能。

控制台110可以通信地连接至数据库120以访问数据。在一些实施方式中，数据库120可以使用本地硬件设备来实现，本地硬件设备例如在控制台110附近的一个或更多个硬盘驱动器、光盘和/或服务器。在一些实施方式中，数据库120可以在相对于控制台110远程定位的服务器或数据中心中实现。控制台110可以通过有线通信或无线通信访问存储在数据库120中的数据。

数据库120可以包括患者数据122。患者数据可以包括诸如以下信息：(1)与患者解剖区域、器官或感兴趣体积分割数据(例如mri、ct、x射线、pet、spect等)相关联的成像数据；(2)功能性器官建模数据(例如串行器官比对并行器官、以及适当的剂量反应模型)；(3)辐射剂量数据(例如，可以包括剂量-体积直方图(dvh)信息)；(4)有关患者或治疗过程的其他临床信息。

数据库120可以包括机器数据124。机器数据124可以包括与放射治疗设备130、图像获取设备140或与放射治疗有关的其他机器相关联的信息，例如辐射束尺寸、弧形放置(arcplacement)、开/关持续时间、放射治疗计划数据、多叶准直器(mlc)配置、mri脉冲序列等。

图像获取设备140可以提供患者的医学图像。例如，图像获取设备140可以提供以下中的一个或更多个：mri图像(例如2dmri、3dmri、2d流式mri、4d体积mri、4d电影mri)；计算机断层扫描(ct)图像；锥束ct图像；正电子发射断层扫描(pet)图像；功能性mri图像(例fmri、dce-mri、扩散mri)；x射线图像；荧光透视图像；超声图像；放射治疗射野图像；单光子发射计算机断层扫描(spect)图像；等等。因此，图像获取设备140可以包括mri成像设备、ct成像设备、pet成像设备、超声成像设备、荧光检查设备、spect成像设备或用于获得患者的医学图像的其他医学成像设备。

放射治疗设备130可以包括leksell伽玛刀、线性加速器或linac或能够以可控方式将辐射递送到患者的关注的解剖区域的其他合适的设备。

图2描绘了与所公开的实施方式一致的示例性图像引导放射治疗系统200。如所示出的，系统200可以包括床210、图像获取设备220和辐射递送设备230。系统200根据放射疗法治疗计划向患者递送放射治疗。在一些实施方式中，图像获取设备220可以对应于可以获得目标患者图像的图1中的图像获取设备140。

床210可以在治疗环节(treatmentsession)期间支承患者(未示出)。在一些实现方式中，床210可以沿着水平平移轴(标记为“i”)移动，使得床210可以将躺在床210上的患者移入和/或移出系统200。床210还可以围绕横向于平移轴的中心竖直旋转轴进行旋转。为了允许这样的移动或旋转，床210可以具有电机(未示出)，电机使得床能够在各个方向上移动和沿着各个轴旋转。控制器(未示出)可以控制这些移动或旋转，以便根据治疗计划适当地定位患者。

在一些实施方式中，图像获取设备220可以包括用于在治疗环节之前、期间和/或之后获取患者的2d或3dmri图像的mri机器。图像获取设备220可以包括磁体221，磁体221用于产生用于磁共振成像的主磁场。由磁体221的操作产生的磁场线可以基本上平行于中心平移轴i延伸。磁体221可以包括其轴线平行于平移轴i延伸的一个或更多个线圈。在一些实施方式中，磁体221中的一个或更多个线圈可以间隔开，使得磁体221的中心窗223没有线圈。在其他实施方式中，磁体221中的线圈可以足够薄或具有降低的密度，使得它们对由放射治疗设备230产生的波长的辐射基本上是透射的。图像获取设备320还可以包括一个或更多个屏蔽线圈，所述一个或更多个屏蔽线圈可以在磁体221外部产生大致相等幅度和相反极性的磁场，以消除或减少磁体221外部的任何磁场。如下所述，放射治疗设备230的辐射源231可以定位在磁场被消除(至少至一阶(atleasttoafirstorder))或者被减小的区域中。

图像获取设备220还可以包括两个梯度线圈225和226，所述两个梯度线圈225和226可以产生叠加在主磁场上的梯度磁场。线圈225和226可以在合成磁场中产生梯度，该梯度允许对质子的空间编码，使得可以确定质子的位置。梯度线圈225和226可以围绕与磁体221的公共中心轴线被定位，并且可以沿着该中心轴线被移位。移位可以在线圈225与线圈226之间产生间隙或窗。在其中磁体221还包括线圈之间的中心窗223的实施方式中，两个窗可以彼此对准。在一些实施方式中，图像获取设备320可以是除mri之外的成像设备，例如x射线、ct、cbct、螺旋ct、pet、spect、光学断层成像、荧光成像、超声成像或放射治疗射野成像设备等。

放射治疗设备230可以包括辐射源231例如x射线源或线性加速器以及多叶准直器(mlc)233。放射治疗设备230可以被安装在底架235上。当床210被插入治疗区域时，一个或更多个底架电机(未示出)可以将底架235围绕床210旋转。在实施方式中，当床210被插入治疗区域时，底架235能够围绕床210连续旋转。底架235还可以具有附接的辐射检测器(未示出)，辐射检测器优选地位于辐射源231的对面，并且其中底架335的旋转轴线位于辐射源231与检测器之间。此外，设备230可以包括控制电路(未示出)，该控制电路用于控制例如床210、图像获取设备220以及放射治疗设备230中的一个或更多个。放射治疗设备230的控制电路可以集成在系统200内或远离系统200，并且由图1示出的控制台110功能性地表示。

在放射治疗环节期间，患者可以被定位在床210上。然后，系统200可以将床310移动到由磁线圈221、225、226和底架235限定的治疗区域中。然后，控制台240可以控制辐射源231、mlc233和一个或更多个底架电机以根据放射治疗计划通过线圈225与226之间的窗将辐射递送给患者。

图3描绘了与所公开的实施方式一致的示例性图像分割系统300。在一些实施方式中，图像分割系统300可以包括医学图像处理设备310和图像数据库320，并且可以通过网络360连接至图像获取设备140(或320)。

数据库320可以被配置成存储一个或更多个目标图像和多个图谱图像以及对应的结构描绘。目标图像和图谱图像可以是2d图像或3d图像。在一些实施方式中，数据库320可以是管理患者的肿瘤治疗计划的肿瘤学信息系统的一部分。在一些方面，数据库320可以从具有先前在一个或更多个放射治疗环节期间获得的图像的图像数据库接收这些图像集。在一些实施方式中，图像获取设备140可以获取目标图像并将目标图像存储在图像数据库320中。存储在图像数据库320中的图像还可以对应于在一个或更多个放射治疗环节期间获取的图像。

在一些方面，医学图像处理设备310可以被配置成基于图谱图像及图谱图像的描绘来分割目标图像。在一个实施方式中，可以将医学图像处理设备310集成到控制台110或放射治疗设备130中，如图1所示。医学图像处理设备310可以将分割结果输出到治疗计划/递送软件115，以帮助规划放射治疗。控制台110可以控制放射治疗设备130，以根据分割结果的数据将诸如辐射束的治疗引导到目标患者的关注的结构。

在一些实施方式中，医学图像处理设备310可以包括图像处理器311、存储器312、输入/输出接口313、网络接口314、显示器315和存储设备316。医学图像处理设备310的部件可以经由总线连接。可以使用专用计算机或通用计算机来实现医学图像处理设备310。例如，可以使用为医院定制的计算机来实现医学图像处理设备310，以执行图像获取任务和图像处理任务。

在一些实施方式中，图像处理器311可以是一个或更多个通用处理设备，例如微处理器、中央处理单元(cpu)、图形处理单元(gpu)等。更具体地，图像处理器311可以是复杂指令集计算(cisc)微处理器、精简指令集计算(risc)微处理器、超长指令字(vliw)微处理器、实现其他指令集的处理器或实现指令集组合的处理器。在各种实施方式中，图像处理器311还可以是一个或更多个专用处理设备，例如专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、片上系统(soc)等。在一些方面，图像处理器311可以通信地耦接至存储器312并且被配置成执行存储在存储器上的计算机可执行指令。

存储器312可以是非暂态计算机可读介质，例如只读存储器(rom)、随机存取存储器(ram)、相变随机存取存储器(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、电可擦除可编程只读存储器(eeprom)、其他类型的随机存取存储器、闪存盘或其他形式的闪存、高速缓冲存储器、寄存器、静态存储器、光盘只读存储器(cd-rom)、数字通用光盘(dvd)或其他光学存储器、盒式磁带或其他磁存储设备或者可用于存储包括能够由处理器或任何其他类型的计算机设备访问的图像、数据或计算机可执行指令的信息等的任何其他非暂态介质。

在一些实施方式中，存储器312可以存储计算机可执行指令例如一个或更多个图像分割程序321以及在执行计算机程序时使用或生成的数据例如图像数据322。图像处理器311可以使用abas方法执行程序321以分割目标图像。例如，图像分割程序321可以是用于估计目标图像的结构标记的程序。在一些实施方式中，程序321可以执行各种功能，诸如图谱配准和/或选择、使用已配准和/或已选择的图谱执行对结构分类器的训练、以及使用经训练的结构分类器执行对目标图像的分割。

图像处理器311还可以发送图像数据322和/或从存储器312接收图像数据322。图像处理器311可以与数据库320通信以将图像数据322读入到存储器312中或者将图像数据322从存储器312存储到图像数据库320中。在一些实施方式中，图像数据322可以包括目标图像、获取的mri图像、ct图像、pet图像、超声图像和计算机生成的合成图像等。图像数据322还可以包括被预先收集和处理并存储在数据库320中的图谱图像。图像处理器311还可以生成中间数据诸如配准的图谱图像、结构标记、任何分类器模型的参数，并将该中间数据发送至存储器312。

存储设备316可以是能够用于存储与由图像处理器311执行的图像处理任务相关联的数据和/或计算机程序的辅助存储器。在一些实施方式中，存储设备316可以包括机器可读存储介质。虽然实施方式中的机器可读存储介质可以是单个介质，但是术语“机器可读存储介质”应被视为包括存储计算机可执行指令或数据的一个或更多个集合的单个介质或多个介质(例如，集中式或分布式数据库、和/或相关联的高速缓存和服务器)。术语“机器可读存储介质”还应被视为包括能够对用于由机器执行的指令集合进行存储和编码并且使机器执行本公开内容的任何一种或更多种方法的任何非暂态介质。因此，术语“机器可读存储介质”应被视为包括但不限于固态存储器、光学介质和磁介质。

与所公开的实施方式一致，输入/输出接口313可以被配置成允许由医学图像处理设备310接收和/或发送数据。输入/输出接口313可以包括允许医学图像处理设备310与用户或其他机器和设备进行通信的一个或更多个数字和/或模拟通信设备。例如，输入/输出接口313可以包括用于用户向医学图像处理设备310提供输入的键盘和鼠标。在一个实施方式中，输入/输出接口313可以是诸如手机的移动设备、诸如ipad的平板设备或能够与医学图像处理设备310连接的任何其他手持电子设备。这样的平板设备或移动设备包括用于描绘医学图像数据和医学图像的显示器。此外，这样的平板设备或移动设备可以配置有触摸屏显示器以操纵数据和图像。

与所公开的实施方式一致，网络接口314可以被配置成使得医学图像处理设备310能够通过诸如网络360的网络进行通信。在一些实施方式中，网络接口360可以包括以下中的至少一个：网络适配器、线缆连接器、串行连接器、usb连接器、并行连接器、高速数据传输适配器(例如光纤、usb3.0、霹雳等)、诸如wi-fi适配器的无线网络适配器、电信(3g、4g/lte等)适配器等。医学图像处理设备500可以通过网络接口314连接至网络460。

与所公开的实施方式一致，图像显示器315可以是适合于显示图像的任何显示设备。例如，图像显示器315可以是lcd显示器、crt显示器、led显示器、有机发光二极管、有机发光晶体管、场发射显示器、量子点或液晶显示器、mems显示器、铁电液晶显示器、厚膜电介质电致发光显示器、弯曲显示器、可折叠显示器、触觉触摸屏、虚拟现实显示器、3d像素显示器、虚拟视网膜显示器、全息显示器、激光荧光体显示器等。

网络360可以被配置成在图3的部件之间提供通信。例如，网络360可以是提供通信、交换信息和/或促进电子信息的交换的任何类型的网络(包括基础设施)。在这方面，网络360可以包括有线连接、无线连接、计算机总线、串行连接、并行连接、以太网连接、局域网或广域网、互联网连接、卫星连接、或者包括与云计算服务的连接的任何其他合适的连接、或其任何组合，使得图像分割系统300的部件能够以任何格式并在任何通信协议下彼此之间发送和接收信息。

预计图3仅示出了图像分割系统300的示例性布置。在一些实施方式中，可以添加附加部件，并且/或者可以组合、划分、修改或移除所描绘的部件。此外，在一些方面，图像分割系统300的至少一个部件可以在地理上远离其余部件，并且可以通过网络360与其余部件通信。

图4是说明与公开内容一致的示例性图像分割方法400的流程图。在一些实施方式中，方法400可以通过图像分割系统300的部件诸如医学图像处理设备310来执行，以分割一个或更多个目标图像。尽管仅描述了一种关注的结构的分割作为示例，但是可以预期的是方法400可以应用于同时分割在空间上相邻并且高度相关的一组关注的结构，例如膀胱、前列腺和直肠。各种机器学习方法，例如随机森林(rf)方法，可以同时自然地处理多个结构的分割。当多个结构在空间上相邻并因此高度相关时，多结构分类器模型可能是有益的。

如图4所示，在402处，医学图像处理设备310可以从数据库120接收包括目标图像和一个或更多个图谱的图像数据322。在图4所示的实施方式中，使用了n个图谱：图谱#1、图谱#2、..和图谱#n。尽管使用多个图谱可能有益于提高分割准确度，但是与本公开一致的方法也可以应用于仅使用一个图谱的情景。每个图谱包括图谱图像和相应的结构描绘(注释)。

在404处，执行图像配准以将图谱图像与目标图像配准。在一些实施方式中，配准过程可以包括将每个图谱图像的图像点映射到目标图像点。在一些替选实施方式中，配准过程可以包括将图谱图像和目标图像两者映射到参考图像。在这些实施方式中，参考图像可以是例如平均图谱图像或共同的模板图像。这样，图谱图像被“间接地”映射到目标图像。可以使用各种图像配准方法，例如线性配准、目标驱动的“多平滑”非线性配准(object-driven“poly-smooth”non-linearregistration)或形状约束的密集可变形配准(shape-constraineddensedeformableregistration)中的任意一种或组合。通过执行图像配准，针对每个图谱计算从图谱图像到参考图像的图像变换。

在406处，使用用于图谱的对应图像变换将每个图谱的描绘(例如，结构标记)映射到参考图像的空间。映射的结构标记表示来自相应图谱的目标图像的独立分类数据，即独立分割结果。

如上所述，404和406中的过程产生映射的图谱图像，也被称为“配准图谱图像”，以及映射的结构标记，也被称为“配准结构标记”。映射的图谱图像和对应的映射的结构标记构成映射图谱，也被称为“配准图谱”，然后配准图谱可以用于训练用于对目标图像进行分类的结构分类器，这将在后面描述。

再次参照图4，在408处，执行标记融合以组合来自不同图谱的分割结果，例如标记图，以获得对关注的结构的共识abas分割。可以采用各种标记融合方法——例如多数表决方法和同时真实性和性能水平估计(simultaneoustruthandperformancelevelestimation，staple)方法——将不同图谱的映射的结构标记组合成共识abas结构标记估计，共识abas结构标记估计包括估计的结构标记，也被称为abas标记，用于目标图像点。例如，利用多数表决技术，在每个目标图像点处，每个映射的结构标记投下关于相应目标图像点是否属于关注的结构的投票。可以将目标图像点的最终标记确定为具有最多投票的一个标记。例如，在标记值为1(对于在关注的结构之内)或0(对于在关注的结构之外)的二进制情况下，可以通过对在相应的目标图像点处的所有标记取平均值，然后根据平均值是高于阈值例如0.5还是低于阈值，将目标图像点指定为在关注的结构之内或在关注的结构之外来计算多数表决。作为另一个示例，在staple方法中，可以基于对每个个体图谱的性能或准确度的一些智能估计，将最佳的、不相等的权重分配给不同的图谱。当存在多个关注的结构时，每个结构标记可以指示目标图像点属于哪个结构，或者替选地，可以包括指示目标图像点属于相应结构的概率的一组概率值。也可以使用与上述相同的方法来融合结构标记。

在410处，使用映射的图谱中的一个或更多个来训练结构分类器。在一些实施方式中，从404的过程和406的过程输出的所有映射的图谱用于训练结构分类器。在一些实施方式中，仅选择映射的图谱中的一个或一些用于训练目的。在这些实施方式中，可以执行图谱选择以获得适合于目标患者的映射图谱的子集。各种标准可以用于图谱选择。例如，可以评估每个映射的图谱图像与目标图像(在目标图像是参考图像的情况下)或映射的目标图像(在将另一图像用作参考图像的情况下)之间的图像相似度，并且可以基于图像相似度对映射的图谱进行排序。图像相似度可以是全局相似度，即整个映射的图谱图像与整个目标图像/映射的目标图像之间的相似度，或者局部图像相似度，即映射的图谱图像中关注的结构与目标图像/映射的目标图像中关注的结构之间的相似度。例如，可以将相似度计算为两个图像或两个图像的对应部分之间的相关性。在一些实施方式中，将对于其对应的分类数据的准确性具有高置信度的映射图谱用于训练目的。在一些其他实施方式中，如果图谱与获取目标图像的同一患者相关联，则图谱可以被排序得更高。

排序较高的图谱被用于培训。后面将参照图5对用于训练结构分类器的详细过程进行描述。在训练结构分类器之后，结构分类器可被用于基于图像点的对应属性来确定输入的图像点的结构标记。

如图4所示出的，在412处，将从标记融合获得的abas结构标记估计用于识别哪些目标图像点要被使用经训练的结构分类器进一步进行分析。可以使用各种技术来选择目标图像点的子集用于进一步分析。例如，可以定义标准以评估目标图像点的abas标记是否不明确，然后可以将abas标记不明确的目标图像点包括在用于进一步分析的子集中。

作为这样的不明确度标准的示例，将对于从不同图谱配准获得的各种abas标记之间关于分类存在不一致的目标图像点包括在用于进一步分析的子集中。在一些实施方式中，每个目标图像点的abas标记伴随有估计的准确度(例如，概率值)。在这些场景中，估计的准确度可用于确定相关联的目标图像点是否不明确。例如，将具有诸如50％或更低的准确度的目标图像点包括在用于进一步分析的子集中。作为另一示例，可以定义关注的结构的边界周围的邻近度，并且可以将在该邻近度内的目标图像点包括在用于进一步分析的子集中。

在一些实施方式中，还在412处计算将要由经训练的结构分类器使用的属性，也称为图像特征。属性可以是用于训练结构分类器的相同类型的属性，如将在下面结合图5更详细描述的。可以使用各种方法来计算属性，包括使用诸如卷积神经网络模型的机器学习模型。

在414处，将用于进一步分析的子集中的目标图像点应用于经训练的结构分类器，结构分类器将为子集中的那些图像点提供另一组结构标记。由分类器估计的这组结构标记可以与408中生成的abas结构标记一致或者可以与408中生成的abas结构标记不一致。

在416处，将abas结构标记与分类器结构标记结合以生成表示目标图像的最终分割结果的最终结构标记。可以使用各种技术来组合标记。例如，可以采用abas结构标记估计与分类器结构标记估计之间的多数表决。作为另一示例，如果经训练的结构分类器产生硬判决，则来自结构分类器的结果可以被当作另一个标记图，并且可以执行由abas产生的标记图与由结构分类器生成的标记图之间的标记融合。作为又一示例，如果abas和结构分类器分别提供估计概率pl和估计概率pc作为结构标记结果，则可以将目标图像点的最终结构概率p计算为来自两种技术的估计概率的加权平均：

p＝wlpl+wcpc，其中wl+wc＝1.

权重wl和wc可以彼此相等或彼此不同。可以基于诸如交叉验证的训练过程来手动设置或自动确定权重。一旦计算了目标图像点的最终结构概率p，就可以通过确定最终结构概率p是否高于阈值诸如0.5来确定目标图像点是否属于关注的结构。

图5是示意性地示出用于使用一个或更多个映射的图谱来训练结构分类器的示例性方法500的流程图。用于训练目的的映射图谱也被称为训练图谱。根据本公开内容，可以将机器学习算法应用于来自训练图谱的数据(图谱图像及其相关联的分类数据)，以产生经训练的结构分类器。根据本公开内容，可以在执行标记融合(方法400的408处)之前、在执行标记融合之后但在识别用于进一步分析的对象图像点(方法400的412处)之前、在识别用于进一步分析的对象图像点之后或在这两个过程中的任何一个过程期间训练结构分类器。

如图5所示出的，在502处，可以从每个训练图谱的映射图谱图像选择多个训练样本。每个训练样本可以对应于单个图像点或一组图像点(这样的一组图像点也被称为超级图像点)。根据本公开内容，来自映射图谱图像的训练样本可以包括映射图谱图像上的全部或部分图像点。当仅将一部分图像点用于训练时，可以执行样本选择以确定使用什么图像点。例如，可以在整个映射图谱图像上完全随机地选择训练样本，或者从距关注的结构的边界一定距离内的区域中选择训练样本。在美国专利no.9,122,950中描述了从这样的区域中选择训练样本的示例。作为另一示例，可以通过配准结果来引导样本选择，使得可以从不明确区域中选择更多样本，所述不明确区域即其中来自不同的映射图谱的结构标记彼此不完全一致或者不一致度大于一定程度的区域(例如，十个映射图谱中的三个或更多个映射图谱具有与其他映射图谱的确定不同的确定)。

在504处，可以针对所选择的训练样本计算多个属性(或特征)。这些属性将由机器学习算法用作其分类任务的一部分。当将经训练的结构分类器应用于对目标图像的图像点进行分类时，该经训练的结构分类器将基于计算的与图像点相关联的属性来做出关于图像点的结构标记的决定。可以针对每个训练样本计算一种或更多种类型的属性。可以使用各种类型的属性，例如图像强度值、图像位置、图像梯度和梯度幅度、图像的黑塞矩阵的本征值、图像纹理度量例如能量、熵、对比度、同质性以及局部共生矩阵的相关性、变尺寸的局部图像块，如美国专利no.9,122,950中更详细描述的。替选地，也可以使用机器学习模型自动地和适应性地计算属性或特征。例如，可以训练卷积神经网络模型以从样本图像中提取相关特征，以及可以将预先训练的模型应用于训练样本以产生属性。除其他层之外，卷积神经网络通常包括产生各种尺寸的特征图的若干卷积层。特征图包含表征输入图像(或输入图像中的选定部分)的通用特征，并且因此可以用作结构分类器中的特征以进一步改进分类结果。可以使用来自各种卷积层(例如，顶层、中间层、底层)的或从这些层中选择的层的特征。在一些实施方式中，如果训练图谱已经包括要由机器学习算法使用的图谱图像点的属性，则可以省略属性的计算。

在506处，将收集的训练样本和计算的属性应用于机器学习算法以产生经训练的结构分类器。机器学习算法可以是监督学习算法，其在给定了训练数据集的情况下设法推断预测模型。例如，用于训练结构分类器的机器学习算法可以是随机森林(rf)机器学习算法，rf机器学习算法可以自然地处理多个类，即，一个分类器对若干个结构进行分类。rf分类器的输出可以是输入数据属于哪个类——即，相应图像点属于哪个结构——的概率估计。在美国专利no.9,122,950中更详细地描述了rf算法。在获得经训练的结构分类器之后，其可以被存储并在稍后使用期间结合目标图像的自动分割来被应用，例如在方法400的414中使用。

图6a和图6b示出了通过staple方法估计的结构边界(黑色虚线)与通过与本公开内容一致的在线学习增强的abas方法估计的结构边界(白色实线)之间的比较。图6a与图6b中示出的目标图像是同一目标患者的肝脏和右肾的图像。如图6a与图6b二者所示出的，在线学习增强的abas方法比staple方法产生更准确的边界。特别地，如图6b所示，staple方法错过了肾脏的底部，而来自在线学习增强的abas方法的估计的边界更好地符合肾脏的实际边界。

以上详细描述包括对附图的参照，所述附图形成详细描述的一部分。附图通过图示的方式示出了可以实施本发明的具体实施方式。这些实施方式在本文中也被称为“示例”。这样的示例可以包括除经示出或经描述的那些元素之外的元素。然而，仅提供了其中示出或描述了那些元素的示例。此外，本文中示出或描述的那些元素(或其的一个或更多个方面)的任何组合或置换、本文中示出或描述的关于特定示例(或其一个或更多个方面)或关于其他示例(或其一个或更多个方面)的那些元素的任何组合或置换在本公开内容的范围内。

如果本文与通过引用并入的任何文献之间的使用不一致，则以本文中的用法为准。

在本文中，使用术语“一”或“一个”——如专利文献中常见的那样——以包括一个或多于一个，独立于“至少一个”或“一个或更多个”的任何其他实例或用法。在本文中，术语“或”用于指非排他性的，使得除非另有说明，“a或b”包括“a但不是b”、“b但不是a”以及“a与b”。在本文中，术语“包括(including)”和“其中(inwhich)”用作相应术语“包括(comprising)”和“其中(wherein)”的通俗英语等同物。此外，在以下权利要求中，术语“包括(including)”和“包含(comprising)”是开放式的，即包括除了在权利要求中的这一术语之后列出的元素之外的元素的系统、设备、物品、组合物、配方或过程仍被认为属于该权利要求的范围。此外，在以下权利要求中，术语“第一”、“第二”和“第三”等仅用作标记，并且不旨在对其对象施加数字要求。

机器或计算机可读存储介质可以包括一个或更多个非暂态介质(例如，集中式数据库或分布式数据库和/或相关联的高速缓存和服务器)。这样的机器或计算机可读存储介质可以存储可以使机器执行所描述的功能或操作的计算机可执行指令或数据。这样的机器或计算机可读存储介质可以包括以可由机器(例如，计算设备、电子系统等)访问的形式存储信息的任何机构，诸如可记录/不可记录介质(例如，只读存储器(rom)、随机存取存储器(ram)、磁盘存储介质、光存储介质、闪存设备等)。例如，术语“机器可读存储介质”或“计算机可读存储介质”因此应被视为包括但不限于固态存储器、光学介质和磁介质。

以上描述旨在是说明性的而非限制性的。例如，上述示例(或其一个或更多个方面)可以彼此组合使用。在回顾以上描述之后，例如本领域普通技术人员可以使用其他实施方式。提供摘要以符合37c.f.r.§1.72(b)来允许读者快速确定技术公开的性质。其被提交，但要理解为，它不会用于解释或限制权利要求的范围或含义。而且，在以上详细描述中，可以将各种特征组合在一起以组织本公开内容。这不应被解释为打算让未被要求保护的公开特征对于任何权利要求是必不可少的。相反，发明主题可以展现少于特定公开实施方式的所有特征的特征。因此，以下权利要求作为示例或实施方式结合到具体实施方式中，其中每项权利要求独立作为单独的实施方式，并且可以预期这样的实施方式可以以各种组合或置换彼此组合。应参考所附权利要求以及这些权利要求所赋予的等同物的全部范围来确定本发明的范围。