用于利用多个解剖结构分割模型在医学成像中进行自动分割的系统和方法与流程

1.本公开总体上涉及医学成像，并且更具体地涉及用于使用多个解剖结构、指令和分割模型在医学图像中进行解剖结构分割的系统和方法。


背景技术：

2.放射治疗是治疗患者癌性肿瘤的重要工具。不幸的是，用于治疗患者的电离辐射本质上并不能区分肿瘤和近端健康结构(例如，有风险的器官)。因此，必须仔细调节电离辐射的施用，以限制对目标(即，肿瘤)施加的辐射，同时避免对周围解剖结构进行不必要的辐射，目标是向肿瘤递送致命的辐射剂量，同时保持给近端结构的可接受剂量。
3.作为放射治疗计划过程的部分，肿瘤和周围解剖结构的医学图像被获取。医学图像可以用作放射治疗模拟的基础，并且可以用于规划治疗的各个方面，包括但不限于射束几何形状和位置、辐射能量和剂量。医学图像通常被处理以描绘目标区域(例如，肿瘤或期望被辐射的其他区域在其中被成像的像素或体素)并且分离周围结构(例如，风险器官(oar)或避免被辐射的其他解剖结构在其中被成像的像素或体素)。这种描绘(称为轮廓化或分割)涉及限定图像中限定不同解剖结构的轮廓的相应边界。然而，如果图像中的解剖结构的轮廓化不正确，这可能会导致对目标的辐射不足和/或对周围结构进行不期望的辐射。
4.医学图像中的结构的手动轮廓化不仅是放射治疗计划过程中的一个耗时阶段，而且由于患者之间与观察者之间的差异，它还可能引入不一致。为了解决这个问题，已经提出了自动分割模型。现有的自动分割方法可以大致分为基于图谱(atlas)的分割方法、基于统计形状或外观的分割方法、机器学习分割方法、或基于深度学习的分割方法。尽管这些自动分割方法在医学图像分割中显示出巨大的前景，但它们各有优缺点，尤其是在多结构分割中，其中由于分辨率有限并且紧密附接的解剖结构之间缺乏对比度，因此很难描绘每个解剖结构的边界。
5.例如，基于图谱的分割方法从手动分割构建oar库，然后经由图像叠合将该库外推到新患者。一旦在先前描绘的患者上建立了图谱，图谱方法就可以对新患者执行无监督分割。然而，基于图谱的分割方法对图谱选择很敏感，并且强烈依赖于叠合精度，并且它们通常需要具有已知分区(即，已知图谱)的一个或多个“标准”患者。此外，如果使用很多图谱，则基于图谱的分割可能运行缓慢。
6.基于形状或外观统计模型的分割方法通过将最终分割结果限制为由统计模型描述的解剖学上合理的形状来描绘器官。因此，基于形状或外观统计模型的分割方法仅限于统计模型的形状表示能力。此外，如果器官之间的连接太大，则统计形状模型可能不足以估计形状。
7.机器学习分割方法通常涉及从图像中提取特征向量，例如针对每个体素等，这些特征向量可以用作对机器学习模型的输入，诸如随机森林、概率模型和用于分割的字典学习，例如，分类每个体素属于哪个类。机器学习分割方法通常需要仔细初始化，通常由人类
专家进行，并且通常不使用完整的图像数据并且需要附加约束。
8.另一方面，基于深度学习的分割方法利用非线性数据处理的多个层或阶段进行特征学习以及模式分析和/或分类。深度学习通常是指非线性数据处理层的层次结构，包括输入层、输出层以及输入层与输出层之间的多个“隐藏”层。这些层可以被训练以从输入中提取(多个)特征并且对(多个)特征进行分类以产生输出。然而，基于深度学习的分割方法虽然优于其他方法，但也有其自身的缺点。通常，深度学习分割方法涉及训练阶段和推理阶段，如图17所示。在训练阶段，深度神经网络(dnn)模型使用医学图像的训练数据集来生成特定输出。例如，训练数据集可以包括2-d或3-d图像，其中包含由不同像素或体素成像的解剖结构的真实轮廓。在推理阶段，已训练dnn模型对患者的(多个)医学图像进行操作，以自动处理(多个)医学图像的特征。由于基于深度学习的分割方法强烈依赖于它们的训练所基于的数据集，因此这些分割模型有自己的结构/器官列表，该结构/器官列表是模型在被应用时创建的。因此，单个深度学习(dnn)分割模型可能并非包含轮廓的所有期望结构，或者模型可能无法正确地轮廓化特定结构，即使它正确地轮廓化其他结构。
9.因此，不同分割方法中的每种方法都有自己的优点和缺点。此外，单个分割方法可能无法自动轮廓化多个解剖结构。
10.所公开的主题的实施例可以解决上述问题和缺点等中的一个或多个。


技术实现要素：

11.本发明提供了一种根据权利要求1中限定的用于自动图像分割的基于网络的系统。
12.可选特征在从属权利要求中限定。
13.所公开的主题的实施例提供了一种平台和支持的图形用户界面(gui)决策工具，其供用户(例如，医务人员)使用以通过允许用户进行以下操作来帮助进行自动多结构分割过程：访问包含不同分割协议(例如，dnn模型、机器学习、形状或外观和图谱的协议)的不同分割模型的数据库，选择适用于和/或更适合轮廓化特定解剖结构的分割模型的全部或子集，以及选择性地组合不同分割模型效果的结果。
14.所公开的主题的实施例向用户提供进行以下各项的能力：选择和应用不同分割模型以轮廓化每个期望的解剖结构(例如，即器官)、组合不同分割效果的结果，以及对不同解剖结构应用替代或附加成像模态。
15.所公开的主题的实施例提供了一种平台和支持的图形用户界面决策工具以允许用户使用多个分割模型来自动分割多个解剖结构。
16.所公开的主题的实施例还提供了一种基于网络的系统和方法，通过该系统和方法，可以访问和应用不同图像分割模型的库以自动轮廓化所选择的一个或多个解剖结构并且选择性地组合所生成的轮廓。
17.在一个或多个实施例中，该系统包括处理器，该处理器被配置为经由网络来访问不同图像分割模型的库，选择和应用图像分割模型的全部或子集以用于对由用户经由用户界面而选择的一个或多个解剖结构进行轮廓化，以及组合不同分割模型效果的结果以生成期望轮廓。
18.所公开的主题的实施例还提供了一种其上具有指令的存储器，其中该指令在被执
行时使处理器访问包括与患者相关联的一个或多个医学图像的数据库；访问包括不同图像分割模型的库的数据库；响应于由用户经由用户界面、用以在医学图像中的一个或多个医学图像上对一个或多个解剖结构进行轮廓化的请求。
19.在实施例中，处理器还被配置为确定数据库中的分割模型中的哪些分割模型支持对一个或多个解剖结构中期望被轮廓化的至少一个解剖结构的分割，在选择屏幕上向用户显示被确定为支持期望解剖的结构中的一个或多个解剖结构的分割的图像分割模型的列表、以及所确定的分割模型中的每个分割模型支持的解剖结构的列表，以及针对期望被轮廓化的每个解剖结构，允许用户从所显示的列表中选择要使用的一个或多个分割模型。
20.在一个或多个实施例中，处理器还被配置为提示所选择的分割模型的应用以生成针对期望的解剖结构的对应轮廓，以及允许在一个或多个图像上显示所生成的轮廓以供用户查看。
21.所公开的主题的实施例还提供了用于以下项的工具：允许用户接受或拒绝任何所生成的轮廓，允许用户组合使用不同分割模型、针对相同解剖结构而被获取的轮廓，允许用户组合使用不同分割模型、针对不同解剖结构而被获取的轮廓，以及允许用户从库中选择不同分割模型子集，以生成针对任何被拒绝的轮廓的不同轮廓。
22.所公开的主题的实施例还提供了一种自动分割方法，该方法包括：由用户经由用户界面输入期望被轮廓化的解剖结构的列表；自动生成并且在用户界面的选择屏幕上显示适用于对期望的解剖结构中的至少一个期望的解剖结构进行轮廓化的可用分割模型的列表、以及每个可用分割模型支持的解剖结构的列表；针对每个期望的解剖结构，允许用户选择所显示的分割模型中的一个或多个分割模型以用于轮廓化；应用所选择的分割模型；以及将分割结果显示给用户以供查看。
23.实施例还提供了当用户确定分割结果中的一个或多个分割结果不可接受时，允许用户返回到选择屏幕并且选择分割模型的不同集合以进行轮廓化。
24.实施例还提供了一种方法，其中合适的分割模型的列表的自动生成包括：经由网络来访问数据库，数据库包括多个自动分割模型和分割模型中的每个分割模型支持的对应解剖结构；确定数据库中的自动分割模型中的哪些自动分割模型支持期望的解剖结构中的至少一个期望的解剖结构的分割；以及从数据库中选择支持期望的解剖结构中的至少一个期望的解剖结构的分割的分割模型中的每个分割模型用于向用户显示。
25.在一个或多个实施例中，所选择的分割模型的应用可以包括：经由网络来访问所选择的分割模型；以及针对每个期望的解剖结构，应用所选择的一个或多个分割模型以生成一个或多个轮廓。
26.在一个或多个实施例中，分割模型可以以连续或同时方式应用。
27.实施例还提供了允许用户组合分割结果。
28.在一个或多个实施例中，组合可以在加权的基础上被完成和/或使用布尔运算和/或手动地被完成。
29.实施例还提供了在向用户显示之前对所生成的轮廓的进一步处理。
30.在一个或多个实施例中，进一步处理可以包括通过修改解剖结构的边缘来自动修改所生成的轮廓、和/或自动拒绝特定轮廓、和/或修改所生成的轮廓。
31.所公开的主题的实施例还提供了一种非暂态计算机可读存储介质和一种计算机
处理系统。非暂态计算机可读存储介质可以具有体现在其上的程序指令序列。计算机处理系统可以被配置为执行体现在计算机可读存储介质上的程序指令序列，以使计算机处理系统使用来自分割模型库的多个不同分割模型来处理患者的一个或多个医学图像，以在患者的一个或多个医学图像中生成解剖结构的一个或多个轮廓。
32.所公开的主题的实施例还提供了一种系统，该系统包括被配置为向患者递送放射治疗的放射治疗设备，其中处理器还被配置为控制放射治疗设备以根据治疗计划来照射患者，该治疗计划至少基于患者的一个或多个医学图像和根据本文中公开的任何系统和方法而生成的轮廓。
33.当结合附图考虑时，所公开的主题的实施例的目的和优点将从以下描述中变得很清楚。
附图说明
34.在下文中将参考附图描述实施例，这些附图不必然按比例绘制。这些附图仅用于说明目的并且不旨在以任何方式限制本公开的范围。在适用的情况下，某些特征可能未示出以帮助对基本特征进行说明和描述。在所有附图中，相同的附图标记表示相同的元素。如本文中使用的，各种实施例可以表示一个、一些或所有实施例。
35.图1是示出根据所公开的主题的各种实施例的、用于放射治疗的示例过程流程以及医学图像处理和放射治疗系统的方面的简化示意图。
36.图2是根据所公开的主题的各种实施例的、在放射治疗处理期间获取的结构和剂量数据的简化示意图。
37.图3是示出根据所公开的主题的各种实施例的医学图像处理的方面的简化示意图。
38.图4是示出根据所公开的主题的各种实施例的、示例性推理引擎组的简化示意图。
39.图5是示出根据所公开的主题的各种实施例的、示例性图像分割模型数据库的简化示意图。
40.图6是示出根据所公开的主题的各种实施例的、示例性的基于网络的多结构分割平台的简化示意图。
41.图7a是根据所公开的主题的各种实施例针对解剖结构而获取的已修改轮廓的图示。
42.图7b是根据所公开的主题的各种实施例的包含解剖结构的轮廓的图像堆叠的图示。
43.图8至图9是示出根据所公开的主题的各种实施例的、使用不同分割模型的多结构分割过程的不同方面的简化示意图。
44.图10至图13是根据所公开的主题的各种实施例的、使用不同分割模型的针对多结构分割的不同处理流程。
45.图14是根据所公开的主题的各种实施例的、用于生成不同自动分割模型的库的简化处理流程。
46.图15是根据所公开的主题的各种实施例的、用于生成不同自动dnn分割模型的库的简化处理流程。
47.图16是根据所公开的主题的各种实施例的、深度神经网络(dnn)的简化节点图。
48.图17是示出根据所公开的主题的各种实施例的、基于深度学习的分割模型的训练和推理阶段的简化示意图。
具体实施方式
49.图1是说明针对放射治疗的处理流程的示意图。例如，治疗计划系统300可以用于基于使用计算机断层扫描(ct)、锥形束计算机断层扫描(cbct)、正电子发射断层扫描(pet)、磁共振成像(mri)、单光子发射计算机断层扫描(spect)或任何其他成像方法中的一种或多种为患者110而获取的图像数据来生成针对放射治疗系统100的治疗计划340。例如，当使用ct或mri时，图像数据可以包括一系列二维(2d)图像或切片(即，计划图像)，每个图像或切片表示患者解剖结构的横截面视图，或者可以包括患者110的体积或三维(3d)图像，或者可以包括患者110的2d或3d图像的时间序列。例如，图像数据可以保存在图3所示的图像数据库/存储设备401和/或网络可访问图像数据库400中。
50.治疗计划系统300执行任何合适数目的治疗计划任务或步骤，诸如分割、剂量预测、投影数据预测、治疗计划生成等。治疗计划系统300可以包括图像处理模块310，图像处理模块310被配置为执行分割以生成结构数据330a，结构数据330a标识各种解剖结构，例如但不限于恶性肿瘤(即，目标)和任何有风险的器官(oar)，例如，如图2所示。结构数据330a还可以标识其他解剖结构，诸如其他器官、组织、骨骼、血管等。结构数据330a还可以包括与患者解剖结构、恶性肿瘤(即，目标)、任何有风险的器官(oar)和任何其他解剖结构的轮廓、形状、大小和位置有关的任何合适的数据。
51.对于多结构分割，可以手动、半自动或自动在初始计划图像中的一个或多个初始计划图像上生成不同解剖结构的轮廓。在自动分割过程中，计划图像被自动分割以描绘要作为放射目标的恶性肿瘤和任何其他期望的解剖结构，诸如不同的器官、oar、骨骼、血管、组织等。
52.一旦期望的解剖结构被分割，使用治疗计划模块320来生成治疗计划，通过该治疗计划，确定如图2所示的剂量数据330b，剂量数据330b指定要递送到目标和期望被辐射的任何其他解剖结构的辐射剂量，并且指定允许被递送到其他解剖结构(诸如，oar)的最大允许辐射剂量。因此治疗计划340包含与结构数据330a和剂量数据330b有关的信息330。治疗计划340还可以包含任何其他附加数据，例如处方、疾病分期、生物学或放射学数据、遗传数据、化验数据、过去的治疗或病史、或其任何组合。治疗计划340还可以考虑由用于向患者110递送辐射的放射治疗系统100对治疗过程施加的约束。
53.图1中还示出了可以用于根据由放射治疗计划系统300生成的治疗计划340来递送辐射的示例性放射治疗系统100。放射治疗系统100可以向定位在治疗床112上的患者110提供辐射，并且可以允许实现各种辐射剂量验证协议。放射治疗可以包括基于光子的放射治疗、粒子疗法、电子束疗法或任何其他类型的治疗疗法。
54.备选地，治疗计划系统300可以用于生成用于治疗计划340的数据330，该治疗计划340用于除外部放射治疗以外的其他系统，例如但不限于近距离放射治疗、冷冻治疗、微波消融、射频消融、介入医学、栓塞术等。
55.在实施例中，放射治疗系统100可以包括放射治疗设备101，诸如但不限于linac，
linac可操作以生成用于治疗的一束或多束兆伏(mv)x射线辐射。linac还可操作以生成一束或多束千伏(kv)x射线辐射，例如用于患者成像。系统100具有台架(gantry)102，台架102支撑具有一个或多个辐射源106和各种光束调制元件的辐射治疗头114，诸如但不限于平坦滤光器104和准直组件108。准直组件108可以包括例如多叶准直器(mlc)、上下钳口和/或其他准直元件。准直组件108和/或平坦滤光器104可以相应致动器(未示出)定位在辐射束路径内，该相应致动器可以由控制器200控制。
56.台架102可以是环形台架(即，它延伸通过完整的360
°
弧以形成完整的环或圆)，但也可以采用其他类型的安装布置。例如，可以使用静态梁或c型、部分环形台架或机械臂。也可以使用能够将治疗头114相对于患者110定位在各种旋转和/或轴向位置的任何其他框架。
57.在实施例中，放射治疗设备是mv能量强度调制放射治疗(imrt)设备。这种系统中的强度分布是根据个体患者的治疗要求而被定制的。imrt场与mlc 108一起递送，mlc 108可以是附接到头部114的计算机控制的机械光束整形设备，并且包括金属指或金属叶的组件。针对每个光束方向，按顺序递送具有优化形状和权重的各种子场来实现优化的强度分布。从一个子场到下一子场，叶片可以在辐射束打开(即，动态多叶准直(dmlc))或辐射束关闭(即，分段多叶准直(smlc))的情况下移动。
58.备选地或附加地，放射治疗设备101可以是断层治疗设备、螺旋断层治疗设备或简化的强度调制弧治疗(simat)设备、体积调制弧治疗(vmat)设备或体积高清(或超弧)疗法(hdrt)。实际上，任何类型的imrt设备都可以用作系统100的放射治疗设备101，并且还可以包括机载体积成像，机载体积成像可以用于生成在治疗期间生成的治疗中图像数据。
59.每种类型的放射治疗设备都可以附有对应放射计划和放射递送过程。
60.控制器200(其可以是但不限于图形处理单元(gpu))可以包括计算机，该计算机具有诸如处理器等适当硬件以及用于运行各种软件程序和/或通信应用的操作系统。控制器200可以包括用于与放射治疗设备101通信的软件程序，该软件程序可操作以从外部软件程序和硬件接收数据。计算机还可以包括任何合适的输入/输出(i/o)设备210，i/o设备210可以适于允许控制器200与放射治疗系统100的用户(例如，医务人员)之间的通信。例如，控制器200可以设置有i/o接口、控制台、存储设备、存储器、键盘、鼠标、显示器、打印机、扫描仪、以及部门信息系统(dis)，诸如通信和管理接口(dicom)，以用于存储和传输医学成像信息和相关数据，并且实现诸如扫描仪、服务器、工作站、打印机、网络硬件等医学成像设备的集成。
61.备选地或附加地，i/o设备210可以提供对一个或多个网络的访问，例如图3所示的网络600和601，以在控制器200与远程系统之间传输数据。例如，控制器200可以经由i/o 210与其他计算机和放射治疗系统联网。放射治疗系统100、放射治疗设备101和控制器200可以与网络600、601以及数据库和服务器通信，例如，剂量计算服务器(例如，分布式剂量计算框架)和治疗计划系统300。控制器200还可以被配置为在不同医疗设备之间传输医学图像相关数据。
62.系统100还可以包括包含编程指令的多个模块(例如，作为控制器200的部分、或作为系统100内的单独模块、或集成到系统100的其他组件中)，这些指令使系统100执行与自适应放射治疗或其他放射治疗相关的不同功能。例如，系统100可以包括治疗计划模块、患
者定位模块、图像获取模块，治疗计划模块可操作以基于由医务人员输入到系统的多个数据生成针对患者110的治疗计划，患者定位模块可操作以将患者110关于期望位置(诸如，台架的中心)定位和对准以用于特定放射治疗治疗，图像获取模块可操作以指示放射治疗系统和/或成像设备在放射治疗之前(即，用于治疗计划和患者定位的治疗前/参考图像)和/或在放射治疗期间(即，治疗期间图像)获取患者110的图像并且指示放射治疗系统100和/或成像设备101或其他成像设备或系统获取患者110的图像。
63.系统100还可以包括辐射剂量预测模块、实际剂量的剂量计算模块、治疗递送模块、相关模块、计算模块、分析模块、反馈模块，辐射剂量预测模块可操作以在放射治疗治疗开始之前预测要递送给患者110的剂量，剂量计算模块可操作以计算在放射治疗治疗期间递送给患者110的实际剂量，治疗递送模块可操作以指示放射治疗设备100将治疗计划递送到患者110，相关模块可操作以将计划图像与放射治疗期间获取的治疗中图像相关联，计算模块可操作以从治疗中图像重构三维目标体积，分析模块可操作以计算位移测量值，以及反馈模块可操作以基于计算的位移与预定阈值(范围)的比较来实时指示控制器停止辐射治疗。
64.系统100还可以包括一个或多个轮廓生成模块、图像叠合(register)模块、剂量计算模块、轮廓传播模块、轮廓验证模块、叠合变形向量场生成模块，一个或多个轮廓生成模块可操作以生成在治疗前(计划、参考)和治疗中(治疗期)图像中的目标体积和其他结构的轮廓，图像叠合模块可操作以将治疗前图像与后续治疗中图像叠合，剂量计算模块可操作以计算累积剂量，轮廓传播模块可操作以将轮廓从一个图像传播到另一图像，轮廓验证模块可操作以验证所生成的轮廓，叠合变形向量场生成模块可操作以确定作为图像变形过程的结果的变形向量场(dvf)。系统100还可以包括用于电子密度图生成、等剂量分布生成、体积直方图(dvh)生成、图像同步、图像显示、治疗计划生成、治疗计划优化、自动优化参数生成、更新和选择、以及自适应指令和治疗信息传输的模块。例如，这些模块可以用c或c++编程语言编写。用于执行如本文中描述的操作的计算机程序代码可以用任何编程语言编写，例如c或c++编程语言。
65.图3中示出了治疗计划系统300的示例性图像处理模块310。图像处理模块310可以包括例如计算机系统312，计算机系统312可以实现图6至图16的过程的一个或多个方面。尽管示出为单个模块310，但模块310的功能可以实现为分布式系统等。此外，虽然分开示出，但是图像处理模块310和治疗计划模块320(图1)可以集成在一起，例如，作为具有由存储器314提供的图像处理和治疗计划功能两者的单个模块、作为公共计算机系统312的单独部分、或作为公共系统(例如，在远程服务器上运行的中央或分布式处理系统)的单独部分。
66.计算机系统312可以包括总线318或用于在组件之间传送信息的其他机制。计算机系统312还可以包括耦合到总线318的处理器313，例如，通用或专用处理器(例如，图形处理单元(gpu))。处理器313可以是基于云的系统的处理器、和/或一个或多个网络或互联网主机服务器的处理器。计算机系统312可以包括输入/输出模块319，例如提供对网络600的访问以与图像数据库400和图像分割模型数据库500通信以及与网络601通信以与放射治疗系统100通信的通信设备，诸如网络接口卡，和/或允许用户350与计算机系统312交互的输入/输出端口，例如经由用户输入设备，包括鼠标、键盘、显示器等，诸如交互式图形用户界面(gui)311。
67.gui 311可以包括但不限于用户可选择和/或用户可调节的图形控件，例如但不限于滑动条、选项按钮、文本条、下拉框、窗口、动画、和/或任何其他gui组件，该gui组件用于选择和/或调节3d和/或2d图像和/或图像切片的数字表示，和/或被引起由处理器313显示的解剖结构的轮廓，和/或被引起由处理器313或计算机系统312显示等的可用分割模型和支持的解剖结构的列表。gui 311被配置为允许用户350输入数据，操纵输入和输出数据，并且对数据、所生成的轮廓和显示的输出进行任何编辑。用户350可以经由网络600、601或经由任何其他方法来直接或远程与计算机系统312交互。
68.计算机系统312还可以包括存储器314，存储器314存储要由处理器313执行的信息和指令。存储器314可以包括随机存取存储器(ram)、只读存储器(rom)、静态存储器(诸如，磁盘或光盘)、或任何其他类型的计算机可读介质的任何组合。例如，计算机可读介质可以是处理器313可以访问的任何可用介质，并且可以包括易失性和非易失性介质、可移动和不可移动介质、以及通信介质。通信介质可以包括计算机可读指令、数据结构、程序模块、或者诸如载波或其他传输机制等调制数据信号中的其他数据，并且包括任何信息传递介质。
69.存储器314可以存储软件模块，该软件模块在由处理器313执行时提供功能。这些模块可以包括例如可以提供针对计算机系统312的操作系统功能的操作系统316、被配置为访问和/或链接到多个分割模型(诸如，保存在图像分割模型数据库500中的那些模型)的一个或多个推理引擎315a至315n、以及附加功能模块317。
70.推理引擎315a至315n是包括硬件和/或软件组件的模块，这些组件能够根据存储在图像分割模型数据库500中的分割模型执行算法，例如但不限于深度学习分割模型、机器学习分割模型、基于图谱的分割模型以及基于形状或外观的分割模型。
71.一个或多个推理引擎315a至315n可以经由网络600从图像数据库401或图像数据库400接收医学图像数据(无论是训练数据还是(多个)医学图像用于推理)，或经由i/o 319和网络601从医学成像设备700接收医学图像数据(即，例如，计划医学图像)，和/或从放射治疗系统100接收图像，并且基于存储在图像分割模型数据库500中的图像分割模型中的一个或多个图像分割模型生成针对所接收的医学图像中的一个或多个解剖结构的轮廓。
72.图4示出了可以用于生成一个或多个解剖结构的轮廓的示例性推理引擎集315a至315c。例如，推理引擎315a至315c中的每个推理引擎可以包括多个推理模块315'，每个推理模块包括能够根据任何合适的深度学习分割模型执行算法的硬件/软件组件(dnn1至dnnn)、能够根据任何合适的机器学习分割模型来执行算法的硬件/软件组件(ml1至mln)、能够根据任何合适的基于图谱的分割模型来执行算法的硬件/软件组件(a1至an)、以及能够根据任何合适的基于形状或外观的分割模型执行算法的硬件/软件组件(sa1至san)。
73.备选地，实施例可以包括单个推理引擎315，单个推理引擎315包括多个推理模块315'，包括能够根据任何合适的深度学习分割模型、机器学习分割模型、基于图谱的分割模型以及基于形状或外观的分割模型执行算法的硬件/软件组件。
74.备选地，实施例可以包括多个推理引擎315a至315n，每个推理引擎包括能够根据单一类型的分割模型来执行算法的推理模块315'。例如，示例性实施例可以包括推理引擎315a至315d，其中推理引擎315a包括能够根据深度学习分割模型执行算法的硬件/软件组件，推理引擎315b包括能够根据机器学习分割模型来执行算法的硬件/软件组件，推理引擎315c包括能够根据基于图谱的分割模型来执行算法的硬件/软件组件，并且推理引擎315d
包括能够根据基于形状或外观的分割模型来执行算法的硬件/软件组件。
75.备选地或附加地，实施例可以包括多个推理引擎315a至315n，每个推理引擎包括能够执行单个深度学习分割模型的算法的硬件/软件组件。例如，第一推理引擎315a可以包括可以执行第一基于深度学习的分割模型的硬件/软件组件，第二推理引擎315b可以包括可以执行第二基于深度学习的分割模型的硬件/软件组件等等。
76.备选地或附加地，实施例可以包括单个推理引擎，该单个推理引擎包括能够执行单一类型的分割模型的算法的硬件/软件组件。
77.在实施例中，存储在图像分割模型数据库500中的深度学习分割模型可以基于任何现有的或以后开发的神经网络、或其组合。示例性神经网络包括但不限于卷积神经网络(convnet或cnn)(例如，u-net、深度cnn、lenet、v-net、alexnet、vggnet、xception、densenet、googlenet/inception等)、残差神经网络(resnet)、递归神经网络(rnn)(例如，hopfield、echo state、独立rnn等)、长短期记忆(lstm)神经网络、递归神经网络、生成对抗神经网络(gan)和深度信念网络(dbn)。
78.在实施例中，存储在图像分割模型数据库500中的机器学习分割模型可以基于任何现有的或以后开发的有监督、无监督和强化机器学习算法或其任何组合。
79.在实施例中，存储在图像分割模型数据库500中的基于图谱的分割模型可以基于任何现有的或以后开发的基于图谱的自动分割软件，例如但不限于workflow box(米兰达医疗)、rtx(米兰达医疗)、multiplan autosegmentation(accuray)、iplan(博医来)、imago(dosisoft)、mim maestro(mim软件)、spice(飞利浦)、abas(医科达)、raystation、anaconda(瑞速实验室)、smart segmentation(瓦里安)、velocity ai(速率)、staple、plastimatch和/或任何其他基于图谱的自动分割软件。
80.在实施例中，存储在图像分割模型数据库500中的基于形状或外观的模型分割模型可以基于任何现有的或以后开发的基于形状或外观的分割模型，例如但不限于基于主成分分析(pca)和内核pca的模型。
81.推理引擎315a至315n可以经由网络600访问图像分割数据库500，或者可以经由处理器313来访问到图像分割模型数据库500的链接。
82.示例性图像分割模型数据库500在图5中示出。如图5所示，图像分割模型数据库500可以包括分割模型库，包括但不限于多个基于深度学习的分割模型(dnnm1至dnnnn)、多个基于图谱的分割模型(am1至amn)、多个基于机器学习的分割模型(mlm1至mlmn)、以及多个基于形状或外观的分割模型(sam1至samn)。因此，每个相应的dnn模型可以在推理引擎315a至315n中所包含的对应dnn引擎上运行，每个相应的基于图谱的模型可以在推理引擎315a至315n中所包含的对应的基于图谱的引擎上运行，每个相应的基于机器学习的模型可以在推理引擎315a至315n中所包含的对应机器学习引擎上运行，并且每个基于形状或外观的模型可以在推理引擎315a至315n中包所含的对应基于形状或模型的引擎上运行。
83.图像分割模型数据库500还可以包括数据库中的分割模型中的每个分割模型支持的解剖结构(as1至asn)的列表、对应的模型参数、以及附加信息，包括但不限于：解剖结构中的每个解剖结构(as1至asn)用于轮廓化的协议类型、和/或库中分割模型中的每个分割模型执行自动分割任务所需要的任何相关输入数据，诸如但不限于所需要的图像类型(即，ct、mri等)和/或所使用或需要的可能的引导标记。
84.尽管被示出为包含多个分割模型类型，但备选地或附加地，图像分割模型数据库500可以仅包括基于深度学习的分割模型、对应的支持的解剖结构和对应的相关附加信息。
85.在示例性实施例中，分割模型数据库500可以包括：(1)基于卷积神经网络(cnn)的分割模型，其支持在超声图像(即，所需要的成像模态)中分割前列腺(即，解剖结构)；(2)基于深度信念网络(dbn)的分割模型，其支持在ct图像(即，所需要的成像模态)中分割肝脏(即，解剖结构)；(3)基于卷积神经网络(cnn)的分割模型，其支持在mri图像(即，所需要的成像模态)中使用生物标记(即，引导标记)分割脊髓(即，解剖结构)；(4)基于深度神经网络(dnn)的分割模型，其支持在ct图像(即，所需要的成像模态)中分割前列腺(即，解剖结构)；(5)基于深度神经网络(dnn)的分割模型，其支持在mri图像(即，所需要的成像模态)中分割大脑(即，解剖结构)；(6)基于全卷积神经网络(fcnn)的分割模型，其支持在ct图像(即，所需要的成像模态)中分割头部和颈部(即，解剖结构)。
86.图像分割模型数据库500还可以包括附加的基于深度学习的分割模型、以及以下一项或多项：基于图谱、基于机器学习和基于形状或外观的自动分割模型，例如，包括但不限于：(7)针对ct图像中的头部和颈部的形状表示模型(srm)；(8)针对超声图像中的前列腺的可变形形状模型；(9)针对ct图像中的肺、心、腹腔的分层形状先验模型；(10)使用ct图像的针对前列腺的基于图谱的分割模型；(11)用于在ct图像中分割膀胱、直肠和股骨头的基于图谱的分割模型。
87.备选地或附加地，图像分割模型数据库500可以包括基于深度学习的分割模型和任何其他当前或未来开发的自动分割模型的任何组合。
88.在实施例中，图像分割模型数据库500是在分割协议部署期间推理引擎315a至315n中的一个或多个推理引擎可以访问或可以链接到的先前生成的数据库。
89.在实施例中，图像分割模型数据库500中的图像分割模型可以在推理引擎315a至315n部署分割协议之前生成和/或训练。
90.在实施例中，图像分割模型数据库500可以包括先前编译的已训练自动分割模型的库，这些模型对诸如本文中描述的那些不同的用户/系统/框架/平台可访问。
91.图像分割模型数据库500还可以包括与先前编译的已训练自动分割模型中的每个模型相对应的参数库。
92.在实施例中，图像分割模型数据库500包括先前编译的自动分割模型的库，这些模型由不同的用户/系统/框架/平台可访问，例如本文中描述的那些模型，并且可以在由推理引擎315a至315n部署之前被训练。图像分割模型数据库500还可以包括与先前编译的自动分割模型中的每个模型相对应的参数库。
93.推理引擎315a至315n可以经由网络600来访问图像分割模型数据库500中包含的分割模型，或者可以经由处理器313来访问到图像分割模型数据库500的链接。处理器313可以取回存储在图像分割模型数据库500中的任何分割模型、以及存储的分割模型中的每个分割模型支持的解剖结构列表(as1至asn)、和与分割模型中的每个分割模型相对应的参数、以及存储在图像分割模型数据库500中的任何对应附加信息。此外，处理器313和推理引擎315a至315n可以操作以执行下文关于图6至图11描述的功能。
94.根据一个或多个设想的实施例，除了图3中具体说明的那些之外，用于图像处理模块、网络、医学成像设备和放射治疗系统的其他配置和组件也是可能的。
95.此外，虽然上面的图1至图5的讨论已经集中于图像处理模块310与放射治疗系统100的使用，所公开的主题的实施例不限于此。实际上，图像处理模块310可以被提供作为用于图像分析的单独的独立系统、可以与成像模态700集成、可以与其他医学治疗系统通信、或者可以与其他医学治疗系统集成。因此，所公开的图像处理模块310的实施例不限于图1所示的特定配置或不限于与诸如系统100等放射治疗系统一起使用。
96.其他变型和组合对于本领域普通技术人员来说将是很清楚的。
97.参考图6，示例性平台/框架和支持的图形用户界面(gui)工具被图示为使用图像处理模块310自动生成结构数据330a，该结构数据330a包括一个或多个医学图像上的一个或多个解剖结构的轮廓。用户350可以经由(gui)311来输入用户期望生成针对其的轮廓的解剖结构的列表、以及针对期望的解剖结构中的每个期望的解剖结构的对应输入指令。例如，用户350可能期望轮廓化解剖结构a(即，目标)、解剖结构b(即，oar)和解剖结构c(即，目标和oar两者都位于其中的解剖结构)。用户350可以经由(gui)311来手动输入解剖结构a、b、c作为要被轮廓化的期望的解剖结构。备选地，用户350也可以经由在用户界面311上显示给用户350的下拉菜单来选择结构a、b和c作为期望被轮廓化的解剖结构。用户350还可以输入与患者的解剖结构、患者的解剖结构、目标和oar的形状、大小和位置、以及要在其中生成轮廓的(多个)医学图像的类型有关的附加信息和/或指令。
98.一旦用户350输入了解剖结构和相关指令，分割请求就可以经由i/o 319发送给处理器313以生成可用分割模型的列表，该期望的解剖结构支持期望的解剖结构中的至少一个期望的解剖结构的分割。在接收到请求时，处理器313可以经由网络600来访问图像分割模型数据库500，确定图像分割模型数据库500中的哪些分割模型支持期望的解剖结构中的至少一个期望的解剖结构的分割，以及生成数据库500中支持期望的解剖结构a、b和c中的至少一个期望的解剖结构的所有可用分割模型的列表。处理器313还可以生成可用分割模型中的每个可用分割模型支持的解剖结构(as1至asn)的列表。
99.所生成的模型列表和支持的解剖结构列表可以显示给用户350以供进一步选择。用户350可以从可用分割模型的显示列表中选择分割模型的全部或子集，以用于对期望的解剖结构a、b和c中的每个期望的解剖结构进行轮廓化。例如，如果该列表包括支持解剖结构a、b、c和d的分割的第一分割模型、以及支持解剖结构a和c的分割的第二分割模型，则用户350可以选择要应用于轮廓化的第一分割模型：(1)a、b和c；或(2)只有a；或(3)只有b；或(4)只有c；或(5)a和b；或(6)a和c；或(7)b和c。用户350还可以选择要应用于轮廓化的第二分割模型：(1)a和c；或(2)只有a；或(3)只有c。用户350也可以仅选择第一分割模型来轮廓化所有期望的解剖结构a、b和c，而根本不选择第二分割模型。
100.在从用户350接收到期望的解剖结构a、b和c中的每个期望的解剖结构的分割模型选择之后，处理器313可以经由网络600来访问图像分割模型数据库500以取回所选择的分割模型，并且可以将所取回的分段模型提供给一个或多个推理引擎315a至315n以供执行。
101.处理器313可以以连续方式将所选择的分割模型提供给推理引擎315a至315n，即，处理器313可以从分割模型数据库500中取回所选择的分割模型并且将所选择的模型一个接一个地发送给推理引擎315a至315n以供执行。
102.备选地，处理器313可以同时将所选择的分割模型提供给推理引擎315a至315n，即，在从图像分割模型数据库500取回所选择的分割模型之后，处理器313可以同时将所有
选择的模型发送给推理引擎315a至315n中的一个或多个推理引擎以供执行。
103.处理器313可以进一步向一个或多个推理引擎315a至315n发送由所选择的分割模型中的每个分割模型选择用于轮廓化的解剖结构的列表。例如，如果用户350选择第一分割模型来轮廓化a和b，并且选择第二分割模型来轮廓化a和c，则处理器313将把这个信息发送给推理引擎315a至315n。
104.备选地或附加地，处理器313可以向一个或多个推理引擎315a至315n提供对到图像分割模型数据库500的链接的访问，使得推理引擎可以自动部署所选择的分割模型。
105.在接收到分割模型和对应的要轮廓化的解剖结构时，推理引擎315a至315n可以检查接收的/取回的分割模型是否确实支持列表中的解剖结构。例如，如果用户350错误地选择了第二分割模型来轮廓化解剖结构b和c，则一个或多个推理引擎315a至315n将生成错误信号以指示第二分割模型不能支持解剖结构b的分割。如果错误信号被生成，则用户350可以被提示查看其对分割模型和对应的要轮廓化的解剖结构的选择，并且允许用户350选择分割模型和解剖结构的适当组合。
106.如果接收的/取回的分割模型确实支持所选择的解剖结构，则一个或多个推理引擎315a至315n可以根据接收的/取回的分割模型执行算法以生成对应轮廓数据。轮廓数据包括所选择的分割模型中的每个分割模型支持的所有解剖结构的轮廓数据。例如，如果用户350选择了针对期望的解剖结构a、b和c中的一个或多个期望的解剖结构的第一分割模型，则推理引擎315a至315n还生成针对解剖结构d的轮廓数据，因为第一分割模型还支持解剖结构d的分割。
107.处理器313将从推理引擎315a至315n生成的轮廓数据与经由网络600从数据库401和/或数据库400取回的对应图像数据420进行组合，以获取由所选择的分割模型中的每个分割模型支持的解剖结构中的每个解剖结构的轮廓。
108.由于推理引擎315a至315n可以生成针对用户350未选择的解剖结构(即，例如，解剖结构d)的轮廓，处理器313还被配置为，在向用户350显示所生成的轮廓以供进一步查看和/或处理之前或之后，自动删除针对用户350未选择进行轮廓化的解剖结构的轮廓(即，例如，针对解剖结构d的轮廓)。
109.处理器313还可以在向用户350显示所生成的轮廓以供进一步查看和/或处理之前或之后自动修改所生成的轮廓。例如，处理器313可以自动修改解剖结构的边缘，并且从而相应地修改针对修改后的解剖结构而生成的轮廓。
110.图7a示出了由处理器313对针对乳房801而生成的轮廓802而执行的示例性自动修改。图7a示出了具有轮廓802的乳房801的二维图像800，该轮廓802是由推理引擎315a至315n中的一个推理引擎执行所选择的分割模型而生成的。尽管所生成的轮廓802包括在乳房801的上端803处的圆形轮廓802s，但处理器313可以使用在乳房801的上端处的轴向切口804来自动修改乳房801的边缘。轮廓802因此从802s处的圆形轮廓自动修改为804处的切割轮廓。
111.处理器313还可以通过自动拒绝特定轮廓来自动修改所生成的轮廓。例如，图7b示出了包含解剖结构的轮廓的计算机断层扫描(ct)图像切片的堆叠900，例如脊柱901，其中903表示被组装以形成三维(3d)图像的示例性轴向切片。每个图像切片902包含针对解剖结构901而被生成的轮廓的部分。矢状(sagittal)方向903或冠状方向904上的对应2d图像切
片也可以由3d图像形成。为了节省时间和处理资源，例如，处理器313可以自动拒绝一个或多个图像切片902，并且从而拒绝包含在拒绝的图像切片902中的一个或多个轮廓。例如，特定的拒绝的图像切片可以包括图像切片905和906，它们限定了顶部和底部平面，并且可以包含脊椎的圆形轮廓。
112.处理器313还被配置为发送由推理引擎315a至315n针对期望的解剖结构a、b和c中的期望的解剖结构而生成的轮廓以向用户350显示。例如，如果第一分割模型被选择以生成针对解剖结构a和b的轮廓，并且第二分割模型被选择以生成针对解剖结构b和c的轮廓，则显示给用户350的轮廓是使用第一分割模型针对解剖结构a而生成的轮廓a、使用第一分割模型针对解剖结构b而生成的轮廓b1、使用第二分割模型针对解剖结构b而生成的轮廓b2、以及使用第二分割模型针对解剖结构c而生成的轮廓c。
113.用户350可以接受任何生成的轮廓或拒绝任何生成的轮廓。用户350也可以组合所接受的轮廓。例如，对于针对相同解剖结构b而生成的两个轮廓，用户350可以拒绝轮廓b1并且接受轮廓b2，或者拒绝轮廓b2并且拒绝轮廓b1，或者组合轮廓b1和轮廓b2。
114.可选地，轮廓的组合可以使用针对组合轮廓中的每个组合轮廓的加权值来进行。例如，轮廓b1和b2可以使用针对每个轮廓的加权值被组合，以获取作为轮廓b1和轮廓b2的加权组合的轮廓b(即，轮廓b＝w1轮廓b1+w2轮廓b2)。
115.例如，轮廓也可以使用布尔运算来组合。布尔运算包括可以用于组合轮廓的逻辑规则集。四种基本的布尔运算是and、or、ex-or(异或)和not。布尔运算也可以组合成更多的轮廓组合。例如，给定b的两个轮廓，即，轮廓b1和轮廓b2，布尔组合(b1 and b2)生成作为结果的单个轮廓b。轮廓b将仅包含轮廓b1和b2两者中所包含的数字/二进制图像的像素。布尔组合(b1 or b2)生成作为结果的单个轮廓b，其中轮廓b将包含轮廓b1轮廓b2中的像素。布尔组合(b1 ex-or b2)也会生成作为结果的单个轮廓b，其中包含图像b1或b2中具有特定二进制值(例如，值“1”)的像素，但如果像素在轮廓b1和b2中都具有该值，则不是这种情况。布尔组合(b1 not b2)只需要单个轮廓b1或b2，并且结果是轮廓b，其中像素被反转，即，在原始轮廓中具有特定值(即，值“1”)的所有像素将在所生成的轮廓b中具有值“0”，并且在原始轮廓中具有值“0”的像素将在所生成的轮廓中具有值“1”。布尔组合((not b1)and b2)将产生轮廓b，该轮廓b包含在轮廓b2内但在轮廓b1外的像素。布尔组合(not(b1 and b2))生成包含在b1和b2中都不具有值“1”的像素的轮廓b。在布尔运算(b1-b2)中，结果轮廓b是包含轮廓b1的轮廓，其中b2的相交轮廓被移除。
116.例如，轮廓也可以使用(gui)311的滑动条手动组合。
117.用户350还可以拒绝针对任何解剖结构的任何生成的轮廓。
118.用户350还可以被呈现返回到由处理器313生成的可用分割模型的原始列表的选项，并且选择要由推理引擎315a至315n执行以生成针对解剖结构a、b和c的轮廓的分割模型的不同集合。
119.用户350还可以进一步处理针对期望的解剖结构a、b和c的每个期望的解剖结构的所生成的轮廓。例如，用户350可以通过在预定义位置处手动或自动切割生成的轮廓中的一个或多个轮廓来进一步修改生成的轮廓。
120.在示例性实施例中，处理器313可以根据用户请求来自动定位预定义位置。
121.在示例性实施例中，预定义位置包括包含圆形轮廓的位置。
122.在示例性实施例中，预定义位置包括不期望辐射的位置。
123.在示例性实施例中，预定义位置基于辐射场信息而被确定。
124.一旦用户350完成了所生成的轮廓的后处理，就生成了结构数据330a。结构数据330a包括一个或多个最初指定的医学图像中的期望的解剖结构的最终轮廓。
125.图8示出了用于在一个或多个图像上自动生成包括一个或多个解剖结构的轮廓的结构数据的另一示例性平台/框架和支持的图形用户界面(gui)工具。
126.用户350可以经由(gui)311来输入用户期望生成针对其的轮廓的解剖结构的列表、以及针对期望的解剖结构中的每个期望的解剖结构的对应输入指令。例如，用户350可能期望轮廓化器官a、器官b和器官c。用户350可以手动输入器官a、b、c的名称作为要在(gui)311的输入显示器311a处被轮廓化的期望的解剖结构。用户350还可以经由在用户界面311处向用户350显示的下拉菜单来选择器官a、b和c作为期望被轮廓化的解剖结构。用户350还可以在输入显示器311a处输入与患者解剖结构、患者解剖结构、目标和oar的形状、大小和位置、图像类型等有关的附加信息和/或指令。
127.一旦用户350输入器官名称和相关指令，分割请求可以经由i/o319被发送给处理器313以生成支持器官a、b中的至少一个器官的分割的可用分割模型的列表。在接收到请求之后，处理器313经由网络600访问图像分割模型数据库500，并且确定数据库500中的哪些分割模型支持器官a、b和c中的至少一个器官的分割。处理器313然后生成支持器官a、b和c中的至少一个器官的所有可用分割模型的列表。处理器313还生成可用分割模型中的每个可用分割模型支持的解剖结构的列表。在示例性实施例中，分割模型和支持的解剖结构的列表包括模型v：器官a至d；x型：器官a至c；y型：器官b至c。
128.所生成的列表可以显示给用户350以供进一步选择。用户350可以在gui 311的选择显示器311b处从可用分割模型的显示列表中选择分割模型的全部或子集以用于对期望的解剖结构a、b和c每个期望的解剖结构进行轮廓化。在示例性实施例中，用户350选择针对器官a的模型x；选择针对器官a的模型v，并且选择器官b和c的模型y。
129.处理器313从用户350接收模型选择，经由网络600来访问图像分割模型数据库500以取回所选择的分割模型(即，模型v、模型x、模型y)，并且一个接一个地将所取回的分割模型提供给推理引擎315以供执行。
130.处理器313还发送由所选择的分割模型中的每个分割模型选择用于轮廓化的解剖结构的列表，即，用于a的模型x、用于a的模型v、以及用于b和c的模型y。
131.备选地，处理器313可以向推理引擎315提供对到分割模型数据库500的链接的访问，使得推理引擎可以自动部署所选择的分割模型。
132.推理引擎根据所接收的分割模型来执行算法以生成对应轮廓数据。由于它首先接收到分割模型x，推理引擎315首先执行分割模型x并且生成针对器官a、b和c的轮廓数据，然后执行分割模型v以生成针对器官a、b、c和d的轮廓数据，然后执行分割模型y以生成针对器官b和c的轮廓数据。
133.处理器313可以将从推理引擎315生成的轮廓数据与经由网络600从图像数据库401和/或图像数据库400取回的对应图像数据进行组合，以获取器官a、b、c和d的轮廓。
134.由于用户350没有选择器官d作为期望的解剖结构中的一个期望的解剖结构，处理器313可以自动删除针对器官d而生成的轮廓。
135.处理器313还可以在向用户350显示之前自动修改针对器官a、b和c而生成的轮廓。例如，处理器313可以自动修改图像上器官a、b和c中的任何器官的边缘，并且相应地修改针对已修改器官的生成的轮廓。
136.处理器313还可以通过自动拒绝特定轮廓来自动修改所生成的轮廓。例如，如果处理器313确定器官c不是可能被辐射照射的器官，则处理器313可以自动拒绝轮廓c。
137.处理器313然后向用户350发送由所选择的分割模型针对所选择的器官a、b和c中的每个器官而生成的轮廓，即，由分割模型x生成的针对器官a的第一轮廓，由分割模型v生成的针对器官a的第二轮廓、由分割模型y生成的针对器官b的轮廓、和由分割模型y生成的针对c的轮廓，以在gui 311的处理显示器311c处显示。
138.用户350可以接受任何生成的轮廓或拒绝任何生成的轮廓。用户350也可以组合接受的轮廓。例如，对于为同一器官a生成的两个轮廓，用户350可以拒绝或接受所生成的轮廓中的一者或两者。如果器官a的两个轮廓都被接受，则用户350可以使用不同组合方法来组合这两个轮廓。例如，针对器官a生成的两个轮廓可以使用布尔运算符进行组合。针对器官a的两个轮廓也可以基于加权值进行组合(轮廓a＝w1轮廓a1+w2轮廓a2)。器官a的两个轮廓也可以由用户350使用gui 311的滑块手动组合。
139.尽管已经描述了具体的组合方法，但是应当理解，可以使用任何其他适用的组合方法来组合轮廓。
140.用户350也可以拒绝任何生成的轮廓，并且选择返回到gui 311的选择显示器311b并且从所显示的列表中选择不同分割模型以生成器官a、b和c的轮廓。一旦用户350从列表中选择一个或多个不同分割模型，轮廓的生成遵循与原始模型选择相同的步骤。
141.针对器官a、b和c的接受的最终轮廓将被包含在结构数据330a中，以可选地针对剂量数据330b进一步处理。
142.图9示出了用于在一个或多个图像上自动生成包括一个或多个解剖结构的轮廓的结构数据的另一示例性平台/框架和支持的图形用户界面(gui)工具。该平台/框架类似于图8中呈现的平台/框架，不同之处在于，不是使用单个推理引擎315连续接收被选择用于分割期望器官a、b、c中的每个期望器官的分割模型，而是使用多个推理引擎315a至315c，以便能够同时接收和应用不同分割模型。
143.如在先前的平台/框架中，用户350可以经由(gui)311来输入用户期望生成针对其的轮廓的解剖结构的列表、以及针对期望的解剖结构中的每个期望的解剖结构的对应输入指令。例如，用户350可能期望轮廓化器官a、器官b和器官c。用户350可以手动输入器官a、b、c的名称作为要在(gui)311的输入显示器311a处的被轮廓化的期望的解剖结构。用户350还可以经由在用户界面311处向用户350显示的下拉菜单来选择器官a、b和c作为期望被轮廓化的解剖结构。用户350还可以在输入显示器311a处输入与患者解剖结构、患者解剖结构、目标和oar的形状、大小和位置、图像类型等有关的附加信息和/或指令。
144.一旦用户350输入器官名称和相关指令，分割请求可以经由i/o 319被发送给处理器313以生成支持器官a、b中的至少一个器官的分割的可用分割模型的列表。在接收到请求之后，处理器313经由网络600来访问图像分割模型数据库500，并且确定数据库500中的哪些分割模型支持器官a、b和c中的至少一个器官的分割。处理器313然后生成支持器官a、b和c中的至少一个器官的所有可用分割模型的列表。处理器313还生成可用分割模型中的每个
可用分割模型支持的解剖结构的列表。在示例性实施例中，分割模型和支持的解剖结构的列表包括模型v：器官a至d；x型：器官a至c；y型：器官b至c。
145.所生成的列表可以显示给用户350以供进一步选择。用户350可以在gui 311的选择显示器311b处从可用分割模型的显示列表中选择分割模型的全部或子集以用于对期望的解剖结构a、b和c每个期望的解剖结构进行轮廓化。在示例性实施例中，用户350选择器官a地模型x；针对器官a的模型v，并且针对器官b和c的模型y。
146.处理器313从用户350接收模型选择，经由网络600来访问图像分割模型数据库500以取回所选择的分割模型(即，模型v、模型x、模型y)，并且同时将所取回的分割模型提供给推理引擎315a至315c以供执行。例如，分割模型x可以被发送给推理引擎315a，分割模型v可以被发送给推理引擎315b，并且分割模型y可以被发送给推理引擎315c。
147.处理器313还发送由所选择的分割模型中的每个分割模型选择用于轮廓化的解剖结构的列表，即，针对a的模型x、针对a的模型v、以及针对b和c的模型y。
148.备选地，处理器313可以向推理引擎315a至315c提供对到图像分割模型数据库500的链接的访问，使得推理引擎可以自动部署所选择的分割模型。
149.推理引擎315a至315c中的每个推理引擎根据所接收的分割模型来执行合适的算法以生成对应轮廓数据。
150.处理器313可以将从推理引擎315生成的轮廓数据与经由网络600从图像数据库401和/或图像数据库400取回的相应图像数据进行组合，以获取器官a、b、c和d的轮廓。由于用户350没有选择器官d作为期望的解剖结构中的一个期望的解剖结构，处理器313可以自动删除针对器官d而生成的轮廓。
151.处理器313还可以在向用户350显示之前自动修改针对器官a、b和c而生成的轮廓。例如，处理器313可以自动修改图像上器官a、b和c中的任何器官的边缘，并且相应地修改针对已修改器官的生成的轮廓。
152.处理器313还可以通过自动拒绝特定轮廓来自动修改所生成的轮廓。例如，如果处理器313确定器官c不是可能被辐射照射的器官，则处理器313可以自动拒绝轮廓c。
153.处理器313然后向用户350发送由所选择的分割模型针对所选择的器官a、b和c中的每器官个而生成的轮廓，即，由分割模型x生成的针对器官a的第一轮廓、由分割模型v生成的针对器官a的第二轮廓、由分割模型y生成的针对器官b的轮廓、和由分割模型y生成的针对c的轮廓，以在gui 311的处理显示器311c处显示。
154.用户350可以接受任何生成的轮廓或拒绝任何生成的轮廓。用户350也可以组合接受的轮廓。例如，对于针对同一器官a生成的两个轮廓，用户350可以拒绝或接受所生成的轮廓中的一者或两者。如果器官a的两个轮廓都被接受，则用户350可以使用不同组合方法来组合这两个轮廓。例如，针对器官a生成的两个轮廓可以使用布尔运算符进行组合。针对器官a的两个轮廓也可以基于加权值进行组合(轮廓a＝w1轮廓a1+w2轮廓a2)。针对器官a的两个轮廓也可以由用户350使用gui 311的滑块来手动组合。
155.尽管已经描述了具体的组合方法，但是应当理解，可以使用任何其他适用的组合方法来组合轮廓。
156.用户350也可以拒绝任何生成的轮廓，并且选择返回到gui 311的选择显示器311b并且从所显示的列表中选择不同分割模型以生成针对器官a、b和c的轮廓。一旦用户350从
列表中选择一个或多个不同分割模型，轮廓的生成遵循与原始模型选择相同的步骤。
157.器官a、b和c的接受的最终轮廓将被包含在结构数据330a中，以可选地针对剂量数据330b进一步处理。
158.图10至图13示意性地示出了使用多个分割模型的用于多个器官的示例性的基于网络的自动分割过程。图10示出了自动多器官多分割模型分割过程s100。
159.在步骤s101中，用户输入其期望轮廓化的患者的解剖结构，或者从显示在显示屏上的自动生成的列表中选择解剖结构。解剖结构可以包括以下一项或多项：目标(即，肿瘤)、器官、有风险的器官、组织、血管、骨骼等或其组合。
160.在步骤s102中，访问包含不同自动分割模型的库的数据库。在步骤s103中，向用户显示库中支持所选择的解剖结构中的至少一个解剖结构的分割的所有可用分割模型的列表。在步骤s104中，也向用户显示所显示的分割模型中的每个分割模型支持的所有解剖结构的列表。显示步骤s103和s104一起表示为步骤s104'。关于分割模型和支持的解剖结构的任何其他附加信息也可以显示给用户。
161.在步骤s105中，用户选择所显示的分割模型的全部或子集以用于所选择的期望被轮廓化的解剖结构中的每个解剖结构。一个或多个推理引擎315a至315n在步骤s106中接收所选择的分割模型和相关联的所选择解剖结构的列表，并且在步骤s108中应用所选择的分割模型以在步骤s107中接收的患者的一个或多个图像数据上生成对应分割效果(即，轮廓数据)。在步骤s109中，处理所生成的分割效果以生成所选择的解剖结构的轮廓数据。在步骤s110中，将在步骤s109中生成的轮廓数据与患者的一个或多个医学图像组合以获取所选择的解剖结构的轮廓作为在步骤s112中输出的结构数据。
162.可选地，可以在步骤s110'中拒绝分割效果，以提示过程s100返回到步骤s104'，以便允许用户在s105中选择要在步骤s106至s108中应用以生成不同分割效果的分割模型的不同集合。
163.可选地，在步骤s11中获取的医学图像的轮廓数据可以在步骤s11中进一步处理。
164.图11示出了过程s100的示例性自动分割过程步骤s108至s112，其中用户在步骤s101中选择要分割的解剖结构a、b和c，分割模型库中支持所选择的解剖结构a、b和c中的至少一个解剖结构的可用分割模型是模型x、y、z、v和q，模型x支持解剖结构a、b和c的分割，模型y支持解剖结构b和c的分割，模型z支持解剖结构a和d的分割，模型v支持解剖结构a、b、c和d的分割，并且模型q支持解剖结构c的分割，例如(步骤s102至s104')，并且用户在步骤s105中选择模型x和模型v以分割结构a并且选择模型y以分割结构b和c。
165.如图11所示，推理引擎315a至315n中的一个或多个推理引擎接收所选择的分割模型x、v和y以及所选择的对应解剖结构，并且应用适合于所接收的分割模型中的每个分割模型的算法，以生成对应分割模型效果(mo)。在图11的示例性实施例中，通过应用所选择的分割模型x、v和y，生成第一分割模型效果mo1、第二分割模型效果mo2和第三分割模型效果mo3，对于应用的每个相应分割模型有一个分割模型效果。由于模型x支持结构a、b和c的分割，分割模型效果mo1包括针对结构a、b和c的轮廓数据。由于模型v支持结构a、b、c和d的分割，分割模型效果mo2包括针对结构a、b、c和d的轮廓数据。由于分割模型y支持结构b和c的分割，因此分割模型效果mo3包括针对结构b和c的轮廓数据。
166.例如，在步骤s109中的分割模型效果mo1、mo2和mo3的处理可以示例性地包括仅针
对所选择的解剖结构a、b和c选择轮廓数据。这可以包括从分割模型效果mo1(即，a1)中选择针对解剖结构a的轮廓数据，从分割模型效果mo2(即，a2)中选择针对解剖结构a的轮廓数据，以及从分割模型效果mo3中选择针对解剖结构b和c的轮廓数据。
167.处理步骤s109还可以包括用于从多个分割模型效果中选择、和/或组合、和/或拒绝针对所选择的解剖结构中的每个解剖结构而获取的轮廓数据的步骤。
168.例如，轮廓数据a1可以与轮廓数据a2组合以生成针对解剖结构a的组合轮廓数据a。备选地，轮廓数据a1可以被拒绝并且轮廓数据a2可以被接受为针对解剖结构a的轮廓数据a。备选地，轮廓数据a2可以被拒绝并且轮廓数据a1可以被选择为针对解剖结构a的轮廓数据。备选地，轮廓数据a1和轮廓数据a2两者可以被拒绝。
169.用户也可以接受或拒绝针对解剖结构b和c而获取的轮廓数据b和c。对于任何和所有拒绝的轮廓数据，在步骤s110'中为用户提供返回到步骤s104'的显示屏幕的选项，并且在步骤s105中再次选择分割模型的不同集合以应用于轮廓化所选择的解剖结构a、b和c。
170.可选地，步骤s109还可以包括用于自动处理来自步骤s108的分割模型效果的步骤。例如，可以修改任何或所有所选择的解剖结构a、b和c的边缘，使得针对该特定解剖结构而生成的轮廓数据也会被自动修改。
171.另一可选的处理步骤包括自动拒绝某些分割模型效果。例如，这可以包括从分割模型效果mo1中自动拒绝针对b和c的轮廓数据，以及从分割模型效果mo2中自动拒绝针对b、c和d的轮廓数据。另一可选步骤可以包括从分割模型效果mo1至mo3中自动拒绝针对所选择结构a、b和c的某些图像平面而获取的轮廓数据。例如，如果来自mo1的针对a的轮廓数据包括五个不同图像平面中的轮廓数据，但这些平面中只有两个平面被确定为有用，则例如三个附加平面的轮廓数据可以被自动丢弃。
172.在s109中获取的所选择的解剖结构a、b和c中的每个解剖结构的轮廓数据可以与s110中的针对患者的一个或多个医学图像组合，以便在步骤s112中显示针对结构数据330a的解剖结构a、b和c的最终轮廓。
173.可选地，在s110中获取的轮廓可以在步骤s1l1中进一步处理。例如，用户可以决定通过用户界面gui 311手动修改所生成的轮廓。附加地或备选地，用户可以通过切割任何一个生成的轮廓来修改任何一个生成的轮廓，使得沿着切割的轮廓是直的而不是圆形的。切割可以手动或自动进行。
174.当自动进行时，用户可以提示处理器313定位沿着其修改一个或多个轮廓的位置并且修改轮廓以便包括沿着切口的直边而不是所生成的圆边。
175.图12至图13示出了过程s100的示例性自动分割过程步骤s106至s112，其中用户在步骤s101中选择要分割的解剖结构a、b和c，分割模型数据库500中支持所选择的解剖结构a、b和c中的至少一个解剖结构的可用分割模型是模型x、y、z、v和q，其中模型x是支持解剖结构a、b和c分割的dnn分割模型，模型y是支持解剖结构b和c分割的dnn分割模型，模型z是支持解剖结构a和d分割的基于图谱的分割模型，模型v是支持解剖结构a、b、c和d分割的dnn分割模型，模型q是支持解剖结构c分割的形状分割模型，例如(步骤s102至s104')，并且其中例如，用户在步骤s105中选择模型x和模型v以分割结构a并且选择模型y以分割结构b和c。
176.在步骤s108中，单个推理引擎315(或三个不同推理引擎315a至315c，例如315a支
持dnn 1，315b支持dnn2，315c支持dnn3)的三个不同推理模块(dnn1至dnn3)同时或连续接收所选择的模型x、y和v，并且通过应用由对应dnn引擎(dnn1至dnn3)支持的合适的dnn分割算法，基于在步骤s107中接收的一个(430)或多个图像切片(430)的图像，来生成对应dnn分割效果，例如来自dnn1的轮廓a1、轮廓b1和轮廓c、来自dnn2的轮廓b2和轮廓c2、以及来自dnn3的轮廓a3、b3、c3和d3。
177.在步骤s108中获取的轮廓可以在步骤s109至s112中通过以下方式来处理：应用一个或多个选择/组合/接受/拒绝/丢弃步骤例如以选择轮廓a1、b2、c2和a3，组合轮廓a1和a3以获取轮廓a，丢弃轮廓b1、c1、b3、c3和d3，以及作为步骤s112的效果在一个或多个图像上显示轮廓a、b2和c2。应当理解，可以应用贯穿本公开而公开的选择/组合/接受/拒绝/丢弃方法。还应当理解，也可以应用任何其他合适的选择/组合/接受/拒绝/丢弃方法。
178.可选地，轮廓a、b1和c1可以在s109中进一步处理，和/或丢弃，并且过程s100返回到步骤s104'以选择分割模型的不同集合。应当理解，可以应用贯穿本公开而描述的任何可选/选择性处理选项。还应当理解，可以应用任何其他合适的处理方法。
179.图14示出了示例性方法s200，通过该方法，可以生成图像分割模型数据库500中的不同分割模型的库。例如，为了生成多个基于图谱的自动分割模型，可以在s301中的从图像数据库400或图像数据库401中获取的一个或多个医学图像中手动轮廓化多个解剖结构。对于生成的轮廓中的每个轮廓，然后在s303中通过任何合适的当前可用的或未来开发的图谱生成协议来生成图谱，并且可以将多个如此获取的图谱存储在图像分割模型数据库500中。
180.为了生成针对数据库500的已训练dnn分割模型，在步骤s402，dnn模型在步骤s401中从图像数据库400或401获取医学图像的训练数据集。训练数据集可以包括2-d或3-d图像，其中包含由不同像素或体素成像的解剖结构的真实轮廓。训练数据集可以包括附加真实信息，例如截止平面位置和/或用户限定的感兴趣区域、或任何其他真实信息。
181.如前所述，dnn模型是指一类基于计算机的机器学习算法，该算法利用数据处理的很多层或阶段(特别是输入层与输出层之间的至少两个“隐藏”层)进行特征学习、模式分析和/或分类。通常，这些dnn模型由处理元素(称为神经元或节点)的分层网络形成，该处理元素通过连接(称为突触或权重)互连。节点层从端到端(即，从输入层到输出层)进行训练，以从输入中提取(多个)特征并且对(多个)特征进行分类以产生输出(例如，分类标签或类)。例如，诸如张量流或pytorch等开源框架可以用于生成这样的dnn模型。
182.在步骤s402中，训练dnn模型以逼近在步骤s401中获取的医学图像中的一个或多个解剖结构的轮廓。训练涉及确定dnn模型的隐藏层中的节点的一个或多个参数，例如，通过迭代过程，该迭代过程改变参数，以使得dnn模型输出更接近地匹配对应真实情况。然后将在s403中获取的已训练dnn模型存储在图像分割模型数据库500中。
183.图15示出了示例性dnn模型的简化节点图250。dnn模型包括将输入(提供给输入层252的节点258)转换为输出(在输出层256的节点262处)的不同层的堆叠(在图15中垂直取向)。输入层252与输出层256之间的中间层(第1层到第n层)被称为“隐藏”层254。提供至少两个隐藏层以使神经网络被认为是“深”的。每个隐藏层具有相应节点260，节点260执行特定计算并且互连到相邻层中的节点。例如，每个节点260可以包括向相应输入提供权重的加权函数、和处理加权输入以生成相应输出的激活函数。不同隐藏层254可以包括但不限于最终损失层、非线性算子层、池化层、二次采样层、全连接层和卷积层。虽然图15将隐藏层254
图示为每层具有比输入252和输出256层中的节点258/节点262的数目更多的节点260，其他数目和配置也是可能的。
184.图16示出了图14的训练步骤s402中包括的示例性处理步骤s402a至s402e。例如，在步骤s402a中，在s401中提供的训练数据通过输入dnn模型的隐藏层的节点而被传播。在s402b中，向dnn模式的输出层的节点提供来自隐藏层的结果数据。在步骤s402c中，经由损失函数比较来自输出层的数据与真实数据。例如，损失函数可以是均方误差、骰子损失、基于交叉熵的损失或本领域已知的任何其他损失函数。
185.在训练s402期间，dnn模型通过损失函数获取关于其输出与正确输出匹配程度的反馈。一旦迭代标准在s402d处满足(例如，损失函数满足预定阈值，已经达到阈值迭代次数，或者在迭代之间没有看到进一步的改进)，dnn模型在s403处被固定。否则，训练s402进行到s402e，在此修改dnn模型，例如，通过调节隐藏层节点的参数，以改善输出与期望输出之间的匹配。训练过程s402可以重复迭代，直到期望迭代标准在s402d处满足。然后dnn模型被认为是已训练的并且s403的已训练dnn模型可以存储在图像分割模型数据库500中。
186.按照这个过程可以训练多个dnn模型。
187.为了生成多个形状或统计形状模型，可以在步骤s502中基于在步骤s502中从图像数据库400或401中提供的医学图像的训练数据集来手动、自动或半自动地生成不同解剖结构的轮廓，并且在s503中，生成统计模型，每个模型在数学上描述如此获取的轮廓的形状和/或外观。
188.为了生成多个基于机器学习的分割模型，在s602中，从在s601中图像数据库400或401中提供的训练图像数据中提取特征向量，以用于在s603中训练输入机器学习模型。然后可以将s604的训练机器学习模型存储在图像分割模型数据库500中。
189.尽管可以使用任何公开的方法和任何其他合适的方法来生成不同分割模型的库，但是图像分割模型数据库500也可以是数据库500，数据库500包括不同用户/系统/框架/平台可访问的先前编译的已训练自动分割模型的库，例如本文中描述的那些。图像分割模型数据库500还可以包括与先前编译的已训练自动分割模型中的每个模型相对应的参数的库。
190.根据一个或多个设想的实施例，对图10至图16所示的布局和工艺的各种修改也是可能的。例如，从推理引擎315a至315n获取的算法修改的轮廓数据可以与(多个)原始医学图像组合，使得轮廓覆盖在图像中的对应解剖结构上，例如，用于由用户进行可视化或用于放射治疗计划。备选地，推理引擎315a至315中的分割模型可以直接在医学图像上产生轮廓作为输出，并且算法可以直接修改医学图像上的轮廓，而不必需要单独的组合步骤。
191.应当理解，公开了一种用于使用不同分割模型进行自动多结构图像分割的基于网络的系统，系统包括至少一个处理设备，至少一个处理设备被配置为经由网络来访问不同图像分割模型库；选择和应用图像分割模型的全部或子集，以被用于对由用户经由用户界面选择的一个或多个解剖结构进行轮廓化；以及组合不同分割模型效果的结果。
192.还应当理解，公开了一种用于自动图像分割的基于网络的系统，系统包括其上具有指令的存储器，其中指令在被执行时使处理器：访问包括与患者相关联的一个或多个医学图像的数据库，医学图像包括患者的一个或多个解剖结构；访问包括不同图像分割模型的库的数据库；以及在用户经由用户界面进行的请求时，在医学图像中的一个或多个医学
图像上对一个或多个解剖结构进行轮廓化：确定数据库中的分割模型中的哪些分割模型支持对一个或多个解剖结构中期望被轮廓化的至少一个解剖结构的分割；在选择屏幕上向用户显示被确定为支持期望的解剖结构中的一个或多个解剖结构的分割的图像分割模型的列表、以及所确定的分割模型中的每个分割模型支持的解剖结构的列表；针对期望被轮廓化的每个解剖结构，允许用户从所显示的列表中选择要使用的一个或多个分割模型；应用所选择的分割模型，以生成针对期望的解剖结构的对应轮廓；以及在一个或多个图像上显示所生成的轮廓以供用户查看。
193.还应当理解，公开了一种基于网络的自动分割方法，方法包括：由用户经由用户界面输入期望被轮廓化的解剖结构的列表；自动生成并且在用户界面的选择屏幕上显示适用于轮廓化期望的解剖结构中的至少一个期望的解剖结构的可用分割模型的列表、以及每个可用分割模型支持的解剖结构的列表；针对每个期望的解剖结构，允许用户选择所显示的分割模型中的一个或多个分割模型以用于轮廓化；应用所选择的分割模型；以及将分割结果显示给用户以供查看，其中当用户确定分割结果中的一个或多个分割结果不可接受时，允许用户返回到选择屏幕并且选择分割模型的不同集合以进行轮廓化。
194.合适的分割模型的列表的自动生成可以包括：经由网络来访问包括多个自动分割模型和分割模型中的每个分割模型支持的对应解剖结构的数据库；确定数据库中的自动分割模型中的哪些自动分割模型支持期望的解剖结构中的至少一个期望的解剖结构的分割；以及从数据库中选择支持期望的解剖结构中的至少一个期望的解剖结构的分割的分割模型中的每个分割模型以向用户显示。
195.应用所选择的分割模型可以包括：经由网络来访问所选择的分割模型；以及针对每个期望的解剖结构，应用所选择的一个或多个分割模型以生成一个或多个轮廓。
196.分割模型可以以连续方式应用。
197.分割模型可以同时应用。
198.显示可以包括在一个或多个输入图像上显示所生成的轮廓。
199.输入图像可以是在用户请求时经由网络从数据库访问的图像。
200.方法还可以包括允许用户组合分割结果。
201.组合可以在加权的基础上或使用布尔运算而被完成。
202.组合可以手动被完成。
203.组合可以包括组合使用不同分割模型、针对相同解剖结构而被获取的轮廓。
204.组合可以包括组合使用不同分割模型、针对不同解剖结构而获取的轮廓。
205.方法还可以包括在向用户显示之前处理所生成的轮廓。
206.处理可以包括通过修改解剖结构的边缘来自动修改所生成的轮廓。
207.处理可以包括自动拒绝特定轮廓。
208.特定轮廓可以包括期望的解剖结构中的一个或多个期望的解剖结构的预定义平面的轮廓。
209.方法还可以包括允许用户进一步处理所生成的轮廓。
210.进一步处理可以包括修改所生成的轮廓。
211.修改可以包括在预定义位置处切割所生成的轮廓中的一个或多个轮廓。
212.方法还可以包括自动定位预定义位置。
213.数据库中的可用图像分割模型可以包括基于深度学习的分割模型、基于图谱的分割模型、基于形状或外观统计模型的分割模型和基于机器学习的分割模型。
214.期望的解剖结构可以包括器官、组织、骨骼和血管中的至少一项。
215.数据库还可以包括与分割模型中的每个分割模型相关联的模型数据。
216.模型数据可以包括以下一项或多项：每个分割模型支持的解剖结构的列表、列表上的每个解剖结构使用以用于轮廓化的协议的类型、以及每个分割模型执行分割所需要的输入数据。
217.输入数据可以包括以下一项或多项：分割模型执行分割所需要的图像的类型，以及引导标记。
218.方法还可以包括基于所生成的轮廓来开发用于放射治疗的治疗计划。
219.还将理解，还公开了一种其上包含程序指令序列的非暂态计算机可读存储介质、以及一种计算机处理系统，计算机处理系统执行包含在计算机可读存储介质上的程序指令序列以使计算机处理系统使用如本文中描述的系统来执行本文中描述的方法步骤中的任何一个步骤或组合。
220.应当理解，所公开的主题的各方面可以完全或部分地以硬件、由软件编程的硬件、存储在计算机可读介质(例如，非暂态计算机可读介质)上的软件指令、或以上各项的任何组合来实现。例如，所公开的主题的组件(包括诸如，控制器、模块、模型、神经网络或任何其他特征等组件)可以包括但不限于个人计算机或工作站或其他这样的计算系统，该系统包括处理器(例如，图形处理单元)、微处理器、微控制器设备，或者由包括集成电路(例如，专用集成电路(asic))的控制逻辑组成。本文中讨论的特征可以在单个或分布式处理器(单核和/或多核)上、由分布在多个计算机或系统中的组件、或由位于单个处理器或系统中的组件执行。例如，所公开的主题的各方面可以经由以下各项来实现：编程的通用计算机、集成电路设备(例如，asic)、数字信号处理器(dsp)、用微码编程的电子设备(例如，微处理器或微控制器)、硬连线电子或逻辑电路、可编程逻辑电路(例如，可编程逻辑器件(pld)、可编程逻辑阵列(pla)、现场可编程门阵列(fpga)、可编程阵列逻辑(pal))、存储在计算机可读介质或信号上的软件、光学计算设备、电子和/或光学设备的网络系统、专用计算设备、半导体芯片、存储在计算机可读介质或信号上的软件模块或对象。
221.当以软件实现时，功能可以作为一个或多个指令或代码存储或传输在计算机可读介质上。本文中公开的任何过程、方法或算法的步骤可以体现在处理器可执行软件模块中，该软件模块可以驻留在计算机可读介质上。指令可以从根据编程语言提供的源代码指令进行编译。程序指令序列和与其相关联的数据可以存储在计算机可读介质(例如，非暂态计算机可读介质)中，诸如计算机存储器或存储设备，该介质可以是任何合适的存储器装置，诸如但不限于只读存储器(rom)、可编程只读存储器(prom)、电可擦可编程只读存储器(eeprom)、随机存取存储器(ram)、闪存、磁盘驱动器等。
222.如本文中使用的，计算机可读介质包括计算机存储介质和通信介质两者，包括促进计算机程序从一个地方到另一地方的传输的任何介质。因此，存储介质可以是计算机可以访问的任何可用介质。作为示例而非限制，这样的计算机可读介质可以包括ram、rom、eeprom、cd-rom或其他光盘存储、磁盘存储或其他磁存储设备、或者可以用于以指令或数据结构的形式承载或存储期望程序代码并且可以由计算机访问的任何其他介质。
223.此外，任何连接都被恰当地称为计算机可读介质。例如，如果软件是使用传输介质(例如，同轴电缆、光纤电缆、双绞线、数字用户线(dsl)或无线技术(诸如，红外线、无线电和微波))从网站、服务器或其他远程源传输的，则传输介质被包括在计算机可读介质的定义中。此外，本文中公开的任何过程、方法或算法的操作可以作为一个(或其任何组合)或代码集和/或指令驻留在机器可读介质和/或计算机可读介质上，该介质可以并入计算机程序产品。
224.本领域普通技术人员将容易理解，以上描述不是穷举的，并且所公开的主题的各方面可以不同于以上具体公开的方式来实现。实际上，所公开的主题的实施例可以由本领域普通技术人员根据本文中提供的功能描述使用任何已知的或以后开发的系统、结构、设备和/或软件以硬件和/或软件实现。
225.在本技术中，除非另有明确说明，否则单数的使用包括复数，并且“或”和“和”的单独使用包括另一个，即“和/或”。此外，术语“包括”或“具有”以及其他形式(诸如“包含”、“所包括的”、“有(has)”或“含有”)的使用旨在与“包括”具有相同的效果，并且因此不应当被理解为限制性的。
226.本文中描述的任何范围将被理解为包括端点和端点之间的所有值。除非另有明确说明，否则每当“基本上”、“大约”、“基本上”、“接近”或类似的语言与特定值结合使用时，表示高达并且包括该值的10％的变化。
227.本公开实现了很多备选、修改和变型。
228.尽管已经详细示出和描述了具体示例以说明本发明的原理的应用，但是应当理解，本发明可以在不背离这些原理的情况下以其他方式实施。例如，所公开的特征可以组合、重新布置、省略等以产生附加实施例，而某些公开的特征有时可以在没有其他特征的对应使用的情况下被用于获取益处。因此，申请人打算包含在本发明的精神和范围内的所有这样的备选、修改、等价物和变型。