用于动脉粥样硬化的个性化评定、长期预测和管理的基于学习的方法与流程

本发明一般地涉及用于通过使用机器学习技术对动脉粥样硬化斑块进行个性化评估的方法、系统和装置。

背景技术

心血管疾病（cvd）在全球都是主要死因。最普遍和毁灭性的cvd是动脉粥样硬化，主要是大型和中型导管动脉的慢性、炎症性、纤维增生性失调。其发起和发展与血管内皮紧密联系，所述血管内皮对应于由于动脉的复杂几何结构以及诸如动脉粥样硬化斑块之类的病理学特性的后天存在所致的作用于血管壁的动态力。

大多数心血管事件、比如中风和心肌梗塞是由引起末梢栓塞的动脉粥样硬化斑块破裂引起的。在先的研究已经示出了血液动力学的量与动脉粥样硬化斑块的发起、发展和破裂有关系。这些血液动力学的量进而既受系统性质也受局部几何结构（某些区、比如分支易受斑块形成）影响。因而，血液动力学的量、即压力、速度、流率和流生成的内皮切变应力（ess）在对斑块发起、发展和破裂的理解中起着关键作用。此外，血液动力学因素与其它患者信息（比如人口统计学、血液生物标记信息、过去的历史等等）的组合可以用于获得对患者状况的一致理解以及对患者恢复结果的更好理解。

技术实现要素：

本发明的实施例通过提供与使用机器学习技术对动脉粥样硬化斑块的个性化评定有关的方法、系统和装置而解决和克服上述缺点和缺陷中的一个或多个。

根据一些实施例，一种用于为患者提供动脉粥样硬化斑块的评定的个性化评估的计算机实现的方法获取患者数据，该患者数据包括非侵入性患者数据、患者的医学图像以及血液生物标记。从患者数据提取感兴趣的特征并且一个或多个机器学习模型被应用于所述感兴趣的特征以预测与动脉粥样硬化斑块有关的感兴趣的一个或多个度量。在一些实施例中，以结构化格式生成报告，其描述与动脉粥样硬化斑块有关的感兴趣的度量。该报告可以被存储在患者特定的医学记录中。

在先前提及的方法的一些实施例中，通过使用包括进行于电脑中的解剖模型（insilicoanatomicalmodel）和体外解剖模型中的一个或多个的综合数据的数据库来训练机器学习模型。可以通过首先为进行于电脑中的解剖模型执行流体固体增长（fsg）计算或为体外解剖模型执行流实验以产生输出数据而训练机器学习模型。从输出数据提取感兴趣的度量，并且从综合数据的数据库提取几何特征和斑块有关的特征。然后，训练机器学习模型，从而通过使用来自输出数据的感兴趣的度量、几何特征和斑块有关的特征来预测与动脉粥样硬化斑块有关的感兴趣的度量。

进行于电脑中的解剖模型可以通过在冠状动脉树的每个生成时规定多个血管初始化冠状动脉树解剖模型的新进行于电脑中的解剖模型骨架并且为冠状动脉树的每个生成定义健康几何信息而被生成。所述健康几何信息包括血管半径、锥化度以及分支长度中的一个或多个。然后可以确立冠状动脉树中的狭窄，其修改所述健康几何信息。此外，可以为冠状动脉树中的每个狭窄确立斑块组成。接下来，基于经修改的健康几何信息以及针对冠状动脉树中每个狭窄的斑块组成而更新所述新的进行于电脑中的解剖模型。一旦被更新，所述新的进行于电脑中的解剖模型就被存储在综合数据的数据库中。

在一些实施例中，可以通过从多个预定义的斑块组成类型中随机选择特定斑块组成而确立针对每个狭窄的斑块组成。例如，在一个实施例中，针对每个狭窄的斑块组成包括通过如下确立的斑块材料：（i）随机选择斑块材料的每个体积的中心；（ii）随机选择针对斑块材料的大小和形状；（iii）随机选择针对斑块组成的材料性质；以及（iv）通过使用所述中心、大小、形状和材料性质而确立斑块材料。在一个实施例中，针对每个狭窄的斑块组成模仿预定义的高风险斑块组成。

在一些实施例中，在先前提及的方法的情况下可以使用多个机器学习模型。例如，在一个实施例中，机器学习模型包括被训练成预测斑块形成的第一机器模型、被训练成预测斑块发展的第二机器模型以及被训练成预测斑块破裂的第三机器模型。在其它实施例中，机器学习模型包括被训练成预测每个分支的缺血性权重的第一机器学习模型、被训练成预测缺血性贡献评分的第二机器学习模型、被训练成预测感兴趣的血液动力学度量的第三机器学习模型、被训练成预测感兴趣的斑块有关的度量的第四机器学习模型、以及被训练成预测将来的心血管事件的风险的第五机器学习模型。在其中采用多个机器学习模型的情况下，在一些实施例中它们可以被并行地应用于感兴趣的特征。在一些实施例中，以级联工作流来应用机器学习模型，所述级联工作流通过在级联工作流中将每个机器学习模型的输出用作用于后续机器学习模型的输入而循序地应用机器学习模型。

先前提及的方法的一些实施例还包括可视化方面。例如，在一个实施例中，生成可视化，其描绘与动脉粥样硬化斑块有关的感兴趣的度量。在一些实施例中，可视化包括冠状动脉图像，并且响应于所述冠状动脉图像内的位置的用户选择，在可视化中呈现对应于所述位置的感兴趣的度量。

根据本发明的另一方面，一种用于训练机器学习模型以为患者提供动脉粥样硬化斑块的评定的个性化评估的计算机实现的方法包括：生成包括进行于电脑中的解剖模型中的一个或多个的综合数据的数据库以及为所述进行于电脑中的解剖模型执行fsg计算以产生输出数据。所述方法此外包括从所述输出数据提取感兴趣的度量，以及从综合数据的数据库提取进行于电脑中的解剖模型的几何特征以及斑块有关的特征。一个或多个机器学习模型被训练以基于进行于电脑中的解剖模型树的几何特征以及斑块有关的特征而生成与动脉粥样硬化斑块有关的经预测的测量。

根据本发明的其它实施例，一种用于预测治疗计划的效果的计算机实现的方法包括从医学图像中提取患者特定的几何结构，以及从患者特定的几何结构中提取感兴趣的几何特征以及感兴趣的斑块有关的特征。一个或多个机器学习模型用于通过使用感兴趣的几何特征以及感兴趣的斑块有关的特征而预测治疗计划的效果，其中通过使用患者特定的特征以及与治疗计划的效果有关的纵向数据来训练机器学习模型。另外，在一些实施例中，以结构化格式生成报告，其描述治疗计划的效果，并且所述报告可以被存储在患者特定的医学记录中。

从参考附图进行的对说明性实施例的以下详细描述中将使得本发明的附加的特征和优点显而易见。

附图说明

从当结合附图阅读的以下详细描述中最好地理解本发明的前述和其它方面。为了说明本发明的目的，在附图中示出了目前优选的示例性实施例，然而，理解到本发明不限于所公开的特定手段。在附图中所包括的是以下各图：

图1示出了根据一些实施例的用于预测与人体心血管系统中的斑块的形成、发展和破裂有关的感兴趣的度量的工作流；

图2示出了根据一些实施例的用于训练一个或多个数据驱动的替代模型以用于预测与人体心血管系统中的斑块的形成、发展和破裂有关的感兴趣的度量的工作流；

图3示出了根据一些实施例的用于计算感兴趣的患者特定的斑块有关的度量的工作流；

图4a呈现了根据一些实施例的用于生成综合的进行于电脑中的病理学冠状几何结构的方法的可视化；

图4b呈现了图4a中所示的方法的第一步骤的可视化；

图4c呈现了图4a中所示的方法的第二步骤的可视化；

图4d呈现了图4a中所示的方法的第三步骤的可视化；

图4e呈现了图4a中所示的方法的第四步骤的可视化；

图5图示了根据一些实施例的对斑块形成、发展和破裂的基于并行机器学习的预测；

图6示出了根据一些实施例的用于感兴趣的斑块有关的度量的预测的级联的基于机器学习的工作流；

图7图示了根据一些实施例的用于通过使用机器学习（ml）模型而估计感兴趣度量的斑块有关的度量的不确定性的示例性工作流；

图8呈现了根据一些实施例的用于基于具有在所预测的和所测量的感兴趣的斑块有关的度量之间的差匹配的患者特定的情况而重训练ml模型的技术；

图9图示了根据一些实施例的用于在体外数据上训练ml模型以用于预测感兴趣的斑块有关的度量的工作流；

图10示出了在一些实施例中用于生成训练数据库的示例体外模型；

图11示出了根据一些实施例的用于在根据得自体外数据的基于物理的模型所生成的进行于电脑中的数据上训练ml模型的工作流；

图12图示了具有主要成分的动脉粥样硬化斑块以及在计算机断层扫描血管造影术（cta）图像上的斑块外观；

图13呈现了根据一些实施例的用于训练ml模型以执行基于图像的斑块组织学的工作流；

图14示出了根据一些实施例的用于训练ml模型以用于在医学图像上标识斑块的工作流；

图15示出了根据一些实施例的用于执行个体病变评定的工作流；

图16呈现了根据一些实施例的用于预测治疗计划的效果的基于ml的工作流；

图17示出了用于在图像上对点进行定点和点击的工具的示例，其中系统对点和相关联的感兴趣的度量进行可视化；

图18提供了以当前和将来日期的冠状斑块的示例性可视化；以及

图19提供了可以用于实现ml模型的并行处理存储器架构的示例以及本文中讨论的各种工作流的其它方面。

具体实施方式

以下公开内容根据若干实施例描述了本发明，所述实施例针对与通过使用机器学习（ml）技术对动脉粥样硬化斑块的个性化评定有关的方法、系统和装置。更特别地，本文中描述的技术使用ml模型来预测与斑块有关的感兴趣的度量，诸如心血管事件的风险、将来筛查日期的指示、斑块组成（斑块组分的绝对/相对值）、感兴趣的斑块演进有关的度量（斑块的将来大小、形状、组成和位置）、支架中再狭窄、需要密封的病变、治疗计划等等。预测基于从以下各项中提取的各种特征：非侵入性患者数据、医学成像数据（例如非侵入性成像（计算机断层扫描（ct）、超声心动图（紧张/静息、有/没有对比剂）、磁共振成像（mri）等等）、侵入性成像（x-射线血管造影术、ivus、oct、nirs））、血液生物标记、放射基因组信息、可穿戴传感器等等。本文中讨论的基于ml的工作流的一个优点在于来自异种源的数据可以被整合以执行综合评定。

图1图示了根据一些实施例的用于预测与人体心血管系统中的斑块的形成、发展和破裂有关的感兴趣的度量的工作流100。开始于步骤105，获取非侵入性患者数据。术语“非侵入性患者数据”指代可以通过使用非侵入性技术获取的任何数据。可以在步骤105处获取的非侵入性患者数据的示例在无限制的情况下包括人口统计特征和患者历史。可以经由宽范围的传感器获取非侵入性患者数据，所述传感器包括医学装备和设备（听诊器、血压仪、成像扫描仪、实验室诊断等等）以及用于测量生理信号的非医学级设备（在无限制的情况下包括可穿戴设备）。在一些实施例中，非侵入性患者数据包括如例如通过血液测试和分子测量（例如，“组学”，诸如蛋白质组学、转录组学、基因组学、代谢组学、脂类组学和表观基因组学）所产生的生物化学信号。另外，非侵入性患者数据可以跨越宽范围的生物计量学信号，并且可以由如在定量自移动中、通过可穿戴传感器和可穿戴计算而促进自监控以及自感测的个体驱动。此外，基于放射基因组学所提取的特征可以被生成并且用作非侵入性患者数据（例如与病理的基因组学有关系的成像生物标记）。

在步骤110处，获取患者的医学图像。一般地，在步骤110处获取图像中可以使用本领域中已知的任何医学成像技术。因而，在步骤110处可以应用非侵入性成像技术，诸如mri、计算机断层扫描（ct）、超声心动图（紧张/静息、有/没有对比剂），以及侵入性成像技术，诸如x射线血管造影术、血管内超声波（ivus）、光学相干断层成像术（oct）以及近红外光谱学（nirs）。

在步骤115处，基于患者的血液测量而确定血液生物标记。这些血液生物标记可以包括例如补体反应蛋白、纤维蛋白原、白血细胞计数、il-6、il-18&tnf-α、循环可溶cd40配合基、血管钙化标记（骨桥蛋白、骨保护素等等）、基质金属蛋白酶、髓过氧物酶、血小板衍生的生长因子、心肌肌钙蛋白i、心肌肌钙蛋白t、肌酸激酶、肌酸激酶心肌带、总胆固醇、血清c-反应蛋白的水平、c-反应蛋白、乳酸脱氢酶（ldh）、天冬氨酸转氨酶（ast）、肌红蛋白（mb）、缺血修饰白蛋白（ima）、糖原磷酸化酶同工酶bb、高密度脂蛋白（hdl）胆固醇、低密度脂蛋白（ldl）胆固醇、怀孕关联的血浆蛋白a（papp-a）、类胰岛素生长因子结合蛋白-4(igfbp-4)及其片段、髓过氧物酶（mpo）、脂肪酸结合蛋白（fabp）、肌钙蛋白c（tnc）、d-二聚体和高分子重量纤维蛋白降解产物、可溶cd40配合基（scd40l）、半胱氨酸蛋白酶抑制剂c、人体血清白蛋白（hsa）、前降钙素（pct）、糖原磷酸化酶同工酶bb（gpbb）、血清淀粉样蛋白a（saa）、视黄醇结合蛋白4（rbp4）、可溶外源凝集素状的氧化的ldl接收体（slox-1）、脂联素（adn）以及s100蛋白。

步骤105-115处获取的不同类型的信息可以在单个时间点或在不同时间点获得。例如，从以基线状态执行的心脏计算机断层扫描血管造影术（ccta）检查以及从在稍后的时间点执行的血管造影术检查所提取的特征可以用于预测感兴趣的度量。类似地，血液生物标记（相同或不同的）可以在不同的时间点被获取并且用作ml模型的特征，如下所述。

继续参考图1，在步骤120处，从非侵入性患者数据、医学图像和血液生物标记提取感兴趣的特征。然后，在步骤125处，一个或多个经训练的ml模型用于预测/估计感兴趣的度量，诸如心血管事件的风险、斑块演进以及药物治疗的效果等等。ml模型可以以级联的或并行的工作流被使用，并且可以在患者特定的数据上和/或体外或进行于电脑中的生成的综合数据上被训练。例如，（多个）ml模型的训练可以采用基于物理的模型来生成感兴趣的输出度量，对照所述输出度量而训练ml模型。可替换地，训练可以不需要任何基于物理的模型，并且可以仅仅使用直接从输入数据提取的特征。综合数据可以进一步被生成以增强在训练阶段期间使用的数据库并且可以在单独的患者特定的数据、单独的综合数据、或患者特定的数据与综合数据的组合上执行训练。ml模型可以此外被用于执行斑块组织学/标识/分割。在一个示例中，在步骤125处应用的ml模型的情况下可以使用基于深度学习的ml方法。

步骤125处确定的感兴趣的度量可以在患者水平或在病变/斑块水平上被定义。例如，在一些实施例中，在步骤125处确定的感兴趣的度量包括与动脉粥样硬化斑块有关的心血管事件的风险（例如心肌梗塞有关的度量、诸如冠状循环、中风有关的度量、诸如脑循环、以及坏疽有关的度量、诸如外围循环）。所述风险可以被提供作为单个评分或作为与时间相关的曲线，它可以指代将来的特定时间段等等。与风险相组合地，还可以提供将来筛查日期的指示（例如何时执行跟踪检查，以便：确认预测、如果需要的话执行干预等等）。另外，可以在步骤125处预测感兴趣的斑块组成度量，诸如斑块组分（例如，纤维组织、坏死核、脂质池、钙化等等）的绝对/相对值，以及感兴趣的斑块演进有关的度量，诸如斑块的未来的大小、形状、组成和位置。分离的模型可以用于斑块的发起、演进和破裂。

在一些实施例中，可以在步骤125处确定与支架中再狭窄有关的感兴趣的度量。支架中再狭窄倾向于在支架安置之后的3-6个月时出现，这是由于介质层中细胞的增殖（也称作新生内膜增生）所致。感兴趣的度量可以包括例如再狭窄度、开始时间等等。

步骤125处确定的感兴趣的度量还可以标识需要密封的病变。与从生物可吸收的架台生成的、具有在复原了血管的开放性之后溶解的能力的支架相组合地，如通过ess所预测的有未来增长倾向的底层斑块的密封可以用于改善冠状动脉疾病（cad）患者的长期演进。

还可以在步骤125处确定感兴趣的治疗计划度量。在（例如遵循基线检查）规定医学治疗的情况中，感兴趣的度量可以与药物治疗的效率有关（例如心血管事件的风险的降低）。在设备治疗（诸如安支架、移植法等等）的情况中，感兴趣的度量可以是紧随斑块和/或血栓发起和增长的设备的可行性/效力。

返回到图1，在步骤130处，步骤125处确定的感兴趣的度量在可视化中被呈现给临床医师。可以例如以数值（例如列成表格的）或以图形方式（例如叠覆在医学图像上）来呈现该可视化。

图1中显示的工作流在在线执行的预测阶段期间使用。为了能够使用ml模型，模型可以离线先验地被训练。图2显示了训练阶段的一般工作流200，如它在一些实施例中可以被执行的那样。该示例中针对训练阶段的要求之一是存在大型数据库205，所述大型数据库包含综合生成的和/或患者特定的信息（非侵入性数据、医学图像、血液生物标记）、对应的地面实况、即针对斑块演进的感兴趣的结果度量（例如心血管事件的风险、斑块演进）。数据库205可以包含来自体内、进行于电脑中的和体外研究的信息。一旦组装了该数据库205，就分别在步骤210和215处提取相关特征和感兴趣的（多个）对应的结果度量。然后，在步骤220处，感兴趣的特征和结果度量用于通过使用ml模型而训练一个或多个数据驱动的替代模型。在训练阶段期间，与在线预测阶段期间相比，更多特征可以是可用的。预测阶段期间缺失的特征可以基于训练数据库中的类似数据集而被估计（例如通过采用特别被训练用于该目的的分离的ml模型）。在一个实施例中，（多个）ml模型的训练可以采用基于物理的模型来生成感兴趣的输出度量，对照所述输出度量而训练ml模型（如以下进一步详细描述的）。在另一实施例中，训练可以不需要任何基于物理的模型，并且可以仅仅使用直接从输入数据提取的特征。

可以在分别在图1和2中所示的工作流100和200中被采用的一个可能的ml模型是深度张量神经网络（dtnn），所述深度张量神经网络从在神经科学中所应用的张量网络理论（在中央神经系统中遇到张量交互）中出现。dtnn执行数据规则化，因而确保底层物理现象被捕获，并且导致具有生成力的模型。在工作流100、200的情况下可以使用dtnn的各种变体，在无限制的情况下包括：采用线性激活而不是西格摩德（sigmoidal）非线性的dtnn可以被使用并且通过张量而被直接连接到各层，以及其中西格摩德（sigmoid）非线性在克罗内克（kronecker）积之后被应用、而不是直接被应用到双重投影层的dtnn。

在一些实施例中，本文中利用的ml模型采用深度学习方法。术语“深度学习”一般是指基于多个信息处理层的人工智能技术的类别。采用分层次结构，用于学习特征或表示或者用于分类/回归。最近，在若干研究领域中的在先现有技术结果之上，基于深度学习的应用已经有所改进，所述在先现有技术结果比如语音识别（自然语言处理）、计算机视觉、光学字符识别、信号处理、信息检索等等。深度学习技术可以被分类到综合/生成或识别/分类中。因而，可以考虑三个主要的深度学习类。在第一类内，开发判别模型以用于在分类或回归应用中递送高判别力。在第二类中，开发生成性模型以用于表征可用数据的较高阶相关性特性以供综合/分析。可以采用这些模型以表征数据的相互统计性质以及对应的类。如果另外还使用贝叶斯规则，则生成模型的判别版本。最后，在第三类中，混合模型可以被利用来执行样本的判别（分类/回归）和表征二者。

生成性模型的一个示例是深度自编码器，其是输出输入数据的经变换的版本的特殊类型的深度神经网络。它用于学习降维或高效编码。它在不利用类标签的情况下提取非线性特征。因而，自编码器是生成性的并且采用至少三层：包括输入数据的输入层；输出层，其与输入层大小相同，而每个单元对应于输入层中确切的一个单元；以及生成编码的一个或多个隐藏层（典型地具有比输入和输出层更少的单元）。

为了进一步说明本文中描述的技术，考虑这样的实施例：其中基于综合数据来训练ml模型以预测感兴趣的患者特定的斑块有关的度量（例如斑块形成、发展、破裂等等）。此处，综合数据是指不特定于特定个体的数据，而相反是通过使用算法、模型或物理实验所生成的数据。图3图示了针对该示例的用于计算感兴趣的患者特定的斑块有关的度量的工作流300。开始于步骤305，利用综合冠状动脉树而生成数据库。这些树可以通过使用进行于电脑中的或体外技术被生成。接下来，在步骤310处，为进行于电脑中的解剖模型执行流体固体增长（fsg）计算或者为体外解剖模型执行流实验。可以应用各种类型的斑块生长模型（以上所述的），其范围从非常简单的到非常复杂的模型。这些斑块生长模型可以与流体固体交互模型耦合。基于这些计算/实验，在步骤315处提取感兴趣的一个或多个斑块有关的度量。与步骤310-315并行地，在步骤320处从解剖模型提取几何和/或形态学特征。然后，在步骤325处，通过使用几何特征和（多个）目标特征来训练数据驱动的（多个）替代模型。

继续参考图3，一旦已经训练了替代模型，就在步骤330处应用它以预测从医学图像（x射线血管造影术、cta等等）所获得的患者特定的几何结构。例如，在图3中的步骤335处，从医学图像提取患者特定的冠状几何结构。接下来在步骤340处确定患者特定的冠状动脉树的几何特征以及斑块有关的特征。这些特征然后可以用作用于替代模型的输入数据。缺失的特征可以从分离的ml模型中被预测，或者通过使用综合几何结构数据库中的类似解剖体来被估计。图3特别地参考冠状循环，但是该方法可以类似地被应用用于心血管系统的其它部分。

图4a图示了根据一些实施例的用于生成综合进行于电脑中的数据的方法400。开始于步骤405，通过在树（如图4b中所可视化的）的每个生成时规定血管的数目初始化冠状几何结构的骨架。在步骤410处，为血管树（如图4c中所可视化的）的每个生成规定几何信息、诸如血管半径、锥化度、分支长度。在步骤415处，在冠状血管树（如图4d中所可视化的）中生成狭窄。然后，在步骤420处，确定在步骤415处所生成的所有狭窄的斑块组成（如图4e中所可视化的）。

除了在方法400的步骤420处所确定的斑块组成之外，在一些实施例中，可以生成不引发收缩的其它斑块（例如仅仅导致正性重建模的斑块）。可以遵循各种途径来确定这些综合生成的斑块的类型/组成。例如，在一些实施例中，从斑块类型（例如薄帽的纤维动脉粥样瘤、占主导的纤维斑块等等）的预定义列表中随机地选择综合生成的斑块的类型。随机选择还可以用于选择斑块材料的每个体积的中心（例如坏死核的中心、脂质核的中心等等），以及斑块材料的每个体积的形状和大小及其材料性质。另外，综合生成的斑块可以被生成以便模仿典型地与“高风险斑块”相关联的几何外观，诸如餐巾环形状和多斑点钙化、薄帽等等。重要的方面还有动脉壁的材料性质的确定；这些在步骤410期间被规定。

可以由ml模型使用的流相关的特征中的一些先前已经在2016年5月24日发布的、给itu等人的、题为“syntheticdata-drivenhemodynamicdeterminationinmedicalimaging”的、专利号为9,349,178的美国专利中被描述，所述美国专利的全部通过引用被并入本文中。另外，可以提取斑块有关的特征，在无限制的情况下包括斑块的大小/形状/体积、斑块的位置、正性重建模程度以及斑块组成（例如每个类型的斑块组分的体积/百分比）。此外，可以定义更高级的特征，类似于缺血性权重和缺血性贡献评分。这些高级特征可以在无限制的情况下包括斑块形成评分（例如描述某个位置处的斑块发展的可能性的特征）以及斑块生长评分（例如描述斑块生长速度的特征）。可以为斑块的不同组分定义不同的生长因子。另外，可以基于斑块破裂评分（例如描述斑块破裂可能性的特征）以及斑块血栓评分（例如描述斑块表面的血栓形成可能性的特征）来定义高级特征。先前提及的高级特征可以通过使用数学运算符从基本特征（例如几何结构、斑块形态学等等）中得到，或者可以通过分离的ml模型而被确定。

以上描述的方法参考其中利用斑块信息直接生成综合冠状几何结构的工作流。可替换地，可以生成健康冠状几何结构（在没有斑块的情况下），并且ml模型可以预测斑块形成的位置。在该情况下，可以利用在经学习的模型的在线应用期间从患者数据所提取的其它综合生成的特征来增强特征。这些特征可以有关于血液生物标记（例如胆固醇）、比如动脉系统压力之类的特性、或人口统计特征。

在一些实施例中，可以基于不同的fsg模型版本来训练多个类型的ml模型。如图5中所图示的，这些模型然后可以并行地被使用来用于预测斑块形成、发展和破裂。每个模型使用特征集（如上所述）以及还有时间步作为输入来为某个未来的时刻确定感兴趣的各种斑块有关的度量。该并行模型途径然后可以被迭代地应用来确定斑块/患者的时间上的演进。另外，置信度度量可以相关联于输出。例如，该置信度度量可以被定义使得时间步越小/ml模型所预测的时间跨度越短，置信度将越高。

图6图示了根据一些实施例的用于感兴趣的斑块有关的度量的预测的级联的、基于机器学习的工作流600。如以上所提及的，更多高级特征可以本身利用ml模型而被生成，导致多层级级联的途径。图6的示例使用仅仅血管解剖体的和斑块形态学的几何特征作为输入。该级联工作流中的每个层级使用在先ml层级的输出作为特征。在第一层级处，在步骤605处计算每个分支的缺血性权重并且在步骤610处确定几何/斑块形态学特征。在第二ml层级处，在步骤615处计算缺血性贡献评分并且在步骤620处确定动脉结构的每个位置处的雷诺（reynolds）数。接下来，在第三ml层级处，在步骤625处预测感兴趣的血液动力学度量（例如，流、压力、wss、tawss、wssg、osi、相对驻留时间、螺旋形流的存在、组织应力等等）。在第四ml层级期间，计算感兴趣的斑块有关的度量。最后，在第五ml层级处，在步骤630处预测将来心血管事件的风险。

上述ml模型在训练阶段期间使用完全综合的数据。由ml模型为患者特定的数据所预测的结果可以潜在地通过使用患者特性而被改善。因此，在上述级联的ml工作流中，可以引入附加层级。首先，由在单纯综合的数据上教导的算法来预测结果，然后，最终的ml算法除了患者特性外还使用先前的算法所预测的结果作为特征以便改善最终预测。

用于第二ml算法的特征可以包括例如患者人口统计特征、病理学历史、先前的心血管历史、非侵入性应力测试结果、运动心电图（ecg）应力测试结果、运动放射镜测试结果、血液生物标记、以及患者过去或当前使用的药物。一个可能性是利用在先案例的患者特定数据来构建数据库并且在级联的ml途径期间使用该数据库。如先前所描述的，在第一步骤期间，在综合数据上教导的ml算法用于生成感兴趣的度量的第一预测。在第二步骤期间，针对患者特定的数据所提取的特征用于在患者数据库中寻找类似的情况并且应用最终ml模型来用于预测感兴趣的度量的最终值。

在一些实施例中，分离的ml模型可以用于为感兴趣的斑块有关的度量的估计提供置信区间，如在图7中所呈现的工作流700中所示的。简要地，第一步骤是要在综合数据中使用一组不确定的输入变量（例如血管直径、斑块体积等等）、通过fsg模型传播该不确定性并且确定感兴趣的度量的不确定性。然后可以基于所提取的特征、通过ml模型来学习不确定性。然后为患者特定的几何结构提取相同的特征，并且自动地或由用户指定输入数据中的不确定性，并且通过使用ml模型，提供感兴趣度量的的所估计度量的置信度。由于这样的ml模型需要大型数据库，所以图7在以下参考由综合数据组成的数据库而被描述；然而，应当理解的是，可以同样地使用包括综合和/或患者特定数据的数据库。另外，图7特别地参考冠状循环，但是在该示例中详述的该方法可以类似地被应用用于心血管系统的其它部分。

在图7中开始于步骤705，生成数据库，其包括具有斑块信息的综合冠状树，如对于fsg模拟所需要的。接下来，在步骤710处，指定输入不确定性，例如由用户指定或基于先前使用的设置而被指定。这些输入不确定性可以关于例如血管几何结构、斑块几何结构、材料性质等等。基于在步骤705和710处所收集的信息，在步骤715处，提取血管解剖模型的几何特征以及感兴趣的其它特征。接下来，在步骤720处，通过使用在步骤710处所指定的不确定的输入变量而为进行于电脑中的模型执行基于物理的计算。然后，基于从步骤720所生成的结果，在步骤725处为每个感兴趣的斑块有关的度量确定置信区间。

继续参考图7，在步骤730处，数据驱动的替代模型被训练以通过使用基于ml的方法而预测感兴趣的斑块有关的度量的置信区间。在步骤740-745处，从成像数据（cta、xa、mri等等）提取患者特定的血管解剖模型，并且自动地或根据用户输入来估计数据的不确定性。另外，在步骤750处，从患者特定的血管解剖模型提取几何特征和感兴趣的其它特征。最后，在步骤735处，所述替代模型用于通过使用在步骤740-750处所生成的数据来预测感兴趣的斑块有关的度量的置信区间。

如上所述，本文中描述的技术的一个可能的应用是要为患者确定将来筛查日期。因而，当患者经历该筛查检查时，除了基线数据之外的新数据集变得可用。通常，如果多个数据集可用于患者，则该附加信息可以用于进一步改善基于ml的预测。例如，从所述附加信息提取的特征可以直接被用作输入特征。而且，从所述附加信息提取的特征可以用在级联ml途径的中间层级（例如用于图6中的工作流）。这些附加特征可以在第四层级处被用作输入数据以获得对斑块形成、演进和破裂的更好的预测。此外，可以安排后续检查，不仅用于筛查目的，而且还在较少/较多心血管事件的情况中。

在一些实施例中，本文中描述的技术能够包括从测量中提取的信息：如果斑块有关的特征的测量可用（例如，如通过ivus或oct所获取的），则系统可以使用该信息来在各处改善预测的准确性。此外，在提供数据的位置处的原始预测中的误差可以用于改善模型的未来性能。用户采取来改善自动标识的特征的校正性动作可以用于改善未来的特征检测。系统可以能够从用户输入中学习。此外，如果结果上的附加数据变得可用，则经学习的模型可以本身被连续地改善。可以在全局层级上或以位置特定的方式执行该改善。这允许系统基于患者人口统计特征而计及解剖趋势。如果斑块有关的特征的测量变得可用，则系统可以自动地或半自动地标识离群值情况。这些情况然后可以用于创建对离群值的特征进行模仿的综合几何结构的新集合，连同已经可用的训练集一起来改善模型预测。除了解剖之外，如果斑块有关的测量也是可用的（例如经由ivus或oct），那么它们也可以被并入在机器学习途径中。为了这样做，训练数据被附有表征斑块的新特征。在预测阶段中，如果这些“斑块”有关的特征的测量值是可用的，则它们可以被用作特征。在它们不存在的情况中，模型可以用于从数据库中寻找类似的患者，从几何特征到达不同分支中斑块特征的数据驱动的估计。

尽管可以生成非常大量的综合情况以用于训练ml算法，但是这些将典型地不覆盖所有患者特定的情况。因此，当使用ml算法来为患者特定的数据预测结果的时候，可能出现在所预测的和所测量的输出之间的差匹配。在该情况中，图8中所显示的工作流800可以用于充实综合情况的数据库以便改善针对导致差匹配的患者特定的情况的预测。工作流800还可以直接在工作站上被执行（由于综合数据的生成可以完全自动化）。开始于步骤805，作为在所预测的测量和所获取的患者特定的测量之间的差匹配的患者特定的情况被标识，例如，由用户手动地标识，或利用ml途径、基于数据中一个或多个特征的存在而自动地被标识。此处的术语“匹配”稍微灵活，因为用于确定何时两个测量等同的容差可以按需被调整。例如，在一些实施例中，针对所预测的测量的值的可接受范围可以受限于所测量的值的1%内的值。在其它实施例中，可以使用较小或较大的百分比，这取决于例如正被测量的数据的类型。继续工作流800，在步骤810处，确定差匹配的原因，再次地这基于用户输入或通过使用ml模型。在步骤815处，利用与具有差匹配的情况中遇到的特征值类似的特征值来生成新的综合情况。然后，在步骤820处，在整个数据库上再训练ml模型。

体外研究是用于研究斑块形成、演进和破裂的重要可替换方案。由于在体外研究中可以精确地控制实验条件，所以ml模型可以被训练以通过使用根据如在图9中呈现的工作流900中所示的这样的研究而构建的数据库来预测斑块的形成、演进和破裂。在步骤905处，执行与斑块形成、演进和破裂有关的体外研究。接下来，在步骤910和915处，提取感兴趣的特征和感兴趣的斑块有关的度量。感兴趣的特征可以在无限制的情况下包括人造血管的几何结构、通过直接或间接测量所获得的人造血管中的血液动力学（例如流率、速度、压力、切变应力等等）以及斑块组成。然后，在步骤920处，一个或多个数据驱动的替代模型被训练以用于通过使用ml模型来预测感兴趣的斑块有关的度量。

图10图示了根据一些实施例的可以用于生成训练数据库的示例体外模型1000。模型1000包括人造体外血管1025（或血管树）。泵1005通过体外模型而使具有与人血的性质类似的性质的流体循环。液压阻抗1010被耦合到末端体外分段。连同泵1005一起，液压阻抗1010在体外模型1000中生成现实水平的压力。储库1015收集流体。一个或多个封堵器1020在体外模型1000中生成收缩。

心血管组织1030（内皮、斑块材料等等）被置于人造体外血管1025的内表面上。例如，动脉粥样硬化的基本人体体外模型可以包括以某些风险因子（炎症因子、氧化的低密度脂蛋白、高层级葡萄糖）所处理的简单内皮培养以及包括人体白血球或平滑肌细胞的共培养。模型1000还可以包括用于确定血液动力学度量的各种测量设备，包括压力换能器1040、流量计1045以及用于测量流体速度的多普勒探针1035。另外，压力或流测量导管（图1000中未示出）可以用于增加高度狭窄或小直径血管中对所测量的量的影响。

体外模型1000可以以众多方式被修改以生成大量设置。例如，在不同实施例中，以下特性可以变化：封堵器的数目、位置和形状；阻抗；泵动作；侧边分支的数目（可以包括总闭塞）；心动、呼吸（4d体外模型）；心率、流、流曲线、任何特定的冠状或心脏疾病、旁路、旁系流的效应；斑块类型（例如tcfa、被侵蚀的斑块等等）；斑块组成；流体组成（例如胆固醇水平）。此外，上述体外研究可以在正常或微流体尺度上、以及以2d或以3d被执行。

与图10中所显示的那个类似的体外研究可以可替换地用于得到斑块形成、演进和破裂的数学表示的简化版本（斑块有关的管控方程的简化版本）。尽管在开发基于ml的模型以用于动态过程的实时预测中已经报告了重大进步，但是这些模型仅仅可以在ml模型的训练期间考虑过的条件下被应用。因此，这些模型不能外推到训练阶段期间所考虑的特征值的范围之外。

为了外推到训练阶段期间所考虑的特征值的范围之外，在一些实施例中，利用基于动态系统发现的理论的途径。主要想法是：可以利用对于系统的动力学最相关的仅仅一些项来对多数物理过程进行建模。因而，管控方程可以被认为在高维非线性函数空间中是稀疏的，并且被表示为：

其中x是状态向量并且f表示系统的动态约束。注意到，利用该途径，收集并且使用状态向量的时间历史。模型复杂度和准确性自然地平衡。状态向量的导数要么被测量，要么根据状态向量的时间历史而在数值上被确定。

标识问题的重要步骤是指定候选非线性函数（在函数的选择上没有限制）。如果在给定标识问题后的基础物理知识是可用的，则它可以用于导出候选非线性函数。例如，在斑块有关的应用的情况中，在过去已经提出了各种增长模型。各种途径然后可以用于确定对于给定的标识问题哪个非线性项是有效的。

图11示出了根据一些实施例的用于在根据得自体外数据的基于物理的模型所生成的进行于电脑中的数据上训练ml模型的工作流1100。该工作流1100是图9中的工作流的扩展，其基于用于动态系统发现的上述方法。开始于步骤1105，执行体外研究，其跨越大但是有限种类的条件（在几何结构、血液动力学、斑块组成和结构等等方面）。在步骤1110处，应用非线性动态系统方法以得到与斑块形成、演进和破裂有关的简化的管控方程。接下来，在步骤1115处，与以上关于图4所描述的方法类似的方法用于生成综合进行于电脑中的数据，本文中基于步骤1110处得到的模型。然后，在步骤1120处，一个或多个ml模型被训练以用于基于步骤1115处所生成的综合数据而实时预测感兴趣的斑块有关的度量。

图11中所示的该工作流1100组合在先前的章节中所描述的方法和工作流的优点，因为它并入了从对现实斑块有关的血液动力学进行模拟的体外模型所提取的信息。由于简化的管控方程基于这些实验而被学习，所以可以外推到在体外研究中所遇到的状况之外（由于客观约束、比如时间和预算，典型地仅仅可以执行有限量的体外研究）。然而，取决于所得到的管控方程的性质，这些可以仅仅允许数值解，其进而需要大的执行次数。通过基于管控方程而运行综合进行于电脑中的实验，并且学习在输入条件的给定集合与感兴趣的斑块有关的度量之间的映射，可以实现基于实时的预测。

对于非线性动态系统发现方法的可替换方案已经在最近被介绍并且被称为场反转和机器学习（fiml）。该技术已经被用于补充现有的数学模型以便获得与实验的更好匹配。逆向建模技术被采用以得到校正项（其可以在空间上和/或在时间上分布），并且ml技术用于重构造模型校正（即模型中出现的附加函数形式）。

ml模型还可以被用于在医学图像上执行斑块组织学。例如，图12在左侧示出了具有四个主要组分的动脉粥样硬化斑块并且在右侧示出了其在cta图像上的外观：不同的斑块成分具有不同的密度并且因而导致在医学图像上的不同外观（例如发现脂质密度低于胶原或平滑肌密度）。

图13示出了用于训练ml模型以执行基于图像的斑块组织学的工作流1300。在步骤1305处，预备斑块样本。这些可以通过组织工程学、尸体提取、动脉内膜切除术（例如颈动脉）等等中任一个而被获得。在步骤1310处，通过使用任何可用的医学成像技术（cta、mri、xa、us等等）而获取斑块样本的医学图像。在步骤1320处，基于斑块样本而提取感兴趣的度量（即执行斑块组织学）。在步骤1315处，从所获取的医学图像中提取感兴趣的斑块有关的特征。这些特征可以在无限制的情况下包括图像的不同部分中的灰度值、近邻区的灰度值等等。此外，在一些实施例中，动脉壁应变可以用作与斑块组成有关的特征（低应变——纤维组织；大应变——脂质组织）。然后，在步骤1325处，一个或多个ml模型被训练以基于医学图像而执行斑块组织学。

这样的ml模型将能够补偿例如在钙化斑块的情况中在cta图像上存在的晕状伪影。在ml工作流中还可以采用放射基因组学特征（与病理的基因组学相联系的成像生物标记）。在不同的实施例中，通过血管内医学成像技术（ivus、oct等等）获取的斑块有关的数据可以用于确定感兴趣的度量的地面实况值。例如，可以既通过cta又通过ivus来研究一组患者。基于ivus的虚拟组织学可以用于确定每个斑块的主要成分并且然后用于训练先前提及的ml模型。

在不同的实施例中，图11中显示的工作流1100的经修改的版本可以被采用以执行基于图像的斑块组织学。例如，非线性动态系统发现方法可以用于得到医学图像生成的管控方程（通过使用体外研究——真实组织样本或虚拟组织学研究）。然后，所得到的管控方程于是可以用于生成大量的综合斑块组成和对应综合图像对。最后，关于图11所讨论的ml模型可以被训练用于执行基于图像的斑块组织学。

在另一实施例中，ml模型可以用于在医学图像上标识斑块（以及可能地还有斑块组成）。例如，图14在左侧显示了用于训练一个或多个ml模型以用于在医学图像上标识斑块的工作流1400。从具有血管的医学图像的大型数据库开始，在步骤1405处，在图像上标识血管内腔。这可以自动地、半自动地或全自动地被执行。接下来，在步骤1410处，在图像上手动地标识（分割）斑块。斑块可以相关联于血管窄化（如在图14的右手部分中所显示的）或否。步骤1410可以涉及例如绘制轮廓、在（不同斑块成分）的斑块边界上标识一组点等等。然后在步骤1415处，一个或多个ml模型被训练以在医学图像上标识斑块。前两个步骤在一些实施例中还可以同时被执行。高级学习技术、比如加强学习可以与深度学习技术相组合以基于用户执行的动作来特别地学习而同时手动地标识/分割斑块。

ml算法还可以用于标识易受损病变（其可以或可以不是流限制的）。图15图示了用于执行单独病变评定的工作流1500。在该工作流1500中，易受损病变被自动标识并且虚拟地密封。用于评定感兴趣的斑块有关的度量的算法被适配以便移除易受损病变对解剖模型的血液动力学和未来演进的影响（在该情况中，初始几何结构不是必须被修改）。

开始于图15的步骤1505，其中病变被密封的综合冠状动脉树的数据库被生成。接下来，在步骤1510处，为进行于电脑中的模型执行fsg计算或者为体外模型执行流实验。在步骤1515和1520处，相应地，从数据库提取冠状动脉树的经修改的特征以及从fsg计算/流实验提取感兴趣的斑块有关的度量。然后，在步骤1523处，数据驱动的替代模型被训练以用于通过使用机器学习方法而预测感兴趣的度量。

继续参考图15，在步骤1530处，从医学图像（x射线血管造影术、cta等等）提取患者特定的冠状几何结构。接下来，在步骤1535处，提取患者特定的冠状动脉树的经修改的特征。例如，一个途径将包括修改与斑块生长有关的特征。然后，在步骤1525处，替代模型用于预测感兴趣的患者特定的、斑块有关的度量。在设备治疗（诸如安支架、移植法等等）的情况中可以使用类似的算法/工作流，而感兴趣的度量可以是紧随斑块和/或血栓发起和增长的设备的可行性/效力。

在动脉粥样硬化斑块的上下文中的另一重要应用是基于药物的治疗计划。用于治疗动脉粥样硬化的典型处方药包括他汀类药物（降低ldl胆固醇的水平）；贝特类（降低甘油三酸酯水平）；尼克酸（降低甘油三酸酯和ldl二者）；依泽替米贝（降低消化系统中胆固醇吸收的水平）；胆汁酸螯合剂（降低胆汁酸水平，其进而增加胆固醇使用，导致较低的胆固醇水平）；以及抗炎症白介素（il）-13（引发斑块稳定性）。

基于ml的工作流可以用于估计基于不同药物的治疗计划的效果并且为每个患者选择最佳可能的治疗计划，如在图16中所呈现的工作流1600中所示的。该工作流1600的关键要素是存在数据库1605，所述数据库1605包含与用于各患者的不同治疗计划有关的纵向数据。这可以例如基于在不同时间点获取的数据而被生成。在步骤1625处使用该数据库来训练ml模型以预测治疗计划的效果。

继续参考图16，在步骤1610处，从医学图像（xa、ct、mri等等）、非侵入性患者数据（人口统计学、患者历史等等）以及血液生物标记中提取患者特定的几何结构。接下来，在步骤1615处，从患者特定的几何结构提取感兴趣的几何的和斑块有关的特征。最后，在步骤1620处，经训练的ml模型用于基于感兴趣的几何的和斑块有关的特征来预测治疗计划的效果。

分离的ml模型可以被训练用于不同的药物（他汀类药物、贝特类、尼克酸、依泽替米贝、胆汁酸螯合剂）；药物的不同组合；评定治疗计划中改变的效应；已经遭受过心血管事件的患者；以及没有心血管事件的患者。由ml模型预测的感兴趣的结果度量可以是最优的治疗计划（例如，哪种药物、哪种量等等）、降低斑块生长速率/停止斑块生长、降低心血管事件风险等等。另外，在一些实施例中可以使用级联ml途径（例如，如以上参考图6所描述的）。级联中的第一ml模型可以聚焦于预测感兴趣的血液动力学和斑块有关的度量以及第二ml模型可以聚焦于预测治疗计划的效果。

可以在扫描仪上、或在另一设备、诸如成像工作站上使所计算的结果可视化。以上提及的与斑块有关的感兴趣的度量中的全部可以被可视化，在无限制的情况下包括与动脉粥样硬化斑块有关的心血管事件的风险（单个评分或作为取决于时间的曲线）；将来筛查日期；斑块组成（例如斑块中斑块组分的绝对/相对值）；感兴趣的斑块演进有关的度量（例如，斑块的未来大小、形状、组成和位置）；斑块的形成、演进和破裂；感兴趣的支架中再狭窄有关的度量（例如，再狭窄度、开始时间等等）；需要密封的病变；以及治疗计划（例如，紧随斑块和/或血栓发起和增长的药物治疗的效力、设备的可行性/效力）。

在图17中显示了基于冠状cta图像的示例。图像上的任何点（有关于或不有关于冠状斑块）可以被查询（定点&点击）以得到感兴趣的度量的相关联的值，并且对应的值被示出为叠覆到图像。作为示例，感兴趣的点/斑块可以被选择并且对应的斑块组成、未来筛查数据、与斑块相关联的心血管事件的风险等等可以被显示（图17）。可替换地，在一些实施例中，用户可以激活“无点击”模式，在所述情况中通过仅仅将光标定位在感兴趣的位置上而与光标对应地显示感兴趣的值。系统可以提供触摸屏，所述触摸屏使能与感兴趣的解剖对象的交互（例如用于旋转、缩放、平移等等的手势）。定点和触摸功能性可以使得系统在触摸点处显示感兴趣的值。此外，血管的解剖模型可以基于感兴趣的度量的值而被颜色编码（连续或离散的颜色映射图可以用于该目的）。以上提及的途径可以用于3d或2d可视化，其可以基于平面上结果的投影。

当使用不同模态或来自相同模态的多个获取（一个用于特征提取、另一个用于可视化）时，图像和特征的配准（空间和时间性的）是重要的先决条件。这可以例如通过指定图像系统（在它们被配准的情况中）的信息、在图像上运行算法、或手动地由用户通过选择地标来完成。当在检查和可视化期间采用相同扫描仪时，特征可以是表位置、成角等等。如果感兴趣的度量是表示整个解剖模型的值（例如心血管事件的风险/未来筛查日期），则该值可以被显示在屏幕上。用户可以考虑不同的治疗选项，并且不同的结果可以同时被显示在屏幕/图像上以便使能不同选项的快速评估。感兴趣的斑块有关的度量的可视化可以与病变特定的诊断指数（例如冠状ffr）的可视化相组合。这可以此外关于应当治疗哪个病变而告知用户。

图18中显示了另一示例。为不同的将来日期生成不同的图像，而显示所预测的斑块和斑块大小：斑块大小逐渐增大，并且还有新的斑块形成。

可以对本文中描述的基于学习的生成性方法做出各种附加特征、增强和其它修改以向所公开的技术提供附加的扩展。例如，在一些实施例中，基于学习的生成性方法可以用于还预测动脉瘤的形成、解剖、炎症或血管壁的其它的这样的疾病。在其它实施例中，所述方法可以用于还预测心肌瘢痕的形成（由于不足的氧供给）、血管生成的开始、或各种器官中肿瘤的形成。可替换地（或附加地），可以使得基于学习的生成性方法可用作服务，其可以被医院/临床医师呼叫以获得与以上提及的方面有关的患者特定的预测。

ml模型的一个优点是在线预测极快；它几乎即时地输出结果（在几秒内）。例如，它们可以直接在位于诊所/医院处的工作站上运行。然而，可以存在以下情形：其中可能需要混合现场-场外处理工作流。例如，场外处理可以提供将不会在现场可得到的更详细的信息或附加的信息，这通过对处理时间的不太严格的要求所使能。这样的场景的示例包括采用在场外而不是在现场可得到的复杂计算模型，提供如与现场处理相比的不同的分析或选项（例如治疗计划可能只在场外可得到）等等。类似地，在需要医学图像的时候现场评定可能不可得到。这可能例如由于成像工作站的限制（不兼容的硬件或软件配置），或提供处理功能性的工作站的不可用性。在该情况中，场外处理可以被提供作为可替换方案，以产生与现场对应物相同的结果，或具有选择不同分析或选项的可能性。

此外，现场评定可以是无结果或不确定的，这是由于感兴趣的量的固有不确定性。在该情况中，场外处理可以包括咨询医学专家（人或数据库）以找到最佳的动作过程，这例如基于具有类似特性的在先临床病例。在另一场景中，现场评定提供感兴趣的量的第一估算（例如，不是所有的图像特征可以在具有置信度的情况下被提取）；在该情况中，场外处理可以包括进一步的图像处理以提取更多的图像特征或具有更多置信度/更少不确定性。场外处理还可以包括评估较大特征集（例如，非图像特征、诸如患者的临床史、骨折的风险因素等等），所述较大特征集可以被并入在预测器中以改善评定。如果相同类型的数据在不同的时间点可用，则在当前时间点所需的数据可以在现场被分析并且然后被发送到场外以用于与在先获取的比较性分析。这可以用于确定病理/患者的演进以便提出最优治疗策略。

为了实现场外处理，基于云的计算环境可以被使用，其中客户端设备与服务器通信，所述服务器托管高度有效的计算平台。在一些实施例中，该计算平台提供并行处理能力。可以使用的并行处理平台的一个示例在以下关于图19被说明。

另外，在一些实施例中，本文中描述的工作流可以被实现在便携式设备上（作为可穿戴计算的实例）并且与可穿戴传感器组合以用于对所获取数据的在线处理。在其它实施例中，实现本文中描述的工作流的计算系统可以与个人助理（例如apple的siri）组合，以自然语言与个体交互（例如，请求数据的获取；或为患者的健康管理计划所要求的动作提供提醒；或提供对用户动作的反馈，诸如对于特定食物或饮品的假设的风险评分）。

作为对本文中描述的技术的附加补充，一旦执行了模型并且确定了预测（例如关于患者结果、对于追踪的建议等等），可以自动生成报告，其以结构化格式（例如，可扩展的标记语言、word文档格式、或excel文档格式）呈现所有发现。所述报告可以是医院数据库中的患者记录的部分。

图19提供了可以用于实现ml模型的并行处理平台1900的示例以及本文中讨论的各种工作流的其它方面。在本发明的实施例中可以使用该平台1900，其中使用nvidiacuda™（或类似的并行计算平台）。架构包括经由总线1915（例如pcie总线）连接的主机计算单元（“主机”）1905以及图形处理单元（gpu）设备（“设备”）1910。主机1905包括中央处理单元，或“cpu”（图19中未示出），以及对于cpu可访问的主机存储器1925。设备1910包括图形处理单元（gpu）及其相关联的存储器1920，所述相关联的存储器1920在本文中被称为设备存储器。设备存储器1920可以包括各种类型的存储器，其各自被优化用于不同的存储器使用。例如，在一些实施例中，设备存储器包括全局存储器、常量存储器和纹理存储器。

大数据平台和/或大模拟平台的并行部分可以在平台1900上被执行，作为“设备内核”或简单地“内核”。内核包括被配置成执行特定功能的参数化代码。并行计算平台被配置成基于参数、设置和用户提供的其它选择跨平台1900以最优方式执行这些内核。另外，在一些实施例中，并行计算平台可以包括附加功能性以允许以最优方式、在用户提供的最小限度输入的情况下对内核进行自动处理。

对于每个内核所需的处理由线程块的网格执行（在以下更详细地描述）。通过使用并发内核执行、流、以及与轻量事件的同步，图19的平台1900（或类似的架构）可以用于使在训练或利用本文中讨论的工作流中执行的基于模型的操作的部分并行化。例如，在其中卷积神经网络被用作ml模型的实施例中，平台1900可以用于利用综合的或患者特定的数据来执行操作，诸如前向和后向卷积、池化、正规化等等。

设备1910包括一个或多个线程块1930，所述线程块表示设备1910的计算单元。术语线程块是指可以经由共享存储器协作并且同步它们的执行以协调存储器访问的线程群组。例如，在图19中，线程1940、1945和1950在线程块1930中操作并且访问共享的存储器1935。取决于所使用的并行计算平台，可以以网格结构来组织线程块。计算或计算系列于是可以被映射到该网格上。例如，在利用cuda的实施例中，计算可以被映射到一维、二维或三维网格上。每个网格包含多个线程块，并且每个线程块包含多个线程。例如，在图19中，以具有m+1行和n+1列的二维网格结构来组织线程块1930。通常，相同网格的不同线程块中的线程不能与彼此通信或同步。然而，相同网格中的线程块可以同时在gpu内的相同的多处理器上运行。每个线程块中的线程的数目可以受硬件或软件约束所限制。

继续参考图19，寄存器1955、1960和1965表示可用于线程块1930的快速存储器。每个寄存器仅仅可由单个线程访问。因而，例如，寄存器1955可以仅仅由线程1940访问。相反，共享的存储器按线程块被分配，因此块中的所有线程可以访问相同的共享存储器。因而，共享的存储器1935被设计成由线程块1930中的每个线程1940、1945和1950并行地访问。线程可以访问共享存储器1935中的、由相同线程块（例如线程块1930）内的其它线程从设备存储器1920所加载的数据。设备存储器1920由网格的所有块访问并且可以通过使用例如动态随机存取存储器（dram）实现。

每个线程可以具有一个或多个层级的存储器访问。例如，在图19的平台1900中，每个线程可以具有三个层级的存储器访问。首先，每个线程1940、1945、1950可以向其对应的寄存器1955、1960和1965读取和写入。寄存器提供对线程的最快存储器访问，这是由于没有同步问题并且寄存器一般位于靠近执行线程的多处理器处。其次，线程块1930中的每个线程1940、1945、1950可以向对应于该块1930的共享存储器1935读取和写入数据。通常，线程访问共享存储器所需的时间超过寄存器访问所需的时间，这是由于在线程块中的所有线程之中同步访问的需要所致。然而，如同线程块中的寄存器，共享存储器典型地位于靠近执行线程的多处理器处。第三层级的存储器访问允许设备1910上的所有线程向设备存储器读取和/或写入。设备存储器需要最长的访问时间，因为必须跨设备上操作的线程块来同步访问。因而，在一些实施例中，数据可以通过使用本领域中一般已知的数据局部性技术而被划分成分段。然后，可以通过使用寄存器存储器来并行地处理每个分段，其中共享的和设备存储器仅仅在必要时被使用以组合结果来提供针对完整数据集的结果。

本公开内容的实施例可以利用硬件和软件的任何组合被实现。例如，除了图19中所呈现的并行处理架构之外，标准计算平台（例如服务器、台式计算机等等）可以被特殊地配置以执行本文中讨论的技术。另外，本公开内容的实施例可以被包括在具有例如计算机可读、非暂时性介质的制品（例如一个或多个计算机程序产品）中。介质可已经在其中具体化了用于提供和促进本公开内容的实施例的机制的计算机可读程序代码。所述制品可以作为计算机系统的部分被包括或者被分离地出售。

虽然在本文中已经公开了各种方面和实施例，但是对于本领域技术人员而言，其它方面和实施例将是显而易见的。本文中公开的各种方面和实施例用于说明的目的并且不意图是限制性的，其中真实的范围和精神由随后的权利要求指示。

如本文中所使用的可执行的应用包括用于调节处理器以实现预定功能、诸如操作系统、上下文数据获取系统或其它信息处理系统的那些功能的代码或机器可读指令，这例如响应于用户命令或输入。可执行过程是代码段或机器可读指令、子例程、或代码的其它不同区段、或者用于执行一个或多个特定过程的可执行应用的部分。这些过程可以包括接收输入数据和/或参数、在所接收的输入数据上执行操作和/或响应于所接收的输入参数而执行功能，以及提供结果得到的输出数据和/或参数。

如本文中所使用的图形用户接口（gui）包括一个或多个显示图像，所述显示图像由显示处理器生成并且使能与处理器或其它设备的用户交互以及相关联的数据获取和处理功能。gui还包括可执行过程或可执行应用。可执行过程或可执行应用调节显示处理器以生成表示gui显示图像的信号。这些信号被供应到显示设备，所述显示设备显示图像以供用户查看。处理器，在可执行过程或可执行应用的控制下，响应于从输入设备接收的信号而操纵gui显示图像。以此方式，用户可以通过使用输入设备而与显示图像交互，从而使能与处理器或其它设备的用户交互。

本文中的功能和过程步骤可以自动地或者完全或部分地响应于用户命令而被执行。自动执行的活动（包括步骤）在没有用户对活动的直接发起的情况下、响应于一个或多个可执行指令或设备操作而被执行。

各图的系统和过程不是排他性的。根据本发明的原理可以得到其它系统、过程和菜单以实现相同目标。尽管已经参考特定实施例描述了本发明，但是要理解到本文中所示和描述的实施例和变型仅仅用于说明目的。在不偏离本发明范围的情况下，可以由本领域技术人员实现对当前设计的修改。如本文中所述，可以通过使用硬件组件、软件组件和/或其组合来实现各种系统、子系统、代理、管理器和过程。本文中没有任何权利要求要素将在35u.s.c.112第六段的规定下被解释，除非通过使用短语“meansfor（用于……的构件）”明确地记载了该要素。