基于机器学习的基于内容的医学成像渲染的制作方法

本专利文件依35 U.S.C.§119 (e)要求2016年3月10日提交的临时美国专利申请序列号62/306,407的申请日的权益，其通过引用并入本文。

背景技术：

本实施例涉及三维（3D）扫描的医学成像。表示体积的数据被渲染以用于可视化。由于许多不同的扫描设置和患者可变性，针对不同患者或在不同时间的渲染（rendering）看起来也不相同。

为了降低可变性，大多数现有的医学渲染提供了针对特定工作流程或诊断背景（context）的静态可视化预设的集合。即使利用静态预设，该渲染也可能要求手动调整并可能不提供一致的渲染结果。半自动机器学习方法已经用于在传统体渲染（例如，投影或阿尔法混合）中提供传递函数设计，但是可能仍无法充分地降低可变性。

可变性对于依赖光传播（例如，无偏路径追踪）的物理仿真的基于物理的体渲染而言特别棘手。基于物理的可视化技术在计算机生成的图形中产生全局照明效果，该全局照明效果模仿光与各种3D物体或组织的真实世界交互。这产生了当与来自传统渲染的更具分析性的图像相比时常常更易于人脑解释的物理上貌似可信的图像。例如，微妙的环境遮挡、阴影和渗色为单个2D图像中的结构之间的3D关系的空间理解提供了重要的深度线索，而更简单的可视化技术可能要求与观看参数的附加的交互（例如，移动3D数据周围的虚拟相机）以从图像视差中获得相同的空间信息。

这些基于物理的可视化技术对潜在的医学数据的分类或解释中的变化更加敏感。因此，如与基于沿着观看射线的分类体素的组成的传统体渲染技术相比，渲染参数的小变化可能对最终图像中的3D结构的感知和解释具有更显著的影响。获得具有诊断意义的很高质量的可重现图像则是部分地由用户自行决定的。尽管用于提供可视化预设的现有技术可以有帮助，但是工作流程不是完全自动化的，并且所得到的渲染图像可能跨数据集不具有一致的定量特性（颜色、色调、反射率等）。

技术实现要素：

通过介绍的方式，下面所描述的优选实施例包括用于对人工智能进行机器训练以及使用该人工智能以提供渲染设置的方法、系统、指令和计算机可读介质。通过使用深度学习和/或其他机器训练，即使在基于物理的渲染中也可以为一致的成像或可视化提供多个渲染参数的设置。

在第一方面中，提供用于渲染系统中的基于机器学习的基于内容的渲染的方法。从存储器加载表示患者的三维区域的医学数据集。机器将该医学数据集应用于经机器学习的非线性模型。经机器学习的模型利用深度学习被训练成从医学数据集中提取特征，并且被训练成基于医学数据集的输入来输出针对两个或更多的基于物理的渲染参数的值。所述两个或更多的基于物理的渲染参数中的至少一个是针对一致的数据处理、照明设计、观看设计、材料适当性或内部渲染器性质的控制。基于物理的渲染器使用从该应用中得到的输出值来渲染患者的三维区域的真实感图像。传输该真实感图像。

在第二方面中，提供用于针对机器训练系统中的基于内容的渲染的机器训练的方法。患者体积的第一体积数据、该体积的第一图像、以及路径追踪渲染参数的第一值被输入到人工智能的训练。机器训练该人工智能以输出针对第二体积数据的路径追踪渲染参数的第二值，其中该第二值提供了在第一图像上建模的第二体积的第二渲染图像。存储经训练的人工智能。

在第三方面中，提供用于基于机器学习的基于内容的渲染的系统。医学扫描仪被配置成扫描患者。机器被配置成通过将来自扫描的数据应用到经机器学习的模型来输出针对渲染参数的设置。渲染参数包括窗口化、传递函数和照明，并且设置被学习以针对相同诊断背景从与一个或多个第二图像相似的数据中提供第一图像。图形处理单元被配置成使用该设置来渲染第一图像。

本发明由以下权利要求所限定，并且不应当将本部分的任何内容视为对那些权利要求的限制。本发明的进一步的方面和优点在下面结合优选实施例讨论，并且可以在以后单独或以组合来要求保护。

附图说明

部件和附图不必然按比例绘制，而是将重点放在说明本发明的原理上。此外，在附图中，相似的标号贯穿不同视图表示对应部分。

图1是用于针对基于内容的渲染的机器训练的方法的一个实施例的流程图示图；

图2是用于渲染系统中的基于机器学习的基于内容的渲染的方法的实施例的流程图；并且

图3是用于基于机器学习的基于内容的渲染的系统的一个实施例的框图。

具体实施方式

医学图像的基于内容的真实感渲染是基于机器学习的。为了从3D医学扫描中（特别是当使用基于物理的渲染技术时）产生一致的渲染图像，经机器学习的非线性模型基于3D医学扫描的内容来确定渲染设置。由于扫描参数、数据对比度、噪声、和/或大量渲染参数之间的可变性，产生允许一致的视觉解释的渲染图像已是长期存在的挑战，这已妨碍了广泛采用3D图像用于决定性的决策支持。

在一个实施例中，深度学习生成针对用于真实感渲染部件的渲染参数的设置，从而建立一致的可视化设计。该设计可以被应用到新的3D图像数据以便在诊断工作流程内提供可靠的视觉解释。图像特征和可选地可用非图像数据被映射到产生最佳图像的渲染参数的集合，其中该两者之间的关系在一般情况下是高度非线性的。通过将渲染流水线的整个或多个部分作为目标，可缩放解决方案利用机器学习并支持一致的真实感渲染。

针对3D图像的一致的视觉解释可以潜在地简化诊断工作流程并且可以促进3D数据的临床应用以用于决策支持。可以在新的平台和工作流程（诸如，全自动报告和基于云的渲染服务）中提供一致的真实感渲染图像。作为机器学习问题的一致的可视化设计可以应用于：1）以统一且可伸缩的方式来优化为许多种数据类型量身定制（tailor）的渲染预设设计，2）基于所提供的输入将渲染参数适配成产生目标一致的结果，3）将渲染参数适配成特定个人偏好，4）将专家训练结果传递到非专家用户，5）增加渲染图像中的视觉特征（例如，医学图像中的病理）的醒目度，以及6）为特定工作流程提供自动渲染预设。在临床工作流程中为全自动化图像生成提供可缩放框架。

图1示出了用于机器训练系统中的针对基于内容的渲染的机器训练的方法的一个实施例。可以经由对人工智能系统进行训练来获得最佳渲染参数。人工智能系统的输入可以包括但不限于：要渲染的3D扫描数据、从该3D扫描数据中渲染的图像、关于患者的信息和/或关于诊断目标的信息。使用许多示例，机器训练学习基于特定患者的输入数据来提供针对真实感渲染的渲染设置。经训练的人工智能系统的输出是针对渲染参数的设置的最佳集合。

图1的方法是由服务器、计算机或其他机器中的处理器和图形处理单元来实现的。在一个实施例中，图3的系统在有或没有医学成像仪56和/或显示器54的情况下实现图1的方法。例如，通过从存储器加载来输入数据，处理器基于该数据执行训练，并且存储器存储经学习的人工智能。作为另一个示例，医学扫描仪和/或存储器将数据输入到服务器，该服务器执行训练并向存储器输出。

可以按所示出的次序（上至下）或另一种次序来执行行动。针对一些形式的学习，结果可以被反馈作为该行动的重复中的输入。

可以提供附加地、不同的、或更少的行动。例如，不提供行动22，诸如，其中经训练的人工智能被使用，而不是被存储以用于以后使用。

在行动12中，输入训练数据。该训练数据是从一个或多个存储器、传感器和/或扫描仪中收集的。所收集的数据可以被存储和/或被传输到缓冲器、存储器、高速缓存、处理器或用于训练的其他设备。将该所收集的数据输入到机器学习算法。

输入相同类型数据的许多样本。为了学习人类不能以相同的程度领悟到的可能足够复杂的统计学关系或其他关系，提供了数十、数百或数千个样本。

可以使用任何数据。由于人工智能要被训练成提供针对渲染参数的设置，因此提供扫描数据。针对每个样本，该扫描数据表示患者。可以使用二维（2D）、3D、2D+时间序列、3D+时间序列和/或其他图像或扫描数据。

可以针对每个样本提供除扫描数据之外的其他信息。可以将患者非图像数据输入以进行训练。更高维度的数据包括但不限于诸如以下内容的患者信息：a）先前的诊断和/或临床过程的自然语言医学文件或从那里提取的信息；b）先前的医学测试结果；c）先前处理的医学图像和测量；d）计算建模结果；e）从医学图像分析算法中获得的参数图像信息（例如，心脏应变图或弹性）；和/或f）其他信息（例如，扫描仪设置）。

为了训练，输入目标或基本事实信息。利用带标签的数据（例如，输入以及对应的期望输出对（例如，渲染参数、最佳渲染图像和/或真实目标的照片/影片））来训练人工智能系统。基于所提供的数据，人工智能系统被训练成从任何输入中产生期望的输出。由针对每个扫描数据集的渲染参数的期望设置来提供基本事实。针对每个样本的期望结果的路径追踪渲染参数的值被输入以训练。可替换地或附加地，提供基本事实作为针对每个扫描数据集的期望渲染图像。提供针对每个扫描数据集的渲染图像。在其他实施例中，针对多个数据集提供具有期望可视化的图像。使用渲染器，机器训练可以学习产生类似可视化的设置。

输入样本可以提供消极和积极训练样本二者。例如，输入提供期望和非期望的图像的设置和扫描数据集。该训练学习从好的和坏的设置二者中区分出期望的设置。

在一个实施例中，通过干扰输入样本的路径追踪渲染参数来创建附加样本。该干扰创建了针对每个扫描数据集的路径追踪渲染参数的集合的集合体。人工智能系统被应用在输入扫描数据集上以生成渲染参数，该渲染参数然后被干扰以生成渲染参数池。然后使用该池中的渲染参数的集合来执行渲染以产生对应图像池。人类用户或其他操作者然后在视觉上检查所产生的图像并选择满意的图像。然后使用针对所选择的图像的渲染参数，作为期望的输出和/或作为积极（positive）基本事实的子集。针对图像的未选择的子集的渲染参数不被使用或者用作消极（negative）基本事实。

在收集用于输入的样本的另一个方法中，提供基于web（网）或基于网络的服务。网站或网络门户允许用户上传输入数据（即，图像和附加信息）。服务器或其他处理器然后运行人工智能系统和/或干扰可能的渲染设置以渲染图像池。该服务然后向用户提供所生成的图像并请求用户选择满意的图像。然后存储与用户选择的图像相对应的渲染参数作为针对输入（即，基本事实）的期望输出。通过提供这样的服务，可以随着时间收集用于训练的附加样本。

可以重复输入。周期性地或以多个不同时间来执行人工智能系统的训练。在收集附加样本（例如，通过基于web的服务）之后，在具有或没有用于该训练的更早的迭代的先前样本的情况下，使用附加样本重复该训练。

在行动14中，对一个或多个人工智能进行机器训练。使用包括基本事实的所收集的样本以进行训练。诸如处理器、计算机、服务器或其他设备之类的机器从样本中学习。使用机器学习，从大量样本中提取大量（例如，数十、数百、数千或更多）的输入变量到任何数量的输出变量之间的复杂统计学关系。

该训练用于任何背景中的成像。可以针对任何数量的成像情况来学习一个模型。可替换地，针对不同的情况来训练不同的模型。该不同的情况可以包括不同的扫描模态（例如，用于计算机断层摄影、磁共振、超声、正电子发射断层摄影、以及单光子发射计算机断层摄影的不同模型）。不同的情况可以包括不同类型的感兴趣的组织（例如，肝与肾）、不同的诊断目的或工作流程（例如，癌病变与骨钙化）、和/或不同的用户（例如，不同的操作者可以具有针对可视化的不同偏好）。

可以使用任何现已知或以后开发的机器学习。使用回归、分类和/或强化学习。回归训练通过度量的最小化来学习范围输出或连续输出。分类学习不同的输出。强化学习通过具有反馈的行动的序列来进行学习。可以使用神经网络、贝叶斯网络或支持矢量机器训练。可以使用分层或其他方法。可以使用监督或半监督机器学习。

为了进行训练，从输入数据中提取特征。可以从扫描数据集或图像中提取哈尔小波、易操纵的或其他特征。可以从非图像数据中提取测量或其他信息。可替换地，使用输入数据自身（例如，扫描数据集的标量值）。

在行动16中表示的可替换方案中，该机器学习特征，作为训练的部分。例如，深度学习（例如，深度结构化学习、分层学习或深度机器学习）通过使用具有由多个非线性变换组成的结构的多个处理层来对数据中的高级抽象物进行建模，其中输入数据特征不被明确地设计。深度神经网络经由特征提取的多个层来处理该输入以产生用于得到针对渲染的设置的输出的特征。该深度学习提供了由其他机器训练使用以便学习输出渲染设置的特征。可以训练并应用其他深度学习的、稀疏自动编码模型。在学习要使用的特征以及学习如何对给定输入样本（即，特征向量）进行分类的过程中，该机器训练是未被监督的。

使用深度学习，针对机器学习而要求的输入特征不由用户明确地设计，如在浅层学习算法中那样。这对渲染设置特别有用，该渲染设置可能不具有与输入数据的明确的自然关系。深度学习找出最终提供好的分类器或模型的数据特征。已知深度学习在从适用于经训练的任务的低级输入数据（例如，原始图像）中提取高级抽象物（特征）中是有效的，因此可能比用于识别针对渲染设置的特征的手工特征更加方便，并且优于该用于识别针对渲染设置的特征的手工特征。此外，基于学习的自动渲染设置选择是研究较少的问题，其不具有针对该问题而特别设计的手工特征。针对其他一般计算机视觉任务而设计的标准手工特征（比如HAAR特征或SIFT特征）可以适用于渲染设置。

在行动18中，机器训练成输出渲染设置以提供一致的成像。为了减少可变性，该训练学习提供尽管在数据内容中有差异的情况下产生具有相似或相同可视化的渲染图像的渲染设置。学习使得针对给定输入扫描数据集的渲染图像看起来和感觉上与理想情况相似的路径追踪或其他基于物理的渲染设置。该机器学习输出渲染设置以对针对期望图像上的给定扫描数据集的所得到的渲染图像进行建模。经学习的参数的集合建立可视化设计，该可视化设计可以在新的数据被引入系统时重复使用以便提供一致的渲染图像。以该方式，机器可以学习渲染器设置以向标准提供渲染。不是利用针对给定背景的相同预设值进行渲染，而是该值基于给定的输入数据集。在系统的各种实施例中，一致性指代可以在自动化和交互式临床工作流程两者中利用的一致的数据处理、一致的观看和/或一致的视觉风格。

基本事实提供了一致性。其中基本事实使用相似或一致的图像和/或设置，该相似或一致的图像和/或设置在尽管有扫描数据集中的变化的情况下仍产生相似或一致的图像，该训练学习输出提供一致性的设置。最佳渲染参数和最佳输出图像的概念涉及使用客观质量测量、主观质量测量、临床重要性等级和/或一致性的其他指示。

在一个实施例中，使用经测量或经计算的度量来学习一致性。该训练使用相似度度量。也可以使用任何相似度度量。示例计算度量可以是基于视觉系统、比较差异、感知哈希、互信息、相关性、计算特征信号或简单误差度量的视觉感知度量。可以自动计算该度量或者由用户提供该度量。可以使用该度量作为给定训练样本的重要性强度的指示器。

可替换地或附加地，在强化学习中使用一个或多个度量。例如，深度强化学习使用来自样本的渲染图像与参考图像的相似度。该相似度被用作强化。从针对扫描数据样本的渲染设置的给定集合中渲染的输出图像和关联的质量度量（即，相似度）被反馈到学习系统以用于对经学习的参数（例如，在深度监督和/或强化学习中）的附加改进。测量一个渲染图像与具有期望质量的一个或一组渲染图像的相似度的度量被计算，并且用作使用深度强化学习技术来训练人工智能代理的“奖励”。

可以使用除相似度以外的其他质量度量。要使用的度量的选择可以取决于与特定临床数据域有关的特征的类型。取决于感兴趣的诊断或医学工作流程，可以对不同的病理感兴趣。不同的渲染设置增加不同病理的醒目度。强化学习中的质量度量用于学习提供最佳渲染参数以用于增加感兴趣的病理的醒目度。

在一个实施例中，人工智能代理是将强化代理的输出作为它的输入的深度神经网络，并且针对每个可能的行动（例如，渲染设置的集合）输出一个质量或相似度度量（被称作“行动价值（action-value）”），其指示采取这些行动的效果（即，更高的价值与可以提高渲染质量的行动相关联）。该代理还分析行动价值并选择要执行的一个行动。选择提供最高可实现质量渲染的渲染参数的集合作为输出。

在另一个实施例中，度量的不同值（即，不同的相似度）的概率分布被用于进行选择。所选择的行动是具有最高行动价值的行动或从具有基于行动价值等级来分配的概率分布的行动中随机选择的行动。在典型的场景中，具有更高行动价值的行动被分配有更高的概率，但是也可以使用任何分配。

在其他或附加的强化学习中，在专家或其他用户采取步骤之后对该训练进行建模以实现针对训练数据的期望的可视化。对用于从扫描数据集中提供期望渲染的调整的用户序列进行监视（例如，选择传递函数T1，然后是窗函数W1，然后选择不同的传递函数T2，然后选择材料反射率MR1……）。该学习使用针对每个阶段或步骤的度量以学习用于每个阶段或步骤的设置。专家的行动可以被外推到不同的训练数据集或被包括以用于每个训练数据集。该训练学习基于所监视的序列来提供最终的渲染设置。

使用成像的组织、成像的物体或其他真实世界参考的照片或视频，而不是使用渲染图像或多个渲染图像作为基本事实和/或用于计算相似度。基于物理的渲染提供了真实感图像。通过对真实照片或视频进行比较或训练，该训练学习提供在真实图像之后建模的渲染设置。使用实际的光学图像来标记期望的输出，使得渲染参数产生匹配的观感和/或感觉。图像的其他模式可以用于基本事实或强化度量，使得该训练学习输出在不同模态之后建模的渲染设置（例如，渲染CT数据以匹配所渲染的MR数据的观感）。

在行动20中，一个模型被训练成输出针对多个渲染参数的设置。在其他实施例中，模型的其他分组或分层结构被训练成输出针对多个渲染参数的设置。使用训练数据和基本事实，机器被训练成输出渲染参数的设置。通过输出针对给定扫描数据集的两个或更多渲染参数的设置，需要更少地手动设置参数。在路径追踪或其他基于物理的渲染中，提供真实感图像所要求的时间和处理量可能导致延迟。通过将这样的延迟与用户调整复合，手动地提供期望的渲染可能过于耗时。通过使用机器学习以提供针对多个参数的初始设置，经机器训练的模型有助于实现期望的渲染图像中的更小的延迟。

该模型可以被训练成输出任何数量和/或类型的渲染参数。例如，一个或多个数据一致性参数要被输出。数据一致性参数包括窗口化、缩放、级别压缩、数据标准化或其他。作为另一个示例，一个或多个传递函数设计参数要被输出。传递函数设计参数包括分类查找表、多维传递函数、组织特定传递函数或其他传递函数。在另一个示例中，一个或多个照明设计参数要被输出。照明设计参数包括虚拟光的类型、虚拟光源的位置、虚拟光源的取向、基于图像的照明光源或其他。在又一个示例中，一个或多个观看设计参数要被输出。观看设计参数包括相机的类型、相机的位置、相机的取向、针对观看的固有参数或其他。在其他示例中，一个或多个用例特定参数要被输出。用例特定参数是特定于给定使用的设置，诸如针对给定类型的医学报告或用于立体观看的两个相机的使用的特定相机位置。

参数可以特定于基于物理的渲染，诸如内部渲染性质。可以学习用于路径追踪、无偏路径追踪、蒙特卡洛渲染、全局照明或光传播的其他仿真的任何参数的设置。例如，可以针对体积数据来学习全局反照率、表面反射系数，该体积数据描述了光散射与光吸收的相对重要性。可以学习控制与光的相互作用的材料性质的任何参数的设置。例如，透明度、反射率、表面粗糙度和/或其他性质可以在基于物理的渲染中被建模，因此被包括为渲染参数。还可以学习反照率作为针对体积数据中的不同组织类别的每个材料的性质。由于材料类型或光相互作用的各种设置的效果对用户可能不是本能的，因此利用机器学习来训练该模型以提供初始设置可以协助用户。

渲染参数的全部或子集要由经机器学习的模型来输出。例如，该模型被训练成输出任何数量的数据一致性、传递函数、照明以及观看参数。对于全自动，该模型被训练成提供针对所有渲染参数的设置。针对交互式或其他半自动操作，该模型被训练成提供针对一些而不是所有的渲染参数的设置。例如，除了在用户控制下的观看设计参数之外，输出所有渲染参数。观看相机参数处于用户控制下，所以机器学习是针对其他参数的设置的。用户独立地控制观看设计参数。

模型被训练成输出针对多个参数的设置，而不考虑用户控制的参数。可替换地，用户选择的参数是对分类的输入，使得输出设置计及用户选择的设置。该模型学习部分地基于针对用户控制下的一个或多个参数的设置来输出渲染参数设置。人工智能被训练成基于用户选择的观看相机参数来输出针对渲染参数的值。使用渲染参数的子集作为机器学习算法的训练阶段中的附加输入。在该情况下，机器学习算法输出是渲染算法的经优化的子集。用户输入设置可以被优化，或者不被优化而由该模型来优化其他设置。在交互式观看应用中，对训练的输入是更高维度的矢量，该更高维度的矢量包括输入扫描数据集和参考观看参数。

在另一个实施例中，人工智能被训练成计及用户的真实世界观看环境的中的不同环境条件。学习针对体积的“环境变化”渲染的设置。训练数据包括不同的环境光条件以及使用光探头对环境光的测量。该模型被训练成计及房间的环境亮度。该亮度被发送到经训练的模型，该经训练的模型自动适应渲染参数以提供相同的基于内容的真实感渲染。

可以重复该训练。当使用机器训练模型时，用户可以调整输出设置中的一些。该调整、设置和/或从调整中得到的图像被添加到训练数据中。通过利用附加反馈重复作为要从其中学习的样本而重复学习来细化机器学习模型。参数的手动调整的设置定义个性化的可视化设计。可以使用进一步的训练数据的其他源。

可以针对不同用户、医生、医疗群组、医院或其他群组来单独地执行该训练的重复。使用个性化训练，使得提供了针对相关群组的一致性图像。在其他实施例中，针对所有用户提供该重复。

在行动22中，存储所训练的人工智能。该训练的结果是矩阵。该矩阵表示通过机器训练学习的知识。该矩阵包括输入向量和针对渲染参数的设置的输出。可以使用其他经机器学习的模型表示，诸如矩阵或其他非线性模型的分层结构。

在存储器中存储经训练的模型。可以使用任何存储器。可以使用用于训练数据的存储器。针对应用，存储器可以处于其他设备中。例如，在服务器的存储器中存储经训练的模型。服务器使用经训练的模型以向客户端或向基于服务器的渲染器输出渲染参数，该基于服务器的渲染器向客户端输出渲染图像。作为另一个示例，向不同的医生、医学扫描仪和/或工作站提供经训练的模型的多个拷贝以供不同的医生使用。

图2示出了用于渲染系统中的基于机器学习的基于内容的渲染的方法的一个实施例。应用经机器学习的模型或人工智能代理。针对给定患者，扫描数据集的渲染要被执行。在具有或没有其他输入信息的情况下，将人工智能代理应用到扫描数据集，从而输出针对渲染参数的值。所述值产生真实感渲染中的一致性，从而可能避免对各种渲染参数进行以实现期望视觉效果的耗时的手动调整。

该方法由具有图形处理单元或其他渲染器以及显示器的计算机、服务器或其他处理器来实现。例如，从存储器加载医学数据。光传感器测量环境光或捕获光探头图像，并且计算机应用经机器学习的模型，从而输出用于渲染的值。渲染器使用该值以从医学数据中进行渲染，导致将渲染图像传输到显示器。可以使用不同的设备，诸如执行应用和/或渲染的控制器或医学扫描仪处理器。

可以提供附加的、不同的或更少的行动。例如，在行动32中不测量环境光。作为另一个示例，不提供行动42的渲染以及行动44的真实感图像的传输，而代替地存储或传输渲染参数的值。在又一个示例中，提供诸如用于交互式渲染工作流程的针对一个或多个渲染参数的手动调整和/或初始设置的行动。在其他示例中，在没有这些行动集合中的其他行动的情况下，执行行动36-40中的一个或两个或一个都不执行。

可以按示出的次序（上至下）或其他次序来执行行动。例如，可以在在行动30中加载医学数据之前和/或与执行行动34并行地在行动32中测量环境光。

在行动30中，从存储器、传感器和/或其他源加载医学数据。医学扫描仪可以提供诸如表示患者的3D区域的医学数据集之类的数据。可以使用对患者的计算机化医学记录的挖掘。可以获得来自图片存档和通信服务器的医学信息。可以使用任何源。

医学数据针对给定患者。尽管训练可以使用来自许多患者的样本以学习特征和/或学习对输入医学数据进行分类，以便提供用于渲染的值，但是经学习的模型被应用到针对患者的医学数据以输出针对该患者的针对渲染参数的值。相同或不同的经机器学习的模型被应用到针对任何数目的患者的数据。

获得任何类型的医学数据。加载表示3D体积的扫描数据作为医学数据集。扫描数据可以来自多个二维扫描或者可以从3D扫描中格式化。医学数据可以包括非图像或非扫描数据，诸如患者测试结果、医生笔记、实验室结果、诊断信息、账单代码、临床数据、患者历史或其他信息。

医学数据包括被学习以由经机器训练的模型使用的信息。可以不提供基本事实信息和/或相似度或质量度量测量。其中机器学习学习使用预测的基本事实的反馈，然后创建并使用该反馈作为输入。向经机器学习的模型提供要使用以确定渲染参数的设置的内容。例如，只提供3D扫描数据，作为针对给定患者的医学数据集。作为另一个示例，提供3D扫描数据和诊断信息，作为患者的医学数据集。诊断信息可以用于选择经机器学习的模型以使用和/或作为输入特征向量的部分。

一些经机器学习的模型可以是鲁棒的或者仍利用缺失的输入特征向量中的一些进行操作。可替换地，加载输入特征向量所需要的所有信息。

在行动32中，传感器测量环境光。可以使用诸如电荷耦合设备之类的任何亮度传感器。传感器提供了亮度的测量。该测量可以用作输入特征向量中的输入和/或用于选择要使用的特定经机器学习的模型。在可替换的实施例中，渲染不基于环境照明条件，所以不提供任何环境光的测量。

在针对行动32的可替换实施例中，利用作为传感器的相机获得光探头图像作为环境光的测量。使用各种方法中的任一个来获得图像，并且然后该图像用于渲染期间的高动态范围的基于图像的照明。用于获得光探头图像的示例方法包括捕获镜像球的高动态范围照片、拼接多个照片或使用自成体系的（self-contained）全景相机。

在行动34中，医学数据集被用到经机器学习的模型。所加载的医学数据集由诸如计算机、处理器或服务器之类的机器处理。该机器使用经机器学习的模型的内部表示。输入特征向量被创建和/或作为医学数据集。机器输入了特征向量，导致经机器学习的模型基于所学习的知识输出渲染设置。

行动36-40表示在应用一个或多个渲染参数的预设的经机器学习的模型中的不同行动。可以提供附加的、不同的或更少的行动。

经机器学习的模型先前是使用用于机器学习的任何方法来学习的，因此可以是经回归、分类或强化学习的模型。在一个实施例中，经机器学习的模型利用深度学习（例如，深度神经网络）被训练成从医学数据集中提取特征。在行动36中，通过应用经深度学习的模型，从医学数据集中提取特征。也可以使用手动或用户配置的特征来从医学数据集中提取一个或多个其他特征。然后，可以由另一个经机器学习的模型和/或另一个分层阶段来使用这些特征以输出用于渲染的值。例如，应用进一步的经强化学习的模型。所提取的特征被输入到经机器学习的模型以进行应用。

在训练针对一致性的情况下，经机器学习的模型的应用更可能输出行动38中的值，从而在尽管有医学数据集中的差异的情况下导致与标准图像相对应的真实感图像。使用路径追踪、其他基于物理的渲染或参考照片来创建真实感图像。模型使用输入特征向量以预测用于渲染的值，该用于渲染的值导致扫描数据的渲染作为具有期望的特性的图像。标准图像可以是具有诸如针对特定类型的组织或病变的分辨率和/或对比度之类的相似特性的一组图像。学习了渲染值输出以便提供针对该特定类型的组织的相同或相似的分辨率和/或对比度。不同的经机器学习的模型可以用于不同的诊断和/或工作流程情况，诸如输出针对乳腺癌成像或针对胎儿成像的值。

在另一个实施例中，在行动32中测量的环境光利用医学数据集或作为医学数据集的部分而被应用于经机器学习的模型。经机器学习的模型被训练成部分基于环境光来输出值。通过应用环境光测量，经机器学习的模型输出计及环境光的渲染参数的值。可以输出真实感图像，如同被房间中或患者所处在的环境光照亮。在真实感图像用于增强现实的情况下，环境光的使用以及计及到环境光的成像中的一致性可以导致更好的混合或更强的视觉吸引力。

在行动40中，经机器学习的模型被训练成输出针对相应数量的渲染参数的任何数量的值。例如，基于输入医学数据集输出针对两个或更多的基于物理的渲染参数的值。任何数量的渲染参数中的三个或更多、全部、或子集可以使其值由应用输出到经机器训练的模型或模型组。示例渲染参数包括用于一致的数据处理、传递函数、照明设计、观看设计、材料适当性或内部渲染器参数的控制。一个或多个输出值是针对非传递函数参数的。

在示例实施例中，经机器学习的模型或模型集合输出用于除了观看设计之外的所有渲染参数的值。用于观看设计的一个或多个参数留给用户，诸如针对用户导航或相机位置、取向和/或缩放的设置。用户输入针对观看设计参数中的全部或一些的值，并且医学数据集到经机器学习的模型的应用提供了针对所有其他渲染参数的值。附加的、不同的或更少的类型的渲染参数可以使用由用户进行的初始输入。

用户可以调整模型输出值。由于基于物理的渲染可能比传统渲染更耗时，因此提供针对更可能最初导致期望图像的渲染参数的值的完整集合可以避免耗时的调整。然而，用户可以做出任何数量的调整。由于经机器学习的模型的协助，改变的数量和/或量可以更少。

在行动42中，基于物理的渲染器使用从该应用中输出的值来渲染患者的3D区域的真实感图像。经机器学习的模型的输出值由基于物理的渲染器用作设置。例如，针对利用无偏路径追踪进行渲染的渲染参数的子集或全部具有由经机器学习的模型的输出建立的值。

基于物理的渲染器是图形处理单元、图形处理单元阵列、工作站、服务器、计算机或能够进行所要求的计算的其他机器。可以使用能够计算光传输的任何基于物理的渲染算法，诸如路径追踪、无偏路径追踪、蒙特卡洛路径追踪或都市（Metropolis）光传输。基于物理的渲染对光传播的物理过程进行仿真以创建图像，而不是利用沿着来自相机的观看射线的局部照明来累积体积样本，如传统体积渲染所做出的那样。在针对基于物理的渲染而实现的路径追踪中，包括由于散射和吸收而产生的光或光子的路径被建模并且用于渲染。可以随着时间构建基于物理的渲染结果，这是由于该渲染可能依赖于概率散射以及追踪数百万的光路。

渲染导致真实感图像。随着图像被构建或渲染，可以提供一系列图像。可替换地，针对渲染参数的值的给定集合，输出单个图像。在这任一情况下，使用至少部分来自经机器学习的模型的预设来渲染真实感图像。可以输出由于针对一个或多个渲染参数的值的变更而产生的一系列图像。用户或渲染器可以改变该值，诸如相机或飞行建模的旋转。

在行动44中，渲染器、渲染器的主计算机或其他设备传输一个或多个真实感图像。该传输是通过总线、通过网络接口、通过网络到存储器或到显示器的。例如，图像被加载到缓冲器并从缓冲器输出到显示器以用于由医生进行观看以协助诊断或术前计划。输出适用于由人类用户进行观看的医学数据的计算机生成的表示（例如，2D图像、视频、立体图像对、体积、全息图或光场）。可替换地，该输出也可以用于存储和/或用于进一步的机器分析。

传输可以用于各种目的中的任何一个或多个。在一个实施例中，真实感图像的传输是诊断报告的一部分。给定的诊断报告可以特定于背景，诸如针对肾结石的报告。任何肾结石在图像中应当是可见的。真实感图像基于由被训练成创建这样的图像的模型输出的渲染参数的值来示出肾结石。在临床工作流程中为自动化诊断报告提供最佳的背景特定的图像。

在另一个实施例中，该传输给显示器作为用于交互式观看的初始图像。经机器学习的模型被用于初始化临床工作流程中的交互式观看应用。通过提供针对渲染参数的值使得图像与所建立的可视化设计一致，可以减少用户交互的量。

在又一个实施例中，该传输给增强现实设备。例如，医生可以佩戴增强现实眼镜。具有或不具有所添加的注释或图形的真实感图像被投影到眼镜上，作为佩戴者看到的实际视图上的覆盖物。在其他示例中，真实感图像与相机图像组合和/或用作对于相机图像的替代。在增强现实设定中，渲染图像可以被覆盖到实时医学图像（超声、X射线、光腹腔镜等）的直播流上。

图3示出了用于基于机器学习的基于内容的渲染的系统的一个实施例的框图。该系统用于利用机器学习的训练和/或经机器学习的模型的应用。使用深度学习，学习在尽管有输入扫描数据的变化性的情况下提供一致的图像，和/或学习多个基于物理的渲染参数，经机器学习的模型被训练成输出给定患者的新的体积的情况下的渲染参数的值。

该系统实现图1和/或图2的方法。可以实现其他的方法或行动，诸如提供用户输入（例如，鼠标、轨迹球、触摸板、和/或键盘）和用于交互式渲染的用户接口。

该系统包括机器50、存储器52、显示器54、医学成像仪56以及渲染器58。可以提供附加的、不同的或更少的部件。例如，不提供医学成像仪56和/或存储器52。在另一个示例中，提供网络或网络连接，诸如用于与医学成像网络或数据档案系统进行联网。可以提供用户接口以用于与机器50、渲染器58或其他部件进行交互。

机器50、存储器52、渲染器58和/或显示器54是医学成像仪56的部分。可替换地，机器50、存储器52、渲染器58和/或显示器54是与医学成像仪56分离的服务器、工作站或计算机的部分。机器50、存储器52、渲染器58和/或显示器54是个人计算机，诸如台式机或笔记本电脑、工作站、服务器、网络或其组合。在又其他实施例中，机器50和存储器52是与渲染器58分离的计算机的部分。

医学成像仪56是医学诊断成像系统。可以使用超声、CT、X射线、荧光检查法、正电子发射断层扫描（PET）、单光子发射计算机断层扫描（SPECT）和/或MR系统。医学成像仪56可以包括发射器并包括用于扫描或接收表示患者内部的数据的检测器。医学成像仪56获取表示患者的扫描数据。该扫描数据可以表示患者的体积。例如，扫描数据被获取并用于诊断或手术计划，诸如识别病变或治疗部位。

在可替换实施例中，不提供医学成像仪56，而是在存储器52中存储患者的先前获取的数据集。在又其他可替换方案中，在存储器52中提供许多医学图像56作为训练数据，所述训练数据被收集并存储在存储器52中。

机器50是被配置成应用机器学习和/或应用经机器学习的模型的计算机、工作站、服务器、处理器或其他设备。机器50由软件、硬件和/或固件来配置。为了学习，机器50由一个或多个机器学习算法来配置。为了应用经学习的模型，机器50部分地由将输入数据与输出值相关联的一个或多个经学习的矩阵来配置。

机器50应用经机器学习的模型，诸如利用深度学习来学习的经机器学习的模型。如由机器50实现的经机器学习的模型基于来自患者的扫描的医学数据的应用来生成输入特征和/或针对渲染参数的输出设置。渲染参数包括窗口化、传递函数、照明和/或材料性质。学习该设置以提供在外观和/或感觉上与来自相同的诊断环境的一个或多个图像相似的图像。创建诸如为了突出或示出感兴趣的解剖的一致的图像。诊断环境提供了感兴趣的标准或信息。

存储器52是用于存储训练数据、渲染参数值、医学数据集和/或其他信息的图形处理存储器、视频随机存取存储器、随机存取存储器、系统存储器、高速缓存存储器、硬盘驱动器、光学介质、磁性介质、闪存驱动器、缓冲器、数据库、其组合、或者其他现已知或以后开发的存储器设备。存储器52是医学成像仪56的部分、与机器50相关联的计算机的部分、与渲染器58相关联的计算机的部分、数据库、另一个系统的部分、图片档案存储器或独立设备。

存储器52存储表示一个或多个患者的扫描数据。例如，存储来自医学成像仪56的数据。该数据以扫描格式或者被重构成体积或三维网格格式。扫描数据被存储以用于训练和/或被存储以用于渲染患者的图像。

存储器52或其他存储器可替换地或附加地是存储数据的非暂时性计算机可读存储介质，该数据表示可由用于学习或应用经机器学习的模型的经编程的机器50执行的指令。在诸如高速缓存、缓冲器、RAM、可移动介质、硬盘驱动器或其他计算机可读存储介质之类的非暂时性计算机可读存储介质或存储器上提供用于实现本文中所讨论的过程、方法和/或技术的指令。非暂时性计算机可读存储介质包括各种类型的易失性和非易失性储存介质。响应于计算机可读存储介质中或计算机可读存储介质上存储的一个或多个指令集合而执行本文中所描述或在附图中所图示的功能、行动或任务。所述功能、行动或任务独立于特定类型的指令集、储存介质、处理器或处理策略，并且可以由单独地或组合地操作的软件、硬件、集成电路、固件、微代码等等执行。同样地，处理策略可以包括多处理、多任务、并行处理等等。

在一个实施例中，在可移除介质设备上存储指令以用于由本地或远程系统读取。在其他实施例中，在远程位置处存储指令以用于通过计算机网络或通过电话线进行传递。在又其他实施例中，利用给定的计算机、CPU、GPU或系统来存储指令。

渲染器58是用于运行实现真实感图像生成功能的软件包的图形处理单元、图形卡、图形芯片、多核处理器或其他处理器。渲染器58由应用编程接口配置成从表示患者的3D扫描数据渲染图像。使用基于物理的渲染来渲染真实感图像。通过使用由经机器学习的模型输出的设置，应用路径追踪以渲染图像。针对训练中的反馈，渲染器58可以渲染训练图像。相似度由渲染器58和/或机器50来计算。

显示器54是用于显示一个或多个真实感图像的监视器、LCD、投影仪、等离子显示器、CRT、打印机或其他现在已知或以后开发的设备。显示器54从机器50、存储器52、渲染器58或医学成像仪56中接收图像。显示由医学成像仪56捕捉的组织的图像。还可以显示诸如所生成的图形、文本或数量之类的其他信息作为虚拟覆盖。

可以显示附加的图像。在扫描数据表示随着时间的一系列扫描的情况下，可以生成对应图像序列。对于交互式渲染，在由用户改变一个或多个渲染参数的设置时，可以生成新的图像。

尽管已经参考各种实施例在上面描述了本发明，但是应当理解，可以在不脱离本发明范围的情况下做出许多改变和修改。因此，意图在于前面详述的描述被视为说明性的而不是限制性的，并且要理解的是，包括所有等同物的以下权利要求意图于限定本发明的精神和范围。