实时且准确的软组织变形预测的制作方法
本实施例涉及计算软组织变形，诸如用于医学成像、计算机动画或游戏。确定器官变形对于医学图像重建、医学图像配准、用于数据集成和结果预测的数字孪生建模、三维（3d）网格编辑、增强或虚拟现实或其他应用来说可能是重要的。
背景技术：
软组织的生物力学模型（例如，作为先验或约束条件）可以为确定所述软组织在各种条件下（例如，受到比如压力或重力的外力、比如硬度或主动应力的内力等）的变形提供更现实可行的能力。在给定边界条件、外力、本构定律和模型参数的情况下，现有技术明确地使用有限元方法或其他积分方法来解算生物力学方程。虽然准确，但不幸的是这些方法比较耗时，需要几分钟到几小时的计算才能实现高保真的仿真。存在实时的解决方案（例如，质量弹簧或无网格模型），但其代价是准确度。
已探索了用于生物物理学仿真的基于机器学习或统计学习的方法，其主要用于计算流体动力学（cfd）。常用方法（例如，本征正交分解（pod））估计来自仿真数据库的解的子空间。在该子空间中解算cfd方程的解，并相应地重建最终解。该方法假设可以通过基函数的线性组合来重建解，而情况可能不是这样。结果，重建结果的准确度可能是次优的。已针对软组织力学以及其他物理学系统研究了类似方法。
提出了更复杂的数据驱动的技术，诸如基于基于粒子的解算器的用来实时解算用于流体仿真的cfd的随机森林法。在给定流体粒子及其直接邻域的固有性质的情况下，预测大时间步长处的加速度。该预测是回归模型，使用随机森林来表示并以数千次仿真来训练。该方法显示出快速的仿真性能。然而，它是特别为cfd问题量身定制的，不能直接应用于生物力学或软组织的其他建模：状态不同，软组织是具有不同硬度的固体材料，并且由于偏微分方程的硬度增加，解算器的稳定性更为关键且在生物力学中更加难以维持。特别地，随机森林法经受高频数值误差，这将使计算难以掌控。
用于快速计算可变形材料的模型降阶已被用于计算机图形学、流体仿真、视频游戏行业和计算机辅助设计中并具有良好结果。虽然这些方法对对象的变形空间执行模型降阶，但是较新的方法对对象的材料模型执行降阶。这些方法的使用范围尚未解决生理学上更准确且因此更加现实的生物力学模型。
技术实现要素：
作为介绍，下面描述的优选实施例包括结合了有限元解算器和人工神经网络的用于软组织变形预测的方法、系统、指令和计算机可读介质。下面提出的实施例是针对生物力学系统描述的，但其也可以不失一般性地应用于其他生物生理学机制（例如电生理学、热传导等）。使用组织生物力学的有限元解算器（或其他类型的解算器或组织相关物理学）来估计在给定时间点处的组织的瞬时状态的表示。应用机器学习的人工神经网络来根据该瞬时状态预测每个体积元素（例如，网格节点）的下一位置。机器学习的网络可以预测在比解算器能够计算（受到courant-friedrichs-lewy条件的限制）的更远的时间处的软组织位置，因此产生更快的计算，同时与使用小时间步长计算出的数值解一样准确。例如，提供了实时的生物力学解算器，从而允许与模型进行交互，同时仍获得准确的结果。
在第一方面，提供了一种用于软组织变形预测的方法。首先，以第一时间增量（例如，小时间步长，以确保准确的数值解）随时间用生物力学解算器对多个样本仿真多个软组织变形。然后训练人工神经网络以在给定了使用生物力学解算器计算出的软组织的瞬时状态的表示（例如，力、速度、位移或其组合）的情况下预测网格节点的组织变形（例如，加速度、速度、位移或其组合）。使用预测的组织变形来确定以第二时间增量的随时间的软组织变形，所述第二时间增量比第一时间增量大至少一个数量级。可以使用诸如阻尼或其他方法的数值稳定技术。基于软组织变形生成软组织的图像。
在第二方面，提供了一种用于由医学成像系统预测软组织变形的方法。医学成像系统扫描患者。使用图像分割技术根据扫描数据估计用于一个或多个器官的网格。该网格表示第一时间处的器官。在给定了力学性质（硬度、力、来自生物力学模型的边界条件）的情况下，机器学习的人工神经网络根据由生物力学模型针对第一时间指示的力学状态来预测网格在第二时间处的变形。迭代该过程以计算器官变形的动态表示。生成器官的基于变形的图像。由于使用了机器学习的人工神经网络，第二时间不受生物力学模型的courant-friedrichs-lewy条件的限制，因此产生更快的计算时间，同时与现有技术的解算器一样准确。
在第三方面，提供了一种用于软组织变形预测的系统。至少一个医学成像系统被配置成采集表示患者的扫描数据。图像处理器被配置成根据扫描数据对患者的器官中的物理学进行建模，并且通过将来自物理学模型的当前状态应用于机器训练的人工神经网络来预测器官的位置。显示器被配置成显示基于软组织模型位置的图像。由于使用了机器学习的人工神经网络，软组织模型位置预测在时间方面不受生物力学模型的courant-friedrichs-lewy条件的限制，因此产生更快的计算时间，同时与现有技术的解算器一样准确。
本发明由后面的权利要求来限定，并且本章节中的任何内容均不应被视为对那些权利要求的限制。下面结合优选实施例讨论本发明的其他方面和优点，并且其可在稍后被单独或组合地要求保护。
附图说明
组件和附图不一定按比例绘制，而是将重点放在例示本发明的原理上。此外，在附图中，相同的附图标记贯穿不同的视图标示对应的部分。
图1是器官变形预测方法的一个实施例的流程图；
图2例示了用于预测软组织变形的人工神经网络的示例架构；
图3a-d示出了针对圆柱体和肝脏的在基于机器学习的人工神经网络的位置和基于完全拉格朗日显式动力学（tled）生物力学模型的位置之间的绝对点到点距离的示例可视化；以及
图4是用于器官变形预测的系统的一个实施例。
具体实施方式
基于生物力学或其他物理学的解算器在用于解算相关偏微分方程的时间增量的大小方面受到courant-friedrichs-lewy条件的限制。对于动画、游戏和/或医学成像，这可能导致非实时建模，因此阻碍了它们在这些行业中的使用。为了克服这个问题，使用机器学习的人工神经网络来以任何时间步长预测基于物理学的模型的输出，所述任何时间步长包括比用于解算器的courant-friedrichs-lewy条件更大的增量。这可以允许在动画、游戏和/或医学成像中进行实时和/或更快速的组织变形计算。在下面的示例中使用医学成像。相同的方法或实施例可以应用于动画、游戏或其他基于计算机的软组织建模中的组织变形而不失一般性。
软组织（生物）物理学的实时确定使用经学习的深度神经网络。深度学习方法解算组织的（生物）物理学模型，诸如任何生物力学、电生理学或传热模型。对于组织生物力学的情况，训练人工神经网络以在给定了节点的生物力学状态的瞬时节点表示的情况下以大的时间步长dt回归表示软组织的3d网格的每个节点的生物力学特性（例如但不限于力、速度、加速度、位移或其组合）。该训练使用来自组织模型的以小时间步长dt的许多（例如，数百、数千或数百万）仿真结果。训练人工神经网络以逼近底层的组织模型力或其他特性，同时仍然通过组织参数来参数化，并且不显式地学习可能的边界条件的非常大（无限）的空间。在一个实施例中，在给定瞬时变形特性的近期历史的情况下，训练递归神经网络以计算针对大时间步长的等效总变形特性。
一旦经过训练，神经网络就根据瞬时节点变形特性估计每个大时间步长dt处的变形特性。在变形特性是力、速度或加速度的情况下，在时间上对该特性的值进行积分以获得新的节点位置。将神经网络嵌入到组织模型中，诸如完全拉格朗日显式动力学框架，以估计作为输入被提供到神经网络的瞬时变形特性。
以高效的计算提供了大时间步长下的准确结果。估计在非常大的时间步长下的准确变形特性，从而产生高帧速率（例如，每秒10帧（fps）、20fps或更多）和潜在的实时能力。各种医学或其他成像可受益于变形特性的准确预测，诸如用于疾病理解、疗法规划和/或图像引导的干预的成像。基于物理学的解算器与机器学习的人工神经网络的结合提供了快速、高保真的软组织变形。
图1示出了用于由成像系统预测软组织变形的方法的一个实施例，下面针对软组织的医学成像进行讨论。该方法通过利用神经网络的通用函数逼近器能力来仿真组织变形。针对与有限元解算器或其他基于物理学的组织模型相比更大的时间步长来预测逐点变形特性。该预测使用来自解算器的当前或已经确定的组织模型状态。基于针对较大时间步长的预测，克服了显式解算器（例如，组织模型）的小时间步长要求，从而将计算成本降低到最小。神经网络能够学习底层的物理学以预测更大的时间步长。
该方法由医学成像系统来实现，诸如图4的医学成像系统或另一成像系统。医学成像系统可以是以各种成像模态之一，诸如磁共振（mr）、计算断层扫描（ct）、超声、核（例如，pet或spect）、x射线或治疗学成像系统。在一个实施例中，计算机（例如，工作站或服务器）进行仿真和训练。发射器和/或接收器扫描患者。对于受过训练的网络的患者特定的应用，图像处理器定位网格或体积元素，将模型拟合到患者特定网格，预测变形，并在显示设备上生成输出图像。用户输入端接收用户输入以与网格、模型和/或图像交互。用户输入端、图像处理器和/或显示设备是成像医疗器械或扫描仪的一部分或与其分离。
按所示顺序（即从上到下或编号顺序）或其他顺序来执行动作。例如，动作13和14同时或以相反顺序执行。作为另一示例，动作15发生在动作12-19中的任何动作之后。
可以提供附加的、不同的或更少的动作。例如，未提供动作15。作为另一示例，组合动作13和14，其中拟合模型也定位网格。动作19可以是可选的。在另一示例中，在没有动作12-19的情况下执行动作10-11，或者在没有动作10-11的情况下执行动作12-19。该方法包括两个阶段：训练（动作10-11）和测试（动作12-19；例如，受过训练的网络的患者特定的应用）。在应用中，对于不同的网格节点重复动作16-18，其中可以针对不同的网格时间重复动作14-18以形成序列。
在动作10中，计算机创建或加载用于训练机器学习的训练数据。对于机器训练，使用数百、数千或数百万个具有地面真值的样本。样本包括地面真值软组织变形（例如，表面位置或体积元素的位置）以及机器从其中学习以预测地面真值的数据。在一个实施例中，机器进行学习以根据基于物理学模型的软组织状态（例如，从导出自物理学模型的针对该节点或体积元素的瞬时力、瞬时速度和/或相对于静止/初始位置的相对位移）预测节点或其他体积元素的加速度或其他变形特性。
在一个实施例中，训练数据是从医学扫描生成的。医生或专家对表示患者的医学成像扫描数据在时间上进行分割。对于3d成像，创建具有地面真值位置的许多样本是耗时地手动进行的。在其他实施例中，作为仿真来进行器官变形。可以使用机器学习技术从医学图像获得3d器官网格或体积元素位置。可以使用任何现在已知的或以后开发的分割或器官跟踪。通过使用不同的患者，提供针对不同的器官几何形状的器官变形。在又一实施例中，使用合成样本。软组织随时间推移的模型提供了要学习的变形信息。合成模型可以来自物理学模型，诸如模拟血管的管子。合成模型可以来自源于图集或实际患者的网格或软组织表示的随机扰动或设计好的扰动。可以生成软组织随时间变形的许多样本。
训练数据是针对特定应用。例如，训练数据和对应的机器训练特定于感兴趣的器官（例如，肝脏或血管）、应用、物理学模型和/或成像模态。
已知准确的组织物理学模型（例如，诸如生物力学解算器的组织模型）从网格或体积元素生成样本。使用来自不同患者的扫描数据、合成数据和/或在时间上的手动分割，将组织模型拟合至患者。将组织模型拟合至器官。组织模型提供了不同时间处针对不同体积元素（例如，节点）的参数（例如，力、速度、加速度和/或位置）。例如，使用经验证的生物力学解算器（例如，有限元方法）来确定在各时间增量处的参数（例如，力）的值。使用图像或用户交互来估计边界条件。
仿真使用时间增量对器官变形进行建模。可以使用任何时间增量，诸如毫秒时间增量。在一个示例中，模型的时间增量被限制为0.0003s。该时间增量是在courant-friedrichs-lewy条件下或更低。在此示例中，0.0003s是对于显式解算器来说可能的最大时间步长。仿真提供软组织变形作为由时间增量提供的时间分辨率下的网格或体积元素位置在时间上的序列。组织模型在该时间分辨率下操作以提供所述时间增量处的参数。
网格或体积元素位置在时间上的序列表示可变形的软组织。节点或元素位置的变化表明软组织变形。使用时间增量仿真该变形，从而提供在所述时间增量处的随时间的样本。
为了学习预测器官变形，训练数据包括要从其进行预测的信息。为了模拟组织模型，可以使用组织模型的参数而不是网格或体积元素位置，或者除了网格或体积元素位置之外还使用组织模型的参数。例如，使用3d中的器官网格模型的每个节点的位置x(t)。在另一实施例中，使用位移u(t)=x(t)-x(0)。使用施加到每个节点的一个或多个（例如，所有的）力fe(t)（例如，重力、电磁和/或接触力）。使用施加到外表面的一个或多个（例如，所有的）力fs(t)（例如，压力或接触力），所述力被遵循离散化方法重新分布于每个节点或体积元素。使用施加到体积元素（例如，四面体）的一个或多个（例如，所有的）力fv(t)（例如，内部硬度和/或主动力（例如，来自肌肉动作的应力）），所述力被遵循离散化方法重新分布于每个节点。生物力学模型基于其被拟合至网格或扫描数据而提供针对力或力的总和的值。在其他实施例中，使用组织模型的其他参数的值或从组织模型导出的值来代替力，或除了力之外还使用组织模型的其他参数的值或从组织模型导出的值。在其他实施例中，还使用机器学习来学习针对力的值。参数是3d的（例如，用于力的3d向量），但是可以使用2d、1d或非空间参数。
在动作11中，图像处理器应用机器训练。对人工神经网络进行机器训练以从来自组织模型的参数值（诸如样本在具有来自生物力学解算器的第一时间增量的时间上的瞬时力）和位置来预测作为时间的函数的器官变形，诸如器官位置的加速度或其他变形特性。
使用深度学习来训练人工神经网络。可以使用任何深度学习方法或架构。例如，使用卷积神经网络。网络可以包括卷积的层、子采样（例如，最大池化）的层、完全连接的层和/或其他类型的层。可以提供任何层的组合。采用分层结构，用于学习特征或表示，或者用于分类或回归。
经深度机器学习的分类器学习过滤器内核、连接、权重或指示变形或可用于确定变形的其他特征。并非输出变形或者除了输出变形之外，使用深度学习来学习可用于确定变形的特征。例如，要输出逐节点的加速度。深度机器学习使用训练数据，诸如逐节点、逐节点块或节点子组（例如，邻域）、或所有节点（例如，网格）的信息。深度学习提供了经深度机器学习的网络，该网络输出结果。
在一个实施例中，对神经网络nn(f)进行训练以与生物力学模型一起工作，所述模型诸如基于有限元方法的完全拉格朗日显式动力学（tled）算法。生物力学模型确定软组织的3d网格的每个节点处的力的总和。该总和被表示为f(t)=fe(t)+fs(t)+fv(t)。训练神经网络以返回将节点或体积元素顶点x(t)移动到变形位置x(t+dt)的加速度a(t)，其中dt是比用作生物力学模型中的时间增量dt高得多的时间步长，dt>>dt（至少一个或两个数量级，如果可能的话更多）。例如，用于神经网络预测的时间步长比用于创建训练数据的仿真的时间增量多500或更多（例如，1000或更多）。
可以使用任何基于物理学的组织或生物力学模型。在一个实施例中，生物力学模型用于软组织器官。软组织变形涉及解算底层的动力学方程：
其中m是集总质量矩阵，d=um是瑞利阻尼，并且k是硬度矩阵。
其中
可以使用其他生物力学模型或积分方案。对于其他模型，可以使用除力之外的参数。训练网络以从这些其他参数进行预测。对于其他模型，可能不使用加速度、速度和位置公式。训练网络以预测所使用的参数中的一个或多个。
训练人工神经网络以逼近生物力学模型，诸如以从瞬时的生物力学力来逼近加速度、速度、力或位移。方程2中的主要计算负荷是计算每个时间步长处的逐顶点的力ft。为了加速计算时间，使用会使顶点（例如，网格节点或体积元素）从当前位置x(t)移动到另一位置x(t+δt)的力
对于此布置中的机器训练，学习
参数α、β和γ添加阻尼因子以应对数值稳定性。使用中心差异通过下式来计算针对更大时间步长的速度：
图2示出了要被训练以用于回归的示例人工神经网络架构。神经网络有两部分：序列特征提取和加速度预测。对于第一个任务，将来自输入层（例如，卷积层）的特征向量传递到堆叠的长短期记忆（lstm）层（例如，64和32个隐藏单元层的序列）或门控递归单元。然后将输出通过线性密集层（例如，3个隐藏单元）以预测期望的加速度（例如，加速度的x、y和z分量）。作为激活函数，在输出密集层之外的所有层上使用带泄露线性整流单元，其中线性函数被用作激活函数。可以考虑具有其他激活函数的其他网络架构而不失一般性。
使用任何优化（诸如adam）、学习速率为0.0001、均方差损耗或任何其他损耗函数以及具有[-1,1]的输入和输出范围的零均值归一化来针对任何世代数（例如，15个）训练网络。可以使用其他布置、层、单元、激活函数、架构、学习速率、优化、损耗和/或归一化。可以使用应对顺序输入的其他架构，诸如类似感知器的前馈模型、卷积神经网络、长短期记忆和/或递归神经网络架构。
要为每个节点预测加速度或其他变形特性。也可以预测速度、位移和/或位置。该预测指示逐位置、速度和/或加速度的变形。网络被训练为对节点是通用的，因此可以如训练的那样应用于任何网格节点。该预测可以针对体积元素（例如，四面体）并被重新分布于节点。使用力或其他组织模型参数以及针对给定节点或元素的位置用于预测。在其他实施例中，使用相邻节点或元素的信息用于针对每个节点或元素进行预测。
训练神经网络以学习底层的物理学以针对与原始有限元解算器相比更大的时间步长预测移动的逐点加速度。该网络可以很好地推广任意形状、力和各种材料性质。在肝脏变形的一个实施例中，仅使用合成数据用于训练。在动作10中使用tled在1e-5秒的时间步长上创建400个仿真。数据分为8种不同的运动。超晶格立方体采样随机化合成数据中的材料性质、力和力的变化频率。范围分别是[(1,5),(10,15)]、[-0.25,0.25]和[1hz,4hz]，但是可以使用其他范围。体积模量设定为1kpa，但也可以使用其他体积模量值。此外，去除每个仿真的初始0.1秒，以去除训练数据集中的瞬态效应，该效应主要由于数值积分而产生高频噪声。从剩余的帧或时间，随机地子采样1000帧。对于这些帧中的每一个，使用所有点或节点。训练数据集是分开的，使用80％用于训练并使用20％用于验证。可以使用其他设置。
一旦经过训练，机器学习的人工神经网络就预测变形的加速度或其他表示（例如，力、速度或位移）。基于（来自）组织模型的参数的瞬时值的输入和节点或体积元素的位置，经机器学习的网络输出预测。存储经过训练的网络以用于患者特定的应用。
对于患者特定的应用，医学成像系统在动作12中扫描患者。一个或多个医学成像扫描仪或系统采集扫描数据集。通过扫描患者来采集扫描数据集。替换地，图像处理器从一个或多个存储器、数据库、扫描仪采集扫描数据集，和/或经由通过计算机网络的传输来采集扫描数据集。检索来自先前执行的扫描的扫描数据集。
每个集合来自不同的时间和/或模态。例如，一个扫描数据集来自先前的患者就诊，诸如几周、几个月或几年前。相同或不同的扫描仪在每次就诊时使用相同或不同的设置扫描患者。在另一示例中，使用扫描仪的不同模态，诸如用于术前扫描的ct或mri和手术期间的超声或x射线。可以使用任何类型的扫描数据和扫描仪的对应模态。ct、x射线、mr、超声、pet、spect、荧光透视、血管造影或其他扫描仪中的任何提供表示患者的扫描数据。
通过使用来自不同时间的扫描数据，可以查看随时间的变化。在一个扫描数据集中表示的组织或解剖结构可相对于在另一个扫描数据集中表示的组织或解剖结构变形。例如，一个扫描数据集中的位置可能是在肺中，但是另一个集合中的相同位置可能是在骨头中。由于采集时间和/或采集时间长度的差异，不同的扫描数据集可能受到不同的运动和对应的位置的影响。类似地，不同的成像系统具有不同的坐标系，因此可在不同的位置提供不同的组织。生理周期（例如，心脏或呼吸）可使一个集合中的组织相比于另一个集合移位。患者和/或扫描仪运动可能导致相对位移。相对位移是刚性的（即，对于整个扫描数据帧是相同的）或非刚性的（即，仿射，其中一些位置比起其他位置移位了不同的量和/或方向）。在其他实施例中，由于各种原因中的任何，诸如患者身上的接触力、外科手术、肌肉动作、呼吸运动和/或心血管运动，重复扫描并且器官随时间的推移而变形。
扫描数据或医学成像数据是表示患者的数据帧。数据可以是任何格式。虽然使用术语“图像”，但图像可以是在实际显示图像之前的格式。例如，医学图像可以是表示以与显示格式相同或不同的笛卡尔坐标或极坐标格式的不同位置的多个标量值。作为另一示例，医学图像可以是要被输出到显示器以生成以显示格式的图像的多个红色、绿色、蓝色（例如，rgb）值。医学图像可以是当前或先前以显示格式或其他格式显示的图像。
扫描数据或图像的集合或帧表示患者的体积。患者体积包括患者的全部或部分。体积和对应的扫描数据表示三维区域而不仅仅是点、线或平面。例如，以笛卡尔格式在三维栅格（例如，nxmxr的栅格，其中n、m和r是大于1的整数）上重建扫描数据。可以使用体元或体积的其他表示。扫描数据或标量表示解剖学或生物学活动，也就是解剖和/或机能数据。替换地，扫描数据表示患者体内的二维区域或平面。
在动作13中，图像处理器定位器官的网格。网格是针对器官的一部分（诸如血管）或整个器官（诸如肝脏）。网格是针对外表面或内表面。网格表示器官。在其他实施例中，定位表面上和/或组织内的体积元素。
根据扫描数据估计网格。使用表示给定时间处的器官的扫描数据。可以根据表示其他时间处的器官的扫描数据来估计网格。
对于网格估计，分割由扫描数据表示的组织。可以使用表面或体积拟合。可以使用阈值处理或其他图像处理来识别器官的表面或部分。在一个实施例中，应用经机器学习的分类器或分割来检测器官的位置。在又一实施例中，将器官的模型拟合至扫描数据，其中拟合模型提供网格。网格表示患者器官的患者特定的空间分布。
在动作14中，图像处理器基于网格和/或扫描数据来定义组织模型（即，基于物理学的解算器）。对于基于物理学的组织模型，该拟合解算各种参数以提供随时间推移的网格形状。可以使用任何组织模型和对应的拟合。例如，将生物力学模型拟合至随时间推移的网格序列，以解算各种力和/或导致各种力的参数。在优化中，测试组织模型的不同参数值。组织模型预测与扫描数据和/或所定位的一个或多个网格之间的所得差异用作反馈，以找到与患者最佳匹配的组织模型的参数值。在一个实施例中，解算组织模型参数也提供网格。
对经拟合的组织模型操作一段时间，诸如通过总计1-3秒的时间增量对器官和变形进行建模。这种建模可能需要几分钟。对于每个时间增量使用和/或确定各种参数的值，诸如力、力的总和、组织特性和/或其他参数。给定时间增量的值表示瞬时值。
在动作15中，用户输入端接收来自用户的输入。由图像处理器或控制处理器生成的图形用户接口从用户接收信息。用户可以查看器官和/或网格的图像并指示改变。例如，用户可以调整网格的一个或多个节点的位置。作为另一示例，用户可以指示要进行的手术改变，从而导致网格的改变。在又一示例中，用户指示进行干预的路径，该路径可以向器官施加压力或力。在其他实施例中，用户改变模型的一个或多个参数值。可以改变约束条件。用户可以输入初始值和/或位置，而不是改变。
通过将经机器学习的网络与生物力学解算器相结合来预测变形的一个优点是解算前向系统。用户可以与模型交互，添加边界条件和/或在训练期间不直接看到的力。所添加的力可以是外力、表面力或体积力的任何组合。并非是等待对组织模型的耗时计算来解算变形，而是使用经机器学习的网络来预测由改变引起的变形。由于图像处理器在预测和应用所训练的网络中时可使用的大的时间步长比仅使用组织模型更高效，因此可以实时提供结果。
预测部分地基于用户输入。预测发生在接收用户输入的一秒内，诸如在几微秒内。用户输入改变，并且快速或实时地预测由该改变产生的变形。图像处理器比在没有经训练的网络的情况下使用组织模型更快地提供结果。例如，在对棒状或肝脏进行建模压缩时，解算器的时间步长限制（cfl限制）为0.0003s。使用机器学习的神经网络，以时间步长dt预测=2*dt训练（即两倍快）使用0.0006s的时间步长来预测圆柱体压缩、肝脏压缩和棒的拉伸。可以随着用户输入改变与用户交互地生成示出改变结果的图像。
在动作16中，图像处理器预测网格或体积元素的变形。器官的变形被预测为网格变形或体积元素的相对方位。器官的一部分的位置被预测为网格的节点位置。这种位置改变或绝对位置提供变形。变形的预测可以是节点或体积元素的速度、加速度、力、位移、位置或其他变形/运动学特性的预测。预测可以是相对的，诸如一个节点相对于另一个节点的位置。
图像处理器至少部分地使用经训练的神经网络来进行预测。通过应用输入特征向量，经机器学习的网络输出预测。预测是随时间的变形或改变。预测是网格（例如，节点）在不同时间处的定位或位置。经机器学习的网络不是使用组织模型来解算通过许多时间增量的变形以到达不同时间（时间上正向或反向），而是预测其他时间处的器官变形。
用于预测的时间增量可以大于在针对训练数据的仿真中使用的时间增量，诸如至少大一个、两个或更多个数量级（例如，10x），同时仍然在组织模型的10％的准确度水平内。在一些实施例中，时间增量比用组织模型的仿真中使用的时间增量大至少500或1000倍。计算时间缩减了相同的量值，从而允许实时的帧速率来估计变形。在替换实施例中，使用相同的时间步长用于训练和预测。
可以针对不同节点或体积元素重复预测。使用相同的经机器学习的网络针对节点或体积元素中的每一个、中的全部或其子集来预测变形。预测可以重复多次，诸如针对对应于增量时间步长序列的不同时间进行预测（例如，在每个时间步长dt处进行预测）。预测每个时间步长处针对每个节点的3d空间中的节点位置x(t)。
预测基于输入向量。输入向量是组织模型的一个或多个参数的值。例如，输入在初始或给定时间处由生物力学模型指示的力学状态。根据节点的当前位置和拟合至患者的生物力学解算器的参数的瞬时值来预测患者的器官位置。也可以输入过去或其他估计位置和瞬时值。
在一个实施例中，力学状态到经机器学习的网络的输入是瞬时力和/或针对不同瞬时力的值的总和。例如，输入外力、表面力和内力的总和与位置一起作为3d向量。来自拟合生物力学模型的组织特性和其他参数的值可以用于确定每个节点或体积元素处的以3d的一个或多个力。作为另一示例，输入施加到每个节点的所有外力fe(t)（例如重力）、施加到外表面的所有力fs(t)（例如，压力）和/或施加到体积元素（例如，四面体）的所有力fv(t)（例如，内部硬度和/或主动力）。输入被包括在组织模型中的力。这些力中的一个或多个可以源自于用户交互。替换地，没有任何力源自于用户交互或改变。可以通过离散化使外力和/或体积力重新分布于每个节点，从而确定节点特定的力。
响应于输入，经机器训练的网络对加速度进行回归，如下所示：a(t)=nn(f)，其中f(t)=fe(t)+fs(t)+fv(t)。在动作17中，经机器学习的网络响应于来自一个或多个时间的位置和一个或多个力的输入而预测作为运动学特性的加速度。可以输入力或其他参数的瞬时值以及来自不同时间的位置的瞬时值作为预测的时间进程。替换地，输入针对一个时间的瞬时值。
在动作18中，图像处理器根据预测的运动学特性（例如，加速度）或其他预测参数来预测节点或体积元素的位置。经机器学习的网络的输出可以是变形（例如，位置）或者可以是用于导出变形的值（例如，一个或多个力、速度、位移和/或加速度）。
在一个实施例中，图像处理器执行一个或多个时间积分。网格的节点位置由加速度的时间积分来确定。加速度的时间积分提供了速度。例如，图像处理器在时间上进行积分以获得速度，如下所示：v(t+dt)=a(t)*dt+v(t)。可以根据速度的时间积分来确定节点位置。例如，图像处理器在时间上进行积分以获得位置，如下所示：x(t+dt)=v(t+dt)*dt+x(t)=a(t)*dt*dt/2+v(t)*dt+x(t)。时间步长是由经机器学习的网络的应用提供或用于经机器学习的网络的应用的较大时间步长。可以以任何阶（欧拉、龙格库塔等）使用任何其他时间积分方案（隐式、显式）。然后，对于网格的该部分，节点位置指示器官位置（例如，器官的表面位置）。
可以对加速度、速度和/或节点位置应用边界条件。边界条件可以是范围、约束条件、权重或任何其他校验。例如，将加速度限制至可能的值的范围。超出该范围（量值和/或方向）的任何加速度都被视为无效，并且变形确定停止。
对每个节点或节点组重复预测。使用相同的时间增量确定不同器官位置处的变形。提供两个或更多个时间处的器官的表面或器官的体积元素，从而示出变形。
在动作19中，图像处理器生成图像。该图像是患者的医学图像，用于诊断、预后和/或治疗。图像显示在医学扫描仪的显示设备或屏幕上。替换地，图像显示在工作站、计算机或其他设备上。图像可以存储在pacs存储器中并从pacs存储器中取回。
使用或基于变形来生成医学图像。在一个实施例中，使用变形到特定时间的网格或体积元素。图像表示变形器官，诸如显示网格的渲染。
其他医学成像可以使用或基于至少部分地从经机器学习的网络确定的变形或器官位置。在一个实施例中，从扫描数据重建医学图像，其中该重建使用器官位置。例如，ct、pet、spect或其他断层摄影成像在图像重建期间使用生物力学先验作为约束条件，例如以减少运动伪影。使用器官位置来指导在断层摄影中对感测值的位置分配。
在另一实施例中，用来自患者的不同扫描的配准来生成医学图像，其中配准是基于器官位置。运动补偿和/或多模态融合使用器官位置（即，准确的生物力学约束条件）来确保生物物理学相关的图像融合。对齐并配准在不同扫描中表示相同部分的空间位置。一旦经过对齐，就将来自这两个扫描的信息融合到同一图像中。对于多模态融合，来自不同医学成像模态的信息被组合在同一图像中。这种组合得益于通过器官位置提供的准确对齐。对于运动补偿，使用不同时间处的器官位置来去除运动伪影，以便可以比较不同时间处的器官的相同部分。
在另一实施例中，生成医学图像以表示器官与装置的相互作用。对装置进行建模以提供器官上的接触力。对所产生的器官变形进行建模，诸如用经机器学习的网络预测变形。生成变形器官并包括装置表示的图像。
在又一实施例中，生成医学图像以对所建模的改变进行仿真，其中器官位置用于解算用于仿真建模改变的模型。例如，使用数字孪生。数字孪生是经建模的器官表示。组织模型（例如，生物力学解算器）提供变形，使得能够与器官模型进行交互以实现“现场”临床决策支持。可以对器官模型做出修改，并估计产生的变形。将该变形应用于器官模型，并将器官模型渲染成图像。在另一示例中，逼真的增强或虚拟现实根据由组织模型估计的生物物理学定律以逼真的方式使叠加在图像上的模型变形。用来自变形模型的信息来增强来自扫描数据的图像。
在另一实施例中，医学图像是参数化图像。计算组织力学或从其导出的其他特性而不是来自扫描的返回强度。该计算部分地基于器官的运动。使用变形估计来提供该运动，然后使用该运动来计算逐个空间位置的组织力学值，诸如心脏应变或肝的硬度。通过使得能够根据变形来实现实时生物力学约束条件，可以获得更精确的组织力学量化。
根据分布在二维或三维中的数据生成医学图像。例如，从术前或其他扫描数据执行3d渲染。可以使用任何3d渲染，诸如α混合、最大强度投影、体积渲染、表面渲染和/或路径跟踪。在另一示例中，提取沿着平面穿过体积的值。使用所述值来形成表示平面的二维图像。可以使用二维和3d成像的组合，诸如具有来自不同平面的三个图像和同时在同一屏幕上示出的体积渲染的四元显示。
可以测试针对建模所表示的时间中的一些时间使用人工智能（ai）（例如，经机器学习的网络）基于物理学替换或添加有限元解算器或其他组织模型。ai管线进行正确的预测。经训练的神经网络是预测性的。这种方法是可推广的。
在第一个实验中，神经网络经过机器训练，以便以与原始生物力学解算器相同的时间步长进行预测，以显示进行了正确预测。另一个网络经过机器训练，以便以底层的生物力学解算器（例如，tled）的时间步长十倍的时间步长进行预测，并且将所述预测与来自具有相同的更大时间步长和具有更小时间步长（例如，与第一个实验中相同的时间步长）的生物力学解算器的估计进行比较。这些网络中的每一个都对棒状变形进行训练，但是在圆柱网格和肝脏网格上进行评估，以证明ai在其他几何形状上得到了很好的推广。
图3a-d示出了针对圆柱体（图3a-b）和肝脏（图3c-d）二者的基于ai的变形仿真的示例。初始状态被示为线框。用与tled地面真值的绝对点到点距离对网格进行灰度编码。在图3a和3c中，经机器学习的网络向前预测十个步长并与tled仿真进行比较。在图3b和3d中，经机器学习的网络向前预测十个步长，并针对使用相同的时间步长的tled进行评估。两次仿真之间的绝对差小于3.5mm，这小于对象的总尺寸的1％，突出了该方法的准确度。
在给定连续体的当前状态的情况下，经机器学习的网络的任务是针对比显式有限元分析中大得多的时间步长来预测移动的逐点加速度。因此，可以降低图像处理器的计算成本，并且可以实现实时仿真。通过逐点预测，经机器训练的网络可以为任意网格效劳。
即使在应用中，也使用组织模型来初始化ai。在其他实施例中，使用另一个经机器学习的网络来基于扫描数据和/或组织性质的输入进行初始化。
在给定参考几何形状并改变边界条件和力的情况下，生成大量软组织变形。使用生物力学解算器以小时间步长dt训练来计算这些仿真，以确保数值准确的解。在给定了相对于软组织3d网格上的节点的静止位置的瞬时加速度、速度和位移的情况下训练神经网络，以便以dt预测>>dt训练的时间步长来预测移动该节点的表观加速度。特别地，dt预测可以超出生物力学解算器的courant-friedrichs-lewy限制。结果，可以以高得多的帧速率预测准确的变形。训练神经网络以预测节点的表观加速度。为了使框架旋转不变，通过随机旋转来增强训练数据，或者在旋转不变的局部坐标系中表示量。
图4示出了用于器官或软组织变形预测的系统的一个实施例。该系统确定器官在一个或多个不同时间处的位置。该系统实现图1的方法的动作12-19。可以实现其他方法或动作。
该系统包括医学成像系统66、存储器62、图像处理器60和显示器68。可以提供附加的、不同的或更少的组件。例如，提供网络或网络连接，诸如用于与医学成像网络或数据存档系统联网。在另一示例中，提供了不止一个医学成像系统66。在其他示例中，该系统用于动画或游戏，因此不包括医学成像系统66。
图像处理器60、存储器62和/或显示器68是医学成像系统66的一部分。替换地，图像处理器60、存储器62和/或显示器68是诸如与医学记录数据库工作站或服务器相关联的档案和/或图像处理系统的一部分。在其他实施例中，图像处理器60、存储器62和显示器68是个人计算机（诸如台式计算机或膝上型计算机）、工作站、服务器、网络或其组合。可以提供图像处理器60、显示器68和存储器62，而没有通过扫描患者来采集数据的其他组件（例如，没有医学成像系统66）。
医学成像系统66是医学诊断或治疗成像系统。可以使用超声、ct、x射线、荧光透视、pet、spect、mr和/或治疗（例如，x射线）系统。可以使用其他医学成像系统。医学成像系统66可以包括发射器并且包括用于扫描或接收代表患者体内的扫描数据的检测器。
示出了一个医学成像系统66。可以通过在不同时间和/或以不同设置用该一个医学成像系统66扫描患者来采集不同的数据集。对于多模态融合成像，相同或不同类型的不同医学成像系统66在不同时间扫描患者。
由于时间、模态、设置和/或扫描周期的差异，在一个数据集中表示的组织、解剖结构或对象可以相对于在另一数据集中的表示移位。要确定该变形以生成图像。
存储器62是图形处理存储器、视频随机存取存储器、随机存取存储器、系统存储器、高速缓冲存储器、硬盘驱动器、光学介质、磁介质、闪存驱动器、缓冲器、数据库、其组合或其他现在已知的或以后开发以用于存储扫描或图像数据的存储器设备。存储器62是医学成像系统66的一部分、是与图像处理器60相关联的计算机的一部分、是数据库的一部分、是另一系统的一部分、是图片存档存储器或是独立设备。
存储器62存储扫描或图像数据。存储来自不同时间、模式、设置和/或扫描周期的数据的集合或帧。例如，存储针对同一患者在不同时间采集的来自医学成像系统66的数据。数据是以扫描格式或被重建为体积或三维网格格式。
存储器62存储其他信息。例如，存储输入特征向量的值、输出向量的值、深度机器学习网络的连接/节点/权重/卷积核、计算的力、加速度、速度、位置、网格、体积元素和/或位移向量（例如，非刚性变形变换）。图像处理器60可以使用存储器62来临时存储在执行图1的方法期间的信息。
替换地或附加地，存储器62或其他存储器是存储表示可由经编程的图像处理器60执行的指令的数据的非暂时性计算机可读存储介质。在非暂时性计算机可读存储介质或存储器上提供用于实现本文所讨论的过程、方法和/或技术的指令，所述存储介质或存储器诸如高速缓存、缓冲器、ram、可移除介质、硬盘驱动器或其他计算机可读存储介质。非暂时性计算机可读存储介质包括各种类型的易失性和非易失性存储介质。响应于存储在计算机可读存储介质中或上的一组或多组指令而执行附图中示出或本文描述的功能、动作或任务。所述功能、动作或任务与指令集、存储介质、处理器或处理策略的具体类型无关，并且可以通过单独操作或组合地操作的软件、硬件、集成电路、固件、微代码等来执行。同样，处理策略可以包括多处理、多任务处理、并行处理等。
在一个实施例中，指令存储在可移除介质设备上以供本地或远程系统读取。在其他实施例中，指令存储在远程位置中以通过计算机网络或通过电话线传输。在其他实施例中，指令存储在给定的计算机、cpu、gpu或系统内。
图像处理器60是通用处理器、中央处理单元、控制处理器、图形处理器、数字信号处理器、三维渲染处理器、图像处理器、专用集成电路、现场可编程门阵列、数字电路、模拟电路、其组合，或其他现在已知或以后开发的用于确定随时间的变形的设备。图像处理器60是单个设备或多个串行、并行或分开操作的设备。图像处理器60可以是计算机（诸如膝上型计算机或台式计算机）的主处理器，或者可以是用于处理较大系统中（诸如医学成像系统66中）的某些任务的处理器。通过指令、固件、设计、硬件和/或软件将图像处理器60配置成执行本文所讨论的动作。
图像处理器60被配置成根据扫描数据对患者器官中的物理学进行建模。例如，生物力学模型使用物理学来随时间建模器官。将一般模型拟合至患者的扫描数据。该拟合对模型的各种参数进行解算，从而允许模型随时间仿真患者特定的器官。使用小的时间增量仿真器官以表示1-3秒内的器官，但是可以使用其他时段。限制该时间增量以实现准确建模。
图像处理器60被配置成使用经机器训练的网络来预测器官的表面或体积位置。输入物理学模型的当前或已知状态，诸如输入来自一个或多个时间的模型参数的瞬时值，包括时间（即，由物理学模型建模的给定时间）。在一个实施例中，当前状态是位置处的力的集合或力的总和以及该位置。响应于输入，经机器训练的网络输出不同时间处的表面位置的预测。
用于由经机器训练的网络进行预测的时间步长可以与用于患者的物理学模型中和/或用于训练网络的物理学模型中的时间步长不同。应用或预测的时间步长可以比物理学建模中使用的时间步长大一个或多个数量级。
经机器训练的网络输出变形预测，诸如位置中的改变或绝对位置或运动学特性（例如，速度、力和/或加速度）。在一个实施例中，网络输出器官的表面或体积位置的加速度的预测。图像处理器60被配置成使用加速度执行时间积分以导出速度。根据速度的另一时间积分提供了该表面位置的预测位置。
通过针对器官的不同表面或体积位置进行重复，经机器训练的网络输出不同的表面或体积位置处的变形。针对一个或多个其他时间预测每个表面或体积位置，从而提供从当前状态到器官的其他时间的状态的改变序列。
显示器68是监视器、lcd、投影仪、等离子显示器、crt、打印机或其他现在已知或以后开发的用于输出视觉信息的设备。显示器68从图像处理器60、存储器62或医学成像系统66接收图像、图形、文本、量或其他信息。
显示一个或多个医学图像。图像使用预测的表面位置。使用变形来直接或以其他方式进行重建、配准、多模态融合，以生成器官或患者的图像。该图像可以帮助诊断和/或治疗。对于诊断，提供空间位置或解剖结构随时间的改变，从而为医生提供更多空间上准确的信息。对于治疗，随时间的改变或实时指导有助于将治疗应用于患者体内的正确位置。
用户输入端64是鼠标、轨迹球、触摸板、键盘、触摸屏、旋钮、拨号盘、按钮、滑块和/或其他输入设备。用户输入端64利用显示器68上的用户接口进行操作，以接收用户输入。图像处理器60被配置成基于来自用户输入端64的输入来预测表面位置。例如，使用网格位置的改变、器官的改变、附加力、手术建模、边界条件或组织特性的设置和/或其他输入来改变到机器学习网络的当前状态和/或输入。预测是响应于输入的。在其他实施例中，不使用用户输入来确定变形。
可以使用用户输入端64来做出改变。由于使用了机器训练的网络，因此预测很快发生，在2秒、1秒或更短的时间内提供成像反馈。该实时响应允许用户和成像之间的交互性。并非是等待模型处理好几秒来响应每个改变，而是提供实时交互。
虽然上文参考各种实施例描述了本发明，但是应该理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。因此，前面的详细描述旨在被认为是例示性的而不是限制性的，并且应该理解，以下权利要求、包括所有等同物旨在限定本发明的精神和范围。
- 还没有人留言评论。精彩留言会获得点赞！