用于动脉分析和评估的深度学习的制作方法
本文所公开的主题涉及使用深度学习方法进行血管分析。
背景技术：
非侵入性成像技术允许获得患者/对象的内部结构或特征的图像，而无需对患者/对象执行侵入性过程。具体地讲，此类非侵入性成像技术依赖于各种物理原理(诸如x射线穿过目标体积的差分透射、体积内的声波反射、体积内不同组织和材料的顺磁性、目标放射性核素在体内的分解等)，以采集数据和构建图像或以其它方式表示观察到的患者/对象的内部特征。
可采用非侵入性成像的临床感兴趣的一个领域是评估血管中的血流。例如，此类图像数据可用于评估慢性阻塞，该慢性阻塞可限制血流并影响下游组织(例如，通向心肌或脑组织的血流)。此类信息也可用于评估心脏病发作与中风的风险，该心脏病发作与中风是可由此类病症引起的急性事件。因此使用图像数据来诊断此类病症可有助于预防此类急性事件并改善有慢性血流限制的患者的健康状况。
目前，如在许多处理密集型技术中，分别基于此类成像和血管分析方法的三维解剖建模和复杂三维流体动力学建模技术的使用与实施此类方法可能需要的计算时间和资源之间存在权衡取舍。相反地，不太复杂或维度减少的建模方法的使用尽管计算上不太密集，但可提供较低的精确度和/或减少的预测有益效果。
技术实现要素：
下文示出了本文所公开的某些实施方案的概述。应当理解，提供这些方面仅仅是为了向读者提供这些特定实施方案的简要概述，并且这些方面并非旨在限制本公开的范围。实际上，本公开可涵盖下文可能未示出的各个方面。
在一个实施方案中，提供了用于处理血管图像体积的方法。根据该实施方案，使用成像系统采集一个或多个血管图像体积。将该一个或多个血管图像体积提供给一个或多个神经网络。使用至少一个或多个合成图像执行以下操作中的一者或多者来训练该一个或多个神经网络：分割血管图像体积内的一个或多个血管；去除所有或部分血管图像体积中的钙效应；确定分割的血管的一个或多个区段的对比度级别；或者得出所有或部分分割的血管的一个或多个血液动力学参数。
在另一个实施方案中，提供一种成像系统。根据该实施方案，该成像系统包括：存储器，该存储器对处理器可执行例程进行编码；以及处理部件，该处理部件被配置为访问存储器并执行处理器可执行例程。这些例程在由处理部件执行时，致使处理部件：采集一个或多个血管图像体积并且将该一个或多个血管图像体积提供给一个或多个神经网络。使用至少一个或多个合成图像来执行以下操作中的一者或多者来训练该一个或多个神经网络：分割血管图像体积内的一个或多个血管；去除所有或部分血管图像体积中的钙效应；确定分割的血管的一个或多个区段的对比度级别；或者得出所有或部分分割的血管的一个或多个血液动力学参数。
在一个另外的实施方案中，提供了用于训练一个或多个神经网络的方法。根据该实施方案，生成了训练数据集，该训练数据集包括具有一个或多个感兴趣的特征或参数的已知标注真实(ground-truth)值的合成图像。一些或所有合成图像对应于从感兴趣的参数的标注真实值未知的临床图像得出的简化解剖模型或血管模型中的至少一者。使用训练数据集来训练该一个或多个神经网络。
在另一个实施方案中，提供了用于处理血管图像体积的方法。根据该实施方案，使用成像系统采集一个或多个血管图像体积。将该一个或多个血管图像体积提供给一个或多个神经网络。使用至少一个或多个合成图像执行以下操作中的一者或多者来训练该一个或多个神经网络：分割血管图像体积内的一个或多个血管；去除所有或部分血管图像体积中的钙效应；或者确定分割的血管的一个或多个区段的对比度级别。使用计算流体动力学模型得出所有或部分分割的血管的一个或多个血液动力学参数。
附图说明
当参考附图阅读以下详细描述时，将更好地理解本发明的这些和其它特征、方面和优点，附图中相同的符号在整个附图中表示相同的部分，其中：
图1描绘了根据本公开的各方面的用于训练深度学习模型的人工神经网络的示例；
图2是描绘了根据本公开的各方面的计算机断层摄影(ct)成像系统的部件的框图；
图3描绘了根据本公开的各方面的使用一个或多个神经网络处理血管图像以估计感兴趣的血液动力学参数的框图；
图4a描绘了根据本公开的各方面的简化血管模型的渲染；
图4b描绘了根据本公开的各方面的从临床数据得出的血管模型的渲染；
图5描绘了根据本公开的各方面的用于生成具有已知标注真实值的合成图像的过程，这些合成图像包括用于训练一个或多个神经网络的血管和闭塞性结构中的一者或多者。
具体实施方式
在下面将描述一个或多个具体的实施方案。为了提供这些实施方案的简明描述，并非实际具体实施的所有特征都要在说明书中进行描述。应当理解，在任何此类实际具体实施的开发中，如在任何工程或设计项目中，必须做出许多具体实施特定的决策以实现开发者的具体目标，诸如遵守可能因具体实施而不同的系统相关和业务相关约束。此外，应当理解，此类开发努力可能是复杂且耗时的，但对于受益于本公开的普通技术人员来说仍然是设计、制作和制造的常规任务。
虽然在医学成像背景中提供以下讨论的各方面，但应当理解，所公开的技术的各方面可适用于其他背景，因此不限于此类医学示例。实际上，在此类医学背景中提供示例和解释仅仅是为了通过提供真实世界实现和应用的实例来便于解释，并且因此不应解释为限制本发明方法对于其他适用用途(诸如非破坏性测试或行李/货物安全检查)的适用性。
此外，尽管本文主要地提供ct和c臂示例，但是应当理解，所公开的技术可以用于其中执行血管成像的其他成像模态背景中。例如，当前描述的方法也可以采用由其他类型的断层摄影扫描仪(包括但不限于正电子发射断层摄影(pet)扫描仪、单光子发射计算机断层摄影(spect)扫描仪、磁共振成像(mri)扫描仪和/或此类模态的组合实现)采集的数据。
以举例的方式，若干成像模态，诸如x射线ct(例如，多层面ct或体积ct)和x射线c臂系统(例如，锥束ct)，测量被扫描的对象或患者的投影，其中根据技术的不同，这些投影对应于radon变换数据、扇束变换数据、锥束变换数据或非均匀傅里叶变换。投影表示在一个或多个指定时间间隔期间采集的与对象或患者相对于成像系统的一个或多个角取向对应的数据。在其他背景下，扫描数据可以是响应于磁场和射频(rf)脉冲而生成的发射型数据(例如，pet或spect数据)或磁共振数据(例如，mri数据)。断层摄影重建算法和相关的校正和校准算法与这些成像模态一起采用，以根据原始测量值生成有用的体积图像和/或模型。
考虑到这一点，本文所讨论的技术利用机器学习方法(诸如可在一个或多个深度学习算法中体现)在血管成像背景中执行一个或多个功能。在本文所讨论的某些具体实施中，与使用临床的真实世界图像或几何构造相反，使用合成(例如，模拟)图像作为训练数据来训练深度学习算法。
以举例的方式，如下文更详细描述，可训练用合成图像数据训练的深度学习算法以分割血管，沿着分割或未分割的血管的长度确定真实对比度级别(例如，亨氏单位(hu)评分或估计)(诸如以解决因系统分辨率限制而在较小血管中缺乏表观对比度)，去除图像中的钙效应，以及/或者确定或估计感兴趣的血管参数，诸如血流储备分数(ffr)。如可以理解的，尽管这些功能中的某些功能可以在没有其他功能的情况下执行(诸如以独立方式执行)以获得各种有益效果，但在实践中这些功能中的某些功能可因与其他功能结合执行而受益。例如，真实或准确对比度级别的分割和确定在血管分析背景中可用于确定成像区域中的血流速度和/或以其他方式提供血流的局部估计(如本文所用，术语“局部”可意指在成像区域或成像区域的一部分内，诸如在器官、肢体或其他有限解剖区域内或直接围绕器官、肢体或其他有限解剖区域，与全身估计或建模相反)。分割和管腔对比度估计功能均可受益于钙效应的去除，这可视为单独或交织的功能。此外，从图像体积去除钙效应可为在视觉上查看图像体积的临床医生增加价值，这是由于钙晕影可阻碍图像特征(例如，感兴趣血管近侧的精细结构)的可视化。
如本文所讨论，使用合成图像训练一个或多个深度学习算法与使用临床图像实现此类训练目的截然不同，后者可涉及标注真实状态的估计或表示标注真实状态的附加数据的采集以及附加数据与临床图像数据的配准以组装训练数据。如可以理解的，此类附加数据采集可需要侵入性方法(诸如以获得标注真实血管参数)并且/或者可另行引入原本可能避免的风险。例如，可使用光学计算机断层摄影(oct)或血管内超声(ivus)来确定血管的内部边界。然而，这两种技术都是侵入性的，因为它们需要将加装有适当感测装置的导管插入到感兴趣的血管中。诸如这些方法的侵入性方法会给患者带来附加风险。
考虑到前述介绍性评论，提供了一些通用信息，以指示本公开的通用背景，并且有利于理解和解释本文所述的某些技术概念。
例如，如上所述，相对于基于图像数据来改进或执行处理，可采用深度学习方法。本文所讨论的深度学习方面可包括基于残差网络、生成式对抗网络或其他损耗网络的方法。在某些具体实施中，此类深度学习方法可利用神经网络处理图像数据或基于此类图像数据来执行操作，此类图像数据可包括断层摄影图像，诸如ct、pet、spect、c臂、相位对比和mr图像。如本文所讨论的神经网络可以涵盖深度神经网络、完全连接的网络、卷积神经网络(cnn)、感知器、自动编码器、回归网络、基于小波滤波器组的神经网络或其他神经网络架构。这些技术在本文中被称为深度学习技术，但是也可以特别地参考深度神经网络的使用来使用该术语，深度神经网络是具有多个层的神经网络。
如本文所讨论，深度学习技术(其可也被称为深度机器学习、分级学习或深度结构化学习)是机器学习技术的分支，其采用数据的数学表示和人工神经网络来进行学习。以举例的方式，深度学习方法可以被表征为它们使用一个或多个算法来提取一类感兴趣的数据的高级抽象或对其进行建模。这可以使用一个或多个处理层来完成，其中每个层通常对应于不同级别的抽象，并且因此可能采用或利用初始数据的不同方面或前一层的输出(即，层的分级结构或级联结构)作为给定层的过程或算法的目标。在图像处理或重建背景中，这可以被表征作为对应于数据中的不同的特征级别或分辨率的不同的层。
一般来讲，从一个表示空间到下一级表示空间的处理可以被认为是重建过程的一个“阶段”。重建的每个阶段可以通过单独的神经网络或通过一个较大神经网络的不同部分来执行。例如，如本文所讨论，单个深度学习网络可用于提供分割、对比度评估、脱钙或其他步骤作为确定一个或多个局部血管属性的一部分。
如本文所讨论，作为解决特定问题的深度学习过程的初始训练的一部分，可采用具有深度学习过程的已知初始值(例如，输入图像、投影数据、发射数据、磁共振数据等)和最终输出的已知(即，标注真实)值的训练数据集。如下文更详细讨论，根据本发明方法，合成图像数据用作训练数据，其中合成数据从临床图像数据和/或简单几何构造模拟或合成或得出，但不同于临床图像数据。此外，由于其合成性质，本文所讨论的合成训练图像与已知标注真实属性相关联，而不必估计此类标注真实值或执行附加侵入性操作以得出此类标注真实属性。此类标注真实信息包括以下的一者或多者：血管几何形状(血管长度、血管边界表示、斑块位置处的血管狭窄百分比、斑块长度等)、管腔对比度增强、不同组成的相邻斑块、周围组织等。
单个阶段的训练可以具有对应于一个表示空间的已知输入值和对应于下一级表示空间的已知输出值。以这种方式，深度学习算法可以(以监督或指导的方式或以无监督或无指导的方式)处理已知或训练数据集，直到看出初始数据与一个或多个期望输出之间的数学关系和/或看出和表征每个层的输入和输出之间的数学关系。类似地，可以采用单独验证数据集，其中初始和期望目标值是已知的，但是仅将初始值提供到受过训练的深度学习算法，然后将输出与深度学习算法的输出进行比较以验证先前训练和/或防止过度训练。
考虑到前述内容，图1示意性地描绘了人工神经网络50的示例，该人工神经网络可以被训练为如本文所讨论的深度学习模型。在该示例中，网络50是多层的，其具有训练输入52(例如，合成图像数据)和存在于网络50中的多个层，该多个层包括输入层54、隐藏层58a、58b等、以及输出层60和训练目标64。在某些具体实施中，输入层54也可被表征作为或理解为隐藏层。在该示例中，每个层由多个“神经元”或节点56组成。神经元56的数量可以在层之间是恒定的，或如图所示，可以在层与层之间改变。每个层的神经元56生成相应输出，该相应输出用作下一分层的神经元56的输入。在实践中，计算具有加入的偏差的输入的加权和以根据激活函数“激励”或“激活”各层的每个相应神经元，诸如整流线性单元(relu)、s形函数、双曲正切函数，或以其他方式指定或编程的函数。最后一层的输出构成网络输出60，其与目标图像或参数集64一起被损失函数或误差函数62用于生成误差信号，该误差信号将被反向传播以指导网络训练。
损失函数或误差函数62测量网络输出与训练目标之间的差异。在某些具体实施中，损失函数可以是体素级别值或部分线积分值的均方误差(mse)并且/或者可以解释涉及其他图像特征的差异，诸如图像梯度或其他图像统计值。另选地，损失函数62可由与所考虑的特定任务相关联的其他度量定义，诸如softmax函数或dice值(其中dice是指比率
为了便于解释使用深度学习技术的本发明方法，本公开主要在ct或c臂系统的背景中讨论这些方法。然而，应当理解，以下讨论也可以适用于其他图像模态和系统，包括但不限于pet、spect、多光谱ct、相衬成像和mri，以及非医学背景或其中采用断层摄影重建来重建图像的任何背景。
考虑到这一点，图2中描绘了成像系统110(即，扫描仪)的示例。在所描绘的示例中，成像系统110是ct成像系统，其被设计为围绕患者(或其他感兴趣的受检者或对象)以各种视图采集扫描数据(例如，x射线衰减数据)并适合于使用断层摄影重建技术执行图像重建。在图2所示的实施方案中，成像系统110包括邻近准直器114定位的x射线辐射源112。x射线源112可以是x射线管、分布式x射线源(诸如固态或热离子x射线源)或适合于采集医疗或其他图像的任何其他x射线辐射源。相反地，在pet或spect实施方案中，可以提供环形辐射检测器，并且使用注射到患者体内的放射性示踪剂作为辐射源。在mri的情况下，测量值是傅里叶空间中的样本，并且可以作为神经网络的输入直接地应用，或可以首先在正弦图空间中转换为线积分。
在所描绘的示例中，准直器114对x射线束116进行成形或限制，该x射线束进入患者/对象118所定位的区域。在所描绘的示例中，x射线116被准直为穿过成像体积的锥形束，即锥束。x射线辐射120的一部分通过患者/对象118(或其他感兴趣的受检者)或穿过其周围并撞击检测器阵列(通常以附图标记122表示)。该阵列的检测器元件产生表示入射x射线120的强度的电信号。采集并处理这些信号以重建患者/对象118体内的特征的图像。
源112由系统控制器124控制，该系统控制器为ct检查序列提供功率和控制信号。在所描绘的实施方案中，系统控制器124经由x射线控制器126控制源112，该x射线控制器可以是系统控制器124的部件。在此类实施方案中，x射线控制器126可以被配置为向x射线源112提供功率和定时信号。
此外，检测器122耦接到系统控制器124，该系统控制器控制检测器122中生成的信号的采集。在所描绘的实施方案中，系统控制器124使用数据采集系统128采集由检测器生成的信号。数据采集系统128接收由检测器122的读出电子器件收集的数据。数据采集系统128可以从检测器122接收经采样的模拟信号，并且将数据转换为数字信号，以便由下面讨论的处理部件130进行后续处理。另选地，在其他实施方案中，数字-模拟转换可以由设置在检测器122自身上的电路执行。系统控制器124还可以关于所采集的信号执行各种信号处理和滤波功能，诸如用于动态范围的初始调整、数字数据的交错等。
在图2所示的实施方案中，系统控制器124耦接到旋转子系统132和线性定位子系统134。旋转子系统132使x射线源112、准直器114和检测器122能够围绕患者/对象118旋转一圈或多圈，诸如围绕患者主要在x、y平面中旋转。应当指出的是，旋转子系统132可以包括机架或c臂，相应的x射线发射和检测部件设置在该机架或c臂上。因此，在此类实施方案中，系统控制器124可以用于操作机架或c臂。
线性定位子系统134可以使患者/对象118或更具体地支撑患者的工作台能够在ct系统110的孔内移位，诸如相对于机架的旋转在z方向上移位。因此，工作台可以在机架内线性移动(以连续或逐步的方式)以生成患者118的特定感兴趣区域的图像。在所描绘的实施方案中，系统控制器124经由马达控制器136控制旋转子系统132和/或线性定位子系统134的移动。
一般来讲，系统控制器124命令成像系统110的操作(诸如经由源112、检测器122和上述定位系统的操作)以执行检查方案并处理所采集的数据。例如，系统控制器124经由上述系统和控制器可以使支撑源112和检测器122的机架围绕感兴趣的受检者旋转，使得可以能够以相对于受检者的一个或多个角位置获得x射线衰减数据。在本背景中，系统控制器124还可以包括信号处理电路、用于存储由计算机执行的程序和例程的相关联的存储器电路(诸如用于执行本文所述的血管属性估计技术的例程)、以及配置参数、图像数据等。
在所描绘的实施方案中，由系统控制器124采集和处理的信号被提供给处理部件130，该处理部件可执行图像重建。处理部件130可以是一个或多个通用或专用微处理器。由数据采集系统128收集的数据可以直接地传输到处理部件130，或在存储在存储器138中之后传输。适合于存储数据的任何类型的存储器都可以由此类示例性系统110利用。例如，存储器138可以包括一个或多个光学、磁性和/或固态存储器存储结构。此外，存储器138可以位于采集系统站点处和/或可以包括用于存储用于断层摄影图像重建的数据、处理参数和/或例程的远程存储设备，如下所述。
处理部件130可以被配置为经由操作员工作站140从操作员接收命令和扫描参数，操作员工作站140通常被配备有键盘和/或其他输入设备。操作员可以经由操作员工作站140控制系统110。因此，操作员可以使用操作员工作站140观察重建图像和/或以其他方式操作系统110。例如，耦接到操作员工作站140的显示器142可以用于观察重建图像并控制成像。另外，图像也可以由打印机144打印，该打印机144可以耦接到操作员工作站140。
此外，处理部件130和操作员工作站140可以耦接到其他输出设备，其他输出设备可以包括标准或专用计算机监视器和相关联的处理电路。可以在系统中进一步链接一个或多个操作员工作站140，以用于输出系统参数、请求检查、查看图像等。一般来讲，系统内提供的显示器、打印机、工作站和类似设备可以是数据采集部件本地的，或可以远离这些部件，诸如机构或医院内的其他地方，或位于完全不同的位置，经由一个或多个可配置的网络(诸如互联网、虚拟专用网络等)链接到图像采集系统。
还应注意，操作员工作站140还可以耦接到图片存档和通信系统(pacs)146。pacs146继而可以耦接到远程客户端148、放射科信息系统(ris)、医院信息系统(his)、或内部网络或外部网络，使得不同位置的其他人可以访问原始或经处理的图像数据。
虽然前述讨论已经分别处理了成像系统110的各种示例性部件，但是这些各种部件可以在公共平台内或在互连平台中提供。例如，处理部件130、存储器138和操作员工作站140可以被共同地提供作为通用或专用计算机或工作站，其被配置为根据本公开的各方面进行操作。在此类实施方案中，通用或专用计算机可以相对于系统110的数据采集部件被提供作为单独部件，或可以在具有此类部件的公共平台中提供。同样地，系统控制器124可以提供作为此类计算机或工作站的一部分，或提供作为专用于图像采集的单独系统的一部分。
图2的系统可以用于采集关于患者的感兴趣的血管化区域的各种视图的x射线投影数据(或其他模态的其他扫描数据)，以使用扫描数据重建成像区域的图像。由诸如成像系统110的系统采集的投影(或其他)数据可以如本文所讨论的那样被重建以执行断层摄影重建。虽然图2的系统示出了用于使x射线源112和检测器122围绕对象或受检者旋转的旋转子系统132，但还设想了x射线源和检测器保持固定并且对象被旋转的ct系统，如在用于非破坏性评估的ct系统中。
考虑到前述背景和语境讨论，本公开涉及使用非侵入性采集的图像来得出一个或多个感兴趣的局限性血管属性。具体地讲，在受检者消耗体力(处于应激状态)时，评估血管(尤其是冠状动脉)中的血流状态方面可存在相当大的诊断能力。例如，该信息可用于为计算流体动力学模型提供患者特异性边界条件，该计算流体动力学模型将该信息与局限性解剖信息(诸如可使用心脏计算机断层摄影血管造影(cta)获得)结合在一起以估计局限性区域(诸如冠状动脉)中的压力分布。例如，阻塞可限制血流(这会根据局限性阻塞而影响血压)，并且从而影响下游组织(例如，限制通向心肌或脑组织的血流)。心脏病发作与中风是可由此类病症引起的急性事件。考虑到这一点，此类患者特异性压力分布数据(诸如可获得冠状动脉的该数据)可用于估计感兴趣的血管的血流储备分数(ffr)(例如，跨疑似病灶的远端与近端压力的比率)或其他血管参数。此类信息可用于评估冠状动脉中的缩窄的血液动力学意义，并且提高系统评估血管缩窄严重性的诊断准确性，并且帮助指导后续治疗方案。
为了便于此类信息的采集，当前描述的方法解决了许多挑战，以便提供血管健康状况的改进评估。具体地讲，本发明的血管评估方法使用基于深度学习的方法(如下文更详细讨论)单独地或组合地执行血管分割、脱钙、亨氏单位(hu)评分和血流动力学参数估计(例如，血流储备分数(ffr)估计)中的一些或全部，其中目标是定量血管功能。
如可以理解的，这些问题中的每个问题都很复杂，并且可通过设计定制的算法来解决。此类算法要充分有效，将必须包含几十个或甚至几百个参数，这些参数将需要进行调整以确保良好性能。此类过程将是极其劳动密集的，并且仍可能产生在某些情况下偏倚的算法。与此类定制算法相反，深度学习网络(如可在多层人工神经网络中体现)可自动地学习大量参数，这些参数可用于识别在典型数据集中出现的模式并且定量应如何解释这些模式。在假定良好训练数据可用的情况下此类深度学习方法大大加快了算法开发，但代价是未完全理解特定网络如何操作。即，使特定经训练的网络工作的细节(诸如每个权重或滤波器的目的)可能是未知的。本发明的方法采用深度学习网络来执行上述四个任务中的一些或全部，即1)分割、2)脱钙、3)hu强度评分和4)血流动力学参数估计(例如，ffr估计)。
考虑到这一点，并且相对于确定血管阻塞的功能影响，需要解剖信息和血流信息两者。这在图3中以一般化的级别表示。如本文所讨论，血管图像数据(诸如可使用cta图像170(其通常通过利用将对比剂(例如，碘)团注引入到感兴趣的血管中并通过成像来采集))可用于得出解剖信息，诸如执行图像数据(172)内的血管的分割。考虑到这一点，本发明的方法可训练和利用深度学习算法(被描绘为神经网络174a)来执行此类分割操作。在所描绘的示例中，为了便于解释，每个功能或操作被描绘为由单独或不同经训练的神经网络174执行。然而，在实践中，所述操作中的一些或全部操作可由单个神经网络174或比所公开的那些更少的神经网络执行。在此类方法中，可以理解，各功能之间的输出(例如，分割、脱钙、hu评分、血流动力学参数估计)的所描绘流程或相互关系可简单地通过一个或多个神经网络的各层与神经元之间的各种加权和链路来适应，而不必将一个输出明确规定为单独操作的输入。
在一个示例中，用于语义分割的深度学习算法将一组体积ct图像中的每个体素分类为管腔或背景，或在另一个具体实施中，将这些图像中的每个体素分类为管腔、脂肪、钙或背景。即，分割操作使ct体积图像中的每个体素与标签相关联，其中一个ct体积图像与描绘管腔(即，血管)相关联。分割结果可用作后续操作的分割信息172，和/或可用于构建或参数化用于预测感兴趣的血管参数(诸如ffr)的计算流体动力学(cfd)模型。另选地，可归因于一组体积ct图像中的体素作为管腔或背景、或者在另一个具体实施中作为管腔、脂肪、钙或背景的概率。在该背景下，1和0的概率分别是指体素是否由某种材料构成的绝对确定性。
如本领域技术人员可以理解，成像区域中钙的存在可使得难以准确地确定阻塞的尺寸或范围。例如，钙沉积通常可削弱可视化或夸大冠状动脉阻塞的量级，使得难以作出任何特定阻塞的准确评估，从而引发需要进一步跟进的假阳性(在实际上不存在阻塞时对阻塞的分类)。因此，本发明的方法的另一个方面可利用深度学习方法(被描绘为神经网络174b)来去除钙沉积(输出178)对图像的贡献(即，脱钙)，这可具有提高其他操作(诸如上述分割步骤(174a))的准确性的效果，因此可改善从图像数据170得出的解剖信息。类似地，钙对图像的贡献178的识别可用于确定血流信息180，例如hu评分，如图3所示。
相对于血流信息180，可以以许多方式收集该信息。在本文所讨论的一种方法中，在一个或多个时间在冠状动脉树内的每个分割位置处估计对比强度(例如，hu强度或评分180)。以举例的方式，可基于空间对比强度分布来确定血流，所述过程在美国专利申请2017/0325769中有所描述，该专利申请全文以引用方式并入本文并且以用于所有目的。当与从所考虑的血管的起始部附近(例如，主动脉或左心室中)的感兴趣区域测量结果获得的时间-密度剖面输入的估计值结合时，该信息可用于估计血流。因此，血流信息(例如，hu评分180)的计算继而可基于所得出的解剖信息172(例如，一个或多个分割的血管)。在实践中，这可使用神经网络174c或被训练成经更全面训练的神经网络的适当功能性来实现。
此外，如本文所讨论，血压分布或ffr分布182中的一者或两者可使用合适经训练的神经网络174d或经过训练以执行上述功能中的一者或多者的神经网络来得出，并且任选地利用上述解剖分割信息172和血流信息180。通过使用一个或多个经训练的神经网络174d，此类分布可在不构建或参数化计算流体动力学(cfd)模型的情况下得出。
如上所述，使用神经网络来执行上述功能中的一些或全部的关键方面是一个或多个相应神经网络174的训练。与成功训练相关的因素包括：1)对良好标注真实数据的访问，以及2)有效网络设计选择，诸如拓扑和损失函数。
相对于对良好标注真实数据的访问，存在各种方式访问可作为“标注真实”通行的数据集，但这些方式中的许多方式极难实施，尤其是相对于训练有用深度学习算法将需要的数量。例如，相对于上文指出为在血管评估的背景中感兴趣的四个问题，可存在获得标注真实数据的若干问题。
就脱钙(即，从图像去除钙效应)而言，可能希望在数字上将组织中的钙替换为具有类似对比度的脂肪或另一种软组织材料。该方法允许深度学习网络学习如何在最终图像中表示钙，从而允许该网络了解相关伪影，从非线性部分体积效应产生的此类钙晕影。对于临床检查而言，没有切实可行的方式生成此类图像，因为这将需要通过外科手术在某种程度上去除钙，并且在某种程度上确保所有其他因素保持与初始扫描相同(例如，完全相同的心脏时相、患者定位、对比度分布等)的重新成像。即使是小数据集，这都不可行，更不用说大到足以训练深度学习算法的数据集。
就分割而言，获得标注真实信息将需要测量冠状动脉(或其他血管)几何形状的更准确方法。如上所提及，可使用血管内超声(ivus)或光学计算机断层摄影(oct)来确定该信息，但存在与这些方法相关联的挑战，包括ivus/oct数据与体积ct图像的配准以及因心脏相位、患者定位、心率、患者应激水平或其他此类因素而引起的几何形状的变化。此外，ivus和oct是使用定位在感兴趣的冠状动脉血管内的导管来采集测量结果的侵入性程序。因此，执行深度学习网络训练所需的大量此类检查非常昂贵，并且会带来非侵入性程序中不存在的风险。
就亨氏单位(hu)评分而言，任何当前方法根本不可能在冠状动脉ct血管造影(cta)扫描期间的特定时刻对整个冠状动脉树中的标注真实对比剂(例如，碘)密度进行独立且准确的测量。可生产体模，这些体模将模拟临床场景，但将需要大量精力并且将需要丰富多样的血管几何形状和取向以便临床相关，而且将需要多种多样的扫描设置和心脏几何形状的变化以便覆盖可能出现的可能临床图像的范围。如果目标密切表示临床场景，则也可引入非刚性运动。物理地生产此类体模将是非常昂贵的任务，并且将仍然只会得到建模的血管几何形状的有限范围。
最后，就血流动力学参数估计(诸如血流储备分数(ffr)估计)而言，有可能训练深度神经网络以基于从患者采集的cta图像以及侵入性测量的给定患者的标注真实血液动力学参数值来预测感兴趣的血液动力学参数。然而，将需要收集大量患者的此类信息来训练神经网络，这不是可行的努力并且同样考虑了侵入性方法以测量一个或多个感兴趣的标注真实值。没有对应标注真实ffr信息的cta图像是可用且丰富的，并且此类图像可用于使用三维(3d)计算流体动力学(cfd)模型来预测ffr。然后临床图像和预测的ffr可用于深度学习算法训练。然而，预测的ffr无法合理地被视为标注真实。具体地讲，存在常规管腔分割所引入的不准确性，从cta图像估计冠状动脉血流量也存在不准确性。这些不准确性继而转换为通过cfd模型预测的ffr的不准确性，从而防止此类估计可用作标注真实值。
因此，对于待解决的每个问题而言，具有给定cta图像170的对应标注真实值通常不可行。根据本发明方法，这以两种方式解决。对ct扫描仪的几何形状、检测器孔径、焦斑孔径、x射线谱、x射线物理学等建模的ct模拟例程(即，软件)与分析和数字体模(模拟临床解剖结构的对象的数学构造)一起使用，这些分析和数字体模的标注真实值明确已知，这是由于这些图像是所有参数化已知的模拟过程的结果。即，与临床图像不同，所生成的合成图像是关于所表示的解剖结构(例如，血管和钙形态的确切知识)、对比度级别、血流和扫描仪几何形状的已知参数化的结果；因此，这些数据可与已知标注真实数据相关联。
这些体模对应于大训练图像数据集并且表示多种血管几何形状、狭窄百分比、hu信号强度、周围组织(血管近侧的组织和毗邻结构诸如心室)、噪声实现等。以这种方式，ct模拟例程模拟将在多种临床场景中产生的图像。由于体模和扫描参数是完全可定制的，因此可以精确模拟例如在钙沉积被替换为脂肪的情况下将产生什么cta图像。类似地，可以完全控制血管管腔中的碘密度并且模拟多种多样的血管几何形状、斑块形状和其他邻近结构。综合起来看，这允许为分割、脱钙和hu评分深度学习应用生成较大且不同的标注真实数据集。重要的是，在该过程中准确地表示了由扫描仪和重建算法的有限分辨率引起的模糊。
相对于用于ffr估计的标注真实确定，可使用3dcfd计算来预测一定流量范围的跨标注真实管腔几何形状的压降。预测的压降可被视为可行标注真实，这是由于数字体模的几何形状是完全已知的。类似地，可基于已知管腔几何形状和流量来类似地确定其他标注真实血液动力学属性。
在一个具体实施中，如图4a和图4b所示，使用从血管模型得出的信息来扩充数据集，其中图4a描绘了简化血管模型并且图4b描绘了从临床数据得出的血管模型的渲染。图4a所示的简化血管模型包括管腔180和斑块182，由此可指定管腔180和斑块182中的每一者的密度和组成。在另一个具体实施中，使用从现实生活(即，临床、数据)得出的信息扩充该数据集。如图4b所示，从临床数据得出的模型包括管腔184和斑块186，由此可指定管腔184和斑块186中的每一者的密度和组成。以这种方式，可得出模拟的图像以便对应于在多种不同扫描参数和/或几何形状下成像的真实血管、钙沉积等的外观。从简化血管模型得出的信息使得易于修改用于生成训练深度学习网络所需的大数据集的模型参数。使用从临床图像得出的信息改善了训练数据的丰富性，然而从简化几何构造生成的合成图像虽然有用，但具有对实际血管的有限适用性(因此，具有有限训练价值)。任选地，任一模型另外包括以下的一者或多者：相邻结构(例如，心室、周围肺等)、背景材料(例如，脂肪等)的可变性以及由注射的对比剂(诸如碘)引起的管腔中的可变对比度增强。在另选方法中，两个数据源均可用于训练深度学习网络。另外，使用简化血管模型或从临床数据得出的血管模型中的一者或多者生成的合成图像可与已知标注真实信息(例如，已知不含钙沉积的血管段)的临床数据结合来训练深度学习网络。
该方法的示例在图5中示出，该图示出了临床cta图像170的使用，其中仅在cta图像170的背景中没有待估计的值的标注真实数据(例如，局限性流量、局限性压力分布、血流储备分数等)可供使用。以举例的方式，首先分割这些图像(步骤196)以产生真实底层管腔几何形状的几何表示和每个钙沉积的几何表示。还设想了其他几何特征(诸如斑块组成部分、毗邻结构等)的分割。这些几何表示可被体素化(被转换为体积表示或由体积表示来表示，其中基于体素相对于几何表示的位置，每个体素对应于特定组织类型或组织类型的组合)或被表征为多边形表面、nurbs(非均匀有理b样条)或任何数量的其他表示。这些表示可能不与真实管腔和钙的初始形状完全匹配，但它们充分接近，使得当综合起来看时，从对应cta图像体积的大型集合提取的这些表示的大型系列表示临床实践中常见的形状的类型。它们不完全匹配的事实可归因于分割是一个困难的问题的观察结果，尤其是在存在噪声、分辨率限制和其他图像非理想因素的情况下。然而，不需要完全匹配，因为这些表示(根据本发明方法明确地定义)变成标注真实形状，然后这些标注真实形状用作一组ct模拟例程190的一个输入，该组ct模拟例程基于临床cta图像170的所观察到的几何形状以及基于模拟用于采集临床图像170的硬件的一个或多个指定系统和方案模拟参数194(例如，ct扫描仪的几何形状、检测器孔径、焦斑孔径、x射线管的工作电压、电子束电流、x射线束过滤、x射线谱、x射线物理学等)来构建合成cta图像192。
由于ct模拟例程190的输入和操作都是已知的，因此所得的合成cta图像192具有一个或多个感兴趣参数的一个或多个对应已知标注真实值。然后从临床cta图像得出但具有已知标注真实值的合成cta图像192可用于一个或多个神经网络174(图3)的训练，如本文所讨论。此外，为了丰富数据集，可以以多种方式修改从临床数据得出的几何模型。例如，可缩放、旋转和扭转这些几何模型。可使用任意对比度级别，其可与由此得出这些形状的原始cta图像中的对比度无关。此外，可为血管定义沿着血管长度的空间变化对比度级别。还可独立地控制噪声级和其他扫描参数。
虽然前述内容涉及生成并使用合成图像数据来训练用于血管评估的神经网络(如上所述)，但网络设计也是一个因素。相对于网络设计选择，在一个具体实施中，用于分割的深度学习算法的卷积神经网络设计选择(例如，神经网络174a)包括使用编码器-解码器架构(诸如u型网)或使用空洞/多孔卷积以允许视场中的指数增加而不会如第一架构中那样因池化层的使用而降低空间维度的架构。这两种深度学习架构对于许多语义分割任务可能都有效。用于相应分割的损失函数可为交叉熵、dice或均方误差。
相对于使用深度学习算法的hu评分(例如，神经网络174c)，可采用卷积神经网络架构，其仅包含如回归和分类任务中通常使用的收缩路径。在一个此类具体实施中，为了减轻降采样的问题，原始重建体积被上采样到更密集的空间采样。另外，可扭转重采样网格的几何形状以遵循每个冠状动脉分支的走行，使得重采样(例如，上采样)的输出具有贯穿体积中间的血管中心线。
相对于脱钙，在一个实施方案中，神经网络(例如，神经网络174b)的输入是原始cta图像170，并且输出178是原始图像170与基于钙替换为脂肪而预测或估计的图像之间的预测差异。然后可通过相减来生成脂肪预测的图像。该方法可优于直接输出脂肪预测的图像，因为在u型网的低分辨率尺度下存在信息损失的可能性。此外，该方法允许为估计(局限性)钙影响的任务保留网络资源，而不是保留整个图像中的背景细节。脱钙的损失函数可为均方误差或另一种类似度量。
相对于使用经训练的神经网络174d进行的血液动力学参数的估计，在估计血流储备分数(ffr)的具体实施中，ffr预测神经网络可具有根据如上所述3dcfd模型得出的每个流量下的标注真实压降作为输入可供使用。在一个此类方法中，如上文相对于hu评分所述，ffr压降的输入图像体积可被重新格式化，使得血管被定位在该体积的中间并且可被裁减以包括血管的有限区段(诸如狭窄周围的区域)。该减小或有限的图像体积用作半u型网或其他类似网络架构的输入，其中输出是在标注真实值已知的每个流量下将预期的压降。损失函数对与每个流量下的标注真实压降的不符进行罚分。可使用简单(例如，二次)模型或平滑插值来推断标注真实范围内的任意流量下的预期压降。在另一个实施方案中，不按如上所述的那样限制图像体积。相反，使用3dcfd模型来提取每个流量下的总压降。使用总压降的原因如下。除了管壁处的摩擦损失之外，静压的变化还包括由于血流加速/减速而引起的压降/压升，诸如狭窄内和正好下游。当不限制图像体积时，静压降可能不表示由于狭窄引起的压降。另一方面，总压降仅包括这些损失、管壁处的摩擦损失以及由于再循环和/或湍流引起的任何惯性损失。因此，这是在不限制图像体积时要跟踪的合适压降。由于狭窄引起的压降不仅是狭窄内的损失的结果，而且是狭窄下游的损失的结果。下游损失可为血流再循环、湍流和管壁摩擦的结果。甚至当狭窄下游的血管正常时也会发生这些损失。为了在深度学习期间预测这些损失，除了图像体积自身之外，还提供了图像体积入口处的速度剖面形状和流量作为半u型网或类似网络架构的输入。这些输出是跨图像体积的总压降以及图像体积出口处的速度剖面形状。速度剖面形状可呈3d剖面(即，随x、y和z坐标变化的速度)或该形状特有的1d数(例如，最大速度/平均速度)的形式。然后可按顺序方式从狭窄的上游到下游应用经训练的网络，以沿着包括狭窄的血管段获得压降。在一个另外的实施方案中，使用深度学习获得1d血流模型中的参数，然后使用该1d血流模型预测压力分布。1d动量守恒方程具有以下形式：
(1)
其中q是体积流量，a是横截面积，p是压力，并且α和s′是与速度剖面形状相关的参数。参数s′与管壁摩擦损失相关。参数α被定义为
可通过假设抛物线型速度剖面来估计这些参数；然而，该假设可影响1d模型所预测的压力分布的准确性。为了提高准确性，可相反使用深度学习来获得这些参数。根据3dcfd模型，可在沿着图像体积的长度的多个位置处获得该参数，使得项
如根据本发明方法可以理解，当前描述的方法的一种可能应用是定量ffr。虽然可使用贯穿患者冠状动脉的压力导丝直接测量血流储备分数，但使用本发明方法促进的成像以非侵入性方式获得ffr的局限性估计值反而可能是有利的。
本发明的技术效果包括使用标注真实数据已知的合成图像数据来训练用于血管评估的一个或多个神经网络。在某些具体实施中，合成图像数据可部分地基于或源自标注真实数据未知或不可用的临床图像数据。以这种方式训练的神经网络可用于执行血管分割、脱钙、亨氏单位评分和/或血液动力学参数估计中的一者或多者。
该书面描述使用示例来公开本发明，包括最佳模式，并且还使本领域技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明的专利范围由权利要求书限定，并且可包括本领域技术人员想到的其他示例。如果此类其它示例具有与权利要求书的字面语言没有区别的结构元素，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元素，则此类其它示例旨在落入权利要求书的范围内。
- 还没有人留言评论。精彩留言会获得点赞！