血流特性预测方法、装置、电子设备及存储介质与流程

本申请涉及智慧医疗领域，具体涉及一种血流特性预测方法、装置、电子设备及存储介质。

背景技术：

出于提高医疗水平的迫切需求，将信息技术与医疗领域相结合以提高诊断速度、诊断准确率，或者降低诊断为患者带来的不便以及痛楚有着重要意义。现如今，因血管相关疾病导致的健康问题十分普遍。为了评判血管的健康状态，常常需要获得血管的血流特性，例如：血流储备分数、血流压强、血流剪切力等。

现有技术中，通常采用对血管的三维模型进行模拟仿真的方式，计算得到血流特性。这种方法需要高性能的计算机提供算力支持，对硬件资源的需求高。

技术实现要素：

本申请的一个目的在于提出一种血流特性预测方法、装置、电子设备及存储介质，能够提高血流特性的预测准确度，并降低对硬件资源的需求。

根据本申请实施例的一方面，公开了一种血流特性预测方法，所述方法包括：

获取目标对象的医学影像；

从所述医学影像中分割出所述目标对象的血管以及所述目标对象的功能组织，并对所述功能组织进行区域划分以确定各所述血管所灌溉的功能组织区域；

获取目标血管的图像特征，并获取目标功能组织区域的图像特征，其中，所述目标功能组织区域为所述目标血管所灌溉的功能组织区域；

基于所述目标血管的图像特征以及所述目标功能组织区域的图像特征，预测所述目标血管的血流特性。

根据本申请实施例的一方面，公开了一种血流特性预测装置，所述装置包括：

影像获取模块，配置为获取目标对象的医学影像；

分割模块，配置为从所述医学影像中分割出所述目标对象的血管以及所述目标对象的功能组织，并对所述功能组织进行区域划分以确定各所述血管所灌溉的功能组织区域；

图像特征获取模块，配置为获取目标血管的图像特征，并获取目标功能组织区域的图像特征，其中，所述目标功能组织区域为所述目标血管所灌溉的功能组织区域；

预测模块，配置为基于所述目标血管的图像特征以及所述目标功能组织区域的图像特征，预测所述目标血管的血流特性。

在本申请的一示例性实施例中，所述装置配置为：

对所述功能组织进行聚类处理，得到聚类后的所述目标对象的功能组织块；

基于各所述血管与各所述功能组织块之间的距离，确定各所述血管所灌溉的功能组织块，并将被同一血管所灌溉的功能组织块划分至同一功能组织区域。

在本申请的一示例性实施例中，所述装置配置为：

提取各所述血管的中心线；

基于各所述血管的中心线与各所述功能组织块之间的距离，采用邻域算法确定各所述血管所灌溉的功能组织块。

在本申请的一示例性实施例中，所述装置配置为：

提取所述目标血管的中心线；

于所述目标血管的中心线顺序选取至少两个中心点，并分别以各所述中心点为质心截取对应的血管图像块；

分别提取各所述血管图像块的图像特征，并将各所述血管图像块的图像特征按照所述中心点的选取顺序进行排列，得到所述目标血管的图像特征。

在本申请的一示例性实施例中，所述装置配置为：

拉直所述目标血管的中心线，得到所述目标血管的拉直后中心线；

于所述拉直后中心线等间距顺序选取所述中心点，并分别以各所述中心点为质心截取对应的血管图像块。

在本申请的一示例性实施例中，所述装置配置为：

通过预训练的深度学习网络结构的第一神经网络，获取所述目标血管的图像特征。

在本申请的一示例性实施例中，所述装置配置为：

将样本血管图像输入所述第一神经网络，使得所述第一神经网络将所述样本血管图像编码为对应的图像特征后，再将所述图像特征解码为对应的预测血管图像；

基于所述预测血管图像与所述样本血管图像之间的偏差，不断调整所述第一神经网络的网络参数，直到所述偏差小于预设阈值，得到训练完成的所述第一神经网络。

在本申请的一示例性实施例中，所述装置配置为：

将所述目标功能组织区域作为掩膜图像；

于所述掩膜图像选取质心，并于所述掩膜图像截取各所述质心对应的功能组织图像块；

分别提取各所述功能组织图像块的图像特征，得到所述目标功能组织区域的图像特征。

在本申请的一示例性实施例中，所述装置配置为：

分别提取各所述功能组织图像块的图像特征，并将所述功能组织图像块的图像特征进行融合，得到所述目标功能组织区域的图像特征。

在本申请的一示例性实施例中，所述装置配置为：

通过预训练的深度学习网络结构的第二神经网络，获取所述目标功能组织区域的图像特征。

在本申请的一示例性实施例中，所述装置配置为：

将图像特征序列输入预训练的深度学习网络结构的第三神经网络，得到所述第三神经网络输出的所述目标血管的血流特性，其中，所述图像特征序列包括所述目标血管的图像特征以及所述目标功能组织区域的图像特征。

在本申请的一示例性实施例中，所述装置配置为：

将图像特征序列输入预训练的深度学习网络结构的第三神经网络，得到所述第三神经网络输出的所述目标血管在所述各中心点处的血流特性，其中，所述图像特征序列包括所述目标血管的图像特征以及所述目标功能组织区域的图像特征。

根据本申请实施例的一方面，公开了一种电子设备，包括：存储器，存储有计算机可读指令；处理器，读取存储器存储的计算机可读指令，以执行以上权利要求中的任一个所述的方法。

根据本申请实施例的一方面，公开了一种计算机程序介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行以上权利要求中的任一个所述的方法。

根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。

本申请实施例中，通过结合血管的图像特征以及血管所灌溉的功能组织区域的图像特征，使得在此基础上预测所得到的血管的血流特性更加符合真实的解剖生理学。具体的，真实的解剖结构中，功能组织由其相应的血管进行灌溉，从而得到血液等养分。所以将所有的功能组织作为一个特征整体是不合理的，而应当将功能组织与对应的灌溉来源的血管关联起来。通过本申请实施例提供的方法，将血管与所灌溉的功能组织区域准确地结合起来，从而提高了血流特性的预测准确度。而且，由于预测血流特性所使用的是血管的图像特征以及功能组织区域的图像特征，既无需使用血管的几何特征，也无需使用血管的三维模型并对其进行模拟仿真，从而降低了对硬件资源的需求。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

附图说明

通过参考附图详细描述其示例实施例，本申请的上述和其它目标、特征及优点将变得更加显而易见。

图1示出了根据本申请一个实施例的血流特性预测方法的流程图。

图2示出了根据本申请一个实施例的对心肌进行聚类得到心肌块的示意图。

图3示出了根据本申请一实施例的冠脉灌溉心肌区域的示意图。

图4示出了根据本申请一实施例的autoencoder的组成结构示意图。

图5示出了根据本申请一实施例的autoencoder结构的第一神经网络的训练示意图。

图6示出了根据本申请一实施例的获取序列形式的血管的图像特征的示意图。

图7示出了根据本申请一实施例的autoencoder结构的第二神经网络的训练示意图。

图8示出了根据本申请一实施例的autoencoder结构的第二神经网络的使用示意图。

图9示出了根据本申请一实施例的transformer的组成结构示意图。

图10示出了根据本申请一实施例的transformer中编码器的详细结构以及解码器的详细结构的示意图。

图11示出了根据本申请一实施例的通过transformer结构的第三神经网络预测目标血管在各中心点处的血流特性的示意图。

图12根据本申请一个实施例的血流特性预测装置的框图。

图13根据本申请一个实施例的电子设备的硬件图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些示例实施方式使得本申请的描述将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本申请的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多示例实施方式中。在下面的描述中，提供许多具体细节从而给出对本申请的示例实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、步骤等。在其它情况下，不详细示出或描述公知结构、方法、实现或者操作以避免喧宾夺主而使得本申请的各方面变得模糊。

附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本申请提供了一种血流特性预测方法，主要应用于医疗领域中对血管的血流特性进行预测。

在详细描述本申请实施例的具体实施过程之前，首先对本申请涉及的部分概念进行简要解释。

目标对象，指的是用于预测其中血管的血流特性的生物内部组织。例如：人体的心脏。

医学影像，指的是在医疗领域中所取得的生物内部组织的影像。常见的医学影像包括但不限于：ct(computedtomography，电子计算机断层扫描)影像，nmri(nuclearmagneticresonanceimaging，核磁共振成像)影像。

血管灌溉功能组织，指的是血管向功能组织提供血液，以向功能组织正常行使其功能提供支持。本申请实施例中，血管所灌溉的功能组织，包括但不限于：肌肉组织，大脑灰质组织，大脑白质组织。

目标血管，指的是在所选定目标对象中的一条或者一段血管。

血流特性，指的是用于描述血液在流动过程中物理表现的参数。所获取的血流特性可以用于医疗诊断。本申请实施例中的血流特性包括但不限于：ffr(fractionalflowreserve，血流储备分数)、压强、剪切力。

ffr，指的是在冠状动脉存在狭窄病变的情况下，该冠状动脉所供血心肌区域能获得的最大血流与正常情况下同一区域理论上所能获得的最大血流之比，即，心肌最大充血状态下的狭窄远端冠状动脉内平均压pd与冠状动脉口部主动脉平均压pa的比值。

图1示出了本申请一实施例的血流特性预测方法的流程图。该方法包括：

步骤s110、获取目标对象的医学影像；

步骤s120、从医学影像中分割出目标对象的血管以及目标对象的功能组织，并对功能组织进行区域划分以确定各血管所灌溉的功能组织区域；

步骤s130、获取目标血管的图像特征，并获取目标功能组织区域的图像特征，其中，目标功能组织区域为目标血管所灌溉的功能组织区域；

步骤s140、基于目标血管的图像特征以及目标功能组织区域的图像特征，预测目标血管的血流特性。

本申请实施例中，获取到目标对象的医学影像后，从该医学影像中分割出目标对象的血管以及目标对象的功能组织，并对功能组织进行区域划分以确定各血管所灌溉的功能组织区域。进而对于选定的目标血管，确定目标血管所灌溉的目标功能组织区域。进而基于目标血管的图像特征以及目标功能组织区域的图像特征，预测目标血管的血流特性。

由此可见，本申请实施例中，通过结合血管的图像特征以及血管所灌溉的功能组织区域的图像特征，使得在此基础上预测所得到的血管的血流特性更加符合真实的解剖生理学。具体的，真实的解剖结构中，功能组织由其相应的血管进行灌溉，从而得到血液等养分。所以将所有的功能组织作为一个特征整体是不合理的，而应当将功能组织与对应的灌溉来源的血管关联起来。通过本申请实施例提供的方法，将血管与所灌溉的功能组织区域准确地结合起来，从而提高了血流特性的预测准确度。而且，由于预测血流特性所使用的是血管的图像特征以及功能组织区域的图像特征，既无需使用血管的几何特征，也无需使用血管的三维模型并对其进行模拟仿真，从而降低了对硬件资源的需求。

需要说明的是，出于简要说明的目的，后续对本申请实施例所作描述中：“目标对象”示例性的为“心脏”，“目标对象的血管”示例性的为“心脏的冠脉”，“目标对象的功能组织”示例性的为“心肌”，“血流特性”示例性的为“ffr”。但并不代表本申请实施例只能用于对心脏中冠脉的ffr进行预测，不应对本申请的功能和使用范围造成限制。

在一实施例中，通过灰度值检测的方式从目标对象的医学影像中分割出目标对象的血管。

在一实施例中，通过基于深度学习的3du-net的方式，从目标对象的医学影像中分割出目标对象的功能组织。

在一实施例中，通过基于multi-atlas的方式，从目标对象的医学影像中分割出目标对象的功能组织。

在一实施例中，通过对功能组织进行聚类的方式，确定各血管所灌溉的功能组织区域。

该实施例中，分割出目标对象的血管以及目标对象的功能组织后，对功能组织进行聚类处理，得到聚类后的该目标对象的功能组织块。进而基于各血管与各功能组织块之间的距离，确定各血管所灌溉的功能组织块，并将被同一血管所灌溉的功能组织块划分至同一功能组织区域。

在一实施例中，采用k-means聚类算法对功能组织进行聚类处理。

该实施例中，预先设置聚类后的功能组织块的数目m(m大于等于2)，进而采用k-means聚类算法对分割出的功能组织进行聚类处理，得到聚类后的m个功能组织块。

图2示出了本申请一实施例的对心肌进行聚类得到心肌块的示意图。

该实施例中，从心脏的医学影像中分割出如图2左图浅色区域所示的心肌。采用k-means聚类算法或者其他聚类算法对该心肌进行聚类后，聚类得到如图2右图深浅交错的浅色区域所示的多个心肌块。

在一实施例中，通过提取血管的中心线的方式确定血管所灌溉的功能组织块。

该实施例中，提取各血管的中心线。进而基于各血管的中心线与各功能组织块之间的距离，采用邻域算法确定各血管所灌溉的功能组织块。

图3示出了本申请一实施例的冠脉灌溉心肌区域的示意图。

该实施例中，如图3所示，不同着色深度的区域代表不同的心肌区域。其中，s1为室间隔前支灌溉的心肌区域，d1为第一条对角支灌溉的心肌区域。

初步分割出冠脉的左前降支lad后，将lad进行分段，得到lad近段、lad中段以及lad远段这三段血管。

初步分割出的心肌为一个整体。采用k-means聚类算法或者其他聚类算法对该心肌进行聚类处理，将该心肌聚类为m个心肌块(m大于等于2)。进而确定lad近段、lad中段以及lad远段这三段血管分别与各心肌块之间的距离。

进而基于所得到的距离，确定lad近段所灌溉的n1个心肌块，并将该n1个心肌块所组成的区域确定为lad近段所灌溉的心肌区域；确定lad中段所灌溉的n2个心肌块，并将该n2个心肌块所组成的区域确定为lad中段所灌溉的心肌区域；确定lad远段所灌溉的n3个心肌块，并将该n3个心肌块所组成的区域确定为lad远段所灌溉的心肌区域。其中，n1、n2、n3之和小于等于m。

在一实施例中，基于深度学习的3du-net的方法提取血管的中心线。

在一实施例中，基于最短路径(minimumpath)的方法提取血管中心线。

在一实施例中，通过深度学习的方式获取目标血管的图像特征。

该实施例中，预先训练深度学习网络结构的第一神经网络，使得该第一神经网络能够正确提取出血管的图像特征。从而，从医学影像中分割出目标血管后，通过该预训练的深度学习网络结构的第一神经网络，获取该目标血管的图像特征。

在一实施例中，第一神经网络为无监督的autoencoder结构。

该实施例中，将样本血管图像输入autoencoder结构的第一神经网络，使得该第一神经网络将该样本血管图像编码为对应的血管图像特征后，再将该血管图像特征解码为对应的预测血管图像。其中，若该第一神经网络能够正确地将样本血管图像编码为对应的图像特征，则该第一神经网络便能够正确地将该图像特征还原为样本血管图像，即，该第一神经网络解码得到的预测血管图像与样本血管图像一致。故可以根据预测血管图像与样本血管图像之间的偏差来衡量该第一神经网络是否能够正确提取出血管的图像特征。

进而，基于预测血管图像与样本血管图像之间的偏差，不断调整第一神经网络的网络参数，直到该第一神经网络对样本血管图像进行编码再解码后所得到的预测血管图像，其与样本血管图像之间的偏差小于预设阈值，得到训练完成的第一神经网络。

该实施例的优点在于，通过无监督的autoencoder结构的第一神经网络，可以通过自身对比，自动提取出准确的血管的图像特征。避免了基于有监督深度学习方法需要付出巨大代价以标注大量标签的问题，并避免了人工设计特征的效率低和特征表达不足等问题，从而提高了血流特性的预测准确度。

图4示出了本申请一实施例的autoencoder的组成结构示意图。

该实施例中，autoencoder，简称ae，主要由两部分组成：负责编码的encoder编码器，负责解码的decoder解码器。encodings为编码器输出的抽象特征。

其中，conv为卷积处理，bn为批正则化处理，relu为激活函数处理，mp为最大池化处理；fc为全连接处理；up为上采样处理或者deconvolution反卷积处理，n为模块重复的个数。

图5示出了本申请一实施例的autoencoder结构的第一神经网络的训练示意图。

该实施例中，将样本血管图像输入ae结构的第一神经网络，经过ae编码输出其对应的图像特征，并将该图像特征解码输出为对应的预测血管图像。

自动将该预测血管图像与该样本血管图像进行对比，确定二者之间的偏差loss，进而根据该偏差loss更新ae的网络参数。不断循环，直到偏差loss满足要求，得到训练完成的第一神经网络。

在一实施例中，所获取的目标血管的图像特征为一个序列。

该实施例中，提取目标血管的中心线。其中，目标血管的中心线包括至少两个中心点。

进而于目标血管的中心线顺序选取至少两个中心点，并分别以各中心点为质心截取对应的血管图像块。其中，顺序选取指的是沿着中心线顺序选取；血管图像块包含的图像信息是三维的。

进而分别提取各血管图像块的图像特征，并将各血管图像块的图像特征按照中心点的选取顺序进行排列，得到目标血管的图像特征。其中，该目标血管的图像特征为一个序列，该序列是由多个血管图像块的图像特征组合得到的。

在一实施例中，所获取序列形式的目标血管的图像特征，其所包含的序列元素之间等间距。

该实施例中，提取得到目标血管的中心线后，拉直该目标血管的中心线，得到该目标血管的拉直后中心线。

进而于该拉直后中心线等间距顺序选取至少两个中心点，并分别以各中心点为质心截取对应的血管图像块。

通过这种方法所得到的多个血管图像块是等间距的，在此基础上所提取得到该多个血管图像块的图像特征，并将该多个血管图像块的图像特征按照中心点的选取顺序进行排列，得到目标血管的图像特征。其中，该目标血管的图像特征为一个由多个血管图像块的图像特征组合得到的序列，且该多个血管图像块之间沿目标血管的中心线等间距。

图6示出了本申请一实施例的获取序列形式的血管的图像特征的示意图。

该实施例中，通过对血管的中心线进行拉直，得到拉直中心线的同时，得到如图6所示的拉直血管。

通过在该拉直血管上顺序选取等间距的多个中心点，并以各中心点为质心截取对应的血管图像块，进而将各血管图像块分别输入ae结构的第一神经网络，得到各血管图像块的图像特征。将所得到的各血管图像块的图像特征组合为一个序列，得到序列形式的血管的图像特征。

在一实施例中，通过掩膜图像的方式获取目标功能组织区域的图像特征。

该实施例中，对功能组织进行区域划分得到各功能组织区域后，针对目标血管所灌溉的目标功能组织区域，将该目标功能组织区域作为掩膜图像。

进而于该掩膜图像选取质心，并于该掩膜图像截取各质心对应的功能组织图像块。其中，功能组织图像块包含的图像信息是三维的。

进而分别提取各功能组织图像块的图像特征，得到目标功能组织区域的图像特征。其中，该目标功能组织区域的图像特征包括于掩膜图像截取得到的各功能组织图像块的图像特征。

该实施例的优点在于，通过掩膜图像的方式进行图像处理，避免了在截取功能组织图像块的过程中截取到非功能组织范围所在的图像。

在一实施例中，通过融合图像特征的方式，得到目标功能组织区域的图像特征。

该实施例中，于掩膜图像截取各质心对应的功能组织图像块后，分别提取各功能组织图像块的图像特征，并将功能组织图像块的图像特征进行融合，得到目标功能组织区域的图像特征。例如：提取得到n个m维的心肌图像块的图像特征后，将这n个m维的心肌图像块融合为1个m维的特征，作为心肌区域的整体特征。

在一实施例中，通过深度学习的方式获取目标功能组织区域的图像特征。

该实施例中，预先训练深度学习网络结构的第二神经网络，使得该第二神经网络能够正确提取出功能组织区域的图像特征。从而，从医学影像中分割出功能组织区域后，通过该预训练的深度学习网络结构的第二神经网络，获取目标功能组织区域的图像特征。

在一实施例中，第二神经网络为无监督的autoencoder结构。

该实施例中，将样本功能组织图像输入autoencoder结构的第二神经网络，使得该第二神经网络将该样本功能组织图像编码为对应的图像特征后，再将该图像特征解码为对应的预测功能组织图像。其中，若该第二神经网络能够正确地将样本功能组织图像编码为对应的图像特征，则该第二神经网络便能够正确地将该图像特征还原为样本功能组织图像，即，该第二神经网络解码得到的预测功能组织图像与样本功能组织图像一致。故可以根据预测功能组织图像与样本功能组织图像之间的偏差来衡量该第二神经网络是否能够正确提取出功能组织的图像特征。

进而，基于预测功能组织图像与样本功能组织图像之间的偏差，不断调整第二神经网络的网络参数，直到该第二神经网络对样本功能组织图像进行编码再解码后所得到的预测功能组织图像，其与样本功能组织图像之间的偏差小于预设阈值，得到训练完成的第二神经网络。

该实施例的优点在于，通过无监督的autoencoder结构的第二神经网络，可以通过自身对比，自动提取出准确的功能组织的图像特征。避免了基于有监督深度学习方法需要付出巨大代价以标注大量标签的问题，并避免了人工设计特征的效率低和特征表达不足等问题，从而提高了血流特性的预测准确度。

图7示出了本申请一实施例的autoencoder结构的第二神经网络的训练示意图。

该实施例中，从心脏的医学影像分割得到心肌后，从而该心肌中截取一部分作为样本心肌图像。

将该样本心肌图像输入ae结构的第二神经网络，经过ae编码输出其对应的图像特征，并将该图像特征解码输出为对应的预测心肌图像。

自动将该预测心肌图像与该样本心肌图像进行对比，确定二者之间的偏差loss，进而根据该偏差loss更新ae的网络参数。不断循环，直到偏差loss满足要求，得到训练完成的第二神经网络。

图8示出了本申请一实施例的autoencoder结构的第二神经网络的使用示意图。

该实施例中，该ae结构的第二神经网络已经预先训练完成。

从心脏的医学影像分割得到心肌后，将用于血流特性预测的心肌图像直接输入该ae，即可得到该ae输出的心肌的图像特征。

在一实施例中，通过深度学习的方式预测目标血管的血流特性。

该实施例中，预先训练深度学习网络结构的第三神经网络，使得该第三神经网络能够根据血管的图像特征以及血管所灌溉功能组织区域的图像特征，正确预测血管的血流特性。从而，得到目标血管的图像特征以及目标功能组织区域的图像特征后，将图像特征序列输入该第三神经网络，得到该第三神经网络输出的目标血管的血流特性。其中，该图像特征序列包括目标血管的图像特征以及目标功能组织区域的图像特征。

在一实施例中，用于预测目标血管整体上的血流特性的第三神经网络为有监督的transformer结构。

该实施例中，针对样本对象的血管，可以事先建立样本对象的血管的三维模型，进而基于该三维模型，采用cfd(computationalfluiddynamics，计算流体动力学)技术对样本对象的血管内血流进行模拟仿真，进而根据模拟仿真结果得到样本对象的血管整体上的模拟血流特性。

从样本对象的医学影像中，提取出该样本对象的血管的图像特征以及该样本对象的功能组织区域的图像特征，并将该样本对象的血管的图像特征以及该样本对象的功能组织区域的图像特征组合为一个序列，得到作为第三神经网络的输入的图像特征序列。

将该图像特征序列输入transformer结构的第三神经网络，使得该第三神经网络对该图像特征序列进行处理，输出该样本对象的血管整体上的预测血流特性。

基于预测血流特性与模拟血流特性之间的偏差，不断调整该第三神经网络的网络参数，直到该第三神经网络输出的预测血流特性，其与模拟血流特性之间的偏差小于预设阈值，得到训练完成的第三神经网络。

图9示出了本申请一实施例的transformer的组成结构示意图。

该实施例中，transformer由多个编码器以及多个解码器组成。

编码器和解码器的输入输出皆为特征序列。特征序列从第一个编码器输入，由最后一个解码器输出预测的结果。

图10示出了本申请一实施例的transformer中编码器的详细结构以及解码器的详细结构的示意图。

该实施例中，transformer的每个编码器由至少一个自注意力(self-attention)模块和至少一个前向传播(feed-forward)模块组成。每个解码器由至少两个自注意力模块和至少一个前向传播模块组成。

该实施例的优点在于，通过transformer中的自注意力模块，可以自动关注到重要的血管区域，从而提高血流特性的预测准确度。

在一实施例中，作为第三神经网络的输入的图像特征序列，其中的目标血管的图像特征也是一个序列，该目标血管的图像特征包括顺序排列的至少两个中心点的血管图像块的图像特征。

该实施例中，将目标功能组织区域的图像特征以及序列形式的目标血管的图像特征组合为一个新的序列，得到作为第三神经网络的输入的图像特征序列。将该图像特征序列输入该第三神经网络，得到该第三神经网络输出的目标血管在各中心处的血流特性。

图11示出了本申请一实施例的通过transformer结构的第三神经网络预测目标血管在各中心点处的血流特性的示意图。

该实施例中，提取出目标血管所灌溉的目标心肌区域的图像特征fm。并沿目标血管的中心线，顺序提取出v0,v1,...,vn这些中心点处的血管图像块的图像特征fv0,fv1,...,fvn，并顺序组合为序列[fv0,fv1,...,fvn]，得到序列形式的目标血管的图像特征。其中，fm与fvi(i为从0至n的任一数字)的向量维度相同。

再将fm与序列[fv0,fv1,...,fvn]组合为一个新的序列[fm,fv0,fv1,...,fvn]。

将该新的序列[fm,fv0,fv1,...,fvn]输入transformer结构的第三神经网络，同时，将位置编码(positionalencoding)也输入该第三神经网络，从而得到该第三神经网络输出的目标血管在v0,v1,...,vn这些中心点处的ffrct序列[y0,y1,..,yn]。其中，y0为目标血管在v0点处的ffrct，y1为目标血管在v1点处的ffrct，yn为目标血管在vn点处的ffrct。其中，ffrct指的是通过预测所得到的血流储备分数，用于区别于通常代表通过有创手段所得到的ffr。

该实施例的优点在于，通过采用transformer对血管的各中心点的血管图像块的图像特征所组成的序列进行处理，考虑了血管多点的序列特征；而且能够结合更长的空间序列特征且不会导致技术复杂度的大量增加；而且能够快速的并行计算；而且能够对不同位置有侧重点的关注；而且能够更好地解决梯度消失的问题，从而提高了血流特性的预测准确度。

在一实施例中，用于预测目标血管在各中心点的血流特性的第三神经网络为有监督的transformer结构。

该实施例中，针对样本对象的血管，可以事先提取该样本对象的血管的中心线，并建立样本对象的血管的三维模型，进而基于该三维模型，采用cfd技术对样本对象的血管内血流进行模拟仿真，进而根据模拟仿真结果得到样本对象的血管在各中心点的模拟血流特性。

提取出该中心线上各中心点的血管图像块的图像特征，并顺序组合为一个序列，得到该样本对象的血管的图像特征。并提取出该样本对象的功能组织区域的图像特征。

进而将该样本对象的血管的图像特征以及该样本对象的功能组织区域的图像特征再组合为一个序列，得到作为第三神经网络的输入的图像特征序列。

进而将该图像特征序列输入transformer结构的第三神经网络，使得该第三神经网络对该图像特征序列进行处理，输出该样本对象的血管在各中心点的预测血流特性。

基于在各中心点的预测血流特性与在各中心点的模拟血流特性之间的偏差，不断调整该第三神经网络的网络参数，直到该第三神经网络输出的在各中心点的预测血流特性，其与在各中心点的模拟血流特性之间的偏差小于预设阈值，得到训练完成的第三神经网络。

在一实施例中，用于预测目标血管在各中心点的血流特性的第三神经网络为循环神经网络rnn，或者lstm，或者为gru。

图12示出了根据本申请一实施例的血流特性预测装置，所述装置包括：

影像获取模块210，配置为获取目标对象的医学影像；

分割模块220，配置为从所述医学影像中分割出所述目标对象的血管以及所述目标对象的功能组织，并对所述功能组织进行区域划分以确定各所述血管所灌溉的功能组织区域；

图像特征获取模块230，配置为获取目标血管的图像特征，并获取目标功能组织区域的图像特征，其中，所述目标功能组织区域为所述目标血管所灌溉的功能组织区域；

预测模块240，配置为基于所述目标血管的图像特征以及所述目标功能组织区域的图像特征，预测所述目标血管的血流特性。

在本申请的一示例性实施例中，所述装置配置为：

对所述功能组织进行聚类处理，得到聚类后的所述目标对象的功能组织块；

基于各所述血管与各所述功能组织块之间的距离，确定各所述血管所灌溉的功能组织块，并将被同一血管所灌溉的功能组织块划分至同一功能组织区域。

在本申请的一示例性实施例中，所述装置配置为：

提取各所述血管的中心线；

基于各所述血管的中心线与各所述功能组织块之间的距离，采用邻域算法确定各所述血管所灌溉的功能组织块。

在本申请的一示例性实施例中，所述装置配置为：

提取所述目标血管的中心线；

于所述目标血管的中心线顺序选取至少两个中心点，并分别以各所述中心点为质心截取对应的血管图像块；

分别提取各所述血管图像块的图像特征，并将各所述血管图像块的图像特征按照所述中心点的选取顺序进行排列，得到所述目标血管的图像特征。

在本申请的一示例性实施例中，所述装置配置为：

拉直所述目标血管的中心线，得到所述目标血管的拉直后中心线；

于所述拉直后中心线等间距顺序选取所述中心点，并分别以各所述中心点为质心截取对应的血管图像块。

在本申请的一示例性实施例中，所述装置配置为：

通过预训练的深度学习网络结构的第一神经网络，获取所述目标血管的图像特征。

在本申请的一示例性实施例中，所述装置配置为：

将样本血管图像输入所述第一神经网络，使得所述第一神经网络将所述样本血管图像编码为对应的图像特征后，再将所述图像特征解码为对应的预测血管图像；

基于所述预测血管图像与所述样本血管图像之间的偏差，不断调整所述第一神经网络的网络参数，直到所述偏差小于预设阈值，得到训练完成的所述第一神经网络。

在本申请的一示例性实施例中，所述装置配置为：

将所述目标功能组织区域作为掩膜图像；

于所述掩膜图像选取质心，并于所述掩膜图像截取各所述质心对应的功能组织图像块；

分别提取各所述功能组织图像块的图像特征，得到所述目标功能组织区域的图像特征。

在本申请的一示例性实施例中，所述装置配置为：

分别提取各所述功能组织图像块的图像特征，并将所述功能组织图像块的图像特征进行融合，得到所述目标功能组织区域的图像特征。

在本申请的一示例性实施例中，所述装置配置为：

通过预训练的深度学习网络结构的第二神经网络，获取所述目标功能组织区域的图像特征。

在本申请的一示例性实施例中，所述装置配置为：

将图像特征序列输入预训练的深度学习网络结构的第三神经网络，得到所述第三神经网络输出的所述目标血管的血流特性，其中，所述图像特征序列包括所述目标血管的图像特征以及所述目标功能组织区域的图像特征。

在本申请的一示例性实施例中，所述装置配置为：

将图像特征序列输入预训练的深度学习网络结构的第三神经网络，得到所述第三神经网络输出的所述目标血管在所述各中心点处的血流特性，其中，所述图像特征序列包括所述目标血管的图像特征以及所述目标功能组织区域的图像特征。

下面参考图13来描述根据本申请实施例的电子设备30。图13显示的电子设备30仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图13所示，电子设备30以通用计算设备的形式表现。电子设备30的组件可以包括但不限于：上述至少一个处理单元310、上述至少一个存储单元320、连接不同系统组件(包括存储单元320和处理单元310)的总线330。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元310执行，使得所述处理单元310执行本说明书上述示例性方法的描述部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元310可以执行如图1中所示的各个步骤。

存储单元320可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)3201和/或高速缓存存储单元3202，还可以进一步包括只读存储单元(rom)3203。

存储单元320还可以包括具有一组(至少一个)程序模块3205的程序/实用工具3204，这样的程序模块3205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线330可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备30也可以与一个或多个外部设备400(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备30交互的设备通信，和/或与使得该电子设备30能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口350进行。输入/输出(i/o)接口350与显示单元340相连。并且，电子设备30还可以通过网络适配器360与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器360通过总线330与电子设备30的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本申请实施方式的方法。

在本申请的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行上述方法实施例部分描述的方法。

根据本申请的一个实施例，还提供了一种用于实现上述方法实施例中的方法的程序产品，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本申请实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由所附的权利要求指出。