一种基于深度学习的PET快速成像方法和系统与流程

本发明涉及pet图像重建技术，尤其是一种基于深度学习的pet快速成像方法和系统。

背景技术：

正电子发射型计算机断层显像(positronemissioncomputedtomography,pet)是一种通过向生物体内注射正电子放射性同位素标记的化合物，在生物代谢过程中，收集衰变正电子信号进行成像的医学影像技术。由于收集正电子信号所需时间依赖于放射性元素的半衰期和信号采集系统的有效时间间隔，并且传统成像算法具有计算量大的特征，该pet成像面临成像时间长的问题。为提高pet成像效率，人们试图来减少数据采集时间来获取图像。但是，通过缩短信号采集时间来缩短成像时长的方法面临低信噪比、信息损失、伪影等问题，导致图像质量定性指标的下降、定量指标的不一致，最终会导致临床诊断的不可靠。

作为pet影像算法的一种，传统机器学习方法通过数据驱动，以基于映射的稀疏表示、半监督的三重化字典、以及多极典型相关分析等方法完成从快速pet图像预测相匹配的标准时长pet图像。近年来，由于深度学习在计算机视觉应用方面展现出的巨大潜能，已有若干努力将此技术应用于医学图像分析，例如医学图像分割，图像配准等。在从数据采集时长较短的pet图像生成标准图像的任务中，深度学习表现优异，能够提高信噪比，消除伪影。但是，需要能够从极短数据采集时长的pet图像中重建出不劣于标准时长图像的方法。

u-net是目前最为常见的用于医学图像分割、分类的网络架构。attentionres-unet在u-net的基础上添加了非局部操作，为每一个像素提供全局信息，建立了像素和像素的联系，并在结合了最新的残差注意力机制，设计了注意力生成模块个注意力融合模块，为输入图像的每一个像素位置分配权重，用于改善网络输出，提升了网络对于不同结构的泛化能力。

以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

技术实现要素：

发明人在实践中发现，attentionu-net所使用的注意力机制对非训练集数据不具有很好的泛化能力，使得对4倍及以上加速图像处理效果不佳，不能稳定实现图像质量大幅度提高，不能实现suv等临床定量指标与金标准的高一致性，不能保证生成图像的临床诊断价值等问题。

本发明的主要目的在于提供一种基于深度学习的pet快速成像方法，解决现有技术存在的缩短成像时长导致图像质量下降等问题。

为实现上述目的，本发明采用以下技术方案：

一种基于深度学习的pet快速成像方法，包括如下步骤：

s1、获取通过第一长时间和第二短时间采集的匹配的核医学图像组，所述匹配的核医学图像组指对同一患者采集的同扫描区域的核医学图像，其中，所述第二短时间采集的核医学图像组为所述第一长时间采集的核医学图像组进行数据降采集获得的，或者真实使用短时间再一次扫描采集获得的；

s2、对获得的核医学图像组进行预处理以及对于图像大小和信号强度的归一化处理，其中，处理获得的核医学图像组及作为多模态输入的多对比度图像的图像大小和像素值，使其符合卷积神经网络的输入要求；

s3、构建基于res-unet的噪声识别神经网络，所述噪声识别网络所使用的数据库包括由在步骤s1中采集的核医学图像上随机添加噪声信号构成的网络输入图像和对应的噪声信号构成的网络输出图像；所述噪声识别网络经训练能够从所述第二短时间采集的核医学图像中提取出噪声图像；

s4、构建具有多个卷积神经网络cnn级串联的包括对称串接连接的编码器-解码器残差深度网络结构的图像重建卷积网络，所述图像重建卷积网络的输入为所述第二短时间采集的核医学图像以及作为多模态输入的对应的多对比度图像；s5、使用损失函数训练所述图像重建卷积网络，以使得所述图像重建卷积网络能够先验地提取输入的核医学图像以及输入多对比度图像的有效图像特征从而重建出高质量核医学图像。

进一步地：

步骤s1中，所述核医学图像包括pet、pet/ct、pet/mr核医学图像中的任意一种；获取匹配的核医学图像组的方法包括通过第一长时间采集信号后重建获得的图像和/或通过对长时间采集获得的信号随机采样其中1/200-1/2信号后重建得到的欠采样图像。

步骤s2中，所述预处理包括对获得的核医学图像组进行图像配准，在保持第一长时间采集的pet图像和第二短时间采集的pet图像的显示区域一致的条件下，最大化显示区域，并根据获得的核医学图像的图像质量对核医学图像进行筛选；所述图像配准的标准包括基于外部特征的配准、基于内部特征的配准以及基于非图像特征的配准中的一种或多种；所述图像配准的方法包括删除不匹配的图层、线性插值处理以及深度学习配准方法中的一种或多种；所述图像大小和信号强度的归一化处理方法包括批量归一化、层归一化、实例归一化和组归一化中的一种或多种。

步骤s4中，所述cnn级使用m个kxk卷积核，并使用下采样的池化层，cnn级之间由双线性内插来进行上采样，其中，n个卷积神经网络cnn级串联，n的取值范围在2-20，m的取值范围在1-20，k的取值范围在1-7。

步骤s4中，所述多对比度图像包括采集pet信号时采集的对应的ct或多模态mr图像，还包括将所述第二短时间采集的核医学图像通过所述噪声识别神经网络处理得到的对应的噪声图像。

所述对称串接连接包括从输入图像到输出图像直接连接以及在对应的编码器层和解码器层之间的串接连接。

步骤s5中，所述损失函数包括l1-平均绝对值误差、结构相似度(ssim)损失以及生成对抗训练(gan)损失构成的损失函数中的一种或多种。

所述方法还包括如下步骤：

s6、根据重建后图像的pet定量指标标准化地调整图像。

所述定量统计指标包括图像的suvmax统计值、suvmean统计值、snr统计值以及针对病灶的pet定量指标中的一种或多种；所述标准化地调整图像包括线性拟合、机器学习、深度学习以及作为辅助观察的多平面重建、曲面重建方法中的一种多种。

一种pet快速成像系统，包括计算机可读存储介质和处理器，所述计算机可读存储介质存储有可执行程序，所述可执行程序由所述处理器执行时，实现所述的pet快速成像方法。

本发明相比现有技术的有益效果：

本发明提出一种pet快速成像方法，其基于深度学习方法，利用具有对称串接连接的编码器-解码器残差深度网络来解决现有技术存在的缩短成像时长导致图像质量下降的问题。经过实验验证，本发明能够从仅1/200标准采集时间的pet图像中有效重建具有标准采集时长的核医学图像。通过向网络提供同一pet/ct采集序列获得的多对比度ct图像能够有效改善网络性能。

本发明能够减少高质量pet影像成像所需时间，在物理上等价于在减少收集到的正电子信号的条件下获得较多信号同等水平图像。

本发明的具体优点体现在如下方面：

1.成像速度大幅度提升。相较于未使用本方法的传统影像重建方法，本发明能够提升pet成像速度2-4倍及以上。

2.图像定性指标优良的保持。经本发明处理后的欠采样核医学影像和对应的高质量核医学影像具有非常接近的图像质量，包括综合图像质量，信号分布细节，是否存在伪影，医师使用后的临床诊断信心等。

3.图像定量指标(suvmean,suvmax,suvpeak)的优良保持。经本发明处理后的核医学影像和对应的高质量核医学影像在图像定量指标上误差很小。在图像信噪比(snr)方面，本发明处理后的核医学影像可能高于对应的高质量核医学影像。

4.图像诊断价值的优良保持。利用经本发明的方法和系统处理后的核医学图像，能够获得与对应的高质量核医学图像具有完全一致的诊断效果，包括发现病灶的数量，肿瘤分期指标以及医师间的交叉验证指标。

附图说明

图1为本发明一种实施例的基于深度学习的pet快速成像方法的流程图。

图2示出本发明一种实施例的全卷积网络，该全卷积网络在对应的编码器层与解码器层之间具有对称串接连接结构。

图3示出本发明一种实施例训练完成后的从快速pet图像以及作为多模态输入的对应多对比度mr图像中生成标准采集时长的pet图像的深度网络。

图4示出一79岁受试者分别使用100％数据，75％数据+本方法，50％数据+本方法生成的最大密度投影、pet影像、融合影像的示例。

具体实施方式

以下对本发明的实施方式做详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

参阅图1，本发明实施例提供一种基于深度学习的pet快速成像方法，包括如下步骤：

步骤s1、获取通过第一长时间和第二短时间采集的匹配的核医学图像组，所述匹配的核医学图像组指对同一患者采集的同扫描区域的核医学图像，其中，所述第二短时间采集的核医学图像组为所述第一长时间采集的核医学图像组(list-mode数据)进行数据降采集获得的，或者真实使用短时间再一次扫描采集获得的；

步骤s2、对获得的核医学图像组进行预处理以及对于图像大小和信号强度的归一化处理，其中，处理获得的核医学图像组及作为多模态输入的多对比度图像的图像大小和像素值，使其符合卷积神经网络的输入要求；

步骤s3、构建基于res-unet的噪声识别神经网络，所述噪声识别网络所使用的数据库包括由在步骤s1中采集的核医学图像上随机添加噪声信号构成的网络输入图像和对应的噪声信号构成的网络输出图像；所述噪声识别网络经训练能够从所述第二短时间采集的核医学图像中提取出噪声图像；

步骤s4、构建具有多个卷积神经网络cnn级串联的包括对称串接连接的编码器-解码器残差深度网络结构的图像重建卷积网络，所述图像重建卷积网络的输入为所述第二短时间采集的核医学图像以及作为多模态输入的对应的多对比度图像；

步骤s5、使用损失函数训练所述图像重建卷积网络，以使得所述图像重建卷积网络能够先验地提取输入的核医学图像以及输入的多对比度图像的有效图像特征从而重建出高质量核医学图像。

本发明实施例还提供一种pet快速成像系统，包括计算机可读存储介质和处理器，所述计算机可读存储介质存储有可执行程序，所述可执行程序由所述处理器执行时，实现所述的pet快速成像方法。

以下结合附图进一步描述本发明具体实施例。

该pet快速成像方法是一种pet重建图像优化方法。所述方法一方面包括从欠采样的pet图像中生成标准数据采集时间同等水平的核医学图像的卷积网络重建方法，另一方面也包括根据pet图像定量指标对图像进行优化的标准化调整方法。具体包括：

第一步、使用正电子发射型计算机断层显像设备，获取完全匹配的长信号采集时间和短信号采集时间的核医学图像组构成的数据库。所述核医学图像组优选大于1000组。

本发明中所述核医学图像包括pet、pet/ct、pet/mr或其他基于正电子对发射作为成像原理的核医学影像。

获取匹配的核医学影像组的方法包括但不限于通过长时间采集信号后重建获得的高质量图像和通过对长时间采集获得的信号随机采样其中1/200-1/2信号后重建得到的欠采样图像。

进一步的，所述核医学图像指不含明显伪影且具有临床诊断价值的核医学图像。

第二步、对获得的核医学图像组预处理和图像大小和信号强度的归一化处理。

预处理包括对获得的核医学图像组进行图像配准，根据获得的核医学图像的图像质量对核医学图像进行筛选。

采用的图像配准的标准包括基于外部特征的配准，基于内部特征的配准，基于非图像特征的配准。

采用的图像配准的方法包括删除不匹配的图层、线性插值处理以及深度学习配准方法。

所述图像配准的效果是在保持长采样时间的pet图像和短采样时间的pet图像显示区域一致的条件下，最大化显示区域。

采用核医学图像质量筛选标准包括是否明显含有伪影、患者身体结构是否发生位移、是否具有临床诊断价值等。

图像大小和信号强度的归一化处理指处理获得的核医学图像组及作为多模态输入的多对比度图像的图像大小和像素值，使之符合下述卷积网络的输入要求。

图像大小和信号强度的归一化处理方法包括批量归一化batchnormalization，层归一化layernormalization，实例归一化instancenormalization和组归一化groupnormalization。

第三步、构建一个基于res-unet的噪声识别神经网络。噪声识别神经网络属于监督学习的神经网络。噪声识别网络所使用的数据库由在第一步中采集的核医学图像上随机添加噪声信号构成的网络输入图像和对应的噪声信号构成的网络输出图像组成。经过训练，该网络能够从短信号采集时间的核医学图像中提取出噪声图像。

第四步、构建一个具有n个卷积神经网络(cnn)级串联构成的包括对称串接连接的编码器-解码器结构的图像重建卷积网络。所述cnn级使用m个kxk卷积核，并使用下采样的池化层。cnn级之间由双线性内插来进行上采样。n的取值范围在2-20，m的取值范围在1-20，k的取值范围在1-7。图像重建卷积网络的输入为短数据采集时长的核医学图像以及作为多模态输入的对应的多对比度图像。

所述多对比度图像包括采集pet信号时采集的对应的ct或多模态mr图像，也包括将短信号采集时间的核医学图像通过噪声识别神经网络处理得到的对应的噪声图像。

所述欠采样的核医学图像的信号采集时长为标准时长1/200-1/2的核医学图像。

该卷积网络的输出为标准采集时长同等水平的核医学图像。

本发明所述卷积网络使用具有对称串接连接的编码器-解码器残差深度网络来增加提高核医学图像中的信噪比(snr)。其中对称串接连接包括从方法的输入图像到输出图像直接连接以及在对应的编码器层和解码器层之间的串接连接。

第五步、本发明使用由l1-平均绝对值误差、结构相似度(ssim)损失以及生成对抗训练(gan)损失构成的损失函数中的一种或多种，通过已获得的数据库来训练该卷积网络使得卷积网络参数能够先验地提取输入片以及输入对比度的有效图像特征从而重建出高质量核医学图像。

在基于深度学习的医学图像处理中，损失函数决定了神经网络对图像的优化方向。

所述自适应训练损失包括生成性对抗网络损失和感知损失函数。

一个具体实施例中，l1-平均绝对值误差定义为

其中，n,m分别为图像的行数和列数，而xij和yij表示两个生成图像和标准采集时长图像在像素i,j处的强度。

为了测量结构和感知相似度，结构相似度指标(ssim)和多尺度相似度指标(ms-ssim)损失函数定义为

其中

式中，c1和c2是两个常数，μx、μy、σx、σy和σxy计是在以像素i,j为中心的局部性图像的统计平均值，标准差和方差。k为输入多尺度图像的级别。

第六步、进一步包括根据重建后图像的pet定量指标标准化地调整图像。

所述定量统计指标包括图像的suvmax统计值，suvmean统计值，snr统计值以及针对病灶的pet定量指标。

所述标准化地调整图像的方法包括线性拟合、机器学习方法和深度学习方法，以及作为辅助观察的多平面重建、曲面重建等方法

此外，本发明也采用针对训练模型的不同成本函数，描述用于向网络提供更多结构信息并使其对噪声更稳健的多片输入实例。

图2为全卷积网络的一个实施例，该全卷积网络在对应的编码器层与解码器层之间具有对称串接连接结构。所述网络与广泛使用的unet的区别为所述网络用于图像合成任务而非图像分割任务。具体而言，每一cnn级包括3x3卷积核、批量归一化以及修正线性单元的残差块。下采样和上采样分别通过2x2最大池化层和双线性内插完成。对图像使用下采样后上采样的目的为所述网络能够从图像中提出多尺度且高水平的影像特征。使用串接连接结构的目的是在编码-解码的过程中保留分辨率和总体图像信息。

图3为训练完成后的从快速pet图像以及作为多模态输入的对应多对比度mr图像中生成标准采集时长的pet图像的深度网络。深度网络中存在7个cnn级，每一级包括2个具有3x3卷积核的卷积层，并在每一组对应的编码器层和解码器层引入残差以提高重建效率。

本实施例采用了多片输入以提供足够的信息帮助网络区分噪声和大脑结构。经过训练发现，提供三片作为2.5d结构的输入可有效提高训练的效果同时经可能地减少训练参数和提高训练效率。

本实施例中，卷积网络使用l1平均绝对值误差和结构相似度误差(ssim)作为网络的损失函数，使用学习速率为0.001的adam优化函数并优化100周期。

本实施例提供的实验对象为20位弥漫性大b细胞淋巴瘤患者。所述淋巴瘤患者包括12位男性和8位女性，平均年龄位59岁，平均身体质量指数为22.6。此外，所述淋巴瘤患者经前期标准pet检验，至少有一处fdg阳性损伤。此外，在本实施例中提供患者的全身pet检查图像并提供为网络所允许的多对比度ct图像。

本实施例中，上述患者采用使用3.7mbq/kg或0.1mci/kg的18f-fdg作为生物显像剂的全身pet检查。所述生物显像剂的注射量平均为6.82mci，根据受验个体的身体状况，波动范围为4.83mci到10.57mci。所述生物显像剂均早于pet检查的60分钟前注射至受验患者体内。所述全身pet检查在每一床位下采集60s数据，作为标准时长下收集的正电子放射信号。上述全身pet检查分别随机采集50％以及75％的正电子放射信号并经过迭代重建获得作为网络输入端的快速pet图像。

本实施例中，上述快速pet图像经网络处理后，分别与原有的标准时长下获得的全身pet图像进行客观图像分析和主观图像分析。所述客观图像分析首先由一位核医学医师在标准图像中识别可能的损伤，并以所述损伤最大标准摄取值的41％作为阈值勾画感兴趣体积(voi)。所述两位核医学医师同时分别在肺部和肝标注五个直径为30mm的感兴趣区域(roi)。随后分别计算标准采集时长图像和网络输出图像的voi和roi对应的最大标准摄取值(suvmax)，平均标准摄取值(suvmean)，以所勾画的肺部和肝脏区域的标准差(sd)量化的噪声，信噪比(snr)以及对比噪声比(cnr)进行对比。所述snr和cnr计算公式为

所述主观图像分析由两位分别具有20年和10年临床经验的核医学医师进行。所述两位核医学医师在不知道pet图像重建技术的条件下分别对所有图像的图像质量、fdg分布细节、诊断信心和是否有伪影进行评价和比对。所述评价包括5分代表非常好，4分代表好，3分代表足够诊断，2分代表糟糕，1分代表不具可诊断性的1-5分评价体系以及1分代表伪影不可见，2分代表伪影可见的1-2分评价体系。所述两位核医学医师也要求采用lugano淋巴瘤分期体系和1-5分deauville评分对病灶进行评估。本实施例中，所述客观图像分析使用线性回归模型，bland-altman测试，concordancecorrelationcoefficients(ccc)和pearson系数对suvmax和suvmean进行一致性分析，使用boxplot和pairwisettest对snr和cnr进行对比。所述主观图像分析使用cohen加权分析对观察者间的一致性进行分析。所述cohen加权分析中，k<0.3代表弱一致性，0.3<k<0.7代表中等一致性，k>0.7代表强一致性。

本实施例中共检测到56个病灶。获得的bland-altman图像显示使用75％数据经深度学习重建后的图像、使用50％数据经深度学习重建后的图像与标准采集时长下获得的pet图像具有强一致性的suvmax和suvmean。在和标准图像的suvmax比对中75％数据重建的pet图像和50％数据重建的pet图像的ccc值分别为0.94和0.93，75％数据重建的pet图像和50％数据重建的pet图像的pearson系数分别为0.99和0.99。这代表了深度学习输出的图像和标准图像具有很强的一致性。在和标准图像的suvmean比对中75％数据重建的pet图像和50％数据重建的pet图像的ccc值分别为0.86和0.86，75％数据重建的pet图像和50％数据重建的pet图像的pearson系数分别为0.97和0.98。这也代表了深度学习输出的图像和标准图像具有很强的一致性。在和标准图像的损伤snr和肝脏cnr比对中，使用75％数据经深度学习重建后的pet图像具有更高的信噪比，其pairwisettest的结果为p<0.001。而使用50％数据经深度学习重建的pet图像与原始图像的信噪比无显著差异(p>0.05)使用75％数据经深度学习重建后的pet图像和使用50％数据经深度学习重建后的pet图像与标准时长获得的pet图像在cnr上的区别都不显著(p>0.05)。

本实施例的主观图像分析统计结果如表1所示。

表1.主观图像分析结果

由表1可见上述核医学医师们都认为标准采集时长获得的pet图像和深度学习重建的pet图像都具有好的(>4)的图像质量和fdg分布细节。尽管标准图像在图像质量和fdg分布细节的份上略有优势，由75％数据经深度学习重建后的pet影像获得了最好的一致性评价(k值最高)。在深度学习重建的图像和标准时长下获得的pet中，均未观测到伪影并且上述两位核医学医师都具有极高的诊断信心(＝5)。在对淋巴瘤的分期诊断中，上述两位核医学医师通过深度学习重建的图像和标准时长下获得的pet得到了完全一致的结论。上述两位核医学医师在lugano和deauville评分中通过深度学习重建的图像和标准时长下获得的pet图像也得到了完全一致的结论。

图4为一79岁受试者分别使用100％数据，75％数据+本方法，50％数据+本方法生成的最大密度投影、pet影像、融合影像的示例。

本发明的背景部分可以包含关于本发明的问题或环境的背景信息，而不一定是描述现有技术。因此，在背景技术部分中包含的内容并不是申请人对现有技术的承认。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离专利申请的保护范围的情况下，可以在本文中进行各种改变、替换和变更。