基于混合损失函数3DCNN的动态双示踪PET重建方法与流程

本发明属于pet成像技术领域，具体涉及一种基于混合损失函数3dcnn的动态双示踪pet重建方法。

背景技术：

pet(positronemissiontomography，正电子发射断层成像)是一种可以检测人体内生理化学活动的诊断性成像技术，它经常被用来对人体的某些特定部位进行功能成像，从而获得该部位的葡萄糖代谢、血流和乏氧等生理指标。这种对人体内不同位置、不同功能成像的实现主要依赖于不同的示踪物质，研究人员将人体内代谢所需的葡萄糖、蛋白质、核酸等生物大分子标记上具有正电子放射性的放射性同位素(最常用的有¹¹c、¹³n、¹⁵o、¹⁸f)，就可以制成需要的放射性示踪剂，而放射性物质经过注射或者口服进入人体后，药物会根据某种生理或者病理的作用原理在体内浓聚，此时药物本身所包含的放射性核素就会发生衰变，产生正电子，正电子遇到人体内游离的电子就会发生湮灭效应，从而产生两个能量同为511kev，运动方向相反的γ光子，γ光子被体外的探测器探测到，进而利用重建算法得恢复出示踪剂在体内的分布情况。

然而，对于身体某一特定部位来说，多方面、多角度的检测可以提供更丰富的信息，从不同方面来刻画肿瘤的生理和功能状态也有助于提高诊断准确率，因此双示踪剂pet成像是十分有必要的。为了节约扫描时间，减轻病人痛苦，提高诊断效率，单次扫描双示踪pet动态成像成为亟需解决的关键技术，由于一次湮灭反应产生的是一对511ekv的γ光子，所以不能从能量的角度对这两种示踪剂进行区分。目前主流的双示踪剂pet重建方法主要有两类：第一类方法对重建出的双示踪剂pet重建图像进行分离，该方法从原始数据出发进行双示踪pet图像的重建，但是计算复杂度高，并依赖于人为构造的双示踪模型，临床应用性不强。第二类方法将分离算法融入双示踪剂pet的分离过程中，直接重建出两种放射性示踪剂的浓度分布情况，该方法是在预先重建好的混合pet图像基础上进行分离，但此类方法的分离精度很大程度上取决于重建水平的好坏，限制了分离精度的进一步地提高。除此之外，大部分方法不适用于两种示踪剂同时注射的情况，这不利于最大限度地节省扫描时间，提高机器利用率，减轻病人痛苦。

技术实现要素：

鉴于上述，本发明提供了一种基于混合损失函数3dcnn的动态双示踪pet重建方法，其针对双示踪pet数据的3d格式，选用对应的3d卷积核，在立体感受野中进行特征提取(下采样)和重建(上采样)过程，精确地从动态符合计数序列出发，重建出两种不同的双示踪pet的三维浓度分布图。

一种基于混合损失函数3dcnn的动态双示踪pet重建方法，包括如下步骤：

(1)向生物组织注入由示踪剂i和示踪剂ii所组成的混合双示踪剂并进行动态pet探测，得到对应不同时刻的符合计数向量，进而组成反映混合双示踪剂分布情况的三维动态符合计数序列s^dual；

(2)向生物组织先后注入示踪剂i和示踪剂ii并进行动态pet探测，得到两组单示踪剂对应不同时刻的符合计数向量，进而组成分别反映示踪剂i和示踪剂ii分布情况的三维动态符合计数序列sⁱ和sⁱⁱ；

(3)利用pet图像重建算法计算出动态符合计数序列s^dual、sⁱ和sⁱⁱ所对应的三维动态pet图像序列x^dual、xⁱ和xⁱⁱ；

(4)使s^dual、x^dual、xⁱ和xⁱⁱ组成为样本，根据步骤(1)～(3)重复执行多次以得到大量样本，进而将所有样本分为训练集和测试集；

(5)利用训练集样本中的s^dual作为输入，对应的x^dual作为辅助标签，xⁱ和xⁱⁱ作为主标签，通过三维卷积神经网络(3dcnn)进行训练，得到动态双示踪剂pet重建模型；

(6)从测试集中任取一样本，使该样本中的s^dual输入至所述动态双示踪剂pet重建模型，即可输出得到对应示踪剂i和示踪剂ii的三维动态pet图像序列xⁱ和xⁱⁱ。

进一步地，所述步骤(4)中将所有样本分为训练集和测试集，使得训练集与测试集的样本比例大于二分之一。

进一步地，所述步骤(5)中通过三维卷积神经网络进行训练的具体过程如下：

5.1构建一个三维卷积神经网络，其由混合pet图像的重建网络和基于重建后混合图像的分离网络两部分连接构成；

5.2初始化三维卷积神经网络参数，包括每一层的偏置向量、权值矩阵、学习率以及最大迭代次数；

5.3将训练集样本中的s^dual逐一输入至三维卷积神经网络中进行训练，计算重建网络的输出结果与辅助标签x^dual之间的误差laux以及分离网络的输出结果与主标签[xⁱ，xⁱⁱ]之间的误差lmain，将误差laux和lmain组合成总的损失函数l；通过自适应矩估计算法(adaptivemomentestimation，adam)对整个三维卷积神经网络的参数不断进行更新，直至损失函数l收敛或达到最大迭代次数，从而完成训练得到动态双示踪剂pet重建模型。

进一步地，所述重建网络由两个3d卷积层、一个reshape层和一个concat层依次连接构成；所述reshape层的输出维度与输入s^dual的维度相同，其输出结果作为concat层的输入；所述concat层将两个3d卷积层在时间维度上进行复制连接，其输出结果作为分离网络的输入。

进一步地，所述分离网络由三个下采样块、三个上采样块和一个3d卷积层依次连接构成。

进一步地，所述下采样块包含有八层，第一层为3d卷积层，设置卷积核不改变输入维度大小；第二层为batchnorm层，对上一层的输出进行归一化；第三层为scale层，对上一层的输出进行缩放和平移；第四层为relu层，其采用激活函数，输出结果作为第五层的输入；第五层为3d卷积层，设置2×2×2的卷积核进行下采样，其输出相对输入维度减半；第六层为batchnorm层，对上一层的输出进行归一化；第七层为scale层，对上一层的输出进行缩放和平移；第八层为relu层，其采用激活函数，输出结果作为下一个下采样块的输入；经过每一个下采样块，输入的三个维度均会减半。

进一步地，所述上采样块包含有两层，第一层为3d反卷积层，设置卷积核使得输入维度扩大一倍，输出结果作为第二层的输入；第二层为3d卷积层，设置卷积核不改变输入维度大小，其输出结果作为下一个上采样块的输入；经过每一个上采样块，输入的三个维度均会扩大一倍。

进一步地，所述分离网络中最后的3d卷积层，设置1×1×1的卷积核，产生的结果作为整个网络的输出即两种示踪剂三维pet图像在时间维度上的串联。

进一步地，所述损失函数l的表达式如下：

其中，||||2为l2范数，β为权重系数，用来调节辅助误差laux与主误差lmain之间的比例关系。

本发明方法可以较好地对同时注射、单次采集的双示踪投影数据进行重建，不需要任何模型的约束，对双示踪剂的种类也无特殊要求。基于本发明方法可以最大限度地缩短双示踪pet所需的扫描时间，除此之外，向训练好的网络模型中输入混合的动态符合计数序列，可以在短时间内输出两种单一示踪剂的动态pet图像，这都有助于重建效率的提高。

附图说明

图1为本发明三维卷积神经网络的结构示意图。

图2(a)为复杂大脑模板图像。

图2(b)为zubal胸腔模板图像。

图3(a)为[¹¹c]dtbz第9帧的真实图像。

图3(b)为[¹¹c]dtbz第9帧的预测图像。

图3(c)为[¹¹c]fmz第9帧的真实图像。

图3(d)为[¹¹c]fmz第9帧的预测图像。

图4(a)为[⁶²cu]atsm第9帧的真实图像。

图4(b)为[⁶²cu]atsm第9帧的预测图像。

图4(c)为[⁶²cu]ptsm第9帧的真实图像。

图4(d)为[⁶²cu]ptsm第9帧的预测图像。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

本发明基于混合损失函数3dcnn的动态双示踪pet重建方法，包括如下步骤：

(1)准备训练数据。

1.1向生物组织注入由两种不同的示踪剂(示踪剂i和示踪剂ii)所组成的混合双示踪剂并进行动态pet探测，得到对应不同时刻的符合计数向量，进而组成反映混合双示踪剂分布情况的动态符合计数序列s^dual；

1.2向生物组织先后注入示踪剂i和示踪剂ii并进行动态pet探测，得到两组单示踪剂对应不同时刻的符合计数向量，进而组成分别反映示踪剂i和示踪剂ii分布情况的三维动态符合计数序列sⁱ和sⁱⁱ；

1.3利用pet图像重建算法计算出三维动态符合计数序列s^dual、sⁱ和sⁱⁱ所对应的三维动态pet图像序列x^dual、xⁱ和xⁱⁱ；

1.4根据步骤(1)～(3)重复执行多次，得到大量的动态pet图像序列s^dual、x^dual、xⁱ和xⁱⁱ。

(2)训练集和测试集的划分。

从s^dual，x^dual、xⁱ和xⁱⁱ中提取1/3数据作为训练集输入和辅助标签主标签剩下的2/3作为测试集及其真值用作后续的结果评估。其中主标签和真值的格式为：

(3)多损失函数3dcnn的搭建：

构建一个3dcnn，它由混合pet图像的重建(parti)和基于重建后混合图像的分离(partii)两部分构成，如图1所示。

3.1重建parti由两个3d卷积层、一个reshape层和一个concat层构成，利用辅助损失函数进行监督。第一层3d卷积层设置64×1×1的卷积核，产生64个featuremap，作为下一层的输入；第二层3d卷积层设置64×64×1的卷积核，产生4096个featuremap，作为下一层的输入；reshape层将输出的featuremap重新组合成大小与输入相同的三维图像，其输出结果作为concat层的输入；concat层将两个3d卷积层的输出在时间维度上进行复制连接，作为partii的输入。

3.2分离partii由三个下采样块、三个上采样块、一个3d卷积层构成。

每一个下采样块的构成为：第一层为3d卷积层，设置卷积核的大小为3×3×17，不改变输入维度大小，产生18个featuremap，作为下一层的输入；第二层为batchnorm层，对上一层的输出进行归一化；第三层为scale层，对上一层的输出进行缩放和平移；第四层为relu层，这是一个激活函数，其输出结果作为下一层的输入；第五层为3d卷积层，设置2×2×2卷积核的下采样，输出相对输入维度减半；第六层为batchnorm层，对上一层的输出进行归一化；第七层为scale层，对上一层的输出进行缩放和平移；第八层为relu层，其输出为下一个下采样块的输入；经过每一个下采样块，三个维度都会就减半，三个下采样块的featuremap数量分别设置为18、36、72。

每一个上采样块的构成为：第一层为3d反卷积层，设置卷积核为2×2×2使得输入维度扩大一倍，作为下一层的输入；第二层为3d卷积层，设置卷积核3×3×17，不改变输入维度大小，作为下一个上采样块的输入；经过每一个上采样块，三个维度都会扩大一倍，三个上采样块的featuremap数量分别设置为72、36、18。

3.3最后一层是3d卷积层，设置1×1×1的卷积核，产生一个featuremap作为整个网络的输出，为两种示踪剂三维图像在时间维度上的串联。

(4)初始化网络，设置训练相关参数：

将每一层的权重矩阵和偏置向量设为0，将优化方式设置为adam，学习率设置为10^-6，batchsize设为1，laux和lmain之间的比例系数β设置为5。

(5)将训练集输入此网络进行训练，训练的过程如下：

将训练集(输入辅助标签主标签)输入网络进行训练，同时计算parti的输出结果与辅助标签之间辅助误差laux，第二部分的输出结果与主标签之间的主误差lmain，将两部分误差函数组合成总误差函数l如下：

其中，第一项为输出的混合重建预测值和辅助标签的二范数，作为辅助误差项laux；第二项为示踪剂i和示踪剂ii的预测值与其真值之间的二范数之和，作为主误差项lmain；β为权重因子，用来调整laux与lmain之间的比重关系。

以下我们通过模拟实验来验证本发明方法的重建结果。

(1)选择模板。

训练数据包含两组组不同的示踪剂对，每组示踪剂对采用不同的模板，每一个模板都由不同的感兴趣区域(regionofinterest，roi)构成，不同的感兴趣区域表示不同的生化环境。图2(a)是包含4个感兴趣区域的复杂大脑模板，[¹¹c]fmz+[¹¹c]dtbz这组示踪剂即采用此模板；图2(b)是zubal胸腔模板，[⁶²cu]atsm+[⁶²cu]ptsm这组示踪剂即采用此模板。

(2)模拟示踪剂进入体内之后的运动过程。

采用基于动力学参数的双房室模型模拟双示踪剂在体内的运动情况，利用动力学微分方程组求解放射性核素衰变后在体内的稳定的浓度分布图；采用基于动力学参数的单房室模型模拟单一示踪剂在体内的运动情况，利用动力学微分方程组求解放射性核素衰变后在体内的稳定的浓度分布图。

(3)模拟pet的扫描过程。

本实验使用montecarlo的gate来对pet系统进行建模，它能够模拟pet的整个采集过程；模拟型号为shr74000，是日本滨松光子学株式会社设计的一台全身pet/ct成像系统，shr74000-pet扫描仪有6个晶体环，每个环包括48个探测器模块，每个探测器模块包含一个16×16阵列的lyso晶体，其中晶体环的半径为826mm。当三组双示踪剂和单一示踪剂浓度分布图输入蒙特卡洛系统中，便可以生成对应的动态计数序列。

(4)重建过程；利用经典的ml-em重建算法对正弦图进行重建，得到模拟的放射性示踪剂对在体内的浓度分布。

(5)训练过程；从[¹¹c]fmz+[¹¹c]dtbz、[⁶²cu]atsm+[⁶²cu]ptsm所产生的模拟数据中抽出2/3作为训练数据输入到网络中去。

(6)测试过程；利用剩余的1/3用来验证网络的有效性。

图3(a)～图3(b)分别为[¹¹c]dtbz的第9帧模拟放射性浓度分布图和经过训练的3dcnn得到的预测的放射性浓度分布图，图3(c)～图3(d)分别为[¹¹c]fmz的第9帧模拟反射性浓度分布图和经过训练的3dcnn得到的预测的放射性浓度分布图；图4(a)～图4(b)分别为[⁶²cu]ptsm的第9帧模拟放射性浓度分布图和经过训练的3dcnn得到的预测的放射性浓度分布图，图4(c)～图4(d)分别为[⁶²cu]atsm的第9帧模拟反射性浓度分布图和经过训练的3dcnn得到的预测的放射性浓度分布图。

将预测的图像与模拟真实图像对比可以发现搭建的3dcnn能够很好地完成双示踪pet图像的重建，其有效性得到验证。

上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。