一种三维PET-CT头颈部肿瘤分割系统及方法与流程

本发明涉及医学影像处理领域，具体涉及一种三维pet-ct头颈部肿瘤分割系统及方法。

背景技术：

1、头颈部癌是一组包括口腔、口咽、下咽、喉、唾液腺等部位的癌症。它是世界上最常见的癌症类型，占全世界所有癌症的5%。头颈部肿瘤分割在协助头颈部癌症的诊断和治疗计划中起着重要作用。准确的头颈部肿瘤分割可以有效地帮助医生对肿瘤进行定位，确定其大小，直观地看到肿瘤与周围组织的粘连关系，并制定相应的治疗方案。然而，目前可用于临床实践的分割结果通常是由经验丰富的医生手工制作的。但是，手动绘制不仅费时费力，而且还受到医生的主观影响。因此，一种自动和准确的三维头颈部肿瘤的分割方法将具有很大的价值。

2、在医学影像技术中，计算机断层扫描（ct）图像被广泛用于计算机辅助诊断和治疗计划，因为ct图像具有较高的分辨率和较低的信噪比，可以有效地提供人体组织和器官结构信息。然而，由于ct只能反映结构信息，而肿瘤与邻近组织呈现等密度影关系，仅凭ct图像很难对头颈部肿瘤进行分割。正电子发射计算机断层扫描（pet）是一种高度敏感的分子水平功能成像技术，它通过向人体注射某种代谢物（通常是葡萄糖），观察该物质在代谢中的累积情况，以达到诊断的目的。癌细胞通常具有高度的代谢，所以pet可以有效观察到肿瘤，以此来协助诊断和治疗。

3、随着计算机技术的快速发展，基于深度学习的多模态医学图像分割方法已被证明更为有效。越来越多的研究人员开始关注卷积神经网络（cnn）在pet-ct图像分割中的应用。zhao等人提出了一个基于三维全卷积网络（fcns）的多分支pet-ct分割模型。kumar等人将空间转换应用于特征融合过程，并量化了不同模态特征图的重要性。然而，由于卷积层只能关注局部信息，不能捕捉长距离的空间依赖，基于cnn和fcn的方法更关注图像的局部特征，而忽略了图像的全局表示。因此，在头颈部肿瘤分割任务中，由于缺乏全局信息和长距离特征表示，卷积神经网络往往不能达到预期的分割结果。

4、transformer是在自然语言处理（nlp）任务中设计的，用于对序列到序列任务中的长距离依赖关系进行建模。这种架构完全基于自我注意力机制，使模型能够在建模全局上下文信息方面表现出强大的能力。有许多工作将transformer引入医学图像分割任务中，并取得了令人满意的结果。例如，chen等人将transformer和cnns结合起来，设计了用于医学图像分割的transunet，利用transformer将cnns特征图编码为上下文序列，提取全局和远距离的上下文信息。hatamizadeh等人提出的unetr完全使用transformer作为编码器来学习输入的三维图像的顺序表示，并有效地捕捉全局多尺度信息，以实现三维医学图像分割。

5、目前基于transformer的多模态医学分割还存在一些挑战。

技术实现思路

1、为解决上述问题，本发明目的在于提供一种三维pet-ct头颈部肿瘤分割方法，该三维多模态头颈部肿瘤图像分割方法提出了一种边学习边融合的特征交互策略，使得模型既学习ct图像的解剖特征，又学习pet图像的功能特征，同时也考虑了不同模态的各自特征，实现了对两种模态互补特征的高效利用，完成了精准的肿瘤图像分割。还提出了一种三维pet-ct头颈部肿瘤分割系统。

2、本发明通过下述技术方案实现：

3、一种三维pet-ct头颈部肿瘤分割系统，包括编码部、融合部和解码部；所述编码部包括具有第一编码器的第一编码路径模块、具有第二编码器的第二编码路径模块，第一编码路径模块用于将pet图像编码后提取pet初始图像特征，再通过基于多头注意力计算模块的transformer模块学习得到pet全局特征；

4、第二编码路径模块用于将ct图像编码后提取ct初始图像特征，再通过基于多头注意力计算模块的transformer模块学习得到ct全局特征；

5、融合部包括潜空间-多头注意力模块，pet全局特征输入潜空间，经前馈神经网络学习，产生两个潜变量：键向量key和值向量value，同时，将ct全局特征中的查询特征query输入到潜空间，潜空间再将 key、 value、 query输入到多头自注意力计算模块中计算得到融合pet-ct图像特征，将融合pet-ct图像特征 反馈融合至第二编码路径模块中编码分支；

6、解码部包括解码模块，用于接收并解码融合pet-ct图像特征 。

7、潜空间是指：两个编码分支之间（ct编码分支与pet编码分支）用于特征交互学习的潜在特征空间。它的作用是学习两个模态之间的潜在互补特征。

8、反馈融合是指：将潜空间-多头注意力模块所学习的融合pet-ct图像特征反馈到ct编码特征（具体反馈策略是将相同尺度的特征反馈到同一层次，因为随着编码不断下采样，会产生不同尺度的特征）这里的反馈是在特征处于相同尺度的前提下进行的。

9、前馈神经网络学习的具体过程是：将pet编码分支所学习的全局特征提取出两个潜在特征变量。

10、解码模块为transformer特征解码模块，解码部还包括上采样模块、输出预测图像的扩展模块，上采样模块接收融合pet-ct图像特征并将其输送至transformer特征解码模块进行解码，再重复两次上采样和解码过程后，将解码后的图像输送至输出预测图像的扩展模块进行图像扩展。

11、第一编码路径模块和第二编码路径模块均包含下采样模块，pet全局特征和ct全局特征均可通过下采样模块进行多次下采样过程处理。

12、下采样模块包括3d可变形卷积和3d下采样，用于将输入特征进行可变形卷积后缩小处理。

13、还包括残差连接模块，残差连接模块用于将pet图像的初始特征图经过潜空间-多头注意力模块计算后连接到ct图像的全局特征上。残差连接是学习两个模态潜在特征后反馈到ct编码分支，这是基于对头颈部肿瘤数据集的pet与ct图像的特点而设计的，目的是学习pet的功能特征，并结合ct图像的结构特征，以促进整体分割效果。

14、第一编码器和第二编码器均为三维图像嵌入编码块。

15、一种三维多模态头颈部肿瘤的图像分割方法，构建图像分割模型：s1构建包括具有第一编码器和第二编码器的双编路径-解码器的网络架构；

16、s2、将pet图像和ct图像经两编码路径独立编码后分别获得pet图像特征和ct图像特征，再将pet图像特征和ct图像特征分别输入至基于多头自注意力计算模块的transformer模块中经计算分别产生pet全局特征和ct全局特征；

17、s3将pet全局特征和ct全局特征通过基于潜空间的多头自注意力计算模块处理后获得将以pet图像特征融合至ct图像特征的融合pet-ct图像特征 ，将融合pet-ct图像特征反馈融合至ct图像编码分支，获得融合pet-ct图像特征 的方法具体为：将pet全局特征输入到潜空间模块，经前馈网络学习产生两个潜变量：键向量key和值向量value，同时，将ct全局特征中的查询特征query输入到潜空间模块，将 key、 value、 query输入到多头自注意力计算模块中计算得到；s4 解码即得。

18、多头自注意力计算模块是基于l2范数点积和点积结果缩放的模式，多头自注意力计算模块的计算方法包括：

19、假设transformer模块在第 l层的输入是 x t l， x t l为ct初始特征值或者pet初始特征值，q、k和v向量按式（2）计算：

20、（2）

21、q、k和v向量分别为查询特征query，键向量key和值向量value，、和分别为q、k和v向量对应的权重矩阵，将多头自注意力的计算分为水平方向和垂直方向两个部分，通过两个并行窗口的输出来对两部分计算结果进行交互，水平方向和垂直方向两部分的计算如公式（3）、（4）：

22、（3）

23、（4）

24、其中和分别代表垂直和水平方向上的自注意，和分别是垂直方向和水平方向上的位置编码，qv、kv和vv分别是垂直方向上的查询特征query，键向量key和值向量value，qh、kh和vh分别是水平方向上的查询特征query，键向量key和值向量value， softmax为归一化函数， scaled为对注意力进行可学习缩放， attention为注意力计算，即：计算q和k向量的点积基于l2范数，如式（1）所示，

25、（1）；

26、其中，为输入向量维度，防止进入 softmax函数的梯度消失区域，对水平方向和垂直方向两部分计算结果进行交互如公式

27、；其中， concate是拼接函数，即对两个注意力进行通道拼接；最后对 x t l进行非线性映射 mlp即得输出y，它的计算如式（5）所示，其中， mlp代表非线性映射， layernorm为层归一化函数， drop代表随机对前向传播的激活值置0，防止过拟合：

28、（5）。

29、本发明涉及的多头注意力计算模块的计算方法分为水平方向和垂直方向两个部分，通过两个并行窗口的输出来对两部分计算结果进行交互，有助于在不损失分割精度的情况下最小化计算复杂度，如此简化了整个分割过程的计算复杂度，并避免了分割精度的损失。

30、本发明与现有技术相比，具有如下的优点和有益效果：

31、本发明利用基于多头注意力计算模块的transformer模块首先得到两种模态的注意力特征，再将两种模态的注意力特征（全局特征）经过潜空间-多头注意力机制将两种模态的潜空间特征进行互补，且将pet模态潜空间特征输入模型指导ct注意力特征的学习，强化了ct图像特征学习，并实现了两种模态边学习各自模态特征边学习融合特征的创新过程，尽可能地减少了特征损失，提高了分割的准确率。