技术特征：
1.一种基于pet-ct的跨模态注意力肿瘤分割方法，其特征在于，包括：步骤s1、获取pet图像、ct图像；步骤s2、使用自注意力机制分别提取pet图像、ct图像中的特征；步骤s3、使用自注意力机制跨模态融合pet图像、ct图像中的单模态特征，得到跨模态融合影像特征；步骤s4、基于跨模态融合影像特征分割肿瘤区域。2.如权利要求1所述的一种基于pet-ct的跨模态注意力肿瘤分割方法，其特征在于：步骤s1中，使用pet/ct扫描仪获取配准好的pet图像、ct图像。3.如权利要求1所述的一种基于pet-ct的跨模态注意力肿瘤分割方法，其特征在于：步骤s2中，分别将步骤s1获取的pet图像、ct图像进行分块，并将分块后的图像由矩阵变换至向量形式，得到向量；再对向量进行非线性变换，得到pet图像、ct图像的单模态图像特征。4.如权利要求1所述的一种基于pet-ct的跨模态注意力肿瘤分割方法，其特征在于：步骤s3中，对步骤s2得到的pet图像的单模态图像特征进行线性变换、和，得到不同向量表达、和，将向量表达、和改写为矩阵形式q1、k1和v1，再进行自注意力计算得到矩阵形式：对步骤s2得到的ct图像的单模态图像特征进行线性变换、和，得到不同向量表达、和，将向量表达、和改写为矩阵形式q2、k2和v2，再进行自注意力计算得到矩阵形式：再对矩阵形式、矩阵形式进行叠加、融合，得到矩阵形式c，即，再对矩阵形式c进行线性变换、和，得到不同向量表达、和，将向量表达、和改写为矩阵形式q3、k3和v3，再进行自注意力计算得到矩阵形式，即为跨模态融合影像特征：其中，是融合影像特征的矩阵形式，t是矩阵的转置，、和为可学习的参数矩阵。5.一种基于pet-ct的跨模态注意力肿瘤分割系统，其特征在于，包括：图像获取模块，用于获取pet图像、ct图像；特征提取模块，用于使用自注意力机制分别提取图像获取模块获取的pet图像、ct图像
中的特征；特征融合模块，用于使用自注意力机制跨模态融合特征提取模块提取并得到的pet图像、ct图像中的单模态特征，得到跨模态融合影像特征；肿瘤分割模块，用于基于特征融合模块得到的跨模态融合影像特征分割肿瘤区域。6.如权利要求5所述的一种基于pet-ct的跨模态注意力肿瘤分割系统，其特征在于，图像获取模块是使用pet/ct扫描仪获取配准好的pet图像、ct图像。7.如权利要求5所述的一种基于pet-ct的跨模态注意力肿瘤分割系统，其特征在于，特征提取模块是分别将图像获取模块获取的pet图像、ct图像进行分块，并将分块后的图像由矩阵变换至向量形式，得到向量；再对向量进行非线性变换，得到pet图像、ct图像的单模态图像特征。8.如权利要求5所述的一种基于pet-ct的跨模态注意力肿瘤分割系统，其特征在于，特征融合模块对特征提取模块得到的pet图像的单模态图像特征进行线性变换、和，得到不同向量表达、和，将向量表达、和改写为矩阵形式q1、k1和v1，再进行自注意力计算得到矩阵形式：特征融合模块对特征提取模块得到的ct图像的单模态图像特征进行线性变换、和，得到不同向量表达、和，将向量表达、和改写为矩阵形式q2、k2和v2，再进行自注意力计算得到矩阵形式：特征融合模块再对矩阵形式、矩阵形式进行叠加、融合，得到矩阵形式c，即，再对矩阵形式c进行线性变换、和，得到不同向量表达、和，将向量表达、和改写为矩阵形式q3、k3和v3，再进行自注意力计算得到矩阵形式，即为跨模态融合影像特征：其中，是融合影像特征的矩阵形式，t是矩阵的转置，、和为可学习的参数矩阵。
技术总结
本发明公开了一种基于PET-CT的跨模态注意力肿瘤分割方法、系统及设备，涉及图像处理技术领域中的基于PET-CT的肿瘤分割，其目的在于解决现有技术中基于PET-CT多模态图像分割时存在的各模态影像特征融合效率低、较难实现精准分割肿瘤区域的问题，其主要是先使用自注意力机制分别提取PET图像、CT图像中的特征，再使用自注意力机制跨模态融合PET图像、CT图像中的单模态特征，得到跨模态融合影像特征；最后基于跨模态融合影像特征分割肿瘤区域。本发明中的自注意力机制通过不同区域特征之间的相互作用，实现了表达单模态特征至融合影像特征的变换，融合影像特征具有不同的维度信息，实现PET图像、CT图像的跨模态高效融合，实现肿瘤区域的精准分割。实现肿瘤区域的精准分割。实现肿瘤区域的精准分割。
技术研发人员：章毅 李林 胡俊杰 蔡华伟 皮勇 赵祯
受保护的技术使用者：四川大学
技术研发日：2022.07.11
技术公布日：2022/8/5