一种基于PET-CT的跨模态注意力肿瘤分割方法、系统

一种基于pet-ct的跨模态注意力肿瘤分割方法、系统
技术领域
1.本发明涉及图像处理技术领域，涉及一种基于pet-ct的肿瘤分割，更具体的是涉及一种基于pet-ct的跨模态注意力肿瘤分割方法、系统。


背景技术：

2.pet（positron emission tomography），中文名称为正电子发射计算机断层显像，是一种分子水平的成像技术。在pet成像过程中，首先向人体注射放射性同位素示踪剂，放射性同位素在人体衰变过程中产生正电子，pet扫描仪探头通过重构放射性同位素在人体内的浓度分布，反映人体各个组织器官的新陈代谢情况。pet成像技术在病变组织检测中具有灵敏度高、特异性强的特点，可以在病变组织发生形态学变化之前检测出其新陈代谢变化，如18f标记的氟脱氧葡萄糖（fluorodeoxyglucose, 18f-fdg）是目前肿瘤学领域常用的pet示踪剂，恶性肿瘤组织对18f-fdg的吸收量远大于正常组织和器官，因此恶性肿瘤区域中的放射性核素浓度较高，反映在pet图像中则恶性肿瘤区域的图像强度要高于正常组织和器官的部分。因此与传统成像技术相比，pet对肿瘤区域更敏感，pet成像能更早地检测出人体的病组织，在癌症的早期诊断和治疗上具有明显优势。然而pet图像的空间分辨率较低，具有图像模糊、噪声较大的特点。
3.ct（computed tomography)，中文名称为电子计算机断层扫描，其利用x射线对人体进行扫描，并由探测器接受透射过的x射线，最后通过计算机处理成图像。与pet图像相比，ct具有更高的图像分辨率，然而ct图像结构复杂，且ct图像中的肿瘤区域和正常软组织区域图像强度相似，通过ct图像难以区分肿瘤区域。
4.基于pet对肿瘤区域敏感与ct高空间分辨率的特性，越来越多的基于pet-ct多模态图像的肿瘤分割模型出现，用于分割肿瘤区域，为患者病情评估、治疗方案制定提供定量参考依据，最终提高患者的手术、放疗、化疗等治疗方案的效果。但是，这些模型普遍都是使用简单的图像融合策略融合不同模态图像中的信息，对同一个断层的所有体素使用相同的权重，这无法充分利用各模态图像的优势特点；研究如何高效融合pet和ct图像的互补信息，设计合理有效的pet-ct多模态肿瘤分割方法对肿瘤的评估和治疗具有重要意义。


技术实现要素：

5.本发明的目的在于：为了解决现有技术中基于pet-ct多模态图像分割时存在的各模态影像特征融合效率低、较难实现精准分割肿瘤区域的问题，本发明提供一种基于pet-ct的跨模态注意力肿瘤分割方法、系统及设备。
6.本发明为了实现上述目的具体采用以下技术方案：一种基于pet-ct的跨模态注意力肿瘤分割方法，包括：步骤s1、获取pet图像、ct图像；步骤s2、使用自注意力机制分别提取pet图像、ct图像中的特征；步骤s3、使用自注意力机制跨模态融合pet图像、ct图像中的单模态特征，得到跨
模态融合影像特征；步骤s4、基于跨模态融合影像特征分割肿瘤区域。
7.在步骤s1中，使用pet/ct扫描仪获取配准好的pet图像、ct图像。
8.在步骤s2中，分别将步骤s1获取的pet图像、ct图像进行分块，并将分块后的图像由矩阵变换至向量形式，得到向量；再对向量进行非线性变换，得到pet图像、ct图像的单模态图像特征。
9.在步骤s3中，对步骤s2得到的pet图像的单模态图像特征进行线性变换、和，得到不同向量表达、和，将向量表达、和改写为矩阵形式q1、k1和v1，再进行自注意力计算得到矩阵形式：对步骤s2得到的ct图像的单模态图像特征进行线性变换、和，得到不同向量表达、和，将向量表达、和改写为矩阵形式q2、k2和v2，再进行自注意力计算得到矩阵形式：再对矩阵形式、矩阵形式进行叠加、融合，得到矩阵形式c，即，再对矩阵形式c进行线性变换、和，得到不同向量表达、和，将向量表达、和改写为矩阵形式q3、k3和v3，再进行自注意力计算得到矩阵形式，即为跨模态融合影像特征：其中，是融合影像特征的矩阵形式，t是矩阵的转置，、和为可学习的参数矩阵。
10.一种基于pet-ct的跨模态注意力肿瘤分割系统，包括：图像获取模块，用于获取pet图像、ct图像；特征提取模块，用于使用自注意力机制分别提取图像获取模块获取的pet图像、ct图像中的特征；特征融合模块，用于使用自注意力机制跨模态融合特征提取模块提取并得到的pet图像、ct图像中的单模态特征，得到跨模态融合影像特征；肿瘤分割模块，用于基于特征融合模块得到的跨模态融合影像特征分割肿瘤区域。
11.该图像获取模块是使用pet/ct扫描仪获取配准好的pet图像、ct图像。
12.该特征提取模块是分别将图像获取模块获取的pet图像、ct图像进行分块，并将分
块后的图像由矩阵变换至向量形式，得到向量；再对向量进行非线性变换，得到pet图像、ct图像的单模态图像特征。
13.该特征融合模块对特征提取模块得到的pet图像的单模态图像特征进行线性变换、和，得到不同向量表达、和，将向量表达、和改写为矩阵形式q1、k1和v1，再进行自注意力计算得到矩阵形式：特征融合模块对特征提取模块得到的ct图像的单模态图像特征进行线性变换、和，得到不同向量表达、和，将向量表达、和改写为矩阵形式q2、k2和v2，再进行自注意力计算得到矩阵形式：特征融合模块再对矩阵形式、矩阵形式进行叠加、融合，得到矩阵形式c，即，再对矩阵形式c进行线性变换、和，得到不同向量表达、和，将向量表达、和改写为矩阵形式q3、k3和v3，再进行自注意力计算得到矩阵形式，即为跨模态融合影像特征：其中，是融合影像特征的矩阵形式，t是矩阵的转置，、和为可学习的参数矩阵。
14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的一种基于pet-ct的跨模态注意力肿瘤分割方法的步骤。
15.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的一种基于pet-ct的跨模态注意力肿瘤分割方法的步骤。
16.本发明的有益效果如下：1、本发明采用自注意力机制，相比于卷积操作，自注意力机制可更好地对特征间的空间关系进行建模，且其避免了池化对特征信息的丢失，在多模态分割任务中具有更大的应用潜力；本技术中的自注意力机制通过不同区域特征之间的相互作用，实现了表达单模态特征至融合影像特征的变换，融合影像特征具有不同的维度信息，实现pet图像、ct图像的跨模态高效融合，实现肿瘤区域的精准分割。
17.2、本发明中，pet/ct扫描仪是将pet和ct两台成像设备进行整合而制成的一体化成像设备，其得到的pet和ct图像是配准好的，更有利于后续的跨模态特征融合，提高跨模
态融合的效率与效果，更有利于肿瘤区域的精准分割。
附图说明
18.图1是本发明的流程示意图；图2是本发明的自注意力机制计算原理图。
具体实施方式
19.实施例1本实施例提供一种基于pet-ct的跨模态注意力肿瘤分割方法，如图1所示，其包括4个步骤，分别是：步骤s1、获取患者的pet图像、ct图像；步骤s2、在步骤s1获取的图像的基础上，使用自注意力机制分别提取pet图像、ct图像中的特征（单模态影像特征）；步骤s3、在步骤s2提取的单模态影像特征的基础上，使用自注意力机制跨模态融合pet图像、ct图像中的单模态特征，得到跨模态融合影像特征；步骤s4、基于融合后的跨模态融合影像特征，精准分割肿瘤区域。以下将详细解释各步骤：步骤s1、获取患者的pet图像、ct图像；与传统的基于手工特征的分割方法不同，深度神经网络自动地从数据中学习如何提取任务相关的抽象特征，其提取到的特征具有更强的表达能力与更高的平移不变性。为此，本技术在获取图像时，其是采用pet/ct扫描仪进行图像获取，该pet/ct扫描仪是将pet和ct两台成像设备进行整合而制成的一体化成像设备，其得到的pet图像和ct图像是配准好的。
20.步骤s2、在影像的基础上，使用自注意力机制分别提取pet图像、ct图像中的特征；分别将步骤s1获取的pet图像、ct图像进行分块（比如3*3），并将分块后的图像由矩阵变换至向量形式，得到向量；再通过逐层应用自注意力方法对向量进行非线性变换，得到pet图像、ct图像的单模态图像特征。此处所谓的自注意力方法，即为对向量进行非线性变换。
21.步骤s3、在步骤s2提取的单模态影像特征的基础上，使用自注意力机制跨模态融合pet图像、ct图像中的单模态特征，得到跨模态融合影像特征；对步骤s2得到的pet图像的单模态图像特征进行线性变换、和，得到不同向量表达、和，将向量表达、和改写为矩阵形式q1、k1和v1，再进行自注意力计算得到矩阵形式：对步骤s2得到的ct图像的单模态图像特征进行线性变换、和，得到不同向量表达、和，将向量表达、和改写为矩阵形式q2、k2和v2，再进行自注意力计算得到矩阵形式：
再对矩阵形式、矩阵形式进行叠加、融合，得到矩阵形式c，即，再对矩阵形式c进行线性变换、和，得到不同向量表达、和，将向量表达、和改写为矩阵形式q3、k3和v3，再进行自注意力计算得到矩阵形式，即为跨模态融合影像特征：其中，是融合影像特征的矩阵形式，t是矩阵的转置，、和为可学习的参数矩阵。
22.如图2所示，为pet图像、ct图像不同区域的单模态特征，其包括、和3个部分，通过作用线性变换、和，得到数据的不同向量表达、和，再将向量表达、和改写成矩阵形式q、k和v，最后基于自注意力机制计算得到融合影像特征的矩阵形式。
23.步骤s4、基于融合后的跨模态融合影像特征，精准分割肿瘤区域。
24.本实施例中，该自注意力机制通过不同区域特征之间的相互作用，实现了表达至的变换，其中表达与具有不同的维度。从以上计算过程中可以看出，相比于卷积操作，自注意力机制其可更好地对特征间的空间关系进行建模，且其避免了池化对特征信息的丢失，在多模态分割任务中具有更大的应用潜力。此外，本专利所使用的自注意力机制是通过一种可学习的方式融合pet和ct图像特征，其中、和均代表可学习的参数矩阵，而最大值池化和均值池化均为固定算子计算，其特征融合能力较弱。
25.实施例2一种基于pet-ct的跨模态注意力肿瘤分割系统，包括：图像获取模块，用于获取pet图像、ct图像；特征提取模块，用于使用自注意力机制分别提取图像获取模块获取的pet图像、ct图像中的特征；特征融合模块，用于使用自注意力机制跨模态融合特征提取模块提取并得到的pet图像、ct图像中的单模态特征，得到跨模态融合影像特征；肿瘤分割模块，用于基于特征融合模块得到的跨模态融合影像特征分割肿瘤区域。
26.该图像获取模块是使用pet/ct扫描仪获取配准好的pet图像、ct图像。
27.该特征提取模块是分别将图像获取模块获取的pet图像、ct图像进行分块，并将分块后的图像由矩阵变换至向量形式，得到向量；再通过逐层应用自注意力方法，对向量进行非线性变换，得到pet图像、ct图像的单模态图像特征。此处所谓的自注意力方法，即为对向量进行非线性变换。
28.该特征融合模块对特征提取模块得到的pet图像的单模态图像特征进行线性变换
、和，得到不同向量表达、和，将向量表达、和改写为矩阵形式q1、k1和v1，再进行自注意力计算得到矩阵形式：特征融合模块对特征提取模块得到的ct图像的单模态图像特征进行线性变换、和，得到不同向量表达、和，将向量表达、和改写为矩阵形式q2、k2和v2，再进行自注意力计算得到矩阵形式：特征融合模块再对矩阵形式、矩阵形式进行叠加、融合，得到矩阵形式c，即，再对矩阵形式c进行线性变换、和，得到不同向量表达、和，将向量表达、和改写为矩阵形式q3、k3和v3，再进行自注意力计算得到矩阵形式，即为跨模态融合影像特征：其中，是融合影像特征的矩阵形式，t是矩阵的转置，、和为可学习的参数矩阵。
29.实施例3本实施例提供一种计算机设备，其包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现实施例1所述的一种基于pet-ct的跨模态注意力肿瘤分割方法的步骤。
30.实施例4本实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述的基于pet-ct的跨模态注意力肿瘤分割方法的步骤。