基于多模态影像的胶质瘤患者预后生存期预测方法及系统

本发明涉及数据处理，更具体地说，它涉及基于多模态影像的胶质瘤患者预后生存期预测方法及系统。

背景技术：

1、多模态磁共振影像(multi-modal magnetic resonance image，mmri)是目前临床诊断最常用的医学影像，在胶质瘤的治疗过程中与术后追踪中也常常用到。较其它成像设备，mri能显示更丰富、清晰的脑结构细节信息，并且它的多个模态之间(t1w、t2w、t1wce、flair)，各自突出不同组织结构部分，能提供互补信息。

2、现有技术中记载有从t1增强加权像中提取出肿瘤增强区与非增强区的mr影像特征，并以肿瘤几何特性作为影像特征的补充来实现患者生存期预测分析的技术。然而，现有技术在对胶质瘤患者预后生存期进行分析时，主要是利用分割得到的肿瘤区域，再次从肿瘤区域中提取特征，而先做分割再次提取特征的方法，特征选择的准确性依赖于分割的准确性，分割不精准、不全面则也易导致分类特征提取的误差。此外，现有的生存期预测方法存在对影像所富含的肿瘤信息无法充分利用的局限，如感受野的局限导致的信息丢失以及位置信息等，所以选取肿瘤几何特性进行补充，而一般情况下基于影像组学的特征数量较多，全部用于预测常易导致模型过拟合，易导致预测分析结果准确度较低。

3、因此，如何研究设计一种能够克服上述缺陷的基于多模态影像的胶质瘤患者预后生存期预测方法及系统是我们目前急需解决的问题。

技术实现思路

1、为解决现有技术中的不足，本发明的目的是提供基于多模态影像的胶质瘤患者预后生存期预测方法及系统，采用cov-split transformer模型从多模态磁共振影像数据和核磁波谱数据提取特征，能够对深度提取图像的特征，同时扩大了感受野，加入了位置信息，一定程度上避免了特征的损失；且无需补充肿瘤几何特性，使得所提取的特征较为轻量化，提高了预测的精度。

2、本发明的上述技术目的是通过以下技术方案得以实现的：

3、第一方面，提供了基于多模态影像的胶质瘤患者预后生存期预测方法，包括以下步骤：

4、获取目标对象的多模态磁共振影像数据和核磁波谱数据；

5、将多模态磁共振影像数据输入到决策树后确定目标对象的肿瘤级别；

6、依据肿瘤级别匹配相应预构建的cov-split transformer模型；

7、通过cov-split transformer模型分别提取多模态磁共振影像数据和核磁波谱数据中的全局特征；

8、对多模态磁共振影像数据和核磁波谱数据中的全局特征进行线性化处理，并加入目标对象的年龄信息后进行全连接，预测得到目标对象的预后生存期。

9、本发明采用cov-split transformer模型从多模态磁共振影像数据和核磁波谱数据提取特征，能够对深度提取图像的特征，同时扩大了感受野，加入了位置信息，一定程度上避免了特征的损失；而将核磁波谱数据中的特征与mri影像提供的形态特征结合，能更有效的反映出患者的肿瘤发展情况，无需补充肿瘤几何特性，使得所提取的特征较为轻量化，提高了预测的精度。

10、进一步的，所述多模态磁共振影像数据包括t1w、t2w、t1wce和flair四个模态数据。

11、进一步的，所述决策树依据生化特征进行肿瘤级别划分。

12、进一步的，所述生化特征包括idh、atrx、1p/19q、cdkn2a/b、tert_egfr、h3.3g34r/v和h3 k27m。

13、进一步的，所述肿瘤级别包括胶质细胞瘤who1、who2、who3和who4四个等级。

14、进一步的，所述cov-split transformer模型包括2d卷积块、池化块、3个bottleneck0、1个bottleneck1、2个矩阵相加函数块、分割标号模块、线性投影模块以及transformer encoder模块。

15、进一步的，所述数据导入模块，用于接收输入的多模态磁共振影像数据和核磁波谱数据；

16、所述2d卷积块，用于将三维的多模态磁共振影像数据投影到二维；

17、所述池化块，用于对数据进行池化处理；

18、所述bottleneck0，由三个卷积层组成；

19、所述bottleneck1，由三个卷积层组成；

20、所述矩阵相加函数块，用于对卷积结果进行相加运算

21、所述分割标号模块，用于将图像分成九个等大的小正方形并标号；

22、所述线性投影模块，用于对图像进行线性投影；

23、所述transformer encoder模块，用于对高维的全局特征建模。

24、第二方面，提供了基于多模态影像的胶质瘤患者预后生存期预测系统，包括：

25、数据获取模块，用于获取目标对象的多模态磁共振影像数据和核磁波谱数据；

26、级别划分模块，用于将多模态磁共振影像数据输入到决策树后确定目标对象的肿瘤级别；

27、模型匹配模块，用于依据肿瘤级别匹配相应预构建的cov-split transformer模型；

28、特征提取模块，用于通过cov-split transformer模型分别提取多模态磁共振影像数据和核磁波谱数据中的全局特征；

29、预测分析模块，用于对多模态磁共振影像数据和核磁波谱数据中的全局特征进行线性化处理，并加入目标对象的年龄信息后进行全连接，预测得到目标对象的预后生存期。

30、第三方面，提供了一种计算机终端，包含存储器、处理器及存储在存储器并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面中任意一项所述的基于多模态影像的胶质瘤患者预后生存期预测方法。

31、第四方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行可实现如第一方面中任意一项所述的基于多模态影像的胶质瘤患者预后生存期预测方法。

32、与现有技术相比，本发明具有以下有益效果：

33、1、本发明提供的基于多模态影像的胶质瘤患者预后生存期预测方法，采用cov-split transformer模型从多模态磁共振影像数据和核磁波谱数据提取特征，能够对深度提取图像的特征，同时扩大了感受野，加入了位置信息，一定程度上避免了特征的损失；且无需补充肿瘤几何特性，使得所提取的特征较为轻量化，提高了预测的精度；

34、2、本发明采用决策树对目标对象的生化特征进行逻辑判断，预先确定目标对准的肿瘤级别，从而匹配对应的cov-split transformer模型，使得特征提取的准确性与可靠性更高，有利于增强患者预后生存期预测的精确度；

35、3、本发明在患者预后生存期预测时，还考虑了年龄信息，更加全面的考虑了生存期预测的影响因子。

技术特征：

1.基于多模态影像的胶质瘤患者预后生存期预测方法，其特征是，包括以下步骤：

2.根据权利要求1所述的基于多模态影像的胶质瘤患者预后生存期预测方法，其特征是，所述多模态磁共振影像数据包括t1w、t2w、t1wce和flair四个模态数据。

3.根据权利要求1所述的基于多模态影像的胶质瘤患者预后生存期预测方法，其特征是，所述决策树依据生化特征进行肿瘤级别划分。

4.根据权利要求1所述的基于多模态影像的胶质瘤患者预后生存期预测方法，其特征是，所述生化特征包括idh、atrx、1p/19q、cdkn2a/b、tert_egfr、h3.3 g34r/v和h3 k27m。

5.根据权利要求1所述的基于多模态影像的胶质瘤患者预后生存期预测方法，其特征是，所述肿瘤级别包括胶质细胞瘤who1、who2、who3和who4四个等级。

6.根据权利要求1所述的基于多模态影像的胶质瘤患者预后生存期预测方法，其特征是，所述cov-split transformer模型包括2d卷积块、池化块、3个bottleneck0、1个bottleneck1、2个矩阵相加函数块、分割标号模块、线性投影模块以及transformerencoder模块。

7.根据权利要求5所述的基于多模态影像的胶质瘤患者预后生存期预测方法，其特征是，所述数据导入模块，用于接收输入的多模态磁共振影像数据和核磁波谱数据；

8.基于多模态影像的胶质瘤患者预后生存期预测系统，其特征是，包括：

9.一种计算机终端，包含存储器、处理器及存储在存储器并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现如权利要求1-7中任意一项所述的基于多模态影像的胶质瘤患者预后生存期预测方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征是，所述计算机程序被处理器执行可实现如权利要求1-7中任意一项所述的基于多模态影像的胶质瘤患者预后生存期预测方法。

技术总结
本发明公开了基于多模态影像的胶质瘤患者预后生存期预测方法及系统，涉及数据处理技术领域，其技术方案要点是：将多模态磁共振影像数据输入到决策树后确定目标对象的肿瘤级别；依据肿瘤级别匹配cov‑Split transformer模型；通过cov‑Split transformer模型分别提取多模态磁共振影像数据和核磁波谱数据中的全局特征；对全局特征进行线性化处理，并加入目标对象的年龄信息后进行全连接，预测得到目标对象的预后生存期。本发明能够对深度提取图像的特征，同时扩大了感受野，加入了位置信息，一定程度上避免了特征的损失；且无需补充肿瘤几何特性，使得所提取的特征较为轻量化，提高了预测的精度。

技术研发人员：刘齐宏
受保护的技术使用者：四川大学
技术研发日：
技术公布日：2024/1/14