基于多模态影像的脑胶质瘤病理可视化方法及装置

本发明属于医学影像处理，具体而言涉及一种基于多模态影像的脑胶质瘤病理可视化方法及装置。

背景技术：

1、神经系统肿瘤尤其是脑胶质瘤的诊断和治疗一直是神经系统疾病研究的重要问题，也是本世纪脑科学研究计划的重要组成部分。其中神经系统肿瘤的影像诊断是其后续治疗的基础和导向，一直是当下研究的重点。

2、影像基因组学表明影像特征与肿瘤基因、蛋白质和分子改变息息相关，近些年出现的代谢显像对肿瘤组织亚型或及分子分型提供了诊断依据。例如磁共振波普成像（mrs），氨基质子转移成像（cest），pet/mri的出现都将成为鉴定胶质瘤分子分型的影像学手段。

3、由于脑胶质瘤的肿瘤内异质性较为复杂，同一肿瘤中不同成分具有不同的组织及分子病理的信息。脑胶质瘤的瘤内异质性不单单是级别上的不同，也存在分子病理上的异质性，即不同肿瘤部位具有不同突变信息。多模态信息复杂，且隐藏信息仅依靠人眼并不能够完全捕获。

4、综上，如何对于脑胶质瘤影像中的信息进行自动化分析以挖掘出影像中的隐藏信息是本领域技术人员亟待解决的问题。

技术实现思路

1、鉴于上述的分析，本发明实施例为了解决对于脑胶质瘤影像中的信息如何进行自动化分析以挖掘出影像中的隐藏信息的问题。

2、本发明提供一种基于多模态影像的脑胶质瘤病理可视化方法，包括以下步骤：

3、s1、获取脑胶质瘤影像集，所述脑胶质瘤影像集中的每个影像样本包括脑胶质瘤的多模态影像序列，所述影像序列中的每个影像还包括脑胶质瘤区域边框标签；

4、s2、获取所述影像样本所示的脑胶质瘤的若干点位的组织病理检测结果标签，基于所述点位的坐标获取所述点位在影像样本中对应的点位区域，所述组织病理检测结果标签包括对应点位的分子亚型标签和组织级别病理等级标签；

5、s3、对所述影像样本的多模态影像进行融合以获得融合特征嵌入；

6、s4、将所述融合特征嵌入输入多任务预测模型进行预测分析，预测分析结果包括脑胶质瘤边框、点位区域的分子亚型和点位区域的组织级别病理等级，基于点位区域对应的分子亚型标签和组织级别病理等级标签与所述预测分析结果之间的差异确定损失值，基于所述损失值对所述多任务预测模型进行训练；

7、s5、通过训练得到的多任务预测模型根据输入的脑胶质瘤多模态影像输出脑胶质瘤边框，所述脑胶质瘤边框中各点位区域的分子亚型和组织级别病理等级，重复步骤s5直到遍历影像序列；

8、s6、基于影像序列中各影像的脑胶质瘤边框和所述脑胶质瘤边框中各点位区域的分子亚型和组织级别病理等级行模型重建以获得脑胶质瘤的分子可视模型。

9、在一些实施例中，所述多模态影像包括t1，t2，dwi，pwi，mrs或者pet/mr中的至少两种或者多种的组合。

10、在一些实施例中，所述分子亚型标签为通过idh1/2，1p/19q，mgmt，htert，tp53，pten，egfr，atrx中一种或者多种的组合对点位的组织进行分子诊断获得的。

11、在一些实施例中，所述脑胶质瘤影像集中的影像样本为自tcga或tcia平台公开的脑胶质瘤数据集获得的。

12、在一些实施例中，步骤s2之前还包括：

13、将所述多模态影像通过标准脑模板mni152进行标准化。

14、在一些实施例中，所述多任务预测模型的架构包括vgg，resnet，xception，fasterrcnn，yolo或者vit中的一种或者多种的组合。

15、在一些实施例中，通过多任务预测模型进行脑胶质瘤边框预测、点位区域的分子亚型预测和点位区域的组织级别病理等级预测的过程中均采用同一个非线性变换网络。

16、本发明还提供一种基于多模态影像的脑胶质瘤病理可视化装置，包括：

17、影像获取模块，用于获取脑胶质瘤影像集，所述脑胶质瘤影像集中的每个影像样本包括脑胶质瘤的多模态影像序列，所述影像序列中的每个影像还包括脑胶质瘤区域边框标签；

18、标注模块，获取所述影像样本所示的脑胶质瘤的若干点位的组织病理检测结果标签，基于所述点位的坐标获取所述点位在影像样本中对应的点位区域，所述组织病理检测结果标签包括对应点位的分子亚型标签和组织级别病理等级标签；

19、特征融合模块，对所述影像样本的多模态影像进行融合以获得融合特征嵌入；

20、训练模块，将所述融合特征嵌入输入多任务预测模型进行预测分析，预测分析结果包括脑胶质瘤边框、点位区域的分子亚型和点位区域的组织级别病理等级，基于点位区域对应的分子亚型标签和组织级别病理等级标签与所述预测分析结果之间的差异确定损失值，基于所述损失值对所述多任务预测模型进行训练；

21、预测模块，通过训练得到的多任务预测模型根据输入的脑胶质瘤多模态影像输出脑胶质瘤边框，所述脑胶质瘤边框中各点位区域的分子亚型和组织级别病理等级，重复步骤s5直到遍历影像序列；

22、可视化模块，基于影像序列中各影像的脑胶质瘤边框和所述脑胶质瘤边框中各点位区域的分子亚型和组织级别病理等级行模型重建以获得脑胶质瘤的分子可视模型。

23、本发明还提供一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现如上任一实施例所述的基于多模态影像的脑胶质瘤病理可视化方法。

24、本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一实施例所述的基于多模态影像的脑胶质瘤病理可视化方法。

25、本发明以上实施例至少具有以下有益效果：

26、本发明实施例通过前期影像分子病理数据信息，提供脑胶质瘤精准分子病理诊断作为影像标签，使得多任务预测模型可以学习到影像中出现各种病理诊断结果对应的影像特征，进而能够通过脑胶质瘤影像中的人眼难以识别的隐藏信息进行自动化病理分析，进而可以精准的指导后续的医疗操作以及降低了对患者进行活检的频次。

技术特征：

1.一种基于多模态影像的脑胶质瘤病理可视化方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于多模态影像的脑胶质瘤病理可视化方法，其特征在于：所述多模态影像包括t1，t2，dwi，pwi，mrs或者pet/mr中的至少两种或者多种的组合。

3.根据权利要求1所述的基于多模态影像的脑胶质瘤病理可视化方法，其特征在于：所述分子亚型标签为通过idh1/2，1p/19q，mgmt，htert，tp53，pten，egfr，atrx中一种或者多种的组合对点位的组织进行分子诊断获得的。

4.根据权利要求2所述的基于多模态影像的脑胶质瘤病理可视化方法，其特征在于：所述脑胶质瘤影像集中的影像样本为自tcga或tcia平台公开的脑胶质瘤数据集获得的。

5.根据权利要求1所述的基于多模态影像的脑胶质瘤病理可视化方法，其特征在于：步骤s2之前还包括：

6.根据权利要求1所述的基于多模态影像的脑胶质瘤病理可视化方法，其特征在于：所述多任务预测模型的架构包括vgg，resnet，xception，faster rcnn，yolo或者vit中的一种或者多种的组合。

7.根据权利要求1所述的基于多模态影像的脑胶质瘤病理可视化方法，其特征在于：通过多任务预测模型进行脑胶质瘤边框预测、点位区域的分子亚型预测和点位区域的组织级别病理等级预测的过程中均采用同一个非线性变换网络。

8.一种基于多模态影像的脑胶质瘤病理可视化装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-7任一项所述的基于多模态影像的脑胶质瘤病理可视化方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的基于多模态影像的脑胶质瘤病理可视化方法。

技术总结
发明涉及基于多模态影像的脑胶质瘤病理可视化方法及装置，属于医学影像处理技术领域，方法包括：S1、获取脑胶质瘤影像集；S2、获取所述影像样本所示的脑胶质瘤的若干点位的组织病理检测结果标签，基于所述点位的坐标获取所述点位在影像样本中对应的点位区域；S3、对所述影像样本的多模态影像进行融合以获得融合特征嵌入；S4、将所述融合特征嵌入输入多任务预测模型进行预测分析，基于所述损失值对所述多任务预测模型进行训练；S5、通过训练得到的多任务预测模型进行预测；S6、基于影像序列中各影像的脑胶质瘤边框和所述脑胶质瘤边框中各点位区域的分子亚型和组织级别病理等级进行模型重建以获得脑胶质瘤的分子可视模型。

技术研发人员：程也,苏峰,吴晓龙,刁焕桐
受保护的技术使用者：首都医科大学宣武医院
技术研发日：
技术公布日：2024/3/17