基于交叉Transformer和MLIF的多模态融合生存预后方法

本发明属于人工智能的，具体涉及一种基于交叉transformer和mlif的多模态融合生存预后方法。

背景技术：

1、肿瘤微环境(tumor microenvironment,tme)是肿瘤生存的关键环境，影响肿瘤进程和预后。由于肿瘤的异质性，患者治疗反应和预后各异，总体预后差。在这种情况下，生存预后评估对于制定个性化治疗计划至关重要。通过分析患者的生存时间和疾病进展，医生可以更准确地预测患者的病程，选择合适的治疗策略。这不仅可以提高治疗效果，也有助于优化医疗资源的分配。

2、近年来，随着高通量测序技术的快速发展，生存分析的重点已经从检查临床指标转向将患者不同层次的数据结合起来，比如ct影像和病理图像的结合。因此，融合多模态数据的深度学习方法被引入到癌症生存分析中。然而，这些方法都是基于单独的病理图像块分析，仍然缺乏有效的多模态融合来克服病理图像和基因组数据的异质性。现有的研究已经表明，通过采用多模态数据进行生存分析这项任务取得了重大进展。但是现有的方法要么直接采用病理特征和影像组学特征直接融合进行生存预测；要么采用张量融合的方法将多模态数据进行融合，这一方法虽将不同模态信息进行了交互，但随着维度的增加，与此同时也增加了权重的维度，致使融合效率降低，增加了模型面临过度拟合的风险；要么基于单独的生存预后分析好的一类数据为指导，整合其余数据的特征，这样后者会丢弃与预后好的一类数据无关的其余信息，导致融合不够充分，并且也存在先决条件。因此，目前仍然缺乏有效的多模态融合来克服多模态数据的异质性，多模态融合存在以下挑战：

3、1)不同模态的数据融合会造成维度灾难问题，模型需要更多的计算资源和更复杂的模型来处理，导致训练较为困难；

4、2)在多模态融合中，由于涉及不同模态的特征提取，实现端到端训练即在训练过程中实时更新各自的特征并且让不同特征进行交互，进而更好的实现有效融合成为挑战；

5、因此，如何将多模态数据有效且高效的整合进行生存预后，是如今亟待解决的问题。

技术实现思路

1、本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于交叉transformer和mlif的多模态融合生存预后方法，通过构建端到端有效且高效多模态融合模型，对ct影像和病理组织图像提取特征并进行采用新颖的多模态方法进行融合，使得两个不同层面的特征实现每个模态特异信息的融合以及相互补充，提高了患者的治疗效果和生存率，对医生进行准确评估肿瘤进展以及精准预测预后至关重要。

2、为了达到上述目的，本发明采用以下技术方案：

3、第一方面，本发明提供了一种基于交叉transformer和mlif的多模态融合生存预后方法，包括下述步骤：

4、获取患者原始ct影像和病理组织医学图像数据，对数据进行预处理，包括重采样、归一化操作与图像裁剪，随后并标注感兴趣区域，形成ct影像和病理切片数据集；

5、对ct影像和病理切片分别进行特征提取，得到病灶及其瘤周影像组学特征和病理手工特征；

6、根据所得ct影像和病理切片数据集划分形成训练集和测试集；

7、将所述影像组学特征和病理特征输入至预设的多模态融合模块进行二阶段的训练；

8、在第一阶段的训练过程中，引入自注意机制，为每个模态构造一个编码器以进行特征选择和降维并获得模态内表示，随后采用交叉transformer增强不同特征之间的交互，捕获不同模态数据之间的复杂交互，并生成具有丰富信息的特征表示，最后利用多模态低秩交互融合模块mlif将病灶及其瘤周影像组学特征和病理手工特征进行全面高效的整合，生成多模态融合特征表示；

9、在第二阶段的训练过程中，根据多模态融合特征，同时引入临床数据，融合多模态特征和临床数据的特征向量训练一个用于生存预后的回归网络，多模态融合生存预后网络的预测结果作为最终预后结果。

10、作为优选的技术方案，所述归一化操作具体为：

11、ct影像首先是对体素值进行裁切，确保体素值在预设范围内；对于超出最大值的体素值，将其调整为最大值；对于小于最小值的体素值，将其调整为最小值；然后采用z-score归一化方法，将所有体素值的范围映射到[0,1]之间；

12、病理组织学图像是确定组织的标准，使用苏木精染液对细胞核内的染色质与细胞质内的核酸着紫蓝色，使用伊红染液对细胞质和细胞外基质中的成分着红色，将不同颜色风格的切片图像统一处理成同一颜色风格的归一化图像。

13、作为优选的技术方案，所述标注感兴趣区域具体为：

14、在ct影像中感兴趣的区域包括：病灶仓库、瘤周0–5mm数据、瘤周5–10mm数据、瘤周10–15mm数据以及瘤周15–20mm数据；在病理组织医学图像中感兴趣区域包括：肿瘤区域、肿瘤上皮、肿瘤间质以及肿瘤细胞核。

15、作为优选的技术方案，所述在第一阶段的训练过程中，引入自注意机制，为每个模态构造一个编码器以进行特征选择和降维并获得模态内表示，具体为：

16、引入自注意机制，通过允许多模态融合模块关注输入中的不同部分，自适应地选择每个模态内部的重要特征，减少冗余信息，保留对于任务更重要的信息；对于影像组学特征和病理特征，分别构造一个独立的ct影像编码器和wsi病理编码器，捕捉模态内部的关键特征，负责将影像组学特征和病理特征进行特征选择和降维并转换为初始的模态内表示；所述影像编码器的结构与病理编码器的结构相同，对于给定的病理p＝{p1,p2,…,pk}，定义了一个可学习的类标记p(0)来从所有的病理序列中收集信息；病理编码器的初始输入表示为所述病理编码器模态内表示为：

17、p(1)＝msa(ln(p(0)))+p(0)

18、p(2)＝msa(ln(p(1)))+p(1)

19、其中，将病理特征标记为p，msa表示多头自注意力，ln表示对每一层网络的输出做一个标准化，输出p(2)中的为病理的内模态表示。

20、作为优选的技术方案，所述采用交叉transformer增强不同特征之间的交互，具体为：

21、引入交叉transformer结构，所述交叉transformer结构包含多个交叉注意力层，在交叉注意力层内部，每个模态的表示都会受到其他模态的影响，每个交叉注意力层能够对不同模态之间的特征进行交叉和融合；通过交叉transformer结构，学习到不同特征之间的权重分配，使得最终特征表示不仅包含各自模态的特征，还包含彼此之间的交互信息；具体的交叉transformer过程如下式所示：

22、

23、

24、

25、

26、其中，g表示全局上下文向量，而u表示所参与的结果，p表示病理特征，c表示ct影像组学特征，xinter表示交互向量；为了实现来自不同表示子空间的注意，保持了多头机制，其中磁头的数量与transformer的主干相匹配。

27、作为优选的技术方案，所述多模态低秩交互融合模块mlif包括基于门控的模态注意力机制mam、基于低秩矩阵分解的低秩交互融合lmf以及最优权重分配拼接owc；

28、其中，mam是将病灶及其瘤周影像组学特征和病理手工特征进行强化当前任务的重要信息，提高模型的鲁棒性和泛化能力；

29、lmf是通过无需显式创建权重来进行融合特征，能够在模态数量上呈线性缩放，使得多模态融合模块具有更少的参数，更高的效率；

30、owc是将原始的特征加入，利用预先设立的独立编码器提取特征并获取影像预后权重以及病理预后权重，随后将初始信息进行结合，动态地将影像特征、病理特征以及融合特征拼接，增强多模态特征表示方式，进而生成更为精细的多模态融合特征表示。

31、作为优选的技术方案，在第二阶段的训练过程中，所述融合多模态特征和临床数据的特征向量训练一个用于生存预后的回归网络，具体为：

32、通过整合多模态特征和临床数据的特征向量，采用多层感知机mlp作为回归预测模型，设计并训练了一个端到端的神经网络以预测患者的生存预后；在训练过程中，网络通过反向传播算法优化与生存时间相关损失函数，实时更新各模态特征的权重并促使它们相互交互；通过数据的拆分、超参数调整和模型评估，确保了模型在训练集和测试集上的性能，然后使用患者的真实生存数据作为标签训练，在测试集上对多模态融合预后网络的性能进行最终验证，多模态融合预后网络的预测结果作为最终分割结果。

33、第二方面，本发明提供了一种基于交叉transformer和mlif的多模态融合生存预后系统，应用于所述的基于交叉transformer和mlif的多模态融合生存预后方法，包括预处理模块、单模态特征提取模块、多模态数据输入模块、第一训练模块和第二训练模块；

34、所述预处理模块，用于获取患者原始ct影像和病理组织医学图像数据，对数据进行预处理并标注感兴趣区域，形成ct影像和病理切片数据集；

35、所述单模态特征提取模块，用于对ct影像和病理切片分别进行特征提取，得到影像组学特征和病理特征；

36、所述多模态融合模块，用于将所述影像组学特征和病理特征输入至预设的多模态融合模块进行二阶段的训练；

37、所述第一训练模块，用于在第一阶段的训练过程中，引入自注意机制，为每个模态构造一个编码器以进行特征选择和降维并获得模态内表示，随后采用交叉transformer增强不同特征之间的交互，捕获不同模态数据之间的复杂交互，并生成具有丰富信息的特征表示，最后利用多模态低秩交互融合模块mlif将病灶及其瘤周影像组学特征和病理手工特征进行全面高效的整合，生成多模态融合特征；

38、所述第二训练模块，用于在第二阶段的训练过程中，根据多模态融合特征，同时引入临床数据，融合多模态特征和临床数据的特征向量训练一个用于生存预后的回归网络，多模态融合生存预后网络的预测结果作为最终预后结果。

39、第三方面，发明提供了一种电子设备，所述电子设备包括：

40、至少一个处理器；以及，

41、与所述至少一个处理器通信连接的存储器；其中，

42、所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的基于交叉transformer和mlif的多模态融合生存预后方法。

43、第四方面，本发明提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现所述的基于交叉transformer和mlif的多模态融合生存预后方法。

44、本发明与现有技术相比，具有如下优点和有益效果：

45、(1)本发明提出了一种端到端多模态融合生存预后模型，使得模型能够在整个任务中进行全局优化，模型在训练过程中可以实时更新各自的特征，适应数据的动态变化，增强了模态间的信息流动，有助于更全面地捕捉数据的复杂特性。同时在训练过程中也可以促使不同模态的特征相互交互，增强了模态间的信息流动，有助于更全面地捕捉数据的复杂特性，同时也降低信息丢失。

46、(2)本发明采用交叉transformer和mlif模型，对多模态数据实现了有效全面且高效的融合，解决了不同模态间的异质性，提高对多模态数据的建模能力，减少参数数量和计算成本。

47、(3)本发明在肺癌数据上对构建的模型进行了评估，模型预测具有最佳的预后性能，增强了融合预后预测能力，通过全面的可视化说明，直观地展示了生存预后情况。