基于跨模态融合级联的癌症分期预测模型建模系统及方法

本发明属于基于人工智能的医疗信息处理领域，具体涉及一种基于跨模态融合级联的癌症分期预测模型建模系统及方法。

背景技术：

1、癌症分期任务是指通过对癌症的各种病理指标、影像学检查、临床表现等进行综合评估，将癌症划分为不同的阶段或分期，以便指导医生选择合适的治疗方案和预测患者的预后。根据世界卫生组织(who)制定的tnm分期系统，癌症一般划分为i、ii、iii和iv期。如果癌症被诊断为早期，则可以通过较为简单的手术或药物进行治疗，并可避免癌症扩散到其它部位；但是如果癌症被诊断为晚期，则目前还没有有效的手段进行治疗，并且即使进行了系统治疗，其预后效果仍然很差。因此，癌症分期预测在临床实践中具有重要的意义，能够对患者的治疗方案、预后和生存期进行重要的指导。随着医疗技术的不断进步和大数据分析的应用，癌症分期预测的准确性和可靠性也得到了不断提高。

2、不同模态的数据往往具有不同的信息，能够更好地实现癌症分期预测任务。与癌症相关的数据包括：临床文本数据、基因组学数据、影像组学数据和病理组学数据。临床文本数据是在诊疗过程中产生的文字记录，如病历、检查报告和处方等。在临床文本数据中记录了病人的病情、治疗方案和效果等信息。基因组学数据是指研究生物体基因组的数据，如dna序列、基因表达和基因突变等。基于这些数据可以探究疾病的遗传基础和个体差异；影像组学数据是指医学影像学中的数据，包括x光、ct和mri等图像数据。这些数据经常被用来诊断疾病、指导治疗和评估疗效。病理组学数据是指病理学研究中的数据，包括组织切片和细胞学检查等。这些数据可以用来研究疾病的组织学特征、病理机制和预后预测。

3、有人提出了一种基于基因组分析的癌症分期预测系统，其基于基因组数据对癌症分期进行预测，但是，通过单模态的训练和预测限制了系统的精度和泛用性，因此，如何通过多模态数据进行预测，成为本领域亟待解决的技术问题。

技术实现思路

1、本发明克服现有技术存在的不足，所要解决的技术问题为：提供一种基于跨模态融合级联的癌症分期预测模型建模系统及方法，以提高系统预测的精度和泛用性。

2、为了解决上述技术问题，本发明采用的技术方案为：一种基于跨模态融合级联的癌症分期预测模型建模系统，包括：依次连接的数据获取模块、浅层次特征提取模块、多个级联模块和预测输出模块；

3、所述数据获取模块用于获取多种模态的标注数据发送给浅层次特征提取模块；

4、所述浅层次特征提取模块用于根据各个模态的标注数据，分别提取各个模态的浅层次特征；

5、各个级联模块依次连接，所述级联模块包括：

6、模态内特征提取器：用于根据各个模态的浅层次特征或上一个级联模块输出的重组特征对各个模态分别进行特征提取，得到模态内深层次特征；

7、模态间特征提取器：用于对任意两个模态的浅层次特征或上一个级联模块输出的任意两个模态的重组特征进行模态间特征提取，得到各个模态两两之间的深层次特征；

8、多模态癌症分期预测器：用于分别根据模态内特征提取器输出的各个模态内深层次特征和模态间特征提取器输出的各个模态间深层次特征，输出预测精度和各种癌症分期的预测概率；还用于根据当前层的所有癌症分期预测器的输出预测概率，进行加权融合，获得当前层的预测概率；

9、精度判别模块：用于根据当前层的预测概率确定预测标签，再计算当前层的精度，并判断精度是否满足输出条件，若否，则发送信号至特征重组模块，若是，则发送输出信号至预测输出模块；

10、特征重组模块：用于根据精度判别模块发送的重组命令，对各个模态进行特征重组，将得到的各个模态的重组特征发送给下一个级联模块作为其输入；特征重组的方法为：将各个模态的浅层次特征或上一级联模块输出的重组特征、对应模态的模态内深层次特征、、相关的模态间深层次特征拼接在一起作为对应模态的重组特征；

11、预测输出模块：用于保留最后一个级联模块内的多模态癌症分期预测器，去掉其它所有级联模块中的多模态癌症分期预测器，将所述浅层次特征提取模块和多个级联模块作为癌症分期预测模型。

12、所述数据获取模块用于获取多种模态的标注数据包括临床文本数据、基因组学数据、影像组学数据；浅层次特征提取模块对各中模态的数据获取浅层次特征的具体方法为：

13、(1)对于临床文本数据，采用bert模型对其进行向量化，得到临床文本向量矩阵作为其浅层次特征；

14、(2)对于基因组学数据，采用两阶段的方式获取对应基因，两阶段方法是指在第一阶段中使用多种基因筛选算法获取多组候选基因；在第二阶段中基于多组候选基因使用交集、并集或投票法获得与癌症相关的基因作为其浅层次特征；

15、(3)对于影像组学数据，提取其统计量特征、形状特征、纹理特征、灰度共生矩阵特征、灰度级大小区域矩阵特征、灰度游程矩阵特征、邻域灰度差矩阵特征和灰度依赖矩阵特征，并通过训练过的编码-解码器模型提取其深度特征，将得到所有特征拼接起来形成向量矩阵，作为其浅层次特征。

16、所述模态内特征提取器包括多个第一特征提取器，所述第一特征提取器为基于门控注意力机制的双线性模型训练得到，模型结构为：输入特征xi首先经过一个relu激活函数的全连接层，得到一个特征向量然后，将输入特征xi分别经过一个relu激活函数全连接层和sigmoid激活函数的全连接层，再将输出的两个特征向量逐元素相乘，得到一个特征向量然后，将特征向量和逐元素相乘，得到模态内的深层次特征：最后，基于模态内的深层次特征使用softmax激活函数的全连接层进行预测；

17、所述模态间特征提取器包括多个第二特征提取器，所述第二特征提取器为基于门控注意力机制的双线性模型训练得到，模型结构为：两个模态的输入特征xi和xj分别经过relu激活函数的全连接层和sigmoid激活函数的全连接层，再将输出特征向量逐元素相乘，得到两个特征向量和然后，将两个特征向量和逐元素相乘，得到模态间的深层次特征最后，基于模态间的深层次特征使用softmax激活函数的全连接层进行预测。

18、所述第一特征提取器通过对应模态的输入特征对应的癌症分期标签进行训练，训练完成后，移出最后softmax激活函数的全连接层，将得到模型作为对应模态的第一特征提取器；

19、所述第二特征提取器通过对应两个模态的输入特征对应的癌症分期标签进行训练，训练完成后，移出最后softmax激活函数的全连接层，将得到模型作为对应模态的第二特征提取器。

20、所述多模态癌症分期预测器包括多个癌症分期预测器和概率特征融合器，每个癌症分期预测器用于根据其中一个深层次特征输出对应的预测概率，每个癌症分期预测器包括多个基分类器，所述基分类器包括逻辑回归、k近邻算法、支持向量机、高斯朴素贝叶斯、多项式朴素贝叶斯、随机森林和极端树中的多种；

21、所述概率特征融合器用于根据当前层的所有癌症分期预测器的输出预测概率，进行加权融合，获得当前预测概率。

22、所述概率特征融合器进行加权融合，得到当前预测概率特征的具体方法为：

23、计算每个概率特征的权重

24、基于每个概率特征进行加权融合，使用p(x)＝∑wipi(x)计算当前层输出的预测概率特征p(x)；

25、其中，acci表示第i个癌症分期预测器的预测精度，pi(x)表示第i个癌症分期预测器输出的预测概率。

26、所述精度判别模块计算当前层精度的具体方法为：

27、将当前预测概率p(x)中最大值对应的索引设置为预测标签，统计真实标签和预测标签相同的比例，记为当前层的最终预测精度；

28、判断精度是否满足条件的具体方法为：判断当前级联模块及其前两个级联模块的最终预测精度是否均没有提升，若是，则判定满足输出条件；

29、所述得到癌症分期预测模型的具体方法为：根据精度判别模块发送的输出命令，通过去掉最后两层级联模块和剩下的除最后一个级联模块外所有级联模块中的多模态癌症分期预测器，将所述浅层次特征提取模块和剩下的多个级联模块形成的结构作为癌症分期预测模型。

30、此外，本发明还提供了一种基于跨模态融合级联的癌症分期预测模型建模方法，包括以下步骤：

31、s1、获取多种模态的标注数据发送给浅层次特征提取模块；

32、s2、根据各个模态的标注数据，通过浅层次特征提取模块分别提取各个模态的浅层次特征，并发送至第一个级联模块；级联模块包括模态内特征提取器、模态间特征提取器、多模态癌症分期预测器、精度判别模块、特征重组模块；

33、s3、在第一个级联模块内执行以下步骤：

34、s301、通过模态内特征提取器对各个模态浅层次特征进行特征提取，得到各个模态的模态内深层次特征；同时，通过模态间特征提取器对各个模态浅层次特征进行模态间特征提取，得到各个模态两两之间的深层次特征；

35、s302、利用多模态癌症分期预测器分别根据模态内特征提取器输出的各个模态内深层次特征和模态间特征提取器输出的模态间深层次特征，输出预测精度和各种癌症分期的预测概率；然后根据当前层的所有癌症分期预测器的输出预测概率，进行加权融合，获得当前预测概率；

36、s303、根据当前预测概率确定预测标签，再计算当前层的精度，并判断精度是否满足输出条件，若否，则通过特征重组模块对各个模态进行特征重组，得到的各个模态的重组特征并且进入步骤s4；若是，则进入步骤s5；特征重组的方法为：将各个模态的浅层次特征、对应模态的模态内深层次特征、相关的模态间深层次特征拼接在一起；

37、s4、将得到的各模态的重组特征输入下一个级联模块，在第2～n个级联模块内重复执行步骤s301～s303，直至精度满足输出条件；n表示级联模块的数量，进入步骤s5；

38、s5、保留最后一个级联模块内的多模态癌症分期预测器，去掉其它所有级联模块中的多模态癌症分期预测器，将所述浅层次特征提取模块和多个级联模块作为癌症分期预测模型。

39、进一步地，所述步骤s303中，判断当前级联模块及其前两个级联模块的最终预测精度是否均没有提升，若是，则判定满足输出条件；

40、所述步骤s5的具体步骤为：

41、s5、去掉最后两个级联模块，保留剩下的最后一个级联模块内的多模态癌症分期预测器，去掉其它所有级联模块中的多模态癌症分期预测器，将所述浅层次特征提取模块和剩余的多个级联模块作为癌症分期预测模型。

42、本发明与现有技术相比具有以下有益效果：

43、本发明提供了一种基于跨模态融合级联的癌症分期预测模型建模系统和方法，其可以融合包括临床文本数据、基因组学数据、影像组学数据和病理组学数据中任意两个模态或两个以上的模态的信息，实现了癌症分期预测。本发明在使用过程中可以挖掘出数据的更加丰富的特征，在浅层次特征提取中，针对不同模态的数据，采用不同的方法提取相应的特征；在深层次特征提取中，基于门控注意力机制的双线性模型在浅层次特征上进一步挖掘出新的模态内和模态间的深层次特征，使得得到的模型可以更加准确地进行特征提取，提高了预测的精度和泛用性。本发明基于不同类型深层次特征提取模块的动态级联框架，建立的预测模型可以准确预测各类癌症的分期，能够极大地辅助医生实现对病人的精准诊断和个性化治疗。