基于多模态深度学习的脑胶质瘤IDH基因型预测方法

本发明属于医学影像智能分析，涉及到一种基于多模态深度学习的脑胶质瘤idh基因型预测方法。

背景技术：

1、脑胶质瘤是成人最常见的颅内原发性恶性肿瘤，约占中枢神经系统恶性肿瘤的82.4％。脑胶质瘤isocitrate dehydrogenase(idh)基因型预测(突变型或野生型)对脑胶质瘤预后评估和疗效预测具有重要意义。目前，免疫组化和基因测序是预测idh基因型的主要方法，但是这些方法都需要通过手术切除或者活检来获取脑胶质瘤标本，是有创的病理诊断方法且费用昂贵，而且诊断结果存在采样偏倚和滞后的问题。magnetic resonanceimaging(mri)是脑胶质瘤临床诊疗中最常用的成像技术，具有t1wi、t2wi、ce-t1wi、flair、dwi等多模态的多个成像序列，脑胶质瘤在这些序列中呈现出不同的特点，例如，t1wi和t2wi可以清楚显示脑胶质瘤侵袭范围，flair可以完整地显示脑胶质瘤内部异质性和瘤周水肿程度，ce-t1wi则可以提示脑胶质瘤强化方式并区分实体瘤与周围浸润部位。近年来，多模态深度学习技术通过融合多种mri序列的信息在idh基因型预测方面显示出了巨大的潜力，但是现有的多模态idh基因型预测方法仍存在以下两方面的问题：

2、一方面，现有的多模态idh基因型预测方法需要先将脑胶质瘤区域分割出来，预测性能依赖于脑胶质瘤分割的精度，如果分割结果存在误差或不准确，那么基因型预测的准确性也会受到影响，而且精准的脑胶质瘤标记过程是非常耗时耗力的，无法满足实时的临床应用需求。

3、另一方面，在多模态信息融合时，现有的多模态idh基因型预测方法通常使用早期融合策略，直接将多个mri序列拼接后输入到单个网络流中，这样不仅无法有效地学习每个mri序列的特有信息，而且无法充分利用多个mri序列间的互补信息。

4、这些问题限制了现有的多模态idh基因型预测方法的效率和准确性，阻碍其投入实际的临床应用。

技术实现思路

1、为了解决上述技术问题，本发明提供一种基于多模态深度学习的脑胶质瘤idh基因型预测方法，设计特征提取器获取每个mri序列的局部-全局特征；利用脑胶质瘤分割任务引导特征提取器自动捕获每个mri序列脑胶质瘤区域的特征，解决了模型依赖于脑胶质瘤标注的问题；基于相似度对多个mri序列的局部-全局特征进行跨模态增强并使用注意力机制对特征进行融合，首先将相似度较大的mri序列特征增强，以去除冗余信息，然后利用通道和空间注意力机制进一步特征融合，从而充分利用mri序列间的互补信息。该方法通过跨模态特征有效融合可以大大提高idh基因型预测的效率和准确率，可作为人工智能辅助诊疗工具投入临床应用中，辅助医生对脑胶质瘤idh基因型进行有效预测。

2、一种基于多模态深度学习的脑胶质瘤idh基因型预测方法，包括如下步骤：

3、对多个样本的多模态mri序列图像进行预处理，得到数据样本集，所述数据样本集包括各个样本的多个mri序列的图像数据；

4、利用脑胶质瘤分割任务引导设计的特征提取器获取每个输入mri序列的脑胶质瘤区域的局部-全局特征，首先使用3d cnn骨干网络提取每个模态mri序列的局部特征，然后使用transformer进一步提取其全局上下文信息，最后利用脑胶质瘤分割解码器获取每个mri序列的包含局部和全局上下文信息的脑胶质瘤区域特征描述；

5、根据所述特征描述，通过计算多个mri序列间的特征相似度进行跨模态特征增强并使用注意力机制对特征进行融合。根据计算的特征相似度的大小采取不同的特征计算策略，对相似度较大的mri序列，利用求和和最大化方法进行跨模态特征增强并去除冗余，然后，利用通道注意力机制和空间注意力机制进行特征融合从而获取跨模态的多序列融合特征；

6、根据所述多序列融合特征，利用idh基因型分类器对样本的idh基因型进行预测，预测类型包括突变型和野生型；

7、联合脑胶质瘤分割和idh基因型预测两个任务设计损失函数，并用于训练和更新模型参数。

8、进一步地，所述对多个样本的多个mri序列进行预处理，得到数据样本集，包括：

9、对各样本中的多个mri序列进行影像配准，得到初始图像数据t＝[t1,t2,…,ti,…,tn]，0≤i≤n，n为样本个数，ti为第i个样本，tn为第n个样本，ti＝[ti1,ti2,…,tij,…,tim]，0≤j≤m，m为第i个样本中的mri序列的个数，ti1为第i个样本中的第1个mri序列的初始图像数据，ti2为第i个样本中的第2个mri序列的初始图像数据，tij为第i个样本中的第j个mri序列的初始图像数据，tim为第i个样本中的第m个mri序列的初始图像数据；

10、根据初始图像数据t，对其中的mri序列进行灰度归一化和裁剪，得到输入数据样本集x＝[x1,x2,…,xi,…,xn]，xi为灰度归一化和裁剪后的第i个样本，xn为灰度归一化和裁剪后的第n个样本，xi＝[xi1,xi2,…,xij,…,xim]，xi1为第i个样本中的第1个mri序列的图像数据，xi2为第i个样本中的第2个mri序列的图像数据，xij为第i个样本中的第j个mri序列的图像数据，xim为第i个样本中的第m个mri序列的图像数据，xij∈rc×h×w×d，其中，c表示图像数据对应的通道数，h表示图像数据对应的高度，w表示图像数据对应的宽度，d表示图像数据对应的深度。

11、进一步地，所述灰度归一化的处理方法为最大值最小值归一化。

12、进一步地，设计特征提取器获取每个mri序列的局部-全局特征，并利用脑胶质瘤分割任务引导特征提取器自动捕获每个mri序列脑胶质瘤区域的特征，首先对所述数据样本集进行3d cnn特征提取，得到局部特征，进而根据所述局部特征，利用transformer特征提取器得到包含全局上下文信息的局部-全局特征，然后利用脑胶质瘤分割解码器得到脑胶质瘤区域的局部-全局特征，具体说明如下：

13、将所述数据样本集输入到3d cnn特征提取器中抽取各个样本中的每个mri序列的局部特征，得到局部特征为第i个样本的局部特征，为第n个样本的局部特征，为第i个样本中的第1个mri序列的局部特征，为第i个样本中的第2个mri序列的局部特征，为第i个样本中的第j个mri序列的局部特征，为第i个样本中的第m个mri序列的局部特征，c′表示局部特征对应的通道数，h′表示局部特征对应的高度，w′表示局部特征对应的宽度，d′表示局部特征对应的深度；

14、将局部特征fcnn输入到transformer特征提取器，进一步提取每个样本中的每个mri序列的全局上下文信息，得到局部-全局特征为第i个样本的局部-全局特征，为第n个样本的局部-全局特征，为第i个样本中的第1个mri序列的局部-全局特征，为第i个样本中的第2个mri序列的局部-全局特征，为第i个样本中的第j个mri序列的局部-全局特征，为第i个样本中的第m个mri序列的局部-全局特征；

15、对于第i个样本中的第j个mri序列的局部-全局特征的特征提取过程如下：transformer特征提取器首先将三维的展开成一维特征向量fij∈rc′×n，n＝h′×w′×d′，然后给fij添加一个可学习式位置编码向量peij∈rc′×n，peij是可训练的参数，得到具有位置信息的特征向量eij＝fij+peij，然后使用自注意力机制来捕获图像的全局上下文信息，自注意力计算公式为：

16、

17、是三个可学习的权重矩阵，是kij的转置，最后经过两个线性映射层和一次relu激活函数得到局部-全局特征计算公式为：

18、

19、和是两个线性映射层的可学习参数；

20、将局部特征fcnn和局部-全局特征ftrans输入到脑胶质瘤分割解码器进行脑胶质瘤分割，从而引导3d cnn和transformer特征提取器提取脑胶质瘤区域的特征，即ftrans为脑胶质瘤区域的局部-全局特征，最后经过softmax层得到属于脑胶质瘤区域的预测概率p＝[p1,p2,…,pi,…,pn]，其中，pi为第i个样本的预测概率，pn为第n个样本的预测概率，pi＝[pi1,pi2,…,pij,…,pim]，pi1为第i个样本中的第1个mri序列的脑胶质瘤区域预测概率，pi2为第i个样本中的第2个mri序列的脑胶质瘤区域预测概率，pij为第i个样本中的第j个mri序列的脑胶质瘤区域预测概率，pim为第i个样本中的第m个mri序列的脑胶质瘤区域预测概率。

21、进一步地，3d cnn特征提取器由5个卷积块组成，每个卷积块由3个卷积层堆叠而成，其中，第一个卷积层的步长为1，另外两个卷积层的步长为2，3个卷积层的核大小都为3×3×3，每个卷积层之间插入一个实例归一化和一个gelu激活函数；

22、脑胶质瘤分割解码器由5个解码块和1个softmax层组成，每个解码块包括一次三线性插值上采用和3个卷积层，其中，前两个卷积层的卷积核大小为3×3×3，第三个卷积核大小为1×1×1，卷积层的步长都为1，每个卷积层之间插入一个实例归一化和一个gelu激活函数。

23、进一步地，根据所述局部-全局特征，通过计算多个mri序列间的特征相似度进行跨模态特征增强并使用注意力机制对特征进行融合，得到跨模态的多序列融合特征，包括：

24、根据局部-全局特征ftrans，计算每个样本中任意两个mri序列间的相似度s＝[s1,s2,…,si,…,sn]，si∈rm×m为第i个样本的相似度矩阵，为第i个样本的第j个mri序列的局部-全局特征与第i个样本的第t个mri序列的局部-全局特征间的相似度，计算公式为：

25、

26、t表示转置运算，是对进行权重计算后的矩阵，是对进行权重计算后的矩阵，wq、wk∈rn×n是两个可学习的权重矩阵，d是缩放因子，为第i个样本中的第t个mri序列的局部-全局特征，relu表示relu激活函数；

27、根据局部-全局特征ftrans和相似度s，对每个样本的m个mri序列的局部-全局特征进行融合，得到多序列融合后的特征f＝[f1,f2,…,fi,…,fn]，fi为第i个样本的多个mri序列融合后的特征，以第i个样本为例，特征融合过程如下：首先将相似度较大的两个mri序列的局部-全局特征进行跨模态特征增强，即将mi中每一行相似度最大值所在列对应的mri序列的局部-全局特征与所在行对应的mri序列的局部-全局特征进行增强，得到第i个样本的跨模态增强后的特征pairi∈rm×n，例如，si中第j行相似度最大值在第t列，则将第i个样本的第j个mri序列的局部-全局特征与第i个样本的第t个mri序列的局部-全局特征进行增强，增强公式为：

28、

29、表示逐元素加法运算，max表示逐元素取最大值运算，cat为拼接操作，conv为卷积运算，卷积核大小为3，步长为1；

30、其次，根据跨模态增强后的特征pairi，利用通道注意力机制提取重要通道特征式中，avgpools为空间维度平均池化，maxpools为空间维度最大池化，mlp为多层感知机，由两层全连接层组成，sigmoid表示sigmoid激活函数，表示逐元素加法运算，表示逐元素乘法运算；

31、然后，根据跨模态增强后的特征pairi，利用空间注意力机制提取重要区域特征式中，avgpoolc为通道维度平均池化，maxpoolc为通道维度最大池化，cat为拼接操作，conv为卷积运算，卷积核大小为3，步长为1，sigmoid表示sigmoid激活函数，表示逐元素乘法运算；

32、最后，得到多序列融合特征表示逐元素加法运算。

33、进一步地，根据所述多序列融合特征，得到样本idh基因型属于突变型或野生型的预测概率，包括：

34、根据多序列融合特征f，f∈rc′×n×m，使用全局平均池化捕捉每个通道下特征的整体分布和趋势ygap∈r1×c′，其中第c个通道特征的全局平均池化计算公式为：

35、

36、1≤c≤c′；是第c个通道的多序列融合特征f中第i个样本的第j个mri序列的特征；

37、根据多序列融合特征f，使用全局最大池化捕捉每个通道下显著的局部特征ygmp∈r1×c′，其中第c个通道特征的全局最大池化计算公式为：

38、

39、max表示求最大值；fc是第c个通道的多序列融合特征f中的特征；

40、根据ygap和ygmp，将ygap和ygmp进行拼接并展开成一个2×c′个元素的向量y；

41、将向量y输入三个全连接层和一个softmax层来进行idh基因型预测，其中，第一个全连接层有2×c′个神经元，第二个全连接层有c′个神经元，第三个全连接层有2个神经元，2个神经元分别对应idh突变型与idh野生型两个基因型，softmax层用于将全连接层的预测分值转换成预测概率q＝[q1,q2,…,qi,…,qn]，qi为第i个样本所对应的idh基因型属于突变型或野生型的预测概率，qn为第n个样本所对应的idh基因型属于突变型或野生型的预测概率，qi＝[qi1,qi2]，0≤qi1≤1表示第i个样本的idh基因型是突变型的概率，0≤qi2≤1表示第i个样本的idh基因型是野生型的概率。

42、进一步地，联合脑胶质瘤分割和idh基因型预测两个任务设计损失函数，并用于训练和更新模型参数，损失函数公式为：

43、

44、其中，lseg为脑胶质瘤分割损失函数，lidh为脑胶质瘤idh基因型预测损失函数，α1、α2分别是lseg、lidh的可学习权重参数；

45、脑胶质瘤分割损失函数lseg：

46、

47、其中，u为mri序列中的像素的个数，为第i个样本的第j个mri序列中第k个像素属于脑胶质瘤区域的预测概率，为像素k是否属于脑胶质瘤区域的真实标签，0表示不属于，1表示属于；

48、脑胶质瘤idh基因型预测损失函数lidh：

49、

50、其中，a＝2为idh基因型的种类数，包括突变型和野生型两种，0≤qia≤1为第i个样本属于idh基因型a的预测概率，uia∈[0,1]为第i个样本属于idh基因型a的真实标签，0表示不属于，1表示属于，为基因型a的权重系数，na为idh基因型a的样本个数。

51、本发明具有如下有益效果：本发明提供的一种基于多模态深度学习的脑胶质瘤idh基因型预测方法，设计特征提取器获取每个mri序列的局部-全局特征；利用脑胶质瘤分割任务引导特征提取器自动捕获每个mri序列脑胶质瘤区域的特征，从而，可以减轻医生和研究人员手动标注的负担，并解决了模型idh基因型预测性能依赖于脑胶质瘤分割精度的问题；在多模态特征融合模块，设计了基于相似度融合策略，首先将相似度较大的mri序列进行跨模态特征增强，以去除冗余信息，然后利用通道和空间注意力机制进一步进行特征融合，可以充分利用mri序列中的互补信息。此外，特征提取器和特征融合模块可以处理任意多个模态，与只能处理特定模态的模型相比，该模型具有更大的灵活性，可以更好地适应多中心临床数据。该方法大大提高了idh基因型预测的效率和准确率，可作为人工智能辅助诊疗工具投入临床应用中，辅助医生对脑胶质瘤idh基因型进行有效预测。