基于注意力机制的胃癌细粒度分类方法

本发明涉及一种基于注意力机制的胃癌细粒度分类方法。

背景技术：

胃癌是全球最为常见的恶性肿瘤之一，据世界卫生组织癌症研究机构(iarc)统计，2020年全球胃癌新增1,089,103例，占全部新发癌症病例的5.6％，在胃癌新发病例中，大约50％的新发病例发生在亚洲的东部，而中国是胃癌发病的集中区域，2020年新增病例达到478,508例，占到全国新发癌症病例的10.5％，因胃癌导致的死亡病例达到373,789，占到全国癌症死亡病例的12.4％，所以无论是新增病例还是死亡病例，胃癌已经成为影响我国人口健康的重要因素。因此，加强胃癌细粒度分类的研究，准确、客观评估胃癌的亚型对治疗方案的制定具有重要意义，也是精准医学的重要目标。

现阶段对胃癌微卫星状态分类常用的方法有免疫组织化学法(ihc)和高通量测序法(ngs)。ihc是通过免疫组化检测肿瘤组织中mmr蛋白缺失来间接确定msi的状态，虽然它可以直接鉴定出导致msi发生mmr缺陷基因，但是约5％-11％的msi发生并不会出现mmr蛋白的缺陷，还存在某些mmr蛋白错义突变，mmr功能损失却保留其抗原性，因此免疫组化检查容易出现假阳性的问题。而ngs基因检测可同时捕获多段基因组序列，利用其中已有的微卫星位点即可同步检测msi，降低样本用量，但是识别有良好区分性的微卫星位点需要复杂的算法和大量样本的积累验证，同时重复序列捕获和检测相当困难。因此，如何实现胃癌微卫星状态的无损、实时、准确分类是解决上述问题的关键。

基于人工智能技术的胃癌微卫星状态分类方法，通过设计针对性的网络架构以及对胃癌病理图像的自主学习，使训练好的神经网络模型可以对胃癌微卫星状态进行实时、准确分类，弥补了传统方法的不足。而由于图像中可能会存在与识别任务无关的冗余信息，因此如何关注图像中的感兴趣部分，获取关键信息，抑制其他无用信息，实现网络对目标任务的精准识别成为目前急需解决的问题。

技术实现要素：

本发明的目的是解决现有胃癌微卫星状态分类方法存在的流程繁琐、消耗时间长和分类准确性差的技术问题，提供一种基于注意力机制的胃癌细粒度分类方法。

为解决上述技术问题，本发明采用的技术方案是：

基于注意力机制的胃癌细粒度分类方法，其具体步骤为：

步骤一：对获取的不同微卫星状态的胃癌病理图像进行预处理；将预处理后的胃癌病理图像数据按照8:1:1的比例分为训练集、验证集和测试集；

步骤二：构建深度神经网络，并嵌入注意力机制模块，组成基于注意力机制的轻量级卷积神经网络模型，所述注意力机制模块为包含通道注意力模块和空间注意力模块或仅包含通道注意力模块或仅包含空间注意力模块中的任意一种；

步骤三：设置模型超参数，使用训练集对所述基于注意力机制的轻量级卷积神经网络模型进行训练及建模，并实时采用验证集对建模结果进行评价，在训练和验证的过程中，通过adam优化器对损失函数(交叉熵函数)进行优化，从而控制参数调整的方向，建立优化的基于注意力机制的胃癌细粒度分类模型；

步骤四：将胃癌病理图像测试集通过优化的基于注意力机制的轻量级卷积神经网络模型进行分类。

进一步地，所述不同微卫星状态的胃癌病理图像进行预处理，包括：将所述不同微卫星状态的胃癌病理图像的尺寸统一调整为n×n，并对统一尺寸的不同微卫星状态的胃癌病理图像进行归一化处理；n为图像在宽度维和高度维的像素数。

进一步地，所述深度神经网络为自主构建的轻量级卷积神经网络，所述卷积神经网络包括一个输入层、五个卷积层、五个池化层、一个全连接层和一个输出层；其中，所述卷积神经网络的输入层用于输入所述不同微卫星状态的胃癌病理图像，所述卷积神经网络的卷积层和池化层交替连接组成所述卷积-池化模块，用于对所述输入层的不同微卫星状态的胃癌病理图像进行特征提取，所述卷积神经网络的全连接层用于对五个连续卷积-池化模块提取的不同微卫星状态的胃癌病理图像特征进行学习和分类，所述卷积神经网络的输出层用于输出不同微卫星状态的胃癌病理图像的分类结果。

进一步地，所述卷积神经网络的卷积层之后填加批量归一化层，对卷积之后的特征图进行批量归一化处理，加快网络收敛。

进一步地，所述超参数设置包括学习率(γ)、批量尺寸(batchsize)、训练次数(epoch)。

进一步地，所述注意力机制模块包含通道注意力模块和空间注意力模块两部分时，所述通道注意力模块与空间注意力模块以串行的方式连接，先经过通道注意力模块再经过空间注意力模块。

进一步地，所述通道注意力模块是对特征图f的通道权重分配fc，具体为：

(i)所述通道注意力模块的输入是每一次经过所述卷积-池化模块后得到的特征图f；

(ii)对所述特征图f在空间维度上分别进行全局平均池化和全局最大池化，逐通道聚合特征映射的空间信息，生成两个不同的空间上下文描述符，平均池化描述符和最大池化描述符

(iii)所述平均池化描述符和最大池化描述符经过共享多层感知机网络获得平均池化和最大池化的通道注意力映射图；

(iv)采用sigmoid函数对所述平均池化和最大池化的通道注意力映射图进行激活；

(v)采用元素求和的方式合并对所述激活后的平均池化和最大池化的通道注意力映射图，得到最终的通道注意力映射图mc(f)，具体公式为式中：σ为sigmoid函数，w1和w0分别为共享多层感知机网络输入层到中间层、中间层到输出层的权重；

(vi)将通道注意力映射图mc(f)和特征图f逐元素相乘，实现对所述特征图f的通道权重分配fc，具体公式为

进一步地，所述空间注意力模块是对特征图fc的空间位置权重分配fs，具体为:

(i)所述空间注意力模块的输入为通道注意力模块的输出特征图fc；

(ii)对所述通道注意力映射图在通道维度上应用全局平均池化和全局最大池化运算聚合通道信息，生成两个二维描述符，平均池化描述符和最大池化描述符

(iii)对所述平均池化描述符和最大池化描述符进行连接，生成一个有效的特征描述符

(iv)应用一个卷积层对所述特征描述符进行卷积生成空间注意力映射图ms(f)，具体公式为式中：f^3×3为卷积核为3×3的卷积计算，[.；.]表示连接操作；

(v)将ms(f)和特征图fc逐元素相乘，实现对所述特征图fc的空间位置权重分配fs，具体公式为

进一步地，所述特征图f与空间注意力模块的输出结果fs进行跳跃连接，将所述特征图与所述空间注意力模块的输出逐元素相加，得到注意力特征图f″，具体公式为f″＝f+fs。

与现有技术相比，本发明的有益效果是：

1、本发明采用人工智能的方法自动分类胃癌微卫星状态，网络模型通过对不同微卫星状态的胃癌病理图像进行建模和自动特征提取，有效避免了传统方法中繁琐流程带来的资源和时间消耗，为不同微卫星状态的胃癌病理图像的实时处理和准确分类提供了有效途径；

2、发明结合注意力机制模块，使得模型从通道和空间两个维度对特征图重新标定通道和空间区域的权重，根据重要性以获得更具有辩识力的特征，进而有效提高网络模型对胃癌微卫星状态分类的准确率；

3、本发明采用基于人工智能的算法，极大的提高了胃癌微卫星状态分类的准确性和实效性。

附图说明

图1是本发明基于注意力机制的卷积神经网络模型对胃癌细粒度分类的整体框架示意图；

图2是本发明基于注意力机制的卷积神经网络模型对胃癌细粒度分类的测试结果示意图；

图3是本发明基于注意力机制的卷积神经网络模型对胃癌细粒度分类的受试者工作特征曲线示意图；

图4为本发明基于通道注意力机制的卷积神经网络模型对胃癌细粒度分类的整体框架示意图；

图5为本发明基于通道注意力机制的卷积神经网络模型对胃癌细粒度分类的测试结果示意图；

图6为本发明基于通道注意力机制的卷积神经网络模型对胃癌细粒度分类的受试者工作特征曲线示意图；

图7为本发明基于空间注意力机制的卷积神经网络模型对胃癌细粒度分类的整体框架示意图；

图8为本发明基于空间注意力机制的卷积神经网络模型对胃癌细粒度分类的测试结果示意图；

图9为本发明基于空间注意力机制的卷积神经网络模型对胃癌细粒度分类的受试者工作特征曲线示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

实施例1

本实施例中的基于注意力机制的胃癌细粒度分类方法，其具体步骤为：

步骤一，采集高倍镜下的微卫星不稳定型和微卫星稳定型两种不同微卫星状态的胃癌病理图像，对获取的两种不同微卫星状态的胃癌病理图像进行预处理，即图像尺寸统一设置为n×n，n为图像在宽度维和高度维的像素数，n＝224，并在输入网络前进行归一化处理；将预处理后的胃癌病理图像数据按照8:1:1的比例分为训练集、验证集和测试集；本实施例将10万张不同微卫星状态的胃癌病理图像数据集按8:1:1的比例划分为训练集、验证集和测试集，则训练集、验证集和测试集的数量分别为80k、10k和10k。

步骤二，构建深度神经网络，并嵌入注意力机制模块，组成基于注意力机制的神经网络模型，所述注意力机制模块包含通道注意力模块和空间注意力模块两部分，如图1所示。所述卷积神经网络由一个输入层、五个卷积层、五个池化层、一个全连接层和一个输出层组成；其中卷积层与池化层交替连接，组成卷积-池化模块。卷积神经网络的输入层按批量尺寸输入两种不同微卫星状态的胃癌病理图像。卷积层与输入层连接，用于对输入的胃癌病理图像进行特征提取，通过h个大小为k×k的卷积核对输入图像数据进行卷积操作，得到h张特征图，每张特征图的大小为u×u，u为所得特征图在宽度维和高度维的像素数，u＝(n-k+2p)/s+1，其中，p为对图像数据像素填充的数量，s为卷积核在卷积过程中每次移动的步长，随着卷积层数的增加，提取的特征逐渐由基于颜色、纹理信息的低级特征到基于图像语义信息的高级抽象特征进化。在卷积操作后，卷积层的输出经过非线性激活函数(therectifiedlinearunit,relu)，提高网络模型的非线性建模和泛化能力，增强对图像数据的识别度。同时，每一个卷积层之后都添加批量归一化层以加速收敛，提高泛化能力。池化层与卷积层连接，将提取到的特征信息进行降维处理，通常采用最大池化策略，在一个局部区域中选择最大值作为该区域的显著特征，通过提取主要特征、简化网络复杂度来避免过拟合，当采用大小为m×m的核以步长为n对图像池化后，得到大小为v×v的特征图，v为池化后特征图在宽度维和高度维的像素数，v＝(u-m)/n+1。在经过五个卷积-池化模块之后，全连接层与最后一层池化层连接，对前期的五个卷积-池化模块对不同微卫星状态的胃癌病理图像特征提取结果进行综合归类。输出层与全连接层连接，实现不同微卫星状态的胃癌病理图像的分类，同时为了更方便的表达目标图像的概率值，在输出层中添加sigmoid函数，使神经元输出的值压缩在0-1之间。

本实施例在卷积神经网络的卷积-池化模块之后嵌入注意力机制模块，所述注意力机制模块包括通道注意力模块和空间注意力模块两部分时，所述通道注意力模块与空间注意力模块以串行的方式连接，先经过通道注意力模块再经过空间注意力模块；使网络模型从空间和通道两个维度对中间特征图进行注意，获得有效的显著特征；具体为：

所述通道注意力模块是对特征图f的通道权重分配fc，具体为：

(i)所述通道注意力模块的输入是每一次经过所述卷积-池化模块后得到的特征图f(h×w×c)，其中，h、w和c分别是对应特征图的高，宽和通道数；

(ii)对所述特征图f在空间维度上分别进行全局平均池化和全局最大池化，逐通道聚合特征映射的空间信息，生成两个不同的空间上下文描述符，平均池化描述符和最大池化描述符

(iii)所述平均池化描述符和最大池化描述符经过共享多层感知机网络获得平均池化和最大池化的通道注意力映射图；

(iv)采用sigmoid函数对所述平均池化和最大池化的通道注意力映射图进行激活；

(v)采用元素求和的方式合并对所述激活后的平均池化和最大池化的通道注意力映射图，得到最终的通道注意力映射图mc(f)，具体公式为式中：σ为sigmoid函数，w1和w0为共享多层感知机网络输入层到中间层、中间层到输出层的权重；

(vi)将通道注意力映射图mc(f)和特征图f逐元素相乘，实现对所述特征图f的通道权重分配fc，具体公式为

所述空间注意力模块是对特征图fc的空间位置权重分配fs，具体为:

(i)所述空间注意力模块的输入为通道注意力模块的输出特征图fc；

(ii)对所述通道注意力映射图在通道维度上应用全局平均池化和全局最大池化运算聚合通道信息，生成两个二维描述符，平均池化描述符和最大池化描述符

(iii)对所述平均池化描述符和最大池化描述符进行连接，生成一个有效的特征描述符

(iv)应用一个卷积层对所述特征描述符进行卷积生成空间注意力映射图ms(f)，具体公式为式中：f^3×3为卷积核为3×3的卷积计算，[.；.]表示连接操作；

(v)将ms(f)和特征图fc逐元素相乘，实现对所述特征图fc的空间位置权重分配fs，具体公式为

所述特征图f与空间注意力模块的输出结果fs进行跳跃连接，将所述特征图与所述空间注意力模块的输出逐元素相加，得到注意力特征图f″，具体公式为f″＝f+fs。

步骤三，设置模型超参数，超参数包括初始学习率(γ)、批量尺寸(batchsize)和迭代次数(epoch)，其取值分别为：γ＝0.001，batchsize＝64,epoch＝50，使用胃癌病理图像训练集对所述基于注意力机制的轻量级卷积神经网络模型进行训练和建模，并实时采用验证集对建模结果进行评价，在训练和验证的过程中，通过adam优化器对损失函数(交叉熵函数)进行优化，从而控制参数调整的方向，得到胃癌微卫星状态的分类模型；即输入为带有标签的胃癌病理图像，输出为网络模型的分类结果；

步骤四，将待分类的测试集通过优化的基于注意力机制的卷积神经网络模型进行分类。

图2为基于注意力机制的胃癌细粒度分类模型对胃癌病理图像测试集的分类结果，以混淆矩阵的方式呈现，横轴为分类结果，纵轴为真实标签，msi被分类正确的有4643，mss被分类正确的有4585，整体准确率达到92.28％，实现了对胃癌的高精度分类。

为了能够更直观的了解基于注意力机制的胃癌细粒度分类模型的性能，采用受试者工作特征(receiveroperatingcharacteristic，roc)曲线图进行可视化，如图3所示，它是根据一系列不同的分界值或决定阈，以真阳性率为纵坐标，假阳性率为横坐标绘制的曲线。它直观地反映出模型在选取不同阈值时其敏感性和特异性的趋势走向，auc(areaundercurve)为受试者工作特征曲线下的面积，范围为0-1，面积越接近于1证明模型越好，可以从图3中看出，auc达到0.98，证明了所述方法在分类胃癌亚型方面的优异性能。

实施例2

与实施例1不同的是，本实施例在卷积神经网络的卷积-池化模块之后只添加通道注意力模块，使网络模型只从通道维度对中间特征图进行权重分配，获得不同通道的重要性。如图4所示，通道注意力模块的输入为每一次经过卷积-池化模块后得到的特征图f(h×w×c)，输出为对特征图f的通道权重分配fc,最后特征图f与通道注意力模块的输出结果fc进行跳跃连接，将特征图与通道注意力模块的输出逐元素相加，得到注意力特征图f″，具体公式为f″＝f+fc。

图5为基于通道注意力机制的胃癌细粒度分类模型对胃癌病理图像测试集的分类结果，从图中可以看到msi被分类正确的有4665，mss被分类正确的有4496，整体准确率达到91.61％。

图6更直观地描述了基于通道注意力机制的胃癌细粒度分类模型的整体性能，可以从图中看出，auc为0.9735，证明了所述方法的有效性。

实施例3

与实施例1不同的是，本实施例在卷积神经网络的卷积-池化模块之后只添加空间注意力模块，使网络模型只从空间维度对中间特征图进行注意，获得空间不同位置的重要性。如图7所示，空间注意力模块的输入为每一次经过卷积-池化模块后得到的特征图f(h×w×c)，输出为对特征图f的空间权重分配fs,最后特征图f与通道注意模块的输出结果fs进行跳跃连接，将特征图与空间模块的输出逐元素相加，得到注意力特征图f″，具体公式为f″＝f+fs。

图8为基于空间注意力机制的胃癌细粒度分类模型对胃癌病理图像测试集的分类结果，从图中可以看到msi被分类正确的有4490，mss被分类正确的有4679，整体准确率达到91.69％。

图9更直观地描述了基于空间注意力机制的胃癌细粒度分类模型的整体性能，可以从图中看出，auc为0.9734，证明了所述方法的有效性。