一种基于融合注意力机制的乳腺MRI自动辅助诊断新方法与流程

本发明属于医学图像处理技术领域，特别涉及一种基于融合注意力机制的乳腺mri自动辅助诊断新方法。

背景技术：

乳腺癌的发病率和死亡率在所有女性疾病中分别位于第一位和第二位，严重危害着女性的生命健康。早起发现肿瘤可以有效地增加存活率。核磁共振成像(mri)以其高分辨率、无辐射、多方向、多功能的成像技术而著称，对乳腺肿瘤非常敏感而成为乳腺癌筛查和诊断时的一种常用方法。在实际诊断中，阅读mr影像不仅费时，而且需要放射科医师具有丰富的专业经验。此外，在乳腺癌诊断的图像分析中，病变的多样性和复杂性可能与致密组织的相互作用有关，放射科医师很难准确地检测和分析肿块。针对这些情况，乳腺mri辅助诊断应运而生。

经典的乳腺mri辅助诊断的主要流程包括对乳腺mri图像进行预处理，之后采用半自动或人工的方法获得感兴趣区域，并提取肿瘤的特征，例如形态、纹理、灰度等，然后将提取的特征组成特征向量，并进行分类得到良恶性的诊断结果。

虽然经典的乳腺mri辅助诊断方法取得了一定的成绩，但是往往需要人工干预或先验知识，容易受到医生主观因素的影响。此外，手工特征有一定的局限性，无法表述尚未被医生发现的特征。近些年来，卷积神经网络，尤其是全卷积神经网络已经被证明对于医学图像分割任务是非常有效的，并且不需要设计手工特征和先验知识。但是，全卷积神经网络对类别不平衡问题非常敏感，这会造成模型偏移而造成分割准确率下降。目前，针对乳腺肿瘤分割并可以解决上述问题而设计的深度学习方法很少。

中国专利文献cn：201710429118.x，公开了一种基于三维全卷积神经网络的核磁共振图像的分割方法，包括如下步骤：输入核磁共振图像数据；设置三维全卷积神经网络结构，将脑部皮下组织的分割任务看作基于核磁共振图像的多特征多分类问题，提取脑部皮下组织的特征；优化三维全卷积神经网络的参数；将训练模型应用于核磁共振图像测试集进行测试，产生测试集的分类结果；将测试集的分类结果画图产生三维脑皮下组织图。中国专利文献cn：201910002630.5一种基于多注意力机制的端到端的肿瘤分割方法，该方法主要包括主干网络部分和注意力模块部分，其中主干网络包括三个子网络，由改进的3dresidualu-net构成；注意力模块由特殊设计的双分支结构构成。适用于包括脑瘤在内的具有类似层次结构的肿瘤病变组织的3d影像的分割，包括mri，ct图像等，能够提供更加精确的分割结果。但是关于可以实现端到端的乳腺癌症辅助诊断，无需人工干预，且可以极大提高诊断效率和准确率，基于融合注意力机制的乳腺mri自动辅助诊断新方法目前还未见报道。

技术实现要素：

本发明的第一个目的是，针对现有技术中的不足，提供一种基于融合注意力机制的乳腺mri自动辅助诊断新方法。

为实现上述第一个目的，本发明采取的技术方案是：

一种基于融合注意力机制的乳腺mri自动辅助诊断新方法，包括以下步骤：

s1：人工选取乳腺分割数据集，训练denseunet模型，将乳腺的tse序列输入到训练好的denseunet模型进行乳腺分割，并去除胸腔中干扰肿瘤检测的器官。

s2：将s1得到的分割结果映射到dce序列，得到分割后的乳腺组织，将其输入到具有注意力机制的denseunet(adunet)模型进行肿瘤分割。针对类不平衡和困难样本问题，在训练过程中采用focalloss以防止模型偏移。

s3：将s2得到的结果输入到一个轻量级的神经网络中，进行良恶性判断，得到辅助诊断结果。

进一步地，步骤s1具体包括：

s11：采用无监督的经典方法对tse序列进行乳腺分割，并人工选取分割结果较好的作为数据集。

s12：根据s11得到的数据集对denseunet训练。将所有病人的tse序列输入到训练好的denseunet中，得到每一个tse序列对应的二值乳腺掩膜。

进一步地，步骤s2具体包括：

s21：将每一个病人的tse序列与dce序列配准，根据配准结果，将s12得到的二值乳腺掩膜也做相应变换，并与dce序列进行点乘，以去除dce序列中的干扰组织和器官。

s22：将s21得到的dce序列进行统一剪裁，以去除部分黑色背景，降低负样本的个数。

s23：将dce序列的肿瘤标注图做s22中同样的剪裁操作，与s22得到的剪裁后的dce图像构成肿瘤分割的数据集。

s24：利用预训练densenet-161中前160层的权重对所提出的adunet的编码器进行初始化。

s25：根据s23得到的数据集进行三通道的图像表示，并将其输入到adunet进行训练。对所有病人的dce序列进行新的图像表示，输入到训练好的adunet中，得到肿瘤的分割结果；

具体的，通过s1可以将大部分的区域去除，然而仍然有很多背景，这将导致严重的类不平衡问题。为此，我们将图像进行剪裁以减少负样本。为了更好地表示肿瘤特征，我们结合解剖结构和代谢特征，将每一个病人的所有dce序列进行新表示，生成三通道的新序列，具体表示为：

channel1＝i^peak

channel2＝i^peak-i^base

channel3＝i^early-i^delayed

其中，channel1，channel2，channel3表示新图像序列的三个通道，i^base表示对比前的t1图像序列，i^peak表示在增强峰值的图像序列，i^early为对比注入造影剂后的初始响应图像序列，i^delayed是延迟增强图像序列，通常是最后获得的增强序列。

优选的，adunet中具有注意力块的上采样块(ub)操作包括：

s241：将低级特征图x通过步长为2的3×3卷积，得到分辨率和高级特征图g一样的新特征图x1。

s242：将高级特征图g通过1×1卷积降低其通道数，使其和s241得到的新特征图x1的通道上一致，并与其相加，得到新特征图f1。

s243：将s242得到的新特征图f1依次通过1个步长为1的1×1卷积和sigmoid激活函数，得到一个单通道的空间方向的注意力权重图m1。通过双线性插值的方法将注意力系数图m1的长和宽扩大两倍的到注意力权重图m2。

s244：将高级特征图g依次通过全局平均池化，1×1卷积和sigmoid激活函数，得到一个1×1×c的通道方向想的注意力系数向量v1，c表示低级特征图x的通道数。

s245：将低级特征图x与注意力权重图m2和注意力系数向量v1相乘，得到注意力块的输出，即低级特征图x2。高级特征图拥有丰富的语义信息，通过注意力块，低级特征图中的前景区域在高级特征图的指导下可以得到增强。

s246：通过上采样将高级特征图的长和宽扩大两倍，得到新的高级特征图g2。

s247：将高级特征图g2和x2进行拼接，组成新的特征图f2。并将其依次通过3×3卷积，组标准化(gn)，relu激活函数和dropout层，进而融合上下文信息。gn是批标准化(bn)的替代品，并且不要求很大的批量(batchsize)。dropout层可以降低过拟合情况。

优选的，adunet网络模型包括编码器和解码器组成，其中编码器组成依次包括步长为2的7×7卷积、步长为2的3×3卷积、密集连接块(6)(db(6))、过渡层1(tl1)、db(12)、tl2、db(36)、tl3和db(24)；解码器组成依次包括ub1、ub2、ub3、ub4和上采样层(ul)。其中，tl1～3的区别在于1×1卷积的个数，分别为192、384和1056；ub1～4的区别在于注意力块中最后3×3卷积的个数，分别为768、384、96和96。ub块的输入x是tl块中1×1卷积的输出，目的是降低特征图的通道数，减少计算量。

优选的，乳腺mri图像中存在正负样本分布不平衡问题，这会导致在训练过程中模型偏移。此外，一些困难样本，例如类似肿瘤外观的组织，即使是经验丰富的放射科医生也很难鉴别。本发明采用focalloss解决这两个问题，具体公式为：

其中，α为常数，为应对类别不平衡的因子；γ为大于0的参数，为控制难易样本对损失函数的贡献差距的参数；p(x)∈[0,1]表示adunet输出的预测概率图中x位置的值，即是正样本的概率，y(x)∈{0,1}表示对应的真实标签；对于正样本，p(x)越大说明是简单样本，对应的(1-p(x))^γ越小，从而降低其对损失函数的贡献；p(x)越小说明是困难样本，对应的(1-p(x))^γ越大，加大其在损失函数的占比。

进一步地，步骤s3具体包括：

s31：用矩形框将s2步骤得到的肿瘤区域进行提取，采用双线性插值将其调整到32×32大小，采用s1中提出的图像表示方法，生成32×32×3大小的肿瘤图像块。

s32：设计一个轻量的分类网络，该网络由3个5×5卷积层、relu激活层、池化层、全连接层和softmax层组成。

s33：在训练阶段，将每个病人的所有肿瘤图像块输入到s32得到的分类网络中，可以使模型学习到不同大小肿瘤的特征。采用交叉熵损失函数进行训练。

s34：在测试阶段，根据肿瘤大小选取前50％的肿瘤图像块输入到s33训练好的分类网络中，病人的良恶性由预测得到的结果投票决定。

本发明的目的在于提供一种基于融合注意力机制的乳腺mri自动辅助诊断新方法。该方法可以实现端到端的乳腺癌症辅助诊断，无需人工干预，且可以极大提高诊断效率和准确率。

本发明是第一个多阶段乳腺mri自动辅助诊断方法，包括乳腺分割、肿瘤分割和肿瘤分类；本发明提出了一种具有注意力机制的全卷积神经网络结构——adunet，采用focalloss以解决类不平衡和模型偏移问题，显著提升了肿瘤分割结果；本发明提出了一个轻量的二分类网络，对肿瘤的良恶性进行准确识别。

本发明优点在于：

1、本发明提出的多阶段乳腺mri自动辅助诊断方法，采用由粗到细的方式，准确获得肿瘤的位置和良恶性。

2、本发明的第一阶段，采用denseunet可以准确地将胸腔中无关组织和器官去除，提取乳腺组织。

3、本发明的第二阶段，提出的adunet将通道注意力机制和空间注意力机制结合，可以增强肿瘤在特征图中的相应，进而改善肿瘤的定位；使用预训练模型可以显著提高训练速度；采用focalloss解决了正负样本不平衡和模型偏移问题，提高了分割效果。

4、本发明的第三阶段，提出的肿瘤良恶性识别模型，不仅参数少，而且可以准确地判断良恶性。

附图说明

图1为本发明一种基于融合注意力机制的乳腺mri自动辅助诊断新方法流程示意图；

图2为本发明上采样块(ub)的示意图；

图3为本发明adunet的示意图；

图4为本发明图3中db的示意图；

图5为本发明图4中卷积块的示意图；

图6为本发明图3中tl的示意图；

图7为本发明图3中ul的示意图；

图8为本发明良恶性分类网络的示意图。

具体实施方式

下面结合实施例对本发明提供的具体实施方式作详细说明。

实施例1

请参看图1，图1为本发明一种基于融合注意力机制的乳腺mri自动辅助诊断新方法流程示意图。一种基于融合注意力机制的乳腺mri自动辅助诊断新方法，包括以下步骤：

s1：人工选取乳腺分割数据集，训练denseunet模型，将乳腺的tse序列输入到训练好的denseunet模型进行乳腺分割，并去除胸腔中干扰肿瘤检测的器官。

s2：将s1得到的分割结果映射到dce序列，得到分割后的乳腺组织，将其输入到具有注意力机制的denseunet(adunet)模型进行肿瘤分割,针对类不平衡和困难样本问题，在训练过程中采用focalloss以防止模型偏移。

s3：将s2得到的结果输入到一个轻量级的神经网络中，进行良恶性判断，得到辅助诊断结果。

进一步地，步骤s1具体包括：

s11：采用无监督的经典方法对tse序列进行乳腺分割，并人工选取分割结果较好的作为数据集。

s12：根据s11得到的数据集对denseunet训练。将所有病人的tse序列输入到训练好的denseunet中，得到每一个tse序列对应的二值乳腺掩膜。

进一步地，步骤s2具体包括：

s21：将每一个病人的tse序列与dce序列配准，根据配准结果，将s12得到的二值乳腺掩膜也做相应变换，并与dce序列进行点乘，以去除dce序列中的干扰组织和器官。

s22：将s21得到的dce序列进行统一剪裁，以去除部分黑色背景，降低负样本的个数。

s23：将dce序列的肿瘤标注图做s22中同样的剪裁操作，与s22得到的剪裁后的dce图像构成肿瘤分割的数据集。

s24：利用预训练densenet-161中前160层的权重对所提出的adunet的编码器进行初始化。

s25：根据s23得到的数据集进行三通道的图像表示，并将其输入到adunet进行训练。对所有病人的dce序列进行新的图像表示，输入到训练好的adunet中，得到肿瘤的分割结果

具体的，通过s1可以将大部分的区域去除，然而仍然有很多背景，这将导致严重的类不平衡问题。为此，我们将图像进行剪裁以减少负样本。为了更好地表示肿瘤特征，我们结合解剖结构和代谢特征，将每一个病人的所有dce序列进行新表示，生成三通道的新序列，具体表示为：

channel1＝i^peak

channel2＝i^peak-i^base

channel3＝i^early-i^delayed

其中，channel1，channel2，channel3表示新图像序列的三个通道，i^base表示对比前的t1图像序列，i^peak表示在增强峰值的图像序列，i^early为对比注入造影剂后的初始响应图像序列，i^delayed是延迟增强图像序列，通常是最后获得的增强序列。

优选的，如图2所示，adunet中具有注意力块的上采样块(ub)操作包括：

s241：将低级特征图x通过步长为2的3×3卷积，得到分辨率和高级特征图g一样的新特征图x1。

s242：将高级特征图g通过1×1卷积降低其通道数，使其和s241得到的新特征图x1的通道上一致，并与其相加，得到新特征图f1。

s243：将s242得到的新特征图f1依次通过1个步长为1的1×1卷积和sigmoid激活函数，得到一个单通道的空间方向的注意力权重图m1。通过双线性插值的方法将注意力系数图m1的长和宽扩大两倍的到注意力权重图m2。

s244：将高级特征图g依次通过全局平均池化，1×1卷积和sigmoid激活函数，得到一个1×1×c的通道方向想的注意力系数向量v1，c表示低级特征图x的通道数。

s245：将低级特征图x与注意力权重图m2和注意力系数向量v1相乘，得到注意力块的输出，即低级特征图x2。高级特征图拥有丰富的语义信息，通过注意力块，低级特征图中的前景区域在高级特征图的指导下可以得到增强。

s246：通过上采样将高级特征图的长和宽扩大两倍，得到新的高级特征图g2。

s247：将高级特征图g2和x2进行拼接，组成新的特征图f2。并将其依次通过3×3卷积，组标准化(gn)，relu激活函数和dropout层，进而融合上下文信息。gn是批标准化(bn)的替代品，并且不要求很大的批量(batchsize)。dropout层可以降低过拟合情况。

优选的，如图3所示，adunet网络模型包括编码器和解码器组成，其中编码器组成依次包括步长为2的7×7卷积、步长为2的3×3卷积、密集连接块(6)(db(6))、过渡层1(tl1)、db(12)、tl2、db(36)、tl3和db(24)；解码器组成依次包括ub1、ub2、ub3、ub4和上采样层(ul)。请参看图4，图5，图6会和图7(图4为本发明图3中db的示意图；图5为本发明图4中卷积块的示意图；图6为本发明图3中tl的示意图；图7为本发明图3中ul的示意图)。其中，tl1～3的区别在于1×1卷积的个数，分别为192、384和1056；ub1～4的区别在于注意力块中最后3×3卷积的个数，分别为768、384、96和96。ub块的输入x是tl块中1×1卷积的输出，目的是降低特征图的通道数，减少计算量。

优选的，乳腺mri图像中存在正负样本分布不平衡问题，这会导致在训练过程中模型偏移。此外，一些困难样本，例如类似肿瘤外观的组织，即使是经验丰富的放射科医生也很难鉴别。本发明采用focalloss解决这两个问题，具体公式为：

其中，α为常数，为应对类别不平衡的因子；γ为大于0的参数，为控制难易样本对损失函数的贡献差距的参数；p(x)∈[0,1]表示adunet输出的预测概率图中x位置的值，即是正样本的概率，y(x)∈{0,1}表示对应的真实标签；对于正样本，p(x)越大说明是简单样本，对应的(1-p(x))^γ越小，从而降低其对损失函数的贡献；p(x)越小说明是困难样本，对应的(1-p(x))^γ越大，加大其在损失函数的占比。

进一步地，步骤s3具体包括：

s31：用矩形框将s2步骤得到的肿瘤区域进行提取，采用双线性插值将其调整到32×32大小，采用s1中提出的图像表示方法，生成32×32×3大小的肿瘤图像块。

s32：设计一个轻量的分类网络，如图8所示，该网络由3个5×5卷积层、relu激活层、池化层、全连接层和softmax层组成。

s33：在训练阶段，将每个病人的所有肿瘤图像块输入到s32得到的分类网络中，可以使模型学习到不同大小肿瘤的特征。采用交叉熵损失函数进行训练。

s34：在测试阶段，根据肿瘤大小选取前50％的肿瘤图像块输入到s33训练好的分类网络中，病人的良恶性由预测得到的结果投票决定。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明方法的前提下，还可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。