一种基于迁移学习的乳腺组织分类识别方法

本发明属于医学图像数据处理领域，具体涉及一种基于迁移学习的乳腺组织分类识别方法。

背景技术：

全球乳腺癌发病率自20世纪70年代末起一直呈上升趋势，中国虽然不是乳腺癌高发国家，但情况仍不容乐观，近十几年来乳腺癌逐渐占据女性癌症发病率的首位。根据癌组织在周围组织的转移情况，乳腺癌主要被分为癌细胞未扩散的原位癌与癌细胞已经发生扩散的浸润癌。因此如果能准确地对乳腺组织进行分类识别，便能够对是否患有乳腺癌及乳腺癌的种类判断起到很大的帮助作用，进而尽可能地做到及早诊断与正确治疗，可以在一定程度上降低乳腺癌的死亡率。

当前医疗检测中对乳腺组织的分类识别工作高度依赖影像科医生的经验判断，这种方法虽然准确率很高但效率低下。对于这种问题，近年来有很多学者提出了不同的计算机检测方法，如分别基于蚁群算法、退火算法、svm算法等的机器检测方法，这些方法在一定程度上提高了乳腺组织检测的效率。但是，这些方法适用范围狭窄、可迁移性差，并且对于数据量具有强大的依赖性，在数据集较小的运用环境中不能发挥优势。而在医学图像处理过程中，获取大样本的数据库需要极高的时间和经济成本。此外，这些方法不能指出其所得出结果的依据，仅仅能够给出预测值，说服力不强，所以这些机器检测方法也存在很大的局限性。

技术实现要素：

本发明的目的是提出一种基于迁移学习的乳腺组织分类检测方法，通过使用在imagenet数据集上预训练的迁移学习模型作为特征提取器，后接全连接层，最终通过softmax层输出预测结果。在训练中，对图像进行增强和增广以扩充数据集、抑制过拟合，从而增强鲁棒性；在预测中，对输入图像进行图像增强，得出结果后应用grad-cam算法生成热力图，对可疑区域(病灶)可视化，从而增强结果的可信度。

本发明采用的技术方案是：一种基于迁移学习的乳腺组织分类识别方法，包括如下步骤：

步骤1：获取乳腺组织切片原始病理图像，将乳腺组织切片原始病理图像通过双线性插值法处理得到乳腺组织切片格式调整后病理图像；将乳腺组织切片格式调整后病理图像通过图像增强处理、图像增广处理得到乳腺组织切片预处理后病理图像，人工标注乳腺组织切片预处理后病理图像的病理类别；

步骤2：构建迁移学习乳腺组织分类模型，将乳腺组织切片预处理后病理图像作为样本依次输入至所述迁移学习乳腺组织分类模型，通过迁移学习乳腺组织分类模型预测得到乳腺组织切片预处理后病理图像的预测病理类别，结合乳腺组织切片预处理后病理图像的病理类别构建损失函数模型，进一步优化训练得到优化后迁移学习乳腺组织分类模型；

步骤3：对疑似患者病理图像进行组织切片后得到疑似患者乳腺组织切片病理图像，通过步骤1所述过图像增强处理、图像增广处理得到预处理之后疑似患者乳腺组织切片病理图像，进一步通过优化后迁移学习乳腺组织分类模型预测得到疑似患者的病理类别，将疑似患者的病理类别结合基于grad-cam算法构建热图生成器得到证据区域对应的热力图。

步骤1所述乳腺组织切片格式调整后病理图像为一定标准格式的乳腺组织切片格式调整后病理图像，其标签使用独热编码；

步骤1所述图像增强运用4通道的拉普拉斯算子；

步骤1所述图像增广处理的限制条件如下：

-π/2≤θ≤π/2

sin|θ|+cos|θ|≤r≤2

其中，θ表示图像增广处理中旋转变换时原像素点相对于原点的旋转角度，r表示图像增广处理中缩放变换的缩放尺寸；

步骤1所述乳腺组织切片预处理后病理图像为：xk，k∈[1,n]；

其中，xk表示第k张乳腺组织切片预处理后病理图像，n为乳腺组织切片预处理后病理图像的数量；

步骤1所述乳腺组织切片预处理后病理图像的病理类别为：pk，k∈[1,n]；

其中，pk表示第k张乳腺组织切片预处理后病理图像的病理类别，n为乳腺组织切片预处理后病理图像的数量；

作为优选，步骤2所述迁移学习乳腺组织分类模型由特征提取模块、全连接层模块、分类模块依次级联构成；

所述特征提取模块由多个卷积池化模块依次级联构成；

所述卷积池化模块由卷积层、池化层构成；

所述特征提取模块用于提取第k张乳腺组织切片预处理后病理图像的特征；

所述全连接层模块用于将k张乳腺组织切片预处理后病理图像的特征进行非线性拟合处理得到第k张乳腺组织切片预处理后病理图像的固定位数的特征值，全连接层模块的激活函数采用leakyrelu函数；

所述分类模块接收所述全连接层模块的第k张乳腺组织切片预处理后病理图像的特征值，使用线形回归得出第k张乳腺组织切片预处理后病理图像的固定位数的预测初值ak，再将第k张乳腺组织切片预处理后病理图像的预测初值ak带入到softmax函数，得到第k张乳腺组织切片预处理后病理图像的固定位数的预测初值的预测病理类别yk，softmax函数如下表示：

其中，ak表示第k张乳腺组织切片预处理后病理图像的预测初值，n为预测种类的总数，yk^t为第k张乳腺组织切片预处理后病理图像的预测向量中第t个元素。

步骤2所述损失函数模型为：

其中，xk表示第k张乳腺组织切片预处理后病理图像，n为乳腺组织切片预处理后病理图像的总数量，pk表示第k张乳腺组织切片预处理后病理图像的病理类别，qk为第k张乳腺组织切片预处理后病理图像的预测病理类别，c为指示原位组织的常张量[100]；

步骤2所述进一步优化训练，得到优化后迁移学习乳腺组织分类模型的方法为：

以损失函数模型最小化为优化目标，通过adam优化算法得到优化后迁移学习乳腺组织分类模型。

作为优选，步骤3所述将疑似患者的病理类别结合基于grad-cam算法构建热图生成器得到证据区域对应的热力图，具体为：

计算步骤2所述优化后迁移学习乳腺组织分类模型的softmax函数输出的预测向量对所述优化后迁移学习乳腺组织分类模型的最后一层卷积池化层的所有像素的偏导数，即

其中，ak为第k张乳腺组织切片预处理之后的病理图像对应的选定的卷积池化层。同时在对于上述过程得到的梯度信息，在每个channel维度上对特征图每个像素的偏导数取一次全局平均，得到神经元重要性权重，如下：

其中，z为选定的卷积池化层的总元素数量；

用上述神经元重要性权重对步骤2所述优化后迁移学习乳腺组织分类模型中最后一层卷积池化层特征进行加权，得到初始热力图，经过叠加操作得到最终的热力图。

本发明与现有技术相比的优点在于：

本发明使用预训练模型进行迁移学习，有效地降低了构建和训练神经网络的难度。此外，使用预训练模型的卷积-池化层作为迁移学习的特征提取器，有利于捕捉图像的形态特征，从而提高最终的准确率。

本发明对输入图像进行预处理，预处理过程中使用图像增强和图像增广。图像增强中，使用4通道的拉普拉斯算子进行处理，突出了图像特征；图像增广中，对放缩系数r和中心旋转系数θ设置一系列限制，使得增广后的图像没有黑区且不容易失去特征区域。

本发明对神经网络训练过程中的损失函数进行重构，有效地提高了模型的准确率。

本发明对输出结果进行了可视化分析，给出了预测结果的依据，使预测结果更具有说服性，填补了乳腺组织分类预测领域证据区域可视化的空白。

附图说明

图1：为本发明的一种基于迁移学习的乳腺组织分类识别系统流程图。

图2：为本发明的基于迁移学习的神经网络结构示意图。

图3：为本发明的图像增强效果图。

图4：为本发明的图像增广与传统的图像增广效果对比图。

图5：为在vgg19模型基础上，采用本发明的损失函数和采用传统的损失函数，在训练过程中的效果对比图。

图6：为本发明的输出热力图。

具体实施方式

下面结合附图1-6与具体实例对本发明作进一步详细描述：

如图1所示为本发明的实现流程如下：一种基于迁移学习的乳腺组织分类识别方法，包括如下步骤：

步骤1：获取乳腺组织切片原始病理图像，将乳腺组织切片原始病理图像通过双线性插值法处理得到乳腺组织切片格式调整后病理图像；将乳腺组织切片格式调整后病理图像通过图像增强处理、图像增广处理得到乳腺组织切片预处理后病理图像，人工标注乳腺组织切片预处理后病理图像的病理类别；

步骤1所述乳腺组织切片格式调整后病理图像为一定标准格式的乳腺组织切片格式调整后病理图像，其标签使用独热编码；

步骤1所述图像增强运用4通道的拉普拉斯算子，其增强效果如图2所示；

步骤1所述图像增广处理的增广结果如图3所示，其限制条件如下：

-π/2≤θ≤π/2

sin|θ|+cos|θ|≤r≤2

其中，θ＝1表示图像增广处理中旋转变换时原像素点相对于原点的旋转角度为1(rad)，r＝1表示图像增广处理中缩放变换的缩放尺寸为1；

步骤1所述乳腺组织切片预处理后病理图像为：xk，k∈[1,n]；

其中，xk表示第k张乳腺组织切片预处理后病理图像，n为乳腺组织切片预处理后病理图像的数量；

步骤1所述乳腺组织切片预处理后病理图像的病理类别为：pk，k∈[1,n]；

其中，pk表示第k张乳腺组织切片预处理后病理图像的病理类别，n为乳腺组织切片预处理后病理图像的数量；

步骤2：构建迁移学习乳腺组织分类模型，将乳腺组织切片预处理后病理图像作为样本依次输入至所述迁移学习乳腺组织分类模型，通过迁移学习乳腺组织分类模型预测得到乳腺组织切片预处理后病理图像的预测病理类别，结合乳腺组织切片预处理后病理图像的病理类别构建损失函数模型，进一步优化训练得到优化后迁移学习乳腺组织分类模型；

如图4所示，步骤2所述迁移学习乳腺组织分类模型由特征提取模块、全连接层模块、分类模块依次级联构成；

所述特征提取模块由多个卷积池化模块依次级联构成；

所述卷积池化模块由卷积层、池化层构成；

所述特征提取模块用于提取第k张乳腺组织切片预处理后病理图像的特征；

所述全连接层模块用于将k张乳腺组织切片预处理后病理图像的特征进行非线性拟合处理得到第k张乳腺组织切片预处理后病理图像的固定位数的特征值，全连接层模块的激活函数采用leakyrelu函数；

所述分类模块接收所述全连接层模块的第k张乳腺组织切片预处理后病理图像的特征值，使用线形回归得出第k张乳腺组织切片预处理后病理图像的固定位数的预测初值ak，再将第k张乳腺组织切片预处理后病理图像的预测初值ak带入到softmax函数，得到第k张乳腺组织切片预处理后病理图像的固定位数的预测初值的预测病理类别yk，softmax函数如下表示：

其中，ak表示第k张乳腺组织切片预处理后病理图像的预测初值，n为预测种类的总数，yk^t为第k张乳腺组织切片预处理后病理图像的预测向量中第t个元素。

步骤2所述损失函数模型为：

其中，xk表示第k张乳腺组织切片预处理后病理图像，n为乳腺组织切片预处理后病理图像的总数量，pk表示第k张乳腺组织切片预处理后病理图像的病理类别，qk为第k张乳腺组织切片预处理后病理图像的预测病理类别，c为指示原位组织的常张量[100]；

步骤2所述进一步优化训练，得到优化后迁移学习乳腺组织分类模型的方法为：

以损失函数模型最小化为优化目标，通过adam优化算法得到优化后迁移学习乳腺组织分类模型。该模型在训练过程中的表现如图5(左)中的svgg所示，原始的迁移学习模型在训练过程中的表现如图5(左)中的vgg+所示，图5(右)展示了两个模型分别在训练集和测试集上的方差水平。

步骤3：对疑似患者病理图像进行组织切片后得到疑似患者乳腺组织切片病理图像，通过步骤1所述过图像增强处理、图像增广处理得到预处理之后疑似患者乳腺组织切片病理图像，进一步通过优化后迁移学习乳腺组织分类模型预测得到疑似患者的病理类别，将疑似患者的病理类别结合基于grad-cam算法构建热图生成器得到证据区域对应的热力图，其效果如图6所示。

步骤3所述将疑似患者的病理类别结合基于grad-cam算法构建热图生成器得到证据区域对应的热力图，具体为：

计算步骤2所述优化后迁移学习乳腺组织分类模型的softmax函数输出的预测向量对所述优化后迁移学习乳腺组织分类模型的最后一层卷积池化层的所有像素的偏导数，即

其中，ak为第k张乳腺组织切片预处理之后的病理图像对应的选定的卷积池化层。同时在对于上述过程得到的梯度信息，在每个channel维度上对特征图每个像素的偏导数取一次全局平均，得到神经元重要性权重，如下：

其中，z为选定的卷积池化层的总元素数量；

用上述神经元重要性权重对步骤2所述优化后迁移学习乳腺组织分类模型中最后一层卷积池化层特征进行加权，得到初始热力图，经过叠加操作得到最终的热力图。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。