一种基于卷积神经网络的组织病理学图像分类方法与流程

本发明涉及图像分类领域，尤其是涉及了一种基于卷积神经网络的组织病理学图像分类方法。

背景技术：

组织病理图像的特征分析与分类识别，是进行组织病理图像分析研究的重点，是实现计算机辅助疾病诊断的关键。结合专家经验的计算机辅助诊断系统提供定量的特征描述和机器识别结果，可为医生的临床诊断和复查等提供定量、客观的诊断依据，提高诊断的准确率和效率，降低人力劳动成本，还可以减少因主观诊断经验差异和疲劳诊断等原因造成的误诊现象。组织病理图像的分类，可以应用在恶性组织和细胞识别与癌症检测、研究药物对组织的影响、分析组织和细胞的结构以建立模型以及实现计算机辅助诊断。然而，现有技术的主要障碍是缺乏大量已标记的组织病理学扫描数据集可以训练某种类型的多层神经网络。

本发明提出了一种基于卷积神经网络的组织病理学图像分类方法，先通过手动从扫描中选择具有不同纹理图案的不同身体部位的图像，进行补丁选择和精度计算，然后选择特定的单层完全连接层，进行网络训练，再令预训练的卷积神经网络作为特征提取器，使用深度特征来训练用于分类的线性支持向量机，最后将微调的卷积神经网络作为分类器，使用得到的网络对测试补丁进行分类。本发明数据集来设计和训练深层网络，细节更丰富，数据更完善，使得检索和分类准确性显著提高，有效实现组织病理学图像的分类。

技术实现要素：

针对缺乏大量已标记的组织病理学扫描数据集进行训练的问题，本发明的目的在于提供一种基于卷积神经网络的组织病理学图像分类方法，先通过手动从扫描中选择具有不同纹理图案的不同身体部位的图像，进行补丁选择和精度计算，然后选择特定的单层完全连接层，进行网络训练，再令预训练的卷积神经网络作为特征提取器，使用深度特征来训练用于分类的线性支持向量机，最后将微调的卷积神经网络作为分类器，使用得到的网络对测试补丁进行分类。

为解决上述问题，本发明提供一种基于卷积神经网络的组织病理学图像分类方法，其主要内容包括：

(一)创建数据集；

(二)微调协议；

(三)预训练的卷积神经网络(cnn)作为特征提取器；

(四)微调的cnn作为分类器。

其中，所述的基于卷积神经网络的组织病理学图像分类方法，与从零开始训练的cnn相比，特征提取器和转移网络都能够提高kimiapath24数据集的分类精确度，使得检索和分类准确性显著提高。

其中，所述的创建数据集，用于训练和测试cnn的数据是由24个全扫描图像(wsi)组成的kimiapath24，手动从超过350次的扫描中选择，描绘具有不同纹理图案的不同身体部位；对于每个图像，可以通过检查头文件中的描述标记来确定分辨率；例如，如果分辨率是0.5μm，那么放大倍数是20倍，如果分辨率是0.25μm，那么放大倍数是40倍；创建数据集包括补丁选择和精度计算。

进一步地，所述的kimiapath24数据集，数据集提供27055个训练补丁和1325个(手动选择的)大小为1000×1000(0.5mm×0.5mm)的测试补丁；扫描中测试补丁的位置已经被去除；kimiapath24数据集忽略了颜色，所有的补丁都保存为灰度图像，kimiapath24数据集是公开可用的。

进一步地，所述的补丁选择，要创建kimiapath24数据集，每个扫描都被分成1000×1000个像素的补丁，补丁之间没有重叠；背景像素(即，非常明亮的像素)被设置为白色，并且忽略使用每个补丁的均匀性；选择标准的同质性是忽略每个小于99％均匀性的补丁；高阈值决定了没有显著纹理图案的补丁将被忽略；从一组补丁中，每次扫描有100个随机采样的补丁被选择用于微调过程；随后将每个补丁的值归一化为[0,1]；这些补丁最终被缩小到了224×224，供入cnn架构；

按照上述步骤，首先根据均匀性阈值从每次扫描获得27055个补丁；然后，从每个类中随机抽取100个补丁，产生少于2400个补丁的训练集。

进一步地，所述的精度计算，有ntot＝1325个测试补丁属于24个集合其中s＝0,1,2,…,23；查看一组实验检索到的图像r，可以将补丁扫描精度ηp定义为：

全扫描精度ηw可以定义为：

总精度定义为η总＝ηp×ηw。

其中，所述的微调协议，微调深层网络时，最佳设置会因应用程序而异；然而，使用预先训练的网络并将其应用到其他领域已经产生了更好的表现模型；决定只有vgg16内的最后的卷积块(块5)和inception-v3(图像分类模型)内的最后两个初始块将被重新训练；选择一个大小为256的单层完全连接层(接着是大小为24的输出层)，以便在微调时替换默认的vgg16完全连接层；网络训练总共200个时期(之后精度不再变化)，批量大小为32。

其中，所述的预训练的cnn作为特征提取器，预先训练的网络首先被用作特征提取器，没有任何微调；网络的最后一个完全连接的层在分类之前被提取用于特征向量；由于预训练的网络在其他领域(非常不同的图像类别)训练，因此不能用作分类器，所以使用深度特征来训练用于分类的线性支持向量机(svm)。

进一步地，所述的支持向量机(svm)，svm分类器的原理为：设线性可分样本集和为(xi,yi)，i＝1,…,n，x∈r^d，y∈{+1,-1}是类别标号，则：

w·x+b＝0(3)

上式是svm分类器的分类面方程；

在分类时，为了使分类面对所有样本正确分类且分类间隔达到最大，需要满足下面两个条件：

φ(x)＝min(w^tw)(4)

yi(w·xi+b)-1≥0(5)

通过解此约束优化问题就可以得到最优分类面，而过两类样本中离分类面最近的点且平行于最优分类面的超平面上的训练样本就是使得公式中等号成立的那些特殊样本，因为它们支撑了最优分类面，因此被称为支撑向量；将融合输出作为特征向量输入到svm分类器之中，获得最终分类结果。

其中，所述的微调的cnn作为分类器，提议的网络被微调到kimiapath24数据集；使用keras(深度学习库)，卷积层首先从顶部完全连接的层分离；训练补丁通过模型提供，以创建一组瓶颈特征，初步预训练新的完全连接层；这些特征用于初始化由256个密集的relu层和一个softmax分类层组成的完全连接的mlp(移动定位协议)的权重；接下来，将完全连接的模型附加到卷积层上，并且对每个卷积块进行训练，除了最后一个块之外，用于调整分类权重；类似地，对于inception-v3网络，完全连接的层被替换为一个1024个密集的relu层和一个softmax分类层；将完全连接的层进行瓶颈特征预训练，然后连接到卷积层，对最后两个起始块进行训练；使用得到的网络对测试补丁进行分类。

附图说明

图1是本发明一种基于卷积神经网络的组织病理学图像分类方法的系统框架图。

图2是本发明一种基于卷积神经网络的组织病理学图像分类方法的从训练集中选择的补丁。

图3是本发明一种基于卷积神经网络的组织病理学图像分类方法的微调inception-v3网络的类激活映射。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于卷积神经网络的组织病理学图像分类方法的系统框架图。主要包括创建数据集，微调协议，预训练的卷积神经网络(cnn)作为特征提取器和微调的cnn作为分类器。

基于卷积神经网络的组织病理学图像分类方法与从零开始训练的cnn相比，特征提取器和转移网络都能够提高kimiapath24数据集的分类精确度，使得检索和分类准确性显著提高。

创建数据集，用于训练和测试cnn的数据是由24个全扫描图像(wsi)组成的kimiapath24，手动从超过350次的扫描中选择，描绘具有不同纹理图案的不同身体部位；对于每个图像，可以通过检查头文件中的描述标记来确定分辨率；例如，如果分辨率是0.5μm，那么放大倍数是20倍，如果分辨率是0.25μm，那么放大倍数是40倍；创建数据集包括补丁选择和精度计算。

kimiapath24数据集提供27055个训练补丁和1325个(手动选择的)大小为1000×1000(0.5mm×0.5mm)的测试补丁；扫描中测试补丁的位置已经被去除；kimiapath24数据集忽略了颜色，所有的补丁都保存为灰度图像，kimiapath24数据集是公开可用的。

精度计算，有ntot＝1325个测试补丁属于24个集合其中s＝0,1,2,…,23；查看一组实验检索到的图像r，可以将补丁扫描精度ηp定义为：

全扫描精度ηw可以定义为：

总精度定义为η总＝ηp×ηw。

微调协议，微调深层网络时，最佳设置会因应用程序而异；然而，使用预先训练的网络并将其应用到其他领域已经产生了更好的表现模型；决定只有vgg16内的最后的卷积块(块5)和inception-v3(图像分类模型)内的最后两个初始块将被重新训练；选择一个大小为256的单层完全连接层(接着是大小为24的输出层)，以便在微调时替换默认的vgg16完全连接层；网络训练总共200个时期(之后精度不再变化)，批量大小为32。

预训练的cnn作为特征提取器，预先训练的网络首先被用作特征提取器，没有任何微调；网络的最后一个完全连接的层在分类之前被提取用于特征向量；由于预训练的网络在其他领域(非常不同的图像类别)训练，因此不能用作分类器，所以使用深度特征来训练用于分类的线性支持向量机(svm)。

svm分类器的原理为：设线性可分样本集和为(xi,yi)，i＝1,…,n，x∈r^d，y∈{+1,-1}是类别标号，则：

w·x+b＝0(3)

上式是svm分类器的分类面方程；

在分类时，为了使分类面对所有样本正确分类且分类间隔达到最大，需要满足下面两个条件：

φ(x)＝min(w^tw)(4)

yi(w·xi+b)-1≥0(5)

通过解此约束优化问题就可以得到最优分类面，而过两类样本中离分类面最近的点且平行于最优分类面的超平面上的训练样本就是使得公式中等号成立的那些特殊样本，因为它们支撑了最优分类面，因此被称为支撑向量；将融合输出作为特征向量输入到svm分类器之中，获得最终分类结果。

图2是本发明一种基于卷积神经网络的组织病理学图像分类方法的从训练集中选择的补丁。要创建kimiapath24数据集，每个扫描都被分成1000×1000个像素的补丁，补丁之间没有重叠；背景像素(即，非常明亮的像素)被设置为白色，并且忽略使用每个补丁的均匀性；选择标准的同质性是忽略每个小于99％均匀性的补丁；高阈值决定了没有显著纹理图案的补丁将被忽略；从一组补丁中，每次扫描有100个随机采样的补丁被选择用于微调过程；随后将每个补丁的值归一化为[0,1]；这些补丁最终被缩小到了224×224，供入cnn架构；

按照上述步骤，首先根据均匀性阈值从每次扫描获得27055个补丁；然后，从每个类中随机抽取100个补丁，产生少于2400个补丁的训练集。

图3是本发明一种基于卷积神经网络的组织病理学图像分类方法的微调inception-v3网络的类激活映射。提议的网络被微调到kimiapath24数据集；使用keras(深度学习库)，卷积层首先从顶部完全连接的层分离；训练补丁通过模型提供，以创建一组瓶颈特征，初步预训练新的完全连接层；这些特征用于初始化由256个密集的relu层和一个softmax分类层组成的完全连接的mlp(移动定位协议)的权重；接下来，将完全连接的模型附加到卷积层上，并且对每个卷积块进行训练，除了最后一个块之外，用于调整分类权重；类似地，对于inception-v3网络，完全连接的层被替换为一个1024个密集的relu层和一个softmax分类层；将完全连接的层进行瓶颈特征预训练，然后连接到卷积层，对最后两个起始块进行训练；使用得到的网络对测试补丁进行分类。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。