基于协同深度学习的医学图像分类方法与流程

本发明涉及一种医学图像分类方法，特别是涉及一种基于协同深度学习的医学图像分类方法。

背景技术：

医学图像分类方法在医学检索、文献综述和医学研究等方面具有极其重要的作用，一直是计算机辅助诊断和医学研究领域中的热点研究问题。在过去无数研究者的数十年研究中，形成了一套完整的传统模式下的图像分类技术。其核心要素是手工特征提取和分类器的设计两个部分。尽管有一套非常完善的理论体系，传统的图像分类方法很难实现最优特征和最优分类器的无缝联合，这导致其性能受到很大的影响。近年来，深度学习技术的出现给图像分类问题带来了新的突破，端到端模式下特征自学习具有非常强大的图像表征能力。深度学习中的卷积神经网络模型被成功地应用到了医学图像分类问题中，并且相对于传统图像分类技术取得了巨大的突破。但是不同于拥有海量数据的自然场景图像分类问题，医学图像往往需要专业的领域专家进行标注，其代价非常昂贵，因此，医学领域中有标注的数据非常稀少。此外，医学图像分类问题中显著的类内差异性和类间相似性给分类问题带来了极大的困扰，我们需要根据成像的模态而非成像的组织部位进行类别判断，影像中解剖结构和位置的差异很容易使得模型在分类过程中被严重混淆。

文献“kumara,kimj,lyndond,etal.anensembleoffine-tunedconvolutionalneuralnetworksformedicalimageclassification[j].ieeejournalofbiomedical&healthinformatics,2016,pp(99):1-1.”公开了一种基于多个预训练网络集成的医学图像分类方法。该方法利用大规模图像目标分类数据库imagenet训练多个卷积神经网络，根据小样本的医学影像数据对这些预训练网络进行微调，使得这些网络的参数适应医学图像分类任务。大量的实验已经证明了深度神经网络具有很强的特征迁移能力，这从一定程度上解决了医学影像分类中的小样本学习问题。然后将这些预训练网络的决策概率集成平均得到最后的分类概率，这种集成的思想能够进一步提升模型的分类性能。文献所述方法通过将多个预训练模型输出的预测概率平均得到最后的分类结果，这些预训练网络在训练和预测的时候彼此相互独立，对于那些很难分对的样本来说，简单的集成方法并不能改善最后的分类结果。因此，该文献中的方法并不能很好地解决医学影像分类中类内差异和类间相似的问题。

技术实现要素：

为了克服现有医学图像分类方法分类准确率差的不足，本发明提供一种基于协同深度学习的医学图像分类方法。该方法采用两个深度卷积神经网络之间协同学习方法，通过成对学习模式进行训练，每次模型接受图像对儿作为输入，一对儿图像分别被输送到对应的深度卷积神经网络中。由于医学图像分类问题中的数据量都比较小，故采用微调预训练模型的方法对这些深度卷积网络进行初始化和训练。为了增强网络特征学习能力，设计一个协同学习系统巧妙地使两个深度网络进行互助学习。该协同系统用来对图像对儿的异同属性进行监督，即是否属于用一个类别，并且实时地将两个深度卷积网络产生的协同误差进行反向传播、修正网络的权值，从而进一步加强网络学习特征表征的能力，能够更加有效地对易混淆样本作出准确地判别。

本发明解决其技术问题所采用的技术方案是：一种基于协同深度学习的医学图像分类方法，其特点是包括以下步骤：

步骤一、采用预训练残差深度卷积神经网络的参数分别初始化两个卷积神经网络的参数θ^a,θ^b，以及协同学习系统的参数θ^vs,初始化学习率η(t)和超参数λ。

步骤二、采用图像对儿的训练模式对模型进行训练。每输入一个图像对儿，两个深度预训练神经网络分别在倒数第二个全连接层生成深度特征，记为xa^t、xb^t,将这两个深度特征进行联结得到一个组合特征，记为(xa^t，xb^t),模型的三个监督信号分别为ya,yb和yvs。

步骤三、分别计算两个预训练卷积网络和协同学习系统产生的损失值l^a(θ^a),l^b(θ^b)和l^vs(θ^vs)。

其中，m是训练集样本的个数，k是分类类别个数，k’值取2。

步骤四、计算梯度值：

这里λ是协同信号的权重因子，最后更新模型参数：

θ^a＝θ^a-η(t)·δ^a，θ^b＝θ^b-η(t)·δ^b。

本发明的有益效果是：该方法采用两个深度卷积神经网络之间协同学习方法，通过成对学习模式进行训练，每次模型接受图像对儿作为输入，一对儿图像分别被输送到对应的深度卷积神经网络中。由于医学图像分类问题中的数据量都比较小，故采用微调预训练模型的方法对这些深度卷积网络进行初始化和训练。为了增强网络特征学习能力，设计一个协同学习系统巧妙地使两个深度网络进行互助学习。该协同系统用来对图像对儿的异同属性进行监督，即是否属于用一个类别，并且实时地将两个深度卷积网络产生的协同误差进行反向传播、修正网络的权值，从而进一步加强网络学习特征表征的能力，能够更加有效地对易混淆样本作出准确地判别。

由于采用了协同学习机制，深度卷积神经网络的特征学习能力得到了加强，克服了医学图像中存在的显著类内差异和类间相似问题而导致的基于深度学习的分类算法效果不佳的难点，预训练网络之间相互学习、共同提高的策略使得模型对易分错的样本具有很好的辨别能力，大大提高了医学图像分类的准确率。

下面结合具体实施方式对本发明作详细说明。

具体实施方式

本发明基于协同深度学习的医学图像分类方法具体步骤如下：

1.图像对儿输入。

采用图像对儿的输入方式，随机从训练图像中抽样两个图像，分别输入到两个相应的卷积神经网络中进行训练。每一对儿图像有三个监督信号，分别是两个图像各自的类别标签以及这一对儿图像是否属于同一类别，这三个信号共同监督模型的训练。

2.双重深度卷积神经网络训练。

双重深度卷积神经网络模块是本算法中基本的组成部分，它包括两个完整的、具有独立功能的卷积神经网络a和b。原则上来说，任意结构的卷积神经网络都可以被基于深度学习模型的深层特征提取应用到该算法模块中。但是，考虑到医学图像数据的有限性和残差网络对图像的强大特征表征能力，便采用微调预训练网络的技术将残差网络作为两个卷积网络的初始模型。该预训练网络包括50个学习层，并且这些学习层的参数都是从imagenet大规模图像数据集上学习得到的。卷积神经网络a和b的可学习参数分别标记为θ^a、θ^b，这里θ^a和θ^b不共享参数。为了使预训练的残差网络参数能够适应拟合医学图像分类的数据，对于一个k分类问题来说，需要去除原始残差网络中的所有全连接层，用1024个神经元的全连接层和k个神经元的全连接层来代替。这些新添加层的参数通过均匀分布u(-0.05,0.05)来初始化，并且每一个深度网络的损失函数设置为交叉熵函数

这里m是整个训练集的样本容量，用随机梯度下降算法来优化卷积神经网络的参数θ。两个深度卷积神经网络分别从输入的图像对儿中接受输入序列，各自有相应的真实标签来监督两个网络各自分类学习的过程。

3.协同学习系统。

为了使两个神经网络之间互相学习、共同提高特征表达能力，独特设计了一个协同学习系统。该系统用于监督前面输入的图像对儿是否来自于同一个类别，其监督信号是图像对儿的异同属性。随机从训练数据中选择图像对儿，其属性值表示为

这里xa和xb是从卷积神经神经网络a、b中学习得到的图像对儿的深度特征表征，也就是协同系统的输入。ya和yb是输入图像对儿的真实标签。‘vs＝1’表示一个正图像对儿，‘vs＝0’表示一个负图像对儿。利用梯度下降算法学习网络参数，从一批图像数据中进行图像块儿选择。为了避免正负类数据的不平衡问题，人为地控制正负样本的比例维持在45％-55％。xa和xb在结合层被连接到一起，然后连接一个带有2个神经元的全连接层。为了实现第三个监督信号的正常工作，需要额外添加一个softmax层，使用以下的交叉熵损失函数去监测协同信号。

这里θ^vs是协同学习系统的网络参数。

4.训练过程。

①初始化两个卷积神经网络和系统学习系统的网络参数θ^a,θ^b,θ^vs，设置学习率η(t)，以及超参数λ。

②输入一个图像对儿，两个深度卷积神经网络产生两个输入图像的深度特征表征xa和xb。

③联结来自两个卷积神经网络的图像对儿的特征表征，记为(xa^t，xb^t)，三个监督信号分别为ya、yb和yvs。

④根据公式(1)和(3)计算由两个深度卷积神经网络和协同学习系统产生的损失值l^a(θ^a),l^b(θ^b)和l^vs(θ^vs)。

⑤计算梯度值：

这里λ是协同信号的权重因子。

⑥更新模型参数：θ^a＝θ^a-η(t)·δ^a，θ^b＝θ^b-η(t)·δ^b。

5.测试过程。

在测试时，对于一个测试图像x，深度卷积神经网络a和b分别给出了预测结果和即最后一个全连接层的激活值。这时，额外的协同学习系统在最后的分类预测中被丢弃，最后输入图像x的预测标签即为