基于深度迁移学习的医学图像分类模型的训练方法及装置

1.本发明涉及医学技术领域，尤其涉及一种基于深度迁移学习的医学图像分类模型的训练方法及装置。


背景技术：

2.前列腺癌是一种常见的癌症，也是导致癌症死亡的常见原因。目前的前列腺癌检测方法包括使用前列腺特异性抗原(psa)检测进行筛查，然后经直肠穿刺活检，但存在假阴性和分期不足的问题。近年来，多参数磁共振成像(mpmri)被发现是一种有价值的诊断工具，用于前列腺癌的检测、定位和分期。计算机辅助检测(cad)系统在辅助可以提供更多可重复的结果，同时消耗更少的时间。利用数据表征算法，可以从图像中提取大量定量特征，通过深度学习算法可以建立特征和诊断之间的关系。
3.传统的分类方法依赖于手工特征的选择，并要求对先验领域知识有清晰的认识。特征学习方法可以有效地检测不同模式的视觉特征，但由于医学图像缺乏标注数据，无法准确地训练高可用度的模型。由于前列腺医学图像数据量稀少、病理特征复杂和人工标注耗时费力，现有的pca(前列腺癌)分类的传统方法泛化性较差，且基于深度学习的pca分类网络可解释性弱。


技术实现要素：

4.本发明提供了一种基于深度迁移学习的医学图像分类模型的训练方法及装置，以解决现有的医学图像分类模型准确性低的问题。
5.第一方面，提供了一种基于深度迁移学习的医学图像分类模型的训练方法，包括：
6.获取已标注的医学图像并进行预处理，得到医学图像样本集；
7.利用医学图像样本集训练cnn网络模型得到第一分类模型；
8.获取在imagenet图像数据集上预先训练好的vgg
‑
16网络模型和resnet
‑
50网络模型；
9.基于迁移学习方法分别利用医学图像样本集再次训练vgg
‑
16网络模型和resnet
‑
50网络模型，分别得到第二分类模型和第三分类模型；
10.将第一分类模型、第二分类模型、第三分类模型的输出连接到投票机制模块的输入构成医学图像分类模型，其中，投票机制模块基于预设投票机制输出最终医学图像分类结果为医学图像分类模型的分类结果。
11.上述方案提供的医学图像分类模型的训练方法，借助imagenet图像数据集预先训练好vgg
‑
16网络模型和resnet
‑
50网络模型，然后基于迁移学习方法利用医学图像样本集再次训练vgg
‑
16网络模型和resnet
‑
50网络模型，进而得到第二分类模型和第三分类模型，解决了标注医学图像少导致训练出来的模型精度低、可用度低的问题，提高了医学图像分类的准确性。本方案采用了三个不同分类模型，具备不同的功能，并将三个分类模型的预测结果进行综合结合投票机制得到最终的分类结果，提高了医学图像分类模型的准确性，具
有更好的泛化性和鲁棒性。
12.进一步地，对已标注的医学图像的预处理过程包括：
13.对已标注的医学图像进行双立方插值处理，统一医学图像的分辨率；
14.对插值处理后的医学图像进行图像配准，将所有插值处理后的医学图像变换到同一坐标系下；
15.对图像配准后的医学图像进行归一化处理，提取医学图像中的病灶区域，并使用z
‑
score标准化方法将其标准化。
16.进一步地，所述归一化处理之后还包括：
17.对归一化处理之后的医学图像进行数据增强，扩大医学图像样本集。
18.进一步地，所述数据增强包括对医学图像进行水平翻转50％、向上翻转、向下翻转、高斯滤波、均值滤波和中值滤波中的一种或多种，然后加入噪声。
19.在已标注的医学图像数量有限的情况下，通过数据增强方式增加训练样本的多样性，可提高最后训练得到的模型的鲁棒性，避免过拟合。
20.进一步地，所述对已标注的医学图像进行双立方插值处理，包括：
21.采用基于bicubic基函数的双立方插值法对已标注的医学图像进行插值处理；其中，bicubic基函数的构造形式如下所示：
[0022][0023]
其中，a取
‑
0.5，x表示源图像中像素点的横坐标或纵坐标，w(x)表示源图像中对应像素点的横坐标或纵坐标的权重；则源图像中像素点p对应在目标图像上的像素点b的像素值b(x,y)可通过下式得到：
[0024][0025]
其中，a
m,n
表示a(m,n)的像素值，w(m)表示a(m,n)横坐标上的权重，w(n)表示a(m,n)纵坐标上的权重，a(m,n)(m,n＝0,1,2,3)表示源图像中距离像素点p最近的16个像素点；
[0026]
所述对图像配准后的医学图像进行归一化处理，包括：
[0027]
根据已标注的医学图像去除非病灶区域，提取病灶区域；
[0028]
使用z
‑
score标准化方法将每个病灶区域的所有像素值转换为均值为0、标准差为1的公共尺度；其中，标准化过程中处理公式如下所示：
[0029][0030][0031]
其中，μ是病灶区域图像的均值，x表示病灶区域图像矩阵，σ表示标准差，n表示病灶区域图像的像素数量。
[0032]
对医学图像进行归一化操作，目的是将像素值变换到某个区间实现数据中心化，数据中心化符合数据分布规律，能增加模型的泛化能力。
[0033]
进一步地，所述第一分类模型通过如下过程训练得到：
[0034]
基于cnn
‑
6构建网络模型，其前两个卷积层包含大小为3
×
3的32个核，后两个卷积层包含大小为3
×
3的64个核；第2和第4个卷积层与2
×
2维的最大池化层交错，差值为0.25；倒数第二层是512个神经元的全连接层和0.5个缺失层，最后一层是30个神经元的全连接层；relu激活函数应用于所有四个卷积层和倒数第二层的全连接层，最后一层通过softmax函数输出预测概率，确定医学图像的分类类别；
[0035]
使用gloot统一来初始权重，然后利用医学图像样本集训练上述基于cnn
‑
6构建的网络模型，得到第一分类模型。
[0036]
进一步地，所述第二分类模型通过如下过程训练得到：
[0037]
获取imagenet图像数据集；
[0038]
对imagenet图像数据集中的imagenet图像进行预处理，对rgb三个通道分别减去imagenet图像数据集的均值，并进行正则化操作，得到imagenet图像训练集；
[0039]
利用imagenet图像训练集对基于vgg
‑
16网络结构的模型进行训练，得到预先训练好的vgg
‑
16网络模型；
[0040]
冻结预先训练好的vgg
‑
16网络模型的预设数量的早期层，用30个神经元替换vgg
‑
16网络模型最后一个全连接层，然后使用gloot统一重新初始化vgg
‑
16网络模型最后的三个全连接层的权重；最后利用医学图像样本集对上述改进后的vgg
‑
16网络模型进行训练，得到第二分类模型。
[0041]
进一步地，所述第三分类模型通过如下过程训练得到：
[0042]
获取imagenet图像数据集；
[0043]
对imagenet图像数据集中的imagenet图像进行预处理，对rgb三个通道分别减去imagenet图像数据集的均值，并进行正则化操作，得到imagenet图像训练集；
[0044]
利用imagenet图像训练集对基于resnet
‑
50网络结构的模型进行训练，得到预先训练好的resnet
‑
50网络模型；
[0045]
冻结预先训练好的resnet
‑
50网络模型的预设数量的早期层，用30个神经元替换resnet
‑
50网络模型最后一个全连接层，然后使用gloot统一重新初始化resnet
‑
50网络模型最后一个全连接层的权重；最后利用医学图像样本集对上述改进后的resnet
‑
50网络模型进行训练，得到第三分类模型。
[0046]
本发明在训练第二分类模型和第三分类模型的过程中，使用adma优化器和分类交叉熵损失函数在imagenet图像数据集上对32个小批量的改进后的网络模型进行训练。
[0047]
设z为n幅医学图像的医学图像训练数据集。从无到有训练最后一层(top layer(s))是一个迭代的过程，找到使cnn(vgg
‑
16、resnet
‑
50均属于cnn网络结构)的经验损失最小的权重w。分类交叉熵损失函数如下式所示：
[0048][0049]
其中，x
i
是z的第i幅图像，f(x
i
,w)是x
i
的类别y
i
的预测概率，y
′
i
是x
i
的真实类别，l(y
i
,y
′
i
)是用于y
i
预测的惩罚函数，其如下式所示：
[0050][0051]
其中，y
i
∈{1,...,c}，c为常数，其取值与类别总数相等，∈{1,...,c}，c为常数，其取值与类别总数相等，
[0052]
当使用当前权重应用到小批量时，根据损失函数l的梯度计算更新的权重，使用adma来计算个体的自适应学习率来控制权重更新的大小。
[0053]
进一步地，所述投票机制模块采用的投票机制通过如下公式表示：
[0054][0055]
其中，x表示输入的医学图像，y表示预测分类标号，表示第i个分类模型的预测概率值，σ(
·
)表示三个分类模型输入的预测概率的均值，三个分类模型输入的预测概率对应权重为w
k
,k∈[1,2,3]，argmax(
·
)表示均值输出最大。
[0056]
第二方面，提供了一种基于深度迁移学习的医学图像分类模型的训练装置，包括：
[0057]
图像获取模块，用于获取已标注的医学图像并进行预处理，得到医学图像样本集；
[0058]
第一模型生成模块，用于利用医学图像样本集训练cnn网络模型得到第一分类模型；
[0059]
第二模型生成模块，用于获取在imagenet图像数据集上预先训练好的vgg
‑
16网络模型和resnet
‑
50网络模型；并基于迁移学习方法分别利用医学图像样本集再次训练vgg
‑
16网络模型和resnet
‑
50网络模型，分别得到第二分类模型和第三分类模型；
[0060]
医学图像分类模型生成模块，用于将第一分类模型、第二分类模型、第三分类模型的输出连接到投票机制模块的输入构成医学图像分类模型，其中，投票机制模块基于预设投票机制输出最终医学图像分类结果为医学图像分类模型的分类结果。
[0061]
第三方面，提供了一种前列腺医学图像分类模型的训练方法，其训练方法采用如上所述的一种基于深度迁移学习的医学图像分类模型的训练方法，其中医学图像为前列腺医学图像。
[0062]
有益效果
[0063]
本发明提出了一种基于深度迁移学习的医学图像分类模型的训练方法及装置，借助imagenet图像数据集预先训练好vgg
‑
16网络模型和resnet
‑
50网络模型，然后基于迁移学习方法利用医学图像样本集再次训练vgg
‑
16网络模型和resnet
‑
50网络模型，进而得到第二分类模型和第三分类模型，解决了标注医学图像少导致训练出来的模型精度低、可用度低的问题，提高了医学图像分类的准确性。本方案采用了三个不同分类模型，具备不同的功能，并将三个分类模型的预测结果进行综合结合投票机制得到最终的分类结果，提高了医学图像分类模型的准确性，具有更好的泛化性和鲁棒性。
附图说明
[0064]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图。
[0065]
图1是本发明实施例提供的一种基于深度迁移学习的医学图像分类模型的训练方法的流程图；
[0066]
图2是本发明实施例提供的基于深度迁移学习的医学图像分类模型的分类架构图；
[0067]
图3是本发明实施例提供的图像配准过程图；
[0068]
图4是本发明实施例提供的一种对医学图像进行数据增强的示例图。
具体实施方式
[0069]
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
[0070]
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或顺序。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
[0071]
实施例1
[0072]
如图1、图2所示，本实施例提供了一种基于深度迁移学习的医学图像分类模型的训练方法，包括：
[0073]
s1：获取已标注的医学图像并进行预处理，得到医学图像样本集；
[0074]
s2：利用医学图像样本集训练cnn网络模型得到第一分类模型；
[0075]
s3：获取在imagenet图像数据集上预先训练好的vgg
‑
16网络模型和resnet
‑
50网络模型；
[0076]
s4：基于迁移学习方法分别利用医学图像样本集再次训练vgg
‑
16网络模型和resnet
‑
50网络模型，分别得到第二分类模型和第三分类模型；
[0077]
s5：将第一分类模型、第二分类模型、第三分类模型的输出连接到投票机制模块的输入构成医学图像分类模型，其中，投票机制模块基于预设投票机制输出最终医学图像分类结果为医学图像分类模型的分类结果。
[0078]
上述方案提供的医学图像分类模型的训练方法，借助imagenet图像数据集预先训练好vgg
‑
16网络模型和resnet
‑
50网络模型，然后基于迁移学习方法利用医学图像样本集再次训练vgg
‑
16网络模型和resnet
‑
50网络模型，进而得到第二分类模型和第三分类模型，解决了标注医学图像少导致训练出来的模型精度低、可用度低的问题，提高了医学图像分类的准确性。本方案采用了三个不同分类模型，具备不同的功能，并将三个分类模型的预测结果进行综合结合投票机制得到最终的分类结果，提高了医学图像分类模型的准确性，具有更好的泛化性和鲁棒性。
[0079]
本实施例中，对已标注的医学图像的预处理过程包括：
[0080]
s11：对已标注的医学图像进行双立方插值处理，统一医学图像的分辨率。考虑到医学图像是在不同的条件下采集的(例如，不同的扫描仪和采集配置)，为了保证可靠的数据属性，需要进行图像插值步骤，可用图像的特征是在3d空间中具有相同的分辨率(即各向
同性体素)。双立方插值的目的就是通过找到影响因子来获得目标图像对应点的像素值，达到图像缩放的目的，本实施例中使用基于bicubic基函数的双立方插值法，以获得1.0mm3的分辨率。具体包括：
[0081]
采用基于bicubic基函数的双立方插值法对已标注的医学图像进行插值处理；其中，bicubic基函数的构造形式如下所示：
[0082][0083]
其中，a取
‑
0.5，x表示源图像中像素点的横坐标或纵坐标，w(x)表示源图像中对应像素点的横坐标或纵坐标的权重；则源图像中像素点p对应在目标图像上的像素点b的像素值b(x,y)可通过下式得到：
[0084][0085]
其中，a
m,n
表示a(m,n)的像素值，w(m)表示a(m,n)横坐标上的权重，w(n)表示a(m,n)纵坐标上的权重，a(m,n)(m,n＝0,1,2,3)表示源图像中距离像素点p最近的16个像素点。
[0086]
s12：对插值处理后的医学图像进行图像配准，将所有插值处理后的医学图像变换到同一坐标系下。医疗图像采集过程中，不同时刻或视角以及采集协议不一的情况下，需要将不同坐标系的图像变换到同一坐标系。图像配准则是通过寻找合适的空间变换，对图像进行刚性/非刚性变换，空间定位一致实现图像融合。以不同参数的核磁共振图为例，图像配准选择t2w为固定图像，pdw、adc和ktrans为运动图像，最后对运动图像进行变换使得四种图像在空间上互相配准，以上操作都是使用dipy包完成的，dipy包为现有技术，其配准过程可参见图3，在此不再做赘述。
[0087]
s13：对图像配准后的医学图像进行归一化处理，提取医学图像中的病灶区域，并使用z
‑
score标准化方法将其标准化。具体包括：
[0088]
根据已标注的医学图像去除非病灶区域，提取病灶区域；以前列腺医学图像为例，则根据已标注的前列腺医学图像去除不包含前列腺区域的切片，减少负样本所占比例，对病变信息提取病灶区域；
[0089]
使用z
‑
score标准化方法将每个病灶区域的所有像素值转换为均值为0、标准差为1的公共尺度；其中，标准化过程中处理公式如下所示：
[0090][0091][0092]
其中，μ是病灶区域图像的均值，x表示病灶区域图像矩阵，σ表示标准差，n表示病灶区域图像的像素数量。对医学图像进行归一化操作，目的是将像素值变换到某个区间实现数据中心化，数据中心化符合数据分布规律，能增加模型的泛化能力。
[0093]
s14：对归一化处理之后的医学图像进行数据增强，扩大医学图像样本集。其中，所述数据增强包括对医学图像进行水平翻转50％、向上翻转、向下翻转、高斯滤波、均值滤波
和中值滤波中的一种或多种，然后加入噪声。如图4所示，即为一种对医学图像进行数据增强的示例图。
[0094]
在已标注的医学图像数量有限的情况下，通过数据增强方式增加训练样本的多样性，可提高最后训练得到的模型的鲁棒性，避免过拟合。
[0095]
本实施例中，所述第一分类模型通过如下过程训练得到：
[0096]
基于cnn
‑
6构建网络模型，其前两个卷积层包含大小为3
×
3的32个核，后两个卷积层包含大小为3
×
3的64个核；第2和第4个卷积层与2
×
2维的最大池化层交错，差值为0.25；倒数第二层是512个神经元的全连接层和0.5个缺失层，最后一层是30个神经元的全连接层；relu激活函数应用于所有四个卷积层和倒数第二层的全连接层，最后一层通过softmax函数输出预测概率，确定医学图像的分类类别；
[0097]
使用gloot统一来初始权重，然后利用医学图像样本集训练上述基于cnn
‑
6构建的网络模型，得到第一分类模型。
[0098]
本实施例中，所述第二分类模型通过如下过程训练得到：
[0099]
获取imagenet图像数据集；
[0100]
对imagenet图像数据集中的imagenet图像进行预处理，对rgb三个通道分别减去imagenet图像数据集的均值，并进行正则化操作，得到imagenet图像训练集；
[0101]
利用imagenet图像训练集对基于vgg
‑
16网络结构的模型进行训练，得到预先训练好的vgg
‑
16网络模型；
[0102]
冻结预先训练好的vgg
‑
16网络模型的预设数量的早期层，用30个神经元替换vgg
‑
16网络模型最后一个全连接层，本实施例中，优选冻结除最后三层全连接层的其它层，然后使用gloot统一重新初始化vgg
‑
16网络模型最后的三个全连接层的权重；最后利用医学图像样本集对上述改进后的vgg
‑
16网络模型进行训练，得到第二分类模型。
[0103]
本实施例中，所述第三分类模型通过如下过程训练得到：
[0104]
获取imagenet图像数据集；
[0105]
对imagenet图像数据集中的imagenet图像进行预处理，对rgb三个通道分别减去imagenet图像数据集的均值，并进行正则化操作，得到imagenet图像训练集；
[0106]
利用imagenet图像训练集对基于resnet
‑
50网络结构的模型进行训练，得到预先训练好的resnet
‑
50网络模型；
[0107]
冻结预先训练好的resnet
‑
50网络模型的预设数量的早期层，本实施例中，优选冻结除最后一层全连接层的其它层，用30个神经元替换resnet
‑
50网络模型最后一个全连接层，然后使用gloot统一重新初始化resnet
‑
50网络模型最后一个全连接层的权重；最后利用医学图像样本集对上述改进后的resnet
‑
50网络模型进行训练，得到第三分类模型。
[0108]
本实施例中，在训练第二分类模型和第三分类模型的过程中，使用adma优化器和分类交叉熵损失函数在imagenet图像数据集上对32个小批量的改进后的网络模型进行训练。
[0109]
设z为n幅医学图像的医学图像训练数据集。从无到有训练最后一层(top layer(s))是一个迭代的过程，找到使cnn(vgg
‑
16、resnet
‑
50均属于cnn网络结构)的经验损失最小的权重w。分类交叉熵损失函数如下式所示：
[0110][0111]
其中，x
i
是z的第i幅图像，f(x
i
,w)是x
i
的类别y
i
的预测概率，y
′
i
是x
i
的真实类别，k(y
i
,y
′
i
)是用于y
i
预测的惩罚函数，其如下式所示：
[0112][0113]
其中，y
i
∈{1,...,c}，c为常数，其取值与类别总数相等，∈{1,...,c}，c为常数，其取值与类别总数相等，
[0114]
当使用当前权重应用到小批量时，根据损失函数l的梯度计算更新的权重，使用adma来计算个体的自适应学习率来控制权重更新的大小。
[0115]
本实施例中，投票机制模块接收三个cnn计算的每种模式的强度，使用了不同的cnn，它们各自有不同的功能，来探索网络深度的核心重要性。cnn的输出组合负责产生每个模态的最终强度。投票机制是在kuncheva等人的加权多数投票基础上的改进，本实施例使用了一个称为平均投票的组合规则，并给每个cnn产生的强度赋予不同的权重。
[0116]
具体地，所述投票机制模块采用的投票机制通过如下公式表示：
[0117][0118]
其中，x表示输入的医学图像，y表示预测分类标号，表示第i个分类模型的预测概率值，σ(
·
)表示三个分类模型输入的预测概率的均值，三个分类模型输入的预测概率对应权重为w
k
,k∈[1,2,3]，argmax(
·
)表示均值输出最大。
[0119]
具体实施时，可利用grad
‑
cam算法使用感兴趣或者制定类别的梯度解释在cnn模型的分类结果，可视化图像分类。
[0120]
实施例2
[0121]
本实施例提供了一种基于深度迁移学习的医学图像分类模型的训练装置，包括：
[0122]
图像获取模块，用于获取已标注的医学图像并进行预处理，得到医学图像样本集；
[0123]
第一模型生成模块，用于利用医学图像样本集训练cnn网络模型得到第一分类模型；
[0124]
第二模型生成模块，用于获取在imagenet图像数据集上预先训练好的vgg
‑
16网络模型和resnet
‑
50网络模型；并基于迁移学习方法分别利用医学图像样本集再次训练vgg
‑
16网络模型和resnet
‑
50网络模型，分别得到第二分类模型和第三分类模型；
[0125]
医学图像分类模型生成模块，用于将第一分类模型、第二分类模型、第三分类模型的输出连接到投票机制模块的输入构成医学图像分类模型，其中，投票机制模块基于预设投票机制输出最终医学图像分类结果为医学图像分类模型的分类结果。
[0126]
实施例3
[0127]
本实施例提供了一种前列腺医学图像分类模型的训练方法，其训练方法采用如实施例1所述的一种基于深度迁移学习的医学图像分类模型的训练方法，其中医学图像为前列腺医学图像。
[0128]
实施例4
[0129]
本实施例提供了一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器加载时执行如实施例1或实施例3所述的方法。
[0130]
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0131]
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0132]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0133]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0134]
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
[0135]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
[0136]
为了进一步理解本发明的方案，在此以前列腺癌医学图像为例提供一个分类实验对本方案进行说明。
[0137]
实验环境为python，使用keras库来实现深度cnn。在实验中加载keras提供的预先训练好的cnn的权重。
[0138]
数据集包括204名患者的训练数据集(330例可疑病变)和140名患者的测试数据集(208例)。由于t2横切面、adc值、dwi、ktrans均为前列腺的横切面，故将它们结合起来用于前列腺病变的分类。t2矢状位序列是前列腺的侧视面，则没有使用。对于每一个发现，前列腺解剖区域的分配是可行的。前列腺可细分为4个解剖区:外周区(pz)，占腺组织的70
‑
80％，约占前列腺癌的70％；过渡区(tz)，占腺组织的5％，约占pca(前列腺癌)的25％；中央区域(仅作说明)，占腺组织的20％，约占pca的5％；和非腺体的前纤维肌间质(as)。prosta tex挑战中的训练和测试样本来自pz、tz、as和精囊(sv)，如表1所示。
[0139]
表1 prostatex数据集划分
[0140][0141]
在对少量数据进行清理后，本发明选择了201名受试者，其中321项发现用于培训和验证目的。为了扩大和平衡训练数据集，本发明使用了翻转和转换原始数据。作为数据扩充的结果，本发明生成了5个交叉验证数据集，每个交叉验证数据集有10000个训练和2000个验证样本。在每一折叠中进行训练验证的分离，使得研究结果在前列腺区域的分布得以保留。图像强度归一化到[0,1]范围内。t2为40
×
40
×
40mm，dwi为32
×
32
×
12，dce
‑
mri为32
×
32
×
12，以寻找位置为中心的3d patch作为cnn的输入。
[0142]
为了训练网络，本发明使用了随机梯度下降算法与adam更新规则，10次一个小批量64，和一个二元交叉熵损失函数。本发明使用he方法从高斯分布随机初始化cnn的权值。本发明还对所有层的中间响应进行批处理正常化，以加速收敛。为了防止过拟合，除了批量归一化之外，本发明还使用了概率为0.25的dropout和对神经元权重有惩罚的l2正则化。通过监控验证性能，本发明使用了一种早期停止策略，并在验证集上选择了精确度最高的最佳模型。交叉验证用于为卷积层找到输入通道和过滤器数量的最佳组合。
[0143]
表2不同模型下区域精度对比
[0144][0145]
基于迁移学习和投票机制的分类模型在prostatex(前列腺)数据集上进行端到端的训练，其top
‑
1 accuary在pz上高达93.08％，tz达到81.34，as达到83.45，sv达到82.93。在训练过程中，rsenet50网络分类结果，相对于vgg网络具有更少的尺寸和参数量，却有更高的精度；根据不同模型的加权平均组合，能够有限对前列腺区域分类，且精度达到最好的性能。
[0146]
本发明提出了一种基于深度迁移学习的医学图像分类模型的训练方法及装置，该医学图像分类模型模型由三个不同深度的cnn组成，通过对预测概率加权平均进行组合。为了避免过拟合和获取特征信息，通过翻转和噪声等进行数据增强缓解类别不平衡，网络深度对于当前任务至关重要，迁移学习方法可以受益于在imagenet数据集上预先训练的cnn捕捉到的一般特征，以及在医学图像上从头训练的极深cnn和另一个“浅层”cnn的顶层捕捉到的领域特定特征。实验结果表明引入深度迁移学习改善前列腺图像分类，具有泛化性和鲁棒性。
[0147]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例
性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。