基于3DCNN深度学习的前列腺癌症图像识别方法与流程

本发明涉及医疗图像处理技术领域，具体地涉及一种基于3dcnn深度学习的前列腺癌症图像识别方法。

背景技术：

目前，在医学上，癌是指起源于上皮组织的恶性肿瘤，是恶性肿瘤中最常见的一类。每年，新发癌症病例约380万，死亡人数约229万，总体癌症发病率平均每年上升3.9％左右，发病率及死亡率呈现逐年上升趋势。癌症已成为我国四大慢性病之一，严重影响我国人民健康。国际抗癌联盟认为1/3的早期癌症是可以治愈的。因此及时发现癌症并进行治疗具有重要的临床意义。

前列腺癌症占诊出癌症的五分之一，活组织检查是前列腺癌症常见的检查方法。随着磁共振成像技术(magneticresonanceimaging)的发展，构建计算机辅助诊断系统(computer-aideddiagnosis)可以帮助医生快速诊断疾病。通过磁共振成像技术，可以减少25％的非必要活组织检查和过度诊断等问题，可以更加有效的检出癌症。因此，通过mri图像可以减轻病人痛苦，优化癌症的检测过程。

然而通过阅读mri图像推断前列腺癌症是比较困难的。2012年，欧洲泌尿生殖放射学会发表了一篇前列腺癌症的磁共振诊断指南(prostateimaging-reportinganddatasystem,pi-rads)。pi-rads旨在规范前列腺mri图像诊断报告，减少易混淆的影像描述和模糊诊断结果。但即使是拥有丰富经验的放射科专家也只能取得效果一般的可复现诊断结果，即该过程受医生经验等主观因素影响较大。

随着计算机和数字图像处理技术的发展，出现了许多计算机图像算法用于处理前列腺mri图像，帮助医生诊断癌症。但是一方面这些算法有相当一部分基于传统机器学习，取得的诊断精度有限；另一方面，这些方法大多在各自的数据集上进行开发，而这些数据集一般是非公开的，所以不同算法间难以在同一个数据集上以相同的性能指标进行对比，算法的有效性和泛化性能有待证明。从目前的研究来看，如何开发高性能前列腺mri图像癌症诊断算法，并证明其有效性和泛化性能仍需要进一步的研究。

技术实现要素：

本发明所要解决的技术问题是提供一种基于3dcnn深度学习的前列腺癌症图像识别方法。本发明基于公开的前列腺癌症mri图像数据集，研究使用深度学习3d－cnn网络结构的癌症识别算法，提高了前列腺癌症的诊断水平。该前列腺癌症mri图像公开数据集来自于著名的grand-challenge竞赛项目，因此本发明中的算法可以和众多算法进行对比以证明本文算法的优越性。同时，本发明使用基于3d数据的深度学习方法，相比传统的机器学习方法可以提取更丰富的图像特征。

通过本发明可以实现的技术目的不限于上文已经特别描述的内容，并且本领域技术人员将从下面的详细描述中更加清楚地理解本文中未描述的其他技术目的。

本发明解决上述技术问题的技术方案如下：

根据本公开的一方面，本发明提供一种基于3dcnn深度学习的前列腺癌症图像识别方法，所述方法包括：

对于数据进行预处理和离线数据增强；

经过预处理后的数据被输入深度学习网络以提取特征，然后对所提取的特征进行分类。

可选地，在如上所述的方法中，所述预处理包括裁剪操作和重采样操作，所述裁剪操作将病灶区域从整体影像中裁剪出来，所述重采样操作将不同类型的影像数据重采样为1mm×1mm×1mm的空间分辨率。

可选地，在如上所述的方法中，所述离线数据增强包括对像素进行偏移、上下或左右翻转操作。

可选地，在如上所述的方法中，经过预处理后的数据被分成3种不同类型的数据作为深度学习网络的输入，以便得到不同的模型。

可选地，在如上所述的方法中，所述3种不同类型的数据通过3dcnn提取特征。

可选地，在如上所述的方法中，对于分类的结果进行融合以获取最终诊断结果。

上述技术方案仅为本发明实施例的一些部分，本领域技术人员从以下本发明的详细描述中可以导出和理解包含了本发明的技术特征的各种实施例。

本发明基于公开的前列腺癌症mri图像数据集，研究使用深度学习3d－cnn网络结构的癌症识别算法，提高了前列腺癌症的诊断水平。该前列腺癌症mri图像公开数据集来自于著名的grand-challenge竞赛项目，因此本发明中的算法可以和众多算法进行对比以证明本文算法的优越性。同时，本发明使用基于3d数据的深度学习方法，相比传统的机器学习方法可以提取更丰富的图像特征。

本领域技术人员将会理解，通过本发明可以实现的效果不限于上文已经具体描述的内容，并且从以下详细说明中将更清楚地理解本发明的其他优点。

附图说明

被包括以提供对本发明的进一步理解的附图示出本发明的实施例，并且与说明书一起用于解释本发明的原理。

图1为本发明实施例提供的一种基于3dcnn深度学习的前列腺癌症图像识别方法的示意图。

图2为本发明实施例提供的一种基于3dcnn深度学习的前列腺癌症图像识别方法的3dcnn网络结构的示意图。

具体实施方式

现在将详细参考本发明的示例性实施例，其示例在附图中示出。下面将参考附图给出的详细描述旨在解释本发明的示例性实施例，而不是示出可以根据本发明实现的唯一实施例。以下详细描述包括具体细节以便提供对本发明的透彻理解。然而，对于本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践本发明。

在一些情况下，已知的结构和设备被省略或以框图形式示出，集中于结构和设备的重要特征，以免模糊本发明的概念。在整个说明书中将使用相同的附图标记来表示相同或相似的部分。

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

在本发明的描述中，需要理解的是，术语“上”、“下”、“中心”、“内”、“外”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

图1示出了本发明实施例提供的一种基于3dcnn深度学习的前列腺癌症图像识别方法的示意图。本发明的目的在于使用较少的mri图像数据构建一个使用3dcnn网络结构的前列腺癌症识别模型，辅助医生诊断前列腺癌症。

首先对本发明中使用的数据进行介绍。本发明使用的前列腺癌症数据来自于在https://prostatex.grand-challenge.org/举办的前列腺癌症识别比赛。比赛数据包含以下两部分内容：

训练集：来自204位病人的330组病灶图像，病灶区域中心点坐标以及每组图像的真实类别；

测试集：主办方保留有140位病人的208组病灶图像，病灶区域中心点坐标以及每组图像的真实类别。

其中每组图像包含以下种类的影像：t2-weighted(t2w)、dynamiccontrast-enhanced(dce)、adc(apparentdiffusioncoefficient)和ktrans。

本发明提出的使用3dcnn的前列腺癌图像识别方法，其如图1所示。由于不同类型mri影像数据空间分辨率等存在一定的差异性，且整体数据数量偏少，首先需要对数据做预处理和离线数据增强。基本的预处理包括裁剪和重采样。裁剪操作指将病灶区域从整体影像中裁剪出来，重采样将不同类型的影像数据重采样到空间分辨率为1mm×1mm×1mm。经过预处理后的每个图像样本大小为34×34×12。离线数据增强方法包括像素偏移、上下或左右翻转。经过预处理后的数据被输入深度学习网络提取特征，该网络接受3种不同的3d数据作为输入，由于输入数据组合不同可以得到多个模型，例如采用dat(dce,adc,t2w)和dak(dce,adc,ktrans)的数据组合方式可以得到两个不同的模型。3种不同的图像经过3dcnn模块提取特征，然后将图像特征输入capsule网络模块并输出分类结果。在传统的数据增强之上，本发明在训练每个模型时使用pbt(populationbasedtraining)的方式做在线数据增强策略搜索和超参数搜索。最后将不同数据组合得到的模型进行融合获取最终诊断结果。

根据本发明的技术方案，其具体实施方式如下：

1图像预处理

不同类型的前列腺mri图像其空间分辨率不一致，为了便于网络训练，首先将图像重采样到空间分辨率为1mm×1mm×1mm，之后根据数据集提供的病灶中心点裁剪一个34×34×12的3维图像样本。

2离线数据增强

由于数据量过少，需要对图像数据做离线增强处理。离线增强的处理方式包括上下翻转、左右翻转、3维空间的旋转和像素偏移。通过离线数据增强方法处理后可以得到4800个训练样本。

3提取图像特征并分类

为了更好地描述图像所包含的内容，需要将输入图像转化为向量的形式，即进行特征提取。对此，本发明使用3dcnn深度学习网络对不同图像抽取特征向量，并拼合为一个整体特征向量其中xkj表示第k种特征向量中的第j个分量，而则表示第k种特征向量中的最后一个分量。同时，记d＝mnm表示图像特征的总维度。在后面的描述中，xi即表示图像i的特征。

本发明提取图像特征所使用的3dcnn网络结构如图2所示，该网络由3路3dcnn结构组成。每一路对应一种不同类型的数据，mri图像数据输入网络后先经过一个bn层，然后经过3个模块提取特征。每个模块包含2个卷积层，每个卷积层后接relu和bn层，每个模块最后pool层做下采样，前两个模块采用最大值池化，第三个模块采用全局平均池化。最后，每1路3dcnn网络可以提取1个1×1024维的特征，将三个特征向量拼合在一起得到该组输入图像的特征xi。xi经全连接层和relu激活得到特征向量xfc，xfc为1×1024的向量，其将被输入到capsule网络模块。

capsule网络是一组神经元，其输入输出向量表示特定实体类型的实例化参数。输入输出向量的长度表征实体存在的概率，向量的方向表示实例化参数(即实体的某些图形属性)。同一层级的capsule模块通过变换矩阵对更高级别的capsule模块的实例化参数进行预测。当多个预测一致时更高级别的capsule模块将变得活跃。capsule模块采用squashing非线性函数作为激活，该函数保证向量方向不变，长度在0-1之间。squashing函数如公式1所示。

vj为capsule模块的输出向量，sj是该层的输入向量，由上一层输出到当前层的向量进行加权求和得到。该公式可以分为两部分，第一个分式代表长度压缩因子，即将向量长度压缩到0-1，第二个分式为输入向量sj的单位向量，即表示向量方向。sj可以由公式2、3求得。

ui为上一层第i个输出向量，表示上一层第i个向量加权后的预测向量。得到预测向量后使用动态路由算法得到sj。sj为上一层输入到当前j个capsule模块的所有capsule模块的加权和。权重满足∑icij＝1。

4超参数策略搜索和在线数据增强策略搜索

不同的超参数会导致不同的模型性能，手动调节超参数依赖于算法工程人员的经验，本发明采用pbt方式自动搜索超参数。pbt的执行方式如下：首先设定突变因子s，和超参数搜索空间β。s指每过s轮迭代后从指定的超参数空间β中重采样一组超参数。本发明搜索的超参数包括学习率、权重衰退指数。在设定完成后，随机初始化n个网络模型，同时对n个模型开始训练。在训练过程中每经过s代对比各个模型在验证集上的性能，按照指定概率将当前最优模型mbest的参数及超参数复制给表现较差的模型mworse，同时以随机的方式产生新的超参数用于mworse模型继续训练。

数据增强是现在深度学习中不可缺少的一部分。在前列腺癌症识别问题中，仅依靠传统的离线增强方法，在训练过程中仍会出现较严重的过拟合。与超参数相同，不同的数据增强策略会产生不同的模型，为此本发明使用pba方式搜索合适的在线数据增强策略。pba基于pbt实现，将搜索超参数变为搜索不同的数据增强方法。本发明中pba将在由8中图像增强方法构成的参数空间中进行策略搜索。这8种增强方法为：曝光、色调分离、对比度增强、均衡化、明亮度变化、裁剪、旋转、锐化。为了将增强方法参数化，本发明采用一个1×16的向量α表示增强策略。向量中的每两个数描述一种方法，第一个数代表该方法的应用概率，第二个数字代表该方法应用水平或强度。例如α1＝0.9，α2＝2对应曝光增强方法，α1代表以概率0.9应用曝光方法，α2代表曝光强度为2。

5多模型融合

在采用了离线和在线的数据增强方式后，仍然存在较明显的过拟合现象，且模型在验证集上性能有明显抖动，为此采用多模型融合的策略稳定最后输出结果。多模型来自两种处理：第一种是3dcnn的输入数据组合不同，例如选用bat和bak的数据组合会得到两种模型；第二种是交叉验证，本发明还可以采用十折交叉验证，每一轮交叉验证的训练数据都不一样，因此也会得到不同的模型。在预测测试集的数据时，将多个模型输出的结果进行平均即得到多模型融合的结果。

通过在prostatex前列腺癌症数据上的实验，本发明所提出的基于3dcnn深度学习的图像分类方法具有较好的表现。具体来说，在该比赛数据集中，使用204例病人数据作为训练集，140例病人数据做测试集，本文算法达到了测试集上auc0.95的最高表现，位于比赛榜单第1。比赛结果网址为https://prostatex.grand-challenge.org/evaluation/results/。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

如上所述，已经给出了本发明的优选实施例的详细描述，以使本领域技术人员能够实施和实践本发明。虽然已经参照示例性实施例描述了本发明，但是本领域技术人员将会理解，在不脱离所附权利要求书中描述的本发明的精神或范围的情况下，可以在本发明中进行各种修改和改变。因此，本发明不应限于在此描述的特定实施例，而应被赋予与本文公开的原理和新颖特征一致的最宽范围。