基于卷积神经网络的多模态医学图像的目标区域提取方法与流程

本发明涉及医学图像处理领域，特别涉及一种基于卷积神经网络的多模态医学图像的目标区域提取方法。

背景技术：

前列腺癌是中老年男性最为常见的癌症类型之一，在导致男性死亡的癌症类型中排在第五位。前列腺癌的早期发现和及时治疗能有效提升前列腺癌患者的五年生存率。多参数mr图像诊断作为前列腺癌早期诊断方式的一种，多参数mr图像上前列腺癌病灶区域的精准分割对于前列腺癌的准确分级和高质量的基于mr图像引导的活检穿刺具有重要意义.人工勾画出多参数mr图像上的前列腺癌病灶主要存在两个问题：一是存在主观差异性，即同样的多参数mr图像病例，经验丰富的医生和经验欠缺的医生的观察结果却不同，二是人力耗费大.实现前列腺癌病灶的自动准确分割能有效提升前列腺癌病灶区域分割结果的一致性，提高医生工作效率。

近年来，基于深度学习的图像分割算法已经被广泛应用于医学图像分割领域并取得了不错的效果，按照分割特点可以分为基于像素分类的图像分割算法和基于区域分类的图像分割算法.目前，针对前列腺癌病灶自动分割的研究主要采用基于像素分类的图像分割算法，即对输入图像上每一个像素进行分类，得到分割结果。simonkohl等人^[1]提出一种将对抗神经网络与u-net^[2]相结合的深度学习网络，对多参数mr图像上前列腺癌病灶区域做语义分割，得到的分割结果dsc系数为0.41±0.28，敏感度为0.55±0.36.junichiroishioka等人^[3]使用以resnet50作为主干网络搭建的u-net深度学习网络自动分割t2w图像上的前列腺癌病灶区域，取得了0.777的auc值.虽然基于像素分类的图像分割方法能有效检测前列腺癌病灶的大致区域，但是基于整幅输入图像分割病灶，深度学习网络需要学习的区域较大，不能充分学习病灶区域特征，从而限制了病灶分割的精度。

同时，现有的融合多参数mr图像中的有效信息的方式存在一些不足。yohannes等人^[4]为了充分利用现有网络模型，将多参数mr图像分别放入rgb图像三个通道，在输入图像层面对多参数mr图像信息融合.虽然该方法在一定程度上能融合多参数mri图像中的信息，但是没有充分利用不同参数mr图像高级特征之间的联系.杨欣等人^[5]分别使用两个并行的卷积网络提取adc和t2w图像特征，使用adc特征图与t2w特征图之间的差距作为约束条件，在网络训练过程中指导卷积网络提取不同参数mr图像上有效特征.虽然该方式能有效利用不同参数mr图像高级特征间的一致性，却没有充分利用不同参数mri特征间的差异性。所以现在需要一种更可靠的方案。

参考文献：

[1]kohls,bonekampd,schlemmerh-p,etal.adversarialnetworksforthedetectionofaggressiveprostatecancer[j].arxivpreprintarxiv:170208014,2017,

[2]ronnebergero,fischerp,broxt.u-net:convolutionalnetworksforbiomedicalimagesegmentation；proceedingsoftheinternationalconferenceonmedicalimagecomputingandcomputer-assistedintervention,f,2015[c].springer.

[3]ishiokaj,matsuokay,ueharas,etal.computer-aideddiagnosisofprostatecanceronmagneticresonanceimagingusingaconvolutionalneuralnetworkalgorithm[j].bjuinternational,2018,122(3):411-7.

[4]tsehayyk,layns,rothhr,etal.convolutionalneuralnetworkbaseddeep-learningarchitectureforprostatecancerdetectiononmultiparametricmagneticresonanceimages；proceedingsofthemedicalimaging2017:computer-aideddiagnosis,f,2017[c].

[5]yangx,liuc,wangz,etal.co-trainedconvolutionalneuralnetworksforautomateddetectionofprostatecancerinmulti-parametricmri[j].medicalimageanalysis,2017,42(212-27.

技术实现要素：

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于卷积神经网络的多模态医学图像的目标区域提取方法、计算机设备和存储介质。

本发明的一方面，提供一种基于卷积神经网络的多模态医学图像的目标区域提取方法，包括以下步骤：

1)构建用于多模态医学图像中目标区域提取的掩模区域卷积神经网络；

2)对构建的掩模区域卷积神经网络进行训练；

3)将待处理的多模态医学图像输入训练后的掩模区域卷积神经网络进行目标区域提取；

其中，所述掩模区域卷积神经网络包括多模态医学图像特征提取网络、目标区域建议网络和头网络，所述多模态医学图像特征提取网络提取多模态医学图像的多个层级的融合特征图；然后由所述目标区域建议网络搜索融合特征图上可能存在目标区域的候选目标区域定位框，再通过roialign层提取出候选目标区域特征图并输入到所述头网络中；再由所述头网络对候选目标区域定位框中存在目标区域的可能性进行评估，修正候选目标区域定位框的位置和大小并提取其中的目标区域，最后通过非极大值抑制算法，选出包含目标区域概率高的候选目标区域定位框，去掉包含目标区域概率低的候选目标区域定位框和与概率高的候选目标区域重叠度过高的候选目标区域，得到最终的目标区域和目标区域掩模。

优选的是，所述多模态医学图像特征提取网络为融入挤压激励块的特征提取网络，具体包括m个并行的se-resnet和n个第一se块，其中，待处理的多模态医学图像包括m个模态图像，每个模态图像包括n个层级的特征图；

多模态医学图像首先由m个并行的所述se-resnet分别提取出m个模态图像中每一个模态图像的n个层级的特征图，分别将所有模态图像的相同层级特征图串联，得到n个串联特征图，然后将n个串联特征图分别输入n个所述第一se块中，输出n个层级的融合特征图。

优选的是，所述se-resnet包括依次连接的卷积层、最大池化层和n个se-残差块，其中，第n个层级的特征图为第n个se-残差块的输出，其余层级特征图为下一层级特征图上采样后与本层级se-残差块输出的和。

优选的是，所述se-残差块包括两个残差块和一个第二se块；

所述残差块包括依次连接的第一卷积层、第二卷积层和第三卷积层，所述第一卷积层和第三卷积层的卷积核大小为1x1，所述第二卷积层的卷积核大小为3x3。

优选的是，所述目标区域建议网络将多模态医学图像特征提取网络得到的n个融合特征图作为输入，输出一系列包含目标区域可能性较高的候选目标区域定位框；所述目标区域建议网络输出bboxk＝[p,x1,y1,x2,y2]，其中p表示候选目标区域定位框中包含目标区域的概率,x1,y1；x2,y2分别表示候选目标区域定位框的左上角和右下角坐标,下标k表示第k个候选目标区域定位框；然后将候选目标区域定位框的坐标和对应层级的特征图输入roialign层中，找到候选目标区域定位框在特征图上的对应位置，使用双线性或三线性插值得到候选目标区域特征图。

优选的是，所述头网络包括目标区域掩模网络、目标区域定位框回归网络和目标区域分类网络，所述目标区域分类网络对候选目标区域定位框存在目标区域的可能性进行判别，所述目标区域定位框回归网络对候选目标区域定位框的位置和大小进行修正，所述目标区域掩模网络用于提取目标区域掩模。

优选的是，所述步骤2)之前还包括以下步骤：

2-1)采集多模态医学图像并进行数据标记：在采集得到的多模态医学图像的每一种模态的图像中标记目标区域，得到每种模态的图像所对应的目标区域掩模；

2-2)对标记后的图像进行图像预处理；

2-3)以预处理后的图像为基础，使用刚性变换和非刚性变换进行图像数据量扩增，将扩增后的图像数据用于进行掩模区域卷积神经网络训练；刚性变换包括随机位移、随机上下左右翻转、随机旋转，非刚性变换采用滑动最小二乘法。

优选的是，所述步骤2-2)具体包括：

2-2-1)将所述步骤2-1)得到的多模态医学图像中的一种模态为基准图像，其余模态的图像作为浮动图像分别与基准图像进行配准计算，将配准计算得到的配准变换矩阵应用于所有浮动图像及所对应的目标区域掩模；

2-2-2)将变换后的所有目标区域掩模进行与运算，即对于掩模中的任意位置，当该位置在所有目标区域掩模中属于目标区域时，则该位置归为最终的目标区域，否则该位置为最终的非目标区域；

2-2-3)根据最终的目标区域计算目标区域定位框，使目标区域定位框为包含目标区域的最小矩形；

2-2-4)进行图像归一化处理，即对于任意图像，将该图像任一像素的灰度值与该图像所有像素的灰度值的均值相减后再与该图像所有像素的灰度值标准差相除；

2-2-5)设置图像输入尺寸，大于输入尺寸的图像降采样到输入尺寸，小于输入尺寸的图像填零至输入图像尺寸；

所述步骤3)中先采用与所述步骤2-2)相同的方法对待处理的多模态医学图像输进行预处理，然后再输入到掩模区域卷积神经网络进行目标区域提取。

本发明的另一方面，提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可被所述处理器运行的程序，所述处理器执行所述程序时实现如上所述的基于卷积神经网络的多模态医学图像的目标区域提取方法。

本发明的另一方面，提供一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序被处理器执行时实现如上所述的基于卷积神经网络的多模态医学图像的目标区域提取方法。

本发明的有益效果是：本发明的基于卷积神经网络的多模态医学图像的目标区域提取方法能实现多模态医学图像中目标区域的自动精准分割，能克服人工分割目标区域存在的主观差异性问题和耗时费力的缺陷，可提高多模态医学图像中目标区域提取的准确性，提高医生工作效率；本发明通过若干个并行的se-resnet可实现多模态医学图像的特征图像提取，通过将挤压激励块融入特征提取网络能提升医学图像的特征提取效率和多模态医学图像的信息融合效率。

附图说明

图1为本发明的掩模区域卷积神经网络的网络结构示意图；

图2为本发明的se-resnet的网络结构示意图；

图3为本发明的残差块的网络结构示意图；

图4为本发明的se块的网络结构示意图；

图5为本发明的se-resnet的处理流程示意图。

具体实施方式

下面结合实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。

本实施例的一种基于卷积神经网络的多模态医学图像的目标区域提取方法，包括以下步骤：

1)构建用于多模态医学图像中目标区域提取的掩模区域卷积神经网络：

参照图1，掩模区域卷积神经网络包括多模态医学图像特征提取网络、目标区域建议网络和头网络，多模态医学图像特征提取网络提取多模态医学图像的多个层级的融合特征图；然后由目标区域建议网络搜索融合特征图上可能存在目标区域的候选目标区域定位框，再通过roialign层提取出候选目标区域特征图并输入到头网络中；再由头网络对候选目标区域定位框中存在目标区域的可能性进行评估，修正候选目标区域定位框的位置和大小并提取其中的目标区域，最后通过非极大值抑制算法，选出包含目标区域概率高的候选目标区域定位框，去掉包含目标区域概率低的候选目标区域定位框和与概率高的候选目标区域重叠度过高的候选目标区域，得到最终的目标区域和目标区域掩模。

其中，多模态医学图像特征提取网络为融入挤压激励块的特征提取网络，具体包括m个并行的se-resnet和n个第一se块，其中，待处理的多模态医学图像包括m个模态图像，每个模态图像包括n个层级的特征图。多模态医学图像首先由m个并行的se-resnet分别提取出m个模态图像中每一个模态图像的n个层级的特征图，分别将所有模态图像的相同层级特征图串联，得到n个串联特征图，然后将n个串联特征图分别输入n个第一se块中，输出n个层级的融合特征图。

特征提取网络(se-resnet)通常用于对自然图像进行处理，自然图像一般边界清晰，采用se-resnet能获得较好的效果，但医学图像普遍存在边界模糊的特性，直接采用se-resnet难以获得满意的处理结果。本发明中通过将挤压激励块(squeeze-and-excitationblock，se块)融入特征提取网络能解决该问题，可提升医学图像的特征提取效率和多模态医学图像的信息融合效率。另外本发明中通过将m个并行的se-resnet可实现包含m个模态的多模态医学图像的特征图像提取。

其中，参照图2，se-resnet包括依次连接的卷积层、最大池化层和n个se-残差块，其中，第n个层级的特征图为第n个se-残差块的输出，其余层级特征图为下一层级特征图上采样后与本层级se-残差块输出的和。se-残差块包括两个残差块和一个第二se块；

其中，参照图3，残差块包括依次连接的第一卷积层、第二卷积层和第三卷积层，第一卷积层和第三卷积层的卷积核大小为1x1，第二卷积层的卷积核大小为3x3。

参照图4，可选的，第一se块和第二se块均可采用如下的网络结构，包括全局平均池化层、全连接层、relu和sigmoid。其中，relu和sigmoid均为激活函数：

relu:

sigmoid:

设se块输入为u＝[u1,u2,…,un]，u大小为h×w，n表示特征通道数目。首先通过全局平均池化层对每个特征通道信息进行压缩得到特征通道描述子descriptor＝[d1,d2,…,dn]，其中第c个特征通道描述子将特征通道子通过全连接层、relu层、连接层和sigmoid层，得到输入中每个特征通道的权重描述子weight＝[w1,w2,…,wn],最后使用权重描述子对输入不同特征通道重新标定权重，u_w＝[u1·w1,u2·w2,…,un·wn]，最后输出重新标定权重的特征图u_w。

参照图5，m个平行的se-resnet中的每一个可得到n个级别的特征图，将同级别特征图串联后再经过se块得到该级别的融合特征图，最终输出n个融合特征图。

其中，目标区域建议网络将多模态医学图像特征提取网络得到的n个融合特征图作为输入，输出一系列包含目标区域可能性较高的候选目标区域定位框；目标区域建议网络输出bboxk＝[p,x1,y1,x2,y2]，其中p表示候选目标区域定位框中包含目标区域的概率,x1,y1；x2,y2分别表示候选目标区域定位框的左上角和右下角坐标,下标k表示第k个候选目标区域定位框；然后将候选目标区域定位框的坐标和对应层级的特征图输入roialign层中，找到候选目标区域定位框在特征图上的对应位置，使用双线性或三线性插值得到候选目标区域特征图。

其中，头网络包括目标区域掩模网络、目标区域定位框回归网络和目标区域分类网络，目标区域分类网络对候选目标区域定位框存在目标区域的可能性进行判别，目标区域定位框回归网络对候选目标区域定位框的位置和大小进行修正，目标区域掩模网络用于提取目标区域掩模。

2)对构建的掩模区域卷积神经网络进行训练，先构建训练数据，具体采用如下方式：

步骤2)之前还包括以下步骤：

2-1)采集多模态医学图像并进行数据标记：在采集得到的多模态医学图像的每一种模态的图像中标记目标区域，得到每种模态的图像所对应的目标区域掩模；

2-2)对标记后的图像进行图像预处理，具体包括：

2-2-1)将步骤2-1)得到的多模态医学图像中的一种模态为基准图像，其余模态的图像作为浮动图像分别与基准图像进行配准计算，将配准计算得到的配准变换矩阵应用于所有浮动图像及所对应的目标区域掩模；

2-2-2)将变换后的所有目标区域掩模进行与运算，即对于掩模中的任意位置，当该位置在所有目标区域掩模中属于目标区域时，则该位置归为最终的目标区域，否则该位置为最终的非目标区域；

2-2-3)根据最终的目标区域计算目标区域定位框，使目标区域定位框为包含目标区域的最小矩形；

2-2-4)进行图像归一化处理，即对于任意图像，将该图像任一像素的灰度值与该图像所有像素的灰度值的均值相减后再与该图像所有像素的灰度值标准差相除；

2-2-5)设置图像输入尺寸，大于输入尺寸的图像降采样到输入尺寸，小于输入尺寸的图像填零至输入图像尺寸；

2-3)以预处理后的图像为基础，使用刚性变换和非刚性变换进行图像数据量扩增，将扩增后的图像数据用于进行掩模区域卷积神经网络训练；刚性变换包括随机位移、随机上下左右翻转、随机旋转，非刚性变换采用滑动最小二乘法；

最后将扩增后的图像数据输入掩模区域卷积神经网络中进行训练。

3)将待处理的多模态医学图像采用与步骤2-2)相同的方法对待处理的多模态医学图像输进行预处理，然后输入训练后的掩模区域卷积神经网络进行目标区域提取。

本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可被处理器运行的程序，处理器执行程序时实现上述的基于卷积神经网络的多模态医学图像的目标区域提取方法。

本发明还提供一种存储介质，其上存储有计算机程序，当计算机程序被处理器执行时实现上述的基于卷积神经网络的多模态医学图像的目标区域提取方法。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节。