用于肺结节分割的图像处理方法及装置与流程

本申请涉及图像处理领域，具体而言，涉及一种用于肺结节分割的图像处理方法及装置。

背景技术：

近年来，肺癌已经成为发病率和死亡率最高的癌症之一，肺癌的早期诊断和治疗对于提高病人生存率尤为重要。由于早期肺癌在影像学上表现为孤立性结节病变，结节的体积大小和体积随时间变化都是判断其良恶性的重要指标。然而，对于放射科医师来说，人工肺结节体积测量十分耗时。

由于肺结节在形状、密度、尺寸上多变。同时，肺结节与周围肺壁、血管区域粘连难以区分，进一步导致分割困难。因此，如果采用现有的单次分割网络来说，很难得到准确分割结果。

针对相关技术中图像处理时分割准确率较低的问题，目前尚未提出有效的解决方案。

技术实现要素：

本申请的主要目的在于提供一种用于肺结节分割的图像处理方法及装置，以解决图像处理时分割准确率较低的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种用于肺结节分割的图像处理方法。

根据本申请的用于肺结节分割的图像处理方法包括：输入单分割网络和肺结节影像用以训练预设分割网络模型；将所述单分割网络嵌入到递归神经网络中迭代并分割得到多个单分割网络；根据注意力机制模型将注意力层与所述肺结节影像融合，并输入到下一个单分割网络；以及还包括：在训练所述预设分割网络模型过程中，使用dice相似性系数和递归排序损失函数定义损失函数。

进一步地，根据注意力机制模型将注意力层与所述肺结节图像融合，并输入到下一个单分割网络包括：获得注意力机制模型产生的注意力图像在相关感兴趣区域上的权重；根据权重确定注意力层；将注意力层与原始输入图像融合，结果输入到下一个单分割网络。

进一步地，在训练所述预设分割网络模型过程中如果未收敛或迭代未达到最大值，则继续训练。

进一步地，图像处理方法还包括：采用adam优化所述预设分割网络模型。

进一步地，图像处理方法还包括：采用dice相似性系数和递归排序损失函数交替训练整个分割网络模型。

为了实现上述目的，根据本申请的另一方面，提供了一种用于肺结节分割的图像处理装置。

根据本申请的用于肺结节分割的图像处理装置包括：输入模块，用于输入单分割网络和肺结节影像用以训练预设分割网络模型；迭代分割模块，用于将所述单分割网络嵌入到递归神经网络中迭代并分割得到多个单分割网络；融合模块，用于根据注意力机制模型将注意力层与所述肺结节影像融合，并输入到下一个单分割网络；以及还包括：损失函数模块用于，在训练所述预设分割网络模型过程中，使用dice相似性系数和递归排序损失函数定义损失函数。

进一步地，所述融合模块包括：获取单元，用于获得注意力机制模型产生的注意力图像在相关感兴趣区域上的权重；确定单元，用于根据权重确定注意力层；融合单元，用于将注意力层与原始输入图像融合，结果输入到下一个单分割网络。

进一步地，所述损失函数模块还用于在训练所述预设分割网络模型过程中如果未收敛或迭代未达到最大值，则继续训练。

进一步地，装置还包括：优化模块，用于采用adam优化所述预设分割网络模型。

进一步地，装置还包括：训练模块，用于采用dice相似性系数和递归排序损失函数交替训练整个分割网络模型。

在本申请实施例中，采用输入单分割网络和肺结节影像用以训练预设分割网络模型的方式，通过将所述单分割网络嵌入到递归神经网络中迭代并分割得到多个单分割网络，达到了根据注意力机制模型将注意力层与所述肺结节影像融合，并输入到下一个单分割网络以及在训练所述预设分割网络模型过程中，使用dice相似性系数和递归排序损失函数定义损失函数的目的，从而实现了肺结节影像迭代分割和肺结节体积预测的技术效果，进而解决了图像处理时分割准确率较低的技术问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的用于肺结节分割的图像处理方法示意图；

图2是根据本申请实施例的用于肺结节分割的图像处理方法示意图；

图3是根据本申请实施例的用于肺结节分割的图像处理装置示意图；

图4是根据本申请实施例的用于肺结节分割的图像处理装置示意图；以及

图5是根据本申请中递归注意力嵌入网络结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

如图1所示，该方法包括如下的步骤s102步骤s106：

步骤s102，输入单分割网络和肺结节影像用以训练预设分割网络模型；输入包括：单一分割网络，输入图像以及最大迭代次数。单一分割网络可以是：3d-unet(c，ic，ek，.,abdulkadir,a.,lienkamp,s.s.,brox,t.,ronneberger,o.:3du-net:learningdensevolumetricsegmentationfromsparseannotation.in:miccai,springer(2016)424–432)、v-net(milletari,f.,navab,n.,ahmadi,s.a.:v-net:fullyconvolutionalneuralnetworksforvolumetricmedicalimagesegmentation.in:3dvision(3dv),2016fourthinternationalconferenceon,ieee(2016)565–571)、3d-fcn(long,j.,shelhamer,e.,darrell,t.:fullyconvolutionalnetworksforsemanticsegmentation.in:cvpr.(2015)3431–3440)等。

步骤s104，将所述单分割网络嵌入到递归神经网络中迭代并分割得到多个单分割网络；

将单分割网络嵌入到递归神经网络结构，迭代地进行分割。

步骤s106，根据注意力机制模型将注意力层与所述肺结节影像融合，并输入到下一个单分割网络；

利用注意力机制模型(fu,j.,zheng,h.,mei,t.:lookclosertoseebetter:recurrentattentionconvolu-tionalneuralnetworkforfine-grainedimagerecognition.in:cvpr.(2017))产生的注意力图像在感兴趣区域上具有更高权重，再将该注意力层与原始输入图像融合，输入下一个单分割网络。

步骤s108，还包括：在训练所述预设分割网络模型过程中，使用dice相似性系数和递归排序损失函数定义损失函数。

通过递归排序损失函数，防止迭代过程分割性能下降。上述步骤类似医生多次手工标注对肺结节分割进行精修的过程，通过递归注意力嵌入网络可以越来越聚焦在目标区域上，迭代产生更好的结节分割结果。

从以上的描述中，可以看出，本申请实现了如下技术效果：

在本申请实施例中，采用输入单分割网络和肺结节影像用以训练预设分割网络模型的方式，通过将所述单分割网络嵌入到递归神经网络中迭代并分割得到多个单分割网络，达到了根据注意力机制模型将注意力层与所述肺结节影像融合，并输入到下一个单分割网络以及在训练所述预设分割网络模型过程中，使用dice相似性系数和递归排序损失函数定义损失函数的目的，从而实现了肺结节影像迭代分割和肺结节体积预测的技术效果，进而解决了图像处理时分割准确率较低的技术问题。区别于现有技术中的方法都是单次预测的分割网络，直接输入原始图像，一次得到分割结果，从而需要对网络本身性能要求较高。

根据本申请实施例，作为本实施例中的优选，如图2所示，根据注意力机制模型将注意力层与所述肺结节图像融合，并输入到下一个单分割网络包括：

步骤s202，获得注意力机制模型产生的注意力图像在相关感兴趣区域上的权重；

步骤s204，根据权重确定注意力层；

步骤s206，将注意力层与原始输入图像融合，结果输入到下一个单分割网络。

利用注意力机制模型(fu,j.,zheng,h.,mei,t.:lookclosertoseebetter:recurrentattentionconvolu-tionalneuralnetworkforfine-grainedimagerecognition.in:cvpr.(2017))产生的注意力图像在感兴趣区域上具有更高权重，再将该注意力层与原始输入图像融合，输入下一个单分割网络。

作为本实施例中的优选，在训练所述预设分割网络模型过程中如果未收敛或迭代未达到最大值，则继续训练。

作为本实施例中的优选，图像处理方法还包括：采用adam优化所述预设分割网络模型。

作为本实施例中的优选，图像处理方法还包括：采用dice相似性系数和递归排序损失函数交替训练整个分割网络模型。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本申请实施例，还提供了一种用于实施上述用于肺结节分割的图像处理方法的装置，如图3所示，该装置包括：输入模块，用于输入单分割网络和肺结节影像用以训练预设分割网络模型；迭代分割模块，用于将所述单分割网络嵌入到递归神经网络中迭代并分割得到多个单分割网络；融合模块，用于根据注意力机制模型将注意力层与所述肺结节影像融合，并输入到下一个单分割网络；以及还包括：损失函数模块用于，在训练所述预设分割网络模型过程中，使用dice相似性系数和递归排序损失函数定义损失函数。

在一些实施例中，所述融合模块30包括：获取单元301，用于获得注意力机制模型产生的注意力图像在相关感兴趣区域上的权重；确定单元302，用于根据权重确定注意力层；融合单元303，用于将注意力层与原始输入图像融合，结果输入到下一个单分割网络。

利用注意力机制模型(fu,j.,zheng,h.,mei,t.:lookclosertoseebetter:recurrentattentionconvolu-tionalneuralnetworkforfine-grainedimagerecognition.in:cvpr.(2017))产生的注意力图像在感兴趣区域上具有更高权重，再将该注意力层与原始输入图像融合，输入下一个单分割网络。

优选地，所述损失函数模块还用于在训练所述预设分割网络模型过程中如果未收敛或迭代未达到最大值，则继续训练。

优选地，图像处理装置还包括：优化模块，用于采用adam优化所述预设分割网络模型。

优选地，图像处理装置还包括：训练模块，用于采用dice相似性系数和递归排序损失函数交替训练整个分割网络模型。

本申请的实现原理如下：

本申请提出了一种基于递归注意力的嵌入网络(gen-ra)，递归注意力模型主要包括如下三个部分。首先，本申请将单分割网络嵌入到递归神经网络结构，迭代地进行分割。然后，利用注意力机制模型产生的注意力图像在感兴趣区域上具有更高权重，再将该注意力层与原始输入图像融合，输入下一个单分割网络。最后，该模型的损失函数不仅采用传统的dice相似性系数，本申请还设计了一种递归排序损失函数，防止迭代过程分割性能下降。因此，类似医生多次手工标注对肺结节分割进行精修的过程，本申请的网络可以越来越聚焦在目标区域上，迭代产生更好的结节分割结果。gen-ra网络可以嵌入不同的分割网络，例如3d-unet、v-net、3d-fcn等。本申请中，在lidc-idri数据集上，本申请测试了上述三种分割方法嵌入到gen-ra网络后的性能。

请参考图5，递归注意力嵌入网络主要包括递归神经网络(rcnn)、注意力机制和递归排序损失函数三个部分。

输入一个3d的图像块d表示图像块的尺寸，fseg(·)代表单分割网络例如3d-unet，则递归注意力模型在t时刻输出可表示为：

ot＝fseg(xt)(1)

其中，xt由原始输入图像i和t-1时刻产生的注意力层at生成：

其中，表示矩阵元素对应相乘。注意力层at由隐含状态量ht计算得到：

at＝σa(wa*ht+ba)(3)

wa和ba代表卷积滤波器和偏移量，ht是隐含状态量，滤波器的尺寸为n×c×ka×ka×ka，其中，n是滤波器输出通道数，c输入通道数，ka是卷积核尺寸，*代表卷积操作，σa定义为σa(x)＝2sigmoid(x)-1。算法的流程图如表1所示：

表1gen-ra算法流程图

接下来，本申请利用递归神经网络，用卷积代替乘法操作，类似门控回归单元(gru)(cho，k.，vanmerrinboer,b.,gulcehre,c.,bahdanau,d.,bougares,f.,schwenk,h.,bengio,y.:learningphraserepresentationsusingrnnencoder-decoderforstatisticalmachinetranslation.arxivpreprintarxiv:1406.1078(2014)moreira,i.,amaral,i.,domingues,i.,cardoso,a.,cardoso,m.,cardoso,j.:)，rcnn可定义为如下公式：

rt＝σ(wr*ht-1+ur*ft+br)(4)

zt＝σ(wz*ht-1+uz*ft+bz)(5)

其中，ft代表单分割网络倒数第二层的输出特征层，w*，u*和b*卷积层滤波器和偏移量。算法整体流程和结构如表1和图5。

在gen-ra网络中，本申请采用dice相似性系数(dsc)和递归排序损失函数(rr)定义损失函数：

其中，n表示最大迭代数，λ表示平衡系数，每次迭代计算的dsc损失可定义为：

其中，pi和yi表示预测后的像素和标签像素，∈是用来避免分式除以0的平滑系数。递归排序损失函数定义为：

该公式中，本申请希望在第idx个像素上的预测概率值至少比前一次预测概率值高出θ。这里本申请采用adam优化整个网络，学习率设为0.0001。

gen-ra网络学习过程具体可以描述为：1)首先预训练一个单一分割网络；2)使用dice相似性系数和递归排序损失函数交替训练整个分割网络。

本申请在公开数据集lidc-idri的数据集上进行实验，该数据包括1010个病人(1018次扫描)的ct数据，切片间距从0.45mm到5.0mm不等，所有结节均由2到7个放射医师独立标注。本申请中，本申请选取至少由4个医生标注过的910个结节作为分割样本，标签的分割轮廓是由半数以上的放射医师投票决定。实验采用5折交叉验证法。除了pn-samp[wu,b.,zhou,z.,wang,j.,wang,y.:jointlearningforpulmonarynoduleseg-mentation,attributesandmalignancyprediction.arxivpreprintarxiv:1802.03584(2018)]和cf-cnn[fu,j.,zheng,h.,mei,t.:lookclosertoseebetter:recurrentattentionconvolu-tionalneuralnetworkforfine-grainedimagerecognition.in:cvpr.(2017)]外，本申请的数据量与其他方法相同。单一分割网络采用现有的v-net，以及本申请改进的3d-fcn和3d-unet。实验使用pytorch[paszke,a.,gross,s.,chintala,s.,chanan,g.,yang,e.,devito,z.,lin,z.,desmaison,a.,antiga,l.,lerer,a.:automaticdifferentiationinpytorch.(2017)]工具箱，硬件配置为128g内存，8块nvidiatitanxpgpu。本申请中，本申请使用dice相似性系数dsc，敏感性(sen)和阳性预测值(ppv)评价分割精准度，具体定义为：

表2列出了本申请方法与其他常见分割方法的对比结果，表中结果用平均标准误差统计。其中gen-ra-3d-unet-t4表示基于3d-unet的gen-ra算法第四次预测后的dsc结果，高于cf-cnn[wang,s.,zhou,m.,liu,z.,liu,z.,gu,d.,zang,y.,dong,d.,gevaert,o.,tian,j.:centralfocusedconvolutionalneuralnetworks:developingadata-drivenmodelforlungnodulesegmentation.medicalimageanalysis40(2017)172–183]和cf-cnn-mf1.03％和2.79％。

表2与单一结节分割网络的比较结果

[3]c，ic，ek，,abdulkadir,a.,lienkamp,s.s.,brox,t.,ronneberger,o.:3du-net:learningdensevolumetricsegmentationfromsparseannotation.in:miccai,springer(2016)424–432

[2]long,j.,shelhamer,e.,darrell,t.:fullyconvolutionalnetworksforsemanticsegmentation.in:cvpr.(2015)3431–3440

[4]milletari,f.,navab,n.,ahmadi,s.a.:v-net:fullyconvolutionalneuralnetworksforvolumetricmedicalimagesegmentation.in:3dvision(3dv),2016fourthinternationalconferenceon,ieee(2016)565–571

[8]wu,b.,zhou,z.,wang,j.,wang,y.:jointlearningforpulmonarynoduleseg-mentation,attributesandmalignancyprediction.arxivpreprintarxiv:1802.03584(2018)

[7]wang,s.,zhou,m.,liu,z.,liu,z.,gu,d.,zang,y.,dong,d.,gevaert,o.,tian,j.:centralfocusedconvolutionalneuralnetworks:developingadata-drivenmodelforlungnodulesegmentation.medicalimageanalysis40(2017)172–183

为了进一步验证算法有效性，表3中本申请对比了单一分割网络每次迭代的分割结果。基于3d-unet的gen-ra网络的dsc可高达83.18％，高出方法[wang,s.,zhou,m.,liu,z.,liu,z.,gu,d.,zang,y.,dong,d.,gevaert,o.,tian,j.:centralfocusedconvolutionalneuralnetworks:developingadata-drivenmodelforlungnodulesegmentation.medicalimageanalysis40(2017)172–183]中的82.15％。可以看出，基于3d-unet、vnet、3d-fcn的gen-ra方法分别比对应单一分割方法的dsc结果高出1.97％,3.46％和2.14％。随着三次预测迭代后，可以看出dsc指标不断提高，验证了注意力模块和排序损失函数的有效性。同时，t1预测的结果比对应的单一分割模型结果要好，说明递归神经网络机制可以提升分割网络的性能，注意力融合输入相当于进行了数据增强。

表3单一分割方法与对应的gen-ra网络的比较结果

[4]milletari,f.,navab,n.,ahmadi,s.a.:v-net:fullyconvolutionalneuralnetworksforvolumetricmedicalimagesegmentation.in:3dvision(3dv),2016fourthinternationalconferenceon,ieee(2016)565–571

[3]c，ic，ek，,abdulkadir,a.,lienkamp,s.s.,brox,t.,ronneberger,o.:3du-net:learningdensevolumetricsegmentationfromsparseannotation.in:miccai,springer(2016)424–432

[2]long,j.,shelhamer,e.,darrell,t.:fullyconvolutionalnetworksforsemanticsegmentation.in:cvpr.(2015)3431–3440

上述量化结果都说明，提出的gen-ga分割网络性能优于主流的单一分割网络。本申请将递归神经网络、注意力机制和递归排序损失函数结合，通过迭代过程进一步精细化分割结果。同时，其他的单一分割方法均可以嵌入到到gen-ra网络中进行迭代分割，说明本申请方法具有一般性和普适性。实验证明，本申请算法在lidc-idri数据集上的分割性能超过目前发表的最好算法。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。