肺结节检测方法及装置与流程

本申请涉及医疗、计算机图形学领域，具体而言，涉及一种肺结节检测方法及装置。

背景技术：

肺结节是肺癌中最重要的征象之一，电子计算机断层扫描(英文全称：computedtomography，简称：ct)是检查肺结节最为有效的方式，因此研究基于电子计算机断层扫描的肺结节检测算法非常必要。

发明人发现，目前肺结节检测方法通过使用深度卷积神经网络，来提取具有判别性的特征，但是并不能较好地处理不同大小的结节的实际检测场景。

针对相关技术中肺结节检测效果较差的问题，目前尚未提出有效的解决方案。

技术实现要素：

本申请的主要目的在于提供一种肺结节检测方法及装置，以解决肺结节检测效果较差的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种肺结节检测方法。

根据本申请的肺结节检测方法包括：输入待检测图像；通过含有三维卷积特征金字塔的预设候选区域网络输出肺结节候选区域；以及消除所述肺结节候选区域的非结节区域，得到肺结节检测结果。

进一步地，通过含有三维卷积特征金字塔的预设候选区域网络输出肺结节候选区域包括：输入待检测ct图像；从所述待检测ct图像中获得可能是结节的位置和直径从而生成候选区域；并输出带有置信度得分的候选区域。

进一步地，消除所述肺结节候选区域的非结节区域包括：在预设假阳性消除网络中采用图像金字塔策略，根据预设候选区域网络输出的肺结节候选区域大小作为所述预设假阳性消除网络的不同输入。

进一步地，消除所述肺结节候选区域的非结节区域包括：在预设假阳性消除网络中采用特征金字塔池化策略，获取不同分辨率下结节候选区域图像。

进一步地，消除所述肺结节候选区域的非结节区域包括：采用课程学习策略的平滑的采样方式，采样预设假阳性消除网络的训练样本。

为了实现上述目的，根据本申请的另一方面，提供了一种肺结节检测装置。

根据本申请的肺结节检测装置包括：输入模块，用于输入待检测图像；候选模块，用于通过含有三维卷积特征金字塔的预设候选区域网络输出肺结节候选区域；以及消除模块，用于消除所述肺结节候选区域的非结节区域，得到肺结节检测结果。

进一步地，所述候选模块包括：图像输入单元，用于输入待检测ct图像；候选区域生成单元，根据所述待检测ct图像中的位置和直径生成候选区域；候选区域输出单元，用于通过三维卷积特征金字塔网络生成不同尺度的特征图，输出带有置信度得分的候选区域。

进一步地，所述消除模块包括：第一策略模块，用于在预设假阳性消除网络中采用图像金字塔策略，根据预设候选区域网络输出的肺结节候选区域大小选择不同的尺度作为所述预设假阳性消除网络的输入。

进一步地，所述消除模块，第二策略模块，用于在预设假阳性消除网络中采用特征金字塔池化策略，获取不同分辨率下结节候选区域图像特征。

进一步地，所述消除模块还包括：优化模块，挑选用于训练采用课程学习策略的平滑的采样方式，采样预设假阳性消除网络的样本。

在本申请实施例中，采用输入待检测图像的方式，通过含有三维卷积特征金字塔的预设候选区域网络输出肺结节候选区域，并通过消除模块消除了所述肺结节候选区域的非结节区域，得到肺结节检测结果的目的，从而实现了在合适的分辨率下获得关于结节的候选区域并且消除非结节的区域得到检测结果的技术效果，进而解决了肺结节检测效果较差的技术问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的肺结节检测方法示意图；

图2是根据本申请实施例的肺结节检测装置结构示意图；

图3是根据本申请实施例的肺结节检测装置结构示意图；以及

图4是根据本申请实施例的肺结节检测网络结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

如图1所示，该方法包括如下的步骤s102至步骤s106：

步骤s102，输入待检测图像；

将整个ct图像作为待检测图像进行输入。待检测图像通过任意的方式获取，并且包括多个。需要说明的是，本实施例中可以针对较大数量级的待检测ct图像进行肺结节检测。

步骤s104，通过含有三维卷积特征金字塔的预设候选区域网络输出肺结节候选区域；

通过含有三维卷积特征金字塔的预设候选区域网络可以根据实际的使用场景或者计算能力，对三维卷积特征金字塔配置不同的结构。

具体地，将特征金字塔网络扩展到三维卷积上，避免了卷积神经网络在高层语义层丢失各种细节信息，并且通过融合高层和低层特征，使得给定一个输入的待检测ct图像，特征金字塔网络可以很好地在合适的分辨率下获得关于结节的候选区域。通过上述网络可以生成一系列不同尺度的特征图，从而可以在合适的分辨率下对结节进行检测。

具体地，在网络中建立了特征图和原始ct图像之间的映射关系，特征图上的每个点预测该点是否为结节的概率以及一个多维比如四维的表示该点相对于真实结节中心的偏移向量，并且采用focalloss用于分类训练以及采用huberloss用于回归训练。由于面积最大的特征图与输入的原始ct图像的大小一致，故实现了很强的逐像素的检测能力，从而使得该特征金字塔网络对小结节具有的很强的召回能力。

作为本实施例中的优选实施方式，通过含有三维卷积特征金字塔的预设候选区域网络输出肺结节候选区域包括：输入待检测ct图像；根据所述待检测ct图像中的位置和直径生成候选区域；通过三维卷积特征金字塔网络生成不同尺度的特征图，输出带有置信度得分的候选区域。具体地，在每个候选区域用其在ct位置中的(x，y，z)以及大小直径r来表示。具体地，预设候选区域网络为三维特征金字塔网络。

步骤s106，消除所述肺结节候选区域的非结节区域，得到肺结节检测结果。

由于肺结节大小之间巨大的差异性影响了模型的训练，所以需要引入假阳性消除网络，消除一些非结节的区域。

作为本实施例中的优选实施方式，消除所述肺结节候选区域的非结节区域包括：在预设假阳性消除网络中采用图像金字塔策略，根据预设候选区域网络输出的肺结节候选区域大小选择不同的尺度作为所述预设假阳性消除网络的输入。具体地，采用图像金字塔策略时，通过含有三维卷积特征金字塔的预设候选区域网络中产生的不同大小的肺结节候选区域，在本申请实施例中根据结节候选区域的大小分为两种输入的大小作为第二阶段的假阳性消除网络的输入。

作为本实施例中的优选实施方式，消除所述肺结节候选区域的非结节区域包括：在预设假阳性消除网络中采用特征金字塔池化策略，获取不同分辨率下结节候选区域图像特征。具体地，特征金字塔池化策略时，在假阳性消除网络中采用与预设候选区域网络类似的网络结构，并取消了最大的特征图来加速模型的训练，在不同尺度的特征图经过池化后拼接到一起送入最后的全联接层中作为最后是否为结节的分类。

作为上述实施例中的优选，消除所述肺结节候选区域的非结节区域包括：采用课程学习策略的平滑的采样方式，挑选用于训练预设假阳性消除网络的样本。由于在含有三维卷积特征金字塔网络的候选区域网络中带来了严重的计算负担并且极大地增加了训练时间。为了解决这一问题，作为本实施例的预选采用了一种课程学习的方式，可显著增强网络训练过程。

从以上的描述中，可以看出，本申请实现了如下技术效果：

在本申请实施例中，采用输入待检测图像的方式，通过含有三维卷积特征金字塔的预设候选区域网络输出肺结节候选区域，达到了消除所述肺结节候选区域的非结节区域，得到肺结节检测结果的目的，从而实现了在合适的分辨率下获得关于结节的候选区域并且消除非结节的区域得到检测结果的技术效果，进而解决了肺结节检测效果较差的技术问题。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本申请实施例，还提供了一种用于实施上述肺结节检测方法的装置，如图2所示，该装置包括：输入模块10，用于输入待检测图像；候选模块20，用于通过含有三维卷积特征金字塔的预设候选区域网络输出肺结节候选区域；以及消除模块30，用于消除所述肺结节候选区域的非结节区域，得到肺结节检测结果。

本申请实施例的输入模块10中将整个ct图像作为待检测图像进行输入。待检测图像通过任意的方式获取，并且包括多个。需要说明的是，本实施例中可以针对较大数量级的待检测ct图像进行肺结节检测。

本申请实施例的候选模块20中通过含有三维卷积特征金字塔的预设候选区域网络可以根据实际的使用场景或者计算能力，对三维卷积特征金字塔配置不同的结构。

具体地，将特征金字塔网络扩展到三维卷积上，避免了卷积神经网络在高层语义层丢失各种细节信息，并且通过融合高层和低层特征，使得给定一个输入的待检测ct图像，特征金字塔网络可以很好地在合适的分辨率下获得关于结节的候选区域。通过上述网络可以生成一系列不同尺度的特征图，从而可以在合适的分辨率下对结节进行检测。

具体地，在网络中建立了特征图和原始ct图像之间的映射关系，特征图上的每个点预测该点是否为结节的概率以及一个多维比如四维的表示该点相对于真实结节中心的偏移向量，并且采用focalloss用于分类训练以及采用huberloss用于回归训练。由于面积最大的特征图与输入的原始ct图像的大小一致，故实现了很强的逐像素的检测能力，从而使得该特征金字塔网络对小结节具有的很强的召回能力。

优选地，所述候选模块包括：图像输入单元10，用于输入待检测ct图像；候选区域生成单元20，根据所述待检测ct图像中的位置和直径生成候选区域；候选区域输出单元30，用于通过三维卷积特征金字塔网络生成不同尺度的特征图，输出带有置信度得分的候选区域。

具体地，在每个候选区域用其在ct位置中的(x，y，z)以及大小直径r来表示。具体地，预设候选区域网络为三维特征金字塔网络。

本申请实施例的消除模块30中由于肺结节大小之间巨大的差异性影响了模型的训练，所以需要引入假阳性消除网络，消除一些非结节的区域。

优选地，所述消除模块包括：第一策略模块40，用于在预设假阳性消除网络中采用图像金字塔策略，根据预设候选区域网络输出的肺结节候选区域大小选择不同的尺度作为所述预设假阳性消除网络的输入。具体地，采用图像金字塔策略时，通过含有三维卷积特征金字塔的预设候选区域网络中产生的不同大小的肺结节候选区域，在本申请实施例中根据结节候选区域的大小分为两种输入的大小作为第二阶段的假阳性消除网络的输入。

优选地，所述消除模块包括：第一策略模块50，用于在预设假阳性消除网络中采用特征金字塔池化策略，获取不同分类率下结节候选区域图像特征。具体地，特征金字塔池化策略时，在假阳性消除网络中采用与预设候选区域网络类似的网络结构，并取消了最大的特征图来加速模型的训练，在不同尺度的特征图经过池化后拼接到一起送入最后的全联接层中作为最后是否为结节的分类。

作为上述实施例中的优选，所述消除模块还包括：优化模块，用于采用课程学习策略的平滑的采样方式，挑选用于训练预设假阳性消除网络的样本。由于在含有三维卷积特征金字塔网络的候选区域网络中带来了严重的计算负担并且极大地增加了训练时间。为了解决这一问题，作为本实施例的预选采用了一种课程学习的方式，可显著增强网络训练过程。

本申请的实现原理如下：

在本申请中提出一种用于肺结合图像和特征金字塔的两阶段的肺结节检测方法。通过该方法将特征金字塔网络扩展到三维卷积上，避免了卷积神经网络在高层语义层丢失各种细节信息，通过融合高层和低层特征，使得给定一个ct图像，特征金字塔网络可以较好地在合适的分辨率下获得关于结节的候选区域。此外，该方法还提供了图像金字塔的方法用于消除一些非结节的区域。由于三维卷积特征金字塔网络带来了严重的计算负担并且极大地增加了训练时间，为了解决这一问题，采用一种课程学习的方式显著增强网络训练过程。

(1)第一阶段：提取结节候选区域网络

如图4所示结节候选网络将整个ct图像做为输入，并输出一系列带有置信度得分的候选区域。每个候选区域用其在ct位置中的(x，y，z)以及大小直径r来表示，具体网络可以采用三维特征金字塔网络。

需要注意的是，该网络可以生成一系列不同尺度的特征图，从而可以在合适的分辨率下对结节进行检测。具体而言，该网络建立了特征图和原始ct图像之间的映射关系，特征图上的每个点预测该点是否为结节的概率以及一个4维的表示该点相对于真实结节中心的偏移向量。优选地，可以采用focalloss用于分类训练以及采用huberloss用于回归训练，由于面积最大的特征图与输入的原始ct图像的大小一致，实现了很强的逐像素的检测能力，为此该特征金字塔网络对小结节具有的很强的召回能力。

(2)第二阶段：假阳性消除网络

如图4所示在原始ct图像中以候选区域中心裁剪一个48*48*48大小的图像块，作为第二阶段网络的输入，用于消除一些非结节的候选区域。由于结节大小之间巨大的差异性影响了模型的训练，所以采用了两种方法来解决这个问题：方法一，用图像金字塔策略来生成网络的输入；方法二，用特征金字塔池化策略来获取不同分类率下图像的信息。

方法一，图像金字塔输入：传统的方法在同样大小的结节上反复进行金字塔操作。然而通过第一阶段的结节候选网络产生了不同大小的候选区域，根据结节候选区域的大小分为两种输入的大小送入到第二阶段的假阳性消除网络中。

方法二，特征金字塔池化：本申请在第二阶段采用与第一阶段类似的网络结构，并取消了最大的特征图来加速模型的训练，不同尺度的特征图经过池化后拼接到一起送入最后的全联接层中作为最后是否为结节的分类。

(3)课程学习策略

如图4所示考虑到大多数神经网络的优化方法基于损失函数和反向传播算法，这种方法会浪费不少时间在产生很低损失的样本上，这些样本产生的梯度接近于零对于模型训练几乎没有帮助。在本申请中使用了课程学习策略一种比较平滑的采样方法来进行训练。

假定数据集为其中xi为输入样本，yi为标签。现在有一个任务是关于数据集的分布课程学习的目的在于选取一个任务序列用于模型训练从而加快模型的学习或者提升模型最终任务的性能。

具体地，对于数据集中的每个训练样本通过设定一个状态(li，ni)，其中表示关于该样本最近c次训练产生的平均损失，ni表示该样本目前训练的次数，任务可以看作第t次训练循环，这样每个特定训练样本的权重可以用表示，其中a表示两种损失的平衡的因子。最终分布函数可以表示为这其中∈是一个超参数。

(4)模型细节

训练模型时，ct图像选取的窗宽为1600，窗位为-600。将ct图像调整大小到像素大小为0.8，特征金字塔网络的在不同特征图上的锚定大小设置为[4³，8³，16³，32³]。由于gpu显存的限制，在第一阶段选取128³大小的滑窗。在图像金字塔中，对于大的候选区域选取的像素大小为1.0，对于小的候选区域选取的像素大小为0.5，课程学习策略中的超参数α和∈设置为2和0.2。

(5)实验结果

本申请在公开数据集luna16上和比赛前三名的方法以及两个公开方法[ding,j.,li,a.,hu,z.,wang,l:accuratepulmonarynoduledetectionincomputedtomographyimagesusingdeepconvolutionalneuralnetworks.in:miccai.(2017)559-567]、[dou,q.,chen,h.,jin,e,:automatedpulmonarynoduledetectionvia3dconvnetswithonlinesamplefilteringandhybrid-lossresiduallearning.in:miccai.(2017)630-638]进行了对比具体如表1，从结果来看采用本申请中的方法在一个ct平均一个假阳性以上的时候结节的召回率均达到了最佳性能。此外本申请进一步分析几种不同的假阳性的情况

(1)与肺结节非常类似的区域；

(2)预测出来的结节中心非常接近真实的结节；

(3)非常明显非结节的区域。

经过分析，发现对于本申请中的肺结节检测系统而言，出现的假阳性大多数属于第一种情况即与肺结节非常类似的区域。

表格1在luna16数据集的结果(％)

其中，

dou,etal，ding,j.,li,a.,hu,z.,wang,l:accuratepulmonarynoduledetectionincomputedtomographyimagesusingdeepconvolutionalneuralnetworks.in:miccai.(2017)559-567

ding,etal，dou,q.,chen,h.,jin,e,:automatedpulmonarynoduledetectionvia3dconvnetswithonlinesamplefilteringandhybrid-lossresiduallearning.in:miccai.(2017)630-638

patech(1st)，setio,a.a.a.,traverso,a.,debel,t.,etc.:validation,comparison,andcombinationofalgorithmsforautomaticdetectionofpulmonarynodulesincomputed

tomographyimages:theluna16challenge.corrabs/1612.08012(2016)

jianpeicad(2nd)，setio,a.a.a.,traverso,a.,debel,t.,etc.:validation,comparison,andcombinationofalgorithmsforautomaticdetectionofpulmonarynodulesincomputed

tomographyimages:theluna16challenge.corrabs/1612.08012(2016)

fonovacad(3rd)，setio,a.a.a.,traverso,a.,debel,t.,etc.:validation,comparison,andcombinationofalgorithmsforautomaticdetectionofpulmonarynodulesincomputed

tomographyimages:theluna16challenge.corrabs/1612.08012(2016)

同时，为了验证课程学习的效果，本申请在公开数据集luna16测试了模型的训练时间，本申请分别记录了模型在采样锚定上正确率达到85％，90％，95％以及98％所需的训练时间，具体如表2所示，对比了是否采用课程学习所需的训练时间，从而验证了课程学习对于加速模型训练的有效性。

表格2候选区域网络所需的训练时间

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。