基于球体IOU损失和降假阳多任务的肺结节检测方法及装置与流程

基于球体iou损失和降假阳多任务的肺结节检测方法及装置
技术领域
1.本技术实施例涉及肺结节检测技术领域，尤其涉及一种基于球体iou损失和降假阳多任务的肺结节检测方法及装置。


背景技术：

2.肺癌是世界上发病率和死亡率最高的癌症。肺癌早期是以肺结节的形式存在的，早期诊断和治疗肺结节可提高病人生存率，计算机断层扫描(ct)已被广泛应用并被证明是诊断肺结节的有效方法。在胸部ct图像的计算机辅助分析中，基于深度学习的结节的检测、降假阳是肺结节检测系统中最常见的任务。结节检测可以定位出结节的具体位置；降假阳可以对检测出来的结节进一步排除假阳性结果。
3.在实际应用中，用于肺结节检测和肺结节降假阳的计算机辅助诊断系统通常由两个独立的、分别优化的子系统组成，但两个子系统完全独立地处理每个任务存在一些缺点。首先，训练多个深度卷积神经网络需要耗费大量的时间和资源，采用的是非端到端方法，使得整个系统变得更为复杂，显著降低模型的推断速度。其次，每个任务单独训练，整个系统的性能可能不是最优的，因为单独训练几个系统会阻碍彼此之间的通信和学习内在特征表示，不利于结节分类。


技术实现要素：

4.本技术实施例提供一种基于球体iou损失和降假阳多任务的肺结节检测方法及装置，以解决现有肺结节检测系统复杂，系统性能不优，降低模型推断速度的问题。
5.在第一方面，本技术实施例提供了一种基于球体iou损失和降假阳多任务的肺结节检测方法，所述方法包括以下步骤：
6.获取三维肺部ct影像并对所述三维肺部ct影像进行预处理；
7.将训练数据输入预设的肺结节检测网络，联合预设的肺结节降假阳网络进行训练，以得到肺结节检测和降假阳多任务联合模型；
8.将所述三维肺部ct影像输入所述肺结节检测和降假阳多任务联合模型进行预测，得到检测结果。
9.进一步的，所述获取三维肺部ct影像并对所述三维肺部ct影像进行预处理，包括：
10.将所述三维肺部ct影像数据的间隔调整为设定像素间隔；将所述三维肺部ct影像的hu值截取到设定区间，并转换成设定灰度值，并进行归一化处理。
11.进一步的，所述将训练数据输入预设的肺结节检测网络，联合预设的肺结节降假阳网络进行训练，以得到肺结节检测和降假阳多任务联合模型之前，还包括：
12.搭建肺结节检测网络；
13.搭建肺结节降假阳网络。
14.进一步的，所述搭建肺结节检测网络包括：构建特征提取主干网络和构建rpn结构；
15.其中，特征提取处理按以下公式进行：
16.p
i+1
＝fi(pi)，i＝1，2，
…
，k，
17.式中，p1表示输入网络的图像，k表示特征提取的次数，p2到p
k+1
表示进行1次到k次特征提取后得到的第2到第k+1层特征，fi表示第i次进行特征提取的操作；
18.得到了p2到p
k+1
这些多层特征后，进行特征融合处理；特征融合处理按照以下公式进行：
19.pi＝fi(p2，p3，...，p
k+1
)，i＝2，3，...，k+1；
20.式中，pi表示融合后的第i层特征，其尺寸和pi一致，fi表示第i层融合特征的融合处理，包括了对低层特征图的下采样和高层特征图的上采样操作；
21.进行肺结节检测处理，按照以下公式进行：
22.resulti＝hi(pi)，i＝2，3，...，k+1；
23.式中，resulti表示对第i层特征的结节预测结果；
24.其中，rpn网络的输出维度为：
[0025][0026]
其中，a＝96，i＝1，2，...，k，anchor数量为各特征层上设定的anchor数量，anchor维度为5，使用5个值(a
x
，ay，az，ad，p)表示，(a
x
，ay，az，ad)表示anchor的坐标和直径，p表示肺结节的可能性。
[0027]
进一步的，所述搭建肺结节降假阳网络，包括：
[0028]
将预设的预测值结节中心坐标及直径映射到其它所有特征层上进行剪裁，采用roi pooling对各层剪裁的特征尺寸输出设定大小；
[0029]
进行拼接操作，并将拼接后的特征接入全连接层，最终使用sof tmax激活函数进行结节与非结节分类。
[0030]
进一步的，所述将训练数据输入预设的肺结节检测网络，联合预设的肺结节降假阳网络进行训练，以得到肺结节检测和降假阳多任务联合模型，包括：
[0031]
所述肺结节检测网络在所述prn网络训练时，基于肺结节锚框的检测，包含分类损失l
cls
和iou损失l
iou
；
[0032][0033]
代表真实结节i的相对坐标信息，其中(b
x
，by，bz，bd)是原始空间中真实肺结节的坐标和直径，(a
x
，ay，az，ad)表示锚框i的坐标和直径，计算球体iou损失时，转换为原始空间中的真实值，代入iou进行处理；
[0034]
分类损失为二元交叉熵损失函数的公式为：
[0035][0036]
其中yi为真实标签，pi为假阳性肺结节预测值；
[0037]
所述球体iou损失定义：
[0038]
两个肺结节球体中心点分别为a(x1，y1，z1)和b(x2，y2，z2)，ra和rb分别表示球体a和球体b的半径；
[0039]
球a与球b中心坐标的距离定义为：
[0040]dab
＝||a-b||2；
[0041]
sa表示球体a的面积，sb表示球体b的面积，当sa和sb相交时，即ra+rb＞d
ab
，让a和分别表示两个球体的中心角，令ab表示交角；h1和h2分别表示相交弦到各自弧的距离，这些值可表示为：
[0042][0043][0044][0045][0046][0047][0048]
当sa和sb不相交时，即ra+rb≤d
ab
，|sa∩sb|＝0，sa和sb的并集可表示为：
[0049][0050]
最终可得到两球体的iou：
[0051][0052]
iou损失为：
[0053]
l
iou
＝1-iou；
[0054]
所述肺结节降假阳网络：损失函数同样采用二元交叉熵损失函数l
fpr
；
[0055]
所述肺结节检测和降假阳多任务联合模型，训练总损失函数为：
[0056]
loss＝l
cls
+l
iou
+l
fpr
；
[0057]
训练rpn网络，所述rpn训练稳定之后，将fpr分支添加到所述肺结节检测和降假阳多任务联合模型中联合训练。
[0058]
进一步的，所述将所述三维肺部ct影像输入所述肺结节检测和降假阳多任务联合模型进行预测，得到检测结果，包括：
[0059]
基于训练好的模型，将待筛选的三维肺部ct影像，输入网络进行预测；
[0060]
将整个所述三维肺部ct影像分成若干个96
×
96
×
96大小的块，输入所述肺结节检测和降假阳多任务联合模型进行检测，并将检测到的结果组合在一起。只保留检测到的检测概率大于0.12的阈值；
[0061]
基于检测概率采用非最大抑制，其中交并比(iou)阈值为0.1；
[0062]
所述肺结节检测和降假阳多任务联合模型输出肺结节的实际中心点坐标坐置(x,y,z)及直径d，以及结节分类概率p，其中分类概率为rpn分类预测值及fpr分类预测值的均值。
[0063]
在第二方面，本技术实施例还提供一种基于球体iou损失和降假阳多任务的肺结节检测装置，包括：
[0064]
影像处理模块，用于获取三维肺部ct影像并对所述三维肺部ct影像进行预处理；
[0065]
模型获取模块，用于将训练数据输入预设的肺结节检测网络，联合预设的肺结节降假阳网络进行训练，以得到肺结节检测和降假阳多任务联合模型；
[0066]
结果检测模块，用于将所述三维肺部ct影像输入所述肺结节检测和降假阳多任务联合模型进行预测，得到检测结果。
[0067]
在第三方面，本技术实施例还提供一种计算机设备，包括：存储器以及一个或多个处理器；
[0068]
所述存储器，用于存储一个或多个程序；
[0069]
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的一种基于球体iou损失和降假阳多任务的肺结节检测方法。
[0070]
在第四方面，本技术实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述的一种基于球体iou损失和降假阳多任务的肺结节检测方法。
[0071]
本技术实施例通过获取三维肺部ct影像并对所述三维肺部ct影像进行预处理；将训练数据输入预设的肺结节检测网络，联合预设的肺结节降假阳网络进行训练，以得到肺结节检测和降假阳多任务联合模型；将所述三维肺部ct影像输入所述肺结节检测和降假阳多任务联合模型进行预测，得到检测结果；本技术实施例有效联合肺结节检测和肺结节降假阳多任务进行端到端训练，降低了系统的复杂性，同时提升模型的推断速度，聚合多尺度特征，来进行结节分类，从而提升分类效果。
附图说明
[0072]
图1是本技术实施例提供的一种基于球体iou损失和降假阳多任务的肺结节检测方法的流程图；
[0073]
图2是本技术实施例提供的一种基于球体iou损失和降假阳多任务的肺结节检测方法的肺结节检测网络结构图；
[0074]
图3是本技术实施例提供的一种基于球体iou损失和降假阳多任务的肺结节检测方法的肺结节降假阳网络结构图；
[0075]
图4是本技术实施例提供的一种基于球体iou损失和降假阳多任务的肺结节检测方法的两球体相交投影视图；
[0076]
图5是本技术实施例提供的一种基于球体iou损失和降假阳多任务的肺结节检测装置的结构示意图；
[0077]
图6是本技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
[0078]
为了使本技术的目的、技术方案和优点更加清楚，下面结合附图对本技术具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本技术，而非对本技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本技术相关
的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0079]
目前，在实际应用中，用于肺结节检测和肺结节降假阳的计算机辅助诊断系统通常由两个独立的、分别优化的子系统组成，但两个子系统完全独立地处理每个任务存在一些缺点。首先，训练多个深度卷积神经网络需要耗费大量的时间和资源，采用的是非端到端方法，使得整个系统变得更为复杂，显著降低模型的推断速度。其次，每个任务单独训练，整个系统的性能可能不是最优的，因为单独训练几个系统会阻碍彼此之间的通信和学习内在特征表示，不利于结节分类。对此，本技术实施例建立一套基于球体iou损失和降假阳多任务的肺结节检测方法来避免现有肺结节检测系统复杂，系统性能不优，降低模型推断速度的问题。
[0080]
实施例中提供的基于球体iou损失和降假阳多任务的肺结节检测方法可以由基于球体iou损失和降假阳多任务的肺结节检测装置执行，该基于球体iou损失和降假阳多任务的肺结节检测装置可以通过软件和/或硬件的方式实现，并集成在基于球体iou损失和降假阳多任务的肺结节检测设备中。其中，基于球体iou损失和降假阳多任务的肺结节检测设备可以是计算机等设备。
[0081]
图1为本技术实施例提供的一种基于球体iou损失和降假阳多任务的肺结节检测方法的流程图。参考图1，所述方法包括以下步骤：
[0082]
步骤110、获取三维肺部ct影像并对所述三维肺部ct影像进行预处理；
[0083]
具体的，将所述三维肺部ct影像数据的间隔调整为设定像素间隔；将所述三维肺部ct影像的hu值截取到设定区间，并转换成设定灰度值，并进行归一化处理。
[0084]
示例性的，将三维肺部ct影像数据的间隔统一采样调整为1mm
×
1mm
×
1mm的像素间隔；ct影像的hu值截取到区间[-1200,600]，并转换成[0，255]之间的灰度值，最终归一化为[0,1]；预处理还包括影像旋转、翻转和放缩增强操作。训练数据来自肺部ct公开数据集luna2016。子立方体被裁剪出1*96*96*96尺寸的数据，作为特征提取主干网络的输入。
[0085]
在其中一些实施例中，搭建肺结节检测网络和搭建肺结节降假阳网络。
[0086]
可选的，所述搭建肺结节检测网络包括：请参照图2，构建特征提取主干网络和构建rpn(regionproposalnetwork)结构；特征提取主干网络使用3d-unet结构，多尺度检测头采用3dfpn结构。每个输出特征层独立连接rpn网络进行肺节结位置预测及分类。
[0087]
其中，特征提取处理按以下公式进行：
[0088]
p
i+1
＝fi(pi)，i＝1，2，...，k，
[0089]
式中，p1表示输入网络的图像，k表示特征提取的次数，p2到p
k+1
表示进行1次到k次特征提取后得到的第2到第k+1层特征，fi表示第i次进行特征提取的操作；
[0090]
得到了p2到p
k+1
这些多层特征后，进行特征融合处理；特征融合处理按照以下公式进行：
[0091]
pi＝fi(p2，p3，...，p
k+1
)，i＝2，3，...，k+1；
[0092]
式中，pi表示融合后的第i层特征，其尺寸和pi一致，fi表示第i层融合特征的融合
处理，包括了对低层特征图的下采样和高层特征图的上采样操作；
[0093]
进行肺结节检测处理，按照以下公式进行：
[0094]
resulti＝hi(pi)，i＝2，3，...，k+1；
[0095]
式中，resulti表示对第i层特征的结节预测结果；
[0096]
其中，rpn网络的输出维度为：
[0097][0098]
其中，a＝96，i＝1，2，...，k，anchor数量为各特征层上设定的anchor数量，anchor维度为5，使用5个值(a
x
，ay，az，ad，p)表示，(a
x
，ay，az，ad)表示anchor的坐标和直径，p表示肺结节的可能性。
[0099]
可选的，所述搭建肺结节降假阳网络，包括：将预设的预测值结节中心坐标及直径映射到其它所有特征层上进行剪裁，采用roi pooling对各层剪裁的特征尺寸输出设定大小；进行拼接操作，并将拼接后的特征接入全连接层，最终使用softmax激活函数进行结节与非结节分类。
[0100]
示例性的，如图3所示，以p2特征层为例，该特征层的rpn网络部分的预测结果为result2，以其中一个预测的建议框得到的预测值结节中心坐标及直径，映射到其它所有特征层(p3-pk)上进行剪裁的特征，采用roi pooling对各层剪裁的特征尺寸输出设定大小，然后进行拼接操作，拼接后的特征接入全连接层，最终使用softmax激活函数进行结节与非结节分类。聚合多尺度特征方法，增强了候选结节上下文信息，使得结节分类更为有效。
[0101]
步骤120、将训练数据输入预设的肺结节检测网络，联合预设的肺结节降假阳网络进行训练，以得到肺结节检测和降假阳多任务联合模型；
[0102]
可选的，所述将训练数据输入预设的肺结节检测网络，联合预设的肺结节降假阳网络进行训练，以得到肺结节检测和降假阳多任务联合模型，包括：
[0103]
所述肺结节检测网络在所述prn网络训练时，基于肺结节锚框的检测，包含分类损失l
cls
和iou损失l
iou
；
[0104][0105]
代表真实结节i的相对坐标信息，其中(b
x
，by，bz，bd)是原始空间中真实肺结节的坐标和直径，(a
x
，ay，az，ad)表示锚框i的坐标和直径，计算球体iou损失时，转换为原始空间中的真实值，代入iou进行处理；
[0106]
分类损失为二元交叉熵损失函数的公式为：
[0107][0108]
其中yi为真实标签，pi为假阳性肺结节预测值；
[0109]
所述球体iou损失定义：由于肺结节呈椭球状，边界球比边界框更适合表示肺结节，在临床肺结节诊断中，常用的标注方法是在三维空间中使用中心坐标和直径表示结节。使用基于球体的iou来衡量预测结节与真实结节之间的重合程度。
[0110]
使用投影视图来说明计算细节，如图4所示，两个肺结节球体中心点分别为a(x1，y1，z1)和b(x2，y2，z2)，ra和rb分别表示球体a和球体b的半径；
[0111]
球a与球b中心坐标的距离定义为：
[0112]dab
＝||a-b||2；
[0113]
sa表示球体a的面积，sb表示球体b的面积，当sa和sb相交时，即ra+rb＞d
ab
，让和分别表示两个球体的中心角，令φ
ab
表示交角；h1和h2分别表示相交弦到各自弧的距离，这些值可表示为：
[0114][0115][0116][0117][0118][0119][0120]
当sa和sb不相交时，即ra+rb≤d
ab
，|sa∩sb|＝0，sa和sb的并集可表示为：
[0121][0122]
最终可得到两球体的iou：
[0123][0124]
iou损失为：
[0125]
l
iou
＝1-iou；
[0126]
所述肺结节降假阳网络：损失函数同样采用二元交叉熵损失函数l
fpr
；
[0127]
所述肺结节检测和降假阳多任务联合模型，训练总损失函数为：
[0128]
loss＝l
cls
+l
iou
+l
fpr
；
[0129]
训练rpn网络，所述rpn训练稳定之后，将fpr分支添加到所述肺结节检测和降假阳多任务联合模型中联合训练。
[0130]
步骤130、将所述三维肺部ct影像输入所述肺结节检测和降假阳多任务联合模型进行预测，得到检测结果。
[0131]
具体的，基于训练好的模型，将待筛选的三维肺部ct影像，输入网络进行预测；由于gpu显存限制，将整个所述三维肺部ct影像分成若干个96
×
96
×
96大小的块，输入所述肺结节检测和降假阳多任务联合模型进行检测，并将检测到的结果组合在一起。只保留检测到的检测概率大于0.12的阈值；基于检测概率采用非最大抑制，其中交并比(iou)阈值为0.1；所述肺结节检测和降假阳多任务联合模型输出肺结节的实际中心点坐标坐置(x,y,z)及直径d，以及结节分类概率p，其中分类概率为rpn分类预测值及fpr分类预测值的均值。
[0132]
在上述实施例的基础上，图5为本技术实施例提供的一种基于球体iou损失和降假阳多任务的肺结节检测装置的结构示意图。参考图5，本实施例提供的基于球体iou损失和
降假阳多任务的肺结节检测装置，所述基于球体iou损失和降假阳多任务的肺结节检测装置具体包括：影像处理模块101、模型获取模块102和结果检测模块103。
[0133]
所述影像处理模块101用于获取三维肺部ct影像并对所述三维肺部ct影像进行预处理；所述模型获取模块102用于将训练数据输入预设的肺结节检测网络，联合预设的肺结节降假阳网络进行训练，以得到肺结节检测和降假阳多任务联合模型；所述结果检测模块103用于将所述三维肺部ct影像输入所述肺结节检测和降假阳多任务联合模型进行预测，得到检测结果。
[0134]
上述，通过获取三维肺部ct影像并对所述三维肺部ct影像进行预处理；将训练数据输入预设的肺结节检测网络，联合预设的肺结节降假阳网络进行训练，以得到肺结节检测和降假阳多任务联合模型；将所述三维肺部ct影像输入所述肺结节检测和降假阳多任务联合模型进行预测，得到检测结果；本技术实施例有效联合肺结节检测和肺结节降假阳多任务进行端到端训练，降低了系统的复杂性，同时提升模型的推断速度，聚合多尺度特征，来进行结节分类，从而提升分类效果。
[0135]
本技术实施例提供的基于球体iou损失和降假阳多任务的肺结节检测装置可以用于执行上述实施例提供的基于球体iou损失和降假阳多任务的肺结节检测方法，具备相应的功能和有益效果。
[0136]
本技术实施例还提供了一种计算机设备，该计算机设备可集成本技术实施例提供的基于球体iou损失和降假阳多任务的肺结节检测装置。图6是本技术实施例提供的一种计算机设备的结构示意图。参考图6，该计算机设备包括：输入装置43、输出装置44、存储器42以及一个或多个处理器41；所述存储器42，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器41执行，使得所述一个或多个处理器41实现如上述实施例提供的基于球体iou损失和降假阳多任务的肺结节检测方法。其中输入装置43、输出装置44、存储器42和处理器41可以通过总线或者其他方式连接，图6中以通过总线连接为例。
[0137]
处理器41通过运行存储在存储器42中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的基于球体iou损失和降假阳多任务的肺结节检测方法。
[0138]
上述提供的计算机设备可用于执行上述实施例提供的基于球体iou损失和降假阳多任务的肺结节检测方法，具备相应的功能和有益效果。
[0139]
本技术实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种基于球体iou损失和降假阳多任务的肺结节检测方法，该基于球体iou损失和降假阳多任务的肺结节检测方法包括：获取三维肺部ct影像并对所述三维肺部ct影像进行预处理；将训练数据输入预设的肺结节检测网络，联合预设的肺结节降假阳网络进行训练，以得到肺结节检测和降假阳多任务联合模型；将所述三维肺部ct影像输入所述肺结节检测和降假阳多任务联合模型进行预测，得到检测结果。
[0140]
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如cd-rom、软盘或磁带装置；计算机装置存储器或随机存取存储器，诸如dram、ddrram、sram、edoram，兰巴斯(rambus)ram等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机装置中，或者
可以位于不同的第二计算机装置中，第二计算机装置通过网络(诸如因特网)连接到第一计算机装置。第二计算机装置可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机装置中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
[0141]
当然，本技术实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的基于球体iou损失和降假阳多任务的肺结节检测方法，还可以执行本技术任意实施例所提供的基于球体iou损失和降假阳多任务的肺结节检测方法中的相关操作。
[0142]
上述实施例中提供的基于球体iou损失和降假阳多任务的肺结节检测装置、存储介质及计算机设备可执行本技术任意实施例所提供的基于球体iou损失和降假阳多任务的肺结节检测方法，未在上述实施例中详尽描述的技术细节，可参见本技术任意实施例所提供的基于球体iou损失和降假阳多任务的肺结节检测方法。
[0143]
上述仅为本技术的较佳实施例及所运用的技术原理。本技术不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本技术的保护范围。因此，虽然通过以上实施例对本技术进行了较为详细的说明，但是本技术不仅仅限于以上实施例，在不脱离本技术构思的情况下，还可以包括更多其他等效实施例，而本技术的范围由权利要求的范围决定。