一种融合注意力机制的改进YOLOv4肺结节检测方法

一种融合注意力机制的改进yolo v4肺结节检测方法
技术领域
1.本发明涉及医学图像处理技术领域，具体涉及一种融合注意力的改进yolo v4肺结节检测方法。


背景技术：

2.体检成为筛查各种疾病的有效手段。其中肺癌的筛查就是通过肺部低剂量ct(computed tomography)来实现的。肺癌是世界上死亡率较高的疾病之一，且早期不易察觉，若因为出现相关症状再就去医院诊是往往都是中晚期。目前各大医院或者体检中心的建议是通过低剂量肺部ct的检查可以达到有效筛查和预防的目的。一般一次低剂量肺部ct扫描一般含有二维横断位肺窗图像、软组织窗图像以及通过后期三维重建出的冠状位或者矢状位图像，总图像加起来多达一两百张。因此在如此多图像中，微小结节单纯通过放射科医生肉眼来寻找的话出现漏诊率较高。近年来，随着人工智能的蓬勃发展，卷积神经网络被应用于语音识别、自然语言处理、目标检测等多个领域中，尤其在图像处理方面取得了显著的成果。
3.在临床医学中，肺癌早期以肺结节的形式存在，cad(computer-aided diagnosis) 系统作为肺部医学影像筛选的常用方法，常用于肺结节的检测。运用cad系统进行肺结节检测时，首先需要对数据进行分割和预处理，提取疑似恶性肺结节的区域；然后进行分类，剔除其中的假阳性结节；最后保留真实的阳性结节，防止假阳性比例过高对检测结果产生影响。对于肺结节的研究难题主要是检测准确性低和假阳性高，随着科学技术的不断发展传统的检测方法已经无法满足我国肺癌准确检测的需求，如果能有效地提高检测准确率、剔除假阳性结节，对于人类来说将是一项重大福祉。


技术实现要素：

4.1.一种融合注意力机制的改进yolo v4肺结节检测方法，其特征在于，所述的方法具体步骤如下：
5.step1：搜集图像建立数据集；
6.step2：对肺部ct图像进行预处理；
7.step3：选定目标检测的网络结构加以改进，在yolo v4网络基础上加入混合空洞卷积并融合注意力机制，使得扩大感受野的同时不丢失分辨率，更加关注包含重要信息的目标区域，抑制无关信息，能够更好的提高定位精确度；
8.step4：利用所选数据集对改进后的肺结节检测模型进行训练，进行肺结节检测。
9.2.根据权利要求1所述的一种融合注意力机制的改进yolo v4肺结节检测方法，其特征在于，所述的step1的具体步骤如下：
10.使用luna16数据集，luna16数据集包括888张mhd格式的低剂量肺部ct影图像，每个图像包含了一系列胸腔的多个轴向切片。
11.3.根据权利要求1所述的一种融合注意力机制的改进yolo v4肺结节检测方法，其
特征在于，所述的step2的具体步骤如下：
12.ct采集后所得的数值为x射线衰减值，单位为亨氏(hu)。在肺部ct图像中，肺的hu 值一般在-500左右，将保留hu值在[-1000，+400]内的区域，其他区域被认为与肺部疾病检测无关，故舍去。
[0013]
4.根据权利要求1所述的一种融合注意力机制的改进yolo v4肺结节检测方法，其特征在于，所述的step3的具体步骤如下：
[0014]
step3.1：骨干网络结构采用csp链接，本发明在主干网络中加入混合空洞卷积模块，扩大感受野的同时不丢失分辨率，提高定位精确度，增加主干特征接收范围，便于提取上下文信息；
[0015]
step3.2：由于肺结节目标小，本发明融合了注意力机制模块(cbam)，用来增加有用特征的权重，更加关注包含重要信息的目标区域；同时抑制无效特征权重，抑制无关信息，从而达到提高目标检测的整体精度。
[0016]
5.根据权利要求1所述的一种融合注意力机制的改进yolo v4肺结节检测方法，其特征在于，所述的step4的具体步骤如下：
[0017]
利用所选数据集对改进后的肺结节检测模型进行训练，将训练后最佳的权重文件加载至本发明的模型中，进行特征提取，生成一系列候选区域，然后根据候选区域与图片上物体真实框之间的位置关系对候选框进行标注，生成肺结节预测框和肺结节预测置信度。
[0018]
本发明的有益效果在于：本发明能有效地提高肺结节检测准确率和检测速度，为临床提供便捷的阅片方式，减少放射科医生在日常工作中因人为原因导致的误诊。
附图说明
[0019]
图1是一种基于注意力机制的改进yolo v4肺结节检测流程图。
[0020]
图2是一种基于注意力机制的改进yolo v4肺结节检测网络结构示意图。
[0021]
图3是混合空洞卷积模块示意图。
[0022]
图4是注意力机制(cbam)示意图。
[0023]
图5是肺部ct示例图。
[0024]
图6是肺部ct示例图中肺结节检测结果图。
具体实施方案
[0025]
下面结合附图对本发明作进一步的详细说明。
[0026]
本发明提供的是一种融合注意力机制的改进yolo v4肺结节检测方法，具体检测流程如图 1。
[0027]
步骤1：搜集原始3d ct图像建立数据集。
[0028]
本发明使用luna16数据集，luna16数据集包括888张mhd格式的低剂量肺部ct影图像，每个图像包含了一系列胸腔的多个轴向切片。
[0029]
步骤2：处理肺部ct图像。
[0030]
将数据集划定为voc形式的2d检测数据，ct采集后所得的数值为x射线衰减值，单位为亨氏(hu)。在肺部ct图像中，肺的hu值一般在-500左右，将保留hu值在[-1000，+400] 内的区域，其他区域被认为与肺部疾病检测无关，故舍去。
[0031]
luna16数据集中结节的判定标准为四名放射科专家中至少有三名认定该结节半径大于 3mm。因此在数据集的注释中，非结节、半径小于3mm的结节和被1名或两名放射科专家认为是半径大于3mm的结节被认定为无关，故舍去。
[0032]
步骤3：选定目标检测的网络结构。
[0033]
本发明选用yolo v4作为基本目标检测模型，加入混合空洞卷积并融合注意力机制，成为一种基于注意力机制的改进yolo v4网络结构，如图2。
[0034]
yolo v4网络结构包括骨干网(capdarknet53)、颈部(neck)、头部(head)。
[0035]
具体改进步骤如下：
[0036]
3.1骨干网络结构采用csp链接，本发明在主干网络中加入混合空洞卷积模块，如图 3，空洞卷积与普通卷积的不同点在于卷积核中填充了0，根据空洞率的不同，填充0的个数也不同，感受野也不同，从而获得更多不同尺度的特征信息。
[0037]
空洞卷积的卷积核的计算方法为：
[0038]
xn＝xk+(x
k-1)
×
(d
r-1)
[0039]
其中，xn是空洞卷积的卷积核大小，xk是原卷积核大小，dr是空洞率。
[0040]
空洞卷积的感受野的计算方法为：
[0041][0042]
其中，ym为第m层每个点的感受野，y
m-1
为第m-1层每个点的感受野,xm是第m层卷积的卷积核大小，si是第i层卷积的步长。
[0043]
加入混合空洞卷积模块的目的是扩大感受野的同时不丢失分辨率，提高定位精确度。颈部网络中采用ssp模块，增加主干特征接收范围，便于提取上下文信息。
[0044]
3.2由于肺结节目标小，本发明融合了注意力机制(cbam)模块，如图4。
[0045]
注意力机制模块包含通道注意力机制(cam)和空间注意力机制(sam)两个方面。
[0046]
通道注意力机制(cam)采用自适应平均池化与自适应最大池化压缩特征图在空间维度 (通道)上的数值信息,自适应平均池化对特征图上的每一个像素点都有反馈,而自适应最大池化在进行梯度反向传播计算时,只有特征图中响应最大的地方有梯度的反馈。两个连续的全连接层之后采用sigmoid激活函数。
[0047]
通道注意力机制的权重：
[0048][0049]
其中，和分别为对通道上的特征进行全局平均池化和最大池化操作，w1和w0为神经网络上的两层权重参数，σ为sigmoid激活函数.
[0050]
空间注意力机制(sam)首先将输入特征在空间维度上进行最大池化和平均池化,并将两种池化后的结果进行连接，接着通过一个卷积核对拼接后的结果进行卷积,要保证最后得到的特征在空间维度上与输入的特征图一致，之后采用sigmoid激活函数进行正规化处理。
[0051]
空间注意力机制的权重：
[0052][0053]
其中，和分别为对空间上的特征进行全局平均池化和最大池化操作，f为
对两个拼接融合的特征使用1
×
1的卷积核学习，σ为sigmoid激活函数。
[0054]
注意力机制模块可用来增加有用特征的权重，更加关注包含重要信息的目标区域；同时抑制无效特征权重，抑制无关信息，从而达到提高目标检测的整体精度。
[0055]
步骤4：数据训练保存权重文件。
[0056]
利用所述数据集对所述基于融合注意力机制的改进yolo v4的肺结节检测模型进行训练，为了得到理想权重参数，选diou作为损失函数
[0057][0058][0059][0060]
其中，a为预测框，b为标签框，b，b
gt
分别代表了anchor框和目标框的中心点，ρ代表的是计算两个中心点间的欧式距离，c代表的是能够同时覆盖anchor和目标框的最小矩形的对角线距离。
[0061]
根据步骤4设定的总损失函数，网络的初始化为0.001，批大小设置为8，使用adam 优化器在pytorch1.4.0平台上进行网络的训练，直至总损失函数的值收敛到设定误差范围内后停止训练。当损失函数收敛接近于0时，将训练后最佳的权重文件加载至本发明的模型中，进行特征提取，生成一系列候选区域。
[0062]
步骤5：输出结果。
[0063]
加载权重进行预测，然后根据候选区域与图片上物体真实框之间的位置关系对候选框进行标注，生成肺结节预测框和肺结节预测置信度。
[0064]
将图5作为肺部ct示例图进行输入，图6展示了测试集中肺部ct示例图中肺结节检测结果，由结果图可以看出，本发明提供的基于注意力机制的改进yolo v4肺结节检测方法能够从临床真实ct病例中精准并快速检测出肺结节，节省放射科医生大量阅片时间，提高工作效率。