一种基于YOLOv4的轻量级机场场面监视方法与流程

一种基于yolov4的轻量级机场场面监视方法
技术领域
1.本发明涉及计算机视觉目标检测领域，尤其涉及一种基于yolov4的轻量级机场场面监视方法。


背景技术：

2.目前在机场场面上主要使用目视、雷达和信号定位设备来进行机场场面的监控工作以保证机场场面的正常运转，但随着机场场面环境的日益复杂和大型化，这些传统监视方式的部署成本和监视压力越来越大。目前传统的场面监视雷达、多点定位和广播式自动相关监视技术只能对飞机等协作目标进行有效监控，对于场面上的车辆和人员等非协作目标则不能很好的监控，同时对于一些小规模的机场来说，大规模的场面监视雷达以及大量的地面信号处理基站太昂贵，部署起来复杂，并且雷达信号会由于某些建筑结构的存在导致产生一些监控盲点和信号干扰，而机场场面上基于视频的监控方式相对来说更加便宜和简单且现有机场基本都是必须安装监控摄像头的，同时配备相应的计算处理设备即可，所以机场场面上基于视频的监控方式成为了新的方向。


技术实现要素：

3.本发明要解决的技术问题是提供一种能够有效提高机场场面的监控效率并节省部署设备成本的基于yolov4的轻量级机场场面监视方法。
4.实现本发明目的的技术方案是提供一种基于yolov4的轻量级机场场面监视方法，其特征在于包括以下步骤：
5.步骤
①
：采集机场场面监控摄像头拍摄的监控视频，并对监控视频按关键帧截取的方式，将每一帧保存为图片，然后利用开源软件labelimg对保存的图片进行标注，标注包括了目标位置信息和类别信息，其中类别信息包括三类：airplane、man、car，从而构建机场场面数据集；
6.步骤
②
：采用yolov4算法作为基础的目标检测模型，之后使用以下3个改进模块来构建ien-yolo检测模型：(1)使用轻量级efficientnet网络作为骨干特征提取网络，并在骨干网络中使用eca注意力机制替换se注意力机制；(2)在yolov4算法中加入2倍的反卷积上采样和加权特征融合结构；(3)在yolov4算法中加入一层高分辨率检测层；在yolov4算法基础上加入以上三个不同改进模块之后得到ien-yolo检测模型，实现对机场场面上的飞机即airplane、人员即man和车辆即car的检测识别；
7.步骤
③
：利用构建好的机场场面数据集并以数据集中标注框的iou为聚类指标来计算出ien-yolo检测模型需要预先设计的anchor框参数；
8.步骤
④
：利用构建好的机场场面数据集并结合小目标数据增强策略来对ien-yolo检测模型进行训练，通过训练得到最优的权值参数，之后用最优的权值参数来构建最终的ien-yolo机场场面检测模型；
9.步骤
⑤
：利用构建好的ien-yolo机场场面检测模型来检测识别输入的机场场面监
控图像中的所有目标，包括了各个目标的位置信息和类别分数信息，最后使用soft-nms算法对得到检测框进行重叠问题处理，从而得到最终的检测识别结果。
10.进一步的，在步骤
②
中使用轻量级的efficientnet网络替换yolov4模型原有的cspdarknet53骨干网络，efficientnet网络包括了8个模块，第一个模块为3x3的卷积模块，其余7个模块为mbconv模块，每个mbconv模块基本组成单位为：深度可分离卷积层、switch激活函数、se注意力机制和残差连接。
11.更进一步的，在步骤
②
中使用更加轻量且对小目标检测效果更好的eca注意力替换原始efficientnet网络中的se注意力机制，从而得到改进的efficientnet网络；eca注意力机制使用了大小为k的1d自适应卷积操作和不降维的特征提取操作来提高特征提取能力并降低模型的计算量；eca注意力机制首先将输入特征f进行全局平均池化avgpool，然后使用卷积核大小为k的1d卷积操作convk得到注意力权重，然后将注意力权重与输入特征f相乘得到新特征f
′
，eca注意力机制表达式如下：
12.f
′
＝f*sigmoid(convk(avgpool(f)))
13.式中f
′
为最终输出的特征，f为输入特征，convk代表大小为k的1d卷积操作，avgpool表示平均池化操作。
14.更进一步的，在步骤
②
中，在原始yolov4模型的基础上加入2倍的反卷积上采样和加权特征融合模块来强化网络的特征提取能力；加权特征融合模块通过在特征融合过程中引入一个可学习的权重值w，之后将权重值w与待融合特征l进行相乘得到调整后的特征l’，从而来动态调整不同特征的重要性，表达式如下：
15.l’＝w*l
16.式中l’表示经过权重调整之后的特征，w表示引入的权重值，l表示待融合特征。
17.更进一步的，在步骤
②
中，在原始yolov4模型的基础上加入了一层高分辨率检测层来提高模型对机场场面上小目标的检测能力，对于使用608x320输入分辨率的模型，在原始yolov4算法的基础上增加一层152x80分辨率的检测特征层，最后总计使用4个检测特征层进行检测，包括了分辨率为152x80、76x40、38x20、19x10的4个检测层。
18.更进一步的，在步骤
③
中使用k-means聚类方法对构建好的机场场面数据集中的标注框以iou为聚类指标进行聚类来得到贴合机场场面数据集的anchor框，按照3∶1的比例将步骤
①
得到的标注好的数据集划分为训练集和测试集；然后对构建好的数据集使用k-means聚类方法并以iou为聚类指标得到最优的检测anchor框，同时由于ien-yolo检测模型使用了4层检测层，所以按每层3个anchor框的方式均分到每一层，152x80分辨率检测层为：[8，11][12,21][16,9]，76x40分辨率检测层为：[22,34][44,44][42,20]，38x20分辨率检测层为：[67,25][96,60][140,54]，19x10分辨率检测层为：[287,206][362,171][574,574]。
[0019]
更进一步的，在步骤
④
的模型训练中使用一种小目标数据增强策略来提高网络对机场场面上的小目标的检测效果；该策略首先使用人工裁剪的方式将数据集图片中包含大量小目标的子区域进行裁剪得到子图，然后将4张子图进行随机的缩放、翻转和颜色光照的调整，调整完成后将4张子图进行随机拼接从而得到更加丰富多样的训练图片；使用预训练的efficientnet模型权值来初始化ien-yolo模型权值，模型训练的批大小为8，初始学习率为0.001，每轮训练之后学习率下降为上一轮的0.96，训练直到模型收敛，完成网络的学习。
[0020]
更进一步的，在步骤
⑤
中使用训练好的ien-yolo检测模型对输入图片进行计算得
到检测识别结果，然后使用soft-nms算法对检测框进行后处理来得到最后的检测框，soft-nms算法采用降低检测框分数的方式来有效处理部分检测框高度重叠的问题，降低分数的方式如下：
[0021][0022]
式中si为预测分数，m为分数最高的预测框，bi为当前正在判断的预测框，σ为设置的权重参数，在本算法中σ取0.5。
[0023]
本发明具有积极的效果：本发明针对传统机场场面监视方法对场面上非协作类目标的监控效果不好并且硬件部署成本较高的问题，提出了一种基于yolov4的轻量级机场场面监视方法，该方法利用基于深度学习的目标检测技术对构建的机场场面数据集进行学习，从而得到精确的目标检测模型，并通过安装监控摄像头的方式就可以实现高效的机场场面监视效果。尤其，本发明中使用嵌入eca注意力机制的efficientnet轻量级网络能显著减少网络的计算量并能达到实时检测的速度，使用加权特征融合和反卷积上采样能显著提高网络的特征提取能力，使用高分辨率检测层和小目标数据增强策略能显著提高网络对机场场面上的小目标的检测效果，同时使用soff-nms算法能有效处理高度重叠的小目标检测问题。因此，本发明能提高机场场面的监视效率并节省硬件部署成本，同时能有效克服机场场面的小目标检测难点问题，达到优异的检测效果和实时的检测速度。
附图说明
[0024]
图1为本发明的步骤
②
中的mbconv结构图；
[0025]
图2为本发明的步骤
②
的ien-yolo检测模型的网络结构图；
[0026]
图3为本发明的步骤
②
中的eca注意力机制结构图。
具体实施方式
[0027]
(实施例1)
[0028]
本实施例的一种基于yolov4的轻量级机场场面监视方法，具体包括以下步骤：
[0029]
步骤
①
：采集机场场面监控摄像头拍摄的监控视频，并对监控视频按关键帧截取的方式，将每一帧保存为图片，然后利用开源软件labelimg对保存的图片进行标注，标注包括了目标位置信息和类别信息，其中类别信息包括三类：airplane、man、car，从而构建机场场面数据集。
[0030]
步骤
②
：见图2，采用yolov4算法作为基础的目标检测模型，之后使用以下3个改进模块来构建ien-yolo检测模型：(1)使用轻量级efficientnet网络作为骨干特征提取网络，并在骨干网络中使用eca注意力机制替换se注意力机制，得到改进的efficientnet骨干网络，网络参数如附表1所示：
[0031]
表1
[0032][0033]
：使用轻量级的efficientnet网络替换yolov4模型原有的cspdarknet53骨干网络来减轻模型的计算参数量，efficientnet网络包括了8个模块，第一个模块为3x3的卷积模块，其余7个模块为mbconv模块，见图1，每个mbconv模块基本组成单位为：深度可分离卷积层、switch激活函数、se注意力机制和残差连接；见图3，eca注意力机制使用了大小为k的1d自适应卷积操作和不降维的特征提取操作来提高特征提取能力并降低模型的计算量；eca注意力机制首先将输入特征f进行全局平均池化avgpool，然后使用卷积核大小为k的1d卷积操作convk得到注意力权重，然后将注意力权重与输入特征f相乘得到新特征f’，eca注意力机制表达式如下：
[0034]f′
＝f*sigmoid(convk(avgpool(f)))
[0035]
式中f
′
为最终输出的特征，f为输入特征，convk代表大小为k的1d卷积操作，avgpool表示平均池化操作。
[0036]
(2)在yolov4算法中加入2倍的反卷积上采样和加权特征融合结构来强化网络的特征提取能力；加权特征融合模块通过在特征融合过程中引入一个可学习的权重值w，之后将权重值w与待融合特征l进行相乘得到调整后的特征l’，从而来动态调整不同特征的重要性，表达式如下：
[0037]
l’＝w*l
[0038]
式中l’表示经过权重调整之后的特征，w表示引入的权重值，l表示待融合特征。
[0039]
(3)在yolov4算法中加入一层高分辨率检测层来提高模型对机场场面上小目标的检测能力，对于使用608x320输入分辨率的模型，在原始yolov4算法的基础上增加一层152x80分辨率的检测特征层，最后总计使用4个检测特征层进行检测，包括了分辨率为152x80、76x40、38x20、19x10的4个检测层。
[0040]
在yolov4算法基础上加入以上三个不同改进模块之后得到ien-yolo检测模型，实现对机场场面上的飞机即airplane、人员即man和车辆即car的检测识别。
[0041]
步骤
③
：利用构建好的机场场面数据集并以数据集中标注框的iou为聚类指标来计算出ien-yolo检测模型需要预先设计的anchor框参数；具体俩说，用k-means聚类方法对构建好的机场场面数据集中的标注框以iou为聚类指标进行聚类来得到贴合机场场面数据集的anchor框。按照3∶1的比例将步骤
①
得到的标注好的数据集划分为训练集和测试集。然后对构建好的数据集使用k-means聚类方法并以iou为聚类指标得到最优的检测anchor框，同时由于ien-yolo检测模型使用了4层检测层，所以按每层3个anchor框的方式均分到每一
层，152x80分辨率检测层为：[8，11][12，21][16，9]，76x40分辨率检测层为：[22，34][44，44][42，20]，38x20分辨率检测层为：[67，25][96，60][140，54]，19x10分辨率检测层为：[287，206][362，171][574，574]。
[0042]
步骤
④
：利用构建好的机场场面数据集并结合小目标数据增强策略来对ien-yolo检测模型进行训练，通过训练得到最优的权值参数，之后用最优的权值参数来构建最终的ien-yolo机场场面检测模型：使用一种小目标数据增强策略来提高网络对机场场面上的小目标的检测效果；该策略首先使用人工裁剪的方式将数据集图片中包含大量小目标的子区域进行裁剪得到子图，然后将4张子图进行随机的缩放、翻转和颜色光照的调整，调整完成后将4张子图进行随机拼接从而得到更加丰富多样的训练图片；使用预训练的efficientnet模型权值来初始化ien-yolo模型权值，模型训练的批大小为8，初始学习率为0.001，每轮训练之后学习率下降为上一轮的0.96，训练直到模型收敛，完成网络的学习。
[0043]
步骤
⑤
：利用构建好的ien-yolo机场场面检测模型来检测识别输入的机场场面监控图像中的所有目标，包括了各个目标的位置信息和类别分数信息，最后使用soft-nms算法对得到检测框进行重叠问题处理，从而得到最终的检测识别结果：首先将输入图片的分辨率调整为608x320避免出现特征变形，然后将图片送入ien-yolo检测模型中进行计算，最后使用4个不同分辨率的检测层来检测，包括了152x80、76x40、38x20、19x10的4个检测层来处理不同尺度的目标物体，之后将模型计算得到的类别分数按设置的阈值进行筛选，对筛选后的检测框使用soft-nms算法来处理检测框重叠问题得到最后的检测框，soft-nms算法采用降低检测框分数的方式来有效处理部分检测框高度重叠的问题，降低分数的方式如下：
[0044][0045]
式中si为预测分数，m为分数最高的预测框，bi为当前正在判断的预测框，σ为设置的权重参数，在本算法中σ取0.5，最后输出最终的检测结果。
[0046]
上述基于yolov4的轻量级机场场面监视方法在yolov4模型的基础上使用嵌入eca注意力机制的efficientnet轻量级网络显著减少了计算参数量，使用反卷积上采样和加权特征融合结构有效提高了网络的特征提取能力，使用高分辨检测层和小目标数据增强策略有效克服了机场场面上的小目标检测难点问题，使用soft-nms算法高效处理了部分目标高度重叠的问题，本发明能减少模型计算量来节省部署计算资源的成本，同时能保持高效的检测速度和检测精度。
[0047]
显然，上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而这些属于本发明的精神所引伸出的显而易见的变化或变动仍处于本发明的保护范围之中。