一种基于YOLOV5网络的烟火检测预警方法及系统与流程

一种基于yolov5网络的烟火检测预警方法及系统
技术领域
1.本发明涉及监测技术领域，特别是涉及一种基于yolov5网络的烟火检测预警方法及系统。


背景技术：

2.烟火(烟雾和火焰)检测是指在监控视频图像中进行烟火的识别和定位，在安防监控领域具有重要的意义。
3.火灾是非常常见且危害极大的灾害之一，常常会造成巨大的资源、财产损失并可能造成人员伤亡，因此对于深林、无人仓库、公共设施、易燃易爆品、某些重要区域等的烟火防控和预警成为重中之重，及时预警可以快速通知执勤人员并协助消防人员及时处理火灾危机，做到尽早预防和避免火灾事故的突发和蔓延，最大程度减少损失。其中对烟雾、火焰进行准确、快速的检测成为重中之重。
4.传统的检测方法主要是针对温度、透明度、烟雾等进行物理采样的传感器，但是传感器主要适用于近距离感应，容易受到场地等限制，并且易用性、检测准确率、可靠性等难以保证，安全人员不到现场查看难以及时判断现场具体情况。而基于视频的检测方法则可以通过远距离画面的传输，实现远程查看，因此得到了快速发展和应用。常用的视频检测方法，一般通过对视频图像进行运动区域提取，根据火焰区域的rgb或hsv通道分量的特征进行判别，这种方法对火焰的判别有一些效果，但是对烟雾却无法使用。也有采用对图像进行分块预测，利用不同大小的滑动窗口进行区域提取，然后送入各种卷积神经网络进行分类，判断是否是火焰或烟雾，但是这种方法效率低、准确率也不够，并且对烟火的位置判断的也不够准确。


技术实现要素：

5.有鉴于此，本发明提供了一种基于yolov5网络的烟火检测预警方法及系统，通过引入注意力机制，突出火焰和烟雾重要特征，并且优化了损失函数，解决正负样本极端不平衡的问题。
6.为实现上述目的，本发明提供了如下方案：
7.一种基于yolov5网络的烟火检测预警方法，包括：
8.获取初始烟火数据集，并对所述初始烟火数据集进行数据增强，得到烟火数据集；对所述烟火数据集进行分割，得到训练集、验证集和测试集；
9.构建烟火检测网络，基于所述训练集、所述验证集和所述测试集对所述烟火检测网络进行训练、验证和测试，得到训练好的所述烟火检测网络；
10.获取实时监测视频数据，对所述实时监测视频数据进行帧提取，得到帧图像，基于所述帧图像和训练好的所述烟火检测网络，得到识别结果；
11.所述烟火检测网络选用yolov5网络；所述烟火检测网络选包括主干网络、颈部网络和预测网络；
12.所述主干网络引入注意力网络，进行通道注意力特融合和空间注意力特征融合；
13.所述预测网络的目标框损失函数选用focal loss，平衡正负样本比例。
14.优选地，所述获取初始烟火数据集，并对所述初始烟火数据集进行数据增强，得到烟火数据集；对所述烟火数据集进行分割，得到训练集、验证集和测试集，包括：
15.对公开数据集进行筛选和对自制视频进行截图，得到所述初始烟火数据集；所述初始烟火数据集中的火灾图片包括的类型包括森林火灾、工厂火灾、居民区火灾和车辆火灾；所述初始烟火数据集中的火灾图片的烟雾场景包括黑色烟雾和白色烟雾；所述初始烟火数据集中的火灾图片的火焰场景包括白天火焰和黑夜火焰；
16.对所述初始烟火数据集依次进行平移、旋转和翻转处理，得到所述烟火数据集；所述数据增强包括所述平移、所述旋转和所述翻转；
17.使用labelimg标注工具对所述烟火数据集进行标注，得到标注数据集；标注类别包括火焰和烟雾；
18.对所述标注数据集进行分割，得到所述训练集、所述验证集和所述测试集。
19.优选地，所述主干网络包括切片网络、注意力网络、跨阶段局部网络和空间金字塔池化网络；所述注意力网络包括通道注意力网络和空间注意力网络；
20.所述切片网络对输入的图像进行切片和拼接，得到二倍下采样特征图；
21.所述通道注意力网络对输入特征图进行通道注意力特征融合，得到融合通道注意力特征图；
22.所述空间注意力网络对输入特征图进行空间注意力特征融合，得到融合空间注意力特征图；
23.所述跨阶段局部网络对输入特征图映射划分为两部分，一部分做卷积操作，另一部分与卷积操作后结果进行拼接和特征融合，得到细粒度特征图；
24.所述空间金字塔池化网络基于输入特征图得到设定尺寸特征图。
25.优选地，所述颈部网络包括特征金字塔网络和路径聚合网络；
26.所述特征金字塔网络采用上采样的方式进行传递融合，得到上采样融合特征图；
27.所述路径聚合网络采用下采样的方式进行传递融合，得到下采样融合特征图。
28.优选地，所述识别结果包括目标物体类别、目标物体置信度、目标矩形框和目标物体数量；所述目标矩形框包括矩形框中心坐标和矩形框大小。
29.优选地，所述方法还包括：
30.对所述目标物体置信度进行判断，当所述目标物体置信度大于置信度阈值时，发出报警信息；所述报警信息包括火灾地点和火焰目标大小；
31.所述火灾地点基于目标深度信息和目标水平信息得到；
32.所述目标深度信息和所述目标水平信息基于双目测距原理进行计算得到。
33.本发明还提供了一种基于yolov5网络的烟火检测预警系统，包括：
34.数据获取模块，获取初始烟火数据集，并对所述初始烟火数据集进行数据增强，得到烟火数据集；对所述烟火数据集进行分割，得到训练集、验证集和测试集；
35.模型构建及训练模块，构建烟火检测网络，基于所述训练集、所述验证集和所述测试集对所述烟火检测网络进行训练、验证和测试，得到训练好的所述烟火检测网络；
36.目标识别模块，获取实时监测视频数据，对所述实时监测视频数据进行帧提取，得
到帧图像，基于所述帧图像和训练好的所述烟火检测网络，得到识别结果；
37.所述烟火检测网络选用yolov5网络；所述烟火检测网络选包括主干网络、颈部网络和预测网络；
38.所述主干网络引入注意力网络，进行通道注意力特融合和空间注意力特征融合；
39.所述预测网络的目标框损失函数选用focal loss，平衡正负样本比例。
40.优选地，所述数据获取模块包括：
41.数据获取单元，对公开数据集进行筛选和对自制视频进行截图，得到所述初始烟火数据集；所述初始烟火数据集中的火灾图片包括的类型包括森林火灾、工厂火灾、居民区火灾和车辆火灾；所述初始烟火数据集中的火灾图片的烟雾场景包括黑色烟雾和白色烟雾；所述初始烟火数据集中的火灾图片的火焰场景包括白天火焰和黑夜火焰；
42.数据增强单元，对所述初始烟火数据集依次进行平移、旋转和翻转处理，得到所述烟火数据集；所述数据增强包括所述平移、所述旋转和所述翻转；
43.数据标注单元，使用labelimg标注工具对所述烟火数据集进行标注，得到标注数据集；标注类别包括火焰和烟雾；
44.数据分割单元，对所述标注数据集进行分割，得到所述训练集、所述验证集和所述测试集。
45.优选地，所述主干网络包括切片网络、注意力网络、跨阶段局部网络和空间金字塔池化网络；所述注意力网络包括通道注意力网络和空间注意力网络；
46.所述切片网络对输入的图像进行切片和拼接，得到二倍下采样特征图；
47.所述通道注意力网络对输入特征图进行通道注意力特征融合，得到融合通道注意力特征图；
48.所述空间注意力网络对输入特征图进行空间注意力特征融合，得到融合空间注意力特征图；
49.所述跨阶段局部网络对输入特征图映射划分为两部分，一部分做卷积操作，另一部分与卷积操作后结果进行拼接和特征融合，得到细粒度特征图；
50.所述空间金字塔池化网络基于输入特征图得到设定尺寸特征图。
51.优选地，所述系统还包括：
52.判断模块，对所述识别结果进行判断，当所述识别结果大于置信度阈值时，发出报警信息；所述报警信息包括火灾地点和火焰目标大小；所述火灾地点基于目标深度信息和目标水平信息得到；所述目标深度信息和所述目标水平信息基于双目测距原理进行计算得到。
53.根据本发明提供的具体实施例，本发明公开了以下技术效果：
54.本发明涉及一种基于yolov5网络的烟火检测预警方法及系统，方法包括：获取初始烟火数据集，并对初始烟火数据集进行数据增强，得到烟火数据集；构建烟火检测网络，基于烟火数据集对烟火检测网络进行训练，得到训练好的所述烟火检测网络；将实时帧图像输入训练好的烟火检测网络，得到识别结果。烟火检测网络采用yolov5网络，并且引入注意力机制，突出火焰和烟雾重要特征。本发明提高了烟火的检测精度和检测速度，从而实现对火灾的快速检测与及时预警，有效阻止火灾的蔓延，保护人民群众财产及生命安全。
附图说明
55.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
56.图1为本发明基于yolov5网络的烟火检测预警方法流程图；
57.图2为本发明烟火检测网络结构图；
58.图3为本发明注意力网络结构图；
59.图4为本发明识别结果示意图；
60.图5为本发明基于yolov5网络的烟火检测预警系统结构图。
61.符号说明：1、数据获取模块；2、模型构建及训练模块；3、目标识别模块；4、判断模块。
具体实施方式
62.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
63.本发明的目的是提供一种基于yolov5网络的烟火检测预警方法及系统，通过引入注意力机制，突出火焰和烟雾重要特征，并且优化了损失函数，解决正负样本极端不平衡的问题。
64.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
65.图1为本发明基于yolov5网络的烟火检测预警方法流程图。如图1所示，本发明提供了一种基于yolov5网络的烟火检测预警方法，包括：
66.步骤s1，获取初始烟火数据集，并对所述初始烟火数据集进行数据增强，得到烟火数据集；对所述烟火数据集进行分割，得到训练集、验证集和测试集。
67.具体地，所述步骤s1包括：
68.步骤s11，对公开数据集进行筛选和对自制视频进行截图，得到所述初始烟火数据集；所述初始烟火数据集中的火灾图片包括的类型包括森林火灾、工厂火灾、居民区火灾和车辆火灾；所述初始烟火数据集中的火灾图片的烟雾场景包括黑色烟雾和白色烟雾；所述初始烟火数据集中的火灾图片的火焰场景包括白天火焰和黑夜火焰。
69.步骤s12，对所述初始烟火数据集依次进行平移、旋转和翻转处理，得到所述烟火数据集；所述数据增强包括所述平移、所述旋转和所述翻转。
70.步骤s13，使用labelimg标注工具对所述烟火数据集进行标注，得到标注数据集；标注类别包括火焰和烟雾；标注信息存储为xml格式。
71.步骤s14，对所述标注数据集进行分割，得到所述训练集、所述验证集和所述测试集。
72.步骤s2，构建烟火检测网络，基于所述训练集、所述验证集和所述测试集对所述烟
火检测网络进行训练、验证和测试，得到训练好的所述烟火检测网络。
73.如图2所示，本实施例中，所述烟火检测网络选用yolov5网络；所述烟火检测网络选包括主干网络backbone、颈部网络neck和预测网络precision。
74.所述主干网络包括切片网络focus、注意力网络cbl_cbam、跨阶段局部网络csp和空间金字塔池化网络spp。所述注意力网络包括通道注意力网络和空间注意力网络。
75.所述切片网络对输入的图像进行切片和拼接，得到二倍下采样特征图。所述切片网络在不损失任何信息的情况下通过增加特征图的维度来缩小特征图的尺寸。
76.所述通道注意力网络对输入特征图进行通道注意力特征融合，得到融合通道注意力特征图。
77.所述空间注意力网络对输入特征图进行空间注意力特征融合，得到融合空间注意力特征图。
78.具体地，如图3所示，所述通道注意力网络通过全局平均池化和全局最大池化操作聚合一个特征图的空间信息，得到平均池化的特征和最大池化的特征然后将这两个特征分别通过一个共享的全连接层(mlp)，并将输出的特征进行基于逐元素的加和操作与激活操作，输出融合通道注意力特征图mc：
[0079][0080]
其中，σ指激活函数，w0和w1指mlp的权重，f为通道注意力网络的输入特征，avgpool为全局平均池化，maxpool为全局最大池化。
[0081]
其次，将融合通道注意力特征图mc和输入特征f做加和操作，生成空间注意网络的输入特征f
′
。
[0082]
所述空间注意力网络分别沿着通道轴进行平均池化操作和最大池化操作，得到两个特征图和然后做通道拼接操作和卷积操作(卷积核为7
×
7)，再经过激活操作输出空间注意特征ms：
[0083][0084]
其中，指逐元素加和操作。
[0085]
所述跨阶段局部网络对输入特征图映射划分为两部分，一部分做卷积操作，另一部分与卷积操作后结果进行拼接和特征融合，得到细粒度特征图。其中，主干网络中的csp1_x中加入残差结构使得层和层之间进行反向传播时，梯度值得到增强，有效防止网络加深时所引起的梯度消失，得到的特征粒度更细。
[0086]
所述空间金字塔池化网络基于输入特征图得到设定尺寸特征图。
[0087]
颈部网络中使用特征金字塔网络fpn和路径聚合网络pan，fpn自上向下将高层的特征信息通过上采样的方式进行传递融合，传达强语义特征；pan为自下向上的特征金字塔，将低层的定位特征传递上去，传达强定位特征，两者同时使用加强网络特征融合能力。
[0088]
主干网络的输出结果：第一个csp1_3操作输出特征连接到颈部网络中的特征金字塔网络，自上向下的将高层强语义特征传递下来，增强语义信息；第二个csp1_3操作的输出
特征连接到颈部网络网络中的路径聚合网络，自下向上的将低层的定位特征传递上去，增强定位信息。空间金字塔池化网络操作输出特征最后经过卷积操作与池化操作，获得高宽比和大小任意的特征。
[0089]
颈部网络对不同尺寸的特征图进行采样，将特征图处理成相同大小，然后进行特征融合及卷积，得到3个具有更强特征表现能力的特征层；
[0090]
颈部网络输出的3个具有更强特征表现能力的特征层传递到预测网络中进行预测，生成预测结果。
[0091]
预测网络中利用目标框损失函数，计算出目标框的信息；再利用非极大值抑制对多个目标框进行筛选，输出符合的目标框信息；边界锚框的损失函数使用focal loss。在烟火检测网络训练时减少易分类样本所占的权重，使得烟火检测网络在训练时专注于难分类样本，解决正负样本不平衡问题。
[0092]
所述损失函数如下：
[0093][0094]
其中，y是真实样本，y
′
指预测类别概率。α用来调解正负样本的比例，设置α＝0.25。γ用来降低简单样本的损失值,设置γ＝2。
[0095]
配置训练参数，训练所述烟火检测网络，得到训练好的所述烟火检测网络；训练好的所述烟火检测网络包括网络结构和权重信息。
[0096]
所述训练参数如下所示：初始学习率设置为0.001，学习率动量设为0.95，权重衰减系数设为0.0005，迭代次数设为500。
[0097]
图2中，conv代表卷积，slice代表切片，concat代表合并函数，maxpool代表最大池化，bn代表批量归一化，upsample代表上采样，add代表添加，resunit代表残差组件，leakyrelu为激活函数。input代表输入。
[0098]
步骤s3，获取实时监测视频数据，对所述实时监测视频数据进行帧提取，得到帧图像，基于所述帧图像和训练好的所述烟火检测网络，得到识别结果。对每一帧图像均进行识别，得到每一帧图像对应的识别结果。
[0099]
所述识别结果包括目标物体类别、目标物体置信度、目标矩形框和目标物体数量；所述目标矩形框包括矩形框中心坐标和矩形框大小。
[0100]
具体地，识别结果如图4所示，图4中的数字代表置信度，smoke代表类别为烟雾，fire代表类别为火焰。
[0101]
步骤s4，对所述目标物体置信度进行判断，当所述目标物体置信度大于置信度阈值时，发出报警信息。本实施例中，所述置信度阈值设为0.6。
[0102]
所述报警信息包括火灾地点和火焰目标大小。所述火灾地点基于目标深度信息和目标水平信息得到。所述目标深度信息和所述目标水平信息基于双目测距原理进行计算得到。
[0103]
具体地，假设p为矩形框中心点，x
l-xr为点p在左右两幅视图上的成像视差，o
l
左相机的光心，or为右相机的光心，p
l
点p在左相机感光器上的成像点，pr为点p在右相机感光器上的成像点；b为左相机和右相机的中心距离，f为左相机和右相机焦距，z为所求的目标深
度信息，x和y为所求目标水平信息，依据相似三角形原理：
[0104][0105]
可得：
[0106][0107][0108][0109]
并计算计算目标矩形框在帧图像视野的占比式中：h目标矩形框的高，w为目标矩形框的宽，h帧图像的高，w为帧图像的宽。
[0110]
图5为本发明基于yolov5网络的烟火检测预警系统结构图。如图5所示，本发明提供了一种基于yolov5网络的烟火检测预警系统，包括：数据获取模块1、模型构建及训练模块2和目标识别模块3。
[0111]
所述数据获取模块1用于获取初始烟火数据集，并对所述初始烟火数据集进行数据增强，得到烟火数据集；对所述烟火数据集进行分割，得到训练集、验证集和测试集。
[0112]
所述模型构建及训练模块2用于构建烟火检测网络，基于所述训练集、所述验证集和所述测试集对所述烟火检测网络进行训练、验证和测试，得到训练好的所述烟火检测网络。
[0113]
所述目标识别模块3用于获取实时监测视频数据，对所述实时监测视频数据进行帧提取，得到帧图像，基于所述帧图像和训练好的所述烟火检测网络，得到识别结果。
[0114]
所述烟火检测网络选用yolov5网络；所述烟火检测网络选包括主干网络、颈部网络和预测网络。
[0115]
所述主干网络引入注意力网络，进行通道注意力特融合和空间注意力特征融合。
[0116]
所述预测网络的目标框损失函数选用focal loss，平衡正负样本比例。
[0117]
具体地，所述数据获取模块1包括：数据获取单元、数据增强单元、数据标注单元和数据分割单元。
[0118]
所述数据获取单元对公开数据集进行筛选和对自制视频进行截图，得到所述初始烟火数据集；所述初始烟火数据集中的火灾图片包括的类型包括森林火灾、工厂火灾、居民区火灾和车辆火灾；所述初始烟火数据集中的火灾图片的烟雾场景包括黑色烟雾和白色烟雾；所述初始烟火数据集中的火灾图片的火焰场景包括白天火焰和黑夜火焰。
[0119]
所述数据增强单元对所述初始烟火数据集依次进行平移、旋转和翻转处理，得到所述烟火数据集；所述数据增强包括所述平移、所述旋转和所述翻转。
[0120]
所述数据标注单元使用labelimg标注工具对所述烟火数据集进行标注，得到标注数据集；标注类别包括火焰和烟雾。
[0121]
所述数据分割单元对所述标注数据集进行分割，得到所述训练集、所述验证集和所述测试集。
[0122]
进一步地，所述主干网络包括切片网络、注意力网络、跨阶段局部网络和空间金字塔池化网络；所述注意力网络包括通道注意力网络和空间注意力网络。
[0123]
所述切片网络对输入的图像进行切片和拼接，得到二倍下采样特征图。
[0124]
所述通道注意力网络对输入特征图进行通道注意力特征融合，得到融合通道注意力特征图。
[0125]
所述空间注意力网络对输入特征图进行空间注意力特征融合，得到融合空间注意力特征图。
[0126]
所述跨阶段局部网络对输入特征图映射划分为两部分，一部分做卷积操作，另一部分与卷积操作后结果进行拼接和特征融合，得到细粒度特征图。
[0127]
所述空间金字塔池化网络基于输入特征图得到设定尺寸特征图。
[0128]
优选地，所述系统还包括判断模块4。
[0129]
所述判断模块4对所述识别结果进行判断，当所述识别结果大于置信度阈值时，发出报警信息；所述报警信息包括火灾地点和火焰目标大小；所述火灾地点基于目标深度信息和目标水平信息得到；所述目标深度信息和所述目标水平信息基于双目测距原理进行计算得到。
[0130]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0131]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。