一种基于改进YOLOv7的烟火识别方法

本发明涉及一种基于改进yolov7的烟火识别方法，属于计算机视觉和深度学习。

背景技术：

1、在电气室的生产运行过程中，烟火是一种常见的安全隐患，为了确保工作场所的安全和稳定，需要对电气室中的烟火进行及时的识别和监测。传统的烟火监测方法需要人工巡检，存在效率低下和漏检等问题。

2、现在，随着深度学习技术的发展，利用深度学习技术对监控中发生火灾的场景进行检测成为了可能，这将有助于我们及时准确地知道火灾发生的位置并发出警报来及时做出相应的处理，从而降低火灾所造成的财产等损失。深度网络模型在视觉领域取得了突出进展，将深度网络模型应用于烟火检测成为研究热点，有学者先后提出了faster regionconvolution neural network(faster-rcnn)、single shot multibox detector(ssd)、you only look once(yolo)等性能良好的网络模型，并成功应用于各种目标检测；但是现有技术下神经网络在图像识别下的应用，受环境因素影响大，且对小尺寸目标的检测也存在一定的局限性。

技术实现思路

1、本发明所要解决的技术问题是提供一种基于改进yolov7的烟火识别方法，基于创新网络结构设计，适用更多处理环境的同时，能够有效提升目标检测精度。

2、本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于改进yolov7的烟火识别方法，执行步骤a至步骤c，获得目标室内所对应的火情检测模型，进而实时执行步骤i，应用火情检测模型针对实时所获目标室内的拍摄图像进行检测，实现目标室内的实时火情检测；

3、步骤a.收集目标室内环境出现火情的各帧拍摄样本图像，并获得各帧拍摄样本图像中的各火情局部图像真实框，以及获得各帧拍摄样本图像分别所对应其拍摄时间下、目标室内环境关于预设各类环境因素的特征值，由单帧拍摄样本图像、以及其所对应拍摄时间下目标室内环境关于预设各类环境因素的特征值，结合该单帧拍摄样本图像中各火情局部图像真实框，构建单个火情图像样本，进而获得各个火情图像样本，然后进入步骤b；

4、步骤b.针对yolov7网络添加seattention注意力机制模块，构建待训练网络，并进入步骤c；基于各个火情图像样本，以拍摄样本图像、该拍摄样本图像所对应拍摄时间下目标室内环境关于预设各类环境因素的特征值为输入，该拍摄样本图像中各火情局部图像检测框为输出，结合关于拍摄样本图像中各火情局部图像真实框下的损失函数，针对待训练网络进行训练，获得训练后的网络，即构成目标室内所对应的火情检测模型；

5、步骤i.获得拍摄图像的拍摄时间下、目标室内环境关于预设各类环境因素的特征值，结合该拍摄图像，应用火情检测模型进行检测，获得该拍摄图像中是否存在火情局部图像、各火情局部图像检测框。

6、作为本发明的一种优选技术方案：所述步骤c针对待训练网络训练过程中、关于拍摄样本图像中各火情局部图像真实框下的损失函数如下：

7、lfocal_eiou＝iouγleiou

8、其中，lfocal_eiou表示损失函数的结果，iou表示火情局部图像检测框a与火情局部图像真实框b之间的交并比，γ表示focal损失函数中的可调参数，leiou表示eiou损失函数的结果，liou表示iou损失函数的结果；ldis表示距离损失函数的结果，用于惩罚火情局部图像检测框a与火情局部图像真实框b在位置上的偏差；lasp表示比例损失函数的结果，用于惩罚火情局部图像检测框a与火情局部图像真实框b在长宽比例上的偏差，ρ表示平滑系数，b和bgt分别表示火情局部图像检测框a和火情局部图像真实框b的中心点坐标，c表示拍摄样本图像的长或宽，w、h分别表示火情局部图像检测框a的宽度和高度，wbgt、hgt分别表示火情局部图像真实框b的宽度和高度，cw和ch分别表示宽度和高度的比例系数。

9、作为本发明的一种优选技术方案：所述步骤b中，待训练网络包括一级网络、二级网络、以及三级网络，其中，一级网络按数据流方向包括依次串联的cbs层、cbs层、cbs层、cbs层、c7_1层、mp-c3层、se_a层、mp-c3层、se_a层、mp-c3层、c7_1层、sppcspc层、cbs层、上采样层，该串联结构中顺序第一个cbs层的输入端构成待训练网络的输入端，该串联结构中最后上采样层的输出端构成一级网络的第一输出端，一级网络还包括两个cbs层，一级网络中串联结构顺序第二个se_a层的输出端串联其中一个cbs层后、构成一级网络的第二输出端，一级网络中串联结构顺序第一个se_a层的输出端串联另一个cbs层后、构成一级网络的第三输出端，一级网络中串联结构中sppcspc层的输出端构成一级网络的第四输出端；

10、二级网络包括四个第一组合、两个第二组合、以及一个cbs层与一个上采样层，四个第一组合的结构彼此相同，各第一组合分别自其输入端至其输出端串联concat层与c7_2层，两个第二组合的结构彼此相同，各第二组合分别均包括两路结构，其中一路结构自其输入端至其输出端串联mp层与cbs层，另一路结构自其输入端至其输出端串联两个cbs层，该两路结构的输入端构成第二组合的两输入端，该两路结构的输出端构成第二组合的两输出端，一级网络的第一输出端、第二输出端对接第一个第一组合的输入端，第一个第一组合的输出端依次串联一个cbs层、一个上采样层，且该上采样层输出端对接第二个第一组合的输入端，第二个第一组合的输入端同时对接一级网络的第三输出端，第二个第一组合的输出端构成二级网络的第一输出端，同时第二个第一组合的输出端对接其中一个第二组合的两输入端，该第二组合的两输出端对接第三个第一组合的输入端，第三个第一组合的输入端同时对接第一个第一组合的输出端，第三个第一组合的输出端构成二级网络的第二输出端，同时第三个第一组合的输出端对接另一个第二组合的两输入端，该第二组合的两输出端对接第四个第一组合的输入端，第四个第一组合的输入端同时对接一级网络的第四输出端，第四个第一组合的输出端构成二级网络的第三输出端；

11、三级网络包括三个结构彼此相同的第三组合，各第三组合分别按数据流方向依次串联前置组、add层、silu层、add层、conv层、mul层，其中，mul层的输出端构成第三组合的输出端，前置组包括两路结构相同的串联结构，该两路串联结构分别按数据流方向串联conv层与bn层，该两路串联结构的输入端构成前置组的输入端，即第三组合的输入端，该两路结构的输出端构成前置组的输出端；二级网络的第一输出端、第二输出端、第三输出端分别一一对应连接三级网络中各个第三组合的输入端，三级网络中各个第三组合的输出端构成待训练网络的各个输出端。

12、作为本发明的一种优选技术方案：所述se_a层包括六个cbs层、以及一个concat层、一个se层、一个att层，其中，五个cbs层串联，该串联结构中第一个cbs层的输入端构成se_a层的输入端，且se_a层的输入端对接第六个cbs层的输入端，第六个cbs层的输出端、以及该串联结构中第一个cbs层的输出端、第三个cbs层的输出端、第五个cbs层的输出端分别对接concat层的输入端，concat层的输出端依次串联se层、att层，att层的输出端构成se_a层的输出端；

13、se层包括全局平均池化层、第一逐元素相乘模块、全连接层fc、激活函数层sigmod、第二逐元素相乘模块，其中，全局平均池化层的输入端构成se层的输入端，用于接收特征图x，全局平均池化层的输出端对接第一逐元素相乘模块的输入端，第一逐元素相乘模块的输入端同时构成se层的输入端用于接收特征图x，由第一逐元素相乘模块针对全局平均池化层的输出favg(x)，结合所接收特征图x进行逐元素相乘处理，获得特征描述向量z；第一逐元素相乘模块的输出端对接全连接层fc的输入端，全连接层fc的输入端同时构成se层的输入端用于接收特征图x，由全连接层fc针对来自第一逐元素相乘模块的特征描述向量z，结合所接收特征图x进行处理输出ffc([z；x])，全连接层fc的输出端对接激活函数层sigmod的输入端，由激活函数层sigmod对来自全连接层fc的ffc([z；x])执行激活处理获得r，第二逐元素相乘模块的输入端对接激活函数层sigmod的输出端、第一逐元素相乘模块的输出端，由第二逐元素相乘模块针对来自第一逐元素相乘模块的特征描述向量z、结合激活函数层sigmod的输出r，执行逐元素相乘处理，获得相应加权特征向量y，第二逐元素相乘模块的输出端构成se层的输出端。

14、作为本发明的一种优选技术方案：所述cbs层自其输入端至其输出端方向依次串联conv层、bn层、silu层；

15、所述c7_1层包括七个cbs层、以及concat层，其中五个cbs层串联连接，该串联结构中第一个cbs层的输入端构成c7_1层的输入端，且c7_1层的输入端对接第六个cbs层的输入端，第六个cbs层的输出端、以及串联结构中第一个cbs层输出端、第三个cbs层输出端、第五个cbs层输出端分别连接concat层的输入端，concat层的输出端对接第七个cbs层的输入端，第七个cbs层的输出端构成c7_1层的输出端；

16、所述mp-c3层包括mp层、concat层、以及三个cbs层，其中，mp层的输出端连接其中一个cbs层的输入端，构成一路结构，另两个cbs层串联构成另一路结构，该串联结构的输入端、mp层的输入端构成mp-c3层的输入端，该串联结构的输出端、以及另一路结构中cbs层的输出端对接concat层的输入端，concat层的输出端构成mp-c3层的输出端；

17、所述sppcspc层包括七个cbs层、三个maxpool层、两个concat层，其中三个cbs层串联连接，该串联结构的输入端构成sppcspc层的输入端，且sppcspc层的输入端连接第四个cbs层的输入端，该串联结构的输出端分别连接三个maxpool层输入端、以及其中一个concat层输入端，且三个maxpool层输出端对接该concat层输入端，该concat层的输出端依次串联第五个cbs层、第六个cbs层后、对接另一个concat层输入端，且该concat层输入端对接第四个cbs层输出端，以及该concat层输出端对接第七个cbs层的输入端，第七个cbs层的输出端构成sppcspc层的输出端；

18、所述c7_2层包括concat层、以及七个cbs层，其中五个cbs层串联连接，该串联结构中第一个cbs层的输入端构成c7_2层的输入端，且c7_2层的输入端连接第六个cbs层的输入端，第六个cbs层的输出端、以及该串联结构中第一个cbs层输出端、第二个cbs层输出端、第三个cbs层输出端、第四个cbs层输出端、第五个cbs层输出端对接concat层的输入端，concat层的输出端对接第七个cbs层的输入端，第七个cbs层的输出端构成c7_2层的输出端。

19、作为本发明的一种优选技术方案：所述步骤a中，针对所述收集目标室内环境出现火情的各帧拍摄样本图像，进一步通过剪切和马赛克数据增强操作，更新增各帧拍摄样本图像。

20、本发明所述一种基于改进yolov7的烟火识别方法，采用以上技术方案与现有技术相比，具有以下技术效果：

21、(1)本发明所设计一种基于改进yolov7的烟火识别方法，基于添加seattention注意力机制模块的yolov7网络架构，训练获得针对拍摄图像，考虑拍摄时目标室内环境关于预设各类环境因素，用于获得火情侦测的火情检测模型，实现实际应用中火情的快速准确识别；设计方案在yolov7网络架构上的改进，结合创新损失函数的应用，不仅减少了模型的计算量和参数数量，提高数据处理速率，而且能够更好地捕捉图像中关键特征，有效提高了烟火目标的检测精度和鲁棒性。