一种基于改进YOLOv5和数据增强的停车场烟火检测方法、装置及存储介质

本发明涉及一种基于改进yolov5和数据增强的停车场烟火检测方法、装置及存储介质，属于计算机人工智能安全。

背景技术：

1、近年来国内外车辆自燃事故频发，给人们造成了难以挽回的损失。车辆自燃和其他公共场所火灾一样，具有突发性强、易诱发其他事故等特点。在火灾初期，烟雾往往是最为典型的显著特征之一。利用烟雾检测对车辆自燃进行预警，可以在“黄金三分钟”内抢占充分时间，最大限度减少损失。这对于车辆火灾扑救至关重要。

2、传统的火灾检测装置多用感温型、感烟型、气敏型传感器。烟雾传感器一般包括：离子式烟雾传感器和光电式烟雾传感器。其中离子烟雾报警器对较小的烟雾粒子的感应较灵敏，对各种烟均能响应，可根据电离后的离子受烟雾粒子影响导致电流减小这一原理实现报警；光电烟雾报警器对较大的烟雾粒子的感应较灵敏，对灰烟、黑烟响应差些，可通过烟雾粒子的散射遮蔽效应，将探测部位烟雾浓度的信息转化为电信号来实现报警。这类烟雾检测技术是将火灾时产生的烟雾浓度变化信息转为电信号来实现预警。这导致其使用范围和场所有一定局限性。如果在大型空间或开旷空间，极有可能因为烟雾扩散导致其浓度被稀释到无法产生报警信号。同时，烟雾粒子会受到各种外在因素的干扰，如灰尘、水汽、昆虫等，导致传感器无法正确接受信号变化，存在漏检率高、误报率高、难以适应开放环境等问题，无法满足早期火情监测的需求。

3、基于传统图像处理的视频火灾检测算法多采用模式识别过程，模式识别过程主要包括特征提取和分类，由人工提取特征和设计识别器。在提取候选区域后，利用静态和动态烟火特征进行烟雾识别。基于模式识别的视频烟火检测方法，大多由视频预处理、疑似烟火区域提取、烟火特征提取、烟火识别等过程实现。该方法依赖于有效地对烟火特征进行人工提取。其中，烟火特征可分为静态特征和动态特征。静态特征如色彩、纹理、形状等会依赖于图像的色彩模式和分辨率，比较容易受到周围环境如光照、阴影等的影响。动态特征如飘动性、闪烁等一般会用到帧与帧之间的信息，比如视频图像随着时间所发生的能量、边缘强度等的变化，动态特征一般计算比较复杂，实时性略差。由于大多数特征易受到场景限制及环境等因素影响，导致传统的基于模式识别的烟火检测算法识别准确率低、鲁棒性不够高。

4、现在的火灾检测多用基于机器学习的图像处理技术，有检测效率高，误报率较传统方法低的优点。该技术已成熟的应用于图像识别，图像分割，图像检测等领域。但该技术依赖于大量且多样的训练样本，以帮助机器学习算法从样本中自动且有目的的学习并挑选出底层到高层的烟雾信息。

5、对于停车场火灾，由于其环境复杂，可能存在大量的车辆、行人、杂物等，这些都可能干扰火灾检测设备的工作，导致误报或漏报。出现火灾会造成严重经济损失。所以，一个有效的停车场烟火检测方法对保证人们生命财产安全具有重要意义。

技术实现思路

1、本发明要解决的技术问题是：提供一种基于集成树的智能电网应用的范数鲁棒性评估方法、装置及存储介质，以克服现有技术的不足。

2、本发明的技术方案为：

3、第一方面：提供一种基于改进yolov5和数据增强的停车场烟火检测方法，包括如下步骤：

4、s1.收集烟雾火焰图像并进行数据预处理，形成原始数据集；

5、s2.对原始数据集进行数据增强；

6、s3.对步骤s2中得到的数据增强后的数据集进行小框标注，并按比例划分为训练集、验证集和测试集；

7、s4.构建改进yolov5模型，将注意力机制添加到yolov5s的主干网络backbone部分c3网络模块之后，形成改进后的yolov5-se模型；

8、s5.使用步骤s3中得到的数据集和改进后的yolov5-se模型训练烟火检测模型；

9、s6.对步骤s5中得到的烟火检测模型使用opencv进行部署，用于停车场视频烟雾检测。

10、进一步地，所述原始数据集通过以下方法选取：

11、选取不同背景条件下的烟雾和火焰图像构成第一原始数据集，不同背景条件包括雾、云、雨、车辆、行人和光线背景；

12、选取多个停车场场景下车辆自燃视频进行抽帧、筛选的烟雾、火焰图像构成第二原始数据集；

13、第一原始数据集与第二原始数据集的图像比例由层次分析法确定，所述层次分析法为：

14、步骤1、构建层次结构模型，将决策问题分为三层，最上层为目标层m，即构建烟雾火焰检测数据集；最下层为方案层p，包括第一原始数据集和第二原始数据集，不同背景条件下的烟雾和火焰图像p1和停车场场景下车辆自燃视频帧p2；中间层为准则层c，包括各种天气情况c1、车辆行人干扰因素c2、光线明暗影响c3、特定停车场环境下的训练效果c4；

15、步骤2、构建准则层判断矩阵，对准则层的影响因素进行两两比较，构造判断矩阵m.c，

16、

17、其中，zi,j表示准则ci对准则cj的重要程度；i和j的取值为1、2、3和4；

18、步骤3、进行层次单排序与一致性检验，

19、层次单排序的方法为，根据方根法计算每行的权重，得到特征向量：

20、

21、其中，

22、

23、m为指标数目，为第i行的权重；

24、将特征向量标准化得到权重向量：

25、

26、标准化的方法为：

27、

28、进行一致性检验，一致性检验的方法为：

29、计算最大特征根：

30、

31、其中，i为判断矩阵m.c，w为标准化后的权重矩阵，λmax为最大特征根，计算一致性指标根据cr＝ci/ri计算得到cr，若cr小于0.1，则通过了一致性检验，ri值是随机一致性指标，由查表得到；

32、步骤4、进行层次总排序与一致性检验，分别在准则层c1、c2、c3、c4条件下对方案层p1、p2进行两两比较，构建判断矩阵c1.p、c2.p、c3.p和c4.p，并对判断矩阵做一致性检验，四个判断矩阵分别按上述层次单排序方法计算得到两种方案在c1、c2、c3、c4下的权重矩阵：

33、c1.p＝[w1，1 w1，2]

34、c2.p＝[w2，1 w2，2]

35、c3.p＝[w3，1 w3，2]

36、c4.p＝[w4，1 w4，2]

37、其中ci.p表示准则层ci条件下两种方案的权重矩阵，ωi，1表示方案p1在准则层ci条件下的权重，ωi，2表示方案p2在准则层ci条件下的权重；

38、将权重矩阵ci.p直接作为p1、p2在ci准则下的得分，计算方案p1、p2对于实现最终目标的总得分，计算公式为：

39、

40、其中j取1和2，sj表示方案pj的得分，最终第一原始数据集与第二原始数据集的图像比例为s1∶s2。

41、进一步地，其中视频抽帧频率为每10帧抽取1帧。

42、进一步地，所述步骤s1中，图像预处理过程包括筛选、尺寸归一化及裁剪处理，所述图片筛选方法为：筛选出确定存在烟雾或火焰目标的图像，并对车辆自燃视频帧计算余弦相似度，删除余弦相似度高于0.94的图像；所述余弦相似度的计算方法为：

43、

44、其中，x和y分别表示两幅图片的特征向量，xi和yi分别表示向量x和y的第i个元素，这里，i的范围是从1到n，其中n是向量的维度。

45、进一步地，所述步骤s2中，对原始数据集进行数据增强包括对图片改变亮度、对比度、饱和度以及对部分图像加入高斯噪声。

46、优选地，所述步骤s3具体为：使用labelimg软件对数据集进行标注，标注的方式是小框标注，小框标注是指针对烟雾、火焰形状不规则的问题，采用多个矩形框标注，最大限度框选目标，这种方法减少了单一锚框标注烟雾火焰目标时，烟雾、火焰边缘形状不规则部分导致锚框中有较多非目标部分对最终检测效果的干扰。并将标注完成的数据集按8:1:1比例划分为训练集、验证集和测试集，其中训练集、验证集和测试集均包括有增强后的第一原始数据集和第二原始数据两类图像。

47、进一步地，所述步骤s5还包括：训练过程使用mosaic数据增强技术来扩充训练数据集，使用自适应锚框技术在训练过程中根据图像不同特征自动学习生成合适的锚框，使用自适应图片缩放技术，将输入图像缩放到640*640。

48、第二方面：提供一种基于改进yolov5和数据增强的停车场烟火检测装置，其特征在于：所述装置包括：处理器和存储器，其中，所述存储器中存储有适于所述处理器执行的计算机程序指令，所述计算机程序指令被所述处理器运行时使得所述处理器执行如第一方面任一项所述的基于改进yolov5和数据增强的停车场烟火检测方法。

49、第三方面：提供一种存储介质，包括存储在所述存储介质上的计算机程序指令，其中，所述计算机程序指令被处理器运行时执行如第一方面中任意一项所述的基于改进yolov5和数据增强的停车场烟火检测方法。

50、本发明的有益效果是：与现有技术相比，

51、1)本发明利用yolov5目标检测算法训练烟雾、火焰检测模型，在yolov5网络中添加注意力模块，并在数据处理阶段使用数据增强技术对原始数据集进行了扩充，对部分图像加入噪声，提高了模型的检测精度和鲁棒性；

52、2)本发明使用的yolov5算法是基于回归的目标检测算法，相比于基于区域提取的目标检测算法，具有检测速度更快、实时性更高的优点；

53、3)本发明使用深度学习方法，相比于传统的基于传感器的烟雾检测方法和基于模式识别的烟火检测算法，具有不易受环境影响、鲁棒性更好的优点；

54、4)本发明面向室外停车场场景，可以在不同复杂背景和干扰条件下有效进行烟火检测，保证了停车场烟火检测的准确性，降低了漏检率和误报率。