一种用于社区火灾检测方法与流程

本发明涉及火灾检测，具体为一种用于社区火灾检测方法。

背景技术：

1、火灾是指在时间或空间上失去控制的燃烧所造成的灾害，在各种灾害中，火灾是威胁公众安全和社会发展的最经常、最普遍的灾害之一，防范火灾一直是我国消防工作的难点和重点。我国将火灾划分为一般火灾、较大火灾、重大火灾和特别重大火灾四个等级，越早的发现火灾则能越早采取行动控制火势，减少人员伤亡和财产损失，而当前许多社区内缺少火灾检测手段，因此社区火灾检测十分重要。

2、在现有的技术中，通过监控设备获取的视觉信息来检测一定区域内是否存在火情是火灾检测中的一类重要检测技术。

3、目前主要方法分为两类，其中一类采用基于卷积神经网络和目标检测的深度学习模型检测火灾，例如yolo-v3等，这种方法在训练中通过优化交并比损失函数使模型能够识别火焰目标，但训练需要大量人为标注的火灾图片作为训练样本，而人工标注火灾图像成本极高，相关的公共数据数量有限；

4、而另一类方法使用基于重建的深度卷积生成对抗网络方法，其通过假设模型无法有效重建异常图像来检测异常，但在实际使用过程中部分异常样本也能被有效重建，存在假阴性率较高的问题。

5、为此提出一种用于社区火灾检测方法，来解决此问题。

技术实现思路

1、本发明的目的在于提供一种用于社区火灾检测方法，解决了目前采用基于卷积神经网络和目标检测的深度学习模型检测火灾存在人工标注火灾图像成本高，使用基于重建的深度卷积生成对抗网络方法存在假阴性率高的问题。

2、为实现上述目的，本发明提供如下技术方案：一种用于社区火灾检测方法，包括以下步骤：

3、步骤1：步骤1：火灾图像数据输入：首先获取社区火灾图像数据和正常社区图像数据，图像数据格式后缀规定为.jpg或.png；

4、其次训练数据与测试数据的比例为8：2，训练数据全部由社区火灾图像数据组成，而测试数据由等量的社区火灾图像数据和正常社区图像数据组成，形成数据集表；

5、对训练集中的图像数据进行预处理，首先由.jpg或.png格式转化为image(rgb)格式，并使用不保留原来图像比例的缩放操作将图像调整为h×w大小的矩形图片，然后，对数据集中的图像数据进行最大最小值归一化预处理：

6、

7、在公式中，xi表示图像像素点值，min(x)，max(x)分别表示图像像素的最大值与最小值，最终将数据映射到0和1之间；

8、对于输入模型的训练数据需要经过两个步骤：

9、第一步，通过对比度增强操作强化火焰的特征并生成成对的两组数据，数据量扩充为原来的2倍；

10、第二步，以第一步生成的两组训练数据分别输入mcod模型中的两个cnn编码器进行对比学习和深度聚类，并将特征向量和聚类预测存入队列，然后通过队列中的特征向量和聚类预测生成并更新记忆原型；

11、步骤2：对比度增强操作：首先输入经过预处理的图像，将所有图像存储在列表1中，然后将列表中所有图像转化为tensor类型并进行限定范围内的随机对比度增强操作；接着，对列表中的每一个图像建立一个副本对进行50％概率水平翻转、一定范围内随机亮度和饱和度改变操作，并将副本存储在与列表1维度相同的列表2中，使图像与其增强副本两两形成样本对，最终，输出列表1和列表2两组数据；

12、步骤3：特征提取：模型输入数据通过一对结构相同的二维cnn编码器提取特征，主要通过区分特征的对比学习和基于聚类的记忆模块实现：

13、区分特征的对比学习：将由步骤二得到的两组数据分别输入两个二维cnn编码器，第一个编码器eq的输入是列表1中对应的图像张量第二个编码器ek的输入是列表2中对应的图像张量经由编码器输出的样本对的特征和的表达式为：

14、

15、然后，在编码器eq、ek之后建立一个非线性嵌入层gq、gk，得到图像和的嵌入表示和利用这些向量的嵌入表示进行对比学习，和的表达式为：

16、

17、为了更好地优化对比学习的嵌入表示，通过创建队列来扩展前面mini-batch的负样本集；队列的容量为nq＝4096，在最初的几次迭代之后将被填满，之后mini-batch中的新嵌入特征将被添加到队列中，并且删除最早的嵌入特征；优化对比学习的嵌入表示的损失函数定义为：

18、

19、其中n为mini-batch的大小，τz为温度参数，z的定义为：

20、

21、其中表示存储在队列中的特征嵌入表示；

22、基于聚类的记忆模块：为了计算一个记忆原型并学习样本和记忆原型之间的关系，使用深度聚类方法输出每个样本的聚类预测；在嵌入层之后，是一个聚类层h(·)，其输出定义为：

23、

24、其中和为大小为1×c的logit向量，c为簇号；给定一个小批处理集群logits，它们由两个矩阵uq和uk构建，定义为：

25、

26、其中元素和是属于聚类c的样本xi的增广的聚类对数，c＝1,…,c；将矩阵写成列分块矩阵形式：

27、

28、实现聚类的损失函数定义为：

29、

30、其中和τc是温度参数；

31、聚类预测反映了样本和每个聚类中心之间的关系，因此称之为内存相关性预测，定义为：

32、

33、其中(·)为softmax函数；将和存入队列之中；

34、记忆原型读取：给定内存矩阵m＝[m1,m2…mc]d×c，其中每一列为一个记忆原型mc,d为每个记忆原型的特征维数，这些记忆原型是每个集群的聚类中心，因此具有与和相同的特征维数，考虑到样本通常在几个相关的集群中共享某些特征，采用了软赋值记忆读取：

35、

36、在训练过程中，模型优化的目标是在当前的记忆原型和聚类预测下，使和之间的距离最小化，基于欧氏距离的特征一致性损失为：

37、

38、通过这种方式，lm可以将逼近其对应的内存原型。

39、动量更新：在模型优化过程中，eq充当一般网络，ek充当动量网络，它们的参数逐渐更新为：

40、θk：＝αθk+(1-α)θq  (13)

41、其中θq和θk分别是(eq,gq,hq)和(ek,gk,hk)的参数集，α∈[0,1)是动量系数，根据经验设定为α＝0.99较优；

42、记忆写入：根据存储在队列中的特征及其内存相关性预测生成新的记忆原型，写入操作为：

43、

44、其中，和是存储在队列中的前一个小批次的记忆相关性预测和特征利用队列中样本的输出来更新记忆原型，以保持记忆原型的稳定性；

45、步骤4：模型训练：加载基于对比度增强和mcod深度学习框架的火灾检测模型；首先获取社区火灾图像数据及正常社区图像数据，而后输入模型进行对比度增强和对比学习；

46、步骤5：模型利用：读取步骤3中储存在云端或本地的火灾检测模型，进行火灾检测，具体表现为从监控视频中获取关键帧并输入模型的编码器eq，由火灾安全系数的值与事先设定好的阈值进行比较。

47、优选的，在步骤1中，第一步主要目的是为了强化图像中火焰的特征，削弱非火焰事物的细节特征，并生成符合对比学习模型输入条件的数据。

48、优选的，在步骤1中，第二步则通过区分特征的对比学习和基于聚类的记忆模块对社区火焰特征进行学习，从而实现社区火灾检测。

49、优选的，在步骤1中，以训练集中一个batch size的图像数据为例执行第一步时，输入的样本尺寸为(b,c,h,w)；

50、其中b为batch size大小；

51、c为通道数，根据rgb图片的性质应设为3；

52、h为图像的高度；

53、w为图像的宽度。

54、优选的，在步骤1中，当执行第二步时，需要将任务一输出的成对样本分别输入两个二维cnn编码器进行对比学习，故输入的样本尺寸为(2,b,c,h,w)；

55、其中2为两组样本的下标；

56、b为batch size大小；

57、c为通道数；

58、h为图像的高度；

59、w为图像的宽度。

60、优选的，在步骤2中，对比度增强操作的目的在于强调图像中烟雾和火焰的特征，抑制不感兴趣的特征。

61、优选的，在步骤3中，为了保证特征的一致性，需要最小化样本特征与其对应的记忆原型之间的距离，为此，在记忆相关性预测的辅助下应用了记忆原型读取。

62、优选的，在步骤3中，为了找到更好的一致性特征，记忆原型应该在训练过程中更新，因此，模型采用一个记忆写操作。

63、优选的，在步骤4中，训练过程分为两个阶段一共800个迭代期，其中前500次迭代进行预热，只对对比损失lz和聚类损失lc进行反向传播，在优化编码器和聚类层的同时更新大小为4096的队列；后300次迭代加入特征一致性损失lms与前面二者共同进行反向传播；在迭代过程中模型损失曲线反映了模型对图像特征的学习程度与迭代损失过程，设置batchsize大小为100，对模型进行800次迭代训练，获得800次迭代训练的loss曲线图。

64、优选的，在步骤5中，若火灾安全系数小于阈值则判定为火灾并产生警报，若火灾安全系数大于等于阈值则判定为非火灾。

65、与现有技术相比，本发明的有益效果是：

66、1、本发明专利采用自监督对比学习的方式优化特征提取器，该方法为自监督学习，用于训练模型的数据是无标签数据，极大降低了获取数据的成本和难度，相比于大部分目标检测算法对数据的苛刻要求，本方法避免了人为标注数据的巨大成本，同时可用的数据量大大增加；

67、2、本发明专利使用对比度增强模块对输入的图像进行对比度增强和数据增强，同时将图像增强为成队的两组数据，由于火焰在rbg图像中往往具有高亮且暖色调的特性，该方法能强调火焰特征，有利于编码器对火焰特征的提取，有效减少检测出现假阴性的概率

68、3、本发明专利使用深度聚类方法得出每个样本的聚类预测，在二维空间形成多个样本簇，使记忆原型涵盖多样性的烟雾火情样本特征，该方法在面对多种不同类型、不同规模的烟雾和火焰时能够具有针对性的产生相似的记忆原型特征，从而使检测模型更好的适应社区可能产生的火灾的多样性。