本发明涉及图像处理、火灾检测和视频监控领域，特别涉及一种基于图像目标检测的火焰检测方法。
背景技术：
火灾是一类严重危害人民生命财产安全的频发灾害，早期预警火灾的发生能够避免火灾的蔓延，最大限度地减小火灾带来的危害。对于火焰检测任务尤其是室外和大型室内空间等场景的火焰检测任务，普通的物理传感器不能有效地完成，因此，基于图像处理技术的火焰检测方法是目前安全工程领域的一个重要研究方向。
基于图像处理技术的火焰检测方法的发展主要有两个阶段。第一个阶段是根据火焰的颜色、形状、纹理等视觉特征，结合模式识别中的分类算法，判断图像中是否存在火焰。这些手工设计特征的方法检测速度快，但是稳定性和泛化能力差，检测与火焰颜色相近的物体时容易出现误报，检测颜色超出设定阈值的火焰时也容易出现漏报。为了解决这类方法存在的问题，近年来研究人员开始利用深度卷积神经网络来进行火焰检测。深度卷积神经网络是近五年在计算机视觉领域研究和应用最广泛的方法，通常利用卷积层、池化层、批规范层(batchnormalization,bn)等从图像中自动提取特征，并利用全连接层进行分类，判断图像中是否存在火焰。该类方法的优点是不需要手工设计特征，可以利用神经网络来实现图像特征提取和模式分类的任务。相比于传统火焰检测方法，基于深度卷积神经网络的技术具有更高的准确率、召回率和更强的泛化能力。近年来，随着cpu、gpu等硬件计算能力的发展，该类方法的计算速度已经能够满足火焰检测的实时性要求。现有的基于深度卷积神经网络的火焰检测方法的问题在于，仍然需要从原始图像中生成疑似火焰的候选区域，再利用神经网络对候选区域进行分类判断是否存在火焰。
目前有研究提出了一种基于深度卷积神经网络的火焰检测方法，该方法首先提取彩色图像中的疑似火焰点，将疑似火焰点作为前景获取二值图像，利用连通区域法获取一系列的连通区域，经过筛选得到候选区域，再利用卷积神经网络对候选区域是否有火焰进行分类判断。该方法的问题在于，疑似火焰候选区域的生成过程仍然由手工设计特征来实现。该过程仍然需要利用火焰的颜色特征和动态特征，这导致其检测方法对环境变化的适应能力较差。到目前为止，尚未出现能够完全不依赖手工设计特征来实现图像火焰检测方法。
技术实现要素：
本发明的目的是为克服现有方法的不足之处，提出一种基于图像目标检测的火焰检测方法。本发明不需要利用手工设计特征生成疑似火焰的候选区域，能够直接使用深度卷积神经网络对整张图片进行火焰检测，并得到火焰的位置信息，从而早期预警火灾的发生，最大限度地减小火灾带来的危害。
本发明提出一种基于图像目标检测的火焰检测方法，其特征在于，该方法包括以下步骤：
1)收集n张带有火焰画面的彩色图片建立火焰图片数据集fimage，n≥5000；
2)对步骤1)建立的火焰图片数据集fimage中每张图片的火焰区域位置坐标用矩形框进行人工标注，得到火焰区域位置的真实标注框以及真实标注框在每张图片中的4个坐标值为：
3)将步骤2)中得到的火焰检测数据集f0随机划分为训练集ftrain和测试集ftest，其中训练集ftrain所占火焰检测数据集f0的比例为a，0.6≤a≤0.9；
4)构建一个深度卷积神经网络模型并对模型进行训练，得到训练完毕的火焰检测模型；具体步骤如下：
4-1)对训练集和测试集的每张图片进行标准化和归一化处理；
对步骤1)建立的训练集和测试集的每张图片进行标准化处理，设标准宽度和高度分别为w和h，400≤w≤800，400≤h≤800，通道数ch＝3；取标准化处理后任意图片的第t个通道、坐标为(x，y)的像素值为i(t，x，y)，0≤i(t，x，y)≤255，则利用式(1)计算归一化后的像素值i′(t，x，y),0≤i′(t，x，y)≤1：
4-2)构建一个深度卷积神经网络模型，该模型包括依次连接的输入层、特征提取部分和输出层；其中，特征提取部分由卷积层和池化层组合而成，包括3～6个池化层，每个池化层之前包括1～5层卷积层，并在每个卷积层后增加批规范层；
4-3)对步骤4-2)建立的模型进行训练，得到训练完毕的火焰检测模型；具体步骤如下：
4-3-1)将经过步骤4-1)标准化和归一化处理完毕的训练集每张图片依次输入步骤4-2)建立的模型；令输入为第l张图片，则深度卷积神经网络中倒数第二层卷积层的输出该图片对应的特征图，特征图大小为s×s个单元，每个单元对应输入图片的不同位置区域，再将倒数第二层卷积层的输出通过最后一层卷积层连接到整个模型的输出层，输出为输入图片s×s个不同位置区域中k，5≤k≤9，个预测候选框的类别概率
其中，
4-3-2)将步骤4-3-1)输入图片的s×s×k个标准尺寸框划分为正负样本；
设每张图片中真实标注框为g，该图片任意标准尺寸框为t，则t与g的交并比iou计算表达式如下：
其中，area表示区域；
设定正负样本的阈值η，0.5≤η≤0.7，并对每张图片对应的s×s×k个标准尺寸框进行判定：若iou≥η，则标准尺寸框中存在火焰，是正样本；若iou＜η，则标准尺寸框中不存在火焰，是负样本；
4-3-3)根据损失函数计算模型输出信息与真实标注信息之间的误差；
根据步骤4-3-1)得到的模型输出第l张图片对应的s×s×k个预测候选框的类别概率和相对于对应标准尺寸框的坐标偏移量，计算该图片预测信息
其中，
其中，
4-3-4)重复步骤4-3-1)至4-3-3)，将训练集ftrain的每张图片依次输入步骤4-1)建立的模型，通过误差反向传播算法更新模型，得到当前模型记为modelold；
4-3-5)利用测试集ftest对modelold进行测试，将测试集ftest的每张图片依次输入modelold，根据式(3)计算ftest的所有图片在modelold上的总损失lossold；
4-3-6)重复步骤4-3-4)，将训练集ftrain的每张图片依次输入modelold，得到新的当前模型记为modelnew；
4-3-7)重复步骤4-3-5)，利用测试集ftest对modelnew进行测试，得到ftest的所有图片在modelnew上的总损失lossnew；
4-3-8)训练停止条件判定：
若lossnew≤lossold，则继续训练模型，将当前modelnew更新为新的modelold，将当前lossnew更新为新的lossold，重新返回步骤4-3-6)；
若lossnew≥lossold时，则模型停止训练，输出当前modelold作为最终训练完毕的火焰检测模型，进入步骤5)；
5)利用步骤4)得到的火焰检测模型对实时视频进行火焰检测；
5-1)拍摄实时视频，将实时视频的每一帧画面输入步骤4)中训练好的火焰检测模型进行检测，模型输出该帧画面对应的s×s×k个预测候选框的类别概率和相对于对应标准尺寸框的坐标偏移量
5-2)设定一个火焰判定阈值threshold，取值范围在0～1之间，并对每帧画面输出的预测候选框的类别概率进行判定：若
其中，
5-3)若该帧画面的所有预测候选框均不存在火焰，则重新返回步骤5-1)，进行下一帧画面的火焰检测；若任一预测候选框存在火焰，则模型输出步骤5-2)计算得到的实际预测的火焰区域在画面中的左上角和右下角的顶点坐标，并用矩形框进行标记，然后重新返回步骤5-1)，继续进行下一帧画面的火焰检测。
本发明的特点及有益效果在于：
本发明应用了计算机视觉领域的目标检测技术，区别于其他火焰检测方法，本发明不需要提取疑似火焰的候选区域，而是将火焰检测的分类问题转化成了回归问题。本发明不依赖需要手工设计的火焰静态和动态特征，能够全程通过深度卷积神经网络完成从原始图像输入到火焰位置信息输出的整个检测过程，一定程度上避免了手工设计特征存在的误报和漏报的情况。此外，本发明能够适应不同尺寸的图像输入，能够满足实时检测的需求，且在不同场景下的泛化性能更强，可以应用于室内、室外等各种场景的火灾预警任务，以避免火灾发生或者减小火灾带来的危害。
附图说明
图1为本发明方法的整体流程图。
图2为本发明实施例的标准尺寸框、真实标注框和预测候选框的示意图。
图3为本发明实施例的火焰图片的标注过程示意图。
图4为本发明实施例的不同场景下的火焰检测结果示意图。
具体实施方式
本发明提出一种基于图像目标检测的火焰检测方法，下面结合附图和具体实施例进一步详细说明如下。
本发明提出一种基于图像目标检测的火焰检测方法，整体流程如图1所示，包括以下步骤：
1)收集n张(n≥5000)带有火焰画面的彩色图片，建立火焰图片数据集fimage。其中图片来源无特殊要求，本实例的图片全部从网络上搜集得到，图片无尺寸要求，图片中要求有明显的火焰画面。
2)对步骤1)建立的火焰图片数据集fimage中每张图片的火焰区域位置坐标用矩形框进行人工标注(矩形框就是图片中火焰区域的实际位置，用矩形框框住，得到矩形框的4个坐标值)，得到火焰区域位置的真实标注框以及真实标注框在每张图片中的4个坐标值为：
3)将步骤2)中得到的火焰检测数据集f0随机划分为训练集ftrain和测试集ftest(由于fimage中的图片和fannotation中的xml文件是一一对应的，划分后训练集ftrain和测试集ftest中划分得到的图片和xml文件也是一一对应的)，其中训练集ftrain所占火焰检测数据集f0的比例为a，0.6≤a≤0.9，训练集ftrain用以训练模型的参数，测试集ftest用以测试模型的泛化性能。
4)构建一个深度卷积神经网络模型并对模型进行训练，得到训练完毕的火焰检测模型；具体步骤如下：
4-1)对训练集和测试集的每张图片进行标准化和归一化处理；
由于步骤1)收集图片大小为任意尺寸，而卷积神经网络的输入需要固定图片大小，因此需要将原始图片缩放成标准大小，设标准宽度和高度分别为w和h,400≤w≤800，400≤h≤800，通道数不变ch＝3。在训练和测试过程中，输入的图片样本的所有像素值的取值范围都在0～255之间，需要进行归一化处理，使像素值在0～1之间。取标准化处理后任意图片的第t个通道、坐标为(x，y)的像素值为i(t，x，y),0≤i(t，x，y)≤255，则利用公式(1)计算归一化后的像素值i′(t，x，y),0≤i′(t，x，y)≤1：
4-2)构建一个深度卷积神经网络模型，包括依次连接的输入层、特征提取部分和输出层；其中，归一化后的图片从输入层输入，连接特征提取部分；特征提取部分由卷积层和池化层组合而成，其中包括3～6个池化层，每个池化层之前包括1～5层卷积层，并在每个卷积层后增加批规范层，用以对每批输入数据在卷积层输出特征图内进行归一化；最后特征提取部分连接输出层输出预测结果。
4-3)对步骤4-2)建立的模型进行训练，得到训练完毕的火焰检测模型；具体步骤如下：
4-3-1)从经过步骤4-1)标准化和归一化处理完毕的训练集中，任意选取一张图片输入步骤4-2)建立的模型；令输入为第l张图片，则深度卷积神经网络中倒数第二层卷积层的输出该图片对应的特征图，每张图片对应的特征图大小均为s×s个单元(输出特征图大小s×s由输入图片的宽度高度(w，h)和设计的网络结构所确定)，每个单元对应输入图片的不同位置区域，如图2所示，图2左侧的大图为输入的图片，右侧的小图为该图片对应的特征图，当s＝3时，特征图包含9个单元，对应图片中9个不同位置区域，特征图的最左上角单元对应输入图片的最左上角位置区域。再将倒数第二层卷积层的输出通过最后一层卷积层连接到整个模型的输出层，输出为输入图片不同位置(s×s)中k，5≤k≤9个预测候选框的类别概率
其中
实际操作中，模型的输入为一个批次batch，8≤batch≤64的图片数据，大小为batch×w×h×ch。
4-3-2)将步骤4-3-1)输入图片的s×s×k个标准尺寸框划分为正负样本；
设每张图片中真实标注框为g，该图片任意标准尺寸框为t，则t与g的交并比(iou,intersection-over-union)：
其中，area表示区域；
标准尺寸框t与真实标注框g的交并比越大，表明标准尺寸框t的坐标越接近真实标注框g的坐标。设定正负样本的阈值η，0.5≤η≤0.7并对每张图片对应的s×s×k个标准尺寸框进行判定：若iou≥η，则标准尺寸框中存在火焰，认为是正样本；若iou＜η时，则标准尺寸框中不存在火焰，认为是负样本。
4-3-3)根据损失函数计算模型输出信息与真实标注信息之间的误差；
根据步骤4-3-1)得到的模型输出第l张图片对应的s×s×k个预测候选框的类别概率和相对于对应标准尺寸框的坐标偏移量，计算该图片预测信息
其中，
其中，
4-3-4)重复步骤4-3-1)至4-3-3)，将训练集ftrain的每张图片依次输入步骤4-1)建立的模型，对整个神经网络模型进行迭代训练，通过误差反向传播算法更新模型，得到当前模型记为modelold；
4-3-5)利用测试集ftest对modelold进行测试，将测试集ftest的每张图片依次输入modelold，根据式(3)计算ftest的所有图片在modelold上的总损失lossold；
4-3-6)重复步骤4-3-4)，将训练集ftrain的每张图片依次输入modelold，得到新的当前模型记为modelnew；
4-3-7)重复步骤4-3-5)，利用测试集ftest对modelnew进行测试，得到ftest的所有图片在modelnew上的总损失lossnew；
4-3-8)训练停止条件判定：
若lossnew≤lossold，说明测试误差还在下降，modelnew在测试集ftest上的性能要优于modelold，则继续训练模型，将当前modelnew更新为新的modelold，将当前lossnew更新为新的lossold，重新返回步骤4-3-6)；
若lossnew≥lossold时，说明测试误差开始上升，modelold在测试集ftest上的性能要优于modelnew，则模型停止训练，输出当前modelold作为最终训练完毕的火焰检测模型，进入步骤5)。
5)利用步骤4)得到的火焰检测模型对实时视频进行火焰检测；
5-1)拍摄实时视频，将实时视频的每一帧画面输入步骤4)中训练好的火焰检测模型进行检测，模型输出该帧画面对应的s×s×k个预测候选框的类别概率和相对于对应标准尺寸框的坐标偏移量
5-2)设定一个火焰判定阈值threshold，取值范围在0～1之间，并对每帧画面输出的预测候选框的类别概率进行判定：若
其中，
5-3)若该帧画面的所有预测候选框均不存在火焰，则重新返回步骤5-1)，进行下一帧画面的火焰检测；若任一预测候选框存在火焰，则模型输出步骤5-2)计算得到的实际预测的火焰区域在画面中的左上角和右下角的顶点坐标，并用矩形框进行标记，然后重新返回步骤5-1)，继续进行下一帧画面的火焰检测，之后可以将标记画面和火灾报警信号发送给控制中心。
以上方法本领域技术人员通过编程即可实现。
本发明的一个具体实施例如下：
本实施例提出的一种基于图像目标检测的火焰检测方法，包括以下步骤：
1)收集n张(n＝5075)带有火焰画面的彩色图片，建立火焰图片数据集fimage。其中收集的图片全部从网络上搜集得到，图片中都含有明显的火焰画面。
2)对步骤1)的火焰图片数据集fimage中每张图片的火焰区域位置坐标用矩形框进行人工标注，如图3中(a)、(b)所示，将火焰区域用矩形框框住，得到火焰区域位置的真实标注框以及真实标注框在在每张图片中的4个坐标值为：
3)将步骤2)中得到的的火焰检测数据集f0随机划分为训练集ftrain和测试集ftest(由于fimage中的图片和fannotation中的xml文件是一一对应的，划分后训练集ftrain和测试集ftest中划分得到的图片和xml文件也是一一对应的)，其中训练集ftrain所占火焰检测数据集f0的比例为a＝80％，ftrain包括4060张图片及对应的标注数据，ftest包括1015张图片及对应的标注数据，训练集ftrain用以训练模型的参数，测试集ftest用以测试模型的泛化性能。
4)构建一个深度卷积神经网络模型并对模型进行训练，得到训练完毕的火焰检测模型；具体步骤如下：
4-1)对训练集和测试集的每张图片进行标准化和归一化处理；
该实施例中，标准宽度和高度设定为w和h(w＝416，h＝416)，彩色图片的通道数ch＝3。按照公式(1)对缩放图片的像素数据进行归一化处理，使像素值在0～1之间。模型的输入为一个批次batch＝16的图片数据，输入大小为batch×w×h×ch。
4-2)构建一个深度卷积神经网络模型，包括输入层、特征提取部分和输出层：其中，归一化后的图片从输入层输入，连接特征提取部分；特征提取部分由22个卷积层和5个池化层构成，每个池化层之前包括1～5层卷积层，并在每个卷积层后增加批规范层，用以对每批输入数据在卷积层输出特征图内进行归一化；最后特征提取部分连接输出层输出预测结果。
4-3)对步骤4-2)建立的模型进行训练，得到训练完毕的火焰检测模型；具体步骤如下：
4-3-1)从经过步骤4-1)标准化和归一化处理完毕的训练集中，任意选取一张图片输入步骤4-2)建立的模型；令输入为第l张图片，则深度卷积神经网络中倒数第二层卷积层的输出该图片对应的特征图，每张图片对应的特征图大小均为s×s个单元(s＝13)，每个单元对应输入图片的不同位置区域。再将倒数第二层卷积层的输出通过最后一层卷积层连接到整个模型的输出层，输出为输入图片的不同位置(s×s)中k＝5个预测候选框的类别概率
4-3-2)将步骤4-3-1)输入图片的s×s×k个标准尺寸框划分为正负样本；设定正负样本的交并比阈值η＝0.6，并对每张图片对应的s×s×k个标准尺寸框进行判定：若iou≥η时，则标准尺寸框中存在火焰，认为是正样本；若iou＜η时，则标准尺寸框中不存在火焰，认为是负样本。
4-3-3)根据损失函数计算模型输出信息与真实标注信息之间的误差；
根据步骤4-3-1)得到的模型输出第l张图片对应的s×s×k个预测候选框的类别概率和相对于对应标准尺寸框的坐标偏移量，计算该图片预测信息
其中，位置误差损失相对于类别误差损失的权重系数设定为λloc＝0.2，调整正样本和负样本的类别损失比例的权重系数设定为λnoobj＝0.2。
4-3-4)重复步骤4-3-1)至4-3-3)，将训练集ftrain的每张图片依次输入步骤4-1)建立的模型，对整个神经网络模型进行迭代训练，通过误差反向传播算法更新模型，得到当前模型记为modelold；
4-3-5)利用测试集ftest对modelold进行测试，将测试集ftest的每张图片依次输入modelold，根据式(3)计算ftest的所有图片在modelold上的总损失lossold；
4-3-6)重复步骤4-3-4)，将训练集ftrain的每张图片依次输入modelold，得到新的当前模型记为modelnew；
4-3-7)重复步骤4-3-5)，利用测试集ftest对modelnew进行测试，得到ftest的所有图片在modelnew上的总损失lossnew；
4-3-8)训练停止条件判定：
若lossnew≤lossold，说明测试误差还在下降，modelnew在测试集ftest上的性能要优于modelold，则继续训练模型，将当前modelnew更新为新的modelold，将当前lossnew更新为新的lossold，重新返回步骤4-3-6)；
若lossnew≥lossold时，说明测试误差开始上升，modelold在测试集ftest上的性能要优于modelnew，则模型停止训练，输出当前modelold作为最终训练完毕的火焰检测模型，进入步骤5)。
5)利用步骤4)得到的火焰检测模型对实时视频进行火焰检测；
5-1)拍摄实时视频，将实时视频的每一帧画面输入步骤4)中训练好的火焰检测模型进行检测，模型输出该帧画面对应的s×s×k个预测候选框的类别概率和相对于标准尺寸框的坐标偏移量
5-2)设定一个火焰判定阈值threshold，取值范围在0～1之间，并对每帧画面输出的预测候选框的类别概率进行判定：若
5-3)若该帧画面的所有预测候选框均不存在火焰，则重新返回步骤5-1)，进行下一帧画面的火焰检测；若任一预测候选框存在火焰，则模型输出步骤5-2)计算得到的实际预测的火焰区域在画面中的左上角和右下角的顶点坐标，并用矩形框进行标记，如图4中(a)～(e)所示，然后重新返回步骤5-1)，继续进行下一帧画面的火焰检测，之后可以将标记画面和火灾报警信号发送给控制中心。