一种自学习的视频火灾探测方法
【专利摘要】本发明公开了一种自学习的视频火灾探测方法，该方法的技术方案包括：收集一批烟火图像，去除背景并加注标签，作为种子数据集；利用种子数据和采集的视频自动生成针对特定应用环境的数据样本；通过在线学习算法在这些样本上训练得到火焰和烟雾检测器；前端将获取的疑似火灾图像发送给检测服务器来判断是否发生火灾；在运行过程中，检测服务器不断获取新样本来在线更新检测器。本发明较现有技术具有以下优点：能用于各类场景，能自适应的提升性能，降低误报；疑似区域提取与火灾识别分离，火灾识别可以远程化，甚至部署在云端，这使得整个系统的升级和维护更方便。
【专利说明】
一种自学习的视频火灾探测方法
技术领域
[0001] 本发明涉及火灾探测、视频监控领域，特别是涉及火灾探测及视频监控领域中一 种自学习的视频火灾探测方法。
【背景技术】
[0002] 基于视频图像处理技术的图像型火灾探测器能够在火灾发生的早期发现火灾，并 且能直观反应现场情况，有利于火灾的早发现早扑灭，特别是在室外及室内高大空间等应 用场合具有显著优势，愈来愈受到重视，应用需求旺盛。
[0003] 图像型火灾探测器的核心是图像分析算法，要求能准确识别火焰和烟雾，不漏报， 少误报。图像型火灾探测系统一般采用前端摄像头采集数据传输到后台服务器进行火灾识 别的架构。后台服务器对于输入的视频流进行一序列图像处理和分析，一体化完成火灾的 检测和报警。这需要大量的训练样本(而这在实际中代价很高)才能学习到一个较为可靠的 识别器。在实际应用中，由于应用环境的开放性，系统将面临多种多样的应用场合和干扰。 要获得一个能装配到多种场合的图像火灾探测器是极其困难的，即使部署时针对特定场合 配置好了识别模块参数，在运行过程中，由于季节、天气、堆放物等因素，设备要处理的环境 也发生了变化，也会逐渐导致误报问题突出，系统维护困难。
【发明内容】
[0004] 为了克服上述现有技术的不足，本发明提供一种自学习的视频火灾探测方法，该 方法在运行过程中自行学习和适应对应的场景。
[0005] 本发明所采用的技术方案如下:一种自学习的视频火灾探测方法，包括步骤如下：
[0006] 步骤一、收集一批烟火图像，去除背景并加注标签，作为种子数据集；
[0007] 步骤二、利用种子数据和采集的视频自动生成针对特定应用环境的数据样本；
[0008] 步骤三、训练过程:通过在线学习算法在这些样本上训练出烟火检测器；
[0009] 步骤四、检测过程:前端将获取的疑似火灾图像发送给检测服务器来判断是否发 生火灾；
[0010] 步骤五、在运行过程中，检测服务器不断的截取场景图像作为新的样本在线更新 检测器，以适应场景的变化。
[0011] 其中，步骤一所述种子数据集，其图像为缩放到固定大小mxn的图像块，其中烟雾 或火焰区域是原图像值，非烟火区域的像素值全部为〇,标签分别为'smoke'，'fire'，一张 图像最多有两个标签。
[0012] 其中，步骤二所述样本生成方法包括：
[0013] 从监控视频流中定时或随机截取一些帧，从这些帧中随机裁剪出一些图像块，图 像块满足：1)最小边长不小于限值L_(例如60)，2)长边与短边之比不大于比值ratio(例如 3);然后缩放到与种子图像同样大小，归入负样本集；
[0014] 从负样本集和种子集中分别随机选取一张图像，按照下列方法采用不同的α进行1 ~3次叠加融合： Γ 1 .、 f(1 - a)I(x,y) + aS(s,y) if S(x,y) > 0
[0015] M(.r,>〇= v \ γ ^ (. / (x, y) otherwise
[0016] label(M) = label(S)
[0017] 其中ae (0.6,1.0)，用来模拟烟的浓度，I为负样本，S为种子样本，M为融合得到的 烟火图像，是对场景中发生火灾的一种模拟，将用于训练针对该场景的火焰和烟雾检测器， label为图像的标签。
[0018] 其中，步骤三所述训练过程，包括：
[0019] 从负样本集中随机挑选出一个子集联合火焰样本集训练一个火焰检测器Df，从负 样本集中随机挑出一个子集联合烟雾样本集训练一个烟雾检测器D s，如图2;
[0020] 图像特征提取采用基于人类视觉感知机理的多层模型，如图3,每一张图像用一个 d维特征向量描述;学习方法采用增量学习算法。例如online boosting或onl ine svm或增 量神经网络等。
[0021] 其中，步骤四所述检测过程，包括：
[0022] 前端处理(嵌入式智能相机或者处理服务器）负责提取并跟踪疑似区域，可以采用 成熟的运动目标提取或者颜色筛选；
[0023] 前端以固定时间间隔t，将提取的疑似区域图像发送给检测服务器；
[0024] 检测端调用对应的火焰和烟雾检测器，对接收到的图像进行检测，如果两者之一 输出为正响应，这说明有对应的异常情况发生，向中心控制平台发送报警信号，否则发送正 常信号。
[0025] 其中，步骤五所述系统更新过程，包括：
[0026] 在系统运行过程中，将持续的提供一些新的样本给检测服务器，用于更新检测器， 更新样本分为负样本集，火焰集和烟雾集；
[0027]定时地将收集到的负样本集和火焰集输入学习算法，更新火焰检测器，将负样本 集和烟雾集输入学习算法，更新烟雾检测器。
[0028] 其中，所述的更新检测器，更新样本来源可分为4类：
[0029] 1)从视频流中截取的随机图像，赋予普通权重，归入负样本集，它们可以让模型适 应变化了的场景；
[0030] 2)被检测服务器判断为正常且响应值很高或经人工确认的非火灾图像，赋予普通 权重，归类为负样本，它们可以让模型更好的处理干扰模式；
[0031] 3)被检测服务器判断为异常，且响应值很高或者经过人工确认的火灾图像，与第 一类图片采用与与第一类图片进行叠加融合处理，生成一批火灾图像，赋予普通权重，按标 签归入火焰集或烟雾集，它们有助于模型学习该场景下的火灾模式；
[0032] 4)经人工确认被检测服务器误判的图像，按照实际的类别归入样本集，并赋予其 高倍的权重，他们将有利于模型进行纠错，避免后续的误判。
[0033] 与现有技术相比，本发明的方法不是赋予系统一体化的视频分析算法，而是一组 数据和一个学习方法，让它根据初始数据和实际的场景视频，在运行过程中自行学习和适 应对应的场景。这能有效的解决算法不能适应应用环境的问题，显著降低误报的发生，提高 报警的准确性。此外基于该方法的系统维护和升级也更为方便。
【附图说明】
[0034]为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图做一些简单的介绍。显而易见，下面描述中的附图是本发 明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根 据这些附图获得其他附图。
[0035]图1为本发明实施例提供的自学习视频火灾探测方法流程图；
[0036] 图2为本发明实施例提供的样本生成方法及检测器训练流程图；
[0037] 图3为本发明实采用的图像特征提取方法示意图；
[0038] 图4为本发明用于更新模型的四种数据来源。
【具体实施方式】
[0039]为使本发明实施的目的，技术方案及优点更加清楚，以下将结合本发明实施例中 的附图，对本发明实施中的技术方案进行详细、完整的描述。显然，所描述的实施例是本发 明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没 有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0040]图1为本发明自学习的视频火灾探测方法实施例的流程图。如图1所示，本实施例 的方法包括：
[0041 ]步骤1、收集一批烟火图像，去除背景并加注标签，作为种子数据集；
[0042] 图像要么包含烟雾，要么包含火焰，且为烟火区域的外接矩形或者稍大，经背景消 除处理后，烟火区域像素点保持原像素值，非烟火区域RGB三个通道全部为0,最后缩放到统 一大小，例如60X60像素。
[0043] 步骤2、利用种子数据和采集的视频自动生成针对特定应用环境的数据样本；
[0044] 步骤3、通过在线学习算法在这些样本上训练得到火焰和烟雾检测器；
[0045] 步骤4、检测过程，前端将获取的疑似火灾图像发送给检测服务器来判断是否发生 火灾；
[0046] 步骤5、系统更新，在运行过程中，不断获取新样本来在线更新检测器。
[0047] 具体步骤如下：
[0048] 步骤一、收集一批烟火图像，去除背景并加注标签，作为种子数据集。
[0049] 种子集中的图像从网络或实际的火灾录像中截取，去除背景而只保留烟和火的区 域，并打上相应的标签。种子集越大越好，多样性越丰富越好，这样训练出来的火灾检测模 型的可靠性也更高。种子集图像最终被缩放到一个固定的大小m X η。
[0050] 步骤二、利用种子数据和采集的视频自动生成针对特定应用环境的数据样本。
[0051] 安装视频探测点之后，从实际的视频流中抽取一部分帧，可以以一个固定间隔定 时抽取或者随机抽取，然后从截取的视频帧中裁剪出一些符合大小及长宽比要求的图像 块。最后将这些图像块缩放到与种子图像一样大小，归入负样本集。
[0052] 然后从种子集和负样本集随机选择一张图像，采用公式（1)的叠加融合方法生成 一张正样本图片，模拟画面对应的区域发生火灾的情况。
[0053]步骤三、训练过程，通过在线学习算法在这些样本上训练出烟火检测器。
[0054] 准备一组火焰图像作正样本和一组负样本图像组成训练集，正负样本规模基本相 当，数量可以从几百到几万。然后提取d维的C2特征，每个样本用一个特征向量表示；
[0055] 采用在线学习算法，在训练集上学习出一个火焰检测器，专门用于检测图像中是 否包含火焰；
[0056] 同样的，对于烟雾也采用相同的方法训练一个烟雾检测器；
[0057]步骤四、检测过程，前端将获取的疑似火灾图像发送给检测服务器来判断是否发 生火灾;此系统中，疑似火灾图像的提取和火灾判断是分离的，前端可以根据应用的不同采 用不同的方法进行抽取，例如针对固定摄像头可以采用运动区域提取，对于森林中的巡检 摄像头可以根据色彩进行提取。检测服务器接收统一规格的图像，分别调用火焰和烟雾检 测器进行检测，当两个检测器均输出负响应时认为没有火灾发生，否则表示有火灾异常，发 出报警信号。智能判决模块只负责对输入的图像块进行分析，判断是否包含火焰或者烟雾； 其作为一个服务，既可以部署在监控中心也可以部署在云端。
[0058]步骤五、在运行过程中，系统不断的截取场景图像作为新的样本在线更新检测器， 以适应场景的变化。样本获取模块，采集场景数据，自动生成一批针对该场景的训练样本；
[0059] 在实际应用中，环境会随着时间、季节、天气等因素发生变化，传统方法的模型可 能会逐渐变得不再适应，或者只能适应部分情况，也不能随着数据量的增加而变的更加健 壮和稳定。本发明提出的方法在检测的同时，不断地利用新的数据来更新和提升模型的性 能，使得模型能够适应环境的变化，并且随着运行时间越长数据越多，其检测的稳定性和可 靠性也越来越高。
[0060] 图2为本发明实施例提供的样本生成方法及烟雾检测器训练流程图，如图2所示， 以烟雾检测器的训练为例进行说明，火焰的处理方法与之相同。
[0061] 由于训练需要大量的当前环境下的样本，才能获得比较可靠的检测器，但在实际 情况中，火灾的正样本非常难以收集，点火试验的代价与风险也比较大。因此本发明采用一 种合成的方法来模拟当前环境下的火灾。首先随机的从事先准备好的种子集和负样本集中 各挑出一张图像，然后在烟雾区域以随机的比例进行线性叠加，将烟雾嵌入到当前环境的 背景上，生成烟雾图像样本。这样生成的样本有利于学习出对环境背景不敏感的检测器，而 叠加的比例还可以模拟不同的烟雾浓度。
[0062]在合成训练样本的基础上，将一组负样本和一组正样本输入到学习模块中，得到 烟雾检测器。图中采用了online adaboost学习算法，adaboost是机器学习领域的著名算 法，其通过不断的迭代，将一些弱分类器组合起来，最终构成一个强分类器。Online adaboost是其增量学习的变种，之所以采用在线学习方法是为了方便进行模型更新（步骤 5)，在运行过程中可以将新的样本投入到学习框架中，以提高其对环境的适应性和识别性 能。采用哪一种学习方法不是本发明的限制特征，此处同样可以采用其他在线学习方法，例 如online svm，增量神经网络等。
[0063]图3为本发明实采用的图像特征提取方法示意图，如图3所示，该特征是T.Serre等 人在CVPR2005提出的基于人类视觉感知机理提出的特征提取模型，简称为C2特征。特征提 取模型共分为五层：图像层、三个中间层和特征层。每一层都由上一层通过一族滤波器得到 (模板卷积或者最大值抽取）。
[0064]图像层是一个图5层像金字塔，最底层是大小为60X60的输入图像，之上每一层尺 寸都是下一层的
图像层经
四个方向的Gabor滤波器滤波后得到S1层。采用一 个2层棱台模板对S1层进行局部最大值滤波之后得到C1层。然后采用d个模板对C1层进行卷 积得到S2层，因此S2层由d个小金字塔组成。最后对S2层的每一个金字塔进行全局最大值滤 波，得到最终的C2层，即一个d维的特征向量。本发明就用这个特征向量来对一张图像进行 特征表达。
[0065] 图4为本发明用于更新模型的四种数据来源，如图4所示，系统将利用这四类数据 进行自我提升。
[0066] 在实际应用中，由于两个方面的因素，系统需要对模型进行更新。一方面，即使同 一个摄像头的视频，其环境也不是长期不变的，因此之前针对该场景训练的检测器可能逐 渐变得不适应，从而导致误报发生。另一方面，从理论上讲，误报和漏报是不可避免的，人们 希望系统能自动学习，对曾经发生的误报和漏报进行学习，改进模型，避免以后同类情况下 继续出错。
[0067] 第1类为从视频流中抽取的背景图像，第2类为被正确识别为非火灾的疑似图像， 第3类为被正确识别为火灾的疑似图像，第4类是经人工确认为误报和漏报的疑似图像。其 中第1，2类和4类中的误报被标记为负样本，第3类和第4类中的漏报标记为正样本。图中箭 头上的数字表示样本权重，w>l。第3类已经能正常识别，并不直接用于继续训练，而是采用 图2中一样的样本生成方法，用它和第1类负样本生成新的样本用于训练。
[0068] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精 神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种自学习的视频火灾探测方法，其特征在于，包括步骤如下： 步骤一、收集一批烟火图像，去除背景并加注标签，作为种子数据集； 步骤二、利用种子数据和采集的视频自动生成针对特定应用环境的数据样本； 步骤Ξ、训练过程:通过在线学习算法在运些样本上训练出烟火检测器； 步骤四、检测过程:前端将获取的疑似火灾图像发送给检测服务器来判断是否发生火 灾； 步骤五、在运行过程中，检测服务器不断的截取场景图像作为新的样本在线更新检测 器，W适应场景的变化。2. 根据权利要求1所述的一种自学习的视频火灾探测方法，其特征在于:步骤一所述种 子数据集，其图像为缩放到固定大小mXn的图像块，其中烟雾或火焰区域是原图像值，非烟 火区域的像素值全部为0,标签分别为'smoke'，'fire'，一张图像最多有两个标签。3. 根据权利要求1所述的一种自学习的视频火灾探测方法，其特征在于，步骤二所述样 本生成方法包括： 从监控视频流中定时或随机截取一些帖，从运些帖中随机裁剪出一些图像块，图像块 满足：1)最小边长不小于限值Lmin，2)长边与短边之比不大于比值ratio;然后缩放到与种子 图像同样大小，归入负样本集； 从负样本集和种子集中分别随机选取一张图像，按照下列方法采用不同的α进行1~3 次叠加融合：label(M) = label(S) 其中ae (0.6,1.0)，用来模拟烟的浓度，I为负样本，S为种子样本，Μ为融合得到的烟火 图像，是对场景中发生火灾的一种模拟，将用于训练针对该场景的火焰和烟雾检测器， label为图像的标签。4. 根据权利要求1所述一种自学习的视频火灾探测方法，其特征在于，步骤Ξ所述训练 过程，包括： 从负样本集中随机挑选出一个子集联合火焰样本集训练一个火焰检测器化，从负样本 集中随机挑出一个子集联合烟雾样本集训练一个烟雾检测器Ds， 图像特征提取采用基于人类视觉感知机理的多层模型，每一张图像用一个d维特征向 量描述;学习方法采用增量学习算法。5. 根据权利要求1所述一种自学习的视频火灾探测方法，其特征在于，步骤四所述检测 过程，包括： 前端处理负责提取并跟踪疑似区域，可W采用成熟的运动目标提取或者颜色筛选，前 端处理为嵌入式智能相机或者处理服务器； 前端W固定时间间隔t，将提取的疑似区域图像发送给检测服务器； 检测端调用对应的火焰和烟雾检测器，对接收到的图像进行检测，如果两者之一输出 为正响应，运说明有对应的异常情况发生，向中屯、控制平台发送报警信号，否则发送正常信 号。6. 根据权利要求1所述一种自学习的视频火灾探测方法，其特征在于，步骤五所述系统 更新过程，包括： 在系统运行过程中，将持续的提供一些新的样本给检测服务器，用于更新检测器，更新 样本分为负样本集，火焰集和烟雾集； 定时地将收集到的负样本集和火焰集输入学习算法，更新火焰检测器，将负样本集和 烟雾集输入学习算法，更新烟雾检测器。7.根据权利要求1或6所述一种自学习的视频火灾探测方法，其特征在于，所述的更新 检测器，更新的样本来源可分为4类： 1) 从视频流中截取的随机图像，赋予普通权重，归入负样本集，它们可W让模型适应变 化了的场景； 2) 被检测服务器判断为正常且响应值很高或经人工确认的非火灾图像，赋予普通权 重，归类为负样本，它们可W让模型更好的处理干扰模式； 3) 被检测服务器判断为异常，且响应值很高或者经过人工确认的火灾图像，与第一类 图片采用与第一类图片进行叠加融合处理，生成一批火灾图像，赋予普通权重，按标签归入 火焰集或烟雾集，它们有助于模型学习该场景下的火灾模式； 4) 经人工确认被检测服务器误判的图像，按照实际的类别归入样本集，并赋予其高倍 的权重，他们将有利于模型进行纠错，避免后续的误判。
【文档编号】G08B17/10GK106097346SQ201610418420
【公开日】2016年11月9日
【申请日】2016年6月13日 公开号201610418420.0, CN 106097346 A, CN 106097346A, CN 201610418420, CN-A-106097346, CN106097346 A, CN106097346A, CN201610418420, CN201610418420.0
【发明人】张启兴, 张永明, 周维, 林高华, 贾阳, 徐高
【申请人】中国科学技术大学