一种基于颜色模型与运动特征的视频烟雾精细分类方法
【专利摘要】本发明提供了一种基于颜色模型与运动特征的视频烟雾精细分类方法，该方法包括：基于高斯混合模型与背景差分并构建颜色模型，检测运动像素点且进行初步筛选；获取运动目标连通区域，提取运动变化特征，进行阈值设定判别是否为可疑烟雾区域；对可疑烟雾区域预处理，基于图像块提取SIFT特征；结合SVM优化随机森林算法，基于可疑烟雾区域图像块进行训练，从而实现对火灾烟雾、香烟烟雾、水气等烟雾的精细分类。本发明基于颜色模型与运动特征、面向精细分类进行视频烟雾的检测，实现了实时快速烟雾检测，有效地排除了与火灾烟雾有相似效应干扰源的影响，提高了检测的效率与准确率。
【专利说明】
一种基于颜色模型与运动特征的视频烟雾精细分类方法
技术领域
[0001] 本发明涉及计算机图像处理、智能识别领域，尤其涉及一种基于颜色模型与运动 特征的视频烟雾精细分类方法。
【背景技术】
[0002] 近年来，随着视频监控系统在城市和消防重点保护单位地普及，人工智能和模式 识别技术不断地发展，基于视频的火灾检测方法愈来愈受到重视。视频火灾检测方法具有 高效、实时、智能、低成本、方便等优点，实时地实现火灾检测，对于更早地检测到火灾从而 避免更大的损失有着非常积极的意义。
[0003] 视频火灾探测方法，主要包括火焰检测方法和烟雾检测方法。烟雾探测方法是探 测火灾产生的烟雾来检测火灾，判断视频图像中是否还有烟雾区域。一般的火灾发生初期 经历阴燃阶段，在此阶段冒烟是火灾的主要表征。显然，这种方法可以发现火灾的阴燃阶 段，能更早的探测出火灾，可以更多地减少人们财产的损失，因此基于烟雾的视频火灾检测 技术更能满足市场的需求，也成为了当下的研究热点。
[0004] 在实现本发明的过程中，发明人发现现有技术至少存在以下问题:虽然目前已有 不少视频烟雾检测的相关研究，并取得了一定的成就，但受技术成熟度和成本的影响，基于 烟雾的视频火灾检测技术还不能得到广泛的运用。已有算法对与火灾烟雾有类似效应的干 扰源(如香烟烟雾、蚊香烟雾、水蒸汽等），目前尚无算法可以实现较好的排除效果，而这种 干扰源无法排除，那就无法从根本上进一步提升准确率与降低虚报率;背景较为复杂的环 境对烟雾区域提取与检测，影响较大，现有算法在处理这种背景时效果较差;现有一些具备 较好检测性能的算法所要求的时间复杂度并不能完全满足监控系统的实时处理要求，从而 失去了视频烟雾检测技术最重要的意义。
【发明内容】
[0005] 鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决或 者减缓上述问题的基于颜色模型与运动特征的视频烟雾精细分类方法。
[0006] 本发明采用的技术方案为:一种基于颜色模型与运动特征的视频烟雾精细分类方 法，该方法步骤如下：
[0007] 步骤（1)、实时获取监控视频流，检测当前视频帧中的运动像素点，并构建颜色模 型，对运动像素点进行初步筛选；
[0008] 步骤(2)、获取连通运动区域，并计算其运动参数，并依据阈值判别得到可疑烟雾 区域；
[0009] 步骤(3)、对可疑烟雾区域进行图像预处理后生成图像块，提取SIFT特征，再依据 已经生到的视觉码本将其映射为直方图，得到图像块的特征向量；
[0010] 步骤(4)、基于图像块进行特征训练，结合SVM分类算法对随机森林算法的节点分 裂过程进行优化，对决策树的投票并行化，从而实现各类烟雾的精细分类。
[0011] 其中，所述的步骤(1)进一步包括：
[0012] 步骤(a)、针对视频帧，基于高斯混合模型与背景差分算法，分别进行运动目标的 提取，对结果进行融合，以应对不同的环境；
[0013] 步骤(b)、构建颜色模型，对运动像素点进行初步判别保留可疑烟雾像素。
[0014]所述的步骤(b)进一步包括：
[0015] 烟雾的半透明性使得烟雾在较为淡薄时其颜色与背景物体颜色相差无几，因此首 先对检测到的运动区域进行前景色与背景色的对比判别:对于像素点x(i，j)，计算前景图 与背景图相应通道的差值，得到d i f f R、di f f G、d i f f B，若满足：
[0016] diffR±a = diffG±a = diffB±a
[0017] 则认为前景图中的该像素点为可疑烟雾像素点，否则按以下步骤继续判别：不受 背景物体颜色干扰的话，烟雾颜色一般为灰白色，在RGB空间下，三通道值非常接近，且均大 于某一阈值，即若满足：
[0018] R±0=G±0 = B±0，R(G，B)> γ
[0019] 则认为该像素点为可疑烟雾像素，否则排除掉。
[0020] 其中，所述的步骤(2)进一步包括：
[0021] 步骤(a)、采取一系列区域轮廓处理方法，获取连通运动区域；
[0022] 步骤(b)、根据处理得到的连通运动区域，计算其运动参数，并依据阈值进行判别， 得到可疑烟雾区域。
[0023]所述的步骤(b)进一步包括：
[0024] 选择运动目标区域面积变化率作为一个运动参数:隔N帧采样计算一次变化率，那 么在to时，采样相邻两帧图像间的烟雾面积变化率可表示为：
[0025]
[0026] ::在to时，垂直方向质心变 化率的
[0027]
[0028] 具中，所还的步骤（3)进一步包拈：
[0029] 步骤(a)、视觉码本生成阶段，通过对训练图像集的预处理、提取SIFT特征，进而聚 类生成视觉码本；
[0030]步骤(b)、当前帧可疑烟雾区域特征表示阶段，通过对其预处理、生成图像块、提取 SIFT特征，依据视觉码本得到图像块的映射直方图，继而得到可疑烟雾区域对应的特征向 量。
[0031]所述的步骤(b)进一步包括：
[0032]记可疑烟雾区域经预处理后生成P个图像块，进行SIFT特征提取，得到图像块的 SIFT特征矢量，计算图像块中的每一个SIFT特征到其视觉码本下视觉单词之间的欧氏距 离，并将其映射为距离最近的视觉单词，即将该视觉单词的对应词频+1，完成这一步后，每 一个图像块就映射为了一个与视觉单词序列相对应的直方图，最终待测图像可疑烟雾区域 的每个图像块被表示为一个K维的特征向量，那么这个图像就有了 P个K维特征向量。
[0033]其中，所述的步骤(4)进一步包括：
[0034] 步骤(a)、在节点的分裂过程中选用强二值分类器SVM，以此增强决策树的分类的 可靠性；
[0035] 步骤(b)、为了提高随机森林算法的预测分类速度，本发明在随机森林各决策树预 测分类结果过程中，采用多线程并行化的实现方法。
[0036]所述的步骤(a)进一步包括：
[0037]传统的随机森林算法在生成决策树的过程中，对于决策树节点的分裂采用的是弱 分类器，直接设定阈值，通过比较当前选定特征的特征值与阈值的大小，将当前节点中的样 本划分到左右子节点。本发明拟在节点的分裂过程中选用强二值分类器SVM，以此增强决策 树的分类的可靠性。通过SVM分类器来训练决策树中的每个中间节点，以这种方式得到的决 策树更强壮。
[0038] 本发明与现有方法相比的主要优点在于：
[0039] 本发明提供的一种基于颜色模型与运动特征的视频烟雾精细分类方法，通过优化 运动目标检测算法，构建合适的烟雾颜色模型，结合更为细致的区域处理方法，获取运动连 通区域并提取运动变化特征，并融合随机森林与SVM进行精细分类，实现了实时快速烟雾检 测，有效地排除了与火灾烟雾有相似效应干扰源的影响，提高了检测的效率与准确率。
[0040] 上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段， 而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够 更明显易懂，以下特举本发明的【具体实施方式】。
【附图说明】
[0041] 通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通 技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明 的限制。在附图中：
[0042] 图1示出了本发明的基本流程图；
[0043] 图2示出了本发明的烟雾区域检测算法的流程图；
[0044]图3示出了本发明的图像特征表示的流程图。
【具体实施方式】
[0045] 下面参考附图，对本发明的实施例进行详细的说明。
[0046] 首先对本发明的方法全过程进行说明。
[0047] 图1示出了本发明示例的基本流程图，从中明确了解到本发明的四个关键步骤： (1)实时获取监控视频流，检测当前视频帧中的运动像素点，并构建颜色模型对像素点进行 初步筛选；（2)获取连通运动区域，并计算其运动参数，并依据阈值判别得到可疑烟雾区域； (3)对可疑烟雾区域进行图像预处理后生成图像块，提取SIFT特征，再依据已经生到的视觉 码本将其映射为直方图，得到图像块的特征向量；（4)基于图像块进行特征训练，结合SVM分 类算法对随机森林算法的节点分裂过程进行优化，对决策树的投票并行化，从而实现各类 烟雾的精细分类。
[0048] 图2示出了本发明实施例的运动像素点检测算法与可疑烟雾区域检测算法的流程 图。
[0049] 从图中可以看出运动像素点检测算法的首要步骤就是:针对视频帧，基于高斯混 合模型与背景差分算法，分别进行运动目标的提取，对结果进行融合，以应对不同的环境。
[0050] 采用已有的高斯混合模型对当前图像帧进行背景建模，试验参数选取适合的参数 来提取运动像素点；鉴于高斯混合模型对移动方向固定且运动较为缓慢的物体的识别效果 较差，本发明也采用背景差分法来提取运动像素点。上述两种运动目标检测算法在实际应 用中都有各自适合的环境条件，结合后续采集的运动参数信息，以及监控拍摄时间点，为两 种检测方法得到的结果设置不同权值。
[0051] 在本步骤中，背景帧更新是较为关键的一步，结合帧间差分法来选定静态背景帧， 若连续N个相邻帧的差图像中的像素点数小于指定阈值，那选定当前帧更新为背景帧。前景 背景像素点判定:采用otsu最大类间方差法生成当前帧的最佳阈值，大于该阈值的像素点 被确定为前景像素点。
[0052] 图2示出了运动像素点检测算法的接下来是构建颜色模型，对运动目标检测算法 检测到的运动像素点进行判别，保留可疑烟雾像素。
[0053]在调研中发现，室内烟雾颜色一般为灰色白色，在检测烟雾像素时需要构建合理 的烟雾颜色模型。烟雾的半透明性使得烟雾在较为淡薄时其颜色与背景物体颜色相差无 几，因此首先对检测到的运动区域进行前景色与背景色的对比判别：
[0054]对于像素点x(i，j)，计算前景图与背景图相应通道的差值，得到diffR、diffG、 乜打8，若满足：
[0055] diffR±a = diffG±a = diffB±a
[0056] 则认为前景图中的该像素点为可疑烟雾像素点，否则按照(b)步骤继续判别。不受 背景物体颜色干扰的话，烟雾颜色一般为灰白色，在RGB空间下，三通道值非常接近，且均大 于某一阈值，即若满足：
[0057] Ι?±β=6±β = Β±β
[0058] R(G,B)> γ
[0059] 则认为该像素点为可疑烟雾像素点，否则排除掉。
[0060] 按照图2所显示的，在通过颜色模型对运动像素点是否为可疑烟雾像素点进行初 步判断后，进入可疑烟雾区域检测算法流程，获取连通运动区域。
[0061 ] 对可疑烟雾像素点集进行一系列处理来获取运动连通区域，这些处理中包含中值 滤波、形态学处理、轮廓处理等。利用中值滤波来去除噪声，利用形态学上的开闭运算将相 邻区域合并，在此基础上，利用轮廓来对各区域整体进行处理，不仅去除那些轮廓小于规定 阈值的连通区域，而且对于那些符合要求的轮廓用凸包或多项式拟合曲线来替换，以提取 完整的运动连通区域。
[0062]图2示例中可疑烟雾区域检测算法的第二个步骤是:根据处理得到的连通运动区 域，计算其运动参数，并依据阈值进行判别，得到可疑烟雾区域，为接下来的精细分类提供 更为有效的数据。
[0063]选择运动目标区域面积变化率作为一个运动参数：目标区域面积可通过统计检测 后获得的二值图像像素点个数计算得到。在实际处理中考虑到计算量的问题，隔N帧采样计 算一次变化率，另外记从当前帧得到目标区域的面积为St(t = l，2,…，i)，那么在to时，采样
相令P /fe |\=TI IiTAt Irn 费 iri / I，志 古 土
[0064：
[0065] 如果》%大于其设定阈值，则可累计入统计量，作为判别为烟雾的一个因素。当累 加和超过其设定阈值后，认为该帧序列满足区域面积变化率这一运动特征。
[0066] 选择运动目标区域几何质心变化率作为一个运动参数:第t帧运动目标区域对应 的质心位置(x〇，y。)计算如式：
[0067]
[0068]
[0069]式中DR(t)表示第t帧的运动目标区域。则在to时，垂直方向质心变化率的平均值 可表示为：
[0(
[0071]式中H为图像帧垂直高度，如果:％?,大于其设定阈值，则可累计入统计量，作为判 别为烟雾的一个因素，当该统计量累加大于其设定阈值后，认为该序列帧满足运动目标区 域几何质心垂直方向变化率。
[0072 ]通过对精细分类方法的调研，本发明采用基于码本(Codebook-based)的精细图像 分类模式，主要是先把训练数据中的每一幅图像划分成许多局部patch(可以通过刚性分割 也可以是基于SIFT关键点检测的），这样，每一个图像就由很多个patch表示，然后对图像的 每个patch进行特征提取，每个特征当作一个词汇，图像则通过视觉词包Bag-of-Words的方 法进行表示。再根据所有的训练图像的特征确定一组包含图像特征的视觉词汇的词典/码 本(Visual Dictionary or Codebook)对每个类别的图像学习其视觉词汇的分布情况，然 后通过统计模型或者概率生成模型学习该类别图像的中间语义，最后依据图像的类别语义 构成确定图像的分类。
[0073]本发明基于图像块进行特征提取训练，在图像块的特征中，本发明采用对图像的 尺度缩放、目标旋转、仿射变换、光照变化等具有不变性的SIFT特征，建立基于图像块SIFT 特征的BOW模型(Bag of words模型）。如图3，针对判别得到的可疑烟雾区域，本发明将其进 行特征表示的步骤包含两个主要阶段:视觉码本生成阶段与输入图像特征表示阶段。
[0074] 在视觉码本生成阶段，对训练图像集预处理后进行SIFT特征提取，然后进行K-Means聚类，聚集成数量较大的一些簇，簇内具有较高的相似度，而簇间相似度较低，其中每 个簇被看作一个视觉单词，该视觉单词可用于表示该族内部的所存关键点共同具有的某种 局部模式。聚类分为K个簇，聚类中心也为K个，码本的长度也就为K。这一步骤可以得到训练 图像集的视觉码本。
[0075] 在输入图像特征表示阶段，对可疑烟雾区域进行图像预处理，得到对齐的可疑烟 雾区域后再采用均匀分割的方式生成图像块，采用一致的固定网格，这样每幅图像得到的 图像块都具有相同规格。记可疑烟雾区域经预处理后生成P个图像块，进行SIFT特征提取， 得到图像块的SIFT特征矢量。计算图像块中的每一个SIFT特征到其视觉码本下视觉单词之 间的欧氏距离，并将其映射为距离最近的视觉单词，即将该视觉单词的对应词频+1，完成这 一步后，每一个图像块就映射为了一个与视觉单词序列相对应的直方图，最终待测图像可 疑烟雾区域的每个图像块被表示为一个K维的特征向量，那么这个图像就有了 P个K维特征 向量。
[0076] 通过图3所示示例步骤，本发明基于码本对可疑烟雾区域进行了特征提取表示，以 此为精细分类提供有效的烟雾特征模型。接下来本发明就采用随机森林算法算法，基于图 像块进行特征训练。
[0077]传统的随机森林算法在生成决策树的过程中，对于决策树节点的分裂采用的是弱 分类器，直接设定阈值，通过比较当前选定特征的特征值与阈值的大小，将当前节点中的样 本划分到左右子节点。本发明在节点的分裂过程中选用强二值分类器SVM，以此增强决策树 的分类的可靠性。通过SVM分类器来训练决策树中的每个中间节点，以这种方式得到的决策 树更强壮。
[0078] 另外，对于一个测试样本，传统的随机森林算法是采用串行的投票模型，也就是每 个决策树分类器逐个给该测试样本投票，例如第一个决策树分类器对测试样本投票结束之 后，第二个决策树分类器再开始对该测试样本进行投票，依次类推。串行投票是比较消耗时 间的，特别是当决策树分类器的数目众多并且测试样本数目巨大的时候。为了提高随机森 林算法的预测分类速度，本文拟在随机森林各决策树预测分类结果过程中，采用多线程并 行化的实现方法。
[0079] 综上所述，本发明提供的一种基于颜色模型与运动特征的视频烟雾精细分类方 法，通过优化运动目标检测算法，构建合适的烟雾颜色模型，结合更为细致的区域处理方 法，获取运动连通区域并提取运动变化特征，并融合随机森林与SVM进行精细分类，实现了 实时快速烟雾检测，有效地排除了与火灾烟雾有相似效应干扰源的影响，提高了检测的效 率与准确率。
[0080] 通过以上的实施方式的描述，本领域的普通技术人员可显而易见地得出其他优点 和修改。以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技 术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等 同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
【主权项】
1. 一种基于颜色模型与运动特征的视频烟雾精细分类方法，其特征在于步骤如下： 步骤（1)、实时获取监控视频流，检测当前视频帖中的运动像素点，并构建颜色模型，对 运动像素点进行初步筛选； 步骤(2)、获取连通运动区域，并计算其运动参数，并依据阔值判别得到可疑烟雾区域； 步骤(3)、对可疑烟雾区域进行图像预处理后生成图像块，提取SIFT特征，再依据已经 生到的视觉码本将其映射为直方图，得到图像块的特征向量； 步骤(4)、基于图像块进行特征训练，结合SVM分类算法对随机森林算法的节点分裂过 程进行优化，对决策树的投票并行化，从而实现各类烟雾的精细分类。2. 根据权利要求1所述的一种基于颜色模型与运动特征的视频烟雾精细分类方法，其 特征在于，所述的步骤(1)进一步包括： 步骤(a)、针对视频帖，基于高斯混合模型与背景差分算法，分别进行运动目标的提取， 对结果进行融合，W应对不同的环境； 步骤化）、构建颜色模型，对运动像素点进行初步判别保留可疑烟雾像素。3. 根据权利要求1所述的一种基于颜色模型与运动特征的视频烟雾精细分类方法，其 特征在于，所述的步骤(2)进一步包括： 步骤(a)、采取一系列区域轮廓处理方法，获取连通运动区域； 步骤(b)、根据处理得到的连通运动区域，计算其运动参数，并依据阔值进行判别，得到 可疑烟雾区域。4. 根据权利要求1所述的一种基于颜色模型与运动特征的视频烟雾精细分类方法，其 特征在于，所述的步骤(3)进一步包括： 步骤(a)、视觉码本生成阶段，通过对训练图像集的预处理、提取SIFT特征，进而聚类生 成视觉码本； 步骤(b)、当前帖可疑烟雾区域特征表示阶段，通过对其预处理、生成图像块、提取SIFT 特征，依据视觉码本得到图像块的映射直方图，继而得到可疑烟雾区域对应的特征向量。5. 根据权利要求1所述的一种基于颜色模型与运动特征的视频烟雾精细分类方法，其 特征在于，所述的步骤(4)进一步包括： 步骤(a)、在节点的分裂过程中选用强二值分类器SVM，W此增强决策树的分类的可靠 性； 步骤(b)、为了提高随机森林算法的预测分类速度，在随机森林各决策树预测分类结果 过程中，采用多线程并行化的实现方法。6. 根据权利要求2所述的一种基于颜色模型与运动特征的视频烟雾精细分类方法，其 特征在于，所述的步骤(b)进一步包括： 烟雾的半透明性使得烟雾在较为淡薄时其颜色与背景物体颜色相差无几，因此首先对 检测到的运动区域进行前景色与背景色的对比判别：对于像素点x(i，j)，计算前景图与背 景图相应通道的差值，得到diffR、diffG、diffB，若满足： diffR±a = diffG±a = diffB±a 则认为前景图中的该像素点为可疑烟雾像素点，否则按^下步骤继续判别：不受背景 物体颜色干扰的话，烟雾颜色一般为灰白色，在RGB空间下，S通道值非常接近，且均大于某 一關值，BP若满足： R±0 = G±0 = B±0，R(G，B)> 丫 则认为该像素点为可疑烟雾像素，否则排除掉。7. 根据权利要求3所述的一种基于颜色模型与运动特征的视频烟雾精细分类方法，其 特征在于，所述的步骤(b)进一步包括： 选择运动目标区域面积变化率作为一个运动参数:隔N帖采样计算一次变化率，那么在 to时，采样相邻两帖图像间的烟雾面积变化率可表示为：选择运动目标区域几何质屯、变化率作为一个运动参数:在to时，垂直方向质屯、变化率的 平均值可表示为：8. 根据权利要求4所述的一种基于颜色模型与运动特征的视频烟雾精细分类方法，其 特征在于，所述的步骤(b)进一步包括： 记可疑烟雾区域经预处理后生成P个图像块，进行SIFT特征提取，得到图像块的SIFT特 征矢量，计算图像块中的每一个SIFT特征到其视觉码本下视觉单词之间的欧氏距离，并将 其映射为距离最近的视觉单词，即将该视觉单词的对应词频+1，完成运一步后，每一个图像 块就映射为了一个与视觉单词序列相对应的直方图，最终待测图像可疑烟雾区域的每个图 像块被表示为一个K维的特征向量，那么运个图像就有了 P个K维特征向量。9. 根据权利要求5所述的一种基于颜色模型与运动特征的视频烟雾精细分类方法，其 特征在于，所述的步骤(a)进一步包括： 在节点的分裂过程中选用强二值分类器SVM，W此增强决策树的分类的可靠性，通过 SVM分类器来训练决策树中的每个中间节点，W运种方式得到的决策树更强壮。
【文档编号】G06K9/46GK105844295SQ201610162064
【公开日】2016年8月10日
【申请日】2016年3月21日
【发明人】王强, 郎波, 刘祥龙
【申请人】北京航空航天大学