专利名称：一种基于视频图像检测烟火的方法和系统的制作方法
技术领域：
本发明涉及图像处理及识别技术领域，特别是涉及一种基于视频图像检测烟火的方法和系统。
背景技术：
在现代智能交通系统中，高清摄像机已经广泛地应用于城市道路、高速公路的路口及路段上。在一些需要安全防火的区域，如仓库重地、车站码头以及交通枢纽等都安装有视频监视器。基于高清视频的情景分析已经成为了智能交通系统一个重要功能，也是未来各种监控系统的一个重要发展方向，而且随着技术的不断进步，基于高清视频的情景分析已经从简单的情景分析发展到复杂的综合情景分析。基于高清视频的烟火检测技术使智能交通系统能够快速地检测到高清摄像机监控路段中出现的起火冒烟车辆，自动报警，为交通管理提供了强有力的支持。因此其在智能交通系统中有很强的实际需求和广泛应用前景。目前，基于高清视频的烟火检测通常采用的是，将高清视屏等尺度缩小后再处理的方法，这主要是因为高清视屏再提供高分辨率视频的同时，也带来了一些技术难题，其中计算量成倍增加致使系统无法实时地进行烟火检测，是制约高清视频无法直接应用的主要因素。有了高清的视频却无法充分利用是目前各智能监控系统中烟火检测模块的一大缺憾。因此，急需提出一种基于高清视频的实时烟火检测方法。
发明内容
本发明所要解决的技术问题是提供一种基于视频图像检测烟火的方法和系统，可利用高清视频图像实时检测烟火。本发明提供的一种基于视频图像检测烟火的方法，包括获取所摄取的视频图像数据并保存；从所述视频图像数据中提取预定数量的连续的图像帧；对所述各帧图像的所有像素点位置提取对应的亮度序列，得到序列集合{Y(x， y)}，对集合中各个序列Y (χ，y)进行并行分析处理；对所述亮度序列Y(x，y)进行滤波和降采样，得到输出信号l(x，y)；根据所述输出信号\(x，y)的幅度变化情况检测所述像素点位置是否具有烟火特性；综合各像素位置的检测结果确定所述视频图像中的准烟火区域；判断所述准烟火区域的图像是否为烟火图像；若所述准烟火区域的图像具有非凸特性，则确定所述准烟火区域为烟火图像。本发明提供的一种基于视频图像检测烟火的系统，包括图像获取单元，用于获取所摄取的视频图像数据并保存；
并行处理单元，用于从所述视频图像数据中提取预定数量的连续的图像帧；并对各帧图像的所有像素点位置提取对应的亮度序列，得到序列集合{Y(x，y)}，对集合中各个序列Y(x，y)进行并行分析处理；滤波单元，对所述亮度序列Y(x，y)进行高通滤波和降采样，得到输出信号Yh (X， y)；检测单元，根据输出信号l(x，y)的幅度变化情况检测所述像素点位置是否具有烟火特性；烟火区域确定单元，用于综合各像素位置的检测结果确定所述视频图像中的准烟火区域；判断单元，用于判断所述准烟火区域的图像是否为烟火图像；判断单元识别所述准烟火区域的图像是否满足凸面条件；若所述准烟火区域的图像具有非凸特性，则确定所述准烟火区域为烟火图像。与现有技术相比，本发明通过对高清视频序列的所有像素进行小波分析，极大限度利用了高清视频带来的高分辨率优势，使烟火检测精度有了很大的提高。GPU超性能计算技术的引入，使算法在速度上提升了至少2个数量级，速度优势保证了其可以处理高帧率的高清视频，从而避免了由于视频的帧率低所引起的信号混淆。本发明实施例借助于GPU 强大的并行计算能力，本算法使高清视频烟火检测效果有了质的飞跃。
图1为本发明提供的一种基于视频图像检测烟火的方法流程图；图2为本发明具体实施例中提供的检测烟火的原理示意图；图3为本发明实施例中提供的检测烟火的方法流程图；图4为本发明实施例中提供的并行处理线程与图像的各像素对应示意图；图5为本发明具体实施例中采用的一阶滤波器的示意图；图6为本发明具体实施例中提供的检测烟火的系统构成示意图。
具体实施例方式随着英伟达NVIDIA公司统一计算设备架构(CUDA)平台的发布，以及随后OpenCL 的推出，GPU并行计算技术已经逐步走向了成熟。本发明将GPU超性能计算技术应用于高清视频分析中的烟火检测模块，可实现对高清视频的实时烟火检测。本发明提出了一种基于视频实时烟火检测方法，本方法使用GPU超性能计算技术，在智能交通系统中实现了基于高清视频的实时烟火检测。本发明对高清视频图像的所有像素进行小波分析，极大限度利用了高清视频带来的高分辨率优势，使烟火检测精度有了很大的提高。GPU超性能计算技术的引入，使算法在速度上提升了至少2个数量级，速度优势保证了其可以实时地处理高帧率的高清视频，从而避免了由于视频的帧率低所引起的信号混淆。可以说，借助于GPU强大的并行计算能力， 本方法使高清视频烟火检测效果有了质的飞跃。参照图1，本发明提供的一种基于视频图像检测烟火的方法，包括如下步骤S01，获取所摄取的视频图像数据并保存；
S02，从所述视频图像数据中提取预定数量的连续的图像帧；S03，对所述各帧图像的所有像素点位置提取对应的亮度序列，得到序列集合 {Y (χ, y)}，对集合中各个序列Y (χ，y)进行并行分析处理；S04，对亮度序列Y(x，y)进行高通滤波和降采样，得到输出信号\(x，y)；S05，根据所述输出信号\(x，y)的幅度变化情况检测像素点位置是否具有烟火特性，并综合各像素位置的检测结果确定所述视频图像中的准烟火区域；S06，判断所述准烟火区域的图像是否为烟火图像。若所述准烟火区域的图像具有非凸特性，则确定所述准烟火区域为烟火图像。在步骤SOl中，读取视频中每一帧图像，并将数据保存到存储器中。并在存储器上分配2个映射图，记为Map_device、Fire_device，该映射图是和视频图像等尺寸的二值图像，该图像像素只有0，1两种值，0表示该位置非烟火，1表示该位置是烟火。通常，所摄取的视频具有高清晰度和高帧率；根据实验测定，火焰闪烁的频率约为10Hz，为了准确地捕获烟火区域，避免混淆，视频的帧率要不小于20fps。在时域进行分析时，为了获得准确的结果，本发明具体实施例中使用最近1秒内的图像数据进行分析，所以存储器上动态保存最近的20帧连续的高分辨率图像。在步骤S02中，一般地，所摄取的视频的帧率> IOfps ；预定数量至少为10帧，即提取至少10帧连续的图像帧。在具体实施例中通常采用20帧连续的图像帧，这样效果会更好。更适宜地，采用的帧数量与视频的帧率保持一致，例如，当前的视频图像的帧率为 15fps，则采用连续的15帧进行分析处理。在步骤S03中，本步骤使用时域小波分析计算各个像素点的是否符合烟火闪烁条件。因为烟火信号是非稳定的(非平稳随机过程)，而小波分析特别适用于处理非稳定信号的。时域小波分析所用的各像素变化信息相互独立，像素间无需交互操作，因此适合使用 GPU并行计算。根据GPU大规模并行计算特性，采用如下设计每个线程负责对一个像素点进行小波分析，检测其变化频率是否和焰火闪烁频率相符，即GPU内分配的线程数等于每帧图像的像素数。本步骤中对提取的所述各帧图像的像素进行并行分析处理，具体包括采用N个线程并行对各像素进行处理，N为图像的像素数；各线程并行读取各像素对应位置的亮度序列Y(x，y)。所述对提取的所述各帧图像的像素进行并行分析处理采用的是小波分析，通常在支持通用计算的图像处理单元GPU中执行。其中采用N个线程并行对各像素进行处理，具体包括(a)分配线程，各线程以线程块的形式编组，每个线程块内共有个线程，线程块内线程采用2nX2n的二维分布；在此，每个块内的线程数要小于等于512 ；(b)分配线程块，基于线程块的尺寸及高清图像的尺寸动态分配线程块，并确定线程块的二维地址；(c)线程与像素一一对应，将各个线程地址与图像中的各像素一一对应。由于烟火信号是非稳定的，而小波分析特别适用于处理非稳定信号，所以本发明在GPU内使用并行的小波分析对所有像素点进行烟火检测。本步骤选取YUV颜色空间的亮度分量Y作为输入信号，因为亮度能够准确地体现烟火颜色变化信息，而且还适用于黑白视频的烟火检测。每个线程读取存储器上20帧图像对应位置(X，y)的亮度值，组成输入信号序列 Y(x, y)。如果视频中读出的各帧图像是RGB彩色格式，将RGB值转换成YUV颜色空间的Y 分量，组成该像素点位置的亮度序列Y(x，y)。S04，对所述亮度序列Y(x，y)进行高通滤波和降采样，所述滤波处理所采用一阶滤波器，其中半带高通滤波器的系数为半带低通滤波器的系数为im}步骤S05中，对应20Hz的输入信号Y (x，y)，经过高通滤波器滤波和降采样，输出信号1(X，y)包含了 5HZ IOHz波段的信息。如果kh(x，y) |等于或接近于0，则说明此处像素值没有发生明显改变，判断其为背景；如果kh(x，y) I中有单峰波形出现，则判定此处是运动的普通物体；如果kh(x，y) I多次在一个经验阈值上下大幅度地变化，波形呈多峰分布，则说明该处极有可能是闪烁的烟火。如果出现多峰波形，Map_deViCe(X，y) = 1，否则 Map_device(X，y) = 0。先使用形态学运算中的开运算和闭运算将Map_deViCe中的非0区域连通并标记， 得到平滑的准烟火区域，结果存入图Fire_deVice。步骤S06中，在户外监视视频中，往往会出现太阳、车灯等闪烁着的干扰信号，这些干扰信号的特点是区域形状有规律，在图像二维空间上一般满足凸面条件。而相比而言， 火焰形状不定，烟火区域在图像二维空间上多为非凸。因此，可以利用烟火区域的非凸特性来排除太阳、车灯等闪烁干扰信号。从之前确定的准烟火区域边界上水平和垂直方向上各取5条线，检查每条线上的各个像素是否属于准烟火区域。如果有连续3个或者更多的像素属于背景，则认为这个区域违背了凸面条件，即认定其为烟火区域，否则，认定其为非烟火区域。为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式
对本发明作进一步详细的说明。参照图2和图3，本发明实施例提供的一种基于视频图像检测烟火的方法，包括如下步骤S101，读取视频图像数据，并传送到显卡的存储器中保存；读取视频中每一帧图像，并将数据保存到显卡的存储器中。并在显卡的存储器上分配2个和输入图像等尺寸的映射图Map_deviCe、Fire_deVice。所摄取的视频图像的帧率 ^ 20fps ；根据实验测定，火焰闪烁的频率约为10Hz，为了准确地捕获烟火区域，避免混淆， 视频的帧率要不小于20fps。在时域进行分析时，为了获得准确的结果，本发明具体实施例中使用最近1秒内的图像数据进行分析，所以显卡的存储器上动态保存最近的20帧连续的高分辨率图像。S102，从显卡的存储器中读取所有像素点对应的亮度序列集合{Y(x，y)}；本实施例中，每个序列是20幅图像在相应的像素位置的亮度值组成的，长度为 20。总的序列数等于像素数。S103，对各帧图像的像素对应的亮度序列Y(x，y)进行并行小波分析；
对集合{Y(x，y)}中各个序列Y(x，y)进行GPU并行分析处理；本实施例中，并行分析具体为对序列集合中各个序列进行并行小波分析。本步骤使用时域小波分析计算各个像素点的是否符合烟火闪烁条件。因为烟火信号是非稳定的(非平稳随机过程)，而小波分析特别适用于处理非稳定信号。时域小波分析所用的各像素变化信息相互独立，各个像素间无需信息交互，因此适合使用GPU并行计算。根据GPU大规模并行计算特性，每个线程负责对一个像素点进行小波分析，检测其变化频率是否和焰火闪烁频率相符，即GPU内分配的线程数等于每帧图像的像素数。线程分配流程如下首先，分配线程；GPU内的线程以线程块(block)的形式编组，线程块内的线程的规格记为 threadSize。本发明中每个线程块内线程采用16X16的二维分布，即threadSize. χ = 1 6，threadSize. y = 16，每个线程块内共有256个线程。线程块内线程的二维地址为 threadldx. χ, threadldx. y (取值范围分别为 0 threadSize. χ-l 禾口 0 threadSize. y_l)。然后，分配线程块；线程块的尺寸确定后，可根据高清图像的尺寸动态分配线程块，线程块规格为 blockSize。设图像宽为Width和高为Height,则
WidthblockSize.χ =
权利要求
1.一种基于视频图像检测烟火的方法，其特征在于，包括获取所摄取的视频图像数据并保存；从所述视频图像数据中提取预定数量的连续的图像帧；对所述各帧图像的所有像素点位置提取对应的亮度序列，得到序列集合{Y(x，y)}，对集合中各个序列Y(x，y)进行并行分析处理；对所述亮度序列Y(x，y)进行滤波和降采样，得到输出信号l(x，y)；根据所述输出信号l(x，y)的幅度变化情况检测所述像素点位置是否具有烟火特性；综合各像素位置的检测结果确定所述视频图像中的准烟火区域；判断所述准烟火区域的图像是否为烟火图像；若所述准烟火区域的图像具有非凸特性，则确定所述准烟火区域为烟火图像。
2.如权利要求1所述检测烟火的方法，其特征在于，所摄取的视频图像的帧率彡IOfps ；所述预定数量彡10帧。
3.如权利要求1所述检测烟火的方法，其特征在于，所述对提取的所述图像帧中各帧图像的像素进行并行分析处理，具体包括采用N个线程并行对各像素进行处理，N为图像的像素数；各线程并行读取各像素对应位置的亮度值得到信号序列Y(x，y)。
4.如权利要求1或3所述检测烟火的方法，其特征在于，所述对提取的图像帧中各帧图像的像素进行并行分析处理采用的是小波分析。
5.如权利要求3所述检测烟火的方法，其特征在于，所述采用N个线程并行对各像素进行处理，具体包括(a)分配线程，各线程以线程块的形式编组，每个线程块内共有个线程；线程块内线程采用2nX2n的二维分布；(b)分配线程块，基于线程块的尺寸及高清图像的尺寸动态分配线程块，并确定线程块的二维地址；(c)线程与像素一一对应，将各个线程地址与图像中的各像素一一对应。
6.如权利要求1所述检测烟火的方法，其特征在于，所述滤波处理所采用一阶滤波器，其中半带高通滤波器的系数为丨H与丨半带低通滤波器的系数为
7.如权利要求1所述检测烟火的方法，其特征在于，所述降采样的比率为2。
8.如权利要求1所述检测烟火的方法，其特征在于，所述综合各像素位置的检测结果确定准烟火区域，具体包括采用形态学运算中的开运算和闭运算将具有烟火特性的像素进行连通并标记，得到平滑的准烟火区域。
9.一种基于视频图像检测烟火的系统，其特征在于，包括 图像获取单元，用于获取所摄取的视频图像数据并保存；并行处理单元，用于从所述视频图像数据中提取预定数量的连续的图像帧；并对各帧图像的所有像素点位置提取对应的亮度序列，得到序列集合{Y(x，y)}，对集合中各个序列 Y(x,y)进行并行分析处理；滤波单元，对所述亮度序列Y(x，y)进行高通滤波和降采样，得到输出信号\(x，y)；检测单元，根据输出信号l(x，y)的幅度变化情况检测所述像素点位置是否具有烟火特性；烟火区域确定单元，用于综合各像素位置的检测结果确定所述视频图像中的准烟火区域；判断单元，用于判断所述准烟火区域的图像是否为烟火图像； 判断单元识别所述准烟火区域的图像是否满足凸面条件；若所述准烟火区域的图像具有非凸特性，则确定所述准烟火区域为烟火图像。
10.如权利要求9所述检测烟火的系统，其特征在于，所摄取的视频图像的帧率彡IOfps ；所述预定数量彡10帧。
11.如权利要求9所述检测烟火的方系统，其特征在于，所述图像处理单元包括 小波分析模块，用于对提取的所述图像帧中各帧图像的像素进行并行小波分析。
12.如权利要求9所述检测烟火的系统，其特征在于，所述滤波单元包括半带高通滤波模块，采用的滤波器的系数为
13.如权利要求9所述检测烟火的系统，其特征在于，所述烟火区域确定单元，包括 烟火区域连通模块，采用形态学运算中的开运算和闭运算将具有烟火特性的像素进行连通并标记，得到准烟火区域。
14.如权利要求9至13中任一项所述检测烟火的系统，其特征在于，所述并行处理单元为支持统一计算设备架构CUDA技术的图形处理器GPU或支持流处理Mream技术的图形处理器GPU和所有支持开放运算语言OpenCL技术的图形处理器GPU。
全文摘要
本发明公开了一种基于视频图像检测烟火的方法，包括从视频图像数据中提取预定数量的连续图像帧；对各帧图像的像素点位置提取对应的亮度序列，对各个序列进行并行分析处理；并进行滤波和降采样，得到输出信号；根据输出信号的幅度变化情况检测像素点位置是否具有烟火特性；综合各像素位置的检测结果确定视频图像中的准烟火区域；判断准烟火区域的图像是否为烟火图像。本发明还提供了相应的基于视频图像检测烟火的系统。本发明通过对高清视频图像的所有像素进行分析，借助于GPU强大的并行计算能力，使算法在速度上显著提升，大幅提高烟火检测精度，使高清视频烟火检测效果有了质的飞跃。可在智能交通系统中实现基于高清视频的实时烟火检测。
文档编号G06K9/00GK102306436SQ20111019188
公开日2012年1月4日 申请日期2011年7月8日 优先权日2011年7月8日
发明者李健 申请人:中兴智能交通(无锡)有限公司