一种基于可见光图像识别的火灾分析方法及系统与流程

本发明涉及人工智能图像分析技术领域，尤其涉及一种基于可见光图像识别的火灾分析方法及系统。

背景技术：

图像识别是人工智能的一个重要领域。图像识别的发展经历了三个阶段：文字识别、数字图像处理与识别、物体识别。图像识别，顾名思义，就是对图像做出各种处理、分析，最终识别我们所要研究的目标。图像是人类获取和交换信息的主要来源，因此与图像相关的图像识别技术必定也是未来的研究重点。

利用图像进行火灾探测有自己独特的优势，因为图像是包含了强度、形体、位置等信息的信号。目前国内外对这种新的火灾探测技术开展了深入研究。比如视频火灾探测方法；通过提取电站锅炉燃烧火焰的图像特征，再用人工神经网络的方法对火焰形态作研究，这样在区分燃烧情况方面就得到了更好的结果；通过阐述火灾图像探测的基本原理，提出了提取早期火灾火焰辐射持性、形体变化特性的几种新方法等。

目前为止，综合国内外的火灾图像识别研究，可以看出大都是在灰度图的基础上进行处理，采用的大都是比较单一的判据，导致了漏报，误报率比较高，火灾识别的准确率较低，系统的鲁棒性、适应性比较差。

技术实现要素：

为了解决现有技术中的问题，本发明提供了一种鲁棒性、适应性比较好的基于可见光图像识别的火灾分析方法及系统。

本发明提供了一种基于可见光图像识别的火灾分析方法，包括以下步骤：

步骤1：输入视频流；

步骤2：图像预处理，抓取流式视频实时图片，对图像进行高斯模糊操作；

步骤3：目标分割，从画面背景中提取和分割候选区域，得到准确的团块；

步骤4：火灾智能分析识别，判断视频中是否存在烟雾或火焰；

步骤5：人工确认和反馈，建立用户反馈数据库；

步骤6：联动报警，将识别结果通知用户。

作为本发明的进一步改进，在步骤1中，对采集视频流的前端摄像头进行注册和管理，接入前端摄像头的视频流；根据画面质量、网络条件、分配的用户权限，对视频流的分辨率和帧率参数，及主/子码流进行设置。

作为本发明的进一步改进，在步骤2中，利用视频解码、切割技术，对输入的流式视频实时抓取无重影图片；对图像进行预处理，高斯模糊操作，降低噪声，及去抖动和过滤冗余信息。

作为本发明的进一步改进，在步骤3中，将图像从rgb空间转换到hsv空间，使用颜色检测，对明度和饱和度在阈值范围内的区域作掩码图像，根据像素值提取目标候选区域；目标分割，设定好烟火目标的颜色的阈值区间，排除干扰，得到准确的团块。

作为本发明的进一步改进，在步骤4中，进行火灾智能分析识别，判断视频中是否存在烟雾或火焰，目标检测，对根据步骤3得到的掩码图像利用漫水填充算法填充各个颜色相近的邻近区域，使用轮廓检测筛选出其中面积在阈值以上的凸包含区域，作为新的掩码图像，判断是否烟雾或火焰目标；进行卷积神经网络判别，用训练好的卷积神经网络，对目标检测中的各个连通域进行进一步的判别是否为烟雾或火焰目标；跟踪结合火灾智能分析识别和卷积神经网络判别的判断结果，综合判定是否为烟雾或火焰目标。

作为本发明的进一步改进，对卷积神经网络的训练，在烟火模型中加入先验信息。

作为本发明的进一步改进，在步骤5中，人工确认和反馈，建立用户反馈数据库，优化卷积神经网络，对步骤4的判定结果通过随机抽样方式进行人工检查，或在监控场景下对全部报警结果进行检查，及在步骤6中用户对报警结果确认，对人工判断为误报的结果生成用户反馈数据库，同时，将发现的漏报火灾样本加入用户反馈数据库，利用用户反馈数据库对卷积神经网络进行优化。

作为本发明的进一步改进，在步骤6中，将火灾识别结果反馈到客户端，形成预警信息通知用户。

本发明还提供了一种基于可见光图像识别的火灾分析系统，包括：

摄像机接入模块：包含资源树管理和采集视频流的前端摄像机管理，管理资源数结构，添加、删除目录，更改目录名称，添加或删除前端摄像机，调整前端摄像机所在目录，对前端摄像机的参数进行设置，包括分辨率、帧率、画质及主/子码流，对前端摄像机进行ptz控制；

流媒体服务器模块：提供实时流媒体和历史录像的分发服务，将视频流分发到不同客户端、存储管理和智能分析模块，用户通过客户端预览现场画面；

存储管理模块：完成图像数据的存储、备份、管理，存储服务采用集散存储策略；按照应用需求，选择存储设备；个性化存储，报警录像、报警图片、手动录像存储到不同的区域；提供录像的快速检索；按照数据的重要程度制定相应的备份策略；

智能分析模块：自动检测画面中是否出现烟雾或火焰，通过对前端摄像头搭配不同焦距镜头避免探测距离的影响；

地理信息模块：实现二三维地图展示和查询功能，在二三维地图标示监控点，支持预览实时视频，与火灾报警联动，火灾发生时地图上对应的报警点闪动，并自动弹出关联图像；

报警联动模块：智能分析模块发现火灾时，实时联动触发报警，客户端对应画面显示红色边框，生成的报警记录以红色字符显示，报警触发截图和录像，截图画面实时预览；

系统管理模块：用户管理和系统参数设置，添加或删除用户，管理员对用户权限分配，系统参数设置包括对火灾检测画面区域和检测灵敏度设置；

日志管理模块：包含系统日志和报警日志，系统日志记录系统异常及用户操作，报警日志包含报警设备、设备位置、报警截图、视频片段、时间戳，支持日志检索和查看。

本发明还提供了一种基于可见光图像识别的火灾分析系统，包括可读存储介质，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现如上述中任一项所述的方法。

本发明的有益效果是：通过上述方案，提升了火灾识别的准确率，鲁棒性、适应性比较好。

附图说明

图1是本发明一种基于可见光图像识别的火灾分析方法的流程图。

图2是本发明一种基于可见光图像识别的火灾分析系统的原理图。

具体实施方式

下面结合附图说明及具体实施方式对本发明作进一步说明。

如图1所示，一种基于可见光图像识别的火灾分析方法，包括如下步骤：

步骤1：输入视频流。对采集视频流的前端摄像头进行注册和管理，接入监控场所的视频流；根据画面质量、网络条件、分配的用户权限等，对视频流的分辨率和帧率参数，及主/子码流等进行设置。

步骤2：对视频流进行预处理。利用视频解码、切割技术，对输入的流式视频实时抓取无重影图片，方便对图像进一步处理；对图像进行预处理，高斯模糊操作，降低噪声，及去抖动、画面增强和过滤冗余信息等。

步骤3：将背景消除，把目标分离出来。首先做目标提取，将图像从rgb空间转换到hsv空间，使用颜色检测，对明度和饱和度在阈值范围内的区域作掩码图像，根据像素值提取目标候选区域。其次进行目标分割，烟火目标的颜色是有明显的区别的，设定好阈值区间，排除不必要的干扰，例如动物、人、物体、汽车等，得到准确的团块。

所述进行目标分割，除颜色信息外，也运用轮廓信息、纹理特征、灰度直方图以及频域描述算子等多个融合特征，尽量排除动物、人、物体、汽车等干扰。

步骤4：火灾智能分析识别，判断视频中是否存在烟雾或火焰。目标检测，对根据步骤3得到的掩码图像利用漫水填充算法填充各个颜色相近的邻近区域，使用轮廓检测筛选出其中面积在阈值以上的凸包含区域，作为新的掩码图像，判断是否烟雾或火焰目标；卷积神经网络判别，用训练好的卷积神经网络，对目标检测中的各个连通域进行进一步的判别是否烟雾或火焰目标；跟踪结合以上两次判断结果，综合判定是否烟雾或火焰目标。其中，对卷积神经网络的训练，在烟火模型中加入光照、遮挡、角度等多种先验信息，进一步增强模型的适应性和特征的表达能力。

采用深度卷积神经网络dcnn进行自适应学习，在烟火模型中加入光照、遮挡、角度等多种先验信息，解决真实场景复杂多变，导致火灾识别能力弱、误报率高等问题。

所述卷积神经网络，对烟火模型除考虑颜色、形状、对比度等静态特征外，也充分考虑烟雾扩散、火焰的跳动频率等动态特征，提高火灾识别准确度。

所述卷积神经网络在前期的训练中，将采集尽量多的、在不同场景下的烟雾、火焰图片或短视频样本进行训练；针对特定行业和特定客户，完善特定场所的样本数据，优化卷积神经网络，提高火灾识别能力和准确度。

所述综合判定，通过设置识别结果阈值，结合对烟雾、火焰的多特征相关参数的融合判断，给出烟雾或火焰的最终识别结论，从而提高火灾识别的鲁棒性，减少误报或漏报。

步骤5：人工确认和反馈，建立用户反馈数据库，优化卷积神经网络。对步骤4的判定结果通过随机抽样方式人工检查，或在特定监控场景下对全部报警结果检查，及在步骤6中用户对报警结果确认，对以上人工判断为误报的结果生成用户反馈数据库。同时，对发现的漏报火灾样本也加入用户反馈数据库。利用用户反馈数据库对卷积神经网络进行优化，降低误报率和漏报率，提高对烟雾和火焰识别的准确性和速度。

步骤6：将火灾识别结果反馈到客户端，形成预警信息通知用户。在步骤4中判定存在火灾时联动报警，以在对应画面显示红色边框，生成报警记录并以红色字符显示的方式通知客户。生成报警记录，包含报警截图、视频片段、时间戳等信息，方便用户回看和统计。

如图2所示，本发明还提供了一种基于可见光图像识别的火灾分析系统，包括：

摄像机接入模块：遵从gb28181标准，具备海量用户和设备的接入管理。包含资源树管理和采集视频流的前端摄像机管理。管理资源树结构，添加、删除多级目录，更改目录名称等。添加或删除摄像机，调整摄像机所在目录，实现不同类别、不同技术的前端设备的任意扩展和动态接入。对前端摄像机的参数进行设置，包括分辨率、帧率、画质及主/子码流等，对摄像机进行ptz控制。

流媒体服务器模块：提供实时流媒体和历史录像的分发服务。将视频流分发到不同客户端、存储管理和智能分析模块。用户通过客户端预览现场画面，支持1/4/9/16画面预览；回看录像画面。查看手动录像和报警录像，支持1/4画面回放。

存储管理模块：主要完成图像数据的存储、备份、管理。存储服务采用集散存储策略；按照应用需求，选择适当的存储存量、存储带宽和响应时间的存储设备；个性化存储，报警录像、报警图片、手动录像等存储到不同的区域；提供录像的快速检索，支持日期、录像类型、通道等检索方式；按照数据的重要程度制定相应的备份策略。

智能分析模块：通过视频流预处理、目标分离、目标判别等处理过程后，自动检测画面中是否出现烟雾或火焰，能够在复杂的场景中实现对火灾的快速识别和响应，能够有效降低不同场所光线变化和运动物体的干扰，满足智能化、实时化、无接触、范围广、可视化、灵敏度高的要求。分析系统利用图像识别方法实现火灾探测，具备无接触，响应速度快的特点。可通过对前端摄像头搭配不同焦距镜头避免探测距离的影响。

地理信息模块：实现了二三维地图展示和查询功能。在二三维地图标示监控点，支持预览实时视频，与火灾报警联动，火灾发生时地图上对应的报警点闪动，并自动弹出关联图像。

报警联动模块：智能分析模块发现火灾时，实时联动触发报警。客户端对应画面显示红色边框，生成的报警记录以红色字符显示。报警触发截图和录像，截图画面实时预览。

系统管理模块：用户管理和系统参数设置。添加或删除用户，管理员对用户权限分配。系统参数设置包括对火灾检测画面区域和检测灵敏度设置。

日志管理模块：包含系统日志和报警日志。系统日志记录系统异常及用户操作。报警日志包含报警设备、设备位置、报警截图、视频片段、时间戳等信息。支持日志检索和查看。

在所述智能分析模块中，在排除动物、人、物体、汽车等干扰时，除颜色信息外，也运用轮廓信息、纹理特征、灰度直方图以及频域描述算子等多个融合特征。

在所述智能分析模块中，在烟火模型中加入光照、遮挡、角度等多种先验信息，解决真实场景复杂多变，导致火灾识别能力弱、误报率高等问题。

在所述智能分析模块中，对烟火模型除考虑颜色、形状、对比度等静态特征外，也充分考虑烟雾扩散、火焰的跳动频率等动态特征，提高火灾识别准确度。

本系统采用分布式开放架构，模块化、松耦合设计，即可在传统x86服务器上运行，也可基于云计算平台承载运行，充分利用云平台的计算能力和持续服务能力。

本发明提供的一种基于可见光图像识别的火灾分析方法及系统，采用深度卷积神经网络dcnn进行自适应学习，通过在烟火模型中加入光照、遮挡、角度等多种先验信息，通过加入人工数据对卷积神经网络的优化，解决识别能力弱、误报率高等问题，提升火灾识别的准确率。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。