一种火灾监测与处置的系统、方法、设备及存储介质与流程

1.本发明涉及火灾监测技术领域，具体为一种火灾监测与处置的系统、方法、设备及存储介质。


背景技术：

2.火灾监测系统多为固定位置传感器，大多为烟雾、温度传感器作为检测单元接入消防系统。其需要在建筑建设时就需要完成安装，固定位置部署灵活度差，在一定程度上也会影响环境整体美观。当需要对大环境进行监测时，需要密集部署监测节点，成本较高。且烟雾、温度传感器需到达一定阈值才可触发报警，即只有在火灾发生程度较大时才可以触发警报动作。同时设备只能完成警报动作，无法将火灾发生程度直观呈现，不利于相关人员根据火情制定相应措施。在火灾发生时，无法完整记录整个过程，不利于展开责任溯源和隐患排查工作。


技术实现要素：

3.(一)解决的技术问题
4.针对现有技术的不足，本发明提供了一种火灾监测与处置的系统、方法、设备及存储介质，解决现有火灾监测系统部署固定监测范围有限的问题，可以一定程度上减少设备部署难度和成本。
5.(二)技术方案
6.为实现以上目的，本发明通过以下技术方案予以实现：
7.一方面，提供了一种火灾监测与处置的系统，所述系统包括机器人模块、视频采集与传输模块和火灾识别与分析模块；
8.所述机器人模块包括机器人、双目深度相机、无线传输模块以及自动导航模块；所述机器人用于对环境的日常火情监测巡逻任务，所述双目深度相机用于采集周围环境视频数据并进行视觉slam建图，所述自动导航模块用于自主路径规划和导航，同时用于低电量自主返回充电点进行充电，所述无线传输模块用于将所述双目深度相机采集到的数据传输到视频采集与传输模块中；
9.所述视频采集与传输模块包括视频采集单元和5g通信模块，所述视频采集单元用于将双目深度相机采集到的环境视频数据通过所述5g通信模块进行实时传输，所述视频采集单元利用双目深度相机将视频数据以及自身位置坐标实时呈现于云平台，配合5g高速传输实时得到精确的现场情况以及位置信息；
10.所述火灾识别与分析模块用于接收所述视频采集与传输模块传输的数据，建立火灾数据集，设置输入数据中的目标检测的对象，并根据利用深度学习的方法进行逐帧实时识别与分析，判断视频帧判断相关火情情况，其中，目标检测的对象包含烟雾、火焰以及行人。
11.优选的，所述火灾识别与分析模块基于深度学习，采用yo l o v5算法，以自建数
据集进行训练得到权重模型，对环境中的烟雾、火焰、行人进行检测，由cspdarknet提取视频帧特征图，经过panet进行特征融合，对特征进行回归和分类得到目标检测结果。
12.优选的，所述系统还包括火灾分级处置模块，所述火灾分级处置模块用于接收所述火灾识别与分析模块所识别与分析的相关火情情况，并进行火情分级处置。
13.优选的，所述火灾分级处置模块包括:
14.知识图谱构建单元,用于构建火情知识图谱；
15.知识图谱搜索单元，用于查找到相关火情对应的警报信号信息以及处置建议；
16.结果可视化单元，用于通过可视化以及语音的方式提供给相关人员以及现场人员行动建议；
17.更新单元，对相关火情处理的反馈进行知识图谱的更新。
18.优选的，所述火灾分级处置模块还用于全面记录火灾发生时的全部情况信息生成日志并将其存储，根据火灾情况进行归档。
19.再一方面，提供了一种火灾监测与处置的方法，所述方法包括：
20.通过自主导航模块自主路径规划和导航；
21.通过机器人完成对环境的日常火情监测巡逻任务，同时通过双目深度相机采集周围环境视频数据并进行视觉slam建图；
22.通过5g通信模块对采集到的周围环境视频数据进行实时传输至火灾识别与分析模型中；
23.通过视频采集单元利用双目深度相机将视频数据以及自身位置坐标实时呈现于云平台，配合5g高速传输可以实时得到精确的现场情况以及位置信息；
24.通过火灾识别与分析模型设置输入数据中的目标检测的对象，并根据利用深度学习的方法进行逐帧实时识别与分析，判断视频帧判断相关火情情况，其中，目标检测的对象包含烟雾、火焰以及行人；
25.对火情进行分级处置；
26.全面记录火灾发生时的全部情况信息生成日志并将其存储，根据火灾情况进行归档。
27.优选的，所述通过火灾识别与分析模型设置输入数据中的目标检测的对象，并根据利用深度学习的方法进行逐帧实时识别与分析，判断视频帧判断相关火情情况，其中，目标检测的对象包含烟雾、火焰以及行人，具体包括：
28.所述火灾识别与分析模块基于深度学习，采用yo l o v5算法，以自建数据集进行训练得到权重模型，对环境中的烟雾、火焰、行人进行检测，由cspdarknet提取视频帧特征图，经过panet进行特征融合，对特征进行回归和分类得到目标检测结果。
29.优选的，所述对火情进行分级处置，具体包括：
30.构建火情知识图谱；
31.查找到相关火情对应的警报信号信息以及处置建议；
32.通过可视化以及语音的方式提供给相关人员以及现场人员行动建议；
33.对相关火情处理的反馈进行知识图谱的更新。
34.又一方面，提供了一种设备，其特征在于，所述设备包括：
35.一个或多个处理器；
36.存储器，用于存储一个或多个程序，
37.当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行所述的一种火灾监测与处置的方法。
38.又一方面，提供了一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现所述的一种火灾监测与处置的方法。
39.(三)有益效果
40.(1)本发明一种火灾监测与处置的系统、方法、设备及存储介质，可以代替安防人员进行长时间的巡查作业以及固定检测设备部需要密集署的问题，减少了大量不必要的人力以及物力的浪费；
41.(2)本发明一种火灾监测与处置的系统、方法、设备及存储介质，部署简单，具备自主建图巡航能力，可实现指定区域内全覆盖监测，提高监测范围；
42.(3)本发明一种火灾监测与处置的系统、方法、设备及存储介质，可以对环境中的火灾情况进行自主检测识别并预警，以最快时间进行处置，最大程度减少损失；
43.(4)本发明一种火灾监测与处置的系统、方法、设备及存储介质，可根据检测情况进行分级预警并依据知识图谱提供最优的专业处置建议；并且对火灾情况进行全称记录存档，便于展开后续调查工作。
附图说明
44.图1为本发明系统结构示意图；
45.图2为本发明实施例中火灾分级处置模型图；
46.图3为本发明方法流程图。
具体实施方式
47.下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.实施例
49.如图1所示，作为本发明的一个实施例，提供了一种火灾监测与处置的系统，所述系统包括机器人模块、视频采集与传输模块和火灾识别与分析模块；
50.所述机器人模块包括机器人、双目深度相机、无线传输模块以及自动导航模块；所述机器人用于对环境的日常火情监测巡逻任务，所述双目深度相机用于采集周围环境视频数据并进行视觉slam建图，所述自动导航模块用于自主路径规划和导航，同时用于低电量自主返回充电点进行充电，所述无线传输模块用于将所述双目深度相机采集到的数据传输到视频采集与传输模块中；
51.所述视频采集与传输模块包括视频采集单元和5g通信模块，所述视频采集单元用于将双目深度相机采集到的环境视频数据通过所述5g通信模块进行实时传输，所述视频采集单元利用双目深度相机将视频数据以及自身位置坐标实时呈现于云平台，配合5g高速传输实时得到精确的现场情况以及位置信息；
52.所述火灾识别与分析模块用于接收所述视频采集与传输模块传输的数据，建立火灾数据集，设置输入数据中的目标检测的对象，并根据利用深度学习的方法进行逐帧实时识别与分析，判断视频帧判断相关火情情况，其中，目标检测的对象包含烟雾、火焰以及行人。
53.火灾识别与分析模块将机器人视频采集模块得到的数据利用深度学习的方法进行逐帧实时识别与分析，判断视频帧是否含有相关火情，目标检测的对象主要包含三大类，分别为：烟雾、火焰以及行人。该数据集为配合相应场景下的自建数据集，烟雾类目标包含大量白烟数据，因为在火灾起始阶段通常无明火出现但伴随大量白色烟雾，此阶段为最佳检测检测阶段，此时产生预警能够将损失降到最低。当明火产生时或大量黑色烟雾时，为火灾发生阶段，此时检测到火焰目标直接警报可以防止火势蔓延尽量减少生命财产损失。设置行人为检测对象之一，目的是为了判断火灾发生时是否具有人员在场，并以此为针对特定场景下的处置依据提供给相关人员进行部署判断。
54.具体的，所述火灾识别与分析模块基于深度学习，采用yo l o v5算法，以自建数据集进行训练得到权重模型，对环境中的烟雾、火焰、行人进行检测，由cspdarknet提取视频帧特征图，经过panet进行特征融合，对特征进行回归和分类得到目标检测结果。
55.具体的，所述系统还包括火灾分级处置模块，所述火灾分级处置模块用于接收所述火灾识别与分析模块所识别与分析的相关火情情况，并进行火情分级处置。
56.请参阅图2，在火情分级处置模块中，按照检测到的目标检测的对象分为三种。当机器人按照自主导航路线进行日常巡逻时，视频帧中未出现任何目标或者只出现行人目标时，机器人继续正常巡航。当检测算法识别到烟雾、火焰目标并且未出现行人目标时，说明现场已经有火情发生了，机器人随机停止巡航模式并持续对现场情况进行记录，同时发出火灾一级警报信号，并将火灾发生处的实际坐标位置以及火情情况通知给相关工作人员以便于进行及时处理，同时云平台将传输来的视频画面进行存档备案便于溯源调查。当火灾现场画面中同时检测到行人时，根据行人出现在画面中的位置变化情况以及停留时间再一次进行判断，如果行人长时间停留在同一位置，说明此人当前处境较为危险，有晕倒的可能甚至有生命的危险，因此除了需要进行灭火处理还需要进行医疗救助，此时系统会发出火灾三级警报信号，提醒相关人员同时进行灭火救助以及医疗救助，提供专业的相关救助措施和步骤方面的建议，提醒相关人员带好相关工具和设备第一时间赶往事发地点，最大程度减少生命财产损失。当在火灾现场检测可活动行人时，相关人员接到火灾二级预警信号根据现场画面，可通过机器人外置麦克风与现场进行通话，通过判断现场火灾发生程度以及可自由活动的行人是否具备救火能力对现场进行初步指挥，若现场情况具备救助条件可通过远程指导尽量阻止火势蔓延并在同一时刻派出专业人士赶往现场进行救助，若现场不具备救助条件则通过麦克风将现场人员进行疏散，减少火灾对周围人员带来的伤害。
57.具体的，所述火灾分级处置模块包括:
58.知识图谱构建单元,用于构建火情知识图谱；
59.知识图谱搜索单元，用于查找到相关火情对应的警报信号信息以及处置建议；
60.结果可视化单元，用于通过可视化以及语音的方式提供给相关人员以及现场人员行动建议；
61.更新单元，对相关火情处理的反馈进行知识图谱的更新。
62.具体的，所述火灾分级处置模块还用于全面记录火灾发生时的全部情况信息生成日志并将其存储，根据火灾情况进行归档。
63.请参阅图3，作为本发明又一个实施例，提供了一种火灾监测与处置的方法，所述方法包括：
64.通过自主导航模块自主路径规划和导航；
65.通过机器人完成对环境的日常火情监测巡逻任务，同时通过双目深度相机采集周围环境视频数据并进行视觉slam建图；
66.通过5g通信模块对采集到的周围环境视频数据进行实时传输至火灾识别与分析模型中；
67.通过视频采集单元利用双目深度相机将视频数据以及自身位置坐标实时呈现于云平台，配合5g高速传输可以实时得到精确的现场情况以及位置信息；
68.通过火灾识别与分析模型设置输入数据中的目标检测的对象，并根据利用深度学习的方法进行逐帧实时识别与分析，判断视频帧判断相关火情情况，其中，目标检测的对象包含烟雾、火焰以及行人；
69.对火情进行分级处置；
70.全面记录火灾发生时的全部情况信息生成日志并将其存储，根据火灾情况进行归档。
71.具体的，所述通过火灾识别与分析模型设置输入数据中的目标检测的对象，并根据利用深度学习的方法进行逐帧实时识别与分析，判断视频帧判断相关火情情况，其中，目标检测的对象包含烟雾、火焰以及行人，具体包括：
72.所述火灾识别与分析模块基于深度学习，采用yo l o v5算法，以自建数据集进行训练得到权重模型，对环境中的烟雾、火焰、行人进行检测，由cspdarknet提取视频帧特征图，经过panet进行特征融合，对特征进行回归和分类得到目标检测结果。
73.具体的，所述对火情进行分级处置，具体包括：
74.构建火情知识图谱；
75.查找到相关火情对应的警报信号信息以及处置建议；
76.通过可视化以及语音的方式提供给相关人员以及现场人员行动建议；
77.对相关火情处理的反馈进行知识图谱的更新。
78.作为本发明又一个实施例，提供了一种设备，其特征在于，所述设备包括：
79.一个或多个处理器；
80.存储器，用于存储一个或多个程序，
81.当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行所述的一种火灾监测与处置的方法。
82.作为本发明又一个实施例，提供了一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现所述的一种火灾监测与处置的方法。
83.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要
素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。