一种基于分布式计算的森林烟火识别智能云系统的制作方法

文档序号:15494413发布日期:2018-09-21 21:21阅读:233来源:国知局

本发明涉及一种智能防火系统,具体涉及一种基于分布式计算的森林烟火识别智能云系统。



背景技术:

森林资源作为一种环境生态资源,在林业乃至环境保护中占有重要地位。我国地大物博、幅员辽阔,其森林面积在世界范围内占有举足轻重的地位。近年来,不利气象条件的客观存在以及林区复杂的社会环境和森林防火体制机制的不健全使得森林防火形式十分严峻,森林火灾带来的财产损失数以亿计,各国在森林防火的投入也十分巨大。

我国的森林防火建设仍处于较低水平,近年来各省投入森林防火事业的程度也参差不齐,采用的技术也各不相同。其中,森林防火视频监控在我国一些地区已有雏形,建立起了一定防火视频监控网,但这些网络也存在一定问题。

例如,基于以上所建立起的林火视频监控墙可以监控已布监控地区的林火情况,但由于监控视觉角度限制,还需人为手动控制云台以观测不同方向的林火情况,给监控人员以巨大的工作量,且不利于火情初期的发现,对火灾救援工作造成延缓。

基于以上情况,森林烟火智能后端识别系统出现以解决以上问题,将前端摄像设备采集的图像数据通过林区有线网络、移动互联网或无线传输技术等将视频信号传输至后端服务器,利用智能烟火识别算法对每一个监控点进行分析,以达到无需人为干预的24小时全天候森林智能烟火识别报警。

但由于硬件限制,很多地方由于林区有线网络性能有限,监控摄像设备能提供的清晰度较低,加之云台控制接口多以兼容手动控制接口为主,难以兼容后端服务器自动化控制,造成后端实时识别的源视频流清晰度和实时性较低,进而造成智能识别误报率高,甚至由于云台无法控制而造成后端识别软件无法正常运行。

摄像头所能采集有效图像的范围有限,多在几公里左右,故覆盖一片林区需要大量摄像头布满整个林区监控范围,而烟火识别算法所需计算量较大,若多路视频同时进行识别,则需要大量计算资源,而一般服务器往往难以支持如此大的计算量。

现有的森林防火视频传输的传输方式也主要采用单一的传输方式,一旦传输网络发生故障,那么便会增加延误森林火灾扑救的概率以及森林火灾的危险系数。

对于烟火图像特征,已有相关学术研究可对其特征进行大致描述,通过相关算法可以将其特征提取出来,与已有特征描述进行比对。但对森林烟火识别,由于摄像头置于野外,摄像头采集的图像会受到环境的影响。例如,摄像头进光的方向和大小在一天当中以及不同天气条件下,都有很大变化,因此在不同环境光影响下的特征都有相应的变化。

利用计算机深度学习可以很好的解决环境影响对烟火图像识别的影响,但是如果直接使用深度神经网络对图像进行特征提取,需要大量的带宽进行视频传输以及巨量的运算量,对传输资源和运算资源的需求量巨大,一般服务器难以提供支持。



技术实现要素:

本发明目的在于提供一种基于分布式计算的森林烟火识别智能云系统,以解决:

1.森林中复杂环境情况对烟火识别的影响。

2.网络传输能力低下,造成传输的图像清晰度低,后端识别误报率高。

3.后端服务器运算能力不足以支持多路(具体指10路以上)视频同步环境特征提取和烟火特征识别。

4.单一传输网络出现故障造成的传输中断,造成系统整体机能故障,进而延误火情的状况。

5.云台控制方式不一致,识别程序无法正常运行。

6.报警方式不及时直观,无法在识别到烟火第一时间通知相关人员,让相关人员一眼明了火情,以致对救援方式产生误判的问题。

本发明采用如下方案:一种基于分布式计算的森林烟火识别智能云系统,其特征在于,包括前端、云端处理模块和移动终端;

前端包括工控型中央处理模块、前端网络通信模块、前端图像采集模块、前端图像采集辅助模块、前端供电模块,前端网络通信模块包括4g通信模块和局域网通信模块,4g通信模块通过pcie接口与工控型中央处理模块连接,达到与工控型中央处理模块连接与高速数据传输,前端图像采集模块包括网络摄像机和重型可变速云台,前端图像采集辅助模块包括红外模块和透雾模块,前端工控型中央处理模块将前端图像采集模块的信号进行解码并提取当前图像特征,经网络传输到云端处理模块,前端供电模块为系统前端供电;

云端处理模块包括网络通信模块、中央处理模块、并行计算模块、存储模块和报警模块,存储模块用于储存前端的信息,中央处理模块由计算机必要硬件构成,负责云端控制与少量运算,云端处理模块通过移动互联网与移动终端连接用于将火情信息和火场实时视频流推送至相关人员,存储模块与报警模块连接,并行计算模块对前端传输过来的特征变换后数据进行识别,识别为烟火执行时启动报警模块;

前端默认使用前端局域网通信模块通过林区铺设的有线局域网与云端通信,如果该网络故障则通过4g通信模块进行通信,若仍不能满足通信需求,则以短信形式告知相关人员进行处理。

所述图像采集模块中网络摄像机安装在重型可变速云台上,图像信号由网络摄像机采集编码,码流直接通过以太网送至工控型中央处理模块,中央处理模块集成于重型可变速云台内部。

所述工控型中央处理模块内置环境特征提取算法,开机自动运行,对从网络摄像机来的图像信号进行解码并提取当前图像特征,将提取的特征数据通过小波变换后经网络传输到云端处理模块,由云端处理模块对特征变换后数据进行识别。

重型可变速云台由工控型中央处理模块通过rs485串口控制,根据算法需要控制速度,并进行多预置位的转动以配合网络摄像头获取指定角度的图像信息,若云端处理模块确认该监控点有火情,则将该火情相关信息存储并通过互联网将火情信息和火场实时视频流推送至相关人员的移动终端。

云端处理模块和移动终端对无法确认的情况采取人工判断,对确认为有烟火的情况利用并行计算模块空闲计算资源对其特征变换后数据进行学习,达到可识别该情况的目的。

图像采集辅助模块安装于网络摄像机上,通过串口与工控型中央处理模块连接,若处于多雾天气,则开启透雾模块,缓解雾天对识别造成的影响;若处于晚上则开启红外模块,使算法能在夜晚进行识别,白天关闭红外模块。

具体实现包括以下步骤:

步骤a:工控型中央处理模块通过rs485串口控制重型可变速云台转动至预置位;

步骤b:网络摄像机采集图像并编码,码流直接通过以太网送至工控型中央处理模块;

步骤c:工控型中央处理模块对从网络摄像机来的图像信号进行解码并提取当前图像特征,再小波变换;

步骤d:云端处理模块中的并行计算模块通过针对烟火特征经小波变换后的数据训练好的深度神经网络模型对前端传输过来的特征变换后数据进行识别,若识别为烟火执行步骤e,否则执行步骤dx;

步骤d1:云端处理模块和移动终端对无法确认的情况采取人工处理;

步骤d2:对确认为有烟火的情况通过并行计算模块利用空闲计算资源对其特征变换后数据进行学习,否则丢弃该情况变换后数据;

步骤e:将该火情相关信息存储至云端处理模块中的存储模块并通过云端网络通信模块将火情信息和火场实时视频流推送至相关人员的移动终端,报警模块报警;

步骤f:自步骤a开始循环上述步骤。

其中,步骤c工控型中央处理模块对从网络摄像机来的图像信号进行解码并提取当前图像特征具体实现如下:

步骤c1:工控型中央处理模块、前端网络通信模块、图像采集模块初始化;

步骤c2:工控型中央处理模块通过rs485串口控制重型可变速云台转动,网络摄像机采集图像,对监控点周围环境进行背景学习;

步骤c3:对从网络摄像机来的图像信号通过工控型中央处理模块内置解码算法和环境特征提取算法进行解码并提取当前图像特征并进行小波变换;

步骤c4:工控型中央处理模块检查有线局域网是否连通,若连通则执行c5步骤,否则执行c4-1步骤;

步骤c4-1:工控型中央处理模块检查4g网络是否连通,若连通则执行c4-2步骤,否则执行c4-1-1步骤;

步骤c4-1-1:工控型中央处理模块通过4g通信模块4-01以通话方式告知移动终端网络故障,若有收到响应,则从步骤c3开始循环,否则循环步骤c4-1-1;

步骤c4-2:工控型中央处理模块通过4g通信模块4-01发送特征变换后数据并报告有线局域网故障;

步骤c4-3:从步骤c3开始循环;

步骤c5:工控型中央处理模块通过局域网通信模块将特征变换后数据打包发送至云端处理模块;

步骤c6:从步骤c3开始循环。

本发明具有的优点:1.前端图像由网络摄像机采集,通过以太网传输给前端中央处理模块,可兼容各类网络摄像机。

2.通过将环境特征提取和变换算法至于前端,即将计算任务分配给多台计算设备,其源数据是直接从网络摄像机通过网络获取的,信息获取速度快,信息损失量小,图像质量优,适合进行准确特征提取,提取出来的特征数据经小波变换后数据量小,适合传输及云端识别,实时性良好,解决后端服务器运算能力不足以支持多路(具体指10路以上)视频同步环境特征提取和烟火特征识别。

3.通过对受环境影响有烟火的情况进行机器学习,解决识别算法受环境影响度高的问题。

4.火警信息及实时视频推送为相关人员提供更加及时和直观清晰的信息,便于相关人员通过火情实时图像准确判断救援实施方式。

5.通过多种网络传输方式解决因前端设备传输方案单一造成的报警信息不能及时通知监控人员的问题。

6.将识别软件云台控制放在前端通过rs485与云台连接,解决因云台控制方式兼容性问题造成的识别软件无法正常运行的问题。

附图说明

图1是本发明的结构示意图。

图2是本发明系统前端环境特征提取流程图。

图3是本发明系统云端烟火识别流程图。

图4是本发明系统云端人工判断流程图。

附图标记说明:1.移动终端、2.云端处理模块、2-01.云端网络通信模块、2-02.云端中央处理模块、2-03.并行计算模块、2-04.云端存储模块、2-05.云端报警模块、3.前端工控型中央处理模块、4.前端网络通信模块、4-01.前端4g通信模块、4-02.前端局域网通信模块、5.前端图像采集模块、5-01.前端网络摄像机、5-02.前端重型可变速云台、6.前端图像采集辅助模块、6-01.前端红外模块、6-02.透雾模块、7.前端供电模块。

具体实施方式

下面结合附图对本发明的优选实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。

请参阅图1,一种基于分布式计算的森林烟火识别智能云系统,其特征在于,包括前端、云端处理模块(2)和移动终端(1);

前端包括工控型中央处理模块、前端网络通信模块(4)、前端图像采集模块(5)、前端图像采集辅助模块(6)、前端供电模块(7),前端网络通信模块(4)包括4g通信模块和局域网通信模块,4g通信模块通过pcie接口与工控型中央处理模块连接,达到与工控型中央处理模块连接与高速数据传输,前端图像采集模块(5)包括网络摄像机和重型可变速云台,前端图像采集辅助模块(6)包括红外模块和透雾模块(6-02),前端工控型中央处理模块(3)将前端图像采集模块(5)的信号进行解码并提取当前图像特征,经网络传输到云端处理模块(2),前端供电模块为系统前端供电;

云端处理模块(2)包括网络通信模块、中央处理模块、并行计算模块(2-03)、存储模块和报警模块,存储模块用于储存前端的信息,中央处理模块由计算机必要硬件构成,负责云端控制与少量运算,云端处理模块(2)通过移动互联网与移动终端(1)连接用于将火情信息和火场实时视频流推送至相关人员,存储模块与报警模块连接,并行计算模块(2-03)对前端传输过来的特征变换后数据进行识别,识别为烟火执行时启动报警模块;

前端默认使用前端局域网通信模块(4-02)通过林区铺设的有线局域网与云端通信,如果该网络故障则通过4g通信模块进行通信,若仍不能满足通信需求,则以短信形式告知相关人员进行处理。

所述图像采集模块中网络摄像机安装在重型可变速云台上,图像信号由网络摄像机采集编码,码流直接通过以太网送至工控型中央处理模块,中央处理模块模块集成于重型可变速云台内部。

所述工控型中央处理模块内置环境特征提取算法,开机自动运行,对从网络摄像机来的图像信号进行解码并提取当前图像特征,将提取的特征数据通过小波变换后经网络传输到云端处理模块(2),由云端处理模块(2)对特征变换后数据进行识别。

重型可变速云台由工控型中央处理模块通过rs485串口控制,根据算法需要控制速度,并进行多预置位的转动以配合网络摄像头获取指定角度的图像信息,若云端处理模块(2)确认该监控点有火情,则将该火情相关信息存储并通过互联网将火情信息和火场实时视频流推送至相关人员的移动终端(1)。

云端处理模块(2)和移动终端(1)对无法确认的情况采取人工判断,对确认为有烟火的情况利用并行计算模块(2-03)空闲计算资源对其特征变换后数据进行学习,达到可识别该情况的目的。

图像采集辅助模块安装于网络摄像机上,通过串口与工控型中央处理模块连接,若处于多雾天气,则开启透雾模块(6-02),缓解雾天对识别造成的影响;若处于晚上则开启红外模块,使算法能在夜晚进行识别,白天关闭红外模块。

前端供电模块(7)为整套设备所有模块供电。

所述前端数量为多个,具体根据林区布控需要安排。

所述云端服务器数量为一个,与一片林区所有前端连接。

具体实现包括以下步骤:

步骤a:工控型中央处理模块通过rs485串口控制重型可变速云台转动至预置位;

步骤b:网络摄像机采集图像并编码,码流直接通过以太网送至工控型中央处理模块;

步骤c:工控型中央处理模块对从网络摄像机来的图像信号进行解码并提取当前图像特征,再小波变换;

步骤d:云端处理模块(2)中的并行计算模块(2-03)通过针对烟火特征经小波变换后的数据训练好的深度神经网络模型对前端传输过来的特征变换后数据进行识别,若识别为烟火执行步骤e,否则执行步骤dx;

步骤d1:云端处理模块(2)和移动终端(1)对无法确认的情况采取人工处理;

步骤d2:对确认为有烟火的情况通过并行计算模块(2-03)利用空闲计算资源对其特征变换后数据进行学习,否则丢弃该情况变换后数据;

步骤e:将该火情相关信息存储至云端处理模块(2)中的存储模块并通过云端网络通信模块(2-01)将火情信息和火场实时视频流推送至相关人员的移动终端(1),报警模块报警;

步骤f:自步骤a开始循环上述步骤。

如图2所示,步骤c工控型中央处理模块对从网络摄像机来的图像信号进行解码并提取当前图像特征具体实现如下:

步骤c1:工控型中央处理模块、前端网络通信模块(4)、图像采集模块初始化;

步骤c2:工控型中央处理模块通过rs485串口控制重型可变速云台转动,网络摄像机采集图像,对监控点周围环境进行背景学习;

步骤c3:对从网络摄像机来的图像信号通过工控型中央处理模块内置解码算法和环境特征提取算法进行解码并提取当前图像特征并进行小波变换;

步骤c4:工控型中央处理模块检查有线局域网是否连通,若连通则执行c5步骤,否则执行c4-1步骤;

步骤c4-1:工控型中央处理模块检查4g网络是否连通,若连通则执行c4-2步骤,否则执行c4-1-1步骤;

步骤c4-1-1:工控型中央处理模块通过4g通信模块4-01以通话方式告知移动终端(1)网络故障,若有收到响应,则从步骤c3开始循环,否则循环步骤c4-1-1;

步骤c4-2:工控型中央处理模块通过4g通信模块4-01发送特征变换后数据并报告有线局域网故障;

步骤c4-3:从步骤c3开始循环;

步骤c5:工控型中央处理模块通过局域网通信模块将特征变换后数据打包发送至云端处理模块(2);

步骤c6:从步骤c3开始循环。

如图3所示,步骤d云端处理模块(2)中的并行计算模块(2-03)通过内置深度神经网络模型对特征变换后数据进行识别及步骤g将该火情相关信息存储至云端处理模块(2)中的存储模块2-04并通过云端网络通信模块(2-01)将火情信息和火场实时视频流推送至相关人员的移动终端(1),报警模块2-05报警。

如图4所示,步骤e云端处理模块(2)和移动终端(1)对无法确认的情况提供视频录像用以人工判断处理及步骤f对确认为有烟火的情况通过并行计算模块(2-03)利用空闲计算资源对其特征变换后数据进行学习,否则丢弃该情况特征变换后数据。

不局限于此,任何不经过创造性劳动想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书所限定的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1