一种基于鱼眼摄像头小车的智能巡检火灾预警系统及其工作方法与流程

本发明涉及一种基于鱼眼摄像头小车的智能巡检火灾预警系统及其工作方法，属于人工智能图像检测领域和智能小车
技术领域：
。
背景技术：
：随着我国工业化的发展，大量工厂的都修建了自己的仓库，用来放置工业生产材料，火灾预警系统广泛应用于工业室内仓库。目前，室内火灾预警技术主要为传感器探测技术，分为温度探测、烟雾探测、气体探测。此类装置往往放在室内房间顶部，通过各类传感器探测火灾发生时的温度、烟雾或气体，经过信号分析、判断后，转化为计算机可接受的电信号，发出火灾警报，并提醒管理人员作出相应的措施。然而，随着仓库规模的逐渐增大，传统传感器由于探测距离的问题，不能及时发现火灾情况，例如烟雾报警器，在仓库比较大的情况下，烟雾传播到传感器能探测到的地方，火势可能已经很大了，容易造成重大的经济损失和人员伤亡。另外，传统传感器探测系统需要布置大量传感器和排线，造价比较昂贵。中国专利文献cn208144974u公开了一种基于kinect的智能扫地机器人避障系统，包括：kinect摄像头模块、pc平台、树莓派、扫地机器人行走控制模块、802.11n无线通信模块。所述基于kinect和树莓派的扫地机器人避障系统包括以下工作过程：在扫地机器人运行之前和运行过程中，利用kinect摄像头模块获取带有景深信息的三维图像，并利用pc平台将从kinect摄像头模块中获取的三维图像进行建模，通过栅格化算法对室内环境进行建模，从而通过树莓派，利用扫地机器人行走控制模块控制扫地机器人行走方向。但是，该专利需要利用pc平台进行三维建模，如果仓库比较大，则需要建模时间过长，耗费大量时间，中间传输也存在数据丢失的问题，造成建模不准确，影响避障准确率。技术实现要素：针对现有技术的不足，为了弥补普通传统传感器探测技术的缺陷，提高火灾预警的准确率，本发明提供了一种基于鱼眼摄像头小车的智能巡检火灾预警系统；本发明还提供了上述基于鱼眼摄像头小车的智能巡检火灾预警系统的工作方法。术语解释：1、树莓派，raspberrypi，简写为rpi，或者raspi/rpi，是为学习计算机编程教育而设计，只有信用卡大小的微型电脑，其系统基于linux。2、深度学习，机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。3、tensorflow框架，tensorflow是一个开放源代码软件库，被广泛应用于各类机器学习(machinelearning)算法的编程实现，其前身是谷歌的神经网络算法库distbelief。tensorflow拥有多层级结构，可部署于各类服务器、pc终端和网页并支持gpu和tpu高性能数值计算，被广泛应用于谷歌内部的产品开发和各领域的科学研究，是目前最受欢迎的开源机器学习框架。本发明的技术方案为：一种基于鱼眼摄像头小车的智能巡检火灾预警系统，包括图像采集模块、树莓派、服务器、控制电机驱动模块；所述图像采集模块用于采集图像，并将采集的图像发送至所述树莓派；所述树莓派用于实现火灾预警或获取小车的速度和角度信息，并将火灾预警的情况发送至所述服务器；控制电机驱动模块用于接收小车的速度和角度信息，实现小车的智能避障；服务器用于接收火灾预警的情况并进行及时处理。根据本发明优选的，所述图像采集模块包括鱼眼摄像头、红外摄像头，所述树莓派包括火灾预警模块、自动避障模块，所述鱼眼摄像头连接所述火灾预警模块，所述红外摄像头、所述自动避障模块、所述控制电机驱动模块依次连接；所述控制电机驱动模块包括4wd扩展板、四个直流减速电机和轮胎；4wd扩展板通过排线连接所述树莓派，4wd扩展板通过四个电机接口分别连接四个直流减速电机，四个直流减速电机分别连接四个轮胎，4wd扩展板用于接收所述树莓派传来的小车的速度，并通过电机接口分别控制四个直流减速电机的转速；所述鱼眼摄像头用于采集待预警火灾的场景的图像，并将采集的图像发送至所述火灾预警模块；所述火灾预警模块用于通过机器学习tensorflow框架对图像进行检测，是指：输入图像到所述火灾预警模型，经过运算，所述火灾预警模型输出火灾指数，火灾指数是火灾预警模型训练时候预定输出的值，如果火灾指数大于设定阈值，则代表火灾发生，将火灾预警信息传递给后台管理人员，否则，不进行处理；所述红外摄像头用于采集分辨率为640*480的一帧道路图像，并将采集的道路图像发送至所述自动避障模块；所述自动避障模块通过机器学习tensorflow框架利用自动避障模型对图像进行运算，预测出小车前进的角度和速度，角度和速度是自动避障模块训练时候预设的输出，树莓派根据角度和速度，通过公式计算出四个直流减速电机的转速，树莓派将四个直流减速电机的转速通过连接线传递给4wd扩展板，4wd扩展板控制连接四个电机接口的转速，控制小车前进的角度和速度，从而实现智能避障。控制电机驱动模块接收自动避障模块传来的四个直流减速电机的转速，由扩展板控制四个直流减速电机的转速控制小车速度和角度，实现自动避障。电池选用18650锂电池组，可以进行重复充电，充电器为12.6v；底盘选用铝合金底盘；扩展板选用4wd扩展板，用来控制电机。进一步优选的，速度与转速的计算公式为：v＝v2πr，v是指速度，v是指转速，r是指转动半径。根据本发明优选的，所述火灾预警模型包括5层卷积层、2层池化层、3层全连接层，激活函数为elu。梯度下降使用交叉熵，输出为火灾预警指数，在1台1080ti服务器使用tensorflow框架进行训练，数据集为10000张带标签的分辨率为640*480图片，训练拟合时间为6小时。根据本发明优选的，所述自动避障模型为end-to-endnvidia-cnn，包括5层卷积层、3层全连接层，激活函数为elu。梯度下降使用交叉熵，输出为小车前进的角度和速度，在1台1080ti服务器使用tensorflow框架进行训练，数据集为30000张带标签像素为640*480的图片，训练拟合时间为16小时。根据本发明优选的，所述鱼眼摄像头通过usb连接线连接所述火灾预警模块；所述红外摄像头通过usb连接线连接所述自动避障模块。根据本发明优选的，所述火灾预警模块及所述自动避障模块均包括型号为3b+(raspberrypi3b+)的树莓派板、sd卡，sd卡插在树莓派上。选用树莓派3b+(raspberrypi3b+)，配备1.4ghz64位四核cortex-a53处理器，1gbram，全尺寸hdmi和4个标准usb端口、usb2上的千兆以太网、csi摄像头连接器以及dsi显示连接器、一个40针gpio接头，搭载双频802.11ac无线网卡和蓝牙4.2，是一款系统基于linux的微型电脑。搭载raspbian操作系统，具有极强的可扩展性，同时树莓派官方提供非常丰富的sdk包，系统环境为python3.5+tensorflow1.7+opencv3。sd卡选用16g金士顿，用来存放自动避障模块和火灾预警模块。根据本发明优选的，所述鱼眼摄像头是瑞尔威视的500万像素usb鱼眼摄像头；广角为150度，红外夜视，支持调焦；所述红外摄像头是微雪的红外摄像头。自带红外补光灯，支持调焦，能够拍摄500万像素图片和录制1080p的视频。根据本发明优选的，所述控制电机驱动模块包括扩展板、电机和轮胎，控制电机驱动模块接收自动避障模块传来的四个直流减速电机的转速，由扩展板控制四个直流减速电机的转速实现自动避障。上述基于鱼眼摄像头小车的智能巡检火灾预警系统的工作方法，包括步骤如下：(1)所述图像采集模块采集图像，并将采集的图像发送至所述树莓派；(2)所述树莓派实现火灾预警或获取小车的速度和角度信息，并将火灾预警的情况发送至所述服务器，将小车的速度和角度信发送至所述服务器；(3)所述控制电机驱动模块接收小车的速度和角度信息，实现小车的智能避障，所述服务器用于接收火灾预警的情况并进行及时处理。根据本发明优选的，所述步骤(2)中，树莓派实现火灾预警，包括步骤如下：a、树莓派以每秒1帧的速度从鱼眼摄像头获取分辨率640*480的仓库图像，仓库图像通过usb连接线进行传输；b、树莓派收到鱼眼摄像头传来的仓库图像，将仓库图像输入火灾预警模型进行预测，通过tensorflow框架利用火灾预警模型对仓库图像进行计算处理，得出仓库火灾指数；c、树莓派对结果进行判断，判断仓火灾指数是否超过设定的设定阈值，若超过设定阈值，则代表有火灾发生，将结果传递给服务器，若不超过设定阈值，则抛弃结果，继续进行下一帧的预测；d、服务器收到火灾预警，由仓管人员进行灭火处理。根据本发明优选的，实现小车的智能避障，包括步骤如下：e、树莓派以每秒20帧的速度从红外摄像头获取分辨率640*480的道路图像，道路图像通过usb连接线进行传输；f、树莓派收到红外摄像头传来的道路图像，将道路图像输入自动避障模型进行预测，通过tensorflow框架利用自动避障模型对图片进行计算处理，得出小车前进的角度和速度；g、根据预测出的角度和速度通过公式，计算每个直流减速电机各自的转速，树莓派通过连接线将结果传递给控制电机驱动模块；h、控制避障模块接收到四个直流减速电机各自的转速，扩展板四个电机接口分别控制四个直流减速电机转速，控制小车前进的角度和速度，达到自动避障的效果。本发明的有益效果为：1、本发明一种基于鱼眼摄像头小车的智能巡检火灾预警系统及其工作方法，自动避障由红外摄像头获取道路图像信息，交给自动避障模型进行计算处理，并根据预测结果，控制小车前进的角度和速度，达到自动避障的效果，使小车可以自主的在仓库中移动；火灾预警由鱼眼摄像头获取仓库图像信息，交给火灾预警模型进行计算处理，判断是否有火灾，达到火灾预警的效果。2、本发明一种基于鱼眼摄像头小车的智能巡检火灾预警系统及其工作方法，可以大大提高火灾预警的准确度和速度，相较于传统传感器预警方式，可以更快的发现火灾情况，告知仓库管理管理人员，避免重大的财产损失。3、本发明一种基于鱼眼摄像头小车的智能巡检火灾预警系统及其工作方法，兼具实用性和经济效益，可以根据后期程序升级，扩展功能。附图说明图1为本发明基于鱼眼摄像头小车的智能巡检火灾预警系统的结构框图；图2为本发明实现自动避障的流程示意图；图3为本发明实现火灾预警的流程示意图；图4为本发明4wd扩展板电路连接示意图；具体实施方式下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。实施例1一种基于鱼眼摄像头小车的智能巡检火灾预警系统，如图1所示，包括图像采集模块、树莓派、服务器、控制电机驱动模块；图像采集模块用于采集图像，并将采集的图像发送至树莓派；树莓派用于实现火灾预警或获取小车的速度和角度信息，并将火灾预警的情况发送至服务器；控制电机驱动模块用于接收小车的速度和角度信息，实现小车的智能避障；服务器用于接收火灾预警的情况并进行及时处理。实施例2根据实施例1所述的一种基于鱼眼摄像头小车的智能巡检火灾预警系统，其区别在于：图像采集模块包括鱼眼摄像头、红外摄像头，树莓派包括火灾预警模块、自动避障模块，鱼眼摄像头连接火灾预警模块，红外摄像头、自动避障模块、控制电机驱动模块依次连接；控制电机驱动模块包括4wd扩展板、四个直流减速电机和轮胎；4wd扩展板如图4所示，4wd扩展板通过排线连接树莓派，4wd扩展板通过四个电机接口分别连接四个直流减速电机，四个直流减速电机分别连接四个轮胎，4wd扩展板用于接收所述树莓派传来的小车的速度，并通过电机接口分别控制四个直流减速电机的转速；鱼眼摄像头用于采集待预警火灾的场景的图像，并将采集的图像发送至火灾预警模块；火灾预警模块用于通过机器学习tensorflow框架对图像进行检测，是指：输入图像到火灾预警模型，经过运算，火灾预警模型输出火灾指数，火灾指数是火灾预警模型训练时候预定输出的值，如果火灾指数大于设定阈值，则代表火灾发生，将火灾预警信息传递给后台管理人员，否则，不进行处理；红外摄像头用于采集分辨率为640*480的一帧道路图像，并将采集的道路图像发送至自动避障模块；自动避障模块通过机器学习tensorflow框架利用自动避障模型对图像进行运算，预测出小车前进的角度和速度，角度和速度是自动避障模块训练时候预设的输出，树莓派根据角度和速度，通过公式计算出四个直流减速电机的转速，树莓派将四个直流减速电机的转速通过连接线传递给4wd扩展板，4wd扩展板控制连接四个电机接口的转速，控制小车前进的角度和速度，从而实现智能避障。控制电机驱动模块接收自动避障模块传来的四个直流减速电机的转速，由扩展板控制四个直流减速电机的转速控制小车速度和角度，实现自动避障。电池选用18650锂电池组，可以进行重复充电，充电器为12.6v；底盘选用铝合金底盘；扩展板选用4wd扩展板，用来控制电机。速度与转速的计算公式为：v＝v2πr，v是指速度，v是指转速，r是指转动半径。火灾预警模型包括5层卷积层、2层池化层、3层全连接层，激活函数为elu。imagenormalizationconvolution:5x5,filter:128,strides:2x2,activation:eluconvolution:5x5,filter:64,strides:2x2,activation:eluconvolution:5x5,filter:64,strides:2x2,activation:eluconvolution:3x3,filter:64,strides:1x1,activation:eluconvolution:3x3,filter:64,strides:1x1,activation:elupolling:3x3,strides:2x2,activation:elupolling:2x2,strides:1x1,activation:elufullyconnected:neurons:100,activation:elufullyconnected:neurons:50,activation:elufullyconnected:neurons:10,activation:elufullyconnected:neurons:1(output)梯度下降使用交叉熵，输出为火灾预警指数，在1台1080ti服务器使用tensorflow框架进行训练，数据集为10000张带标签的分辨率为640*480图片，训练拟合时间为6小时。自动避障模型为end-to-endnvidia-cnn，包括5层卷积层、3层全连接层，激活函数为elu。convolution:5x5,filter:128,strides:2x2,activation:eluconvolution:5x5,filter:64,strides:2x2,activation:eluconvolution:5x5,filter:64,strides:2x2,activation:eluconvolution:3x3,filter:64,strides:1x1,activation:eluconvolution:3x3,filter:32,strides:1x1,activation:eludropout(0.5)fullyconnected:neurons:100,activation:elufullyconnected:neurons:50,activation:elufullyconnected:neurons:10,activation:elufullyconnected:neurons:2(output)梯度下降使用交叉熵，输出为小车前进的角度和速度，在1台1080ti服务器使用tensorflow框架进行训练，数据集为30000张带标签像素为640*480的图片，训练拟合时间为16小时。鱼眼摄像头通过usb连接线连接所述火灾预警模块；红外摄像头通过usb连接线连接所述自动避障模块。火灾预警模块及自动避障模块均包括型号为3b+(raspberrypi3b+)的树莓派板、sd卡，sd卡插在树莓派上。选用树莓派3b+(raspberrypi3b+)，配备1.4ghz64位四核cortex-a53处理器，1gbram，全尺寸hdmi和4个标准usb端口、usb2上的千兆以太网、csi摄像头连接器以及dsi显示连接器、一个40针gpio接头，搭载双频802.11ac无线网卡和蓝牙4.2，是一款系统基于linux的微型电脑。搭载raspbian操作系统，具有极强的可扩展性，同时树莓派官方提供非常丰富的sdk包，系统环境为python3.5+tensorflow1.7+opencv3。sd卡选用16g金士顿，用来存放自动避障模块和火灾预警模块。鱼眼摄像头是瑞尔威视的500万像素usb鱼眼摄像头；广角为150度，红外夜视，支持调焦；所述红外摄像头是微雪的红外摄像头。自带红外补光灯，支持调焦，能够拍摄500万像素图片和录制1080p的视频。控制电机驱动模块包括扩展板、电机和轮胎，控制电机驱动模块接收自动避障模块传来的四个直流减速电机的转速，由扩展板控制四个直流减速电机的转速实现自动避障。实施例3上述基于鱼眼摄像头小车的智能巡检火灾预警系统的工作方法，包括步骤如下：(1)图像采集模块采集图像，并将采集的图像发送至树莓派；(2)树莓派实现火灾预警或获取小车的速度和角度信息，并将火灾预警的情况发送至服务器，将小车的速度和角度信发送至所述服务器；(3)控制电机驱动模块接收小车的速度和角度信息，实现小车的智能避障，服务器用于接收火灾预警的情况并进行及时处理。步骤(2)中，树莓派实现火灾预警，如图3所示，包括步骤如下：a、树莓派以每秒1帧的速度从鱼眼摄像头获取分辨率640*480的仓库图像，仓库图像通过usb连接线进行传输；b、树莓派收到鱼眼摄像头传来的仓库图像，将仓库图像输入火灾预警模型进行预测，通过tensorflow框架利用火灾预警模型对仓库图像进行计算处理，得出仓库火灾指数；c、树莓派对结果进行判断，判断仓火灾指数是否超过设定的设定阈值5，若超过设定阈值，则代表有火灾发生，将结果传递给服务器，若不超过设定阈值，则抛弃结果，继续进行下一帧的预测；d、服务器收到火灾预警，由仓管人员进行灭火处理。本发明火灾预测方法与现有方法的效果数据比对如表1所示：表1火灾准确率火灾发现速度成本本发明火灾预测方法90～95％5～10秒500～700元现有技术70～75％1分钟以上1500元以上由表1可知，与现有技术相比，本发明火灾预测方法可以大大提高火灾预警的准确度和速度，相较于传统传感器预警方式，可以更快的发现火灾情况，告知仓库管理管理人员，避免重大的财产损失。步骤(3)中，实现小车的智能避障，如图2所示，包括步骤如下：e、树莓派以每秒20帧的速度从红外摄像头获取分辨率640*480的道路图像，道路图像通过usb连接线进行传输；f、树莓派收到红外摄像头传来的道路图像，将道路图像输入自动避障模型进行预测，通过tensorflow框架利用自动避障模型对图片进行计算处理，得出小车前进的角度和速度；g、根据预测出的角度和速度通过公式，计算每个直流减速电机各自的转速，树莓派通过连接线将结果传递给控制电机驱动模块；h、控制避障模块接收到四个直流减速电机各自的转速，扩展板四个电机接口分别控制四个直流减速电机转速，控制小车前进的角度和速度，达到自动避障的效果。当前第1页12