本发明涉及消防安全领域，特别是涉及一种基于深度学习的森林火灾预警方法及系统。
背景技术：
森林火灾的定义是：在森林区域内，突发性的引起失去人为控制的大片林木的燃烧，而且蔓延速度非常快。森林防火是中国防灾减灾的重要组成部分，对森林资源的保护和优良生态环境的发展都有重大意义，对中国能源的发展具有重大影响。
森林防火监测主要采用人工缭望、远程视频监控、卫星遥感和无人机巡护的方式。人工缭望方式是在制高点设立缭望哨，值班人员24小时轮流值班，由于人为的疏忽和过失，会使得许多火情未能及早发现，延误扑火时间，造成严重后果。远程视频监控方式是在林区搭建大量的视频监控点，监控点配备摄像机，通过有线或无线网络将实时画面传送到监控中心，由中心人员实施监控。该方式不需直接派驻人员到林区现场，但在远距离上人工很难识别早期火情。尤其是可见光摄像机监控系统，在夜间，几乎没有可探测的光谱范围的光照，视频图像上几乎是漆黑一片，很难发现和判断林火。即便换成热红外视频监控，森林环境复杂，容易存在监控死点，从而造成隐患。卫星遥感方式是通过对遥感照片的处理后发现林火，但卫星只能发现较大区域的林火，在火灾早期无法发现；同时还存在遥感图像分辨率不足、灵活性差等问题。无人机空中巡护相对来说优点较为突出，且有较好的适应性和实时性。
现有技术中，在无人机上设置红外摄像仪或摄像头，通过对红外摄像仪的拍摄图像进行热像差值、烟雾分析等处理；或者通过摄像头拍摄视频进行图像处理，识别火灾的预发生或已发生情况。由于红外热成像仪靠温差成像，而一般目标温差都不大，因此红外热图像对比度低，使分辨细节能力变差，不能透过透明的障碍物看清目标；而常用的摄像头视频图像处理方法不能精确识别出火灾预发生情况和已发生情况。
技术实现要素：
本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于深度学习的森林火灾预警方法及系统。
为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种基于深度学习的森林火灾预警方法，该方法包括：
s1，无人机沿设定路线对森林进行巡检，实时感测行驶区域的温度和/或湿度信息，以及拍摄和传送行驶区域的森林图像至地面站；
同步发送行驶区域的位置信息至地面站；
s2，根据温度和湿度信息进行火灾预警判断，
当温度高于或等于温度报警阈值，和/或湿度低于或等于湿度报警阈值时，发送火灾预警信号至地面站，无人机悬停，实时拍摄和传送所处区域的森林图像至地面站；
当温度低于温度报警阈值，和/或湿度高于湿度报警阈值时，无人机沿设定路线继续对森林进行巡检；
s3，地面站接收火灾预警信号后，采用深度学习算法处理森林图像，判断森林图像对应区域是否预发生火灾或存在火灾，若预发生火灾或存在火灾，继续处理无人机发送的森林图像，获取火灾的实时情况，若非预发生火灾或不存在火灾，地面站发送继续巡检信号至无人机，无人机沿设定路线继续对森林进行巡检；
s4，地面站将火灾预警信号、是否有火灾、火灾实时情况以及位置信息发送给森林管理中心；
或者所述无人机沿设定路线等高飞行。
通过感测无人机行驶区域的温度和湿度信息并进行比较处理，能直观粗略的判断该区域是否有发生火灾的可能性，当有可能发生火灾时，地面站通过深度学习算法对该区域的森林图像进行处理，能精确识别出火灾预发生情况和已发生情况，便于相关人员第一时间准确获知火灾情况；通过火灾预警信号能及时预知火灾，有利于森林保护相关人员做好准备，尽早处理火灾，减小损失；且当接收火灾预警信号后才进行森林图像处理，能减小地面站的运算量，加快巡检速度、扩大无人机的巡检范围，该方法实现了自动检测、自动识别和自动反馈，更高效更智能的保护森林。无人机等高飞行便于获得拍摄角度相同的稳定图像，便于后续图像处理。
在本发明的一种优选实施方式中，在所述步骤s3中，地面站采用深度学习算法处理森林图像的过程为：
对森林图像使用r-cnn网络检测是否存在一个或多个着火区域；
若存在着火区域，对每个着火区域使用一个能覆盖该着火区域的最小面积的方框进行标记，计算方框面积的总和与森林图像面积的比值，若比值小于第一火灾阈值，认为预发生火灾，若比值大于等于第一火灾阈值，认为发生火灾；
或者若存在着火区域，对所有着火区域使用一个能覆盖住所有着火区域的最小面积的方框进行标记，计算方框面积与森林图像面积的比值，若比值小于第二火灾阈值，认为预发生火灾，若比值大于等于第二火灾阈值，认为发生火灾；
若不存在着火区域，则认为非预发生火灾以及不存在火灾。
通过区域卷积神经网络r-cnn，能够有效识别出森林图像中的着火区域，通过使用覆盖住着火区域的最小面积的方框标记，对于形状不规则的着火区域，能够快速的进行着火区域面积估计；通过设置第一火灾阈值或第二火灾阈值，能有效区分出预发生火灾和已经发生火灾，以及通过方框面积或者面积总和与森林图像面积的比值的大小，可以判断已发生火灾或者预发生火灾的严重程度，便于管理人员及时做出应对措施。
在本发明的一种优选实施方式中，在所述步骤s1中，无人机的巡检路线的设定方法为：使用gps模块设定巡检路线的起点和终点，通过栅格分解规划最佳路径。
在本发明的一种优选实施方式中，在所述步骤s1中，在每幅森林图像传送时，绑定有无人机实时的位置信息；
和/或在火灾预警信号传送时绑定有无人机实时的位置信息。
便于将森林图像和火灾预警信号于位置信息准确对应。
在本发明的一种优选实施方式中，在所述步骤s1中，还包括光照调整步骤，包括：
感测光照强度，当光照强度低于光照强度阈值时，开启照明灯补充光照；当光照强度高于或等于光照强度阈值时，关闭照明灯。
保证摄像头拍照时具有足够的光照强度，确保拍摄图片的有效性。
根据本发明的第二个方面，本发明提供了一种基于深度学习的森林火灾预警系统，该系统包括至少一个无人机和地面站；
所述无人机按照各自设定路线对森林进行巡检，无人机上设置有处理器、温度传感器、湿度传感器、gps模块、无线传输模块、摄像头和驱动组件，所述温度传感器输出端与处理器温度输入端连接，所述湿度传感器输出端与处理器湿度输入端连接，所述gps模块输出端与处理器gps输入端连接，所述无线传输模块数据通信端与处理器的数据通信端连接，所述摄像头输出端与处理器视频输入端连接；所述驱动组件的控制端与处理器驱动输出端连接；
或者所述无人机还包括测高模块，所述测高模块高度输出端与处理器的高度输入端连接；
所述地面站接收无人机发送的森林图像和火灾预警信号，包括与无人机的无线传输模块无线连接的无线通信模块、通过深度学习算法对森林图像进行处理的图像处理平台，以及gsm模块，所述无线通信模块输出端与图像处理平台输入端连接，图像处理平台输出端与gsm模块输入端连接。
本系统通过温度传感器和湿度传感器获取无人机行驶区域的温度和湿度信息并进行比较处理，能直观粗略的判断该区域是否有发生火灾的可能性；图像处理平台通过深度学习算法能精确识别出火灾预发生情况和已发生情况，便于相关人员第一时间准确获知火灾情况；通过gsm模块便于将火灾信息及时通知相关管理人员进行预防和处理。该系统可同时支持多台无人机，巡检范围广；测高模块实时检测无人机垂直于地面的高度，将检测高度输入到处理器，处理器内部的存储单元存储着预设高度，将检测高度与预设高度比较获得差值，根据差值处理器控制驱动组件运行，调整无人机高度，使其等高飞行，进而获得拍摄角度相同的稳定图像，有利于后续图像处理。
在本发明的一种优选实施方式中，所述无人机还包括照明灯和光照传感器，所述光照传感器输出端与处理器光照输入端连接，所述处理器照明控制端与照明灯的开启端连接。
保证摄像头拍照时具有足够的光照强度，确保拍摄图片的有效性。
在本发明的一种优选实施方式中，所述gsm模块通过无线网络与森林管理中心连接，所述森林管理中心为服务器或者森林管理人员的手持终端。
便于相关管理人员及时获知火灾信息。
附图说明
图1是本发明一具体实施方式中森林火灾预警方法流程图；
图2是本发明一具体实施方式中森林火灾预警系统的系统框图；
图3是本发明一具体实施方式中森林火灾预警系统功能图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
在本发明的一种森林火灾预警方法的实施方式中，图1所示为该实施方式的流程图，该方法包括：
s1，无人机沿设定路线对森林进行巡检，实时感测行驶区域的温度和/或湿度信息，以及拍摄和传送行驶区域的森林图像至地面站；
同步发送行驶区域的位置信息至地面站；
s2，根据温度和湿度信息进行火灾预警判断，
当温度高于或等于温度报警阈值，和/或湿度低于或等于湿度报警阈值时，发送火灾预警信号至地面站，无人机悬停，实时拍摄和传送所处区域的森林图像至地面站；
当温度低于温度报警阈值，和/或湿度高于湿度报警阈值时，无人机沿设定路线继续对森林进行巡检；
s3，地面站接收火灾预警信号后，采用深度学习算法处理森林图像，判断森林图像对应区域是否预发生火灾或存在火灾，若预发生火灾或存在火灾，继续处理无人机发送的森林图像，获取火灾的实时情况，若非预发生火灾或不存在火灾，地面站发送继续巡检信号至无人机，无人机沿设定路线继续对森林进行巡检；
s4，地面站将火灾预警信号、是否有火灾、火灾实时情况以及位置信息发送给森林管理中心；
或者无人机沿设定路线等高飞行。
深度学习是机器学习研究中的一个新的领域，其动机在于建立能模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。深度学习的概念源于人工神经网络的研究，含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边或特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如，人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。
在本实施方式中，深度学习算法可为卷积神经网络算法或者深度置信网算法，其中，卷积神经网络就是一种深度的监督学习下的机器学习模型，而深度置信网就是一种无监督学习下的机器学习模型。无人机也可间隔较短时间拍摄森林图像，如间隔1秒；位置信息可连续采集后发送给地面站，优选的，其采集时间间隔小于森林图像拍摄时间。
在本实施方式中，因为在森林某一区域预发生火灾或已经发生火灾时，该区域上空的温度会升高，湿度下降，因此当满足检测到温度高于或等于温度报警阈值条件，和湿度低于或等于湿度报警阈值条件中的任一个或两个时，无人机内部的处理器控制驱动组件使无人机在该上空悬停，继续实时拍摄下方的森林图像，发送至地面站处理。在两个条件均不满足时，无人机拍摄该区域下方的森林图像并传送至地面站后，沿预定路线继续航行拍摄，优选的，地面站也实时处理这些图像，及时发现预发生火灾和已发生火灾的险情，温度检测和湿度检测一起使用，进行双重检测，避免因温度传感器和湿度传感器意外故障导致的火灾巡检失误。温度报警阈值和湿度报警阈值存储于无人机处理器内部的存储单元中，可多次试验获取，或者依据经验设定。
在本实施方式中，火灾预警信号以及发出该信号时无人机的位置信息地面站会及时上传到森林管理中心，地面站对森林图像的深度学习处理结果连同位置信息也会上传到森林管理中心；无人机和地面站通过无线通信模式传递火灾预警信号和继续巡检信号，可通过数传电台传输，也可通过wifi、rfid等方式传输。
在本实施方式中，无人机可等高飞行，便于获得拍摄角度相同的稳定森林图像，便于后续图像处理，飞行高度可为15米、20米、25米或30米等。
在本发明的一种优选实施方式中，在步骤s3中，地面站采用深度学习算法处理森林图像的过程为：
对森林图像使用r-cnn网络检测是否存在一个或多个着火区域；
若存在着火区域，对每个着火区域使用一个能覆盖该着火区域的最小面积的方框进行标记，计算方框面积的总和与森林图像面积的比值，若比值小于第一火灾阈值，认为预发生火灾，若比值大于等于第一火灾阈值，认为发生火灾；
或者若存在着火区域，对所有着火区域使用一个能覆盖住所有着火区域的最小面积的方框进行标记，计算方框面积与森林图像面积的比值，若比值小于第二火灾阈值，认为预发生火灾，若比值大于等于第二火灾阈值，认为发生火灾；
若不存在着火区域，则认为非预发生火灾以及不存在火灾。
在本实施方式中，第一火灾阈值和第二火灾阈值可以相等或者不相等，由于对所有着火区域使用一个能覆盖住所有着火区域的最小面积的方框进行标记时，该方框覆盖了部分未着火区域，为了更精确，可将第二火灾阈值设置稍大于第一火灾阈值。第一火灾阈值和第二火灾阈值可为1/10。在本实施方式中，第一火灾阈值和/或第二火灾阈值可设置为一个变化区间，可依据季节、天气情况、或者风速大小变化取值。如在秋季和冬季，或者高温，或者有大风的情况下，可将第一火灾阈值和/或第二火灾阈值设置变化区间中的较小值，反之则设置为变化区间中的较大值。这样检测获得的预发生火灾信号和已发生火灾信号更准确，更贴切于现时环境，便于管理人员有足够的时间应对，以及做出最恰当的应对措施。
在本实施方式中，对森林图像使用r-cnn网络检测是否存在一个或多个着火区域的步骤包括：
s31，首先对无人机传输的每幅图像用一些视觉方法(例如selectivesearch)生成大量候选区域；
s32，其次，对每个候选区域用卷积神经网络cnn进行特征表示，最终形成高维特征向量；
s33，然后，将这些特征量送入一个线性分类器计算类别得分，用于判断候选区域中是否包含着火区域，以及着火区域的数量；
s34，最后，对着火区域的位置和大小进行一个精细的回归。
r-cnn(regionbasedconvolutionalneuralnetwork)，即基于区域提议的卷积神经网络。步骤s31中候选区域提议是选择性的搜索，使用得分最高的前部分区域可以有效地减少后面特征提取的计算量，能很好地应对尺度问题；卷积神经网络cnn在实现上可采用图形计算单元gpu进行并行计算，能极大地提升计算效率；外围框回归使得对着火区域定位的精确性进一步提升。
rcnn在训练阶段包括：
(1)用选择性搜索集中生成每张图片的候选区域，并对每个候选区域用cnn提取特征，这里cnn采用的是训练好的imagenet网络；
(2)其次，利用候选区域和提取出的特征对imagenet网络进行调优，调优依据标准的反向传播算法进行，从特征层开始向后调整各层权重；
(3)然后，以特征层输出的高维特征向量和着火区域类别标签为输入，训练分类器，分类器可为支持向量机；
(4)最后，训练对着火区域外围框位置和大小进行精细回归的回归器。
在本发明的一种优选实施方式中，在步骤s1中，无人机的巡检路线的设定方法为：使用gps模块设定巡检路线的起点和终点，通过栅格分解规划最佳路径。在本实施方式中，最佳路径可为能够避障且距离最短的路径。
在本发明的一种优选实施方式中，在步骤s1中，在每幅森林图像传送时，绑定有无人机实时的位置信息；
和/或在火灾预警信号传送时绑定有无人机实时的位置信息。
便于将森林图像和火灾预警信号于位置信息准确对应。
在本实施方式中，当森林图像拍摄完成后，或产生火灾预报警信号后，获取实时位置信息，将位置信息数据插入森林图像数据或火灾预警信号数据中。
在本发明的一种优选实施方式中，在步骤s1中，还包括光照调整步骤，包括：
感测光照强度，当光照强度低于光照强度阈值时，开启照明灯补充光照；当光照强度高于或等于光照强度阈值时，关闭照明灯。
保证摄像头拍照时具有足够的光照强度，确保拍摄图片的有效性。
在本实施方式中，光照强度阈值可选傍晚或黎明任意时刻的光照强度值，其存储于无人机处理器内部的存储器中。
在本发明森林火灾预警系统的一种实施方式中，如图2所示为该实施方式的系统框图，图3所示为该系统的功能图，该系统包括至少一个无人机和地面站；
无人机按照各自设定路线对森林进行巡检，无人机上设置有处理器、温度传感器、湿度传感器、gps模块、无线传输模块、摄像头和驱动组件，温度传感器输出端与处理器温度输入端连接，湿度传感器输出端与处理器湿度输入端连接，gps模块输出端与处理器gps输入端连接，无线传输模块数据通信端与处理器的数据通信端连接，摄像头输出端与处理器视频输入端连接；驱动组件的控制端与处理器驱动输出端连接；
或者无人机还包括测高模块，测高模块高度输出端与处理器的高度输入端连接；
地面站接收无人机发送的森林图像和火灾预警信号，包括与无人机的无线传输模块无线连接的无线通信模块、通过深度学习算法对森林图像进行处理的图像处理平台，以及gsm模块，无线通信模块输出端与图像处理平台输入端连接，图像处理平台输出端与gsm模块输入端连接。
在本实施方式中，摄像头可选用高清航拍摄像头，无人机的无线传输模块与地面站的无线通信模块的无线连接可通过数传电台，一般的数传电台采用的接口协议有ttl接口、rs485接口和rs232接口，不过也有一些can-bus总线接口，频率有2.4ghz、433mhz、900mhz、915mhz，一般433mhz的较多，因为433mhz是个开放的频段，再加上433mhz波长较长，穿透力强等优势所以大部分民用用户一般都是用的433mhz，距离在5千米到15千米不等，甚至更远。无人机的无线传输模块与地面站的无线通信模块的无线连接还可以通过如wifi等其它射频通信实现。驱动组件包括马达、螺旋桨等部件。地面站的图像处理平台可选用mcu+fpga异构的快速图像处理器。
在本实施方式中，测高模块基于光波或者电磁波测距原理实现测高功能。测高模块包括安装在无人机舱底外部的红外发射模块和红外接收模块，以及处理器内部集成的计时器；红外发射模块控制端与处理器红外发射端连接，红外发射模块数字输出端与处理器红外接收端连接，红外发射模块被处理器控制间隔时间t发射红外光波至地面，由红外接收模块接收反射回来的红外光波，通过计时器记录发射和接收时间差值。或者测高模块包括天线、发射匹配电路、接收匹配电路、射频芯片，射频芯片发射调制模拟信号至发射匹配电路输入端，发射匹配电路输出端与天线输入端连接，天线输出端与接收匹配电路输入端连接，接收匹配电路输出端与射频芯片接收端连接，射频芯片通过spi、i2c等通讯接口与处理器连接，射频芯片间隔时间t输出发射调制模拟信号至发射匹配电路，同时向处理器发送计时开始信号，发射调制模拟信号由天线发射电磁波至地面，反射回来的电磁波信号，经天线传递至接收匹配电路，再传至射频芯片，射频芯片接收后同步发送计时截止信号至处理器，处理器获得时间差值，优选的，天线可垂直地面设置在无人机舱底外部。
由于无人机的航行速度相较于光速或者电磁波速度非常小，该时间差值除以2后乘以光速获得无人机飞行高度。时间t可为正整数分钟，如2分钟、4分钟。处理器将实测飞行高度和预设飞行高度进行比较处理，从而决策驱动组件的动力增减。
在本发明的一种优选实施方式中，无人机还包括照明灯和光照传感器，光照传感器输出端与处理器光照输入端连接，处理器照明控制端与照明灯的开启端连接。
在本实施方式中，照明灯靠近摄像头设置。
在本发明的一种优选实施方式中，gsm模块通过无线网络与森林管理中心连接，森林管理中心为服务器或者森林管理人员的手持终端。
在本实施方式中，火灾信息gsm模块可直接发送通知短信至管理人员手机，也可发送火灾信息至森林管理中心的服务器，管理人员通过网页查看。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。