基于双目立体视觉和无人机的秸秆焚烧监测方法与流程

本发明属于计算机视觉领域和无人机领域的一种监测方法，更确切地说，本发明涉及一种基于双目立体视觉和无人机的秸秆焚烧监测方法。

背景技术：

夏秋两季是秸秆焚烧的高发时期，焚烧秸秆易产生co2、no2、so2等有毒有害气体及可吸入颗粒物，不仅造成生态环境污染，对人们的身心健康也带来威胁，是“黄泥天”、雾霾等恶劣天气的罪魁祸首。另外，焚烧秸秆如遇大风天气时极易引起火灾，且产生的烟尘使周边环境能见度降低，增加交通安全隐患。另外由于监管焚烧的人力资源有限，秸秆的回收再利用成本高见效慢，况且农民存在秸秆就地焚烧可增强土壤肥力的认识误区，使秸秆焚烧现象屡禁不止。

目前监测秸秆焚烧的方法有卫星遥感技术、基于传感器网络的气体或烟雾源定位、人力警车巡查和专人盯防结合方法等，但卫星遥感技术在云雾覆盖天气或较小焚烧点时监测的火点信息不准，所得测试数据过于专业、不够直观，需要经大量处理后才可进行焚烧点识别，监测效率较低；依据红外温度判断火点则可能发生误将某些工厂或锅炉等发热点辨识为焚烧点的情况，产生误判；单靠气体或烟雾传感器定位焚烧点的精度不高，应用范围有限；靠人力监管费时费力、行政成本昂贵且效果不显著。

近年来,随着光学、电子学以及计算机技术的发展，双目立体视觉(binocularstereovision)作为计算机视觉的一个重要分支，应用越来越广泛。双目立体视觉是由不同位置的两台或一台成像设备获取同一幅场景的两幅图像，通过计算真实空间内同一点在两幅图像中的位置偏差即视差，获得该点的深度信息，从而将二维图像还原成三维，得到该点的三维几何信息，并且可以满足夜间拍摄的需要。无人机信息获取技术则具备平台搭建容易、可实现云下低空飞行，受天气影响小，可夜间巡航，运行维护成本低、体积小、质量轻、操作简单、作业周期短等优点，利用无人机搭载双目立体视觉平台，能够准确实时地监测秸秆焚烧遥感信息，满足精准农业发展的要求。

技术实现要素：

本发明所要解决的技术问题是克服现有技术存在的监测火点信息不准确、精度不高、受天气影响大、监管成本高与效率低的问题，提供了一种基于双目立体视觉和无人机的秸秆焚烧监测方法。

为解决上述技术问题，本发明是采用如下技术方案实现的：

所述的基于双目立体视觉和无人机的秸秆焚烧监测方法的步骤如下：

1)预设巡航路径；

2)连接无人机与双目立体视觉平台、红外传感器；

3)标定双目立体视觉平台；

4)启动无人机；

5)无人机进行巡航监测；

6)图像处理；

7)三维重建；

8)监测结果判断与处理；

9)依据闪光警报采取处理措。

技术方案中所述的预设巡航路径是指：

在无人机起飞前，由地面操作人员根据农田信息，用无人机自带的安装有与所采用的无人机配套的gjigo软件的遥控器进行巡航规划，设无人机在待监测农田的巡航飞行路径，无人机启动后即按照既定巡航路径飞行。

技术方案中所述的连接无人机与双目立体视觉平台、红外传感器是指：

1)用m12连接器将红外传感器与无人机云台连接，固定在无人机自带的云台上，m12连接器一端采用螺钉连接、拧紧触点接线的方式与红外传感器相连，一端焊接于无人机的云台上；2)将左、右两个摄像机采用卡扣连接到无人机自带的云台上，即完成无人机与双目立体视觉平台的连接。

技术方案中所述的标定双目立体视觉平台是指；标定双目立体视觉平台首先是分别获取左右相机的内外参数，之后通过立体标定对左右两幅图像进行立体校准和对齐，最后就是确定两个相机的相对位置关系，即中心距；

1)本发明采用张氏平面标定法，该方法只需要摄像机对某个标定板从不同方向拍摄多幅图片，通过标定板上每个特征点和其像平面的像点间的对应关系，即每一幅图像的单应矩阵来进行摄像机的标定；

摆放标定板时应在尽可能靠近焦点的前提下，彼此位姿越不同越好，因为位姿越不同的两张棋盘格图片，其利用角点坐标建立的方程就越独立，越有代表性；

2)用opencv软件完成对两个摄像头的分别标定，即左目标定和右目标定及角点检测，完成左、右相机双目立体校正后的结果是左右相机对应匹配点基本上水平对齐；

3)把左目和右目的单独标定结果放入双目程序中，确定出左、右摄像头内外参数，并得到旋转矩阵和平移矩阵。

技术方案中所述的无人机进行巡航监测是指：

无人机按预设巡航路径从起始位置开始巡航飞行，与此同时红外传感器监测红外热源异常区域,若出现红外异常情况,则无人机飞行至红外异常区域上方，双摄像头采集此刻此处两幅不同角度的秸秆焚烧图像。

技术方案中所述的图像处理是指：

1)图像压缩

(1)将摄像头采集到的png格式的图片在计算机系统自带的画图板功能中打开，再将文件另存为jpeg图片的格式，重命名并保存，这种方法使图像质量损耗较小，且所占空间很小；

(2)若想进一步对jpeg图片格式的图像进行压缩，可以在计算机上安装压缩软件，然后右击待压缩文件，打开文件选择列表，选择“添加到压缩文件夹”，选择压缩方式并确认，即可完成用压缩软件对图像的压缩；

2)颜色空间选择

对于有些图像色差比较明显的，或者需要选取指定颜色的部分，使用色彩范围来选取；

(1)在photoshop软件中打开图片，在颜色调板上通过滑动rgb色度条的滑块，分别调整rgb色度，得到灰度图像；

(2)经对比r分量、g分量、b分量、g-r分量、g-b分量、g-r-b分量这六个分量图像后，选择g-b组合分量图像进行下一步的图像处理；

3)阈值分割

(1)图像二值化就是将灰度图像变为二值图像，将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程，常用方法是选定阈值；

基于直方图双峰法是寻找双峰的谷底作为阈值，此方法实用于具有明显双峰直方图的图像，可利用openvc程序编码实现函数，该函数的实现过程是：此函数是一个迭代的过程，每次处理前对直方图数据进行判断，看其是否已经是一个双峰的直方图，如果不是，则对直方图数据进行半径为1的平滑，如果迭代了一定的数量比如1000次后仍未获得一个双峰的直方图，则函数执行失败，如成功获得，则最终阈值取两个双峰之间的谷底值作为阈值；注意在编码过程中，平滑的处理需要当前像素之前的信息，因此需要对平滑前的数据进行备份；另外，受数据类型精度限制，直方图数据必须转换为浮点类型数据再进行处理，否则得不到正确的结果；

(2)将待处理图像的每个像素点进行单点处理，即将其灰度值与所设置的阈值进行比对，从而得到二值化的黑白图；

4)形态学运算

由于噪声的影响，图像在阈值化后所得到的边界通常都很不平滑，需要经过多次腐蚀和相同次数的膨胀处理才能产生较好的图像效果；

(1)腐蚀算法是用3×3的结构元素扫描图像的每一个像素，用结构元素与其覆盖的二值图像做“与”操作，如果都为1，结果图像的该像素为1，否则为0，结果是使二维图像缩小一圈；

(2)膨胀算法是用3×3的结构元素扫描图像的每一个像素，用结构元素与其覆盖的二值图像做“与”操作，如果都为0，结果图像的该像素为0，否则为1，结果是使二维图像扩大一圈；

5)边缘检测。

技术方案中所述的边缘检测的步骤如下：

(1)滤波

边缘检测的算法主要是基于图像强度的一阶和二阶导数，但导数通常对噪声很敏感，因此必须采用滤波器来改善与噪声有关的边缘检测器的性能，常见的滤波方法主要有高斯滤波，即采用离散化的高斯函数产生一组归一化的高斯核，然后基于高斯核函数对图像灰度矩阵的每一点进行加权求和；

(2)增强

增强边缘的基础是确定图像各店邻域强度的变化值，增强算法将图像灰度点邻域强度值有显著变化的点凸显出来，在具体编程实现时，通过计算梯度幅值来确定；

(3)检测

经过增强的图像，往往邻域中有很多的梯度值比较大，而在特定的应用中，这些点并不是要找的边缘点，所以常用阈值化方法来对这些点进行检测取舍。

技术方案中所述的三维重建是指：

基于视差原理，进行三维重建获得所拍摄图像的三维几何信息，左摄像头采集到的平面图像上的任意一点可以在右摄像头采集到的平面图像的同一水平线上找到匹配点，构建三角关系，提取图像特征，通过立体匹配图像对，得出视差，重建周围景物的三维形状与位置，从而恢复拍摄图像的三维几何信息。

技术方案中所述的监测结果判断与处理是指：

将三维重建步骤所得图像显示在计算机终端的图像显示器中，依据拍摄及反馈处理后的信息，计算机终端对秸秆焚烧状况进行监测判断：

1)确认秸秆焚烧信息后,传输gps坐标至计算机终端处理，同时闪光报警灯发出警报；

2)若属于红外误判，则无人机按预设飞行路径继续巡航,直到再采集到红外热源异常区域为止。

技术方案中所述的依据闪光警报采取处理措施是指：

(1)若秸秆焚烧刚开始进行，则地面操作人员立马安排工作人员前往秸秆焚烧地点，劝解并制止村民继续进行秸秆焚烧的错误行为，就地取材扑灭火源；

(2)若秸秆焚烧严重，已经有明显火源，则地面操作人员立马安排工作人员前往秸秆焚烧地点，同时电话联系村委会相关干部，通知处理秸秆焚烧行动小组尽快抵达秸秆焚烧地点，对秸秆焚烧地点进行大规模灭火，确认没有潜在火源后方可离开；

(3)若秸秆焚烧已经非常严重，可能引发火灾等恶性事件，则地面操作人员立刻拨打110报警电话以及119消防报警电话，同时立马安排工作人员前往秸秆焚烧地点，驱散附近村民，避免人身财产安全受到威胁；

(4)在处理秸秆焚烧现象后，相关工作人员应协同村委会对村民进行批评教育，宣传秸秆焚烧的危害，将秸秆焚烧现象及时遏制，相关环保部门可根据《中华人民共和国大气污染防治法》的规定结合当地实际情况对从事秸秆焚烧的村民进行处罚；

重复“标定双目立体视觉平台”步骤至“监测结果判断与处理”步骤,如果“无人机进行巡航监测”步骤中无人机在完成整个预设巡航飞行路径后未采集到红外热源异常区域,则判断该区域内没有出现秸秆焚烧情况,无人机返回至飞行起点或开始下一片农田区域的监测。

与现有技术相比本发明的有益效果是：

1.本发明所述的基于双目立体视觉和无人机的秸秆焚烧监测方法通过采用无人机搭载双目立体视觉平台的方法，对区域农田内秸秆焚烧状况进行监测。在原理方面，双目立体视觉基于视差原理，利用成像设备从两个位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差来获取该点的三维几何信息，具有效率高、精度合适、成本低等优点。

2.本发明所述的基于双目立体视觉和无人机的秸秆焚烧监测方法在设备方面，首先，所述的无人机可操作性强，可实现云下低空飞行，受天气影响小，可夜间巡航，运行维护成本低、体积小、质量轻、操作简单、作业周期短；其次，无人机信息获取技术容易、利用无人机搭载双目立体视觉平台，能够结合二者优点，克服了现有技术卫星遥感监测的技术复杂问题、天气受限等弊端，准确实时地监测秸秆焚烧遥感信息，满足精准农业发展的要求。

3.本发明所述的基于双目立体视觉和无人机的秸秆焚烧监测方法在方法方面，所述的无人机上设置的红外采集系统用于采集热源异常红外信息，以此为前提再进行双目立体视觉平台对区域农田内的秸秆焚烧情况进行摄像拍摄，结合红外和拍摄图像信息“双管齐下”，这种方法更高效、更准确，可以排除红外误判情况。

4.本发明所述的基于双目立体视觉和无人机的秸秆焚烧监测方法在执行效率方面，一旦确认发现焚烧秸秆现象后，设置在计算机终端的闪光报警灯醒目及时，且可以第一时间初步判断焚烧严重程度，为地面人员及时处理提供便捷，节省行政成本。

附图说明

下面结合附图对本发明作进一步的说明：

图1为本发明所述的基于双目立体视觉和无人机的秸秆焚烧监测方法中所采用的硬件和软件系统结构组成的示意框图；

图2为本发明所述的基于双目立体视觉和无人机的秸秆焚烧监测方法的流程框图；

图3-1为本发明所述的基于双目立体视觉和无人机的秸秆焚烧监测方法中的第6步即图像处理步骤中，采集到的玉米植株经图像压缩和颜色空间选择后得到的玉米植株r分量图像；

图3-2为本发明所述的基于双目立体视觉和无人机的秸秆焚烧监测方法中的第6步即图像处理步骤中，采集到的玉米植株经图像压缩和颜色空间选择后得到的玉米植株g分量图像；

图3-3为本发明所述的基于双目立体视觉和无人机的秸秆焚烧监测方法中的第6步即图像处理步骤中，采集到的玉米植株经图像压缩和颜色空间选择后得到的玉米植株b分量图像；

图3-4为本发明所述的基于双目立体视觉和无人机的秸秆焚烧监测方法中的第6步即图像处理步骤中，采集到的玉米植株经图像压缩和颜色空间选择后得到的玉米植株g-r组合分量图像；

图3-5为本发明所述的基于双目立体视觉和无人机的秸秆焚烧监测方法中的第6步即图像处理步骤中，采集到的玉米植株经图像压缩和颜色空间选择后得到的玉米植株g-b组合分量图像；

图3-6为本发明所述的基于双目立体视觉和无人机的秸秆焚烧监测方法中的第6步即图像处理步骤中，采集到的玉米植株经图像压缩和颜色空间选择后得到的玉米植株g-r-b组合分量图像；

图4为本发明所述的基于双目立体视觉和无人机的秸秆焚烧监测方法中的第6步即图像处理步骤中，采集到的玉米叶片经图像压缩和颜色空间选择后得到的玉米叶片g-b组合分量图像；

图5为本发明所述的基于双目立体视觉和无人机的秸秆焚烧监测方法中的第6步即图像处理步骤中，将图4所示的玉米叶片g-b组合分量图像经阈值分割处理后得到的玉米叶片阈值分割图像；

图6为本发明所述的基于双目立体视觉和无人机的秸秆焚烧监测方法中的第6步即图像处理步骤中，将图5阈值分割后的图像经边缘检测处理后得到玉米叶片边缘检测图像；

图7为本发明所述的基于双目立体视觉和无人机的秸秆焚烧监测方法中基于视差原理，进行三维重建的双目立体视觉原理示意图；

具体实施方式

下面结合附图对本发明作详细的描述：

参阅图1，所述的一种基于双目立体视觉和无人机的秸秆焚烧监测方法中采用的硬件系统包括无人机(包含自带的gps模块和配套的gjigo软件)、左摄像机(含摄像头)、右摄像机(含摄像头)、红外传感器、无线通信模块、计算机终端、图像处理器、数据存储模块以及频率闪光报警灯。

所述的一种基于双目立体视觉和无人机的秸秆焚烧监测方法中软件系统即数据库，数据保存在数据存储模块的cf闪存卡内，用于存储不同区域农田的秸秆焚烧信息。

参阅图1，所述的无人机可采用四旋翼、六旋翼等旋翼类型的智能无人机，实验用无人机选用大疆4pro型四旋翼智能无人机，自重(含电池和桨)1388g，轴距350mm，最大飞行时间约30分钟，飞行速度20m/s，运动模式下的最大上升、下降速度分别为6m/s和4m/s，定位模式下分别为5m/s和3m/s，最大飞行海拔高度6000m，电池容量5870mah，配有带屏幕的遥控器控制，具备轨迹飞行、指点飞行、智能返航、自动避障等性能。

所述的无人机自带gps模块和配套的gjigo软件,用于无人机飞行导航路径设定以及三维定位自身位置；

所述的无人机自带三轴电动云台，云台是安装、固定摄像机的支撑设备，对无人机的前进、后退时的飞行姿态变化可以进行影像稳定弥补，外挂于无人机上；

所述的左、右摄像机用于数据图像采集，左、右摄像机的重心(包括防护罩)到无人机的云台工作面距离为50mm，该重心必须通过云台回转中心，并且与云台工作面垂直，通过相应的卡扣与云台连接。实验中采用的是两台相同型号的大恒mer-500-7uc-l摄像机,两个m1224-mpw2镜头分别安装于两台摄像机上。摄像头的分辨率为2592(h)×1944(v)，机械尺寸为29×29×29mm，重量为41g，外观及其小巧紧凑。两个摄像头移动捕捉田地内秸秆焚烧信息，对秸秆焚烧现状拍摄并将拍摄信息通过无线通信模块功能传输至计算机终端处理；

所述的红外传感器选用型号为stp9cf59的红外传感器(上海烨映电子有限公司所产)，用于采集监测区域的异常热源红外信息，传感器连接件可以采用m12连接器,m12连接器一端采用螺钉连接、拧紧触点接线的连接方式与红外传感器连接，一端焊接于无人机的云台上。若使用其它传感器连接件，则应尽量采用活动连接、尽量采用点接触或线接触方式。

所述的地面数据监控处理中心与无线通信模块相连，其内包括：图像处理器、计算机终端、储存数据的数据存储模块以及频率闪光报警灯；

地面数据监控处理中心位于待监测农田区域附近，有网络覆盖，无人机的飞行状态通过无线通信技术反馈至此，地面监控数据处理中心内的操作人员对无人机进行监控与导航，具有良好的人机交互能力，地面监控数据处理中心内的计算机终端与无线通信模块双向通信连接；

所述的无线通信模块通过无线互联网进行数据传输，可采用433mhz频段无线dtu终端dtd433，实现3公里内的无线数据传输，转换串口数据和ip数据，用于建立无人机与地面数据监控处理中心之间的双向通信连接；

无线通信模块与计算机终端的具体连接方式是：433mhz频段无线dtu终端与计算机通过rs235或者rs485接口连接，在dtu中放入一张开通gprs功能的sim卡，dtu上电运行后先注册到移动的gprs网络，然后发送建立socket的请求包给移动，移动把这个请求发送到因特网，计算机终端接收到请求后则与dtu建立了socket连接，计算机终端是socket的服务端，dtu是socket连接的客户端，这条连接涉及无线网络运营商，因特网宽带供应商，地面数据监控处理中心的网络情况以及电脑配置等，因此要建立这条连接需要把各部分都配置好。socket连接有tcp协议和udp协议之分，dtu和计算机终端要使用相同的协议，这个一般都有配置软件进行配置。给dtu配置好计算机终端的ip地址和端口号后，则把dtu通过串口和计算机终端相连；

所述的计算机终端是一台宏碁4750g笔记本电脑，置于地面数据监控处理中心内，用于接收采集到的秸秆焚烧图像信息，并由操作人员指导发出相应的报警信号，其显示器用于接收双摄像头获取的图像信息以及异常红外图像信息,并进行特征提取反馈至图像显示器,反映秸秆焚烧的情况；

所述的图像处理器是ne-co品牌ne-cl01型外置图像拼接处理器，属于非标准件，将其与计算机终端通过dvi接口直接连接，用于农田秸秆焚烧状态拍摄信息的显示与处理；

所述的数据存储模块可采用campbell公司的zlkcfm100数据存储模块，通过可替换的cf闪存卡来存储观测数据，操作人员只需定期更换cf卡即可，用于存储一片农田区域内所有图像特征,包括秸秆焚烧信息的图像特征、反馈信息以及焚烧区域的位置信息，zlkcfm100采用的是40针的连接端口与计算机终端连接，ⅰ型cf卡和ⅱ型cf卡均可以放置在cfm100的卡槽中；

所述的频率闪光报警灯用于接收来自图像显示模块反映到计算机终端的闪光报警信号,采用φ100mm标准型lte-5101jled声光报警灯，螺栓安装固定在地面监控数据处理中心内，根据秸秆焚烧产生烟雾或气体的严重程度,闪光报警信号可设置为“连续闪烁”、“每一秒间歇闪烁”、“每三秒间歇闪烁”三个频率，表示焚烧现状分别为“非常严重”、“严重”、“刚开始焚烧”，地面工作人员依据操作人员指示进行相应的秸秆焚烧治理工作；

参阅图2，所述的基于双目立体视觉和无人机的秸秆焚烧监测方法的步骤如下：

1.预设巡航路径

预先在无人机起飞前，由地面操作人员根据农田信息，用无人机自带的遥控器(安装有与所采用的无人机配套的gjigo软件)进行巡航规划，设置无人机在待监测农田的巡航飞行路径，无人机启动后即按照既定巡航路径飞行；

2.连接无人机与双目立体视觉平台、红外传感器；

用m12连接器将红外传感器与无人机云台连接，固定在无人机自带的云台上，m12连接器一端采用螺钉连接、拧紧触点接线的方式与红外传感器相连，一端焊接于无人机的云台上，再将左、右两个摄像机通过相应的卡扣连接到无人机自带的云台上，即完成无人机与双目立体视觉平台的连接；

3.标定双目立体视觉平台

标定双目立体视觉平台首先是分别获取左右相机的内外参数，之后通过立体标定对左右两幅图像进行立体校准和对齐，最后就是确定两个相机的相对位置关系，即中心距。

1)本发明采用张氏平面标定法，该方法只需要摄像机对某个标定板从不同方向拍摄多幅图片，通过标定板上每个特征点和其像平面的像点间的对应关系，即每一幅图像的单应矩阵来进行摄像机的标定，由于该方法模板制作容易，使用方便，成本低，鲁棒性好，准确率高，因此得到了较为广泛的应用。摆放标定板时应在尽可能靠近焦点的前提下，彼此位姿越不同越好，因为位姿越不同的两张棋盘格图片，其利用角点坐标建立的方程就越独立，越有代表性；

2)用opencv(一个基于bsd许可(开源)发行的跨平台计算机视觉库，可以运行在linux、windows、android和macos操作系统上)软件完成对两个摄像头的分别标定，即左目标定和右目标定及角点检测，完成左、右相机双目立体校正后的结果是左右相机对应匹配点基本上水平对齐；

3)把左目和右目的单独标定结果放入双目程序中，确定出左、右摄像头内外参数，并得到旋转矩阵和平移矩阵；

4.启动无人机

启动无人机，使无人机按预设巡航路径飞行至起始位置。

5.无人机进行巡航监测

启动无人机上的红外传感器，无人机按巡航路径继续飞行，同时红外传感器监测红外热源异常区域,若出现红外异常情况,则无人机飞行至红外异常区域上方，双摄像头采集此刻此处两幅不同角度的秸秆焚烧图像；

6.图像处理

无人机搭载双目立体视觉平台高空采集平面图像时，受光线、高空环境、田间复杂背景及飞行装置稳定性的影响，使所拍图像达不到最佳质量，故必须进行图像处理，处理双摄像头采集到的秸秆焚烧图像，提高图像质量。

图像处理的常用方法有图像压缩、图像增强和复原、通道增益调节、对比度调节，从而获得双摄像头拍摄的最优组合分量图像；采集的图像经压缩、颜色空间选择后对比选择出g-b组合分量图像，用基于直方图的全局二值算法进行阈值分割，分割目标与背景物。

最后进行形态学运算和边缘检测，以采集到的玉米植株叶片为例，图像处理过程步骤如下：

1)图像压缩

图像压缩的目的是去除图像数据冗余，从而减少表示数据所需的比特数，减小空间。

(1)将摄像头采集到的png格式的图片在计算机系统自带的画图板功能中打开，将文件另存为jpeg图片的格式，重命名并保存即可，这种方法可以使图像质量损耗较小，且所占空间很小；

(2)若想进一步对jpeg图片格式的图像进行压缩，可以在计算机上安装压缩软件，然后右击待压缩文件，打开文件选择列表，选择“添加到压缩文件夹”，选择压缩方式并确认，即可完成用压缩软件对图像的压缩；

2)颜色空间选择

对于有些图像色差比较明显的，或者需要选取指定颜色的部分，使用色彩范围来选取。

(1)在photoshop软件中打开图片，在颜色调板上通过滑动rgb色度条的滑块，分别调整rgb色度，得到灰度图像，参阅图3-1至图3-6，分别是玉米植株经图像压缩和颜色空间选择后得到的玉米植株的r分量、g分量、b分量、g-r分量、g-b分量、g-r-b分量的六个分量图像；

(2)参阅图4,经对比r分量、g分量、b分量、g-r分量、g-b分量、g-r-b分量这六个分量图像后，选择g-b组合分量图像进行下一步的图像处理，图中所示是玉米叶片经颜色空间选择后的g-b组合分量图像；

3)阈值分割

阈值分割适用于目标和背景占据不同灰度级范围的图像，它不仅可以极大的压缩数据量，而且也大大简化了分析和处理步骤。

(1)图像二值化就是将灰度图像变为二值图像，将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程，常用方法是选定阈值；

基于直方图双峰法是寻找双峰的谷底作为阈值，此方法实用于具有明显双峰直方图的图像，可利用openvc程序编码实现函数，该函数的实现过程是：此函数是一个迭代的过程，每次处理前对直方图数据进行判断，看其是否已经是一个双峰的直方图，如果不是，则对直方图数据进行半径为1(窗口大小为3)的平滑，如果迭代了一定的数量比如1000次后仍未获得一个双峰的直方图，则函数执行失败，如成功获得，则最终阈值取两个双峰之间的谷底值作为阈值。注意在编码过程中，平滑的处理需要当前像素之前的信息，因此需要对平滑前的数据进行备份。另外，受数据类型精度限制，直方图数据必须转换为浮点类型数据再进行处理，否则得不到正确的结果。

(2)然后将待处理图像的每个像素点进行单点处理，即将其灰度值与所设置的阈值进行比对，从而得到二值化的黑白图。

参阅图5，将图4所示的玉米叶片g-b组合分量图像经阈值分割处理后得到图5所示阈值分割图像结果；

4)形态学运算

由于噪声的影响，图像在阈值分割后所得到的边界通常都很不平滑，物体区域具有一些噪声孔，而背景区域上散布着一些小的噪声物体，连续的形态学开运算和闭运算可以有效改善此类情况，这时需要经过多次腐蚀和相同次数的膨胀处理才能产生较好的图像效果。

腐蚀是删除对象边界某些像素，膨胀是给图像中的对象边界添加像素。

可以用opencv里的cverode和cvdilate来腐蚀和膨胀，也可以自定义结构元素，使用matlab类型的构造函数创建一个3×3十字型的结构元素，操作方法是：

腐蚀算法是用3×3的结构元素扫描图像的每一个像素，用结构元素与其覆盖的二值图像做“与”操作，如果都为1，结果图像的该像素为1，否则为0，结果是使二维图像缩小一圈；

膨胀算法是用3×3的结构元素扫描图像的每一个像素，用结构元素与其覆盖的二值图像做“与”操作，如果都为0，结果图像的该像素为0，否则为1，结果是使二维图像扩大一圈；

5)边缘检测

参阅图6，将图5阈值分割后的图像经边缘检测处理后，提取出图像中玉米叶片与背景之间的交界线，标识出图5中亮度变化明显的点，得到如图6所示的玉米叶片边缘检测结果；边缘检测的一般步骤如下：

(1)滤波

边缘检测的算法主要是基于图像强度的一阶和二阶导数，但导数通常对噪声很敏感，因此必须采用滤波器来改善与噪声有关的边缘检测器的性能。常见的滤波方法主要有高斯滤波，即采用离散化的高斯函数产生一组归一化的高斯核，然后基于高斯核函数对图像灰度矩阵的每一点进行加权求和。

(2)增强

增强边缘的基础是确定图像各店邻域强度的变化值。增强算法可以将图像灰度点邻域强度值有显著变化的点凸显出来。在具体编程实现时，可通过计算梯度幅值来确定。

(3)检测

经过增强的图像，往往邻域中有很多的梯度值比较大，而在特定的应用中，这些点并不是要找的边缘点，所以常用阈值化方法来对这些点进行检测取舍。

7.三维重建

参阅图7，基于视差原理，进行三维重建获得所拍摄图像的三维几何信息，左摄像头采集到的平面图像上的任意一点可以在右摄像头采集到的平面图像的同一水平线上找到匹配点，构建三角关系，提取图像特征，通过立体匹配图像对，得出视差，重建周围景物的三维形状与位置，从而恢复拍摄图像的三维几何信息；

8.监测结果判断与处理

将三维重建即第7步所得图像显示在计算机终端的图像显示器中，依据拍摄及反馈处理后的信息，计算机终端对秸秆焚烧状况进行监测判断：

1)确认秸秆焚烧信息后,传输gps坐标至计算机终端处理，同时闪光报警灯发出警报；

2)若属于红外误判，则无人机按预设飞行路径继续巡航,直到再采集到红外热源异常区域为止；

9.依据闪光警报采取处理措施

地面操作人员依据闪光报警灯发出的闪光报警信号的三个频率：“连续闪烁”、“每一秒间歇闪烁”、“每三秒间歇闪烁”分别表示焚烧现状为“非常严重”、“严重”、“刚开始焚烧”来判断秸秆焚烧的严重程度，指导安排工作人员开展相应的秸秆焚烧处理工作，具体处理措施如下：

1)若秸秆焚烧刚开始进行，则地面操作人员立马安排工作人员前往秸秆焚烧地点，劝解并制止村民继续进行秸秆焚烧的错误行为，就地取材扑灭火源；

2)若秸秆焚烧严重，已经有明显火源，则地面操作人员立马安排工作人员前往秸秆焚烧地点，同时电话联系村委会相关干部，通知处理秸秆焚烧行动小组尽快抵达秸秆焚烧地点，对秸秆焚烧地点进行大规模灭火，确认没有潜在火源后方可离开；

3)若秸秆焚烧已经非常严重，可能引发火灾等恶性事件，则地面操作人员立刻拨打110报警电话以及119消防报警电话，同时立马安排工作人员前往秸秆焚烧地点，驱散附近村民，避免人身财产安全受到威胁；

4)在处理秸秆焚烧现象后，相关工作人员应协同村委会对村民进行批评教育，宣传秸秆焚烧的危害，将秸秆焚烧现象及时遏制，相关环保部门可根据《中华人民共和国大气污染防治法》的规定结合当地实际情况对从事秸秆焚烧的村民进行处罚。

在以上工作步骤中，重复上述步骤的“标定双目立体视觉平台”第3步骤至“监测结果判断与处理”第8步骤,如果“无人机进行巡航监测”第5步中无人机在完成整个预设巡航飞行路径后未采集到红外热源异常区域,则判断该区域内没有出现秸秆焚烧情况,无人机返回至飞行起点或开始下一片农田区域的监测；

所述的“无人机进行巡航监测”步骤5中，在进行双摄像头采集图像时，所述的无人机处于悬停状态，操作人员可根据实际拍摄情况对无人机进行操控。

实施例：

参阅图2，选取吉林省延吉市朝阳川镇内的一块50㎡的玉米地，于下午四点开始进行玉米秸秆的点火监测试验，以大疆4pro型四旋翼智能无人机为主体，结合双目立体视觉平台，按基于双目立体视觉和无人机的秸秆焚烧监测方法的步骤进行田间秸秆焚烧监测工作，步骤如下：

1.预设巡航路径

在无人机起飞前，由地面操作人员根据农田信息，设置无人机的巡航飞行路径：

1)长按遥控器电源键2秒，即打开遥控器的电源，再按一次无人机机身电源键，松开后立刻再长按2秒，则完成无人机上电步骤；

2)在屏幕上点击启动与大疆4pro型四旋翼智能无人机配套的gjigo软件，选择飞行模式为p-定位模式，在地图上设置由地面监控处理中心(设为a点)起飞，与a点对应的贯穿玉米地的另一边边缘点(设为b点)为返航点。设置飞行速度为16m/s，飞行高度为50m(也可以选择指点飞行模式，在屏幕上根据实况手动进行航线更改)。

2.连接无人机与双目立体视觉平台、红外传感器

将m12连接器一端采用螺钉连接、拧紧触点接线的连接方式与红外传感器相连，一端焊接固定在无人机自带的云台上，将左、右两个摄像机通过相应的卡扣连接到无人机自带的云台上，即完成无人机与双目立体视觉平台的连接。

3.标定双目立体视觉平台

标定双目立体视觉平台首先是分别获取左右相机的内外参数，之后通过立体标定对左右两幅图像进行立体校准和对齐，最后就是确定两个相机的相对位置关系，即中心距。

1)本实验采用张氏平面标定法，该方法只需要摄像机对某个标定板从不同方向拍摄多幅图片，通过标定板上每个特征点和其像平面的像点间的对应关系，即每一幅图像的单应矩阵来进行摄像机的标定；

2)用opencv软件完成对两个摄像头的分别标定，即左目标定和右目标定及角点检测，完成左、右相机双目立体校正后的结果是左右相机对应匹配点基本上水平对齐；

3)把左、右单目标定结果放入双目程序中，确定出左、右摄像头内外参数，并得到旋转矩阵r和平移矩阵t；

左摄像头内部参数：有效焦距[fx,fy]＝[5580.010,5626.460]

光学中心[u0,v0]＝[1408.020,325.625]

畸变系数kc＝[-0.625]

右摄像头内部参数：有效焦距[fx,fy]＝[5525.640,5596.420]

光学中心[u0,v0]＝[1374.910,505.376]

畸变系数kc＝[0.352]

摄像头外部参数：旋转向量r＝[0.999-0.015-0.023

0.0150.999-0.019

0.0230.0180.999]

平移向量t＝[-175.746-7.314-6.661]t

4.启动无人机

在ab之间某处点着一捆玉米秸秆，使之产生一小团火苗，然后再次启动无人机，使无人机按预设巡航路径飞行至a点。

5.无人机进行巡航监测

无人机按预设巡航路径从a点开始在试验田上空50米处的高度进行巡航飞行，对这片50㎡的土地进行监测观察，与此同时红外传感器感应到红外热源异常情况,此时无人机飞行至红外异常区域上方悬停，双摄像头采集此刻此处两幅不同角度的秸秆焚烧图像。

6.图像处理

图像处理的常用方法有图像压缩、图像增强和复原、通道增益调节、对比度调节，从而获得双摄像头拍摄的最优组合分量图像。采集的图像经压缩、颜色空间选择后对比选择出g-b组合分量图像，用基于直方图的全局二值算法进行阈值分割，分割目标与背景物，最后进行形态学运算和边缘检测，图像处理步骤如下：

1)图像压缩

图像压缩的目的是去除图像数据冗余，从而减少表示数据所需的比特数，减小空间。首先将摄像头采集到的png格式的图片在计算机系统自带的画图板功能中打开，然后再将文件另存为jpeg图片的格式，重命名并保存即可，这种方法可以使图像质量损耗较小，且所占空间很小。若想进一步对jpeg图片格式的图像进行压缩，可以在计算机上安装压缩软件，然后右击待压缩文件，打开文件选择列表，选择“添加到压缩文件夹”，选择压缩方式并确认，即可完成用压缩软件对图像的压缩；

2)颜色空间选择

对于有些图像色差比较明显的，或者需要选取指定颜色的部分，使用色彩范围来选取。在photoshop软件中打开图片，在颜色调板上通过滑动rgb色度条的滑块，分别调整rgb色度，得到灰度图像；

3)阈值分割

阈值分割适用于目标和背景占据不同灰度级范围的图像，它不仅可以极大的压缩数据量，而且也大大简化了分析和处理步骤。图像二值化就是将灰度图像变为二值图像，将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程，常用方法是选定阈值，然后将待处理图像的每个像素点进行单点处理，即将其灰度值与所设置的门限进行比对，从而得到二值化的黑白图。

基于直方图双峰法是寻找双峰的谷底作为阈值，此方法实用于具有明显双峰直方图的图像，可利用openvc程序编码实现函数，该函数的实现过程是：此函数是一个迭代的过程，每次处理前对直方图数据进行判断，看其是否已经是一个双峰的直方图，如果不是，则对直方图数据进行半径为1(窗口大小为3)的平滑，如果迭代了一定的数量比如1000次后仍未获得一个双峰的直方图，则函数执行失败，如成功获得，则最终阈值取两个双峰之间的谷底值作为阈值。注意在编码过程中，平滑的处理需要当前像素之前的信息，因此需要对平滑前的数据进行备份。另外，受数据类型精度限制，直方图数据必须转换为浮点类型数据再进行处理，否则得不到正确的结果。

4)形态学运算

由于噪声的影响，图像在阈值化后所得到的边界通常都很不平滑，物体区域具有一些噪声孔，而背景区域上散布着一些小的噪声物体，连续的形态学开运算和闭运算可以有效改善此类情况，这时需要经过多次腐蚀和相同次数的膨胀处理才能产生较好的图像效果。可以用opencv里的cverode和cvdilate来腐蚀和膨胀。

5)边缘检测

边缘检测的一般步骤：

(1)滤波

边缘检测的算法主要是基于图像强度的一阶和二阶导数，但导数通常对噪声很敏感，因此必须采用滤波器来改善与噪声有关的边缘检测器的性能。常见的滤波方法主要有高斯滤波，即采用离散化的高斯函数产生一组归一化的高斯核，然后基于高斯核函数对图像灰度矩阵的每一点进行加权求和。

(2)增强

增强边缘的基础是确定图像各店邻域强度的变化值。增强算法可以将图像灰度点邻域强度值有显著变化的点凸显出来。在具体编程实现时，可通过计算梯度幅值来确定。

(3)检测

经过增强的图像，往往邻域中有很多的梯度值比较大，而在特定的应用中，这些点并不是要找的边缘点，所以常用阈值化方法来对这些点进行检测取舍。

7.三维重建

基于视差原理，进行三维重建获得所拍摄图像的三维几何信息，左摄像头采集到的平面图像上的任意一点可以在右摄像头采集到的平面图像的同一水平线上找到匹配点，构建三角关系，提取图像特征，通过立体匹配图像对，得出视差，重建周围景物的三维形状与位置，从而恢复拍摄图像的三维几何信息；

8.监测结果判断与处理

将第7步三维重建所得图像显示在计算机终端的图像显示器中，依据拍摄及反馈处理后的信息，计算机终端对秸秆焚烧状况监测判断，确认秸秆焚烧信息后,传输gps坐标至计算机终端处理，同时闪光报警灯发出警报；

9.依据闪光警报采取处理措施

闪光报警灯发出每三秒间歇闪烁的信号，地面操作人员依据闪光报警信号安排工作人员携带工具前往焚烧地点，用附近土块掩埋扑灭焚烧物。

试验表明：

1)对双目立体视觉平台的定位精度进行了测试，利用openvc程序对获得的图像进行处理计算，x、y、z方向的平均误差分别为7.1mm、3.9mm、4.3mm，误差可以满足系统要求；

表1定位误差分析测试结果

2)采用双目立体视觉平台能提高图像处理速度，提高图像识别效率，可以解决田间复杂背景下的所需图像的识别与定位，为田间实时监测应用奠定基础；

3)利用无人机搭载双目立体视觉平台，能够准确实时高效地监测秸秆焚烧遥感信息，地面工作人员可以及时作出相应措施，有利于环境保护；

本发明通过采用无人机搭载双目立体视觉的方法，对区域农田内秸秆焚烧状况进行监测，结合红外采集系统，实现了在复杂背景下准确、实时、有效地监测秸秆焚烧的目的，较以往方法提高了图像处理速度和识别效率，并完成报警工作，对秸秆焚烧及时处理，有利于环境保护，无需人工巡防，节省行政成本，精准化程度高，监测效果显著。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本领域的技术人员应当了解，以上实施例仅用于说明本发明的技术方案而非限制，在不脱离本发明精神和范围的前提下，本发明还会有在形式和细节上的变化和改进，这些变化和改进都落入要求保护的本发明范围内。