一种植保无人机喷施效果的实时检测方法与流程

本发明涉及植保喷施检测领域，尤其涉及一种植保无人机喷施效果的实时检测方法。

背景技术：

目前，植保无人机药液喷施效果的检测方法主要有两种：其一是机载机器视觉检测方法，该方法采用无人机搭载工业摄像头的方案，拍摄药液从植保无人机上雾化喷出后在空中自由散落到雾化液滴击中目标或地面的全过程，从中提取雾化后雾滴群的空中飞行轨迹，预测与判断喷施药液的到达区域。该检测方法由于无法克服喷施药液雾化微滴粒径太小、药液为无色透明液体和喷雾击中喷施目标后立刻消失等问题，导致其无法准确检测到药液雾化后的散落情况，检测误差极大，对药液施药区域的检测更无从谈起。

其二是铺垫湿敏纸的方法，在喷施目标上铺垫湿敏纸的方法，虽然可以用于分析喷施药液雾化后击中目标的雾滴散落情况，但该方法是一种间接检测方法，所以无法返回其在线检测结果，且检测耗时长。

而因现有植保无人机药液喷施控制方法中缺少对其喷施效果的实时检测这项技术环节，植保无人机药液喷施控制方法被迫以开环控制为主，只能采用连续不间断喷施的单一喷施方案。这种方案虽然能适应平原、田间的药液喷施需求，但对于丘陵山地果园中果树的药液喷施作业，由于开环控制对靶精准喷施效果差的原因，就会造成极大的药液浪费、环境污染与低效喷施等问题。

技术实现要素：

本发明的目的在于克服现有技术中的至少一点不足，提供一种检测准确度高、检测耗时短的植保无人机喷施效果的实时检测方法。

为实现上述目的，本发明采用的技术方案是：

提供一种植保无人机喷施效果的实时检测方法，所述无人机上设有机器视觉摄像装置及红外热成像摄像装置，包括以下步骤：

s1：对药剂进行调温处理，使药剂的温度在喷施目标承受能力之内，并使药剂的温度与喷施目标的温度形成温差，且该温差大于红外热成像摄像装置的热分辨率，再将经调温处理的药剂放置于无人机上；

s2：通过无人机上的喷施装置将调温处理的药剂喷施于喷施目标上，喷施目标的施药区域与未施药区域将形成温差；喷施装置为喷嘴；

s3：在喷施过程中，机器视觉摄像装置采集喷施目标的可见光图像，同时，红外热成像摄像装置采集喷施目标的红外图像，对可见光图像和红外图像进行图像配准和融合处理，以获取融合后的图像；对可见光图像或融合后的图像进行处理以获取喷施目标的冠层轮廓，并计算出喷施目标的总面积st；对融合后的图像进行处理并分析融合后的图像上的温度场变化，判断出施药区域，经检测和计算得到施药区域的总面积sc，从而得出药剂覆盖喷施目标的占比为sc/st。

自然界中一切温度高于绝对零度的物体都能不断地辐射红外线（即热辐射），这类红外线是一种人眼不可见的光波，不同温度的物体发出的红外辐射强度不同，从而红外辐射波长也不同，由于施药区域与未施药区域存在明显的温差，则施药区域与未施药区域的红外辐射强度不同，发出的红外辐射波长不同，通过红外热成像摄像装置的红外探测器能探测到施药区域与未施药区域的温差变化带来的红外辐射光波变化，再经热成像形成实时的热轮廓及热分布图（既红外图像），实现喷施效果的实时监控和检测。

红外图像虽能直观得到整颗喷施目标的温度信息，但红外图像信噪比低、无彩色信息、且缺少层次感，只有喷施目标的大致轮廓，无法对其进行详细的辨识，可见光图像的光谱信息丰富，对比度相对较高，包含丰富的细节信息，但在黑暗背景下不易观察，因此对可见光图像和红外图像进行图像配准和融合处理，融合后图像的可识别度和温度分布的清晰度得到提高，有利于图像分析。对药剂进行调温处理，使药剂的温度与喷施目标的温度形成温差，药剂的温度应在喷施目标承受能力之内，以免药剂温度过高或过低而影响喷施目标的正常生长，此外，药剂与喷施目标的温差应大于红外热成像摄像装置的热分辨率，避免因温差过小而使红外探测器无法探测到药剂与喷施目标的温差，调温后，将药剂放置于无人机上，当无人机飞至喷施目标上空后，再通过喷施装置将调温的药剂喷施于喷施目标上，完成喷施后，由于调温的药剂与喷施目标存在较大温差，喷施目标的施药区域的温度将明显区别于未施药区域的温度。

红外热成像摄像装置的温敏度高，能探测出极细微的温度变化，且该装置不受天气、地势等环境因素的影响，故能精确检测出药剂覆盖喷施目标的占比及喷施装置的喷施误差等喷施效果信息，且机器视觉摄像装置与红外热成像摄像装置的图像采集和处理速度快，不仅能实时监控和检测，而且检测耗时也较短。

优选地，在所述步骤s3之前，还包括经标定方法获取机器视觉摄像装置的内参和外参，并根据内参和外参对机器视觉摄像装置采集的可见光图像进行畸变校正的步骤。通过标定方法获取机器视觉摄像装置的焦距、图像中心、畸变系数等内参和旋转矩阵与平移矩阵等外参，对机器视觉摄像装置进行标定，再通过标定结果对采集的可见光图像进行畸变校正。由于可见光图像在生成和传递过程中，易出现偏色、模糊、几何失真、几何倾斜等不同程度的畸变，通过对可见光图像进行畸变校正，能获取更清晰、更真实的可见光图像。标定方法可选用棋盘格标定方法。

优选地，所述步骤s3中，在对可见光图像和红外图像进行图像配准和融合处理之前，先对采集到的红外图像进行环境干扰校正处理，消除环境因素对红外图像的干扰。无人机在飞行和喷施过程中，环境因素的干扰，导致采集的红外图像不清晰，所以需对采集的红外图像进行预处理，消除环境因素的影响。

进一步优选地，所述步骤s3中，环境干扰校正处理包括对红外图像采用小波变换的多尺度分解获取高频部分及低频部分，并对高频部分进行滤波处理，对低频部分进行校正处理。起伏背景下红外图像不可避免地受到人为干扰、探测器低频扫描噪声和高频探测噪声的影响，导致所获取的红外图像受到较为严重的噪声污染，同时，由于探测器距离目标较远，成像图像上目标与背景的灰度差较小，图像的信噪比较低，对目标的检测存在一定的难度，因此，需要对采集的红外图像进行必要的噪声平滑和背景杂波抑制处理。常规的噪声平滑方法主要有均值滤波法、中值滤波法和空间匹配滤波法，这些方法均能有效滤除噪声的同时也使得目标的信息受到一定程度的损失，因此，在选择噪声平滑方法时需要在消除噪声和增强目标特征两者之间进行兼顾选择，优选地，可通过对小波变换获取的高频部分进行局部重叠参考变换的中值滤波处理，消除一般噪声与运动噪声，对小波变换获取的低频部分，采用基于动态参考温度场的非均匀性校正方法，实现低频校正，有效去除环境温度对红外成像的影响。

进一步优选地，所述步骤s3中，环境干扰校正处理还包括抖动补偿处理。无人机飞行过程中，红外热成像摄像装置易产生抖动而使采集的红外图像模糊，所以需对采集的红外图像进行抖动补偿处理，即采用二维傅立叶变换对拍摄过程中的抖动而形成的模糊图像进行处理，对得到的结果进行归一化和二值化变换，并结合模糊图像实际情况，采用基于radon变换的极大值(mrt)算法估算出抖动模糊的方向，最终得到清晰的红外图像。

优选地，所述步骤s3中，分别对红外图像与可见光图像进行sift特征提取，在不同的特征空间上查找关键点，利用关键点匹配得到红外图像与可见光图像的匹配点对准，从而获取每个红外局部图像与可见光图像的旋转与平移矩阵参数，然后对红外图像与可见光图像进行图像融合，对融合后的图像进行温度阈值分割，对阈值分割的像素个数进行计算，对应得出施药区域的面积sc，从而得到药剂覆盖喷施目标的占比sc/st。sift特征是图像的局部特征，有如下优点：其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；多量性，即使少数的几个物体也可以产生大量的sift特征向量；因此使用sift特征进行图像配准能够保证配准精度。

优选地，所述步骤s3中，关于喷施目标的冠层轮廓的获取方式有两种方案。

第一种方案：对融合后的图像进行二值化处理，以获取喷施目标的冠层轮廓，计算出喷施目标的总面积st。

第二种方案：对可见光图像进行canny边缘检测处理，以喷施目标的绿色分量为统计参考量，计算多尺度harris角点，以获取喷施目标的冠层轮廓。通过canny边缘检测处理，精准确定可见光图像边缘的位置，再以喷施目标的绿色分量为统计分量，采用多尺度harris角点提取方法，获得喷施目标的冠层轮廓。harris角点提取方法不受摄像机姿态及光照的影响，能在较大尺度下可靠地消除误检，检测出真正的角点，准确获得喷施目标的冠层轮廓，计算出喷施目标的总面积st。

与现有技术相比，本发明技术方案的有益效果是：该检测方法预先将药剂进行调温处理，使药剂施药区域与未施药区域形成温差，再采集喷施目标的可见光图像和红外图像，通过图像处理，获得药剂覆盖喷施目标的占比sc/st，可实现药剂喷施效果的实施监控；同时，红外热成像摄像装置的温敏度高，能探测出极细微的温度变化，且该装置不受天气、地势等环境因素的影响，故能精确检测出药剂覆盖喷施目标的占比及喷施装置的喷施误差等喷施效果信息，此外，机器视觉摄像装置与红外热成像摄像装置的图像采集和处理速度快，检测耗时也较短。

附图说明

图1为本发明所述药剂喷施示意图；

图2为本发明所述喷施目标上的药剂分布示意图；

附图标号说明：1无人机；2喷施装置；3红外热成像摄像装置；4机器视觉摄像装置；5药剂；6喷施目标；7未施药区域；8施药区域。

具体实施方式

为了更好地理解本发明，下面结合实施例进一步阐明本发明的内容，但本发明不仅仅局限于下面的实施例。

实施例1

一种植保无人机1喷施效果的实时检测方法，如图1、2所述，所述无人机1上设有机器视觉摄像装置4及红外热成像摄像装置3，包括以下步骤：

s1：对药剂5进行调温处理，使药剂5的温度在喷施目标6承受能力之内，并使药剂5的温度与喷施目标6的温度形成温差，且该温差大于红外热成像摄像装置3的热分辨率，再将经调温处理的药剂5放置于无人机1上；

s2：通过无人机1上的喷施装置2将调温处理的药剂5喷施于喷施目标6上，喷施目标6的施药区域8与未施药区域7将形成温差；喷施装置为喷嘴；

s3：在喷施过程中，机器视觉摄像装置4采集喷施目标6的可见光图像，同时，红外热成像摄像装置3采集喷施目标6的红外图像，对可见光图像和红外图像进行图像配准和融合处理，以获取融合后的图像；对可见光图像或融合后的图像进行处理以获取喷施目标6的冠层轮廓，并计算出喷施目标6的总面积st；对融合后的图像进行处理并分析融合后的图像上的温度场变化，判断出施药区域8，经检测和计算得到施药区域8的总面积sc，从而得出药剂5覆盖喷施目标6的占比为sc/st。

自然界中一切温度高于绝对零度的物体都能不断地辐射红外线（即热辐射），这类红外线是一种人眼不可见的光波，不同温度的物体发出的红外辐射强度不同，从而红外辐射波长也不同，由于施药区域8与未施药区域7存在明显的温差，则施药区域8与未施药区域7的红外辐射强度不同，发出的红外辐射波长不同，通过红外热成像摄像装置3的红外探测器能探测到施药区域8与未施药区域7的温差变化带来的红外辐射光波变化，再经热成像形成实时的热轮廓及热分布图（既红外图像），实现喷施效果的实时监控和检测。

红外图像虽能直观得到整颗喷施目标6的温度信息，但红外图像信噪比低、无彩色信息、且缺少层次感，只有喷施目标6的大致轮廓，无法对其进行详细的辨识，可见光图像的光谱信息丰富，对比度相对较高，包含丰富的细节信息，但在黑暗背景下不易观察，因此对可见光图像和红外图像进行图像配准和融合处理，融合后图像的可识别度和温度分布的清晰度得到提高，有利于图像分析。

对药剂5进行调温处理，使药剂5的温度与喷施目标6的温度形成温差，药剂5的温度应在喷施目标6承受能力之内，以免药剂5温度过高或过低而影响喷施目标6的正常生长，此外，药剂5与喷施目标6的温差应大于红外热成像摄像装置3的热分辨率，避免因温差过小而使红外探测器无法探测到药剂5与喷施目标6的温差，调温后，将药剂5放置于无人机1上，当无人机1飞至喷施目标6上空后，再通过喷施装置2将调温的药剂5喷施于喷施目标6上，完成喷施后，由于调温的药剂5与喷施目标6存在较大温差，喷施目标6的施药区域8的温度将明显区别于未施药区域7的温度。

红外热成像摄像装置3的温敏度高，能探测出极细微的温度变化，且该装置不受天气、地势等环境因素的影响，故能精确检测出药剂5覆盖喷施目标6的占比及喷施装置2的喷施误差等喷施效果信息，且机器视觉摄像装置4与红外热成像摄像装置3的图像采集和处理速度快，不仅能实时监控和检测，而且检测耗时也较短。

其中，在所述步骤s3之前，还包括经标定方法获取机器视觉摄像装置4的内参和外参，并根据内参和外参对机器视觉摄像装置4采集的可见光图像进行畸变校正的步骤。通过标定方法获取机器视觉摄像装置4的焦距、图像中心、畸变系数等内参和旋转矩阵与平移矩阵等外参，对机器视觉摄像装置4进行标定，再通过标定结果对采集的可见光图像进行畸变校正。由于可见光图像在生成和传递过程中，易出现偏色、模糊、几何失真、几何倾斜等不同程度的畸变，通过对可见光图像进行畸变校正，能获取更清晰、更真实的可见光图像。标定方法可选用棋盘格标定方法。

其中，所述步骤s3中，在对可见光图像和红外图像进行图像配准和融合处理之前，先对采集到的红外图像进行环境干扰校正处理，消除环境因素对红外图像的干扰。无人机1在飞行和喷施过程中，环境因素的干扰，导致采集的红外图像不清晰，所以需对采集的红外图像进行预处理，消除环境因素的影响。

具体地，所述步骤s3中，环境干扰校正处理包括对红外图像采用小波变换的多尺度分解获取高频部分及低频部分，并对高频部分进行滤波处理，对低频部分进行校正处理。起伏背景下红外图像不可避免地受到人为干扰、探测器低频扫描噪声和高频探测噪声的影响，导致所获取的红外图像受到较为严重的噪声污染，同时，由于探测器距离目标较远，成像图像上目标与背景的灰度差较小，图像的信噪比较低，对目标的检测存在一定的难度，因此，需要对采集的红外图像进行必要的噪声平滑和背景杂波抑制处理。常规的噪声平滑方法主要有均值滤波法、中值滤波法和空间匹配滤波法，这些方法均能有效滤除噪声的同时也使得目标的信息受到一定程度的损失，因此，在选择噪声平滑方法时需要在消除噪声和增强目标特征两者之间进行兼顾选择，优选地，可通过对小波变换获取的高频部分进行局部重叠参考变换的中值滤波处理，消除一般噪声与运动噪声，对小波变换获取的低频部分，采用基于动态参考温度场的非均匀性校正方法，实现低频校正，有效去除环境温度对红外成像的影响。

具体地，所述步骤s3中，环境干扰校正处理还包括抖动补偿处理。无人机1飞行过程中，红外热成像摄像装置3易产生抖动而使采集的红外图像模糊，所以需对采集的红外图像进行抖动补偿处理，即采用二维傅立叶变换对拍摄过程中的抖动而形成的模糊图像进行处理，对得到的结果进行归一化和二值化变换，并结合模糊图像实际情况，采用基于radon变换的极大值(mrt)算法估算出抖动模糊的方向，最终得到清晰的红外图像。

其中，所述步骤s3中，分别对红外图像与可见光图像进行sift特征提取，在不同的特征空间上查找关键点，利用关键点匹配得到红外图像与可见光图像的匹配点对准，从而获取每个红外局部图像与可见光图像的旋转与平移矩阵参数，然后对红外图像与可见光图像进行图像融合，对融合后的图像进行温度阈值分割，对阈值分割的像素个数进行计算，对应得出施药区域8的面积sc，从而得到药剂5覆盖喷施目标6的占比sc/st。sift特征是图像的局部特征，有如下优点：其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；多量性，即使少数的几个物体也可以产生大量的sift特征向量；因此使用sift特征进行图像配准能够保证配准精度。其中，所述步骤s3中，关于喷施目标6的冠层轮廓的获取方式有两种方案。

第一种方案：对融合后的图像进行二值化处理，以获取喷施目标6的冠层轮廓，计算出喷施目标6的总面积st。

第二种方案：对可见光图像进行canny边缘检测处理，以喷施目标6的绿色分量为统计参考量，计算多尺度harris角点，以获取喷施目标6的冠层轮廓。通过canny边缘检测处理，精准确定可见光图像边缘的位置，再以喷施目标6的绿色分量为统计分量，采用多尺度harris角点提取方法，获得喷施目标6的冠层轮廓。harris角点提取方法不受摄像机姿态及光照的影响，能在较大尺度下可靠地消除误检，检测出真正的角点，准确获得喷施目标6的冠层轮廓，计算出喷施目标6的总面积st。本发明优选第二种方案以获取喷施目标6的冠层轮廓，从而计算出喷施目标6的总面积st。

实施前，先对机器视觉摄像装置4进行标定，再对药剂5进行调温处理，既使药剂5的温度与喷施目标6的温差大于红外热成像摄像装置3的热分辨率，又使药剂5的温度在喷施目标6的承受能力之内，然后，将调温处理的药剂5放置于无人机1上，通过无人机1上的喷施装置2将药剂5喷施在喷施目标6上，喷施过程中，机器视觉摄像装置4采集喷施目标6的可见光图像，并通过canny边缘检测处理，确定可见光图像边缘的位置，再以喷施目标6的绿色分量为统计分量，采用多尺度harris角点提取方法，获得喷施目标6的冠层轮廓，并计算出喷施目标6的总面积st，与此同时，红外热成像摄像装置3采集喷施目标6的红外图像，并对红外图像采用小波变换的多尺度分解获取高频部分及低频部分，对高频部分进行滤波处理，对低频部分进行校正处理，并对采集的红外图像进行抖动补偿处理，消除环境因素的影响，然后，分别对红外图像与可见光图像进行sift特征提取和匹配处理，从而获取每个红外局部图像与可见光图像的旋转与平移矩阵参数，然后对红外图像与可见光图像进行图像融合，对融合后的图像进行温度阈值分割，对阈值分割的像素个数进行计算，对应得出施药区域8的面积sc，从而得到药剂5覆盖喷施目标6的占比sc/st。该检测方法可实现药剂5喷施效果的实施监控，且红外热成像摄像装置3的温敏度高，能探测出极细微的温度变化，该装置不受天气、地势等环境因素的影响，能精确检测出药剂5覆盖喷施目标6的占比及喷施装置2的喷施误差等喷施效果信息，此外，机器视觉摄像装置4与红外热成像摄像装置3的图像采集和处理速度快，检测耗时短。

实施例2

本实施例的技术方案与实施例1基本相同，其区别在于，当喷施目标6与周围环境的温度差大于红外热成像摄像装置3的热分辨率时，仅通过无人机1上的红外热成像摄像装置3采集喷施目标6的红外图像，对采集的红外图像进行温度阈值分割，根据施药区域8与未施药区域7的温差，检测出施药区域8，对阈值分割的像素个数进行计算，对应得到施药区域8总面积sc，与此同时，根据喷施目标6与环境的温差，检测出喷施目标6的冠层轮廓，对阈值分割的像素个数进行计算，对应得到喷施目标6总面积st，从而得出药剂5覆盖喷施目标6的占比为sc/st。

当喷施目标6与周围环境的温度差大于红外热成像摄像装置3的热分辨率，可直接对采集的红外图像进行温度阈值分割，并根据喷施目标6与环境的温差检测出喷施目标6的冠层轮廓，对阈值分割的像素个数进行计算，对应得到喷施目标6总面积st；本实施例所述的检测方法没有采集喷施目标6的可见光图像，由于采集的红外图像无彩色信息、缺少层次感，所以难以对喷施目标6进行精确的辨识，检测精度不高，但耗时更短，是一种对喷施效果粗略、快捷的检测方法。

本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。