一种植保无人机精准喷施控制方法与流程

本发明涉及植保喷施领域，尤其涉及一种植保无人机精准喷施控制方法。

背景技术：

植保无人机喷施的药液基本都是无色透明的，药液散落在果树冠层上难以被机器视觉摄像装置发现，导致无法采用机器视觉摄像装置来实现喷施效果的在线实时检测，这使得现有植保无人机药液喷施控制方法中缺少对其喷施效果的实时检测的技术环节，药液喷施控制方法被迫以开环控制为主，即只能根据规划好的路线进行连续不间断地喷施，喷施方法单一，这种喷施方法依赖人工操作经验，不同的无人机操手带来的喷施效果差异大，且无人机在药液喷施作业时极容易受到多变的环境影响，已喷出的药液在空中易被风干扰，无法实现精准对靶喷施，喷施效果不好，且易造成药液浪费和环境污染。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种植保无人机精准喷施控制方法，该喷施控制方法能实现对喷施效果的在线多次实时检测，从而实现精准喷施。

基于此，本发明采用的技术方案是：

提供一种植保无人机精准喷施控制方法，所述无人机上设有机器视觉摄像装置及红外热成像摄像装置，包括以下步骤：

s1：对药剂进行调温处理，使药剂的温度在喷施目标承受能力之内，并使药剂的温度与喷施目标的温度形成温差，且该温差大于红外热成像摄像装置的热分辨率，再将经调温处理的药剂放置于无人机上；

s2：喷施前，对无人机的喷施作业路线进行规划，并预先设定无人机的喷施装置的喷施角度；

s3：喷施时，根据规划的喷施作业路线，无人机上的飞行控制器发出飞行路线控制信号，以控制无人机飞行至喷施目标的正上空；无人机上的喷施控制器发出喷施角度控制信号，以控制喷施装置按照预先设定的喷施角度将调温处理的药剂喷施于喷施目标上，喷施目标上的施药区域与未施药区域将形成温差；

s4：喷施过程中，机器视觉摄像装置采集喷施目标的可见光图像，红外热成像摄像装置采集喷施目标的红外图像；对可见光图像和红外图像进行图像配准和融合处理，以获取融合后的图像；对可见光图像或融合后的图像进行处理以获取喷施目标的冠层轮廓，计算出喷施目标总面积st；对融合后的图像进行处理并分析融合后的图像上的温度场变化，判断出喷施目标上的施药区域，检测和计算得到施药区域总面积sc，对比st、sc以获取喷施目标上的未施药区域及未施药区域面积；

s5：无人机上的喷施控制器根据获取的未施药区域及未施药区域面积，计算并发出新的喷施角度控制信号，以调整喷施装置的喷施角度，将调温处理的药剂喷施于未施药区域，补偿喷施偏差。

自然界中一切温度高于绝对零度的物体都能不断地辐射红外线(即热辐射)，这类红外线是一种人眼不可见的光波，不同温度的物体发出的红外辐射强度不同，从而红外辐射波长也不同，由于施药区域与未施药区域存在明显的温差，则施药区域与未施药区域的红外辐射强度不同，发出的红外辐射波长不同，通过红外热成像摄像装置的红外探测器能探测到施药区域与未施药区域的温差变化带来的红外辐射光波变化，再经热成像形成实时的热轮廓及热分布图(既红外图像)，实现喷施效果的实时监控和检测。

红外图像虽能直观得到整个喷施目标的温度信息，但红外图像信噪比低、无彩色信息、且缺少层次感，只有喷施目标的大致轮廓，无法对其进行详细的辨识，可见光图像的光谱信息丰富，对比度相对较高，包含丰富的细节信息，但在黑暗背景下不易观察，因此对可见光图像和红外图像进行图像配准和融合处理，融合后图像的可识别度和温度分布的清晰度得到提高，有利于图像分析。

对药剂进行调温处理，使药剂的温度与喷施目标的温度形成温差，药剂的温度应在喷施目标承受能力之内，以免药剂温度过高或过低而影响喷施目标的正常生长，此外，药剂与喷施目标的温差应大于红外热成像摄像装置的热分辨率，避免因温差过小而使红外探测器无法探测到药剂与喷施目标的温差，调温后，将药剂放置于无人机上，喷施前，根据喷施目标的位置坐标，对无人机的喷施作业路线进行规划，根据喷施目标的分布及喷施作业路线预先设定无人机上的喷施装置的喷施角度，喷施时，无人机上的飞行控制器根据规划的喷施作业路线发出飞行路线控制信号，以控制无人机飞行至喷施目标的正上空，精确定位喷施目标；无人机上的喷施控制器发出喷施角度控制信号，以控制喷施装置按照预先设定的喷施角度将调温处理的药剂喷施于喷施目标上，提高喷施的准确度。

本发明能实现在线多次实时检测，并将检测的结果反馈给无人机，无人机上的喷施控制器根据未施药区域及未施药区域面积，计算并发出新的喷施角度控制信号，以调整喷施装置的喷施角度，将调温处理的药剂喷施于未施药区域，补偿喷施偏差，实现精准喷施，避免药液浪费，提高喷施效果。

优选地，所述步骤s2中，喷施前，采用rtk载波相位差分技术对无人机的喷施作业路线进行规划。载波相位测量噪声误差小，在静态相对定位中能实现10^-6～10^-8的精度，但该方法无法对测量数据进行实时处理，这限制了其在动态定位中的应用，rtk技术是建立在实时处理两个测站的载波相位基础上的，能实时提供观测点的三维坐标，并能达到厘米级的高精度，所以，rtk技术的出现使利用载波相位差分技术实时求解观测点位置成为可能。喷施前，采用rtk载波相位差分技术获取喷施目标相对无人机的位置坐标，根据获取的位置坐标规划无人机的喷施作业路线，实现精准定位。

优选地，所述步骤s4中，在对可见光图像和红外图像进行图像配准和融合处理之前，先对红外图像进行环境干扰校正处理，消除环境因素对红外图像的干扰。无人机在飞行和喷施过程中，由于环境因素的影响，导致采集的红外图像不清晰，所以需对红外图像进行环境干扰校正处理。

进一步优选地，所述步骤s4中，环境干扰校正处理包括对红外图像采用小波变换的多尺度分解获取高频部分及低频部分，并对高频部分进行滤波处理，对低频部分进行校正处理。起伏背景下红外图像不可避免地受到人为干扰、探测器低频扫描噪声和高频探测噪声的影响，导致所获取的红外图像受到较为严重的噪声污染，同时，由于探测器距离目标较远，成像图像上目标与背景的灰度差较小，图像的信噪比较低，对目标的检测存在一定的难度，因此，需要对采集的红外图像进行必要的噪声平滑和背景杂波抑制处理。常规的噪声平滑方法主要有均值滤波法、中值滤波法和空间匹配滤波法，这些方法均能有效滤除噪声的同时也使得目标的信息受到一定程度的损失，因此，在选择噪声平滑方法时需要在消除噪声和增强目标特征两者之间进行兼顾选择，优选地，可通过对小波变换获取的高频部分进行局部重叠参考变换的中值滤波处理，消除一般噪声与运动噪声，对小波变换获取的低频部分，采用基于动态参考温度场的非均匀性校正方法，实现低频校正，有效去除环境温度对红外成像的影响。

进一步优选地，所述步骤s4中，环境干扰校正处理还包括对红外图像进行抖动补偿处理。无人机飞行过程中，红外热成像摄像装置易产生抖动而使采集的红外图像模糊，所以需对采集的红外图像进行抖动补偿处理，即采用二维傅立叶变换对模糊的红外图像进行处理，对得到的结果进行归一化和二值化变换，并结合模糊图像实际情况，采用基于radon变换的极大值(mrt)算法估算出抖动模糊的方向，最终得到清晰的红外图像。

优选地，所述步骤s4中，分别对红外图像与可见光图像进行sift特征提取，在不同的特征空间上查找关键点，利用关键点匹配得到红外图像与可见光图像的匹配点对准，从而获取每个红外局部图像与可见光图像的旋转与平移矩阵参数，然后对红外图像与可见光图像进行图像融合，对融合后的图像进行温度阈值分割，对阈值分割的像素个数进行计算，对应得到喷施目标上的施药区域总面积sc，对比st、sc，获得喷施目标上未施药区域及未施药区域面积。sift特征有如下优点：是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；多量性，即使少数的几个物体也可以产生大量的sift特征向量；因此使用sift特征进行图像配准能够保证配准精度。

优选地，所述步骤s4中，关于喷施目标的冠层轮廓的获取方式有两种方案。

第一种方案：对融合后的图像进行二值化处理，以获取喷施目标的冠层轮廓，计算出喷施目标总面积st。

第二种方案：对可见光图像进行canny边缘检测处理，以喷施目标的绿色分量为统计参考量，计算多尺度harris角点，以获取喷施目标的冠层轮廓，计算出喷施目标总面积st。通过canny边缘检测处理，精准确定可见光图像边缘的位置，再以喷施目标的绿色分量为统计分量，采用多尺度harris角点提取方法，获得喷施目标的冠层轮廓。harris角点提取方法不受摄像机姿态及光照的影响，能在较大尺度下可靠地消除误检，检测出真正的角点，准确获得喷施目标的冠层轮廓，计算出喷施目标总面积st。

优选地，步骤s5之后还包括如下步骤：无人机上的飞行控制器根据所得未施药区域及未施药区域面积，计算并发出新的飞行路线控制信号，以调整无人机的飞行路线，补偿喷施偏差。当调整喷施装置的喷施角度也无法补偿喷施偏差时，根据所得的未施药区域及未施药区域面积，采用rtk载波相位差分技术实时获取未施药区域相对无人机的位置坐标，根据获取的未施药区域的位置坐标实时规划新的喷施作业路线，无人机上的飞行控制器根据新的喷施作业路线发出新的飞行路线控制信号，实时调整无人机的飞行路线，将调温处理的药剂喷施于未喷施区域，补偿喷施误差，实现精准喷施。

与现有技术相比，本发明技术方案的有益效果是：

1.无人机上的飞行控制器根据规划的喷施作业路线控制无人机飞行至喷施目标正上空，实现精确定位；无人机的喷施控制器根据预先设定的喷施角度控制喷施装置将调温处理的药剂喷施于喷施目标上，提高喷施的准确度；喷施后，分别用机器视觉摄像装置和红外热成像摄像装置采集喷施目标的可见光图像和红外图像，经图像处理获得未施药区域及未施药区域面积，实现喷施效果的在线实现检测，并将检测结果反馈给无人机；根据获得的未施药区域及未施药区域面积，无人机实时调整喷施装置的喷施角度，实现精确喷施，避免药液浪费，提高喷施效果；

2.当调整喷施装置的喷施角度也无法补偿喷施偏差时，根据所得的未施药区域及未施药区域面积，采用rtk载波相位差分技术实时获取未施药区域相对无人机的位置坐标，根据获取的未施药区域的位置坐标实时规划新的喷施作业路线，无人机上的飞行控制器根据新的喷施作业路线发出新的飞行路线控制信号，实时调整无人机的飞行路线，将调温处理的药剂喷施于未喷施区域，补偿喷施误差，实现精准喷施。

附图说明

图1为本发明所述无人机的结构示意图；

图2为本发明所述喷施目标上的药剂分布示意图；

图3为本发明通过所述喷施角度调整以补偿喷施偏差的流程图；

图4为本发明通过所述飞行路线调整以补偿喷施偏差的流程图；

图5为本发明通过调整药剂喷施时间以补偿喷施偏差的流程图；

附图标号说明：1无人机；2喷施装置；3红外热成像摄像装置；4机器视觉摄像装置；5喷施目标；6施药区域；7未施药区域；8喷施目标总面积；9未施药区面积；10施药区域总面积；11喷施角度控制信号；12飞行路线控制信号；13喷施控制器；14飞行控制器；15喷施时间控制信号。

具体实施方式

为了更好地理解本发明，下面结合实施例进一步阐明本发明的内容，但本发明不仅仅局限于下面的实施例。

实施例1

一种植保无人机精准喷施控制方法，如图1-4所述，所述无人机1上设有机器视觉摄像装置4及红外热成像摄像装置3，包括以下步骤：

s1：对药剂进行调温处理，使药剂的温度在喷施目标5承受能力之内，并使药剂的温度与喷施目标5的温度形成温差，且该温差大于红外热成像摄像装置3的热分辨率，再将经调温处理的药剂放置于无人机1上；

s2：喷施前，对无人机1的喷施作业路线进行规划，并预先设定无人机1的喷施装置2的喷施角度；

s3：喷施时，根据规划的喷施作业路线，无人机1上的飞行控制器14发出飞行路线控制信号12，以控制无人机1飞行至喷施目标5的正上空；无人机1上的喷施控制器13发出喷施角度控制信号11，以控制喷施装置2按照预先设定的喷施角度将调温处理的药剂喷施于喷施目标5上，喷施目标5上的施药区域6与未施药区域7将形成温差；

s4：喷施过程中，机器视觉摄像装置4采集喷施目标5的可见光图像，红外热成像摄像装置3采集喷施目标5的红外图像；对可见光图像和红外图像进行图像配准和融合处理，以获取融合后的图像；对可见光图像或融合后的图像进行处理以获取喷施目标5的冠层轮廓，计算出喷施目标总面积st；对融合后的图像进行处理并分析融合后的图像上的温度场变化，判断出喷施目标5上的施药区域6，检测和计算得到施药区域总面积sc，对比st、sc以获取喷施目标5上的未施药区域7及未施药区域面积9；

s5：无人机1上的喷施控制器13根据获取的未施药区域7及未施药区域面积9，计算并发出新的喷施角度控制信号11，以调整喷施装置2的喷施角度，将调温处理的药剂喷施于未施药区域7，补偿喷施偏差。

自然界中一切温度高于绝对零度的物体都能不断地辐射红外线(即热辐射)，这类红外线是一种人眼不可见的光波，不同温度的物体发出的红外辐射强度不同，从而红外辐射波长也不同，由于施药区域6与未施药区域7存在明显的温差，则施药区域6与未施药区域7的红外辐射强度不同，发出的红外辐射波长不同，通过红外热成像摄像装置3的红外探测器能探测到施药区域6与未施药区域7的温差变化带来的红外辐射光波变化，再经热成像形成实时的热轮廓及热分布图(既红外图像)，实现喷施效果的实时监控和检测。

红外图像虽能直观得到整个喷施目标5的温度信息，但红外图像信噪比低、无彩色信息、且缺少层次感，只有喷施目标5的大致轮廓，无法对其进行详细的辨识，可见光图像的光谱信息丰富，对比度相对较高，包含丰富的细节信息，但在黑暗背景下不易观察，因此对可见光图像和红外图像进行图像配准和融合处理，融合后图像的可识别度和温度分布的清晰度得到提高，有利于图像分析。

对药剂进行调温处理，使药剂的温度与喷施目标5的温度形成温差，药剂的温度应在喷施目标5承受能力之内，以免药剂温度过高或过低而影响喷施目标5的正常生长，此外，药剂与喷施目标5的温差应大于红外热成像摄像装置3的热分辨率，避免因温差过小而使红外探测器无法探测到药剂与喷施目标5的温差，调温后，将药剂放置于无人机1上，喷施前，根据喷施目标5的位置坐标，对无人机1的喷施作业路线进行规划，根据喷施目标5的分布及喷施作业路线预先设定无人机1上的喷施装置2的喷施角度，喷施时，无人机1上的飞行控制器14根据规划的喷施作业路线发出飞行路线控制信号12，以控制无人机1飞行至喷施目标5的正上空，精确定位喷施目标5；无人机1上的喷施控制器13发出喷施角度控制信号11，以控制喷施装置2按照预先设定的喷施角度将调温处理的药剂喷施于喷施目标5上，提高喷施的准确度。

本发明能实现在线多次实时检测，并将检测的结果反馈给无人机1，无人机1上的喷施控制器13根据未施药区域7及未施药区域面积9，计算并发出新的喷施角度控制信号11，以调整喷施装置2的喷施角度，将调温处理的药剂喷施于未施药区域7，补偿喷施偏差，实现精准喷施，避免药液浪费，提高喷施效果。喷施调整过程中，喷施控制器13可采用经典的控制算法，但也不局限于的经典控制算法。以下将以经典pid控制算法为例，采用增量型pid控制算法：

u(k)＝u(k-1)+δu(k)

其中，k为当前采样周期标号，u(k)为当前的喷施控制输出量，u(k-1)为上一个采样周期的喷施控制输出量，δu(k)为当前采样周期的喷施控制输出量增量，t为采样周期，kp为比例增益，ti为积分时间常数，td为微分时间常数，kp、ti、td可以通过喷施实验获得(获得方法采用经典pid参数整定方法即可)，e(k)为当前的喷施误差，e(k-1)为上一个采样周期的喷施误差，e(k-2)为上两个采样周期的喷施误差，e(k)＝st-sc。

其中，所述步骤s2中，喷施前，采用rtk载波相位差分技术对无人机1的喷施作业路线进行规划。载波相位测量噪声误差小，在静态相对定位中能实现10^-6～10^-8的精度，但该方法无法对测量数据进行实时处理，这限制了其在动态定位中的应用，rtk技术是建立在实时处理两个测站的载波相位基础上的，能实时提供观测点的三维坐标，并能达到厘米级的高精度，所以，rtk技术的出现使利用载波相位差分技术实时求解观测点位置成为可能。喷施前，采用rtk载波相位差分技术获取喷施目标5相对无人机1的位置坐标，根据获取的位置坐标规划无人机1的喷施作业路线，实现精准定位。

其中，所述步骤s4中，在对可见光图像和红外图像进行图像配准和融合处理之前，先对红外图像进行环境干扰校正处理，消除环境因素对红外图像的干扰。无人机1在飞行和喷施过程中，由于环境因素的影响，导致采集的红外图像不清晰，所以需对红外图像进行环境干扰校正处理。

具体地，所述步骤s4中，环境干扰校正处理包括对红外图像采用小波变换的多尺度分解获取高频部分及低频部分，并对高频部分进行滤波处理，对低频部分进行校正处理。起伏背景下红外图像不可避免地受到人为干扰、探测器低频扫描噪声和高频探测噪声的影响，导致所获取的红外图像受到较为严重的噪声污染，同时，由于探测器距离目标较远，成像图像上目标与背景的灰度差较小，图像的信噪比较低，对目标的检测存在一定的难度，因此，需要对采集的红外图像进行必要的噪声平滑和背景杂波抑制处理。常规的噪声平滑方法主要有均值滤波法、中值滤波法和空间匹配滤波法，这些方法均能有效滤除噪声的同时也使得目标的信息受到一定程度的损失，因此，在选择噪声平滑方法时需要在消除噪声和增强目标特征两者之间进行兼顾选择，优选地，可通过对小波变换获取的高频部分进行局部重叠参考变换的中值滤波处理，消除一般噪声与运动噪声，对小波变换获取的低频部分，采用基于动态参考温度场的非均匀性校正方法，实现低频校正，有效去除环境温度对红外成像的影响。

具体地，所述步骤s4中，环境干扰校正处理还包括对红外图像进行抖动补偿处理。无人机1飞行过程中，红外热成像摄像装置3易产生抖动而使采集的红外图像模糊，所以需对采集的红外图像进行抖动补偿处理，即采用二维傅立叶变换对模糊的红外图像进行处理，对得到的结果进行归一化和二值化变换，并结合模糊图像实际情况，采用基于radon变换的极大值(mrt)算法估算出抖动模糊的方向，最终得到清晰的红外图像。

其中，所述步骤s4中，分别对红外图像与可见光图像进行sift特征提取，在不同的特征空间上查找关键点，利用关键点匹配得到红外图像与可见光图像的匹配点对准，从而获取每个红外局部图像与可见光图像的旋转与平移矩阵参数，然后对红外图像与可见光图像进行图像融合，对融合后的图像进行温度阈值分割，对阈值分割的像素个数进行计算，对应得到喷施目标5上的施药区域总面积sc，对比st、sc，获得喷施目标5上未施药区域7及未施药区域面积9。sift特征有如下优点：是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；多量性，即使少数的几个物体也可以产生大量的sift特征向量；因此使用sift特征进行图像配准能够保证配准精度。

其中，所述步骤s4中，关于喷施目标5的冠层轮廓的获取方式有两种方案。

第一种方案：对融合后的图像进行二值化处理，以获取喷施目标5的冠层轮廓，计算出喷施目标总面积st。

第二种方案：对可见光图像进行canny边缘检测处理，以喷施目标5的绿色分量为统计参考量，计算多尺度harris角点，以获取喷施目标5的冠层轮廓，计算出喷施目标总面积st。通过canny边缘检测处理，精准确定可见光图像边缘的位置，再以喷施目标5的绿色分量为统计分量，采用多尺度harris角点提取方法，获得喷施目标5的冠层轮廓。harris角点提取方法不受摄像机姿态及光照的影响，能在较大尺度下可靠地消除误检，检测出真正的角点，准确获得喷施目标5的冠层轮廓，计算出喷施目标总面积st。本实施例优选为采用第二种方案获取喷施目标5的冠层轮廓及喷施目标总面积st。

其中，步骤s5之后还包括如下步骤：无人机1上的飞行控制器14根据所得未施药区域7及未施药区域面积9，计算并发出新的飞行路线控制信号12，以调整无人机1的飞行路线，补偿喷施偏差。喷施调整过程中，飞行控制器14可采用经典的控制算法，但也不局限于经典的控制算法。飞行控制器14的经典控制算法与本实施例所述喷施控制器13选用的经典控制算法相似，故不再重述。

当调整喷施装置2的喷施角度也无法补偿喷施偏差时，根据所得的未施药区域7及未施药区域面积9，采用rtk载波相位差分技术实时获取未施药区域7相对无人机1的位置坐标，根据获取的未施药区域7的位置坐标实时规划新的喷施作业路线，无人机1上的飞行控制器14根据新的喷施作业路线发出新的飞行路线控制信号12，实时调整无人机1的飞行路线，将调温处理的药剂喷施于未喷施区域，补偿喷施误差，实现精准喷施。

实施例2

如图1-5所示，本实施例所述的植保无人机精准喷施控制方法包括以下步骤：

s1：对药剂进行调温处理，使药剂的温度在喷施目标5承受能力之内，并使药剂的温度与喷施目标5的温度形成温差，且该温差大于红外热成像摄像装置3的热分辨率，再将经调温处理的药剂放置于无人机1上；

s2：喷施前，测量果园中喷施目标5相对无人机1的位置坐标，根据测量的位置坐标规划无人机1的作业路线，并预先设定无人机1上的喷施装置2的喷施时间t0；

s3：喷施作业时，无人机1根据规划的作业路线飞行至喷施目标5的正上空，机器视觉摄像装置4采集喷施目标5的可见光图像；无人机1上的喷施控制器根据预先设定的喷施时间t0计算并发出喷施时间控制信号15，以控制喷施装置2将调温处理的药剂喷施于喷施目标5上，喷施目标5上的施药区域6与未施药区域7将形成温差，喷施时，红外热成像摄像装置3采集喷施目标5的红外图像；

s4：对可见光图像和红外图像进行图像配准和融合处理，以获取融合后的图像；对可见光图像或融合后的图像进行处理以获取喷施目标5的冠层轮廓，计算出喷施目标总面积8st；对融合后的图像进行处理并分析融合后的图像上的温度场变化，判断出喷施目标5的施药区域6，检测和计算得到施药区域总面积10sc，获得药剂覆盖喷施目标5的占比sc/st及未施药区域面积9，从而计算出补偿喷施时间t1；

s5：无人机1上的喷施控制器根据补偿喷施时间t1发出新的喷施时间控制信号15，以调控喷施装置2将调温处理的药剂继续喷施于喷施目标5上，补偿喷施时间。

本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。