一种智能感知施肥与农药喷洒方法与装置

1.本发明涉及农业智能感知装备技术领域，特别是设计一种智能感知施肥与农药喷洒方法与装置。


背景技术：

2.生菜在生长阶段，需要肥料补充营养及病害检测，及时进行肥料与药物喷洒。农作物追肥是促进作物生长的一种重要方式，占到总施肥量的三分之一以上。矿质元素是植物生长发育过程中必需的。一旦缺乏矿质元素，植物就会出现相应的缺素症状，从而导致减产，大大降低了生产效率。病害检测是农作物生长阶段的重中之重，若不能及时施药，将严重影响产量。生菜常见的病害有灰霉病、软腐病、腐烂病、叶枯病等；计算机视觉及深度学习技术的发展，使通过深度学习进行病害定点检测成为可能，使定点施药成为可能。
3.国家农业部颁布了“减肥减药”政策，旨在大力推进化肥减量提效，农药减量控害的道路。传统施肥定量方式为区域定量为主，不能做到根据每株作物的实际需求进行施肥。传统大面积施肥造成肥料浪费并对环境有很大危害，精确定位植株，定点施肥，对于环境的保护、肥料的节约起了不可或缺的作用。
4.现有的病害识别与含氮量预测方法主要有光谱、机器视觉和两者结合的方式。光谱检测：采集叶片光谱信息，通过光谱信息与某一元素或含氮量建立数学模型关系(某一元素为能反映病害的元素)，通过该数学模型对病害或含氮量进行预测。光谱检测速度不如机器视觉，仅检测是可以的，但在田间进行实时检测同时进行喷药施肥的速度跟不上。光谱、机器视觉结合：例如利用高光谱套件分别采集炭疽病、菌核病、白粉病的发病早期、中期和晚期以及健康状态下生菜叶片样本的高光谱信息，利用多项式平滑算法对原始光谱数据进行降噪平滑处理，采用连续投影算法对预处理后的数据进行特征波长的优选，使用一阶到三阶矩和纹理lbp算子分别提取样本图像的颜色特征和纹理特征，最后通过svr预测模型对颜色、纹理及光谱特征值数据进行训练并对预测集样本进行分类。通俗讲使用两种预测方式结合，寻找最优答案。二者结合增加了算法结构复杂程度，速度跟不上，仅检测可以实现，实时检测同时喷药施肥仍然受到速度限制。
5.因此，如何设计一种快速定位生菜坐标，通过智能感知判断需肥量及病害，并精准喷洒的方法及装置，成为本领域当前要解决的问题。


技术实现要素：

6.本发明的目的是提供一种智能感知施肥与农药喷洒方法及装置，采用该方法可使在植株追肥阶段精确定量施肥，使肥料利用率最大化，减少肥料浪费及环境污染；采用该方法可以在种植阶段监控作物健康状况，避免大面积施加农药，进行精确定点喷洒。
7.为实现上述目的，本发明提供了如下方案：
8.一种智能感知施肥与农药喷洒装置，包括：作物定位模块、作物病害及氮含量检测模块、喷洒模块和车体模块。
9.可选的，所述作物定位模块，包括暗箱33、灰度相机18、滤光片、激发led灯25、26、树莓派开发板一20、车速传感器34和电源；
10.所述车速传感器34与树莓派开发板一20相连，车速传感器34的信号用于控制灰度相机的拍摄间隔；
11.所述暗箱33由遮光布围绕而成，用来遮蔽外界光线，形成图像采集工作空间，保证采集图像时光线恒定；
12.所述激发led灯25、26布置在暗箱角落，用于激发荧光信号；
13.所述灰度相机18与树莓派开发板一20的usb端口相接，用于采集和传输图像信息；树莓派开发板一20用于进行作物坐标定位，所述滤光片安装在灰度相机18的镜头上，用于过滤背景色；
14.可选的，所述作物病害及氮含量检测模块，包括rgb相机17、树莓派开发板二21和日光led灯23、24；
15.所述树莓派开发板一20的输出串口与rgb相机17相接，rgb相机17与树莓派开发板二21的usb端口相接，rgb相机17用于接收工作时刻信号，并向树莓派开发板二21输入图像信息；树莓派开发板二21用于进行作物病害及氮含量检测；
16.所述遮光布营造暗箱环境，由日光led灯23、24进行恒光照射，减少光源变化对图像采集的影响。
17.可选的，所述喷洒模块包括：arduino单片机22、锥形喷嘴16、若干液体罐、增压泵14、高压液体管15、电机和若干电磁阀；
18.所述树莓派开发板二21的输出串口与arduino单片机22的输入串口连接，向arduino单片机22传递作物状态信息；
19.所述arduino单片机22的输出串口与电机、若干电磁阀连接，arduino单片机22控制电机转动以及若干电磁阀的开关；
20.每个液体罐均连接一个电磁阀，液体罐下端连接有高压液体管15，高压液体管15上安装有增压泵14，高压液体管15的末端连接锥形喷嘴16；每个液体罐由与其连接的电磁阀控制是否输液，输液时液体通过高压液体管15供入增压泵14；经过增压泵14后通过锥形喷嘴16喷洒到作物上，实现施肥与农药喷洒。
21.激发led灯25、26布置在车体前进方向前部的底盘横梁上；日光led灯23、24布置在车体前进方向后部的底盘横梁上，通过暗箱以及恒光光照保证图像采集的稳定。
22.可选的，所述车体模块包括：型材车架27、拖挂连接机构19、四个车轮、固定支座4和控制箱32；
23.所述控制箱32通过若干定位孔固定在型材车架27上；型材车架27通过暗箱固定支座4固定在四个车轮上方；
24.拖挂连接机构19用于与可移动农用车辆连接，使本装置在田间移动。
25.树莓派开发板一20、树莓派开发板二21和arduino单片机22布置在控制箱32内；空间布置如图3所示。
26.由遮光布围绕在型材车架27外形成暗箱33。
27.一种智能感知施肥与农药喷洒方法，利用上述智能感知施肥与农药喷洒装置，包括以下步骤：
28.s1、对植株进行作物信号标记处理；
29.s2、利用加装滤光片的灰度相机进行作物的图像数据采集，得到图像信息，对图像信息进行处理，得到作物的定位；
30.s3、采用作物病害及氮含量检测模块进行作物病害及氮含量检测；
31.s4、喷洒模块根据作物病害及氮含量检测模块的氮含量分类信号及病害信号进行施肥与喷药。
32.步骤s1中，作物预先喷洒作物信号，所述作物信号选用罗丹明b溶液，罗丹明b溶液的浓度为8ug/ml。
33.步骤s2中，图像信息的处理包括：对图像进行降噪、二值化、特征区域轮廓提取、小面积区域舍弃、特征区域中心点提取；具体如下：将图像信息输入树莓派开发板一，在树莓派开发板一中对图像进行高斯模糊处理，使用大津法对图像进行阈值分割，进而提取特征区域轮廓；对特征区域轮廓进行顶点提取并计算轮廓的像素面积，轮廓的像素面积小于5000的特征区域舍去，反之计算特征区域中心点的像素坐标，并将像素坐标系转化为相机坐标系。
34.可选的，所述阈值分割的分割阈值取20；
35.对图像进行特征提取工作时，取图像中的最小外接矩形作为特征区域，读取特征区域的顶点坐标，并确定像素坐标，具体表示为：
[0036][0037]
其中，cv、ch分别表示作物的像素横坐标和像素纵坐标；x1、x3分别表示特征区域顶点横坐标；y1、y3分别表示特征区域顶点纵坐标。
[0038]
特征区域顶点的像素坐标通过张正友标定法转化为相机坐标，特征区域顶点的相机坐标作为输出，传递给作物病害及氮含量检测模块。
[0039]
步骤s3具体如下：
[0040]
特征区域顶点的相机坐标输入到作物病害及氮含量检测模块的树莓派开发板二；所述树莓派开发板二根据车速传感器所获取到的车速信息计算rgb相机的拍摄延迟时间；公式如下：
[0041][0042]
其中，t1表示拍摄延迟时间；s2表示rgb相机与灰度相机之间的距离；t0表示快门时间；v表示车速传感器所获取到的车速信息；
[0043]
树莓派开发板二根据拍摄延迟时间控制rgb相机进行拍照，照片传回树莓派开发板二，树莓派开发板二进行病害以及氮含量的识别检测。
[0044]
以特征区域顶点的相机坐标为中心，提取图像中的roi区域，树莓派开发板二接收到roi区域后，通过训练好的m2det深度学习模型同时进行病害及氮含量检测运算，当识别到病害时树莓派开发板二传递病害信号给arduino单片机；氮含量检测后对氮含量进行分组，按照氮含量低、中、高、过量分为四类，分别对应四种信号，由树莓派开发板二传递给arduino单片机。
[0045]
所述roi区域是以相机坐标为中心，512*512像素大小的图像范围。
[0046]
所述m2det深度学习模型通过以下步骤建立：数据集准备，模型训练，模型预测，模型验证；
[0047]
所述数据集通过网络收集获得，选取病害叶片若干张，健康叶片若干张；通过图像增强，包括翻转、平移、人工添加噪点的方式进行数据集扩充。
[0048]
步骤s4具体如下：arduino单片机接收氮含量的分类信号及病害信号；根据信号分别控制相应的电磁阀工作；增压泵工作；根据喷射延迟时间(喷射延时)通过电磁阀控制液体罐进行喷射。
[0049]
电磁阀和增压泵的控制由arduino单片机22实现；氮含量低、中、高三级信号分别控制相应的电磁阀的开闭；氮含量过量时，与装有液态氮肥的液体罐相连的电磁阀全部关闭；与装有农药的液体罐相连的电磁阀的开闭由病害信号控制；通过电磁阀的开闭实现选择不同溶液进行喷洒，实现精确喷洒目标。
[0050]
车速传感器34的信号传递给arduino单片机22，arduino单片机22根据车速传感器34所传递的数据计算喷射延时；
[0051][0052]
其中，t表示喷射延时；s3表示灰度相机18与锥形喷嘴16间的纵向距离；v表示车速传感器34所获取到的车速信息。
[0053]
锥形喷嘴16由增压泵14以及电磁阀5、6、7、11控制，按照喷射延时进行作物信号溶液喷洒，实现最少溶液的单株作物喷洒。
[0054]
本发明的有益效果：本发明作物含氮量及病害检测过程中采用先定位后拍照的方式，减少检测过程中的计算时间。极大程度的提高了识别与检测的速度，从图像采集方式、定位方式、识别等多方面进行了速度上的优化，使实时检测并进行施肥和农药喷洒成为现实；同时将施肥与病害识别、喷药结合，实现多方面的作物产中管理。
附图说明
[0055]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0056]
本发明有如下附图：
[0057]
图1为本发明实例所提供的装置整体结构示意图；
[0058]
图2为本发明实例所提供的装置内部结构示意图；
[0059]
图3为本发明实例所提供的装置纵向布局示意图；
[0060]
图4为本发明实例所提供的底盘布置示意图；
[0061]
图5为本发明实例中作物定位方法流程图；
[0062]
图6为本发明实例中作物病害及含氮量检测方法流程图；
[0063]
图7为本发明实例中喷洒方法流程图；
[0064]
图8为本发明实例中重复识别调整方法原理图；
[0065]
1、8、9、13-控制箱固定孔，2、3、10、12-液体罐，4-暗箱固定支座，5、6、7、11-电磁
阀，14-增压泵，15-高压液体管，16-锥形喷嘴，17-rgb相机，18-灰度相机，19-拖挂连接机构，20-开发板一，21-树莓派开发板二，22-arduino单片机，23、24-日光led灯，25、26-激发led灯，27-型材车架，28、29、30、31-车轮，32-控制箱，33-暗箱，34-车速传感器，35-里程传感器。
具体实施方式
[0066]
为使本发明的目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0067]
一种智能感知施肥与农药喷洒方法，包括以下步骤：
[0068]
s1、对植株进行作物信号标记处理；
[0069]
作物预先喷洒了作物信号，可选的，所述作物信号选用罗丹明b溶液，罗丹明b溶液的浓度为8ug/ml。
[0070]
s2、利用加装滤光片的灰度相机进行作物的图像数据采集，得到图像信息，对图像信息进行处理，得到作物的定位；
[0071]
图像信息的处理包括：对图像进行降噪、二值化、轮廓提取、小面积区域舍弃、特征区域中心点提取；
[0072]
具体地，将图像信息输入树莓派开发板一，在树莓派开发板一中对图像进行高斯模糊处理，使用大津法对图像进行阈值分割，进而提取特征区域轮廓；对特征区域轮廓进行顶点提取并计算轮廓面积，轮廓的像素面积小于5000的特征区域舍去，反之计算特征区域中心点的像素坐标，并将像素坐标系转化为相机坐标系。
[0073]
可选的，所述阈值分割的分割阈值取20；
[0074]
对图像进行特征提取工作时，取图像中的最小外接矩形作为特征区域，读取特征区域的顶点坐标(特征区域为矩形，顶点坐标指矩形四个顶点的坐标)，并确定像素坐标，具体表示为：
[0075][0076]
其中，cv、ch分别表示作物的像素横坐标和像素纵坐标；x1、x3分别表示特征区域顶点横坐标；y1、y3分别表示特征区域顶点纵坐标。
[0077]cv
、ch是像素坐标，可以采用张正友标定法转化为相机坐标。
[0078]
特征区域顶点的像素横纵坐标通过张正友标定法转化为相机坐标，特征区域顶点的相机坐标作为输出，传递给作物病害及氮含量检测模块。
[0079]
提取出的坐标点作为树莓派开发板二21的输入信息，用于为作物病害及氮含量检测模块的rgb相机17提供拍照信号，并为下位机电机提供工作信号；
[0080]
s3、作物病害及氮含量检测，步骤如下：
[0081]
特征点相机坐标输入到作物病害及氮含量检测模块的树莓派开发板二21；所述树莓派开发板二21根据车速传感器34所获取到的车速信息计算rgb相机17的拍摄延迟时间；公式如下：
[0082]
[0083]
其中，t1表示拍摄延迟时间；s2表示rgb相机与灰度相机之间的距离；t0表示快门时间；v表示车速传感器所获取到的车速信息。
[0084]
所述方法将动态连续拍摄转化为动态定点拍摄，图像为易于分割的同一背景图像，作物位于图像中心；所述方法简化了识别过程，减少了深度学习算法预训练模型的loss值，提高了模型的准确率及稳定性，在快速识别植株病害技术层面做出了创新。
[0085]
树莓派开发板二21根据拍摄延迟时间控制rgb相机17进行拍照，照片传回树莓派开发板二21，树莓派开发板二21进行病害以及氮含量的识别检测；
[0086]
所述识别检测过程采用深度学习算法；以上述提取出的相机坐标为中心，提取图像中的roi区域，仅针对roi区域进行深度学习模型的预测；roi区域是以相机坐标为中心，512*512像素大小的图像范围。
[0087]
所述病害及氮含量的识别检测包括以下步骤：数据集准备，模型训练，模型预测，模型验证，检测使用；
[0088]
所述深度学习算法采用m2det深度学习模型，病害及施肥量的识别与检测由该模型实现；
[0089]
所述数据集通过网络收集获得，其中病害叶片11021张，健康叶片5463张；通过图像增强，包括翻转、平移、人工添加噪点等方式进行数据集扩充，最终数据集中病害叶片15000张，健康叶片9850张；
[0090]
处理过程由树莓派开发板二21完成，树莓派开发板二21接收到roi区域后通过训练好的m2det深度学习模型同时进行病害及氮含量检测运算，当识别到病害时树莓派开发板二21传递病害信号给arduino单片机22；氮含量检测后对其进行分组，按照氮含量低、中、高、过量分为四类，分别对应四种信号，由树莓派开发板二21传递给arduino单片机22；
[0091]
s4、施肥与喷药，喷洒过程包括以下步骤：arduino单片机22接收氮含量的分类信号及病害信号；根据信号分别控制电磁阀5、6、7、11工作；增压泵工作；根据喷射延迟时间(喷射延时)通过电磁阀控制液体罐进行喷射。
[0092]
电磁阀和增压泵的控制由arduino单片机22实现；氮含量低、中、高三级信号分别控制电磁阀5、6、7的开闭；过量信号时电磁阀电磁阀5、6、7关闭；病害信号控制电磁阀11的开闭；通过电磁阀的开闭实现选择不同溶液进行喷洒，实现精确喷洒目标。
[0093]
车速传感器34的信号传递给arduino单片机22，arduino单片机22根据车速传感器34所传递的数据进行计算喷射延时；
[0094][0095]
其中，t表示喷射延时；s3表示灰度相机18与锥形喷嘴16间的纵向距离；v表示车速传感器34所获取到的车速信息。
[0096]
锥形喷嘴16由增压泵14以及电磁阀5、6、7、11控制，按照喷射延时进行作物信号溶液喷洒，实现最少溶液的单株作物喷洒。
[0097]
施肥与喷药可以同时进行，但需要确定所施农药与肥料不会产生不良反应(如混合后对作物有毒等)，若有不良反应则施肥与喷药不能同时进行；若无不良反应可以同时进行。
[0098]
实施例一
[0099]
如图1-图4所示：本实例提供了一种用于生菜智能感知施肥与农药喷洒的装置；
[0100]
如图1所示，本装置整体结构主要包括控制箱32，暗箱33，车轮28、29、30、31以及拖挂连接机构19；
[0101]
具体的，本实例中控制箱32由定位孔1、8、9、13安装在型材车架27上；暗箱33通过暗箱固定支座4固定在车体上；拖挂连接机构19用于连接可移动农用车辆。
[0102]
如图2、图3所示，本装置内部主要结构包括型材车架27，液体罐2、3、10、12，电磁阀5、6、7、11，树莓派开发板一20、树莓派开发板二21，arduino单片机22，增压泵14，高压液体管15及锥形喷嘴16；液体罐2、3、10、12可以分别装载不同浓度的液态氮肥和/或农药；电磁阀5、6、7、11为分别控制四个液体罐的开闭，控制施肥浓度及农药施用时刻。
[0103]
具体的，本实例中树莓派开发板一20、树莓派开发板二21及arduino单片机22固定在控制箱中，与灰度相机18，rgb相机17，电磁阀5、6、7、11，增压泵14，车速传感器34，里程传感器35相连。
[0104]
如图4所示，本装置底盘上主要布置有灰度相机18，rgb相机17，激发led灯25、26，日光led灯23、24；
[0105]
具体的，本实例中灰度相机18与rgb相机17布置在中线底梁上；激发led灯25、26布置在车头横梁上；日光led灯23、24布置在车尾横梁上。
[0106]
实施例二
[0107]
如图5-8所示：本实例还提供了一种用于生菜的智能感知施肥与农药喷洒方法，包括以下步骤：
[0108]
步骤一：图5为作物定位的方法流程图，作物预先喷洒了罗丹明b溶液，通过灰度相机18加装滤光片获取的图像中只有作物信息，对图像进行降噪、二值化、轮廓提取、小面积区域舍弃、轮廓中心点提取一系列操作，得到作物坐标信息。如图5所示，通过灰度相机18进行图像采集，将图像信息输入树莓派开发板一20，在树莓派开发板一20中对图像进行高斯模糊处理，使用大津法对图像进行阈值分割，进而提取特征区域轮廓；对特征区域轮廓进行顶点提取并计算轮廓面积，像素面积小于5000的特征区域舍去，反之计算特征区域中心点像素坐标，并将像素坐标系转化为相机坐标系，并将特征点在相机坐标系下的坐标输入树莓派开发板二21。该方法与图6方法结合简化了算法模型，由于预先喷洒了罗丹明b溶液，使原始图像易处理，速度快。
[0109]
步骤二：图6为作物病害及含氮量检测的方法流程图，使用m2det模型对收集到的数据集进行训练，使用训练好的模型进行检测，连续识别检测速度较慢，本发明中当作物定位信息信号出现后，进行拍照检测，极大程度减少了运算量，提高速度。如图6所示，车速传感器34将数据输入到树莓派开发板二21，树莓派开发板二21计算相机拍摄延时，根据拍摄延时控制rgb相机17进行图像采集，并将采集到的图像返回至树莓派开发板二21；根据特征点的相机坐标进行特征区域提取，借助训练后的模型对特征区域进行病害识别和含氮量检测，识别出病害后输出农药喷射信号；根据含氮量水平进行分级并输出分级信号，含氮量水平小于最大阈值时输出氮肥喷射信号。
[0110]
步骤三：图7为施肥与喷药方法流程图，由作物定位信息和检测结果进行判断喷射，喷射过程由电磁阀控制液体罐的开关，增压泵增压，通过喷嘴喷射。如图7所示，车速传感器34将数据输入到arduino单片机22，计算喷嘴的喷射延时，arduino单片机22接收到农
药喷射信号后控制增压泵工作，电磁阀5打开；arduino单片机22接收到氮肥喷射信号及分级信号后控制增压泵工作，电磁阀6、7或11根据分级信号工作，实现农药及氮肥喷射。
[0111]
本实例提供了一种解决重复识别问题的方案，如图8所示；图8为作物定位过程中重复作物的处理方式，通过里程传感器得到车辆基于原点o的位置信息，将作物基于相机的坐标转换为基于定点原点的坐标，设定阈值，基于原点的坐标距离小于阈值判定为重复作物，避免二次施肥及喷药。
[0112]
在位置1时，灰度相机18识别的作物为作物1与作物2；在位置2时，灰度相机18所识别的作物为作物2与作物3；位置1处，作物1的坐标为(x4,y4,0)，作物2的坐标为(x5,y5,0)；在位置2处，作物2的坐标为(x
’5,y
’5,0)，作物3的坐标为(x6,y6,0)；
[0113]ki
＝s1+s4+xi[0114]
k1＝k
i-k
i-1
[0115]
k2＝k
i-k
i-2
[0116]
其中，s1表示里程传感器35与原点o的距离；s4表示里程传感器35与灰度相机18之间的距离；xi是作物在相机坐标系下的x轴坐标；k1与k2为判定值，设定阈值k为2，当k1》2或k2》2时判定为有效作物点；反之，判定为重复作物点。
[0117]
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的实质和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的保护范围。
[0118]
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。