一种半自动移栽机的钵苗病害监测-剔苗系统与方法与流程

一种半自动移栽机的钵苗病害监测
‑
剔苗系统与方法
技术领域
1.本发明涉及农业机器人领域，特别涉及一种半自动移栽机的钵苗病害监测
‑
剔苗系统与方法。


背景技术：

2.近年来，我国使用的栽植机械以半自动为主，在田间钵苗移栽作业中，病苗移栽后出现生长状况不良和病菌相互传播感染，进而影响产量并造成浪费。现有田间半自动移栽机钵苗检测技术，多数以在苗杯中加装光电、电磁等通断式传感反馈装置为主，通过通断信号触发反馈苗杯中钵苗有无和计数功能，但其检测指标单一，无法实现对病害苗诊断；目前所提出在落苗点处苗杯正上方加装高速摄像头俯视获取钵苗图像信息，检测钵苗的有无和叶片展幅，则存在投苗作业的空间干涉和视场遮挡突出问题，更无法由俯视实现苗杯内种苗的完整测量和病斑检测。由于田间半自动移栽作业速度快、频率高，农户无法对钵苗质量进行逐株检查，因此急需一种高效智能的钵苗信息检测系统，以保证移栽质量。


技术实现要素：

3.针对现有技术中存在不足，本发明提供了一种半自动移栽机的钵苗病害监测
‑
剔苗系统与方法，有效解决田间移栽作业中钵苗健康信息有效检测和病苗误栽等关键问题。
4.本发明是通过以下技术手段实现上述技术目的的。
5.一种半自动移栽机的钵苗病害监测
‑
剔苗系统，包括钵苗全景信息平视获取装置和轻简收放式坏苗剔除装置；
6.所述钵苗全景信息平视获取装置包括激光对射传感器和rgb
‑
d相机，激光对射传感器对称安装在漏斗内侧，rgb
‑
d相机设置在导苗管一侧，且rgb
‑
d相机正对的导苗管上设置开口ⅱ；
7.导苗管另一侧倾斜固定轻简收放式坏苗剔除装置，所述轻简收放式坏苗剔除装置包括依次连接的驱动装置、伸缩杆和双侧边剔苗板，驱动装置还与直流电机相连，双侧边剔苗板底部固定压力传感器；轻简收放式坏苗剔除装置末端正对开口ⅰ，开口ⅰ设置在导苗管上，且开口ⅰ的高度低于开口ⅱ；
8.所述激光对射传感器、rgb
‑
d相机、直流电机和压力传感器均与控制器进行信号传输。
9.上述技术方案中，所述开口ⅰ和开口ⅱ均为方形且尺寸相同，开口的高开口的宽其中h
m
为适栽期钵苗统计的最大高度，d为导苗管直径，s1为rgb
‑
d相机与导苗管竖直中心线的水平距离。
10.上述技术方案中，所述钵苗全景信息平视获取装置还包括与控制器进行信号传输的补光灯，补光灯倾斜向下固定在导苗管内壁。
11.上述技术方案中，所述rgb
‑
d相机固定在l形相机支架末端，l形相机支架固定在导
苗管一侧。
12.一种半自动移栽机的钵苗病害监测
‑
剔苗方法，包括下落钵苗rgb
‑
d图像全景动态捕获方法、钵苗病害复合检测方法和病苗下落途中剔除方法；
13.所述下落钵苗rgb
‑
d图像全景动态捕获方法，具体为：
14.1)完全张开的杯底盖在下落过程中阻断激光对射传感器光束，触发控制器的视场扫描倒计时信号，控制器开始同步计时间隔时间t1和t2，同时钵苗开始自由下落；
15.2)间隔时间t1后，补光灯进行单次管内补光作业；
16.3)间隔时间t2后，rgb
‑
d相机进行单次钵苗视场扫描作业，rgb
‑
d相机以设定的竖直视角[0，β]和水平视角[
‑
α，+α]进行钵苗图像抓取，获得钵苗全景三维深度点云集a和二维rgb图像b；
[0017]
所述钵苗病害复合检测方法包括病害模型训练子方法和rgb图像病害区域定位识别子方法；
[0018]
1)病害模型训练子方法
[0019]
①
构建番茄、黄瓜适栽期钵苗的茎
‑
叶部位高发病害为训练库；
[0020]
②
对番茄、黄瓜的茎
‑
叶部位高发病害图片数据集按苗株种类、病害部位和病害类型进行多层特征的人工标记并制成训练集；
[0021]
③
将训练集里的苗株种类归为高层特征、病害部位归为中层特征、病害类型归为低层特征，将训练集按高
‑
中
‑
低顺序依次植入深度学习训练网络进行逐层训练；
[0022]
④
对钵苗种类、病害部位和病害种类逐层训练得到的高
‑
中
‑
低特征参数进行加权融合，得到钵苗种类
‑
发生部位
‑
病害种类融合特征的多层分类线性图像固化模板；
[0023]
2)rgb图像病害区域定位识别子方法
[0024]
①
将所述二维rgb图像b进行预处理，得到病害
‑
健康部位特征加强的二维rgb图像b2；
[0025]
②
将所述图像b2自动输入多层分类线性图像固化模板中的钵苗种类图像分类模板进行逐一比对，确定钵苗种类；
[0026]
③
根据钵苗种类，自动调用该类钵苗病害部位的图像分类模板，并通过茎
‑
叶分割点将图像b2自主分割成茎秆部位图像b3和叶片部位图像b4；将所述图像b3、b4自动输入多层分类线性图像固化模板中的病害部位分类模板进行自动比对，定位病害发生部位；
[0027]
④
根据病害定位结果，自动调用该类钵苗对应部位的病害种类图像分类模板；对病害区域进行自处理，茎秆病害部位裁剪放大得到二维图像b5，叶片部位裁剪放大得到二维图像b6；将所述图像b5或b6自动输入多层分类线性图像固化模板的病害种类分类模板进行逐一比对，确定病害种类；
[0028]
所述病苗下落途中剔除方法，具体为：
[0029]
通过茎
‑
叶分割点，将钵苗全景三维深度点云集a(α，β，d(α，β))分割为只含钵苗叶片深度点云集a1(α1，β1，d1(α1，β1))和只含钵苗(16)茎秆深度点云集a2(α2，β2，d2(α2，β2))；若病害部位检测为叶片，自动调用叶片的深度点云集a1；若病害部位检测为茎秆，自动调用茎秆的深度点云集a2；若叶片、茎秆均检测出病害，叶片的深度点云集a1和茎秆的深度点云集a2全部自动调用。
[0030]
进一步，所述病苗下落途中剔除方法根据病害部位分为单部位病害程度诊断和多
部位病害程度诊断。
[0031]
进一步，所述单部位病害程度诊断，具体为：
[0032]
茎秆：二维图像b5坐标自动对齐到深度点云集a1中，计算茎秆病害区域在茎秆部位点云占比若n1≥10％，判定茎秆病害严重，激活剔苗信号；其中d
a11
为茎秆病害发生区域点云数据量，d
a1
为茎秆整体部位深度点云数据量；
[0033]
叶片：二维图像b6坐标自动对齐到深度点云集a2中，计算叶片病害区域在叶片部位点云占比若n2≥15％，判定叶片病害严重，激活剔苗信号；其中d
a22
为叶片病害发生区域点云数据量，d
a2
为叶片整体部位深度点云数据量；
[0034]
控制器由激活剔苗信号控制轻简收放式坏苗剔除装置，实现病苗的剔除。
[0035]
更进一步，所述多部位病害程度诊断，具体为：所述二维图像b5和b6坐标自动对齐到深度点云集a1和a2中，分别计算各病害区域在各部位点云占比，任一处点云占比大于设定值，则激活剔苗信号；控制器由激活剔苗信号控制轻简收放式坏苗剔除装置，实现病苗的剔除。
[0036]
进一步，所述间隔时间所述间隔时间其中l2为苗杯底部到导苗管入口的竖直距离，l3为rgb
‑
d相机到导苗管入口的竖直距离，g为自由落体重力加速度，δt为设定的补光和扫描作业时间差。
[0037]
进一步，所述竖直视角所述水平视角其中h
m
为适栽期钵苗统计的最大高度，d为导苗管直径，s1为rgb
‑
d相机与导苗管竖直中心线的水平距离。
[0038]
本发明的有益效果为：本发明首先通过rgb
‑
d相机对下落钵苗全景信息的动态进行可靠捕获，钵苗病害复合检测过程中，由多部位
‑
多病害复杂特征的逐层深度学习训练，进而由钵苗rgb图像向多层分类线性图像固化模板的自输入和逐层比对，准确定位识别病害区域，实现钵苗自由下落途中病苗的精准快速诊断和剔除。本发明有效解决田间钵苗的半自动移栽作业病苗栽植后导致的病害传播感染和移栽低质量的突出问题，有效提高田间半自动移栽机的智能化作业水平。
附图说明
[0039]
图1为本发明钵苗全景信息平视获取装置结构示意图；
[0040]
图2为本发明轻简收放式坏苗剔除装置结构示意图；
[0041]
图3为本发明导苗管管壁双开口结构示意图；
[0042]
图4为本发明rgb
‑
d相机竖直视场压缩示意图；
[0043]
图5为本发明rgb
‑
d相机水平视场压缩示意图；
[0044]
图中，1.苗杯，2.杯底盖，3.激光对射传感器，4.漏斗，5.导苗管，6.开口ⅰ，7.l形相机支架，8.rgb
‑
d相机，9.开口ⅱ，10.补光灯，11.直流电机，12.驱动装置，13.伸缩杆，14.压力传感器，15.双侧边剔苗板，16.钵苗。
具体实施方式
[0045]
下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。
[0046]
一种半自动移栽机的钵苗病害监测
‑
剔苗系统，包括钵苗全景信息平视获取装置、轻简收放式坏苗剔除装置和导苗管管壁双开口结构。
[0047]
如图1所示，钵苗全景信息平视获取装置包括激光对射传感器3、l形相机支架7、rgb
‑
d相机8和补光灯10；激光对射传感器3对称安装在漏斗4内侧，且激光对射传感器3距离苗杯1的最近竖直距离为l1；l形相机支架7固定在导苗管5右侧，且l形相机支架7距离导苗管5竖直中心线的距离为s3；rgb
‑
d相机8固定在l形相机支架7末端，rgb
‑
d相机8的水平视角沿导苗管5竖直中心线对称，且rgb
‑
d相机8与导苗管5竖直中心线的水平距离为s1；开口ⅱ9位于导苗管5入口右下方；补光灯10以角度θ1斜向左下方固定于导苗管5右方内壁，且补光灯10位于开口ⅱ9上部；本实施例中l1＝10cm、s1＝20cm、s3＝25cm。rgb
‑
d相机8经开口ⅱ9拍取钵苗16全景的深度
‑
颜色信息。漏斗4设置在导苗管5上端。
[0048]
如图1、2、3所示，轻简收放式坏苗剔除装置包括直流电机11、驱动装置12、伸缩杆13、压力传感器14和双侧边剔苗板15；驱动装置12一端与伸缩杆13一端相连，另一端与直流电机11相连，双侧边剔苗板15水平安装在伸缩杆13另一端上方，压力传感器14固定于双侧边剔苗板15底部，开口ⅰ6位于导苗管5下方管壁左侧，且开口ⅰ6的高度低于开口ⅱ9；轻简收放式坏苗剔除装置斜向右上方固定于导苗管5左侧的底板上，轻简收放式坏苗剔除装置与导苗管5竖直中心线的距离为s2，且轻简收放式坏苗剔除装置末端正对开口ⅰ6；本实施例中s2＝13cm。
[0049]
如图3所示，开口ⅰ6和开口ⅱ9组成导苗管管壁双开口结构，开口ⅰ6和开口ⅱ9均为方形且尺寸相同，开口的高(h)和宽(w)分别为：
[0050][0051]
式中：h
m
为适栽期钵苗统计的最大高度，d为导苗管直径，本实施例中h
m
＝12cm、d＝15cm。
[0052]
激光对射传感器3、rgb
‑
d相机8、补光灯10、直流电机11和压力传感器14均与控制器进行信号传输。
[0053]
一种半自动移栽机的钵苗病害监测
‑
剔苗方法，包括下落钵苗rgb
‑
d图像全景动态捕获方法、钵苗病害复合检测方法和病苗下落途中剔除方法。
[0054]
(1)如图4、5所示，下落钵苗rgb
‑
d图像全景动态捕获方法，具体如下：
[0055]
步骤一，苗杯1旋转至漏斗4中心正上方，苗杯1底部杯底盖2经重力作用自动张开，完全张开的杯底盖2在下落过程中阻断激光对射传感器3光束，从而触发控制器的视场扫描倒计时信号，控制器开始同步计时t1和t2，同时钵苗16开始自由下落；
[0056]
步骤二，间隔时间t1后补光灯10在控制器的控制下进行单次管内补光作业，补光作业结束后，补光灯10置为休眠状态并等待下次触发；其中时间t1为：
[0057][0058]
式中l2为苗杯1底部到导苗管5入口的竖直距离，l3为rgb
‑
d相机8到导苗管5入口的
竖直距离，g为自由落体重力加速度，δt为设定的补光和扫描作业时间差，本实施例中l2＝20cm、l3＝30cm、g＝9.8m/s2、δt＝0.05；
[0059]
步骤三，间隔时间t2后，rgb
‑
d相机8在控制器的控制下进行单次钵苗视场扫描作业，扫描作业结束后，rgb
‑
d相机8置为休眠状态并等待下次触发；其中时间t2为：
[0060][0061]
同时，在视场扫描作业时，rgb
‑
d相机8以控制器设定的竖直视角[0，β]和水平视角[
‑
α，+α]进行钵苗16图像抓取；其中竖直视角β和水平视角α分别为：
[0062][0063]
步骤四，rgb
‑
d相机8获得钵苗16全景三维深度点云集a和二维rgb图像b。
[0064]
(2)钵苗病害复合检测方法，包括病害模型训练子方法和rgb图像病害区域定位识别子方法；
[0065]
病害模型训练子方法，具体为：
[0066]
步骤一，构建番茄、黄瓜适栽期钵苗的茎
‑
叶部位高发病害为训练库，如表1所示：
[0067]
表1番茄、黄瓜适栽期钵苗的茎
‑
叶部位高发病害训练库
[0068][0069]
步骤二，对番茄、黄瓜的茎
‑
叶部位高发病害图片数据集(提前获取)按苗株种类、病害部位和病害类型进行多层特征的人工标记并制成训练集；
[0070]
骤三，将训练集里的苗株种类归为高层特征、病害部位归为中层特征、病害类型归为低层特征；并利用开源的resnet50网络和pytorch开源模型算法，将训练集按高
‑
中
‑
低顺序依次植入深度学习训练网络进行逐层训练；
[0071]
步骤四，对钵苗种类、病害部位和病害种类逐层训练得到的高
‑
中
‑
低特征参数，通过svm分类进行加权融合，得到钵苗种类
‑
发生部位
‑
病害种类融合特征的多层分类线性图像固化模板，多层分类线性图像固化模板包括钵苗种类图像分类模板、发生部位图像分类模板和病害种类图像分类模板。
[0072]
rgb图像病害区域定位识别子方法，具体为：
[0073]
步骤一，将钵苗全景二维rgb图像b在控制器进行预处理，得到病害
‑
健康部位特征加强的二维rgb图像b2；
[0074]
步骤二，将图像b2自动输入多层分类线性图像固化模板中的钵苗种类(高层特征)图像分类模板进行逐一比对，图像b2与该层相似度最高的模板类别即为该钵苗种类；
[0075]
步骤三，根据钵苗种类结果，控制器自动调用该类钵苗病害部位(中层特征)的图
像分类模板，并通过茎
‑
叶分割点将图像b2自主分割成茎秆部位图像b3和叶片部位图像b4；将图像b3、b4自动输入多层分类线性图像固化模板中的病害部位(中层特征)分类模板进行自动比对，定位病害发生部位；
[0076]
步骤四，根据步骤三病害定位结果，自动调用此类钵苗对应部位的病害种类(低层特征)图像分类模板；对病害区域进行自处理，茎秆病害部位裁剪放大得到图像b5，叶片部位裁剪放大得到图像b6；将图像b5或b6自动输入多层分类线性图像固化模板的病害种类(低层特征)分类模板进行逐一比对，相似度最高的类别即为该病害种类。
[0077]
(3)病苗下落途中剔除方法为：通过茎
‑
叶分割点，将钵苗16全景深度点云集a(α，β，d(α，β))分割为只含钵苗16叶片深度点云集a1(α1，β1，d1(α1，β1))和只含钵苗16茎秆深度点云集a2(α2，β2，d2(α2，β2))；
[0078]
若病害部位检测为叶片，自动调用叶片的深度点云集a1(α1，β1，d1(α1，β1))；若病害部位检测为茎秆，自动调用茎秆的深度点云集a2(α2，β2，d2(α2，β2))；若叶片、茎秆均检测出病害，叶片的深度点云集a1(α1，β1，d1(α1，β1))和茎秆的深度点云集a2(α2，β2，d2(α2，β2))全部自动调用；
[0079]
1)单部位病害程度诊断
[0080]
茎秆：二维图像b5坐标自动对齐到深度点云集a1(α1，β1，d1(α1，β1))中，计算：
[0081][0082]
式中n1为茎秆病害区域在茎秆部位点云占比，d
a11
为茎秆病害发生区域点云数据量，d
a1
为茎秆整体部位深度点云数据量；若n1≥10％，判定茎秆病害严重，激活剔苗信号；
[0083]
叶片：二维图像b6坐标自动对齐到深度点云集a2(α2，β2，d2(α2，β2))中，计算：
[0084][0085]
式中n2为叶片病害区域在叶片部位点云占比，d
a22
为叶片病害发生区域点云数据量，d
a2
为叶片整体部位深度点云数据量；若n2≥15％，判定叶片病害严重，激活剔苗信号；
[0086]
2)多部位病害程度诊断
[0087]
二维图像b5和b6坐标自动对齐到深度点云集a1和a2中，分别计算各病害和各部位区域点云占比，任一处占比值大于设定值，激活剔苗信号。
[0088]
控制器由激活剔苗信号，立即驱动直流电机11正转，使伸缩杆13经开口ⅰ6进入导苗管5的内部，控制器检测到压力传感器14有重量数据变化时，立即发送直流电机11反转信号，使伸缩杆13收回，从而将病苗有效带出导苗管5，完成剔除。
[0089]
在本发明的描述中，需要理解的是，术语“左”、“右”、“竖直”、“水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0090]
所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。