一种气振式精密播种机吸种盘卡种检测和清种处理方法及系统、装置

本发明属于农业精密播种技术和深度学习领域，具体是涉及到一种气振式精密播种机吸种盘卡种检测和清种处理方法及系统、装置。

背景技术：

1、播种在农业生产过程中，处于非常重要的地位，随着现代农业的高速发展，对播种的质量与效率的要求也越来越高。气振式精密播种机具有播种精度高、不易伤种、受种子形状影响小等优点，且能够满足对超级杂交稻2±1粒/穴精密育秧播种的技术要求，被广泛应用在精量播种领域，是生产率较高的精密播种装置。气振式精密播种机在播种工作过程中，由于连续播种或者吸附带有毛刺的水稻籽粒，会出现吸种盘盘面吸孔堵塞现象，若不及时检测，“卡种”现象会造成连续播种过程中空穴率上升，播种合格率下降。

2、目前气振式精密播种机吸种盘“卡种”主要依靠人工进行检测，工人通过人眼观察吸种盘盘面是否堵塞水稻籽粒，该方法效率低且人工检测时间越长，工人的视觉疲劳会导致检测准确率下降。另外图像处理技术已经被应用于卡种检测，相关研究人员通常采用传统的机器视觉方法，但检测时间过长，无法满足实时检测的需求。

3、近年来，随着深度学习的发展，使用深度学习检测方法可以很大程度上提高吸种盘卡种检测效率和准确率，所以本发明提出了一种气振式精密播种机吸种盘卡种检测和清种处理方法及系统。

技术实现思路

1、针对现有技术中存在的不足，本发明的提出一种气振式精密播种机吸种盘卡种检测和清种处理方法及系统，以提升检测的效率和准确率，进一步提升农业自动化、机械化。

2、注意，这些目的的记载并不妨碍其他目的的存在。本发明的一个方式并不需要实现上述所有目的。可以从说明书、附图、权利要求书的记载中抽取上述目的以外的目的本发明是通过以下技术手段实现上述技术目的的。

3、一种气振式精密播种机吸种盘卡种检测和清种处理方法，包含以下步骤：

4、步骤s1、图像采集：采集气振式精密播种机吸种盘卡种图像，获取吸种盘卡种图像集；

5、步骤s2、图像预处理：对吸种盘卡种图像进行滤波、去噪、畸变矫正、图像均衡化处理；

6、步骤s3、卡种图像数据集制作：使用开源标注工具labelimg对所述步骤s2预处理后的卡种图像进行标注，制作吸种盘卡种图像数据集；

7、步骤s4、网络模型构建与训练：构建吸种盘卡种检测网络模型，将步骤s3制作的吸种盘卡种图像数据集输入构建的网络模型进行训练与测试，得到训练好的吸种盘卡种检测网络模型；

8、步骤s5、图像在线检测：将步骤s4训练好的吸种盘卡种检测网络模型部署到工控机上，实时检测吸种盘卡种图像，若发现吸种盘存在卡种，工控机发出指令通过清种装置对吸种盘进行清种；

9、步骤s6、清种：步骤s5发出指令后，位于振动种盘与流水线之间的清种毛刷对吸种盘表面进行平扫，达到清理吸孔卡种的作用。

10、上述方案中，所述步骤s1中在气振式精密播种流水线上利用工业相机配合光源采集吸种盘卡种图像。

11、上述方案中，所述步骤s3中标注的是使用矩形边界框框选卡住的水稻籽粒，并打上标签。

12、上述方案中，所述步骤s4中吸种盘卡种检测网络模型为改进的yolov5目标检测网络模型；网络结构设计如下：

13、网络结构主要包含backbone、neck及head三部分，backbone作为主干特征提取网络，对图像进行特征提取，将输入图像转化为多层特征图，backbone中的主要结构有conv模块、c3模块、sppf模块。neck主要结构为panet，包含conv模块、c3模块、上采样模块、c3_2_ca模块等。在neck部分，添加小目标检测层，提高算法对吸孔上的水稻籽粒这种小目标的检测精度。在输入图像尺寸为640×640时，在目标检测网络的17层后，添加卷积和上采样操作，在第20层将尺寸为160×160的特征图与backbone网络中的第3层输出特征图进行拼接，输入到小目标检测层。在检测头部分下采样添加4倍下采样层，增加到四尺度检测，提高对水稻籽粒小目标检测精度。

14、另外，在yolov5目标检测neck网络c3模块中的bottleneck第2个卷积后引入坐标注意力模块，即ca模块，分为两个步骤：坐标信息嵌入和坐标注意力生成。坐标信息嵌入是将全局池化换成两个一维向量的编码操作，对于输入x，首先使用尺寸为(h,1)和(1，w)的池化核沿着水平和竖直坐标方向对每个通道进行编码，高度为h和宽度为w的第c个通道特征输出分别为：

15、

16、

17、其中，为在高度上第c通道的特征输出；为在宽度上第c通道的特征输出；h为特征图高；w为特征图宽；xc为第c通道的输入；

18、坐标注意力生成过程如下：首先，将宽度和高度特征图进行拼接得到特征层[c，1，h+w]，使用卷积、标准化和非线性激活函数进行特征转化。再次分成两个特征层[c，h，1]和[c，1，w]，利用2个1x1卷积和sigmoid函数得到高度和宽度上的注意力权重，最后将输入特征他与权重进行乘法加权操作，得到坐标注意力模块的输出。

19、head部分，把yolov5目标检测网络中的损失函数ciouloss替换为focal_eiouloss，提高收敛速度，损失函数为：

20、lfocal-eiou＝iouγleiou

21、其中：

22、

23、式中，式中，iou(a，b)表示预测框和目标框的交并比；wc表示预测框和目标框最小外接矩形的宽；hc表示预测框和目标框最小外接矩形的高；b表示预测框中心点的坐标；bgt表示目标框中心点的坐标；ρ(b，bgt)表示预测框中心点与目标框中心点的欧氏距离；h表示预测框高度；hgt表示目标框高度；w表示预测框宽度；wgt表示目标框宽度；ρ(h，hgt)表示预测框与目标框的高度的差值；ρ(w，wgt)表示预测框与目标框的宽度的差值；γ表示用于控制曲线弧度的超参，取值为0.5；

24、一种实现所述气振式精密播种机吸种盘卡种检测和清种处理方法的系统，包括图像采集模块、图像预处理模块、数据集制作模块、网络模型构建与训练模块、吸种盘卡种在线检测模块和清种模块；

25、所述图像采集模块用于采集吸种盘卡种图像，获取吸种盘卡种图像集；

26、所述图像预处理模块用于对采集的吸种盘卡种图像进行滤波、去噪、畸变矫正、图像均衡化处理；

27、所述图像数据集制作模块用于使用开源标注工具labelimg对预处理后的卡种图像进行标注，制作吸种盘卡种图像数据集；

28、所述网络模型构建与训练模块用于构建吸种盘卡种检测网络模型，将吸种盘卡种图像数据集输入构建的网络模型进行训练与测试，得到训练好的吸种盘卡种检测网络模型；

29、所述吸种盘卡种在线检测模块用于将训练好的吸种盘卡种检测网络模型部署到工控机上，实时检测吸种盘卡种图像，并通过吸种盘卡种检测网络模型检测是否卡种，若发现吸种盘存在卡种，工控机发出指令通过清种装置对吸种盘进行清种。

30、所述清种模块用于对吸种盘表面的卡种进行清理，位于振动种盘与流水线之间的清种毛刷对吸种盘表面进行平扫，达到清理吸孔卡种的作用。

31、上述方案中，所述图像采集模块包括工业相机和光源；所述工业相机配合光源采集气振式精密播种机上吸种盘卡种图像；工业相机与光电传感器连接，用于控制工业相机拍照。

32、本发明的有益效果：

33、1、通过深度学习领域中的目标检测算法，准确快速地识别出吸种盘表面卡种的情况，用于进行流水线的清种工作，以提升吸种盘卡种检测的效率和准确率。

34、2、采用工业相机配光源，可以清晰地观察到吸种盘表面是否卡种。

35、3、增加小目标检测层，提高了对吸孔上卡住的水稻籽粒小目标的检测精度。

36、4、在yolov5目标检测neck网络c3模块中的bottleneck第2个卷积后引入坐标注意力模块，降低无用背景的干扰；引入focal_eiou loss，加快模型的收敛速度。

37、5、对气振式精密播种机吸种盘卡种检测的平均精确度map@0.5为96.8％。