一种基于棉花顶叶成熟期分类识别的化学打顶方法与流程

1.本发明涉及农业领域，具体涉及一种基于棉花顶叶成熟期分类识别的化学打顶方法。


背景技术：

2.棉花具有无限生长的习性，所以需要对棉花进行打顶，消除棉花的顶端生长优势。棉花打顶作为棉花整个生长周期的重要环节之一，对棉花的产量起着重要作用。棉花打顶能够调节植株内部营养物质的运输方向，使更多的养分供给生殖器官，减少水肥的多余耗损，促进棉株早结铃、多结铃。棉花打顶时要摘掉顶部的一心一叶。
3.当前，在使用机械的方法进行棉花打顶作业中发现，作业人员往往不会站在农机农艺融合的角度去开展棉花打顶作业。比如，作业人员在使用机械设备进行对棉花打顶时，往往并不考虑实际环境下棉花植株的生长形态，并且机械化打顶现在存在着准确率低、漏刀、过切等现象，严重影响棉花的产量。而国内不同棉花种植区域如新疆、山东等地多仍采用人工打顶、化学打顶。其中，人工打顶其最大的弊端是劳动强度大、时间久、劳务费成本高；而劳动力缺乏、生产率低，最终影响了棉花产量。其次作业人员在打顶过程中易导致蕾铃脱落和病虫害的传播。化学打顶是通过使用打顶剂喷洒到植株上，打顶剂具有强烈的抑制作用，若使用不恰当，则会抑制整个棉株的生发发育。在使用打顶剂前，没有进行定点，定量喷洒，将会导致化学药剂危害土壤，而良好的土壤则是棉花植株生产生长的前提，不恰当地使用化学药品，容易造成土地污染，影响下一茬作物。因此，在棉花打顶过程中需要将顶叶分类识别系统与棉花打顶操作进行协同对应，进而实现农机农艺融合基础上的精准、省药、绿色作业。


技术实现要素：

4.本发明的目的在于克服现有技术的不足，提供一种基于棉花顶叶成熟期分类识别的化学打顶方法，所述化学打顶方法可以将棉花顶叶成熟期分类识别系统与现有的打顶模式进行协同对应，进而实现对顶芽的精准识别并进行机械或者化学打顶过程中农机农艺融合基础上的精准、省药、绿色作业。
5.本发明解决上述技术问题的技术方案是：
6.一种基于棉花顶叶成熟期分类识别的化学打顶方法，包括以下步骤：
7.s1、根据作业地块上的棉花实际生长情况来采集不同成熟期的棉花顶叶图像，包括拍摄不同时间段的棉花顶叶图像、拍摄不同光照角度的棉花顶叶图像以及拍摄包含不同顶叶类型的棉花顶叶图像；
8.s2、将拍摄得到的棉花顶叶图像进行扩充，并将扩充后的棉花顶叶图像按照8:1:1的比例划分训练集、验证集和测试集，并利用labelimg工具进行人工标注并生成xml类型文件，然后将生成的xml类型文件按照pascalvoc数据集的格式进行保存；
9.s3、训练基于不同成熟期棉花顶叶分类识别模型，所述的基于不同成熟期棉花顶
叶分类识别模型采用yolov4神经网络模型，并在yolov4神经网络模型的基础上做以下改进：
10.s3.1、以cspdarknet53为主干特征提取网络对不同成熟期的棉花顶叶目标进行特征提取，经过残差模块的五次卷积下采样，实现对输入信息的特征提取与筛选，共输出三个不同尺度特征到下一阶段；
11.s3.2、颈部部分使用spatial pyramid pooling(空间金字塔池化)模块和path aggregation network(路径聚合网络)特征金字塔网络，利用spatialpyramid pooling(空间金字塔池化)模块的1
×
1，3
×
3，5
×
5，13
×
13四种不同尺度的池化核对最后一个特征图层进行最大池化处理；通过path aggregation network(路径聚合网络)模块进行反复的上采样和下采样操作，以实现对特征图信息的融合；
12.s3.3、在head模块中，引入decoupled head(解耦头)模块，对最终的特征信息再次进行处理，得到预测框信息以及置信度；
13.s3.4、在yolov4神经网络模型中引入了anchor free方法，利用标签分配的方法将预测框信息分为3个不同尺度的先验框，从中不断筛选出与真实框最接近的正样本先验框，用于最终预测；在筛选过程中，对正样本先验框的信息进行提取，使用simota方法进行动态的正样本数量分配，通过计算真实框与正样本先验框的重合程度以及种类预测准确度数据，筛选出最终的正样本先验框，并作为预测结果输出；
14.s4、在棉花打顶机对棉花进行打顶过程中，通过相机模块采集棉花顶叶图像，然后将采集到的数据图像输入不同成熟期棉花顶叶分类识别打顶系统的主控制模块中，所述主控制模块通过所述的基于不同成熟期棉花顶叶分类识别模型对该棉花顶叶图像进行分析处理，输出分类识别结果，所述主控制模块以此控制棉花打顶机对棉花进行精准打顶。
15.优选的，在步骤s2中，利用数据增强方法对原始图像进行颜色增强、亮度增强、旋转、随机饱和度对比度锐度、翻转5种方式进行数据扩充，其中，利用颜色增强、亮度增强、随机饱和度对比度锐度来模拟随着田间光照强度及角度变化导致拍摄的棉花顶叶图像所呈现的不同效果，而利用翻转和旋转来模拟相机所拍摄的不同视角。
16.优选的，在步骤s4中，通过采用在线部署方式对训练好的基于不同成熟期棉花顶叶分类识别模型进行部署，实现对棉花顶叶进行在线实时识别。
17.优选的，在步骤s4中，所述的棉花打顶机包括高地隙车、设置在高地隙车上的相机模块、打顶模块以及主控制模块，其中，所述打顶模块采用喷射打顶剂的方式实现对棉花顶叶进行打顶；所述相机模块用于采集棉花顶叶图像，并将采集到的顶叶图像传输给主控制模块，所述主控制模块上搭载所述的基于不同成熟期棉花顶叶分类识别模型，通过基于不同成熟期棉花顶叶分类识别模型对采集到棉花顶叶图像进行分析处理，得到需要打顶的棉花顶叶的位置信息，接着通过控制打顶模块对该棉花顶叶喷洒打顶剂。
18.优选的，所述相机模块与所述打顶模块呈水平直线设置，且两组之间的间距为0.05m，其中，沿着所述高地隙车的运动方向，所述相机模块位于所述打顶模块的前方。
19.优选的，所述高地隙车的运动速度为0.1m/s。
20.优选的，在步骤(1)中，拍摄的棉花顶叶图像包括单独的成熟顶叶、未成熟的顶叶、成熟顶叶与未成熟顶叶组合、成熟顶叶与成熟顶叶组合，未成熟顶叶与未成熟顶叶组合。
21.优选的，所述主控制模块为单片机。
22.优选的，所述相机模块为索尼hdr-cx900e全高清摄像机。
23.本发明与现有技术相比具有以下的有益效果：
24.1、本发明的基于棉花顶叶成熟期分类识别的打顶方法从技术角度达到基于不同成熟期棉花顶叶分类识别进行打顶的目的，为智能棉花精确打顶提供了基础，有效地提高了棉花打顶的效率，满足了种植户不想因为使用棉花打顶药液过多地喷在除顶芽外的其他部位造成药液浪费和土壤污染的现实需求，实现了精准、省药、绿色作业。
25.2、本发明的基于棉花顶叶成熟期分类识别的打顶方法降低了工人的劳动强度，提高了工作效率，降低了棉花打顶成本，有效地提高了棉花的产量。
26.3、本发明的基于棉花顶叶成熟期分类识别的打顶方法在改进yolov4神经网络模型的检测有效性方面，利用yolov4神经网络模块与改进后的神经网络模型进行对比试验，结果发现改进的神经网络模型在不同成熟期顶芽的检测方面性能表现好、更均衡，且检测性能更好，表现更优秀。
附图说明
27.图1是本发明的基于棉花顶叶成熟期分类识别的化学打顶方法的实施流程框图。
28.图2是不同成熟期棉花顶叶分类识别打顶控制系统的流程图。
29.图3是棉花打顶机的工作示意图。
30.图中：1、棉株 2、相机模块 3、打顶模块
具体实施方式
31.下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
32.在检测前，需要定义不同成熟期棉花的顶叶其中，对成熟期棉花顶叶的大小进行定义，棉花顶叶的面积达到棉花侧芽叶面积的50％以上为成熟状态顶叶，反之则归类为未成熟状态顶叶。
33.参见图1-图3，本发明的基于棉花顶叶成熟期分类识别的化学打顶方法包括以下步骤：
34.s1、根据作业地块上的棉花实际生长情况采集不同成熟期的棉花顶叶图像，包括拍摄不同时间段的棉花顶叶图像、拍摄不同光照角度的棉花顶叶图像以及拍摄包含不同顶叶类型的棉花顶叶图像；
35.s2、利用数据增强方法对原始图像进行颜色增强、亮度增强、旋转、随机饱和度对比度锐度、翻转5种方式进行数据扩充，其中，利用颜色增强、亮度增强、随机饱和度对比度锐度来模拟随着田间光照强度及角度变化导致拍摄的棉花顶叶图像所呈现的不同效果，而利用翻转和旋转来模拟相机所拍摄的不同视角，并将扩充后的棉花顶叶图像按照8:1:1的比例划分训练集、验证集和测试集，并利用labelimg工具进行人工标注并生成xml类型文件，然后将生成的xml类型文件按照pascalvoc数据集的格式进行保存；
36.s3、训练基于不同成熟期棉花顶叶分类识别模型，所述的基于不同成熟期棉花顶叶分类识别模型采用yolov4神经网络模型，并在yolov4神经网络模型的基础上做以下改进：
37.s3.1、以cspdarknet53为主干特征提取网络对不同成熟期的棉花顶叶目标进行特征提取，经过残差模块的五次卷积下采样，实现对输入信息的特征提取与筛选，共输出三个不同尺度特征到下一阶段；
38.s3.2、颈部部分使用spatial pyramid pooling(空间金字塔池化)模块和path aggregation network(路径聚合网络)特征金字塔网络，利用spatial pyramid pooling(空间金字塔池化)模块的1
×
1，3
×
3，5
×
5，13
×
13四种不同尺度的池化核对最后一个特征图层进行最大池化处理；通过path aggregation network(路径聚合网络)模块进行反复的上采样和下采样操作，以实现对特征图信息的融合；
39.s3.3、在head模块中，引入decoupled head(解耦头)模块，对最终的特征信息再次进行处理，得到预测框信息以及置信度；
40.s3.4、在yolov4神经网络模型中引入了anchor free方法，利用标签分配的方法将预测框信息分为3个不同尺度的先验框，从中不断筛选出与真实框最接近的正样本先验框，用于最终预测；在筛选过程中，对正样本先验框的信息进行提取，使用simota方法进行动态的正样本数量分配，通过计算真实框与正样本先验框的重合程度以及种类预测准确度数据，筛选出最终的正样本先验框，并作为预测结果输出；
41.s4、在棉花打顶机对棉花进行打顶过程中，通过相机模块采集棉花顶叶图像，然后将采集到的数据图像输入不同成熟期棉花顶叶分类识别打顶系统的主控制模块中，所述主控制模块通过所述的基于不同成熟期棉花顶叶分类识别模型对该棉花顶叶图像进行分析处理，输出分类识别结果，所述主控制模块以此控制棉花打顶机对棉花进行精准打顶。
42.其中，在步骤s4中，通过采用在线部署方式对训练好的基于不同成熟期棉花顶叶分类识别模型进行部署，实现对棉花顶叶进行在线实时识别。
43.参见图2，在步骤s4中，所述的不同成熟期棉花顶叶分类识别打顶系统包括棉花打顶机、设置在棉花打顶机上的相机模块和主控制模块，其中，所述的棉花打顶机包括高地隙车和设置在高地隙车上的打顶模块，其中，所述打顶模块采用喷射打顶剂的方式实现对棉花顶叶进行打顶；所述相机模块用于采集棉花顶叶图像，并将采集到的顶叶图像传输给主控制模块，所述主控制模块上搭载所述的基于不同成熟期棉花顶叶分类识别模型，通过基于不同成熟期棉花顶叶分类识别模型对采集到的棉花顶叶图像进行分析处理，得到需要打顶的棉花顶叶的位置信息，接着通过控制打顶模块对该棉花顶叶喷洒打顶剂，其中，所述相机模块与所述打顶模块呈水平直线设置，且两组之间的间距为0.05m，其中，沿着所述高地隙车的运动方向，所述相机模块位于所述打顶模块的前方。
44.以下以具体案例来对本发明的基于棉花顶叶成熟期分类识别的化学打顶方法进行阐述：
45.参见图1-图3，本发的基于棉花顶叶成熟期分类识别的打顶方法包括有下列步骤。
46.第一步：确定棉花植株的栽培方式以及拍摄设备
47.某作业地块所种植的棉花品种为鲁棉532，该地块采用一膜三行等行距76cm机械化栽培模式，以及拍摄设备(即相机模块)为索尼hdr-cx900e全高清摄像机。
48.第二步：采集不同成熟期棉花顶叶的图像
49.(a)根据作业地块上棉花的实际生长情况来采集不同成熟期棉花顶叶的图像，拍摄不同时间段的棉花顶叶图像、拍摄不同光照角度的棉花顶叶图像以及拍摄包含棉花顶叶
不同类型的图像；根据上述拍摄方法，拍摄得到棉花顶叶图像3000张，其中，采集时间为：每天上午7：00-10：00、下午3：00-5：00之间，为模拟棉花顶叶识别系统的摄像头的拍摄姿态，距离棉花顶叶300-500mm。拍摄角度：顺光、逆光、测光。图像类型包括：单独的成熟顶叶、未成熟的顶叶；成熟顶叶与未成熟顶叶组合、成熟顶叶与成熟顶叶组合，未成熟顶叶与未成熟顶叶组合。
50.第三步：制备基于不同成熟期棉花顶叶数据集
51.利用数据增强方法对原始图像进行颜色增强、亮度增强、旋转、随机饱和度对比度锐度以及翻转5种方式进行数据扩充，其中，利用颜色增强、亮度增强、随机饱和度对比度锐度的方法来模拟随着田间光照强度及角度变化导致拍摄的顶芽图像所呈现的不同效果，而翻转和旋转的方法来模拟相机所拍摄不同视角，因此扩充后共得到12000张图像，然后将12000张顶芽图像按照8:1:1的比例划分训练集9720张、验证集1080张、测试集1200张，同样利用labelimg工具进行人工标注，并且将生成的xml类型文件按照pascalvoc数据集的格式进行保存。
52.第四步：训练基于不同成熟期棉花顶叶分类识别模型
53.对yolov4的不同成熟期棉花顶芽分类检测模型进行了改进，其具体步骤如下：
54.(a)、以cspdarknet53为主干特征提取网络(backbone)对不同成熟期棉花顶芽目标进行特征提取,其中神经网络模型的主干特征提取继续沿用yolov4神经网络模型，经过残差模块的五次卷积下采样，实现对输入信息的特征提取与筛选，共输出三个不同尺度特征到下一阶段；
55.(b)、颈部(neck)部分使用spatial pyramid pooling(空间金字塔池化)模块和path aggregation network(路径聚合网络)特征金字塔网络，利用spatial pyramid pooling(空间金字塔池化)模块的1
×
1，3
×
3，5
×
5，13
×
13四种不同尺度的池化核对最后一个特征图层进行最大池化处理，充分的利用网络浅层信息，加强不同分辨率特征图之间的联系。通过path aggregation network(路径聚合网络)模块进行反复的上采样和下采样操作实现对特征图信息的融合；
56.(c)、在head模块中，引入decoupled head(解耦头)模块，对最终的特征信息再次进行处理，得到预测框信息及置信度；
57.(d)、在模型中引入了anchor free方法，anchor free利用标签分配的方法将预测框分成3个不同尺度的先验框，从中不断筛选出与真实框最接近的正样本先验框用于最终预测。在筛选过程时，对正样本先验框信息进行提取，使用simota方法进行动态的正样本数量分配，通过计算真实框与正样本先验框的重合程度以及种类预测准确度等数据，筛选出最终的正样本先验框作为预测结果输出。
58.第五步：部署基于不同成熟期棉花顶叶分类识别模型
59.根据棉花顶芽进行实时在线识别要求，使用在线部署方式对训练算法模型进行部署。模型部署根据任务需求可分为两种，分别是离线部署、在线部署。而对于在线部署来说需要快速获取推断结果，对实时性极为敏感。本发明需要对棉花顶芽进行实时在线识别，因此使用在线部署方式对训练算法模型进行部署。
60.第六步：搭建基于不同成熟期棉花顶叶分类识别打顶系统
61.(a)、将不同成熟期棉花顶叶分类识别打顶系统装载在棉花打顶机上，利用相机模
块进行棉花顶叶数据采集，将采集的数据传到单片机组成的控制模块计算出结果，然后根据分类识别的结果，控制打顶剂喷头，进行精准喷洒打顶剂。棉花打顶机由高地隙车上的蓄电池提供电源和动力。所述的不同成熟期棉花顶叶分类识别打顶系统包括棉花打顶机、设置在棉花打顶机上的相机模块和主控制模块；各模块与装置之间的连接如图2所示；
62.(b)、借助第六步(a)所搭建的基于不同成熟期棉花顶叶分类识别打顶系统，按照第二步至第五步所完成的识别系统，完成对高地隙车的大体设计如图3；高地隙车按照一定的速度0.1m/s进行作业，识别系统识别图像的响应时间为5s，根据公式l＝vt，式中l为识别相机与喷头之间的距离为0.05m。
63.另外，通过对传统的yolov4神经网络模型进行改进，除了与yolov4模型对比外，还引入3种不同神经网络模型与改进后的yolov4模型进行试验对比，对比数据如表1和表2所示：
[0064][0065]
表1：改进后的yolov4神经网络模型与传统的yolov4神经网络模型对比
[0066][0067]
表2：改进后的yolov4神经网络模型与另外三种神经网络模型对比
[0068]
可以看到，改进后的yolov4神经网络模型的检测精度map值为90.15％，分别高出sdd、faster-rcnn、tiny-yolov4神经网络模型5.95个百分点、13.6个百分点、2.17个百分点。具体来看，对于成熟顶芽的检测方面，改进后的yolov4神经网络模型与tiny-yolov4神经网络模型的检测精度ap相差无几，均在85％以上；而faster-rcnn模型的检测精度最低，为62.42％；在调和平均值f1方面，改进后的yolov4神经网络模型最高。在未成熟顶芽检测方面，改进后的yolov4神经网络模型的检测精度ap最高，为94.86％，高于其他模型4到6个百分点，同样在调和平均值f1方面，改进后的yolov4神经网络模型的表现最好，达到了87.63％。
[0069]
上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。