稻田杂草检测方法、装置、设备及介质

本技术涉及农业生产领域，尤其涉及一种稻田杂草检测方法、相应的装置、电子设备及计算机可读存储介质。

背景技术：

1、稻田杂草繁殖能力强，同时为病虫害滋生提供了有利条件，严重影响了水稻的健康生长，智能、精准去除杂草并减少对环境的破坏受到研究人员的广泛关注，杂草的种类信息的获取是实现精准除草的前提。

2、目前，无论是旱田作物如玉米、小麦还是水田作物如水稻等，田间的杂草种类繁多，有如马唐草、莎草、偃麦草、稗草等，它们之间本身就相似度较高，不易区分，且与作物秧苗容易混淆，使得早期对杂草的防治比较困难，难以降低杂草危害带来的作物收成减产和经济损失。一般的防治做法是农民或者农技人员巡田查看苗情生长时，需要人工依据历史经验判断当前地块的农事经验发现杂草的出现风险，这种人工发现杂草的方法，其行动低效且时间滞后，难以保证在杂草生长初期发现并及时采取农药实施措施处理，不能有效规避杂草蔓延的风险。再或者一些农用除草设备或装置是在已发生草害的中后期，通过采集大规模不同种类的杂草图像数据进行杂草识别算法或模型训练，进而在田间作业时分析识别杂草种类。现有技术中，构建并训练稻田杂草种类识别模型，其需要大量的稻田杂草数据样本，而在具体农业应用中，田间采集并构建大样本杂草数据集、构建大量像素级注释的稻田杂草语义分割标签需要消耗大量的时间成本以及经济成本。

3、适应现有技术中通过人工发现杂草，其行动低效且时间滞后，难以保证在杂草生长初期发现并及时采取农药实施措施处理，不能有效规避杂草蔓延的风险、田间采集并构建大样本杂草数据集、构建大量像素级注释的稻田杂草语义分割标签需要消耗大量的时间成本以及经济成本等问题，本技术人出于解决该问题的考虑做出相应的探索。

技术实现思路

1、本技术的目的在于解决上述问题而提供一种稻田杂草检测方法、相应的装置、电子设备及计算机可读存储介质。

2、为满足本技术的各个目的，本技术采用如下技术方案：

3、适应本技术的目的之一而提出的一种稻田杂草检测方法，包括如下步骤：

4、响应稻田杂草检测事件，获取各个角度的不同生长周期相对应的稻田杂草图像，根据所述稻田杂草图像构建有标签稻田杂草图像数据以及无标签稻田杂草图像数据；

5、基于预训练好的稻田杂草种类识别模型对无标签稻田杂草图像数据进行预测，确定所述无标签稻田杂草图像数据中预测为稻田杂草的区域，将所述无标签稻田杂草图像数据中预测为稻田杂草的区域作为伪标签以确定伪标签稻田杂草图像数据，根据所述有标签稻田杂草图像数据以及所述伪标签稻田杂草图像数据确定稻田杂草检测模型的训练数据集；

6、基于所述稻田杂草种类识别模型的预训练权重进行迁移学习，初始化所述稻田杂草检测模型的参数，冻结所述稻田杂草种类识别模型中的部分卷积层与池化层的权重，并设定训练参数，根据所述训练参数将所述训练数据集输入至所述稻田杂草检测模型进行训练，直至所述稻田杂草检测模型达到收敛状态；

7、基于训练好的所述稻田杂草检测模型检测待识别稻田杂草图像，以检测出待识别稻田杂草的种类以及与水稻的相对位置，完成所述稻田杂草的检测。

8、可选的，预训练所述稻田杂草种类识别模型的步骤,包括如下步骤：

9、响应稻田杂草种类识别模型预训练指令，获取各个不同生长周期相对应的稻田杂草图像，将所述稻田杂草图像进行分类并标注稻田杂草类别，以构建稻田杂草种类识别数据集；

10、将所述稻田杂草种类识别数据集按照预设比例划分为所述稻田杂草种类识别模型的训练集以及验证集；

11、根据设定的参数将所述训练集输入至所述稻田杂草种类识别模型进行训练，直至所述稻田杂草种类识别模型达到收敛状态；

12、将所述验证集输入至所述稻田杂草种类识别模型中进行预测，对比选择并保存验证准确率最高的模型参数作为最优解，完成所述稻田杂草种类识别模型的预训练。

13、可选的，获取各个角度的不同生长周期相对应的稻田杂草图像的步骤，包括如下步骤：

14、响应稻田杂草图像采集指令，获取各个角度的不同生长周期相对应的稻田杂草图像；

15、采用图像采集设备以垂直俯拍、与地面呈45度斜拍、与地面呈30度斜拍、或垂直地面侧拍的方式获取不同生长期的稻田杂草图像。

16、可选的，冻结所述稻田杂草种类识别模型中的部分卷积层与池化层的权重，并设定训练参数，根据所述训练参数将所述训练数据集输入至所述稻田杂草检测模型进行训练的步骤，包括：

17、所述训练参数包括初始学习率、权重衰减、迭代次数、冻结迭代训练次数，冻结训练批量以及解冻迭代训练次数，其中，所述初始学习率设定为0.0001，所述权重衰减设定为0.05，所述迭代次数设定为100，所述冻结迭代训练次数设定为50，所述冻结训练批量设定为4，所述解冻迭代训练次数设定为100。

18、可选的，基于预训练好的稻田杂草种类识别模型对无标签稻田杂草图像数据进行预测，确定所述无标签稻田杂草图像数据中预测为稻田杂草的区域，将所述无标签稻田杂草图像数据中预测为稻田杂草的区域作为伪标签以确定伪标签稻田杂草图像数据的步骤，包括如下步骤：

19、将所述预训练好的稻田杂草种类识别模型输出的伪标签图像数据进行尺度变换，将所述伪标签图像数据变换为按照稻田杂草检测模型的规定输入尺寸大小；

20、从尺度变换后的所述伪标签图像数据集中随机抽取一定比例的图像样本作为所述稻田杂草检测模型的训练数据集。

21、可选的，基于训练好的所述稻田杂草检测模型检测待识别稻田杂草图像，以检测出待识别稻田杂草的种类以及与水稻的相对位置的步骤，包括如下步骤：

22、将所述待识别稻田杂草图像输入至训练好的所述稻田杂草检测模型，确定所述水稻与稻田杂草各自的像素区域；

23、基于最小外接矩形、最小边界框或像素坐标生成稻田杂草以及水稻相对应的边界框，根据所述稻田杂草以及水稻相对应的边界框确定稻田杂草以及水稻相对应的位置。

24、可选的，所述稻田杂草图像包括稗草、千金子、莲子草、鳢肠、莎草、牛筋草金子、碎米荠、莎草以及野慈姑图像。

25、适应本技术的另一目的而提供的一种稻田杂草检测装置，包括：

26、稻田杂草图像获取模块，设置为响应稻田杂草检测事件，获取各个角度的不同生长周期相对应的稻田杂草图像，根据所述稻田杂草图像构建有标签稻田杂草图像数据以及无标签稻田杂草图像数据；

27、训练数据确定模块，设置为基于预训练好的稻田杂草种类识别模型对无标签稻田杂草图像数据进行预测，确定所述无标签稻田杂草图像数据中预测为稻田杂草的区域，将所述无标签稻田杂草图像数据中预测为稻田杂草的区域作为伪标签以确定伪标签稻田杂草图像数据，根据所述有标签稻田杂草图像数据以及所述伪标签稻田杂草图像数据确定稻田杂草检测模型的训练数据集；

28、检测模型确定模块，设置为基于所述稻田杂草种类识别模型的预训练权重进行迁移学习，初始化所述稻田杂草检测模型的参数，冻结所述稻田杂草种类识别模型中的部分卷积层与池化层的权重，并设定训练参数，根据所述训练参数将所述训练数据集输入至所述稻田杂草检测模型进行训练，直至所述稻田杂草检测模型达到收敛状态；

29、稻田杂草检测模块，设置为基于训练好的所述稻田杂草检测模型检测待识别稻田杂草图像，以检测出待识别稻田杂草的种类以及与水稻的相对位置，完成所述稻田杂草的检测。

30、适应本技术的另一目的而提供的一种电子设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本技术所述稻田杂草检测方法的步骤。

31、适应本技术的另一目的而提供的一种计算机可读存储介质，其以计算机可读指令的形式存储有依据所述稻田杂草检测方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行相应的方法所包括的步骤。

32、相对于现有技术，本技术针对现有技术中通过人工发现杂草，其行动低效且时间滞后，难以保证在杂草生长初期发现并及时采取农药实施措施处理，不能有效规避杂草蔓延的风险、田间采集并构建大样本杂草数据集、构建大量像素级注释的稻田杂草语义分割标签需要消耗大量的时间成本以及经济成本等问题，本发明基于半监督卷积神经网络和transformer的稻田杂草种类及位置检测模型，也即稻田杂草检测模型，采用卷积神经网络提取图像特征，并通过transformer编码器学习全局和上下文相关的特征表示，通过半监督学习的方式使用带标签数据和生成的伪标签数据进行训练，提高模型的性能。同时，transformer模型能够捕捉图像中的长程依赖关系，从而更好地分割出水稻和杂草。通过引入半监督学习分割算法与并行cnn-transformer架构,对稻田杂草进行图像分类和语义分割，可利用少量标记数据解决未标记数据的全局学习能力与类级特征，解决了人工标注工作量大、transformer算法在小样本杂草数据集上表现不佳,计算量大的问题，具有鲁棒性强、准确率高、效率高的优点。

33、进一步地，通过稻田杂草检测模型学习稻田杂草各个生长期的生长特征，对杂草进行检测，极大地提高了识别准确度，以区分稻谷与稻田杂草，大大节省人力物力，提高农业生产效率，有利于深度学习模型检测稻田杂草在农业生产中进一步推广。