一种基于自监督学习FasterR-ViT的玉米雄穗检测及计数方法

背景技术：

1、去雄是玉米制种田生产的关键环节，为保证玉米育种纯度，在地面机械化批量去雄作业完成后，还需要大量的人工巡检和补漏工作，以便及时发现并去除未去雄的玉米植株。这项工作对劳动力需求密度大、依赖性强，并且在精确度和时效性上无法得到有效保障。本发明借助计算机视觉、人工智能技术巡查、精准识别和定位并计数未去雄玉米植株，为后期自动化玉米去雄作业提供数据支撑，进一步提高效率，降低人工成本，保障玉米育种质量。

2、1、专业术语

3、(1)自监督学习(self-supervised learning)。机器学习一般可分为监督学习、无监督学习、强化学习等类别。自监督学习是无监督学习的一种，也被称作辅助任务习或自监督任务等，其目的是引导模型学习到一种通用的特征表达用于下游任务。自监督学习任务一般分为两个阶段：前置任务阶段和下游任务阶段。在前置任务阶段使用大量无标签的数据集(unlabeled data)进行训练，得到初步成型的训练模型；随后再根据具体下游任务将无标签数据集上训练得到的初步模型输入到有标签的特定任务数据集中进一步训练和微调(fine-tune)，得到训练好的模型。自监督学习的优势是如果有大量未标记的数据，该方法可以利用这些数据可以学习更强大的数据底层结构的表示，并且这些表示比监督学习中学到的更普遍，然后针对下游任务进行微调来完成具体任务。

4、(2)faster r-vit。faster r-vit目标检测模型是在faster r-cnn目标检测模型的基础上优化改进而来，进一步增强了目标检测的性能。该模型主要分为4个模块，分别为：特征提取模块、区域候选网络(region proposal network,rpn)模块、兴趣域池化(regionofinterestpooling)模块和结果输出模块。其中faster r-vit模型的特征提取模块采用vision transformer(vit)作为特征提取器；rpn模块用于生成候选框；兴趣域池化模块用于收集rpn生成的每个框的坐标，为后续分类做准备；结果输出模块用于目标的类别和检测框最终的精确位置。

5、2、相关研究进展

6、根据国内外相关文献资料，为实现复杂田间环境玉米雄穗的精确识别与计数，近年来研究人员利用计算机视觉、机器学习等技术在玉米雄穗识别方面做了许多研究。lu等人(2017)用tasselnet卷积神经网络实现了对玉米雄穗的计数；梁胤豪等人(2020)提出ssd_mobilenet模型最适于部署在无人机机载系统上用于玉米雄穗识别；杨蜀秦等人(2021)通过改进无锚框centernet目标检测模型实现了玉米雄穗的高效检测；liu等人(2020)利用faster r-cnn网络对玉米雄穗进行检测；汪斌斌等人(2022)利用yolo_x和迁移学习的无人机影像进行玉米雄穗检测。近年来公开的专利文献也有针对玉米或其他作物穗检测工作。专利文献(cn 112069985 a,2020.12.11)公开了一种基于深度学习的高分辨率大田图像稻穗检测与计数方法，该方法将高分辨率图像有重叠的切分成若干个低分辨率子图，再利用子图训练深度学习网络，然后再将所有子图重建成高分辨率大图，从而达到计算稻穗数量的目的；专利文献(cn 114066842 a,2022.02.18)公开了一种穗头数统计方法、系统、装置及存储介质，该发明获取穗头顶视图像，利用训练好的穗头检测模型对所有穗头子图像进行推理预测得到穗头检测框，得到子图中所有穗头检测框，进而对穗头进行计数；专利文献(cn 114973002 a,2022.08.30)公开了一种基于改进的yolov5的麦穗检测方法，该方法首先获取麦穗图像并对麦穗图像进行标注，获得麦穗图像数据集，将麦穗图像数据集划分为训练集和测试集，再通过引入ca注意力机制和ciou_loss损失函数的yolov5网络模型进行训练，并检测麦穗。专利文献(cn 115713697a,2023.02.24)公开了一种基于改进型ssd算法的大田玉米雄穗检测方法，该方法通过改进一阶段深度学习模型ssd，保留原模型前两层预测框，舍弃之后的卷积操作，在保证精度的前提下简化模型的结构和参数，实现玉米雄穗检测任务；专利文献(cn 110569747 a,2019.12.13)公开了一种利用图像金字塔与faster-rcnn快速统计大田水稻稻穗数的方法，该方法，实现针对稻穗尺寸相对较小且数量超过50的大田水稻图像的自动计数；专利文献(cn 115546774 a,2022.12.30)公开了一种母本雄穗检测方法及母本雄穗检测系统，该发明通过提取母本雄穗或父本雄穗的特征的方法来检测母本雄穗。

7、目前已公开的玉米雄穗检测及计数方法存在的问题

8、以上各种方法对于了解玉米雄穗检测进展有一定的借鉴意义，然而，这些方法也存在一些问题，主要有：

9、(1)目前存在的方法大多利用传统的图像处理方法或者现有的经典目标检测模型，而这些经典目标检测模型具有一定的通用性，虽然能满足一定的下游任务需求，但检测精度尚难以达到理想的效果。由于玉米制种田的特殊性，即使一支雄穗漏检，也会导致大量花粉传播，进而影响育种效果。因此，需要根据玉米雄穗检测需求开发一套高精度的玉米雄穗检测模型。

10、(2)现有的检测模型往往需要对玉米雄穗图像数据进大量的手工标注，数据标注工作不但需要耗费大量的人力物力，还存在一定的人为主观因素，可能会导致标注不够精确的情况。而自动化数据采集方法可以获取到大量的未标注的玉米雄穗图像数据，这为训练自监督模型提供了有利条件，因此发明一种基于自监督学习的玉米雄穗检测模型可以有效解决数据标注困难和标注不够精准的问题。

11、以下给出检索的相关文献：

12、liu,y.,cen,c.,che,y.,ke,r.,ma,y.,&ma,y.(2020).detection ofmaizetassels from uav rgb imagerywith faster r-cnn.remote sensing,12(2).https://doi.org/10.3390/rs12020338lu,h.,cao,z.,xiao,y.,zhuang,b.,&shen,c.(2017).tasselnet:counting maize tassels in the wild via localcounts regressionnetwork.plant methods,13.https://doi.org/10.1186/s13007-017-0224-0

13、梁胤豪；陈全；董彩霞；杨长才；(2020).基于深度学习和无人机遥感技术的玉米雄穗检测研究.福建农业学报,

14、04vol 35,456-464.https://doi.org/10.19303/j.issn.1008-0384.2020.04.014

15、汪斌斌；杨贵军；杨浩；顾寄南；赵丹；许思喆；徐波；(2022).基于yolo＿x和迁移学习的无人机影像玉米雄穗检测.农业工程学报,15vol 38,53-62.

16、杨蜀秦,刘江川,徐可可,桑雪,宁纪锋,&张智韬.(2021).基于改进centernet的玉米雄蕊无人机遥感图像识别.农业机械学报,052(009),206-212.

技术实现思路

1、本发明的目的在于解决现有玉米雄穗数据集的数量不足而导致检测精度低的问题，而设计了一种基于自监督学习faster r-vit的玉米雄穗检测及计数方法，主要公开如下：

2、1、提出了一种基于自监督学习faster r-vit的玉米雄穗检测及计数方法，该方法综合利用自监督学习技术、vision transformer(vit)和faster r-cnn框架的优点，玉米雄穗检测在多个评测指标上明显超越现有的玉米雄穗检测方法。该方法的主要步骤有：

3、s1，数据获取。利用固定摄像头或者无人机挂载高清摄像头采集不同品种、不同生长周期和不同天气环境下的玉米雄穗数据并结合网络公开的数据，混合而成。

4、s2，数据预处理。将采集到的玉米雄穗图像数据进行数据清洗操作，去除无效数据和不清晰的数据，并分割成统一像素大小的包含玉米雄穗的冠层图像。利用图像标注工具对图像中的每一个雄穗用一个矩形框进行标注，并保存成xml文件。形成玉米雄穗检测数据集，并将数据集按照7：3的比例划分训练集和测试集。

5、s3，构建faster r-vit玉米雄穗目标检测模型，该模型分为特征提取模块、区域候选网络模块、兴趣域池化模块和结果输出模块。

6、s4，训练faster r-vit玉米雄穗目标检测模型，通过调整超参数，直到模型达到理想的效果为止。

7、s5，模型测试，利用测试集测试训练好的模型验证模型训练效果，测试效果达到或接近训练的指标时，说明模型训练效果良好。

8、s6，模型部署与结果输出，将训练好的玉米雄穗检测模型部署在系统中，此时对于每一张输入的未标记的玉米冠层图像，模型可以自动检测图像中存在的雄穗位置及雄穗数量请参考图2，为下一步去雄作业提供数据参考。

9、2、所构建的faster r-vit玉米雄穗目标检测模型，其特征提取模块采用基于自监督学习的vision transformer(vit)来实现。该方法主要分为两个阶段：前置训练阶段和下游任务阶段。在前置训练阶段，利用初始的vit在大规模无标签的数据集上进行预训练，预训练数据集vit模型。

10、3、所构建的faster r-vit玉米雄穗目标检测模型，其区域候选网络模块利用特征图上的每个位置，使用一组预定义的不同大小和长宽比的锚框。这些锚框用于在不同尺度和形状下搜寻可能的目标。

11、4、所构建的faster r-vit玉米雄穗目标检测模型，其兴趣域池化模块首先根据候选区域的坐标，将每个候选区域映射到对应的特征图上。之后将每个映射后的候选区域划分为固定大小的网格，对于每个网格兴趣域池化通过对特征图上对应区域内的特征值进行池化操作，来获得一个固定大小的特征表示。

12、5、所构建的faster r-vit玉米雄穗目标检测模型，其结果输出模块利用兴趣域池化模块输出的固定大小的特征表示通过神经网络分类器进行目标的分类以及定位。

13、6、所构建的faster r-vit玉米雄穗目标检测模型，其损失函数由区域候选网络的交叉熵、区域候选网络的box的回归、rcnn的交叉熵、rcnn box的回归以及参数正则化损失，优化函数是随机梯度下降算法。

14、本发明的有益效果是：本发明设计了一种faster r-vit玉米雄穗目标检测模型，可以在少量带标签的数据集上高精度检测玉米冠层的雄穗，并计算除输入图像中的雄穗数量。该方法克服了现有方法玉米雄穗检测精度低的问题，以及训练模型需要大量有标注的数据集的问题。