一种基于改进yolov4果园复杂环境下葡萄成熟度的检测方法
技术领域
1.本发明涉及水果成熟度检测技术领域，尤其是一种基于改进yolov4的果园复杂环境下葡萄成熟度检测方法。
背景技术：
2.中国目前是世界上葡萄种植产量位居第一的大国，葡萄产业在中国保持着快速增长的趋势。但国内葡萄收获中仍采用手工采摘，耗费大量劳动力，随着计算机图像处理、机器视觉、控制科学的发展，自动化、智能化的葡萄采摘机器人进入农业生产成为可能。但葡萄果园内环境复杂，葡萄枝叶对葡萄果实遮挡严重，葡萄果实间存在重叠现象，且葡萄果穗中不同果粒间成熟度也不一致，使得对于葡萄果实成熟度的检测成为难题。
3.近年来，深度卷积神经网络在目标检测中展现出极大的优势，能够快速精准地完成检测任务，使复杂环境中果实成熟度的识别成为可能。为解决复杂场景下的葡萄成熟度检测，本研究选用基于回归的yolo系列的第四代算法yolov4，将主干特征提取网络替换为mobilenetv3网络作为改进，并引入senet注意力机制，使其能够同时满足识别精度与检测速度的需求。本发明方法容易实施，不易受环境影响，且可靠性和精度较高。
技术实现要素：
4.本发明要解决的技术问题是：为解决复杂场景下的葡萄成熟度检测，本研究选用基于回归的yolo系列的第四代算法yolov4，将主干特征提取网络替换为mobilenetv3网络作为改进，并引入senet注意力机制，使其能够同时满足识别精度与检测速度的需求。本发明方法容易实施，不易受环境影响，且可靠性和精度较高。
5.本发明解决其技术问题所采用的技术方案是：
6.一种基于改进yolov4的果园复杂环境下葡萄成熟度检测方法，包括如下步骤，
7.(1)利用相机在不同光照条件与不同重叠遮挡程度条件下，随机对一株葡萄进行多方位、多角度、多种距离的拍摄，获得大量的不同成熟度的葡萄图片；
8.(2)通过网络爬取图片的方式进行数据平衡处理，使得各种成熟度的葡萄样本数量达到基本一致；
9.(3)通过翻转、加噪、平移等方式，对上述获得的所有图片进行数据扩增处理，从而获得足够多的不同成熟度的葡萄图像；
10.(4)使用1abelimg软件对图像进行人工标注，将图像中的葡萄按照成熟度划分为全青、接近全青、接近成熟与全熟的四类葡萄；
11.(5)利用标注好的文件建立有关葡萄成熟度的pascal-voc2007格式的数据集；
12.(6)按照9：1的比例将数据集划分为训练集与验证集；
13.(7)利用改进后的yolov4网络对数据集进行训练；
14.(8)利用训练好的模型对实际场景中的葡萄进行成熟度检测，提示是否为采摘的合适时机；
15.具体的，所述改进后的yolov4网络以mobilenetv3为主干特征提取网络且增加了senet注意力机制。
16.本发明的有益效果是：本发明提供了一种基于改进yolov4的果园复杂环境下葡萄成熟度检测方法，通过对采集的图像进行数据预处理与人工标注后获得数据集，再利用改进后的yolov4网络对其进行训练，最后得到的模型可用于葡萄成熟度的快速检测，从而提示是否为采摘的最佳时机。本发明方法容易实施，不易受环境影响，可靠性和精度较高。
附图说明
17.下面结合附图和实施例对本发明进一步说明。
18.图1为本发明的成熟度检测流程图；
19.图2为本发明使用的改进后的yolov4网络结构图，其中mobilenetv3表示使用的主干特征提取网络，spp与panet都是加强特征提取网络，yolo head表示预测部分，conv2d表示二维卷积，bn表示批量正则化，h_swish表示激活函数模块，conv表示卷积，dsconv表示深度可分离卷积，upsampling表示上采样， downsampling表示下采样，concat表示特征融合。
具体实施方式
20.现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
21.本发明实施的总体思路为：先获取原始的葡萄图像，再经过数据预处理获得足够多的数据样本，通过人工标注的方式获得葡萄成熟度的数据集，然后利用改进后的yolov4网络对数据集进行训练，最后利用训练的结果对实际场景中的葡萄进行成熟度的预测，以提示是否为采摘的最佳时机。
22.本发明的具体实施步骤为：
23.(1)利用相机在不同光照条件与不同重叠遮挡程度条件下，随机对一株葡萄进行多方位、多角度、多种距离的拍摄，获得大量的不同成熟度的葡萄图片；
24.(2)通过网络爬取图片的方式进行数据平衡处理，使得各种成熟度的葡萄样本数量达到基本一致；
25.(3)通过翻转、加噪、平移等方式，对上述获得的所有图片进行数据扩增处理，从而获得足够多的不同成熟度的葡萄图像，并统一保存为.jpg的格式；
26.(4)使用1abelimg软件对图像进行人工标注，将图像中的葡萄利用矩形框框选出来并按照成熟度划分为全青、接近全青、接近成熟与全熟的四类葡萄，标注好的文件以.xml的格式保存；
27.(5)利用标注好的文件建立有关葡萄成熟度的pascal-voc2007格式的数据集，pascal-voc2007格式的数据集含annotations、imagesets和jpegimages 三个文件夹，分别用于存放标注后的.xml文件、训练和验证用到的.txt文件和所有数据预处理后的图片，再按照9∶1的比例将数据集划分为训练集与验证集；
28.(6)采用mobilenetv3作为主干特征提取网络，在加强特征提取网络中使用深度可分离卷积替代传统卷积，在每次特征融合前加入senet注意力机制，从而完成对yolov4网络的改进；
29.(7)利用改进后的网络对数据集进行训练，将网络训练的参数设置为：迭代训练的样本数为8，迭代总次数为1000，初始学习率为0.001，动量因子为 0.95，每训练50次就保存一个训练权重并使学习率降低10倍；
30.(8)利用训练好的模型对实际场景中的葡萄进行成熟度检测，提示是否为采摘的合适时机；
31.以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。
技术特征：
1.一种基于改进yolov4的果园复杂环境下葡萄成熟度检测方法，其特征在于：包括如下步骤，(1)利用相机在不同光照条件与不同重叠遮挡程度条件下，随机对一株葡萄进行多方位、多角度、多种距离的拍摄，获得大量的不同成熟度的葡萄图片；(2)通过网络爬取图片的方式进行数据平衡处理，使得各种成熟度的葡萄样本数量达到基本一致；(3)通过翻转、加噪、平移等方式，对上述获得的所有图片进行数据扩增处理，从而获得足够多的不同成熟度的葡萄图像；(4)使用labelimg软件对图像进行人工标注，将图像中的葡萄按照成熟度划分为全青、接近全青、接近成熟与全熟这四类；(5)利用标注好的文件建立有关葡萄成熟度的pascal-voc2007格式的数据集；(6)按照9∶1的比例将数据集划分为训练集与验证集；(7)利用改进后的yolov4网络对数据集进行训练；(8)利用训练好的模型对实际场景中的葡萄进行成熟度检测，提示是否为采摘的合适时机；2.如权利要求1所述的一种基于改进yolov4的果园复杂环境下葡萄成熟度的检测方法，其特征在于：所述改进后的yolov4网络以mobilenetv3为主干特征提取网络且增加了senet注意力机制。
技术总结
本发明涉及水果成熟度检测技术领域，尤其是一种基于改进YOLOv4的果园复杂环境下葡萄成熟度检测方法。通过对采集的图像进行数据预处理与人工标注后获得数据集，再利用改进后的YOLOv4网络对其进行训练，最后得到的模型可用于葡萄成熟度的快速检测，从而提示是否为采摘的最佳时机。本发明方法容易实施，不易受环境影响，且可靠性和精度较高。且可靠性和精度较高。且可靠性和精度较高。
技术研发人员：邱畅 田光兆 赵嘉威
受保护的技术使用者：南京农业大学
技术研发日：2022.06.15
技术公布日：2022/12/8