一种基于YOLOv5的莲蓬轻量级目标检测方法

本发明属于农业计算机，具体涉及一种基于yolov5的莲蓬轻量级目标检测方法。

背景技术：

1、随着深度学习技术的快速发展，卷积神经网络可以通过无监督或半监督的特征学习来提取多层次特征，比人工提取的特征具有更强的泛化能力，因此越来越多的深度学习算法被用于非结构化环境下农业机器人的目标识别和检测任务。

2、莲蓬自然生长环境复杂，存在光照不均、枝叶遮挡、与荷叶颜色差异不明显等问题，而目前现有的运用于莲蓬采摘机器人的目标检测模型精度较低，无法实现准确识别不同光照和遮挡条件下的莲蓬，同时由于采摘机器人搭载的嵌入式平台算力资源有限，复杂模型无法满足任务实时性需求，且难以部署。因此，需设计出一种具有较高精度且检测实时性较高的检测方法。

技术实现思路

1、本发明的目的是为了克服现有技术不足，提出一种基于yolov5的莲蓬轻量级目标检测方法。

2、为实现上述目的，本发明采用以下技术方案：

3、一种基于yolov5的莲蓬轻量级目标检测方法，具体如下：

4、步骤一、获取莲蓬图像数据集，采用离线增强方法对数据集进行扩充，并将扩充后的数据集划分为训练集和测试集；

5、步骤二、基于传统的yolov5目标检测模型，将darknet骨干网络结构替换为ghostnet网络结构，将颈部层的特征金字塔网络替换为由bifpn模块、gsconv模块和vovgscsp模块组成的轻量级双向特征金字塔网络，采用wiou损失函数和mish激活函数，搭建初始的基于yolov5的莲蓬轻量级目标检测模型；

6、步骤三、采用训练集对初始的基于yolov5的莲蓬轻量级目标检测模型进行第一种训练，在完成第一种训练后采用知识蒸馏策略进行第二种训练，然后采用测试集对完成两种训练的基于yolov5的莲蓬轻量级目标检测模型进行测试，并对测试结果进行评价，若不满足评价指标，则修改模型参数重新训练和测试，直到满足评价指标，得到最终的基于yolov5的莲蓬轻量级目标检测模型；其中，每次训练前采用在线增强方法扩充训练集；

7、步骤四、使用最终的基于yolov5的莲蓬轻量级目标检测模型对目标莲蓬图像进行检测。

8、优选地，所述步骤一中离线增强方法为对数据集在参数上进行改动，即通过图像平移、旋转、随机裁切，改变图片的饱和度、亮度，并加入噪声和颜色干扰来获得新的数据。

9、优选地，所述步骤二中将darknet骨干网络结构替换为ghostnet网络结构的具体步骤为：将darknet骨干网络结构中的部分普通卷积替换为ghost卷积；其中，设输入特征图为h×w×c，输出特征图为h'×w'×n，卷积核大小为k×k，输入特征层分为s部分时，普通卷积的浮点运算公式为：

10、flop1＝n×h'×w'×c×k×k

11、ghost卷积的浮点运算公式为：

12、

13、用ghost卷积代替普通卷积运算的理论加速比为：

14、

15、式中，h和w分别是输入特征图的高度和宽度，c是输入特征图的通道数，且c＞1；h'和w'分别是输出特征图的高度和宽度，n是输出特征图的通道数，s是输入特征层层数，且s＞1；

16、进而计算得到rs＞1，则与普通卷积运算相比，ghost卷积运算计算量低，计算时间少。

17、优选地，所述步骤二中轻量级双向特征金字塔网络中在路径聚合网络panet的基础上引入bifpn，将颈部层的conv替换成gsconv，c3替换成vovgscsp；其中，引入的gsconv由ghost_cbs、concat和shuffle组成，引入的vovgscsp由ghost_cbs、gs瓶颈块和concat组成；bifpn采用跨尺度连接的方法，通过增加一条额外的边，将特征提取网络中的特征直接与自底向上路径中相对于大小的特征进行融合，使网络在保留更多浅层语义信息的同时不丢失过多相对深层的语义信息，gs瓶颈块通过增加新的跳跃式连接，使两个分支在不共享权值的情况下执行单独的ghost卷积；vovgscsp中concat将执行单独卷积的两个分支连接。

18、优选地，所述wiou损失函数具有动态非单调fm，通过学习目标的重要性权重对不同目标进行动态调整，平衡位置和尺度的损失，mish激活函数是一种光滑且可导的非线性函数。

19、优选地，所述步骤三中初始的基于yolov5的莲蓬轻量级目标检测模型在训练前进行图像输入大小、初始学习率、动量参数、优化器、训练迭代次数和训练批量的设置。

20、优选地，所述在线增强方法为通过mixup根据混合因子混合训练集中任意两个随机莲蓬图像，利用copy-psate将一个图像的掩码实例复制并粘贴到另一个图像上。

21、本发明具有以下有益效果：

22、本发明所搭建的基于yolov5的莲蓬轻量级目标检测模型具有较高的精度和较强的鲁棒性，且模型尺寸小，计算速度块，具有较高的实时性，能够应用于自然复杂环境下的莲蓬识别，在不同光照和遮挡条件下能够有效提取到莲蓬的特征。具体地，本发明搭建的基于yolov5的莲蓬轻量级目标检测模型中，骨干网络结构为ghostnet网络结构，卷积为ghost卷积，与普通卷积相比，ghost卷积运算计算量更低，计算时间更少，进而使得模型的大小减小，计算量减少，计算速度加快；颈部层为由bifpn模块、gsconv模块和vovgscsp模块组成的轻量级双向特征金字塔网络，且引入的bifpn模块提高了模型对遮挡或小目标的检测性能，缓解了莲蓬因遮挡或较小时导致的识别不准确问题，引入的gsconv模块增强了网络特征提取和融合能力，同时进一步减少了模型的参数量和计算量，引入的vovgscsp模块保证了传播的信道信息准确性，同时降低了模型的计算量和网络结构的复杂性；采用的wiou损失函数利用动态非单调聚焦机制的“离群度”替代iou对锚框进行质量评估，在降低高质量锚框的竞争力的同时，减小低质量示例产生的有害梯度，使得wiou损失函数可以聚焦于普通质量的锚框，并提高模型的整体性能；采用的mish激活函数利用其光滑特性能够使信息深入到神经网络中，从而获得更好的稳定性和准确性。

技术特征：

1.一种基于yolov5的莲蓬轻量级目标检测方法，其特征在于：具体如下：

2.根据权利要求1所述的一种基于yolov5的莲蓬轻量级目标检测方法，其特征在于：所述步骤一中离线增强方法为对数据集在参数上进行改动，即通过图像平移、旋转、随机裁切，改变图片的饱和度、亮度，并加入噪声和颜色干扰来获得新的数据。

3.根据权利要求1所述的一种基于yolov5的莲蓬轻量级目标检测方法，其特征在于：所述步骤二中将darknet骨干网络结构替换为ghostnet网络结构的具体步骤为：将darknet骨干网络结构的部分普通卷积替换为ghost卷积；其中，设输入特征图为h×w×c，输出特征图为h'×w'×n，卷积核大小为k×k，输入特征层分为s部分时，普通卷积的浮点运算公式为：

4.根据权利要求1所述的一种基于yolov5的莲蓬轻量级目标检测方法，其特征在于：所述步骤二中轻量级双向特征金字塔网络中在路径聚合网络panet的基础上引入bifpn，将颈部层的conv替换成gsconv，c3替换成vovgscsp；其中，引入的gsconv由ghost_cbs、concat和shuffle组成，引入的vovgscsp由ghost_cbs、gs瓶颈块和concat组成；bifpn采用跨尺度连接的方法，通过增加一条额外的边，将特征提取网络中的特征直接与自底向上路径中相对于大小的特征进行融合，gs瓶颈块通过增加新的跳跃式连接，使两个分支在不共享权值的情况下执行单独的ghost卷积；vovgscsp中concat将执行单独卷积的两个分支连接。

5.根据权利要求1所述的一种基于yolov5的莲蓬轻量级目标检测方法，其特征在于：所述wiou损失函数具有动态非单调fm，通过学习目标的重要性权重对不同目标进行动态调整，平衡位置和尺度的损失，mish激活函数是一种光滑且可导的非线性函数。

6.根据权利要求1所述的一种基于yolov5的莲蓬轻量级目标检测方法，其特征在于：所述步骤三中初始的基于yolov5的莲蓬轻量级目标检测模型在训练前进行图像输入大小、初始学习率、动量参数、优化器、训练迭代次数和训练批量的设置。

7.根据权利要求1所述的一种基于yolov5的莲蓬轻量级目标检测方法，其特征在于：所述在线增强方法为通过mixup根据混合因子混合训练集中任意两个随机莲蓬图像，利用copy-psate将一个图像的掩码实例复制并粘贴到另一个图像上。

技术总结
本发明公开了一种基于YOLOv5的莲蓬轻量级目标检测方法。本发明搭建初始的基于YOLOv5的莲蓬轻量级目标检测模型，接着采用训练集和知识蒸馏策略对基于YOLOv5的莲蓬轻量级目标检测模型进行训练，然后采用测试集对基于YOLOv5的莲蓬轻量级目标检测模型进行测试，直到得到满足评价指标的基于YOLOv5的莲蓬轻量级目标检测模型，对目标莲蓬图像进行检测。本发明的基于YOLOv5的莲蓬轻量级目标检测模型具有较高的精度和较强的鲁棒性，且模型尺寸小，计算速度块，具有较高的实时性，能够应用于自然复杂环境下的莲蓬识别，在不同光照和遮挡条件下能够有效提取到莲蓬的特征。

技术研发人员：唐涛,叶秉良,薛洪彬,马锃宏,俞高红
受保护的技术使用者：浙江理工大学
技术研发日：
技术公布日：2024/3/31