一种基于SwinTransformer的苹果成熟度检测方法

本发明涉及苹果成熟度检测方法领域，具体是一种基于swin transformer的苹果成熟度检测方法。

背景技术：

1、目前的苹果成熟度基于人工判断，存在个人主观因素大、标准不统一、劳动强度高等问题。利用计算机视觉进行苹果成熟度检测，可以保证准确的成熟度检测，可以更好地进行及时采摘，避免苹果因采摘不及时而造成的浪费

2、在苹果成熟度的计算机视觉技术检测方面，现有的yolov8提供了一种先进的计算机视觉技术，能够实现快速、准确的检测。然而，与所有技术一样，现有yolov8也存在一些不足和可优化的地方：

3、第一，现有的yolov8对于一些具有复杂背景和光照变化的图像，预处理效果会受到影响，导致后续的特征提取和分类器的性能下降。

4、第二，对于密集分布的苹果的检测，现有yolov8可能会出现一些困难。由于算法的设计原理是将目标分为较大的网格，对于一些密集分布的苹果，可能会难以准确检测和定位。这可能会对苹果成熟度的评估准确性产生一定的影响。

5、第三，现有yolov8在处理具有遮挡的苹果时也存在一些挑战。当苹果被其他物体部分遮挡时，现有的yolov8的检测精度可能会大幅下降。这主要是因为算法在特征提取和分类阶段没有考虑到遮挡对苹果的影响，因此需要进一步改进算法以增强对遮挡苹果的检测能力。

6、第四，虽然现有的yolov8在速度和准确度上有很大的提高，但是对于小目标的检测效果仍然不够理想。由于现有的yolov8使用的网络提取的特征图分辨率较低，对于较小目标的检测精度相对较低。为了解决这个问题，可以尝试使用更高分辨率的特征图或者加入特殊的小目标检测模块来提高小目标检测能力。

7、第五，现有的yolov8在分类精度方面也存在一定的局限性。虽然现有的yolov8能够实现对苹果的分类，但是对于一些具有相似特征的苹果品种，分类精度可能会受到影响。这需要进一步改进算法以提高分类的准确性。

8、第六，现有的yolo v8没有引入注意力机制，其对不同尺度和重要特征的关注可能不够充分，例如现有的yolov8主要关注苹果的形状和颜色等特征，而忽略了其他可能的特征，如苹果的纹理和质地等。在苹果成熟度检测中，特定的成熟度特征对分类和定位至关重要，需要特别关注才能提高准确性和鲁棒性。

技术实现思路

1、本发明提供了一种基于swin transformer的苹果成熟度检测方法，以解决现有基于yolo v8的苹果成熟度检测方法存在的检测准确性和精度低的问题。

2、为了达到上述目的，本发明所采用的技术方案为：

3、一种基于swin transformer的苹果成熟度检测方法，包括以下步骤：

4、步骤1、获取多个苹果图像，基于苹果的成熟度特征对各个苹果图像进行人工成熟度标注，由此得到数据集；将所述数据集划分为训练集、验证集和测试集后，再分别对训练集、验证集和测试集进行数据增强；

5、步骤2、生成改进的yolov8模型，所述改进的yolov8模型包括backbone骨干网络、neck部分、输出层，其中：

6、改进的yolov8模型中backbone骨干网络为swin transformer注意力机制模块，swin transformer注意力机制模块包括补丁partition模块、linear embeding层、偶数个不同大小并依次级联的卷积块，除第一个卷积块外其余每个卷积块分别配置有补丁merging层，其余每个卷积块分别通过补丁merging层进行下采样；swin transformer注意力机制模块中，由补丁partition模块将输入的每个苹果图像进行分块后再将每个块在通道方向展平，然后由linear embeding层对展平的通道数据做线性变换后送入第一个卷积块进行成熟度特征提取，第一个卷积块提取的成熟度特征图再依次经各个补丁merging层下采样至对应的卷积块进行成熟度特征提取，由各个卷积块提取得到不同的成熟度特征图；

7、改进的yolov8模型中neck部分为渐进特征金字塔网络afpn，由渐进特征金字塔网络afpn通过在多个尺度和特征层上应用自注意力机制，将backbone骨干网络从每个苹果图像提取得到的不同成熟度特征图进行深度融合；

8、改进的yolov8模型中输出层输出渐进特征金字塔网络afpn得到的深度融合后的特征，即为成熟度预测结果；

9、步骤3、利用步骤1得到的数据增强后的训练集对所述改进的yolov8模型进行训练，每个训练周期通过验证集调整模型的超参数，并通过测试集评估各个训练周期得到的模型的泛化性，由此得到成熟度最佳预测模型；

10、步骤4、将待检测的苹果图像输入至步骤3得到的成熟度最佳预测模型，由成熟度最佳预测模型检测得到苹果图像中各个苹果的成熟度。

11、进一步的，步骤1中，根据苹果图像中苹果的大小、颜色、形状、纹理、质地特征，将苹果图像中的苹果按完全成熟、半成熟和未成熟三类标注框进行人工成熟度标注，由此得到数据集。

12、进一步的，步骤1中进行数据增强时，基于线性变换增强对比度方法，将线性变换增强对比度方法中的对比度值参数设为随机对比度值参数，将线性变换增强对比度方法中的亮度值参数设为随机亮度值参数，采用随机函数控制随机对比度值参数和随机亮度参数，由此完成对训练集、测试集、验证集中数据的增强。

13、进一步的，步骤2中，所述渐进特征金字塔网络afpn利用自适应空间融合操作来过滤多级融合过程中的特征。

14、进一步的，步骤3中，每个训练周期的损失函数采用mpdiou损失函数。

15、针对背景技术中第一个问题，即具有复杂背景和光照变化的图像会影响预处理效果的问题，本发明通过使用图像归一化，使图像在不同光照条件下都能呈现出较好的效果，由此解决了这一问题。

16、针对背景技术中第二个问题，即对于密集分布的苹果现有的yolov8难以准确检测和定位的问题，本发明通过使用特征提取能力更强的swin transformer注意力机制模块作为改进后yolov8模型的backbone部分，来提高模型对密集目标的检测和定位能力，由此解决了这一问题。

17、针对背景技术中第三个问题，即苹果被其他物体部分遮挡时现有的yolov8的检测精度下降的问题，本发明通过使用改进后的图像对比度数据增强技术，生成带有遮挡目标的训练数据，以提高模型对遮挡目标的适应能力，由此解决了这一问题。

18、针对背景技术中第四个问题，即现有的yolov8对于小目标的检测效果不理想的问题，本发明通过通过将afpn作为特征提取部分，用于提取不同尺度的特征信息。这些特征信息可以被用于检测不同大小的目标。并提高对小目标的检测能力，由此解决了这一问题。

19、针对背景技术中第五个问题，即现有的yolov8对具有相似特征的苹果分类精度会受到影响的问题，本发明通过afpn融合两个相邻的低级别特征，并以渐近的方式将更高级别的特征纳入融合过程中，避免了非相邻级别之间的语义鸿沟。这样可以减小不同层次特征之间的语义差距，提高特征融合效果，使得对具有相似特征的苹果分类精度得到了提高，由此解决了这一问题。

20、针对背景技术中第六个问题，即现有的yolov8对不同尺度和重要特征的关注不充分的问题，本发明通过改进backbone部分，引入swin transformer注意力机制模块来提取更重要的成熟度特征，提高模型的准确率和泛化能力，由此解决了这一问题。

21、综上，本发明能够准确地识别检测出输入图像中的苹果成熟度信息及位置信息，对现实生长状态中的苹果果实进行成熟度检测及定位采摘，实现在开放场景下提高目标检测模型识别苹果成熟度的准确率以及无损定位采摘的可能性，同时降低现有yolov8模型的误检率，提高泛化性。