技术特征：
1.一种基于改进retinanet的自然果园场景下的凤梨成熟度检测方法，其特征在于，包括步骤：s1、采集自然果园场景下凤梨图像数据，经过图像预处理后，建立凤梨图像库，所述凤梨图像库包括训练数据集、验证数据集和测试数据集；s2、构建基于retinanet的网络模型结构；s3、在步骤s2得到的初步网络结构的基础上，改进retinanet，构建eca-retinanet凤梨检测网络，包括步骤：s31、将eca模块嵌入class subnet中，将特征金字塔的每层特征在分类子网络中再次进行提炼，其中所述eca模块构造包括步骤：s311、对从步骤s2中输入进来的有效特征层p3、p4、p5、p6、p7进行全局平均池化；s312、进行一个1d卷积，1d卷积的计算方法是：若输入数据维度为8，过滤器的维度为5，则卷积后输出的数据维度为4；s313、取一次sigmoid函数将值固定到0-1之间，获得输入特征层每一个通道的权值，所述权值在0和1之间；s314、将所述权值乘上原输入特征层；s32、将精炼过得到的特征图通过4次256通道的卷积和1次num_anchors
×
num_classes的卷积，num_anchors指的是该特征层所拥有的先验框数量，num_classes指的是网络一共对多少类的目标进行检测，将输出结果经过一个sigmoid函数，输出最终的凤梨成熟度分类结果；s4、导入步骤1得到的训练数据集对步骤s3中得到的eca-retinanet选择焦点损失函数来编译模型进行训练，获取检测凤梨成熟度的最优模型；s5、利用步骤1得到的测试数据集进行测试，通过eca-retinanet模型对凤梨图像进行成熟度检测。2.如权利要求1所述的所述步骤s1中所述基于改进retinanet的自然果园场景下的凤梨成熟度检测方法，其特征在于，所述采集自然果园场景下凤梨图像数据，包括步骤：拍摄者使用智能手机在4月份采集而来，分辨率为4032
×
3024；拍摄时间段分别在四天中的上午9：00-11：00、下午15：00-17：00、傍晚19：00-19：30；拍摄的天气状况包括晴天、多云、阴天和雨天；光照条件包括顺光、逆光；图片包含有枝叶、杂草以及果实重叠遮挡的复杂背景；采集而成的凤梨图像包含不同成熟度，其中包括：凤梨目呈开红紫色花的第一阶段、凤梨目呈红紫花凋谢且平的第二阶段、凤梨目呈平的第三阶段、凤梨目呈墨绿转黄色的第四阶段；所有拍摄图片格式存储为jpeg格式。3.如权利要求1或2所述的所述步骤s1中所述基于改进retinanet的自然果园场景下的凤梨成熟度检测方法，其特征在于，步骤1中所述图像预处理和建立凤梨图像库包括步骤：s11、根据人工分类后的凤梨果实图片进行凤梨数据集的建立，对每张数据集图片中的每颗凤梨样本，使用labelimg工具进行标签信息的标注，将生成标注xml文件，数据集格式为pascal voc2007格式；s12、将标注好标签的数据集按照一定比例进行随机抽取，将图像分为训练数据集、验证数据集和测试数据集，比例为8：1：1；s13、对训练集中的凤梨果实图片进行水平与垂直旋转、缩放、调整图像的亮度和对比
度进行增强扩充。4.如权利要求1所述的所述步骤s1中所述基于改进retinanet的自然果园场景下的凤梨成熟度检测方法，其特征在于，步骤s2中所述构建基于retinanet的网络模型结构，包括步骤：s21、选择resnet50作为主干特征网络，将600
×
600
×
3大小的凤梨图片传入resnet50网络；resnet50其包含conv block和identity block两个基本块；conv block的输入维度和输出维度不同，其有改变网络维度的功能，将输入图片长和宽进行压缩；identity block的输入和输出维度相同，其有加深resnet50网络深度的功能；其中需要取出长宽压缩了3次、4次、5次的结果来进行步骤s22特征金字塔结构的构造；s22、通过步骤s21获得到的特征后经过特征金字塔fpn的处理，主干特征提取网络通过步骤s21后获得3个不同感受野的特征层c3、c4、c5，通过特征金字塔fpn，获得了5个有效特征层，包括有效特征层p3、p4、p5、p6、p7，其具体内容为以下：特征层c5(19
×
19
×
2048)通过了一次步长为2，通道数为256的卷积得到有效特征层p6(19
×
19
×
256)，有效特征层p6会将图像划分为10
×
10的网格进行预测；在有效特征层p6的基础上进行一个relu激活函数的操作后，再进行一次步长为2，通道数为256的卷积得到有效特征层p7(5
×5×
256)，有效特征层p7会将图像划分为5
×
5的网格进行预测；特征层c5经过一次通道数为256的卷积，卷积后的结果有2个应用方向；其中一个方向是进行了一次通道数为256的卷积得到有效特征层p5(19
×
19
×
256)，有效特征层p5会将图像划分为19
×
19的网格进行预测；另一个应用方向是进行上采样，上采样的结果再与特征层c4(38
×
38
×
1024)进行了一次通道数为256的卷积后的结果相加；相加后的结果有2个应用方向，其中一个方向是进行一次卷积获得有效特征层p4(38
×
38
×
256)，有效特征层p4会将图像划分为38
×
38的网格进行预测；另一个应用方向是再进行一次上采样，上采样的结果再与特征层c3(75
×
75
×
512)进行了一次通道数为256的卷积后的结果相加，相加后的结果进行一次卷积获得有效特征层p3(75
×
75
×
256)，有效特征层p3会将图像划分为75
×
75的网格进行预测；s23、通过步骤s22获得了5个有效特征层，包括有效特征层p3、p4、p5、p6、p7，利用这5个有效特征层传输入class subnet分类子网层和box subnet边界框回归子网层获得预测结果；class subnet采用4次256通道的卷积和1次num_anchors
×
num_classes的卷积，num_anchors指的是该特征层所拥有的先验框数量，num_classes指的是网络一共对多少类的目标进行检测；将输出结果经过一个sigmoid函数，将预测概率固定到0-1之间；box subnet采用4次256通道的卷积和1次num_anchors
×
4的卷积，num_anchors指的是该特征层所拥有的先验框数量，4指的是先验框的调整情况。5.如权利要求1所述的所述步骤s1中所述基于改进retinanet的自然果园场景下的凤梨成熟度检测方法，其特征在于，步骤s4包括步骤：s41、将步骤s1中的格式为pascal voc2007的数据集放到指定文件夹下，准备好数据集；s42、使用resnet50的预训练权重作为步骤s3中的eca-retinanet网络的训练权重，选择焦点损失函数来编译模型进行训练，训练100个周期，同时生成所需的权值文件；
s43、将步骤s42得到的权值文件中，挑选出训练好后的最佳的模型权重参数作为最优eca-retinanet模型的权值，得出最优eca-retinanet模型。6.如权利要求5所述的所述步骤s1中所述基于改进retinanet的自然果园场景下的凤梨成熟度检测方法，其特征在于，所述步骤s42中，焦点损失函数为计算预测值(即分类与回归的结果)与真实值(数据集的标签)之间的误差，而后通过反向传播对模型中的网络参数进行更新，以最大限度的得到所期望模型能够达到的性能。7.如权利要求1所述的所述步骤s1中所述基于改进retinanet的自然果园场景下的凤梨成熟度检测方法，其特征在于，所述步骤s5包括步骤：通过测试集进行检测结果评估测试，得出该模型对凤梨成熟度检测的评价指标，其中所述评价指标包括召回率、平均精确度、f1得分、均值平均精度、fps。
技术总结
本发明公开了一种基于改进RetinaNet的自然果园场景下的凤梨成熟度检测方法，包括步骤：采集自然果园场景下凤梨图像数据，经过图像预处理后，建立凤梨图像库；构建基于RetinaNet的网络模型结构；改进RetinaNet，构建ECA-RetinaNet凤梨检测网络；导入训练数据集对ECA-RetinaNet，选择焦点损失函数来编译模型进行训练，获取检测凤梨成熟度的最优模型；利用测试集进行测试，通过ECA-RetinaNet模型对凤梨图像进行成熟度检测。本发明可以快速且准确的定位凤梨位置并且分类凤梨的成熟度，能够提供成熟凤梨分布信息，有助于合理安排劳动力，从而降低收割成本，促进精准农业的发展。促进精准农业的发展。促进精准农业的发展。
技术研发人员：陈琰 郑路璐 施德昊 赵瀚霖 李政英 薛家骏 钟洋
受保护的技术使用者：华南农业大学
技术研发日：2022.06.07
技术公布日：2022/10/4