基于成对特征学习的细粒度植物品种识别方法

本发明属于植物品种，更为具体地讲，涉及一种基于成对特征学习的细粒度植物品种识别方法。

背景技术：

1、植物品种鉴别都是品种产权保护和新品种培育研究中十分感兴趣的领域。传统方法鉴别植物品种要求育种者拥有专业的育种知识和丰富的经验，具有门槛高、效率低和不稳定的准确率等缺点。数十年来，为了鉴别植物品种，植物品种鉴定领域出现了多种不同的分子标记方法，这些方法往往涉及复杂的实验操作步骤，需要一定的专业技能水平，实验耗时，如农民等普通农业工作者，几乎无法使用。所以，我们亟需一种简单、快捷且准确的植物品种鉴别方法。

2、叶片在植物学家识别植物的物种时起到了重要的作用，使用计算机视觉的方法从叶片图片中提取叶片的特征来对叶片进行分类是一个理想的方法。一方面植物叶片的形状、纹理和叶脉特征相比较植物的其他部分来说更加持久且好辨别，已经在植物分类学和植物物种鉴定中广泛运用。另一方面，经过训练的端到端计算机视觉模型可以快速并准确的分类目标图像，使用者无序知晓其内部的执行原理即可简单快捷的获得分类结果。

3、到目前为止已经报道了很多基于叶片分类的计算机视觉的植物品种分类软件和算法，price,c.a等人,de vylder,j等人和zhou,j等人发明的算法通过构建植物叶片的形态表型来识别叶片。还有一些方法通过将叶片的形状,脉络和纹理特征单独进行使用,例如wang,b等人就通过提取叶片的形状特征对不同物种的叶片进行分类,取得了不错的效果。naresh,y等人通过提取叶片的纹理特征对叶片进行分类。此外,有很多人尝试使用深度学习对叶片进行分类。lee等人使用卷积神经网络学习叶片的原始图像进行叶片图像识别。tan等人通过将多个预训练的cnn网络进组合作为特征提取器,提出了一个有效的植物叶片图像识别模型。然而,尽管大多数的研究在对植物的物种分类上取得了很大的进展，但是他们提出的软件和算法在对同一物种(species)的不同品种进行分类时，难以捕捉到不同品种之间叶片特征的细微差异，其性能难以让人满意。

4、最近，zhang,y等人提出一种名为mfcis的多尺度特征提取的深度学习叶片分类方法，方法通过提取叶片的形状、脉络和纹理特征并连接，将连接后的特征输入一个全连接层完成分类。但是该模型分类准确率不够，且模型泛化性差，且面对随着生长周期形状变化的植物叶片时，需要针对每一个生长周期单独训练网络。h.tavakoli等人提出一种提取叶片灰度图像的像素强度特征的特征提取方法，将特征输入神经网络进行分类，并在大豆叶片数据集上进行实验，虽然文章提出了新颖的特征提取方法，但在分类的准确率上难以让人满意。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种基于成对特征学习的细粒度植物品种识别方法，通过成对特征学习网络学习同类叶片之间的相似特征和不同类叶片的差异特征，以比较叶片之间的细微差异，从而提高植物品种识别的准确率。

2、为了实现上述发明目的，本发明基于成对特征学习的细粒度植物品种识别方法包括以下步骤：

3、s1：根据实际情况采集若干植物的叶片图像样本，并对每个叶片图像样本标注其植物品种，从而得到训练样本集；

4、s2：根据实际情况构建植物品种识别模型，包括特征提取模块和分类模块，特征提取模块用于对叶片图像进行特征提取得到叶片特征，分类模块用于根据叶片特征得到分类结果；

5、s3：在植物品种识别模型的特征提取模块和分类模块之间设置互注意力学习模块，从而构建得到成对特征学习网络；对于训练样本集中的训练样本i，从其同类样本中筛选正样本is，从其不同类样本中筛选负样本id，然后分别输入特征提取模块得到对应的训练样本特征x、正样本特征xs、负样本特征xd，将训练样本特征x、正样本特征xs、负样本特征xd输入互注意力学习模块，提取训练样本特征x和正样本特征xs之间的互注意力、训练样本特征x和负样本特征xd之间的互注意力并根据互注意力将三个特征融合，得到特征x′并输入分类模块得到分类结果；

6、s4：采用训练样本集对成对特征学习网络进行训练，其中每个批次训练样本采用如下方法进行选择：

7、在训练样本集所有类别中随机选择n个类别，每个类别随机选择k个训练样本，然后将这n×k个训练样本分别输入当前特征提取模块，得到每个训练样本的特征；对于每个训练样本，从该训练样本的同类样本中筛选出与特征相似度最大的作为正样本，从该训练样本的不同类样本中筛选出与特征相似度最小的作为负样本；

8、然后从训练好的成对特征学习网络中提取特征提取模块和分类模块，构成训练好的植物品种识别模型；

9、s5：将待识别叶片图像输入训练好的植物品种识别模型，得到识别结果。

10、本发明基于卷积神经网络的细粒度植物品种识别方法，构建植物品种识别模型，包括特征提取模块和分类模块，特征提取模块和分类模块之间设置互注意力学习模块，从而构建得到成对特征学习网络，采用训练样本集对成对特征学习网络进行训练，然后从训练好的成对特征学习网络中提取特征提取模块和分类模块，构成训练好的植物品种识别模型，将待识别叶片图像输入训练好的植物品种识别模型，得到识别结果。

11、本发明具有以下有益效果：

12、1)本发明通过成对特征对比学习，充分提取同类叶片图像的共性特征和不同类叶片图像之间的差异特征，从而提高植物品种识别的准确率；

13、2)本发明在不同品种分类叶片数据集上都可以取得良好的效果，泛化性好；

14、3)本发明是端到端模型，无复杂的预处理步骤和训练处理过程，方便使用。

技术特征：

1.一种基于成对特征学习的细粒度植物品种识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的细粒度植物品种识别方法，其特征在于，所述步骤s2中特征提取模块包括下采样模块，下采样图像卷积神经网络，中心裁剪模块，中心图像卷积神经网络和特征拼接模块，其中：

3.根据权利要求1所述的细粒度植物品种识别方法，其特征在于，所述步骤s3中互注意力学习模块包括正样本特征强化模块，正样本多层感知机，正样本sigmoid模块，负样本特征强化模块，负样本多层感知机，负样本sigmoid模块和特征融合模块，其中：

技术总结
本发明公开了一种基于成对特征学习的细粒度植物品种识别方法，构建植物品种识别模型，包括特征提取模块和分类模块，特征提取模块和分类模块之间设置互注意力学习模块，从而构建得到成对特征学习网络，采用训练样本集对成对特征学习网络进行训练，然后从训练好的成对特征学习网络中提取特征提取模块和分类模块，构成训练好的植物品种识别模型，将待识别叶片图像输入训练好的植物品种识别模型，得到识别结果。本发明通过成对特征学习网络学习同类叶片之间的相似特征和不同类叶片的差异特征，以比较叶片之间的细微差异，从而提高植物品种识别的准确率。

技术研发人员：韦平,黄定力,周维,巫思杏
受保护的技术使用者：云南大学
技术研发日：
技术公布日：2024/4/8