农作物识别方法、模型训练方法、设备和介质与流程

本发明涉及图像识别，尤其是涉及一种农作物识别方法、模型训练方法、设备和介质。

背景技术：

1、农作物分类识别是一种基于图像处理和模式识别技术的方法，旨在准确地识别和分类不同类型的农作物。机器学习技术在农作物分类识别中发挥着重要作用。常见的机器学习算法包括支持向量机(svm)、人工神经网络(ann)和随机森林(random forest)等。这些算法可以根据输入的特征向量对图像进行分类，并输出相应的农作物类别。

2、但现有的模型都是基于局限的样本进行训练，而在训练完成后又只能对这些局限的样本所对应的类别进行识别分类。但由于农作物的类别是不断增多的，如何在同一个模型中，保证可识别的农作物准确度基本不变的前提下，具备识别新的农作物的能力就显得尤为重要。

技术实现思路

1、基于此，有必要提供设备的农作物识别方法、模型训练方法、设备和介质，以解决现有模型不具备自适应扩充识别的问题。

2、一种农作物识别模型的训练方法，所述农作物识别模型包括依次连接的基础特征提取网络、设置n个分支的门控式网络和设置n个农作物预测单元的农作物预测网络，所述基础特征提取网络与所述n个分支分别连接，一个分支与一个农作物预测单元连接,n为农作物的扩充识别总数；

3、所述方法包括：

4、获取多张带有农作物标签的农作物训练图像；其中，农作物标签用于指示对应农作物训练图像中农作物的实际类别，农作物标签包含c类；

5、随机将c类实际类别的农作物训练图像分别输入所述基础特征提取网络，获取所述基础特征提取网络输出的c类实际类别的基础特征向量；其中，1≤c≤c；

6、将c类实际类别的基础特征向量输入所述门控式网络，获取所述门控式网络在目标分支输出的分支输出向量；其中，n个分支中包含c个可预测分支和a个扩充预测分支,n＝c+a,所述c个可预测分支中包括c个当前预测分支和b个当前未预测分支，c＝c+b,所述目标分支为所述c个当前预测分支中的任意一个；

7、将目标分支输出的分支输出向量输入所述农作物预测网络中的目标农作物预测单元，获取所述目标农作物预测单元输出的目标预测类别的概率，以得到c类预测类别的概率；其中，所述目标农作物预测单元与所述目标分支连接；

8、根据c类实际类别和c类预测类别的概率计算总损失值，根据所述总损失值调整所述农作物识别模型的参数，若所述农作物识别模型未收敛，返回执行所述随机将c类实际类别的农作物训练图像分别输入所述基础特征提取网络，获取所述基础特征提取网络输出的c类实际类别的基础特征向量步骤及后续步骤，直至所述农作物识别模型收敛。

9、在其中一个实施例中，所述基础特征提取网络包括依次连接的i个基础特征提取单元和全连接层，所述随机将c类实际类别的农作物训练图像分别输入所述基础特征提取网络，获取所述基础特征提取网络输出的c类实际类别的基础特征向量，包括：

10、将第(i-1)层特征图输入至所述基础特征提取网络中的第i个基础特征提取单元，得到第i层特征图；其中，1≤i≤i，当i＝1时，第(i-1)层特征图为目标农作物训练图像，所述目标农作物训练图像为c类实际类别的农作物训练图像中的任意一张图像；

11、通过全连接层将输出的第i层特征图转换为所述目标农作物训练图像的基础特征向量并输出，以得到c类实际类别的基础特征向量。

12、在其中一个实施例中，一个分支包含一个连接的全连接层和带有分支序号的门控式开关，不同分支的分支序号不同，当前预测分支的分支序号在1-c之间，所述将c类实际类别的基础特征向量输入所述门控式网络，获取所述门控式网络在目标分支输出的分支输出向量，包括：

13、当一个基础特征向量输入所述目标分支时，通过所述目标分支的全连接层将输入的基础特征向量转换为中间特征向量；其中，所述中间特征向量携带有农作物标签，用于指示所述中间特征向量的实际类别；

14、将所述中间特征向量输入连接的门控式开关，并判断当前输入的中间特征向量的实际类别是否与所述目标分支的分支序号对应；

15、若当前输入的中间特征向量的实际类别与所述目标分支的分支序号不对应，则控制所述目标分支的门控式开关关闭；

16、若当前输入的中间特征向量的实际类别与所述目标分支的分支序号对应，则控制所述目标分支的门控式开关开启，并将当前输入的中间特征向量作为目标分支输出的分支输出向量。

17、在其中一个实施例中，所述农作物预测单元包括依次连接的输入层、多层隐藏层和输出层，所述将目标分支输出的分支输出向量输入所述农作物预测网络中的目标农作物预测单元，获取所述目标农作物预测单元输出的目标预测类别的概率，包括：

18、将目标分支输出的分支输出向量输入所述目标农作物预测单元的输入层，获取输出的初始特征向量；

19、将第(i-1)个特征向量输入第i个隐藏层，得到第i特征向量；其中，1≤i≤h，h为隐藏层的数量，当i＝1时，第(i-1)个特征向量为所述初始特征向量；

20、通过所述输出层内的激活函数将第h个特征向量转换为所述目标预测类别的概率并输出。

21、在其中一个实施例中，所述总损失值的计算公式为：

22、

23、上式中，loss_l1指示农作物的类别损失值；p(zi)指示第i预测类别的概率；t(xi)指示第i类实际类别，对应的概率值为1。

24、在其中一个实施例中，农作物标签还用于指示对应农作物训练图像中农作物的生成周期，所述根据c类实际类别和c类预测类别的概率计算总损失值，包括：

25、根据c类实际类别和c类预测类别的概率计算农作物的类别损失值；

26、根据同一类别下不同生长周期的分支输出向量计算生长周期损失值；其中，不同生长周期的分支输出向量携带有不同生成周期的农作物标签；

27、将所述类别损失值与所述生长周期损失值的和作为所述总损失值。

28、在其中一个实施例中，所述总损失值的计算公式为：

29、

30、上式中，loss_l1指示农作物的类别损失值；lcon指示生长周期损失值；p(zi)指示第i预测类别的概率；t(xi)指示第i类实际类别，对应的概率值为1；指示第i预测类别第a生长周期的分支输出向量，指示第i预测类别第b生长周期的分支输出向量；指示第i预测类别第a生长周期的概率；指示第i预测类别第b生长周期的概率。

31、一种农作物识别方法，应用于上述农作物识别模型的训练方法训练得到的农作物识别模型，所述方法包括：

32、获取农作物待测图像，将所述农作物待测图像输入所述基础特征提取网络，获取所述基础特征提取网络输出的所述农作物待测图像的基础特征向量；

33、将所述农作物待测图像的基础特征向量输入所述门控式网络的c个可预测分支中，获取输出的c个分支输出向量；其中，c个可预测分支在当前均开启；

34、将输出的c个分支输出向量输入所述农作物预测网络中，获取输出的c个预测类别的概率；

35、若存在至少一个预测类别的概率大于预设的概率阈值，则将c个预测类别的概率中的最大值所对应的预测类别作为所述农作物待测图像的预测结果；

36、若c个预测类别的概率均小于预设的概率阈值，则判定所述农作物待测图像中的农作物为新品种。

37、一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述农作物识别模型的训练方法及农作物识别方法的步骤。

38、一种农作物识别设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述农作物识别模型的训练方法及农作物识别方法的步骤。

39、本发明提供了农作物识别方法、模型训练方法、设备和介质，在模型设计上我们除了设计c个可预测分支和对应的c个农作物预测单元外，还额外增设a个扩充预测分支和对应的a个农作物预测单元用于后续扩充训练，使得农作物识别模型能自适应性新物种的特征信息。且在每次迭代训练时，随机改变输入基础特征提取网络的实际类别c的数量，并配合自适应类别长度的门控式网络和农作物预测网络进行预测及调参，这样便能够让农作物识别模型在训练阶段就适应对新增物种进行识别的情况，降低因扩增模型识别种类需要重新训练对原有农作物识别准确度的影响，提升整体农作物识别的准确度。在实际进行识别时，将农作物待测图像输入收敛的农作物识别模型中，就能得到预测结果；或得到判定农作物待测图像中的农作物为新品种的结果，此时还可进一步对农作物识别模型进行扩充训练。