作物病虫害识别方法、装置、设备及介质

本发明涉及人工智能，尤其涉及作物病虫害识别方法、装置、设备及介质。

背景技术：

1、病虫害会对作物的产量造成重大影响，农业病虫害防治需要及时准确地识别病虫害类型，从而快速定位到科学的处理方案。而目前作物病虫害的识别依赖于有专业经验的人士根据实地观察到的作物情况进行判断，效率低。

技术实现思路

1、本发明提供作物病虫害识别方法、装置、设备及介质，用以解决现有技术需要人工识别病虫害，效率低的缺陷，实现高效率识别病虫害的效果。

2、本发明提供一种作物病虫害识别方法，包括：

3、获取待识别作物的图像序列，其中，所述图像序列中包括多张按时间顺序排列的所述待识别作物的图像；

4、对所述图像序列进行关键帧提取，得到关键帧，基于所述关键帧和已训练的图像特征提取模型，确定参考图像；

5、将所述关键帧和所述参考图像分别输入至目标检测模型中，获取所述目标检测模型输出的所述关键帧和所述参考图像中的目标检测结果，所述目标检测结果反映所述关键帧和所述参考图像中作物的叶片、茎以及果实；

6、基于所述图像序列、所述关键帧、所述参考图像、所述目标检测结果和已训练的图像处理模型，获取所述待识别作物的病虫害识别结果，其中，所述病虫害识别结果包括所述待识别作物的生长阶段以及病虫害类型；

7、其中，所述图像特征提取模型是基于多组第一样本训练对和多组第二样本训练对训练得到的，所述第一样本训练对中包括第一训练图像和第二训练图像，所述第一训练图像为存在病虫害的作物的图像，所述第二训练图像为不存在病虫害的作物的图像，所述第二样本训练对中包括第三训练图像和第四训练图像，所述第三训练图像和所述第四训练图像均为存在病虫害的作物的图像，所述第三训练图像和所述第四训练图像对应的病虫害不同。

8、根据本发明提供的一种作物病虫害识别方法，所述图像处理模型包括第一特征提取模块、第二特征提取模块、融合模块、生长阶段预测模块和病虫害类型预测模块；所述基于所述图像序列、所述关键帧、所述参考图像、所述目标检测结果和已训练的图像处理模型，获取所述待识别作物的病虫害识别结果，包括：

9、将所述图像序列输入至所述第一特征提取模块中，获取所述第一特征提取模块输出的作物变化特征，将所述作物变化特征输入至所述生长阶段预测模块，获取所述生长阶段预测模块输出的所述待识别作物的生长阶段；

10、生成第一对比图像对、第二对比图像对和第三对比图像对，所述第一对比图像对中包括所述关键帧的叶片区域图像和所述参考图像中的叶片区域图像，所述第二对比图像对中包括所述关键帧的茎区域图像和所述参考图像中的茎区域图像，所述第三对比图像对中包括所述关键帧的果实区域图像和所述参考图像中的果实区域图像；

11、将所述第一对比图像对、所述第二对比图像对和所述第三对比图像对输入至所述第二特征提取模块中，获取所述第二特征提取模块输出的病虫害状态特征；

12、将所述作物变化特征和所述病虫害状态特征输入至所述融合模块中，获取所述融合模块输出的融合特征；

13、将所述融合特征输入至所述病虫害类型预测模块，获取所述病虫害类型预测模块输出的所述病虫害类型。

14、根据本发明提供的一种作物病虫害识别方法，所述基于所述关键帧和已训练的图像特征提取模型，确定参考图像，包括：

15、基于所述待识别作物的生长阶段，在预设的参考图像库中确定候选图像集，所述候选图像集中的图像对应的生长阶段与所述待识别作物的生长阶段一致；

16、将所述关键帧输入至所述图像特征提取模型中，获取所述图像特征提取模型输出的关键帧特征；

17、将所述关键帧特征与所述候选图像集中的各个图像对应的图像特征进行匹配，基于匹配结果确定所述参考图像；

18、其中，所述候选图像集中的各个图像对应的所述图像特征是将所述候选图像集中的图像输入至所述图像特征提取模型中得到的。

19、根据本发明提供的一种作物病虫害识别方法，所述图像特征提取模型的训练过程包括：

20、将所述第一样本训练对中的图像分别输入至所述图像特征提取模型，获取所述图像特征提取模型输出的第一训练图像特征和第二训练图像特征；

21、将所述第二样本训练对中的图像分别输入至所述图像特征提取模型，获取所述图像特征提取模型输出的第三训练图像特征和第四训练图像特征；

22、基于所述第一训练图像特征和所述第二训练图像特征得到第一损失，所述第一损失与样本相似度正相关，所述样本相似度为第一相似度和第二相似度之间的相似度，所述第一相似度为所述第一训练图像和所述第二训练图像之间的相似度，所述第二相似度为所述第一训练图像特征和所述第二训练图像特征之间的相似度；

23、基于所述第三训练图像特征和所述第四训练图像特征得到第二损失，所述第三训练图像特征和所述第四训练图像特征之间的相似度与所述第二损失负相关；

24、基于所述第一损失和所述第二损失更新所述图像特征提取模型。

25、根据本发明提供的一种作物病虫害识别方法，所述图像处理模型的训练过程包括：

26、基于多组第一数据训练所述第一特征提取模块和生长阶段预测模块，其中，每组所述第一数据包括第一样本图像序列和所述第一样本图像序列对应的生长阶段标签，所述第一样本图像序列为对有病虫害的作物或无病虫害的作物进行图像采集得到；

27、将训练后的所述第一特征提取模块和所述生长阶段预测模块加入至所述图像处理模型；

28、基于多组第二数据训练所述图像处理模型，其中，每组所述第二数据包括第二样本图像序列、样本目标检测结果和所述第二样本图像序列对应的病虫害类型标签。

29、根据本发明提供的一种作物病虫害识别方法，所述获取所述待识别作物的病虫害识别结果之后，所述方法包括：

30、根据所述病虫害识别结果生成问题文本；

31、将所述问题文本输入至已训练的大语言模型中，获取所述大语言模型输出的病虫害防治措施；所述大语言模型的训练过程包括：

32、基于第一数据集对所述大语言模型进行预训练，所述第一数据集中包括多个训练语料，所述训练语料涉及病虫害防治知识；

33、基于第二数据集训练奖励模型，所述第二数据集中包括第一样本问题以及所述第一样本问题对应的答案标签；

34、基于第三数据集和已训练的所述奖励模型对已进行预训练的大语言模型进行再次训练，得到所述已训练的大语言模型，所述第三数据集包括第二样本问题。

35、根据本发明提供的一种作物病虫害识别方法，所述基于第一数据集对所述大语言模型进行预训练，包括：

36、将所述训练语料中的前n个句子输入至所述大语言模型中，获取所述大语言模型输出的预测句子，基于所述预测句子和所述训练语料中的第n+1个句子，更新所述大语言模型；和/或，

37、随机遮罩所述训练语料中的目标词，将遮罩后的所述训练语料输入至所述大语言模型中，获取所述大语言模型输出的预测词，基于所述预测词和所述目标词，更新所述大语言模型。

38、本发明还提供一种作物病虫害识别装置，包括：

39、图像获取模块，用于获取待识别作物的图像序列，其中，所述图像序列中包括多张按时间顺序排列的所述待识别作物的图像；

40、关键帧提取模块，用于对所述图像序列进行关键帧提取，得到关键帧，基于所述关键帧和已训练的图像特征提取模型，确定参考图像；

41、目标检测模块，用于将所述关键帧和所述参考图像分别输入至目标检测模型中，获取所述目标检测模型输出的所述关键帧和所述参考图像中的目标检测结果，所述目标检测结果反映所述关键帧和所述参考图像中作物的叶片、茎以及果实；

42、识别模块，用于基于所述图像序列、所述关键帧、所述参考图像、所述目标检测结果和已训练的图像处理模型，获取所述待识别作物的病虫害识别结果，其中，所述病虫害识别结果包括所述待识别作物的生长阶段以及病虫害类型；

43、其中，所述图像特征提取模型是基于多组第一样本训练对和多组第二样本训练对训练得到的，所述第一样本训练对中包括第一训练图像和第二训练图像，所述第一训练图像为存在病虫害的作物的图像，所述第二训练图像为不存在病虫害的作物的图像，所述第二样本训练对中包括第三训练图像和第四训练图像，所述第三训练图像和所述第四训练图像均为存在病虫害的作物的图像，所述第三训练图像和所述第四训练图像对应的病虫害不同。

44、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述作物病虫害识别方法。

45、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述作物病虫害识别方法。

46、本发明提供的作物病虫害识别方法、装置、设备及介质，获取待识别作物的图像序列，对图像序列进行关键帧提取，得到关键帧，基于所述关键帧和已训练的图像特征提取模型，确定参考图像，对关键帧和参考图像进行目标检测，得到包括关键帧和参考图像中作物的叶片、茎以及果实的目标检测结果，基于图像序列、关键帧、参考图像、目标检测结果和已训练的图像处理模型，通过图像处理模型提取目标检测结果以及图像序列中关于病虫害的特征，输出病虫害识别结果，实现了作物病虫害的自动智能识别，不需要人工，提升作物病虫害识别效率。