鱼菜共生场景图像视觉问答方法、装置以及电子设备

本发明涉及农业产品，尤其涉及一种鱼菜共生场景图像视觉问答方法、装置以及电子设备。

背景技术：

1、鱼菜共生是由水产养殖和无土栽培整合发展而来的循环水养殖技术，通过加工处理工业化水产养殖中产生的污染水，实现水资源和营养物质的循环利用，有效增加农业生产产量。在我国水产养殖生产形式由粗放式向集约型转变的趋势下，鱼菜共生生产的全环节在先进技术的支撑下持续实施信息化改造，已经拥有了一定程度的智能化决策和自主化行动能力。针对我国目前鱼菜共生发展状况，对鱼菜共生系统开发全天候、全覆盖、全状态数字化管理平台，建立具有实用价值数据库和信息管理系统，推进鱼菜共生数字化资源的分类和分级管理，能够推动信息技术创新对产业的发展。因此，及时的了解鱼菜共生场景的状态信息，对于技术人员来说是非常具有必要的。

技术实现思路

1、本发明提供一种鱼菜共生场景图像视觉问答方法、装置以及电子设备，用以实现快速的获取鱼菜共生场景的状态信息，以便技术人员及时的了解鱼菜共生场景中自己所关心的信息。

2、一方面，本发明提供一种鱼菜共生场景图像视觉问答方法，包括：

3、获取鱼菜共生场景图像以及用户针对所述鱼菜共生场景图像提出的问题文本；

4、将所述场景图像和问题文本输入到预先训练好的视觉问答模型中，得到所述问题文本的回答信息；所述视觉问答模型用于根据问题文本从所述场景图像中提取对应的回答信息；

5、将所述回答信息反馈对应用户。

6、根据本发明提供的一种鱼菜共生场景图像视觉问答方法，在将所述场景图像和问题文本输入到预先训练好的视觉问答模型中之前还包括：

7、对所述场景图像和问题文本进行预处理，使得所述场景图像和问题文本满足所述视觉问答模型的输入要求。

8、根据本发明提供的一种鱼菜共生场景图像视觉问答方法，所述对所述场景图像和问题文本进行预处理包括：

9、将所述场景图像转换为预设大小和/或预设格式的图像；

10、去除所述问题文本中的空格符号和/或将所述问题文本中的文字格式转换成简体中文。

11、根据本发明提供的一种鱼菜共生场景图像视觉问答方法，还包括：

12、预先获取多组鱼菜共生场景图像以及对应的问题文本和回答信息；

13、对所述场景图像、问题文本和回答信息进行预处理后，以组成训练数据集；

14、采用所述训练数据集对初始视觉问答模型进行训练，得到所述训练好的视觉问答模型。

15、根据本发明提供的一种鱼菜共生场景图像视觉问答方法，还包括：

16、预先获取多组鱼菜共生场景图像以及对应的问题文本和回答信息；

17、对所述场景图像、问题文本和回答信息进行预处理后，以组成验证数据集；

18、采用所述验证数据集对训练完成的初始视觉问答模型进行验证，得到所述训练好的视觉问答模型。

19、根据本发明提供的一种鱼菜共生场景图像视觉问答方法，所述采用所述训练数据集对初始视觉问答模型进行训练，得到所述训练好的视觉问答模型包括：

20、将所述训练数据集输入到所述初始视觉问答模型中；

21、所述初始视觉问答模型根据所述训练数据集中的场景图像生成第一图像特征向量，并根据所述训练数据集中的问题文本和回答信息生成第一文本特征向量；

22、计算所述第一图像特征向量和第一文本特征向量之间的余弦相似度；

23、采用预设的目标函数根据所述余弦相似度将所述第一图像特征向量和第一文本特征向量对应；

24、采用梯度下降优化算法收敛所述初始视觉问答模型，直到找到使得所述目标函数最小的权重值，则确定所述初始视觉问答模型训练完成。

25、根据本发明提供的一种鱼菜共生场景图像视觉问答方法，所述将所述场景图像和问题文本输入到预先训练好的视觉问答模型中，得到所述问题文本的回答信息包括：

26、所述视觉问答模型对所述场景图像进行特征提取，并将提取的特征编码成固定长度的第二图像特征向量；

27、采用所述视觉问答模型中预先训练好的特征提取分类模块对所述问题文本进行特征提取和问题分类，得到所述问题文本的问题类型；

28、根据所述问题文本以及其对应的问题类型，依据所述场景图像中提取的特征生成至少一个候选答案；

29、将所述问题文本和对应的候选答案进行拼接，并根据拼接后的文本生成第二文本特征向量；

30、获取所述第一图像特征向量和第二文本特征向量之间的余弦相似度；

31、确定和所述第一图像特征向量之间余弦相似度最大的第二文本特征向量作为目标答案特征向量；

32、根据所述目标答案特征向量获取所述回答信息。

33、根据本发明提供的一种鱼菜共生场景图像视觉问答方法，所述采用所述视觉问答模型中预先训练好的特征提取分类模块对所述问题文本进行特征提取和问题分类，得到所述问题文本的问题类型包括：

34、采用预先训练好的特征提取分类模块提取所述问题文本中的问题信息，根据所述问题信息确定所述问题文本的问题类型；

35、所述问题类型包括：是否存在类、简单计数类、空间关系类、目标识别类、关系推理类。

36、另一方面，本发明还提供一种鱼菜共生场景图像视觉问答装置，包括：

37、获取模块，用于获取鱼菜共生场景图像以及用户针对所述鱼菜共生场景图像提出的问题文本；

38、处理模块，用于将所述场景图像和问题文本输入到预先训练好的视觉问答模型中，得到所述问题文本的回答信息；所述视觉问答模型用于根据问题文本从所述场景图像中提取对应的回答信息；

39、反馈模块，用于将所述回答信息反馈对应用户。

40、另一方面，本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述鱼菜共生场景图像视觉问答方法。

41、另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述鱼菜共生场景图像视觉问答方法。

42、另一方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述鱼菜共生场景图像视觉问答方法。

43、本发明提供的鱼菜共生场景图像视觉问答方法，首先获取鱼菜共生场景图像以及用户针对鱼菜共生场景图像提出的问题文本；将场景图像和问题文本输入到预先训练好的视觉问答模型中，得到问题文本的回答信息，将回答信息反馈对应用户，以便技术人员及时的了解所关注的鱼菜共生场景的信息，以对鱼菜共生场景进行科学的管理。

技术特征：

1.一种鱼菜共生场景图像视觉问答方法，其特征在于，包括：

2.根据权利要求1所述的鱼菜共生场景图像视觉问答方法，其特征在于，在将所述场景图像和问题文本输入到预先训练好的视觉问答模型中之前还包括：

3.根据权利要求2所述的鱼菜共生场景图像视觉问答方法，其特征在于，所述对所述场景图像和问题文本进行预处理包括：

4.根据权利要求1所述的鱼菜共生场景图像视觉问答方法，其特征在于，还包括：

5.根据权利要求4所述的鱼菜共生场景图像视觉问答方法，其特征在于，还包括：

6.根据权利要求4所述的鱼菜共生场景图像视觉问答方法，其特征在于，所述采用所述训练数据集对初始视觉问答模型进行训练，得到所述训练好的视觉问答模型包括：

7.根据权利要求6所述的鱼菜共生场景图像视觉问答方法，其特征在于，所述将所述场景图像和问题文本输入到预先训练好的视觉问答模型中，得到所述问题文本的回答信息包括：

8.根据权利要求7所述的鱼菜共生场景图像视觉问答方法，其特征在于，所述采用所述视觉问答模型中预先训练好的特征提取分类模块对所述问题文本进行特征提取和问题分类，得到所述问题文本的问题类型包括：

9.一种鱼菜共生场景图像视觉问答装置，其特征在于，包括：

10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述鱼菜共生场景图像视觉问答方法。

11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述鱼菜共生场景图像视觉问答方法。

12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述鱼菜共生场景图像视觉问答方法。

技术总结
本发明涉及农业产品技术领域，尤其涉及一种鱼菜共生场景图像视觉问答方法、装置以及电子设备。其中，鱼菜共生场景图像视觉问答方法包括：首先获取鱼菜共生场景图像以及用户针对鱼菜共生场景图像提出的问题文本；将场景图像和问题文本输入到预先训练好的视觉问答模型中，得到问题文本的回答信息，将回答信息反馈对应用户，以便技术人员及时的了解所关注的鱼菜共生场景的信息，以对鱼菜共生场景进行科学的管理。

技术研发人员：陈英义,杨天,李道亮,于辉辉,孙博洋,刘慧慧,梅玉鹏,徐玲,秦瀚翔,柴莹倩,闫霓
受保护的技术使用者：中国农业大学
技术研发日：
技术公布日：2024/3/11