图像分析方法、装置、存储介质、电子设备及产品与流程

本技术涉及人工智能，具体涉及一种图像分析方法、装置、存储介质、电子设备及产品。

背景技术：

1、图像分析工作中通常存在图像描述任务和图像问答任务，图像描述任务即基于图像生成图像描述的任务，图像问答任务即基于图像生成问答答案或回答问题的任务。

2、目前，图像描述任务和图像问答任务通常需要分别基于对应的任务的模型进行，完成图像描述任务和图像问答任务的两个模型是相互独立的，即每个模型只能完成一种任务。目前的方式下，一方面，存在图像分析成本较高的问题，另一方面，图像描述任务和图像问答任务的分析结果的准确性有限。

技术实现思路

1、本技术实施例提供一种图像分析方法及相关装置，可以有效降低图像分析成本且提升图像描述任务和图像问答任务的分析结果的准确性。

2、为解决上述技术问题，本技术实施例提供以下技术方案：

3、根据本技术的一个实施例，一种图像分析方法，该方法包括：获取待分析图像及所述待分析图像对应的任务信息，所述任务信息包括图像描述任务对应的描述任务信息以及图像问答任务对应的问答任务信息中至少一种；将所述待分析图像及所述任务信息输入图像分析模型进行分析处理，得到分析结果，所述分析结果包括图像描述信息及图像问答信息中至少一种，其中，所述图像分析模型为采用图像样本及对应的预处理描述数据与预处理问答数据进行多任务联合训练得到的，所述预处理描述数据为对图像描述数据添加图像描述任务标识得到的，所述预处理问答数据为对图像问答数据添加图像问答任务标识得到的。

4、根据本技术的一个实施例，一种图像分析装置，其包括：获取模块，用于获取待分析图像及所述待分析图像对应的任务信息，所述任务信息包括图像描述任务对应的描述任务信息以及图像问答任务对应的问答任务信息中至少一种；分析模块，用于将所述待分析图像及所述任务信息输入图像分析模型进行分析处理，得到分析结果，所述分析结果包括图像描述信息及图像问答信息中至少一种，其中，所述图像分析模型为采用图像样本及对应的预处理描述数据与预处理问答数据进行多任务联合训练得到的，所述预处理描述数据为对图像描述数据添加图像描述任务标识得到的，所述预处理问答数据为对图像问答数据添加图像问答任务标识得到的。

5、在本技术的一些实施例中，所述装置还包括训练模块，用于：获取图像样本及所述图像样本对应的图像描述数据及图像问答数据；对所述图像描述数据添加图像描述任务标识，得到预处理描述数据；对所述图像问答数据添加图像问答任务标识，得到预处理问答数据；采用所述图像样本、所述预处理描述数据及所述预处理问答数据，对预训练模型进行多任务联合训练，直至符合预定条件，得到所述图像分析模型。

6、在本技术的一些实施例中，所述训练模块，用于：将所述图像样本、所述预处理描述数据及所述预处理问答数据输入所述预训练模型，以获得所述预训练模型中执行图像描述任务对应的描述任务损失函数及执行图像问答任务对应的问答任务损失函数；将所述描述任务损失函数及所述问答任务损失函数，通过待学习权重进行加权相加，得到多任务损失函数；对所述多任务损失函数进行优化，以联合优化所述描述任务损失函数、所述问答任务损失函数及所述待学习权重，直至符合预定条件，得到优化后模型参数；将所述优化后模型参数应用至所述预训练模型，得到所述图像分析模型。

7、在本技术的一些实施例中，所述训练模块，用于：将所述描述任务损失函数及所述问答任务损失函数通过待学习权重进行加权相加，得到加权损失函数；基于模型参数，得到正则化项，所述模型参数包括所述描述任务损失函数对应的模型参数及所述问答任务损失函数对应的模型参数；将所述加权损失函数及所述正则化项相加，得到所述多任务损失函数。

8、在本技术的一些实施例中，所述图像问答任务包括图像问题回答子任务及图像问题生成子任务中至少一种，问答任务损失函数包括所述图像问题回答子任务对应的回答子任务损失函数及所述图像问题生成子任务对应的生成子任务损失函数；所述训练模块，用于：将所述描述任务损失函数、所述回答子任务损失函数及所述生成子任务损失函数通过待学习权重进行加权相加，得到所述加权损失函数。

9、在本技术的一些实施例中，所述预训练模型中包括视觉特征提取单元、第一文本提取单元及第二文本提取单元；所述训练模块，用于：将所述图像样本、所述预处理描述数据及所述预处理问答数据输入所述预训练模型；通过视觉特征提取单元，对所述图像样本进行视觉特征提取，得到样本视觉向量；通过第一文本提取单元，基于所述样本视觉向量及所述预处理描述数据进行文本特征提取，得到第一文本向量，并基于所述第一任务向量得到图像描述任务的预测描述信息；通过第二文本提取单元，基于所述样本视觉向量及所述预处理问答数据进行文本特征提取，得到第二文本向量，并基于所述第二任务向量得到图像问答任务的预测问答信息；基于所述预测描述信息计算描述任务损失函数，并基于所述预测问答信息计算问答任务损失函数。

10、在本技术的一些实施例中，所述分析模块，用于：将所述待分析图像及所述任务信息输入图像分析模型；若所述任务信息为图像描述任务对应的描述任务信息，所述图像分析模型执行图像描述任务，得到图像描述信息；若所述任务信息为图像问答任务对应的问答任务信息，所述图像分析模型执行图像问答任务，得到图像问答信息。

11、在本技术的一些实施例中，所述图像问答任务包括图像问题回答子任务及图像问题生成子任务中至少一种，所述问答任务信息包括图像问题回答子任务对应的回答任务信息及图像问题生成子任务对应的生成任务信息；所述分析模块，用于：若所述问答任务信息为回答任务信息，所述图像分析模型执行图像问题回答子任务，得到图像问题答案；若所述问答任务信息为生成任务信息，所述图像分析模型执行图像问题生成子任务，得到图像问题及图像问题答案。

12、根据本技术的另一实施例，一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行本技术实施例所述的方法。

13、根据本技术的另一实施例，一种电子设备，包括：存储器，存储有计算机程序；处理器，读取存储器存储的计算机程序，以执行本技术实施例所述的方法。

14、根据本技术的另一实施例，一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本技术实施例所述的各种可选实现方式中提供的方法。

15、本技术实施例中，获取待分析图像及所述待分析图像对应的任务信息，所述任务信息包括图像描述任务对应的描述任务信息以及图像问答任务对应的问答任务信息中至少一种；将所述待分析图像及所述任务信息输入图像分析模型进行分析处理，得到分析结果，所述分析结果包括图像描述信息及图像问答信息中至少一种，其中，所述图像分析模型为采用图像样本及对应的预处理描述数据与预处理问答数据进行多任务联合训练得到的，所述预处理描述数据为对图像描述数据添加图像描述任务标识得到的，所述预处理问答数据为对图像问答数据添加图像问答任务标识得到的。

16、以这种方式，首先，在一个图像分析模型中可执行图像描述任务和图像问答任务，降低图像分析成本，进一步的，图像分析模型为采用图像样本及对应的预处理描述数据与预处理问答数据进行多任务联合训练得到的，图像描述任务和图像问答任务相互促进，图像分析模型执行图像描述任务和图像问答任务得到的分析结果的准确性进一步提升，进而，本技术可以有效降低图像分析成本且提升图像描述任务和图像问答任务的分析结果的准确性。