辅助标注方法及装置、对象识别方法及装置及电子设备与流程

本技术涉及人工智能领域，尤其涉及一种辅助标注方法及装置、对象识别方法及装置及电子设备。

背景技术：

1、相关技术中，在对需要标注的对象进行标注时，通常采用对标注对象进行处理，确定标注标签的初始值或给出相应的提示，再根据该初始值或提示进行人工标注标签。然而，这种方法难以代替人工直接进行自动标注，提升效果有限。

技术实现思路

1、本技术实施例提供了一种辅助标注方法，以解决相关技术中，对标注对象的标注效率低、无法实现自动标注的问题。

2、相应的，本技术实施例还提供了一种辅助标注装置、对象识别方法及装置、一种电子设备以及一种存储介质，用以保证上述方法的实现及应用。

3、一方面，本技术实施例提供一种辅助标注方法，该辅助标注方法包括：

4、获取待标注对象的至少两项模态信息；该模态信息包括待标注对象本身的内容信息和待标注对象关联的属性信息中的至少一项；

5、将至少两项模态信息输入至预训练的辅助标注模型，通过辅助标注模型执行以下操作，得到待标注对象的标注标签：

6、对每项模态信息进行特征提取，得到与每项模态信息分别对应的模态特征；

7、对至少两项模态特征进行多模态融合处理，得到待标注对象的多模态融合特征；

8、对多模态融合特征进行分类操作，预测待标注对象的标注标签。

9、另一方面，本技术实施例提供了一种对象识别方法，该对象识别方法包括：

10、获取待识别对象；

11、将待识别对象输入至目标识别模型中，通过目标识别模型对待识别对象进行识别操作，得到待识别对象的目标识别结果；

12、其中，目标识别模型是通过第二训练数据集，对初始识别模型进行有监督训练操作后得到的；第二训练数据集中包括至少一个第二训练样本；第二训练样本包括待标注对象与其对应的标注标签；

13、待标注对象所对应的标注标签是通过将待标注对象的至少两项模态信息输入至预训练的辅助标注模型，通过辅助标注模型对每项模态信息进行特征提取，得到与每项模态信息分别对应的模态特征；对至少两项模态特征进行多模态融合处理，得到待标注对象的多模态融合特征；对多模态融合特征进行分类操作后，预测得到的。

14、另一方面，本技术实施例提供了一种辅助标注装置，该辅助标注装置包括：

15、模态信息获取模块，用于获取待标注对象的至少两项模态信息；该模态信息包括待标注对象本身的内容信息和待标注对象关联的属性信息；

16、标注标签确定模块，用于将至少两项模态信息输入至预训练的辅助标注模型，通过辅助标注模型执行以下操作，得到待标注对象的标注标签：

17、对每项模态信息进行特征提取，得到与每项模态信息分别对应的模态特征；

18、对至少两项模态特征进行多模态融合处理，得到待标注对象的多模态融合特征；

19、对多模态融合特征进行分类操作，预测待标注对象的标注标签。

20、可选地，上述标注标签确定模块对至少两项模态特征进行多模态融合处理，得到待标注对象的多模态融合特征，包括：

21、对属性信息对应的模态特征进行特征提取，确定至少一种场景信息；

22、结合每种场景信息，对至少两项模态特征进行多头注意力特征提取，得到每种场景信息对应的场景特征；

23、对至少两项场景信息对应的场景特征进行特征融合，得到多模态融合特征。

24、可选地，上述标注标签确定模块对多模态融合特征进行分类操作，预测待标注对象的标注标签，包括：

25、确定多模态融合特征映射至每个预设分类标签的映射信息；

26、对于每个预设分类标签，根据预设分类标签对应的映射信息，确定待标注对象的标注标签为该预设分类标签的第一概率值；并根据第一概率值和辅助标注模型的置信度阈值，确定待标注对象的标注标签是否为该预设分类标签；

27、若待标注对象的标注标签为预设分类标签，将预设分类标签确定为待标注对象的标注标签。

28、可选地，上述辅助标注模型的置信度阈值是通过以下方式确定的：

29、获取评估样本集；评估样本集包括至少一个评估样本，评估样本包括一个评估样本对象的至少两项模态信息以及真实标注标签；预设分类标签中包括评估样本对象的真实标注标签；

30、将评估样本对象的至少两项模态信息输入至辅助标注模型，确定评估样本对象在每个预设分类标签下的第二概率值；

31、在每个候选置信度阈值下，根据评估样本对象在每个预设分类标签下的第二概率值，确定评估样本对象的评估标注标签；根据评估样本对象的评估标注标签和真实标注标签，确定辅助标注模型在至少一个评估指标下的评估指标值；根据该评估指标值，对从候选置信度阈值中确定出辅助标注模型的置信度阈值。

32、可选地，上述标注标签确定模块还可以用于：

33、根据辅助标注模型的实时性参量值，对待标注对象的标注标签进行修正，得到修正后的标注标签；

34、将待标注对象的至少两项模态信息以及修正后的标注标签作为一个第一训练样本，构建更新后的训练样本集；

35、根据更新后的训练样本集，对辅助标注模型进行迭代更新。

36、可选地，上述辅助标注模型是通过以下方式训练得到的：

37、获取第一训练样本集；第一训练样本集包括至少一个第一训练样本，第一训练样本包括一个样本标注对象的至少两项样本模态信息以及真实标注标签；

38、将样本标注对象的至少两项样本模态信息输入至初始辅助标注模型，通过初始辅助标注模型执行以下操作，得到每个样本标注对象的预测标注标签：对于每个样本标注对象，对样本标注对象的每项样本模态信息进行特征提取，得到与每项样本模态信息分别对应的样本模态特征；对至少两项样本模态特征进行多模态融合处理，得到样本标注对象的样本多模态融合特征；对样本多模态融合特征进行分类操作，预测样本标注对象的预测标注标签；

39、根据第一训练样本集中，样本标注对象的预测标注标签以及真实标注标签，确定初始辅助标注模型的第一损失值；

40、根据第一损失值，对初始辅助标注模型的模型参数进行修正，直至得到辅助标注模型。

41、可选地，上述标注标签确定模块还可以用于：

42、将待标注对象与其对应的标注标签，作为一个第二训练样本，构建第二训练样本集；

43、根据第二训练样本集，对初始识别模型进行有监督训练，得到训练好的目标识别模型。

44、可选地，上述标注标签确定模块根据第二训练样本集，对初始识别模型进行有监督训练，得到训练好的目标识别模型，包括：

45、将第二训练样本集中的样本识别对象输入至初始识别模型，通过初始识别模型对样本识别对象进行识别操作，得到样本识别对象的预测识别结果；

46、根据第二训练样本集中，样本识别对象的预测识别结果和标注标签，确定初始识别模型的第二损失值；

47、根据第二损失值，对初始识别模型的模型参数进行调整，直至得到目标识别模型。

48、另一方面，本技术实施例提供了一种对象识别装置，该对象识别装置可以包括：

49、对象获取模块，用于获取待识别对象；

50、对象识别模块，用于将待识别对象输入至目标识别模型中，通过目标识别模型对待识别对象进行识别操作，得到待识别对象的目标识别结果；

51、其中，目标识别模型是通过第二训练数据集，对初始识别模型进行有监督训练操作后得到的；第二训练数据集中包括至少一个第二训练样本；第二训练样本包括待标注对象与其对应的标注标签；

52、待标注对象所对应的标注标签是通过将待标注对象的至少两项模态信息输入至预训练的辅助标注模型，通过辅助标注模型对每项模态信息进行特征提取，得到与每项模态信息分别对应的模态特征；对至少两项模态特征进行多模态融合处理，得到待标注对象的多模态融合特征；对多模态融合特征进行分类操作后，预测得到的。

53、另一方面，本技术实施例提供了一种电子设备，包括处理器和存储器，该处理器和存储器相互连接；

54、上述存储器用于存储计算机程序；

55、上述处理器被配置用于在调用上述计算机程序时，执行本技术实施例提供的辅助标注方法或对象识别方法。

56、另一方面，本技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行以实现本技术实施例提供的辅助标注方法或对象识别方法。

57、另一方面，本技术实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序，上述计算机程序被处理器执行时实现本技术实施例提供的辅助标注方法或对象识别方法。

58、在本技术实施例中，通过获取待标注对象的至少两项模态信息；其中，模态信息包括待标注对象本身的内容信息和待标注对象关联的属性信息中的至少一项；将至少两项模态信息输入至预训练的辅助标注模型，通过辅助标注模型执行以下操作，对每项模态信息进行特征提取，得到与每项模态信息分别对应的模态特征；对至少两项模态特征进行多模态融合处理，得到待标注对象的多模态融合特征；对多模态融合特征进行分类操作，预测待标注对象的标注标签；这样，可以结合待标注对象的至少两项模态信息，对待标注对象进行综合特征提取，得到待标注对象的更具判别力的多模态融合特征，并基于该多模态融合特征，可以更精确的确定出待标注对象的标注标签，并且该过程是自动化实现的，不需要进行人工标注，节省了人力成本。