基于多模态语义交互的损失计算方法及装置与流程

本发明涉及交互损失处理，尤其涉及一种基于多模态语义交互的损失计算方法及装置。

背景技术：

1、随着深度学习技术逐渐成熟及多模态应用逐渐频繁，对多模态语义交互损失优化的需求也愈发增多，实现多模态语义交互损失优化的主要步骤分别为计算出多模态语义交互损失结果并基于该损失结果进行语义优化。

2、当前，针对多模态损失计算方式主要有配对损失计算方式，具体为确定出配对样本的标签值进而计算出交叉熵损失以作为交互损失结果，然而，实践表明，上述配对损失计算方式由于所确定的配对样本的标签值为固定值，过于限定，存在损失计算结果准确性低和可靠性低的问题。可见，提供一种能够提高损失计算结果准确性和可靠性的多模态交互损失计算方式显得尤为重要。

技术实现思路

1、本
技术实现要素：
所要解决的技术问题在于，提供一种基于多模态语义交互的损失计算方法及装置，能够提高损失计算结果准确性和可靠性。

2、为了解决上述技术问题，本发明第一方面公开了一种基于多模态语义交互的损失计算方法，所述方法包括：

3、根据获取到的多模态交互需求信息，确定目标损失层面；

4、根据设定的层面交互损失配置信息，确定与所述目标损失层面相匹配的交互损失计算条件；

5、根据所述交互损失计算条件及获取到的微调数据，执行交互损失确定操作，得到交互损失确定结果。

6、作为一种可选的实施方式，在本发明第一方面中，所述根据所述交互损失计算条件及获取到的微调数据，执行交互损失确定操作，得到交互损失确定结果，包括：

7、确定获取到的微调数据所对应的第一配对形式情况，并根据所述第一配对形式情况、所述微调数据及设定的数据分析条件，计算所述微调数据对应的余弦相似度结果；

8、根据所述微调数据、所述余弦相似度结果及所述第一配对形式情况，确定第一标签分析结果；

9、根据所述微调数据、所述余弦相似度结果、所述第一标签分析结果及设定的交互损失分析条件，确定交互损失确定结果。

10、作为一种可选的实施方式，在本发明第一方面中，所述目标损失层面包括第一损失层面和/或第二损失层面；

11、以及，所述根据所述微调数据、所述余弦相似度结果、所述第一标签分析结果及设定的交互损失分析条件，确定交互损失确定结果，包括：

12、当所述目标损失层面包括所述第一损失层面时，根据所述第一标签分析结果、所述余弦相似度结果及设定的标签调整处理条件，确定所述微调数据对应的标签调整需求情况；

13、根据所述标签调整需求情况、所述第一标签分析结果及所述微调数据，确定第二标签分析结果；

14、根据所述第二标签分析结果、所述微调数据及设定的第一交互损失计算条件，确定第一损失结果，作为交互损失确定结果；和/或，

15、当所述目标损失层面包括所述第二损失层面时，根据设定的数据筛选条件，从所述微调数据中确定出第一目标子微调数据；

16、从所述余弦相似度结果中筛选出所述第一目标子微调数据对应的目标子余弦相似度结果；

17、根据所述目标子余弦相似度结果及设定的第二交互损失计算条件，确定第二损失结果，作为交互损失确定结果。

18、作为一种可选的实施方式，在本发明第一方面中，所述根据所述第一标签分析结果、所述余弦相似度结果及设定的标签调整处理条件，确定所述微调数据对应的标签调整需求情况，包括：

19、根据所述第一标签分析结果，从所述微调数据中筛选出满足设定的标签调整对象条件的第二目标子微调数据；

20、根据所述第一标签分析结果及所述余弦相似度结果，确定所述第二目标子微调数据与每一其它子微调数据的相似度关系情况；所有所述其它子微调数据为所述微调数据中除所述第二目标子微调数据外的数据；

21、根据所述相似度关系情况及所述第一标签分析结果，确定所述微调数据对应的标签调整信息，作为所述微调数据对应的标签调整需求情况。

22、作为一种可选的实施方式，在本发明第一方面中，在所述根据所述交互损失计算条件及获取到的微调数据，执行交互损失确定操作，得到交互损失确定结果之后，所述方法还包括：

23、根据所述交互损失确定结果及设定的损失优化处理条件，确定损失优化处理结果，所述损失优化处理结果用于优化所述目标损失优化层面对应的目标模型；

24、其中，所述根据所述交互损失确定结果及设定的损失优化处理条件，确定损失优化处理结果，包括：

25、计算所述交互损失确定结果包括的所有子损失确定结果对应的数量；

26、当所述数量大于等于预设的数量阈值时，分析所有所述子损失确定结果得到损失结果差异情况；

27、当所述损失结果差异情况用于表示所有所述子损失确定结果满足预设的差异调整条件时，根据所有所述子损失确定结果及设定的加权优化处理条件，确定权重调整信息；根据所述权重调整信息、所述交互损失确定结果及设定的损失优化处理条件，确定损失优化处理结果；

28、当所述损失结果差异情况用于表示所有所述子损失确定结果不满足预设的差异调整条件或者当所述数量小于预设的数量阈值时，根据所述交互损失确定结果及设定的损失优化处理条件，确定损失优化处理结果。

29、作为一种可选的实施方式，在本发明第一方面中，所述根据获取到的多模态交互需求信息，确定目标损失层面，包括：

30、分析获取到的多模态交互需求信息，得到交互需求性质情况；

31、根据所述交互需求性质情况及设定的性质层面配置条件，确定至少一个交互层面；

32、根据所述交互需求性质情况及设定的性质损失分析条件，确定每一所述交互层面对应的优化需求度；

33、根据所有所述交互层面对应的优化需求度，从所有所述交互层面中筛选出满足损失优化需求条件的至少一个目标交互层面，作为目标损失层面；

34、其中，当所述交互需求性质情况用于表示标签性质时，所述目标损失层面至少包括第一损失层面；当所述交互需求性质情况用于表示特征性质时，所述目标损失层面至少包括第二损失层面。

35、作为一种可选的实施方式，在本发明第一方面中，所述方法还包括：

36、对所述目标损失层面对应的目标模型执行预训练操作，得到预训练完成的所述目标模型；并基于预训练完成的所述目标模型执行交互损失确定操作；

37、其中，所述对目标损失层面对应的目标模型执行预训练操作，得到预训练完成的所述目标模型，包括：

38、将获取到的预训练数据输入至目标损失层面对应的目标模型中，得到至少一种模态类型对应的模型损失结果；

39、根据所有所述模型损失结果，判断所述目标模型是否满足预设的预训练完成条件，当判断结果为是时，确定所述目标模型对应的预训练结果，所述预训练结果用于表示所述目标模型的预训练完成情况；

40、当判断结果为否时，根据所述预训练数据、所述模型损失结果及设定的模型损失预训练条件，确定模型预训练调整情况，并基于所述模型预训练调整情况对所述目标模型执行预训练调整操作，得到预训练完成的所述目标模型。

41、本发明第二方面公开了一种基于多模态语义交互的损失计算装置，所述装置包括：

42、信息确定模块，用于根据获取到的多模态交互需求信息，确定目标损失层面；根据设定的层面交互损失配置信息，确定与所述目标损失层面相匹配的交互损失计算条件；

43、损失确定模块，用于根据所述交互损失计算条件及获取到的微调数据，执行交互损失确定操作，得到交互损失确定结果。

44、作为一种可选的实施方式，在本发明第二方面中，所述损失确定模块根据所述交互损失计算条件及获取到的微调数据，执行交互损失确定操作，得到交互损失确定结果的方式具体包括：

45、确定获取到的微调数据所对应的第一配对形式情况，并根据所述第一配对形式情况、所述微调数据及设定的数据分析条件，计算所述微调数据对应的余弦相似度结果；

46、根据所述微调数据、所述余弦相似度结果及所述第一配对形式情况，确定第一标签分析结果；

47、根据所述微调数据、所述余弦相似度结果、所述第一标签分析结果及设定的交互损失分析条件，确定交互损失确定结果。

48、作为一种可选的实施方式，在本发明第二方面中，所述目标损失层面包括第一损失层面和/或第二损失层面；

49、以及，所述损失确定模块根据所述微调数据、所述余弦相似度结果、所述第一标签分析结果及设定的交互损失分析条件，确定交互损失确定结果的方式具体包括：

50、当所述目标损失层面包括所述第一损失层面时，根据所述第一标签分析结果、所述余弦相似度结果及设定的标签调整处理条件，确定所述微调数据对应的标签调整需求情况；

51、根据所述标签调整需求情况、所述第一标签分析结果及所述微调数据，确定第二标签分析结果；

52、根据所述第二标签分析结果、所述微调数据及设定的第一交互损失计算条件，确定第一损失结果，作为交互损失确定结果；和/或，

53、当所述目标损失层面包括所述第二损失层面时，根据设定的数据筛选条件，从所述微调数据中确定出第一目标子微调数据；

54、从所述余弦相似度结果中筛选出所述第一目标子微调数据对应的目标子余弦相似度结果；

55、根据所述目标子余弦相似度结果及设定的第二交互损失计算条件，确定第二损失结果，作为交互损失确定结果。

56、作为一种可选的实施方式，在本发明第二方面中，所述损失确定模块根据所述第一标签分析结果、所述余弦相似度结果及设定的标签调整处理条件，确定所述微调数据对应的标签调整需求情况的方式具体包括：

57、根据所述第一标签分析结果，从所述微调数据中筛选出满足设定的标签调整对象条件的第二目标子微调数据；

58、根据所述第一标签分析结果及所述余弦相似度结果，确定所述第二目标子微调数据与每一其它子微调数据的相似度关系情况；所有所述其它子微调数据为所述微调数据中除所述第二目标子微调数据外的数据；

59、根据所述相似度关系情况及所述第一标签分析结果，确定所述微调数据对应的标签调整信息，作为所述微调数据对应的标签调整需求情况。

60、作为一种可选的实施方式，在本发明第二方面中，所述装置还包括：

61、损失优化模块，用于在所述损失确定模块根据所述交互损失计算条件及获取到的微调数据，执行交互损失确定操作，得到交互损失确定结果之后，根据所述交互损失确定结果及设定的损失优化处理条件，确定损失优化处理结果，所述损失优化处理结果用于优化所述目标损失优化层面对应的目标模型；

62、以及，所述损失优化模块根据所述交互损失确定结果及设定的损失优化处理条件，确定损失优化处理结果的方式具体包括：

63、计算所述交互损失确定结果包括的所有子损失确定结果对应的数量；

64、当所述数量大于等于预设的数量阈值时，分析所有所述子损失确定结果得到损失结果差异情况；

65、当所述损失结果差异情况用于表示所有所述子损失确定结果满足预设的差异调整条件时，根据所有所述子损失确定结果及设定的加权优化处理条件，确定权重调整信息；根据所述权重调整信息、所述交互损失确定结果及设定的损失优化处理条件，确定损失优化处理结果；

66、当所述损失结果差异情况用于表示所有所述子损失确定结果不满足预设的差异调整条件或者当所述数量小于预设的数量阈值时，根据所述交互损失确定结果及设定的损失优化处理条件，确定损失优化处理结果。

67、作为一种可选的实施方式，在本发明第二方面中，所述信息确定模块根据获取到的多模态交互需求信息，确定目标损失层面的方式具体包括：

68、分析获取到的多模态交互需求信息，得到交互需求性质情况；

69、根据所述交互需求性质情况及设定的性质层面配置条件，确定至少一个交互层面；

70、根据所述交互需求性质情况及设定的性质损失分析条件，确定每一所述交互层面对应的优化需求度；

71、根据所有所述交互层面对应的优化需求度，从所有所述交互层面中筛选出满足损失优化需求条件的至少一个目标交互层面，作为目标损失层面；

72、其中，当所述交互需求性质情况用于表示标签性质时，所述目标损失层面至少包括第一损失层面；当所述交互需求性质情况用于表示特征性质时，所述目标损失层面至少包括第二损失层面。

73、作为一种可选的实施方式，在本发明第二方面中，所述装置还包括：

74、模型训练模块，用于对所述目标损失层面对应的目标模型执行预训练操作，得到预训练完成的所述目标模型；并基于预训练完成的所述目标模型执行交互损失确定操作；

75、以及，所述模型训练模块对目标损失层面对应的目标模型执行预训练操作，得到预训练完成的所述目标模型的方式具体包括：

76、将获取到的预训练数据输入至目标损失层面对应的目标模型中，得到至少一种模态类型对应的模型损失结果；

77、根据所有所述模型损失结果，判断所述目标模型是否满足预设的预训练完成条件，当判断结果为是时，确定所述目标模型对应的预训练结果，所述预训练结果用于表示所述目标模型的预训练完成情况；

78、当判断结果为否时，根据所述预训练数据、所述模型损失结果及设定的模型损失预训练条件，确定模型预训练调整情况，并基于所述模型预训练调整情况对所述目标模型执行预训练调整操作，得到预训练完成的所述目标模型。

79、本发明第三方面公开了另一种基于多模态语义交互的损失计算装置，所述装置包括：

80、存储有可执行程序代码的存储器；

81、与所述存储器耦合的处理器；

82、所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的一种基于多模态语义交互的损失计算方法。

83、本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面公开的一种基于多模态语义交互的损失计算方法。

84、与现有技术相比，本发明实施例具有以下有益效果：

85、本发明实施例中，根据获取到的多模态交互需求信息，确定目标损失层面；根据设定的层面交互损失配置信息，确定与该目标损失层面相匹配的交互损失计算条件；根据该交互损失计算条件及获取到的微调数据，执行交互损失确定操作，得到交互损失确定结果。可见，本发明能够根据确定出的交互损失计算条件及获取到的微调数据，执行交互损失确定操作，得到交互损失确定结果，有利于提高交互损失确定结果确定方式的全面性和针对性，进而有利于提高确定出的交互损失确定结果的准确性和可靠性，从而有利于提高交互损失的计算准确性和可靠性。