数据匹配方法、装置、设备及存储介质与流程

本发明涉及图文匹配，尤其涉及一种数据匹配方法、装置、设备及存储介质。

背景技术：

1、在传统的图文匹配任务中，图像与文字之间的匹配是通过两者之间的特征进行对比，进而确定是否匹配成功，最终完成图文匹配，而在这个过程中，一般是设计图像与文本之间的跨模态对比损失值，以将一个图像和与之匹配的文本之间的互信息最大化，然而由于同一模态内的数据相似性的影响，会影响最终的训练结果，例如：相似的图像样本或者相似的文本样本会影响图文训练的精准度。

2、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本发明的主要目的在于提供一种数据匹配方法、装置、设备及存储介质，旨在解决现有技术中图像之间或者文本之间的相似度较高，导致影响图文匹配的效果较差的技术问题。

2、为实现上述目的，本发明提供了一种数据匹配方法，所述方法包括以下步骤：

3、获取第一模态数据和所述第一模态数据对应的当前模态特征模型；

4、更新所述当前模态特征模型的权重参数，获得迭代模态特征模型；

5、将所述第一模态数据分别通过所述当前模态特征模型与所述迭代模态特征模型进行特征提取，获得初始模态特征与迭代模态特征；

6、根据所述初始模态特征与所述迭代模态特征确定目标模态特征；

7、通过预设数据互检模型确定与所述目标模态特征匹配的第二模态数据。

8、可选地，所述通过预设数据互检模型确定与所述目标模态特征匹配的第二模态数据之前，还包括：

9、获取图像数据样本与文本数据样本；

10、分别确定所述图像数据样本对应的图像模态特征相似度与所述文本数据样本对应的文本模态特征相似度；

11、获取所述图像数据样本与所述文本数据样本之间的跨模态特征相似度；

12、根据所述图像模态特征相似度、所述文本模态特征相似度、所述跨模态特征相似度、所述图像数据样本以及所述文本数据样本通过初始神经网络模型进行模型训练，获得预设数据互检模型。

13、可选地，所述分别确定所述图像数据样本对应的图像模态特征相似度与所述文本数据样本对应的文本模态特征相似度，包括：

14、通过图像表征模型获取所述图像数据样本的视觉特征；

15、通过文本特征提取模型获取所述文本数据样本的文本特征；

16、根据所述视觉特征与所述图像数据样本确定图像模态特征相似度；

17、根据文本特征与所述文本数据样本确定文本模态特征相似度。

18、可选地，所述视觉特征包括：初始视觉特征与迭代视觉特征；所述根据所述视觉特征与所述图像数据样本确定图像模态特征相似度，包括：

19、根据所述初始视觉特征、所述迭代视觉特征以及所述图像数据样本生成图像相似度分数；

20、将所述图像相似度分数通过预设温度系数进行数值优化；

21、根据优化后的图像相似度分数确定图像模态交叉熵损失值，并根据所述图像模态交叉熵损失值确定图像模态特征相似度。

22、可选地，所述文本特征包括：初始文本特征与迭代文本特征；

23、所述根据文本特征与所述文本数据样本确定文本模态特征相似度，包括：

24、根据所述初始文本特征、所述迭代文本特征以及所述文本数据样本生成文本相似度分数；

25、将所述文本相似度分数通过预设温度系数进行数值优化；

26、根据优化后的文本相似度分数确定文本模态交叉熵损失值，并根据所述文本模态交叉熵损失值确定文本模态特征相似度。

27、可选地，在所述第一模态数据为图像数据时，所述第二维度数据为文本数据，所述跨模态特征相似度包括：图文特征相似度；

28、所述获取所述图像数据样本与所述文本数据样本之间的跨模态特征相似度，包括：

29、从所述图像数据样本确定第一图像，并对所述第一图像进行特征提取，获得第一图像特征；

30、确定与所述第一图像匹配的第一文本，并对所述第一文本进行特征提取，获得第一文本特征；

31、根据所述第一图像对所述图像数据样本进行筛选，获得剩余图像；

32、对所述剩余图像进行特征提取，获得剩余图像特征；

33、根据所述第一图像特征、所述第一文本特征以及所述剩余图像特征确定图文特征相似度。

34、可选地，在所述第一模态数据为文本数据时，所述第二温度数据为图像数据，所述跨模态特征相似度还包括：文图特征相似度

35、所述获取所述图像数据样本与所述文本数据样本之间的跨模态特征相似度，还包括：

36、从所述文本数据样本确定第二文本，并对所述第二文本进行特征提取，获得第二文本特征；

37、确定与所述第二文本匹配的第二图像，并对所述第二图像进行特征提取，获得第二图像特征；

38、根据所述第二文本对所述文本数据样本进行筛选，获得剩余文本；

39、对所述剩余文本进行特征提取，获得剩余文本特征；

40、根据所述第二图像特征、所述第二文本特征以及所述剩余文本特征确定文图特征相似度。

41、可选地，所述根据所述图像模态特征相似度、所述文本模态特征相似度、所述跨模态特征相似度、所述图像数据样本以及所述文本数据样本通过初始神经网络模型进行模型训练，包括：

42、根据所述图像模态特征相似度对应的图像模态交叉熵损失值与所述文本模态特征相似度对应的文本模态交叉熵损失值确定单模态交叉熵损失值；

43、基于所述跨模态特征相似度中的图文交叉熵损失值与文图交叉熵损失值确定跨模态交叉熵损失值；

44、根据所述单模态交叉熵损失值、所述跨模态交叉熵损失值、所述图像数据样本以及所述文本数据样本通过初始神经网络模型进行模型训练。

45、可选地，所述通过预设数据互检模型确定与所述目标模态特征匹配的第二模态数据，包括：

46、在所述第一模态数据为图像数据，且所述第二模态数据为文本数据时，通过图像编码器对所述图像数据进行图像处理，获得待识别图像；

47、将所述待识别图像进行线性映射，获得图像状态向量；

48、通过预设数据互检模型确定与所述图像状态向量匹配的文本数据。

49、可选地，所述通过图像编码器对所述图像数据进行图像处理，获得待识别图像，包括：

50、根据预设图像尺寸对所述图像数据进行图像缩放；

51、将缩放后的图像数据进行图像分割，获得待识别图像。

52、可选地，所述通过预设数据互检模型确定与所述目标模态特征匹配的第二模态数据，还包括：

53、在所述第一模态数据为文本数据，且所述第二模态数据为图像数据时，确定所述文本数据中的目标字符；

54、获取所述目标字符的标记信息；

55、基于所述标记信息对所述文本数据中的目标字符进行标记解析，获得目标文本数据；

56、将所述目标文本数据通过文本编码器进行数据处理，获得文本状态向量；

57、通过预设数据互检模型确定与所述文本状态向量匹配的图像数据。

58、此外，为实现上述目的，本发明还提出一种数据匹配装置，所述数据匹配装置包括：

59、数据获取模块，用于获取第一模态数据和所述第一模态数据对应的当前模态特征模型；

60、模型迭代模块，用于更新所述当前模态特征模型的权重参数，获得迭代模态特征模型；

61、特征提取模块，用于将所述第一模态数据分别通过所述当前模态特征模型与所述迭代模态特征模型进行特征提取，获得初始模态特征与迭代模态特征；

62、特征确定模块，用于根据所述初始模态特征与所述迭代模态特征确定目标模态特征；

63、可选地，所述模态匹配模块，还用于获取图像数据样本与文本数据样本；

64、分别确定所述图像数据样本对应的图像模态特征相似度与所述文本数据样本对应的文本模态特征相似度；

65、获取所述图像数据样本与所述文本数据样本之间的跨模态特征相似度；

66、根据所述图像模态特征相似度、所述文本模态特征相似度、所述跨模态特征相似度、所述图像数据样本以及所述文本数据样本通过初始神经网络模型进行模型训练，获得预设数据互检模型。

67、可选地，所述模态匹配模块，还用于通过图像表征模型获取所述图像数据样本的视觉特征；

68、通过文本特征提取模型获取所述文本数据样本的文本特征；

69、根据所述视觉特征与所述图像数据样本确定图像模态特征相似度；

70、根据文本特征与所述文本数据样本确定文本模态特征相似度。

71、可选地，所述模态匹配模块，还用于根据所述初始视觉特征、所述迭代视觉特征以及所述图像数据样本生成图像相似度分数；

72、将所述图像相似度分数通过预设温度系数进行数值优化；

73、根据优化后的图像相似度分数确定图像模态交叉熵损失值，并根据所述图像模态交叉熵损失值确定图像模态特征相似度。

74、可选地，所述模态匹配模块，还用于根据所述初始文本特征、所述迭代文本特征以及所述文本数据样本生成文本相似度分数；

75、将所述文本相似度分数通过预设温度系数进行数值优化；

76、根据优化后的文本相似度分数确定文本模态交叉熵损失值，并根据所述文本模态交叉熵损失值确定文本模态特征相似度。

77、可选地，所述模态匹配模块，还用于从所述图像数据样本确定第一图像，并对所述第一图像进行特征提取，获得第一图像特征；

78、确定与所述第一图像匹配的第一文本，并对所述第一文本进行特征提取，获得第一文本特征；

79、根据所述第一图像对所述图像数据样本进行筛选，获得剩余图像；

80、对所述剩余图像进行特征提取，获得剩余图像特征；

81、根据所述第一图像特征、所述第一文本特征以及所述剩余图像特征确定图文特征相似度。

82、可选地，所述模态匹配模块，还用于从所述文本数据样本确定第二文本，并对所述第二文本进行特征提取，获得第二文本特征；

83、确定与所述第二文本匹配的第二图像，并对所述第二图像进行特征提取，获得第二图像特征；

84、根据所述第二文本对所述文本数据样本进行筛选，获得剩余文本；

85、对所述剩余文本进行特征提取，获得剩余文本特征；

86、根据所述第二图像特征、所述第二文本特征以及所述剩余文本特征确定文图特征相似度。

87、此外，为实现上述目的，本发明还提出一种数据匹配设备，所述数据匹配设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据匹配程序，所述数据匹配程序配置为实现如上文所述的数据匹配方法的步骤。

88、此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有数据匹配程序，所述数据匹配程序被处理器执行时实现如上文所述的数据匹配方法的步骤。

89、本发明中，公开了获取第一模态数据和所述第一模态数据对应的当前模态特征模型；更新所述当前模态特征模型的权重参数，获得迭代模态特征模型；将所述第一模态数据分别通过所述当前模态特征模型与所述迭代模态特征模型进行特征提取，获得初始模态特征与迭代模态特征；根据所述初始模态特征与所述迭代模态特征确定目标模态特征；通过预设数据互检模型确定与所述目标模态特征匹配的第二模态数据，与现有技术相比，由于本发明通过将第一模态数据分别通过当前模态特征模型与迭代模态特征模型，进而获得两个模态数据的特征，再结合这两个数据特征确定所述第一模态数据的目标模态特征，减少了单一模态数据下相似数据的影响，最后通过数据互检模型确定与所述目标模态特征匹配的第二模态数据，以完成匹配过程，避免了现有技术中图像之间或者文本之间的相似度较高，导致影响图文匹配的效果较差的技术问题，提高了模态数据匹配的任务精度，并减少同一模态数据相似度的影响。