多模态数据匹配度计算和计算模型训练的方法、相关装置与流程

1.本公开涉及深度学习、图像处理和计算机视觉等人工智能技术领域，尤其涉及一种多模态数据匹配度计算模型的训练和多模态数据匹配度计算方法，以及以对应的装置、电子设备、计算机可读存储介质及计算机程序产品。


背景技术：

2.跨模态匹配目的在于为不同模态的数据之间建立语义关联，其中某一模态数据作为查询项，对与其具有相同或相近语义的其他模态数据进行匹配。其中，作为互联网中最为广泛存在的两类信息，图像和文本之间的跨模态检索，即图像-文本匹配，也被普遍认为是跨模态检索中的核心任务。


技术实现要素：

3.本公开实施例提出了一种多模态数据匹配度计算模型的训练、多模态数据匹配度计算方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
4.第一方面，本公开实施例提出了一种多模态数据匹配度计算模型的训练方法，包括：获取模态不同的第一样本数据和第二样本数据；构建包括语义困惑度参数的对比学习损失函数，该语义困惑度参数基于该第一样本数据和该第二样本数据间的语义特征距离确定；利用该对比学习损失函数，以对比学习的方式训练初始多模态数据匹配度计算模型，得到目标多模态数据匹配度计算模型。
5.第二方面，本公开实施例提出了一种多模态数据匹配度计算模型的训练装置，包括：样本数据获取单元，被配置成获取模态不同的第一样本数据和第二样本数据；损失函数构建单元，被配置成构建包括语义困惑度参数的对比学习损失函数，该语义困惑度参数基于该第一样本数据和该第二样本数据间的语义特征距离确定；多模态数据匹配度计算模型的训练单元，被配置成利用该对比学习损失函数，以对比学习的方式训练初始多模态数据匹配度计算模型，得到目标多模态数据匹配度计算模型。
6.第三方面，本公开实施例提出了一种多模态数据匹配度计算方法，包括：获取模态不同的第一数据和第二数据构成的待测数据对；调用预设的多模态数据匹配度计算模型处理该待测数据对，得到该待测数据对的语义匹配度；其中，该多模态数据匹配度计算模型基于对比学习损失函数以对比学习的方式训练得到，该对比学习损失函数包含有语义困惑度参数，该语义困惑度参数基于模态不同的第一样本数据和第二样本数据间的语义特征距离确定。
7.第四方面，本公开实施例提出了一种多模态数据匹配度计算装置，包括：待匹配数据获取单元，被配置成获取模态不同的第一数据和第二数据构成的待测数据对；匹配度计算单元，被配置成调用预设的多模态数据匹配度计算模型处理该待测数据对，得到该待测数据对的语义匹配度；其中，该多模态数据匹配度计算模型基于对比学习损失函数以对比学习的方式训练得到，该对比学习损失函数包含有语义困惑度参数，该语义困惑度参数基
于模态不同的第一样本数据和第二样本数据间的语义特征距离确定。
8.第五方面，本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的多模态数据匹配度计算模型的训练方法或如第三方面中任一实现方式描述的多模态数据匹配度计算方法。
9.第六方面，本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的多模态数据匹配度计算模型的训练方法或如第三方面中任一实现方式描述的多模态数据匹配度计算方法。
10.第七方面，本公开实施例提供了一种包括计算机程序的计算机程序产品，该计算机程序在被处理器执行时能够实现如第一方面中任一实现方式描述的多模态数据匹配度计算模型的训练方法或如第三方面中任一实现方式描述的多模态数据匹配度计算方法。
11.本公开实施例提供的多模态数据匹配度计算模型的训练、多模态数据匹配度计算方法，获取模态不同的第一样本数据和第二样本数据，然后，构建包括语义困惑度参数的对比学习损失函数，该对比学习损失函数用于以对比学习方式训练初始多模态数据匹配度计算模型，该语义困惑度参数基于该第一样本数据和第二样本数据间的语义特征距离确定得到，最后，利用该第一样本数据、该第二样本数据和该对比学习损失函数，训练该初始多模态数据匹配度计算模型，得到目标多模态数据匹配度计算模型。
12.本公开所提供的多模态数据匹配度计算模型的训练方法和多模态数据匹配度计算方法，在基于常规对比学习思想构建的损失函数上增加了语义困惑度参数，且由于语义困惑度参数是基于模态不同的第一样本数据和第二样本数据之间的语义特征距离确定得到，使得构建出的包含语义困惑度参数的对比学习损失函数，能够在模型训练阶段根据语义困惑度的大小调整对样本进行跨模态匹配的关注度，使得在后续使用该多模态数据匹配度计算模型时，能够对存在高语义困惑度备选数据的输入数据通过提升关注度的方式来提升匹配精度。
13.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
14.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：
15.图1是本公开可以应用于其中的示例性系统架构；
16.图2为本公开实施例提供的一种多模态数据匹配度计算模型的训练方法的流程图；
17.图3为本公开实施例提供的一种基于记忆银行提取语义特征的方法的流程图；
18.图4为本公开实施例提供的在一应用场景下基于多模态数据匹配度计算模型的训练方法得到的多模态数据匹配度计算模型的网络结构示意图；
19.图5为本公开实施例提供的一种多模态数据匹配度计算模型的训练装置的结构框
图；
20.图6为本公开实施例提供的一种多模态数据匹配度计算装置的结构框图；
21.图7为本公开实施例提供的一种适用于执行多模态数据匹配度计算模型的训练方法和/或多模态数据匹配度计算方法的电子设备的结构示意图。
具体实施方式
22.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
23.本公开的技术方案中，所涉及的用户个人信息(例如第一样本数据、第二样本数据中包括与用户相关的身份信息、人脸图像等)的获取、存储和应用等，均符合相关法律法规的规定，采取了必要的保密措施，且不违背公序良俗。
24.图1示出了可以应用本公开的用于训练人脸识别模型以及识别人脸的方法、装置、电子设备及计算机可读存储介质的实施例的示例性系统架构100。
25.如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
26.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103和服务器105上可以安装有各种用于实现两者之间进行信息通讯的应用，例如跨模态匹配类应用、跨模态数据匹配度计算类应用等。
27.终端设备101、102、103和服务器105可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等；当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中，其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器；服务器为软件时，可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。
28.服务器105通过内置的各种应用可以提供各种服务，以可以为用户提供图像-文本匹配度计算服务的跨模态数据匹配度计算类应用为例，服务器105在运行该图像-文本匹配类应用时可实现如下效果：获取体现为图像数据的第一数据、体现为文本数据的第二数据的第一数据和第二数据构成的待测数据对后，调用预设的多模态数据匹配度计算模型处理该待测数据对，得到该待测数据对的语义匹配度；其中，该多模态数据匹配度计算模型基于对比学习损失函数以对比学习的方式训练得到，该对比学习损失函数包含有语义困惑度参数，该语义困惑度参数基于模态不同的第一样本数据和第二样本数据间的语义特征距离确定。
29.其中，多模态数据匹配度计算模型可由服务器105上内置的多模态数据匹配度计算模型的训练类应用按如下步骤训练得到：获取模态不同的第一样本数据和第二样本数
据；构建包括语义困惑度参数的对比学习损失函数，该语义困惑度参数基于该第一样本数据和该第二样本数据间的语义特征距离确定；利用该对比学习损失函数，以对比学习的方式训练初始多模态数据匹配度计算模型，得到目标多模态数据匹配度计算模型。
30.由于为训练得到多模态数据匹配度计算模型需要占用较多的运算资源和较强的运算能力，因此本公开后续各实施例所提供的多模态数据匹配度计算模型的训练方法一般由拥有较强运算能力、较多运算资源的服务器105来执行，相应地，多模态数据匹配度计算模型的训练装置一般也设置于服务器105中。但同时也需要指出的是，在终端设备101、102、103也具有满足要求的运算能力和运算资源时，终端设备101、102、103也可以通过其上安装的多模态数据匹配度计算模型的训练类应用完成上述本交由服务器105做的各项运算，进而输出与服务器105同样的结果。相应的，多模态数据匹配度计算模型的训练装置也可以设置于终端设备101、102、103中。在此种情况下，示例性系统架构100也可以不包括服务器105和网络104。
31.当然，用于训练得到多模态数据匹配度计算模型的服务器可以不同于调用训练好的多模态数据匹配度计算模型来使用的服务器。特殊的，经由服务器105训练得到的多模态数据匹配度计算模型也可以通过模型蒸馏的方式得到适合置入终端设备101、102、103的轻量级的多模态数据匹配度计算模型，即可以根据实际需求的识别准确度灵活选择使用终端设备101、102、103中的轻量级的多模态数据匹配度计算模型，还是选择使用服务器105中的较复杂的多模态数据匹配度计算模型。
32.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
33.请参考图2，图2为本公开实施例提供的一种多模态数据匹配度计算模型的训练方法的流程图，其中流程200包括以下步骤：
34.步骤201，获取模态不同的第一样本数据和第二样本数据。
35.在本实施例中，由多模态数据匹配度计算模型的训练方法的执行主体(例如图1所示的服务器)获取第一样本数据和第二样本数据，其中，第一样本数据和第二样本数据模态不同，例如，第一样本数据为图像数据，第二样本数据为文本数据，又例如第一样本数据为视频数据，第二样本数据为文本数据。
36.需要指出的是，第一样本数据和第二样本数据可以由上述执行主体直接从本地的存储设备获取，也可以从非本地的存储设备(例如图1所示的终端设备101、102、103)中获取。本地的存储设备可以是设置在上述执行主体内的一个数据存储模块，例如服务器硬盘，在此种情况下，两张原始图片和其排序信息可以在本地快速读取到；非本地的存储设备还可以为其它任何被设置用于存储数据的电子设备，例如一些用户终端等，在此情况下，上述执行主体可以通过向该电子设备发送获取命令来获取所需的第一样本数据和第二样本数据。
37.步骤202，构建包括语义困惑度参数的对比学习损失函数。
38.在本实施例中，在获取第一样本数据和第二样本数据后，分别获取第一样本数据的语义特征和输出样本的语义特征，并建立用于表征第一样本数据和第二样本数据间的语义特征距离的语义困惑度参数后，基于该语义困惑度参数构建用于以对比学习方式训练初始多模态数据匹配度计算模型的包括语义困惑度参数的对比学习损失函数。
39.其中，对比学习本质上是一种自监督学习方法，用于在没有标签的情况下，通过让模型学习特定数据点相似或不同来学习数据集的一般特征。在本公开中，主要用于通过这一特性找寻不同模态数据在语义层面的相似或不同点。
40.其中，可基于欧式距离、哈玛顿距离、马氏距离等用于计算第一样本数据对应的第二样本数据对应的语义特征之间的特征距离的计算方式确定该语义困惑度参数，在一些实施例中，也可以预先设置多个数值区间以便于对语义困惑度进行标识，以便于根据生成的特征距离的数值所落入的数值区间确定语义困惑度参数。
41.步骤203，利用该对比学习损失函数，以对比学习的方式训练初始多模态数据匹配度计算模型，得到目标多模态数据匹配度计算模型。
42.在本实施例中，基于上述步骤202中所构建的、包括语义困惑度参数的对比学习损失函数后，利用第一样本数据、第二样本数据和该包括语义困惑度参数的对比学习损失函数，训练该初始多模态数据匹配度计算模型，得到目标多模态数据匹配度计算模型。
43.本公开实施例提供的多模态数据匹配度计算模型的训练方法，在基于常规对比学习思想构建的损失函数上增加了基于模态不同的第一样本数据和第二样本数据之间的语义特征距离确定得到语义困惑度参数，通过该对比学习损失函数训练出的多模态数据匹配度计算模型可根据用于计算匹配度的多模态数据对之间的语义困惑度调整计算不同模态数据匹配度的关注度，以更准确的获取多模态数据的匹配度。
44.在本实施例的一些可选的实现方式中，基于语义困惑度构建用于以对比学习方式训练该初始多模态数据匹配度计算模型的对比学习损失函数，包括：获取对比学习方式中用以监督模型训练的初始对比学习损失函数；利用第一样本数据与第二样本数据间的语义特征的余弦关系表征语义困惑度参数；基于初始对比学习损失函数与语义困惑度参数构建对比学习损失函数。
45.具体的，还可以在获取第一样本数据和第二样本数据各自的语义特征后，使用可用于表征样本数据的语义特征和第二样本数据的语义特征之间语义特征距离的第一样本数据的语义特征和第二样本数据的语义特征之间的余弦关系，来表征语义困惑度参数，并基于初始对比学习损失函数与该语义困惑度参数构建对比学习损失函数，以便于快速、简便的对第一样本数据的语义特征与该第一样本数据所对应的第二样本数据的语义特征之间的语义特征进行表征，提升对语义困惑度的标记效率。
46.在一些可选的实施例中，在以包括多个第一样本数据的第一样本数据集合和包括多个第二样本数据的第二样本数据集合为样本，对初始多模态数据匹配度计算模型进行训练时，即在第一样本数据和/或第二样本数据体现为数据集合时，可基于上述方式确定第一样本数据(第一样本数据集合)与第二样本数据集合中所包括的各第二样本数据的语义特征距离，并统计得到作为输入数据的第一样本数据与该第二样本数据集合的语义困惑度，此时该语义困惑度可基于如下数学表达式确定：
[0047][0048][0049]
其中，e()表示数学期望，σ()表示将sd值的倒数进行归一化的激活(sigmoid)函数，per(i)表示第一样本数据i相对于第二样本数据集合的语义困惑度；ε代表用于调节函
数平滑度的超参，s
ij
表示第一样本数据i与第二样本数据j之间的特征距离。
[0050]
进一步的，获取用于对比学习方式进行模型训练的初始对比学习损失函数l
pcl_i
(v,t):
[0051][0052][0053]
l
pcl_i
(t,v)＝l
pcl_i
(t,v)+l
pcl_i
(v,t)
ꢀꢀꢀ⑸
[0054]
其中，v表示第一样本数据，t表示第二样本数据，μ是温度参数，γ是一个边界参数，n、q是小批量内的样品数量，s
nq
＝cos(vn,tq)，s
qn
＝cos(tq，vn)，s
nn
＝cos(vn，tn)和s
qq
＝cosine(tq，vq)均表示余弦相似性。
[0055]
然后将基于上述公式
⑵
得到的语义困惑度引入基于上述公式
⑸
得到的l
pcl_i
(t,v)中，生成基于语义困惑度构建的、用于以对比学习方式训练初始多模态数据匹配度计算模型的对比学习损失函数l
pcl
(t,v)，具体为：
[0056][0057][0058]
l
pcl
(t,v)＝l
pcl_i
(t,v)+l
pcl_i
(v,t)
ꢀꢀꢀ⑻
[0059]
其中，per(n)和per(q)表示vn和tq的语义困惑度，它们分别用于自适应地为每个负样本赋予权重，其余涉及参数以上述公式
⑶‑⑸
中对应，此处不再赘述。
[0060]
请参考图3，图3为本公开实施例提供的一种用于获取第一样本数据和第二样本数据的语义特征的流程图，即针对图2所示实施例步骤202中所涉及的语义特征提供了一种具体的获取方式，其中流程300包括以下步骤：
[0061]
步骤301，获取多个第一样本数据和多个第二样本数据。
[0062]
在本实施例中，在使用多个不同的第一样本数据和多个不同的第二样本数据对多模态数据匹配度计算模型进行训练的场景下，获取多个第一样本数据和多个第二样本数据。
[0063]
步骤302，将各第一样本数据的语义特征存入第一记忆银行、将各第二样本数据的语义特征存入第二记忆银行。
[0064]
在本实施例中，分别使用特征提取器提取各第一样本数据和各样本数据所对应的语义特征，并将第一样本数据的语义特征存入第一记忆银行，将第二样本数据的语义特征存入第二记忆银行，例如，当第一样本数据为图像数据时、第二样本数据为文本数据时，可
采用目标检测器对第一样本数据进行语义特征提取，采用文本特征提取器对第二样本数据进行语义特征提取。
[0065]
其中，记忆银行(memory bank)是一种在对比学习中使用的样本存储器，以图像形式的样本数据为例，可将样本图像数据对应的语义特征进行存储，以便于利用该记忆银行基于样本图像数据对应的语义特征进行快速提取。
[0066]
其中，优选的采用队列(queue)先进先出的方式在训练迭代过程中将小批量(mini-batch)的第一样本数据、第二样本数据以及各自所对应的语义特征不断存入记忆银行。
[0067]
在实践中，还可以在完成提取第一样本数据和第二样本数据各自的语义特征后，利用全局平均池化(global average pooling，gap，用于通过降低模型的参数数量来最小化过拟合效应)操作生成第一样本数据的第一全局特征和第二样本数据的第二全局特征，以提升存入第一记忆银行、第二记忆银行的语义特征的质量。
[0068]
在步骤303，分别对第一记忆银行和第二记忆银行的编码器进行动量更新，并从完成动量更新的第一记忆银行和完成动量更新的第二记忆银行中提取第一样本数据的语义特征和第二样本数据的语义特征。
[0069]
其中，动量更新是区别于基于梯度反向传播优化算法的模型参数更新技术，应用动量更新，被更新的键(key)编码器的参数跟随基于梯度反向传播优化的查询(query)编码器的参数缓慢变化，能够使键编码器在与查询编码器所输出的语义特征保持较好的一致性的情况下，免除梯度反向传播优化时所导致的大量计算和存储开销需求，后续可分别从完成动量更新的第一记忆银行和完成动量更新的第二记忆银行中，分别提取第一样本数据的语义特征和第二样本数据的语义特征
[0070]
在本实施例中，对第一记忆银行的编码器和第二记忆银行的编码器分别以gv()和g
t
()作为基准编码器进行参数更新，其中，基准编码器gv()和g
t
()又可称为键(key)编码器，待更新的编码器和又称为查询(query)编码器，我们使用查询编码器的模型参数，使用表示查询编码器gv()(g
t
())的模型参数，该动量更新过程的数学形式可以表示为：
[0071][0072][0073]
其中，m＝0.995称为动量更新系数。
[0074]
步骤304，基于第一语义特征与第二语义特征的语义特征距离，确定语义困惑度参数。
[0075]
在本实施例中，与图2所示实施例、以及后续在一些可选的实施例部分中所说明的基于第一语义特征与第二语义特征的语义特征距离的方式相同，此处不再重复说明。
[0076]
本实施例在上述图2所示的实施例的基础上，进一步的利用记忆银行的方式对各第一样本数据和各第二样本数据进行处理，以避免在对初始多模态数据匹配度计算模型的训练过程中，因包括第一样本数据和第二样本数据的样本数据的批量尺寸较小限制模型性
能，以进一步的提升训练得到的多模态数据匹配度计算模型的性能。
[0077]
在本实施例的一些可选的实现方式中，该将各该第一样本数据的语义特征存入第一记忆银行、将各该第二样本数据的语义特征存入第二记忆银行，包括：将至少两个该第一样本数据以集合的形式存入该第一记忆银行、将至少两个该第二样本数据以集合的形式存入该第二记忆银行。
[0078]
具体的，在将第一样本数据的语义特征存入第一记忆银行、将第二样本数据的语义特征存入第二记忆银行的过程中，还可以分别构建多个第一样本数据集合、第二样本数据集合，该第一样本数据集合中存在有至少两个第一样本数据，该第二样本数据集合中至少存在两个第二样本数据，后续以集合的形式分别将第一样本数据所对应的语义特征、第一样本数据的语义特征存入第一记忆银行、第二记忆银行，以便于通过批量训练的方式提升多模态数据匹配度计算模型的训练效率。
[0079]
在本实施例的一些可选的实现方式中，还包括对该对比学习损失函数中的以下至少一项施加约束：第一样本数据、第二样本数据、基于该第一记忆银行得到的第一样本数据的语义特征、基于该第二记忆银行得到的第二样本数据的语义特征。
[0080]
具体的，还可根据具体的需求，对确定到的对比学习损失函数中对应第一样本数据、第二样本数据、基于第一记忆银行得到的第一样本数据的语义特征、基于第二记忆银行得到的第二样本数据的语义特征中至少一项施加约束，以提升对初始多模态数据匹配度计算模型的训练效果，例如，在小批量数据对(t,v)上施加约束记为在对偶的第一记忆银行和第二记忆银行上施加约束，记为此时，最终得到的、整体的对比学习损失函数可为：
[0081][0082]
上述各实施例从各个方面阐述了如何训练得到多模态数据匹配度计算模型，而为了尽可能的从实际使用场景突出训练出的多模态数据匹配度计算模型所起到的效果，本公开还具体提供了使用该模型来实现计算多模态数据之间匹配度的具体实现方式：：
[0083]
首先，获取模态不同的第一数据和第二数据构成的待测数据对。
[0084]
具体的，获取模态不同的第一数据和第二数据构成的待测数据对，其中，例如体现为图像数据的第一数据以及体现为文本数据的第二数据。
[0085]
进一步，调用预设的多模态数据匹配度计算模型处理待测数据对，得到待测数据对的语义匹配度。
[0086]
具体的，调用上述图2所示实施例中所提供的、基于利用基于语义困惑度构建的对比学习损失函数训练得到多模态数据匹配度计算模型后，利用该多模态数据匹配度计算模型对该待测数据对进行处理，得到第一数据和第二数据之间的多模态数据匹配度。
[0087]
即本实施例提供的多模态数据匹配度计算方法，在获取模态不同的第一数据和第二数据构成的待测数据对后，调用使用包含语义困惑度参数的对比学习损失训练得到的多模态数据匹配度计算模型对该待测数据对进行数据、得到该待测数据对中所包括的第一数据和第二数据之间的匹配度，该多模态数据匹配度计算模可基于第一数据和第二数据之间的语义困惑度参确定对应匹配度计算策略、匹配资源，即使用与语义困惑度参数大小匹配的匹配度计算策略、匹配资来计算第一数据和第二数据之间的匹配度，而非现有技术中均
匀分配或固定分配计算资源的方式来进行匹配度计算，所以可将匹配度计算资源倾斜至高语义困惑度的第一数据和第二数据上，进而提升匹配度计算的准确性。
[0088]
为加深理解，本公开还结合计算图文两种模态数据之间匹配度的具体应用场景，给出了一种具体的实现方案：
[0089]
请参见图4，图4示出了一种用于实现计算图像-文本之间匹配程度的网络结构示意图。在图4中，左侧输入的样本图像将通过诸如faster-rcnn(是一种综合rcnn和fast rcnn基础上改进而来的模型，rcnn，region-cnn，中文直译为局部cnn，fast rcnn，中文直译为快速cnn，cnn，convolutional neural network，卷积神经网络)的目标检测器提取得到样本图像的局部图像特征(需要说明的是，本实施例当前及下述所有特征均为语义特征)，并通过全局平均池化操作后，得到全局图像特征；右侧输入的样本文本将通过诸如bert(bidirectional encoder representation from transformers，是一个预训练的语言表征模型)的文本特征提取器提取得到样本文本的局部文本特征，并通过全局平均池化操作，得到全局文本特征。
[0090]
而针对可能存在的批量尺寸不足的问题，图4还引入了动量对比学习的框架，即针对图像和文本两个模态的数据，分别建立了记忆银行，同时以队列先进先出的方式在训练迭代过程中将小批量的数据不断存入记忆银行，同时通过动量更新的方式对图像和文本的记忆银行的编码器分别以目标检测器(若在对样本图像进行局部特征提取时使用的是fastcnn，此处即为fastcnn)和文本特征提取器(若在对样本文本进行局部特征提取时使用的是bert，此处即为bert)作为基准模型进行参数更新，并最终得到进行动量更新后的记忆银行所输出的目标图像特征和目标文本特征。
[0091]
接下来，利用经图像记忆银行输出的目标图像特征、全局图像特征、经文本记忆银行输出的目标文本特征、全局文本特征，基于预先构建的对比学习损失函数(请参考上述公式11以及推导出公式11的相关前置公式)，以对比学习的方式训练出图文数据匹配度计算模型。进一步的，还可以对目标图像特征、目标文本特征也进行全局平均池化操作，以使在特征特性上与全局图像特征、全局文本特征一致。
[0092]
即训练好的图文数据匹配度计算模型，在使用过程，在输入一对图文数据之后，利用基于对比学习损失函数在训练过程中提取到的语义特征提取方式，首先分别提取出图像数据和文本数据的语义特征，并通过以余弦方式计算语义特征的距离，且基于计算出的距离生成图文数据匹配度，并最终作为模型的输出结果进行输出。
[0093]
本实施例通过图4给出了一种具体用于计算图文数据匹配度的模型训练及使用方案，需要声明的是，在计算除“图-文”数据的匹配度之外，本技术所提供的方案也可以应用于对诸如“图-语音”、“文-语音”等多种不同模态数据组合之间，提供不同模态数据之间匹配度的计算模型，只需要在模型训练结果输入与最终用途匹配的两种模态的样本数据，并使用与模态对应的特征提取器。那么类似于提取图像数据局部特征的目标检测器，在对语音数据提取局部特征时，则可以使用类似cnn或dnn作为其特征提取器。
[0094]
进一步参考图5和图6，作为对上述各图所示方法的实现，本公开分别提供了一种多模态数据匹配度计算模型的训练装置实施例和一种多模态数据匹配度计算装置的实施例，多模态数据匹配度计算模型的训练装置实施例与图2所示的多模态数据匹配度计算模型的训练方法实施例相对应，多模态数据匹配度计算装置实施例与多模态数据匹配度计算
方法实施例相对应。上述装置具体可以应用于各种电子设备中。
[0095]
如图5所示，本实施例的多模态数据匹配度计算模型的训练装置500可以包括：样本数据获取单元501、损失函数构建单元502和多模态数据匹配度计算模型的训练单元503。其中，样本数据获取单元501，被配置成获取模态不同的第一样本数据和第二样本数据；损失函数构建单元502，被配置成构建包括语义困惑度参数的对比学习损失函数，该语义困惑度参数基于该第一样本数据和该第二样本数据间的语义特征距离确定；多模态数据匹配度计算模型的训练单元503，被配置成利用该对比学习损失函数，以对比学习的方式训练初始多模态数据匹配度计算模型，得到目标多模态数据匹配度计算模型。
[0096]
在本实施例中，多模态数据匹配度计算模型的训练装置500中：样本数据获取单元501、损失函数构建单元502和多模态数据匹配度计算模型的训练单元503的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-203的相关说明，在此不再赘述。
[0097]
在本实施例的一些可选的实现方式中，该多模态数据匹配度计算模型的训练装置，还包括：样本数据批量获取单元，被配置成获取多个该第一样本数据和多个该第二样本数据；记忆银行存入单元，被配置成将各该第一样本数据的语义特征存入第一记忆银行、将各该第二样本数据的语义特征存入第二记忆银行；动量更新单元，被配置成分别对该第一记忆银行和该第二记忆银行的编码器进行动量更新，并从完成动量更新的第一记忆银行中提取第一语义特征、从完成动量更新的第二记忆银行中提取第二语义特征；语义特征提取单元，被配置成基于该第一语义特征与该第二语义特征的语义特征距离，确定该语义困惑度参数。
[0098]
在本实施例的一些可选的实现方式中，该记忆银行存入单元进一步被配置成，将至少两个该第一样本数据以集合的形式存入该第一记忆银行、将至少两个该第二样本数据以集合的形式存入该第二记忆银行。
[0099]
在本实施例的一些可选的实现方式中，该损失函数构建单元502，包括：初始损失函数获取子单元，被配置成获取对比学习方式中用以监督模型训练的初始对比学习损失函数；语义困惑度表征子单元，被配置成利用该第一样本数据与该第二样本数据间的语义特征的余弦关系表征该语义困惑度参数；对比学习损失函数构建子单元，被配置成基于该初始对比学习损失函数与该语义困惑度参数构建该对比学习损失函数。
[0100]
在本实施例的一些可选的实现方式中，多模态数据匹配度计算模型的训练装置，还包括：约束施加单元，被配置成对该对比学习损失函数中的以下至少一项施加约束：该第一样本数据、该第二样本数据、基于该第一记忆银行得到的第一样本数据的语义特征、基于该第二记忆银行得到的第二样本数据的语义特征。
[0101]
在本实施例的一些可选的实现方式中，第一样本数据包括样本图像数据，该第二样本数据包括样本文本数据。
[0102]
本实施例作为对应于上述方法实施例的装置实施例存在，本实施例提供的多模态数据匹配度计算模型的训练装置，多模态数据匹配度计算模型的训练方法，在基于常规对比学习思想构建的损失函数上增加了基于模态不同的第一样本数据和第二样本数据之间的语义特征距离确定得到语义困惑度参数，通过该对比学习损失函数训练出的多模态数据匹配度计算模型可根据用于计算匹配度的多模态数据对之间的语义困惑度调整计算不同
模态数据匹配度的关注度，以更准确的获取多模态数据的匹配度。
[0103]
如图6所示，本实施例的多模态数据匹配度计算装置600可以包括：待匹配数据获取单元601、匹配度计算单元602。其中，待匹配数据获取单元601，被配置成获取模态不同的第一数据和第二数据构成的待测数据对；匹配度计算单元602，被配置成调用预设的多模态数据匹配度计算模型处理该待测数据对，得到该待测数据对的语义匹配度；其中，该多模态数据匹配度计算模型基于对比学习损失函数以对比学习的方式训练得到，该对比学习损失函数包含有语义困惑度参数，该语义困惑度参数基于模态不同的第一样本数据和第二样本数据间的语义特征距离确定。
[0104]
在本实施例中，多模态数据匹配度计算装置600中待匹配数据获取单元601、匹配度计算单元602的具体处理及其所带来的技术效果可分别对应方法实施例中的相关说明，在此不再赘述。
[0105]
本实施例作为对应于上述方法实施例的装置实施例存在，本实施例提供的多模态数据匹配度计算装置，在获取模态不同的第一数据和第二数据构成的待测数据对后，调用使用包含语义困惑度参数的对比学习损失训练得到的多模态数据匹配度计算模型对该待测数据对进行数据、得到该待测数据对中所包括的第一数据和第二数据之间的匹配度，该多模态数据匹配度计算模可基于第一数据和第二数据之间的语义困惑度参确定对应匹配度计算策略、匹配资源，即使用与语义困惑度参数大小匹配的匹配度计算策略、匹配资来计算第一数据和第二数据之间的匹配度，而非现有技术中均匀分配或固定分配计算资源的方式来进行匹配度计算，所以可将匹配度计算资源倾斜至高语义困惑度的第一数据和第二数据上，进而提升匹配度计算的准确性。
[0106]
根据本公开的实施例，本公开还提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现上述任一实施例描述的多模态数据匹配度计算模型的训练方法和/或多模态数据匹配度计算方法。
[0107]
根据本公开的实施例，本公开还提供了一种可读存储介质，该可读存储介质存储有计算机指令，该计算机指令用于使计算机执行时能够实现上述任一实施例描述的多模态数据匹配度计算模型的训练方法和/或多模态数据匹配度计算方法。
[0108]
本公开实施例提供了一种计算机程序产品，该计算机程序在被处理器执行时能够实现上述任一实施例描述的多模态数据匹配度计算模型的训练方法和/或多模态数据匹配度计算方法。
[0109]
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0110]
如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(rom)702中的计算机程序或者从存储单元708加载到随机访问存储器(ram)703中的计算机程序，来执
行各种适当的动作和处理。在ram 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、rom 702以及ram 703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
[0111]
设备700中的多个部件连接至i/o接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0112]
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如多模态数据匹配度计算模型的训练方法和/或多模态数据匹配度计算方法。例如，在一些实施例中，多模态数据匹配度计算模型的训练方法和/或多模态数据匹配度计算方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由rom 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到ram 703并由计算单元701执行时，可以执行上文描述的多模态数据匹配度计算模型的训练方法和/或多模态数据匹配度计算方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行多模态数据匹配度计算模型的训练方法和/或多模态数据匹配度计算方法。
[0113]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0114]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0115]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom
或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0116]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0117]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0118]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(vps，virtual private server)服务中存在的管理难度大，业务扩展性弱的缺陷。
[0119]
本公开实施例的技术方案，多模态数据匹配度计算模型的训练方法，在基于常规对比学习思想构建的损失函数上增加了基于模态不同的第一样本数据和第二样本数据之间的语义特征距离确定得到语义困惑度参数，通过该对比学习损失函数训练出的多模态数据匹配度计算模型可根据用于计算匹配度的多模态数据对之间的语义困惑度调整计算不同模态数据匹配度的关注度，以更准确的获取多模态数据的匹配度。
[0120]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0121]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。