对齐模型的训练方法、装置、设备、介质及程序产品与流程

本申请实施例涉及机器学习领域，特别涉及一种对齐模型的训练方法、装置、设备、介质及程序产品。

背景技术：

1、知识图谱由相互连接的实体以及实体之间的关系所构成，利用语言、视觉和听觉等多种模态数据的知识图谱称作多模态知识图谱。知识图谱对齐又称实体对齐，旨在判断两个或者多个不同的知识图谱的实体是否指向同一事物，对于构建大规模高质量的知识图谱而言，知识图谱对齐技术具有十分重要的现实意义。

2、相关技术中，通常采用不同的编码器对不同模态的信息进行特征提取，将多种模态信息分别对应的模态特征融合后得到多模态实体表示，以多模态实体表示的余弦相似度确定对齐结果。

3、然而，在通过上述方法进行多模态实体对齐时，通常根据直接利用融合得到的多模态实体表示判断对齐结果，而没有考虑不同模态之间可能存在互相补充的信息，进而使得对齐过程中不同模态的信息关联性较差，从而影响对齐效果。

技术实现思路

1、本申请实施例提供了一种对齐模型的训练方法、装置、设备、介质及程序产品，能够利用模态内以及模态间的交互关系，提高对对齐模型的训练效果。所述技术方案如下。

2、一方面，提供了一种对齐模型的训练方法，所述方法包括：

3、获取至少两个样本知识图谱，所述至少两个样本知识图谱中的节点对应包括第一模态数据和第二模态数据；

4、通过对齐模型将所述至少两个样本知识图谱中的节点对应的第一模态数据和第二模态数据映射至向量空间中，得到所述第一模态数据对应的第一模态特征表示，以及所述第二模态数据对应的第二模态特征表示；

5、对节点对应的第一模态特征表示进行对比分析，以及对节点对应的第二模态特征表示进行对比分析，得到模态内损失；

6、对节点对应的第一模态特征表示和第二模态特征表示进行对齐分析，得到模态间损失；

7、基于所述模态内损失和所述模态间损失对所述对齐模型进行训练，得到目标对齐模型，所述目标对齐模型用于对至少两个知识图谱进行对齐分析，得到对齐结果。

8、另一方面，提供了一种对齐模型的训练装置，所述装置包括：

9、获取模块，用于获取至少两个样本知识图谱，所述至少两个样本知识图谱中的节点对应包括第一模态数据和第二模态数据；

10、映射模块，用于通过对齐模型将所述至少两个样本知识图谱中节点对应的第一模态数据和第二模态数据映射至向量空间中，得到所述第一模态数据对应的第一模态特征表示，以及所述第二模态数据对应的第二模态特征表示；

11、对比模块，用于对节点对应的第一模态特征表示进行对比分析，以及对节点对应的第二模态特征表示进行对比分析，得到模态内损失；

12、对齐模块，用于对节点对应的第一模态特征表示和第二模态特征表示进行对齐分析，得到模态间损失；

13、训练模块，用于基于所述模态内损失和所述模态间损失对所述对齐模型进行训练，得到目标对齐模型，所述目标对齐模型用于对至少两个知识图谱进行对齐分析，得到对齐结果。

14、另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中任一所述对齐模型的训练方法。

15、另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述本申请实施例中任一所述的对齐模型的训练方法。

16、另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的对齐模型的训练方法。

17、本申请实施例提供的技术方案带来的有益效果至少包括：

18、提取节点中第一模态数据对应的第一模态特征表示，以及第二模态数据对应的第二模态特征表示，在不同模态特征表示内进行对比分析得到模态内损失，在不同模态间进行对齐分析得到模态间损失；基于模态内损失和模态间损失对对齐模型进行训练，得到目标对齐模型。通过上述方法，将节点对应的不同模态数据映射至统一的向量空间中，得到不同模态数据对应的不同模态特征表示，在模态内对不同节点对应的模态特征表示进行对比分析，充分捕捉模态内的动态特征，从而获得更具有辨别力，区别度更高的模态特征表示；此外，在不同模态间，对不同节点对应的模态特征表示进行对齐分析，充分利用模态间的交互关系，提高对对齐模型训练过程中对齐效果，在保持对齐节点之间语义接近的条件下，最小化同一节点模态间的差异性，从而实现更好的训练效果，得到对齐效果更好的目标对齐模型。

技术特征：

1.一种对齐模型的训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述至少两个样本知识图谱标注有对齐关系；

3.根据权利要求2所述的方法，其特征在于，所述至少两个样本知识图谱中包括分布于不同样本知识图谱的第一实体节点和第二实体节点，所述对齐实体对中包括所述第一实体节点向所述第二实体节点对齐的第一对齐实体对，以及包括所述第二实体节点向所述第一实体节点对齐的第二对齐实体对；

4.根据权利要求3所述的方法，其特征在于，所述基于所述第一概率分布确定所述第一模态特征表示对应的第一模态内损失，包括：

5.根据权利要求1至4任一所述的方法，其特征在于，所述对节点对应的第一模态特征表示和第二模态特征表示进行对齐分析，得到模态间损失，包括：

6.根据权利要求5所述的方法，其特征在于，所述对所述融合特征、所述节点对应的第一模态特征表示以及所述节点对应的第二模态特征表示进行对齐分析，得到模态间损失，包括：

7.根据权利要求6所述的方法，其特征在于，所述基于所述融合特征以及所述节点对应的第一模态特征表示，确定第一模态间损失，包括：

8.根据权利要求1至4任一所述的方法，其特征在于，所述基于所述模态内损失和所述模态间损失对所述对齐模型进行训练，得到目标对齐模型，包括：

9.根据权利要求8所述的方法，其特征在于，所述根据所述模态内损失和所述模态间损失，确定所述第一模态特征表示对应的第一目标损失值，包括：

10.根据权利要求9所述的方法，其特征在于，所述基于所述第一对比调整结果和所述第一对齐调整结果，确定所述第一模态特征表示对应的第一目标损失值，包括：

11.根据权利要求8所述的方法，其特征在于，所述以所述第一目标损失值和所述第二目标损失值，对所述对齐模型进行训练，得到目标对齐模型，包括：

12.一种对齐模型的训练装置，其特征在于，所述装置包括：

13.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至11任一所述的对齐模型的训练方法。

14.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至11任一所述的对齐模型的训练方法。

15.一种计算机程序产品，其特征在于，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现如权利要求1至11任一所述的对齐模型的训练方法。

技术总结
本申请公开了一种对齐模型的训练方法、装置、设备、介质及程序产品，涉及机器学习领域。该方法包括：获取至少两个样本知识图谱，样本知识图谱中的节点对应包括第一模态数据和第二模态数据；获取第一模态数据对应的第一模态特征表示；获取第二模态数据对应的第二模态特征表示；在模态内对第一模态特征表示进行对比分析，对第二模态特征表示进行对比分析，得到模态内损失；在模态间对第一模态特征表示和第二模态特征表示进行对齐分析，得到模态间损失；以模态内损失和模态间损失对对齐模型进行训练，得到目标对齐模型。通过以上方式，利用模态内和模态间的交互关系，提高对齐模型的训练效果。本申请可应用于云技术、人工智能、智慧交通等各种场景。

技术研发人员：林镇溪,张子恒
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/15