基于对比学习的CTR预测模型训练方法、装置及电子设备与流程

本申请涉及计算机，尤其涉及一种基于对比学习的ctr预测模型训练方法、装置及电子设备。

背景技术：

1、ctr预测用于预测某个项目（如商品、广告等）被点击的概率，它在推荐系统和计算广告等领域有广泛应用。近期的许多方法通过对特征间的复杂互动（称为特征交互）进行建模，实现了性能的提升。

2、目前ctr预测方法可以分为两类，第一类采用传统方法，如逻辑回归（lr）和基于因子分解机（fm）的模型，主要对简单的低阶特征交互进行建模；第二类采用基于深度学习的方法（如deepfm），可以通过捕获高阶特征交互，进一步提高ctr预测的准确性。但是，现有的ctr预测方法仍存在以下问题；高频特征比低频特征有更高的机会被训练，导致低频特征的表示不是最优的。由于大多数ctr预测模型通过反向传播学习特征表示，低频特征由于出现较少而无法得到充分训练，导致次优特征表示，从而导致次优ctr预测性能。这不仅降低模型训练的泛化性能，而且降低模型的预测性能及预测精度。

技术实现思路

1、有鉴于此，本申请实施例提供了一种基于对比学习的ctr预测模型训练方法、装置及电子设备，以解决现有技术存在降低模型训练的泛化性能，降低模型的预测性能及预测精度的问题。

2、本申请实施例的第一方面，提供了一种基于对比学习的ctr预测模型训练方法，包括：获取用于ctr预测模型训练的离散特征，将离散特征映射到低维度的稠密向量中，得到原始特征向量；利用预定的特征对齐约束以及特征一致性约束分别对原始特征向量进行正则化约束，得到特征对齐损失和特征一致性损失；对原始特征向量进行数据增强，得到第一特征向量和第二特征向量，对第一特征向量和第二特征向量进行特征交叉得到中间向量，计算中间向量之间的距离，得到对比学习损失；依据特征对齐损失、特征一致性损失、对比学习损失以及原始ctr预测任务的损失函数生成综合损失函数，利用综合损失函数反向更新模型参数，以便对ctr预测模型进行训练。

3、本申请实施例的第二方面，提供了一种基于对比学习的ctr预测模型训练装置，包括：映射模块，被配置为获取用于ctr预测模型训练的离散特征，将离散特征映射到低维度的稠密向量中，得到原始特征向量；正则化模块，被配置为利用预定的特征对齐约束以及特征一致性约束分别对原始特征向量进行正则化约束，得到特征对齐损失和特征一致性损失；对比学习模块，被配置为对原始特征向量进行数据增强，得到第一特征向量和第二特征向量，对第一特征向量和第二特征向量进行特征交叉得到中间向量，计算中间向量之间的距离，得到对比学习损失；训练模块，被配置为依据特征对齐损失、特征一致性损失、对比学习损失以及原始ctr预测任务的损失函数生成综合损失函数，利用综合损失函数反向更新模型参数，以便对ctr预测模型进行训练。

4、本申请实施例的第三方面，提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述方法的步骤。

5、本申请实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

6、本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

7、通过获取用于ctr预测模型训练的离散特征，将离散特征映射到低维度的稠密向量中，得到原始特征向量；利用预定的特征对齐约束以及特征一致性约束分别对原始特征向量进行正则化约束，得到特征对齐损失和特征一致性损失；对原始特征向量进行数据增强，得到第一特征向量和第二特征向量，对第一特征向量和第二特征向量进行特征交叉得到中间向量，计算中间向量之间的距离，得到对比学习损失；依据特征对齐损失、特征一致性损失、对比学习损失以及原始ctr预测任务的损失函数生成综合损失函数，利用综合损失函数反向更新模型参数，以便对ctr预测模型进行训练。本申请提高了特征表达的鲁棒性，提高了ctr预测模型训练的泛化性能，从而进一步提升ctr预测模型的预测性能及预测精度。

技术特征：

1.一种基于对比学习的ctr预测模型训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在所述将所述离散特征映射到低维度的稠密向量中，得到原始特征向量之后，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，利用特征对齐约束对所述原始特征向量进行正则化约束，得到特征对齐损失，包括：

4.根据权利要求1所述的方法，其特征在于，利用特征一致性约束对所述原始特征向量进行正则化约束，得到特征一致性损失，包括：

5.根据权利要求1所述的方法，其特征在于，所述对所述原始特征向量进行数据增强，包括：

6.根据权利要求1所述的方法，其特征在于，所述对所述第一特征向量和第二特征向量进行特征交叉得到中间向量之后，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，依据所述特征对齐损失、所述特征一致性损失、所述对比学习损失以及原始ctr预测任务的损失函数，利用以下公式计算所述综合损失函数：

8.一种基于对比学习的ctr预测模型训练装置，其特征在于，包括：

9.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。

技术总结
本申请提供一种基于对比学习的CTR预测模型训练方法、装置及电子设备。该方法包括：将用于CTR预测模型训练的离散特征映射到低维度的稠密向量中，得到原始特征向量；对原始特征向量进行正则化约束，得到特征对齐损失和特征一致性损失；对原始特征向量进行数据增强，得到第一特征向量和第二特征向量，对第一特征向量和第二特征向量进行特征交叉得到中间向量，计算中间向量之间的距离，得到对比学习损失；依据特征对齐损失、特征一致性损失、对比学习损失以及原始CTR预测任务的损失函数生成综合损失函数，利用综合损失函数反向更新模型参数，以便对CTR预测模型进行训练。本申请提高了CTR预测模型训练的泛化性能，从而提升CTR预测模型的预测性能及预测精度。

技术研发人员：董辉,王芳
受保护的技术使用者：深圳须弥云图空间科技有限公司
技术研发日：
技术公布日：2024/1/14