一种数据处理方法及相关装置与流程

本技术涉及人工智能领域，尤其涉及一种数据处理方法及相关装置。

背景技术：

1、人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

2、机器学习系统，包括个性化推荐系统，基于输入数据和标签，通过梯度下降等优化方法训练机器学习模型的参数，当模型参数收敛之后，可利用该模型来完成未知数据的预测。以个性化推荐系统中的点击率预测为例，其输入数据包括用户属性和商品属性等。如何根据用户的偏好，预测出个性化的推荐列表，对提升推荐系统的推荐精度有着重要的影响。

3、推荐模型(例如点击率预估模型)在在线信息服务中扮演着重要角色，可以被应用在包括在线广告、网页搜索等一系列任务中。随着深度学习技术的发展，很多推荐模型开始利用结合深度神经网络和不同的算子来对高阶特征交互进行建模，其中包括乘法算子、卷积算子和注意力算子。这些模型通常遵循了监督学习的范式：模型在随机初始化后基于监督信号从零开始进行训练。然而，仅仅依赖预测监督信号这一下游任务本身不足以提供充分的信息来学到每个实例的丰富表征。而自监督学习作为一种学习范式，能够帮助利用大量的未标注样本，学到一种更加通用且有效的表征。

4、因此，亟需一种自监督学习方法来进行推荐模型的训练。

技术实现思路

1、本技术提供了一种数据处理方法，可以提高推荐模型的推荐精度。

2、第一方面，本技术提供了一种数据处理方法，所述方法包括：获取多个第一属性信息，每个所述第一属性信息对应用户、物品或者上下文信息的一个特征维度；对所述多个第一属性信息中的至少一个第一属性信息进行替换，得到替换后的多个第一属性信息；通过所述替换后的多个第一属性信息，通过特征提取网络，得到第一特征表示；根据所述第一特征表示，通过第一预测网络，得到第一预测结果，所述第一预测结果指示每个所述第一属性信息是否被替换，并根据所述第一预测结果和对应的真值，更新所述特征提取网络。

3、本技术实施例中，针对于推荐模型中的特征提取网络，通过对属性特征进行替换，并预测每个特征维度的属性特征是否被替换，从而实现了推荐模型的自监督学习，再不改变推荐模型架构的情况下，可以大大提升推荐模型的处理精度。

4、在一种可能的实现中，每个所述第一属性信息为一个或多个标签，每个特征维度对应于多个标签；所述替换，包括：将属性信息替换为对应特征维度的其他标签。

5、在一种可能的实现中，所述方法还包括：获取多个第二属性信息，每个所述第二属性信息对应用户、物品或者上下文信息的一个特征维度；对所述多个第二属性信息中的至少一个第二属性信息进行掩码，得到掩码后的多个第二属性信息；通过所述掩码后的多个第二属性信息，通过特征提取网络，得到第二特征表示；根据所述第二特征表示，通过第二预测网络，得到第二预测结果，所述第二预测结果为每个掩码的第二属性信息的预测结果，并根据所述第二预测结果和对应的真值，更新所述特征提取网络。

6、在一种可能的实现中，在通过第二预测网络得到第二预测结果时，并未向第二预测网络输入指示每个掩码的第二属性信息所对应的特征维度。从而，第二预测网络在预测被掩码的特征维度的属性信息时，可以从多个特征维度(例如全特征维度对应的标签空间)的标签中确定预测结果。

7、在一种可能的实现中，所述根据所述第二预测结果和对应的真值，更新所述特征提取网络，包括：根据所述第二预测结果和对应的真值，确定噪声对比估计nce损失，并根据所述nce损失更新所述特征提取网络。

8、应理解，特征掩码预测是一个标准的多分类任务，在本技术实施例中类别空间的大小为所有域特征空间的大小，这带来了可扩展性的问题，传统的基于softmax的多分类损失函数对于较大特征空间并不适用。因此，本技术实施例中可以使用噪声对比估计nce的损失函数，将原本的多分类问题转化为二分类问题，这极大地缓解了了由于softmax操作带来的计算开销。

9、在一种可能的实现中，所述方法还包括：

10、获取用户和物品的属性信息；

11、根据更新后的所述特征提取网络，处理所述属性信息，得到第三特征表示；

12、根据所述第三特征表示，通过推荐模型，得到推荐信息；

13、根据所述推荐信息和对应的真值，更新所述推荐模型。

14、第二方面，本技术提供了一种数据处理方法，所述方法包括：

15、获取用户和物品的属性信息，通过如第一方面任一所述的方法得到的更新后的所述特征提取网络，处理所述属性信息，得到特征表示；

16、根据所述特征表示，通过推荐模型，得到推荐信息；

17、在所述推荐信息满足预设条件时，向所述用户推荐所述物品。

18、第三方面，本技术提供了一种数据处理装置，所述装置包括：

19、获取模块，用于获取多个第一属性信息，每个所述第一属性信息对应用户、物品或者上下文信息的一个特征维度；

20、处理模块，用于对所述多个第一属性信息中的至少一个第一属性信息进行替换，得到替换后的多个第一属性信息；

21、通过所述替换后的多个第一属性信息，通过特征提取网络，得到第一特征表示；

22、根据所述第一特征表示，通过第一预测网络，得到第一预测结果，所述第一预测结果指示每个所述第一属性信息是否被替换，并根据所述第一预测结果和对应的真值，更新所述特征提取网络。

23、在一种可能的实现中，每个所述第一属性信息为一个或多个标签，每个特征维度对应于多个标签；所述替换，包括：将属性信息替换为对应特征维度的其他标签。

24、在一种可能的实现中，所述获取模块，还用于：

25、获取多个第二属性信息，每个所述第二属性信息对应用户、物品或者上下文信息的一个特征维度；

26、所述处理模块，还用于：对所述多个第二属性信息中的至少一个第二属性信息进行掩码，得到掩码后的多个第二属性信息；

27、通过所述掩码后的多个第二属性信息，通过特征提取网络，得到第二特征表示；

28、根据所述第二特征表示，通过第二预测网络，得到第二预测结果，所述第二预测结果为每个掩码的第二属性信息的预测结果，并根据所述第二预测结果和对应的真值，更新所述特征提取网络。

29、在一种可能的实现中，在通过第二预测网络得到第二预测结果时，并未向第二预测网络输入指示每个掩码的第二属性信息所对应的特征维度。

30、在一种可能的实现中，在通过第二预测网络得到第二预测结果时，所述第二预测网络为从多个特征维度的属性信息中确定所述第二预测结果。

31、在一种可能的实现中，所述处理模块，具体用于：

32、根据所述第二预测结果和对应的真值，确定噪声对比估计nce损失，并根据所述nce损失更新所述特征提取网络。

33、在一种可能的实现中，所述获取模块，还用于获取用户和物品的属性信息；

34、所述处理模块，还用于根据更新后的所述特征提取网络，处理所述属性信息，得到第三特征表示；

35、根据所述第三特征表示，通过推荐模型，得到推荐信息；

36、根据所述推荐信息和对应的真值，更新所述推荐模型。

37、第四方面，本技术提供了一种数据处理装置，所述装置包括：

38、获取模块，用于获取用户和物品的属性信息；

39、处理模块，用于通过如第一方面任一所述的方法得到的更新后的所述特征提取网络，处理所述属性信息，得到特征表示；

40、根据所述特征表示，通过推荐模型，得到推荐信息；

41、在所述推荐信息满足预设条件时，向所述用户推荐所述物品。

42、第五方面，本技术实施例提供了一种数据处理装置，可以包括存储器、处理器以及总线系统，其中，存储器用于存储程序，处理器用于执行存储器中的程序，以执行如上述第一方面任一可选的方法。

43、第六方面，本技术实施例提供了一种数据处理装置，可以包括存储器、处理器以及总线系统，其中，存储器用于存储程序，处理器用于执行存储器中的程序，以执行如上述第二方面任一可选的方法。

44、第七方面，本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面及任一可选的方法、以及上述第二方面任一可选的方法。

45、第八方面，本技术实施例提供了一种计算机程序产品，包括代码，当代码被执行时，用于实现上述第一方面及任一可选的方法、以及上述第二方面任一可选的方法。

46、第九方面，本技术提供了一种芯片系统，该芯片系统包括处理器，用于支持执行设备或训练设备实现上述方面中所涉及的功能，例如，发送或处理上述方法中所涉及的数据；或，信息。在一种可能的设计中，芯片系统还包括存储器，所述存储器，用于保存执行设备或训练设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。