一种基于有限用户敏感属性的公平推荐方法、设备及介质与流程

本发明涉及机器学习、数据挖掘领域，尤其是涉及一种基于有限用户敏感属性的公平推荐方法、设备及介质。

背景技术：

1、推荐系统在当今的电子商务、社交媒体和其他领域扮演着重要的角色，它们旨在为用户提供个性化的推荐结果，以满足其需求和兴趣。然而，在推荐过程中存在着一些公平性问题，可能偏向具有特定敏感属性的用户，比如带有性别、种族、年龄等标签的用户。

2、目前已经提出了一些解决推荐系统公平性问题的方法，其中，数据导向方法通过根据敏感属性调整训练数据，包括重新采样和添加抗衡数据，来减轻偏见的影响。对抗学习方法利用最小最大博弈来学习公平表示，防止在用户嵌入或图结构中预测敏感属性的发生。正则化方法则将公平度量指标作为正则化器加入目标函数或奖励函数中，如不同敏感属性组之间的效用绝对差异，重新排序方法通过重新排序推荐结果，为具有不同敏感属性的用户群体实现更公平的结果，这些方法代表了在推荐系统领域解决公平性问题的一些创新尝试。然而，这些方法都假设全部用户的敏感属性已知，这在实践中往往是难以成立的，比如在许多推荐场景中如在线广告中，用户无需注册或提交个人信息。此外，由于法律保护的原因，收集敏感属性需要得到用户的明确同意，这限制了这些方法的适用性。

3、为了解决在缺乏完整敏感属性信息的情况下提供公平推荐的挑战，我们设计了一种基于有限用户敏感属性的公平推荐方法。该方法利用用户的历史交互记录和已有的敏感属性信息，通过重建用户的缺失敏感属性来弥补信息不完整性。

4、为了应对重建过程中的误差，通过构建了一个模糊集合，其中包含了缺失敏感属性的真实分布以及一部分其他潜在分布，然后，采用分布式鲁棒优化技术对模糊集合中的所有分布进行公平性优化，以确保在有限敏感属性的情况下，推荐结果仍能保持公平。

技术实现思路

1、本发明的目的是为推荐系统提供一种更加普适且有效的推荐系统公平性解决方案，不再依赖于完整敏感属性信息的获取,通过该方法为用户提供个性化且公平的推荐体验，促进推荐系统的公平性和社会的公正性。

2、本发明为达到上述发明目的，采用如下技术方案：

3、第一方面，本发明提供一种基于有限用户敏感属性的公平推荐方法，该方法包括以下步骤：

4、s1：利用已有的敏感属性信息和用户的历史交互记录以重建用户的缺失敏感属性，基于用户的交互历史使用机器学习或神经网络，推断得出缺失敏感属性的可能取值，以弥补已有的敏感属性信息的不完整性；

5、s2：利用重建后的敏感属性以及重建的错误率构建模糊集合，模糊集合包含缺失敏感属性的真实分布以及其他潜在部分的分布；

6、s3：基于分布式鲁棒优化方法，对模糊集合中包含的所有分布进行公平性优化。

7、更进一步地，所述缺失敏感属性的可能取值范围与敏感属性的可能取值范围相同，敏感属性的取值范围为{1,2,…,m}，其中m表示为敏感属性的所有不同取值数量。

8、更进一步地，在步骤s1中，所述对用户的缺失敏感属性重建的具体过程如下：

9、（1）定义数据集d中每个样本表述为，其中表示用户，表示物品，表示用户的敏感属性，表示用户评分，对于任意用户，将其交互历史构建为向量,其中为用户对物品的评分，且，若数据集d中用户未对显式评分，则；

10、（2）利用svm、逻辑回归或深度神经网络作为重建网络，重建网络将用户历史交互向量作为输入，以预测得出缺失的敏感属性；

11、（3）使用预测得出的敏感属性填补入缺失敏感属性的子数据集中，填补后的子数据集称为，按照敏感属性不同划分数据集d，将数据集中具有敏感属性的子数据集记作，并将中具有重建敏感属性的样本子集记作，不含有用户敏感属性的子数据集为，拥有已知敏感属性的子数据集，其中，，且。

12、更进一步地，所述敏感属性包括性别、年龄、职业、专业。

13、更进一步地，在步骤s2中，所述模糊集合的具体构建过程为：

14、（1）若用户-物品对的条件联合分布满足经验分布形式，，且重建后的敏感属性值为 s，则，反之，则，其中表示用户-物品对在条件下的联合经验分布，表示集合中元素的数量，表示样本在中的概率样本权重；

15、（2）利用全变差距离衡量两个概率分布之间的距离，并基于全变差距离构建模糊集合，构建的模糊集合为，其中表示两个分布间的全变差距离，表示维实数空间，表示分布间的距离上界，表示模糊集合中的元素，表达为：，表示模糊集合中元素对于样本 的概率样本权重；

16、（3）利用真实敏感属性的重建错误率估计分布间的距离上界，表达为：，其中，表示对真实敏感属性的重建错误率。

17、更进一步地，当重建敏感属性的分布与真实敏感属性s的分布相同时，则所述两个分布间的全变差距离，其中为真实缺失敏感属性条件下用户-物品对的条件联合分布，表示重建敏感属性的分布，表示真实敏感属性s的分布。

18、更进一步地，在步骤s3中，所述基于分布式鲁棒优化的推荐公平优化的具体过程为：

19、（1）构建统计公平，要求推荐模型的预测得分与敏感属性独立，即，其中表示模型的预测得分，代表推荐模型预测得分的概率密度函数，代表推荐模型预测得分 在给定敏感属性s的条件下的条件概率密度函数；

20、（2）利用分布式鲁棒优化技术提升统计公平，通过最小化整个模糊集合中使公平性最差的分布，以在整个模糊集合中包含的所有分布上均保证模型公平，具体的优化目标如下：，其中，为推荐模型的损失函数，为推荐模型的参数，为对用户与物品的交互的评分，表示模糊集合中元素的数量，是用于平衡推荐系统损失函数与公平正则项的超参数表示利用分布式鲁棒优化的公平正则项，，m表示为敏感属性的所有不同取值数量；

21、（3）针对模糊集合中的任一个分布，通过约束整个数据集上预测得分的总体期望与给定敏感属性任一个具体取值下的条件期望以实现统计公平,具体表达为:，其中，，，为数据集上的预测得分的期望，为数据集上的预测得分的期望，则表示为在分布下模型预测得分的经验期望。

22、第二方面，本发明提供一种基于有限用户敏感属性的公平推荐装置，包括存储器以及处理器，存储器存储有计算机可执行指令，处理器被配置为运行所述计算机可执行指令，所述计算机可执行指令被所述处理器运行时实现所述的基于有限用户敏感属性的公平推荐方法。

23、第三方面，本发明提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现所述的基于有限用户敏感属性的公平推荐方法。

24、与现有技术相比，本发明的有益效果如下：

25、1、数据导向方法、对抗学习方法、正则化方法、重新排序方法都假设全部用户的敏感属性已知，这在实践中往往是难以成立的，法律保护的原因，收集敏感属性需要得到用户的明确同意，这限制了这些方法的适用性，本发明提出一种基于有限用户敏感属性的公平推荐方法，旨在为推荐系统提供一种更加普适且有效的推荐系统公平性解决方案，不再依赖于完整敏感属性信息的获取，推动推荐系统的公平性和社会的公正性。

26、2、本发明方法利用用户的历史交互记录和已有的敏感属性信息，通过重建用户的缺失敏感属性来弥补信息不完整性，为了应对重建过程中的误差，构建了一个模糊集合，其中包含了缺失敏感属性的真实分布以及一部分其他潜在分布，采用分布式鲁棒优化技术对模糊集合中的所有分布进行公平性优化，以确保在有限敏感属性的情况下，推荐结果仍能保持公平。

27、3、根据重建出的敏感属性以及重建的错误率，构建了一个模糊集合，考虑到重建过程中的不确定性，可以通过构建的模糊集合，使得更全面地考虑并建模敏感属性的潜在真实取值，而不仅仅依赖于单一的重建结果。