用于文档推荐的方法和装置制造方法
【专利摘要】根据本发明的各实施方式提供了一种用于文档推荐的方法和装置，该方法包括：从与源用户使用多个第一文档有关的活动中获得用于源推荐任务的多个第一数据；从与目标用户使用多个第二文档有关的活动中获得用于目标推荐任务的多个第二数据；基于所述多个第一数据、所述多个第二数据以及从所述源推荐任务中迁移的知识来执行所述目标推荐任务以获得目标推荐模型；以及使用所述目标推荐模型向所述目标用户进行文档推荐。
【专利说明】用于文档推荐的方法和装置
【技术领域】
[0001] 本发明的各实施例总体上涉及文档推荐领域，并且更具体地涉及一种基于迁移学 习进行文档推荐的方法和装置。
【背景技术】
[0002] 文档推荐是用户导向的内容管理系统中的主要组成部分。准确的文档推荐可以潜 在地增加用户的工作效率以及改善诸如Web浏览的用户体验。用户爱好或偏好的构建是通 过集成从用户的活动（例如，浏览历史）中获得的信息而自动实现的。当新用户不具有足 够的历史数据时，这种推荐系统将面临如何对新用户进行个性化推荐的挑战，这被称为冷 启动（coldstart)问题。
[0003] 对文档推荐的传统方法往往依赖于文档内容，用户信息、诸如显式或暗式的用户 反馈、用户简档（profile)以及有时经由辞典的语义分析的帮助。另一种方法是协作过滤 (CF)，该方法广泛用于web推荐。CF方法能够通过计算来自用户活动日志的各项目的相似 性或相关性来进行推荐。CF方法的关键是如何定义用户和文档之间的相关性函数（或距离 函数），但是在可用数据较少时，很难准确地建立这种相关性函数。因此，这两种方法都不能 够有效地克服冷启动问题。
[0004] 因此，在文档推荐领域中，存在对于有效地克服冷启动问题的方法的需要。
【发明内容】
[0005] 针对上述问题，本发明的各示例性实施例提供了一种基于迁移学习的文档推荐方 法。该方法在没有足够的训练数据的情况下能够通过迁移学习对新用户进行准确的文档推 荐，从而有效地克服了冷启动问题。
[0006] 根据本发明的一个方面，提供了一种用于文档推荐的方法，包括：从与源用户使用 多个第一文档有关的活动中获得用于源推荐任务的多个第一数据；从与目标用户使用多个 第二文档有关的活动中获得用于目标推荐任务的多个第二数据；基于所述多个第一数据、 所述多个第二数据以及从所述源推荐任务中迁移的知识来执行所述目标推荐任务以获得 目标推荐模型；以及使用所述目标推荐模型向所述目标用户进行文档推荐。
[0007] 根据本发明的另一方面，提供了一种用于文档推荐的装置，包括：获得模块，用于 从与源用户使用多个第一文档有关的活动中获得用于源推荐任务的多个第一数据，并且用 于从与目标用户使用多个第二文档有关的活动中获得用于目标推荐任务的多个第二数据； 处理模块，用于基于所述多个第一数据、所述多个第二数据以及从所述源推荐任务中迁移 的知识来执行所述目标推荐任务以获得目标推荐模型；以及输出模块，用于使用所述目标 推荐模型向所述目标用户进行文档推荐并且输出文档推荐结果。
【专利附图】
【附图说明】
[0008] 结合附图并参考以下详细说明，本发明各实施例的特征、优点及其他方面将变得 更加明显，在此以示例性而非限制性的方式示出了本发明的若干实施例，在附图中：
[0009] 图1示出了通过根据本发明实施例的方法所获得的迁移学习结果的示例；
[0010] 图2示出了根据本发明实施例的用于文档推荐的方法200的流程图；
[0011] 图3示出了图2所示的根据本发明实施例的方法200中用于生成目标推荐模型的 步骤的细化流程图；以及
[0012] 图4示出了根据本发明实施例的装置400的框图。
【具体实施方式】
[0013] 以下参考附图详细描述了本发明的各个示例性实施例。
[0014] 应当理解，给出这些示例性实施例仅仅是为了使本领域技术人员能够更好地理解 并进而实现本发明，而并非以任何方式限制本发明的范围。
[0015] 根据本发明的实施例，提出了一种在迁移学习（transferlearning)架构下组合 文档内容和协作数据的文档推荐方法。
[0016] 迁移学习是对传统的机器学习的改进。在传统的机器学习的框架下，学习的任务 就是在给定充分训练数据的基础上来学习一个分类模型；然后利用这个学习到的模型对测 试文档进行分类与预测。然而，对于很难获得大量训练数据的新领域，以及训练数据与测 试数据不服从相同的数据分布的情况下，这种学习与应用将无法开展。而迁移学习可以从 已有的数据中迁移必要的知识以用来帮助新环境中的学习任务。因此，迁移学习可以在没 有来自新环境的大量数据的情况下，诸如在对文档推荐系统中新加入的用户进行文档推荐 时，克服冷启动的问题。
[0017] 然而，在先前的迁移学习方法中，由于不同的学习任务会导致不同的预测向量，因 此以往的方法基于对用于源域S和目标域T的预测向量ws和wT的关系进行建模。例如， 在SinnoJialinPan和QiangYang于 2010 年 10 月在IEEETransactionsonKnowledge andDataEngineering,Vol. 22,No. 10 中发表的"ASurveyonTransferLearning" 中所 记载的，将用于每个任务的预测参数W划分成两项：公共参数Wtl和任务特定的项V，然后将 支持向量机（SVM)扩展以对这两项进行正则化，而后通过公共参数来实现知识的循环。但 是，这种迁移学习的方法并不适用于源域S和目标域T可能对一些特征具有完全相反的偏 好的情况。例如，在文本分类项目中，Marc和Bruno都采用技术版面信息作为是否接受通 知以进行文档访问的决定因素，Marc喜欢了解关于"xCP技术"版面的通知，而Bruno喜欢 了解关于"企业工程"版面的通知。在这种情况下，如果直接应用通过Marc的数据训练的 分类器，则可以预期的是关于xCP技术版面的那些通知将被推荐给Bruno，这将导致错误的 分类。但是，如果理解了文档推荐系统更可能例如将来自Marc的数据的版面名称和作者名 称进行通知，那么将可以仅使用来自Bruno的评估的若干数据（可能一下点击）而了解他 将对哪个版面和哪个作者感兴趣，然后利用这些仅有的数据来进行预测。
[0018] 考虑到在传统的迁移学习中，常常会对类别（categorical)变量置以相同的重要 性，虽然人们对类别内容可能具有相悖的兴趣（例如，当人们要阅读科技论文时，与论文的 主体内容相比，变量"作者"对于读者来说可能是决定他们是否将继续阅读这篇论文的关键 变量，因此可以对于不同域中的变量"作者"置以相同的重要性，但由于每个人的研究偏好 不同，因此不同的人可能会被不同的作者所吸引），因此，根据本发明的实施例提出了将"子 空间重要性（subspaceimportance)"作为源域（在本发明中可以被视为老用户）和目标 域（在本发明中可以被视为新用户）所共享的公共知识进行迁移。子空间重要性是在许多 类型的文档（例如，研究论文、新闻文章、博客、twitter等）中普遍存在的信息。
[0019] 基于迁移学习的文档推荐方法充分利用从老用户获得的知识以改善对新用户的 推荐，根据本发明实施例的文档推荐方法可以包括两个阶段：离线模型学习阶段和在线推 荐阶段。在离线模型学习阶段，通过大量的遗留数据和来自新用户的有限数据来训练正则 化的（regularized)迁移学习模型；然后在在线推荐阶段，使用该正则化的迁移学习模型 来将文档进行分级以向新用户推荐。
[0020] 根据本发明的实施例，文档推荐任务被规范化为正则化的迁移学习问题，其中由 优化目标函数时使用的约束来表示一致的子空间重要性，该约束被称为一致性子空间约 束。通过解决优化问题来获得离线模型学习阶段的参数；然后，利用学习到的参数，可以不 仅将文档标记为"推荐"或"不推荐"，而且还可以通过对推荐得分而向用户呈现不同的推荐 优先级。
[0021] 以下将分别对离线模型学习阶段和在线推荐阶段进行示例性描述。
[0022] 离线樽型学习阶段
[0023] 作为示例而非对本发明的限制，在本发明各实施例中考虑在迁移学习框架下的二 元分类的问题，但本领域技术人员应当理解，本发明可以适用于迁移学习框架下的其他分 类问题。
[0024] 迁移学习是通过来自已经进行了学习的相关任务的知识的迁移对新任务中的学 习的改善。在下文中所说的任务可以理解为针对学习模型的训练或者分类器的训练，最终 目的是获得推荐模型以用于对用户进行文档推荐。
[0025] 假设新任务是目标任务T，并且用于目标任务的数据集合被表示为 Dr= (xA}A，相关任务被称作源任务S，并且用于源任务S的数据集合被表不为A 。在本发明的各实施例中，用于各任务的所有数据来自相同空间XXY，其 中X=Rm，其表示各个任务的整个特征矢量空间并且Y= {-1，+ 1} '^表示用于目标任 务T的一个特征向量；xS1.表不用于源任务S的一个特征向量，并且xL，xs,_eZWvAeF 且:^，:^ = 唭中例如，+ 1表示"推荐"，-1表示"不推荐"，但是应当理解，y值并不 仅限于-1和+ 1，任何可以实现推荐目的的值都适用于本发明；1^和&分别表示用于目标 任务和源任务的数据的数目，例如每个任务中的可用文档的数目。在每个任务中，需要从训 练数据中学习目标预测函数fs(x)(或者fT(x))，使得乂(?)并且外。
[0026] 根据本发明的实施例，通过将迁移学习的问题简化为正则化的支持向量机（SVM) 的分类问题来实现本发明。出于简明但非限制性的目的，在本文中对于每个任务te{S， T}，考虑SVM线性分类器，但是应当理解本发明并不仅限于SVM线性分类器。
[0027] 在不失一般性的情况下，假设针对每个任务的输入数据可以被表达为：
【权利要求】
1. 一种用于文档推荐的方法，包括： 从与源用户使用多个第一文档有关的活动中获得用于源推荐任务的多个第一数据； 从与目标用户使用多个第二文档有关的活动中获得用于目标推荐任务的多个第二数 据； 基于所述多个第一数据、所述多个第二数据以及从所述源推荐任务中迁移的知识来执 行所述目标推荐任务以获得目标推荐模型；以及 使用所述目标推荐模型向所述目标用户进行文档推荐。
2. 根据权利要求1所述的方法，其中所迁移的知识包括关于所述多个第一文档的子空 间重要性的信息。
3. 根据权利要求2所述的方法，其中： 所述源推荐任务包括训练基于源预测向量（Ws)的源预测函数（fs)以获得源推荐模型； 并且 所述目标推荐任务包括训练基于目标预测向量（Wt)的目标预测函数（fT)以获得所述 目标推荐模型。
4. 根据权利要求3所述的方法，其中执行所述目标推荐任务以获得所述目标推荐模型 进一步包括： 将所述多个第一数据和所述多个第二数据中的每一个数据均划分到多个子空间； 获得第一优化项，所述第一优化项是使用所述源预测向量对所述多个第一文档进行推 荐预测所得到的多个预测值分别与相应的实际推荐值之差的和； 获得第二优化项，所述第二优化项是使用所述目标预测向量对所述多个第二文档进行 推荐预测所得到的多个预测值分别与相应的实际推荐值之差的和； 获得正则项，所述正则项是在使得用于每一个所述子空间的所述源预测向量的子向量 的模值与用于该子空间的所述目标预测向量的子向量的模值相等的条件下，对所述源预测 向量或所述目标预测向量进行正则化所得到的项；以及 对所述第一优化项、所述第二优化项和所述正则项的和进行优化以获得所述和最小的 情况所对应的所述目标向量的值作为所述目标推荐模型的参数。
5. 根据权利要求4所述的方法，进一步包括： 基于所述多个第一数据生成多个第一特征向量（); 基于所述多个第二数据生成多个第二特征向量（'.);以及 对以下表达式进行优化：
其中，ws、wT分别表示所述源预测向量和所述目标预测向量；ns表示所述多个第一特征 向量的数目；表示第i个所述第一特征向量；表示用于第i个所述第一文档的实际推 荐值；~表示所述多个第二特征向量的数目；\表示第i个所述第二特征向量；表示用于 第i个所述第二文档的实际推荐值；λ为常数；c为所述子空间的数目；nk表示所述第一特 征向量中与第k个子空间对应的部分中的特征的数目，所述数目与所述第二特征向量中与 第k个子空间对应的部分中的特征的数目相同。
6. 根据权利要求2-5中的任一项所述的方法，其中所述源预测函数和所述目标预测函 数是支持向量机（SVM)线性分类器。
7. -种用于文档推荐的装置，包括： 获得模块，用于从与源用户使用多个第一文档有关的活动中获得用于源推荐任务的多 个第一数据，并且用于从与目标用户使用多个第二文档有关的活动中获得用于目标推荐任 务的多个第二数据； 处理模块，用于基于所述多个第一数据、所述多个第二数据以及从所述源推荐任务中 迁移的知识来执行所述目标推荐任务以获得目标推荐模型；以及 输出模块，用于使用所述目标推荐模型向所述目标用户进行文档推荐并且输出文档推 荐结果。
8. 根据权利要求1所述的装置，其中所迁移的知识包括关于所述多个第一文档的子空 间重要性的信息。
9. 根据权利要求2所述的装置，其中： 所述源推荐任务包括训练基于源预测向量（Ws)的源预测函数（fs)以获得源推荐模型； 并且 所述目标推荐任务包括训练基于目标预测向量（Wt)的目标预测函数（fT)以获得所述 目标推荐模型。
10. 根据权利要求3所述的装置，其中所述处理模块进一步用于： 将所述多个第一数据和所述多个第二数据中的每一个数据均划分到多个子空间； 获得第一优化项，所述第一优化项是使用所述源预测向量对所述多个第一文档进行推 荐预测所得到的多个预测值分别与相应的实际推荐值之差的和； 获得第二优化项，所述第二优化项是使用所述目标预测向量对所述多个第二文档进行 推荐预测所得到的多个预测值分别与相应的实际推荐值之差的和； 获得正则项，所述正则项是在使得用于每一个所述子空间的所述源预测向量的子向量 的模值与用于该子空间的所述目标预测向量的子向量的模值相等的条件下，对所述源预测 向量或所述目标预测向量进行正则化所得到的项；以及 对所述第一优化项、所述第二优化项和所述正则项的和进行优化以获得所述和最小的 情况所对应的所述目标向量的值作为所述目标推荐模型的参数。
11. 根据权利要求4所述的方法，所述处理模块进一步用于： 基于所述多个第一数据生成多个第一特征向量（); 基于所述多个第二数据生成多个第二特征向量（\.);以及 对以下表达式进行优化：
其中，ws、wT分别表示所述源预测向量和所述目标预测向量；ns表示所述多个第一特征 向量的数目；表示第i个所述第一特征向量；表示用于第i个所述第一文档的实际推 荐值；~表示所述多个第二特征向量的数目；表示第i个所述第二特征向量'r,表示用于 第i个所述第二文档的实际推荐值；λ为常数；c为所述子空间的数目；nk表示所述第一特 征向量中与第k个子空间对应的部分中的特征的数目，所述数目与所述第二特征向量中与 第k个子空间对应的部分中的特征的数目相同。
12.根据权利要求2-5中的任一项所述的装置，其中所述源预测函数和所述目标预测 函数是支持向量机（SVM)线性分类器。
【文档编号】G06F17/30GK104239374SQ201310262708
【公开日】2014年12月24日 申请日期:2013年6月21日 优先权日:2013年6月21日
【发明者】陈弢, 周宝曜, 曹逾, 郭小燕, 钟钱杰 申请人:伊姆西公司