评分预测方法和装置与流程

文档序号:15689715发布日期:2018-10-16 21:49阅读:129来源:国知局

本发明涉及推荐系统的评分预测领域,尤其是涉及一种对用户和物品画像的评分预测方法和装置。



背景技术:

随着现代社会的发展,包括电商平台(例如,阿里巴巴和京东)、门户网站(例如,谷歌和雅虎)、社交媒体(例如,微信和推特)以及基于位置的社交网络(例如,foursquare和yelp)在内的众多应用软件已极大的改变了人们生活和思维方式。频繁的商业活动和用户行为产生了大量的数据,在这些数据中包含着丰富的有价值的信息,但与此同时,这些数据也带来了信息过载问题,例如在购物网站上,用户越来越难以在琳琅满目的商品中找到真正心仪的那一个。推荐系统为解决这个问题给出了完美的解决方案,即从海量的数据中挖掘出用户的兴趣偏好,结合商品的属性特征,为其推荐出量身定制的产品。

在推荐系统中,最基本的需要解决的问题是预测用户对未知商品的评分。为此,协同过滤(collaborativefiltering)模型提出利用相似用户或相似物品的已有评分对目标进行预测。矩阵分解法(matrixfactorization)是协同过滤模型中的一种,它通过对用户已有的评分矩阵进行分解,得到目标用户对未知商品的评分。这种基于用户评分矩阵的方法,依赖已有的评分数量,数量越大,预测的结果越接近真实的分布,而遇到数据稀疏问题时,评分预测的效果就将大打折扣。因此,对于矩阵分解算法而言,仅仅依靠评分数据无法得到令人满意的预测结果。

近年来,现有技术借助基于上下文的推荐系统来解决以上问题。在许多类似于yelp的网站中,除了对商品进行评分以外,还可以对商品进行进一步的评论,而蕴含在评论信息中的用户偏好和商品属性能够用以缓解数据稀疏带来的问题。例如,以下是一段某个用户关于餐厅的评论:“这是我最近喜欢的墨西哥餐厅。这里的食材新鲜并且具有很高的品质。”。通过这段评论,从用户偏好的角度看,可以发现,该用户更加关心一家餐厅的类型和食材。另外,从商品属性的角度看,可以发现,该餐厅提供墨西哥食物,同时提供的食材新鲜并且具有很高的品质。

但是,要想高效地从数量众多的文本信息中提取出有价值的信息存在着很大难度。

一些现有技术利用人工参与的方式,制定规则提取出用户评论中的信息。这样的方法耗费人工成本并且效率不高。为了克服成本和效率的问题,还有一些现有技术利用机器学习的方法进行尝试,但这些现有技术中存在着一个问题,当对目标商品进行评分预测时往往利用了目标用户对该商品的评分,可是这在现实的推荐系统应用场景中是不合理的。



技术实现要素:

针对现有技术的不足,本发明提出一种基于神经网络的对用户-物品画像的评分预测方法。该方法只从用户的历史评论数据出发,更加符合真实的应用场景。

第一方面,本发明实施例提供了一种评分预测方法,用于预测用户和物品的画像的评分,包括:生成步骤:通过构造对于所述物品的用户评论的神经网络模型,以生成所述用户和所述物品两者的画像;预测步骤:通过利用所述用户和所述物品的所述画像优化矩阵分解模型,并训练所述矩阵分解模型以预测目标评分;其中,所述神经网络模型为长短时记忆网络模型,通过在所述长短时记忆网络模型中使用注意力机制提取所述用户和所述物品的特征,根据所述特征生成所述画像;和通过非线性变换将所述用户和所述物品的所述画像加入所述矩阵分解模型。

可选地,矩阵分解模型同时学习所述用户评论和所述物品的用户评分。

第二方面,本发明公开一种评分预测装置,包括:生成模块:用于通过构造对于所述物品的用户评论的神经网络模型,以生成所述用户和所述物品两者的画像;预测模块:用于通过利用所述用户和所述物品的所述画像优化矩阵分解模型,并训练所述矩阵分解模型以预测目标评分;其中,所述神经网络模型为长短时记忆网络模型,通过在所述长短时记忆网络模型中使用注意力机制提取所述用户和所述物品的特征,根据所述特征生成所述画像;和通过非线性变换将所述用户和所述物品的所述画像加入所述矩阵分解模型。

可选地,矩阵分解模型同时学习所述用户评论和所述物品的用户评分。

第三方面,本发明的实施例提供一种计算设备,包括存储器,以及一个或者多个处理器;其中,第一设备还包括:一个或多个单元,一个或多个单元被存储在存储器中并被配置成由一个或多个处理器执行,一个或多个单元包括用于执行以下步骤的指令:通过构造对于所述物品的用户评论的神经网络模型,以生成所述用户和所述物品两者的画像;通过利用所述用户和所述物品的所述画像优化矩阵分解模型,并训练所述矩阵分解模型以预测目标评分;其中,所述神经网络模型为长短时记忆网络模型,通过在所述长短时记忆网络模型中使用注意力机制提取所述用户和所述物品的特征,根据所述特征生成所述画像;和通过非线性变换将所述用户和所述物品的所述画像加入所述矩阵分解模型。

进一步地,本发明实施例提供与计算设备结合使用的计算机程序产品,其特征在于,包括计算机可读的存储介质和内嵌于其中的计算机程序机制;其中,计算机程序机制包括执行以下步骤的指令:通过构造对于所述物品的用户评论的神经网络模型,以生成所述用户和所述物品两者的画像;通过利用所述用户和所述物品的所述画像优化矩阵分解模型,并训练所述矩阵分解模型以预测目标评分;其中,所述神经网络模型为长短时记忆网络模型,通过在所述长短时记忆网络模型中使用注意力机制提取所述用户和所述物品的特征,根据所述特征生成所述画像;和通过非线性变换将所述用户和所述物品的所述画像加入所述矩阵分解模型。

本发明实施方式与现有技术相比,主要区别及其效果在于:

本发明实施方式从用户的历史评论数据出发,更加符合真实的应用场景;本发明实施方式可以挖掘出用户评论数据中有价值的信息,还可以通过这些附加的具有价值的信息来缓解数据稀疏问题,即便在数据不稀疏的时候,这些有价值的信息同样可以帮助提升评分预测的准确率。

进一步地,评分预测方法成本低廉并且能够很好地在不同数据领域之间进行迁移;通过结合了用户评分数值信息和用户评论文本信息,能够更加全面正确地对未知评分进行预测;通过经过优化的举证分解算法,能够在较快的时间内得到预测结果;同时,该方法具有广泛的实用性,能够为餐厅、新闻、影音娱乐等线上线下场景提供推荐解决方案。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是根据本发明第一实施例的评分预测方法100的流程图。

图2是根据本发明实施例的神经网络的示意图。

图3是用于本发明实施例的矩阵分解模型的示意图。

图4是用于本发明第二实施例的评分预测装置400的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。本文中所描述的说明性系统和方法实施例并非意图进行限制。

第一实施例

图1是根据本发明实施例的评分预测方法100的流程图。如图1所示,该方法具体处理流程如下所述:

s110、通过构造对于物品的用户评论的神经网络模型,以生成用户和物品两者的画像。

根据本发明的实施例,为了更好的捕捉用户评论等文本的上下文信息,和全局的用户、商品的特征以获得用户和物品的画像信息,可以使用长短时记忆神经网络。该网络能够通过一个层级结构,分别从字、词和句子层面兼顾情感和上下文因素充分捕捉细粒度的文本语义信息。如图2所示,假设用x表示一个输入的评论,其中包含n个句子{s1,s2,...,sn},li表示第i个句子的长度,同时句子中包含的词表示为在字级层,神经网络将句子中的每一个词映射到一个低纬度的稠密空间中,生成隐含层表示从而获得一个句子的整体表示si。类似的,在句子层级,同样可以将n个句子的隐含表示{s1,s2,...,sn}通过网络层,最后在池化层使用softmax得到整段用户评论的表示d。

在网络层构造完成后,在层级结构中引入注意力机制用以提取出用户和商品的特征。注意力机制是用来捕捉文本中重要信息的方法,其通过权重赋予的方式对神经网络输出的隐含表示进行提取,如下公式所示:

其中,是词语的隐含表示,si是句子的隐含表示,而权重的计算方式如下:

其中,都表示句子中词语的隐含表示,u′和v′分别表示神经网络中注意力机制学习出的用户和物品特征向量。

通过以上神经网络的训练过程,模型根据用户的评论中生成用户和商品的画像信息。

s120、通过利用用户和物品的画像优化矩阵分解模型,并训练矩阵分解模型以预测目标评分。

根据本发明的实施例,进一步地,将上述用户和商品的画像信息加入到矩阵分解中,从而使得模型能够兼顾用户评分的数值信息和评论的文本信息。

图3示出了本发明实施例的矩阵分解模型的示意图。

作为一个实例,基础的矩阵分解模型的训练目标是基于用户历史的评分数据,通过梯度下降的训练方式使得模型的预测效果逼近于真实。模型训练的目标函数如下:

其中,rij表示真实的评分值,表示模型预测的评分值。ui和vj分别表示用户i和商品j的特征,λ是用于避免过拟合的修正因子。

在此基础上加入用户和商品的画像信息,需要先对画像信息进行诸如非线性变换的空间变换,使得神经网路输出的特征信息能够与矩阵分解模型中的特征信息在同一个向量空间发挥作用。本发明的实施例对传统的目标函数进行了以下优化:

其中,rij表示真实的评分值,表示模型预测的评分值。在需要学习的变量中,ui和vj分别表示矩阵分解模型中的用户i和商品j的特征,wvj和wui是参数矩阵,目的是将神经网络中学习出的特征映射到矩阵分解模型的向量空间。λ1、λ2和λ3都是用于避免过拟合的修正因子。

由此,得到目标评分预测的公式:

其中,ui和vj分别表示矩阵分解模型中的用户i和商品j的特征矩阵,对应的,ui′和vj′分别表示神经网络模型中的用户i和商品j的特征矩阵。wui和wvj分别表示能够将神经网络提取的特征进行空间变换的映射向量。μ表示在训练数据空间中,所有样本的平均评分值,用于消除不同用户的评分差异。根据该公式完成目标评分预测。

因此,本发明实施例的评分预测方法成本低廉并且能够很好地在不同数据领域之间进行迁移;通过结合了用户评分数值信息和用户评论文本信息,能够更加全面正确地对未知评分进行预测;通过经过优化的举证分解算法,能够在较快的时间内得到预测结果;同时,该方法具有广泛的实用性,能够为餐厅、新闻、影音娱乐等线上线下场景提供推荐解决方案。

本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现,指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的,易失性的或者非易失性的,固态的或者非固态的,固定的或者可更换的介质等等)。同样,存储器可以例如是可编程阵列逻辑(programmablearraylogic,简称“pal”)、随机存取存储器(randomaccessmemory,简称“ram”)、可编程只读存储器(programmablereadonlymemory,简称“prom”)、只读存储器(read-onlymemory,简称“rom”)、电可擦除可编程只读存储器(electricallyerasableprogrammablerom,简称“eeprom”)、磁盘、光盘、数字通用光盘(digitalversatiledisc,简称“dvd”)等等。

第二实施例

图4是根据本发明实施例的评分预测装置400的示意性框图。该装置用于执行上述方法流程,包括:

生成模块410、用于通过构造对于物品的用户评论的神经网络模型,以生成用户和物品两者的画像;

预测模块420、用于通过利用用户和物品的画像优化矩阵分解模型,并训练矩阵分解模型以预测目标评分。

可选地,神经网络模型为长短时记忆网络模型,通过在长短时记忆网络模型中使用注意力机制提取用户和物品的特征,根据特征生成画像。

可选地,通过非线性变换将用户和物品的画像加入矩阵分解模型。

第一实施例是与本实施方式相对应的方法实施方式,本实施方式可与第一实施例互相配合实施。第一实施例中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明实施方式从用户的历史评论数据出发,更加符合真实的应用场景;本发明实施方式可以挖掘出用户评论数据中有价值的信息,还可以通过这些附加的具有价值的信息来缓解数据稀疏问题,即便在数据不稀疏的时候,这些有价值的信息同样可以帮助提升评分预测的准确率。

进一步地,根据本发明实施例的评分预测装置成本低廉并且能够很好地在不同数据领域之间进行迁移;通过结合了用户评分数值信息和用户评论文本信息,能够更加全面正确地对未知评分进行预测;通过经过优化的举证分解算法,能够在较快的时间内得到预测结果;同时,该装置具有广泛的实用性,能够为餐厅、新闻、影音娱乐等线上线下场景提供推荐解决方案。

进一步地,基于相同的技术构思,本发明的实施例提供一种计算设备,包括存储器,以及一个或者多个处理器;其中,计算设备还包括:一个或多个单元,一个或多个单元被存储在存储器中并被配置成由一个或多个处理器执行,一个或多个单元包括用于执行以下步骤的指令:

通过构造对于物品的用户评论的神经网络模型,以生成用户和物品两者的画像;

通过利用用户和物品的画像优化矩阵分解模型,并训练矩阵分解模型以预测目标评分;

其中,神经网络模型为长短时记忆网络模型,通过在长短时记忆网络模型中使用注意力机制提取用户和物品的特征,根据特征生成画像;和通过非线性变换将用户和物品的画像加入矩阵分解模型。

基于相同的技术构思,根据本发明的实施例提供与计算设备结合使用的计算机程序产品,其特征在于,包括计算机可读的存储介质和内嵌于其中的计算机程序机制;其中,计算机程序机制包括执行以下步骤的指令:

通过构造对于物品的用户评论的神经网络模型,以生成用户和物品两者的画像;

通过利用用户和物品的画像优化矩阵分解模型,并训练矩阵分解模型以预测目标评分;

其中,神经网络模型为长短时记忆网络模型,通过在长短时记忆网络模型中使用注意力机制提取用户和物品的特征,根据特征生成画像;和通过非线性变换将用户和物品的画像加入矩阵分解模型。

应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。

此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

尽管本文已公开了各种方面和实施例,但其它方面和实施例对于本领域技术人员而言将是明显的。本文公开的各种方面和实施例是为了说明的目的,而不意在进行限制,真实的范围应当由所附权利要求以及这样的权利要求所被授权的等效物的全部范围指示。还要理解,本文中使用的术语仅是为了描述特定实施例的目的,而不意在进行限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1