一种基于信息的协同注意力推介系统、方法和装置与流程

本发明属于信息处理
技术领域：
，具体涉及一种基于信息的协同注意力推介系统、方法和装置。
背景技术：
：随着互联网技术的发展，各类网站和app都出现了不同程度的信息过载现象，如何从众多信息中选择合适的内容推介给用户是每个网站和app开发人员所面临的问题。而解决这一问题的方法就是使用推介系统为用户进行个性化的推介。在现有技术中，通常使用协同过滤技术进行信息推介，主要方法为建立一种用户和物品在一种目标行为(如购买、分享等)下的评分矩阵，而用户在实际应用中，往往会有大量的其他行为数据，以及待推介物品自身也包含大量附属信息。在建立用户-物品评分矩阵时，如何将这些异质空间的数据融合到一个整体是一个迫切需要解决的问题。技术实现要素：有鉴于此，本发明的主要目的在于提供一种基于信息的协同注意力推介系统、方法和装置，能够显著提升推介的准确性和效率。为达到上述目的，本发明的技术方案是这样实现的：一种基于信息的协同注意力推介系统，所述系统包括：预处理模块，将待处理的信息词进行预处理，生成每个用户的信息词向量和每个物品的信息词向量；协同注意力模块，在目标行为下，基于每个用户的信息词向量和每个物品的信息词向量生成每个用户分别针对每个物品的信息词向量的权重，构建第一特征矩阵；在目标行为下，基于每个用户的信息词向量和每个物品的信息词向量生成每个物品针对每个用户的信息词向量权重，构建第二特征矩阵；推介生成模块，根据第一特征矩阵和第二特征矩阵计算该用户针对待推介物品产生目标行为的概率，对产生目标行为的概率进行排序，生成推介列表。进一步的，所述预处理模块包括：词处理模块，根据信息粒度对待处理信息进行分词和/或去停用词处理；维度抽取模块，从用户维度和物品维度分别抽取词；词向量生成模块，生成每个用户的信息词向量和每个物品的信息词向量。进一步的，所述协同注意力模块包括：句粒度协同注意力处理模块，当信息复杂度高时，首先对句子粒度进行协同注意力处理，再对词粒度进行协同注意力处理，在目标行为下，基于每个用户的信息词向量和每个物品的信息词向量生成每个用户分别针对每个物品的信息词向量的权重，构建第一特征矩阵；在目标行为下，基于每个用户的信息词向量和每个物品的信息词向量生成每个物品针对每个用户的信息词向量权重，构建第二特征矩阵；词粒度协同注意力处理模块，当信息复杂度低时，首先对句子粒度进行协同注意力处理，再对词粒度进行协同注意力处理，在目标行为下，基于每个用户的信息词向量和每个物品的信息词向量生成每个用户分别针对每个物品的信息词向量的权重，构建第一特征矩阵；在目标行为下，基于每个用户的信息词向量和每个物品的信息词向量生成每个物品针对每个用户的信息词向量权重，构建第二特征矩阵。进一步的，所述推介生成模块包括：概率计算模块，在目标行为下，根据第一特征矩阵和第二特征矩阵计算该用户针对待推介物品产生目标行为的概率。一种基于信息的协同注意力推介方法，所述方法执行以下步骤：将待处理的信息词进行预处理，生成每个用户的信息词向量和每个物品的信息词向量；在目标行为下，基于每个用户的信息词向量和每个物品的信息词向量生成每个用户分别针对每个物品的信息词向量的权重，构建第一特征矩阵；在目标行为下，基于每个用户的信息词向量和每个物品的信息词向量生成每个物品针对每个用户的信息词向量权重，构建第二特征矩阵；根据第一特征矩阵和第二特征矩阵计算该用户针对待推介物品产生目标行为的概率，对产生目标行为的概率进行排序，生成推介列表。进一步的，所述将待处理的信息词进行预处理，生成每个用户的信息词向量和每个物品的信息词向量的方法执行以下步骤：根据信息粒度对待处理信息进行分词和/或去停用词处理；从用户维度和物品维度分别抽取词；生成每个用户的信息词向量和每个物品的信息词向量。进一步的，所述推介生成模块，根据第一特征矩阵和第二特征矩阵计算该用户针对待推介物品产生目标行为的概率，对产生目标行为的概率进行排序，生成推介列表的方法执行以下步骤：概率计算模块，在目标行为下，根据第一特征矩阵和第二特征矩阵计算该用户针对待推介物品产生目标行为的概率。一种基于信息的协同注意力推介装置，所述装置包括：一种非暂时性的计算机可读存储介质，该存储介质存储了计算指令，其包括：将待处理的信息词进行预处理，生成每个用户的信息词向量和每个物品的信息词向量的代码段；在目标行为下，基于每个用户的信息词向量和每个物品的信息词向量生成每个用户分别针对每个物品的信息词向量的权重，构建第一特征矩阵；在目标行为下，基于每个用户的信息词向量和每个物品的信息词向量生成每个物品针对每个用户的信息词向量权重，构建第二特征矩阵的代码段；根据第一特征矩阵和第二特征矩阵计算该用户针对待推介物品产生目标行为的概率，对产生目标行为的概率进行排序，生成推介列表的代码段。本发明的一种基于信息的协同注意力推介系统、方法和装置，传统的协同过滤方法仅使用用户在某一种目标行为下的信息，这样在推介过程中往往会因为数据过于稀疏从而导致推介效果不如预期，而用户在使用app/网站中，往往行为偏好是相对比较一致的，我们从用户端可以采用用户画像、用户的非目标行为数据信息进行扩展，而在物品端可以采用用物品属性等信息进行扩展，从而有效的提高了用户-物品矩阵的信息提高推介的效果。相比传统的协同过滤方法，融入的更多的用户和物品的信息，提高推介效果。附图说明图1为本发明的基于信息的协同注意力推介系统的系统结构示意图。图2为本发明的基于信息的协同注意力推介方法的方法流程示意图。图3为本发明的基于信息的协同注意力推介系统的预处理模块的结构示意图。图4为本发明的基于信息的协同注意力推介系统的推介生成模块的结构示意图。具体实施方式下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。一种基于信息的协同注意力推介系统，所述系统包括：预处理模块，将待处理的信息词进行预处理，生成每个用户的信息词向量和每个物品的信息词向量；协同注意力模块，在目标行为下，基于每个用户的信息词向量和每个物品的信息词向量生成每个用户分别针对每个物品的信息词向量的权重，构建第一特征矩阵；在目标行为下，基于每个用户的信息词向量和每个物品的信息词向量生成每个物品针对每个用户的信息词向量权重，构建第二特征矩阵；推介生成模块，根据第一特征矩阵和第二特征矩阵计算该用户针对待推介物品产生目标行为的概率，对产生目标行为的概率进行排序，生成推介列表。举例来讲，假设用户列表包含用户usera、userb、userc、userd，相关物品列表包含物品producta、productb、productc、productd。在一种可能的实施方式中，得到每个用户分别针对每个物品的信息词向量的权重表示如下表1所示：表1：每个用户分别针对每个物品的信息词向量的权重表productaproductbproductcproductdusera0.30.50.81.0userb0.70.30.20.1userc0.70.40.50.6userd1.00.30.20.9以上表格相关数字仅仅用作示意，代表用户对物品的信息词向量的权重，实际操作中对应权重可能是一个数字或者一个向量或者一个张量。类似的，也可以得到每个物品针对每个用户的信息词向量权重如下表2所示：表2：每个物品针对每个用户的信息词向量权重同样地，以上表格中的数字也仅仅用作示意，代表物品对用户的信息词向量的权重，可以是一个数字或者一个向量或者一个张量。以上两个特征矩阵的数据来源可基于类似word2vector等技术手段生成。需要说明的是虽然上面的2个表格形式类似，但计算方式是采用协同注意力机制中的交替注意力，即先基于用户产生产品的attention，得到新的用户-产品注意力权重；再基于新的用户-产品注意力特征权重去产生用户的attention。进一步的，所述预处理模块包括：词处理模块，根据信息粒度对待处理信息进行分词和/或去停用词处理；维度抽取模块，从用户维度和物品维度分别抽取词；词向量生成模块，生成每个用户的信息词向量和每个物品的信息词向量。对于给定的信息系统，信息粒度的大小反映了知识对论域分类的聚集度，即知识对论域分类越粗糙，信息粒度越大；知识对论域分类越细，则信息粒度越小。进一步的，所述协同注意力模块包括：句粒度协同注意力处理模块，当信息复杂度高时，首先对句子粒度进行协同注意力处理，再对词粒度进行协同注意力处理，在目标行为下，基于每个用户的信息词向量和每个物品的信息词向量生成每个用户分别针对每个物品的信息词向量的权重，构建第一特征矩阵；在目标行为下，基于每个用户的信息词向量和每个物品的信息词向量生成每个物品针对每个用户的信息词向量权重，构建第二特征矩阵；词粒度协同注意力处理模块，当信息复杂度低时，首先对句子粒度进行协同注意力处理，再对词粒度进行协同注意力处理，在目标行为下，基于每个用户的信息词向量和每个物品的信息词向量生成每个用户分别针对每个物品的信息词向量的权重，构建第一特征矩阵；在目标行为下，基于每个用户的信息词向量和每个物品的信息词向量生成每个物品针对每个用户的信息词向量权重，构建第二特征矩阵。在本发明中，分词和/或去停用词处理可以采用如下技术：给出一个文档，文档就是一个单词序列比如“abacbfg”,希望对文档中每个不同的单词都得到一个对应的向量(往往是低维向量)表示。比如，对于这样的“abacbfg”的一个序列，也许我们最后能得到：a对应的向量为[0.10.6-0.5]，b对应的向量为[-0.20.90.7](此处的数值只用于示意)。之所以希望把每个单词变成一个向量，目的还是为了方便计算，比如“求单词a的同义词”，就可以通过“求与单词a在cos距离下最相似的向量”来做到。进一步的，所述推介生成模块包括：概率计算模块，在目标行为下，根据第一特征矩阵和第二特征矩阵计算该用户针对待推介物品产生目标行为的概率。一种基于信息的协同注意力推介方法，所述方法执行以下步骤：将待处理的信息词进行预处理，生成每个用户的信息词向量和每个物品的信息词向量；在目标行为下，基于每个用户的信息词向量和每个物品的信息词向量生成每个用户分别针对每个物品的信息词向量的权重，构建第一特征矩阵；在目标行为下，基于每个用户的信息词向量和每个物品的信息词向量生成每个物品针对每个用户的信息词向量权重，构建第二特征矩阵；根据第一特征矩阵和第二特征矩阵计算该用户针对待推介物品产生目标行为的概率，对产生目标行为的概率进行排序，生成推介列表。进一步的，所述将待处理的信息词进行预处理，生成每个用户的信息词向量和每个物品的信息词向量的方法执行以下步骤：根据信息粒度对待处理信息进行分词和/或去停用词处理；从用户维度和物品维度分别抽取词；生成每个用户的信息词向量和每个物品的信息词向量。进一步的，所述推介生成模块，根据第一特征矩阵和第二特征矩阵计算该用户针对待推介物品产生目标行为的概率，对产生目标行为的概率进行排序，生成推介列表的方法执行以下步骤：概率计算模块，在目标行为下，根据第一特征矩阵和第二特征矩阵计算该用户针对待推介物品产生目标行为的概率。一种基于信息的协同注意力推介装置，所述装置包括：一种非暂时性的计算机可读存储介质，该存储介质存储了计算指令，其包括：将待处理的信息词进行预处理，生成每个用户的信息词向量和每个物品的信息词向量的代码段；在目标行为下，基于每个用户的信息词向量和每个物品的信息词向量生成每个用户分别针对每个物品的信息词向量的权重，构建第一特征矩阵；在目标行为下，基于每个用户的信息词向量和每个物品的信息词向量生成每个物品针对每个用户的信息词向量权重，构建第二特征矩阵的代码段；根据第一特征矩阵和第二特征矩阵计算该用户针对待推介物品产生目标行为的概率，对产生目标行为的概率进行排序，生成推介列表的代码段。需要指出的是，本文所称的信息词向量和注意力词向量为同一概念。随着互联网的快速发展,网络为人们获取信息、传递信息以及交流情感提供了更多渠道。我们用微博分享自己每天的所见所闻；使用网络进行购物,然后留下评论；出差旅游之前在网上预约酒店,入住之后分享用户体验。这些数据囊括了人们的衣食住行,对消费者、商业组织、甚至政府部门都有巨大的价值。如何高效地从海量数据中挖掘情感信息,成为当前急需解决的问题。机器学习技术为情感分类问题提供了许多方法。尤其是近些年深度学习的发展,为情感分类问题的解决带来了新动力。但仍存在许多不足,有待解决。使用深度学习处理自然语言处理问题首先要把文字转化为计算机可以处理的形式,当前比较常用的是词向量的方式。虽然词向量在许多任务上都取得了优异表现。但是当前大多数词向量训练方法都是基于词语的上下文信息计算词向量。在中文领域,词语的意思还包含在组成它的字之中。本文提出了基于注意力机制的词向量训练方法,在词向量中加入字向量的信息。同时,在加入的过程中考虑不同字的重要程度。最后在相似度计算、逻辑推理、情感分类等任务上,验证该方法得到的词向量具有更加优秀的表示能力。经过多年积累,现有许多不同的情感分类模型,例如支持向量机、卷积神经网络、循环神经网络等等。这些模型基于不同的假设,从不同的角度抽取数据中的知识。为了获得更好的效果,可能将不同的模型进行集成。传统的集成方法在结合策略的选择上常用投票法、平均法、或者学习法。这些方法增加了测试阶段的计算量。本文提出了基于师生网络集成学习方法。先单独训练多个个体分类器,然后初始化一个新的神经网络作为目标分类器。目标分类器的训练过程除了要参考正确类标外,还加入个体分类器的判断信息。通过这种方式,将多个分类器压缩进一个分类器中,在保持原有的性能的同时,花费更少的计算代价。所属
技术领域：
的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。需要说明的是，上述实施例提供的系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。所属
技术领域：
的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或
技术领域：
内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。当前第1页12