信息推送方法、装置及服务器与流程

本发明涉及互联网技术领域，具体而言，涉及一种信息推送方法、装置及服务器。

背景技术：

用户在通过客户端进行信息访问时，可以向用户推送用户可能感兴趣的其他信息。

现有技术中，通常向用户推送的为热度较高的信息，但是热度较高的信息可能并非用户感兴趣的信息。

技术实现要素：

有鉴于此，本发明实施例提供了一种信息推送方法、装置及服务器，以改善上述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种信息推送方法，所述方法包括：获取待推送用户访问过的信息，作为指定信息；根据各指定信息与各待推送信息之间的强化学习相似系数，获取各待推送信息对应的推送系数，其中，任一指定信息与任一待推送信息之间的所述强化学习相似系数根据访问过该指定信息的用户对该待推送信息的操作数据获得；根据所述各待推送信息对应的推送系数，从待推送信息中选取推送信息，向所述待推送用户进行推送。

一种信息推送装置，所述装置包括：信息获取模块，用于获取待推送用户访问过的信息，作为指定信息；推送系数计算模块，根据各指定信息与各待推送信息之间的强化学习相似系数，获取各待推送信息对应的推送系数，其中，任一指定信息与任一待推送信息之间的所述强化学习相似系数根据访问过该指定信息的用户对该待推送信息的操作数据获得；推送模块，用于根据所述各待推送信息对应的推送系数，从待推送信息中选取推送信息，向所述待推送用户进行推送。

一种服务器，所述服务器包括存储器和处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时使所述处理器执行以下操作：获取待推送用户访问过的信息，作为指定信息；根据各指定信息与各待推送信息之间的强化学习相似系数，获取各待推送信息对应的推送系数，其中，任一指定信息与任一待推送信息之间的所述强化学习相似系数根据访问过该指定信息的用户对该待推送信息的操作数据获得；根据所述各待推送信息对应的推送系数，从待推送信息中选取推送信息，向所述待推送用户进行推送。

本发明实施例提供的信息推送方法、装置及服务器中，基于待推送用户访问过的指定信息，以及其他访问过指定信息的用户对待推送信息的操作数据，获取的各待推送信息对应的推送系数，根据待推送系数从待推送信息中选取推送信息进行向待推送用户的推送，从而使推送的信息更接近于用户的兴趣度。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了本发明实施例提供的服务器与本地终端的交互示意图；

图2示出了本发明实施例提供的服务器的方框示意图；

图3示出了本发明第一实施例提供的信息推送方法的流程图；

图4示出了本发明第二实施例提供的信息推送装置的功能模块图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

如图1所示，是本发明实施例提供的服务器100与本地终端120进行交互的示意图。所述服务器100通过网络与一个或多个本地终端120进行通信连接，以进行数据通信或交互。所述服务器100可以是网络服务器、数据库服务器等。所述本地终端120可以是个人电脑(personalcomputer，pc)、平板电脑、智能手机、个人数字助理(personaldigitalassistant，pda)等。其中，本地终端120中可以安装有客户端，如浏览器或者某些应用程序等，用户可以通过客户端进行信息访问。

图2示出了一种可应用于本发明实施例中的服务器100的结构框图。如图2所示，服务器100包括存储器102、存储控制器104，一个或多个(图中仅示出一个)处理器106、外设接口108、射频模块110等。这些组件通过一条或多条通讯总线/信号线116相互通讯。

存储器102可用于存储软件程序以及模块，如本发明实施例中的信息推送方法及装置对应的程序指令/模块，处理器106通过运行存储在存储器102内的软件程序以及模块，从而执行各种功能应用以及数据处理，如信息推送方法。

存储器102可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。处理器106以及其他可能的组件对存储器102的访问可在存储控制器104的控制下进行。

外设接口108将各种输入/输入装置耦合至处理器106以及存储器102。在一些实施例中，外设接口108，处理器106以及存储控制器104可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

射频模块110用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯。

可以理解，图2所示的结构仅为示意，服务器100还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。

第一实施例

本实施例提供了一种信息推送方法，用于向用户推送可能感兴趣的信息，请参见图3，该方法包括：

步骤s110：获取待推送用户访问过的信息，作为指定信息。

待推送用户为向其推送信息的用户，可以并不具体限定为哪一位用户。

数据库中的所有信息中，有些信息可能是待推送用户访问过的信息，例如，用户用某新闻应用程序中查看新闻，该新闻应用程序对应的数据库中的所有新闻中，有些新闻可能是用户历史访问过的。用户访问过的信息通常是用户感兴趣的信息，所以，可以先获取待推送用户访问过的信息，以该信息作为指定信息。

由于待推送用户访问过的某些信息的访问时间可能离推送当前时间较远，可能不太契合用户当前的兴趣度，或者用户历史访问过的信息可能较多，因此，优选的，在本实施例中，可以获取待推送用户在预设时间段内访问过的信息作为指定信息。例如，获取当前时间前一周时间内待推送用户访问过的所有信息作为指定信息。当然，该牙髓时间段具体为多长时间、具体为哪一个时间段均不作为本实施例中的限制。

另外，也可以获取待推送用户最后访问的预设条数的信息作为指定信息，也就是说，获取离当前时间最近的待推送用户访问过的预设条数的信息作为指定信息。例如，获取待推送用户最后访问的500条信息，作为指定信息。

在本实施例中，具体获取待推送用户访问过的信息中的所有信息还是部分信息、如何获取待推送用户访问过的信息等并不作为限定。另外，也可以多种获取方式相结合来获取待推送用户访问过的信息，例如，当待推送用户在预设时间段内访问的信息条数小于一定数量时，获取待推送用户在预设时间段内访问过的信息作为指定信息；当待推送用户在预设时间段内访问的信息条数大于一定能数量时，可以获取离当前时间最近的待推送用户访问过的预设条数的信息作为指定信息。

步骤s120：根据各指定信息与各待推送信息之间的强化学习相似系数，获取各待推送信息对应的推送系数，其中，任一指定信息与任一待推送信息之间的所述强化学习相似系数根据访问过该指定信息的用户对该待推送信息的操作数据获得。

待推送信息是可能向用户推送的信息，向用户推送的信息从待推送信息中进行选取。待推送信息可以是指定信息所在的数据库中的所有信息，也可以是数据库中除指定信息以外的其他信息，待推送信息具体为哪些信息在本实施例中并不限定。另外，待推送信息与指定信息可以是同一类信息，如指定信息是视频，待推送信息也是视频；指定信息是新闻，待推送信息也是新闻；指定信息是应用，待推送信息也是应用。当然，待推送信息与指定信息是否是同一类信息在本实施例中并不限定。

不同的待推送信息，用户的兴趣度可能不同，本实施例中，可以通过推送系数量化用户对待推送信息的兴趣度，从而可以通过推送系数指导对待推送用户的信息推送。

由于指定信息为用户访问过的信息，可能比较接近用户的兴趣度，所以可以根据指定信息与待推送信息之间的关系，获取各条待推送信息对应的推送系数。

在本实施例中，可以根据各指定信息与各待推送信息之间的强化学习相似系数，获取各待推送信息对应的推送系数。

其中，任一指定信息与任一待推送信息之间的所述强化学习相似系数根据访问过该指定信息的用户对该待推送信息的操作数据获得，也就是说，若有其他用户访问过该指定信息，则可以根据其他用户对该待推送信息的操作产生的操作数据获得该指定信息与该待推送信息之间的强化学习相似系数。具体的，可以预先设置有用户对信息的各种操作对应的操作参数，对于任一指定信息与任一待推送信息，可以将访问过该指定信息的用户对该待推送信息的操作对应的操作参数作为该用户对该待推送信息的操作数据。

具体的，预先设置的用户对信息的各种操作对应的操作参数可以是：在用户对指定信息的访问页面中，向该用户推送了待推送信息，该用户未点击该待推送信息，该操作对应的操作参数为第一数值；在用户对指定信息的访问页面中，向该用户推送了待推送信息，该用户点击访问了该待推送信息，但对该待推送信息无其他行为，该操作对应的操作参数为第二数值，其中，其他行为可以是评论、分享、点赞等；在用户对指定信息的访问页面中，向该用户推送了待推送信息，该用户点击访问了该待推送信息，并对该待推送信息产生了其他行为，该操作对应的操作参数为第三数值。在本实施例中，第一数值、第二数值以及第三数值的具体值并不作为限定，可以根据不同的操作表明的对该待推送信息的不同兴趣确定，例如，第一数值可以是-1，第二数值可以是1，第三数值可以是2。

其中，上述三种操作中的任意一种操作也可以分为多个操作，分别设置不同的操作参数，例如，在用户对指定信息的访问页面中，向该用户推送了待推送信息，该用户点击访问了该待推送信息，并对该待推送信息产生了其他行为，不同的其他行为设置不同数值的操作参数。另外，可以根据具体的信息种类可能产生的操作设置操作参数，例如，例如，信息为视频，在用户对指定信息的访问页面中，向该用户推送了待推送信息，该用户点击访问了该待推送信息，用户对待推送信息的观看时间不同，设置的操作参数不同，并且，可以是，观看时间越长，设置的操作参数数值越大。在本实施例中，用户可能对信息的操作并不限定为上述三种情况下的操作。

进一步的，由于不同信息之间可能具有不同的相似性，用户对一条信息感兴趣的情况下，可能对与该信息相似的信息也感兴趣，因此，在本实施例中，待推送信息与指定信息之间的强化学习相似系数，可以根据对待推送信息的操作数据以及信息之间的相似度系数共同获得。其中，可以是，对于任一指定信息以及任一待推送信息，根据所有访问过该指定信息的用户对该待推送信息的操作产生的操作数据以及该待指定信息与该待推送信息之间的相似度系数，计算该指定信息以及该待推送信息之间的强化学习相似系数。

具体的，对于任一指定信息以及任一待推送信息，可以通过如下公式计算该指定信息以及该待推送信息之间的强化学习相似系数：

其中，信息j可以表示任意一条待推送信息，信息i可以表示任意一条指定信息，simi，j为信息i与信息j之间的相似度系数。v表示所有用户，feedbackv，j表示用户v对待推送信息j的操作产生的操作数据，其中，若在用户v对信息i的访问页面中，未推送信息j，feedbackv，j可以赋值为第四数值，如0。viewv，i表示用户v是否访问过信息i，用户v作为访问过指定信息i的用户，若用户v访问过信息i，则可以将viewv，i赋值为非零值，如1；若用户v未访问过信息i，则将viewv，i赋值为0，以实现∑v∈vviewv，i·feedbackv，j计算的为所有访问过指定信息i的用户对待推送信息j的操作产生的操作数据。另外，x以及y为预设初始数据，其具体值并不限定，例如，可以是x为10，y为100。

对于信息i与信息j之间的相似度系数simi，j，信息种类不同，其相似度系数计算可以不同，例如，若信息为应用，相似度系数simi，j可以为应用i与应用j之间的协同过滤相似系数；若信息为文本，相似度系数simi，j可以为文本i与文本j之间的tf-idf相似度系数。

具体的，任意两个文本之间的tf-idf相似系数可以通过如下方式进行计算：

步骤s121：获取文本的词频特征向量。

具体的，可以通过对文本进行分词，以每个分词出现的概率作为该分词在该文本中的权重，该权重即为相应的分词在文章中的词频，获取文本的词频特征向量。例如，一文本中的文本信息为“打字最精准、界面最个性的输入法”，分词结果为“打字、精准、界面、个性化、输入法”，然后统计每个分词出现的概率，以每个分词出现的概率作为该分词对该文本的权重，那么得到“打字、精准、界面、个性化、输入法”各个分词在该文本中的词频分别为：“0.2、0.2、0.2、0.2、0.2”，该文章的词频特征向量为：tfi＝{打字:0.2,精准:0.2,界面:0.2,个性化:0.2,输入法:0.2}，其中，tfi表示文本i的词频特征向量。

步骤s122：计算不同分词的逆文档频率

具体的，逆文档频率的计算公式可以是：

其中，idfw表示分词w的逆文档频率，i表示数据库中所有文本的集合，iscontaini，w表示分词w是否在文本i中出现，可以用数值表示分词w是否在文本i中出现，如1表示出现了，0表示没有出现。另外，r为一个常数，其具体数值在本实施例中并不限定，优选的，r取值为1。

步骤s123：构造文本的tf-idf向量。

具体的，首先，计算文本中分词的tf-idf值，计算公式可以是：tfidfi，w＝idfw·tfi，w，其中，tfidfi，w表示文本i中分词w的tf-idf值，idfw表示分词w的逆文档频率，tfi，w表示文本i中分词w的词频。

对文章的所有分词计算每个分词的tf-idf值，即可得到文章i的tf-idf向量记为tfidfi，具体的，可以是tfidfi＝{tfidfi，1，tfidfi，2，...}，表示文本i的tf-idf向量中各个坐标分别为文本i中第一个分词的tf-idf值、第二个分词的tf-idf值、第三个分词的tf-idf值等等，以此类推。

步骤s424：计算文本之间的相似度系数

具体的，计算文本间的相似度系数的公式可以是simi，j＝cos<tdidfi，tdidfj>，其中，simi，j表示文本i和文本j之间的相似度系数，tdidfi表示文本i的tf-idf向量，tdidfj表示文本j的tf-idf向量。

对于任一待推送信息，根据其与各指定信息之间的强化学习相似系数，可以获得该待推送信息对应的推送系数。具体的，可以通过加和各指定信息与该待推送信息之间的强化学习相似系数，获得该待推送信息对应的推送系数。具体的，可以通过如下公式进行计算：

其中，predictlikeu，j表示对待推送用户u推送待推送信息j的推送系数。viewu，i表示待推送用户u是否访问信息i，具体的，当待推送用户u访问过信息i，viewu，i可以设置为非零值，如1；当推送用户未访问过信息i，viewu，i可以设置为0，以实现通过指定信息与待推送信息之间的强化学习相似系数计算推送系数，rfsimi，j表示信息i与待推送信息j之间的强化学习相似系数。

因此，在本实施例中，可以计算获得任意一条待推送信息的推送系数。

步骤s130：根据所述各待推送信息对应的推送系数，从待推送信息中选取推送信息，向所述待推送用户进行推送。

对于待推送用户进行推送的待推送信息中，各信息的推送系数大小可能不同，其中，推送系数越大的待推送信息，越接近于访问第一信息的客户端对应的用户的兴趣，因此，可以选取推送系数较大的待推送信息作为推送信息，向访问第一信息的客户端进行推送。

其中，可以从所有待推送信息中选取推送系数最大的预设个数的待推送信息向客户端推送。具体的，可以根据推送系数的大小降序排列待推送信息，选取前预设个数个待推送信息作为向待推送用户进行推送的推送信息。该预设个数可以根据实际推送需求进行设定，在本实施例中，可以为200，当然，其具体值在本实施例中并不限定。

在本实施例中，对待推送用户进行信息推送的时间并不限制，可以在用户访问客户端时进行推送，可以间隔预设时间长度向用户进行一次推送，或者是其他。

综上所述，本发明实施例提供的信息推送方法中，基于待推送用户访问过的指定信息，以及其他访问过指定信息的用户对待推送信息的操作数据，获取的各待推送信息对应的推送系数，根据待推送系数从待推送信息中选取推送信息进行向待推送用户的推送，从而使向待推送用户推送的信息更接近于待推送用户的兴趣度。

第二实施例

本实施例提供了一种信息推送装置200，请参见图4，该装置200包括：信息获取模块210，用于获取待推送用户访问过的信息，作为指定信息；推送系数计算模块220，根据各指定信息与各待推送信息之间的强化学习相似系数，获取各待推送信息对应的推送系数，其中，任一指定信息与任一待推送信息之间的所述强化学习相似系数根据访问过该指定信息的用户对该待推送信息的操作数据获得；推送模块230，用于根据所述各待推送信息对应的推送系数，从待推送信息中选取推送信息，向所述待推送用户进行推送。

其中，信息获取模块210可以获取待推送用户在预设时间段内访问过的信息，作为指定信息；或者是获取待推送用户最后访问的预设条数的信息，作为指定信息。

另外，可以预先设置有用户对信息的各种操作对应的操作参数，对于任一指定信息与任一待推送信息，所述装置还可以包括学习系数计算模块，用于将访问过该指定信息的用户对该待推送信息的操作对应的操作参数作为该用户对该待推送信息的操作数据。

具体的，设置的操作参数可以包括，在用户对指定信息的访问页面中，向该用户推送了待推送信息，该用户未点击该待推送信息，对应的操作参数为第一数值；在用户对指定信息的访问页面中，向该用户推送了待推送信息，该用户点击访问了该待推送信息，但对该待推送信息无其他行为，对应的操作参数为第二数值；在用户对指定信息的访问页面中，向该用户推送了待推送信息，该用户点击访问了该待推送信息，并对该待推送信息产生了其他行为，对应的操作参数为第三数值。

进一步的，对于任一指定信息以及任一待推送信息，学习系数计算模块可以用于根据所有访问过该指定信息的用户对该待推送信息的操作产生的操作数据以及该待指定信息与该待推送信息之间的相似度系数，计算该指定信息以及该待推送信息之间的强化学习相似系数。

具体的，学习系数计算模块计算该指定信息与该待推送信息之间的强化学习相似系数的公式可以为：

其中，所述simi，j为信息i与信息j之间的相似度系数，viewv，i表示用户v是否访问过信息i，v表示所有用户，feedbackv，j表示用户v对待推送信息j的操作产生的操作数据，x以及y为预设初始数据。

具体的，在本实施例中，信息可以是文本，所述相似度系数simi，j为文本i与文本j之间的tf-idf相似度系数。

在本实施例中，对于任一待推送信息，推送模块230可以通过加和各指定信息与该待推送信息之间的强化学习相似系数，获得该待推送信息对应的推送系数。

具体获取各待推送信息对应的推送系数的公式可以为：

其中，predictlikeu，j表示对待推送用户u推送待推送信息j的推送系数，viewu，i表示待推送用户u是否访问信息i，rfsimi，j表示信息i与待推送信息j之间的强化学习相似系数。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。