推荐信息确定方法及装置、电子设备和可读存储介质与流程

1.本公开涉及数据处理技术领域和金融领域，更具体地，涉及一种推荐信息确定方法及装置、电子设备、计算机可读存储介质和一种计算机程序产品。


背景技术：

2.随着科学技术的发展，如何综合考虑用户的家庭、工作或市场等不同因素的影响来进行数据处理是亟待解决的问题。
3.在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：不同来源的数据随时间的推移所表达的信息可能不一致，导致无法保障推荐信息的准确性。


技术实现要素：

4.有鉴于此，本公开提供了一种推荐信息确定方法及装置、电子设备、计算机可读存储介质和计算机程序产品。
5.根据本公开的一个方面，提供了一种推荐信息确定方法，包括：
6.根据与目标用户相关联的m个待处理数据序列，确定状态序列，其中，上述m个待处理数据序列中的每个待处理数据序列均包括渠道标识和按照时间顺序排列的n个待处理数据，上述渠道标识用于表征上述n个待处理数据的来源，上述状态序列包括按照时间顺序排列的n个目标状态，m为大于1的正整数，n为正整数；
7.根据上述渠道标识和上述n个目标状态，对上述m个待处理数据序列分别进行处理，得到p个目标数据序列，其中，p为正整数，且p小于或等于m；
8.对上述p个目标数据序列进行数据融合处理，得到融合后的数据处理结果；以及
9.根据上述融合后的数据处理结果，确定针对上述目标用户的推荐信息。
10.根据本公开的实施例，上述根据与目标用户相关联的m个待处理数据序列，确定状态序列包括：
11.将上述m个待处理数据序列输入至马尔科夫决策模型，输出上述n个目标状态。
12.根据本公开的实施例，上述方法还包括，在上述根据与目标用户相关联的m个待处理数据序列，确定状态序列之前：
13.根据上述渠道标识和与上述渠道标识对应的样本数据序列，确定样本动作集合和样本状态集合，其中，上述样本动作集合包括保留操作和删除操作，上述样本状态集合包括多个样本状态，上述多个样本状态中的每个样本状态分别与上述保留操作和上述删除操作相关联；
14.对上述样本状态集合和上述样本动作集合分别进行降维处理，得到降维后的样本状态集合和降维后的样本动作集合；
15.基于上述降维后的样本状态集合和上述降维后的样本动作集合，确定奖励函数；以及
16.基于上述降维后的样本状态集合、上述降维后的样本动作集合和上述奖励函数，
构建上述马尔科夫决策模型。
17.根据本公开的实施例，上述根据上述渠道标识和上述n个目标状态，对上述m个待处理数据序列分别进行处理，得到p个目标数据序列包括：
18.将上述m个待处理数据序列和上述状态序列，输入至经训练的反向传播神经网络模型，输出上述p个目标数据序列。
19.根据本公开的实施例，上述将上述m个待处理数据序列和上述状态序列，输入至经训练的反向传播神经网络模型，输出上述p个目标数据序列包括：
20.根据上述m个待处理数据序列各自的上述渠道标识和上述状态序列，确定动作序列，其中，上述动作序列包括按照时间顺序排列的n个目标动作，上述n个目标动作与上述渠道标识相对应；以及
21.根据上述n个目标动作，对与上述渠道标识对应的待处理数据序列进行处理，得到上述p个目标数据序列。
22.根据本公开的实施例，上述n个目标动作包括保留操作或删除操作；
23.上述根据上述n个目标动作，对与上述渠道标识对应的待处理数据序列进行处理，得到上述p个目标数据序列包括：
24.在上述n个目标动作包括保留操作的情况下，确定与上述保留操作相对应的待保留渠道标识和待保留时刻；
25.根据上述待保留渠道标识，在上述m个待处理数据序列中确定待保留数据序列；
26.根据上述待保留时刻，在上述待保留数据序列保留上述n个待处理数据；
27.在上述n个目标动作包括删除操作的情况下，确定与上述删除操作相对应的待删除渠道标识和待删除时刻；
28.根据上述待删除渠道标识，在上述m个待处理数据序列中确定待删除数据序列；以及
29.根据上述待删除时刻，在上述待删除数据序列删除上述n个待处理数据。
30.根据本公开的实施例，上述训练完成的反向传播神经网络的训练方法包括：
31.根据上述渠道标识和与上述渠道标识对应的样本数据序列，确定样本状态、样本动作和样本奖励函数；
32.将与上述渠道标识对应的上述样本数据序列、上述样本状态和上述样本奖励函数，输入至待训练的反向传播神经网络模型，输出预测动作；
33.将与上述渠道标识对应的上述预测动作和上述样本动作输入至损失函数，输出损失结果；
34.根据上述损失结果调整上述待训练的反向传播神经网络模型的网络参数，直至上述损失函数或迭代次数满足预设条件；以及
35.将上述损失函数或迭代次数满足预设条件时得到的模型作为上述经训练的反向传播神经网络模型。
36.根据本公开的实施例，上述对上述p个目标数据序列进行数据融合处理，得到融合后的数据处理结果包括：
37.基于强连通分量算法，对上述p个目标数据序列进行数据融合处理，得到上述融合后的数据处理结果。
38.根据本公开的实施例，上述基于强连通分量算法，对上述p个目标数据序列进行数据融合处理，得到融合后的上述数据处理结果包括：
39.根据上述p个目标数据序列，确定数据序列集合、数据序列相关组合和上述数据序列相关组合的超集；
40.在上述超集中的任意数据序列组合属于上述数据序列相关组合的情况下，将上述超集添加至候选数据序列相关组合；
41.计算上述候选数据序列相关组合中的上述任意数据序列组合的相关信息熵；以及
42.根据上述相关信息熵，对上述p个目标数据序列进行数据融合处理，得到上述融合后的数据处理结果。
43.根据本公开的实施例，上述根据上述融合后的数据处理结果，确定针对上述目标用户的推荐信息包括：
44.根据上述融合后的数据处理结果，确定上述目标用户的风险偏好值；
45.根据上述风险偏好值，确定上述目标用户的风险类型；以及
46.根据上述风险类型，确定针对上述目标用户的上述推荐信息。
47.根据本公开的另一个方面，提供了一种推荐信息确定装置，包括：
48.第一确定模块，用于根据与目标用户相关联的m个待处理数据序列，确定状态序列，其中，上述m个待处理数据序列中的每个待处理数据序列均包括渠道标识和按照时间顺序排列的n个待处理数据，上述渠道标识用于表征上述n个待处理数据的来源，上述状态序列包括按照时间顺序排列的n个目标状态，m为大于1的正整数，n为正整数；
49.第一处理模块，用于根据上述渠道标识和上述n个目标状态，对上述m个待处理数据序列分别进行处理，得到p个目标数据序列，其中，p为正整数，且p小于或等于m；
50.第二处理模块，用于对上述p个目标数据序列进行数据融合处理，得到融合后的数据处理结果；以及
51.第二确定模块，用于根据上述融合后的数据处理结果，确定针对上述目标用户的推荐信息。
52.根据本公开的另一个方面，提供了一种电子设备，包括：
53.一个或多个处理器；
54.存储器，用于存储一个或多个指令，
55.其中，当上述一个或多个指令被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如本公开所述的方法。
56.根据本公开的另一个方面，提供了一种计算机可读存储介质，其上存储有可执行指令，上述可执行指令被处理器执行时使处理器实现如本公开所述的方法。
57.根据本公开的另一个方面，提供了一种计算机程序产品，上述计算机程序产品包括计算机可执行指令，上述计算机可执行指令在被执行时用于实现如本公开所述的方法。
58.根据本公开的实施例，由于是根据与目标用户相关联的多个待处理数据序列，确定状态序列，对处理得到的目标数据序列进行数据融合，得到的融合后的数据处理结果，因而至少部分地克服了相关技术中无法实现对于数据的实时融合的技术问题，从而提高了数据融合的效率。此外，由于根据融合后的数据处理结果，确定针对目标用户的推荐信息，因而提高了确定推荐信息的效率和准确性。
附图说明
59.通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
60.图1示意性示出了根据本公开实施例的可以应用推荐信息确定方法的系统架构；
61.图2示意性示出了根据本公开实施例的推荐信息确定方法的流程图；
62.图3示意性示出了根据本公开实施例的构建马尔科夫决策模型过程的示例示意图；
63.图4示意性示出了根据本公开实施例的反向传播神经网络模型的训练过程的示例示意图；
64.图5示意性示出了根据本公开实施例的得到目标数据序列的示例示意图；
65.图6示意性示出了根据本公开实施例的得到融合后的数据处理结果的示例示意图；
66.图7示意性示出了根据本公开的实施例的推荐信息确定装置的框图；以及
67.图8示意性示出了根据本公开实施例的适于实现推荐信息确定方法的电子设备的框图。
具体实施方式
68.以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
69.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
70.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
71.在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。在使用类似于“a、b或c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b或c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。
72.在本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
73.在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
74.随着科学技术的发展，如何综合考虑用户的家庭、工作或市场等不同因素的影响来进行数据处理是亟待解决的问题。
75.数据融合技术是指利用计算机对按照时序获得的多个来源的数据，在一定准则下进行分析、综合和组合，以完成所需的决策和评估任务而进行的数据处理技术。通过数据融合可以将原来分散的、独立的多个数据融合在一起，从而发现数据的规律和趋势，以提升数据价值。
76.在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：不同来源的数据随时间地推移所表达的信息可能不一致，导致无法实现对于数据的实时融合。
77.为了至少部分地解决相关技术中存在的技术问题，本公开提供了一种推荐信息确定方法及装置、电子设备和可读存储介质，可以应用于数据处理技术领域和金融领域。该推荐信息确定方法包括：根据与目标用户相关联的m个待处理数据序列，确定状态序列，其中，m个待处理数据序列中的每个待处理数据序列均包括渠道标识和按照时间顺序排列的n个待处理数据，渠道标识用于表征n个待处理数据的来源，状态序列包括按照时间顺序排列的n个目标状态，m为大于1的正整数，n为正整数；根据渠道标识和n个目标状态，对m个待处理数据序列分别进行处理，得到p个目标数据序列，其中，p为正整数，且p小于或等于m；对p个目标数据序列进行数据融合处理，得到融合后的数据处理结果；根据融合后的数据处理结果，确定针对目标用户的推荐信息。
78.需要说明的是，本公开实施例提供的推荐信息确定方法和装置可用于数据处理技术领域和金融领域，例如应用于向目标用户推荐金融产品。本公开实施例提供的推荐信息确定方法和装置也可用于除数据处理技术领域和金融领域之外的任意领域，例如应用于数据融合。本公开实施例提供的推荐信息确定方法和装置的应用领域不做限定。
79.图1示意性示出了根据本公开实施例的可以应用推荐信息确定方法的系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
80.如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。
81.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
82.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
83.服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
84.需要说明的是，本公开实施例所提供的推荐信息确定方法一般可以由服务器105执行。相应地，本公开实施例所提供的推荐信息确定装置一般可以设置于服务器105中。本
公开实施例所提供的推荐信息确定方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的推荐信息确定装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。或者，本公开实施例所提供的推荐信息确定方法也可以由终端设备101、102、或103执行，或者也可以由不同于终端设备101、102、或103的其他终端设备执行。相应地，本公开实施例所提供的推荐信息确定装置也可以设置于终端设备101、102、或103中，或设置于不同于终端设备101、102、或103的其他终端设备中。
85.例如，待处理数据序列可以原本存储在终端设备101、102、或103中的任意一个(例如，终端设备101，但不限于此)之中，或者存储在外部存储设备上并可以导入到终端设备101中。然后，终端设备101可以在本地执行本公开实施例所提供的推荐信息确定方法，或者将待处理数据序列发送到其他终端设备、服务器、或服务器集群，并由接收该待处理数据序列的其他终端设备、服务器、或服务器集群来执行本公开实施例所提供的推荐信息确定方法。
86.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
87.图2示意性示出了根据本公开实施例的推荐信息确定方法的流程图。
88.如图2所示，该推荐信息确定方法200可以包括操作s210～s240。
89.在操作s210，根据与目标用户相关联的m个待处理数据序列，确定状态序列。m个待处理数据序列中的每个待处理数据序列均包括渠道标识和按照时间顺序排列的n个待处理数据，渠道标识用于表征n个待处理数据的来源，状态序列包括按照时间顺序排列的n个目标状态，m为大于1的正整数，n为正整数。
90.在操作s220，根据渠道标识和n个目标状态，对m个待处理数据序列分别进行处理，得到p个目标数据序列，p为正整数，且p小于或等于m。
91.在操作s230，对p个目标数据序列进行数据融合处理，得到融合后的数据处理结果。
92.在操作s240，根据融合后的数据处理结果，确定针对目标用户的推荐信息。
93.根据本公开的实施例，待处理数据可以包括与目标用户的风险偏好相关的数据。可以获取来自于不同渠道的多个数据源的多来源数据作为待处理数据，多来源数据例如可以包括收入、支出、资产和信用记录等。待处理数据的来源可以是由用户根据数据融合需求进行选择并设置的。
94.根据本公开的实施例，待处理数据序列可以包括渠道标识和按照时间顺序排列的n个待处理数据。m个待处理数据序列可以用于表征来自不同数据源的数据，可以表示为：{d1，d2，...，di}，di表示第i种来源的数据(i大于或等于2)。
95.根据本公开的实施例，状态序列可以包括渠道标识和按照时间顺序排列的n个目标状态。目标状态可以用于表征在该时刻期望的数据融合结果。可以根据渠道标识和n个目标状态，确定针对不同渠道和不同时刻的待处理数据所应当采取的处理动作。可以根据该处理动作对m个待处理数据序列中的待处理数据分别进行处理，得到p个目标数据序列。
96.根据本公开的实施例，数据融合处理可以包括数据层融合、特征层融合和决策层融合。数据层融合可以直接在采集到的原始数据层上进行融合，在来自于不同渠道的待处
理数据未经预处理之前即可进行数据的综合与分析。特征层融合可以先对来自于不同渠道的待处理数据进行特征提取，然后再对特征信息进行综合分析和处理。
97.根据本公开的实施例，可以利用不同渠道与特征的多来源数据，对数据进行分析、排序和融合，并根据融合后的数据处理结果，确定针对目标用户的推荐信息。推荐信息例如可以包括链接信息和产品属性信息，链接信息可以用于跳转至商品的展示界面，产品属性信息包括该目标用户可能购买率较高的产品的相关信息。链接信息可以包括但不限于：网页链接、应用链接或特定位置链接等。
98.根据本公开的实施例，由于是根据与目标用户相关联的多个待处理数据序列，确定状态序列，对处理得到的目标数据序列进行数据融合，得到的融合后的数据处理结果，因而至少部分地克服了相关技术中无法实现对于数据的实时融合的技术问题，从而提高了数据融合的效率。此外，由于根据融合后的数据处理结果，确定针对目标用户的推荐信息，因而提高了确定推荐信息的效率和准确性。
99.下面参考图3～图6，结合具体实施例对图2所示的方法做进一步说明。
100.根据本公开的实施例，操作s240可以包括以下操作。
101.根据融合后的数据处理结果，确定目标用户的风险偏好值。根据风险偏好值，确定目标用户的风险类型。根据风险类型，确定针对目标用户的推荐信息。
102.根据本公开的实施例，可以实时在线融合目标用户的相关数据，根据融合后的数据处理结果，得到可信度更高的目标用户的风险偏好，并确定目标用户的风险类型，以便于确定针对目标用户的推荐信息。
103.图3示意性示出了根据本公开实施例的构建马尔科夫决策模型过程的示例示意图。
104.根据本公开的实施例，操作s210可以包括以下操作。
105.将m个待处理数据序列输入至马尔科夫决策模型，输出n个目标状态。
106.根据本公开的实施例，马尔可夫决策过程(markov decision process，mdp)是序贯决策的数学模型，可以用于在系统状态具有马尔可夫性质的环境中模拟智能体实现的随机性策略与回报。可以基于渠道标识和与渠道标识对应的样本数据序列，通过定义样本动作集合、样本状态集合和奖励函数来定义马尔科夫决策过程，并可以在定义马尔科夫决策过程的基础上建立马尔科夫决策模型。
107.根据本公开的实施例，在操作s210之前，该推荐信息确定方法200还可以包括以下操作。
108.根据渠道标识和与渠道标识对应的样本数据序列，确定样本动作集合和样本状态集合。样本动作集合包括保留操作和删除操作，样本状态集合包括多个样本状态，多个样本状态中的每个样本状态分别与保留操作和删除操作相关联。对样本状态集合和样本动作集合分别进行降维处理，得到降维后的样本状态集合和降维后的样本动作集合。基于降维后的样本状态集合和降维后的样本动作集合，确定奖励函数。基于降维后的样本状态集合、降维后的样本动作集合和奖励函数，构建马尔科夫决策模型。
109.根据本公开的实施例，由于来自于不同渠道的多个数据源的数据信息量不同，因而在处理不同来源的数据时，需要做出不同的动作选择，从而使得在冲突信息存在时，可以通过不同的动作选择对冲突信息进行消解，以保证融合结果的有效性。样本动作集合可以
定义为：a＝{a1，a2}，其中，a1表示保留操作，a2表示删除操作，可以根据实际情况对于不同来源的数据采取保留操作或者删除操作。
110.根据本公开的实施例，由于在不同时刻针对不同来源的数据采取了某一样本动作后，数据融合结果会发生变化，将此刻的融合结果作为该时刻的样本状态。样本状态集合可以定义为：s＝{s1，s2，...，s
t
，...}，其中，a
t
表示在t时刻时采取的动作，m
t
表示在t时刻时对某数据进行保留操作后得到的t+1时刻的融合结果，n
t
表示在t时刻时对某数据进行删除操作后得到的t+1时刻的融合结果。
111.根据本公开的实施例，可以定义奖励函数r，奖励函数表示在某一动作a1或a2、某一状态s
t
的情况下奖励值或者惩罚值。
112.根据本公开的实施例，在马尔科夫决策模型训练好的基础上，可以利用该马尔科夫决策模型进行目标状态的预测，例如可以将m个待处理数据序列输入至马尔科夫决策模型，预测出当前时刻的目标状态。
113.如图3所示，可以根据渠道标识301和与渠道标识对应的样本数据序列302，确定样本动作集合303和样本状态集合304。对样本动作集合303进行降维处理，得到降维后的样本动作集合305，对样本状态集合进行降维处理，得到降维后的样本状态集合306。基于降维后的样本动作集合305和降维后的样本状态集合306，可以确定奖励函数307。基于降维后的样本动作集合305、降维后的样本状态集合306和奖励函数307，可以构建马尔科夫决策模型308。
114.根据本公开的实施例，由于基于样本动作集合、样本状态集合和奖励函数预先构建马尔科夫决策模型，并将待处理数据序列输入至预先构建的马尔科夫决策模型，输出目标状态，因而实现了针对待处理数据序列的状态预测，提高了数据处理的效率和准确性。
115.图4示意性示出了根据本公开实施例的反向传播神经网络模型的训练过程的示例示意图。
116.根据本公开的实施例，训练完成的反向传播神经网络的训练方法可以包括以下操作。
117.根据渠道标识和与渠道标识对应的样本数据序列，确定样本状态、样本动作和样本奖励函数。将与渠道标识对应的样本数据序列、样本状态和样本奖励函数，输入至待训练的反向传播神经网络模型，输出预测动作。将与渠道标识对应的预测动作和样本动作输入至损失函数，输出损失结果。根据损失结果调整待训练的反向传播神经网络模型的网络参数，直至损失函数或迭代次数满足预设条件。将损失函数或迭代次数满足预设条件时得到的模型作为经训练的反向传播神经网络模型。
118.如图4所示，可以将与渠道标识对应的样本数据序列401、样本状态402和样本奖励函数403，输入至待训练的反向传播神经网络模型404，输出预测动作405。将与渠道标识对应的预测动作405和样本动作406输入至损失函数407，输出损失结果408。根据损失结果408调整待训练的反向传播神经网络模型404的网络参数，直至损失函数407或迭代次数满足预设条件。将损失函数407或迭代次数满足预设条件时得到的模型作为经训练的反向传播神经网络模型。
119.图5示意性示出了根据本公开实施例的得到目标数据序列的示例示意图。
120.根据本公开的实施例，操作s220可以包括以下操作。
121.将m个待处理数据序列和状态序列，输入至经训练的反向传播神经网络模型，输出p个目标数据序列。
122.根据本公开的实施例，将m个待处理数据序列和状态序列，输入至经训练的反向传播神经网络模型，输出p个目标数据序列可以包括以下操作。
123.根据m个待处理数据序列各自的渠道标识和状态序列，确定动作序列。动作序列包括按照时间顺序排列的n个目标动作，n个目标动作与渠道标识相对应。根据n个目标动作，对与渠道标识对应的待处理数据序列进行处理，得到p个目标数据序列。
124.根据本公开的实施例，n个目标动作包括保留操作或删除操作。
125.根据本公开的实施例，根据n个目标动作，对与渠道标识对应的待处理数据序列进行处理，得到p个目标数据序列可以包括以下操作。
126.在n个目标动作包括保留操作的情况下，确定与保留操作相对应的待保留渠道标识和待保留时刻。根据待保留渠道标识，在m个待处理数据序列中确定待保留数据序列。根据待保留时刻，在待保留数据序列保留n个待处理数据。在n个目标动作包括删除操作的情况下，确定与删除操作相对应的待删除渠道标识和待删除时刻。根据待删除渠道标识，在m个待处理数据序列中确定待删除数据序列。以及根据待删除时刻，在待删除数据序列删除n个待处理数据。
127.根据本公开的实施例，在获取m个待处理数据序列和状态序列之后，可以对m个待处理数据序列和状态序列进行处理，得到p个目标数据序列。可以利用样本数据序列、样本状态和样本奖励函数训练待训练的反向传播神经网络模型得到的模型，对m个待处理数据序列和状态序列进行处理，得到p个目标数据序列。
128.根据本公开的实施例，可以通过反向传播神经网络模型确定最优策略，以便实现在存在冲突数据的情况下，针对不同来源的数据采取不同动作，做出最优策略选择。例如，在t时刻时，系统状态为s
t
，对于渠道标识为q1的待处理数据序列，可以根据经训练的反向传播神经网络模型计算得到的策略，得到当前时刻要执行的预测动作，对待处理数据执行预测动作之后转移至下一目标状态。最终将全部来源数据处理之后，得到p个目标数据序列。
129.如图5所示，可以根据m个待处理数据序列各自的渠道标识501和状态序列502，确定动作序列503。动作序列503包括按照时间顺序排列的n个目标动作，n个目标动作与渠道标识相对应501。在步骤s510，可以确定n个目标动作中的每个目标动作为保留操作或删除操作。
130.在n个目标动作包括保留操作的情况下，可以确定与保留操作相对应的待保留渠道标识504和待保留时刻505。根据待保留渠道标识504，在m个待处理数据序列中确定待保留数据序列508。根据待保留时刻505，在待保留数据序列508保留n个待处理数据。在n个目标动作包括删除操作的情况下，确定与删除操作相对应的待删除渠道标识506和待删除时刻507。根据待删除渠道标识506，在m个待处理数据序列中确定待删除数据序列509。以及根据待删除时刻507，在待删除数据序列删除n个待处理数据。在对与渠道标识501对应的待处理数据序列进行处理之后，可以得到p个目标数据序列510。
131.根据本公开的实施例，由于根据与渠道标识对应的样本数据序列、样本状态和样
本奖励函数训练待训练的反向传播神经网络模型，并将待处理数据序列和所述状态序列，输入至经训练的反向传播神经网络模型，输出目标数据序列，因而实现了实际数据的实时交互，能够对多来源的冲突数据进行实时的消解处理。
132.图6示意性示出了根据本公开实施例的得到融合后的数据处理结果的示例示意图。
133.根据本公开的实施例，操作s230可以包括以下操作。
134.基于强连通分量算法，对p个目标数据序列进行数据融合处理，得到融合后的数据处理结果。
135.根据本公开的实施例，基于强连通分量算法，对p个目标数据序列进行数据融合处理，得到融合后的数据处理结果可以包括以下操作。
136.根据p个目标数据序列，确定数据序列集合、数据序列相关组合和数据序列相关组合的超集。在超集中的任意数据序列组合属于数据序列相关组合的情况下，将超集添加至候选数据序列相关组合。计算候选数据序列相关组合中的任意数据序列组合的相关信息熵。根据相关信息熵，对p个目标数据序列进行数据融合处理，得到融合后的数据处理结果。
137.根据本公开的实施例，例如，i和j表示与目标用户相关联的两个待处理数据序列的渠道标识，融合方程可以使用如下式(1)和(2)表示。
[0138][0139][0140]
其中，m＝i，j，表示来源数据，pm表示协方差阵，p表示融合后的数据处理结果，当m为n个时融合方程依然成立。
[0141]
如图6所示，可以根据p个目标数据序列601，确定数据序列集合602和数据序列相关组合603。根据数据序列相关组合603可以确定数据序列相关组合的超集604。在操作s610，可以确定数据序列相关组合的超集604中的任意数据序列组合是否属于数据序列相关组合。
[0142]
在确定数据序列相关组合的超集604中的任意数据序列组合属于数据序列相关组合的情况下，可以将数据序列相关组合的超集604添加至候选数据序列相关组合605。计算候选数据序列相关组合605中的任意数据序列组合的相关信息熵606。可以根据相关信息熵606，对p个目标数据序列601进行数据融合处理，得到融合后的数据处理结果607。
[0143]
根据本公开的实施例，由于融合后的数据处理结果是基于强连通分量算法，对目标数据序列进行数据融合处理而得到的，因而能够有效利用不同信息源的数据实现对数据处理结果的估计，提高多来源数据的融合性能。
[0144]
图7示意性示出了根据本公开的实施例的推荐信息确定装置的框图。
[0145]
如图7所示，推荐信息确定装置700包括第一确定模块701、第一处理模块702、第二处理模块703和第二确定模块704。
[0146]
第一确定模块701，用于根据与目标用户相关联的m个待处理数据序列，确定状态序列。m个待处理数据序列中的每个待处理数据序列均包括渠道标识和按照时间顺序排列
的n个待处理数据，渠道标识用于表征n个待处理数据的来源，状态序列包括按照时间顺序排列的n个目标状态，m为大于1的正整数，n为正整数。
[0147]
第一处理模块702，用于根据渠道标识和n个目标状态，对m个待处理数据序列分别进行处理，得到p个目标数据序列，其中，p为正整数，且p小于或等于m。
[0148]
第二处理模块703，用于对p个目标数据序列进行数据融合处理，得到融合后的数据处理结果。
[0149]
第二确定模块704，用于根据融合后的数据处理结果，确定针对目标用户的推荐信息。
[0150]
根据本公开的实施例，第一确定模块701可以包括第一输入子模块。
[0151]
第一输入子模块，用于将m个待处理数据序列输入至马尔科夫决策模型，输出n个目标状态。
[0152]
根据本公开的实施例，推荐信息确定装置700还可以包括第三确定模块、降维处理模块、第四确定模块和构建模块。
[0153]
第三确定模块，用于根据渠道标识和与渠道标识对应的样本数据序列，确定样本动作集合和样本状态集合。样本动作集合包括保留操作和删除操作，样本状态集合包括多个样本状态，多个样本状态中的每个样本状态分别与保留操作和删除操作相关联。
[0154]
降维处理模块，用于对样本状态集合和样本动作集合分别进行降维处理，得到降维后的样本状态集合和降维后的样本动作集合。
[0155]
第四确定模块，用于基于降维后的样本状态集合和降维后的样本动作集合，确定奖励函数。
[0156]
构建模块，用于基于降维后的样本状态集合、降维后的样本动作集合和奖励函数，构建马尔科夫决策模型。
[0157]
根据本公开的实施例，第一处理模块702可以包括第二输入子模块。
[0158]
第二输入子模块，用于将m个待处理数据序列和状态序列，输入至经训练的反向传播神经网络模型，输出p个目标数据序列。
[0159]
根据本公开的实施例，第二输入子模块可以包括第一确定单元和第一处理单元。
[0160]
第一确定单元，用于根据m个待处理数据序列各自的渠道标识和状态序列，确定动作序列。动作序列包括按照时间顺序排列的n个目标动作，n个目标动作与渠道标识相对应。
[0161]
第一处理单元，用于根据n个目标动作，对与渠道标识对应的待处理数据序列进行处理，得到p个目标数据序列。
[0162]
根据本公开的实施例，n个目标动作包括保留操作或删除操作。
[0163]
根据n个目标动作，第一处理单元可以包括第一确定子单元、第二确定子单元、保留子单元、第三确定子单元、第四确定子单元和删除子单元。
[0164]
第一确定子单元，用于在n个目标动作包括保留操作的情况下，确定与保留操作相对应的待保留渠道标识和待保留时刻。
[0165]
第二确定子单元，用于根据待保留渠道标识，在m个待处理数据序列中确定待保留数据序列。
[0166]
保留子单元，用于根据待保留时刻，在待保留数据序列保留n个待处理数据。
[0167]
第三确定子单元，用于在n个目标动作包括删除操作的情况下，确定与删除操作相
对应的待删除渠道标识和待删除时刻。
[0168]
第四确定子单元，用于根据待删除渠道标识，在m个待处理数据序列中确定待删除数据序列。
[0169]
删除子单元，用于根据待删除时刻，在待删除数据序列删除n个待处理数据。
[0170]
根据本公开的实施例，训练完成的反向传播神经网络的训练装置可以包括第五确定模块、第一输出模块、第二输入模块、调整模块和第六确定模块。
[0171]
第五确定模块，用于根据渠道标识和与渠道标识对应的样本数据序列，确定样本状态、样本动作和样本奖励函数。
[0172]
第一输出模块，用于将与渠道标识对应的样本数据序列、样本状态和样本奖励函数，输入至待训练的反向传播神经网络模型，输出预测动作。
[0173]
第二输入模块，用于将与渠道标识对应的预测动作和样本动作输入至损失函数，输出损失结果。
[0174]
调整模块，用于根据损失结果调整待训练的反向传播神经网络模型的网络参数，直至损失函数或迭代次数满足预设条件。
[0175]
第六确定模块，用于将损失函数或迭代次数满足预设条件时得到的模型作为经训练的反向传播神经网络模型。
[0176]
根据本公开的实施例，第二处理模块703可以包括处理子模块。
[0177]
处理子模块，用于基于强连通分量算法，对p个目标数据序列进行数据融合处理，得到融合后的数据处理结果。
[0178]
根据本公开的实施例，处理子模块可以包括第二确定单元、添加单元、计算单元和融合处理单元。
[0179]
第二确定单元，用于根据p个目标数据序列，确定数据序列集合、数据序列相关组合和数据序列相关组合的超集。
[0180]
添加单元，用于在超集中的任意数据序列组合属于数据序列相关组合的情况下，将超集添加至候选数据序列相关组合。
[0181]
计算单元，用于计算候选数据序列相关组合中的任意数据序列组合的相关信息熵。
[0182]
融合处理单元，用于根据相关信息熵，对p个目标数据序列进行数据融合处理，得到融合后的数据处理结果。
[0183]
根据本公开的实施例，第二确定模块704可以包括第一确定子模块、第二确定子模块和第三确定子模块。
[0184]
第一确定子模块，用于根据融合后的数据处理结果，确定目标用户的风险偏好值。
[0185]
第二确定子模块，用于根据风险偏好值，确定目标用户的风险类型。
[0186]
第三确定子模块，用于根据风险类型，确定针对目标用户的推荐信息。
[0187]
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电
路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
[0188]
例如，第一确定模块701、第一处理模块702、第二处理模块703和第二确定模块704中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单元中实现。根据本公开的实施例，第一确定模块701、第一处理模块702、第二处理模块703和第二确定模块704中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一确定模块701、第一处理模块702、第二处理模块703和第二确定模块704中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
[0189]
需要说明的是，本公开的实施例中推荐信息确定装置部分与本公开的实施例中推荐信息确定方法部分是相对应的，推荐信息确定装置部分的描述具体参考推荐信息确定方法部分，在此不再赘述。
[0190]
图8示意性示出了根据本公开实施例的适于实现推荐信息确定方法的电子设备的框图。图8示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
[0191]
如图8所示，根据本公开实施例的计算机电子设备800包括处理器801，其可以根据存储在只读存储器(rom)802中的程序或者从存储部分808加载到随机访问存储器(ram)803中的程序而执行各种适当的动作和处理。处理器801例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))，等等。处理器801还可以包括用于缓存用途的板载存储器。处理器801可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
[0192]
在ram 803中，存储有电子设备800操作所需的各种程序和数据。处理器801、rom 802以及ram 803通过总线804彼此相连。处理器801通过执行rom 802和/或ram803中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom 802和ram 803以外的一个或多个存储器中。处理器801也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
[0193]
根据本公开的实施例，电子设备800还可以包括输入/输出(i/o)接口805，输入/输出(i/o)接口805也连接至总线804。电子设备800还可以包括连接至i/o接口805的以下部件中的一项或多项：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至i/o接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、
半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
[0194]
根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被处理器801执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
[0195]
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
[0196]
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0197]
例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的rom 802和/或ram 803和/或rom 802和ram803以外的一个或多个存储器。
[0198]
本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行本公开实施例所提供的方法的程序代码，当计算机程序产品在电子设备上运行时，该程序代码用于使电子设备实现本公开实施例所提供的推荐信息确定方法。
[0199]
在该计算机程序被处理器801执行时，执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
[0200]
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分809被下载和安装，和/或从可拆卸介质811被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
[0201]
根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如java，c++，python，“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备
(例如利用因特网服务提供商来通过因特网连接)。
[0202]
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
[0203]
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。