信息处理方法及装置与流程

本申请涉及计算机领域，尤其涉及一种信息处理方法及装置。

背景技术：

目前，在交通出行或者物流中可以采用订单冒泡转化调整方法为用户推荐推荐方式(例如红包、打折券、会员积分等)，通过该推荐方式，使得用户的下单成功率提高。

在相关技术中，提高用户的下单成功率的方法包括：运维人员根据自己的经验，手动给用户推荐推荐方式。在该方法中，根据自己的经验手动给用户推荐推荐方式，可能存在给用户推荐的推荐方式不符合用户需求，导致用户的下单成功率低。

技术实现要素：

本申请提供一种信息处理方法及装置，提高确定目标推荐方式的准确性，使得目标推荐方式符合用户需求，进而提高用户的下单成功概率。

第一方面，本申请提供一种信息处理方法，包括：

获取历史订单信息，所述历史订单信息中包括至少一个订单信息；

对所述历史订单信息进行处理，确定处理要素；

获取第一用户的第一订单信息；

根据所述处理要素和所述第一订单信息，确定目标推荐方式。

在一种可能的实施方式中，所述根据所述处理要素和所述第一订单信息，确定目标推荐方式，包括：

获取至少一种预设推荐方式；

在所述至少一种预设推荐方式下，通过具有所述处理要素的增强学习模型对所述第一订单信息进行处理，得到每种预设推荐方式对应的下单概率；

根据所述下单概率，在所述至少一种预设推荐方式中确定目标推荐方式。

在一种可能的实施方式中，对所述历史订单信息进行处理，确定处理要素，包括：

在所述历史订单信息包括的至少一个订单信息中确定样本订单信息；

对所述样本订单信息进行特征提取处理，得到至少一个样本特征；

根据所述至少一个样本特征，确定所述处理要素。

在一种可能的实施方式中，所述至少一个样本特征包括样本时间特征、样本用户特征和样本区域特征；根据所述至少一个样本特征，确定所述处理要素，包括：

根据所述样本时间特征、所述样本用户特征和所述样本区域特征，确定环境状态要素；

根据所述环境状态要素、预设个体动作要素和预设环境奖励要素，确定所述处理要素。

在一种可能的实施方式中，根据所述环境状态要素、预设个体动作要素和预设环境奖励要素，确定所述处理要素，包括：

对所述环境状态要素、所述预设个体动作要素和所述预设环境奖励要素进行组合处理，得到所述处理要素。

在一种可能的实施方式中，在所述历史订单信息包括的至少一个订单信息中确定样本订单信息，包括：

从所述历史订单信息包括的至少一个订单信息中获取有效订单信息；

将所述有效订单信息确定为样本订单信息。

在一种可能的实施方式中，所述订单信息中包括订单类型；所述历史订单信息包括的至少一个订单信息中获取有效订单信息，包括：

在所述历史订单信息包括的至少一个订单信息中，剔除所述订单类型为刷单订单、错误订单的订单信息，得到所述有效订单信息。

第二方面，本申请提供一种信息处理装置，包括：获取模块和确定模块，其中，

所述获取模块用于，获取历史订单信息，所述历史订单信息中包括至少一个订单信息；

所述确定模块用于，对所述历史订单信息进行处理，确定处理要素；

所述获取模块还用于，获取第一用户的第一订单信息；

所述确定模块还用于，根据所述处理要素和所述第一订单信息，确定目标推荐方式。

在一种可能的实施方式中，所述确定模块还具体用于：

获取至少一种预设推荐方式；

在所述至少一种预设推荐方式下，通过具有所述处理要素的增强学习模型对所述第一订单信息进行处理，得到每种预设推荐方式对应的下单概率；

根据所述下单概率，在所述至少一种预设推荐方式中确定目标推荐方式。

在一种可能的实施方式中，所述确定模块具体用于；

在所述历史订单信息包括的至少一个订单信息中确定样本订单信息；

对所述样本订单信息进行特征提取处理，得到至少一个样本特征；

根据所述至少一个样本特征，确定所述处理要素。

在一种可能的实施方式中，所述至少一个样本特征包括样本时间特征、样本用户特征和样本区域特征；所述确定模块具体用于：

根据所述样本时间特征、所述样本用户特征和所述样本区域特征，确定环境状态要素；

根据所述环境状态要素、预设个体动作要素和预设环境奖励要素，确定所述处理要素。

在一种可能的实施方式中，所述确定模块具体用于：

对所述环境状态要素、所述预设个体动作要素和所述预设环境奖励要素进行组合处理，得到所述处理要素。

在一种可能的实施方式中，所述确定模块具体用于：

从所述历史订单信息包括的至少一个订单信息中获取有效订单信息；

将所述有效订单信息确定为样本订单信息。

在一种可能的实施方式中，所述确定模块具体用于：

在所述历史订单信息包括的至少一个订单信息中，剔除所述订单类型为刷单订单、错误订单的订单信息，得到所述有效订单信息。

第三方面，本申请提供一种信息处理装置，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如第一方面任一项所述的信息处理方法。

第四方面，本申请提供一种信息处理装置，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如第二方面任一项所述的信息处理方法。

本申请提供的信息处理方法及装置，该方法包括：获取历史订单信息，历史订单信息中包括至少一个订单信息；对历史订单信息进行处理，确定处理要素；获取第一用户的第一订单信息；根据处理要素和第一订单信息，确定目标推荐方式。在本方法中，根据处理要素和第一订单信息，确定目标推荐方式，可以提高确定目标推荐方式的准确性，使得目标推荐方式符合用户的需求，进而提高用户的下单成功概率和应用平台的收益。

附图说明

为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的信息处理方法的应用场景示意图；

图2为本申请提供的信息处理方法的流程示意图一；

图3为本申请提供的信息处理方法的流程示意图二；

图4为本申请提供的一种信息处理装置的结构示意图；

图5为本申请提供的信息处理装置的硬件结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本申请提供的信息处理方法的应用场景示意图。如图1所示，包括：服务器101和客户端102。可选地，服务器101和客户端102可以为某应用平台中对应的服务器和客户端。可选地，应用平台可以为购物平台、交通出行平台等。

具体的，该客户端102可以运行在用户持有的终端设备上。例如，终端设备可以是计算机设备、平板电脑或移动电话(或称为“蜂窝”电话)等，终端设备还可以是便携式、袖珍式、手持式、计算机内置的移动装置或设备，此处不做特别限制。需要说明的是，图1中示例性的给出了4个客户端102，在实际应用中，本申请对客户端102的数量不做特别限制。

可选地，客户端102可以通过有线网络、或者无线网络与服务器101进行交互。例如，有线网络可以包括同轴电缆、双绞线和光纤等，无线网络可以是2g网络、3g网络、4g网络或者5g网络、无线保真(wirelessfidelity，简称wifi)网络等。本申请对交互的具体类型或者具体形式并不做限定，只要其能够实现服务器和终端设备交互的功能即可。

客户端102与服务器101进行交互时，可以实现如下过程：客户端102可以向服务器101发送冒泡订单信息，服务器101可以通过具有处理要素的增强学习模型对冒泡订单信息进行处理得到目标推荐方式，向客户端102发送目标推荐方式，其中，冒泡订单信息为用户对商品具有购买欲望的订单信息。在上述方法中，通过具有处理要素的增强学习模型对冒泡订单信息进行处理得到目标推荐方式，可以提供确定目标推荐方式的准确性，使得目标推荐方式符合用户需求。

下面，通过具体实施例对本申请所示的技术方案进行详细说明。需要说明的是，下面几个具体实施例可以相互结合，对于相同或相似的内容，在不同的实施例中不再进行重复说明。

图2为本申请提供的信息处理方法的流程示意图一。如图2所示，本实施提供的信息处理方法包括：

s201、获取历史订单信息，历史订单信息中包括至少一个订单信息。

可选地，本申请提供的信息处理方法的执行主体可以为服务器，可以为设置在服务器中的信息处理状态，该信息处理装置可以通过软件和/或硬件的结合来实现。

其中，历史订单信息为服务器中存储的预设时长内的订单信息。可选地，预设时长可以为1个月、2个月、6个月等，具体的，本申请对此不进行限定。

具体的，至少一个订单信息包括有效订单信息和无效订单信息，其中，无效订单信息包括刷单信息、用户下单错误产生的订单信息、或者网络错误导致的订单信息等脏数据，有效订单信息为至少一个订单信息中除无效订单信息以外的订单信息。

s202、对历史订单信息进行处理，确定处理要素。

可选地，对历史订单信息中的有效订单信息进行处理，得到处理要素。

其中，处理要素为增强学习模型所需要的学习要素。可选地，处理要素可以包括环境状态要素、个体动作要素、环境奖励要素。

具体的，对历史订单信息中的有效订单信息进行处理可以得到环境状态要素。其中，个体动作要素和环境奖励要素为预先设定的要素。

s203、获取第一用户的第一订单信息。

具体的，第一订单信息为订单调度系统冒泡后的第一订单中包括的信息。其中，订单调度系统设置在服务器中，第一订单信息包括第一用户的时间特征信息、区域特征信息和乘客特征信息等。

例如，订单调度系统为交通出行订单调度系统时，时间特征信息可以包括第一用户的乘车时间、第一订单冒泡至发单的时间间隔、第一用户发单的时间段等，区域特征信息可以包括第一用户当前的位置是否为热门商圈、周围的车辆数量、第一用户当前所在区域的订单总数量等，乘客特征信息可以包括第一用户以前参与的每种预设推荐方式概率、第一用户以前在各个预设推荐方式中成功下单的概率、冒泡至下单时间间隔和转化成功概率等。

在实际应用中，订单调度系统通常根据用户的购买欲望对订单进行冒泡处理，冒泡后的订单通常为用户购买欲望较大的订单。可选地，服务器可以根据用户浏览订单的时间、对订单执行的信息查询动作等确定用户购买欲望。

s204、根据处理要素和第一订单信息，确定目标推荐方式。

在一种可能的实施方式中，获取至少一种预设推荐方式；

在至少一种预设推荐方式下，通过具有处理要素的增强学习模型对第一订单信息进行处理，得到每种预设推荐方式对应的下单概率；

根据下单概率，在至少一种预设推荐方式中确定目标推荐方式。

具体的，至少一种预设推荐方式为预先存储在服务器中的推荐方式，其中，至少一种预设推荐方式可以包括红包、打折券、会员积分等等。

可选地，增强学习模型可以为q-learning模型、multi-band模型、sara算法模型中的任意一种。

具体的，在至少一种预设推荐方式下，通过具有处理要素的增强学习模型对第一订单信息中的第一用户的时间特征信息、区域特征信息和乘客特征信息进行处理，得到每种预设推荐方式对应的下单概率。

进一步地，将下单概率最大时对应的预设推荐方式确定为目标推荐方式。

在实际中，确定目标推荐方式之后，还可以向客户端发送目标推荐方式，以使具有客户端的终端设备可以向第一用户展示目标推荐方式。

本实施例提供的信息处理方法包括：获取历史订单信息，历史订单信息中包括至少一个订单信息；对历史订单信息进行处理，确定处理要素；获取第一用户的第一订单信息；根据处理要素和第一订单信息，确定目标推荐方式。在本方法中，根据处理要素和第一订单信息，确定目标推荐方式，可以提高确定目标推荐方式的准确性，使得目标推荐方式符合用户的需求，进而提高用户的下单成功概率和应用平台的收益。

在上述实施例的基础上，下面结合图3对本申请提供的信息处理方法作进一步地详细说明，具体的，请参见图3。

图3为本申请提供的信息处理方法的流程示意图二。如图3所示，本实施例提供的信息处理方法包括：

s301、获取历史订单信息，历史订单信息中包括至少一个订单信息。

具体的，s301的执行方法与s201的执行方法相同，此处，不再赘述s301的执行过程。

s302、在历史订单信息包括的至少一个订单信息中确定样本订单信息。

在一种可能的实施方式中，从历史订单信息包括的至少一个订单信息中获取有效订单信息；将有效订单信息确定为样本订单信息。

具体的，对有效订单信息的解释说明可参见s201，此处，不再赘述。

在一种可能的实施方式中，订单信息中包括订单类型；历史订单信息包括的至少一个订单信息中获取有效订单信息，包括：在历史订单信息包括的至少一个订单信息中，剔除订单类型为刷单订单、错误订单的订单信息，得到有效订单信息。

其中，错误订单用户下单错误产生的订单信息、或者网络错误导致的订单信息等。

s303、对样本订单信息进行特征提取处理，得到至少一个样本特征，其中，至少一个样本特征包括样本时间特征、样本用户特征和样本区域特征。

s304、根据至少一个样本特征，确定处理要素。

在一种可能的实施方式中，至少一个样本特征包括样本时间特征、样本用户特征和样本区域特征时；根据至少一个样本特征，确定处理要素，包括：根据样本时间特征、样本用户特征和样本区域特征，确定环境状态要素；根据环境状态要素、预设个体动作要素和预设环境奖励要素，确定处理要素。

其中，样本时间特征可以包括样本用户的乘车时间、订单冒泡至发单的时间间隔、样本用户发单的时间段等，样本区域特征可以包括样本用户当前的位置是否为热门商圈、周围的车辆数量、样本用户当前所在区域的订单总数量等，样本用户特征可以包括样本用户以前参与的每种预设推荐方式概率、样本用户以前在各个预设推荐方式中成功下单的概率、冒泡至下单时间间隔和转化成功概率等。

具体的，环境状态要素s为通过预设处理算法对样本时间特征、样本用户特征和样本区域特征处理之后得到的。预设个体动作要素a为{预设推荐方式a1、预设推荐方式a2、预设推荐方式a3、……}的推荐方式集合。预设环境奖励要素r为包括{0、1}的集合，其中，0指示冒泡失败，1指示冒泡成功。需要说明的是，冒泡失败指用户没有下单，冒泡成功指用户下单。

在第一种可能的实施方式中，根据环境状态要素、预设个体动作要素和预设环境奖励要素，确定处理要素，包括：对环境状态要素、预设个体动作要素和预设环境奖励要素进行组合处理，得到处理要素。

在上述第一种可能的实施方式中，处理要素为包括环境状态要素、预设个体动作要素和预设环境奖励要素的处理要素集合。

在第二种可能的实施方式中，根据环境状态要素、预设个体动作要素和预设环境奖励要素，确定处理要素，包括：根据环境状态要素s和预设个体动作要素a，确定个体策略要素π；根据环境状态要素s、个体策略要素π和预设模型要素γ，确定价值要素vπ(s)；根据环境状态要素s和预设个体动作要素a，确定环境状态转换模型要素。进一步地，对环境状态要素s、预设个体动作要素、预设环境奖励要素、个体策略要素π、价值要素vπ(s)、预设模型要素γ、环境状态转换模型要素进行组合，得到处理要素。

可选地，在第二种可能的实施方式中，还可以包括探索率∈。进一步地，对环境状态要素s、预设个体动作要素、预设环境奖励要素、个体策略要素π、价值要素vπ(s)、预设模型要素γ、环境状态转换模型要素、探索率∈进行组合，得到处理要素。

s305、获取第一用户的第一订单信息，其中，第一订单信息包括第一用户的时间特征信息、区域特征信息和乘客特征信息。

具体的，s305的执行方法与s203的执行方法相同，此处，不再赘述s305的执行过程。

s306、在至少一种预设推荐方式下，通过具有处理要素的增强学习模型对第一用户的时间特征信息、区域特征信息和乘客特征信息进行处理，得到每种预设推荐方式对应的下单概率。

s307、根据下单概率，在至少一种预设推荐方式中确定目标推荐方式。

本实施例提供的方法包括：获取历史订单信息，历史订单信息中包括至少一个订单信息；在历史订单信息包括的至少一个订单信息中确定样本订单信息；对样本订单信息进行特征提取处理，得到至少一个样本特征，其中，至少一个样本特征包括样本时间特征、样本用户特征和样本区域特征；根据至少一个样本特征，确定处理要素；获取第一用户的第一订单信息，其中，第一订单信息包括第一用户的时间特征信息、区域特征信息和乘客特征信息；在至少一种预设推荐方式下，通过具有处理要素的增强学习模型对第一用户的时间特征信息、区域特征信息和乘客特征信息进行处理，得到每种预设推荐方式对应的下单概率；根据下单概率，在至少一种预设推荐方式中确定目标推荐方式。在上述方法中，通过具有处理要素的增强学习模型对第一用户的时间特征信息、区域特征信息和乘客特征信息进行处理，综合考虑了当前第一用户的时间特征信息、区域特征信息和乘客特征信息，因此可以提高确定目标推荐方式的准确性、以及用户下单成功概率，进而提高应用平台的收益。

图4为本申请提供的一种信息处理装置的结构示意图。该信息处理装置10可以应用于服务器中。请参见图4，该信息处理装置10可以包括：获取模块11和确定模块12，其中，

所述获取模块11用于，获取历史订单信息，所述历史订单信息中包括至少一个订单信息；

所述确定模块12用于，对所述历史订单信息进行处理，确定处理要素；

所述获取模块11还用于，获取第一用户的第一订单信息；

所述确定模块12还用于，根据所述处理要素和所述第一订单信息，确定目标推荐方式。

本申请提供的信息处理装置可以执行上述方法实施例所示的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。

在一种可能的实施方式中，所述确定模块12还具体用于：

获取至少一种预设推荐方式；

在所述至少一种预设推荐方式下，通过具有所述处理要素的增强学习模型对所述第一订单信息进行处理，得到每种预设推荐方式对应的下单概率；

根据所述下单概率，在所述至少一种预设推荐方式中确定目标推荐方式。

在一种可能的实施方式中，所述确定模块12具体用于；

所述历史订单信息包括的至少一个订单信息中确定样本订单信息；

对所述样本订单信息进行特征提取处理，得到至少一个样本特征；

根据所述至少一个样本特征，确定所述处理要素。

在一种可能的实施方式中，所述至少一个样本特征包括样本时间特征、样本用户特征和样本区域特征；所述确定模块12具体用于：

根据所述样本时间特征、所述样本用户特征和所述样本区域特征，确定环境状态要素；

根据所述环境状态要素、预设个体动作要素和预设环境奖励要素，确定所述处理要素。

在一种可能的实施方式中，所述确定模块12具体用于：

对所述环境状态要素、所述预设个体动作要素和所述预设环境奖励要素进行组合处理，得到所述处理要素。

在一种可能的实施方式中，所述确定模块12具体用于：

从所述历史订单信息包括的至少一个订单信息中获取有效订单信息；

将所述有效订单信息确定为样本订单信息。

在一种可能的实施方式中，所述确定模块12具体用于：

在所述历史订单信息包括的至少一个订单信息中，剔除所述订单类型为刷单订单、错误订单的订单信息，得到所述有效订单信息。刷单订单、错误订单的订单信息，得到所述有效订单信息。

图5为本申请提供的信息处理装置的硬件结构示意图，如图5所示，该信息处理装置20包括：至少一个处理器21、存储器22。其中，处理器21、存储器22通过总线23连接。

在具体实现过程中，至少一个处理器21执行所述存储器22存储的计算机执行指令，使得至少一个处理器21执行如上的信息处理方法。

处理器21的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

在上述图5所示的实施例中，应理解，处理器可以是中央处理单元(英文：centralprocessingunit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digitalsignalprocessor，简称：dsp)、专用集成电路(英文：applicationspecificintegratedcircuit，简称：asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如至少一个磁盘存储器。

总线可以是工业标准体系结构(industrystandardarchitecture，isa)总线、外部设备互连(peripheralcomponent，pci)总线或扩展工业标准体系结构(extendedindustrystandardarchitecture，eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上所述的信息处理方法。

上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(applicationspecificintegratedcircuits，简称：asic)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。

所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。