用于确定最优策略的系统和方法与流程

本申请要求2017年7月25日提交的中国专利申请

no.201710613409.4和2017年7月26日提交的中国专利申请

no.201710618381.3的优先权。其内容通过引用以其整体并入本文。

本申请涉及基于计算机的数据管理系统，更具体地，涉及策略评估系统中用于确定最优策略的系统和方法。

背景技术：

策略评估系统广泛应用于各个领域，如线上到线下服务(例如出租车服务、送货服务、网上购物服务)、产品研发(r&d)、广告等。其中，a/b测试经常用于策略评估系统，以基于用户的行为数据(例如，用户接受)来评估两个策略的表现，并确定最优策略。该专利申请提供了修改a/b测试模型的系统和方法，以便有效地提高商业策略评估的准确性。另外，这里使用的a/b测试不是一个维度的，而可以是多维度的(例如，年龄、性别或教育背景)，从而提供更全面的用户反馈分析和更可靠的最优策略。

技术实现要素：

根据本申请的一个方面，提供了一种用于确定最优策略的系统。该系统可以包括存储一组指令的至少一个存储介质和被配置用于与至少一个存储介质通信的至少一个处理器。当执行所述指令集时，指示所述至少一个处理器执行以下的一个或以上操作，例如，使用优化模型将一个或以上用户分类为第一用户组和第二个用户组，其中第一用户组和第二用户组分别对应两个策略；从第一用户组和第二用户组中的一个或以上用户的终端获取行为数据；基于一个或以上用户的行为数据，使用优化模型确定关于第一用户组的参数的第一值和关于第二用户组的参数的第二值；并基于第一值和第二值，确定最优策略。

在一些实施例中，当系统从一个或以上用户获取服务请求时，可以进一步指示至少一个处理器发起优化模型以将一个或以上用户分类为第一用户组和第二用户组。

在一些实施例中，为了将一个或以上用户分类为第一用户组和第二用户组，可以指示至少一个处理器为一个或以上用户中的每一个用户生成随机数；确定一个或以上用户中每个用户的随机数是否大于阈值；响应于用户的随机数大于阈值，将用户分类为第一用户组。

在一些实施例中，响应于用户的随机数不大于阈值，可以进一步指示至少一个处理器将用户分类到第二用户组。

在一些实施例中，参数可以包括多维度参数。

在一些实施例中，多维度参数可以涉及按需服务的订单信息。

在一些实施例中，多维度可以包括一个或以上用户的终端的性别、城市和/或所使用的终端操作系统。

在一些实施例中，为了从第一用户组和第二用户组中的一个或以上用户的终端获取行为数据，可以指示所述至少一个处理器使用hadoop分布式文件系统从所述一个或以上终端获取包括行为数据的用户日志。

在一些实施例中，所述至少一个处理器还可以用于确定关于第一用户组和第二用户组的参数的参数差异；确定参数差异的可靠度；并基于参数差异的参数差异和可靠度，调整优化模型。

在一些实施例中，为了确定关于第一用户组和第二用户组的参数的参数差异，可以指示至少一个处理器确定关于第一用户组和第二用户组的参数的第一差值。

在一些实施例中，为了确定关于第一用户组和第二用户组的参数的第一差值，可以指示至少一个处理器确定第二差值；确定第三差值；并根据第二差值和第三差值确定第一差值。

在一些实施例中，为了确定第二差值，可以指示至少一个处理器获取与两个策略之一相关的一个或以上用户的行为数据；基于与两个策略中的一个策略相关的一个或以上用户的行为数据，使用校正模型确定关于第一用户组的参数的第三值和关于第二用户组的参数的第四值；并基于第三值和第四值，确定第二差值。

在一些实施例中，为了确定第三差值，可以指示至少一个处理器基于第一值和第二值，确定第三差值。

在一些实施例中，为了确定参数差异的可靠度，可以指示至少一个处理器以预设置信因子确定第一差值的置信区间。

在一些实施例中，为了确定参数差异的可靠度，可以指示至少一个处理器基于第一差值确定p值；将p值与权值进行比较；并基于p值与权值的比较，确定参数差异的可靠度。

根据本申请的一个方面，提供了一种用于确定最优策略的系统。该系统可以包括存储一组指令的至少一个存储介质和被配置用于与至少一个存储介质通信的至少一个处理器。当执行所述指令集时，指示所述至少一个处理器执行以下的一个或以上操作，例如，使用优化模型将一个或以上用户分类为第一用户组和第二个用户组，其中第一用户组和第二用户组分别对应两个策略；从第一用户组和第二用户组中的一个或以上用户的终端获取行为数据；基于一个或以上用户的行为数据，使用优化模型确定关于第一用户组的多维度参数的第一值和关于第二用户组的多维度参数的第二值；并基于第一值和第二值，确定最优策略。

根据本申请的另一方面，可以确定用于确定最优策略的方法。该方法可以在具有至少一个处理器和至少一个计算机可读存储介质的计算设备上实现。该方法可以包括，例如，使用优化模型将一个或以上用户分类为第一用户组和第二用户组，其中第一用户组和第二用户组分别对应于两个策略；从第一用户组和第二用户组中的一个或以上用户的终端获取行为数据；基于一个或以上用户的行为数据，使用优化模型确定关于第一用户组的参数的第一值和关于第二用户组的参数的第二值；并基于第一值和第二值，确定最优策略。

根据本申请的另一方面，可以确定用于确定最优策略的方法。该方法可以在具有至少一个处理器和至少一个计算机可读存储介质的计算设备上实现。该方法可以包括，例如，从第一用户组和第二用户组中的一个或以上用户的终端获取行为数据；基于一个或以上用户的行为数据，使用优化模型确定关于第一用户组的多维度参数的第一值和关于第二用户组的多维度参数的第二值；并根据第一值和第二值确定最优策略。

根据本申请的又一方面，提供了一种非暂时性计算机可读介质。非暂时性计算机可读介质可以包括用于确定最优策略的至少一组指令，其中当由计算机设备的至少一个处理器执行时，所述至少一组指令使得计算设备执行方法。该方法可以包括，例如，从第一用户组和第二用户组中的一个或以上用户的终端获取行为数据；基于一个或以上用户的行为数据，使用优化模型确定关于第一用户组的多维度参数的第一值和关于第二用户组的多维度参数的第二值；并基于第一值和第二值，确定最优策略。

本申请的一部分附加特征可以在下面的描述中进行说明。通过对以下描述和相应附图的研究或者对实施例的生产或操作的了解，本申请的一部分附加特征对于本领域技术人员是明显的。本申请的特征可以通过对以下描述的具体实施例的各种方面的方法、手段和组合的实践或使用得以实现和达到。

附图说明

本申请将通过示例性实施例进行进一步描述。这些示例性实施例将通过附图进行详细描述。附图不按比例绘制。这些实施例是非限制性的示例性实施例，在这些实施例中，各图中相同的编号表示相似的结构，其中：

图1是根据本申请的一些实施例的示例性策略评估系统的示意图；

图2是根据本申请的一些实施例的计算设备的示例性组件的示意图；

图3是根据本申请的一些实施例的示例性用户终端的示例性硬件和/或软件组件的示意图；

图4是根据本申请的一些实施例的示例性处理引擎的示意图；

图5是根据本申请的一些实施例的示例性处理引擎的示意图；

图6是根据本申请的一些实施例的用于确定最优策略的示例性过程的流程图；

图7a是根据本申请的一些实施例的用于确定最优策略的示例性过程的示意图；

图7b是根据本申请的一些实施例的多维中的示例性参数的示意图；

图8是根据本申请的一些实施例的用于将一个或以上用户分类到用户组中的示例性过程的流程图；

图9是根据本申请的一些实施例的用于调整优化模型的示例性过程的流程图。

图10是根据本申请的一些实施例的用于确定参数差异的示例性过程的流程图。

图11是根据本申请的一些实施例的用于确定第二差值的示例性过程的流程图；

图12是根据本申请的一些实施例的用于基于置信区间确定参数差异的可靠度的示例性过程的流程图；以及

图13是根据本申请的一些实施例的用于基于概率值确定参数差异的可靠度的示例性过程的流程图。

具体实施方式

为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。需进一步理解的是，本申请中使用的术语“包括”和/或“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，还可以包括其它的步骤和元素。

虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在客户端和/或服务器上。这些模块旨在说明，而不是为了限制本申请的范围。可以在系统和方法的不同方面使用不同的模块。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

参考附图描述本申请的实施例的技术方案，如下所述。显然，所描述的实施例不是全面的且不是限制性的。基于本申请中的第四实施例，本领域普通技术人员在没有任何创造性工作的情况下获取的其他实施例在本申请的范围内。

本申请的一个方面涉及用于确定最佳策略的系统和方法。该系统和方法可以使用优化模型将一个或以上用户分类为第一用户组和第二用户组。所述第一用户组和第二用户组可以分别对应于两个策略。该系统和方法还可以从与两个策略相关的一个或以上用户的终端获取行为数据。该系统和方法还可以基于一个或以上用户的行为数据，使用优化的模型进一步确定关于第一用户组的参数的第一值和关于第二用户组的参数的第二值。因此，系统和方法可以基于第一值和第二值从第一用户组和第二用户组中选择用户组，并将与所选用户组相对应的策略确定为最优策略。

本申请的另一方面涉及用于调整优化模型的系统和方法。该系统和方法可以确定关于第一用户组和第二用户组的参数的参数差异。该系统和方法可以进一步确定参数差异的可靠度。因此，系统和方法可以基于参数差异和参数差异的可靠度，调整优化模型。

本申请的又一个方面涉及用于对用户应用多维度分组方法的系统和方法以及关于用户反馈的大数据分析方法，以提高策略评估过程的准确性和效率。系统和方法可以在多维度中(例如，年龄、性别、教育背景等)将用户分组，而不是在一个维度中将用户分组。

图1是根据本申请的一些实施例的示例性策略评估系统的示意图。策略评估系统100可以包括服务器110、网络120，、存储设备130和用户终端140。所述策略评估系统100可以使用优化模型(例如，a/b测试模型)来评估两个或以上策略。仅出于说明目的，策略评估系统100可以从用户终端140获取与服务相关的一个或以上用户的某些行为服务(例如，出租车服务、递送服务、广告服务、在线购物服务等)。服务器110可以将一个或以上用户分类为两个或以上用户组，并且两个或以上用户组可以分别对应于两个或以上策略。例如，第一用户组可以对应于用于动态调整服务价格的策略，第二用户组可以对应于服务价格保持不变的策略。服务器110可以基于所获取的一个或以上用户的行为，评估两个策略的表现。在一些实施例中，根据多个因素将一个或以上用户分类成组，例如工作、年龄、教育背景、收入等。在一些实施例中，策略评估系统100可以基于与一个或以上用户的行为相关的可靠度来调整优化模型。

服务器110可以促进策略评估系统100的数据处理。在一些实施例中，服务器110可以是单个服务器，也可以是服务器组。所述服务器组可以是集中式的，也可以是分布式的(例如，服务器110可以是分布式的系统)。在一些实施例中，服务器110可以是本地的，也可以是远程的。例如，服务器110可以通过网络120访问存储在用户终端140和/或存储设备130中的信息和/或数据。又例如，服务器110可以直接连接到用户终端140和/或存储设备130以访问存储信息和/或数据。在一些实施例中，服务器110可以在云平台上实施。仅作为示例，该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等，或其任意组合。在一些实施例中，服务器110可以在图2中描述的包含了一个或者多个组件的计算设备200上执行。

在一些实施例中，服务器110可以包括处理引擎112。所述处理引擎112可以处理信息和/或数据以执行本申请中描述的一个或以上的功能。例如，处理引擎112可以从一个或以上用户的用户终端140获取服务请求，并根据用户分组方法将一个或以上用户分类为第一用户组和第二用户组。所述第一用户组和第二用户组可以分别对应两个策略。再例如，处理引擎112可以获取一个或以上用户的行为数据(例如，用户终端140的操作日志)，基于一个或以上用户的行为数据，在一个或以上维度中，确定关于第一用户组的参数的第一值(例如，在特定时间段期间完成的服务订单的数量)和关于第二用户组的参数的第二值。所述第一值和第二值可用于评估两个策略以确定最优策略。作为又一示例，处理引擎112可以基于第一值和第二值，确定关于第一用户组和第二用户组的参数的参数差异。作为又一示例，处理引擎112可以确定参数差异的可靠度。所述参数的参数差异和参数差异的可靠度可用于评估优化模型。在一些实施例中，所述处理引擎112可包括一个或以上处理引擎(例如，单芯片处理引擎或多芯片处理引擎)。仅作为示例，处理引擎112可以包括一个或以上硬件处理器，例如中央处理单元(cpu)、特定应用集成电路(asic)、特定应用指令集处理器(asip)、图像处理单元(gpu)、物理运算处理单元(ppu)、数字信号处理器(dsp)、现场可编程门阵列(fpga)、可编程逻辑装置(pld)、控制器、微控制器单元、精简指令集计算机(risc)、微处理器等，或其任意组合。

网络120可以促进信息和/或数据的交换。在一些实施例中，策略评估系统100中的一个或以上组件(例如，服务器110、存储设备130和用户终端140)可以通过网络120将信息和/或数据发送到策略评估系统100中的其他组件。例如，处理引擎112可以通过通过网络120从存储设备130和/或用户终端140获取一个或以上用户的行为数据。在一些实施例中，网络120可以是任何类型的有线或无线网络，或其组合。仅作为示例，网络130可以包括缆线网络、有线网络、光纤网络、远程通信网络、内部网络、互联网、局域网络(lan)、广域网路(wan)、无线局域网络(wlan)、城域网(man)、公共开关电话网络(pstn)、蓝牙网络、紫蜂网络、近场通讯(nfc)网络等，或上述举例的任意组合。在一些实施例中，网络120可以包括一个或以上网络接入点。例如，网络120可以包括有线或无线网络接入点，例如基站和/或互联网交换点120-1、120-2、......，策略评估系统100的一个或以上组件可以通过它们连接到网络120以交换数据和/或信息。

存储设备130可以存储数据和/或指令。在一些实施例中，存储设备130可以存储从用户终端140和/或处理引擎112获取的数据。例如，存储设备130可以存储从用户终端140获取的一个或以上用户的行为数据。又例如，存储设备130可以存储由处理引擎112确定的用户的用户组。在一些实施例中，存储设备130可以存储服务器110用来执行或使用来完成本申请中描述的示例性方法的数据和/或指令。例如，存储设备130可以存储处理引擎112可以执行或用于确定关于用户组(例如，第一用户组、第二用户组)的一个或以上维度中的参数的值的指令。又例如，存储设备130可以存储处理引擎112可以执行或用于确定关于第一用户组和第二用户组的参数的参数差异的指令。作为又一示例，存储设备130可以存储处理引擎112可以执行或用于确定参数差异的可靠度的指令。在一些实施例中，存储设备130可包括大容量存储器、可移动存储器、挥发性读写内存、只读存储器(rom)等，或其任意组合。示例性的大容量存储器可以包括磁盘、光盘、固态磁盘等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、存储卡、压缩盘、磁带等。示例性易失性读写内存可以包括随机存取内存(ram)。示例性ram可包括动态随机存取存储器(dram)、双倍数据速率同步动态随机存取存储器(ddrsdram)、静态随机存取存储器(sram)、晶闸管随机存取存储器(t-ram)和零电容随机存取存储器(z-ram)等。示例性只读存储器可以包括掩模型只读存储器(mrom)、可编程只读存储器(prom)、可擦除可编程只读存储器(perom)、电可擦除可编程只读存储器(eeprom)、光盘只读存储器(cd-rom)和数字多功能磁盘只读存储器等。在一些实施例中，所述存储设备130可以在云平台上实现。仅作为示例，该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等，或其任意组合。

在一些实施例中，存储设备130可以连接到网络120以与策略评估系统100中的一个或以上组件(例如，服务器110、用户终端140等)通信。策略评估系统100中的一个或以上组件可以通过网络120访问存储设备130中存储的数据或指令。在一些实施例中，存储设备130可以直接连接到策略评估系统100中的一个或以上组件或与之通信(例如，服务器110、用户终端140等)。在一些实施例中，存储设备130可以是服务器110的一部分。

在一些实施例中，用户终端140可以包括移动设备140-1、平板电脑140-2、笔记本计算机140-3等，或其任意组合。在一些实施例中，移动设备140-1可以包括智能家居设备、可穿戴设备、移动设备、虚拟现实设备、增强现实设备等，或其任意组合。在一些实施例中，智能家居设备可以包括智能照明设备、智能电器控制设备、智能监控设备、智能电视、智能摄像机、对讲机等，或其任意组合。在一些实施例中，可穿戴设备可以包括手环、鞋袜、眼镜、头盔、手表、衣物、背包、智慧配饰等，或其任意组合。在一些实施例中，移动设备可以包括移动电话、个人数字助理(pda)、游戏设备、导航设备、销售点(pos)、笔记本电脑、台式机等，或其任意组合。在一些实施例中，虚拟现实设备和/或增强型虚拟现实设备可以包括虚拟现实头盔、虚拟现实眼镜、虚拟现实眼罩、增强现实头盔、增强现实眼镜、增强现实眼罩等，或其任意组合。例如，虚拟现实设备和/或增强现实设备可以包括googleglass^tm、riftcon^tm、fragments^tm、gearvr^tm等。

应当注意策略评估系统100仅仅是出于说明的目的而提供的，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的修正或改变。例如，策略评估系统100还可以包括数据库、信息源等。又例如，策略评估系统100可以在其他设备上执行以实现类似或不同的功能。然而，这些变化和修改不会背离本申请的范围。

图2是示出计算设备的示例性组件的示意图，在该计算设备上可以根据本申请的一些实施例实现服务器110、存储设备130和/或用户终端140。计算机设备200可以包括处理器210、网络接口220和计算机可读介质230。计算机设备200还可以包括根据服务器110的实际功能的任何其他硬件。处理器210可以读取并执行与计算机可读介质230中的策略评估系统100相关的指令，以执行本申请中描述的一个或以上功能。计算机可读介质230可包括任何电子、磁、光或物理存储设备，其可包含或存储信息，例如可执行指令和/或数据。例如，计算机可读存储介质230可以包括随机存取存储器(ram)、易失性存储器、非易失性存储器、闪存、存储驱动器(例如，硬盘驱动器)、固态盘、存储盘(例如，cd、dvd等)等，或其任意组合。

本实施例中的特定系统利用功能框图解释了一个包含用户界面的硬件平台。这种计算机可以是一个通用目的的计算机，也可以是一个有特定目的的计算机。两种计算机都可以被用于实现本实施例中的特定系统。计算设备200可以被配置用于实现执行本申请中公开的一个或以上功能的任何组件。例如，计算设备200可以实现如本文所述的策略评估系统100的任何组件。在图1-2中，仅出于方便的目的仅示出了一个这样的计算机设备。在提交本申请时，本领域普通技术人员将理解，与本文所述的策略评估有关的计算机功能可以在多个类似平台上以分布式方式实现，以分配处理负荷。

例如，计算设备200还可以包括连接到与其连接的网络的com端口，以便于数据通信。计算设备200可以包括处理器(例如，处理器210)，其形式为一个或以上处理器(例如，逻辑电路)，用于执行程序指令。例如，处理器可以包括接口电路和其中的处理电路。接口电路可以被配置为从总线240接收电信号，其中电信号编码用于处理电路的结构化数据和/或指令。处理电路可以进行逻辑计算，然后将结论、结果和/或指令编码确定为电信号。然后，接口电路可以通过总线240从处理电路发出电信号。

示例性计算设备可以包括内部通信总线240、程序存储和不同形式的数据存储，包括例如磁盘、只读存储器(rom)或随机存取存储器(ram)，用于各种数据文件由计算设备处理和/或传输。示例性计算设备也可以包括存储于rom、ram和/或其他形式的非暂时性存储介质中的能够被处理器210执行的程序指令。本申请的方法和/或流程可以以程序指令的方式实现。计算设备200还可以包括i/o组件，支持计算机和其他组件之间的输入/输出。所述计算设备200也可以通过网络通信接收编程和数据。

仅用于说明，图2中仅示出了一个cpu和/或处理器。还可以考虑多个cpu和/或处理器；因此，由本申请中描述的一个cpu和/或处理器执行的操作和/或方法步骤也可以由多个cpu和/或处理器联合或单独执行。例如，如果在本申请中，计算设备200的cpu和/或处理器执行步骤a和步骤b，应当理解的是，步骤a和步骤b也可以由计算设备200的两个不同的cpu和/或处理器共同地或独立地执行(例如，第一处理器执行步骤a，第二处理器执行步骤b，或者第一和第二处理器共同地执行步骤a和步骤b)。

图3是根据本申请的一些实施例的示例性用户终端的示例性硬件和/或软件组件的示意图；可以根据本申请的一些实施例实现用户终端140。如图3所示，移动设备300可以包括通信平台310、显示器320、图形处理单元(gpu)330、中央处理单元(cpu)340、i/o350、内存360和存储器390。cpu340可以包括接口电路和类似于处理器220的处理电路。在一些实施例中，任何其他合适的组件，包括但不限于系统总线或控制器(未示出)，也可包括在移动设备300内。在一些实施例中，移动操作系统370(例如，ios^tm，android^tm，windowsphone^tm等)和一个或以上应用程序380可以从存储器390加载到存储器360中，以便由cpu340执行。应用程序380可以包括浏览器或任何其他合适的移动应用程序，用于从移动设备300上的基于位置的服务提供系统接收和呈现与服务请求或其他信息有关的信息。用户与信息流的交互可以通过i/o设备350实现，并通过网络120提供给处理引擎112和/或策略评估系统100的其他组件。

为了实现上述各种模块、单元及其功能，计算机硬件平台可以用作一个或以上元件(例如，图2中描述的服务器110的组件)的硬件平台。由于这些硬件元件，操作系统和程序语言是常见的，因此可以假设本领域技术人员熟悉这些技术并且他们能够根据本文中描述的技术提供路线规划中所需的信息。具有用户界面的计算机可以用作个人计算机(pc)或其他类型的工作站或终端设备。在正确编程之后，具有用户界面的计算机可以用作服务器。可以认为本领域普通技术人员也可以熟悉这种类型的计算机设备的这种结构、程序或一般操作。因此，没有针对附图描述额外的解释。

图4是根据本申请的一些实施例的示例性处理引擎的示意图。处理引擎112可包括分类单元410、获取单元420、分析单元430、传输单元440、判断单元450和响应单元460。这些单元可以是处理引擎112的至少一部分的硬件电路。这些模块也可以作为一个应用程序或一组由处理引擎112读取和执行的指令实现。此外，这些单元可以是硬件电路和应用/指令的任意组合。例如，当处理引擎112执行应用程序/一组指令时，模块可以是处理引擎112的一部分。

分类单元410可以被配置用于将一个或以上用户随机分类为第一用户组和第二用户组。第一用户组可以对应于第一策略，第二用户组可以对应于第二策略。

在一些实施例中，第一用户组和第二用户组可以对应于目标项目的两个策略(例如，动态价格调整项目的两个策略)。在一些实施例中，分类单元410可以使用随机分组算法将一个或以上用户分类到用户组中。例如，分类单元410可以使用盐渍哈希算法对一个或以上用户进行分类。又例如，分类单元410可以将随机数分配给每个用户，并通过将随机数与预设阈值进行比较将一个或以上用户分为两组。

获取单元420可以被配置用于获取与策略评估系统100相关的数据和/或信息。在一些实施例中，获取单元420可以从一个或以上用户获取至少两个服务请求。在一些实施例中，服务请求可以是对服务的请求。在一些实施例中，获取单元420可以获取一个或以上用户的行为数据。例如，获取单元420可以从用户日志获取一个或以上用户的行为数据。在一些实施例中，一个或以上用户(例如，用户终端140)的终端可以基于关于应用的用户活动，生成用户日志。用户日志可以包括用户的基本信息(例如，用户操作、用户id、用户的用户组、用户的城市、用户的性别、用户的终端的操作系统)以及用户与用户终端140的交互。

在一些实施例中，获取单元420可以从用户终端(例如，用户终端140)、存储设备130和/或外部数据源(未示出)获取与策略评估系统100有关的数据和/或信息。在一些实施例中，获取单元420可以通过网络120获取与策略评估系统100相关的数据和/或信息。

分析单元430可以被配置用于通过分析一个或以上的用户行为数据来确定关于第一用户组的一个或多个维度中的参数的第一值和关于第二用户组的多维度参数的第二值。在一些实施例中，分析单元430可以分别根据多维度来确定来自第一用户组和第二用户组的一个或以上子组。分析单元430可以基于大数据分析方法确定关于在第一用户组中的一个或以上子组中的多维度参数的一个或以上第一值以及关于在第二用户组中的一个或以上子组中的多维度参数的一个或以上第二值。

分析单元430可以被配置用于分析与策略评估系统100相关的信息和/或数据。在一些实施例中，分析单元430可以确定用于评估两个策略的表现的参数。仅作为示例，该参数可以与服务的订单信息相关。以出租车搭乘服务为例，该参数可以包括服务订单的数量、订单接受率、服务订单的平均响应时间等，或其任意组合。在一些实施例中，参数可以是一维或多维的。在一些实施例中，分析单元430可以确定关于第一用户组的参数的第一值和关于第二用户组的参数的第二值。例如，分析单元430可以基于一个或以上用户的行为数据，使用大数据分析方法来确定关于第一用户组的多维度参数的第一值和关于第二用户组的多维度参数的第二值。在一些实施例中，分析单元430可以从第一用户组和第二用户组中选择用户组。仅作为示例，分析单元430可以通过比较第一值和第二值来从第一用户组和第二用户组中选择用户组。在一些实施例中，分析单元430可以将与所选用户组相对应的策略指定为最优策略。

传输单元440可以被配置用于将第一值和第二值传输到终端设备的可视界面。例如，传输单元440可以将第一值和第二值传输到终端设备的可视界面。在一些实施例中，终端设备的可视界面可以以文本、图形、音频、视频等，或其组合的形式显示第一值和第二值。所述第一值和第二值可用于从第一策略和第二策略中确定最优策略。

当策略评估系统100从用户获取服务请求时，判断单元450可以被配置用于确定用户是否属于第一用户组和第二用户组中的任何一个用户。如果用户不属于用户组，则分类单元410可以将用户分类为用户组。如果用户属于第一用户组和第二用户组中的一个用户，则响应单元460可以响应服务请求。

如果用户属于第一用户组和第二用户组中的一个用户，则响应单元460可以被配置用于响应来自用户的服务请求。以出租车服务为例，响应单元460可以将服务请求发送给可用于接受服务请求的至少两个服务提供商(例如，司机)。

应当注意上述处理引擎112的描述仅仅是为了说明的目的而提供的，并不意图限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出多种变化和修改。例如，处理引擎112还可以包括促进数据存储的存储模块。又例如，可以省略判断单元450和/或响应单元460。然而，变化和修改不会背离本申请的范围。

图5是根据本申请的一些实施例的示例性处理引擎的示意图。在一些实施例中，处理引擎112可包括参数获取单元510、判断单元520和输出单元530。这些单元可以是处理引擎112的至少一部分的硬件电路。这些模块也可以作为一个应用程序或一组由处理引擎112读取和执行的指令实现。此外，这些单元可以是硬件电路和应用/指令的任意组合。例如，当处理引擎112执行应用程序/一组指令时，模块可以是处理引擎112的一部分。

参数获取单元510可以被配置用于获取关于第一用户组的参数的第一值和关于第二用户组的参数的第二值。在一些实施例中，参数获取单元510可以从分析单元430获取第一值和第二值。在一些实施例中，参数获取单元510可以从存储设备130和/或外部数据源(未示出)中获取第一值和第二值。所获取的第一值和第二值可用于评估和/或调整优化模型。

判断单元520可以被配置用于确定与优化模型相关的评估结果。在一些实施例中，判断单元520可以基于优化模型的第一值、第二值和系统误差，确定关于第一用户组和第二用户组的参数的参数差异。在一些实施例中，参数差异可以是差值(也称为“第一差值”)或比值。仅作为示例，可以基于优化模型的系统误差(也称为“第二差值”)以及第一值和第二值之间的差异(也被称为“第三差值”)来确定第一差值。在一些实施例中，除了与有相同策略的第一用户组和第二用户组相关的校正模型之外的校正模型可以与优化模型相同或类似。例如，在a/a测试过程中，第一用户组和第二用户组可以对应于a/b测试过程中的第一策略或第二策略。

在一些实施例中，判断单元520可以确定参数差异的可靠度。参数差异的可靠度可以指当重复测量多次时参数差异的可重复性。在一些实施例中，判断单元520可以基于预设置信因子处的参数差异(例如，第一差值)的置信区间来确定可靠度。又例如，判断单元520可以基于参数差异(例如，第一差值)的p值与权值的比较来确定可靠度。作为又一示例，判断单元520可以基于预设置信因子处的参数差异(例如，差值，比率值)的置信区间和参数差异的p值来确定可靠度。

输出单元530可以被配置用于调整优化模型。在一些实施例中，输出单元530可以基于与优化模型相关的评估结果，调整优化模型。在一些实施例中，输出单元530可以确定与关于第一用户组和第二用户组的至少两个参数(例如，服务订单的数量、服务的费用、用户评级等)相对应的至少两个参数差异。在一些实施例中，输出单元530可以基于参数差异和参数差异的可靠度来确定与优化模型相关的最终得分。如这里所使用的，与优化模型相关的最终得分可以是优化模型在至少两个参数方面的评估结果。在一些实施例中，可以基于至少两个参数的得分和至少两个参数的权重来确定与优化模型相关的最终得分。在一些实施例中，参数的权值可以表示参数在优化模型的评估中的重要性。

在一些实施例中，输出单元530可以基于与优化模型相关的最终得分来调整优化模型。例如，输出单元530可以调整将一个或以上用户分类为两组的方式。又例如，输出单元530可以调整确定参数的第一值和第二值的方式。仅仅为了说明的目的，优化模型的调整可以是包括一个或以上迭代的迭代过程。在每次迭代期间，输出单元530可以基于与优化模型相关的最终得分，调整优化模型。在一些实施例中，当最终得分不小于阈值时，迭代过程可以终止。在一些实施例中，迭代过程可以在完成一定数量的迭代(例如，100轮、300轮等)时终止。

应当注意，上述处理引擎112的描述仅仅是为了说明的目的而提供的，并不意图限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的修正和改变。例如，处理引擎112还可以包括便于数据存储的存储单元。又例如，可以省略参数获取单元510。然而，这些修正和改变不会背离本申请的范围。

图6是根据本申请的一些实施例的用于确定最优策略的示例性过程600的流程图。在一些实施例中，过程600可以在策略评估系统100中实现。例如，过程600可以作为指令的形式存储在存储设备130和/或存储器(例如，计算机可读介质230)中，并且由服务器110调用和/或执行(例如，处理服务器110中的引擎112或服务器110中的处理引擎112的处理器210。

在610中，可以从一个或以上用户获取至少两个服务请求。所述至少两个服务请求可以由，例如，获取单元420，获取。在一些实施例中，获取单元420可以通过网络120从一个或以上用户的用户终端140获取服务请求。

在一些实施例中，用户终端140可以例如，通过安装在用户终端140中的应用程序(例如，图3中的应用程序380)与服务器110建立通信(例如，无线通信)。在一些实施例中，应用程序可以与服务相关(例如，线上到线下服务)。例如，该应用程序可以与出租车服务相关。在一些实施例中，用户可以登录到应用程序，并通过在应用程序的界面上选择一个或以上选项来发起服务请求。在一些实施例中，安装在用户终端140中的应用可以指示用户终端140连续地或周期性地监视来自用户的服务请求，并且通过网络120自动地将服务请求发送到处理引擎112。

在一些实施例中，服务请求可以是对服务的请求。仅用于说明目的，该服务可包括出租车服务、拼车服务、搭便车服务、递送服务、在线购物服务、聚会组织服务、无人驾驶服务、医疗服务、基于地图的服务(例如，路线规划服务)、实时聊天服务、查询服务、感官体验服务等，或其任意组合。以出租车服务为例，服务请求可能包括出发地点、目的地、开始时间等。所述出发地点可以指请求者开始他/她的行程的位置。所述目的地可以指请求者结束他/她的行程的位置。所述服务请求还可以包括用户的身份信息(例如，标识(id)、电话号码、用户姓名等)。

在620中，可以使用优化模型将一个或以上用户分类为第一用户组和第二用户组。可以通过例如分类单元410对一个或以上用户进行分类。在一些实施例中，优化模型(例如，a/b测试模型)可以是被配置用于执行多个功能的逻辑代码集合的形式。例如，优化模型可用于将一个或以上用户分类为第一用户组和第二用户组。所述第一用户组和第二用户组可以对应于目标项目的两个策略(例如，动态价格调整项目的两个策略)。所述优化模型可以比较两个策略，并从两个策略中确定最优策略。如这里所使用的，策略可以指代实现目标项目的方法或计划。该策略可能是可见的或不可见的。例如，策略可以包括一个或以上用户的用户终端140中的应用的特定设计或功能。又例如，策略可以包括动态价格调整算法。

仅用于说明目的，第一策略可以是在高峰时间(例如，8：

00-9：00、17：00-18：00等)将服务的价格乘以系数1，并且第二策略可能是在高峰时段将价格乘以系数1.5。在一些实施例中，第一用户组可以是实验组，第二用户组可以是对照组。在一些实施例中，第一用户组可以是对照组，第二用户组可以是实验组。

当策略评估系统100从一个或以上用户获取服务请求时，分类单元410可以将一个或以上用户分类为两个组。在一些实施例中，当策略评估系统100从用户获取服务请求时，判断单元450可以确定用户是否属于两个用户组中的任何一个用户。在一些实施例中，判断单元450可以基于，例如，服务请求中的用户身份信息，确定用户是否属于用户组。在确定用户属于某个用户组时，分类单元510可以将用户分类进用户组。在确定用户不属于用户组时，分类单元410可以基于随机分组算法将用户分类进用户组。例如，分类单元410可以使用盐渍哈希算法对一个或以上用户进行分类。又例如，分类单元410可以基于为每个用户分配的随机数和预设阈值对一个或以上用户进行分类。关于基于随机数和预设阈值将用户分类为两组之一的更多描述可以在本申请的其他地方找到(例如，图8及其描述)。在将一个或以上用户分类为两个用户组之后，处理引擎112可以将用户组存储在策略评估系统100的存储设备(例如，存储设备130)中。分类单元410可以访问存储设备并检索用户组。

在一些实施例中，在用户被分类到用户组之后，响应单元460可以响应从用户获取的服务请求。以出租车服务为例，响应单元460可以将服务请求发送给可用于接受服务请求的至少两个服务提供商(例如，司机)。

在630中，可以从与两个策略相关的一个或以上用户的终端获取行为数据。行为数据可以通过，例如，获取单元420获取。在一些实施例中，一个或以上用户(例如，用户终端140)的终端可以基于关于应用的用户活动，生成用户日志。如这里所使用的，用户日志可以指代在用户操作应用程序时记录用户活动(例如，在应用程序中选择服务选项)的一组文件。用户日志可以包括用户的基本信息(例如，用户操作、用户id，用户的用户组、用户的城市、用户的性别、用户的终端的操作系统)以及用户的行为数据。仅出于说明的目的，用户的终端可以生成用户日志“jason：

{“event_id”：“fast_order_click”；“passenger_id”：“115116”；“test_group”：“treatment”；“city”：“beijing”；“gender”：

“man”；“system_type”：“ios”}其中“event_id”可以指用户操作，“fast_order_click”可以指用户操作请求订单，

“passenger_id”可以指代用户id，“115116”可以指代用户id是115116，““5116ger_id可以指用户所属的用户组，“treatment”可以指用户属于实验组，“city”可以指用户所在的城市，“beijing”可以指用户在北京，“gender”可以指用户的性别，“man”可以指用户的性别是男性，“以指用户的性别是男性，“可以指的是在用户终端的操作系统类型，““指的是可以指用户终端的操作系统是ios。

获取单元420可以从一个或以上用户的终端中连续地或周期性地获取用户日志。在一些实施例中，一个或以上用户的终端可以连续地或周期性地通过网络120将用户日志发送到存储设备(例如，存储设备130)。获取单元420可以访问存储设备，并检索用户日志。在一些实施例中，获取单元420可以使用hadoop分布式文件系统来获取用户日志。

在640中，可以基于一个或以上用户的行为数据，使用优化模型的来确定关于第一用户组的参数的第一值和关于第二用户组的参数的第二值。所述第一值和第二值可以由，例如，分析单元430确定。该参数可以表示来自一个或以上用户的对第一策略和第二策略的用户反馈。在一些实施例中，参数可以反映用户对第一策略和第二策略的偏好。仅作为示例，该参数可以与线上到线下服务的订单信息相关。以出租车搭乘服务为例，该参数可以包括服务订单的数量、订单接受率、服务订单的平均响应时间等，或其任意组合。在一些实施例中，参数可以是多维度的。在一些实施例中，多维度可以由用户的多个属性表示。例如，多维度可以包括用户的年龄、用户的性别、用户所居住的城市、用户的终端的操作系统等，或者它们的任意组合。仅仅为了说明的目的，多维度中的“服务订单平均数”如“北京”，“男人”和“““和“可能指的是使用具有ios操作系统的终端的北京男性的平均服务订单数量。在一些实施例中，可以根据场景应用来选择参数和/或多维度参数。关于多维度的更多描述可以在本申请的其他地方找到(例如，图7b及其描述)。

在一些实施例中，分析单元430可以基于行为数据，使用大数据分析方法来确定关于第一用户组的一个或多个用户组中的参数的第一值以及关于第二用户组的一个或多个用户组中的参数的第二值。以出租车服务为例，参数可以是“服务订单的平均数量”，维度可以是“北京”。所述分析单元430可以基于第一组中的用户的行为数据和维度，确定子组。所述子组中的用户可以是在第一用户组中居住在北京的人。所述分析单元430还可以基于用户的行为数据，确定子组中的用户的平均服务订单数(即，第一值)。类似地，所述分析单元430可以基于第二用户组中的用户的行为数据，确定第二值。又例如，该参数可以是“服务订单的平均数量”，并且多维度可以是“北京”，“男人”和“““和“。所述分析单元430可以基于第一用户组和多维度中的用户的行为数据，确定子组。所述子组中的用户可以在其终端从第一用户组中选择在北京的男人使用ios操作系统。所述分析单元430还可以基于用户的行为数据，确定子组中的用户的平均服务订单数(即，第一值)。类似地，分析单元430可以基于第二用户组中的用户的行为数据，确定第二值。

在650中，第一值和第二值可以被发送到终端设备。第一值和第二值可以由，例如，传输单元440传输。这里的终端设备可以用于向用户(例如，技术人员、与两个策略相关的决策者)显示与策略评估系统100相关的信息(例如，第一值、第二值)。在一些实施例中，传输单元440可以通过网络120将第一值和第二值传输到终端设备的可视界面。终端设备的可视界面可以以文本、图形、音频、视频等等，或其任意组合的形式来显示第一值和第二值。

在660中，可以基于第一值和第二值，从第一用户组和第二用户组中选择用户组。可以通过，例如，分析单元430来选择用户组。在一些实施例中，分析单元430可以通过比较第一值和第二值来从第一用户组和第二用户组中选择用户组。仅出于说明的目的，如果参数是“服务订单的数量”，则分析单元430可以将具有更多数量的服务订单的用户组指定为所选择的用户组。

在670中，可以将与所选用户组相对应的策略确定为最优策略。最佳策略可以由，例如，分析单元430确定。最优策略可能适用于目标项目。例如，在高峰时段(例如，8：00-9：00、17：00-18：00等)将服务价格乘以系数1的最佳策略可能适用于在出租车服务项目中的动态价格调整。

应该注意的是，上述仅出于说明性目的而提供，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出多种修改和变化。在一些实施例中，可以多次执行过程600以从至少两个策略确定最佳策略。在一些实施例中，可以添加或省略一个或以上步骤。例如，步骤650可以省略。又例如，步骤660和步骤670可以集成到单个步骤中。然而，变化和修改不会背离本申请的范围。

图7a是根据本申请的一些实施例的用于确定最优策略的示例性过程的示意图。在一些实施例中，过程700可以结合图6中的过程600示出用于确定最佳策略的过程。如图7所示，可以从710中的至少两个用户获取至少两个服务请求，并且在720中可以将至少两个用户分类为第一用户组和第二用户组。例如，可以根据分类算法将至少两个用户分类为两个用户组，例如分段函数、机器学习模型。所述第一用户组和第二用户组可以分别对应于两个策略。可以从730中的至少两个用户的终端获取与两个策略相关的至少两个用户的行为数据。然后，可以分别确定关于第一用户组和第二用户组的多维度参数的第一值和第二值(例如，一个月中北京的男性的服务订单的数量)。所述第一值和第二值可以以，例如，740中的图表的形式进行比较。最后，可以基于第一值和第二值的比较，从两个策略中确定最优策略。

图7b是根据本申请的一些实施例的多维度中的示例性参数的示意图。如图7b所示，三个轴x，y和z指的是参数m的三个维度(例如，服务订单的数量、服务订单的负反馈等)。例如，轴x可以指用户居住的城市、轴y可以指用户的性别、轴z可以指用户的教育背景。ma可以指代关于第一用户组的参数的值。mb可以指代关于第二用户组的参数的值。ma(yn，zn)和ma(xn，yn，zn)可以分别在二维(即，维度y和z)和三维(即，维度x、y和z)中指代与第一用户组相关的参数m的第一值。mb(yn，zn)和mb(xn，yn，zn)可以分别在二维(即，维度y和z)和三维(即，维度x、y和z)中指代关于第二用户组的参数m的第二值)。仅作为示例，ma(xn，yn，zn)可以指来自教育背景为本科的北京男性的服务指令数量。

图8是根据本申请的一些实施例的用于将一个或以上用户分类到用户组中的示例性过程800的流程图。在一些实施例中，过程800可以在策略评估系统100中实现。例如，过程800可以作为指令的形式存储在存储设备130和/或存储器(例如，计算机可读介质230)中，并且由服务器110调用和/或执行(例如，处理服务器110中的引擎112或服务器110中的处理引擎112的处理器210。在一些实施例中，过程800中的一个或以上操作可以由分类单元410执行。

在810中，可以生成用于一个或以上用户中的每一个的随机数。在一些实施例中，随机数可以是任何正数，例如，0.8、1、5、12、88等。在一些实施例中，随机数可以在某个范围内，例如，1—100。

在820中，可以确定用户的随机数是否大于阈值。阈值可以由用户(例如，技术人员、与两个策略相关的决策者)根据策略评估系统100的默认设置来设置，或者在不同情况下进行调整。在一些实施例中，阈值可以是第一用户组中的用户的预定数量。在一些实施例中，阈值可以是对应于第一用户组中的至少两个用户中的所有用户的预定百分比(例如，40％、60％或80％)的值。例如，如果第一用户组和第二用户组中的用户的百分比分别为60％和40％，则阈值可以设置为60。

如果用户的随机数大于阈值，则过程800可以进行到830。在830中，分类单元410可以将用户分类为第一用户组。

如果用户的随机数不大于阈值，则过程800可以进行到840。在840中，分类单元410可以将用户分类为第二用户组。

图9是根据本申请的一些实施例的用于调整优化模型的示例性过程900的流程图。在一些实施例中，过程900可以在策略评估系统100中实现。例如，过程900可以作为指令的形式存储在存储设备130和/或存储器(例如，计算机可读介质230)中，并且由服务器110调用和/或执行(例如，处理服务器110中的引擎112或服务器110中的处理引擎112的处理器210。在一些实施例中，过程900中的操作可以由判断单元520和/或输出单元530执行。

在910中，可以确定关于第一用户组和第二用户组的参数的参数差异。在一些实施例中，如果优化模型没有系统误差，则参数差异可以表示关于第一用户组的参数的第一值与关于第二用户组的参数的第二值之间的差。在一些实施例中，优化模型的系统误差可以涉及优化模型中使用的算法。在一些实施例中，参数差异可以是差值(也称为“第一差值”)或比值。在一些实施例中，如果考虑优化模型的系统误差，则可以基于优化模型的系统误差(也称为“第二差值”)和关于第一用户组的参数的第一值和关于第二用户组的参数的第二值之间的差(也被称为“第三差值”)，确定第一差值。例如，可以通过从第三差值中减去第二差值来确定第一差值。在一些实施例中，可以使用校正模型(例如，a/a测试模型)来确定第二差值。

在一些实施例中，如果考虑优化模型的系统误差，则可以基于优化模型的系统误差以及第一值和第二值之间的比率，确定比率值。例如，可以通过将第二值除以第一值，然后将第二值和第一值的商乘以与优化模型的系统误差相关的校正系数来确定比值。

在920中，可以确定参数差异的可靠度。如这里所使用的，参数差异的可靠度可以指当重复测量多次时参数差异的可重复性。判断单元520可以以各种方式确定可靠度。在一些实施例中，判断单元520可以基于预设置信因子处的参数差异(例如，第一差值)的置信区间来确定可靠度。所述预设置信因子处的参数差异的置信区间可以指参数差异(例如，第一差值)落入置信区间的概率与预设置信因子相关。仅出于说明目的，在预设置信因子(例如，95％)处的参数差异的置信区间(例如，(50，80))可以指参数差异落在(50，80)范围内的概率是95％。所述预设置信因子可以由用户手动设置，或者由策略评估系统100的一个或以上组件根据默认设置确定。例如，预设置信因子可以是90％、95％或99％。关于以预设置信因子，基于差值的置信区间确定可靠度的更多描述可以在本申请的其他地方找到(例如，图12及其描述)。

在一些实施例中，判断单元520可以基于参数差异的p值(例如，第一差值)与权值的比较，确定可靠度。所述差值的p值与权值的比较可以被称为假设检验，其可以用于评估零假设和关于参数差异的备选假设。零假设和备选假设可以由用户或根据默认设置的策略评估系统100的一个或以上组件提出。仅作为示例，零假设可以是关于第一用户组的参数的第一值与关于第二用户组的参数的第二值相同(即，第三差值是0)。备选假设可以是关于第一用户组的参数的第一值与关于第二用户组的参数的第二值不同(即，第三差值不是0)。

在一些实施例中，权值可以由用户手动设置，或者由策略评估系统100的一个或以上组件根据默认设置确定。例如，权值可以是0.01、0.05或0.10。仅仅出于说明的目的，如果p值小于或等于权值(例如，p小0.05)，则可以拒绝零假设，并且可以接受备选假设。如果p值大于权值(例如，p>0.05)，则可以接受零假设。基于第一差值的p值与权值的比较，确定可靠度的更多描述可以在本申请的其他地方找到(例如，图13及其描述)。

在一些实施例中，判断单元520可以基于预设置信因子处的参数差异(例如，差值、比率值)的置信区间和参数差异的p值，确定可靠度。例如，判断单元520可以以预设置信因子确定比值的置信区间，然后将比值的p值与权值进行比较。

在930中，可以基于参数差异和参数差异的可靠度，确定与优化模型相关的最终得分。在一些实施例中，输出单元530可以确定与关于第一用户组和第二用户组的至少两个参数(例如，服务订单的数量、服务的费用、用户评级等)相对应的至少两个参数差异。输出单元530可以确定至少两个参数差异的至少两个可靠度。输出单元530可以基于参数的参数差异和参数差异的可靠度来确定与每个参数的优化模型相关的分数。如这里所使用的，参数的得分可以是优化模型在参数方面的评估结果。输出单元530还可以基于至少两个参数的得分和至少两个参数的权重来确定与优化模型相关的最终得分。如这里所使用的，最终得分可以是优化模型在至少两个参数方面的评估结果。参数的权值可以指示参数在优化模型的评估中的重要性。仅用于说明目的，第一参数的第一得分，第二参数的第二得分和第三参数的第三得分分别为80、90和95，以及第一参数的第一权值，第二参数的第二权值和第三参数的第三权值分别为20％、30％和50％，最终得分可以是90.5(80.5得％+90.5得％+95得分可％＝90.5)。

在940中，可以基于与优化模型相关的最终得分，调整优化模型。在一些实施例中，如果最终得分小于阈值，则输出单元530可以调整优化模型。例如，输出单元530可以调整将一个或以上用户分类为两组的方式。又例如，输出单元530可以调整确定参数的第一值和第二值的方式。在一些实施例中，优化模型的调整可以是包括一个或以上迭代的迭代过程。在每次迭代期间，输出单元530可以基于与优化模型相关的最终得分，调整优化模型。在一些实施例中，当最终得分不小于阈值时，迭代过程可以终止。在一些实施例中，迭代过程可以在完成一定数量的迭代(例如，100轮、300轮等)时终止。

应该注意的是，上述仅出于说明性目的而提供，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的修正和改变。在一些实施例中，可以添加或省略一个或以上步骤。例如，步骤930和步骤940可以集成到单个步骤中。然而，这些修正和改变不会背离本申请的范围。

图10是根据本申请的一些实施例的用于确定参数的参数差异的示例性过程1000的流程图。在一些实施例中，过程1000可以在策略评估系统100中实现。例如，过程1000可以作为指令的形式存储在存储设备130和/或存储器(例如，计算机可读介质230)中，并且由服务器110调用和/或执行(例如，处理服务器110中的引擎112或服务器110中的处理引擎112的处理器210。在一些实施例中，过程1000中的操作可以由判断单元520执行。

在1010中，可以确定第二差值。第二差值可以指优化模型的系统误差。在一些实施例中，判断单元520可以基于关于第一用户组的参数的第三值和关于第二用户组的参数的第四值，确定第二差值。可以使用校正模型(例如，a/a测试模型)，确定第三值和第四值。例如，可以通过从第三值中减去第四值来确定第二差值。关于第二差值的确定的更多描述可以在本申请的其他地方找到(例如，图11及其描述)。

在1020中，可以基于第一值和第二值，确定第三差值。在一些实施例中，第三差值可以是第一值和第二值之间的差。例如，判断单元520可以通过从第二值(或第一值)减去第一值(或第二值)来确定第三差值。

在1030中，可以基于第二差值和第三差值，确定第一差值。在一些实施例中，判断单元520可以通过从第三差值中减去第二差值来确定第一差值，从而消除或减少系统错误。例如，第二差值为0.4，第三差值为1.2。第一差值可以是0.8(1.2-0.4＝0.8)。在一些实施例中，判断单元520可以使用causalimpact模型来确定第一差值。在一些实施例中，causalimpact模型可以包括结构贝叶斯时间序列模型以估计设计干预对时间序列的因果效应。

在1040中，可以将第一差值指定为关于第一用户组和第二用户组的参数的参数差异。

应该注意的是，上述仅出于说明性目的而提供，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的修正和改变。例如，步骤1010和1020可以合并为一个步骤。又例如，步骤1010和1020可以同时或以任何顺序执行。然而，这些修正和改变不会背离本申请的范围。

图11是根据本申请的一些实施例的用于确定第二差值的示例性过程1100的流程图。在一些实施例中，过程1100可以在策略评估系统100中实现。例如，过程1100可以作为指令的形式存储在存储设备130和/或存储器(例如，计算机可读介质230)中，并且由服务器110调用和/或执行(例如，处理服务器110中的引擎112或服务器110中的处理引擎112的处理器210。在一些实施例中，过程1100中的操作可以由判断单元520执行。

在1110中，可以获取与两个策略中的一个策略相关的一个或以上用户的行为数据。在一些实施例中，可以从一个或以上用户的用户日志中获取一个或以上用户的行为数据。在一些实施例中，用于获取一个或以上用户的行为数据的操作可以与630中的操作相同或相似。一个或以上用户可以对应于相同的策略。例如，一个或以上用户可以对应于在高峰时间(例如，8：00-9：00、17：00-18：

00等)将服务的价格乘以系数1的策略。

在1120中，可以基于与两个策略之一相关的一个或以上用户的行为数据，使用校正模型来确定关于第一用户组的参数的第三值和关于第二用户组的参数的第四值。如这里所使用的，校正模型(例如，a/a测试模型)可以被配置为优化模型的正确系统误差。在一些实施例中，除了与第一用户组和第二用户组具有相同策略相关的校正模型之外，校正模型可以与优化模型相同或类似。例如，在a/a测试过程中，第一用户组和第二用户组可以对应于第一策略或第二策略。

在1130中，可以基于第三值和第四值，确定第二差值。在一些实施例中，第二差值可以是第三值和第四值之间的差。例如，判断单元520可以通过从第四值(或第三值)中减去第三值(或第四值)来确定第二差值。在一些实施例中，如果第二差值是0，则可以表示优化模型中没有系统误差。

在一些实施例中，判断单元520可以基于p值与权值的比较，确定第二差值的可靠度。关于p值的确定的更多描述可以在本申请的其他地方找到(例如，图13及其描述)。在一些实施例中，如果p值不大于权值(例如，p不0.05)，则可以表示与校正模型相关的关于第一用户组和第二用户组的参数的参数差异很可靠。在这种情况下，判断单元520可以停止使用优化模型，并设计新的优化模型。如果p值大于权值(例如，p>0.05)，则可以表示与校正模型相关的关于第一用户组和第二用户组的参数的参数差异是不可靠的，即，参数差异并不重要。在这种情况下，判断单元520可以使用校正模型来校正优化模型。

应该注意的是，上述仅出于说明性目的而提供，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的修正和改变。例如，当确定最优策略时，可以在过程600之前执行过程1100，或者可以同时执行过程1100和过程600。然而，这些修正和改变不会背离本申请的范围。

图12是根据本申请的一些实施例的用于确定参数差异的可靠度的示例性过程1200的流程图。在一些实施例中，过程1200可以在策略评估系统100中实现。例如，过程1200可以作为指令的形式存储在存储设备130和/或存储器(例如，计算机可读介质230)中，并且由服务器110调用和/或执行(例如，处理服务器110中的引擎112或服务器110中的处理引擎112的处理器210。在一些实施例中，过程1200中的操作可以由判断单元520执行。

在1201中，可以确定预设置信因子处的第一差值的置信区间。预设置信因子处的第一差值的置信区间可以指的是第一差值落入置信区间的概率与预设置信因子相关。仅用于说明目的，预设置信因子(例如，95％)处的置信区间(例如，(50，90))可以指第一差值落在(50，90)范围内的概率为95％。

在一些实施例中，参数可以是服务订单的平均数量。仅用于说明目的，第一用户组中每个用户的服务订单数量可以表示为(x1、x2、x3、……、xi、……、xn1)，其中n1表示在第一用户组中的用户数量，xi指的是第一用户组中第i个用户的服务订单数。在一些实施例中，可以根据等式(1)确定第一用户组中的服务订单的平均数量：

其中，m1表示第一用户组中的平均服务订单数，x1表示第一用户组中第i个用户的服务订单数，n1表示第一个用户中的用户数组。可以根据等式(2)确定第一用户组中的服务订单的数量的方差：

其中σ1是指第一用户组中服务订单数量的方差，xi是指第一用户组中第i个用户的服务订单数量，m1是指第一用户组中服务订单的平均数量。n1表示第一用户组中的用户数。类似地，假设第二用户组中每个用户的服务订单的数量可以表示为(y1、y2、y3、……、yi、……、yn2)，其中n2表示第二用户组中的用户数，yi是指第二用户组中第i个用户的服务订单数。在一些实施例中，可以根据等式(3)确定第一用户组中的服务订单的平均数量：

其中，m2表示第二用户组中的平均服务订单数，yi表示第一用户组中第i个用户的服务订单数，n2表示第二个用户中的用户数。可以根据等式(4)确定第二用户组中的服务订单的数量的方差：

其中，σ2是指第二用户组中服务订单数量的方差，yi指的是第二用户组中第i个用户的服务订单数量，m2指的是第二用户组中服务订单的平均数量，n2表示第二用户组中的用户数。在一些实施例中，可以根据等式(5)确定关于第一用户组和第二用户组的参数的第一差值：

d1＝m2-m1±δu，(5)

其中，d1是指第一用户组中的服务订单的平均数量，m2是指第二用户组中的服务订单的平均数量，δu是指第二差值(即优化模型的系统误差)。

在一些实施例中，可以根据等式(6)确定置信区间的起始点：

其中，1指的是置信区间的起点，d1指的是第一差值，σ1指的是第一用户组中服务订单数量的方差，σ2指的是第二用户组中服务订单数量的方差，n1表示第一用户组中的用户数，n2表示第二用户组中的用户数，α表示权值，1-α表示置信系数，并且可以基于数学中的参数的分布来确定在一些实施例中，获取单元420可以通过查询分发表来获取参数的分布。在一些实施例中，可以根据参数的类型确定数学中参数的分布。例如，如果参数是服务订单的平均数量，则数学中参数的分布可以是伯努利分布。又例如，如果参数是用户的费用，则数学中参数的分布可以是正态分布。可以根据等式(7)确定置信区间的终点：

其中，c2指的是置信区间的终点，d1指的是第一差值，σ1指的是第一用户组中服务订单数量的方差，σ2指的是第二用户组中服务订单数量的方差，n1表示第一用户组中的用户数，n2表示第二用户组中的用户数，α表示权值，1-示表示置信系数，可以基于数学中参数的分布来确定。因此，可以根据等式(8)确定当前置信系数处的差值的置信区间：

在1220中，可以基于预设置信因子处的差值的置信区间来确定参数差异的可靠度。在一些实施例中，如果置信区间包括0，则可以表示关于第一用户组和第二用户组的参数的参数差异(例如，服务订单的平均数量)不重要。如果置信区间不包括0，并且置信区间的起点和终点都大于0，则可以表示与第二策略关联的第二用户组中的平均服务订单数大于与第一策略相关的第一用户组中的服务订单数。如果置信区间不包括0，并且置信区间的起点和终点都小于0，则可以表示与第二策略相关的第二用户组中的平均服务订单数小于与第一策略关联的第一用户组中的平均服务订单数。

图13是根据本申请的一些实施例的用于确定参数差异的可靠度的示例性过程1300的流程图。在一些实施例中，过程1300可以在策略评估系统100中实现。例如，过程1300可以作为指令的形式存储在存储设备130和/或存储器(例如，计算机可读介质230)中，并且由服务器110调用和/或执行(例如，处理服务器110中的引擎112或服务器110中的处理引擎112的处理器210)。在一些实施例中，过程1300中的操作可以由判断单元520执行。

在1310中，可以基于第一差值和数学中参数的分布，确定p值。在一些实施例中，参数可以是服务订单的平均数量。仅用于说明目的，可以根据等式(9)确定统计值：

其中t指的是统计值，d1指的是第一差值(例如，根据等式

(5)确定)，σ1指的是第一用户组中服务订单数量的方差(例如，根据等式(2)确定)，σ2指的是第二用户组中的服务订单数量的方差(例如，根据等式(4)确定)，n1指的是第一用户组中的用户数量；n2表示第二个用户组中的用户数。统计值可以是，例如，在假设检验期间基于所获取的数据(例如，用户的行为数据)，确定的标准化值。p值可以根据等式(10)确定：

p＝2·p(z＞|t|，(10)

其中p是指p值；p(z>|t|)是指由正态分布曲线包围的区域，横坐标是指平均服务订单数大于t的范围，并且t是指统计值。

在1320中，可以将p值与权值进行比较。在一些实施例中，权值可以由用户手动设置，或者由策略评估系统100的一个或以上组件根据默认设置来确定。例如，权值可以是0.05。

在1330中，可以基于p值与权值的比较，确定参数差异的可靠度。在一些实施例中，可以由用户或根据默认设置的策略评估系统100的一个或以上组件提出零假设和备选假设。例如，零假设可以是关于第一用户组的参数的第一值与关于第二用户组的参数的第二值相同(即，第一差值是0)。备选假设可以是关于第一用户组的参数的第一值与关于第二用户组的参数的第二值不同(即，第一差值不是0)。在一些实施例中，零假设和备选假设可以是可互换的。在一些实施例中，如果p值不大于权值(例如，p权0.05)，则可以拒绝原假设，这表示关于第一用户组的参数的第一值与第二个关于第二个用户组的参数值不同。在这种情况下，较小的p值可以对应于参数差异的较高可靠度。如果p值大于权值(例如，p>0.05)，则可以接受零假设，这表示关于第一用户组的参数的第一值与关于第二用户组的参数的第二值相同。在这种情况下，参数的参数差异可能不可靠。

上文已对基本概念做了描述，显然，对于阅读此申请后的本领域的普通技术人员来说，上述发明披露仅作为示例，并不构成对本申请的限制。虽然此处并未明确说明，但本领域的普通技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定词语来描述本申请的实施例。例如，术语“一个实施例”、“一实施例”及“一些实施例”意指与本申请的至少一个实施例相关的某一特征、结构或特性。因此，应当强调并注意的是，本说明书中在不同位置两次或以上提及的“一实施例”、或“一个实施例”、或“一替代性实施例”，并不一定是指同一实施例。此外，本申请的一个或以上实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域的普通技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的过程、机器、产品或物质的组合，或对其任何新的和有用的改良。相应地，本申请的各个方面可以完全由硬件实施、可以完全由软件(包括韧体、常驻软件、微代码等)实施、也可以由硬件和软件组合实施，上述硬件或软件均可以被称为“模块”、

“单元”、“组件”、“设备”或“系统”。此外，本申请的各方面可以采取体现在一个或以上计算机可读介质中的计算机程序产品的形式，其中计算机可读程序代码包含在其中。

计算机可读信号介质可能包含一个内含有计算机程序代码的传播数据信号，例如在基带上或作为载波的一部分。此类传播信号可以有多种形式，包括电磁形式、光形式等，或任何合适的组合形式。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通信、传播或传输供使用的程序。位于计算机可读信号介质上的程序代码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、rf等，或任何上述介质的组合。

本申请各方面操作所需的计算机程序码可以用一种或多种程序语言的任意组合编写，包括面向对象编程语言，如java、scala、smalltalk、eiffel、jade、emerald、c++、c#、vb.net，python，或类似的常规程序编程语言，如"c"编程语言、visualbasic、fortran2003、perl、cobol2002、php、abap，动态编程语言如python、ruby和groovy或其它编程语言。该程序代码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(lan)或广域网(wan)、或连接至外部计算机(例如通过因特网)、或在云计算环境中、或作为服务使用如软件即服务(saas)。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或以上发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。然而，本申请的该方法不应被解释为反映所声称的待扫描对象物质需要比每个权利要求中明确记载的更多特征的意图。实际上，申请专利范围的特征要少于上述披露的单个实施例的全部特征。