评估方法、装置、计算设备及存储介质与流程
本说明书涉及方案评估技术领域，特别涉及一种评估方法、装置、计算设备及存储介质。
背景技术
在产品迭代改进中，公司经常会遇到两套方案不知道选取那套方案可以获得比较好的结果，在遇到这种问题时候，公司经常会通过一个用户随机选择器，随机的将用户分成两组，然后对比两组用户各自的使用效果。这样利用大量的随机用户，公司可以真实的比较两套方案的优劣情况，这种方法在使用中会遇到一个问题，当维度过度时候，细微的变化就会给结果造成很大的影响。
技术实现要素：
有鉴于此，本说明书实施例提供了一种评估方法、装置、计算设备及存储介质，以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面，提供了一种评估方法，包括：
获取评估对象在观测期内的多个第一方案的用户量和多个第二方案的用户量；
将所述多个第一方案的用户量和所述多个第二方案的用户量按照设定的转换方式进行转换得到第一数据分布和第二数据分布；
计算所述第一数据分布和所述第二数据分布之间的第一距离；
确定所述第一距离在设定数量个第一样本值参考距离中第一位置比例，确定所述第一距离在设定数量个第二样本值参考距离中第二位置比例，根据所述第一位置比例和第二位置比例分别确定所述评估对象的第一方案的中选度和第二方案的中选度；
基于所述第一方案的中选度和第二方案的中选度对第一方案和第二方案进行评估。
可选地，所述获取评估对象在观测期内的多个第一方案的用户量和多个第二方案的用户量包括：
从日志文件中获取评估对象在观测期内的多个第一方案的用户量和多个第二方案的用户量。
可选地，所述设定的转换方式是每天用户量与观测期总用户量比值。
可选地，所述设定数量个第一样本值参考距离和所述设定数量个第二样本值参考距离，所述第一方案的中选度和所述第二方案的中选度通过如下方式得到：
通过随机方式产生设定数量个样本分布；
计算每个样本分布与所述第一数据分布之间的距离得到设定数量个第一样本值参考距离，计算每个样本分布与所述第二数据分布之间的距离得到设定数量个第二样本值参考距离；
根据所述第一位置比例和第二位置比例分别确定所述评估对象的第一方案的中选度和第二方案的中选度。
可选地，所述随机方式产生设定数量个样本分布包括：
通过hadoop集群产生设定数量个样本分布。
可选地，所述基于所述第一方案的中选度和第二方案的中选度对第一方案和第二方案进行评估包括：
根据评估对象确定中选度标准值；
将所述第一方案的中选度和所述第二方案的中选度与所述中选度标准值进行比较，与中选度标准值更接近的方案为中选方案。
根据本说明书实施例的第二方面，提供了一种评估装置，包括：
获取模块：被配置为获取评估对象在观测期内的多个第一方案的用户量和多个第二方案的用户量。
转换模块：被配置为将所述多个第一方案的用户量和所述多个第二方案的用户量按照设定的转换方式进行转换得到第一数据分布和第二数据分布。
计算模块：被配置为计算所述第一数据分布和所述第二数据分布之间的第一距离。
确定模块：被配置为确定所述第一距离在设定数量个第一样本值参考距离中第一位置比例，确定所述第一距离在设定数量个第二样本值参考距离中第二位置比例，根据所述第一位置比例和第二位置比例分别确定所述评估对象的第一方案的中选度和第二方案的中选度。
评估模块：被配置为基于所述第一方案的中选度和第二方案量中选度对第一方案和第二方案进行评估。
可选地，所述获取模块进一步被配置为：
从日志文件中获取评估对象在观测期内的多个第一方案的用户量和多个第二方案的用户量。
可选地，所述转换模块是每天用户量与观测期用户量总比值。
可选地，所述确定模块包括：
第一确定单元：被配置为通过随机方式产生设定数量个样本分布；
第二确定单元：被配置为计算每个样本分布与所述第一数据分布之间的距离得到设定数量个第一样本值参考距离，计算每个样本分布与所述第二数据分布之间的距离得到设定数量个第二样本值参考距离；
第三确定单元：被配置为将所述位置比例作为所述评估对象第一方案的中选度和第二方案量中选度。
可选地，所述第一确定单元进一步被配置为：
通过hadoop集群产生设定数量个样本分布。
可选地，所述评估模块包括：
第四评估单元：被配置为根据评估对象确定中选度标准值；
第五评估单元：被配置为将所述第一方案的中选度和所述第二方案的中选度与所述中选度标准值进行比较，与中选度标准值更接近的方案为中选方案。
根据本说明书实施例的第三方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现所述评估方法的步骤。
根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述评估方法的步骤。
本说明书实施例中，通过对观测期内对两种不同的方案进行选择，根据第一方案的用户量和第二方案的用户量进行提取，对两种方案分别进行设定的转换方式进行转换得到第一数据分布和第二数据分布，根据距离计算公式计算出第一数据分布和第二数据分布的距离，根据计算公式计算出第一数据分布与第一样本值参考距离和第二数据分布与第二样本值参考距离，得到设定数量个随机样本组的距离，找到第一数据分布和第二数据分布的距离在设定数量个样本参考距离中的位置比例，根据位置比例分别的确定两个方案的中选度，将得出的两个方案中选度与标准值的中选度进行对比，与标准值中选度相近的方案作为中选方案。
附图说明
图1是本申请实施例提供的计算设备的结构图；
图2是本申请实施例提供的评估方法的流程图；
图3是本申请实施例提供的评估方法的流程图；
图4是本申请实施例提供的评估装置的模块框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
图1是示出了根据本说明书一实施例的计算设备100的结构框图。该计算设备100的部件包括但不限于存储器110和处理器120。处理器120与存储器110通过总线130相连接，数据库150用于保存用户数据。
计算设备100还包括接入设备140，接入设备140使得计算设备100能够经由一个或多个网络160通信。这些网络的示例包括公用交换电话网(pstn)、局域网(lan)、广域网(wan)、个域网(pan)或诸如因特网的通信网络的组合。接入设备140可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(nic))中的一个或多个，诸如ieee802.11无线局域网(wlan)无线接口、全球微波互联接入(wi-max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc)接口，等等。
在本说明书的一个实施例中，计算设备100的上述以及图1中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图1所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备100可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或pc的静止计算设备。计算设备100还可以是移动式或静止式的服务器。
其中，处理器120可以执行图2所示评估方法中的步骤。图2是示出了根据本说明书一实施例的评估方法的流程图，包括步骤202至步骤210。
图2示出了本发明实施例中的一种评估方法流程图，如图2所示，包括：
步骤202：获取评估对象在观测期内的多个第一方案的用户量和多个第二方案的用户量。
本说明书一实施例中，评估对象可以为应用程序或者网页页面。
观测期为对评估对象的观测时间，第一方案的用户量和第二方案的用户量即观测期内，评估对象的两种方案用户使用量。
例如以某种应用程序两种方案为评估对象，假设有1000个预设用户，分为两组每组500个用户，将两组用户对两种设计方案的某应用程序进行使用，第一方案有300人在使用，第二方案有200在使用，那么第一方案的用户量为300，第二方案的用户量为200。
本说明书中一种实施例中，所述获取评估对象在观测期内的多个第一方案的用户量和多个第二方案的用户量包括：
从日志文件中获取评估对象在观测期内的多个第一方案的用户量和多个第二方案的用户量。
网络设备、系统及服务程序等，在运作时都会产生一个叫log的事件记录，该事件记录即为评估对象的日志文件。评估对象的日志文件中的每一行日志都记载着日期、时间、使用者及动作等相关操作的描述。
例如，在本说明书一实施例中，观测期为30天，以a组用户30天内访问了1天的用户为所述的第一方案的用户量，以b组用户30天内访问了1天的用户为所述的第二方案的用户量，那么可以从评估对象的日志文件中获取第一方案的用户量和第二方案的用户量。
在评估对象的两个方案的日志文件中对两种方案使用情况进行统计，通过统计获得第1天的第一方案用户量为400，第1天的第二方案用户量为450；第2天的第一方案用户量为300，第2天的第二方案用户量为350；以此类推，得出的就是30天的所有第一方案用户量和第二方案用户量。
步骤204：将所述多个第一方案的用户量和所述多个第二方案的用户量按照设定的转换方式进行转换得到第一数据分布和第二数据分布。
本说明书中一种实施例中，所述设定的转换方式是每天用户量与观测期总用户量比值。
例如，在本发明书一实施例中，比较第一方案和第二方案的优劣情况，观测期为30天，将1000用户分为a.b两组，a组有500个用户，b组有500个用户，对网页的两种设计方案进行使用，将a组用户进行第一种方案的使用，b组用户进行第二种方案的使用，a组用户30天中1天用户量占比为3.1％，b组用户30天中1天用户量占比为3.3％；a组用户30天中2天用户量占比为4.1％，b组用户30天中2天用户量占比为4.3％以此类推，得出其他天数的用户量占比，得出两组数据分布就是第一方案的数据分布和第二方案的数据分布。
步骤206：计算所述第一数据分布和所述第二数据分布之间的第一距离。
本说明书一实施例中，第一距离是第一方案的数据分布和第二方案的数据分布之间的wasserstein距离。
所述wasserstein距离又叫earth-mover距离(em距离)，用于衡量两个分布之间的距离，距离公式为：
在本说明书一实施例中，
步骤208：确定所述第一距离在设定数量个第一样本值参考距离中第一位置比例，确定所述第一距离在设定数量个第二样本值参考距离中第二位置比例，根据所述第一位置比例和第二位置比例分别确定所述评估对象的第一方案的中选度和第二方案的中选度。
本说明书中一种实施例中，所述设定数量个第一样本值参考距离和所述设定数量个第二样本值参考距离，所述第一方案的中选度和所述第二方案的中选度通过如下方式得到：
通过随机方式产生设定数量个样本分布；
计算每个样本分布与所述第一数据分布之间的距离得到设定数量个第一样本值参考距离，计算每个样本分布与所述第二数据分布之间的距离得到设定数量个第二样本值参考距离；
根据所述第一位置比例和第二位置比例分别确定所述评估对象的第一方案的中选度和第二方案的中选度。
例如，在本说明书一实施例中，以设定数量为1千万个为例，随机生成一千万样本分布值，每个样本分布中包含30个样本分布值，之后计算每个样本分布与a.b两组数据分布之的wasserstein距离，这样我们可以得到一千万个与a组数据分布的wasserstein距离，即为第一样本值参考距离；还可以得到一千万个与b组数据分布的wasserstein距离，即为第二样本值参考距离。
本说明书中一种实施例中，可以通过hadoop集群产生设定数量个样本分布。
hadoop集群方式属于一种编程模型包，是一个能够让用户轻松架构和使用的分布式计算平台，用户可以轻松地在hadoop上开发和运行处理海量数据的应用程序。
在本说明书一实施例中，hadoop集群产生的设定数量的个数是一千万个，每个样本分布中包括30个样本分布值。
通过计算得出设定数量个样本值参考距离，通过比较第一距离在第一样本值参考距离中的第一位置比例，计算第二距离在第二样本值参考距离中的第二位置比例，根据位置比例确定两个方案的中选度。
例如，第一距离位于一千万个样本值参考距离中第一百万个距离的位置，为第一方案的中选度，排在一千万个样本参考距离的10％，则认为第一方案的中选度达到了90％的随机分布，则第一方案的中选度是0.9。
若第一距离位于一千万个样本值参考距离中第一百五十万个距离的位置，为第二方案的中选度，排在一千万个样本参考距离的15％，则认为第二方案的中选度达到了85％的随机分布，则第二方案的中选度是0.85。
步骤210：基于所述第一方案的中选度和第二方案的中选度对第一方案和第二方案进行评估。
本说明书中一种实施例中，所述基于所述第一方案的中选度和第二方案的中选度对第一方案和第二方案进行评估包括：
根据评估对象确定中选度标准值；
将所述第一方案的中选度和所述第二方案的中选度与所述中选度标准值进行比较，与中选度标准值更接近的方案为中选方案。
评估对象中选度标准值根据业务需求确定；第一方案的中选度和第二方案的中选度与中选度标准值进行比较，与中选度标准值更接近的方案为目标文件，根据中选度与中选度标准值相近的方案进行使用会得到好的效果。
通过本发明实施例提供的评估方法，通过利用hadoop集群产生了大量的随机样本，并基于wasserstein距离对两种方案进行评估，可以基于大量的统计数据对两个方案进行选择，能够提升相关性计算值稳定性。
图3示出了本说明书一个实施例的评估方法。该评估方法以对网页的两种设计方案评估为例进行描述，该评估方法包括：
步骤302：获取网页a的用户访问量。
步骤304：获取网页b的用户访问量。
步骤306：分别对网页a的用户访问量和页面b的用户访问量按照每天用户量与观测期总用户量比值进行转换分别得到第一数据分布和第二数据分布。
例如，在观测期30天内，网页a的用户访问量和网页b的用户访问量占30天内访问总用户量的比例；a组用户30天内访问了1天的用户比为3.1％，b组用户30天内访问了1天的用户占比为3.3％，a组用户30天中2天用户量占比为4.1％，b组用户30天中2天用户量占比为4.3％以此类推，得出其他天数的用户量占比，得出两组数据分布就是a组的数据分布为第一数据分布和b组的数据分布为第二数据分布。
步骤308：通过hadoop集群方式产生一千万个样本分布值。
步骤310：计算第一数据分布与第二数据分布之间的wasserstein距离，并分别计算第一数据分布和第二数据分布与样本分布值间的wasserstein距离。
在本说明书一实施例中，将第一数据分布与第二数据分布之间的wasserstein距离作为第一距离。
在本说明书一实施例中，计算第一数据分布与每个样本之间的wasserstein距离生成一千万个第一样本值参考距离，计算第二数据分布与每个样本之间的wasserstein距离生成一千万个第二样本值参考距离。
步骤312：确定所述第一距离在一千万个第一样本值参考距离中第一位置比例，确定所述第一距离在一千万个第二样本值参考距离中第二位置比例，根据所述第一位置比例和第二位置比例分别确定所述评估对象的网页a方案的中选度和网页b方案的中选度。
对所述得到中选度通过比较所述第一距离在一千万个样本值参考距离中的位置得到，在本实施例中，第一距离位于一千万个样本值参考距离中第一百万个距离的位置，为第一方案的中选度，排在一千万个样本参考距离的10％，则认为第一方案的中选度达到了90％的随机分布，则第一方案的中选度是0.9。
第一距离位于一千万个样本值参考距离中第一百五十万个距离的位置，为第二方案的中选度，排在一千万个样本参考距离的15％，则认为第二方案的中选度达到了85％的随机分布，则第二方案的中选度是0.85。
步骤314：网页a方案的中选度和网页b方案的中选度与中选度标准值进行对比，将与中选度标准值更接近的方案确定为中选方案。
例如，在本实施例中，中选度标准值为1.00，网页a方案的中选度为0.9，网页b方案的中选度为0.85，即网页a方案的中选度更接近中选度标准值，选网页a方案作为中选方案。
观测期天数可以根据业务需求进行确定，本申请对此不作限定。
本说明书一实施例中，通过对观测期内的第一方案的用户量和第二方案用户量进行数据提取，得到各个天数访问网页的用户量，并且根据每天的用户量与观测期内总用户量的比值对每天的用户量进行转换，得到第一方案的数据分布和第二方案的数据分布，计算第一方案用户量和第二方案用户量的wasserstein距离，基于wasserstein距离确定第一方案和第二方案的中选度可以提升评估的稳定性。
与上述方法实施例相对应，本说明书还提供了评估装置实施例。图4示出了本说明书一个实施例的评估装置的模块图。如图4所示，该装置400包括：
获取模块402：被配置为获取评估对象在观测期内的多个第一方案的用户量和多个第二方案的用户量。
转换模块404：被配置为将所述多个第一方案的用户量和所述多个第二方案的用户量按照设定的转换方式进行转换得到第一数据分布和第二数据分布。
计算模块406：被配置为计算所述第一数据分布和所述第二数据分布之间的第一距离。
确定模块408：被配置为确定所述第一距离在设定数量个第一样本值参考距离中第一位置比例，确定所述第一距离在设定数量个第二样本值参考距离中第二位置比例，根据所述第一位置比例和第二位置比例分别确定所述评估对象的第一方案的中选度和第二方案的中选度。
评估模块410：被配置为基于所述第一方案的中选度和第二方案量中选度对第一方案和第二方案进行评估。
一个可选的实施例中，所述获取模块进一步被配置为：
从日志文件中获取评估对象在观测期内的多个第一方案的用户量和多个第二方案的用户量。
一个可选的实施例中，所述转换模块是每天用户量与观测期用户量比值。
一个可选的实施例中，所述确定模块包括：
第一确定单元：被配置为通过随机方式产生设定数量个样本分布；
第二确定单元：被配置为计算每个样本分布与所述第一数据分布之间的距离得到设定数量个第一样本值参考距离，计算每个样本分布与所述第二数据分布之间的距离得到设定数量个第二样本值参考距离；
第三确定单元：被配置为根据所述第一位置比例和第二位置比例分别确定所述评估对象的第一方案的中选度和第二方案的中选度。
一个可选的实施例中，所述第一确定单元进一步被配置为：
通过hadoop集群产生设定数量个样本分布。
一个可选的实施例中，所述评估模块包括：
第四评估单元：被配置为根据评估对象确定中选度标准值；
第五评估单元：被配置为将所述第一方案的中选度和所述第二方案的中选度与所述中选度标准值进行比较，与中选度标准值更接近的方案为中选方案。
本说明书一实施例中还提供一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现所述的评估方法的步骤。
本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述评估方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的自动化测试方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述自动化测试方法的技术方案的描述。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书并不受所描述的动作顺序的限制，因为依据本说明书，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
- 还没有人留言评论。精彩留言会获得点赞！