用者提供指定是否能为样本单元(单元366)改变因素水平的选项。
[0079]图18是表示用于在图17中根据本技术的多个方面实施的因素351的示例性交互371的屏幕370。在所示的实施方式中，使用用于因素中每个的效果(单元372)和重要性(单元374)来表示与多个因素相关的交互371。因素的重要性可单独进行分配或以组合的方式进行分配。对于本示例，因素电子邮件和小册子的重要性(单元376)分别进行分配(单元378)。另外，因素的效果进行组合(单元380)以分配重要性(单元382)。交互屏幕370为使用者选择实验类型(诸如随机化控制(栏标384)、随机化测试(栏标386)以及随机化测试和控制(栏标388))提供多个设计选择。还可以设想其他设计选项。
[0080]图19是表示用于在图7中限定的根据本技术的多个方面实施的实验的示例性样本大小391确定的屏幕截图390。在这里，样本大小基于各种参数来确定，诸如多个因素的影响(单元392)、基础实验成本(单元394)和响应(单元396)。用于实验的样本大小可使用“计算样本大小”栏标398来估计。所估计的样本大小可使用“设计结果”窗格400来显示。一个或多个设计结果以表格形式进行查看，其中，该表格形式表明各种结构参数，如设计类型(单元402)、样本单元(单元404)、样本大小(单元406)、成本(单元408)和主效果精度(单元410)。
[0081]设计结果还可以用于发现因素在影响响应中的效果。使用者可基于成本和样本大小标准来选择合适的设计，并且还可以为后继步骤保存所选择的设计。设计结果可使用“保存设计”栏标412进行保存。另外，“实验总结”窗格414提供所设计实验的总结，突出显示关键属性，如开始日期和结束日期(单元416)、描述(单元418)、设计结果(单元420)、处理因素(单元422)和响应(单元424) ο
[0082]图20是表示用于在图7中限定的根据本技术的多个方面实施的实验的示例性样本分配431的屏幕430。由使用者保存的设计结果包括使用屏幕430显示的因素351的多个处理组合。如本文中所用，因素的处理组合包括可分配给实验的因素组合。对于本示例，处理组合窗格432提供关于处理的细节，使用者可使用该处理来使用所选择的因素的处理组合存储并分配具体数目的存储至不同的处理运行(单元434)。例如，对于处理运行1 (由单元436表示)，所选择的因素处理组合(单元438)为“电子邮件:未给出I小册子:未给出”(单元440)，样本大小(单元442)为约23的存储(单元444)，相应成本(单元446)为约$0 (单元448)。样本分配使用“采样选项”窗格450来实现，“采样选项”窗格450包括整个数据集(单元454)(例如store_details)可用的存储列表(单元452)，“采样选项”窗格450具有一栏来保持作为样本ID变量(例如Store_Number)的用于每个存储的标识符。另外，通过使用“分配样本”栏标458，执行自动将具体存储分配至具体运行数量/处理组合而不会为每个处理允许重叠存储的相应指令。
[0083]图21是表示用于根据本技术的多个方面实施的在图7中限定的实验的示例性样本列表的细节的屏幕460。如上所述，使用者可使用屏幕430中的“分配样本”栏标458分配样本。样本分配一完成，使用者就可以使用“视图输出”栏标462来查看输出。在该示例中，显示弹出窗口 464，其中，弹出窗口 464具有已分配至每个处理运行(单元468)并通过样本ID变量(456)(例如Store_Number)进行识别的样本(存储)的列表(单元466)。而且，可为测试和控制设计(例如仅具有一个因素和两个水平的设计)利用弹出窗口 464中包括的控制指示器(单元470)，以表明测试和控制运行。对于本示例，所选择的实验为多变量实验(包括多个因素)，因此，每次允许都仅为一次处理(单元472)。另外，通过“作为逗号分隔值(CSV)下载”栏标474为使用者提供将样本列表(单元466)作为逗号分隔值(CSV)文件下载的选项，使用者可用逗号分隔值(CSV)文件来实际进行实验。
[0084]图22是表示用于根据本技术的多个方面实施的在图7中限定的实验的示例性设计验证481的细节的屏幕480。在操作中，样本分配一完成，使用者就可以使用屏幕480为每次处理运行查看所有不同协变量(影响响应的因素)的变换响应，从而理解因素之间的相似性。使用者可使用窗格482来选择图表输入，窗格482包括数据集(单元484)，数据集(单元484)包括数据、表明多个运行以进行比较的运行号(单元486)、响应变量(单元488)(例如销售)、协变量(单元490)(例如人口 )和加总函数(单元492)(例如平均值)。另外，还可以指定日期变量(单元494)、开始日期(单元496)、结束日期(单元498)和二进制数(number of bins)(单元500)。而且，使用者可使用“图表”栏标502来查看每次运行的图(例如用于处理运行1的图504以及用于处理运行2的图506)。每个图都可以包括示出分配至具体运行的样本之间的人口分配的协变量的柱状图。另外，每个图都表明用于每个二进制的响应的总值(以附图标记508和510示出)，例如，在该人口的具体间隔内的每个存储的销售平均值。而且，使用者可通过选择图以比较并且点击“比较”栏标514来利用“添加以比较”复选框512，屏幕480转换至如下所述的弹出屏幕。
[0085]图23是表示根据本技术的多个方面实施的在图7中限定的实验的示例性设计验证图的屏幕520。为了在调用“比较”栏标514时的比较，并排查看使用屏幕480绘制的设计验证图表。在所示的实施方式中，用于处理运行4、1、2、3的图(由附图标记522、524、526、528示出)可由使用者并排查看和比较。
[0086]图24是表示用于实施用于创建和评估根据本技术的多个方面实施的实验的系统的示例性通用计算设备600的框图。在非常基本的配置602中，计算系统600通常包括一个或多个处理器604以及系统存储器606。可为处理器604与系统存储器606之间的通信使用存储器总线608。
[0087]根据所希望的配置，处理器604可以是下述任何类型，包括但不限于微处理器(μΡ)、微控制器(μ C)、数字信号处理器(DSP)、或者其任意组合。处理器604可以包括一个或多个级别的缓存(如一级缓存610和二级缓存612)、处理器核614、以及寄存器616。示例处理器核614可包括算术逻辑单元(ALU)、浮点单元(FPU)、数字信号处理核(DSP核)，或者其任意组合。示例存储控制器618还可与处理器604 —同使用，或者在某些实现中，存储控制器618可以是处理器604的内部部件。
[0088]根据所希望的配置，系统存储器606可以是R0M、闪存存储器或者其任意组合。系统存储器606可包括操作系统620、包括创建和评估实验的算法626的应用程序622以及包括学习数据628的程序数据624。
[0089]用于创建和评估实验的算法626被配置成限定多个实验、确定与多个实验中每个相关联的一个或多个实验参数、执行多个实验以及通过利用程序数据624中存储的学习数据628分析多个实验的结果。该所述基本配置602由图24中在内虚线内的组件示出。
[0090]计算系统600可具有其他的特征或功能、以及其他的界面以便于基本配置602与任何所需设备和界面之间的通信。例如，总线/接口控制器630可被用于便于基本配置602与一个或多个数据存储装置632之间的、经由存储接口总线638的通信。数据存储装置632可以是可拆卸的存储设备634、不可拆卸的存储设备636、或者其组合。
[0091]移动存储设备和固定存储设备的示例包括磁盘设备(诸如软磁盘驱动器和硬盘驱动器(HDD))、光盘驱动器(诸如光盘(⑶)驱动器或数字通用盘(DVD)驱动器)、固态驱动器(SSD)以及磁带驱动器等等。示例性计算机存储介质可包括通过任意方法或技术实现的、用于存储信息(诸如计算机可读指令、数据结构、程序模块、或者其他数据)的易失性介质和非易失性介质、移动介质和固定介质。
[0092]系统存储器606、可擦除的存储设备634和不可擦除的存储设备636为计算机存储介质的示例。计算机存储介质包括但不限于RAM、R0M、EEPR0M、闪存存储器或其他存储技术，CD-ROM、数字通用盘(DVD)或其他光学存储器、磁带盒、磁带、磁盘存储或其他磁性存储设备，或者任何其他可被用于存储所希望的信息并可被计算系统600访问的介质。任何这种的计算机存储介质都可以是计算系统600的一部分。
[0093]计算系统600还可包括接口总线640，其用于便于从多种界面设备(例如输出设备642、外围界面650以及通信设备658)经由总线/界面控制器630至基本配置602的通信。示例输出设备642包括图形处理单元644和音频处理单元646，图形处理单元644和音频处理单元646可被配置为经由一个或多个音频/视频(A/V)端口 648与多种外部设备(诸如显示装置或扬声器)进行通信。
[0094]示例性外围接口 650包括串行接口控制器652或并行接口控制器654，串行接口控制器652或并行接口控制器654可被配置为经由一个或多个输入/输出(I/O)端口 656与诸如输入设备(例如键盘、鼠标、笔、语音输入设备、接触式输入设备等)的外部设备或其他外围设备(例如打印机、扫描仪等)进行通信。示例性通信设备658包括网络控制器660，其可被布置