使用人工神经网络来进行网页界面生成和测试的制作方法

文档序号:15884498发布日期:2018-11-09 18:35阅读:179来源:国知局
本申请要求于2016年1月5日提交的美国临时专利申请62/275,058“automatedconversionoptimizationsystemandmethodusingmachinelearning”(代理人案卷号gnfn3301-1)的权益。该优先权临时申请据此以引用方式并入;本申请要求于2016年1月5日提交的美国临时专利申请62/275,074“automatedsegmentation/personalizationconversionoptimizationusingmachinelearning”(代理人案卷号gnfn3302-1)的权益。该优先权临时申请据此以引用方式并入;本申请以引用方式并入有与本文同时提交的、标题为“machinelearningbasedwebinterfacegenerationandtestingsystem”的美国非临时专利申请(代理人案卷号gnfn3301-2);本申请以引用方式并入有与本文同时提交的、标题为“machinelearningbasedwebinterfaceproductionanddeploymentsystem”的美国非临时专利申请(代理人案卷号gnfn3301-3);以及本申请以引用方式并入有与本文同时提交的、标题为“webinterfaceproductionanddeploymentusingartificialneuralnetworks”的美国非临时专利申请(代理人案卷号gnfn3302-3)。所公开的技术总体上涉及使用人工智能和人工神经网络来进行网页界面生成和测试,且具体来说涉及使用演化计算来提供所谓的机器学习转换优化(mlco)解决方案。
背景技术
:本节中讨论的主题不应仅仅因为在本节中提及而被认为是现有技术。类似地,在本节中提到的或者与作为背景提供的主题相关联的问题不应该被认为是先前在现有技术中已经认识到的。本节中的主题仅表示不同的方法,这些方法本身也可以对应于所要求保护的技术的实现方式。所公开的技术提供了一种所谓的机器学习转换优化(mlco)系统,其使用人工神经网络和演化计算来有效地识别搜索空间中的最成功的网页设计,而无需测试搜索空间中的所有可能的网页设计。搜索空间是根据营销人员提供的网页设计来定义的。神经网络被表示为基因组。神经网络将用户属性从实时用户流量映射到实时呈现给用户的输出漏斗(funnel)的不同维度和维度值。所述基因组经受演化操作,如初始化、测试、竞争和生育,以识别表现良好的亲本基因组和可能表现良好的后代基因组。在网站上运行受控实验的常用方法包括复杂的转换优化解决方案。转换优化包括同时测试网页和页面元素的多种组合和变体。例如,可以提供两个替代图像,加上两个替代标题,加上两个替代复制文本,总共二十七种可能的组合(包括原始控制版本)。因此,转换优化引入了一组相当复杂的排列和组合,需要对所述排列和组合进行分析以确定真正吸引用户的页面元素的最有效组合。由于大数据在web个性化中扮演着比较重要的角色,因此数据信号的数量、规则的复杂性以及结果的绝对数量呈指数级增长。由于这种情况的发生,根本不可能进行人类的优化,即使能进行,也几乎没有机会影响结果。算法优化是必需的,但即使有,能够处理线性关系和相关性的简单线性回归算法也可能无法充分创建改进的结果,假定有大量的必须处理以预测性能的数据输入和所得测量值。使用机器学习系统来运行测试,在这些测试中,在确定结果时涉及许多其间具有非常复杂的关系的变量。考虑到变量之间的关系可能过于复杂而无法提前确定算法,机器学习系统通常会尝试从数据中学习以找出公式,而不是试图找出用于开始的公式。因此,当有如此多的变量在转换优化中起作用时,需要非常复杂的算法,这些算法利用机器学习、人工智能和其他非线性算法来基于从大数据输入集的学习来对结果进行预测。附图说明在附图中,相同的附图标记在不同视图中通常指代相同的部分。而且,附图不一定按比例绘制,而是通常将重点放在说明所公开的技术的原理上。在以下描述中,参考以下附图描述所公开的技术的各种实现方式,在附图中:图1示出了用于促进目标在线用户行为的机器学习转换优化(mlco)系统的各方面。图2示出了表示神经网络的基因组的一种实现方式。图3示出了所公开的机器学习转换优化(mlco)的工作流程。图4示出了具有多个网页界面(webinterface)的漏斗,其用于初始化由基因组表示的神经网络的输出层。图5描绘了漏斗的网页界面布局,所述漏斗用于初始化由基因组表示的神经网络的输出层。图6示出了漏斗的网页界面以及漏斗的多个维度和维度值,所述漏斗用于初始化由基因组表示的神经网络的输出层。图7是将起始漏斗的编辑器设计表示变换为运行时设计表示的一种实现方式的符号图。图8描绘了编码由基因组表示的神经网络的输出层的一种实现方式的符号图。图9和图10示出了图1的前端呈现模块的各方面。图11是机器学习用户装置(mlud)的一种实现方式。图12示出了机器学习内容分发网络(mlcdn)的一种实现方式。图13是可用于实现所公开的技术的计算机系统的简化框图。具体实施方式下面的讨论是为了使本领域技术人员能够实现和使用所公开的技术,并且是在特定应用及其要求的上下文中提供的。对于本领域技术人员来说,对所公开的实现方式的各种修改是极明显的,并且在不脱离所公开技术的精神和范围的情况下,本文定义的一般原理可以应用于其他实现方式和应用。因此,所公开的技术不旨在限于所示的实现方式,而是与符合本文公开的原理和特征的最宽范围相一致。在转换优化上下文中描述了根据所公开的实现方式的系统、设备和方法的示例。在其他情况下,所公开的技术可应用于多变量测试、a/b测试、登陆页面优化、转换率优化、网站测试、网站优化、搜索引擎优化、信息技术、电信系统、金融系统、安全交易、银行业务、商业智能、营销、医学和健康科学、采矿、能源等。其他服务也是可能的,因此以下示例不应被视为确定或限制范围、背景或环境。所公开的技术可以在任何计算机实现的系统的环境中实现,包括数据库系统、多租户环境或关系数据库实现方式,如oracletm兼容数据库实现方式、ibmdb2enterpriseservertm兼容关系数据库实现方式、mysqltm或postgresqltm兼容关系数据库实现方式或microsoftsqlservertm兼容关系数据库实现方式或nosqltm非关系数据库实现方式,如vampiretm兼容非关系数据库实现方式,apachecassandratm兼容非关系数据库实现方式、bigtabletm兼容非关系数据库实现方式或hbasetm或dynamodbtm兼容非关系数据库实现方式。此外,所公开的技术还可以使用不同的编程模型,例如mapreducetm、批量同步编程、mpi原语等,或者不同的可扩展批处理和流管理系统,如amazonwebservices(aws)tm,包括amazonelasticsearchservicetm和amazonkinesistm、apachestormtm、apachesparktm、apachekafkatm、apacheflinktm、truvisotm、ibminfo-spheretm、borealistm和yahoo!s4tm来实现。如本文所使用的,术语“数据库”不一定意味着任何单一结构。例如,当一起考虑时,两个或更多个单独的数据库仍然构成本文使用的术语“数据库”。在一些实现方式中,数据库可以将来自一个或多个租户的信息存储到公共数据库映像的表中,以形成按需数据库服务(odds),其可以以多种方式实现,例如多租户数据库系统(mtds)。数据库映像可以包括一个或多个数据库对象。在其他实现方式中,数据库可以是关系数据库管理系统(rdbms)、面向对象的数据库管理系统(oodbms)、分布式文件系统(dfs)、无模式数据库或任何其他数据存储系统或计算装置。如本文所使用的,信息项的“识别”不一定需要直接指定该信息项。通过简单地通过一个或多个间接层引用实际信息,或通过识别一起足以确定实际信息项的一个或多个不同信息项,可以“识别”字段中的信息。另外,术语“指定”在本文中用于表示与“识别”相同的含义。如本文所使用的,给定信号、事件或值“取决于”前置信号、前置信号的事件或值、受给定信号、事件或值影响的事件或值。如果存在中间处理元件、步骤或时间段,则给定的信号、事件或值仍然可以“取决于”前置信号、事件或值。如果中间处理元件或步骤组合了多于一个的信号、事件或值,则处理元件或步骤的信号输出被认为“取决于”信号、事件或值输入中的每一个。如果给定信号、事件或值与前置信号、事件或值相同,则这仅仅是退化情况,其中给定信号、事件或值仍然被认为“取决于”或“依赖于”或“基于”前置信号、事件或值。给定信号、事件或值对另一信号、事件或值的“响应性”定义类似。如本文所使用的,“同时”或“并行”不需要精确的同时性。如果对一个个体的评估在对另一个体的评估完成之前就开始,这就足够了。如本文所使用的,术语“漏斗”是指由基因组表示的神经网络的输出的前端,其可被最终用户感知、操作和理解。在各实现方式中,漏斗邀请用户进行交互并对其做出响应。漏斗包括一个或多个网页界面。网页界面的一些示例包括网页、网站、电子邮件、移动应用、桌面应用、数字广告、社交媒体消息(例如,tweettm、facebookposttm)、社交媒体馈送项、社交媒体简档、社交媒体帐户、社交媒体聊天消息、通用聊天消息、表单、自动填充表单等的控制版本和变体。在所公开的技术的各实现方式中,漏斗在(或跨越)一个或多个可访问因特网的数据中心(例如网站)中,与在网站后面运行的相关应用一起实现(一组漏斗)。最终用户操作能够访问漏斗并与其进行交互的可访问因特网的客户端装置或客户端(例如,台式计算机、笔记本计算机、平板电脑、移动装置、电话或具有渲染引擎的其他装置等)。在一种实现方式中,最终用户通过打开web浏览器或移动应用来访问漏斗。在一些实现方式中,最终用户可以向漏斗(或其某个部分)进行认证。在所公开的技术的各实现方式中,网页界面是结构化文档,其结构取决于底层格式。例如,在一种实现方式中,网页界面具有基于超文本标记语言(html)、可扩展标记语言(xml)的web支持的格式,或其他web支持的结构化文档。网页界面可以包括一个或多个资源(例如,javascript资源、级联样式表(css)资源、异步和javascriptxml(ajax)资源、图像资源、视频资源等),或者更典型地,嵌入在网页界面中的这些资源的引用。举例来说,根据资源的类型,通常可以在脚本元素、样式元素、图像元素或对象元素等中包括或指定嵌入在网页界面中的资源。通常,在最终用户的客户端装置处执行的web浏览器或其他客户端应用构造所接收到的网页界面的文档对象模型(dom)表示。在另一实现方式中,网页界面具有基于纯文本、富文本或html的电子邮件格式(具有或不具有诸如css之类的样式定义格式或诸如javascript之类的格式的脚本指令,例如,microsoftoutlooktm、googlegmailtm、applemailtm、iosmailtm、thunderbirdtm、aolmailtm、yahoomailtm、windowslivetm)。在其他实现方式中,网页界面具有基于html5、本机格式(例如,iostm或androidtm)和混合格式的移动应用格式。任何其他常规或未来开发的结构化文档或其格式或其中使用的格式被认为是网页界面。在不脱离所公开的技术的精神和范围的情况下(诸如网页界面的音频和触觉呈现),这样的实现方式对于本领域技术人员来说将是极为明显的。网页界面(例如,网页、网站、电子邮件、移动应用、桌面应用、数字广告)包括页面元素。页面元素的一些示例包括图像、视频、动画、大标题、小标题、唤起行动、文本副本、表单长度等。在一个示例中,唤起行动定义当用户点击或敲击网页界面的任何一部分时发生的事情。网页界面的页面元素以所谓的网页界面布局排列。网页界面布局定义了网页界面的页面元素相对于彼此的定位。例如,图像可能位于右下角,且视频可能位于网页界面布局的中心。在网页界面中,所有可互换的页面元素都是使用网页界面布局来描述的,该布局描述了页面元素应该如何相对于彼此显现以及它们应该如何相互交互。每个页面元素都有几个性质。例如,图像页面元素具有与类型、位置和大小相关的性质;唤起行动具有与颜色、文本、大小和位置相关的性质;和文本副本具有与内容、长度和大小相关的性质。引言所公开的技术提供了所谓的机器学习转换优化(mlco)系统,其使用人工神经网络和演化计算来有效地识别搜索空间中的最成功的网页设计,而无需测试搜索空间中的所有可能的网页设计。搜索空间是根据营销人员提供的网页设计来定义的。神经网络被表示为基因组。神经网络将用户属性从实时用户流量映射到实时呈现给用户的输出漏斗的不同维度和维度值。基因组经受演化操作,如初始化、测试、竞争和生育,以识别表现良好的亲本基因组和可能表现良好的后代基因组。在电子商务中,设计用户体验,即网页和交互,以便将尽可能多的最终用户从随便的浏览人员转换为付费客户是一个重要目标。虽然有一些众所周知的设计原则,包括简单性和一致性,但页面元素之间通常也会出现意想不到的交互,这些交互确定了它的转换效果。同一元素可以在一个上下文中工作得很好,但在其他上下文中则不然—通常很难预测结果,且甚至更难决定如何改进给定的页面。为应对这些挑战,一个全新的行业应运而生;它被称为转换率优化,或转换科学。大多数从业者使用的标准方法是a/b测试,即设计同一页面的两个不同版本,向不同用户显示它们,并收集关于它们各自转换的情况的统计数据。该过程允许将人类关于领域和转换优化的知识结合到设计中,且然后测试它们的效果。在观察结果后,可以比较新设计并逐步改进。a/b测试过程既困难又耗时:用这种方式只能测试很小一部分页面设计,且设计中细微的交互可能会被完全忽略。所公开的技术从营销人员自己创建的变量和变量值中自动生成待测试的网页候选项。变量和变量值可以是网站上的任何内容,从按钮颜色和字体粗细等小变化到整体消息传递和设计规范。这些变量可以全部位于单个页面上,或可以位于漏斗中的多个页面上。为了提供用户个性化,对于给定的一组用户属性,所公开的技术在大量值的可能组合空间中搜索最成功的变量和变量值。所公开的技术随着时间的推移了解哪些元素组合对哪些用户是有效的,并逐渐将搜索重点放在最有潜力的设计上。所公开的技术是用于转换优化的自动化系统,能够在缩短的时间范围内极大地测试更多的想法。它能找到导致转换增加的变量的细微组合。所公开的技术能够发现比人类设计的转换更好的设计,通常是因为它发现了元素之间意想不到的交互。例如,所公开的技术能够发现按钮需要是绿色的,但是只有当它是透明的并且标题是小字体并且标题文本是对齐的时候。这种交互经常存在,但可能很难发现。所公开的技术基于人工智能使该发现过程自动化,而不是利用大量的人工。利用所公开的技术,因此就有可能比以前更好、更大规模地优化转换,并随着电子商务条件的变化不断优化转换。机器学习转换优化(mlco)系统图1示出了用于促进目标在线用户行为的机器学习转换优化(mlco)系统的各方面。在一种实现方式中,目标行为是转换,但是在其他实现方式中,也可以针对其他行为。图1的系统包括存储候选数据库的存储器106,候选数据库具有候选“个体”群体。存储器106在此被认为是系统可访问的,无论它是系统的物理部分还是仅仅通过网络可访问。“个体”包括“基因组”,其通常以编码的方式表示特定的神经网络,将测试该神经网络在实现目标用户行为方面的成功。神经网络的示例包括多层感知器、前馈神经网络、循环或递归神经网络、深层神经网络、浅层神经网络、全连接神经网络、稀疏连接神经网络、包括全连接神经网络的卷积神经网络、没有全连接神经网络的全卷积网络、深层堆积神经网络、深层信念网络、残差网络、回声状态网络、液体状态机、高速公路网络、lstm(长短期记忆)网络、门控循环单元(gru)、预训练和冻结神经网络等等。在图1的实现方式中,所有待测试的神经网络都是完全连接的,并且在输入层中有固定数量的神经元以及输出层中有固定数量的神经元。因此,不需要在个体中指定这些参数的值。每一个体确实为神经网络的其他超参数(hyperparameter)(例如网络的隐藏层的数量、每个隐藏层中的神经元的数量以及它们的互连权重)指定了值。因此,个体的超参数描述了神经网络的拓扑及其互连的系数。超参数是在图1的系统中的生育期间演变的值,且因此,表示个体的基因组。每一个体还识别其他信息,例如个体的当前适合度估计。根据一种实现方式的一组样本超参数包括以下内容:回到图1,由个体识别的神经网络定义了某些用户属性(在输入节点处提供)到具有一个或多个网页界面的相应漏斗的映射。在一种实现方式中,漏斗是网页界面的严格线性序列,而在另一实现方式中,漏斗可以包括分支。每个漏斗都具有多个“维度”(方面),神经网络可以为其分配值。响应于在输入节点处呈现的一组用户属性,神经网络在其输出节点处生成向量,该向量具有每个漏斗维度的值,可为每个漏斗维度分配值。每个漏斗都具有一种机制,可以通过所述机制检测目标用户行为的实现。在一种实现方式中,目标用户行为是最终用户的转换。对于每个漏斗,可以基于由设计人员、营销人员、广告商或内容创建人员定义的转换目标来检测转换。转换目标的示例包括用户到达漏斗的特定网页界面(例如,感谢页面)、用户点击漏斗的网页界面上的链接或按钮或其他用户界面元素、或设计人员定义的任何其他定制事件(例如,使用jquery)。转换目标的其他示例包括用户点击amazon.comtm上的“立即购买”按钮、用户点击电子邮件注册页面上的“注册”按钮、用户点击应用登录页面上的“立即下载”按钮、用户填写表单以下载报告、用户注册参与网络研讨会、用户完成购买过程、用户将商品添加到购物车、用户初始化购物车结账以及用户承诺读书。对于不同的漏斗和不同的测试环境,转换目标可能不同。由特定个体的神经网络输出的漏斗维度值以编码方式表示漏斗。一组规则(在本文中有时称为呈现数据库)定义了从漏斗维度值到用户将要体验的实际图像和交互的映射。例如,可以指定一组五个神经网络输出节点来选择漏斗的特定网页界面的主标题的文本的五个选择中的一个。呈现数据库中的规则是将此类节点的编码输出转换为标题的实际文本。首先,在图1的框102中,设计人员指定将被测试和优化的网页界面漏斗的基本方面的设计。在一种实现方式中,这包括输入神经元的数量、它们所代表的用户属性、输出神经元的数量、它们的分组(例如上面提到的编码主标题文本的选择的五个神经元)以及漏斗的其他视觉和交互元素。框102不包括指定漏斗的要演化的方面的值,因为这些方面将是超参数并且将在不同个体之间变化。然而,在一些实现方式中,框102可以包括为一个或多个种子个体指定超参数。在框104中,群体初始化模块生成初步个体池并将它们写入到候选个体群体106中。每一个体都识别该个体的超参数的相应的一组值。在一种实现方式中,可以随机生成初步池,而在另一实现方式中,可以使用预先指定的种子个体。读者将理解,创建候选个体的初始群体可能有许多其他选项。在候选个体群体106包含初始群体之后,开始循环,由此针对众多用户,测试群体中的每一个体,以估计该个体的神经网络的适合度。包括模块108、110、112和118的循环在此有时被称为候选测试模块120。优选地,针对具有大量属性的大量用户,测试神经网络,因为正在优化的项目的一部分是神经网络针对大量用户属性的成功的一致性。此外,优选地,大致同时对所有个体进行测试(但是针对不同的用户),以最小化可能由测试时间的差异而不是仅由个体的神经网络中的差异导致的性能变化。为了清楚起见,图1中仅示出了对一个个体的测试。应当理解,循环的多个实例可以用于一种特定实现方式中,候选个体群体106中的每一个体一个实例。前向传递模块框108接收待测试的特定候选个体的基因组(超参数值)。前向传递模块框108还接收用户属性数据114,并将其应用于由所接收到的一组超参数指定的神经网络的输入节点。用户属性数据描述了已经收集的关于当前用户的特性,但是尽管有其名称,不必限于该信息。它还可以包括非用户特定信息,例如当天是星期几。此外,尽管用户属性数据114在图1中被示为数据库,但是在其他实现方式中,它可以来自其他源,例如浏览器cookies、ip地址、第三方智能源,例如maxmindtm。如本文所使用的,用户属性数据114一般被认为来自用户属性数据的“源”。可以包括在设计中的用户属性数据的示例是站点访问行为(例如,访问次数、自上次访问以来的时间、在线购买模式、注册的用户数据)、访问源(例如,推荐者、广告词)、装置/浏览器、日期(例如,星期几、时刻、季节)、连接类型/isp/小区运营商、地理位置、人口统计(例如,语言(来自浏览器/装置))和其他可用属性,例如心理记录信息。前向传递模块框108的输出是特定漏斗变化的一组维度值,当前候选者的神经网络在给定所提供的用户属性的情况下指定使用该维度值。这些值被提供给前端呈现模块110,其将它们映射到前端值,例如用于漏斗的第三网页界面的主标题的特定文本选择、用于漏斗的第一网页界面上的徽标的特定颜色或css、以及用于漏斗的第四网页界面中的唤起行动的特定文本。然后,向用户呈现该漏斗以进行实时在线评估112。注意,由于漏斗不仅包括诸如图像之类的输出元素,而且还包括诸如按钮和链接之类的交互元素,因此,应当理解,术语“向用户呈现”通常涉及与用户的双向交互324。实时在线评估112的输出指示特定漏斗变化在当前用户会话中实现目标用户行为的成功。取决于设计的性能度量,输出可以是指示是否实现目标用户行为的二进制值,或者它可以是指示实现目标用户行为的程度的一个或多个值。例如,在转换优化实现方式中,如果性能度量是转换率,则实时在线评估112的输出可以仅指示是或否,在当前用户会话中实现或未实现该转换。如果性能度量基于所接收到的收益,则实时在线评估112的输出可以指示从当前用户会话实现的收益。在又一种实现方式中,性能度量不是绝对的,而是可相对于某种控制。例如,控制可以是固定的、不变的控制漏斗的性能,其可以与涉及候选个体的那些同时用于其他用户会话。适合度聚集模块118在使用当前候选个体的神经网络的所有用户会话上聚集当前候选个体的性能度量。聚集可以是平均值,或者可以是用于为个体开发组合适合度值的某一其他公式。将聚集性能度量与当前候选个体相关联地写入到候选个体群体池106中。如上所述,框108、110、112和118的循环的多个实例可在特定实现方式中大致同时使用,候选个体群体106中的每一个体一个实例。或者,可以在循环的单个实例中以交错方式使用不同的个体。此外,还可以使用这两种替代方案的混合方案。但是,最后,在多个用户会话中对所有要测试的个体进行测试,以便可以为每一个体获得对个体适合度的合理准确的估计。在一个示例中,候选个体群体池106可以包含50个个体,并且每一个体经历一组1000-2000次试验(用户会话)。图1中还示出了神经演化模块126。在来自候选个体群体106的所有被测试的个体都已经在完整的一组用户会话中被测试之后,神经演化模块126演化它们,以形成新一代个体。神经演化模块126包括竞争模块122。在一种实现方式中,演化计算利用竞争模块222,竞争模块在某些代中起作用。竞争模块122根据竞争测试模块120提供的更新的性能度量来更新候选个体群体106的内容。在一些实现方式中,竞争模块122丢弃不满足最小基线个体适合度(例如,由管理员预先设置或自动设置)的候选个体,或者丢弃其“个体适合度”相对滞后于类似测试的候选个体的“个体适合度”的候选个体。用修订的内容更新群体106。竞争模块122管理候选个体从一代到下一代的毕业。该过程可以被认为是一次一个候选个体毕业,如下所述。首先,针对自上次执行竞争模块122以来已经更新了性能度量的所有候选个体,开始循环。在一种实现方式中,如果当前候选个体的性能度量仍然低于基线个体适合度(例如,由管理员预先设置或自动设置),或者相对于其他候选个体的个体适合度而言足够滞后,则丢弃当前候选个体,并考虑下一个候选个体。如果当前个体的性能度量高于基线个体适合度(例如,由管理员预先设置或自动设置),或者与其他候选个体的个体适合度相对相等,则将当前候选个体添加到下一代。然后,该过程继续按顺序考虑下一个候选个体。在一种实现方式中,竞争模块122基于其“相对性能度量”而不是其绝对性能度量来评估候选个体。基于在第一时间段确定的控制个体的绝对性能度量和也在第一时间段确定的候选个体的绝对性能度量之间的差来计算候选个体的相对性能度量。因此,例如,如果在第一代期间创建的第一候选个体具有40%的绝对平均转换率,并且也在第一代中初始化的第一控制个体具有35%的绝对平均转换率,则第一候选个体的相对性能度量是5%(40%-35%=5%)。类似地,如果在第二代期间创建的第二候选个体具有45%的绝对平均转换率并且第二代中的第一控制个体的绝对平均转换率已经增加到42%,则第二候选个体的相对性能度量是3%(45%-42%=3%)。因此,基于各自的相对性能度量,来比较第一和第二候选个体,且发现第一候选个体比第一候选个体好2%(5%-3%=2%),即使第二候选个体的绝对性能度量比第一候选个体高5%(45%-40%=5%)。竞争模块122在一个个体和另一个体的相对性能度量之间进行的每个比较在这里有时被称为比较“实例”。在一种实现方式中,竞争模块122确定当前候选个体的相对性能度量是否超过候选个体群体106中最不适合的候选个体的相对性能度量。如果是,则丢弃最不适合的候选个体,并将当前候选个体移动到下一代。如果不是,则丢弃当前候选个体。然后,该过程继续按顺序考虑下一个候选个体。神经演化模块126还包括生育模块124。在更新候选个体群体106之后,生育模块124将根据来自候选个体群体106的相应一组一个或多个亲本个体和亲本的性能度量而形成的新个体添加到候选个体群体中。任何常规或未来开发的技术都可用于生育。在一种实现方式中,来自亲本个体的条件、输出或规则以各种方式组合以形成子个体(例如,与适合度相称的选择),且然后偶尔它们会变异。例如,组合过程可以包括交叉-即,在亲本个体之间交换条件、输出或整个规则以形成子个体。通过生育创造的新个体从指示为未定义的性能度量开始。生育模块124通过演化神经网络的超参数来形成新的个体。注意,生育模块124不演化输出漏斗的维度值。在一种实现方式中,生育模块124通过亲本个体的超参数值之间的交叉来形成新个体。在另一实现方式中,生育模块124至少部分地通过亲本个体的至少一个超参数值的变异来形成新个体。然后,用新个体来更新群体106。在新一代个体已经被写入到候选个体群体106中之后,框104、108、112和118的候选测试模块120通过另一组用户会话试验来重复。然后,神经演化模块126演化出第三代候选个体,依此类推。如果最佳神经网络的搜索空间不是太大,则可以理解,在足够多代个体之后,群体可能会收敛,使得进一步演化变得毫无意义。在这种情况下,实现方式可以收获一个或几个表现最好的个体,以便部署在所有或大多数将来的用户会话中。如上所述,个体的适合度部分地取决于其神经网络响应于不同的用户属性集来调整漏斗的程度。因此,非常适合的个体应该继续在许多类型的用户上表现良好。另一方面,无论如何继续演化个体可能是有益的,例如考虑到没有反映在提供给神经网络的用户属性中的环境变化。例如,对于消费者供应商的网站来说,这种变化可能发生在进入或退出节假日购物季的过渡期。如果在收敛后继续演化,那么即使收获的个体部署在其他未来的用户会话中,读者也会明白这样做的一些方法。作为一个示例,收获的个体可以散布有候选个体与不同用户会话一起使用。在这样的示例中,收获的个体的性能可以用作控制,对新候选个体进行评估。其他变化对读者来说是明显的。尽管图1的图示包括神经演化,但是应当理解,在另一实现方式中,可能不需要演化。例如,模块126可以包括竞争模块122,以便逐渐丢弃表现不佳的个体,但不包括用于重建群体的生育模块124。这样的系统包括存储候选个体群体106的存储器、框108、110、112和118的候选测试模块以及竞争模块122。通常,系统还将继续包括群体设计框102和群体初始化模块104。图1的系统的所有其他方面可以保持相同。在一些实现方式中,mlco系统使用可选的履行系统(未示出)。履行系统是由来自候选测试模块120的输出/动作信号自动控制的系统。例如,在网页测试环境中,履行系统是产品分发电子仓库(例如,amazon.comtm),其通过计算机网络(未示出)接收信号并采取适当的交易和交付动作。基因组图2示出了表示神经网络的基因组的一种实现方式。神经网络包括输入层、一个或多个隐藏层和输出层。神经演化模块126仅演化隐藏层。不演化输入和输出层。输入层将用户属性数据114作为输入,隐藏层使用非线性函数和网络权重来生成输入的替代表示,而输出层基于替代表示生成输出漏斗的维度值。这样,神经网络将用户属性数据114映射到输出漏斗的维度值。非线性函数的一些示例包括s形函数、校正线性单位(relu)、双曲正切函数、双曲正切函数的绝对值、泄漏relu(lrelu)和参数化relu(prelu)。输入层初始化输入层的超参数基于用户属性数据114,并且可以基于设计人员、营销人员、广告商或内容创建人员提供的规范来定义。在图2所示的示例中,输入层的神经元对应于用户属性,用户属性涉及星期几检测到用户活动、用户装置的操作系统(o/s)、用户装置的类型以及引导用户的广告组。在实现方式中,对这样的用户属性的选择基于设计人员在设计编辑器302的界面304上提供的规范。在其他实现方式中,设计人员可以指定其他用户属性,并且系统可以相应地使用它们来初始化输入层的超参数(例如,输入层中的神经元的数量)。在一些实现方式中,由设计人员指定的用户属性由输入层进行不同的处理。例如,可以通过具有“正弦、余弦”编码来初始化输入层,以利用一周内的循环模式,而不是采用“星期几”的分类值作为输入。在其他实现方式中,输入层的输入编码可以使用依赖于诸如二进制数据类型(0或1)、定量或数字数据类型、定性数据类型、离散数据类型、连续数据类型(具有下限和上限)、整数数据类型(具有下限和上限)、标称数据类型、序数或分级数据类型、分类数据类型、间隔数据类型和/或比率数据类型之类的数据类型的其他方案来表示。输出层初始化输出层的超参数根据设计人员定义的起始漏斗进行初始化。起始漏斗定义了由基因组表示的神经网络可以输出的起始漏斗的所有可能变化的漏斗搜索空间。漏斗搜索空间是通过使起始漏斗的起始维度和起始维度值经受组合操作来定义的。在一个示例中,如果设计人员指定了4个起始页面元素(例如,徽标、主标题、副标题、唤起行动)、7个可能的起始子元素和19个可能的起始子元素值,则通过使徽标的8个不同变化、主标题的5个不同变化、副标题的4个不同变化和唤起行动的4个不同变化经受组合操作(即,8x5x4x4=640)来定义具有维度和维度值的640个可能的组合的漏斗搜索空间。根据由用户属性数据114识别的输入值,神经网络输出识别漏斗搜索空间中的特定漏斗变化的维度值。因此,对于不同的输入值,神经网络输出不同的漏斗变化。参照图3,设计编辑器302包括作为界面304的一部分的各种界面组件,设计人员、营销人员、广告商或内容创建人员使用这些界面组件来实现mlco工作流。特别地,设计人员使用设计编辑器302来:指定要用作由基因组表示的神经网络的输入的用户属性;指定要用作由基因组表示的神经网络输出的维度和维度值;为基因组所表示的神经网络的输出漏斗设置转换目标;为由基因组所表示的神经网络设置性能度量;预览测试;以及部署测试。运行时环境被示为312。图4示出了具有三个起始网页界面(例如,一个登陆页面和两个漏斗页面)的起始漏斗的一种实现方式。在一种实现方式中,起始网页界面在起始漏斗中通过它们各自的访问路径(例如,统一资源定位符(url))来识别,并且以拓扑序列排列。通常,拓扑序列确定最终用户在漏斗中遵循的路径,以完成为漏斗定义的转换目标。拓扑序列由设计人员通过界面304以图形方式设置并逻辑地存储在存储器中。图4还描绘了“定义转换目标”按钮,其允许设计人员为起始漏斗设置转换目标。转换目标的示例还包括“增加向导”或“增加收益”。设计人员还定义将考虑哪种类型的事件来指示已发生转换,例如访问感谢页面、单击按钮或链接或自定义事件。设置转换目标后,设计人员会指定性能度量。如上所述,mlco系统使用性能度量来评估候选个体在测试期间的性能。然后,为起始漏斗生成网页界面布局。如本文所使用的,“网页界面布局”仅仅是一个模板,在该模板中插入维度的替代值,以便定义漏斗的特定网页界面。在一种实现方式中,网页界面布局显示在由设计人员从具有不同屏幕画布的装置(例如,智能手机、平板电脑、计算机、可穿戴装置)的选项中选择的模拟装置上。在一些实现方式中,装置的选项列出了不同的装置模型,例如iphone6tm、samsunggalaxys6tm等。图5示出了网页界面布局的一种实现方式以及可应用于网页界面布局的不同维度和维度值。然后,设计人员为起始漏斗的每个起始网页界面选择要包括在网页界面布局中的不同页面元素(这里称为“起始维度”)。在一种实现方式中,设计人员还指定页面元素的类型。例如,页面元素的名称是“干净、棒和多用途”,页面元素的类型是“标题-主要”。进一步,设计人员为起始漏斗的每个起始网页界面定义了不同的子元素(在此也称为“起始维度”)。子元素的示例包括文本、格式/css(级联样式表)、页面元素隐藏、页面元素移除、类、html、自定义jquery和图像。在一些实现方式中,设计人员可以激活或停用一些子元素(例如,使用下拉列表)。在一种实现方式中,通过删除线在界面304上显示非活动子元素。在其他实现方式中,设计编辑器302自动使一些子元素活动而使其他子元素不活动。然后,设计人员为每个定义的子元素设置子元素值(这里称为“起始维度值”)。此外,设计人员还为每个定义的子元素设置控制子元素值和一个或多个测试子元素值。在其他实现方式中,设计编辑器302自动设置子元素的默认控制值。例如,对于页面元素“标题-主要”,控制子元素值被设置为“干净、棒和多用途”,和测试子元素值被设置为“光滑、棒和强”、“新、快、更好”、“闪亮、比竞争对手好”和“你能买到的最好”。类似地,在其他实现方式中,不同的页面元素和对应的子元素和子元素值可以被定义为起始漏斗的每个起始网页界面的起始维度和起始维度值的集合。漏斗的每个网页界面都可以被视为基于矢量的搜索空间中的一个点。矢量空间中的每个维度轴都对应于一个页面元素,且沿给定轴的每个不同坐标位置都表示该页面元素的设计人员指定的替代方案中的一个。例如,在图5中,唤起行动维度具有四个坐标位置(值或替代选项),即“走吧!”、“去参加拍卖吧!”、“赢了拍卖!”以及“现在就赢!”。漏斗的特定网页界面为每个页面元素/维度指定一个值。图6示出了漏斗的网页界面的一种实现方式。在图6中,网页界面由不同页面元素/维度在网页界面布局中的排列或位置以及页面元素/维度的对应性质或值来定义,包括图片(页面元素/维度)、背景图像(页面元素/维度)、背景颜色(页面元素性质/维度值)、标题副本(页面元素/维度)、标题副本的字体和颜色(页面元素性质/维度值)、徽标的显现或隐藏(页面元素/维度)、副标题副本(页面元素/维度)、副标题副本的字体和颜色(页面元素性质/维度值)、描述副本(页面元素/维度)、描述副本的字体和颜色(页面元素性质/维度值)、电话唤起行动(页面元素/维度)、电话唤起行动的类型、格式和颜色(页面元素性质/维度值)、表单设计(页面元素/维度)、按钮(页面元素/维度)以及按钮的形状、颜色和文本(页面元素性质/维度值)的选择。设计人员可以使用任何数据类型来定义起始漏斗的起始维度和起始维度值。一些数据类型的示例包括二进制数据类型(0或1)、定量或数字数据类型、定性数据类型、离散数据类型、连续数据类型(具有下限和上限)、整数数据类型(具有下限和上限)、标称数据类型、序数或分级数据类型、分类数据类型、间隔数据类型和/或比率数据类型。例如,起始维度和起始维度值可以基于0和1之间的实值、0和256之间的诸如红、绿、蓝(rgb)值之类的连续值、css颜色的十六进制值(例如,#f0f8ff)、css颜色的分类颜色值(例如,aliceblue)、其他css性质组和性质(例如在web上在<http://www.w3schools.com/cssref/#animation>列出的性质)的相应值、特定维度(例如,高度和宽度)的大小、一组不同的值和数据类型(例如,不同的数字美元价格值或不同数字美元价格值与高度和宽度的组合)等或前述各项的任何组合。一旦创建,就通过界面304向设计人员呈现起始漏斗及其构成起始网页界面的预览。通过理解起始漏斗的定义,现在讨论转向如何基于起始漏斗在运行时初始化由基因组表示的神经网络的输出层。图7是将起始漏斗的编辑器设计表示702变换为运行时设计表示712的一种实现方式的符号图。在运行时322,由设计人员定义的起始漏斗的编辑器设计表示702被变换为运行时设计表示712。在图7中使用的示例中,编辑器设计表示702包括“树”。输出层及其超参数可以基于树的任何级别。树的根是执行测试的最高粒度级别。对于网站或移动网页,根是域。对于移动应用,根是应用。对于电子邮件,根是电子邮件;主题和页面是树的下一级。对于其他应用(例如广告),可以使用不同的映射。在网页和移动应用领域,一个网站有1个到n个漏斗;每个漏斗都有一个目标,和1到n页。每个页面都有1到n个元素簇。每个簇都有1到n个元素。每个元素都有一组子元素,用于更改元素的性质。如本文所使用的,子元素也是元素。每个子元素都具有1到n个值。在其他实现方式中,结构可能不同。例如,元素可能没有聚类,或者表示可能根本不是分层的。图8示出了使用由设计人员定义的起始漏斗的不同粒度级别来初始化输出层的不同示例性实现。在图8所示的示例中,输出层及其超参数可以基于簇802、元素804、子元素806或子元素值808或其任意组合。因此,输出层可以被配置为以任何格式提供输出。在一个示例中,输出可以是二进制编码810的形式。其他输出格式的示例包括定量或数字数据类型、定性数据类型、离散数据类型、连续数据类型(具有下限和上限)、整数数据类型(具有下限和上限)、标称数据类型、序数或分级数据类型、分类数据类型、间隔数据类型和/或比率数据类型。例如,输出可以基于0和1之间的实值、0和256之间的诸如红、绿、蓝(rgb)值之类的连续值、css颜色的十六进制值(例如,#f0f8ff)、css颜色的分类颜色值(例如,aliceblue)、其他css性质组和性质(例如在web上在<http://www.w3schools.com/cssref/#animation>列出的性质)的相应值、特定维度(例如,高度和宽度)的大小、一组不同的值和数据类型(例如,不同的数字美元价格值或不同数字美元价格值与高度和宽度的组合)等或前述各项的任何组合。此外,可以采用各种解释方案来解释输出层的输出。例如,在图2所示的示例中,使用二进制编码来解释输出漏斗的子元素和元素的值。在其他实现方式中,可以使用输出层的少得多的输出神经元的连续编码来为元素值和/或子元素值提供连续输出,并且可以利用“基于范围”的解释方案来确定子元素的对应的值。在其他实现方式中,“预测”解释方案可以包括根据由输出层识别的另一组元素和/或子元素的值来预测一组元素和/或子元素的值。读者将理解许多其他选项是可能的解释方案。前端呈现图9和图10示出了根据由个体的基因组表示的一个或多个神经网络产生的维度值来生成一个或多个网页界面的输出漏斗以便向最终用户进行前端呈现的一种实现方式。图10示出了四组维度值,基于其生成了四个网页界面。图9还示出了每个输出漏斗的维度值由二进制序列(字符串)表示。每个二进制序列都进一步划分为子序列(子字符串)。每个子序列都表示输出漏斗的维度和对应的维度值。因此,每个子序列都识别要根据输出集(os1到os4)生成的网页界面的子元素和对应的子元素值。在网页界面是包括内容的前端(例如,图形)对象的实现方式中,子序列识别将被包括在基于输出集(os1到os4)生成的网页界面中的前端(例如,图形)元素/组件以及对应元素/组件值。注意,在图9和图10的实现方式中,输出集(os1到os4)的每个元素都被编码为被分组为子序列的比特的固定长度的子字符串。例如,副标题元素具有分组为两个子序列的四个比特。对于每个子序列,只有一个比特可以是活动的或“热”的(例如,由“1”表示),以便从一组可用的维度值中识别特定的维度值。最左边的比特表示子序列的“控制”值,在一个示例中,对于主标题,该值可以表示“纯文本”。例如,第二、第三和第四比特可以分别表示“粗体”、“斜体”和“粗体下划线”。应当理解,在不同的实现方式中,许多其他编码是可能的。例如,可以使用2比特数值,“0”表示控制,“1”表示“粗体”,“2”表示“斜体”,和“3”表示“粗体下划线”。在图9和图10的其他实现方式中,输出集可以被表示,并且包括使用依赖于除二进制数据类型(0或1)之外的数据类型的其他方案编码的元素,数据类型是,诸如定量或数字数据类型、定性数据类型、离散数据类型、连续数据类型(具有下限和上限)、整数数据类型(具有下限和上限)、标称数据类型、序数或分级数据类型、分类数据类型、间隔数据类型和/或比率数据类型。例如,图9和图10中的输出集和构成元素的编码可以基于0和1之间的实值、0和256之间的诸如红、绿、蓝(rgb)值之类的连续值、css颜色的十六进制值(例如,#f0f8ff)、css颜色的分类颜色值(例如,aliceblue)、其他css性质组和性质(例如在web上在<http://www.w3schools.com/cssref/#animation>列出的性质)的相应值、特定维度(例如,高度和宽度)的大小、一组不同的值和数据类型(例如,不同的数字美元价格值或不同数字美元价格值与高度和宽度的组合)等或前述各项的任何组合。如上所述,输出集(os1到os4)由前向传递模块108生成并提供。然后,前端呈现模块110利用呈现数据库920和呈现模块910将输出集(os1到os4)变换为一个或多个网页界面的输出漏斗。呈现数据库920用作规则库,其识别漏斗的每个维度的至少一个可用值中的每一个的前端元素值。呈现模块910将输出集中的选定的一个应用于呈现数据库920,以确定对应于由选定输出集识别的维度值的前端元素值。因此,呈现模块910能够针对呈现数据库920,评估由前向传递模块108提供的输出集,基于该输出集,生成漏斗的适当变化。呈现数据库920包括各种元素规则。在呈现数据库920中,为漏斗搜索空间中的所有可能维度提供元素规则,即,可以被包括在网页界面中的所有可能的前端(例如,图形)元素/组件。而且,每个元素规则都包括识别给定维度或页面元素/组件的所有可能维度值或页面元素/组件值的指针。例如,“副标题”元素规则包括用于“副标题”元素的所有可能性质(例如颜色、文本、大小、位置等)的指针。对于选定的输出集,呈现模块910访问呈现数据库920,并评估选定输出集中的每个子序列的适用元素规则。在图9的示例中,针对所有徽标子序列,识别元素1规则,针对所有主标题子序列,识别元素2规则,针对所有副标题子序列,识别元素3规则,和针对所有动作按钮子序列,识别元素4规则。此外,每个元素规则都识别用于相应子序列值的指针,并生成对应的前端(例如,图形)元素/组件和元素/组件值。在一种实现方式中,当每个维度的可用值中的一个是默认值时,所得漏斗具有用于每个维度的默认维度值的默认前端元素值。在这样的实现方式中,呈现模块910将选定的输出集应用于呈现数据库920,以确定对应于由选定输出集识别的除了每个维度的默认维度值之外的所有维度值的前端元素值。在其他实现方式中,利用漏斗定制规范存储器,其针对网络界面漏斗的特定变化,存储漏斗的每个维度的值。在这样的实现方式中,呈现模块910向用户呈现漏斗,该漏斗具有前端元素值,这些前端元素值由呈现数据库920指示为对应于存储在漏斗定制规范存储器中的维度值。漏斗定制规范存储器也使用漏斗的每个维度的一组新值来进行更新。响应于用于进入漏斗的用户行为(例如,用户经由浏览器提供登陆页面url),检索漏斗定制规范存储器的更新值。另外,呈现模块910还响应于用户行为(例如,用户经由浏览器提供登陆页面url)来访问呈现数据库920。在一种实现方式中,当每个维度的可用值中的一个是默认值时,漏斗具有用于每个维度的默认维度值的默认前端元素值。在这样的实现方式中,由呈现模块910向用户呈现的漏斗具有前端元素值,这些前端元素值由呈现数据库920指示为对应于在漏斗定制规范存储器中识别的除了每个维度的默认维度值之外的所有维度值。在图10中,呈现模块910根据每个输出集(os1至os4),生成四个网页界面(wi1到wi4)。每个网页界面都包括由呈现数据库920中的规则识别的前端(例如,图形)元素/组件以及元素/组件值。然后,将网页界面(wi1到wi4)呈现给最终用户以进行实时在线评估112。在所公开的技术的服务器侧实现方式中,在服务器处实现并执行前向传递模块108,使得神经网络在服务器处运行。在所公开的技术的客户端侧实现方式中,在用户装置处实现并执行前向传递模块108,使得神经网络在用户装置处运行。机器学习用户装置(mlud)图11示出了在此称为“机器学习用户装置”(mlud)的改进的用户装置的一种实现方式。在图11中,最终用户使用在mlud1104上运行的浏览器来访问供应商网站。供应商web服务器被配置为响应于最终用户访问供应商网站,将转换代码段作为网页的一部分部署到mlud1104。在将转换片段发送到mlud1104之后并且在将网页渲染给最终用户之前,转换代码段调用网络服务器基础设施。网络服务器基础设施包括候选测试模块120、候选个体群体106和内容分发网络(cdn)1108。部署在mlud1104处的转换代码段从cdn1108检索呈现文件930,并将呈现文件930存储在mlud1104处。cdn1108预加载有呈现文件930。当今常见的cdn服务的示例包括akamaitm、cloudflaretm、cloudfronttm、fastlytm、maxcdntm、keycdntm、incapsulatm以及globaldotstm。呈现文件930包括如上所述的呈现数据库920和呈现模块910。然后,部署在mlud1104处的转换代码段向候选测试模块120请求基因组。作为响应,候选测试模块120从候选个体群体106中检索基因组,并将选定的基因组递送到mlud1104。然后,mlud1104在从候选测试模块120接收到选定的基因组和从cdn1108接收到呈现文件930之后,使用用户属性数据114作为输入来执行由基因组表示的神经网络,并且产生用于输出漏斗的维度值。在一种实现方式中,mlud1104利用本地前向传递模块来执行由基因组表示的神经网络。然后,mlud1104执行呈现模块910。如上所述,呈现模块910对照呈现数据库920的规则评估维度值,并生成一个或多个网页界面的输出漏斗。因此,改进了标准用户装置以执行神经网络并生成算法演进的网页界面。机器学习内容分发网络(mlcdn)图12示出了在此称为“机器学习内容分发网络”(mlcdn)的改进的内容分发网络(cdn)的一种实现方式。在图12中,最终用户使用在用户装置1202上运行的浏览器来访问供应商网站。供应商web服务器被配置为响应于最终用户访问供应商网站,将转换代码段作为网页的一部分部署到用户装置1202。在将转换代码段发送到用户装置1202之后并且在将网页渲染给最终用户之前,转换代码段调用网络服务器基础设施。网络服务器基础设施包括候选测试模块120、候选个体群体106和内容分发网络(cdn)1108。mlcdn1204预加载有呈现文件930。呈现文件930包括上面讨论的呈现数据库920和呈现模块910。然后,mlcdn1204向候选测试模块120请求基因组。作为响应,候选测试模块120从候选个体群体106中检索基因组,并将选定的基因组递送到mlcdn1204。然后,具有选定的基因组和呈现文件1330两者的mlcdn1204使用用户属性数据114作为输入来执行由基因组表示的神经网络,并产生输出漏斗的维度值。在一种实现方式中,mlud1104利用本地前向传递模块来执行由基因组表示的神经网络。然后,mlcdn1204执行呈现模块910。如上所述,呈现模块910对照呈现数据库920的规则评估维度值,并生成一个或多个网页界面的输出漏斗。因此,改进了标准用户装置以执行神经网络并生成算法演进的网页界面。然后,mlcdn1204执行呈现模块910。如上所述,呈现模块910对照呈现数据库920的规则评估维度值,并生成一个或多个网页界面的输出漏斗。因此,改进了标准cdn以执行神经网络,并生成算法演进的网页界面。计算机系统图13是可用于实现所公开的技术的计算机系统的简化框图。计算机系统1310通常包括经由总线子系统1312与多个外围装置进行通信的至少一个处理器1314。这些外围装置可以包括存储子系统1324(存储子系统包括例如存储器装置和文件存储子系统)、用户界面输入装置1322、用户界面输出装置1318和网络接口子系统1316。输入和输出装置允许用户与计算机系统1310进行交互。网络接口子系统1316提供到外部网络的接口,包括到其他计算机系统中的对应接口装置的接口。在一种实现方式中,转换系统104可通信地链接到存储子系统1324和用户界面输入装置1322。用户界面输入装置1322或客户端或客户端装置可以包括键盘;诸如鼠标、轨迹球、触摸板或图形输入板之类的指示装置;扫描仪;结合到显示器中的触摸屏;音频输入装置,例如语音识别系统和麦克风;以及其他类型的输入装置。通常,术语“输入装置”的使用旨在包括将信息输入计算机系统1310中的所有可能类型的装置和方式。用户界面输出装置1318可以包括显示子系统、打印机、传真机或诸如音频输出装置之类的非可视显示器。显示子系统可包括阴极射线管(crt)、诸如液晶显示器(lcd)之类的平板装置、投影装置或用于产生可视图像的某一其他机构。显示子系统还可以提供非可视显示器,例如音频输出装置。通常,术语“输出装置”的使用旨在包括将信息从计算机系统1310输出到用户或另一个机器或计算机系统的所有可能类型的装置和方式。存储子系统1324存储提供这里描述的一些或所有模块和方法的功能的编程和数据结构。这些软件模块通常由处理器1314单独执行或与其他处理器组合执行。存储子系统中使用的存储器1326可以包括多个存储器,包括用于在程序执行期间存储指令和数据的主随机存取存储器(ram)1334和存储固定指令的只读存储器(rom)1332。文件存储子系统1328可以为程序和数据文件提供持久存储,并且可以包括硬盘驱动器、软盘驱动器以及相关联的可移动介质、cd-rom驱动器、光盘驱动器或可移动介质盒。实现某些实现方式的功能的模块可以由文件存储子系统1328存储在存储子系统1324中,或者存储在处理器可访问的其他机器中。总线子系统1312提供用于使计算机系统1310的各种组件和子系统按预期彼此进行通信的机制。虽然总线子系统1312被示意性地示为单条总线,但是总线子系统的替代实现方式可以使用多条总线。应用服务器1320可以是一种框架,其允许计算机系统1310的应用运行例如硬件和/或软件,例如操作系统。计算机系统1310本身可以是各种类型,包括个人计算机、便携式计算机、工作站、计算机终端、网络计算机、电视机、大型机、服务器场、广泛分布的松散联网的计算机组、或任何其他数据处理系统或用户装置。由于计算机和网络的性质不断变化,因此,图13中描述的计算机系统1310的描述仅旨在作为用于说明本发明的优选实施方案的特定示例。计算机系统1310的许多其他配置可能具有比图13中描绘的计算机系统更多或更少的组件。条款以下条款描述了与本发明的各方面有关的系统和方法的各种示例的各方面。条款2s1.一种促进预定目标用户行为的计算机实现的网页界面生成和测试系统,其包括:存储具有候选个体群体的候选数据库的存储器,所述候选个体的每个都识别所述候选个体的多个超参数的相应值,所述超参数描述相应神经网络的拓扑和用于所述相应神经网络的互连的系数,所述神经网络的每个都将用户特性映射到具有一个或多个网页界面的相应漏斗,每个漏斗都具有多个维度,可以由所述神经网络给所述维度分配值,并且还具有一种机制,可以通过所述机制检测所述目标用户行为的实现,并且所述神经网络识别可以为其分配值的每个所述维度的值;群体初始化模块,其将候选个体的初步池写入到所述候选个体群体中;候选测试模块,其通过使所述漏斗经受实时在线评估来测试所述候选个体群体中的所述候选个体的每个,所述候选测试模块根据所述实时在线评估,为所述候选个体的每个开发性能度量,所述性能度量是所述候选个体在实现所述目标用户行为方面的成功的指示符;生育模块,其将根据来自所述候选个体群体的相应一组一个或多个亲本个体和亲本的性能度量而形成的新个体添加到所述候选个体群体;以及控制模块,其迭代所述候选测试模块和所述生育模块。条款2s2.如条款2s1所述的系统,其中所述生育模块形成所述新个体中的一个,使得所述新个体的基因是按适合度比例从所述候选个体群体中的所述亲本个体中选择的。条款2s3.如条款2s1所述的系统,其还被配置为包括竞争模块,其根据所述开发的性能度量来从所述候选个体群体中选择用于丢弃的经历所述实时在线评估的个体。条款2s4.如条款2s3所述的系统,其中所述生育模块向所述候选个体群体添加新个体,所述新个体是根据来自所述候选个体群体并且尚未被选择用于丢弃的相应一组一个或多个亲本个体形成的。条款2s5.如条款2s4所述的系统,所述生育模块至少部分地通过两个选定的亲本个体的超参数值之间的交叉来形成新个体。条款2s6.如条款2s4所述的系统,其中所述生育模块至少部分地通过亲本个体的至少一个超参数值的变异来形成新个体。条款2s7.如条款2s3所述的系统,其中所述控制模块迭代所述候选测试模块、所述竞争模块和所述生育模块。条款2s8.如条款2s1所述的系统,其中由所述候选个体的每个识别的所述神经网络包括神经元的输入层、神经元的输出层和至少一个隐藏的神经元层,其中所述输入层中的多个神经元是为所有候选个体先验地配置的,并且其中所述生育模块使得添加到所述候选个体群体中的所有新个体在所述输入层中具有与该个体的亲本相同数量的神经元。条款2s9.如条款2s1所述的系统,其中由所述候选个体的每个识别的所述神经网络包括神经元的输入层、神经元的输出层和至少一个隐藏的神经元层,其中所述输出层中的多个神经元是为所有候选个体先验地配置的,并且其中所述生育模块使得添加到所述候选个体群体中的所有新个体在所述输出层中具有与该个体的亲本相同数量的神经元。条款2s10.如条款2s1所述的系统,其中所述目标用户行为是最终用户的转换。条款2s11.如条款2s10所述的系统,其中由所述候选测试模块开发的所述性能度量基于由候选个体的神经网络产生并经受所述实时在线评估的一组漏斗的转换率。条款2s12.如条款2s10所述的系统,其中由所述候选测试模块开发的所述性能度量基于从由候选个体的神经网络产生并经受所述实时在线评估的一组漏斗接收到的收益。条款2s13.一种用于生成改进的网页界面的计算机实现的系统,用于与用户属性数据源一起使用,所述系统包括:存储具有基因组池的候选数据库的存储器,所述基因组的每个都通过识别所述基因组的多个超参数的相应值来识别相应的神经网络,所述超参数描述所述相应神经网络的拓扑以及所述相应神经网络的互连的系数,所述相应的神经网络根据来自所述用户属性数据的不同组的用户属性值来产生一个或多个网页界面的输出漏斗,每个基因组还具有与其相关联的存储装置,用于指示相应的适合度估计;以及基因组池处理器,其:针对用户属性数据,测试来自所述基因组池的基因组,正在被测试的每个基因组都经历有至少一个试验的相应一组试验,每个试验都将相应的一组用户属性值应用于所述相应基因组的所述神经网络,以产生对应的输出漏斗,根据在所述试验组中所述基因组的所述神经网络在产生输出漏斗时的预定适合度度量,更新与正在被测试的所述基因组的每个相关联的所述适合度估计,以及根据基因组更新的适合度估计,从所述基因组池中选择用于丢弃的基因组。条款2s14.如条款2s13所述的系统,其中所述神经网络中的给定一个的所述预定适合度度量取决于在所述试验组中由所述给定神经网络产生的所述输出漏斗的转换率。条款2s15.如条款2s13所述的系统,其中所述神经网络中的给定一个的所述预定适合度度量取决于在所述试验组中由所述给定神经网络产生的所述输出漏斗的收益率。条款2s16.如条款2s13所述的系统,其中与正在被测试的所述基因组中的给定每个相关联的所述适合度估计的每次更新都改进了与所述给定基因组相关联的所述适合度估计。条款2s17.如条款2s13所述的系统,其中所述基因组池处理器还包括生育模块,其根据来自所述基因组池的相应一组一个或多个亲本基因组,形成新的基因组。条款2s18.如条款2s13所述的系统,其中每个试验组都包括多个试验。条款2m1.一种促进预定目标用户行为的计算机实现的网页界面生成和测试方法,其包括:提供存储具有候选个体群体的候选数据库的存储器,所述候选个体的每个都识别所述候选个体的多个超参数的相应值,所述超参数描述相应神经网络的拓扑和用于所述相应神经网络的互连的系数,所述神经网络的每个都将用户特性映射到具有一个或多个网页界面的相应漏斗,每个漏斗都具有多个维度,可以由所述神经网络给所述维度分配值,并且还具有一种机制,可以通过所述机制检测所述目标用户行为的实现,并且所述神经网络识别可以为其分配值的所述维度的每个的值;群体初始化步骤,其将候选个体的初步池写入到所述候选个体群体中;候选测试步骤,其通过使所述漏斗经受实时在线评估来测试所述候选个体群体中的所述候选个体的每个,所述候选测试模块根据所述实时在线评估,为所述候选个体的每个开发性能度量,所述性能度量是所述候选个体在实现所述目标用户行为方面的成功的指示符;生育步骤,其将根据来自所述候选个体群体的相应一组一个或多个亲本个体和亲本的性能度量而形成的新个体添加到所述候选个体群体;以及在所述生育步骤之后重复所述候选测试步骤的迭代步骤。条款2m2.如条款2m1所述的方法,其中所述生育步骤形成所述新个体中的一个,使得所述新个体的基因是按适合度比例从所述候选个体群体中的所述亲本个体中选择的。条款2m3.如条款2m1所述的方法,其还包括竞争步骤,其在生育步骤之前,根据所述开发的性能度量来从所述候选个体群体中选择用于丢弃的经历所述实时在线评估的个体。条款2m4.如条款2m3所述的方法,其中所述生育步骤向所述候选个体群体添加新个体,所述新个体是根据来自所述候选个体群体并且尚未被选择用于丢弃的相应一组一个或多个亲本个体形成的。条款2m5.如条款2m4所述的方法,所述生育步骤至少部分地通过两个选定的亲本个体的超参数值之间的交叉来形成新个体。条款2m6.如条款2m4所述的方法,其中所述生育步骤至少部分地通过亲本个体的至少一个超参数值的变异来形成新个体。条款2m7.如条款2m3所述的方法,其中所述迭代步骤在重复所述候选测试步骤之后重复所述竞争步骤。条款2m8.如条款2m1所述的方法,其中由所述候选个体的每个识别的所述神经网络包括神经元的输入层、神经元的输出层和至少一个隐藏的神经元层,其中所述输入层中的多个神经元是为所述候选数据库中的所有候选个体先验地配置的,并且其中所述生育步骤使得添加到所述候选个体群体的所有新个体在所述输入层中具有与该个体的亲本相同数量的神经元。条款2m9.如条款2m1所述的方法,其中由所述候选个体的每个识别的所述神经网络包括神经元的输入层、神经元的输出层和至少一个隐藏的神经元层,其中所述输出层中的多个神经元是为所述候选数据库中的所有候选个体先验地配置的,并且其中所述生育步骤使得添加到所述候选个体群体的所有新个体在所述输出层中具有与该个体的亲本相同数量的神经元。条款2m10.如条款2m1所述的方法,其中所述目标用户行为包括最终用户的转换。条款2m11.如条款2m10所述的方法,其中在所述候选测试步骤中针对所述候选个体群体中的所述候选个体的每个开发的所述性能度量有利于神经网络产生在经受所述实时在线评估时具有更高转换率的漏斗的个体。条款2m12.如条款2m10所述的方法,其中在所述候选测试步骤中针对所述候选个体群体中的所述候选个体的每个开发的所述性能度量有利于神经网络产生在经受所述实时在线评估时产生接收更高收益的漏斗的个体。条款2m13.一种用于生成改进的网页界面的计算机实现的方法,用于与用户属性数据源一起使用,所述方法包括:提供存储具有基因组池的候选数据库的存储器,所述基因组的每个都通过识别所述基因组的多个超参数的相应值来识别相应的神经网络,所述超参数描述所述相应神经网络的拓扑以及所述相应神经网络的互连的系数,所述相应的神经网络根据来自所述用户属性数据的不同组的用户属性值来产生一个或多个网页界面的输出漏斗,每个基因组还具有与其相关联的存储装置,用于指示相应的适合度估计;以及提供基因组池处理器,其:针对用户属性数据,测试来自所述基因组池的基因组,正在被测试的每个基因组都经历有至少一个试验的相应一组试验,每个试验都将相应的一组用户属性值应用于所述相应基因组的所述神经网络,以产生对应的输出漏斗,根据在所述试验组中所述基因组的所述神经网络在产生输出漏斗时的预定适合度度量,更新与正在被测试的所述基因组的每个相关联的所述适合度估计,以及根据基因组更新的适合度估计,从所述基因组池中选择用于丢弃的基因组。条款2m14.如条款2m13所述的方法,其中被测试的所述基因组的每个的所述预定适合度度量有利于神经网络产生在所述试验组中产生更高的转换率的输出漏斗的基因组。条款2m15.如条款2m13所述的方法,其中被测试的所述基因组的每个的所述预定适合度度量有利于神经网络产生在所述试验组中产生更高的收益率的输出漏斗的基因组。条款2m16.如条款2m13所述的方法,其中与正在被测试的所述基因组中的给定每个相关联的所述适合度估计的每次更新都改进了与所述给定基因组相关联的所述适合度估计。条款2m17.如条款2m13所述的方法,其中所述基因组池处理器进一步执行生育步骤,其根据来自所述基因组池的相应一组一个或多个亲本基因组,形成新的基因组。条款2m18.如条款2m13所述的方法,其中每个试验组都包括多个试验。条款3s1.一种计算机实现的网页界面产生和部署系统,用于与用户属性数据源一起使用,所述系统包括:存储具有候选个体群体的候选数据库的存储器,所述候选个体的每个都识别所述候选个体的多个超参数的相应值,所述超参数描述相应神经网络的拓扑和用于所述相应神经网络的互连的系数,所述神经网络的每个都将用户特性映射到具有一个或多个网页界面的相应漏斗,每个漏斗都具有多个漏斗维度,可以由所述神经网络给所述维度分配值,并且所述神经网络识别可以为其分配值的所述维度的每个的值;呈现数据库,其识别所述漏斗的所述维度的每个的至少一个可用值中的每一个的前端元素值;以及呈现模块,其:a.根据由所述候选个体中的选定候选个体描述的所述神经网络,确定由所述神经网络根据来自所述用户属性数据源的用户属性数据所识别的漏斗维度值,b.将所述所识别的漏斗维度值应用于所述呈现数据库,以确定对应于所述所识别的漏斗维度值的前端元素值,以及c.向用户呈现具有所述所确定的前端元素值的漏斗。条款3s2.如条款3s1所述的系统,其中所述维度的每个的所述可用值中的一个是默认值,其中所述漏斗具有所述维度的每个的默认维度值的默认前端元素值,以及其中所述呈现模块应用对应于由所述神经网络识别的除了所述维度的每个的所述默认维度值之外的所有维度值的所述前端元素值。条款3s3.一种用于可定制的网页界面漏斗的计算机实现的部署系统,所述漏斗是可沿多个维度定制的,所述系统包括:呈现数据库,其识别所述漏斗的所述维度的每个的至少一个可用值中的每一个的前端元素值;神经网络规范存储器,对于神经网络的特定变化,其存储描述所述神经网络的拓扑和用于所述神经网络的互连的系数的多个超参数中的每一个的值,所述神经网络将用户属性映射到具有一个或多个网页界面的相应漏斗,每个漏斗都具有多个漏斗维度,可以由所述神经网络给所述维度分配值,并且所述神经网络识别可以为其分配值的所述维度的每个的值;以及呈现模块,其:a.根据由存储在所述神经网络定制规范存储器中的所述值描述的所述神经网络,确定由所述神经网络根据用户属性数据所识别的漏斗维度值,b.将所述所识别的漏斗维度值应用于所述呈现数据库,以确定对应于所述所识别的漏斗维度值的前端元素值,以及c.向用户呈现具有所述所确定的前端元素值的漏斗。条款3s4.如条款3s3所述的系统,其中所述维度的每个的所述可用值中的一个是默认值,其中所述漏斗具有所述漏斗维度的每个的所述默认值的默认前端元素值,以及其中由所述呈现模块向所述用户呈现的所述漏斗具有前端元素值,所述前端元素值由所述呈现数据库指示为对应于由所述神经网络识别的除了所述漏斗维度的每个的所述默认维度值之外的所有所述漏斗维度值。条款3s5.如条款3s3所述的系统,其还被配置为利用所述超参数的每个的一组新值来更新所述神经网络定制规范存储器。条款3s6.如条款3s3所述的系统,其中所述系统响应于用于进入漏斗的用户行为来针对所述神经网络定制规范存储器检索所述值。条款3s7.如条款3s6所述的系统,其中所述系统还响应于用户行为来检索所述呈现数据库。条款3s8.一种计算机实现的网页界面产生和部署系统,其包括:存储具有候选个体群体的候选数据库的存储器,所述候选个体的每个都识别所述候选个体的多个超参数的相应值,所述超参数描述相应神经网络的拓扑和用于所述相应神经网络的互连的系数,所述神经网络的每个都将用户属性映射到具有一个或多个网页界面的相应漏斗,每个漏斗都具有多个漏斗维度,可以由所述神经网络给所述维度分配值,并且所述神经网络识别可以为其分配值的所述漏斗维度的每个的值;以及网络服务器基础设施,其响应于通过网络接收到的一个或多个第一请求,向第一客户端计算机系统传回:a.呈现数据库,其识别所述漏斗的所述维度的每个的至少一个可用值中的每一个的前端元素值,b.由所述群体中的所述候选个体中的第一选定候选个体识别的一组所述神经网络超参数值,以及c.呈现模块,其:i.根据由所述神经网络超参数值描述的所述神经网络,确定由所述神经网络根据用户属性数据所识别的漏斗维度值,ii.将所述所识别的漏斗维度值应用于所述呈现数据库,以确定对应于所述所识别的漏斗维度值的前端元素值,以及iii.向用户呈现具有所述所确定的前端元素值的漏斗。条款3s9.如条款3s8所述的系统,其中所述漏斗维度的每个的所述可用值中的一个是默认值,其中所述漏斗具有所述漏斗维度的每个的所述默认值的默认前端元素值,以及其中所述呈现模块将所述第一选定候选个体应用于所述呈现数据库,以确定对应于由所述神经网络识别的除了所述漏斗维度的每个的所述默认维度值之外的所有漏斗维度值的前端元素值。条款3s10.如条款3s8所述的系统,其中所述网络服务器基础设施响应于通过网络接收到的一个或多个第二请求,向第二客户端计算机系统传回:所述呈现数据库;所述呈现模块;以及由所述群体中的所述候选个体中的第二选定候选个体识别的一组神经网络超参数值。条款3s11.如条款3s8所述的系统,其中网页界面表示网页。条款3s12.如条款3s8所述的系统,其中网页界面表示移动应用。条款3s13.如条款3s8所述的系统,其中网页界面表示电子邮件。条款3s14.如条款3s8所述的系统,其中网页界面表示社交媒体消息。条款3s15.如条款3s8所述的系统,其中网页界面表示社交媒体馈送项。条款3s16.如条款3s8所述的系统,其中网页界面表示聊天消息。条款3s17.如条款3s8所述的系统,其中所述数据库中候选个体的所述群体包括正在被测试其在促进预定目标用户行为方面成功的候选个体,所述系统还包括:群体初始化模块,其将候选个体的初步池写入到所述候选个体群体中;候选测试模块,其通过实时在线评估来测试所述候选个体群体中的所述候选个体的每个,所述候选测试模块为经历实时在线评估的所述候选个体的每个开发性能度量,所述性能度量是由所述候选个体的所述超参数描述的所述神经网络在实现所述目标用户行为方面的成功的指示符;生育模块,其将根据来自所述候选个体群体的相应一组一个或多个亲本候选个体和所述亲本的性能度量而形成的新候选个体添加到所述候选个体群体;以及控制模块,其迭代所述候选测试模块和所述生育模块,其中所述候选测试模块包括在所述网络服务器基础设施中,并且响应于所述请求,从所述候选个体群体中选择神经网络超参数将被传回到客户端计算机系统的选定候选个体。条款3s18.如条款3s17所述的系统,其中所述目标用户行为是用户进行的转换。条款3s19.如条款3s17所述的系统,其中由所述候选测试模块开发的所述性能度量有利于在对所述候选个体的实时在线评估中实现的转换率增加。条款3s20.如条款3s17所述的系统,其中由所述候选测试模块开发的所述性能度量有利于在对经历所述实时在线评估的所述候选个体的所述实时在线评估中产生的收益增加。条款3s21.如条款3s8所述的系统,其中所述网络服务器基础设施包括:cdn,其响应于来自所述客户端计算机系统的请求,向所述客户端计算机系统传回所述呈现数据库和所述呈现模块;以及转换系统,其从所述数据库中检索所述第一选定候选个体,并且响应于来自所述客户端计算机系统的请求,向所述客户端计算机系统传回由所述第一选定候选个体识别的所述一组神经网络超参数值。条款3s22.一种计算机实现的网页界面产生和部署系统,其包括:存储具有候选个体群体的候选数据库的存储器,所述候选个体的每个都识别所述候选个体的多个超参数的相应值,所述超参数描述相应神经网络的拓扑和用于所述相应神经网络的互连的系数,所述神经网络的每个都将用户属性映射到具有一个或多个网页界面的相应漏斗,每个漏斗都具有多个漏斗维度,可以由所述神经网络给所述维度分配值,并且所述神经网络识别可以为其分配值的所述漏斗维度的每个的值;以及机器学习内容分发网络,其可由呈现数据库访问,所述呈现数据库识别所述漏斗的所述维度的每个的至少一个可用值中的每一个的前端元素值,所述机器学习内容分发网络被配置为响应于来自客户端计算机系统的请求:a.从所述数据库中检索所述群体中的所述候选个体中的选定候选个体,b.根据由所述所检索的候选个体描述的所述神经网络,确定由所述神经网络根据用户属性数据识别的漏斗维度值,c.将所述所识别的漏斗维度值应用于所述呈现数据库,以确定对应于所述所识别的漏斗维度值的前端元素值,以及d.向所述客户端计算机系统递送具有由所述选定候选个体的所述维度值指示的前端元素值的漏斗。条款3s23.如条款3s22所述的系统,其中所述机器学习内容分发网络响应于来自客户端计算机系统的请求,准备所述漏斗。条款3s24.如条款3s22所述的系统,其还包括可访问所述数据库的转换系统,其中所述机器学习内容分发网络在检索所述选定的候选个体时,还被配置为从所述转换系统请求候选个体,以及其中所述转换系统被配置为响应于来自机器学习内容分发网络的请求,选择所述选定的候选个体,并且向所述机器学习内容分发网络传回所述选定的候选个体。条款3s25.如条款3s24所述的系统,其中所述数据库中候选个体的所述群体包括正在被测试其在促进预定目标用户行为方面成功的候选个体,并且其中所述转换系统包括:群体初始化模块,其将候选个体的初步池写入到所述候选个体群体中;候选测试模块,其通过实时在线评估来测试所述候选个体群体中的所述候选个体的每个,所述候选测试模块为经历实时在线评估的所述候选个体的每个开发性能度量,所述性能度量是由所述候选个体描述的所述神经网络在实现所述目标用户行为方面的成功的指示符;生育模块,其将根据来自所述候选个体群体的相应一组一个或多个亲本候选个体和所述亲本的性能度量而形成的新候选个体添加到所述候选个体群体;以及控制模块,其迭代所述候选测试模块和所述生育模块,其中在选择所述选定的候选个体时,所述候选测试模块从所述候选个体群体中选择选定的候选个体。条款3m1.一种计算机实现的网页界面产生和部署方法,用于与用户属性数据源一起使用,所述方法包括:提供存储具有候选个体群体的候选数据库的存储器,所述候选个体的每个都识别所述候选个体的多个超参数的相应值,所述超参数描述相应神经网络的拓扑和用于所述相应神经网络的互连的系数,所述神经网络的每个都将用户特性映射到具有一个或多个网页界面的相应漏斗,每个漏斗都具有多个漏斗维度,可以由所述神经网络给所述维度分配值,并且所述神经网络识别可以为其分配值的所述维度的每个的值;提供呈现数据库,其识别所述漏斗的所述维度的每个的至少一个可用值中的每一个的前端元素值;根据由所述候选个体中的选定候选个体描述的所述神经网络,确定由所述神经网络根据来自所述用户属性数据源的用户属性数据所识别的漏斗维度值,将所述所识别的漏斗维度值应用于所述呈现数据库,以确定对应于所述所识别的漏斗维度值的前端元素值;以及向用户呈现具有所述所确定的前端元素值的漏斗。条款3m2.如条款3m1所述的方法,其中所述维度的每个的所述可用值中的一个是默认值,其中所述漏斗具有所述维度的每个的默认维度值的默认前端元素值,以及其中将所识别的漏斗维度值应用于所述呈现数据库包括向所述呈现数据库应用对应于由所述神经网络识别的除了所述维度的每个的所述默认维度值之外的所有维度值的所述前端元素值。条款3m3.一种用于可定制的网页界面漏斗的计算机实现的部署方法,所述漏斗是可沿多个维度定制的,所述方法包括:提供呈现数据库,其识别所述漏斗的所述维度的每个的至少一个可用值中的每一个的前端元素值;对于神经网络的特定变化,提供描述所述神经网络的拓扑和用于所述神经网络的互连的系数的多个超参数中的每一个的值,所述神经网络将用户属性映射到具有一个或多个网页界面的相应漏斗,每个漏斗都具有多个漏斗维度,可以由所述神经网络给所述维度分配值,并且所述神经网络识别可以为其分配值的所述维度的每个的值;根据由存储在所述神经网络定制规范存储器中的所述值描述的所述神经网络,确定由所述神经网络根据用户属性数据所识别的漏斗维度值,将所述所识别的漏斗维度值应用于所述呈现数据库,以确定对应于所述所识别的漏斗维度值的前端元素值;以及向用户呈现具有所述所确定的前端元素值的漏斗。条款3m4.如条款3m3所述的方法,其中所述维度的每个的所述可用值中的一个是默认值,其中所述漏斗具有所述漏斗维度的每个的所述默认值的默认前端元素值,以及其中向用户呈现具有所述所确定的前端元素值的漏斗包括向所述用户呈现前端元素值,所述前端元素值由所述呈现数据库指示为对应于由所述神经网络识别的除了所述漏斗维度的每个的所述默认维度值之外的所有所述漏斗维度值。条款3m5.如条款3m3所述的方法,其还包括对于神经网络的第二变化,提供所述超参数的每个的第二值。条款3m6.如条款3m3所述的方法,其中响应于用于进入漏斗的用户行为,为多个超参数中的每一个提供值。条款3m7.如条款3m6所述的方法,其还包括响应于用户行为,检索所述呈现数据库。条款3m8.一种计算机实现的网页界面产生和部署方法,其包括:提供存储具有候选个体群体的候选数据库的存储器,所述候选个体的每个都识别所述候选个体的多个超参数的相应值,所述超参数描述相应神经网络的拓扑和用于所述相应神经网络的互连的系数,所述神经网络的每个都将用户属性映射到具有一个或多个网页界面的相应漏斗,每个漏斗都具有多个漏斗维度,可以由所述神经网络给所述维度分配值,并且所述神经网络识别可以为其分配值的所述漏斗维度的每个的值;以及提供网络服务器基础设施,其响应于通过网络接收到的一个或多个第一请求,向第一客户端计算机系统传回:a.呈现数据库,其识别所述漏斗的所述维度的每个的至少一个可用值中的每一个的前端元素值,b.由所述群体中的所述候选个体中的第一选定候选个体识别的一组所述神经网络超参数值,以及c.呈现模块,其:i.根据由所述神经网络超参数值描述的所述神经网络,确定由所述神经网络根据用户属性数据所识别的漏斗维度值,ii.将所述所识别的漏斗维度值应用于所述呈现数据库,以确定对应于所述所识别的漏斗维度值的前端元素值,以及iii.向用户呈现具有所述所确定的前端元素值的漏斗。条款3m9.如条款3m8所述的方法,其中所述漏斗维度的每个的所述可用值中的一个是默认值,其中所述漏斗具有所述漏斗维度的每个的所述默认值的默认前端元素值,以及其中所述呈现模块将所述第一选定候选个体应用于所述呈现数据库,以确定对应于由所述神经网络识别的除了所述漏斗维度的每个的所述默认维度值之外的所有漏斗维度值的前端元素值。条款3m10.如条款3m8所述的方法,其中所述网络服务器基础设施响应于通过网络接收到的一个或多个第二请求,向第二客户端计算机系统传回:所述呈现数据库;所述呈现模块;以及由所述群体中的所述候选个体中的第二选定候选个体识别的一组神经网络超参数值。条款3m11.如条款3m8所述的方法,其中网页界面表示由以下各项组成的组的成员:网页、移动应用、电子邮件、社交媒体消息、社交媒体馈送项和聊天消息。条款3m17.如条款3m8所述的方法,其中所述数据库中候选个体的所述群体包括正在被测试其在促进预定目标用户行为方面成功的候选个体,所述方法还包括:群体初始化步骤,其将候选个体的初步池写入到所述候选个体群体中;候选测试步骤,其通过实时在线评估来测试所述候选个体群体中的所述候选个体的每个,所述候选测试模块为经历实时在线评估的每个所述候选个体开发性能度量,所述性能度量是由所述候选个体的所述超参数描述的所述神经网络在实现所述目标用户行为方面的成功的指示符;生育步骤,其将根据来自所述候选个体群体的相应一组一个或多个亲本候选个体和所述亲本的性能度量而形成的新候选个体添加到所述候选个体群体;以及迭代步骤,其迭代所述候选测试模块和所述生育模块,其中所述候选测试模块包括在所述网络服务器基础设施中,并且响应于所述请求,从所述候选个体群体中选择神经网络超参数将被传回到客户端计算机系统的选定候选个体。条款3m18.如条款3m17所述的方法,其中所述目标用户行为包括用户进行的转换。条款3m19.如条款3m17所述的方法,其中在所述候选测试步骤中针对所述候选个体群体中的所述候选个体的每个开发的所述性能度量有利于神经网络产生在经受所述实时在线评估时具有更高转换率的漏斗的个体。条款3m20.如条款3m17所述的方法,其中在所述候选测试步骤中针对所述候选个体群体中的所述候选个体的每个开发的所述性能度量有利于神经网络产生在经受所述实时在线评估时产生接收更高收益的漏斗的个体。条款3m21.如条款3m8所述的方法,其中所述网络服务器基础设施包括:cdn,其响应于来自所述客户端计算机系统的请求,向所述客户端计算机系统传回所述呈现数据库和所述呈现模块;以及转换系统,其从所述数据库中检索所述第一选定候选个体,并且响应于来自所述客户端计算机系统的请求,向所述客户端计算机系统传回由所述第一选定候选个体识别的所述一组神经网络超参数值。条款3m22.一种计算机实现的网页界面产生和部署方法,其包括:提供存储具有候选个体群体的候选数据库的存储器,所述候选个体的每个都识别所述候选个体的多个超参数的相应值,所述超参数描述相应神经网络的拓扑和用于所述相应神经网络的互连的系数,所述神经网络的每个都将用户属性映射到具有一个或多个网页界面的相应漏斗,每个漏斗都具有多个漏斗维度,可以由所述神经网络给所述维度分配值,并且所述神经网络识别可以为其分配值的所述漏斗维度的每个的值;以及提供机器学习内容分发网络,其可由呈现数据库访问,所述呈现数据库识别所述漏斗的所述维度的每个的至少一个可用值中的每一个的前端元素值,所述机器学习内容分发网络被配置为响应于来自客户端计算机系统的请求:a.从所述数据库中检索所述群体中的所述候选个体中的选定候选个体,b.根据由所述所检索的候选个体描述的所述神经网络,确定由所述神经网络根据用户属性数据识别的漏斗维度值,c.将所述所识别的漏斗维度值应用于所述呈现数据库,以确定对应于所述所识别的漏斗维度值的前端元素值,以及d.向所述客户端计算机系统递送具有由所述选定候选个体的所述维度值指示的前端元素值的漏斗。条款3m23.如条款3m22所述的方法,其中所述机器学习内容分发网络响应于来自客户端计算机系统的请求,准备所述漏斗。条款3m24.如条款3m22所述的方法,其还包括提供可访问所述数据库的转换系统,其中所述机器学习内容分发网络在检索所述选定的候选个体时,还被配置为从所述转换系统请求候选个体,以及其中所述转换系统被配置为响应于来自机器学习内容分发网络的请求,选择所述选定的候选个体,并且向所述机器学习内容分发网络传回所述选定的候选个体。条款3m25.如条款3m24所述的方法,其中所述数据库中候选个体的所述群体包括正在被测试其在促进预定目标用户行为方面成功的候选个体,并且其中所述转换系统包括:群体初始化模块,其将候选个体的初步池写入到所述候选个体群体中;候选测试模块,其通过实时在线评估来测试所述候选个体群体中的所述候选个体的每个,所述候选测试模块为经历实时在线评估的所述候选个体的每个开发性能度量,所述性能度量是由所述候选个体描述的所述神经网络在实现所述目标用户行为方面的成功的指示符;生育模块,其将根据来自所述候选个体群体的相应一组一个或多个亲本候选个体和所述亲本的性能度量而形成的新候选个体添加到所述候选个体群体;以及控制模块,其迭代所述候选测试模块和所述生育模块,其中在选择所述选定的候选个体时,所述候选测试模块从所述候选个体群体中选择选定的候选个体。申请人在此单独公开了本文所述的每个单独特征以及两个或更多个这样的特征的任何组合,只要根据本领域技术人员的公知常识,这样的特征或组合能够基于本说明书作为一个整体来执行,而不管这样的特征或特征的组合是否解决了本文所公开的任何问题,并且不限制权利要求的范围。申请人指出,本发明的各方面可以由任何这样的特征或特征的组合组成。鉴于前面的描述,对于本领域技术人员明显的是,可以在本发明的范围内进行各种修改。前面的描述是为了能够制造和使用所公开的技术。对所公开的实现方式的各种修改将是明显的,并且在不脱离所公开的技术的精神和范围的情况下,本文定义的一般原理可以应用于其他实现方式和应用。因此,所公开的技术不旨在限于所示的实现方式,而是与符合本文公开的原理和特征的最宽范围相一致。所公开的技术的范围由所附权利要求限定。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1