用于机器学习的资源分配的制作方法
【专利说明】用于机器学习的资源分配 ww]背景
[0002] 许多当前机器学习系统由于大量数据而遭受重大计算挑战。现代机器学习系统经 常处理数百万的廉价获取的样本，从而造成显著的计算负担。对于运些系统，基于极大量的 数据来尽可能高效地做出推断是持续不断的挑战。例如，机器学习系统寻求评估在做出在 可行容错度内是正确的决定之前需要处理多少数据W及W什么次序处理运些数据。通常可 用的计算资源是有限的，并且机器学习系统需要适当地分配资源。
[0003] 通常，机器学习系统关注当存在关于选项的不确定性的情况下高效地分配有限资 源。例如，找出向客户显示许多可能广告中的哪一个将资源（计算资源、屏幕空间）分配给 一个可能选项（单个广告）。显示广告并观察用户响应（点击/未点击）掲示了可用于在 将来执行更好的资源分配的关于广告投放的部分信息。
[0004]W下描述的各实施例不限于解决已知机器学习系统的缺点中的任一个或全部的 实现。 阳005] 概述
[0006] 下面呈现了本发明的简要概述，W便向读者提供基本理解。本概述不是本公开的 穷尽概览，并且不标识本发明的关键/重要元素或描述本说明书的范围。其唯一的目的是 W简化形式呈现此处所公开的精选概念，作为稍后呈现的更详细的描述的序言。
[0007] 描述了用于机器学习的资源分配，W便诸如用于在例如作为用于随机决策树训练 的高效训练过程的一部分的许多可能选项之间进行选择、用于选择许多模型族中的哪一个 最佳地描述数据、用于选择许多特征中的哪一个最佳地归类项。在各示例中，使用关于不确 定选项的信息样本来对各选项进行打分。在各示例中，为分数计算置信区间并使用置信区 间来选择一个或多个选项。在各示例中，选项的分数可W是在从分数计算中省略任一样本 时改变极少的有界差分统计数据。在一示例中，随机决策树训练变得更高效，同时保持不限 于从深度图像中检测人体姿态的应用的准确性。
[0008] 通过结合附图参考W下详细描述，可易于领会并更好地理解许多附带特征。
[0009] 附图简述
[0010] 根据附图阅读W下【具体实施方式】，将更好地理解本发明，在附图中：
[0011] 图1是可W是机器学习系统的组件的选项选择器W及模型选择器、特征选择器和 树分割函数选择器的示意图，运些选择器中的每一个都可W是机器学习系统的组件；
[0012] 图2是对照训练示例的数量的信息增益的图示；
[0013] 图3是选项选择器处的方法的流程图；
[0014] 图4是图3的框80S的方法的更详细的流程图；
[0015] 图5示出了用于控制计算机游戏的基于相机的示例机器学习系统；
[0016] 图6是供与图6的机器学习系统联用的图像捕捉设备的示意图；
[0017] 图7是预测输入深度图像中的关节位置的方法的流程图；
[001引图8是训练随机决策森林的方法的流程图；
[0019] 图9是随机决策森林的不意图；
[0020] 图10是测试时的关节位置预测方法的流程图；
[0021] 图11示出了可在其中实现具有选项选择器的机器学习系统的实施例的示例性基 于计算的设备。
[0022] 在各个附图中使用相同的附图标记来指代相同的部件。 阳〇2引详细描述
[0024] 下面结合附图提供的详细描述旨在作为本发明示例的描述，并不旨在表示可W构 建或使用本发明示例的唯一形式。本描述阐述了本发明示例的功能，W及用于构建和操作 本发明示例的步骤的序列。然而，可W通过不同的示例来实现相同或等效功能和序列。
[00巧]虽然在本文中将本发明的示例描述并示出为在用于控制游戏的机器学习系统中 实现，但所描述的系统只是作为示例而非限制来提供的。本领域的技术人员将会明白，本发 明示例适合在各种不同类型的机器学习系统中的应用。
[00%] 图1是作为机器学习系统的组件的选项选择器102W及模型选择器112、特征选择 器114和树分割函数选择器116的示意图，运些选择器中的每一个都可W是机器学习系统 的组件。
[0027] 选项选择器通过使用打分逻辑106W及关于选项的信息样本110评估各选项的分 数来从多个选项100中选择一个或多个选项。存在关于选项的不确定性，因为关于选项的 信息可W从在正在进行的过程中变得可用的样本110中获取。打分逻辑使用竞速逻辑108 来加速选择过程，同时维持所指定的容错度。作为选项选择的结果，可分配资源104。例如， 每一个选项都可W是广告，并且资源104可W是用于向用户呈现广告投放的计算资源和屏 幕空间。每一个样本110都可W是广告投放W及观察到的用户对广告投放的响应（例如， 点击/未点击响应）。选项选择器可使用打分逻辑106和样本来计算广告的分数。在观察 到数千或更多样本后，每一个广告的分数可达到稳定水平，并且运些水平可被选项选择器 用来通过选择呈现哪一个广告来分配资源104。为了加速该过程，竞速逻辑108可被用来使 得能够在做出选择之前评估更少的样本，但同时确保选择结果的所指定的容错度。
[0028] 通过使用软件和/或硬件，选项选择器102、打分逻辑106和竞速逻辑108中的每 一个是计算机实现的。例如，运些组件可使用硬件逻辑组件来整体或部分地实现。目P，作 为替换或补充，本文所述的功能可至少部分地由一个或多个硬件逻辑组件来执行。例如， 但非限制，可被使用的硬件逻辑组件的说明性类型包括现场可编程口阵列（FPGA)、程序专 用的集成电路（ASIC)、程序专用的标准产品（ASS巧、片上系统（S0C)、复杂可编程逻辑器件 (CPLD)，图形处理单元（GPU)。
[0029] 在一示例中，选项选择器是模型选择器112。在该情形中，选项是可具有不同复杂 性的不同模型族118。该情形中的样本110可W是来自需要建模的系统的样本。例如，在要 建模的系统是气候系统的情况下，样本可W是对溫度、降雨和其他因素的经验测量。在另一 示例中，在要建模的系统是图像归类系统的情况下，样本可W是来自训练图像的已标记图 像元素。模型选择器产生包括将用于对数据（样本）进行建模的一个或多个模型族118的 输出。资源104可W是由打分逻辑和竞速逻辑使用的计算资源。资源104可W是由使用模 型选择器选择的模型族的下游计算过程使用的计算资源。打分逻辑和竞速逻辑W如上所述 的类似方式用来启用并加速选择过程。
[0030] 在一示例中，选项选择器是特征选择器120。在该情形中，选项是例如文档资料库 或对象图像的特征120。该情形中的样本110可W是特征示例W及对运些特征有多好地归 类文档或对象的观察结果。模型选择器产生包括被选为良好地归类文档或对象的特征的输 出。资源104可W是由打分逻辑和竞速逻辑使用的计算资源。资源104可W是由使用特征 选择器选择的特征的下游计算过程使用的计算资源。打分逻辑和竞速逻辑W如上所述的类 似方式用来启用并加速选择过程。
[0031] 在一示例中，选项选择器是作为用于训练随机决策树的机器学习系统的一部分的 树分割函数选择器116。随机决策树是用于存储在训练阶段期间累积的数据W使得该数据 可用于做出关于随机决策树先前未看见的示例的预测的一种类型的数据结构。随机决策 树通常被用作所有随机决策树的一部分，针对特定应用领域训练所有随机决策树中的运部 分随机决策树W实现泛化（即，能够做出关于不像用于训练森林的那些示例的示例的良好 预测）。随机决策树具有根节点、多个分割节点W及多个叶节点。在训练期间，学习树结构 (节点数量和节点如何连接）W及将在每一个分割节点处使用的分割函数。另外，在训练期 间在叶节点处累积数据。
[0032] 分割函数可被随机生成，并且可包括图1的选项122。在用于在每一个分割节点处 做出决定的过程中，可W从根到叶地推动数据（诸如图像中的图像元素）穿过随机决策森 林中的各个树。该决定可根据图像元素的特性W及与分割节点相关联的分割函数来做出。 图像元素沿着根据决定的结果来选择的分支向下前进至树的下一层。
[0033] 树分割函数选择器116选择在决策树中的特定分割节点处使用哪一个分割函数。 为了做出选择，使用作为训练数据示例的样本110。例如，训练数据示例可W是被标记为属 于特定类的图像元素或者可W是其他已标记或未标记训练数据。打分逻辑106使用样本 110来计算不同的分割函数选项122的分数。竞速逻辑108可用于加速选择过程，如W下参 考图3、4、7和8更详细地描述的。资源104可W是由打分逻辑和竞速逻辑使用的计算资源。 资源104可W是由使用模型选择器选择的树分割函数的下游计算过程使用的计算资源。
[0034] 在参考图1描述的示例中，打分逻辑106被用来评估每一个选项100的分数。例 如，分数可基于描述选项的行为的统计数据，诸如均值、中值、模式或其他统计数据。在各示 例中，分数基于作为有界差分统计数据的统计数据。有界差分统计数据是从对行为的多个 观察结果（样本）中描述实体（诸如图1的示例中的选项）的行为的数值，并且该有界差 分统计数据在改变多个观察结果中的仅仅一个的情况下仅仅极少地改变其数值。在一些示 例中，改变观察结果可通过省略该观察结果来实现。有界差分统计数据的示例的非穷尽列 表是：方差、赌、信息增益、基尼系数。
[0035] 图2是对照训练示例的数量的信息增益的图示。信息增益是可由打分逻辑在接收 到训练示例时测量的有界差分统计数据的示例。在图2的示例中，存在两个选项，即特征A 和特征B。但在实践中可存在多得多的选项（为了清楚起见示出了两个特征）。特征A的 信息增益分数被标绘为实线，而特征B的信息增益分数被标绘为虚线。假设选项选择器是 图1的特征选择器114并需要找到具有最高信息增益的特征。当最初接收到样本时，信息 增益分数是有噪声的，因为只有若干示例可用。一旦已经接收到超过500个样本，信息增益 分数安定下来并且针对特征A和B清楚地分开，且特征B具有更高的信息增益分数。特征 选择器114被设计成做出关于在最优点特征A还是特征B具有最高信息增益分数的决定。 运在接收到刚好足够的训练示例W给出在所指定的容错度内是准确的回答之后。运使得能 够为特征选择过程本身和使用特征选择结果的下游过程两者适当地分配计