1.一种用于管理特征处理的系统,包括:
一个或多个计算装置,其被配置来:
通过与提供商网络的机器学习服务的客户端的一个或多个编程交互确定(a)将使用指定训练数据组预测的一个或多个目标变量,(b)包括特定预测质量度量的一个或多个预测质量度量,以及(c)包括特定预测运行时间目标的一个或多个预测运行时间目标;
识别一组候选特征处理变换以便从所述指定训练数据组的一个或多个输入变量导出第一组处理的变量,其中所述第一组处理的变量的至少子集可用于训练机器学习模型以便预测所述一个或多个目标变量,并且其中所述组候选特征处理变换包括特定特征处理变换;
确定(a)指示实现所述特定特征处理变换对所述特定预测质量度量的影响的质量估计,以及(b)指示实现所述特定特征处理变换对与所述特定预测运行时间目标相关联的特定运行时间性能度量的影响的成本估计;
至少部分地基于所述质量估计并且至少部分地基于所述成本估计生成将提供给所述客户端用于批准的特征处理提议,其中所述特征处理提议包括推荐以实现所述特定特征处理变换;以及
响应于来自所述客户端的批准的指示,执行使用从所述特定特征处理变换获得的特定处理的变量训练的机器学习模型。
2.如权利要求1所述的系统,其中为了确定所述质量估计,所述一个或多个计算装置实现所述机器学习模型的多个评估运行,其包括其中所述特定处理的变量的第一组值提供为对所述机器学习模型的输入的第一评估运行,以及其中所述特定处理的变量的不同组的值提供为对所述机器学习模型的输入的第二评估运行。
3.如权利要求1-2中任一项所述的系统,其中为了确定所述成本估计,所述一个或多个计算装置实现所述机器学习模型的第一变型以及所述机器学习模型的第二变型的各自评估运行,其中使用包括所述特定处理的变量的第一训练组训练所述第一变型,并且使用排除所述特定处理的变量的第二训练组训练所述第二变型。
4.如权利要求1-2中任一项所述的系统,其中所述特定预测质量度量包括以下各项中的一个或多个:(a)auc(曲线下区域)度量,(b)准确度度量,(c)召回度量,(d)敏感度度量,(e)真阳性率,(f)特异性度量,(g)真阴性率,(h)精度度量,(i)假阳性率,(j)假阴性率,(k)f1得分,(l)覆盖度量,(m)绝对百分比误差度量,或者(n)平方误差度量。
5.如权利要求1-2中任一项所述的系统,其中所述特定特征处理变换包括使用以下各项中的一个或多个:(a)分位数仓函数,(b)笛卡尔乘积函数,(c)二元语法函数,(d)n元语法函数,(e)正交稀疏二元语法函数,(f)日历函数,(g)图像处理函数,(h)音频处理函数,(i)生物信息学处理函数,或者(j)自然语言处理函数。
6.一种用于管理特征处理的方法,包括:
通过一个或多个计算装置执行:
在机器学习服务处识别可用于训练机器学习模型以预测一个或多个目标变量的一组候选输入变量,其中所述组候选输入变量至少包括由适用于训练数据组的一个或多个输入变量的特定特征处理变换生成的特定处理的变量;
确定(a)指示实现所述特定特征处理变换对特定预测质量度量的影响的质量估计,以及(b)指示实现所述特定特征处理变换对与特定预测目标相关联的性能度量的影响的成本估计;以及
至少部分地基于所述质量估计并且至少部分地基于所述成本估计实现包括所述特定特征处理变换的特征处理计划。
7.如权利要求6所述的方法,其还包括通过所述一个或多个计算装置执行:
至少部分地基于对对应于多个候选特征处理变换的各自质量估计和各自成本估计的分析,生成一个或多个特征处理提议,其包括推荐所述特定特征处理变换的特定特征处理提议;以及
向客户端提供所述一个或多个特征处理提议的指示,其中所述实现所述特征处理计划响应于从所述客户端获得所述特定特征处理提议的批准的指示。
8.如权利要求6-7中任一项所述的方法,其还包括通过所述一个或多个计算装置执行:
通过所述机器学习服务的一个或多个编程接口接收包括以下各项中的一个或多个的各自指示的模型创建请求:(a)所述一个或多个目标变量,(b)包括所述特定预测质量度量的一个或多个预测质量度量,(c)包括所述特定预测目标的一个或多个预测目标,或者(d)包括识别强制性特征处理变换的特定约束的一个或多个约束。
9.如权利要求8所述的方法,其还包括通过所述一个或多个计算装置执行:
响应于确定至少部分地基于所述模型创建请求一个或多个特征处理提议对所述机器学习服务的客户端不可接受,
将需求重新考虑请求传输到所述客户端;以及
从所述客户端接收分配给以下各项中的一个或多个的相对优先级的指示:(a)所述特定预测质量度量,或者(b)所述特定预测目标。
10.如权利要求6-7中任一项所述的方法,其中所述特定预测目标包括以下各项中的一个或多个:(a)模型执行时间目标,(b)存储器使用目标,(c)处理器使用目标,(d)存储装置使用目标,(e)网络使用目标,或者(f)预算。