AN"），例如因特网。
[0058] 该计算系统可包括客户端和服务器。客户端和服务器通常彼此远离并典型地通过 通信网络进行交互。客户端和服务器的关系借助于相应计算机上运行并且彼此间具有客户 端-服务器关系的计算机程序所呈现。
[0059] 虽然本说明书包括很多特定实施方式细节，然而这些不应当被理解为对可能要求 保护的任意发明范围的限制，而应当理解为可能对于特定发明的特定实施例特定的特征的 描述。在本说明书的单独实施例的上下文中描述的某些特征也可在单个实施例中组合在一 起实施。相反地，在单个实施例的上下文中描述的多个特征也可在多个实施例中或在任何 适当的子组合中单独实施。此外，虽然上文所述的特征可能描述为用于某些组合中并甚至 是在初始声明如此，然而所声明的组合中的一个或多个特征在某些情况下可从该组合中脱 离，并且所声明的组合可能是指子组合或子组合的变型。
[0060] 相似地，虽然在图中以特定顺序描述了各操作，然而这不应当理解为需要这些操 作以所示的特定顺序或相继顺序执行，或者需要所有图示的操作都被执行，以获得想要的 结果。在某些情况下，多任务和并行处理可为有利的。此外，在上文描述的实施例中多个系 统模块和组件的分离不应理解为在所有实施例中都需要这样分离，并应当理解描述的程序 组件和系统一般可一起集成在单个软件产品里或封装成多个软件产品。
[0061] 本主题的特定实施例已经被描述。其他实施例也处于权利要求的范围内。例如，权 利要求中引用的动作可以不同顺序执行并仍获得期望的结果。作为一个示例，附图中描述 的过程并不必需按照示出的特定顺序或相继顺序以获得想要的结果。在某些实施方式中， 多任务和并行处理可为有利的。
【主权项】
1. 一种由一个或多个计算机执行的方法，所述方法包括： 训练繁冗的机器学习模型，其中所述繁冗的机器学习模型被配置为接收输入并生成针 对多个分类中的每个的相应的分数；以及 在多个训练输入上训练精炼的机器学习模型，其中所述精炼的机器学习模型也被配置 为接收输入并生成针对所述多个分类的分数，包括： 使用所述繁冗的机器学习模型处理每个训练输入以生成针对该训练输入的繁冗的目 标软输出；以及 训练所述精炼的机器学习模型以针对每个训练输入生成与针对该训练输入的繁冗的 目标软输出匹配的软输出。2. 根据权利要求1所述的方法，其中机器学习模型的软输出包括由所述机器学习模型 的最后层生成的针对所述多个分类中的每个的相应的软分数，并且其中每个软分数满足：其中Q1是针对分类i的分数，z i是由所述最后层接收的所述机器学习模型的前一层的 输出的加权组合，j的范围为从1到所述多个分类中的分类的总数，T是温度常数，并且其中 为了生成所述软分数，T被设置为比在所述机器学习模型已被训练后用于生成针对所述分 类的分数的值更高的值。3. 根据权利要求2所述的方法，其中在所述机器学习模型已被训练后用于生成针对所 述分类的分数的T的值为1。4. 根据权利要求3所述的方法，进一步包括在所述精炼的机器学习模型已被训练后为 所述精炼的机器学习模型将T的值设置为1。5. 根据权利要求1所述的方法，其中机器学习模型的软输出包括由所述机器学习模型 的最后层生成的针对所述多个分类中的每个的相应的软分数，并且其中所述软分数定义出 比在所述机器学习模型已被训练后由所述机器学习模型生成的分数更软的在所述多个分 类上的分数分布。6. 根据权利要求1-5的任一项所述的方法，其中所述繁冗的机器学习模型是由多个机 器学习模型组成的集成模型，并且其中由所述繁冗的机器学习模型针对每个分类生成的相 应的分数是由所述机器学习模型针对该分类生成的分数的组合。7. 根据权利要求6所述的方法，其中所述多个集成模型被分别训练。8. 根据权利要求6和7的任一项所述的方法，其中使用所述繁冗的机器学习模型处理 每个训练输入包括： 使用所述集成模型生成针对所述训练输入的多个集成分数；以及 组合所述集成分数以生成针对所述训练输入的所述繁冗的目标软输出。9. 根据权利要求8所述的方法，其中所述多个机器学习模型包括一个或多个全机器学 习模型和一个或多个专业机器学习模型，其中每个全机器学习模型被配置为接收输入并生 成针对所述多个分类中的每个的相应的全分数，并且其中每个专业机器学习模型被配置为 接收输入并生成针对所述多个分类的相应的子集的相应的专业分数。10. 根据权利要求9所述的方法，其中每个专业机器学习模型进一步被配置为生成针 对垃圾分类的专业分数，所述垃圾分类是不包含在用于所述专业机器学习模型的所述子集 中的所有分类的聚集。11. 根据权利要求9或10的任一项所述的方法，其中组合所述集成分数以生成针对所 述训练输入的所述繁冗的目标软输出包括： 组合由每个所述全机器学习模型针对所述训练输入生成的全分数以生成针对所述训 练输入的初始分数；以及 针对所述初始分数足够高的每个分类，组合针对该分类的所述全分数和由所述专业模 型针对该分类生成的专业分数，其中针对所述专业模型该分类包含在用于所述专业模型的 所述分类子集中。12. 根据权利要求9-11的任一项所述的方法，进一步包括： 通过将所述全模型频繁地预测为在一起的各分类聚类在相同子集中，来生成所述多个 分类的一个或多个子集；以及 将每个子集分配至相应的专业模型。13. 根据权利要求1-12的任一项所述的方法，其中在所述多个训练输入上训练所述精 炼的机器学习模型进一步包括： 训练所述精炼的机器学习模型以生成与针对每个所述训练输入的已知输出匹配的未 软化的输出。14. 一种系统，包括一个或多个计算机以及一个或多个存储设备，所述存储设备存储可 操作的指令，所述指令当由所述一个或多个计算机执行时，使得所述一个或多个计算机执 行根据权利要求1-13任一项所述的相应的方法的操作。15. -种编码有指令的计算机存储介质，所述指令当由所述一个或多个计算机执行时， 使得所述一个或多个计算机执行根据权利要求1-13任一项所述的相应的方法的操作。
【专利摘要】一种用于训练精炼的机器学习模型的方法、系统和装置，包括编码在计算机存储媒体上的计算机程序。其中一个方法包括训练繁冗的机器学习模型，其中该繁冗的机器学习模型被配置为接收输入并生成针对多个分类中的每个的相应的分数；以及在多个训练输入上训练精炼的机器学习模型，其中该精炼的机器学习模型也被配置为接收输入并生成针对所述多个分类的分数，包括：使用繁冗的机器学习模型处理每个训练输入以生成针对该训练输入的繁冗的目标软输出；以及训练精炼的机器学习模型以针对每个训练输入生成与针对该训练输入的该繁冗的目标软输出匹配的软输出。
【IPC分类】G06N3/02
【公开号】CN105160397
【申请号】CN201510435904
【发明人】奥里奥尔·温亚尔斯, 杰弗里·阿德盖特·迪恩, 杰弗里·E·欣顿
【申请人】谷歌公司
【公开日】2015年12月16日
【申请日】2015年6月8日
【公告号】EP2953066A2, US20150356461