模型训练方法和装置、服务装置和存储介质与流程

1.本公开涉及机器学习技术领域，特别是一种模型训练方法和装置、服务装置和存储介质。


背景技术：

2.随着互联网行业的深入发展，用户行为数据呈现指数级的增长，进而与排序相关的模型变得越来越复杂。尤其是id类特征的融入，这些模型的参数量可达上千万甚至上亿的数量级。模型参数量的迅速增大，致使模型在线服务时，性能问题日益凸显，从而严重制约了排序模型的正常迭代。排序模型受在线性能的制约越来越严重。
3.目前在基于tensorflow的框架下，采用tflite，即tensorflow的轻量级模型，通过对模型进行量化和裁剪来达到快速提升模型性能的目的，能快速达到提升模型性能。通过特征选择的方式对特征进行筛选，也是解决该问题的一种方法。同时，模型蒸馏的思路也是业界解决该问题的一种方向。


技术实现要素：

4.本公开的一个目的在于提高模型训练的效率。
5.根据本公开的一些实施例的一个方面，提出一种模型训练方法，包括：针对每条用户行为样本数据，通过教师模型处理用户行为样本数据，获得第一打分值，并根据第一打分值和用户行为样本数据的标签确定第一损失值，其中，第一损失值在教师模型中反向传播；通过学生模型处理用户行为样本数据，获得第二打分值，并根据第二打分值和用户行为样本数据的标签确定第二损失值，其中，第二损失值在学生模型中反向传播；根据第一打分值和第二打分值获取第三损失值，第三损失值仅在学生模型中反向传播。
6.在一些实施例中，该方法还包括：在前序训练过程中，针对每条用户行为样本数据，通过待前序训练的教师模型处理用户行为样本数据，获取教师模型损失值，将教师模型损失值在待前序训练的教师模型中反向传播；完成前序训练，获取教师模型。
7.在一些实施例中，教师模型中包括网络结构或初始化方式中至少一项不同的多个模型。
8.在一些实施例中，通过教师模型处理用户行为样本数据，获得第一打分值，并根据第一打分值和用户行为样本数据的标签确定第一损失值包括：获取教师模型中的每个模型分别处理用户行为样本数据获得的单模型打分值；结合教师模型中的每个模型的单模型打分值，获取第一打分值；根据第一打分值和对应的用户行为样本数据，获取第一损失值。
9.在一些实施例中，结合每个模型的单模型打分值，获取第一打分值包括：根据每个模型的预设权重和单模型打分值，获取单模型打分值的加权和，作为第一打分值。
10.在一些实施例中，通过待前序训练的教师模型处理用户行为样本数据，获取教师模型损失值包括：通过每个待前序训练的教师模型分别处理用户行为样本数据，获取每个模型确定的单模型损失值，其中，教师模型中包括网络结构或初始化方式中至少一项不同
的多个模型；结合每个模型的确定的单模型损失值，获取教师模型损失值；将教师模型损失值在待前序训练的教师模型中反向传播包括：将教师模型损失值在待前序训练的教师模型的每个模型中反向传播。
11.在一些实施例中，该方法还包括：根据第一损失值、第二损失值和第三损失值获取模型训练损失值，其中，第三损失值的权重小于第一损失值和第二损失值。
12.在一些实施例中，该方法还包括：在完成模型训练后，裁剪出训练完成的学生模型；通过学生模型提供服务。
13.在一些实施例中，教师模型和学生模型为基于用户行为数据进行用户排序的机器学习模型。
14.根据本公开的一些实施例的一个方面，提出一种模型训练装置，包括：第一损失值确定单元，被配置为在模型训练过程中，针对每条用户行为样本数据，通过教师模型处理用户行为样本数据，获得第一打分值，并根据第一打分值和用户行为样本数据的标签确定第一损失值，其中，第一损失值在教师模型中反向传播；第二损失值确定单元，被配置为在模型训练过程中，针对每条用户行为样本数据，通过学生模型处理用户行为样本数据，获得第二打分值，并根据第二打分值和用户行为样本数据的标签确定第二损失值，其中，第二损失值在学生模型中反向传播；第三损失值确定单元，被配置为在模型训练过程中，针对每条用户行为样本数据，根据第一打分值和第二打分值获取第三损失值，第三损失值在学生模型中反向传播。
15.在一些实施例中，该装置还包括：前序训练单元，被配置为在前序训练过程中，针对每条用户行为样本数据，通过待前序训练的教师模型处理用户行为样本数据，获取教师模型损失值，并将教师模型损失值在待前序训练的教师模型中反向传播；完成前序训练，获取教师模型。
16.在一些实施例中，该装置还包括：模型训练损失值确定单元，被配置为根据第一损失值、第二损失值和第三损失值获取模型训练损失值，其中，第三损失值的权重小于第一损失值和第二损失值。
17.在一些实施例中，该装置还包括：裁剪单元，被配置为在完成模型训练后，裁剪出训练完成的学生模型；服务单元，被配置为通过学生模型提供服务。
18.根据本公开的一些实施例的一个方面，提出一种模型训练装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行上文中提到的任意一种模型训练方法。
19.根据本公开的一些实施例的一个方面，提出一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上文中提到的任意一种模型训练方法的步骤。
20.根据本公开的一些实施例的一个方面，提出一种服务装置，包括：请求获取单元，被配置为获取预测请求；预测单元，被配置为根据预测请求获取预测结果，其中，预测单元为根据上文中提到的任意一种模型训练方法训练生成的学生模型；和输出单元，被配置为输出预测结果。
附图说明
21.此处所说明的附图用来提供对本公开的进一步理解，构成本公开的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
22.图1为本公开的模型训练方法的一些实施例的流程图。
23.图2为本公开的模型训练方法的另一些实施例的流程图。
24.图3a为本公开的模型训练方法对应的网络的一些实施例的示意图。
25.图3b为本公开的模型训练方法中教师模型的一些实施例的示意图。
26.图4为本公开的模型训练装置的一些实施例的示意图。
27.图5为本公开的模型训练装置的另一些实施例的示意图。
28.图6为本公开的模型训练装置的又一些实施例的示意图。
29.图7为本公开的服务装置的一些实施例的示意图。
具体实施方式
30.下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
31.发明人发现，相关技术中的方式各有弊端。
32.1、tflite有其自身的局限性，首先它并未完全支持tensorflow内部的op运算，也不能很好的支持用户自定义的op运算，这严重的制约了tflite的自身的使用范围。
33.2、特征选择的方法也有其自身的弊端，特征选择极度依赖所使用的样本集，如果使用的样本集与实际的数据分布不相符，那么特征筛选的可信度就会大打折扣，甚至会损伤模型的精度；其次，目前的排序模型使用的多是深度模型，即通过在训练的过程中学习到特征的非线性组合与label(标签)之间的关系。虽然效果会比线性模型或者树类模型的效果要好，但解释性较差。因此通过特征选择来精简特征的思路，解释性相对也会较差。
34.3、传统蒸馏的思路先使用复杂的教师模型(teacher模型)去训练，训练完成后使用teacher模型对样本打分，然后再通过轻量级的学生模型(student模型)去拟合上述打分，最终线上服务使用轻量级的student模型，从而解决性能问题。但是蒸馏的目的是学习到teacher模型的泛化性，而非仅仅拟合到teacher模型的打分，使用上述方法极易使轻量级模型拟合到teacher模型的打分而非学习到其泛化性，从而影响学生模型的准确度；另外，该方法需要接续训练两个模型，极大的延长了训练时间，减缓了迭代速度。
35.本公开的模型训练方法的一些实施例的流程图如图1所示。在端到端的训练过程中，针对所使用的每条用户行为样本数据执行步骤121～123中的操作。在一些实施例中，用户行为样本数据为具备标签的用户行为数据，用于作为模型训练样本。
36.在步骤121中，通过教师模型处理用户行为样本数据，获得第一打分值，并根据第一打分值和对应的用户行为样本数据的标签确定第一损失值。第一损失值会在教师模型中反向传播。在一些实施例中，反向传播可以通过处理器运行计算机存储器中存储的对应的求导程序的方式实现。
37.在一些实施例中，教师模型运行于计算机设备中，其程序存储于计算机的存储器中，处理器获取教师模型对应的程序并运行，并获取来自计算机输入设备(如键盘或网络接口等)获得的用户行为数据，基于运行的程序处理用户行为数据。在一些实施例中，在训练过程中，计算机设备运行教师模型的运行结果可以包括对于用户行为样本数据的打分值和
损失值；在完成训练后，教师模型输出对于用户行为数据的打分值。在一些实施例中，输出的方式包括输出至文本以便用户通过点击文本查看；在一些实施例中，可以直接显示至计算机屏幕供用户查看；在一些实施例中，处理器可以将教师模型的运行结果作为后续程序的输入数据以完成后续处理。
38.在一些实施例中，教师模型为根据输入的用户行为数据执行用户排序的机器学习模型，处理器输出用户排序结果(或对于被处理的用户行为数据的打分值)并输出。在一些实施例中，输出的方式包括输出至文本以便用户通过点击文本查看；在一些实施例中，可以直接显示至计算机屏幕供用户查看。
39.在一些实施例中，可以采用相关技术中模型蒸馏的方式执行教师模型的打分操作，并生成教师模型的损失值，称为第一损失值。在一些实施例中，可以采用交叉熵损失函数计算第一损失值。
40.在一些实施例中，预先将构建的机器学习模型采用用户行为样本数据集初步进行训练，得到上述教师模型。该初步训练的持续时间较短，对初步训练完成的教师模型的要求较低，可以在训练启动时先只启动对教师模型的训练，在达到预设的预定时长后开启对学生模型的训练。
41.在步骤122中，通过学生模型处理用户行为样本数据，获得第二打分值，并根据第二打分值和用户行为样本数据的标签确定第二损失值。第二损失值会在学生模型中反向传播。在一些实施例中，反向传播可以通过处理器运行计算机存储器中存储的对应的求导程序的方式实现。
42.在一些实施例中，学生模型运行于计算机设备中，其程序存储于计算机的存储器中，处理器获取学生模型对应的程序并运行，并获取来自计算机输入设备(如键盘或网络接口等)获得的用户行为数据，基于运行的程序处理用户行为数据。在一些实施例中，在训练过程中，计算机设备运行学生模型的运行结果可以包括对于用户行为样本数据的打分值和损失值；在完成训练后，学生模型输出对于用户行为数据的打分值。在一些实施例中，输出的方式包括输出至文本以便用户通过点击文本查看；在一些实施例中，可以直接显示至计算机屏幕供用户查看；在一些实施例中，处理器可以将学生模型的运行结果作为后续程序的输入数据以完成后续处理。
43.在一些实施例中，学生模型为根据输入的用户行为数据执行用户排序的机器学习模型，处理器输出用户排序结果(或对于被处理的用户行为数据的打分值)并输出。在一些实施例中，输出的方式包括输出至文本以便用户通过点击文本查看；在一些实施例中，可以直接显示至计算机屏幕供用户查看。在一些实施例中，可以采用相关技术中模型蒸馏的方式执行学生模型的打分操作，生成学生模型的损失值，称为第二损失值。在一些实施例中，可以采用交叉熵损失函数计算第二损失值。
44.在步骤123中，基于上述第一打分值和第二打分值，获得第三损失值。第三损失值仅在学生模型中反向传播。在一些实施例中，处理器将运行学生模型程序和教师模型程序的运行结果数据作为计算第三损失值的程序的入参，通过调用存储器中存储的对应程序并运行，获得第三损失值。在一些实施例中，反向传播可以通过处理器运行计算机存储器中存储的对应的求导程序的方式实现。在一些实施例中，可以通过设置stop_gradient函数防止第三损失值在教师模型反向传播。
45.在一些实施例中，教师、学生模型对于用户行为数据或用户行为样本数据的打分值可以为基于用户行为数据或用户行为样本数据的用户评估值，例如针对用户的时间敏感度、重要性或后续产生预定行为的可能性等的评估值。
46.基于上述实施例中的方式，能够实现教师、学生模型的端到端的训练，无需在使教师模型的训练完成后，再基于教师模型的打分结果训练学生模型，从而缩短了训练时间，提高了迭代速度，提高了训练效率。
47.在一些实施例中，上述开始端到端的训练开始之前，可以通过前序训练操作对教师模型先一步开始训练。本公开的模型训练方法的另一些实施例的流程图如图2所示。
48.在步骤211中，在前序训练过程中，针对每条用户行为样本数据，通过待前序训练的教师模型处理用户行为样本数据，获取教师模型损失值，进而将教师模型损失值在待前序训练的教师模型中反向传播，实现对教师模型的参数调整。
49.在步骤212中，通过利用不同的用户行为样本数据重复执行步骤211中的训练操作，完成前序训练。在完成前序训练后，获取教师模型。在一些实施例中，可以以预设的时间长度、前序训练样本数量或教师模型损失值阈值为结束前序训练的触发条件。当满足对应的触发条件后，获取后续执行端到端训练的教师模型，并开始端到端的训练过程。
50.在一些实施例中，在前序训练结束的触发条件为预设的时间长度的情况下，可以根据学生模型和教师模型的预计收敛时长确定预设的时间长度，由于教师模型的收敛需要更长时间，这样的处理方式能够使学生模型与教师模型相对同步完成训练，从而避免学生模型过拟合，提高学生模型的准确度。
51.在完成前序训练后，开始执行步骤221～224中的端到端训练操作。
52.在步骤221中，通过教师模型处理用户行为样本数据，获得第一打分值，并根据第一打分值和对应的用户行为样本数据的标签确定第一损失值loss1。第一损失值会在教师模型中反向传播。
53.在步骤222中，通过学生模型处理用户行为样本数据，获得第二打分值，根据第二打分值和用户行为样本数据的标签确定第二损失值loss2。第二损失值会在学生模型中反向传播。
54.在步骤223中，基于上述第一打分值和第二打分值，获得第三损失值loss3。同理，第三损失值的计算也可以采用交叉熵损失函数的方式。第三损失值仅在学生模型中反向传播。
55.在步骤224中，根据第一损失值、第二损失值和第三损失值获取模型训练损失值loss。在一些实施例中，可以设置第三损失值的权重小于第一损失值和第二损失值，如根据公式(1)得到loss，其中，0《λ《1。
56.loss＝loss1+loss2+λloss3
ꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
57.通过利用不同的用户行为样本数据执行上述步骤221～224的操作，完成端到端的训练过程，直至loss收敛、达到预设的训练次数或训练时长。
58.通过上述实施例中的方法，学生模型在样本的标签与教师模型的第一打分值中能够更多去学习到样本的标签，从而避免学生模型仅拟合到教师模型的打分，提高学生模型预测的准确度。
59.在一些实施例中，在完成端到端的训练操作后，本公开的模型训练方法还包括步
骤230和步骤240。
60.在步骤230中，裁剪出训练完成的学生模型。在一些实施例中，剪裁出学生模型的操作可以通过提取学生模型对应的计算机程序的方式实现。
61.在步骤240中，导出学生模型，利用学生模型提供服务。在一些实施例中，通过只调用并运行学生模型所对应的程序，处理器实现对输入的用户行为数据的处理，输出对应用户的打分值。在一些实施例中，处理器可以输出用户的排序结果。在一些实施例中，处理器可以将结果输出至屏幕供用户查看，或输出至预定路径的文件中，或通过网络接口输出至预设地址。基于当前实施例中的方法，能够在完成训练后仅导出学生模型提供服务，从而在保证在线服务的准确度的同时，提高在线服务的处理效率。
62.在一些实施例中，教师模型中包括网络结构或初始化方式中至少一项不同的多个模型，进而使学生模型学习多个教师模型的打分值，避免学生模型仅拟合到单个教师模型的打分，提高学生模型的泛化性。
63.在一些实施例中，以教师模型中包括3个模型为例，本公开的模型训练方法对应的网络的示意图如图3a所示，其中，3个教师模型可以如图3b所示。图3a、图3b中的示例仅为示意，并不造成对于本公开教师模型的数量和种类的不当限制。如图3b中所示，第一教师模型311、第二教师模型312和第三教师模型313的mlp(multilayer perceptron，多层感知机)层数和初始化方式中的至少一项不同。
64.如图3a中所示，各个教师模型的预测数据会相互结合后得到教师模型整体的预测值，即第一打分值。在一些实施例中，可以将各个预测数据进行bagging(bootstrap aggregating，引导聚集算法)处理后得到第一打分值，作为训练学生模型320的数据。在一些实施例中，考虑到不同教师模型的准确度不同，可以为各个教师模型设置不同的权重，从而进一步提高后续训练后学生模型的准确度。
65.学生模型通过对用户行为样本数据的学习，得到学生模型预测值，即第二打分值。此时产生两种损失值，一种为根据样本的标签生成的第二损失值，一种为根据教师模型输出的第一标签得到的第三损失值。第二、第三损失值的反向传播，使得学生模型不仅学习真实的标签，且学习了教师模型的预测值，进一步提高其泛化性。
66.对构建完成的网络进行训练，在模型训练的前期，先固定学生模型，单独去训练教师模型。待教师模型学习一段时间后，再开启student模型的学习，从而防止在训练前期，student模型学习到了teacher模型不准确的预测值，降低student模型的效果。具体来说，在前序训练中loss＝loss1，在端到端的模型训练中loss＝loss1+loss2+λ*loss3，其中，loss1、loss2、loss3可以如下公式组(2)所示。
[0067][0068]
其中，pteai为教师模型i的单模型预测数据，i为从1～k的整数，k为教师模型的数量；label为样本的标签，pstu为学生模型的预测数据，即第二打分值，loss(，)指根据括号内的参数计算损失值。
[0069]
这样的模型训练方法模型主要实现框架层面上的优化，无需要求模型系统架构的
改动，因此不会造成大幅度增加架构层面的成本的情况，有利于推广应用。
[0070]
具体的，在前序训练中，通过每个待前序训练的教师模型分别处理该训练环节中的用户行为样本数据，获取每个模型确定的单模型损失值loss(pteai,label)；结合每个模型的确定的单模型损失值，获取教师模型损失值loss1；该loss1会在待前序训练的教师模型的每个模型中反向传播。
[0071]
在端到端的模型训练过程中，先获取教师模型中的每个模型分别处理用户行为样本数据获得的单模型打分值pteai，i为从1～k的整数，k为教师模型的数量。进而结合教师模型中的每个模型的单模型打分值，获取第一打分值ptea。在一些实施例中，基于预设的各个教师模型的权重，获取单模型打分值的加权和作为第一打分值ptea，在一些实施例中，各个教师模型的权重可以相同。根据第一打分值ptea和对应的用户行为样本数据中的标签label，获取第一损失值loss1。
[0072]
另外，学生模型根据用户行为样本数据生成预测值，即第二打分值pstu，进而结合样本的标签label，得到第二损失值loss2。同时，根据第二打分值pstu和上述第一打分值ptea，得到第三损失值。在这样的情况下，训练模型整体的损失值为loss＝loss1+loss2+λ*loss3。
[0073]
通过上述实施例中的方式，在训练模型框架层面，能够实现端到端的训练过程，降低训练的复杂度，提高训练效率；使用多个教师模型来代替单一的教师模型，且保证教师模型的多样性，使得学生模型在学习教师模型时即能更好的学习到教师模型的泛化性，提高学生模型在后续实际应用中的准确度。
[0074]
本公开的模型训练装置40的一些实施例的示意图如图4所示。在端到端的训练过程中，针对所使用的每条用户行为样本数据，第一损失值确定单元41、第二损失值确定单元42和第三损失值确定单元43分别执行以下操作。
[0075]
第一损失值确定单元41能够通过教师模型处理用户行为样本数据，获得第一打分值，并根据第一打分值和对应的用户行为样本数据的标签确定第一损失值。第一损失值会在教师模型中反向传播。
[0076]
第二损失值确定单元42能够通过学生模型处理用户行为样本数据，获得第二打分值，并根据第二打分值和样本数据的标签确定第二损失值。第二损失值会在学生模型中反向传播。
[0077]
第三损失值确定单元43能够通过学生模型处理用户行为样本数据，获得第二打分值，并根据第二打分值和样本数据的标签确定第二损失值。第二损失值会在学生模型中反向传播。
[0078]
这样的装置能够实现教师、学生模型的端到端的训练，无需在使教师模型的训练完成后，再基于教师模型的打分结果训练学生模型，从而缩短了训练时间，提高了迭代速度，提高了训练效率。
[0079]
在一些实施例中，模型训练装置还可以包括前序训练单元44，能够在前序训练过程中，针对每条用户行为样本数据，通过待前序训练的教师模型处理用户行为样本数据，获取教师模型损失值，进而将教师模型损失值在待前序训练的教师模型中反向传播，实现对教师模型的参数调整。在完成前序训练后，获取教师模型。
[0080]
这样的装置能够使教师模型先行训练，进而教师、学生模型同步训练，充分考虑到
学生模型收敛速度快于教师模型的情况，避免学生模型过拟合，提高学生模型的准确度。
[0081]
在一些实施例中，模型训练装置还可以包括模型训练损失值确定单元45，能够根据第一损失值、第二损失值和第三损失值获取模型训练损失值loss。在一些实施例中，可以设置第三损失值的权重小于第一损失值和第二损失值。
[0082]
这样的装置使得学生模型在样本的标签与教师模型的第一打分值中，能够更多去学习到样本的标签，从而避免学生模型仅拟合到教师模型的打分，提高学生模型预测的准确度。
[0083]
在一些实施例中，模型训练装置40中，可以构建多个教师模型，同时供学生模型进行学习，各个教师模型的网络结构或初始化方式中至少一项不同，从而使学生模型学习多个教师模型的打分值，避免学生模型仅拟合到单个教师模型的打分，提高学生模型的泛化性。
[0084]
在一些实施例中，模型训练装置还可以包括裁剪单元46和服务单元47。
[0085]
裁剪单元46能够在如图3a所示的训练模型网络结构中剪裁出学生模型。服务单元47能够利用学生模型提供服务。
[0086]
这样的装置能够在完成训练后仅导出学生模型提供服务，从而在保证在线服务的准确度的同时，提高在线服务的处理效率。
[0087]
本公开模型训练装置的一个实施例的结构示意图如图5所示。模型训练装置包括存储器501和处理器502。其中：存储器501可以是磁盘、闪存或其它任何非易失性存储介质。存储器用于存储上文中模型训练方法的对应实施例中的指令。处理器502耦接至存储器501，可以作为一个或多个集成电路来实施，例如微处理器或微控制器。该处理器502用于执行存储器中存储的指令，能够缩短训练时间，提高迭代速度，提高训练效率。
[0088]
在一个实施例中，还可以如图6所示，模型训练装置600包括存储器601和处理器602。处理器602通过bus总线603耦合至存储器601。该模型训练装置600还可以通过存储接口604连接至外部存储装置605以便调用外部数据，还可以通过网络接口606连接至网络或者另外一台计算机系统(未标出)。此处不再进行详细介绍。
[0089]
在该实施例中，通过存储器存储数据指令，再通过处理器处理上述指令，能够缩短训练时间，提高迭代速度，提高训练效率。
[0090]
在另一个实施例中，一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现模型训练方法对应实施例中的方法的步骤。本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0091]
本公开的服务装置70的一些实施例的示意图如图7所示。
[0092]
请求获取单元71能够获取预测请求。在一些实施例中，预测请求中可以包括待处理的用户行为数据。在一些实施例中，请求获取单元71可以为与网络接口信号连接，获取通过网络传递的用户行为数据；在一些实施例中，请求获取单元71可以与数据库信号连接，通过运行预设的程序实现从数据库中提取用户行为数据。
[0093]
预测单元72可以为根据上文中任意一种模型训练方法生成的学生模型，能够根据
获取的预测请求生成预测结果。在一些实施例中，用户行为数据可以为对于用户行为数据所对应的用户的打分值或排序结果。
[0094]
输出单元73能够将预测结果输出给服务装置的用户。在一些实施例中，可以通过网络接口输出至预定网络地址，或输出至存储器的指定存储空间，或输出至屏幕供用户查看。
[0095]
这样的装置能够利用具有更快的训练速度和预测速度的学生模型提供服务，提高了在线服务上线和运行的效率。
[0096]
本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0097]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0098]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0099]
至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
[0100]
可能以许多方式来实现本公开的方法以及装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法以及装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
[0101]
最后应当说明的是：以上实施例仅用以说明本公开的技术方案而非对其限制；尽管参照较佳实施例对本公开进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本公开的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本公开技术方案的精神，其均应涵盖在本公开请求保护的技术方案范围当中。