模型结构调整方法及装置与流程

本申请涉及一种计算机技术领域，尤其涉及一种模型结构测试领域。

背景技术：

mans是neuralarchitecturesearchformobile的缩写，即“手机端的神经架构搜索”，是自动化搜索网络结构automl的一部分。automl为一个能够只在子ai(artificialintelligence，人工智能)的ai，由控制器(controller)和子网络(child)组成。自动化网络搜索能够让机器基于不同任务设计相应的网络结构，进而能够基于不同任务设计相应的模型结构。当前，automl已经运用到图像分类、图像检测、图像分割等多个重要方面。在采用automl进行设计模型结构时，需要根据在终端上的实际耗时计算奖励。而模型结构在训练时部署在深度学习平台上，无法在平台上测试模型结构在终端上的实际耗时。若是每次训练都将模型结构部署在终端上获取实际耗时，那么将会产生大量的操作，延长模型训练时间。

技术实现要素：

为了解决现有技术中的问题，本申请提出下述方案。

第一方面，本申请提供一种模型结构调整方法，包括：

利用测试数据对模型训练平台上部署的待测模型结构进行测试，获得测试结果；

根据测试结果和测试耗时，获得待测模型结构的回报信息；测试耗时为利用测试数据对测试终端上部署的待测模型结构进行测试的耗时，根据预设映射关系获得；预设映射关系包括待测模型结构、测试数据和测试耗时之间的对应关系；

根据回报信息调整待测模型结构，得到优化的模型结构。

在本申请实施例中，在对待测模型结构进行训练时，根据预设的映射关系查找测试耗时，从而无需在训练模型结构时将模型结构部署在终端上，简化了模型结构训练的过程。

在一种实施方式中，测试数据包括至少一个单测脚本，单测脚本用于对待测模型结构的目标层进行测试；根据测试结果和测试耗时，获得对待测模型结构的回报信息之前，还包括：

设置待测模型结构的搜索空间，搜索空间为待测模型结构的参数取值范围；

根据测试图像和搜索空间，生成单测脚本；

利用单测脚本对测试终端上部署的待测模型结构的目标层进行测试，获得测试耗时；

根据测试耗时和单测脚本，生成目标层的查表项；查表项包括测试耗时与目标层、单测脚本的关系；

根据查表项，生成预设映射关系。

在本申请实施例中，测试数据包括多个单测脚本。待测模型结构由多层构成，每个单测脚本对应待测模型结构的一层，即每个单测脚本都有各自的目标层，用于对目标层进行测试。

在一种实施方式中，利用单测脚本对测试终端上部署的待测模型结构的目标层进行测试，获得测试耗时，包括：

利用单测脚本对目标层进行多次测试，获得多个测试时间值；

计算多个测试时间值的平均值，得到测试耗时。

在本申请实施例中，考虑到单次测试可能会存在一定偏差，为了更准确地获得测试耗时，可进行多次重复测试，每次测试获得一个测试时间值，然后将重复测试的测试时间值总和除以重复测试的次数，获得测试时间值的平均值。

在一种实施方式中，单测脚本包括测试图像和操作详细信息；根据测试耗时和单测脚本，生成目标层的查表项，包括：

将测试图像和在目标层执行的操作详细信息封装为字符串；

将字符串和测试耗时加入查表项；使得能够根据查表项查询测试耗时与目标层、单测脚本的关系。

在本申请实施例中，将测试图像和对模型结构的目标层执行的操作详细信息封装为字符串，能够精简查表项的数据，进而简化映射关系。在字符串中，包含测试图像的主要数据信息和模型结构的目标层执行的操作的详细信息。其中在目标层执行的操作详细信息为能够将本操作与在其它层执行的操作进行区分的详细信息。

在一种实施方式中，根据回报信息调整待测模型结构，包括：

根据回报信息生成待测模型结构的参数序列更新值；

根据参数序列更新值，调整待测模型结构。

本申请实施例中，根据回报信息对待测模型结构进行优化，能够实现对模型结构的训练。

第二方面，本申请提供一种模型结构调整装置，包括：

测试模块：用于利用测试数据对模型训练平台上部署的待测模型结构进行测试，获得测试结果；

回报模块：用于根据测试结果和测试耗时，获得待测模型结构的回报信息；测试耗时为利用测试数据对测试终端上部署的待测模型结构进行测试的耗时，根据预设映射关系获得；预设映射关系包括待测模型结构、测试数据和测试耗时之间的对应关系；

调整模块：用于根据回报信息调整待测模型结构，得到优化的模型结构。

在一种实施方式中，测试数据包括至少一个单测脚本，单测脚本用于对待测模型结构的目标层进行测试；装置还包括：

搜索空间模块：用于设置待测模型结构的搜索空间，搜索空间为待测模型结构的参数取值范围：

单测脚本模块：用于根据测试图像和搜索空间，生成单测脚本；

测试耗时模块：用于利用单测脚本对测试终端上部署的待测模型结构的目标层进行测试，获得测试耗时；

查表项模块：用于根据测试耗时和单测脚本，生成目标层的查表项；查表项包括测试耗时与目标层、单测脚本的关系；

映射关系模块：用于根据查表项，生成预设映射关系。

在一种实施方式中，测试耗时模块还用于：

利用单测脚本对目标层进行多次测试，获得多个测试时间值；

计算多个测试时间值的平均值，得到测试耗时。

在一种实施方式中，单测脚本包括测试图像和操作详细信息；查表项模块还用于：

将测试图像和在目标层执行的操作详细信息封装为字符串；

将字符串和测试耗时加入查表项；使得能够根据查表项查询测试耗时与目标层、单测脚本的关系。

在一种实施方式中，调整模块包括：

更新值生成单元：用于根据回报信息生成待测模型结构的参数序列更新值；

更新单元：用于根据参数序列更新值，调整待测模型结构。

第三方面，本申请实施例提供一种电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本申请任意一项实施例所提供的方法。

第四方面，本申请实施例提供一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，计算机指令用于使计算机执行本申请任意一项实施例所提供的方法。

上述申请中的一个实施例具有如下优点或有益效果：既能够提高模型结构训练过程中回报信息计算的准确率，又能够简化模型训练过程。因为采用通过查找预设映射关系来确定测试耗时技术手段，所以克服了不能够准确获得测试耗时或者需要将模型结构部署在终端上才能够获得准确的测试耗时的技术问题，进而达到提高回报信息计算的准确率以及简化模型结构训练过程的技术效果。

上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请第一实施例的模型结构调整方法示意图；

图2是根据本申请第二实施例的模型结构调整方法示意图；

图3为本申请一种示例的模型结构调整方法示意图；

图4为本申请一种实施例的模型结构调整装置结构示意图；

图5为本申请一种实施例的模型结构调整装置结构示意图；

图6是用来实现本申请实施例的模型结构调整方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1为本申请实施例提供的模型结构调整方法流程图，如图1所示，本事实力的模型结构调整方法包括：

步骤s11：利用测试数据对模型训练平台上部署的待测模型结构进行测试，获得测试结果。

步骤s12：根据测试结果和测试耗时，获得对待测模型结构的回报信息；测试耗时为利用测试数据对测试终端上部署的待测模型结构进行测试的耗时，根据预设映射关系获得；预设映射关系包括待测模型结构、测试数据和测试耗时之间的对应关系。

步骤s13：根据回报信息调整待测模型结构，得到优化的模型结构。

在本申请实施例中，在对待测模型结构进行训练时，根据预设的映射关系查找测试耗时，从而无需在训练模型结构时将模型结构部署在终端上，简化了模型结构训练的过程。

在本申请实施例中，已知预设映射关系时，能够根据待测模型结构、测试数据查找出对应的模型结构部署在待测终端上时利用测试数据进行测试的耗时。

在本申请实施例中，预设映射关系和测试终端的型号之间也可以具有对应关系。

在本申请实施例中，测试终端可以包括手机、便携电脑等移动终端。

在本申请实施例中，测试结果可以包括准确率。

在本申请实施例中，利用测试数据对测试终端上部署的待测模型结构进行测试的耗时，可以是针对整个待测模型结构的耗时，也可以是模型结构中某一目标层的耗时。

在一种实施方式中，测试数据包括至少一个单测脚本。单测脚本用于对待测模型结构的目标层进行测试。根据测试结果和测试耗时，获得对待测模型结构的回报信息之前，如图2所示，该方法还包括：

步骤s21：设置待测模型结构的搜索空间，搜索空间为待测模型结构的参数取值范围。

步骤s22：根据测试图像和搜索空间，生成单测脚本。

步骤s23：利用单测脚本对测试终端上部署的待测模型结构的目标层进行测试，获得测试耗时。

步骤s24：根据测试耗时和单测脚本，生成目标层的查表项；查表项包括测试耗时与目标层、单测脚本的关系。

步骤s25：根据查表项，生成预设映射关系。

在本申请实施例中，测试数据包括多个单测脚本。待测模型结构由多层构成，每个单测脚本对应待测模型结构的一层，即每个单测脚本都有各自的目标层，用于对目标层进行测试。

例如，模型结构可以用于对图像进行处理。测试图像为模型结构可能处理的图像或者根据模型结构可能处理的图像的参数范围构造的图像。

在本申请实施例中，映射关系可以通过一个映射表实现，在该映射表中包含映射关系。

在本申请上述实施例中，测试耗时为利用测试数据对目标层进行测试所获得的耗时。

在本申请实施例中，步骤s22可以包括：根据测试图像的具体信息结合搜索空间，生成单测脚本。测试图像的具体信息可以包括测试图像的长、宽、通道数等信息，操作的具体信息如卷积，即对应卷积核的大小、padding(补边信息)、步长大小、通道个数等，gru(gatedrecurrentunit，门控循环单元)操作对应的激活函数，hiddenstate(隐藏状态)的大小等。

在一种实施方式中，利用单测脚本对测试终端上部署的待测模型结构的目标层进行测试，获得测试耗时，包括：

利用单测脚本对目标层进行多次测试，获得多个测试时间值；

计算多个测试时间值的平均值，得到测试耗时。

在本申请实施例中，考虑到单次测试可能会存在一定偏差，为了更准确地获得测试耗时，可进行多次重复测试，每次测试获得一个测试时间值，然后将重复测试的测试时间值总和除以重复测试的次数，获得测试时间值的平均值。

在本申请实施例中，模型结构可以为用于识别图像中文字的模型结构。

在具体实施例中，可以进行2-500次的重复测试。例如，可执行100次重复测试。

在一种实施方式中，单测脚本包括测试图像和操作详细信息；根据测试耗时和单测脚本，生成目标层的查表项，包括：

将测试图像和在目标层执行的操作详细信息封装为字符串；

将字符串和测试耗时加入查表项；使得能够根据查表项查询测试耗时与目标层、单测脚本的关系。

在本申请实施例中，将测试图像和对模型结构的目标层执行的操作详细信息封装为字符串，能够精简查表项的数据，进而简化映射关系。在字符串中，包含测试图像的主要数据信息和模型结构的目标层执行的操作的详细信息。其中在目标层执行的操作详细信息为能够将本操作与在其它层执行的操作进行区分的详细信息。

在本申请实施例中，操作详细信息与在模型结构的目标层上执行的操作相对应。例如，操作可以包括卷积(conv)、可分离卷积(dwconv)、element-wiseadd(数组元素依次相加)、bn((batchnormalization，批量归一化)，relu(rectifiedlinearunit，线性整流函数)、im2seq(imagetosequence，图像到序列)、gru，fc(fullconnect，全连接)、topk(找出前k大数)。

例如，按一定顺序将图像信息和操作详细信息封装为string(字符串)，使用python(蟒蛇)语言的dict(字典)工具将每个string映射到一个测试耗时。当输入op(operation)的操作详细信息时，即dict的key(键)信息，会返回对应的测试耗时，即dict的value(值)信息。

在一种实施方式中，根据回报信息调整待测模型结构，包括：

根据回报信息生成待测模型结构的参数序列更新值；

根据参数序列更新值，调整待测模型结构。

本申请实施例中，根据回报信息对待测模型结构进行优化，能够实现对模型结构的训练。

在本申请一种示例中，如图3所示，该方法包括：

步骤s31：设置待测模型结构的搜索空间，搜索空间为待测模型结构的参数取值范围。

在本申请一种示例中，搜索空间为：

通道数ch＝[8，16，24，32，40，48，56，64]；

卷积核大小kernel_size＝[3，5]；

块数目number_block＝[3]；

卷基层个数number_conv＝[1，2，3，4]；

卷基层的扩张倍数expand_times＝[2，3，4，5，6，]；

隐藏元节点个数hidden_size＝[90，120，150]；

激活函数类型gate_type＝[‘sogmoid’，‘tanth’，‘relu’，‘identity’]；

识别模型输出层节点个数number_fc[0，40，80，120]。

相应待测模型结构的参数需在上述搜索空间内。例如，待测模型结构包括三个卷积层和一个循环神经网络和识别模型输出层。待测模型结构的序列为：[[7]，[0]，[3]，[2]，[1]，[1]，[3]，[0]，[3]，[1]，[2]，[2]，[5]，[1]，[3]，[3]]。其中，16个数字每4个一组，前三组均表示卷积层的参数，最后一组表示循环神经网络和识别模型输出层的参数。

以第一组[[7]，[0]，[3]，[2]]表示的卷积结构为例，

第一个数表示卷积层的通道数在搜索空间的索引，如“7”则表示搜索空间ch列表中ch[7]＝64，即通道数为64；

第二个数表示卷积层的卷积核大小在搜索空间的索引，如“0”则表示搜索空间kernel_size列表中kernel_size[0]＝3，即为3x3的卷积；

第三个数表示卷积层的扩张倍数在搜索空间的索引，如“3”则表示搜索空间expand_times列表中expand_times[3]＝5，即卷积层的扩张倍数为5倍；

第四个数表示卷积层的重复次数在搜索空间的索引，如“2”则表示搜索空间number_conv列表中number_conv[2]＝3，即该卷积层重复级联3次。

在上述示例中，第二组数[[1]，[1]，[3]，[0]]和第三组数[[3]，[1]，[2]，[2]]表达的含义与第一组数类似。

以第四组[[5]，[1]，[3]，[3]]表示的循环神经网络结构和识别模型输出层为例，

第一个数表示第一层卷积层的通道数在搜索空间的索引，如“6”则表示搜索空间ch列表中ch[5]＝48，即通道数为48；

第二个数表示循环神经网络gru层的隐藏元节点个数在搜索空间的索引，如“1”则表示搜索空间hidden_size列表中hidden_size[1]＝120，即节点个数为120；

第三个数表示循环神经网络gru层的激活函数类型在搜索空间的索引，如“3”则表示搜索空间gate_type列表中gate_type[3]＝‘identity’，即激活类型为‘identity’；

第四个数表示识别模型输出层节点个数在搜索空间的索引，如“3”表示搜索空间number_fc列表中number_fc[3]＝120，即识别模型输出fc层节点个数为120。

步骤s32：根据测试图像和搜索空间，生成单测脚本。

在本申请实施例中，根据测试图像和搜索空间，能够得知对待测模型结构每个层相应操作的操作详细信息。进而结合操作详细信息、测试图像和搜索空间，生成单测脚本。

在一种示例中，操作详细信息可以包括：在目标层计算的函数名、目标层、目标层对应的搜索空间参数等。

步骤s33：利用单测脚本对测试终端上部署的待测模型结构的目标层进行测试，获得测试耗时。

步骤s34：根据测试耗时和单测脚本，生成目标层的查表项。

步骤s35：根据查表项，生成预设映射关系。

在本申请一种示例中，生成的预设映射关系可以如下：

kernel：3stride：2padding：1in_c：3height：48width：180out_c：16cost：0.7253ms

kernel：1stride：1padding：0in_c：16height：24width：90out_c：8cost：0.179ms

kernel：1stride：1padding：0in_c：8height：24width：90out_c：24cost：0.2166ms

kernel：1stride：1padding：0in_c：24height：24width：90out_c：8cost：0.1886ms

在本申请实施例中，可以进一步简化映射关系，生成纯数据映射，例如，根据上述第一条映射关系，表示测试数据的数组“32134818016”对应测试耗时“0.06759”ms。

在本申请实施例中，上述kernel为卷积核大小，stride为步长，padding为补边参数，in_c为输入通道，height为图像高度，width为图像宽度，out_c为输出通道，cost为所述测试耗时。

步骤s36：通过结构调整模块采样，产生模型结构序列，根据模型结构序列产生模型结构。

步骤s37：将模型结构部署在训练平台上进行训练，得到模型结构处理测试数据的准确率。

步骤s38：根据测试数据和模型结构，查找相应的测试耗时。

步骤s39：根据准确率和测试耗时计算回报信息。

在本申请实施例中，mnas的controller产生模型结构的描述，将相应模型结构在child上训练。根据child的网络结构解析用到的模型结构各个层的操作详细信息，生成查表需要的key，查找耗时映射关系得到各个层的操作的测试耗时，对模型结构所有层的测试耗时累加得到child整个网络在测试终端实际运行的时间，将这个时间作为下式reward计算中耗时ttest，其中ttarget为预先设定的嵌入式端上预测的目标耗时。

上式中，reward为回报信息，acc为准确率，ttarqet为模型结构的目标耗时，ttest为模型结构所有层的测试耗时之和。

在本申请示例中，通过结构预训练模块，进行待测模型结构的预训练，得到待测模型结构在测试数据上的准确率，通过查表得到的测试耗时，计算得模型结构回报信息中的回报值。例如，在一示例中获得准确率v_acc＝0.6605，总测试耗时为ttest＝45.25ms，则该结构回报信息中的回报值reward＝0.5368。

步骤s310：根据回报信息对模型结构进行优化。

步骤s311：对优化后的模型结构重复执行步骤s37-s310，直到生成的回报信息中的回报值收敛。

在本申请实施例中，根据最终优化后的模型结构获得待优化的模型，对待优化的模型进行训练，最后得到可部署在测试终端上的模型。在一种示例中收敛的最优模型结构可以为final_arch＝[[[7]，[0]，[4]，[1]]，[[6]，[1]，[1]，[1]]，[[4]，[0]，[1]，[0]]，[[0]，[0]，[0]，[0]]]，的校验集合准确率v_acc＝0.7005，查表耗时为ttest＝30.95ms，则该结构奖励reward＝3.2815。

本申请实施例还提供一种模型结构调整装置，结构如图4所示，包括：

测试模块41：用于利用测试数据对模型训练平台上部署的待测模型结构进行测试，获得测试结果；

回报模块42：用于根据测试结果和测试耗时，获得对所述待测模型结构的回报信息；所述测试耗时为利用所述测试数据对测试终端上部署的所述待测模型结构进行测试的耗时，根据预设映射关系获得；所述预设映射关系包括所述待测模型结构、所述测试数据和所述测试耗时之间的对应关系；

调整模块43：用于根据所述回报信息调整所述待测模型结构，得到优化的模型结构。

在一种实施例中，所述测试数据包括至少一个单测脚本，所述单测脚本用于对所述待测模型结构的目标层进行测试；如图5所示，所述装置还包括：

搜索空间模块51：用于设置所述待测模型结构的搜索空间，所述搜索空间为所述待测模型结构的参数取值范围；

单测脚本模块52：用于根据测试图像和所述搜索空间，生成所述单测脚本；

测试耗时模块53：用于利用所述单测脚本对所述测试终端上部署的所述待测模型结构的目标层进行测试，获得所述测试耗时；

查表项模块54：用于根据所述测试耗时和所述单测脚本，生成所述目标层的查表项；所述查表项包括所述测试耗时与所述目标层、所述单测脚本的关系；

映射关系模块55：用于根据所述查表项，生成所述预设映射关系。

在一种实施方式中，所述测试耗时模块还用于：

利用单测脚本对所述目标层进行多次测试，获得多个测试时间值；

计算多个测试时间值的平均值，得到所述测试耗时。

在一种实施方式中，所述单测脚本包括测试图像和操作详细信息；所述查表项模块还用于：

将所述测试图像和在所述目标层执行的操作详细信息封装为字符串；

将所述字符串和所述测试耗时加入所述查表项；使得能够根据所述查表项查询所述测试耗时与所述目标层、所述单测脚本的关系。

在一种实施方式中，所述调整模块包括：

更新值生成单元：用于根据所述回报信息生成待测模型结构的参数序列更新值；

更新单元：用于根据所述参数序列更新值，调整所述待测模型结构。...

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图6所示，是根据本申请实施例的模型结构调整方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示图形用户界面(graphicaluserinterface，gui)的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。

存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的模型结构调整的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的模型结构调整方法。

存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的模型结构调整的方法对应的程序指令/模块(例如，附图4所示的测试模块41、回报模块42、调整模块43。处理器401通过运行存储在存储器402中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的模型结构调整的方法。

存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据模型结构调整的电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至模型结构调整的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

模型结构调整的方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。

输入装置603可接收输入的数字或字符信息，以及产生与模型结构调整的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，led)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(liquidcrystaldisplay，lcd)、发光二极管(lightemittingdiode，led)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用集成电路(applicationspecificintegratedcircuits，asic)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(programmablelogicdevice，pld))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(cathoderaytube，阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(localareanetwork，lan)、广域网(wideareanetwork，wan)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，既能够提高模型结构训练过程中回报信息计算的准确率，又能够简化模型训练过程。因为采用通过查找预设映射关系来确定测试耗时技术手段，所以克服了不能够准确获得测试耗时或者需要将模型结构部署在终端上才能够获得准确的测试耗时的技术问题，进而达到提高回报信息计算的准确率以及简化模型结构训练过程的技术效果。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。