一种性能信息获取方法、装置及存储介质与流程

本发明涉及计算机领域中的数据处理技术，尤其涉及一种性能信息获取方法、装置及存储介质。

背景技术：

在机器学习中，通常通过搭建模型，并基于大量训练数据对搭建的模型的参数进行调整，来获得能够实现预设功能的模型；然而在上述模型的获得过程中，不论是模型的搭建还是模型的训练，又或者是模型训练完成时，都需要对模型的性能进行评测。因此，如何对模型的性能进行评测是机器学习的重要组成部分。

现有技术中，通常通过大量测试样本的采集和标注，并将采集的大量测试样本输入到待评测模型获得模型预测结果，以及将标注的大量测试样本与模型预测结果进行对比，来得到待评测模型的性能指标。然而，在上述利用大量的测试样本进行待评测模型的评测过程中，需进行大量测试样本的采集，由于受待评测模型的应用场景的影响，仅能获取到预设数量的测试样本，而利用预设数量的测试样本获得的待评测模型的性能指标无法准确地描述待评测模型的性能信息；因此，获取的待评测模型的性能信息的准确率低。

技术实现要素：

为解决上述技术问题，本发明实施例期望提供一种性能信息获取方法、装置及存储介质，能够提升获取的待评测模型的性能信息的准确率。

本发明的技术方案是这样实现的：

第一方面，本发明实施例提供了一种性能信息获取方法，所述方法包括：

当获取到待评测模型时，基于预设模型结构，确定所述待评测模型的待评测模型结构信息，所述待评测模型为具有层次结构的模型；

根据所述待评测模型结构信息，以及预设模型结构和评测模型的对应关系，确定对应的目标评测模型，所述预设模型结构和评测模型的对应关系用于根据模型结构确定用于对模型进行评测的评测模型，所述目标评测模型为具有时序性结构的模型；

利用所述目标评测模型和预设评测数据对所述待评测模型进行评测，得到所述待评测模型的待评测模型性能信息。

上述方案中，所述根据所述待评测模型结构信息，以及预设模型结构和评测模型的对应关系，确定对应的目标评测模型之前，所述方法还包括：

获取所述预设模型结构中每类模型结构的模型样本；

构建所述模型样本中每个样本模型在对应的评测样本数据下的样本特征池，从而得到所述模型样本的样本特征池集合；

利用预设训练模型，对所述样本特征池集合和所述模型样本的样本性能信息集合进行训练，得到所述每类模型结构对应的评测模型，从而得到所述预设模型结构和评测模型的对应关系。

上述方案中，所述构建所述模型样本中每个样本模型在对应的评测样本数据下的样本特征池，包括：

在所述每个样本模型对应的评测样本数据下，获取每个样本层的样本模型参数、样本模型权重分布和样本模型输出特征图；

将所述样本模型参数、所述样本模型权重分布和所述样本模型输出特征图构建为所述每个样本层的子样本特征池，从而得到所述每个样本模型的所述样本特征池。

上述方案中，所述利用所述目标评测模型和预设评测数据对所述待评测模型进行评测，得到所述待评测模型的待评测模型性能信息，包括：

在所述预设评测数据下，获取所述待评测模型每个待评测层的待评测模型参数、待评测模型权重分布和待评测模型输出特征图；

将所述待评测模型参数、所述待评测模型权重分布和所述待评测模型输出特征图构建为所述每个待评测层的子待评测特征池，从而得到所述待评测模型的待评测特征池；

将所述待评测特征池输入至所述目标评测模型，得到所述待评测模型的所述待评测模型性能信息。

上述方案中，所述得到所述待评测模型的待评测模型性能信息之后，所述方法还包括：

根据所述待评测模型性能信息，确定所述待评测模型的优化处理信息。

第二方面，本发明实施例提供了一种性能信息获取装置，所述装置包括：

结构确定单元，用于当获取到待评测模型时，基于预设模型结构，确定所述待评测模型的待评测模型结构信息，所述待评测模型为具有层次结构的模型；

模型确定单元，用于根据所述待评测模型结构信息，以及预设模型结构和评测模型的对应关系，确定对应的目标评测模型，所述预设模型结构和评测模型的对应关系用于根据模型结构确定用于对模型进行评测的评测模型，所述目标评测模型为具有时序性结构的模型；

评测单元，用于利用所述目标评测模型和预设评测数据对所述待评测模型进行评测，得到所述待评测模型的待评测模型性能信息。

上述方案中，所述装置还包括：

训练单元，用于获取所述预设模型结构中每类模型结构的模型样本；构建所述模型样本中每个样本模型在对应的评测样本数据下的样本特征池，从而得到所述模型样本的样本特征池集合；利用预设训练模型，对所述样本特征池集合和所述模型样本的样本性能信息集合进行训练，得到所述每类模型结构对应的评测模型，从而得到所述预设模型结构和评测模型的对应关系。

上述方案中，所述训练单元，具体用于在所述每个样本模型对应的评测样本数据下，获取每个样本层的样本模型参数、样本模型权重分布和样本模型输出特征图；将所述样本模型参数、所述样本模型权重分布和所述样本模型输出特征图构建为所述每个样本层的子样本特征池，从而得到所述每个样本模型的所述样本特征池。

第三方面，本发明实施例提供了一种性能信息获取装置，所述装置包括：处理器、存储器和通信总线，所述存储器通过所述通信总线与所述处理器进行通信，所述存储器存储所述处理器可执行的程序，当所述程序被执行时，通过所述处理器执行如上述所述的性能信息获取方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时实现如上述所述的性能信息获取方法。

本发明实施例提供了一种性能信息获取方法、装置及存储介质，首先，当获取到待评测模型时，基于预设模型结构，确定待评测模型的待评测模型结构信息，待评测模型为具有层次结构的模型；然后，根据待评测模型结构信息，以及预设模型结构和评测模型的对应关系，确定对应的目标评测模型，预设模型结构和评测模型的对应关系用于根据模型结构确定用于对模型进行评测的评测模型，目标评测模型为具有时序性结构的模型；最后，利用目标评测模型和预设评测数据对待评测模型进行评测，得到待评测模型的待评测模型性能信息。采用上述技术实现方案，由于待评测模型的待评测模型性能信息，是根据预设评测数据，以及从预设模型结构和评测模型的对应关系中获得的目标评测模型得到的，而目标评测模型为具有时序性结构的模型，待评测模型为具有层结构的模型，利用目标评测模型和预设评测数据能够根据目标评测模型的时序性结构有效地描述待评测模型的层次结构，从而准确地获得待评测模型的性能信息，实现了一种利用目标评测模型对待评测模型的性能进行准确评测的技术方案，因此，本发明实施例提供的性能信息获取方法提升了获取的待评测模型的性能信息的准确率。

附图说明

图1为本发明实施例提供的一种性能信息获取方法实现流程图；

图2为本发明实施例提供的一种示例性的样本层的处理流程图；

图3为本发明实施例提供的一种示例性的计数分布的示意图一；

图4为本发明实施例提供的一种示例性的计数分布的示意图二；

图5为本发明实施例提供的一种示例性的获取性能信息的示意图；

图6为本发明实施例提供的一种示例性的评测流程示意图；

图7为本发明实施例提供的一种示例性的性能信息获取方法示意图；

图8为本发明实施例提供的一种性能信息获取装置的结构示意图一；

图9为本发明实施例提供的一种性能信息获取装置的结构示意图二。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

实施例一

本发明实施例提供了一种性能信息获取方法，图1为本发明实施例提供的一种性能信息获取方法实现流程图，如图1所示，该性能信息获取方法包括：

s101、当获取到待评测模型时，基于预设模型结构，确定待评测模型的待评测模型结构信息，待评测模型为具有层次结构的模型。

在本发明实施例中，当通过性能信息获取装置对模型进行性能评测时，性能信息获取装置能够获取到要进行性能评测的模型，此时，也就获取到了待评测模型；而后，由于性能信息获取装置中是基于待评测模型的结构对待评测模型进行评测的，又因为性能信息获取装置中预设有用于确定模型的结构的信息即预设模型结构，因此，性能信息获取装置基于该预设模型结构，就能够确定待评测模型的结构，从而得到待评测模型的待评测模型结构信息，完成待评测模型的结构信息的获取，以使性能信息获取装置基于该待评测模型结构信息进行待评测模型性能的评测。

这里，待评测模型为具有层次结构的模型，也就是说，待评测模型在模型结构上是分层的，比如，神经网络模型；而待评测模型结构信息表征待评测模型的结构，比如，分类模型结构、检测模型结构、分割模型结构和光学字符识别模型结构等。

s102、根据待评测模型结构信息，以及预设模型结构和评测模型的对应关系，确定对应的目标评测模型，预设模型结构和评测模型的对应关系用于根据模型结构确定用于对模型进行评测的评测模型，目标评测模型为具有时序性结构的模型。

在本发明实施例中，性能信息获取装置中预设有预设模型结构和评测模型的对应关系，而该预设模型结构和评测模型的对应关系用于根据模型结构确定用于对模型进行评测的评测模型；也就是说，预设模型结构和评测模型的对应关系表征了模型的结构和具有该结构的模型对应的评测模型之间的对应关系，当给定一个模型的结构，就能从该预设模型结构和评测模型的对应关系中获得与该给定的模型的结构对应的评测模型；因此，当性能信息获取装置获得了待评测模型的待评测模型结构信息之后，由于待评测模型结构信息表征待评测模型的结构，性能信息获取装置将该待评测模型结构信息与预设模型结构和评测模型的对应关系中的模型结构进行匹配，并将匹配的模型结构对应的评测模型作为待评测模型结构信息对应的评测模型即目标评测模型，也就完成了待评测模型对应的目标评测模型的确定。

需要说明的是，目标评测模型为具有时序性结构的模型，也就是说，目标评测模型在模型结构上是具有时序性的，比如，循环神经网络模型或长短期记忆网络模型等。另外，预设模型结构和评测模型的对应关系中的评测模型用于对模型进行性能评测，比如，评测模型用于获取模型的准确率和召回率等性能指标；并且，预设模型结构和评测模型的对应关系中的评测模型也是具有时序性结构的模型。

s103、利用目标评测模型和预设评测数据对待评测模型进行评测，得到待评测模型的待评测模型性能信息。

在本发明实施例中，当性能信息获取装置获得了用于对待评测模型进行性能评测的目标评测模型之后，就能够利用该目标评测模型对待评测模型进行性能的评测了；而评测时，还需要预设评测数据，以利用该预设评测数据获得待评测模型的层次结构对应的信息，进而使得性能信息获取装置能根据目标评测模型的时序性结构有效描述出待评测模型的层次结构对应的信息，从而获得待评测模型的性能，即得到待评测模型的待评测模型性能信息。

需要说明的是，预设评测数据表征获取到用于对待评测模型的性能进行评测的预设数量的样本数据，这里，预设数量为至少一个，也就是说，预设评测数据为至少一个评测样本；并且，预设评测数据是根据预设操作获取到的(即容易获取到的)，可以是待评测模型的应用场景中实地采集到的数据，也可以是仿真数据(比如轻易获得的人工制造的假数据)，等等，本发明实施例对此不作具体限定。而待评测模型性能信息表征待评测模型的性能，这里，由于待评测模型与业务功能对应，不同的业务功能对应的待评测模型的性能不同，比如，待评测模型对应的业务功能为分类，则待评测模型性能信息为分类的准确率和召回率。

可以理解的是，本发明实施例中的性能信息获取装置利用目标评测模型和通过预设操作就能获得的预设评测数据，实现了根据目标评测模型的时序性结构准确描述预设评测数据下的待评测模型的层次结构，从而获得待评测模型的准确的性能信息，确保了评测出的待评测模型的性能的准确性，也提升了待评测模型的性能评测的可行性。另外，即使待评测模型对应的大量的评测数据集能够获得，而对大量的评测数据集进行标注也需要消耗时间，因此，本发明实施例提供的性能信息获取方法，避免了对大量的评测数据集进行标注，从而提升了待评测模型性能的评测效率。

进一步地，在本发明实施例中，s102性能信息获取装置根据待评测模型结构信息，以及预设模型结构和评测模型的对应关系，确定对应的目标评测模型之前，该性能信息获取方法还包括s104-s106：

s104、获取预设模型结构中每类模型结构的模型样本。

在本发明实施例中，性能信息获取装置能够根据样本数据完成对预设模型结构和评测模型的对应关系的训练。首先，性能信息获取装置需获得用于训练预设模型结构和评测模型的对应关系的样本数据；由于不同结构的模型对应的评测模型不同，因此，性能信息获取装置针对不同结构的模型训练出不同的评测模型，从而，性能信息获取装置针对预设模型结构中每类模型结构进行样本数据的获取，也就获得了预设模型结构中每类模型结构的模型样本；这里，每类模型结构的模型样本所构成的集合也就是用于训练预设模型结构和评测模型的对应关系的样本数据。

示例性地，性能信息获取装置可以将著名赛事中取得优异成绩的经典模型作为模型样本(比如，vggnet，zfnet，googlenet等)，通过将该经典模型的模型参数和少量测试数据下的输出特征图作为训练模型的输入信息进行评测模型的训练。

s105、构建模型样本中每个样本模型在对应的评测样本数据下的样本特征池，从而得到模型样本的样本特征池集合。

在本发明实施例中，当性能信息获取装置获得了每类模型结构的模型样本之后，根据该模型样本进行每类模型结构对应的评测模型的训练；具体地，模型样本中包括至少一个样本模型和至少一个样本模型对应的至少一个评测样本数据(比如，imagenet数据集、cifar10数据集和cifar100数据集等)，性能信息获取装置将模型样本中每个样本模型在对应的评测样本数据下的样本层的特征信息构建为每个样本模型的样本特征池，这里，样本特征池为进行每类模型结构对应的评测模型的训练时的输入数据。另外，由于模型样本中包含了至少一个样本模型，因此，当获得了每个样本模型对应的样本特征池之后，也就获得了模型样本对应的至少一个样本特征池即样本特征集合。

s106、利用预设训练模型，对样本特征池集合和模型样本的样本性能信息集合进行训练，得到每类模型结构对应的评测模型，从而得到预设模型结构和评测模型的对应关系。

在本发明实施例中，当性能信息获取装置获得了样本特征池集合之后，由于模型样本的性能即模型样本的样本性能信息集合是预知的，因此，性能信息获取装置利用预设训练模型进行评测模型的模型搭建，将样本特征池集合输入至搭建的模型获得至少一个样本模型对应的预测性能信息，并根据预测性能信息和样本性能信息集合持续进行评测模型的训练调优，最终得到每类模型结构对应的评测模型，也就完成了对样本特征池集合和模型样本的样本性能信息集合的训练。

需要说明的是，当获得了每类模型结构对应的评测模型之后，将每类模型结构与每类模型结构对应的评测模型进行对应组合，也就得到了预设模型结构和评测模型的对应关系。

更进一步地，在本发明实施例中，s105性能信息获取装置构建模型样本中每个样本模型在对应的评测样本数据下的样本特征池，具体包括s105a和s105b：

s106a、在所述每个样本模型对应的评测样本数据下，获取每个样本层的样本模型参数、样本模型权重分布和样本模型输出特征图。

在本发明实施例中，每个样本模型和待评测模型一样，同样也是具有层次结构的模型，也就是说，每个样本模型包含至少一个样本层，而每个样本层对应的特征信息即每个样本模型每个样本层的样本模型参数、样本模型权重分布和样本模型输出特征图。

需要说明的是，样本模型参数表征样本模型的每个样本层对应的参数信息，比如，卷积核大小、步长、池化信息、偏置和输入数据的激活数目等；样本模型权重分布表征样本模型的每个样本层对输入数据进行处理时对应的权重信息的分布信息，比如，卷积核的权重分布；样本模型输出特征图表征样本模型的每个样本层对应的输出数据的信息。另外，这里的每个样本层可以为样本模型全部样本层中的每个样本层，也可以是样本模型部分样本层中的每个样本层，本发明实施例对此不作具体限定；然而，当每个样本层是样本模型部分样本层中的每个样本层时，该部分样本层是从全部样本层中按顺序抽取到的指定数量的样本层。

另外，为了增加评测样本数据的量级，性能信息获取装置可以将训练评测模型的训练过程中的数据作为评测样本数据。比如，当评测模型需迭代80000步完成训练时，性能信息获取装置可以将根据评测样本数据进行训练迭代时，每一万步对应的参数、特征图和对应的准确率作为一个新的评测样本数据添加至评测样本数据中，完成评测样本数据的量级的扩大。

示例性地，当每个样本层中的一个样本层为卷积层时，该卷积层的结构信息描述如下：

以及评测样本数据下该卷积层的处理流程如图2所示，输入数据为评测样本数据对应的数据，卷积核为用于得到样本模型权重分布的信息，输出数据为用于得到样本模型输出特征图的信息。

具体地，根据上述信息，该卷积层的样本模型参数的获取过程如下：

将输入数据投影到一维并进行从小到大排序，得到一维数据集[0,0,1,2,2,2,2,2,2,3,3,3,3,4,4,4,4,4,5,5,5,5,5,5,5,5,6,7,7,7,8,8,8,8,9,9]；

将一维数据集中的最大值0和最小值9之间等分为k(k为正整数，这里以k＝10进行说明，从而得到10个区域：[0,1)、[1,2)、[2,3)、[3,4)、[4,5)、[5,6)、[6,7)、[7,8)、[8,9)和9)个区域，统计一维数据集中的数据落在k个区域的数量从而得到排序后的一维数据集中每个数据的计数分布[2,1,5,4,5,8,1,3,4,2](如图3所示)，并对计数分布归一化处理后得到排序后的一维数据集中每个数据的归一化后的计数分布[0.056，0.027，0.167，0.111，0.139，0.222，0.028，0.083，0.111，0.056](如图4所示)。这里，由于在计数分布中存在10个非零值，从而得到激活数目为10。此时，该卷积层的卷积层的样本模型参数为：激活数目：10，卷积核大小：3，输入数据大小：36，步长：2，池化信息：2，以及偏置：0。

该卷积层的样本模型权重分布的获取过程，以及该卷积层的样本模型输出特征图的获取过程，均同上述根据输入数据获得对应的归一化后的计数分布的处理步骤相同，本发明实施例在此不再赘述。这里，该卷积层的样本模型权重分布为卷积核对应的归一化后的计数分布，该卷积层的样本模型输出特征图为输出数据对应的归一化的计数分布。因此，该卷积层的子样本特征池为：样本模型参数“激活数目：10，卷积核大小：3，输入数据大小：36，步长：2，池化信息：2，以及偏置：0”，卷积核对应的归一化后的计数分布，以及输出数据对应的归一化的计数分布。

s106b、将样本模型参数、样本模型权重分布和样本模型输出特征图构建为每个样本层的子样本特征池，从而得到每个样本模型的样本特征池。

在本发明实施例中，当性能信息获取装置获得了每个样本层的样本模型参数、样本模型权重分布和样本模型输出特征图之后，将样本模型参数、样本模型权重分布和样本模型输出特征图作为每个样本层的子样本特征池，从而也就得到了每个样本模型的样本特征池，完成了每个样本模型的样本特征池的构建。这里，样本特征池表征每个样本层的子样本特征池所构成的集合。

需要说明的是，每个样本层可以为卷积层、池化层或激活层等；当待评测模型每个样本层的结构(比如分别为卷积层、池化层和激活层)不同时，存在样本模型参数不同导致的子样本特征池的长度不同，此时，通过预设添补特征方法(比如，padding填充方式)对特征缺失的子样本特征池进行添补特征，通过预设缩减特征方法(比如，主成分分析法降维方式)对特征多余的子样本特征池进行特征的筛减，以使得每个子样本特征池的规格相同。

进一步地，在本发明实施例中，s103性能信息获取装置利用目标评测模型和预设评测数据对待评测模型进行评测，得到待评测模型的待评测模型性能信息，具体包括s103a-s103c：

s103a、在预设评测数据下，获取待评测模型每个待评测层的待评测模型参数、待评测模型权重分布和待评测模型输出特征图。

在本发明实施例中，待评测模型包含至少一个待评测层，而每个待评测层对应的特征信息即待评测模型每个待评测层的待评测模型参数、待评测模型权重分布和待评测模型输出特征图。

需要说明的是，待评测模型参数表征待评测模型的每个待评测层对应的参数信息，比如，卷积核大小、步长、池化信息、偏置和输入数据的激活数目等；待评测模型权重分布表征待评测模型的每个待评测层对输入数据进行处理时对应的权重信息的分布信息，比如，卷积核的权重分布；待评测模型输出特征图表征待评测模型的每个待评测层对应的输出数据的信息。另外，这里的每个待评测层可以为待评测模型全部待评测层中的每个待评测层，也可以是待评测模型部分待评测层中的每个待评测层，本发明实施例对此不作具体限定；然而，当每个待评测层是待评测模型部分待评测层中的每个待评测层时，该部分待评测层是从全部待评测层中按顺序抽取到的指定数量的待评测层。

s103b、将待评测模型参数、待评测模型权重分布和待评测模型输出特征图构建为每个待评测层的子待评测特征池，从而得到待评测模型的待评测特征池。

在本发明实施例中，当性能信息获取装置获得了每个待评测层的待评测模型参数、待评测模型权重分布和待评测模型输出特征图之后，将待评测模型参数、待评测模型权重分布和待评测模型输出特征图作为每个待评测层的子待评测特征池，从而也就得到了待评测模型的待评测特征池，完成了待评测模型的待评测特征池的构建。这里，待评测特征池表征每个待评测层的子待评测特征池所构成的集合。

需要说明的是，每个待评测层可以为卷积层、池化层或激活层等；当待评测模型每个待评测层的结构(比如分别为卷积层、池化层和激活层)不同时，存在待评测模型参数不同导致的子待评测特征池的长度不同，此时，通过预设添补特征方法(比如，padding填充方式)对特征缺失的子待评测特征池进行添补特征，通过预设缩减特征方法(比如，主成分分析法降维方式)对特征多余的子待评测特征池进行特征的筛减，以使得每个子待评测特征池的规格相同。

s103c、将待评测特征池输入至目标评测模型，得到待评测模型的待评测模型性能信息。

在本发明实施例中，当性能信息获取装置获得了待评测模型的待评测特征池之后，也就获得了利用目标评测模型对待评测模型进行评测的输入数据，此时，性能信息获取装置将待评测特征池输入至目标评测模型，得到待评测模型的待评测模型性能信息。

需要说明的是，性能信息获取装置将待评测特征池输入至目标评测模型，是对待评测模型的待预测层的一种时序性表达，并且，该时序性表达从待评测模型的最底层到待评测模型的最高层顺序进行的。

示例性地，图5为本发明实施例提供的一种示例性的获取性能信息的示意图，如图5所示：待评测模型为卷积神经网络vggnet，目标评测模型为长短期记忆网络模型lstm；其中，vggnet中包含16个层：层1、层2、…、层16，首先，性能信息获取装置从16个层选择n(n为小于16的正整数)个层作为待预测层，并将n个层中每个层的待评测模型参数、待评测模型权重分布和待评测模型输出特征图构建为一个子待评测特征池，从而得到待评测特征池：待评测特征池1，待评测特征池2，…，待评测特征池n；然后，性能信息获取装置将得到的每个子待评测特征池输入至lstm中的每个单元中(具体为将待评测特征池1输入至单元1，将待评测特征池2输入至单元2，…，将待评测特征池n输入至单元n)，并依据lstm的时序性，顺序进行待评测模型的评测，得到待评测模型的准确率(待评测模型性能信息)。

具体地，在图5的基础上，图6为本发明实施例提供的一种示例性的评测流程示意图，如图6所示，am-1、am和am+1表征图5中的lstm中的部分单元(单元1至n中任选的三个单元)，待评测特征池m-1、待评测特征池m和待评测特征池m+1分别为am-1、am和am+1的输入数据，而输出数据hm-1、hm和hm+1表征了待评测模型vggnet的准确率的部分信息。也就是说，根据lstm中每个单元的输出数据确定准确率。

进一步地，在本发明实施例中，s103性能信息获取装置得到待评测模型的待评测模型性能信息之后，该性能信息获取方法还包括s107：

s107、根据待评测模型性能信息，确定待评测模型的优化处理信息。

在本发明实施例中，当性能信息获取装置获得了待评测模型的待评测模型性能信息之后，就能根据该待评测模型性能信息，对待评测模型进行后续的处理，该后续的处理即性能信息获取装置确定的待评测模型的优化处理信息。

这里，优化处理信息可以为不进行任何处理、继续优化、调整模型结构或调整参数重新优化，等等，本发明实施例对此不作具体限定。

示例性地，当待评测模型为训练前模型结构选择阶段的模型时，采用本发明实施例提供的性能信息获取方法获得了待评测模型性能信息之后，就能根据该待评测模型性能信息确定模型结构的选择是否合适，合适则对待评测模型进行训练，不合适则重新选择模型结构。

当待评测模型为训练中的模型时，采用本发明实施例提供的性能信息获取方法获得了待评测模型性能信息之后，就能基于该待评测模型性能信息确定模型训练趋势，进而根据该模型训练趋势确定待评测模型训练过程中参数调整是否合理，合理则对待评测模型继续优化，不合理则及时止损。

当待评测模型为训练后的已训练结束的模型时，采用本发明实施例提供的性能信息获取方法获得了待评测模型性能信息之后，就能根据该待评测模型性能信息确定待评测模型作为已训练结束的模型是否能够满足业务需求，满足则表征待评测模型为已训练成功的模型，不满足则对待评测模型进行模型结构选择或参数调整以继续优化。

可以理解的是，本发明实施例提供的性能信息获取方法提升了获取的待评测的速度及其性能，在待评测模型训练的前、中、后阶段均可辅助评测，极大提升训练效率，节省测试数据收集时间及成本。

示例性地，图7为本发明实施例提供的一种示例性的性能信息获取方法示意图，如图7所示，待评测模型为卷积神经网络模型，根据卷积神经网络模型各层的参数、权重分布和预设评测数据的输出特征图构建特征池，得到待评测特征池，将待评测特征池输入至目标评测模型，就获得了卷积神经网络模型的准确率(待评测模型性能信息)。

在实际应用中，由于模型的结构、模型的功能和模型的应用场景是相互对应的，因此，在一定程度上，本发明实施例中的待评测模型结构信息、模型结构和预设模型结构中所涉及的结构可以理解为功能或应用场景。

可以理解的是，由于待评测模型的待评测模型性能信息，是根据预设评测数据，以及从预设模型结构和评测模型的对应关系中获得的目标评测模型得到的，而目标评测模型为具有时序性结构的模型，待评测模型为具有层结构的模型，利用目标评测模型和预设评测数据能够根据目标评测模型的时序性结构有效地描述待评测模型的层次结构，从而准确地获得待评测模型的性能信息，实现了一种利用目标评测模型对待评测模型的性能进行准确评测的技术方案，因此，本发明实施例提供的性能信息获取方法提升了获取的待评测模型的性能信息的准确率。

实施例二

基于实施例一同一发明构思，本发明实施例提供了一种性能信息获取装置1，对应于本发明实施例提供的一种性能信息获取方法；图8为本发明实施例提供的一种性能信息获取装置的结构示意图一，如图8所示，该性能信息获取装置1包括：

结构确定单元10，用于当获取到待评测模型时，基于预设模型结构，确定所述待评测模型的待评测模型结构信息，所述待评测模型为具有层次结构的模型；

模型确定单元11，用于根据所述待评测模型结构信息，以及预设模型结构和评测模型的对应关系，确定对应的目标评测模型，所述预设模型结构和评测模型的对应关系用于根据模型结构确定用于对模型进行评测的评测模型，所述目标评测模型为具有时序性结构的模型；

评测单元12，用于利用所述目标评测模型和预设评测数据对所述待评测模型进行评测，得到所述待评测模型的待评测模型性能信息。

进一步地，所述性能信息获取装置1还包括：

训练单元13，用于获取所述预设模型结构中每类模型结构的模型样本；构建所述模型样本中每个样本模型在对应的评测样本数据下的样本特征池，从而得到所述模型样本的样本特征池集合；利用预设训练模型，对所述样本特征池集合和所述模型样本的样本性能信息集合进行训练，得到所述每类模型结构对应的评测模型，从而得到所述预设模型结构和评测模型的对应关系。

进一步地，训练单元13，具体用于在所述每个样本模型对应的评测样本数据下，获取每个样本层的样本模型参数、样本模型权重分布和样本模型输出特征图；将所述样本模型参数、所述样本模型权重分布和所述样本模型输出特征图构建为所述每个样本层的子样本特征池，从而得到所述每个样本模型的所述样本特征池。

进一步地，评测单元12，具体用于在所述预设评测数据下，获取所述待评测模型每个待评测层的待评测模型参数、待评测模型权重分布和待评测模型输出特征图；将所述待评测模型参数、所述待评测模型权重分布和所述待评测模型输出特征图构建为所述每个待评测层的子待评测特征池，从而得到所述待评测模型的待评测特征池；将所述待评测特征池输入至所述目标评测模型，得到所述待评测模型的所述待评测模型性能信息。

进一步地，所述性能信息获取装置1还包括：

处理确定单元14，用于根据所述待评测模型性能信息，确定所述待评测模型的优化处理信息。

需要说明的是，在实际应用中，上述结构确定单元10、模型确定单元11、评测单元12、训练单元13和处理确定单元14可由位于性能信息获取装置1上的处理器15实现，具体为cpu(centralprocessingunit，中央处理器)、mpu(microprocessorunit，微处理器)、dsp(digitalsignalprocessing，数字信号处理器)或现场可编程门阵列(fpga，fieldprogrammablegatearray)等实现。

本发明实施例还提供了一种性能信息获取装置1，如图9所示，所述性能信息获取装置1包括：处理器15、存储器16和通信总线17，所述存储器16通过所述通信总线17与所述处理器15进行通信，所述存储器16存储所述处理器15可执行的程序，当所述程序被执行时，通过所述处理器15执行如实施例一所述的性能信息获取方法。

在实际应用中，上述存储器16可以是易失性存储器(volatilememory)，例如随机存取存储器(random-accessmemory，ram)；或者非易失性存储器(non-volatilememory)，例如只读存储器(read-onlymemory，rom)，快闪存储器(flashmemory)，硬盘(harddiskdrive，hdd)或固态硬盘(solid-statedrive，ssd)；或者上述种类的存储器的组合，并向处理器15提供指令和数据。

本发明实施例提供了一种计算机可读存储介质，其上存储有程序，所述程序被处理器15执行时实现如实施例一所述的性能信息获取方法。

可以理解的是，由于待评测模型的待评测模型性能信息，是根据预设评测数据，以及从预设模型结构和评测模型的对应关系中获得的目标评测模型得到的，而目标评测模型为具有时序性结构的模型，待评测模型为具有层结构的模型，利用目标评测模型和预设评测数据能够根据目标评测模型的时序性结构有效地描述待评测模型的层次结构，从而准确地获得待评测模型的性能信息，实现了一种利用目标评测模型对待评测模型的性能进行准确评测的技术方案，因此，本发明实施例提供的性能信息获取方法提升了获取的待评测模型的性能信息的准确率。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。