软件框架性能的测试方法、装置、电子设备和存储介质与流程

本发明涉及计算机应用，尤其涉及一种软件框架性能的测试方法、装置、电子设备和存储介质。

背景技术：

1、随着深度学习技术的快速发展，促进了众多开源深度学习训练框架的诞生，例如，tensflow、pytorch、caffe等，越来越多的机构也研发专属的深度学习训练框架以满足其自身特定需求。但是由于不同机构的针对深度学习训练框架的设计原理以及优化方法有所差异，相同的深度学习模型在不同框架下的训练结果可能存在差别，如何对这些不同的深度学习训练框架的性能进行评估和验证通常是一项复杂且耗时的任务。

2、目前，场景的深度学习框架性能的评估方法主要通过同模型同数据集的方式进行评估，但是这种方法导致无法提供性能差异的具有信息，无法判断差异的来源。而借助专用工具对深度学习框架性能进行评估，由于专用工具仅适用于部分深度学习框架，工具的通用性较差，且，评估过程主要限制于深度学习框架自身的指标评估，无法进行多个深度学习框架的横向评估，导致现有技术中深度学习框架的性能评估存在缺陷。

技术实现思路

1、本发明提供了一种软件框架性能的测试方法、装置、电子设备和存储介质，以实现多种深度学习框架的横向评估，可提高深度学习框架评估的准确性，有助于提升框架开发和优化效率。

2、根据本发明的一方面，提供了一种软件框架性能的测试方法，其中，该方法包括：

3、获取至少两类待测试模型训练框架，确定对应所述待测试模型训练框架的算子配置；

4、根据所述算子配置的配置继承确定不同所述算子配置间的继承关系；

5、基于预设测试模版、所述算子配置以及所述继承关系生成对应所述至少两类待测试模型训练框架的性能测试结果。

6、根据本发明的另一方面，提供了一种软件框架性能的测试装置，其中，该装置包括：

7、配置确定模块，用于获取至少两类待测试模型训练框架，确定对应所述待测试模型训练框架的算子配置；

8、预处理模块，用于根据所述算子配置的配置继承确定不同所述算子配置间的继承关系；

9、测试执行模块，用于基于预设测试模版、所述算子配置以及所述继承关系生成对应所述至少两类待测试模型训练框架的性能测试结果。

10、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

11、至少一个处理器；以及

12、与所述至少一个处理器通信连接的存储器；其中，

13、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的软件框架性能的测试方法。

14、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的软件框架性能的测试方法。

15、本发明实施例的技术方案，通过对获取到的至少两类待测试模型训练框架确定对应的算子配置，根据算子配置的配置继承确定不同算子配置间的继承关系，基于预设测试模版以及算子配置对待测试模型训练框架进行性能测试以确定性能测试结果，从而实现不同深度学习框架的横向评估，可提高深度学习框架评估的准确性，有助于提升框架开发和优化效率。

16、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种软件框架性能的测试方法，其特征在于，所述方法包括：

2.根据权利要求1所述方法，其特征在于，所述获取至少两类待测试模型训练框架，获取对应所述待测试模型训练框架的算子配置，包括：

3.根据权利要求1所述方法，其特征在于，所述根据所述算子配置的配置继承确定不同所述算子配置间的继承关系，包括：

4.根据权利要求3所述方法，其特征在于，所述继承声明信息位于所述算子配置文件的文件内第一行执行代码或所述算子配置文件的函数内第一行执行代码。

5.根据权利要求1所述方法，其特征在于，还包括：

6.根据权利要求1所述方法，其特征在于，所述基于预设测试模版、所述算子配置以及所述继承关系生成对应所述至少两类待测试模型训练框架的性能测试结果，包括：

7.根据权利要求6所述方法，其特征在于，所述在预设测试工具调用所述测试代码对每类所述待测试模型训练框架进行训练以确定所述性能测试结果，包括：

8.一种软件框架性能的测试装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的软件框架性能的测试方法。

技术总结
本发明实施例提供了一种软件框架性能的测试方法、装置、电子设备和存储介质，其中，该方法包括：获取至少两类待测试模型训练框架，确定对应所述待测试模型训练框架的算子配置；根据所述算子配置的配置继承确定不同所述算子配置间的继承关系；基于预设测试模版、所述算子配置以及所述继承关系生成对应所述至少两类待测试模型训练框架的性能测试结果。本发明实施例实现了模型训练框架的横向评估，可提高模型训练框架评估的准确性，有助于提高框架开发效率以及优化框架性能。

技术研发人员：忻恬,孙晓烨,王志宏,张行程
受保护的技术使用者：上海人工智能创新中心
技术研发日：
技术公布日：2024/3/21