深度学习模型性能检测系统、方法及预测模型生成方法与流程

本说明书实施例涉及计算机，特别涉及深度学习模型性能检测方法及预测模型生成方法。

背景技术：

1、随着人工智能技术的发展，深度学习模型在自然语言处理、语音识别、自动驾驶等领域中得到了广泛的应用。深度学习模型在实际部署应用中需要考虑模型运行的性能。例如，性能可以通过运行延迟、内存占用等性能指标来表示。评估深度学习模型的性能，一方面，有助于选择适合运行深度学习模型的资源配置，另一方面，有助于深度学习模型自身的设计和优化。目前，通常在深度学习模型编译后运行时，采集性能指标数据来检测出性能。但是该方案导致深度学习模型编译时间较长的情况下,无法及时检测到深度学习模型的性能。

2、有鉴于此，目前亟需一种快速、准确的深度学习模型性能检测方案。

技术实现思路

1、有鉴于此，本说明书实施例提供了一种深度学习模型性能检测系统，一种深度学习模型性能检测方法，一种预测模型生成方法。本说明书一个或者多个实施例同时涉及一种深度学习模型性能检测装置，一种预测模型生成装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。

2、根据本说明书实施例的第一方面，提供了一种深度学习模型性能检测系统，包括：客户端和服务端；所述客户端，被配置为向所述服务端发送性能预测请求，所述性能预测请求用于指示对待测深度学习模型的综合性能指标进行预测；所述服务端，被配置为接收所述性能预测请求，根据所述性能预测请求获取对应的待测深度学习模型，获得所述待测深度学习模型的一个或多个算子，针对所述一个或多个算子，使用所述算子对应的性能预测模型进行性能指标预测，得到所述算子对应的性能指标预测值，其中，所述性能预测模型通过使用对应算子的性能指标数据训练得到，基于所述一个或多个算子对应的性能指标预测值，获得所述待测深度学习模型的综合性能指标预测值。

3、根据本说明书实施例的第二方面，提供了一种深度学习模型性能检测方法，包括：确定待测深度学习模型；获得所述待测深度学习模型的一个或多个算子；针对所述一个或多个算子，使用所述算子对应的性能预测模型进行性能指标预测，得到所述算子对应的性能指标预测值，其中，所述性能预测模型通过使用对应算子的性能指标数据训练得到；基于所述一个或多个算子对应的性能指标预测值，获得所述待测深度学习模型的综合性能指标预测值。

4、根据本说明书实施例的第三方面，提供了一种深度学习模型性能检测装置，包括：模型确定模块，被配置为确定待测深度学习模型；算子获得模块，被配置为获得所述待测深度学习模型的一个或多个算子；算子性能预测模块，被配置为针对所述一个或多个算子，使用所述算子对应的性能预测模型进行性能指标预测，得到所述算子对应的性能指标预测值，其中，所述性能预测模型通过使用对应算子的性能指标数据训练得到；模型性能计算模块，被配置为基于所述一个或多个算子对应的性能指标预测值，获得所述待测深度学习模型的综合性能指标预测值。

5、根据本说明书实施例的第四方面，提供了一种预测模型生成方法，包括：采集算子的参数样本和对应的性能指标数据；使用所述算子的参数样本和对应的性能指标数据，对所述算子对应的性能预测模型进行训练，在达到训练停止条件的情况下，获得用于预测所述算子对应的性能指标的性能预测模型。

6、根据本说明书实施例的第五方面，提供了一种预测模型生成装置，包括：采样模块，被配置为采集算子的参数样本和对应的性能指标数据；训练模块，被配置为使用所述算子的参数样本和对应的性能指标数据，对所述算子对应的性能预测模型进行训练，在达到训练停止条件的情况下，获得用于预测所述算子对应的性能指标的性能预测模型。

7、根据本说明书实施例的第六方面，提供了一种计算设备，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现本说明书任意实施例所述深度学习模型性能检测方法的步骤，或者，实现本说明书任意实施例所述预测模型生成方法的步骤。

8、根据本说明书实施例的第七方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现本说明书任意实施例所述深度学习模型性能检测方法的步骤，或者，实现本说明书任意实施例所述预测模型生成方法的步骤。

9、根据本说明书实施例的第八方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行本说明书任意实施例所述深度学习模型性能检测方法的步骤，或者，执行本说明书任意实施例所述预测模型生成方法的步骤。

10、本说明书一个实施例实现了深度学习模型性能检测方法，由于该方法在确定待测深度学习模型后，获得所述待测深度学习模型的一个或多个算子，针对所述一个或多个算子，使用所述算子对应的性能预测模型进行性能指标预测，得到所述算子对应的性能指标预测值，并且所述性能预测模型通过使用对应算子的性能指标数据训练得到，因此，基于所述一个或多个算子中的各个算子对应的性能指标预测值，能够获得所述待测深度学习模型的综合性能指标预测值。可见该方法通过对待测深度学习模型的拆解，得到一个个单独的算子，并使用单个算子的性能指标数据训练得到的性能预测模型，对单个算子的性能指标进行预测，再将一个个单独的算子的性能指标预测值进行综合，从而得到了待测深度学习模型的综合性能指标预测值，实现了一种基于逐算子的深度学习模型运行性能的预测方案。由于逐算子的预测，无需等待深度学习模型编译完成。另外，基于算子在运行环境中测试得到的性能指标数据训练得到性能预测模型，充分考虑了数据中心等场景的软/硬件多样性，软/硬件相互作用的复杂性，提高了检测的泛用性和准确性，实现了一种快速、准确的深度学习模型性能检测方案。

技术特征：

1.一种深度学习模型性能检测系统，包括：客户端和服务端；

2.一种深度学习模型性能检测方法，包括：

3.根据权利要求2所述的方法，所述算子对应的性能指标预测值包括所述算子的运行延迟；

4.根据权利要求2所述的方法，所述算子对应的性能预测模型的输入数据包括算子的参数和待测深度学习模型的运行环境信息。

5.根据权利要求4所述的方法，所述获得所述待测深度学习模型的一个或多个算子，包括：

6.一种预测模型生成方法，包括：

7.根据权利要求6所述的方法，所述采集算子的参数样本和对应的性能指标数据，包括：

8.根据权利要求7所述的方法，还包括：

9.根据权利要求6所述的方法，所述算子对应的性能预测模型的输入数据包括算子的参数样本和算子进行性能测试的运行环境信息，输出数据包括性能指标数据；

10.根据权利要求6所述的方法，在对所述算子对应的性能预测模型进行训练之前，还包括：

11.一种计算设备，包括：

12.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求2至5任意一项所述深度学习模型性能检测方法的步骤，或者，实现权利要求6至10任意一项所述预测模型生成方法的步骤。

13.一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行权利要求2至5任意一项所述深度学习模型性能检测方法的步骤，或者，执行权利要求6至10任意一项所述预测模型生成方法的步骤。

技术总结
本说明书实施例提供深度学习模型性能检测系统、方法及预测模型生成方法，其中所述深度学习模型性能检测方法包括：确定待测深度学习模型，获得所述待测深度学习模型的一个或多个算子，针对所述一个或多个算子中的各个算子，使用所述算子对应的性能预测模型进行性能指标预测，得到所述算子对应的性能指标预测值，其中，所述性能预测模型通过使用对应算子的性能指标数据训练得到，基于所述一个或多个算子中的各个算子对应的性能指标预测值，获得所述待测深度学习模型的综合性能指标预测值。

技术研发人员：李陈浩文,薛盛可,冯博,鲁路,陈洛宇,雷凡丁
受保护的技术使用者：阿里巴巴（中国）有限公司
技术研发日：
技术公布日：2024/1/14