模型编译方法、装置、计算机设备及计算机可读存储介质与流程

本申请涉及人工智能，特别是涉及一种模型编译方法、装置、计算机设备及计算机可读存储介质。

背景技术：

1、随着深度学习的不断发展，日益增多的深度学习模型已经成为自动化机器学习系统的主流配置。通过手工为深度学习模型中的算子适配各种各样的硬件，将会是一件非常繁琐且容易出错的事情。为应对以上问题，模型编译技术就成了广受关注的技术方向。

2、传统编译方法中，常采用基于统计学方法为主的代价预测函数，通过搜索算法在一个预先定义的解空间中进行探索最优的编译方式。但是，代价预测函数并不具备很好的代价预测性能，导致需要反复多次地进行探索，会导致整个编译过程效率低下。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种模型编译方法、装置、计算机设备、计算机可读存储介质以及计算机程序产品，能够提高模型编译的效率。

2、第一方面，本申请提供了一种模型编译方法，包括：

3、获取多个张量程序；多个张量程序是通过深度学习编译器分别按照不同的编译优化策略针对待编译模型编译生成的多个中间程序；

4、针对每个张量程序，对张量程序中的循环优化语句进行特征提取，得到循环优化特征；循环优化语句是具备循环优化特性的程序语句；

5、通过注意力编码器，对循环优化语句对应的循环优化特征和算子类别信息进行编码处理，得到特征编码数据；

6、根据特征编码数据对张量程序进行代价预测，得到代价预测结果；

7、基于各张量程序对应的代价预测结果，从多个张量程序中确定目标张量程序；目标张量程序用于指示通过深度学习编译器针对待编译模型编译生成机器语言。

8、第二方面，本申请还提供了一种模型编译装置，包括：

9、获取模块，用于获取多个张量程序；多个张量程序是通过深度学习编译器分别按照不同的编译优化策略针对待编译模型编译生成的多个中间程序；

10、提取模块，用于针对每个张量程序，对张量程序中的循环优化语句进行特征提取，得到循环优化特征；循环优化语句是具备循环优化特性的程序语句；

11、代价预测模块，用于通过注意力编码器，对循环优化语句对应的循环优化特征和算子类别信息进行编码处理，得到特征编码数据；根据特征编码数据对张量程序进行代价预测，得到代价预测结果；

12、编译模块，用于基于各张量程序对应的代价预测结果，从多个张量程序中确定目标张量程序；目标张量程序用于指示通过深度学习编译器针对待编译模型编译生成机器语言。

13、第三方面，本申请还提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述模型编译方法中的步骤。

14、第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述模型编译方法中的步骤。

15、第五方面，本申请还提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述模型编译方法中的步骤。

16、上述模型编译方法、装置、计算机设备、存储介质和计算机程序产品，通过深度学习编译器按照不同的编译优化策略针对待编译模型生成多个张量程序，对每个张量程序中的循环优化语句进行特征提取，得到循环优化特征，循环优化特征能够反映相应张量程序对应的编译优化策略，基于循环优化特征得到的代价预测结果能够反映编译优化策略的优劣。进而通过注意力编码器，基于注意力机制选择性地关注循环优化语句对应的循环优化特征和算子类别信息中更重要的信息，以进行编码处理，得到特征编码数据，相较于简单地根据数据分布进行统计预测的方式，根据特征编码数据进行代价预测得到的代价预测结果更加准确，准确的代价预测结果能够精准地指示出更优的张量程序，后续根据代价预测结果从多个张量程序中确定出目标张量程序，无需反复多次地进行搜索，提高了模型编译的效率。

技术特征：

1.一种模型编译方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述张量程序中的循环优化语句进行特征提取，得到循环优化特征，包括：

3.根据权利要求1所述的方法，其特征在于，所述通过注意力编码器，对所述循环优化语句对应的循环优化特征和算子类别信息进行编码处理，得到特征编码数据，包括：

4.根据权利要求3所述的方法，其特征在于，所述通过注意力编码器，对每个所述循环优化语句的所述综合特征进行编码处理，得到特征编码数据，包括：

5.根据权利要求3所述的方法，其特征在于，所述通过注意力编码器，对每个所述循环优化语句的所述综合特征进行编码处理，得到特征编码数据，包括：

6.根据权利要求1所述的方法，其特征在于，所述注意力编码器设置在代价预测模型中；所述代价预测模型还包括多层感知机；所述根据所述特征编码数据对所述张量程序进行代价预测，得到代价预测结果，包括：

7.根据权利要求1至6任意一项所述的方法，其特征在于，所述代价预测结果是将所述循环优化语句对应的循环优化特征和算子类别信息作为代价预测模型的输入，得到的输出结果；所述方法还包括：

8.一种模型编译装置，其特征在于，包括：

9.一种计算机设备，该计算机设备包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本申请涉及一种模型编译方法、装置、计算机设备及计算机可读存储介质。方法包括：获取多个张量程序；多个张量程序是通过深度学习编译器分别按照不同的编译优化策略针对待编译模型编译生成的多个中间程序；针对每个张量程序，对张量程序中的循环优化语句进行特征提取，得到循环优化特征；通过注意力编码器，对循环优化语句对应的循环优化特征和算子类别信息进行编码处理，得到特征编码数据；根据特征编码数据对张量程序进行代价预测，得到代价预测结果；基于各张量程序对应的代价预测结果，从多个张量程序中确定目标张量程序；目标张量程序用于指示通过深度学习编译器针对待编译模型编译生成机器语言。采用本方法能够提高模型编译的效率。

技术研发人员：白杨,沈小勇,吕江波
受保护的技术使用者：深圳思谋信息科技有限公司
技术研发日：
技术公布日：2024/1/12