确定硬件运算平台分配方式的方法和装置与流程

文档序号:25543372发布日期:2021-06-18 20:40

技术特征:

1.一种确定硬件运算平台分配方式的方法,其特征在于,所述方法包括:

确定待运行的机器学习模型中包括的多个计算节点,其中,每个计算节点对应所述机器学习模型中的一个网络层;

获取所述多个计算节点对应的多组样本平台配置信息,其中,每组样本平台配置信息对应一种将所述多个计算节点分配到多个预设的硬件运算平台的分配方式;

对于每组样本平台配置信息,基于所述样本平台配置信息控制将所述多个计算节点分配到各硬件运算平台,控制所述各硬件运算平台执行分配到的各计算节点,统计所述各硬件运算平台执行所述多个计算节点的总执行时长,作为所述样本平台配置信息对应的总执行时长;

基于所述多组样本平台配置信息和分别对应的总执行时长,确定优化平台配置信息。

2.根据权利要求1所述的方法,其特征在于,所述基于所述多组样本平台配置信息和分别对应的总执行时长,确定优化平台配置信息,包括:

确定所述多个计算节点对应的所有样本平台配置信息的数目;

如果所述数目大于或者等于预设数目阈值,则基于所述多组样本平台配置信息和分别对应的总执行时长、以及预设的平台配置信息优化方法,确定优化平台配置信息;

如果所述数目小于所述预设数目阈值,则在所有样本平台配置信息中,确定对应的总执行时长最短的优化平台配置信息。

3.根据权利要求2所述的方法,其特征在于,所述基于所述多组样本平台配置信息和分别对应的总执行时长、以及预设的平台配置信息优化方法,确定优化平台配置信息,包括:

获取待训练的配置优化器模型;

基于所述多组样本平台配置信息和分别对应的总执行时长,对所述待训练的配置优化器模型进行训练,得到训练后的配置优化器模型;

基于所述训练后的配置优化器模型,确定优化平台配置信息。

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

获取所述机器学习模型对应的运行代码;

基于所述优化平台配置信息,对所述运行代码进行优化处理。

5.根据权利要求4所述的方法,其特征在于,所述基于所述优化平台配置信息,对所述运行代码进行优化处理,包括:

基于预设的硬件运算平台的类型、计算节点的类型和优化处理方式之间的对应关系,确定所述优化平台配置信息对应的至少一种优化处理方式;

基于所述至少一种优化处理方式,对所述运行代码进行优化处理。

6.一种确定硬件运算平台分配方式的装置,其特征在于,所述装置包括:

确定模块,用于确定待运行的机器学习模型中包括的多个计算节点,其中,每个计算节点对应所述机器学习模型中的一个网络层;

获取模块,用于获取所述多个计算节点对应的多组样本平台配置信息,其中,每组样本平台配置信息对应一种将所述多个计算节点分配到多个预设的硬件运算平台的分配方式;

执行模块,用于对于每组样本平台配置信息,基于所述样本平台配置信息控制将所述多个计算节点分配到各硬件运算平台,控制所述各硬件运算平台执行分配到的各计算节点,统计所述各硬件运算平台执行所述多个计算节点的总执行时长,作为所述样本平台配置信息对应的总执行时长;

所述确定模块,用于基于所述多组样本平台配置信息和分别对应的总执行时长,确定优化平台配置信息。

7.根据权利要求6所述的装置,其特征在于,所述确定模块,用于:

确定所述多个计算节点对应的所有样本平台配置信息的数目;

如果所述数目大于或者等于预设数目阈值,则基于所述多组样本平台配置信息和分别对应的总执行时长、以及预设的平台配置信息优化装置,确定优化平台配置信息;

如果所述数目小于所述预设数目阈值,则在所有样本平台配置信息中,确定对应的总执行时长最短的优化平台配置信息。

8.根据权利要求7所述的装置,其特征在于,所述确定模块,用于:

获取待训练的配置优化器模型;

基于所述多组样本平台配置信息和分别对应的总执行时长,对所述待训练的配置优化器模型进行训练,得到训练后的配置优化器模型;

基于所述训练后的配置优化器模型,确定优化平台配置信息。

9.根据权利要求6所述的装置,其特征在于,所述获取模块,还用于获取所述机器学习模型对应的运行代码;

所述装置还包括:

优化模块,用于基于所述优化平台配置信息,对所述运行代码进行优化处理。

10.根据权利要求9所述的装置,其特征在于,所述优化模块,用于:

基于预设的硬件运算平台的类型、计算节点的类型和优化处理方式之间的对应关系,确定所述优化平台配置信息对应的至少一种优化处理方式;

基于所述至少一种优化处理方式,对所述运行代码进行优化处理。

11.一种计算机设备,其特征在于,所述计算机设备包括处理器、通信接口、存储器和通信总线,其中:

所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信;

所述存储器,用于存放计算机程序;

所述处理器,用于执行所述存储器上所存放的程序,以实现权利要求1-5任一所述的方法步骤。

12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。


技术总结
本公开是关于一种确定硬件运算平台分配方式的方法和装置,属于机器学习模型应用技术领域。所述方法包括:确定待运行的机器学习模型中包括的多个计算节点;获取多个计算节点对应的多组样本平台配置信息;对于每组样本平台配置信息,基于样本平台配置信息控制将多个计算节点分配到各硬件运算平台,控制各硬件运算平台执行分配到的各计算节点,统计各硬件运算平台执行多个计算节点的总执行时长,作为样本平台配置信息对应的总执行时长;基于多组样本平台配置信息和分别对应的总执行时长,确定优化平台配置信息。采用本公开,可以保证异构硬件设备能够以较短的整体执行时长快速运行机器学习模型对应的运行代码。

技术研发人员:韩新承
受保护的技术使用者:杭州海康威视数字技术股份有限公司
技术研发日:2019.12.16
技术公布日:2021.06.18
再多了解一些
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1