循环任务的生成、执行方法、装置、AI芯片及存储介质与流程

文档序号:28622364发布日期:2022-01-22 13:33阅读:来源:国知局

技术特征:
1.一种循环任务的生成方法,由人工智能ai芯片中的软件栈执行,所述方法包括:在检测到对目标数据块的数据搬运请求,创建目标循环任务;根据所述数据搬运请求中的数据搬运层级数,以及与每个数据搬运层级分别对应的搬运描述参数,形成与每个数据搬运层级分别对应的重复执行任务;如果确定所述数据搬运层级数为多个,则建立各相邻数据搬运层级的重复执行任务之间的依赖关系;将各所述重复执行任务和所述依赖关系,封装于目标循环任务中,并向ai芯片中的搬运请求调度设备发送与目标循环任务匹配的循环任务处理请求。2.根据权利要求1所述的方法,其特征在于,根据所述数据搬运请求中的数据搬运层级数,以及与每个数据搬运层级分别对应的搬运描述参数,形成与每个数据搬运层级分别对应的重复执行任务,包括:根据与各数据搬运层级对应的输入输出地址范围、输入输出维度范围和层级单次基准数据搬运量,确定与各数据搬运层级对应的首个单次搬运任务的任务参数、重复搬运次数和至少一个任务参数的递增步长;根据与各数据搬运层级对应的首个基准任务的任务参数、重复搬运次数和至少一个任务参数的递增步长,形成与每个数据搬运层级对应的重复执行任务。3.根据权利要求2所述的方法,其特征在于,所述任务参数包括:输入地址、输入维度、单次数据搬运量、输出地址以及输出维度。4.根据权利要求1所述的方法,其特征在于,建立各相邻数据搬运层级的重复执行任务之间的依赖关系,包括:获取与相邻的第一数据搬运层级和第二数据搬运层级分别对应的第一重复执行任务和第二重复执行任务;其中,第二重复执行任务用于搬运第一重复执行任务的搬运后结果;将第一重复执行任务加入至第二重复执行任务的生产者请求列表中,并标注生产次数,和生产数据大小;将第二重复执行任务加入至第一重复执行任务的消费者请求列表中,并标注消费次数和消费数据大小,以形成第一重复执行任务和第二重复执行任务之间的依赖关系。5.一种循环任务的执行方法,由人工智能ai芯片中的搬运请求调度设备执行,所述方法包括:在接收到循环任务处理请求时,对所述循环任务处理请求中包括的循环任务进行解析;根据解析结果中的各重复执行任务,对ai芯片中的各执行节点进行搬运任务配置;根据解析结果中各相邻数据搬运层级的重复执行任务之间的依赖关系,配置不同执行节点间的数据搬运配合方式;触发各执行节点按照所配置的数据搬运配合方式,执行所配置的搬运任务。6.根据权利要求5所述的方法,其特征在于,根据解析结果中的各重复执行任务对ai芯片中的各执行节点进行搬运任务配置,包括:形成与解析结果中每个重复执行任务对应的多个单次搬运任务;将与同一重复执行任务对应的多个单次搬运任务配置到ai芯片中的同一执行节点中。7.根据权利要求6所述的方法,其特征在于,形成与解析结果中每个重复执行任务对应
的多个单次搬运任务,包括:在所述解析结果中,提取与当前处理的目标重复执行任务对应的首个单次搬运任务的任务参数、重复搬运次数和至少一个任务参数的递增步长;获取所述首个单次搬运任务的任务参数作为任务构建参数;根据任务构建参数,建立单次搬运任务,并更新得到当前的单次搬运任务总数量;根据所述至少一个任务参数的递增步长,更新所述任务构建参数;返回执行根据任务构建参数,建立单次搬运任务,并更新得到当前的单次搬运任务总数量的操作,直至当前的单次搬运任务总数量达到重复搬运次数。8.一种循环任务生成装置,由人工智能ai芯片中的软件栈执行,所述装置包括:目标循环任务创建模块,用于在检测到对目标数据块的数据搬运请求,创建目标循环任务;重复执行任务形成模块,用于根据所述数据搬运请求中的数据搬运层级数,以及与每个数据搬运层级分别对应的搬运描述参数,形成与每个数据搬运层级分别对应的重复执行任务;依赖关系建立模块,用于如果确定所述数据搬运层级数为多个,则建立各相邻数据搬运层级的重复执行任务之间的依赖关系;循环任务处理请求发送模块,用于将所述重复执行任务和所述依赖关系,封装于目标循环任务中,并向ai芯片中的搬运请求调度设备发送与目标循环任务匹配的循环任务处理请求。9.一种循环任务的执行装置,由人工智能ai芯片中的搬运请求调度设备执行,所述装置包括:循环任务解析模块,用于在接收到循环任务处理请求时,对所述循环任务处理请求中包括的循环任务进行解析;搬运任务配置模块,用于根据解析结果中的各重复执行任务,对ai芯片中的各执行节点进行搬运任务配置;数据搬运配合方式配置模块,用于根据解析结果中各相邻数据搬运层级的重复执行任务之间的依赖关系,配置不同执行节点间的数据搬运配合方式;执行节点触发模块,用于触发各执行节点按照所配置的数据搬运配合方式,执行所配置的搬运任务。10.一种人工智能ai芯片,包括:软件栈、搬运请求调度设备以及至少一个执行节点;所述软件栈,用于执行如权利要求1-4中任一项所述的循环任务的生成方法;所述搬运请求调度设备,用于执行如权利要求5-7中任一项所述的循环任务的执行方法。11.一种计算机可执行指令的存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-4中任一项所述的循环任务的生成方法,或者,实现如权利要求5-7中任一项所述的循环任务的执行方法。

技术总结
本发明实施例公开了一种循环任务的生成、执行方法、装置、AI芯片及存储介质。该生成方法包括检测到对目标数据块的数据搬运请求,创建目标循环任务;根据数据搬运请求中的数据搬运层级数,以及与各数据搬运层级对应的搬运描述参数,形成与各数据搬运层级分别对应的重复执行任务;若确定数据搬运层级数为多个,建立各相邻数据搬运层级重复执行任务间的依赖关系;将各重复执行任务和依赖关系,封装于目标循环任务中,向AI芯片的搬运请求调度设备发送与目标循环任务匹配的循环任务处理请求。本发明实施例的技术方案极大简化AI软件程序发送请求的操作,减轻搬运请求调度设备的解析负担,提升深度学习算法的整体运行效率。升深度学习算法的整体运行效率。升深度学习算法的整体运行效率。


技术研发人员:丁圣阁 舒棚 胡强
受保护的技术使用者:北京燧原智能科技有限公司
技术研发日:2021.12.22
技术公布日:2022/1/21
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1