神经网络结构确定方法及装置以及相关产品与流程

文档序号:32155636发布日期:2022-11-11 22:46阅读:来源:国知局

技术特征:
1.一种神经网络结构确定方法,其特征在于,包括:根据所述当前结构调节周期的第一神经网络进行优化,获得第二神经网络;根据所述第二神经网络的多个第一子网络的验证结果,确定所述第二神经网络的各网络层级中的目标网络块,其中,所述第一子网络包括所述第二神经网络的各个网络层级的多个网络块中随机选取网络块;根据所述第二神经网络的各网络层级中的目标网络块,确定下一个结构调节周期的第一神经网络,其中,所述下一个结构调节周期的第一神经网络的各网络层级包括的网络块的数量少于当前结构调节周期的第一神经网络的各网络层级包括的网络块的数量;在第一神经网络的网络结构符合结构条件的情况下,获得目标神经网络。2.根据权利要求1所述的方法,其特征在于,根据所述第二神经网络的多个第一子网络的验证结果,确定所述第二神经网络的各网络层级中的目标网络块,包括:根据所述多个第一子网络的验证结果,在所述多个第一子网络中确定第一预设数量的第二子网络;对所述第一预设数量的第二子网络中各网络层级所包括的网络块进行统计,确定所述第一预设数量的第二子网络中的目标网络块,其中,所述目标网络块为第一预设数量的第二子网络的各网络层级的网络块中满足数量要求的网络块。3.根据权利要求2所述的方法,其特征在于,根据所述第二神经网络的各网络层级中的目标网络块,确定下一个结构调节周期的第一神经网络,包括:在所述第一预设数量的第二子网络为验证结果不符合准确率要求的子网络的情况下,在所述第二神经网络中,去除所述目标网络块,获得所述下一个结构调节周期的第一神经网络。4.根据权利要求2所述的方法,其特征在于,根据所述第二神经网络的各网络层级中的目标网络块,确定下一个结构调节周期的第一神经网络,包括:在所述第一预设数量的第二子网络为验证结果符合准确率要求的子网络的情况下,在所述第二神经网络中,保留所述目标网络块,并去除其他网络块,获得所述下一个结构调节周期的第一神经网络。5.根据权利要求1所述的方法,其特征在于,所述结构调节周期包括多个超参数调节周期,其中,根据所述当前结构调节周期的第一神经网络进行优化,获得第二神经网络,包括:根据第一个超参数调节周期的超参数,对所述第一神经网络的第三子网络进行训练,获得第一个超参数调节周期的第三神经网络,其中,所述第三子网络包括所述第一神经网络的各个网络层级的多个网络块中随机选取网络块,所述第一个超参数调节周期的超参数是在超参数集中选取获得的;根据当前超参数调节周期的第一集合,以及当前超参数调节周期的第二集合,进行超参数调节处理,在所述当前结构调节周期的超参数集中确定下一个超参数调节周期的超参数,并确定下一个超参数调节周期的第三神经网络,其中,所述当前超参数调节周期的第一集合包括当前超参数调节周期的超参数和历史超参数调节周期的超参数,所述当前超参数调节周期的第二集合包括当前超参数调节周期的第三神经网络的验证结果和历史超参数
调节周期的第三神经网络的验证结果,所述第三神经网络的验证结果包括对所述第三神经网络的各个网络层级的多个网络块中随机采样获得的多个第四子网络的验证结果;根据当前结构调节周期中最后一个超参数调节周期的第一集合、第二集合,以及多个超参数调节周期的第三神经网络,确定所述第二神经网络。6.根据权利要求5所述的方法,其特征在于,根据当前结构调节周期中最后一个超参数调节周期的第一集合、第二集合,以及多个超参数调节周期的第三神经网络,确定所述第二神经网络,包括:根据最后一个超参数调节周期的第二集合,在最后一个超参数调节周期的第一集合中确定目标超参数;将所述目标超参数对应的超参数调节周期的第三神经网络,确定为所述第二神经网络。7.根据权利要求5所述的方法,其特征在于,所述多个第一子网络包括确定所述第二集合中的验证结果时获得的第四子网络,以及确定所述第二神经网络后对所述第二神经网络的各个网络层级的多个网络块进行随机采样获得的子网络。8.根据权利要求1所述的方法,其特征在于,所述方法还包括:通过具有标注信息的训练样本,对所述目标神经网络进行训练,获得训练后的目标神经网络。9.根据权利要求8所述的方法,其特征在于,所述目标神经网络用于执行图像处理任务、文本识别任务、音频处理任务、视频处理任务中的任意一种。10.一种神经网络结构确定装置,其特征在于,包括:优化模块,用于根据所述当前结构调节周期的第一神经网络进行优化,获得第二神经网络;第一确定模块,用于根据所述第二神经网络的多个第一子网络的验证结果,确定所述第二神经网络的各网络层级中的目标网络块,其中,所述第一子网络包括所述第二神经网络的各个网络层级的多个网络块中随机选取网络块;第二确定模块,用于根据所述第二神经网络的各网络层级中的目标网络块,确定下一个结构调节周期的第一神经网络,其中,所述下一个结构调节周期的第一神经网络的各网络层级包括的网络块的数量少于当前结构调节周期的第一神经网络的各网络层级包括的网络块的数量;获得模块,用于在第一神经网络的网络结构符合结构条件的情况下,获得目标神经网络。11.一种电子设备,其特征在于,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为调用所述存储器存储的指令,以执行权利要求1至9中任意一项所述的方法。12.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至9中任意一项所述的方法。

技术总结
本公开涉及一种神经网络结构确定方法及装置以及相关产品,所述产品包括组合处理装置,所述组合处理装置包括计算处理装置、接口装置、其他处理装置和存储装置。计算处理装置可包括一个或多个计算装置。计算处理装置可配置成执行用户指定的操作,计算处理装置可以实现为单核人工智能处理器或者多核人工智能处理器,或者,包括在计算处理装置内的一个或多个计算装置可实现为人工智能处理器核或者人工智能处理器核的部分硬件结构。通过使用以上组合处理装置,本公开可以提高相关产品在进行神经网络模型的运算时的运算效率。神经网络模型的运算时的运算效率。神经网络模型的运算时的运算效率。


技术研发人员:ꢀ(74)专利代理机构
受保护的技术使用者:寒武纪行歌(南京)科技有限公司
技术研发日:2021.05.11
技术公布日:2022/11/10
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1