训练方法、信息处理设备和非暂态计算机可读存储介质与流程

文档序号:20756951发布日期:2020-05-15 17:29阅读:来源:国知局

技术特征:

1.一种使用神经网络执行深度学习的信息处理设备,所述信息处理设备包括:

存储器;以及

算术处理装置,所述算术处理装置能够访问所述存储器,

其中,所述算术处理装置在预定方向上针对所述神经网络的多个层执行处理,

针对所述多个层的处理包括:

确定第一小数点位置,所述第一小数点位置用于设定当多个第二定点数数据被存储在寄存器中时执行饱和处理或舍入处理的范围,所述多个第二定点数数据是通过由所述算术处理装置对多个第一定点数数据执行算术运算而获得的;

通过所述算术处理装置对所述多个第一定点数数据执行所述算术运算,

基于使用所述第一小数点位置设定的范围对所述多个第二定点数数据执行所述饱和处理或所述舍入处理并且将所述饱和处理或所述舍入处理的第一结果值存储在所述寄存器中;以及

获取关于所述多个第二定点数数据中的每一个的正数的最左置位的位置或负数的最左零位的位置的分布的第一统计信息;

基于所述第一统计信息确定第二小数点位置,所述第二小数点位置用于设定当所述多个第二定点数数据被存储在所述寄存器中时执行所述饱和处理和所述舍入处理的范围;以及

基于所述第一小数点位置与所述第二小数点位置之间的差,确定是否再次执行由所述算术处理装置对所述多个第一定点数数据的算术运算,以及

当确定再次执行所述算术运算时,基于使用所述第二小数点位置设定的范围对下述多个第二定点数数据执行所述饱和处理或所述舍入处理并且将所述饱和处理或所述舍入处理的第二结果值存储在所述寄存器中,该多个第二定点数数据是通过由所述算术处理装置对所述多个第一定点数数据再次执行所述算术运算而获得的。

2.根据权利要求1所述的信息处理设备,其中,当所述差超过第一阈值时,确定要再次执行由所述算术处理装置对所述多个第一定点数数据的所述算术运算。

3.一种通过在预定方向上针对神经网络的多个层执行处理来执行深度学习的方法,其中,针对所述多个层的处理包括:

确定第一小数点位置,所述第一小数点位置用于设定当多个第二定点数数据被存储在寄存器中时执行饱和处理或舍入处理的范围,所述多个第二定点数数据是通过由算术处理装置对多个第一定点数数据执行算术运算而获得的;

通过所述算术处理装置对所述多个第一定点数数据执行所述算术运算,

基于使用所述第一小数点位置设定的范围对所述多个第二定点数数据执行所述饱和处理或所述舍入处理并且将所述饱和处理或所述舍入处理的第一结果值存储在所述寄存器中;以及

获取关于所述多个第二定点数数据中的每一个的正数的最左置位的位置或负数的最左零位的位置的分布的第一统计信息;

基于所述第一统计信息确定第二小数点位置,所述第二小数点位置用于设定当所述多个第二定点数数据被存储在所述寄存器中时执行所述饱和处理或所述舍入处理的范围;以及

基于所述第一小数点位置与所述第二小数点位置之间的差,确定是否再次执行由所述算术处理装置对所述多个第一定点数数据的算术运算,以及

当确定再次执行所述算术运算时,基于使用所述第二小数点位置设定的范围对下述多个第二定点数数据执行所述饱和处理或所述舍入处理并且将所述饱和处理或舍入处理的第二结果值存储在所述寄存器中,该多个第二定点数数据片段是通过由所述算术处理装置对所述多个第一定点数数据片段再次执行所述算术运算而获得的。

4.一种其中存储有程序的非暂态计算机可读存储介质,所述程序使得计算机通过在预定方向针上对神经网络的多个层执行处理来执行深度学习,针对所述多个层的处理包括:

确定第一小数点位置,所述第一小数点位置用于设定当多个第二定点数数据被存储在寄存器中时执行饱和处理或舍入处理的范围,所述多个第二定点数数据是通过由所述算术处理装置对多个第一定点数数据片段执行算术运算而获得的;

通过所述算术处理装置对所述多个第一定点数数据执行所述算术运算,

基于使用所述第一小数点位置设定的范围对所述多个第二定点数数据执行所述饱和处理或所述舍入处理并且将所述饱和处理或所述舍入处理的第一结果值存储在所述寄存器中;以及

获取关于所述多个第二定点数数据中的每一个的正数的最左置位的位置或负数的最左零位的位置的分布的第一统计信息;

基于所述第一统计信息确定第二小数点位置,所述第二小数点位置用于设定当所述多个第二定点数数据被存储在所述寄存器中时执行所述饱和处理或所述舍入处理的范围;以及

基于所述第一小数点位置与所述第二小数点位置之间的差确定是否再次执行由所述算术处理装置对所述多个第一定点数数据的算术运算,以及

当确定再次执行所述算术运算时,基于使用所述第二小数点位置设定的范围对下述多个第二定点数数据执行所述饱和处理或所述舍入处理并且将所述饱和处理或所述舍入处理的第二结果值存储在所述寄存器中,该多个第二定点数数据是通过由所述算术处理装置对所述多个第一定点数数据再次执行所述算术运算而获得的。


技术总结
公开了一种训练方法、信息处理设备和非暂态计算机可读存储介质。使用神经网络执行深度学习的信息处理设备,包括:存储器和算术处理装置,该算术处理装置在预定方向上对神经网络的各层执行处理。用于层的处理包括:预先确定通过每个层的运算而获得的中间数据的定点数的小数点位置;以及使用预定小数点位置对每个层执行算术运算以获得中间数据并且获取中间数据的位的分布的第一统计信息;基于统计信息确定中间数据的小数点位置;以及当确定的小数点位置与预定的小数点位置的差大于阈值时,使用确定的小数点位置再次对每个层执行算术运算。

技术研发人员:伊藤真纪子
受保护的技术使用者:富士通株式会社
技术研发日:2019.11.06
技术公布日:2020.05.15
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1