一种人工神经网络计算装置和方法与流程

文档序号:14686896发布日期:2018-06-15 03:53阅读:来源:国知局
技术特征:

1.一种人工神经网络计算方法,其特征在于,利用人工神经网络计算装置对多层人工神经网络的进行训练,所述人工神经网络计算装置包括:映射单元、存储单元和运算单元,所述人工神经网络计算方法包括:

对多层人工神经网络中的各层依次执行正向运算,对于多层人工神经网络的每一层,所述正向运算包括:

所述映射单元对输入数据进行处理,删除输入数据中小于或等于阈值或者输入数据的绝对值小于或等于阈值的输入数据,以得到处理后的输入数据;

所述存储单元存储所述处理后的输入数据;

所述运算单元读取所述处理后的输入数据,进行人工神经网络运算,得到人工神经网络的输出数据;

按照与正向运算相反的顺序,对多层人工神经网络中的各层依次执行反向运算;

对多层人工神经网络中的各层进行权值更新;

重复执行上述各个步骤多次,完成多层人工神经网络的训练。

2.如权利要求1所述的人工神经网络计算方法,其特征在于,所述人工神经网络计算装置还包括:第一输入缓存和第二输入缓存;所述对多层人工神经网络中的各层进行权值更新包括:

对于人工神经网络的每一层,所述第一输入缓存和所述第二输入缓存分别存储该层的权值和权值梯度;

所述运算单元从所述第二输入缓存接收所述权值梯度,然后使用所述权值梯度对所述权值进行更新,得到更新后的权值。

3.根据权利要求1或2所述的人工神经网络计算方法,其特征在于,所述输入数据包括输入神经元和权值;所述映射单元对输入数据进行处理,以得到处理后的输入数据包括:

所述映射单元由权值得到权值的连接关系数据,并将所述权值中数值或绝对值小于或者等于第一阈值的权值删除,得到处理后的权值;

所述映射单元基于权值的连接关系数据对输入神经元进行处理,得到处理后的输入神经元。

4.根据权利要求1或2所述的人工神经网络计算方法,其特征在于,所述输入数据包括输入神经元和权值;所述映射单元对输入数据进行处理,以得到处理后的输入数据包括:

所述映射单元由输入神经元得到输入神经元的连接关系数据,并将所述输入神经元中数值或绝对值小于或者等于第二阈值的输入神经元删除,得到处理后的输入神经元;

所述映射单元基于输入神经元的连接关系数据对权值进行处理,得到处理后的权值。

5.根据权利要求3或4所述的人工神经网络计算方法,其特征在于,所述输入神经元的连接关系数据和所述权值的连接关系数据以直接索引或者步长索引的形式表示。

6.根据权利要求5所述的人工神经网络计算方法,其特征在于,

当所述输入神经元的连接关系数据以直接索引的形式表示时,所述连接关系数据为由0和1组成的字符串,0表示所述输入神经元的数值或绝对值小于或者等于第二阈值,1表示所述输入神经元的数值或绝对值大于所述第二阈值;

当所述输入神经元的连接关系数据以步长索引形式表示时,所述连接关系数据为值为非零的输入神经元与上一个值为非零的输入神经元之间的距离值组成的字符串。

7.根据权利要求5所述的人工神经网络计算方法,其特征在于,

当所述权值的连接关系数据以直接索引的形式表示时,所述连接关系数据为由0和1组成的字符串,0表示所述权值的数值或绝对值小于或者等于所述第一阈值,1表示所述权值的数值或绝对值大于所述第一阈值;

当所述权值的连接关系数据以步长索引的形式表示时,所述连接关系数据为与输出神经元有连接的输入神经元的与上一个与所述输出神经元有连接的输入神经元之间的距离值组成的字符串。

8.如权利要求1至7任一项所述的人工神经网络计算方法,其特征在于,对于多层人工神经网络的每一层,所述反向运算包括:权值梯度计算步骤和输入神经元梯度计算步骤;

所述权值梯度计算步骤包括:

所述运算单元由人工神经网络每一层的输出神经元梯度和输入神经元得到该层的权值梯度;

所述输入神经元梯度计算步骤包括:

所述映射单元将输出神经元梯度和处理后的权值存储至存储单元;

所述运算单元读取输出神经元梯度和处理后的权值,进行人工神经网络运算,得到输入神经元梯度。

9.如权利要求1至8任一项所述的人工神经网络计算方法,其特征在于,将人工神经网络上一层的输出数据作为下一层的输入数据;或者,对人工神经网络上一层的输出数据进行层间操作,将操作结果作为下一层的输入数据;其中,

对于人工神经网络的任意相邻两层:第一层与第二层,在正向运算中,所述上一层指所述第一层,所述下一层指所述第二层;在反向运算中,所述上一层指所述第二层,所述下一层指所述第一层。

10.如权利要求9所述的人工神经网络计算方法,其特征在于,所述层间操作包括向量运算、非线性运算。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1