调整人工神经网络的方法和装置与流程

文档序号:12469184阅读:来源:国知局

技术特征:

1.一种调整人工神经网络(ANN)的方法,其中所述ANN包括多个神经元,神经元之间的连接关系通过连接权值矩阵表示,所述方法包括:

剪枝步骤,将经训练的第一连接权值矩阵的所有N个权值中的n个不重要权值设为零;

不带掩码重训步骤,在不强制约束任何权值为零的情况下重新训练经剪枝的第二连接权值矩阵;

掩码生成步骤,根据经不带掩码重训的第三连接权值矩阵生成矩阵形状掩码;以及

带掩码重训步骤,使用所述掩码矩阵对所述第三连接权值矩阵进行重新训练。

2.如权利要求1所述的方法,其中,重复所述不带掩码重训步骤、所述掩码生成步骤和带掩码重训步骤直到获得所述连接权值矩阵的优化解为止。

3.如权利要求1所述的方法,其中,所述不重要权值是所有N个权值中绝对值最小的n个权值。

4.如权利要求3所述的方法,其中,所述掩码生成步骤包括:

将所述掩码中与所述第三连接权值矩阵中绝对值最小的n个权值对应位置上的值置零。

5.如权利要求3所述的方法,其中,所述掩码生成步骤包括:

将所述掩码中与所述第三连接权值矩阵中绝对值小于权重阈值的权值对应位置上的值置零。

6.如权利要求4所述的方法,其中,所述权重阈值基于所述第三连接权值矩阵求得,将所述第三连接权值矩阵的权值按绝对值进行从大到小排序,所述权值阈值根据如下之一的均值设定或是所述均值本身:

排序序列中前(N-n)个权值的均值;

排序序列中第(N-2n+1)个权值起的n个权值的均值。

7.一种调整人工神经网络(ANN)的装置,其中所述ANN包括多个神经元,神经元之间的连接关系通过连接权值矩阵表示,所述装置包括:

剪枝装置,用于将经训练的第一连接权值矩阵的所有N个权值中的n个不重要权值设为零;

不带掩码重训装置,用于在不强制约束任何权值为零的情况下重新训练经剪枝的第二连接权值矩阵;

掩码生成装置,用于根据经不带掩码重训的第三连接权值矩阵生成矩阵形状掩码;以及

带掩码重训装置,用于使用所述掩码矩阵对所述第三连接权值矩阵进行重新训练。

8.如权利要求7所述的装置,其中,所述不带掩码重训装置、所述掩码生成装置和带掩码重训装置重复操作直到获得所述连接权值矩阵的优化解为止。

9.如权利要求7所述的装置,其中,所述掩码生成装置将所述掩码中与所述第三连接权值矩阵中绝对值最小的n个权值对应位置上的值置零。

10.如权利要求7所述的装置,其中,所述掩码生成装置将所述掩码中与所述第三连接权值矩阵中绝对值小于权重阈值的权值对应位置上的值置零,其中,所述权重阈值基于所述第三连接权值矩阵求得,将所述第三连接权值矩阵的权值按绝对值进行从大到小排序,所述权值阈值根据如下之一的均值设定或是所述均值本身:

排序序列中前(N-n)个权值的均值;

排序序列中第(N-2n+1)个权值起的n个权值的均值。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1