神经网络中的分解卷积操作的制作方法

文档序号:11161071阅读:来源:国知局

技术特征:

1.一种训练神经网络的方法,包括:

鼓励所述神经网络中的至少一个滤波器具有低秩。

2.如权利要求1所述的方法,其特征在于,所述鼓励包括向所述至少一个滤波器的滤波器权重矩阵应用正则化矩阵。

3.如权利要求2所述的方法,其特征在于,所述正则化矩阵是鼓励低秩矩阵的成本度量。

4.如权利要求2所述的方法,其特征在于,所述正则化矩阵是核范数。

5.如权利要求1所述的方法,其特征在于,鼓励包括将所述至少一个滤波器分成行滤波器和列滤波器的线性组合。

6.如权利要求5所述的方法,其特征在于,进一步包括应用通过后向传播学习到的梯度更新来学习所述行滤波器和所述列滤波器。

7.如权利要求1所述的方法,其特征在于,进一步包括向所述至少一个滤波器应用分解卷积以训练所述神经网络。

8.一种用于训练神经网络的装置,包括:

存储器;以及

耦合到所述存储器的至少一个处理器,所述至少一个处理器配置成鼓励所述神经网络中的至少一个滤波器具有低秩。

9.如权利要求8所述的装置,其特征在于,所述至少一个处理器进一步配置成通过向所述至少一个滤波器的滤波器权重矩阵应用正则化矩阵来鼓励所述至少一个滤波器具有所述低秩。

10.如权利要求9所述的装置,其特征在于,所述正则化矩阵是鼓励低秩矩阵的成本度量。

11.如权利要求9所述的装置,其特征在于,所述正则化矩阵是核范数。

12.如权利要求8所述的装置,其特征在于,所述至少一个处理器进一步配置成通过将所述至少一个滤波器分成行滤波器和列滤波器的线性组合来鼓励所述至少一个滤波器具有所述低秩。

13.如权利要求12所述的装置,其特征在于,所述至少一个处理器进一步配置成应用通过后向传播学习到的梯度更新来学习所述行滤波器和所述列滤波器。

14.如权利要求8所述的装置,其特征在于,所述至少一个处理器进一步配置成向所述至少一个滤波器应用分解卷积以训练所述神经网络。

15.一种用于训练神经网络的装备,包括:

用于鼓励所述神经网络中的至少一个滤波器具有低秩的装置。

用于向所述至少一个滤波器应用分解卷积以训练所述神经网络的装置。

16.如权利要求15所述的装备,其特征在于,所述用于鼓励的装置向所述至少一个滤波器的滤波器权重矩阵应用正则化矩阵。

17.如权利要求16所述的装备,其特征在于,所述正则化矩阵是鼓励低秩矩阵的成本度量。

18.如权利要求16所述的装备,其特征在于,所述正则化矩阵是核范数。

19.如权利要求15所述的装备,其特征在于,所述用于鼓励的装置将所述至少一个滤波器分成行滤波器和列滤波器的线性组合。

20.如权利要求19所述的装备,其特征在于,进一步包括用于应用通过后向传播学习到的梯度更新来学习所述行滤波器和所述列滤波器的装置。

21.如权利要求15所述的装备,其特征在于,进一步包括用于向所述至少一个滤波器应用分解卷积以训练所述神经网络的装置。

22.一种用于训练神经网络的计算机程序产品,包括:

其上编码有程序代码的非瞬态计算机可读介质,所述程序代码包括:

用以鼓励所述神经网络中的至少一个滤波器具有低秩的程序代码。

23.如权利要求22所述的计算机程序产品,其特征在于,进一步包括用以通过向所述至少一个滤波器的滤波器权重矩阵应用正则化矩阵来鼓励所述至少一个滤波器具有所述低秩的程序代码。

24.如权利要求23所述的计算机程序产品,其特征在于,所述正则化矩阵是鼓励低秩矩阵的成本度量。

25.如权利要求23所述的计算机程序产品,其特征在于,所述正则化矩阵是核范数。

26.如权利要求22所述的计算机程序产品,其特征在于,进一步包括用以通过将所述至少一个滤波器分成行滤波器和列滤波器的线性组合来鼓励所述至少一个滤波器具有所述低秩的程序代码。

27.如权利要求26所述的计算机程序产品,其特征在于,进一步包括用以应用通过后向传播学习到的梯度更新来学习所述行滤波器和所述列滤波器的程序代码。

28.如权利要求22所述的计算机程序产品,其特征在于,进一步包括用以向所述至少一个滤波器应用分解卷积以训练所述神经网络的程序代码。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1