神经网络训练方法和装置及数据处理方法和装置与流程

文档序号:12601991阅读:来源:国知局

技术特征:

1.一种神经网络训练方法,包括:

步骤S210:利用低秩近似方法将卷积神经网络的至少一组卷积层中的每组卷积层所对应的一组初始卷积核转换为对应的一组转换卷积核;

步骤S220:基于所述至少一组卷积层所对应的转换卷积核对所述卷积神经网络进行训练,其中,在训练后的卷积神经网络中,所述至少一组卷积层中的每组卷积层所对应的一组转换卷积核更新为对应的一组经训练卷积核;

步骤S230:判断所述训练后的卷积神经网络是否满足预定标准,如果满足,则转至步骤S240,否则转至步骤S250;

步骤S240:将所述至少一组卷积层中的每组卷积层所对应的一组经训练卷积核的乘积分解为对应的一组压缩卷积核,其中,所述至少一组卷积层中的每组卷积层所对应的一组压缩卷积核的乘积等于对应的一组经训练卷积核的乘积,并且,每个压缩卷积核所表示的矩阵为低秩矩阵;以及

步骤S250:将所述至少一组卷积层中的每组卷积层所对应的一组经训练卷积核作为该组卷积层所对应的一组初始卷积核并返回所述步骤S210。

2.如权利要求1所述的神经网络训练方法,其中,所述步骤S230包括:根据所述训练后的卷积神经网络输出的实际计算结果与预期结果之间的差距和/或所述训练后的卷积神经网络的计算量,判断所述训练后的卷积神经网络是否满足所述预定标准。

3.如权利要求2所述的神经网络训练方法,其中,所述计算量是由所述卷积神经网络的实际计算时间代表的实际计算量或根据所述卷积神经网络的配置信息计算获得的理论计算量。

4.如权利要求1所述的神经网络训练方法,其中,所述步骤S210包括:按能量压缩比率对所述至少一组卷积层中的每组卷积层所对应的一组初始卷积核的乘积进行低秩近似,以获得该组卷积层所对应的一组转换卷积核。

5.如权利要求4所述的神经网络训练方法,其中,所述步骤S210进一步包括:

对于所述至少一组卷积层中的每组卷积层,

按照奇异值分解方式将该组卷积层所对应的一组初始卷积核的乘积所表示的矩阵表达为第一酉矩阵、对角矩阵和第二酉矩阵的乘积;

根据所述对角矩阵中的奇异值和所述能量压缩比率选取截断数;

根据所述截断数对所述第一酉矩阵、所述对角矩阵和所述第二酉矩阵进行截断,以获得截断后的第一酉矩阵、截断后的对角矩阵和截断后的第二酉矩阵;以及

利用所述截断后的对角矩阵、所述截断后的第一酉矩阵和所述截断后的第二酉矩阵进行矩阵乘运算,以获得该组卷积层所对应的一组转换卷积核。

6.如权利要求1所述的神经网络训练方法,其中,在所述步骤S220之后以及所述步骤S230之前,所述神经网络训练方法还包括:

判断所述卷积神经网络的训练次数是否达到次数要求,如果所述卷积神经网络的训练次数未达到所述次数要求,则转至所述步骤S250。

7.一种数据处理方法,包括:

获取待处理数据;以及

利用通过如权利要求1至6任一项所述的神经网络训练方法训练获得的所述卷积神经网络对所述待处理数据进行处理。

8.一种神经网络训练装置,包括:转换模块、训练模块、第一判断模块、第一执行模块和第二执行模块,其中,

所述转换模块用于利用低秩近似方法将卷积神经网络的至少一组卷积层中的每组卷积层所对应的一组初始卷积核转换为对应的一组转换卷积核;

所述训练模块用于基于所述至少一组卷积层所对应的转换卷积核对所述卷积神经网络进行训练,其中,在训练后的卷积神经网络中,所述至少一组卷积层中的每组卷积层所对应的一组转换卷积核更新为对应的一组经训练卷积核;

所述第一判断模块用于判断所述训练后的卷积神经网络是否满足预定标准,如果满足,则启动所述第一执行模块,否则启动所述第二执行模块;

所述第一执行模块用于将所述至少一组卷积层中的每组卷积层所对应的一组经训练卷积核的乘积分解为对应的一组压缩卷积核,其中,所述至少一组卷积层中的每组卷积层所对应的一组压缩卷积核的乘积等于对应的一组经训练卷积核的乘积,并且,每个压缩卷积核所表示的矩阵为低秩矩阵;以及

所述第二执行模块用于将所述至少一组卷积层中的每组卷积层所对应的一组经训练卷积核作为该组卷积层所对应的一组初始卷积核并启动所述转换模块。

9.如权利要求8所述的神经网络训练装置,其中,所述第一判断模块包括判断子模块,用于根据所述训练后的卷积神经网络输出的实际计算结果与预期结果之间的差距和/或所述训练后的卷积神经网络的计算量,判断所述训练后的卷积神经网络是否满足所述预定标准。

10.如权利要求9所述的神经网络训练装置,其中,所述计算量是由所述卷积神经网络的实际计算时间代表的实际计算量或根据所述卷积神经网络的配置信息计算获得的理论计算量。

11.如权利要求8所述的神经网络训练装置,其中,所述转换模块用于按能量压缩比率对所述至少一组卷积层中的每组卷积层所对应的一组初始卷积核的乘积进行低秩近似,以获得该组卷积层所对应的一组转换卷积核。

12.如权利要求11所述的神经网络训练装置,其中,所述转换模块包括:

奇异值分解子模块,用于对于所述至少一组卷积层中的每组卷积层,按照奇异值分解方式将该组卷积层所对应的一组初始卷积核的乘积所表示的矩阵表达为第一酉矩阵、对角矩阵和第二酉矩阵的乘积;

截断数选取子模块,用于对于所述至少一组卷积层中的每组卷积层,根据所述对角矩阵中的奇异值和所述能量压缩比率选取截断数;

截断子模块,用于对于所述至少一组卷积层中的每组卷积层,根据所述截断数对所述第一酉矩阵、所述对角矩阵和所述第二酉矩阵进行截断,以获得截断后的第一酉矩阵、截断后的对角矩阵和截断后的第二酉矩阵;以及

矩阵乘子模块,用于对于所述至少一组卷积层中的每组卷积层,利用所述截断后的对角矩阵、所述截断后的第一酉矩阵和所述截断后的第二酉矩阵进行矩阵乘运算,以获得该组卷积层所对应的一组转换卷积核。

13.如权利要求8所述的神经网络训练装置,其中,所述神经网络训练装置还包括第二判断模块,用于在所述训练模块基于所述至少一组卷积层所对应的转换卷积核对所述卷积神经网络进行训练之后以及在所述第一判断模块判断所述训练后的卷积神经网络是否满足预定标准之前,判断所述卷积神经网络的训练次数是否达到次数要求,如果所述卷积神经网络的训练次数未达到所述次数要求,则启动所述第二执行模块。

14.一种数据处理装置,包括:

数据获取模块,用于获取待处理数据;以及

处理模块,用于利用通过如权利要求8至13任一项所述的神经网络训练装置训练获得的所述卷积神经网络对所述待处理数据进行处理。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1