基于稠密连接的深度神经网络结构改进方法和系统与流程

文档序号:18743030发布日期:2019-09-21 02:01阅读:来源:国知局

技术特征:

1.一种基于稠密连接的深度神经网络结构改进方法,其特征在于,所述方法包括:

S1:建立全连接深度神经网络,并确定全连接深度神经网络的层数、各层神经元个数以及参数;

S2:将全连接深度神经网络根据隐含层层数,按顺序划分为若干稠密连接块;

S3:按照稠密连接块中每一隐含层的输入由该稠密连接块中该层之前的所有隐含层输出共同作用,并且按先后顺序堆砌构成的原则,实现各稠密连接块内部的稠密连接,每个稠密连接块内部的连接方式相同;

S4:将各稠密连接块之间按顺序采用全连接方式组合成深度稠密神经网络。

2.根据权利要求1所述的基于稠密连接的深度神经网络结构改进方法,其特征在于,所述全连接深度神经网络的参数包括各隐含层的参数和整个神经网络的超级参数,其中,各隐含层的参数包括keep_prop值、是否进行批处理,超级参数包括学习率、优化算法、dropout值。

3.根据权利要求1所述的基于稠密连接的深度神经网络结构改进方法,其特征在于,步骤S2中,所述稠密连接块的划分原则包括:

(1)每个全连接深度神经网络隐含层只属于一个稠密连接块;

(2)稠密连接块大小由所包含的全连接深度神经网络的隐含层层数N确定,其中4<=N<=6。

4.根据权利要求1所述的基于稠密连接的深度神经网络结构改进方法,其特征在于,步骤S3中,所述按照稠密连接块中每一隐含层的输入由该稠密连接块中该层之前的所有隐含层输出共同作用,并且按先后顺序堆砌构成的原则,实现各稠密连接块内部的稠密连接的过程包括以下步骤:

S31:设稠密连接块的大小为N的,每一隐含层的神经元个数分别为、...、;

S32:确定第一隐含层与第二隐含层的权重与偏置数值,权重为*矩阵,偏置为*1矩阵,将第一隐含层的神经元各值与权重、偏置作用后得到第二隐含层各神经元值,保留该值用于后续叠加;

S33:确定第二隐含层与第三隐含层的权重与偏置数值,第三隐含层的输入是由第一隐含层与第二隐含层的输出堆砌构成,并且权重为【+】*矩阵,偏置为*1矩阵,将第一隐含层与第二隐含层的输出值与权重、偏置作用后得到第三隐含层各神经元值,保留该值用于后续叠加;

S34:按照前述方式重复确定每层隐含层的权重与偏置数值,并将该层之前所有隐含层的输出叠加作用,得到第N隐含层的各神经元值,作为该稠密连接块的最终输出。

5.根据权利要求1所述的基于稠密连接的深度神经网络结构改进方法,其特征在于,步骤S4中,所述将各稠密连接块之间按顺序采用全连接方式组合成深度稠密神经网络的过程包括以下步骤:

当前稠密连接块的第一层与上一稠密连接块的最后一层进行全连接组合,当前稠密连接块的最后一层与下一稠密连接块的第一层进行全连接组合。

6.一种采用权利要求1所述方法的基于稠密连接的深度神经网络结构改进系统,其特征在于,所述系统包括:

用于建立全连接深度神经网络,并确定全连接深度神经网络的层数、各层神经元个数以及参数的模块;

用于将全连接深度神经网络根据隐含层层数,按顺序划分为若干稠密连接块的模块;

用于按照稠密连接块中每一隐含层的输入由该稠密连接块中该层之前的所有隐含层输出共同作用,并且按先后顺序堆砌构成的原则,实现各稠密连接块内部的稠密连接的模块,每个稠密连接块内部的连接方式相同;

用于将各稠密连接块之间按顺序采用全连接方式组合成深度稠密神经网络的模块。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1