] 步骤103 :基于所述深度神经网络的拓扑结构在所述训练数据上的分布特征对所 述深度神经网络进行结构优化。
[0083] 在本发明实施例中，可以采用多种方式对所述初始化后的深度神经网络进行结构 优化，比如，可以根据所述深度神经网络的隐含层的权重量级对隐含层节点数进行优化，或 者根据所述深度神经网络的隐含层的节点活跃性对隐含层节点数进行优化。具体优化过程 将在后面详细描述。
[0084] 如图2所示，是本发明实施例中对深度神经网络进行结构优化的一种流程图，包 括以下步骤：
[0085] 步骤201 :依次对所述深度神经网络的隐含层中的每个节点，计算连接所述节点 的所有节点与所述节点之间的权重小于权重阈值的比率。
[0086] 具体地，用《丨表示深度神经网络中第k个隐含层的第1个节点，设k+1层和 k_l的节点个数分别为N k+1和I，则和《丨相连的所有权重可以表示为％，Vfe [1,7^] 和根据下式计算与屺相连的权重小于预设的权重阈值th的比率
【主权项】
1. 一种深度神经网络的构建方法，其特征在于，包括： 对深度神经网络进行初始化，所述初始化包括确定所述深度神经网络的拓扑结构； 利用训练数据训练所述深度神经网络的模型参数； 基于所述深度神经网络的拓扑结构在所述训练数据上的分布特征对所述深度神经网 络进行结构优化。
2. 根据权利要求1所述的深度神经网络的构建方法，其特征在于，所述基于所述深度 神经网络的拓扑结构在所述训练数据上的分布特征对所述深度神经网络进行结构优化包 括： 根据所述深度神经网络的隐含层的权重量级对隐含层节点数进行优化；或者 根据所述深度神经网络的隐含层的节点活跃性对隐含层节点数进行优化。
3. 根据权利要求2所述的深度神经网络的构建方法，其特征在于，所述根据所述深度 神经网络的隐含层的权重量级对隐含层节点数进行优化包括： 对所述深度神经网络的隐含层中的节点，计算连接所述节点的所有节点与所述节点之 间的权重小于权重阈值的比率； 如果所述节点对应的比率大于比率阈值，则删除所述节点和连接所述节点的路径。
4. 根据权利要求2所述的深度神经网络的构建方法，其特征在于，所述根据所述深度 神经网络的隐含层的节点活跃性对隐含层节点数进行优化包括： 对所述深度神经网络的隐含层中的节点，计算所述训练数据在所述节点输出的均值和 方差； 根据所述均值和方差，判断所述节点是否属于非活跃节点； 如果是，则删除所述节点和连接所述节点的路径。
5. 根据权利要求4所述的深度神经网络的构建方法，其特征在于，所述判断所述节点 是否属于非活跃节点包括： 对所述节点所在隐含层中所有节点对应的均值和方差分别从大到小进行排序，得到所 述节点对应的均值排名和方差排名； 如果所述节点对应的均值排名在设定的均值排名阈值之前，并且所述节点对应的方差 排名在设定的方差排名阈值之前，则确定所述节点为活跃节点； 否则，确定所述节点为非活跃节点。
6. 根据权利要求1至5任一项所述的深度神经网络的构建方法，其特征在于，所述方法 还包括： 对结构优化后的深度神经网络进行参数重训练； 判断参数重训练后的深度神经网络是否满足预设条件； 如果是，则输出参数重训练后的深度神经网络； 否则，对所述参数重训练后的深度神经网络重复依次进行所述结构优化和所述参数重 训练，直到满足预设条件为止。
7. 根据权利要求6所述的深度神经网络的构建方法，其特征在于，所述预设条件为：达 到预设模型更新最大次数，或者模型结构优化参数减少的规模小于设定的规模阈值，或者 网络分类正确率下降幅度超过设定的幅度阈值。
8. -种深度神经网络的构建系统，其特征在于，包括： 初始化模块，用于对深度神经网络进行初始化，所述初始化包括确定所述深度神经网 络的拓扑结构； 参数训练模块，用于利用训练数据训练所述深度神经网络的模型参数； 结构优化模块，用于基于所述深度神经网络的拓扑结构在所述训练数据上的分布特征 对所述深度神经网络进行结构优化。
9. 根据权利要求8所述的深度神经网络的构建系统，其特征在于，所述结构优化模块 包括：第一优化单元、或者第二优化单元； 所述第一优化单元，用于根据所述深度神经网络的隐含层的权重量级对隐含层节点数 进行优化； 所述第二优化单元，用于根据所述深度神经网络的隐含层的节点活跃性对隐含层节点 数进行优化。
10. 根据权利要求9所述的深度神经网络的构建系统，其特征在于，所述第一优化单元 包括： 第一计算单元，用于依次对所述深度神经网络的隐含层中的每个节点，计算连接所述 节点的所有节点与所述节点之间的权重小于权重阈值的比率； 第一判断单元，用于判断所述节点对应的比率大于比率阈值； 第一删除单元，用于在所述第一判断单元判断所述节点对应的比率大于比率阈值时， 删除所述节点和连接所述节点的路径。
11. 根据权利要求9所述的深度神经网络的构建系统，其特征在于，所述第二优化单元 包括： 第二计算单元，用于依次对所述深度神经网络的隐含层中的每个节点，计算所述训练 数据在所述节点输出的均值和方差； 第二判断单元，用于根据所述均值和方差，判断所述节点是否属于非活跃节点； 第二删除单元，用于在所述第二判断单元判断所述节点属于非活跃节点时，删除所述 节点和连接所述节点的路径。
12. 根据权利要求11所述的深度神经网络的构建系统，其特征在于，所述第二判断单 元包括： 排序单元，用于对所述节点所在隐含层中所有节点对应的均值和方差分别从大到小进 行排序，得到所述节点对应的均值排名和方差排名； 确定单元，用于在所述节点对应的均值排名在设定的均值排名阈值之前，并且所述节 点对应的方差排名在设定的方差排名阈值之前时，确定所述节点为活跃节点；否则，确定所 述节点为非活跃节点。
13. 根据权利要求8至12任一项所述的深度神经网络的构建系统，其特征在于，所述系 统还包括： 参数重训练模块，用于对结构优化后的深度神经网络进行参数重训练； 判断模块，用于判断参数重训练后的深度神经网络是否满足预设条件； 输出模块，用于在所述判断模块判断参数重训练后的深度神经网络满足预设条件时， 输出所述深度神经网络；在所述判断模块判断参数重训练后的深度神经网络不满足预设条 件时，通知所述结构优化模块和所述参数重训练模块对所述参数重训练后的深度神经网络 重复依次进行所述结构优化和所述参数重训练。
【专利摘要】本发明公开了一种深度神经网络的构建方法及系统，该方法包括：对深度神经网络进行初始化，所述初始化包括确定所述深度神经网络的拓扑结构；利用训练数据训练所述深度神经网络的模型参数；基于所述深度神经网络的拓扑结构在所述训练数据上的分布特征对所述深度神经网络进行结构优化。与现有技术的深度神经网络相比，应用本发明构建的深度神经网络极大地减少了神经网络的参数个数，减小了所需的存储空间并且加快了模型的训练速度。
【IPC分类】G10L15-16, G06N3-08
【公开号】CN104751228
【申请号】CN201310755401
【发明人】潘嘉, 何婷婷, 刘聪, 王智国, 胡国平, 张仕良, 胡郁
【申请人】安徽科大讯飞信息科技股份有限公司
【公开日】2015年7月1日
【申请日】2013年12月31日