深度神经网络的构建方法及系统的制作方法
【技术领域】
[0001] 本发明涉及信号处理领域，尤其涉及一种深度神经网络的构建方法及系统。
【背景技术】
[0002] 语音识别即让机器听懂人说的话，将语音信号转化为计算机可识别的输入。近20 年来语音识别技术取得了显著成效，开始从实验室走向市场。目前基于语音识别技术的语 音输入，语音检索，语音翻译等得到了广泛的运用。随着科技的进步，信息的爆炸性增长，可 以获得的语音数据也越来越多，如何利用海量的数据训练一个语音识别系统，使语音识别 率达到更高是实际应用中的一项难题。
[0003] 传统自动连续语音识别系统主要采用基于隐马尔科夫模型（Hidden Markov Model, HMM)和高斯混合模型（Gaussian Mixture Model, GMM)的 GMM-HMM 语音识别系统。 GMM-HMM语音识别系统使用HMM对语音信号的时序结构进行建模，每个HMM状态的输出概率 采用混合高斯模型模拟。近年来基于深度神经网络（Deep Neural Networks, DNN)和隐马 尔科夫模型的DNN-HMM语音识别系统受到研究人员越来越多的关注，DNN-HMM系统采用DNN 替代GMM模拟每个HMM状态的输出概率。相比于GMM模型，DNN模型的描述能力更强，能够 更好地模拟非常复杂的数据分布，并且能够很好地学习到数据上下文的信息，因此相对于 GMM-HMM系统，DNN-HMM系统能够取得显著的性能提升。
[0004] 然而尽管DNN-HMM系统在性能上具有明显优势，但在实际应用中依然较难推广， 主要原因在于DNN-HMM的模型复杂度较高，模型训练和解码时所需时间均远远超出了 GMM-HMM系统。比如通常情况下DNN模型中隐含层个数至少有6个，且每个隐含层的节点个 数都由系统预先设定相同数值，如2048或者2560个节点。显然所述模型的拓扑结构较为 复杂且模型参数众多，给大数据库上的模型训练及后续语音解码带来较大的运算压力，导 致系统运行效率过慢，不利于系统实用化的推广和更新。
【发明内容】
[0005] 本发明的目的在于克服现有技术中的不足，提供一种深度神经网络的构建方法及 系统，通过对各隐含层的节点个数的有效控制，大大减少了深度神经网络中节点的冗余性。
[0006] 为实现上述目的，本发明的技术方案是：
[0007] -种深度神经网络的构建方法，包括：
[0008] 对深度神经网络进行初始化，所述初始化包括确定所述深度神经网络的拓扑结 构；
[0009] 利用训练数据训练所述深度神经网络的模型参数；
[0010] 基于所述深度神经网络的拓扑结构在所述训练数据上的分布特征对所述深度神 经网络进行结构优化。
[0011] 优选地，所述基于所述深度神经网络的拓扑结构在所述训练数据上的分布特征对 所述深度神经网络进行结构优化包括：
[0012] 根据所述深度神经网络的隐含层的权重量级对隐含层节点数进行优化；或者
[0013] 根据所述深度神经网络的隐含层的节点活跃性对隐含层节点数进行优化。
[0014] 优选地，所述根据所述深度神经网络的隐含层的权重量级对隐含层节点数进行优 化包括：
[0015] 对所述深度神经网络的隐含层中的节点，计算连接所述节点的所有节点与所述节 点之间的权重小于权重阈值的比率；
[0016] 如果所述节点对应的比率大于比率阈值，则删除所述节点和连接所述节点的路 径。
[0017] 优选地，所述根据所述深度神经网络的隐含层的节点活跃性对隐含层节点数进行 优化包括：
[0018] 对所述深度神经网络的隐含层中的节点，计算所述训练数据在所述节点输出的均 值和方差；
[0019] 根据所述均值和方差，判断所述节点是否属于非活跃节点；
[0020] 如果是，则删除所述节点和连接所述节点的路径。
[0021] 优选地，所述判断所述节点是否属于非活跃节点包括：
[0022] 对所述节点所在隐含层中所有节点对应的均值和方差分别从大到小进行排序，得 到所述节点对应的均值排名和方差排名；
[0023] 如果所述节点对应的均值排名在设定的均值排名阈值之前，并且所述节点对应的 方差排名在设定的方差排名阈值之前，则确定所述节点为活跃节点；
[0024] 否则，确定所述节点为非活跃节点。
[0025] 优选地，所述方法还包括：
[0026] 对结构优化后的深度神经网络进行参数重训练；
[0027] 判断参数重训练后的深度神经网络是否满足预设条件；
[0028] 如果是，则输出参数重训练后的深度神经网络；
[0029] 否则，对所述参数重训练后的深度神经网络重复依次进行所述结构优化和所述参 数重训练，直到满足预设条件为止。
[0030] 优选地，所述预设条件为：达到预设模型更新最大次数，或者模型结构优化参数减 少的规模小于设定的规模阈值，或者网络分类正确率下降幅度超过设定的幅度阈值。
[0031] 一种深度神经网络的构建系统，包括：
[0032] 初始化模块，用于对深度神经网络进行初始化，所述初始化包括确定所述深度神 经网络的拓扑结构；
[0033] 参数训练模块，用于利用训练数据训练所述深度神经网络的模型参数；
[0034] 结构优化模块，用于基于所述深度神经网络的拓扑结构在所述训练数据上的分布 特征对所述深度神经网络进行结构优化。
[0035] 优选地，所述结构优化模块包括：第一优化单元、或者第二优化单元；
[0036] 所述第一优化单元，用于根据所述深度神经网络的隐含层的权重量级对隐含层节 点数进行优化；
[0037] 所述第二优化单元，用于根据所述深度神经网络的隐含层的节点活跃性对隐含层 节点数进行优化。
[0038] 优选地，所述第一优化单元包括：
[0039] 第一计算单元，用于依次对所述深度神经网络的隐含层中的每个节点，计算连接 所述节点的所有节点与所述节点之间的权重小于权重阈值的比率；
[0040] 第一判断单元，用于判断所述节点对应的比率大于比率阈值；
[0041] 第一删除单元，用于在所述第一判断单元判断所述节点对应的比率大于比率阈值 时，删除所述节点和连接所述节点的路径。
[0042] 优选地，所述第二优化单元包括：
[0043] 第二计算单元，用于依次对所述深度神经网络的隐含层中的每个节点，计算所述 训练数据在所述节点输出的均值和方差；
[0044] 第二判断单元，用于根据所述均值和方差，判断所述节点是否属于非活跃节点；
[0045] 第二删除单元，用于在所述第二判断单元判断所述节点属于非活跃节点时，删除 所述节点和连接所述节点的路径。
[0046] 优选地，所述第二判断单元包括：
[0047] 排序单元，用于对所述节点所在隐含层中所有节点对应的均值和方差分别从大到 小进行排序，得到所述节点对应的均值排名和方差排名；
[0048] 确定单元，用于在所述节点对应的均值排名在设定的均值排名阈值之前，并且所 述节点对应的方差排名在设定的方差排名阈值之前时，确