>[0023] 第一步，构建基于选择性注意原理的深度长短期记忆循环神经网络
[0024] 如图1所示，输入101和输入102为t时刻和t-1时刻语音信号输入x# XtJte[1，T]，T为语音信号的总时间长度）；t时亥Ij的长短期记忆循环神经网络由注意门 103、输入门104、遗忘门105、记忆细胞106、输出门107、tanh函数108、tanh函数109、隐 藏层110、乘法器122以及乘法器123组成；t-1时刻的长短期记忆循环神经网络由输入门 112、遗忘门113、记忆细胞114、输出门115、tanh函数116、tanh函数117、隐藏层118、乘法 器120以及乘法器121组成。t时刻和t-1时刻隐藏层输出分别为输出111和输出119。
[0025] 其中，输入102同时作为输入门112、遗忘门113、输出门115以及tanh函数116 的输入，输入门112的输出与tanh函数116的输出送入乘法器120,运算后的输出作为记忆 细胞114的输入，记忆细胞114的输出作为tanh函数117的输入，tanh函数117的输出和 输出门115的输出送入乘法器121，运算后的输出作为隐藏层118的输入，隐藏层118的输 出即为输出119。
[0026] 输入101、记忆细胞114的输出以及乘法器121的输出共同作为注意门103的输 入，注意门103的输出和乘法器121的输出共同作为tanh函数108的输入，注意门103的 输出、记忆细胞114的输出和乘法器121的输出分别共同作为输入门104、遗忘门105以及 输出门107的输入，遗忘门105的输出和记忆细胞114的输出送入乘法器124,输入门104 的输出与tanh函数108的输出送入乘法器122,乘法器124的输出和乘法器122的输出作 为记忆细胞106的输入，记忆细胞106的输出作为tanh函数109的输入，tanh函数109的 输出和输出门107的输出送入乘法器123,乘法器123的输出作为隐藏层110的输入，隐藏 层110的输出即为输出111。
[0027] S卩：在tG[1，T]时刻的参数按照如下公式计算：
[0028] Gattent=sigmoid(W^xdWamIVdWacCelUba)
[0029] Ginputt=sigmoid(WiaGattenJWiniIvdWicCelUbi)
[0030] Gforgett=sigmoid(WfaGattent+lmH+WfcCellH+bf)
[0031] Cellt=Gforgett?CellJGinputtQtanh(WCaGattenJWcniIvdbc)
[0032] Goutputt=sigmoid(WOaGattenJWoniIvdWocCelUb0)
[0033] mt=Goutputt?tanh(Cellt)
[0034] yt=softmaxk(ffymmt+by)
[0035] 其中Gattent为t时刻注意门103的输出，Ginputt为t时刻输入门104的输出，GfOTget t时刻遗忘门105的输出，Cell,为t时刻记忆细胞106的输出，Gratputt为t时刻输出 门107的输出，mt为t时刻隐藏层110的输入，yt为t时刻的输出111;x,为t时刻的输入 101，mt_At-1时刻隐藏层118的输入，Cellt_i为t-1时刻记忆细胞114的输出；Wax为t 时刻注意门a与t时刻输入X之间的权重，Wam为t时刻注意门a与t-1时刻隐藏层输入m 之间的权重，Wa。为t时刻注意门a与t-1时刻记忆细胞c之间的权重，Wia为t时刻输入门 i与t时刻注意门a之间的权重，Wim为t时刻输入门i与t-1时刻隐藏层输入m之间的权 重，Wic;为t时刻输入门i与t-1时刻记忆细胞c之间的权重，Wfa为t时刻遗忘门f与t时 刻注意门a之间的权重，Wfm为t时刻遗忘门f与t-1时刻隐藏层输入m之间的权重，Wf。为 t时刻遗忘门f与t-1时刻记忆细胞c之间的权重，WmSt时刻记忆细胞c与t时刻注意 门a之间的权重，1"为t时刻记忆细胞c与t-1时刻隐藏层输入m之间的权重，W。3为t时 刻输出门O与t时刻注意门a之间的权重，WmiSt时刻输出门O与t-1时刻隐藏层输入m 之间的权重，W。。为t时刻输出门〇与t-1时刻记忆细胞c之间的权重；b3为注意门a的偏差 量，1^为输入门i的偏差量，b{为遗忘门f的偏差量，b。为记忆细胞c的偏差量，b。为输出门
【主权项】
1. 一种基于选择性注意原理的深度长短期记忆循环神经网络声学模型的构建方法，包 括如下步骤： 第一步，构建基于选择性注意原理的深度长短期记忆循环神经网络 从输入到隐藏层定义为一个长短期记忆循环神经网络，深度指的是每个长短期记忆循 环神经网络的输出为下一个长短期记忆循环神经网络的输入，如此重复，最后一个长短期 记忆循环神经网络的输出作为整个系统的输出；在每一个长短期记忆循环神经网络中，语 音信号\为t时刻的输入，X H为t-1时刻的输入，以此类推，总时间长度上的输入为X= [Xl，...，xT]其中te[1，T]，T为语音信号的总时间长度；t时刻的长短期记忆循环神经网 络由注意门、输入门、输出门、遗忘门、记忆细胞、tanh函数、隐藏层、乘法器组成，t-1时刻 的长短期记忆循环神经网络由输入门、输出门、遗忘门、记忆细胞、tanh函数、隐藏层、乘法 器组成；总时间长度上的隐藏层输出为y= [yi，...，yT]; 在te[1，T]时刻的参数按照如下公式计算：
其中Gattmt为t时刻注意门的输出，Ginputt为t时刻输入门的输出，GfOTgrtt为t时刻遗 忘门的输出，CelltSt时刻记忆细胞的输出，t为t时刻输出门的输出，mtSt时刻隐 藏层的输入，yt为t时刻的输出；xt时刻的输入，mg为t-1时刻隐藏层的输入，Cellt_i 为t-1时刻记忆细胞的输出；Wax为t时刻注意门a与t时刻输入x之间的权重，Wam为t时 刻注意门a与t-1时刻隐藏层输入m之间的权重，Wa。为t时刻注意门a与t-1时刻记忆细 胞c之间的权重，Wia为t时刻输入门i与t时刻注意门a之间的权重，Wim为t时刻输入门 i与t-1时刻隐藏层输入m之间的权重，Wic;为t时刻输入门i与t-1时刻记忆细胞c之间 的权重，Wfa为t时刻遗忘门f与t时刻注意门a之间的权重，Wfm为t时刻遗忘门f与t-1 时刻隐藏层输入m之间的权重，Wf。为t时刻遗忘门f与t-1时刻记忆细胞c之间的权重， WJ%t时刻记忆细胞c与t时刻注意门a之间的权重，评^为t时刻记忆细胞c与t-1时 刻隐藏层输入m之间的权重，1。3为t时刻输出门〇与t时刻注意门a之间的权重，W^为t 时刻输出门〇与t-1时刻隐藏层输入m之间的权重，W。。为t时刻输出门〇与t-1时刻记忆 细胞c之间的权重；1\为注意门a的偏差量，b 输入门i的偏差量，b{为遗忘门f的偏差 量，b。为记忆细胞c的偏差量，b。为输出门〇的偏差量，by为输出y的偏差量，不同的b代 表不同的偏差量；且羊
其中xk表示第kG[1，K]个softmax函数的输入，lG[1，K]用于对全部求和；?代表 矩阵元素相乘； 第二步，构建基于选择性注意原理的深度长短期记忆循环神经网络声学模型 在第一步的基础上，每间隔S时刻对应的深度长短期记忆循环神经网络存在注意门， 其他时刻的深度长短期记忆循环神经网络不存在注意门，即，基于选择性注意原理的深度 长短期记忆循环神经网络声学模型由间隔存在注意门的深度长短期记忆循环神经网络组 成。
2.根据权利要求1所述基于选择性注意原理的深度长短期记忆循环神经网络声学模 型的构建方法，其特征在于，所述s= 5。
【专利摘要】一种基于选择性注意原理的深度长短期记忆循环神经网络声学模型的构建方法，通过在深度长短期记忆循环神经网络声学模型中增加注意门单元，来表征听觉皮层神经元的瞬时功能改变，注意门单元与其他门单元不同之处在于，其他门单元与时间序列一一对应，而注意门单元体现的是短期可塑性效应，因此在时间序列上存在间隔；通过对包含Cross-talk噪声的大量语音数据进行训练获得的上述神经网络声学模型，可以实现对Cross-talk噪声的鲁棒特征提取和鲁棒声学模型的构建，通过抑制非目标流对特征提取的影响可以达到提高声学模型的鲁棒性的目的；该方法可广泛应用于涉及语音识别的说话人识别、关键词识别、人机交互等多种机器学习领域。
【IPC分类】G10L15-02, G10L15-06
【公开号】CN104700828
【申请号】CN201510122982
【发明人】杨毅, 孙甲松
【申请人】清华大学
【公开日】2015年6月10日
【申请日】2015年3月19日