一种基于分布式神经元的RNNLM系统及其设计方法与流程

技术特征：

1.一种基于分布式神经元的RNNLM系统设计方法，其特征在于：通过以能并发运行的分布式神经元为中心改变RNNLM系统的结构，设计基于分布式神经元的RNNLM系统来工作；所述设计方法还包括基于分布式神经元的结构设计、分布式神经元自主训练方法和分布式神经元协调方法。

2.根据权利要求1所述的一种基于分布式神经元的RNNLM系统设计方法，其特征在于：所述的分布式神经元自主训练方法包括以下过程：

过程一，获取参数；

分布式神经元模块从神经元交互节点模块获取与该分布式神经元模块相关的参数，包括输入词在输入层中的位置m，该分布式神经元模块与输入层之间的连接U、分布式神经元模块与输出层之间的连接V、分布式神经元模块与神经元模块之间的连接W、前一次迭代分布式神经元模块的准确率S’.ac、输入层节点的准确率S.ac和输出层节点的错误率Y.er；所述m∈[1,M]，M是输入和输出层节点的数量；

过程二，计算分布式神经元正确率；

第i个分布式神经元模块使用计算正确率，i(i∈[1,I]，I是分布式神经元的数量)表示该分布式神经元的序号，f是一个sigmoid函数。过程三，计算分布式神经元错误率；

第i个分布式神经元模块使用计算错误率；

过程四，更新与输出层的连接；

第i个分布式神经元模块判断连接更新间隔，如不足连接更新阈值num(num∈N+)，使用Vim＝V'im+Ym.er*Si.ac*α更新分布式神经元模块与输出层之间的连接，其中α(α∈(0,1))表示连接调节率；相反使用Vim＝V'im+Ym.er*Si.ac*α-V'im*β更新分布式神经元模块与输出层之间的连接，其中β(β∈(0,1))表示连接修正率。

过程五，更新与上一次隐藏层的连接；

第i个分布式神经元模块判断连接更新间隔，如不足连接更新阈值num，使用Wni＝W'ni+α*Si.er*S'n.ac更新分布式神经元模块与前一次迭代隐藏层之间的连接，n(n∈[1,I])是前一次迭代隐藏层中节点的位置；相反使用Wni＝W'ni+α*Si.er*S'n.ac-W'ni*β更新分布式神经元模块与前一次迭代隐藏层之间的连接；

过程六，更新与输入层的连接；

第i个分布式神经元模块判断连接更新间隔，如不足连接更新阈值num，使用Umi＝U'mi+α*Si.er*Xm.ac更新分布式神经元模块与输入层之间的连接；相反使用Umi＝U'mi+α*Si.er*Xm.ac-U'mi*β更新分布式神经元模块与输入层之间的连接。

3.根据权利要求1或所述的一种基于分布式神经元的RNNLM系统设计方法，其特征在于：所述分布式神经元协调方法包括下列步骤：

步骤一，分布式神经元交互节点模块提取训练样本中的一个单词，计算输入词在输入层中的位置m；

步骤二，分布式神经元节点模块执行过程一；

步骤三，分布式神经元节点模块执行过程二；

步骤四，分布式神经元交互节点模块使用计算输出层中节点的正确率，其中g是一个softmax函数，所述k是输出层中节点的位置，k∈[1,M]；

步骤五，分布式神经元交互节点模块使用Yk.er＝1-Yk.ac计算出层中节点的错误率；

步骤六，分布式神经元节点模块执行过程三；

步骤七，分布式神经元节点模块执行过程四；

步骤八，分布式神经元节点模块执行过程五；

步骤九，分布式神经元节点模块执行过程六；

步骤十，分布式神经元交互节点模块收集所有分布式神经元模块发送回的正确率、错误率、U、V、W，进行汇总更新，并构建上一次隐藏层；

步骤十一，如训练样本中还有未处理的单词，则读取下一个单词，返回步骤一；否则结束本轮迭代训练，转到步骤十二；

步骤十二，判断本轮迭代训练结束后神经元的准确率与上一论的差值是否达到系统设定，如达到则结束RNNLM训练，返回训练样本中的第一个单词，转到步骤一，开始下一轮迭代训练。

4.根据权利要求1所述的一种基于分布式神经元的RNNLM系统设计方法，其特征在于：基于分布式神经元的结构设计具体包括分布式神经元节点模块和分布式神经元交互节点模块的设计；

所述分布式神经元节点模块负责维护该神经元的状态、以及与输入层、输出层和之间的连接，包括获取参数、计算正确率、计算错误率、更新与输入层连接、更新与上一次隐藏层连接、更新与输出层连接等功能；

所述分布式神经元交互节点模块实现分布式神经元之间的协调，完成初始化、输入训练语料、维护输入与输出层状态等，包括参数分布、参数收集和参数汇聚更新等功能。

5.一种基于分布式神经元的RNNLM系统，包括一个分布式神经元交互节点模块服务器和多个分布式神经元节点模块服务器，其特征在于：利用权利要求1所述的设计方法设计而得；分布式神经元交互节点模块服务器和分布式神经元节点模块服务器之间用Infiniband进行连接，分布式神经元节点模块服务器和分布式神经元交互节点模块服务器之间的交互使用RDMA协议。训练样本由多个分布式神经元节点模块服务器和一个分布式神经元交互节点模块服务器共同完成处理，合作完成RNNLM的训练过程，并共同对外提供服务。