本发明涉及人工智能
技术领域：
，尤其涉及一种构建语言模型的方法、输入方法及系统。
背景技术：
：对于已有文本数据，使用LSTM(LongShort-TermMemory，长短期记忆网络)语言模型，将当前词作为输入(进行联合训练时加入其他标注信息)，下一个词作为输出进行训练。由于使用LSTM语言模型，给定一句话的一部分，预测下一个新的词语，使用时将新生成的词语作为下一时刻的输入，循环生成直到句子结束。发明人在实现本发明的过程中发现，现有技术中的上述LSTM语言模型的方法所预测得到的句子，由于仅仅是依赖于当前输入的词来预测下一个词，脱离了句子本身所要表达的意义，所以结果往往显得生硬、不自然，甚至并非用户所期待的结果。技术实现要素：本发明实施例提供一种构建语言模型的方法、输入法及系统，用于至少解决上述技术问题之一。第一方面，本发明实施例提供一种构建语言模型的方法，包括：获取文本数据中的句子的未来向量，所述句子的未来向量为所述句子反向之后所提取的向量；以所述文本数据中的句子中的前文为第一输入，以所述句子的未来向量作为第一输出，训练得到未来向量预测网络；至少以将所述句子中的前文输入所述未来向量预测网络后的输出值作为第二输入，以所述句子的前文的后续词语为第二输出，训练得到主神经网络；基于所述未来向量预测网络和所述主神经网络生成所述语言模型。第二方面，本发明实施例提供一种输入法，应用于电子设备，包括：前述构建语言模型的方法中的所述的语言模型获取用户已输入的文字信息；将所述文字信息导入前述构建语言模型的方法中的所述的语言模型，以利用所述未来向量预测网络基于所述已输入的文字信息，生成对应于所述已输入的文字信息的未来向量；利用所述主神经网络基于所述已输入的文字信息和所述已输入的文字信息的未来向量，预测得到所述已输入的文字信息的后续词语；将所述已输入的文字信息的后续词语提供给所述电子设备的用户界面层，以展示给用户。第三方面，本发明实施例提供一种构建语言模型的系统，包括：未来向量获取程序模块，用于获取文本数据中的句子的未来向量，所述句子的未来向量为所述句子反向之后所提取的向量；预测网络训练程序模块，用于以所述文本数据中的句子中的前文为第一输入，以所述句子的未来向量作为第一输出，训练得到未来向量预测网络；主神经网络训练程序模块，用于至少以将所述句子中的前文输入所述未来向量预测网络后的输出值作为第二输入，以所述句子中的前文的后续词语为第二输出，训练得到主神经网络；语言模型生成程序模块，用于基于所述未来向量预测网络和所述主神经网络生成所述语言模型。第四方面，本发明实施例提供一种输入法系统，应用于电子设备，包括：输入信息获取程序模块，用于获取用户已输入的文字信息；词语预测程序模块，用于调用前述构建语言模型的系统中的所述的语言模型，以利用所述未来向量预测网络基于所述已输入的文字信息，生成对应于所述已输入的文字信息的未来向量；利用所述主神经网络基于所述已输入的文字信息和所述已输入的文字信息的未来向量，预测得到所述已输入的文字信息的后续词语；展示程序模块，用于将所述已输入的文字信息的后续词语提供给所述电子设备的用户界面层，以展示给用户。第五方面，本发明实施例提供一种非易失性计算机可读存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述任一项构建语言模型的方法和/或输入法。第六方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明上述任一项构建语言模型的方法和/或输入法。第七方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项构建语言模型的方法和/或输入法。本发明实施例的有益效果在于：在本发明实施例的构建语言模型的方法中，通过综合考虑已知前文和相应于已知前文的未来向量的方式来构建语言模型，使得所构建的语言模型能够从整个句子层面(未来向量)结合当前前文信息来预测后续词语。从而使得所构建的语言模型能够更加准确的基于获取的前文信息预测得到与前文信息高度相符的后续词语，提高了预测的准确性与可靠性。附图说明为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本发明的构建语模型的一实施例的流程图；图2为本发明的构建语模型的另一实施例的流程图；图3为本发明的构建语模型的又一实施例的流程图；图4为本发明中的反向语言神经网络的结构示意图；图5为本发明中的增强型LSTM语言模型的结构示意图；图6为本发明中的多任务增强型LSTM语言模型的结构示意图；图7为本发明的输入法的一实施例的流程图；图8为本发明的构建语模型的一实施例的结构示意图；图9为本发明的构建语模型的另一实施例的结构示意图；图10为本发明的构建语模型的又一实施例的结构示意图；图11为本发明的输入法系统的一实施例的结构示意图；图12为本发明的电子设备的一实施例的结构示意图。具体实施方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。在本发明中，“模块”、“装置”、“系统”等等指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说，例如，元件可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/或计算机。还有，运行于服务器上的应用程序或脚本程序、服务器都可以是元件。一个或多个元件可在执行的过程和/或线程中，并且元件可以在一台计算机上本地化和/或分布在两台或多台计算机之间，并可以由各种计算机可读介质运行。元件还可以根据具有一个或多个数据包的信号，例如，来自一个与本地系统、分布式系统中另一元件交互的，和/或在因特网的网络通过信号与其它系统交互的数据的信号通过本地和/或远程过程来进行通信。最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。如图1所示，本发明的实施例提供一种构建语言模型的方法，包括：S11、获取文本数据中的句子的未来向量(FV，futurevector)，所述句子的未来向量为所述句子反向之后所提取的向量。本发明的实施例中，文本数据来自文本数据库中，该文本数据库可以是任意语言的文本数据库(例如，包括但并不限于中文、英文、日文等)，句子反向在词的层面上进行，如:我/是/中国人，反向结果为：中国人/是/我；因为语言模型训练是对句子历史的一种概括，将句子反向后，反向的句子的历史概括相当于原句子的未来的一种概括。S12、以所述文本数据中的句子中的前文为第一输入，以所述句子的未来向量作为第一输出，训练得到未来向量预测网络。具体地，以文本数据中的句子的前文为LSTM语言模型的输入，以相应句子的未来向量为LSTM语言模型的输出，以训练得到未来向量预测网络。前文确定的情况下，后文可能存在很多种可能，而非只有一种可能，所以FV是对“前文”的所有可能的后文的概括。例如，以我喜欢开头，后文可以接任意名词。FV的概括性在于，训练数据中所有“我喜欢”开头的句子，会对应一句具体的话，即一种可能的FV。而训练的模型需要预测一个与每一种可能的FV尽量接近的结果，那么数学上的最优解便是这些FV的某种平均，意义上就是对数据中多个句子的一种概括。S13、至少以将所述句子中的前文输入所述未来向量预测网络后的输出值作为第二输入，以所述句子中的前文的后续词语为第二输出，训练得到主神经网络。具体地，至少以所述未来向量预测网络的输出值作为LSTM语言模型的输入，以所述句子的前文的后续词语为LSTM语言模型的输出，以训练得到未来向量预测网络。例如，给定历史“我喜欢”，获得预测的FV，并将FV作为输入，以下一个词语如“读书”为输出进行训练。那么历史扩展为“我喜欢读书”，继续生成下一个FV并继续生成词语直到句子结束为止。在一些实施例中，可以训练一个输入FV，预测句子长度的模型，这样便可以得到句子的结束点。例如，输入“我喜欢”，那么模型会预测一个FV，此FV中包含整个句子长度的信息。如若需要，便可先前训练好FV到长度的模型。将预测的FV作为输入，便可以得到预估的句子长度，即可知道句子何时结束。S14、基于所述未来向量预测网络和所述主神经网络生成所述语言模型。在本发明实施例的构建语言模型的方法中，通过综合考虑已知前文和相应于已知前文的未来向量的方式来构建语言模型，使得所构建的语言模型能够从整个句子层面(未来向量)结合当前前文信息来预测后续词语。从而使得所构建的语言模型能够更加准确的基于获取的前文信息预测得到与前文信息高度相符的后续词语，提高了预测的准确性与可靠性。如图2所示，在一些实施例中，所述获取文本数据中的句子的未来向量包括：S21、将文本数据中的句子反向，并输入LSTM语言模型以训练得到反向语言神经网络；S22、获取所述反向语言神经网络的隐层输出作为对应于所述文本数据中的句子的未来向量。本发明实施例中的方法所创建的语言模型包括反向语言神经网络，是通过训练反向的LSTM语言模型得到的。而这个反向LSTM语言模型的最后一个隐藏层的激活值被用作能够嵌入序列未来的瓶颈特征，这些瓶颈特征被称为序列的未来向量。这些包含序列级信息的未来向量将被用来训练主神经网络。增强型LSTM语言模型包括未来向量预测网络和主神经网络，其不仅预测下一个单词，而且预测未来向量。预测得到的未来向量也将是预测下一个单词的输入特征。实验表明，增强型LSTM语言模型在序列预测任务上表现良好。同时也观察到，在增强型LSTM语言模型中，WER可以得到非常大的改进。传统的LSTM语言模型只能预测给定历史的一个单词，这可能会丢失关于整个未来的信息。相反，序列的剩余部分将被嵌入到新提出的增强型LSTM语言模型的序列向量中，即，未来向量，包含所有序列未来的信息。如图3所示，在一些实施例中，所述至少以将所述句子中的前文输入所述未来向量预测网络后的输出值为第二输入，以所述句子中的前文的后续词语为第二输出，训练得到主神经网络包括：S31、以文本数据中的句子中的前文为所述未来向量预测网络的第一输入，以预测得到对应于所述句子的前文的未来向量；S32、以预测得到的对应于所述句子的前文的未来向量和所述句子的前文为第二输入，以对应于所述句子中的前文的后续词语为第二输出，训练得到所述主神经网络。有在主神经网络预测时，只输入预测的FV，不输入原文本数据。优点在于理论上，预测的FV已经对后文有了概括，不再需要冗余的输入。但实际使用中，FV的预测误差对结果影响太大，不加入原文本数据会使得训练难以进行下去。本实施例中训练主神经网络所采用的输入是采用文本数据中的句子的前文输入FV预测网络得到的，而并没有直接采用反向语言神经网络的隐层输入，从而使得训练过程与实际采用所构建的语言模型进行预测的过程更加贴近，保证采用本发明实施例所得到的语言模型进行预测时的准确性。本发明实施例所构建的语言模型，是基于整个句子的向量信息来构建的，具体的通过历史文本数据中的句子训练得到反向神经网络，并提取出历史文本数据中的句子的向量信息，然后再采用历史文本数据中的句子的前文作为输入，采用相应的得到的句子的向量信息为输出训练得到FV预测网络，从而可以在实际应用中能够根据用户输入的前文信息来预测得到对应于用户输入的前文信息的整个句子的向量信息；之后再基于预测得到向量信息和相应与前文信息的后续词语训练得到主神经网络。因此，采用本发明实施例构建的语言模型，在基于已经输入的前文信息预测后续词语时是综合考虑了整个未来句子的向量信息的，从而能够得到更自然的预测结果。现有技术中均只通过当前已知的历史判断下一个词语，并没有对整个后文进行综合性的考虑，仅仅生成当前一个词语，而不是整个句子的后文。通常通过加入更多数据，加入其它标注以改进传统LSTM语言模型的性能。不容易想到是因为本方案新提出了一种可以概括后文并加以预测的方法。如图4所示，为反向语言神经网络(未来向量提取器)的结构示意图。这里x1，x2，...xi，...xT是输入序列，z2，z3，...，zT是提取的未来向量。在本未来向量提取器中，对于给定的输入序列，每个后缀都需要被嵌入，并且它们之间的关系必须被保持，以训练得到一个具有相反输入序列顺序的反向LSTM语言模型。未来向量是从这个反向的LSTM语言模型中的最后一个隐藏层的激活值中提取的(直接使用输出层维数太大，计算比较复杂，所以使用输出层前一个隐层的输出，一般认为这是对整个输入的一个高维概括)。图4显示了详细的结构，公式如下所示：pi＝softmax(Wzi+b)xi-1＝argmaxpi，其中，f是单词嵌入，W，b是模型参数。W为参数矩阵，b为一个参数向量，此两者为神经网络的传统参数。pi为一个向量，向量的每一维指时刻i时每个词语的概率。如图5所示，为增强型LSTM语言模型的结构示意图，这里x1，x2，...，xT是输入序列，y2，y3，...，yT是预测的未来向量，实际上，两个LSTM网络(xi至xi+1支路上的两个LSTM网络)是分开训练的。这个网络类似于正常的LSTM语言模型，但是预测未来向量，而不是下一个单词，详细的公式是：yi+1＝Whi+b其中f是单词嵌入，W，b是网络参数，hi指的是什么hi为i时刻LSTM的输出用于记录历史并生成整个网络的输出yi+1。训练这个网络的标准是未来向量预测yi和图4中所提取的未来向量zi之间的均方差(MSE)，即误差函数是：均方差是描述两个向量相似度的指标。这里计算均方差是观察yi与zi是否接近，并通过其误差训练网络。其中m是未来向量的维数，yi是x1，x2，...，xi-1的函数，这意味着它可以直接用于训练语言模型。在增强型LSTM语言模型中，yi+1将与xi一起作为LSTM语言模型的新输入，即pi＝softmax(Whi+b)xi+1＝argmaxpi，如图6所示，为多任务增强型LSTM语言模型的结构示意图，其中，x1，x2，...，xT是输入序列，y2，y3，...，yT是预测的未来向量，y1是一个零向量，实际上三个LSTM网络(xi至xi+1支路上的三个LSTM网络)一起训练。与正常的LSTM语言模型相比，增强型LSTM语言模型有更多的输入(未来向量yi)来预测下一个单词，这导致了增强型LSTM语言模型，其具有对未来序列级信息进行建模的能力。在本发明的实施例中，增强型LSTM语言模型有两个网络，一个是未来向量预测LSTM，另一个是语言模型LSTM。据观察，这两个网络可以一起训练。在多任务增强型LSTM语言模型中，可以同时优化下一个单词和相应的未来向量的预测。类似于非多任务版本，预测的未来向量也将是输入。详细的公式如下：ui＝LSTM(hi，ui-1)yi+1＝Wuui+buvi＝LSTM(hi，vi-1)pi＝softmax(Wvvi+bv)xi+1＝argmaxpi，其中，f是单词嵌入，Wv，bv是网络参数。训练这个多任务网络的两个标准是用于未来向量预测的均方差(MSE)和单词预测的交叉熵(CE)，即损失函数是:损失函数用于描述网络训练情况，并根据其误差训练网络。在图6所示的实施例中，λ＝1.0。多任务增强型LSTM语言模型不仅可以从输入中获得显式的序列级信息，而且还可以从未来向量预测中获得隐含的序列级信息。在表1中，简单地比较了正常LSTM、增强型LSTM和多任务增强型LSTM语言模型之间的结构。表1ModelInputOutputLSTMxixi+1FVxixi,yi+1yi+1xi+1MT-FVxi,yixi+1,yi+1表1中示出了三种LSTM语言模型结构之间的简单比较。FV表示未来向量增强型LSTM，MT-FV表示具有多任务训练的未来向量增强型LSTM。x*表示原始输入序列，并且y*是预测的未来向量。以下通过设计实验来评估所提出的增强型LSTM语言模型的性能。实验使用两个语料库，包括PTB英语语料库和短消息中文语料库。PTB语料库包含49199个话语，中文短信息库(SMS)包含403218个话语。词汇量分别是10000和40697。实验在所有系统中使用几乎相同的结构。图4和图5中的所有LSTM块都是一个堆叠的三层隐藏层LSTM。在图6中，多任务网络在共享部分中具有两个隐藏的LSTM层，在单独的部分中具有一个隐藏的LSTM层。所有LSTM隐藏层都包含300个单元。将评估序列预测和语音识别n-best重打分，并分别使用BLEU分数和WER。序列预测的结果可以在表2中找到。对于每个测试序列，使用历史的五个不同长度(0,1,2,3和5)。将基础事实和预测之间计算的BLEU分数用作评估度量。表2表2中示出了序列预测任务的PPL(Perplexity)和BLEU比较。FV-LSTM表示未来向量增强型LSTM，而MT-FV-LSTM表示具有多任务训练的未来向量增强型LSTM，BLEU分数以下的数字是历史的长度。可以看出，在所有三个系统中PPL保持几乎相同。由于增强型LSTM语言模型集中于序列级性能的改进，但是PPL是单词级别度量，所以这并不奇怪。然而，增强型LSTM语言模型在不同历史长度的BLEU分数上表现更好。这些证明了增强型LSTM语言模型可以检索更多的序列级信息，并在序列级度量上获得更好的结果。为了更好地理解结果比较，以“然而，日本有”为历史给出了一个例子，三个模型(传统的LSTM、增强型LSTM、多任务增强型LSTM)的结果如下：·然而，日本拥有百万的N；·然而，日本一直是市场上的主要品牌。·然而，日本一直是该公司的主要部分。可以观察到，增强型LSTM语言模型在序列预测上给出了更自然的结果。N-best重打分的实验结果：中文短信息库SMS用于进行语音识别n-best重打分。在每个音频的语音解码阶段，将产生具有100最高概率的序列。在语言模型重打分中，语言模型分数将由LSTM和增强型LSTM语言模型重新计算，最佳路径是通过结合语言模型分数和声学模型分数来获得。表3给出了不同LSTM语言模型的n-best重打分的WER比较。表3可以看到，所有的LSTM语言模型在3-gram语言模型上都有了很大的提高，而且与传统的LSTM语言模型相比，在单个模型重打分中，用未来向量增强的新提出的LSTM语言模型仅有很小的收获。然而，当实现表3的底部所示的多个LSTM语言模型重打分时，新提出的未来向量增强型LSTM语言模型似乎与传统的LSTM语言模型具有巨大的互补性。同时使用新的和传统的LSTM语言模型进行重打分相比于单个LSTM语言模型重打分可以实现另一个显著的改进。表3中文短信息库SMS上的语音识别n-best重打分的WER(％)比较。FV表示未来向量增强型LSTM，MT-FV表示具有多任务训练的未来向量增强型LSTM，所有的模型使用相同的插值权重。传统的LSTM语言模型只能预测具有给定历史的单个单词。但是，LVCSR需要序列级预测。这种不匹配可能会导致性能下降。本发明实施例提出了一种新的增强型LSTM语言模型。增强型LSTM语言模型从未来向量中检索序列级信息，未来向量是一种特殊的序列向量。因此，增强型LSTM语言模型能够预测长期的未来，而不是直接的单词。实验结果表明，与传统的LSTM语言模型相比，提出的具有未来向量的增强型LSTM语言模型在n-best重打分方面表现良好，在新的和正常的LSTM语言模型中有很大的互补性。序列预测的结果也表明，增强型LSTM语言模型可用于其他序列级任务。如图7所示，本发明的实施例还提供一种输入法，应用于电子设备，包括：S71、获取用户已输入的文字信息；S72、将所述文字信息导入前述构建语言模型的方法中的所述的语言模型，利用所述未来向量预测网络基于所述已输入的文字信息，生成对应于所述已输入的文字信息的未来向量；利用所述主神经网络基于所述已输入的文字信息和所述已输入的文字信息的未来向量，预测得到所述已输入的文字信息的后续词语；S73、将所述已输入的文字信息的后续词语提供给所述电子设备的用户界面层，以展示给用户。本发明的输入法的实施例由于采用了上述实施例中的方法所构建的语言模型，所以在基于已经输入的前文信息预测后续词语时是综合考虑了整个未来句子的向量信息的，从而能够得到更自然的预测结果，预测得到更加符合用户需求的预测词语，提高输入效率，提升用户体验。需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作合并，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。如图8所示，本发明的实施例还提供一种构建语言模型的系统800，包括：未来向量获取程序模块810，用于获取文本数据中的句子的未来向量，所述句子的未来向量为所述句子反向之后所提取的向量；预测网络训练程序模块820，用于以所述文本数据中的句子中的前文为第一输入，以所述句子的未来向量作为第一输出，训练得到未来向量预测网络；主神经网络训练程序模块830，用于至少以将所述句子中的前文输入所述未来向量预测网络后的输出值作为第二输入，以所述句子中的前文的后续词语为第二输出，训练得到主神经网络；语言模型生成程序模块840，用于基于所述未来向量预测网络和所述主神经网络生成所述语言模型。本发明实施例的有益效果在于：在本发明实施例的构建语言模型的系统中，通过综合考虑已知前文和相应于已知前文的未来向量的方式来构建语言模型，使得所构建的语言模型能够从整个句子层面(未来向量)结合当前前文信息来预测后续词语。从而使得所构建的语言模型能够更加准确的基于获取的前文信息预测得到与前文信息高度相符的后续词语，提高了预测的准确性与可靠性。如图9所示，本发明的实施例中，所述未来向量获取程序模块810包括：文本数据输入程序单元811，用于将文本数据中的句子反向，并输入LSTM语言模型以训练得到反向语言神经网络；未来向量获取程序单元812，用于获取所述反向语言神经网络的隐层输出作为对应于所述文本数据中的句子的未来向量。如图10所示，本发明的实施例中，所述主神经网络训练程序模块830包括：未来向量获取程序单元831，用于以文本数据中的句子中的前文为所述未来向量预测网络的第一输入，以预测得到对应于所述句子的前文的未来向量；主神经网络训练程序单元832，用于以预测得到的所述句子的前文的未来向量和所述句子的前文为第二输入，以对应于所述句子的前文的后续词语为第二输出，训练得到所述主神经网络。如图11所示，本发明的实施例还提供一种输入法系统900，应用于电子设备，所述系统包括：输入信息获取程序模块910，用于获取用户已输入的文字信息；词语预测程序模块920，用于调用前述构建语言模型的系统中的所述的语言模型，以利用所述未来向量预测网络基于所述已输入的文字信息，生成对应于所述已输入的文字信息的未来向量；利用所述主神经网络基于所述已输入的文字信息和所述已输入的文字信息的未来向量，预测得到所述已输入的文字信息的后续词语；展示程序模块930，用于将所述已输入的文字信息的后续词语提供给所述电子设备的用户界面层，以展示给用户。在一些实施例中，本发明实施例提供一种非易失性计算机可读存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述任一项构建语言模型的方法和/或输入法。在一些实施例中，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项构建语言模型的方法和/或输入法。在一些实施例中，本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行构建语言模型的方法和/或输入法的步骤。在一些实施例中，本发明实施例还提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现构建语言模型的方法和/或输入法的步骤。上述本发明实施例的实现构建语言模型的系统和/或输入法系统可用于执行本发明实施例的实现构建语言模型的方法和/或输入法，并相应的达到上述本发明实施例的实现构建语言模型的方法和/或输入法所达到的技术效果，这里不再赘述。本发明实施例中可以通过硬件处理器(hardwareprocessor)来实现相关功能模块。图12是本申请另一实施例提供的执行实现构建语言模型的方法和/或输入法的电子设备的硬件结构示意图，如图12所示，该设备包括：一个或多个处理器1210以及存储器1220，图12中以一个处理器1210为例。执行实现构建语言模型的方法和/或输入法的设备还可以包括：输入装置1230和输出装置1240。处理器1210、存储器1220、输入装置1230和输出装置1240可以通过总线或者其他方式连接，图12中以通过总线连接为例。存储器1220作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的实现构建语言模型的方法和/或输入法对应的程序指令/模块。处理器1210通过运行存储在存储器1220中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例实现构建语言模型的方法和/或输入法。存储器1220可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据实现构建语言模型的装置和/或输入装置的使用所创建的数据等。此外，存储器1220可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器1220可选包括相对于处理器1210远程设置的存储器，这些远程存储器可以通过网络连接至构建语言模型的装置和/或输入装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。输入装置1230可接收输入的数字或字符信息，以及产生与构建语言模型的装置和/或输入装置的用户设置以及功能控制有关的信号。输出装置1240可包括显示屏等显示设备。所述一个或者多个模块存储在所述存储器1220中，当被所述一个或者多个处理器1210执行时，执行上述任意方法实施例中的构建语言模型的方法和/或输入法。上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。本申请实施例的电子设备以多种形式存在，包括但不限于:(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。(5)其他具有数据交互功能的电子装置。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。当前第1页1 2 3