文本输入的预测方法、装置、计算机设备和存储介质与流程

本发明涉及计算机技术领域，尤其涉及文本输入的预测方法、装置、计算机设备和存储介质。

背景技术：

为了加快用户输入文本的速度，采用循环神经网络模型根据客户已输入文本，预测用户随后可能输入的文本。现有技术中，在循环神经网络模型训练阶段采用高斯过程拟合函数，但是高斯过程所需计算量较大，并且需要事先设定的核函数以实现高斯过程，导致文本输入预测工具的计算效率、训练效率受限。

技术实现要素：

本发明的主要目的在于提供一种文本输入的预测方法、装置、计算机设备和存储介质，旨在解决传统循环神经网络模型用于文本输入预测的计算效率低的技术问题。

为实现上述目的，本发明提供一种文本输入的预测方法，包括：

获取训练文本，并根据预设词典将所述训练文本中n个词语转换为对应的n个样本词向量，得到样本词向量序列；

在所述样本词向量序列中选择m个样本词向量输入神经过程模型，得到对应的预测词向量，其中m＜n；

根据所述预测词向量和所述样本词向量序列中第m+1项样本词向量的差异构建损失函数；

根据所述损失函数调整所述神经过程模型中的参数，直至所述损失函数满足预设结束条件；

获取目标文本，并根据预设词典将所述目标文本转换为对应的目标词向量；

将所述目标词向量输入所述神经过程模型中的预测函数，得到预测词语。

优选地，所述在所述样本词向量中选择m个词向量输入神经过程模型，得到对应的预测词向量的步骤，包括：

根据输入的所述样本词向量，获得全局潜变量；

根据所述样本词向量和所述全局潜变量获得对应的所述预测词向量。

优选地，所述神经过程模型为：

其中，xi为输入的样本词向量，yi为根据输入的样本词向量xi输出的预测词向量，p(z)为多元正态分布，z为全局潜变量，g(xi,z)为预测函数，σ²为随机噪声。

优选地，所述根据所述预测词向量和所述样本词向量序列中第m+1项样本词向量的差异构建损失函数的步骤，包括：

计算所述预测词向量和所述样本词向量序列中第m+1项样本词向量的均方误差；

根据所述均方误差构建所述损失函数。

优选地，所述根据所述损失函数调整所述神经过程模型中的参数，直至所述损失函数满足预设结束条件，获得预测函数的步骤，包括：

判断所述损失函数是否大于所述预设阈值；

若所述损失函数大于所述预设阈值，则对所述损失函数进行凸函数优化；

根据经过凸函数优化的所述损失函数调整所述神经过程模型中的参数；

采用调整参数后的神经过程模型进行重新计算预测词向量，直至由所述预测词向量和所述样本词向量序列中第m+1项样本词向量的差异构建的损失函数小于或等于所述预设阈值。

优选地，所述获取训练文本，并根据预设词典将所述训练文本中n个词语转换为对应的n个样本词向量，得到样本词向量序列的步骤，包括：

获取训练文本；

根据词性和词长对所述训练文本进行分词得到词语组；

根据预设词典将所述训练文本中n个词语转换为对应的n个样本词向量，得到样本词向量序列。

优选地，所述将所述目标词向量输入所述预测函数，得到预测词语的步骤包括：

按照所述目标文本中各目标词向量对应词语的先后顺序，依次将所述目标词向量输入到所述预测函数中，得到预测词向量；

计算所述预测词向量与所述预设词典中各标准词向量的距离；

确定所述距离中最小值对应的所述标准词向量；

将所述预测词语设置为所述标准词向量对应的词语。

此外，为实现上述目的，本发明还提供一种文本处理装置，其特征在于，包括模型训练器和文本处理器，所述模型训练器包括：

第一向量化模块，用于获取训练文本，并根据预设词典将所述训练文本中n个词语转换为对应的n个样本词向量，得到样本词向量序列；

第一输入模块，用于在所述样本词向量序列中选择m个样本词向量输入神经过程模型；

第一输出模块，用于通过所述神经过程模型输出所述m个样本词向量对应的预测词向量；

差异判断模块，用于根据所述预测词向量和所述样本词向量序列中第m+1项样本词向量的差异构建损失函数；

调整模块，用于根据所述损失函数调整所述神经过程模型中的参数，直至所述损失函数满足预设结束条件；

所述文本处理器包括：

第二向量化模块，用于获取目标文本，并根据预设词典将所述目标文本转换为对应的目标词向量；

第二计算模块，用于将所述目标词向量输入所述神经过程模型中的预测函数，得到预测词语。

此外，为实现上述目的，本发明还提供一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述方法的步骤。

此外，为实现上述目的，本发明还提供一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。

本发明实施例提出的一种文本输入的预测方法、装置、计算机设备和存储介质，通过采用神经过程模型对训练文本进行训练，从而可省去设置内核函数的过程，以克服其它神经网络模型在函数设计上的限制；同时利用神经过程模型高效的计算能力，减小模型的训练时间。通过神经过程模型得到的预测函数可根据目标文本进行待输入文本的预测，从而提高了用户进行文本输入的效率。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的计算机设备结构示意图；

图2为本发明文本输入预测方法第一实施例的流程示意图；

图3为本发明文本输入预测方法第二实施例的流程示意图；

图4为本发明文本输入预测方法第三实施例的流程示意图；

图5为本发明文本输入预测方法第四实施例的流程示意图；

图6为本发明文本输入预测方法第五实施例的流程示意图；

图7为本发明文本输入预测方法第六实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的计算机设备结构示意图。

本发明实施例计算机设备具体可以是服务器，也可以是智能手机、平板电脑、便携计算机等具有数据处理功能的计算机设备。

如图1所示，该计算机设备可以包括：处理器1001，例如cpu，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选的用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，计算机设备还可以包括音频电路、wifi模块、触控屏等等，在此不再赘述。计算机设备可通过输入单元获取用户通过输入单元输入的需要进行处理的文本数据，将获取的文本数据作为目标文本或训练文本，计算机设备也可通过网络接口接收其他设备发送的需要进行处理的文本数据，将接收到的文本数据作为目标文本或训练文本；计算机设备还可以获取用户通过输入单元选择的显示屏中展示的文本数据，将获取的文本数据作为训练文本。

本领域技术人员可以理解，图1中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

参照图2，图2为本发明文本输入预测方法第一实施例的流程示意图，所述文本输入预测方法包括：

步骤s100，获取训练文本，并根据预设词典将所述训练文本中n个词语转换为对应的n个样本词向量，得到样本词向量序列；

其中，训练文本是包含多个词语按照语言逻辑组成的文本数据。文本数据是多于一个的字符按照顺序构成的字符串。目标文本比如“今天天气好”或者“我的名字是王乒乓”等。

具体地，可先对训练文本进行分词，得到组成训练文本的各词语，再将各词语分别向量化，得到各词语对应的词向量，再将各样本词向量按顺序组合起来得到样本词向量序列。样本词向量序列包括文本形式的各词向量化得到的各样本词向量。各样本词向量的先后顺序与相应的词在目标文本中出现的先后顺序一致。可以理解，目标文本中最开始的词所对应的样本词向量在样本词向量序列中的顺序最靠前。词向量是用于将文本形式的词以数学形式表达的数据。比如，文本形式的“话简”表示为数学形式“[00010000000...]”，此时，"[00010000000...1"即为“天气”的词向量，可以理解，这里不限定将文本形式的词转换为何种表示的词向量，只要能够将文本形式的词进行数学化表示即可。例如，目标文本为“我的名字是王乒乓”，将其分词得到“我/的/名字/是/王乒乓”，那么词“我”的词向量为v1，“的”的词向量为v2，“名字”的词向量为v3，"是”的词向量为v4，"王乒乓”的词向量为v5，则样本词向量序列包括的词向量依次为v1、v2、v3、v4、v5。

步骤s200，在所述样本词向量序列中选择m个样本词向量输入神经过程模型，得到对应的预测词向量，其中m＜n；

神经过程模型(neuralprocesses)为神经网络模型中的一种，神经过程模型是需要经过训练的机器学习模型，具体可通过对样本文本中词语的排列顺序逻辑进行学习，学习训练完成后具有根据当前输入文本预测下一待输入词语的能力。即神经过程模型可通过一系列的参数和运算逻辑将输入的数据进行线性或者非线性变换，得到运算结果。参数和运算逻辑能够反映输入和输出的对应关系。

神经过程模型与高斯过程相似，在未观察到的位置表示无限多不同的函数，在给定一定的观察结果的基础上，神经过程模型能捕获预测的不确定性，从而实现函数逼近，获得预测规律，即获得预测函数。相较于高斯过程，神经过程模型计算效率高，通过直接从数据中学习隐式内核(implicitkernel)来克服许多函数设计上的限制，即神经过程模型设置时，可不用设置内核函数，从而加快文本预测的效率。

m个样本词向量的选择是随机的，每一次进行步骤s200时，m的取值是不一定的，同时m个样本词向量对应的词语在样本文本中的排序位置也是不一定的。

步骤s300，根据所述预测词向量和所述样本词向量序列中第m+1项样本词向量的差异构建损失函数；

所述预测词向量为经过神经网络模型预测得到的，所述样本词向量序列中第m+1项样本词向量为训练文本中真实存在的，也就是说，第m+1项样本词向量为相对预测词向量的真实值。计算机设备可根据预测词向量与真实值之间的的差异，构建损失函数，按照最小化损失函数的方向调整神经网络模型中的参数，以使得调整后的神经网络模型的输出更符合需求。

步骤s400，根据所述损失函数调整所述神经过程模型中的参数，直至所述损失函数满足预设结束条件；

事实上，模型的训练过程是需要多次重复的，根据所述损失函数调整所述神经过程模型中的参数后，再将样本词向量序列输入至调整参数后的所述神经过程模型中计算预测词向量，即重复步骤s200、s300，直至所述损失函数满足预设结束条件，停止训练。

损失函数可体现模型输出的预测结果的准确性，损失函数越小即预测的准确性越高，本领域技术人员可自行设置一个对应损失函数的预设阈值，当损失函数小于该预设阈值，停止训练。也可以设置对应重复步骤s200、s300的次数的预设阈值，即对应神经过程模型的迭代次数的预设阈值，当迭代次数大于预设阈值，停止训练。

步骤s500，获取目标文本，并根据预设词典将所述目标文本转换为对应的目标词向量；

步骤s600，将所述目标词向量输入所述神经过程模型中的预测函数，得到预测词语。

其中，目标文本是待进行预测的文本数据。用户可通过计算机设备的输入单元进行输入目标文本，从而获取目标文本。根据所述预设词典将目标文本向量化，形成目标词向量，再通过预测函数计算预测词向量，从而得到预测词语。

步骤s100至步骤s500可在同一台计算机设备中进行运行。在另一实施例中，步骤s100至步骤s400可在一台计算机设备中进行运行，步骤s500可在另一台计算机设备中进行运行。例如：步骤s100至步骤s400在服务器中运行，获得预测函数，服务器将该预测函数发送至用户使用的移动终端中，用户使用的移动终端接收该预测函数，并执行步骤s500得到预测词语。

在本发明的文本输入预测方法中，通过采用神经过程模型对训练文本进行训练，从而可省去设置内核函数的过程，以克服许多神经网络模型在函数设计上的限制；同时利用神经过程模型高效的计算能力，减小模型的训练时间。通过神经过程模型得到的预测函数可根据目标文本进行待输入文本的预测，从而提高了用户进行文本输入的效率。

进一步的，参照图3，图3为本发明文本输入预测方法第二实施例的流程示意图，基于上述实施例，所述步骤s200，包括：

步骤s210，根据输入的所述样本词向量，获得全局潜变量；

全局潜变量为可被神经过程模型中所有对象或函数引用的潜变量。潜变量与可观察变量相对，是不能被直接观察，但能通过观察到的其他变量推断的变量。由于无法直接通过样本词向量x和样本词向量x对应的预测词向量y，推导得到对应的预测函数，所以在神经过程模型中引入全局潜变量z以推导得到该预测函数。

步骤s220，根据所述样本词向量和所述全局潜变量获得对应的所述预测词向量。

具体地，由于进行步骤s210时，假设第m项样本词向量之后的词向量为未知，通过输入神经过程模型中，以得到输出的预测词向量y，即对m+1项对应的样本词向量进行预测，即假设m+1项对应的样本词向量是未知的。可以理解的，在步骤s210中，输入的样本词向量为获得全局潜变量z，再将根据全局潜变量z与得到所述预测词向量y。

进一步地，所述神经过程模型为：

其中，xi为输入的样本词向量，yi为根据输入的样本词向量xi输出的预测词向量，p(z)为多元正态分布，z为全局潜变量，g(xi,z)为预测函数，σ²为随机噪声。

假设根据训练文本中的m个词向量预测第m+1个词向量是有限维度的边际分布，即可通过一个函数来体现这一逻辑过程。对有限个词向量序列x1：n，可通过得到预测词向量y。由于全局潜变量z的引入，可设置函数＝，那么获得即获得预测函数。

进一步的，参照图4，图4为本发明文本输入预测方法第三实施例的流程示意图，基于上述实施例，所述步骤s300，包括：

步骤s310，计算所述预测词向量和所述样本词向量序列中第m+1项样本词向量的均方误差；

均方误差的计算公式如下：

j＝(y1-y2)²，

其中，y1为神经过程模型输出的预测词向量，y2为实际真实值，即第m+1项词向量。

步骤s320，根据所述均方误差构建所述损失函数。

损失函数(lossfunction)是用来估量模型的预测值f(x)与真实值y的不一致程度，它是一个非负实值函数,通常使用l(a,f(x))来表示，损失函数越小，模型的准确性就越好。具体采用何种类型的损失函数，在本申请中不做限制。

在本实施例中，通过比较预测词向量和真实值之间的差异，从而构建得到损失函数，通过损失函数进一步对神经过程模型中的参数进行修改，从而使得预测函数可达到拟合分布的目的。

进一步的，参照图5，图5为本发明文本输入预测方法第四实施例的流程示意图，基于上述实施例，所述步骤s400，包括：

步骤s410，判断所述损失函数是否大于所述预设阈值；

预设阈值为本领域技术人员根据实际需要设置的数值。

步骤s420，若所述损失函数大于所述预设阈值，则对所述损失函数进行凸函数优化；

若所述损失函数小于或等于所述预设阈值，则获得所述神经过程模型中的预测函数,执行步骤s500；若所述均方误差小于或等于所述预设阈值，则表示神经过程模型输出的预设值与真实值的差异度满足要求，可停止对神经网络模型进行调整。

凸函数是指一类定义在实线性空间上的函数。凸函数优化即是损失函数最小化。具体采用何种类型的凸函数优化，在本申请中不做限制。在一实施例中，采用自适应时刻估计方法(adaptivemomentestimation，adam)进行优化，与其他自适应学习率算法相比，adam优化方法收敛速度更快，学习效果更为有效，而且可以纠正其他优化技术中存在的问题，如学习率消失、收敛过慢或是高方差的参数更新导致损失函数波动较大等问题。

步骤s430，根据经过凸函数优化的所述损失函数调整所述神经过程模型中的参数；

具体地，由于神经过程模型为：

具体可根据经过凸函数优化的所述损失函数，调整所述神经过程模型中的参数z、p(z)、n(yi|g(xi,z),σ²)、g(xi,z)，使得达到拟合分布。

步骤s440，采用调整参数后的神经过程模型进行重新计算预测词向量，直至由所述预测词向量和所述样本词向量序列中第m+1项样本词向量的差异构建的损失函数小于或等于所述预设阈值。

采用调整参数后的神经过程模型进行重新计算预测词向量，即采用调整参数后的神经过程模型重复步骤s200和s300。

进一步的，参照图6，图6为本发明文本输入预测方法第五实施例的流程示意图，基于上述实施例，所述步骤s100，包括：

步骤s110，获取训练文本；

步骤s120，根据词性和词长对所述训练文本进行分词得到词语组；

其中，分词是将一个连续的字符序列切分成多个单独的字符或者字符序列的过程。词性(pos，partofspeech)是反映词的内容所属类型的数据。词性包括形容词、介词、谓词和名词等12种词性。词长是词所包含的字符的数量，词性和词长会很大程度上影响词语对应的意思，从而影响下一词语的预测。

具体地，计算机设备可采用预设的分词方式对训练文本进行分词处理，得到多个字符或者字符序列，这些字符或者字符序列按照各自在文本中出现的先后顺序形成词语组。计算机设备根据预设词汇表确定词序列中各词相应的词性，并统计各词语相应的词长。其中，预设的分词方式可以是基于字符匹配、基于语义理解、标点符号划分或者基于统计的分词方式。计算机设备可设置分词得到的词的词长阀值，使得分词得到的各词的词长均不超过词长阀值。

步骤s130，根据预设词典将所述训练文本中n个词语转换为对应的n个样本词向量，得到样本词向量序列。

预设词典为本领域技术人员预先训练的数据库或函数，以根据预设词典能将词语转换为对应的词向量。一般地，语义相同的词语所相对应的词向量也相近。

计算机设备根据各词的内容、词性与词长，将该词向量化，得到该词相应的词向量，从而得到样本词向量组成的样本词向量序列。其中，计算机设备可以利用神经网络模型将词转化为词向量，在本实施例中，不限制将词转化为词向量的神经网络模型类型。

进一步的，参照图7，图7为本发明文本输入预测方法第六实施例的流程示意图，基于上述实施例，所述步骤s600，包括：

步骤s610，按照所述目标文本中各目标词向量对应的词语的先后顺序，依次将目标词向量输入到所述预测函数中，得到预测词向量；

在步骤s610之前，用户通过输入单元将字符数据输入至计算机设备中，根据预设词典将所述目标文本中的词语转换为对应的目标词向量，得到目标词向量序列的步骤具体可参照实施例五中步骤s120至步骤s130。

由于预测函数为已训练成功的可揭示上下文逻辑规律的分布函数。所以输入目标词向量后，可计算得到目标词向量对应的预测词向量，即目标词向量后出现概率最大的词向量。

步骤s620，计算所述预测词向量与所述预设词典中各标准词向量的距离；

词向量本身是个高维度的向量，一般在几万到几十万不等的维度。可以通过余弦相似度或欧式距离计算词向量两两之间的距离，距离越近即相识度越高。在本实施例中，采用欧式距离计算词向量间的距离。欧氏距离是指两词向量在各维度上差值的平方和的算术平方根。

步骤s630，确定所述距离中最小值对应的所述标准词向量；

步骤s640，将所述预测词语设置为所述标准词向量对应的词语。

由于预设词典中设置有词语和词向量的对应关系，通过预测词向量即可得到与预测词向量对应的词语，该词语为对目标文本进行分析后，预测目标文本后即将输入的预测词语。

此外，本发明实施例还提出一种文本处理装置，包括模型训练器和文本处理器，所述模型训练器包括：

第一向量化模块11，用于获取训练文本，并根据预设词典将所述训练文本中n个词语转换为对应的n个样本词向量，得到样本词向量序列；

第一输入模块12，用于在所述样本词向量序列中选择m个样本词向量输入神经过程模型；

第一输出模块13，用于所述神经过程模型输出m个样本词向量对应的预测词向量；

构建模块14，用于根据所述预测词向量和所述样本词向量序列中第m+1项样本词向量的差异构建损失函数；

调整模块15，用于根据所述损失函数调整所述神经过程模型中的参数，直至所述损失函数满足预设结束条件；

所述文本处理器包括：

第二向量化模块21，用于获取目标文本，并根据预设词典将所述目标文本转换为对应的目标词向量；

第二计算模块22，用于将所述目标词向量输入所述神经过程模型中的预测函数，得到预测词语。

进一步地，在又一实施例中，所述模型训练器还包括第一计算模块16，所述第一计算模块16用于根据输入的所述样本词向量，获得全局潜变量；

第一输出模块13用于根据所述样本词向量和所述全局潜变量获得对应的所述预测词向量。

进一步地，在又一实施例中，所述第一计算模块16还用于计算所述预测词向量和所述样本词向量序列中第m+1项词向量的均方误差；

所述构建模块14用于构建所述损失函数；

所述模型训练器还包括判断模块17，用于判断所述损失函数是否大于所述预设阈值；

所述构建模块14还用于若所述损失函数大于所述预设阈值，则调整模块15根据所述损失函数调整所述神经过程模型中的参数，直至所述损失函数满足预设结束条件，获得预测函数。。

进一步地，在又一实施例中，所述调整模块15还用于对所述损失函数进行凸函数优化；

所述调整模块15还用于根据经过凸函数优化的所述损失函数调整所述神经过程模型中的参数。

进一步地，在又一实施例中，第一向量化模块11还用于获取训练文本；

对所述训练文本进行分词得到词语组；

根据词性和词长对所述训练文本进行分词得到词语组；

根据预设词典将所述训练文本中n个词语转换为对应的n个样本词向量，得到样本词向量序列。

进一步地，在又一实施例中，

第二向量化模块21还用于获取目标文本，并根据预设词典将所述目标文本中的词语转换为对应的目标词向量，得到目标词向量序列；

所述文本处理器还包括：

第二输入模块23，用于按照所述目标文本中各目标词向量对应的词语的先后顺序，依次将目标词向量输入到所述预测函数中；

第二输出模块24，用于根据所述预测函数和所述目标词向量得到预测词向量；

所述第二计算模块22还用于计算所述预测词向量与所述预设词典中各标准词向量的距离；

确定所述距离中最小值对应的所述标准词向量；

所述合成模块25还用于将所述预测词语设置为所述标准词向量对应的词语。

此外，本发明实施例还提出一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述方法的步骤。

本发明计算机设备的具体实施例与上述文本输入预测方法各实施例基本相同，在此不作赘述。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法中各实施例的操作。

本发明计算机可读存储介质的具体实施例与上述文本输入预测方法各实施例基本相同，在此不作赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台计算机设备设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。