单语句通顺度预测方法、装置、设备及存储介质与流程

本发明涉及人工智能技术领域，尤其涉及一种单语句通顺度预测方法、装置、设备及存储介质。

背景技术：

语句通顺度是指一个句子的语义是否通顺、表达是否符合语法、是否存在用词不恰当；或者句子与句子之间通顺畅达、文气贯通，没有任何含混、错乱和别扭之处。从表达方面来说，如果一篇文章病句较多，语言不通顺，缺乏文采，即使立意再新，结构再巧妙，表达方式运用得再好，这样的文章也只能使人不堪卒读。因此在自然语言处理领域，如何对语句通顺程度进行衡量也是一件比较重要的任务，例如在自动问答机器人或者智慧客服等场景，这项任务可以辅助识别和筛选有效的用户query，提升应答的准确率。

传统的单语句通顺度的衡量方法是基于语言模型的，也就是对每个词或者字，估算其在现有词句之后出现的概率，以此迭代直至句子生成，然后通过累乘等手段进行组合得到整个语句的概率，即为通顺度。但建立语言模型需要积累大量的高质量文本，虽然在一般通用场景下可以通过爬虫抓取维基百科等开放语料进行训练，但此方案无法推广到特定场景下，对专有名词无法自适应，这样就会导致语句的通顺度偏低。

技术实现要素：

本发明的主要目的在于提供一种单语句通顺度预测方法、装置、设备及存储介质，旨在解决传统的单语句通顺度预测方法无法自适应场景的技术问题。

为实现上述目的，本发明提供一种单语句通顺度预测方法，所述单语句通顺度预测方法包括以下步骤：

获取待判断的单语句并确定该单语句对应的应用场景；

将所述单语句输入所述应用场景对应的预置语句通顺度模型，其中，所述语句通顺度模型为神经网络模型，且以bert模型作为所述神经网络模型的输入层、以cnn模型作为所述神经网络模型的分类器；

通过所述bert模型将所述单语句转换为句向量并输入所述cnn模型，所述cnn模型依次包括：卷积层、池化层、flatten层、连接层、dropout层、全连接层以及由sigmoid函数构成的输出层；

依次通过所述卷积层、池化层、flatten层、连接层、dropout层、全连接层的处理后，得到所述单语句中的全局特征向量；

将所述全局特征向量输入所述输出层进行sigmoid函数计算后输出，得到所述单语句的语句通顺度预测值，其中，单语句的通顺度与所述语句通顺度预测值成正比。

可选地，所述依次通过所述卷积层、池化层、flatten层、连接层、dropout层、全连接层的处理后，得到所述单语句中的全局特征向量包括：

通过所述卷积层提取所述句向量中的局部特征向量并输入所述池化层进行降维，得到多个低维度的局部特征向量以及通过flatten层将多个低维度的局部特征向量压缩为多个一维的局部特征向量；

通过所述dropout层对所述多个一维的局部特征向量进行正则化处理，得到处理后的多个最优局部特征向量；

将所述多个最优局部特征向量输入所述全连接层进行特征组合，得到所述单语句中的全局特征向量。

可选地，在所述获取待判断的单语句并确定该单语句对应的应用场景的步骤之前，还包括：

获取指定应用场景下的正常语句作为正样本；

分别调整各正样本中字词的表达顺序，得到对应的负样本；

重复调整各正样本中字词的表达顺序，直至正样本与负样本的比例达到预置比例，其中，所述预置比例为1:2、1:3、1:4中的任一种。

可选地，所述分别调整各正样本中字词的表达顺序，得到对应的负样本包括：

分别将各正样本中语句按字或词进行随机排序并重构成新语句，得到对应的负样本；和/或

分别将各正样本中语句的字或词随机替换成预置词典中的字或词，得到对应的负样本，其中，随机替换的字词的总长度小于对应语句的字词长度的一半。

可选地，在所述获取待判断的单语句并确定该单语句对应的应用场景的步骤之前，还包括：

将所有正样本的样本标签设置为1、所有负样本的样本标签设置为-1；

将各带样本标签的正样本和负样本输入所述神经网络模型中进行训练，并判断所述神经网络模型对应的交叉熵损失函数是否收敛；

若所述神经网络模型对应的交叉熵损失函数收敛，则停止训练，得到所述语句通顺度模型，否则调整所述神经网络模型的学习权重并继续进行训练。

进一步地，为实现上述目的，本发明还提供一种单语句通顺度预测装置，所述单语句通顺度预测装置包括：

获取模块，用于获取待判断的单语句并确定该单语句对应的应用场景；

输入模块，用于将所述单语句输入所述应用场景对应的预置语句通顺度模型，其中，所述语句通顺度模型为神经网络模型，且以bert模型作为所述神经网络模型的输入层、以cnn模型作为所述神经网络模型的分类器；

预处理模块，用于通过所述bert模型将所述单语句转换为句向量并输入所述cnn模型，所述cnn模型依次包括：卷积层、池化层、flatten层、连接层、dropout层、全连接层以及由sigmoid函数构成的输出层；

特征获取模块，用于依次通过所述卷积层、池化层、flatten层、连接层、dropout层、全连接层的处理后，得到所述单语句中的全局特征向量；

通顺度输出模块，用于将所述全局特征向量输入所述输出层进行sigmoid函数计算后输出，得到所述单语句的语句通顺度预测值，其中，单语句的通顺度与所述语句通顺度预测值成正比。

可选地，所述特征获取模块包括：

特征提取单元，用于通过所述卷积层提取所述句向量中的局部特征向量并输入所述池化层进行降维，得到多个低维度的局部特征向量以及通过flatten层将多个低维度的局部特征向量压缩为多个一维的局部特征向量；

特征优化单元，用于通过所述dropout层对所述多个一维的局部特征向量进行正则化处理，得到处理后的多个最优局部特征向量；

特征组合单元，用于将所述多个最优局部特征向量输入所述全连接层进行特征组合，得到所述单语句中的全局特征向量。

可选地，所述单语句通顺度预测装置还包括：

样本处理模块，用于获取指定应用场景下的正常语句作为正样本；分别调整各正样本中字词的表达顺序，得到对应的负样本；重复调整各正样本中字词的表达顺序，直至正样本与负样本的比例达到预置比例，其中，所述预置比例为1:2、1:3、1:4中的任一种。

进一步地，为实现上述目的，本发明还提供一种单语句通顺度预测设备，所述单语句通顺度预测设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的单语句通顺度预测程序，所述单语句通顺度预测程序被所述处理器执行时实现如上述任一项所述的单语句通顺度预测方法的步骤。

进一步地，为实现上述目的，本发明还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有单语句通顺度预测程序，所述单语句通顺度预测程序被处理器执行时实现如上述任一项所述的单语句通顺度预测方法的步骤。

本发明所使用的语句通顺度模型为神经网络模型，具体由bert模型与卷积神经网络模型融合而成，bert模型为该神经网络模型的输入层、而cnn模型为该神经网络模型的分类器，bert模型将待预测的单语句转换为句向量后输入cnn模型中进行预测，最后输出单语句的语句通顺度预测值。本发明提出的基于bert的卷积神经网络预测单语句通顺度的方法，充分利用了预先训练好的bert模型，由于bert模型具有很好的泛化性，因而可以适用于任何特定场景的使用。一方面，此方法无需像传统语言模型一样需要大量语料进行概率模型的学习；另一方面，对一些未出现在本方法的学习集中的字词，也不容易出现无法创建集外词的情况，也就是本实施例的语句通顺度模型更容易泛化。因此，本方法可以有效降低语料获取的难度和成本，大大提高模型开发应用的效率，并且该模型的泛化程度还得到了有效提升，更容易推广到各种各样的特定场景，能够良好适应特有名词。

附图说明

图1为本申请实施例方案涉及的单语句通顺度预测设备运行环境的结构示意图；

图2为本发明单语句通顺度预测方法第一实施例的流程示意图；

图3为图2中步骤s140一实施例的流程示意图；

图4为本发明单语句通顺度预测方法第二实施例的流程示意图；

图5为本发明单语句通顺度预测方法第三实施例的流程示意图；

图6为本发明单语句通顺度预测装置一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供一种单语句通顺度预测设备。

参照图1，图1为本申请实施例方案涉及的单语句通顺度预测设备运行环境的结构示意图。

如图1所示，该单语句通顺度预测设备包括：处理器1001，例如cpu，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的单语句通顺度预测设备的硬件结构并不构成对单语句通顺度预测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及计算机程序。其中，操作系统是管理和控制单语句通顺度预测设备和软件资源的程序，支持单语句通顺度预测程序以及其它软件和/或程序的运行。

在图1所示的单语句通顺度预测设备的硬件结构中，网络接口1004主要用于接入网络；用户接口1003主要用于侦测确认指令和编辑指令等。而处理器1001可以用于调用存储器1005中存储的单语句通顺度预测程序，并执行以下单语句通顺度预测方法的各实施例的操作。

基于上述单语句通顺度预测设备硬件结构，提出本申请单语句通顺度预测方法的各个实施例。

参照图2，图2为本发明单语句通顺度预测方法第一实施例的流程示意图。本实施例中，所述单语句通顺度预测方法包括以下步骤：

步骤s110，获取待判断的单语句并确定该单语句对应的应用场景；

本实施例具体应用于人机对话中，比如自动问答机器人或者智慧客服等场景，可以辅助识别和筛选有效的用户提问，进而提升机器应答的准确率。

本实施例中，不同的特殊应用场景下的人机对话都对应设置有对应的语句通顺度模型，因此，在进行人机对话的同时，需进一步确定用户提问(单语句)对应的应用场景。比如，用户在使用某个业务的app时，通过点击某个场景下的人机对话按钮与机器进行人机对话，此时机器一方面获取用户的提问并转译为文本格式的单语句，另一方面获取当前人机对话的应用场景，比如产品服务咨询场景。

步骤s120，将所述单语句输入所述应用场景对应的预置语句通顺度模型，其中，所述语句通顺度模型为神经网络模型，且以bert模型作为所述神经网络模型的输入层、以cnn模型作为所述神经网络模型的分类器；

本实施例中，针对不同应用场景预先训练得到对应的语句通顺度模型，其中，语句通顺度模型采用神经网络模型结构，具体由以下两类模型融合而成：

(1)bert模型

bert模型为基于transformer的双向编码器表征，其与其他语言表示模型不同，bert模型旨在通过联合调节所有层中的上下文来预先训练深度双向表示。因此，预训练的bert表示可以通过一个额外的输出层进行微调，适用于广泛任务的最先进模型的构建，比如问答任务和语言推理，并且无需针对具体任务做大幅架构修改。

(2)cnn模型

卷积神经网络(convolutionalneuralnetworks,cnn)是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。

神经网络模型一般由输入层以及分类器构成，本实施例中，语句通顺度模型使用bert模型作为神经网络模型的输入层、使用cnn模型作为神经网络模型的分类器。

步骤s130，通过所述bert模型将所述单语句转换为句向量并输入所述cnn模型，所述cnn模型依次包括：卷积层、池化层、flatten层、连接层、dropout层、全连接层以及由sigmoid函数构成的输出层；

本实施例中，为便于对单语句进行处理，需要通过bert模型将单语句转换为句向量，然后再将单语句对应句向量输入cnn模型中进行处理。其中，本实施例中优选使用预先训练好的bert模型将单语句转换为对应的句向量，并句向量作为cnn模型的输入层，以便于通过cnn模型最终实现单语句的通顺度计算。

本实施例中所使用的cnn模型依次包括：

(1)卷积层，该层的参数由一组可学习的滤波器组成，在前馈期间，每个滤波器对输入进行卷积，然后计算滤波器和输入之间的点积。通过卷积层对输入层进行卷积，从而提取更高层次的特征。

(2)池化层，又称下采样，用于减小数据处理量同时保留有用信息。通过缩减模型的大小，提高计算速度，同时提高所提取特征的鲁棒性。

(3)flatten层，具体用来将输入该层的数据“压平”，即把上一层输出的多维数据转换为一维数据。

(4)连接层，用于对池化层输出的多维特征与flatten层输出的一维特征进行连接。

(5)dropout层，用于预防cnn模型过拟合的正则化方法，实现原理如下：在一次训练时的迭代中，对每一层中的神经元(总数为n)以概率p随机剔除，用余下的(1-p)×n个神经元所构成的网络来训练本次迭代中的数据。本实施例中优选概率p为0.5。

(6)全连接层，作用是对卷积层输出的特征和连接层输出的特征进行全连接。

(7)输出层，具体由sigmoid函数构成，该函数在图像上表示为s型函数，通常可将数据映射到[0,1]或[-1,1]区间。

步骤s140，依次通过所述卷积层、池化层、flatten层、连接层、dropout层、全连接层的处理后，得到所述单语句中的全局特征向量；

本实施例中，卷积神经网络中，主要通过卷积层、池化层、flatten层、连接层、dropout层、全连接层，对输入的向量进行特征提取以及特征的各种处理，比如降维处理、正则化处理等，从而得到单语句中的全局特征向量。

步骤s150，将所述全局特征向量输入所述输出层进行sigmoid函数计算后输出，得到所述单语句的语句通顺度预测值，其中，单语句的通顺度与所述语句通顺度预测值成正比。

本实施例中，输出层采用sigmoid函数构成，sigmoid函数的表达式如下所示：

其中s是cnn模型上一层的输出，sigmoid函数有这样的特点：s＝0时，g(s)＝0.5；s>>0时，g≈1，s<<0时，g≈0。显然，g(s)可将前一级的线性输出映射到[0，1]之间的数值概率上。这里的g(s)就是cnn模型的预测输出值，也即本实施例中所述的语句通顺度值，其中，语句通顺度值越大，则语句越通顺。

本实施例所使用的语句通顺度模型为神经网络模型，具体由bert模型与卷积神经网络模型融合而成，bert模型为该神经网络模型的输入层、而cnn模型为该神经网络模型的分类器，bert模型将待预测的单语句转换为句向量后输入cnn模型中进行预测，最后输出单语句的语句通顺度预测值。

本实施例提出的基于bert的卷积神经网络预测单语句通顺度的方法，充分利用了预先训练好的bert模型，由于bert模型具有很好的泛化性，因而可以适用于任何特定场景的使用。一方面，此方法无需像传统语言模型一样需要大量语料进行概率模型的学习；另一方面，对一些未出现在本方法的学习集中的字词，也不容易出现无法创建集外词的情况，也就是本实施例的语句通顺度模型更容易泛化。因此，本实施例可以有效降低语料获取的难度和成本，大大提高模型开发应用的效率，并且该模型的泛化程度还得到了有效提升，更容易推广到各种各样的特定场景，能够良好适应特有名词。

参照图3，图3为图2中步骤s140一实施例的流程示意图。本实施例中，上述步骤s140进一步包括：

步骤s1401，通过所述卷积层提取所述句向量中的局部特征向量并输入所述池化层进行降维，得到多个低维度的局部特征向量以及通过flatten层将多个低维度的局部特征向量压缩为多个一维的局部特征向量；

卷积层(convolutionallayer)由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的卷积层网路能从低级特征中迭代提取更复杂的特征。卷积层的作用在于提取局部特征，可以提取句子中类似n-gram的局部信息，并通过整合不同大小的n-gram特征作为整个句子的表示。本实施例对于卷积层的层数不限，通过多层卷积层可以提取更多的局部特征，在一实施例中，优选使用四层卷积层，对应分别使用高度为2、3、4、5的卷积核对输入的句向量进行特征提取，具体可提取句向量中的局部特征向量。

池化层具体由多种不同形式的非线性池化函数构成，池化层会不断地减小数据的空间大小，因此参数的数量和计算量也会下降，这在一定程度上也控制了过拟合。本实施例中，通过池化层进行降维，进而可将卷积层提取的高维度局部特征向量优化为低维度的局部特征向量。

flatten层用于将输入的高维度数据“压平”，即把输入的多维数据一维化，从而便于后续处理。本实施例中，通过flatten层将多个低维度的局部特征向量压缩为多个一维的局部特征向量。

步骤s1402，通过所述dropout层对所述多个一维的局部特征向量进行正则化处理，得到处理后的多个最优局部特征向量；

dropout层是一种在深度学习环境中应用的正规化手段，实现原理如下：在一次训练时的迭代中，对每一层中的神经元(总数为n)以概率p随机剔除，用余下的(1-p)×n个神经元所构成的网络来训练本次迭代中的数据。本实施例中优选概率p为0.5。

为提高cnn模型的表达或分类能力，最直接的方法就是采用更深的网络和更多的神经元，然而复杂的网络也意味着更加容易过拟合。因此接入dropout层对多个一维的局部特征向量进行正则化处理，得到处理后的多个最优局部特征向量，进而防止cnn模型过拟合。

步骤s1403，将所述多个最优局部特征向量输入所述全连接层进行特征组合，得到所述单语句中的全局特征向量。

本实施例中，全连接层中的每个神经元与其前一层的所有神经元进行全连接，用来把前边提取到的特征综合起来。全连接层可以整合卷积层或者池化层中具有类别区分性的局部信息。最后一层全连接层的输出值将被传递给一个输出层进行分类。

本实施例中，将多个最优局部特征向量输入全连接层进行特征组合后得到全局特征向量，然后再交由输出层进行分类。

参照图4，图4为本发明单语句通顺度预测方法第二实施例的流程示意图。基于上述第一实施例，本实施例中，在上述步骤s110之前，还包括：

步骤s210，获取指定应用场景下的正常语句作为正样本；

本实施例中，不同应用场景使用不同的语料，比如在应用场景a中使用语料集合m，而在应用场景b使用语料集合p。

本实施例中，为实现语句通顺度的特征抽取，因此使用两类样本：

(1)正样本

本实施例中，将语料集中的正常单语句作为正样本，正常语句需要预先人为设定且语句通顺度最佳。

(2)负样本

相对于正样本而言，负样本的语句通顺度较差。本实施例中具体通过调整各正样本中字词的表达顺序后所形成。例如，正样本为；“请问，这件产品的价格是多少？”，则对应的负样本可以是“请问，产品的价格是多少这件”，或者“产品请问的价格是多少这件”等等。

步骤s220，分别调整各正样本中字词的表达顺序，得到对应的负样本；

本实施例中，为形成足够多的负样本，从而模拟实际应用场景中出现的各种可能性，因此，需要重复调整同一正样本中字词的表达顺序，从而形成多种不同的负样本。

可选的，在一具体实施例中，具体采用以下方式中的一种或两种构建负样本：

方式一：采用乱序方式构建

本方式分别将各正样本中语句按字或词进行随机排序并重构成新语句，得到对应的负样本。

例如，正样本为；“请问，这件产品的价格是多少？”，则进行乱序后的语句可以是“请问，产品的价格是多少这件”，或者“产品请问的价格是多少这件”等等。

方式二：采用字词替换方式构建

本方式分别将各正样本中语句的字或词随机替换成预置词典中的字或词，得到对应的负样本，其中，随机替换的字词的总长度小于对应语句的字词长度的一半。

例如，正样本为；“请问，这件产品的价格是多少？”，则进行字词替换后的语句可以是“你好，这件产品的价格是多少？”，或者“请问，这件产品的单价为多少？”。

本实施例中，通过构建正样本对应的多个不同的负样本，实现对应用场景中提问方式的全面覆盖，从而提升模型识别语句通顺度的准确性。

步骤s230，重复调整各正样本中字词的表达顺序，直至正样本与负样本的比例达到预置比例，其中，所述预置比例为1:2、1:3、1:4中的任一种。

本实施例中用于训练语句通顺度模型的样本划分为正样本与负样本两类，并且正负样本之间的比例优选1:2、1:3、1:4中的任一种，一方面能够模拟实际应用场景中同一单语句中各字词出现的各种顺序，另一方面能够降低模型数据处理量，提升模型计算速度。

参照图5，图5为本发明单语句通顺度预测方法第三实施例的流程示意图。基于上述第二实施例，本实施例中，在上述步骤s210之前，需要通过机器学习，生成神经网络模型，以用于计算单语句的通顺度，具体实现步骤包括：

步骤s310，将所有正样本的样本标签设置为1、所有负样本的样本标签设置为-1；

步骤s320，将各带样本标签的正样本和负样本输入所述神经网络模型中进行训练，并判断所述神经网络模型对应的交叉熵损失函数是否收敛；

步骤s330，若所述神经网络模型对应的交叉熵损失函数收敛，则停止训练，得到所述语句通顺度模型，否则调整所述神经网络模型的学习权重并继续进行训练。

本实施例中使用上述实施例中的正负样本对神经网络模型进行训练，进而在训练完成时生成可对单语句进行语句通顺度判断的语句通顺度模型。

本实施例中，所有正样本的样本标签设置为1、所有负样本的样本标签设置为-1，同时本实施例中机器学习所使用的神经网络模型具体由以下两类模型融合而成：

(1)bert模型

bert模型为基于transformer的双向编码器表征，其与其他语言表示模型不同，bert模型旨在通过联合调节所有层中的上下文来预先训练深度双向表示。因此，预训练的bert表示可以通过一个额外的输出层进行微调，适用于广泛任务的最先进模型的构建，比如问答任务和语言推理，并且无需针对具体任务做大幅架构修改。

(2)cnn模型

卷积神经网络(convolutionalneuralnetworks,cnn)是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。

神经网络模型一般由输入层以及分类器构成，本实施例中，语句通顺度模型使用bert模型作为神经网络模型的输入层、使用cnn模型作为神经网络模型的分类器。

本实施例中，使用交叉熵损失函数作为判断训练是否达标的基准，若神经网络模型对应的交叉熵损失函数收敛，则停止训练，此时训练后的神经网络模型即为语句通顺度模型，否则调整当前神经网络模型的学习权重并继续进行训练。

本实施例通过机器学习训练得到各种应用场景下的单语句通顺度模型，进而可使用该模型对各种应用场景下的单语句的通顺度进行预测。

本发明还提供一种单语句通顺度预测装置。

参照图6，图6为本发明单语句通顺度预测装置一实施例的功能模块示意图。本实施例中，所述单语句通顺度预测装置包括：

获取模块10，用于获取待判断的单语句并确定该单语句对应的应用场景；

输入模块20，用于将所述单语句输入所述应用场景对应的预置语句通顺度模型，其中，所述语句通顺度模型为神经网络模型，且以bert模型作为所述神经网络模型的输入层、以cnn模型作为所述神经网络模型的分类器；

预处理模块30，用于通过所述bert模型将所述单语句转换为句向量并输入所述cnn模型，所述cnn模型依次包括：卷积层、池化层、flatten层、连接层、dropout层、全连接层以及由sigmoid函数构成的输出层；

特征获取模块40，用于依次通过所述卷积层、池化层、flatten层、连接层、dropout层、全连接层的处理后，得到所述单语句中的全局特征向量；

通顺度输出模块50，用于将所述全局特征向量输入所述输出层进行sigmoid函数计算后输出，得到所述单语句的语句通顺度预测值，其中，单语句的通顺度与所述语句通顺度预测值成正比。

可选的，在一具体实施例中，所述特征获取模块包括：

特征提取单元，用于通过所述卷积层提取所述句向量中的局部特征向量并输入所述池化层进行降维，得到多个低维度的局部特征向量以及通过flatten层将多个低维度的局部特征向量压缩为多个一维的局部特征向量；

特征优化单元，用于通过所述dropout层对所述多个一维的局部特征向量进行正则化处理，得到处理后的多个最优局部特征向量；

特征组合单元，用于将所述多个最优局部特征向量输入所述全连接层进行特征组合，得到所述单语句中的全局特征向量。

可选的，在一具体实施例中，所述单语句通顺度预测装置还包括：

样本处理模块，用于获取指定应用场景下的正常语句作为正样本；分别调整各正样本中字词的表达顺序，得到对应的负样本；重复调整各正样本中字词的表达顺序，直至正样本与负样本的比例达到预置比例，其中，所述预置比例为1:2、1:3、1:4中的任一种。

基于与上述本发明单语句通顺度预测方法相同的实施例说明内容，因此本实施例对单语句通顺度预测装置的实施例内容不做过多赘述。

本实施例提出的基于bert的卷积神经网络预测单语句通顺度的方法，充分利用了预先训练好的bert模型，由于bert模型具有很好的泛化性，因而可以适用于任何特定场景的使用。一方面，此方法无需像传统语言模型一样需要大量语料进行概率模型的学习；另一方面，对一些未出现在本方法的学习集中的字词，也不容易出现无法创建集外词的情况，也就是本实施例的语句通顺度模型更容易泛化。因此，本实施例可以有效降低语料获取的难度和成本，大大提高模型开发应用的效率，并且该模型的泛化程度还得到了有效提升，更容易推广到各种各样的特定场景，能够良好适应特有名词。

本发明还提供一种计算机可读存储介质。

本实施例中，所述计算机可读存储介质上存储有单语句通顺度预测程序，所述单语句通顺度预测程序被处理中执行时实现如上述任一项实施例中所述的单语句通顺度预测方法的步骤。其中，单语句通顺度预测程序被处理器执行时所实现的方法可参照本发明单语句通顺度预测方法的各个实施例，因此不再过多赘述。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本发明的保护之内。