一种文本情感分类方法及装置与流程
本公开属于自然语言处理和深度学习的技术领域，涉及一种文本情感分类方法及装置。
背景技术：
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
伴随着计算机通信水平的显著提升，互联网用户的角色也由原本的信息接受者悄然转变为信息的创造者。与此同时，社交媒体也步入了发展的快车道，促使用户形成了以短文本为主的表达方式。因此，短文本的情感分析具有了更加重要的应用意义。文本情感分析是以情感词典，数据挖掘，机器学习等技术为支撑，透过文本的实际内容，处理并获取作者对文本内容的基本态度，情绪和观点。从而更好的反作用于生产应用与社会实践。网络短文本包含了丰富的用户情信息，具有丰富的研究意义。
基于传统的短文本情感分析主要包括两大类：基于情感词典的方法和基于机器学习的方法。基于情感词典的方法主要是通过情感词来确定情感极性，但是情感词典需要人工构建，这种方法利用情感词的情感色彩判断句子整体的情感倾向，没有考虑到上下文关系，是一种相对底层的情感分类方法。后者主要是利用有监督的机器学习的方法，用训练好的分类器对文本进行情感分类，虽然其在情感极性的判断上与传统的情感词典方法相比有了明显的提高，考虑到了上下文语义信息，但是也存在着受限于稀疏的特征表达，每一个特征都用一个高维的稀疏向量进行表示，难以判别语义相似的特征，常常依赖于人工抽取特征等问题。
近几年以来，随着深度学习技术的高质量发展，其在大规模文本数据的智能理解上表现出了独特的优势，现存的诸如lstm,rnn,cnn等神经网络模型已经大量的应用在了文本情感分析并且取得了不错的实验结果，其中，kim等在多个情感分类数据集上将多种深度学习模型进行了对比，结果发现卷积神经网络在文本情感分析，特别是短文本情感分析中，具有更好的实验效果。然而，发明人在研发过程中发现，卷积神经网络在情感多分类方面还存在着准确度不高，提取上下文语义薄弱等问题。虽然近几年对于卷积神经网络的改进层出不穷，但是仍然无法较好的解决网络短文本创作随意性和语义深层次性问题。
技术实现要素：
针对现有技术中存在的不足，本公开的一个或多个实施例提供了一种文本情感分类方法及装置,结合改进梯度下降算法(psgd)并对卷积神经网络结构进行改进后实现文本情感分类，有效弥补现存卷积神经网络文本分类方法存在着准确度不高，提取上下文语义薄弱、无法有效解决池化层降维损失语义信息、和参数更新算法不稳定等问题。
根据本公开的一个或多个实施例的一个方面，提供一种文本情感分类方法。
一种文本情感分类方法，该方法包括：
接收文本数据，构建分布式词向量，得到特征矩阵；
将特征矩阵输入卷积神经网络模型，通过所述卷积神经网络模型的多滑动窗口的卷积层对特征矩阵进行卷积运算；
通过所述卷积神经网络模型的k-max和avg-pooling并行双池化层进行池化操作；
通过所述卷积神经网络模型的串接层拼接构建文本级别的全局特征向量，对其降维后运用朴素贝叶斯分类器获取文本情感分类结果；
采用改进的梯度下降算法优化所述卷积神经网络模型参数。
进一步地，在该方法中，对接收的文本数据进行数据预处理，将数据预处理后的文本数据通过word2vec工具构建分布式词向量；
所述数据预处理包括数据清洗和分词。
进一步地，在该方法中，所述卷积层包括多个窗口大小不同的卷积核，通过所述卷积神经网络模型的多个窗口大小不同的卷积核对所述特征矩阵进行卷积运算，提取不同窗口大小的文本局部语义向量；
每个所述卷积层包括若干个并行运算的卷积单元。
进一步地，在该方法中，所述卷积神经网络模型还包括滤波单元，经过所述卷积层卷积运算得到的文本局部语义向量通过所述滤波单元，完成特征抽取。
进一步地，在该方法中，所述k-max和avg-pooling并行双池化层包括并行的avg-pooling池化层和k-max池化层。
进一步地，在该方法中，所述k-max池化层根据卷积核高度确定特征图下采样个数，所述卷积核高度与特征图下采样个数成反比。
进一步地，在该方法中，采用pca对全局特征向量进行降维。
进一步地，在该方法中，所述采用改进的梯度下降算法优化所述卷积神经网络模型参数为通过选取数据相关性较高的样本来形成卷积神经网络模型的批量数据训练集。
根据本公开的一个或多个实施例的一个方面，提供一种计算机可读存储介质。
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种文本情感分类方法。
根据本公开的一个或多个实施例的一个方面，提供一种终端设备。
一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种文本情感分类方法。
根据本公开的一个或多个实施例的一个方面，提供一种文本情感分类装置。
一种文本情感分类装置，基于所述的一种文本情感分类方法，包括：
数据采集模块，被配置为接收文本数据，构建分布式词向量，得到特征矩阵；
卷积神经网络模块，被配置为将特征矩阵输入卷积神经网络模型，通过所述卷积神经网络模型的多滑动窗口的卷积层对特征矩阵进行卷积运算；通过所述卷积神经网络模型的k-max和avg-pooling并行双池化层进行池化操作；通过所述卷积神经网络模型的串接层拼接构建文本级别的全局特征向量，对其降维后运用朴素贝叶斯分类器获取文本情感分类结果；
参数优化模块，被配置采用改进的梯度下降算法优化所述卷积神经网络模型参数。
本公开的有益效果：
(1)本公开提供的一种文本情感分类方法及装置，主要针对线上网络短文本信息创作随意性和语义深层次性的特点设计了多尺寸多滑动窗口的卷积运算层，深度挖掘其隐含信息；对词向量构建开销大，训练模型无法支撑庞大数据量的问题，本公开结合pca利用降维的思想，对高维度的数据进行数据标准化，接着求得目标矩阵的协方差矩阵和其对应的特征向量，最后通过线性变换将最初的数据转变成一种任意维度线性无关的表示，从而把多指标(高维度)转化为少数几个主要的特征分量，从而减小开销；
(2)本公开提供的一种文本情感分类方法及装置，针对目前卷积神经网络文本分类模型无法有效解决池化层降维损失语义信息的问题，融合了k-max池化方法动态提取的特质和avg-pooling池化方法对短文本平均语义的贡献能力，提出了结合k-max和avg-pooling方法的并行双池化层结构进行池化操作，在降低开销的同时尽可能的保留更深层次的语义信息；
(3)本公开提供的一种文本情感分类方法及装置，运用朴素贝叶斯分类器假设独立、对缺失数据不太敏感，算法也比较简单的特点来代替softmax分类器从而提高分类的准确率；
(4)本公开提供的一种文本情感分类方法及装置，改进的梯度下降算法解决了bgd算法当样本数目很大时，每次迭代都需要对所有样本计算，训练时间开销大；sgd算法经常陷入局部最优解使得模型无法收敛；而mini-bgd又极度依赖batch_size的经验取值等问题；本公开所提改进的梯度下降算法可以保证模型的稳定性，提高训练速度，缩短模型收敛时间。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1是根据一个或多个实施例的一种文本情感分类方法流程图；
图2是根据一个或多个实施例的cnnpbc文本分类方法内部结构图；
图3是根据一个或多个实施例的多滑动窗口大小的卷积层示意图；
图4是根据一个或多个实施例的k-max+avg-pooling的并行双池化层结构图；
图5是根据一个或多个实施例的k-max池化方法结构图；
图6是根据一个或多个实施例的验证psgd算法的稳定性实验结果折线图；
图7是根据一个或多个实施例的验证psgd算法的训练速度实验结果折线图。
具体实施方式：
下面将结合本公开的一个或多个实施例中的附图，对本公开的一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开的一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本实施例使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要注意的是，附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合，下面结合附图与实施例对本公开作进一步说明。
实施例一
为了实现全在线数据流聚类，提高算法效率的目的，根据本公开的一个或多个实施例的一个方面，提供一种文本情感分类方法。
如图1所示，一种文本情感分类方法，该方法包括：
步骤s1:接收文本数据，构建分布式词向量，得到特征矩阵；
步骤s2:将特征矩阵输入卷积神经网络模型，通过所述卷积神经网络模型的多滑动窗口的卷积层对特征矩阵进行卷积运算；
步骤s3:通过所述卷积神经网络模型的k-max和avg-pooling并行双池化层进行池化操作；
步骤s4:通过所述卷积神经网络模型的串接层拼接构建文本级别的全局特征向量，对其降维后运用朴素贝叶斯分类器获取文本情感分类结果；
步骤s5:采用改进的梯度下降算法优化所述卷积神经网络模型参数。
为了弥补现存卷积神经网络文本分类方法存在着准确度不高，提取上下文语义薄弱、无法有效解决池化层降维损失语义信息、和参数更新算法不稳定等问题，具体表现为基于传统的情感词典和机器学习的文本分类方法和卷积神经网络方法存在分类准确度较低，词性过于单一，特征稀疏等问题。
本实施例提出了结合改进梯度下降算法的cnnpbc文本分类方法来处理上述存在的问题，对卷积神经网络模型内部结构进行了系统的优化，通过cnnpbc方法在构建分布式词向量的时候运用了word2vec方法进行构建；在卷积运算层采用多滑动窗口的卷积层来提取不同深度的语义信息；在池化层使用k-max+avg-pooling的并行双池化结构进行池化操作，这种方法不仅融合了k-max池化层动态提取的特质，并且结合了avg-pooling对短文本平均语义的贡献能力，从而减少了降维后语义信息的损失；运用pca技术降维后，在输出层使用朴素贝叶斯分类器进行文本情感分类。结合pca降维和朴素贝叶斯分类器对训练集数量需求少，模型收敛快的特点。解决了特征向量维度过高，模型训练开销大和传统卷积神经网络模型忽略词上下文语义和语法信息的问题；最后使用改进的梯度下降算法(psgd)对模型参数进行优化，提高了模型的收敛速度。
本实施例采用斯坦福sst数据集和康奈尔mrd数据集验证所提模型的分类效果，实验结果表明，本实施例提出的cnnpbc(convolutionalneuralnetworkplusbayesclassifier)文本分类方法能够更好地保留文本语义特征，保证训练过程的稳定性并提高了模型的收敛速度，提高分类的精准度。
在本实施例的步骤s1中，构建分布式词向量，本公开首先将文本内容进行必要的数据清洗和分词，之后通过word2vec工具构建分布式词向量，将单词表示为一个稠密且低维的向量。
未处理的线上短文本首先经过数据预处理，去除噪音并使用jieba工具进行分词；接着通过word2vec工具构建分布式词向量，将单词表示为一个稠密且低维的向量。将一个由n个单词构成的短文本t:{wd1，wd2，wd3...wdn}中的每一个单词wdi转换为r1*v空间中的向量wdi:
wdi＝(mi1，mi2，…，miv)i∈[1，n]
这样，短文本t被转换为rn×v特征空间的矩阵:
我们将矩阵t作为本公开所提cnnpbc文本分类方法卷积层的输入。
在本实施例的步骤s2中，采用了多个窗口大小不同的卷积核对输入的特征矩阵t进行卷积运算，不同的卷积层具有不同滑动窗口的尺寸，而在每个卷积层下又具有多个滤波器单元，这样可以更深层次，不同侧重点的挖掘文本内涵。
如图2所示，cnnpbc文本分类方法采用了多个窗口大小不同的卷积核对输入的特征矩阵t进行卷积运算，提取不同窗口大小的上下文局部语义。其中，灰色方框代表经过avg-pooling层池化后的结果，滑动窗口大小一致的卷积层我们选用相似的颜色代替。输出的avg-pooling结果在串接层与k-max输出的动态结果进行拼装结合，构成局部语义特征向量，最后串接各不同滑动窗口的池化结果，构成最终的全局语义特征向量。如图3所示，cnnpbc文本分类方法在进行卷积操作时可提供n个窗口大小不同的卷积核，分别用{k1,k2,k3...kn}表示,每个卷积层由mup个卷积单元组成，卷机操作开始后，所有的卷积单元将会并行运算，并且将结果送到新池化层进行特征泛化处理。在卷积层进行运算时，kj窗口中第t个卷积单元的计算公式如公式1所示，其中0≤t≤mup-1
其中，n为文本序列t的长度，dj,t是以kj为滑动窗口，对由文本构成的词向量特征矩阵，经过n-kj+1次卷机操作后，产生的文本局部语义向量。dj,t向量将落在维度为n-kj+1的实数空间中。wj,t是kj窗口的t个卷积单元的权重矩阵，
在本实施例的步骤s3中，采用所提出的结合k-max和avg-pooling方法的并行双池化层结构进行池化操作，在降低开销的同时尽可能的保留更深层次的语义信息。
如图4所示，采用结合k-max和avg-pooling方法的并行双池化层进行池化操作，文本特征向量经过窗口大小不同的卷积层以及其下滤波单元特征抽取后，被输入到了两个不同的并行池化层进行降维——avg池化层和k-max池化层(蓝色框代替)，充分结合了k-max池化层动态提取的特质与avg-pooling对短文本平均语义的贡献能力，有效降低了降维损失语义信息的情况；最后在串接层进行必要的语义拼接，构成了全局文本特征向量；其中，k-max方法如图5所示，k-max方法考虑了对卷积核滑动窗口的高度对生成特征图的影响。即把卷积核高度作为特征图下采样个数m的重要依据，卷积核越高，下采样个数就少，反之，卷积核高度越低，下采样个数越多。下采样个数m的取值公式如下：
其中，h代表卷积核即滑动窗口的高度，s代表短文本句子的长度(控制在30个字符之内)。相比于最大值池化策略，k-max方法可以根据多滑动窗口卷积层的特性，动态的提取多个重要的语义组合特征，保留特征之间的相对顺序关系。在图4中，输入的短文本长度为6，我们通过选择h＝2和h＝3的卷积核进行动态池化策略，图中带阴影的部分表示提取出来的较重要的特征。
在本实施例的步骤s4中，经串接操作得到全局文本特征向量并运用pca进行降维处理后，我们利用朴素贝叶斯分类器独立假设、开销小，对缺失数据不太敏感的特点来代替常用的softmax分类器来进行文本特征分类工作。
运用pca技术对全局特征向量进行降维，并且运用朴素贝叶斯分类器充当文本情感特征分类器。pca利用降维的思想，首先对高维度的数据进行数据标准化，接着求得目标矩阵的协方差矩阵和其对应的特征向量，最后通过线性变换将最初的数据转变成一种任意维度线性无关的表示，从而把多指标(高维度)转化为少数几个主要的特征分量，其原理为：
设原始数据集合排列为am×n矩阵，将矩阵的每一行元素进行零均值化，计算表达式如公式3所示，其中aij表示矩阵am×n的第i行j列的元素，
零均值化之后，求得矩阵x的协方差矩阵s，公式4如下：
n在上式中表示样本的个数，求得协方差矩阵s后，相应得到其特征值λ1≥λ2≥…≥λn及特征向量d1,d2,…dn；，将特征向量按照特征值由大到小排列获得矩阵p，经过公式5得到降维后的数据y，最后根据公式6计算每个特征根的贡献率vi
y＝pa(5)
经过pca进行降维处后，我们利用朴素贝叶斯分类器独立假设，对缺失数据不太敏感的特点来代替常用的softmax分类器，我们设xi∈x(1<i<n)代表特征属性集合x的任意特征属性，n代表矩阵x的特征属性个数，首先利用贝叶斯概率公式朴素原理，假设各条件独立发生，其中d为分类结果选项c的元素个数。则有cj,j∈d满足公式7：
然后带入贝叶斯定理得到分类结果cj在特征属性x发生下的后验概率，如公式8：
最后根据最大后验概率将该句子归结为具有最大后验概率的句子类别，分类准则如公式9所示：
hnb代表一个由naviebayesian(nb)算法训练出来的hypoth(假设)，其值域输出为贝叶斯分类器对于给定x的因素下，最可能出现的cj。c是其取值集合。
在本实施例的步骤s5中，设计了一种通过选取数据相关性较高的样本来形成批量数据训练集的梯度下降算法psgd(partialsamplinggradientdescent,)该算法可以保证模型的稳定性，提高训练速度，缩短模型收敛时间。
梯度下降法作为神经网络更新权重的核心优化算法，在近几年发展以来主要由以下三种形式：随机梯度下降(sgd)、批量梯度下降(bgd)以及小批量梯度下降算法(mini-bgd)。但他们也存在各种各样的问题，例如，bgd算法当样本数目很大时，每次迭代都需要对所有样本计算，训练时间开销很大；sgd算法虽然由于不是在全部训练数据集上构建损失函数，从而更新速度较快，然而准确率下降，而且会陷入局部最优的问题使得模型无法收敛；而mini-bgd又极度依赖batch_size的经验取值；基于此本公开设计了一种通过选取数据相关性较高的样本来形成批量数据训练集的梯度下降算法(partialsamplinggradientdescent,)该算法可以保证模型的稳定性，提高训练速度，缩短模型收敛时间。其参数更新如公式10所示:
其中，θ为优化参数，η为学习率
如图6-图7所示，实验为了验证psgd算法的稳定性与训练速度，分别选取了bgd，sgd，mini-batch三个算法作为对照组，进行了两组对照试验，数据集选取了上节实验中用的mdr数据集，一切超参数配置如下所示，其中参数k代表卷积核窗口大小的取值，mup代表每个卷积计算层所拥有的卷积单元数量，dwrd代表词向量维度，本文参照其他基于cnn短文本分类模型使用dropout＝0.5的概率随机保留输入层和全连接层的隐藏单元，fhn代表全连接层中隐藏层神经数量。
图6体现了实验分类精度随时间的变化率；图7验证了psgd算法具有相对低的时间复杂度。实验结果可以看出，随着迭代次数的增加，使用bgd算法优化模型训练过程比较稳定，分类精度也比较高，但是由于其全样本训练的方式，其训练时间比较久；sgd算法虽然训练时间较短，但是存在较大的噪声，稳定性不足；mini-bgd算法每次只需要部分样本更新模型参数，准确度和稳定性方面比较中庸，没有明显优势；而psgd算法在本实验过程训练时间更短训练过程也比较稳定，精度也较高，从而验证了所提算法的有效性。
实施例二
根据本公开的一个或多个实施例的一个方面，提供一种计算机可读存储介质。
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种文本情感分类方法。
实施例三
根据本公开的一个或多个实施例的一个方面，提供一种终端设备。
一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种文本情感分类方法。
这些计算机可执行指令在设备中运行时使得该设备执行根据本公开中的各个实施例所描述的方法或过程。
在本实施例中，计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
本文所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开内容操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本公开内容的各个方面。
实施例四
根据本公开的一个或多个实施例的一个方面，提供一种文本情感分类装置。
一种文本情感分类装置，基于所述的一种文本情感分类方法，包括：
数据采集模块，被配置为接收文本数据，构建分布式词向量，得到特征矩阵；
卷积神经网络模块，被配置为将特征矩阵输入卷积神经网络模型，通过所述卷积神经网络模型的多滑动窗口的卷积层对特征矩阵进行卷积运算；通过所述卷积神经网络模型的k-max和avg-pooling并行双池化层进行池化操作；通过所述卷积神经网络模型的串接层拼接构建文本级别的全局特征向量，对其降维后运用朴素贝叶斯分类器获取文本情感分类结果；
参数优化模块，被配置采用改进的梯度下降算法优化所述卷积神经网络模型参数。
应当注意，尽管在上文的详细描述中提及了设备的若干模块或子模块，但是这种划分仅仅是示例性而非强制性的。实际上，根据本公开的实施例，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
本公开的有益效果：
(1)本公开提供的一种文本情感分类方法及装置，主要针对线上网络短文本信息创作随意性和语义深层次性的特点设计了多尺寸多滑动窗口的卷积运算层，深度挖掘其隐含信息；对词向量构建开销大，训练模型无法支撑庞大数据量的问题，本公开结合pca利用降维的思想，对高维度的数据进行数据标准化，接着求得目标矩阵的协方差矩阵和其对应的特征向量，最后通过线性变换将最初的数据转变成一种任意维度线性无关的表示，从而把多指标(高维度)转化为少数几个主要的特征分量，从而减小开销；
(2)本公开提供的一种文本情感分类方法及装置，针对目前卷积神经网络文本分类模型无法有效解决池化层降维损失语义信息的问题，融合了k-max池化方法动态提取的特质和avg-pooling池化方法对短文本平均语义的贡献能力，提出了结合k-max和avg-pooling方法的并行双池化层结构进行池化操作，在降低开销的同时尽可能的保留更深层次的语义信息；
(3)本公开提供的一种文本情感分类方法及装置，运用朴素贝叶斯分类器假设独立、对缺失数据不太敏感，算法也比较简单的特点来代替softmax分类器从而提高分类的准确率；
(4)本公开提供的一种文本情感分类方法及装置，改进的梯度下降算法解决了bgd算法当样本数目很大时，每次迭代都需要对所有样本计算，训练时间开销大；sgd算法经常陷入局部最优解使得模型无法收敛；而mini-bgd又极度依赖batch_size的经验取值等问题；本公开所提改进的梯度下降算法可以保证模型的稳定性，提高训练速度，缩短模型收敛时间。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。因此，本公开将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
- 还没有人留言评论。精彩留言会获得点赞！