一种融合深层特征和浅层特征的情感分类方法
【专利摘要】本发明请求保护一种融合深层特征和浅层特征的情感分类方法，选用融合Doc2vec的深层特征和TF?IDF的浅层特征来表示文本的特征，该融合方法不仅解决了Doc2vec中固定词特征表述不清楚的问题，而且也解决了TF?IDF方法没有考虑到词语之间语义的问题，使得文本向量对于文本的表示更加清楚。选用SVM分类方法，分类器的分类性能较好。结合上述方法处理情感分类问题可显著提高情感分类的准确率。
【专利说明】
-种融合深层特征和巧层特征的情感分类方法
技术领域
[0001] 本发明属于一种情感分类方法，尤其设及一种融合深层特征和浅层特征的情感分 类方法。
【背景技术】
[0002] 情感分析是一种常见的自然语言处理(NLP)方法的应用，特别是在W提取文本的 情感内容为目标的分类方法中。情感分类已经有很多有用的实践，比如企业分析消费者对 产品的反馈信息，或者检测在线评论中的差评信息。
[0003] 情感文本的向量表示一般有两种表达方式，One-hot Representation和 Distributed RepresentatioruOne-hot Representation最大的问题是无法分析词与词之 间的语义关系，此外运种方法还容易发生维数灾难。Dis化化uted R邱resentation方法则 很好地克服了运些缺点，其中word2vec就是Distributed Representation的典型代表。 word2vec是深度学习模型，虽然word2vec很好的分析了词与词之间的语义关系并且解决了 维数灾难问题，但是没有考虑到词与词之间的顺序问题，因此不同的句子可能会有相同的 表示，从而导致误判率较高。Doc2vec跟word2vec很相似，Doc2vec在word2vec的模型的基础 上增加了一个段落向量(Paragra曲Id)eDoc2vec不但考虑到了词与词之间的语义关系，并 且解决了维数灾难，还考虑到了词与词之间的顺序问题。虽然Doc2vec解决了词与词之间的 语义关系，但是词语本身的特征描述却被淡化，因此，可W把Doc2vec训练出来的特征称为 深层特征。
[0004] TF-IDF(te;rm frequen巧-inverse do州ment 打equency)是一种用于资讯检索与 资讯探勘的常用加权技术。TF-IDF是一种统计方法，用W评估一字词对于一个文件集或一 个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比 增加，但同时会随着它在语料库中出现的频率成反比下降。用TF-IDF方法来表示文本特征 时，文本特征的每一维都表示文本中的一个固定的词，虽然单个词语的特征表示很清楚，却 忽略了词与词之间的语义关系。因此，与深层特征相对应，把TF-IDF训练出来的特征称为浅 层特征。
[0005] 融合Doc2vec的深层特征和TF-IDF的浅层特征向量，可弥补两种算法各自的不足 之处，使得文本的特征向量表示更准确，显著提高情感分类的准确率。
【发明内容】
[0006] 针对W上技术的不足，提出了一种可显著提高情感分类的准确率的融合深层特征 和浅层特征的情感分类方法。本发明的技术方案如下：一种融合深层特征和浅层特征的情 感分类方法，其包括W下步骤：
[0007] 步骤1:根据已经准备好的情感文本语料集，人工标记类别，积极情绪的文本语料 标签为1，消极情绪的文本语料标签为2,并将情感文本语料集分为训练语料集和测试语料 集；
[0008] 步骤2:采用基于词典逆向最大匹配算法和统计分词策略相结合的中文分词算法 对步骤1中经过人工标记类别的语料进行分词，然后去除语料中的停用词；
[0009] 步骤3:对语料的分词、去停用词工作完成后提取语料中的标签、名词、副词、形容 词和介词组成新的语料，采用TF-IDF对得到的新语料进行训练并得到情感文本的浅层特征 向量;得到情感文本的浅层特征向量后采用Doc2vec对经过步骤2分词、去停用词后的语料 进行训练，得到词向量模型和情感文本的深层特征向量；
[0010] 步骤4:将步骤3中得到的浅层特征向量和深层特征向量进行融合，得到新的情感 文本特征向量，所述新的情感文本特征向量包括训练语料集的情感文本特征向量和测试语 料集的文本特征向量；
[0011 ]步骤5:将步骤4中得到的训练语料集的情感文本特征向量输入SVM训练出情感分 类模型；
[0012] 步骤6:将步骤4中得到的测试语料集的文本特征向量输入SVM，根据步骤5中已经 训练好的情感分类模型进行情感类别分类并计算出情感分类的准确率。
[0013] 进一步的，所述步骤2采用基于词典逆向最大匹配算法具体为：分级构造分词词 典，由核屯、词典和临时词典两部分构成分词词典集合，统计出权威性的词条语料，采用二级 哈希结构存储构造核屯、词典，选取情感词典作为临时词典加载的语料;分词词典初步构成 后，分词系统进入自主学习阶段，对情感文本进行分词时，如果临时词典中有新统计的词， 该词的词频加一，否则将该新词重新加入临时词典；累计词频后判断词频是否满足设定阔 值，若满足则移到核屯、词典中，并在临时词典中清空该词条，统计记录学习情感文本的数 量，若大于预定值，则清空临时词典;采用更新后的核屯、词典中的词条作为分词依据。
[0014] 进一步的，步骤2中分完词后，每个文本是由W空格隔开的单词组成的文本语料； 然后捜集停用词表，人工删除停用词表中对实验有用的词汇，并根据停用词表去除分完词 后的语料中的停用词。
[0015] 进一步的，所述步骤3利用正则表达式，提取步骤2中的得到的语料中的标签、名 词、副词、形容词和介词组成新的语料。
[0016] 进一步的，所述步骤3采用Doc2vec对经过步骤2分词、去停用词后的语料进行训 练，具体为：使用0〇。2￥6(3中基于化6拘1^11；[。日150打1]1日义算法的口￥-01模型，将步骤2中处理 好的的语料输入模型中，把每个长度可变段落和对应段落中的每个词分别映射成唯一的段 落向量和唯一的词向量，将所有文本向量和所有对应的词向量累加或者连接起来，作为输 出层Softmax的输入;构建目标函数，在训练过程中保持文本向量不变，使用随机梯度上升 法进行词向量更新，在预测阶段保持已经更新好的词向量和输出层Softmax的参数不变，重 新利用随机梯度上升法训练待预测的文本，得到最终的情感文本深层特征向量并将运些深 层特征向量处理成可W使用SVM的数据格式。
[0017] 进一步的，所述步骤3采用TF-IDF对得到的新语料进行训练并得到情感文本的浅 层特征向量的步骤具体为:首先计算一个文本中的其中一个词的词频，然后再计算运个词 的反文档频率，把运个词的词频和反文档频率相乘就得到了运个的TF-IDF值;然后将一个 情感文本中的所有词语都计算一遍，将得到的TF-IDF值放入到一个新的文本中就得到了运 个文本的浅层特征向量，最后计算出所有文本的浅层特征向量。
[0018] 进一步的，所述步骤4:将步骤3中得到的浅层特征向量和深层特征向量进行融合， 得到新的情感文本特征向量具体为:将所有文本浅层特征向量放入到一个文本中，每一行 代表一个文本向量，同样将得到的所有深层文本向量也放入到一个文本中，每一行也代表 一个文本向量，设定两种特征的权重比为1:1，将两个文本的每一行直接进行首尾相连，得 到新的情感文本特征向量。
[0019] 进一步的，所述步骤5具体为:将步骤4中得到的情感文本特征向量输入SVM，最优 超平面中的核函数设计为非线性核函数，把输入空间r映射到m维的特征空间，在高维空间 中构造分界超平面
'将积极情绪文本和消极情绪文本分开，式中w/是连 接特征空间至输出空间的权值，偏置值，Φ (X)为向量X在高维特征空间的非线性映射， 训练完成后，保存情感分类板型。
[0020] 进一步的，所述步骤6具体为将步骤4中的语料中的测试集的文本特征向量输入 SVM，根据步骤5中已经训练好的模型进行情感类别分类，如果实际输出文本的标签等于1， 判定该文本表现的是积极情绪，如果实际输出文本的标签不等于1即标签等于2,判定该文 本表现的是消极情绪，统计实际输出文本的标签与期望输出文本的标签之间不同的个数， 计算情感分类的准确率。
[0021 ]进一步的，所述Doc2vec中基于Hierarchical Softmax算法的PV-DM模型，PV-DM模 型的输入是一个长度可变的段落化ragraph Id和该段落中的所有单词Words paragraph Id代表的是情感文本，输出是根据化ragraphid和Words预测出的单词，PV-DM模型的训练过 程:将每个化ragraph Id和Words分别映射成唯一的段落向量和唯一的词向量，并且将所有 化ragraph Vector按列放入矩阵D和所有Word Vector按列放入矩阵W中；将化ragraph Vector和WordVector累加或者连接起来，作为输出层Softmax的输入，输出层Softmax是W Paragra地Id中的词条作为叶子结点，词条在文本语料中出现的次数当作权值，构造的哈 弗曼树。
[0022] 本发明的优点及有益效果如下：
[0023] 本发明选用融合Doc2vec的深层特征和TF-IDF的浅层特征来表示文本的特征，该 方法不仅解决了 TF-IDF方法没有考虑到词语之间语义的问题，而且也解决了 Doc2vec中固 定词特征表述不清楚的问题。选用SVM分类方法，使得分类器的分类性能得到较好的改善。 结合上述方法处理情感分类问题可显著提高情感分类的准确率。
【附图说明】
[0024] 图1是本发明提供优选实施例一种融合深层特征和浅层特征的情感分类方法的流 程图。
【具体实施方式】
[0025] W下结合附图，对本发明作进一步说明：
[0026] 如图1所示，本发明融合深层和浅层特征的情感分类方法的具体步骤是：
[0027] 步骤1:从网上捜集情感文本语料集，人工标记类别，如情感表现为积极情绪的文 本标签为1，情感表现为消极情绪的文本标签为2。并且去除文本的首尾空格，将文本里的数 据表示成一个句子，运样方便后续的处理工作。并将语料集分为训练集和测试集。训练集用 来训练情感分类的模型，测试集用来测试模型分类的效果。
[0028] 步骤2:首先从网上捜集情感词典，情感词典是文本情感分析的基础资源，实际就 是情感词的集合。从广义上讲，指包含感情倾向性的短语或者句子;从狭义上讲，指包含有 感情倾向性的词语集合。情感词典一般包含两个部分，正面情感词词典和负面情感词词典。
[0029] 然后对步骤1中的语料集进行中文分词，本文使用的分词方法是基于词典逆向最 大匹配算法和统计分词策略相结合的中文分词算法。分级构造分词词典，由核屯、词典和临 时词典两部分构成分词词典集合。统计出权威性的词条语料，采用二级哈希结构存储构造 核屯、词典。选取情感词典作为临时词典加载的语料。分词词典初步构成后，分词系统进入自 主学习的阶段，对情感文本进行分词时，如果临时词典中有新统计的词，该词的词频加一， 否则将该新词重新加入临时词典。累计词频后判断词频是否满足设定阔值，若满足则移到 核屯、词典中，并在临时词典中清空该词条。统计记录学习情感文本的数量，若大于预定值， 则清空临时词典。采用更新后的核屯、词典中的词条作为分词依据，采用逆向最大匹配算法 进行情感文本的分词。
[0030] 分完词后，每个文本是由W空格隔开的单词组成的文本语料。然后捜集停用词表， 人工删除停用词表中对实验有用的词汇，并根据停用词表去除分完词后的语料中的停用 词。去除停用词是为了节省存储空间和提高效率。
[0031] 步骤3:利用正则表达式，提取步骤2中的得到的语料中的标签、名词、副词、形容词 和介词组成新的语料。如果文本过大，表示成特征向量时很容易造成维数灾难，提取文本中 一部分重要的词语可W更好的表示文本，并且可W解决维数灾难问题。
[0032] 步骤4:采用Doc2vec对步骤2中的语料训练出词向量模型并得到情感文本深层特 征向量。Doc2vec是用来得到词和文本深层特征的浅层模型，它不但考虑到了各词之间的语 义关系，而且也考虑到了词与词之间的顺序，能够很好的表示出词与文本的特征。Doc2vec 用到两个重要的模型--PV-DB0W和PV-DM模型，针对PV-DB0W和PV-DM两种模型又给出了两 套算'法--Hierarchical Softmax和Negative Samp 1 in邑。本文使用基于Hierarchical Softmax算法的PV-DM模型。PV-DM模型的输入是一个长度可变的段落(Paragra地Id)和该 段落中的所有单词（Words )，本文中的Paragraph Id代表的是情感文本。输出是根据 Paragra地Id和Words预测出的单词。
[0033] PV-DM模型的训练过程：
[0034] 将每个化ragra地Id和Words分别映射成唯一的段落向量(Paragra地Vector)和 唯一的词向量(Word Vector),并且将所有化ragraph Vector按列放入矩阵D和所有Word Vector按列放入矩阵W中。将化ragraph Vector和WordVector累加或者连接起来，作为输出 层Softmax的输入。输出层Softmax是W化ragra地Id中的词条作为叶子结点，词条在文本 语料中出现的次数当作权值，构造的哈弗曼化uffman)树。建立目标函数：
[0035]
[0036] 其中T代表词向量的个数，wt，wt-k等代表每个词向量。
[0037]
[0038] 每个yi是每个词向量i的未规范化对数概率，yi的计算公式为：
[0039] y = b+Uh(wt-k, . . .，wt+k;W,D)(3)
[0040] 其中U，b是Softmax的参数，h是由从D和W矩阵中提取的化ragra地Vector和Word Vector累加或者连接构成的。
[0041] 在训练过程中，Paragraph Id保持不变，文本中的所有单词共享着同一个 化ragraph Vector,相当于每次在预测单词的概率时，都利用了整个文本的语义。对运个目 标函数进行优化，从而求得最优的词的向量表示。利用随机梯度上升法对上式的目标函数 进行优化，得到迭代过程中词U的向量0U的更新公式为：
[0044] 9U e RD表示词U对应的一个辅助向量，1/(U)表示词U的标签，VI'闲表示词《对应的向 量，0是一个逻辑回归函数，心''梓)表示词完的标签，η表示学习率。在迭代过程中词U的向量0U 和词去的向量W脚都在原来的基础上进行了更新，使得向量对词的表达能力更强，向量随着 更新而不断进化，向量的表示质量也随着提升。
[0045] 在预测阶段，给待预测的文本重新分配一个Paragraph Id,词向量和输出层 Softmax的参数保持训练阶段得到的参数不变，重新利用随机梯度上升法训练待预测的文 本。待收敛后，最终得到了文本的化ragraph Vector,也就是文本的深层特征向量，并将运 些深层特征向量处理成可W使用SVM的数据格式。
[0046] 步骤5:采用TF-IDF对步骤3中得到的语料进行训练并得到情感文本的浅层特征向 量。
[0047] 在一个给定的情感文本中，词频(term frequency，TF)指的是某一个给定的词语 在该文本中出现的频率。运个数字是对词数(term count)的归一化，W防止它偏向长的文 本。（同一个词语在长文本里可能会比短文本有更高的词数，而不管该词语重要与否。）对于 在某一特定文件里的词语ti来说，它的重要性可表示为：
[004引
[0049]其中表示该词在文本山中出现的次数，而分词则是在文件山中所有字词的出现 次数之和。
[00加]逆向文件频率（inverse document frequency，IDF)是一个词语普遍重要性的度 量。某一特定词语的IDF，可W由总文本数目除W包含该词语之文本的数目，再将得到的商 取对数得到：
[0化1 ]
[0052]其中|D|表示情感语料库中的文本总数，|{j:tiedj|表示包含词语ti的文件总 数，如果该词语不在语料库中，就会导致被除数为零，因此一般情况下使用1+I I， 最后得到一个词语的TF-IDF值为：
[0053] tf i壯i, j = tfi, j X idfi (8)
[0054] 将一个情感文本中的所有词语都计算一遍，将得到的TF-IDF值放入到一个新的文 本中就得到了运个文本的浅层特征向量。然后计算出所有文本的浅层特征向量。
[0055] 步骤6:将步骤4中得到的所有文本的深层特征向量放入到一个文本中，每一行代 表一个文本向量，同样将步骤5中得到的所有文本的浅层特征向量也放入到一个文本中，每 一行也代表一个文本向量，由于步骤4中得到的深层特征和步骤5中得到的浅层特征在情感 分类中同等重要，因此设定两种特征的权重比为1:1，将两个文本的每一行直接进行首尾相 连，得到新的情感文本特征向量。
[0056] 步骤7:将步骤6中的语料中的训练集的文本特征向量输入SVM训练出情感分类模 型。
[0057] 引入非线性函数Φ(χ)，把输入空间r映射到m维的特征空间，然后在高维空间中 构造一个分界超平面，该超平面可W定义如下：
[0化引
[0059] 其中w/是连接特征空间至输出空间的权值，护为偏置值。
[0060] 为了获得最优超平面，权向量和偏置值应最小化，而且满足约束条件:yi(wxi+b)> 1-Ci，i = l，2, . . .，m，式中，Ci是正松弛变量，增加松弛变量的可容错性。根据结构风险最小 化原理，运时最小化目标函数为：
[0061]
[0062]其中C是惩罚参数，依据拉格朗日定理，引入拉格朗日乘子日1，核函数Κ(χι，χ)=φ (Xi) Φ (X)，可转化成求解下述目标函数最小值：
[0069] 训练完成后，保存情感分类模型。
[0070] 步骤8:将步骤6中的语料中的测试集的文本特征向量输入SVM，根据步骤7中已经 训练好的模型进行情感类别分类，如果实际输出文本的标签等于1，判定该文本表现的是积 极情绪，如果实际输出文本的标签不等于1(即标签等于2)，判定该文本表现的是消极情绪， 统计实际输出文本的标签与期望输出文本的标签之间不同的个数，计算情感分类的准确 率。
[0071] W上运些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在 阅读了本发明的记载的内容之后，技术人员可W对本发明作各种改动或修改，运些等效变 化和修饰同样落入本发明权利要求所限定的范围。
【主权项】
1. 一种融合深层特征和浅层特征的情感分类方法，其特征在于，包括以下步骤： 步骤1:根据准备好的情感文本语料集，人工标记类别，积极情绪的文本语料标签为1， 消极情绪的文本语料标签为2,并将情感文本语料集分为训练语料集和测试语料集，并采用 基于词典逆向最大匹配算法和统计分词策略相结合的中文分词算法对情感文本语料集进 行分词，然后去除语料中的停用词； 步骤2:对语料的分词、去停用词工作完成后提取语料中的标签、名词、副词、形容词和 介词组成新的语料，采用TF-IDF算法对得到的新语料进行训练并得到情感文本的浅层特征 向量;得到情感文本的浅层特征向量后采用Doc2 vec算法对经过分词、去停用词后的语料进 行训练，得到词向量模型和情感文本的深层特征向量； 步骤3:将步骤2中得到的浅层特征向量和深层特征向量进行融合，得到新的情感文本 特征向量，所述新的情感文本特征向量包括训练语料集的情感文本特征向量和测试语料集 的文本特征向量； 步骤4:将步骤3中得到的训练语料集的情感文本特征向量输入SVM训练出情感分类模 型;然后将步骤3中得到的测试语料集的文本特征向量输入SVM，根据已经训练好的情感分 类模型进行情感类别分类并计算出情感分类的准确率。2. 根据权利要求1所述的融合深层特征和浅层特征的情感分类方法，其特征在于，所述 步骤1采用基于词典逆向最大匹配算法具体为:分级构造分词词典，由核心词典和临时词典 两部分构成分词词典集合，统计出权威性的词条语料，采用二级哈希结构存储构造核心词 典，选取情感词典作为临时词典加载的语料;分词词典初步构成后，分词系统进入自主学习 阶段，对情感文本进行分词时，如果临时词典中有新统计的词，该词的词频加一，否则将该 新词重新加入临时词典；累计词频后判断词频是否满足设定阈值，若满足则移到核心词典 中，并在临时词典中清空该词条，统计记录学习情感文本的数量，若大于预定值，则清空临 时词典;采用更新后的核心词典中的词条作为分词依据。3. 根据权利要求1所述的融合深层特征和浅层特征的情感分类方法，其特征在于，步骤 1中分完词后，每个文本是由以空格隔开的单词组成的文本语料;然后搜集停用词表，人工 删除停用词表中对实验有用的词汇，并根据停用词表去除分完词后的语料中的停用词。4. 根据权利要求1所述的融合深层特征和浅层特征的情感分类方法，其特征在于，所述 步骤2利用正则表达式，提取经过步骤1分词、去停用词后的语料中的标签、名词、副词、形容 词和介词组成新的语料，采用TF-IDF算法对得到的新语料进行训练并得到情感文本的浅层 特征向量，步骤具体为:首先计算一个文本中的其中一个词的词频，然后再计算这个词的反 文档频率，把这个词的词频和反文档频率相乘就得到了这个的TF-IDF值;然后将一个情感 文本中的所有词语都计算一遍，将得到的TF-IDF值放入到一个新的文本中就得到了这个文 本的浅层特征向量，最后计算出所有文本的浅层特征向量。5. 根据权利要求1所述的融合深层特征和浅层特征的情感分类方法，其特征在于，所述 步骤2采用Doc2vec对经过步骤1分词、去停用词后的语料进行训练，具体为:使用Doc2 vec中 基于Hierarchical Softmax算法的PV-DM模型，将步骤2中处理好的的语料输入模型中，把 每个长度可变段落和对应段落中的每个词分别映射成唯一的段落向量和唯一的词向量，将 所有文本向量和所有对应的词向量累加或者连接起来，作为输出层Softmax的输入;构建目 标函数，在训练过程中保持文本向量不变，使用随机梯度上升法进行词向量更新，在预测阶 段保持已经更新好的词向量和输出层Softmax的参数不变，重新利用随机梯度上升法训练 待预测的文本，得到最终的情感文本深层特征向量。6. 根据权利要求5所述的融合深层特征和浅层特征的情感分类方法，其特征在于，所述 Doc2vec中基于Hierarchical Softmax算法的PV-DM模型，PV-DM模型的输入是一个长度可 变的段落Paragraph Id和该段落中的所有单词Words，Paragraph Id代表的是情感文本，输 出是根据Paragraph Id和Words预测出的单词，PV-DM模型的训练过程:将每个Paragraph I d 和Words分别映射成唯一的段落向量和唯一的词向量，并且将所有Paragraph Vector按列 放入矩阵D和所有Word Vector按列放入矩阵W中；将Paragraph Vector和WordVector累加 或者连接起来，作为输出层Softmax的输入，输出层Softmax是以Paragraph Id中的词条作 为叶子结点，词条在文本语料中出现的次数当作权值，构造的哈弗曼树。7. 根据权利要求1所述的融合深层特征和浅层特征的情感分类方法，其特征在于，所述 步骤3:将步骤2中得到的浅层特征向量和深层特征向量进行融合，得到新的情感文本特征 向量具体为:将所有文本浅层特征向量放入到一个文本中，每一行代表一个文本向量，同样 将得到的所有深层文本向量也放入到一个文本中，每一行也代表一个文本向量，设定两种 特征的权重比为1:1，将两个文本的每一行直接进行首尾相连，得到新的情感文本特征向 量。8. 根据权利要求1所述的融合深层特征和浅层特征的情感分类方法，其特征在于，所述 步骤4训练SVM情感分类模型的具体步骤为:将步骤3中得到的训练语料集的情感文本特征 向量输入SVM，最优超平面中的核函数设计为非线性核函数，把输入空间R n映射到m维的特 征空间，在高维空间中构造分界超平面：，将积极情绪文本和消极情绪文 本分开，式中w/是连接特征空间至输出空间的权值，P为偏置值，Φ (X)为向量X在高维特征 空间的非线性映射，训练完成后，保存情感分类模型。9. 根据权利要求1所述的融合深层特征和浅层特征的情感分类方法，其特征在于，所述 步骤4得到情感分类模型后，将步骤3中得到的测试语料集的情感文本特征向量输入SVM，根 据已经训练好的情感分类模型进行情感类别分类，如果实际输出文本的标签等于1，判定该 文本表现的是积极情绪，如果实际输出文本的标签不等于1即标签等于2,判定该文本表现 的是消极情绪，统计实际输出文本的标签与期望输出文本的标签之间不同的个数，计算情 感分类的准确率。
【文档编号】G06F17/30GK105824922SQ201610151146
【公开日】2016年8月3日
【申请日】2016年3月16日
【发明人】唐贤伦, 周冲, 周家林, 白银, 刘想德, 张毅, 马艺玮
【申请人】重庆邮电大学