一种计算机中涉及情感的文本数据分析方法
【专利摘要】本发明提出了一种计算机中涉及情感的文本数据分析方法，包括：构造一种人工语言，训练对齐模型，抽取翻译短语，并利用对齐概率特征和翻译短语特征作为方面识别模型的信息特征，再对所识别到的方面类别结合句子信息进行情感倾向判别。对比现有的多方面情感分析方法，本方法突出在考虑了句子不同文本片段和输出信息中不同的部分的对应关系，并且能利用富含信息量的关键性短语。在具体的多方面情感分析实验中，可以得到更高的方面识别精度。
【专利说明】
一种计算机中涉及情感的文本数据分析方法
技术领域
[0001] 本发明属于计算机文本挖掘领域，特别是一种计算机中涉及情感的文本数据分析 方法。
【背景技术】
[0002] 随着电子商业作为一种新的购物方式和市场的兴起，对这些在线服务和产品的用 户评论的分析变得非常有价值和重要。在线评价的情感文本数据处理可以不仅可以帮助用 户更高效更好地选购商品，还可以帮助商家理解用户需求，改进自身的产品。
[0003] 目前，传统的情感文本数据处理技术主要是针对一段给定文本，比如一整段评价 文本，或者一个句子，来预测文本的整体情感倾向。然而，一段用户评论中常常包含对某个 产品多方面的评价，对于不同的方面用户也许表达了不同的情感。针对这种情况，传统的处 理技术不能提供更详细的信息，不能识别针对产品各个方面的细粒度情感。在这种形势下， 多方面的情感文本数据处理技术开始受到了研究者的关注。
[0004] 当前的多方面情感文本数据处理技术主要包括四类:1.语料级评价目标和情感词 挖掘;2.句子级的评价目标和情感词挖掘;3.基于话题模型的多方面情感文本数据处理;4. 基于有监督机器学习的多方面情感文本数据处理。
[0005] 第一类方法，即语料级别评价目标和情感词挖掘，主要目标是从一个足够大的特 定领域语料库中抽取出一个表示评价目标的名词或者名词短语列表，和带有情感倾向的情 感词列表。一个名词或者名词短语在不同的上下文中有时是评价目标有时不是，一个情感 词在不同的上下文环境中可能带有不同的情感倾向。这类方法并不能区分这些情况，这是 这类方法的第一个问题。另外，不同的评价目标词可能属于同一个方面，比如，在电子产品 领域，"待机时间"和"电池性能"是不同的两个评价目标词，但是都是与电池这个方面相关 的。这类方法不能把它们归类到同一个方面，这是这类方法的第二个问题。
[0006] 第二类方法，即句子级评价目标词和情感词识别。这类方法与第一类相似，不同的 是它的输入是不再是整个语料，而是一个具体的句子。这样，这类方法能识别出具体上下文 中的评价目标词和情感词。这类方法一般使用序列标注方法来实现，比如条件随机场，隐马 尔可夫模型等。但是这类方法仍然没有解决上述所提的第二个问题。
[0007] 第三类方法，即基于话题模型的多方面情感文本数据处理技术。这类方法主要把 方面定义成一个话题，通常话题表示成一个词的多项式分布。缺点是话题数量难以确定，话 题之间常常有重合，导致输出结果不精确。
[0008] 第四类方法，即基于有监督机器学习方法的多方面情感文本数据处理技术，主要 特征是有预先定义好的方面类别，形式上输入为一个句子或者一个评价文档，输出为若干 个包括了方面类别和情感极性的二元组。目前，这类方法主要采用传统机器学习方法，比如 支持向量机，朴素贝叶斯等，再结合手工定制的信息特征，比如词特征，二元语法特征，预先 抽取的评价目标短语等。本发明亦属于此类方法，与已有的方法相比，本发明识别精度更 尚。
【发明内容】
[0009] 发明目的：本发明所要解决的技术问题是针对以上所提到各类方法的不足，提供 一种计算机中涉及情感的文本数据分析方法。
[0010] 为了解决上述技术问题，本发明公开了一种构造人工语言，利用统计统计机器翻 译技术训练对齐模型，抽取翻译短语，并以此作为信息特征训练方面识别模型的多方面情 感文本数据处理方法。
[0011] 本发明特征包括如下步骤：
[0012] 步骤1，计算机读入一个包含待处理句子的文本数据，识别待处理句子中所提到的 方面类别，方面类别形式上定义为<entity#attribute>，其中entity为实体，attribute为 属性；
[0013] 步骤2,对于步骤1所识别到的方面类别，判别其在待处理句子中所对应的情感倾 向。
[0014] 其中，步骤1中，采用如下式所示的方面识别模型识别待处理句子中所提到的方面 类别：
[0015] f - a(W x + h),
[0016] 其中，x表示待处理句子中包含的N维信息特征向量，f为输出的K维判别值向量，N 和K取值为都自然数。W和为模型参数，W为一个KXN的矩阵，b为K维偏置向量，〇为softmax函 数，其运算方式如下：
[0018] 其中e为自然底数，上标表示指数函数。这里z=W ? x+b，表示归一化前的得分向 量。Zj和zk分别表示z的第j维和第k维。
[0019] 方面识别樽塑的训练目标为最小化代价函数T(W,b):
[0021 ] 其中，ln()为自然底数对数，A为设定的超参，通常取值为〇. 〇〇〇1~〇. 〇〇〇3，m为训 练样本数量，y为与输出的K维判别值向量所对应的标注的标准二值向量，表示第i个训 练样本中第j维的值。当且仅当第i个样本有第j个方面类别时(在求和符号中，j表示 遍历从1到K中的每一个数），y^为1，否则为0。
[0022]本发明的主要核心除了以上所述的模型，还主要包括输入向量x的构建。所述方面 识别模型使用的n维信息特征向量x包括以下三项：
[0023]二值词袋模型特征；
[0024]对齐模型概率特征；
[0025] 翻译短语特征。
[0026]即输入向量x包括以下三个部分：
[0027] x = <words ,AlignmentProbabilities,Phrases)
[0028] 其中，words表示二值词袋向量，AlignmentProbabili ties表示对齐模型概率特征 向量，Phrases表示翻译短语向量。
[0029] words ：
[0030] 首先选取训练语料中的出现频率最高的不包括停用词的nl个词作为词汇表，nl - 般取1500~2000为宜。则Words向量表示为一个nl维的向量，当且仅当当前句子中出现第j 个词，wordsj = 1，否贝[Jwordsj = 0 ?
[0031] AlignmentProbabilities：
[0032] 此为对齐模型概率特征向量。对齐模型概率特征包括至少以下之一：
[0033] 正向对齐概率特征；
[0034] 逆向对齐概率特征。
[0035] 在本发明中，方面类别形式上定义为<entity#attribute>，其中entity为实体， attribute为属性。以笔记本电脑这类产品为例，Keyboard (键盘)是一个实体，Usability (易用性)是一种属性，那么Keyb〇ard#Usability(表示键盘的易用性)则是笔记本电脑这个 产品的一个方面。
[0036]对齐概率特征抽取的步骤如下：
[0037]首先，根据训练数据中已经标注好的每个句子，所述的对齐模型概率特征和翻译 短语特征的获取通过以下文法构造目标语言：
[0039]表1目标语言的构造文法
[0040] 用S表示一个句子，S'表示一个分句，一个句子由任意个分句组成，一个分句S'的 形式是E A is P，其中E表示entity实体，A表示attribute属性，P表示情感极性，情感极性 有三种，分别为positive、negative和neutral(分别表示积极、消极和中性）。
[0041] 其次，使用对齐模型训练工具GIZA++训练得到正逆向对齐模型，通过以下公式计 算正向对齐概率特征p(a |s):
[0042] p(a|s) = 1 - rice's(l _ t(a|c)),
[0043] 其中，s表示待处理句子，c表示句子中的一个词，a表示一个实体entity或者属性 attribute，t(a | c)表示从c到a的对齐概率。
[0044] 通过以下公式计算逆向对齐概率特征p(s | a):
[0045] p(s\a) = Ept(c|a),
[0046]其中，t (c | a)表示从a到c的对齐概率。
[0047]所述的对齐模型概率特征为正向对齐概率特征和逆向对齐概率特征的算术平均 值。按照以下公式计算给定一个待处理句子s，对于每个entity或者attribute a的对齐概 率特征值fs,a:
[0049] Phrases:
[0050] 按照专利CN103488629B《一种机器翻译中翻译单元表的抽取方法》，抽取翻译短 语，需要注意的是，需要对源语言和目标语言短语的长度进行限定，一般限定在3个词以内 为宜。然后，对于抽取出来的源语言短语，过滤掉包含标点符号、特殊字符和停用词的短语， 作为一组二值信息特征加入到输入向量中。
[0051]使用训练好的方面识别模型对待处理的句子s进行识别。根据如上所述的模型输 出的判别向量；F，当且仅当为> fbes/ioZd.认为句子中含有方面i，threshoId是手工设定的 阈值，通常用交叉验证选取合适的取值，一般取值在1.3~2.0之间为宜，方面数量越大阈值 应设定得越小。
[0052]本发明步骤2包括以下步骤：
[0053]步骤2-1，对步骤1所识别的待处理句子的每个方面类别，判别其情感倾向。判别使 用支持向量机(SVM，support vector machine)进行二元分类，分类器的输入为句子的信息 和方面类别，BP
[0054] x =〈words，entity，attribute〉
[0055]其中，x为SVM分类器输入的待处理句子中包含的N维信息特征向量，words向量的 定义同步骤1，entity和attribute分别是一个1-hot(独热码，词向量的一种方式）向量，它 们共同指示了一个唯一的方面。
[0056] 步骤2-2,结合步骤1和步骤2-1的结果，输出最终的二元组信息：〈entity# attribute, polarity (文本的极性)>。
[0057]有益效果：本发明考虑了句子中不同文本片段和输出结果中不同部分的对应关 系，能更加精确地识别方面类别和情感倾向。以下的实验结果将说明本发明的有益效果。
[0059] 表2使用不同信息特征的方面识别性能比较
[0060] 表2为识别方面类别的性能比较实验结果，可以看出在加入对齐概率特征和翻译 短语特征后，识别的性能都有有效的提升。
[0062]表3不同系统的方面识别性能比较
[0063] NLANGP是2015年SemEval评测比赛中多方面情感分析任务的获胜系统，与之相比， 本发明在方面识别上有更高的精度。
【附图说明】
[0064]下面结合附图和【具体实施方式】对本发明做更进一步的具体说明，本发明的上述 和/或其他方面的优点将会变得更加清楚。
[0065]图1是本发明的流程图。
【具体实施方式】
[0066]本发明提出了一种计算机中涉及情感的文本数据分析方法。构建一个人工目标语 言，在此基础上训练对齐模型和抽取翻译短语，再从中抽取信息特征帮助提高方面识别的 精度。现有的多方面情感分析技术中，或者方法框架不同，或者没有考虑句子中不同文本片 段和输出结果中不同部分的对应关系，没有利用机器翻译相关技术来抽取信息特征。
[0067] 如图1所示，本发明包括如下步骤：
[0068]步骤1，系统读入一个待处理句子，识别句子中所提到的方面类别。
[0069] 步骤2,对于步骤1所识别到的方面类别，判别其在句子中所对应的情感倾向。
[0070] 其中，步骤1包括如下步骤：
[0071] 步骤1-1，训练方面类别识别模型。所采用的模型可以用以下公式表示
[0072] y - a(lV x 4- b),
[0073] 其中，x表示输入的N维信息特征向量，歹为输出的K维判别值向量，N和K取值为都为 自然数。W，b为模型参数，W为一个K X N的矩阵，b为K维偏置向量，〇为sof tmax函数，其运算方 式如下：
[0075]其中，e为自然对数底数，上标表示指数函数。z=W* x+b，表示归一化前的得分向 量。Zj和Zk分别表示z的第j维和第k维。
[0076]训练过程采用梯度下降法最小化以下代价函数：
[0078]其中，ln()为自然底数对数，A为人工指定的超参，通常取值为0.0001~0.0003为 宜，m为训练样本数量，y为与3?所对应的标注的标准二值向量，表示第i个训练样本中第 j维的值。当且仅当第i个样本有第j个方面类别时，为1，否则为0。
[0079]以上模型的输入向量x包括以下三个部分：
[0080] x = <words ,AlignmentProbabilities,Phrases),
[0081 ] 其中，words表示二值词袋向量，AlignmentProbabilities表示对齐模型概率特征 向量，Phrases表示短语向量。
[0082] words ：
[0083] 首先选取训练语料中的出现频率最高的不包括停用词的nl个词作为词汇表，nl - 般取1500~2000为宜。贝ijwords向量表示为一个nl维的向量，当且仅当当前句子中出现第j 个词，wordsj = 1，否贝[Jwordsj = 0 ?
[0084] AlignmentProbabilities：
[0085] 此为对齐概率特征向量。在本发明中，方面类别形式上定义为entity#attribute， 其中entity为实体，attribute为属性。以笔记本电脑这类产品为例，Keyboard (键盘)是一 个实体，Usability (易用性)是一种属性，那么Keyboard#Usability (表示键盘的易用性)贝1J 是笔记本电脑这个产品的一个方面。
[0086]对齐概率特征抽取的步骤如下：
[0087]首先，根据训练数据中已经标注好的每个句子，按照如下文法构造目标语言：
[0089]表1目标语言的构造文法
[0090]其次，使用对齐模型训练工具GIZA++训练得到正逆向对齐模型，然后按照如下公 式计算正向对齐概率特征：
[0091 ] p(a\s) = 1 - rices(l _ f(ak))'
[0092] 其中，s表示一个句子，c表示句子中的一个词，a表示一个entity或者attribute，t (a | c)表示从c到a的对齐概率。
[0093] 同时，按照以下公式计算逆向对齐概率特征：
[0095]类似地，t(c | a)为从a到c的对齐概率。
[0096] 然后，按照以下公式计算给定一个句子s，对于每个entity或者attribute a的对 齐概率特征值：
[0098] Phrases:
[0099] 按照专利CN103488629B《一种机器翻译中翻译单元表的抽取方法》，抽取翻译短 语，需要注意的是，需要对源语言和目标语言短语的长度进行限定，一般限定在3个词以内 为宜。然后，对于抽取出来的源语言短语，过滤掉包含标点符号、特殊字符和停用词的短语， 作为一组二值信息特征加入到输入向量中。
[0100] 步骤1-2,使用训练好的方面识别模型对待处理的句子进行识别。根据如上所述的 模型输出的判别向量歹，当且仅当歹i. >纽抒油.0W，认为句子中含有方面i，threshoId是手工 设定的阈值，通常用交叉验证选取合适的取值，一般取值在1.3~2.0之间为宜，方面数量越 大阈值应设定得越小。
[0101] 本发明步骤2包括以下步骤：
[0102]步骤2-1，对步骤1所输出的每个方面类别，判别其情感倾向。判别使用支持向量机 (SVM)进行二元分类，分类器的输入为句子的信息和方面类别，即 [0103] x =〈words，entity，attribute〉
[0104] 其中，x为SVM分类器的输入向量，words向量的定义同步骤1，entity和attribute 分别是一个1-hot向量，它们共同指示了一个唯一的方面。
[0105] 步骤2-2,结合步骤1和步骤2-1的结果，输出最终的二元组信息：〈entity# attribute，polarity>〇
[0106] 实施例1
[0107] 本实施例中，针对笔记本电脑的在线评论语料，构造对应的人工目标语言，形成平 行语料，用于训练对齐模型。
[0108] 对于一个评论句子："Fantastic for the price , it' s a pity keys were not illuminated。"（大意:价格合适，很遗憾键盘不是背光的。）标注的结果包括两个Opinion:〈 LAPTOP#PRICE，positive>，〈KEYBOARD#DESIGN_FEATURES, negative〉。按照上文中说明的文 法构造人工语言句子："LAPTOP PRICE is positive;KEYB0ARD DESIGN_FEATURES is negative ;'，。
[0109] 实施例2
[0110] 本实施例中，系统接受一个自然语言句子，输出二元组信息。其过程如下：
[0111] 1、系统接收自然语言句子：The Del 1 is quick enough but not good with finger prints。
[0112] 2、系统抽取词信息向量Words;
[0113] 3、系统根据对齐概率表计算对齐概率特征向量AlignmentProbabilities;
[0114] 4、系统根据已经抽取出的短语表抽取短语特征向量Phrases;
[0115] 5、将第2、3、4步的特征一起输入方面识别模型，发现模型输出得分高于阈值0.14 的两个方面类别：LAPT0P#0PERATI0N_PERF0RMANCE，LAPTOPSQUALITY;
[0116] 6、系统判断 LAPT0P#0PERATI0N_PERF0RMANCE 在句中的情感倾向是 pos i t i ve;
[0117] 7、系统判断LAPT0P#QUALITY在句子中的情感倾向是negative;
[0118] 8、系统输出 0pinionl〈LAPT0P#0PERATI0N_PERF0RMANCE，positive>，0pinions< LAPT0P#QUALITY，negative〉。
[0119] 9、结束。
[0120] 本发明提供了一种计算机中涉及情感的文本数据分析方法，具体实现该技术方案 的方法和途径很多，以上所述是本发明的优选实施方式。本发明基于统计机器翻译技术，在 方面识别模型中加入对齐概率信息特征和翻译短语信息特征，考虑了句子不同的文本片段 和输出中不同部分的对齐关系和关键短语的信息。在具体实验中，本发明提出的方法与现 有的多方面情感分析方法相比，输出结构更加清晰，识别精度更高。应当指出，对于本技术 领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这 些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技 术加以实现。
【主权项】
1. 一种计算机中设及情感的文本数据分析方法，其特征在于，包括如下步骤： 步骤1，计算机读入一个包含待处理句子的文本数据，识别待处理句子中所提到的方面 类别，方面类别形式上定义为<entity#att;ribute〉，其中entity为实体，attribute为属性； 步骤2,对于步骤1所识别到的方面类别，判别其在待处理句子中所对应的情感倾向并 输出最终结果。2. 根据权利要求1所述的方法，其特征在于，步骤1中，采用如下式所示的方面识别模型 识别待处理句子中的方面类别：其中，X表示待处理句子中包含的N维信息特征向量，巧为输出的K维判别值向量，N和K取 值为自然数，W和b为模型参数，W为一个K X N的矩阵，b为K维偏置向量，O为SOf tmax函数，其 运算方式如下：其中e为自然底数，上标表示指数函数，Z = W ? x+b，表示归一化前的得分向量，Zj和Zk分 别表示Z的第j维和第k维。3. 根据权利要求2所述的方法，其特征在于，方面识别模型的训练目标为最小化代价函 数J(W，b):其中，InO为自然底数对数，A为设定的超参，m为训练样本数量，y为与输出的K维判别 值向量文所对应的标注的标准二值向量，yi,J表示第i个训练样本中第j维的值，当且仅当第i 个样本有第j个方面类别时，yi,功1，否则为0。4. 根据权利要求2所述的方法，其特征在于，所述方面识别模型使用的n维信息特征向 量X包括W下S项： 二值词袋模型特征； 对齐模型概率特征； 翻译短语特征。5. 根据权利要求4所述的方法，其特征在于，所述对齐模型概率特征包括至少W下之 -* ? 正向对齐概率特征； 逆向对齐概率特征。6. 根据权利要求5所述的方法，其特征在于，通过W下公式计算正向对齐概率特征p(a S):其中，S表示待处理句子，C表示句子中的一个词，a表示一个实体entity或者属性 attribute，t(a I C)表示从C至Ija的对齐概率。7. 根据权利要求5所述的方法，其特征在于，通过W下公式计算逆向对齐概率特征p(s a):其中，t k I a)表示从a至Ij C的对齐概率； 所述的对齐模型概率特征为正向对齐概率特征和逆向对齐概率特征的算术平均值。8. 根据权利要求4所述的方法，其特征在于，所述的对齐模型概率特征和翻译短语特征 的获取通过W下文法构造目标语言： 用S表示一个句子，S'表示一个分句，一个句子由任意个分句组成，一个分句S'的形式 是E A is P，其中E表示entity实体，A表示attr化Ute属性，P表示情感极性，情感极性有S 种，分别为positive、ne 邑 ative 和neutral。9. 根据权利要求8所述的方法，其特征在于，步骤2包括W下步骤： 步骤2-1，对步骤1所识别的待处理句子的每个方面类别，判别其情感倾向； 步骤2-2,结合步骤1和步骤2-1的结果，输出最终的二元组信息：<entity#att;ribute， polarity〉。10. 根据权利要求9所述的方法，其特征在于，步骤2-1中，判别情感倾向的方式为采用 支持向量机SVM进行二元分类，分类器的输入为句子的信息和方面类别，即 X= <words ,entity ,attribute〉， 其中，X为支持向量机SVM分类器输入的待处理句子中包含的n维信息特征向量，words 表示二值词袋向量，entity和attr化Ute分别是一个1-hot向量，entity和attr化ute共同指 示了一个唯一的方面类别。
【文档编号】G06F17/30GK105912720SQ201610289197
【公开日】2016年8月31日
【申请日】2016年5月4日
【发明人】戴新宇, 黄家君, 陈家骏, 黄书剑, 张建兵
【申请人】南京大学