一种情感词与评价对象的关系识别方法
【专利摘要】一种情感词与评价对象的关系识别方法，其主要步骤为：制作语料、训练条件随机场模型、抽取情感词和评价对象、构成情感词和评价对象候选组、训练最大熵分类器、测试最大熵分类器、实际应用。本发明能充分考虑情感词和评价对象的关系，使用了最大熵分类器并结合了多种特征去识别条件随机场模型抽取出的情感词和评价对象候选组是否有对应关系，获得了良好的识别效果。实验证明本发明提出的一种情感词与评价对象的关系识别方法可以取得较好的效果，适合应用到实际问题中。
【专利说明】一种情感词与评价对象的关系识别方法
【技术领域】
[0001]本发明涉及自然语言处理【技术领域】及模式识别领域，特别是一种情感词与评价对象的关系识别方法。
【背景技术】
[0002]21世纪以来，随着互联网的飞速发展，人们越来越多地在网络上表达自己的观点与情感，这类文本往往以商品评论、论坛评论、博客的形式存在，并且大部分文本能很好的反映人们的看法和意见。而通过人工的方法来分析这些海量文本中的情感信息需要耗费大量的时间，人力和物力，在这种背景下，情感分析技术应运而生，并在自然语言处理研究领域得到了广大研究者的关注，具有很大的应用价值。
[0003]所谓文本情感分析，就是对说话人的态度(或称观点、情感)进行分析，也就是对文本中的主观性信息进行分析。情感分析的研究已经开展多年，研究的主要任务集中在情感分类子任务上面。但是随着应用问题的迫切需要，词语级别或者短语级别等细粒度的情感信息抽取和分析技术开始渐渐受到广大研究者的关注。例如，在以下的几个具体应用中需要细粒度的情感信息:a)观点问答:关于评价对象实体的一些问题，如“用户喜欢产品X的哪个方面？ ”山)推荐系统:系统要清楚推荐那些在某个具体方面获得良好评价的实体；c)意见摘要:对关于实体X的Y方面的所有正面/负面的观点做一个综述，并对它们进行相应地分割。上述任务的共同点是系统必须能够识别单个句子所包含的观点是具体评价哪一个对象的，针对这个对象的观点是褒义的还是贬义的，即需要知道“评价对象”是什么，及相对应的极性。因此，在构建一个具体的应用系统中，除了需要知道文本表达的情感极性外，还需要对文本情感表达的其他相关信息进行了解和分析。
[0004]目前，情感信息抽取任务的研究主要集中于以下三个方面:观点持有者(OpinionHolder)、评价词语(Polarity Word)和评价对象(Opinion Target)。观点持有者的抽取主要面向新闻文本，识别对象是观点/评论的隶属者。关于观点持有者的抽取方法主要是基于非监督的启发式规则，大致有以下几个方面:a)基于命名实体识别的抽取方法:b)基于语义角色标注的抽取方法。评价词语即情感词，指带有情感色彩的词语，在情感信息抽取中起着非常重要的作用。评价词语的抽取方法主要分为基于语料库和词典两种。评价对象抽取是抽取评论文本中情感表达所面向的对象，该任务是情感信息抽取任务研究最为广泛的一项任务，相继出现了大量的抽取方法大致可以分为两个部分:基于非监督和监督学习的抽取方法。其中情感词和评价对象的关系识别也是情感信息抽取中的一个基本问题。
【发明内容】
[0005]有鉴于此，本发明的目的在于提出一种情感词与评价对象的关系识别方法，此方法能够抽取句子中的情感词及评价对象，并且识别两者间是否存在对应关系。
[0006]根据该发明目的提出的一种情感词与评价对象的关系识别方法，包括:
[0007]a)制作语料:抽取一段中文文本作为语料，进行分词处理和词性标注，获得每个词的词性，在分词后的中文文本中人工标注出句子中对应的情感词和评价对象；
[0008]b)训练条件随机场模型:将上述标注好的语料分成三个部分，选取其中第一部分语料作为训练集，训练得到一个条件随机场模型；
[0009]c)抽取情感词和评价对象:使用所述条件随机场模型，分别抽取第二部分语料和第三部分语料中的情感词和评价对象，得到结果文件SI和S2 ；
[0010]d)构成情感词和评价对象候选组:将所述SI和S2中每个句子里抽取出的情感词和评价对象两两组合，构成情感词-评价对象候选组，将情感词与评价对象的关系识别建模为二元分类问题；
[0011]e)训练最大熵分类器:抽取所述SI中情感词-评价对象候选组的特征构造作为训练集训练得到一个最大熵分类器；
[0012]f)测试最大熵分类器:使用所述S2中的情感词和评价对象对上述最大熵分类器进行测试；
[0013]g)实际应用:使用所述的条件随机场模型抽取待目标中文文本中的情感词和评价对象，使用所述的最大熵分类器对抽取的情感词和评价对象进行判断，即识别出所述的情感词和评价对象的关系。
[0014]优选的，所述步骤a)中采用斯坦福句法分析器来实现对语料的分词和词性标注。
[0015]优选的，所述步骤b)使用所述训练集训练一个条件随机场模型时，该训练集通过在第一部分语料中，选用词特征和词性特征为抽取特征，处理成训练语料的格式。
[0016]优选的，所述步骤c)中使用条件随机场模型，抽取第二部分语料和第三部分语料中的情感词和评价对象时，先要将所述第二部分语料和第三部分语料按照词特征和词性特征处理成训练语料的格式。
[0017]优选的，所述步骤e)中，首先从所述SI所得的情感词-评价对象候选组中选取存在对应关系的正确组作为所述最大熵分类器的正训练样例，抽取该情感词和评价对象的特征构成分类器的正例训练样本；然后从所述Si所得的情感词-评价对象候选组中选取不存在对应关系的候选组作为分类器的负训练样例，抽取情感词和评价对象的特征构成分类器的负例训练样本；最后，通过训练得到所述最大熵分类器。
[0018]优选的，所述情感词和评价对象的特征如下:
[0019]特征1:候选组中的情感词词特征与评价对象的词特征构成的组合特征；
[0020]特征2:候选组中的情感词词特征与评价对象的词性特征构成的组合特征；
[0021]特征3:候选组中的情感词词性特征与评价对象词特征构成的组合特征；
[0022]特征4:候选组中的情感词词性特征与评价对象词性特征构成的组合特征；
[0023]特征5:候选组中的情感词和评价对象是否位于同一个子句中；
[0024]特征6:候选组中的情感词和评价对象的距离特征。
[0025]优选的，步骤f)中，针对所述S2同样抽取所述情感词和评价对象的该6个特征进行测试，识别出S2中情感词和评价对象候选组是否存在对应关系。
[0026]优选的，所述第一部分语料、第二部分语料和第三部分语料各占40%、40%和20%。
[0027]相对于现有技术，本发明实施例能充分考虑情感词和评价对象的关系，使用了最大熵分类器并结合了多种特征去识别条件随机场模型抽取出的情感词和评价对象候选组是否有对应关系，获得了良好的识别效果。这是由于本发明实施例提供的特征能够很好的反应情感词与评价对象的对应关系。本发明实施例将情感词与评价对象的关系视为二元分类问题，提供了一种基于最大熵分类器的关系识别方法，获得了很好的效果。
【专利附图】
【附图说明】
[0028]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0029]图1为本发明实施例提供的一种情感词与评价对象的关系识别方法的流程示意图。
[0030]图2是本发明实施例中抽取情感词和评价对象的实验性能。
[0031]图3是本发明实施例中情感词与评价对象的关系识别结果。
【具体实施方式】
[0032]本发明实施例提供了一种情感词与评价对象的关系识别方法，充分考虑了情感词与评价对象之间的关系，实现利用最大熵分类器识别是否存在对应关系，公开了 3类特征以用于最大熵分类器学习，获得了较好的识别效果。
[0033]下面参考附图来描述根据本发明的优选实施例。
[0034]图1是本发明的情感词与评价对象关系识别方法流程图，具体步骤描述如下:
[0035]101、制作语料:抽取一段中文文本作为语料，进行分词处理和词性标注，获得每个词的词性，在分词后的中文文本中人工标注出句子中对应的情感词和评价对象。
[0036]中文分词是指将一个汉字序列切分成一个一个单独的词，就是将连续的字序列按照一定的规范重新组合成词序列的过程。如“我喜欢旅游”分词后变为“我喜欢旅游”。词性标注是指标明词的词性(如:名词、动词、形容词等)。分词和词性标注使用现有的分词工具，如最大概率法、最大匹配法、条件随机场方法等等。本发明采用斯坦福句法分析器(Stanford Parser工具)来实现对评价语料的分词和词性标注。其中Stanford Parser是一个现有的公共工具。当然，本发明也可采用其他的分词和词性标注工具。
[0037]在分词后的文本中人工标注出句子中对应的评价对象和情感词，标注过程中忽略句子中缺少情感词或者缺少评价对象的情况。
[0038]102、训练条件随机场模型:将上述标注好的语料分成三个部分，选取其中第一部分语料作为训练集，训练得到一个条件随机场模型。
[0039]这其中，首先从已有语料中随机选取40%的语料为第一部分语料，该第一部分语料作为条件随机场模型的训练集；然后对该第一部分语料抽取特征处理成训练语料的格式，这里的特征在本发明实施例中选用词特征和词性特征(其中，词特征是指当前词的词形，词形特征往往能够决定一个词是否是评价对象，或者是情感词，而词性特征是指当前词的词性，由于情感词常为形容词，评价对象往往是名词或名词短语，因此这两个特征能够较好的识别出句子中的情感词和评价对象)；最后进行训练，得到抽取模型Ml (即条件随机场模型)。
[0040]此步骤中，本发明实施例选用的机器学习方法为条件随机场模型，下面对此模型进行概述:
[0041]条件随机场模型(ConditionalRandom Fields, CRFs)是由 John Lafferty 等提出的一种基于统计的序列标注模型，它是在给定输入结点的条件下，用于计算输出结点的条件概率的无向图模型。常被用作序列数据的分割和标注。CRFs已被应用到自然语言处理的多个领域，如中文分词、命名实体识别等。
[0042]Lafferty对条件随机场势函数的选择受最大熵的影响很大,势函数的形式定义如下:
[0043]
【权利要求】
1.一种情感词与评价对象的关系识别方法，其特征在于，包括: a)制作语料:抽取一段中文文本作为语料，进行分词处理和词性标注，获得每个词的词性，在分词后的中文文本中人工标注出句子中对应的情感词和评价对象； b)训练条件随机场模型:将上述标注好的语料分成三个部分，选取其中第一部分语料作为训练集，训练得到一个条件随机场模型； c)抽取情感词和评价对象:使用所述条件随机场模型，分别抽取第二部分语料和第三部分语料中的情感词和评价对象，得到结果文件SI和S2 ； d)构成情感词和评价对象候选组:将所述SI和S2中每个句子里抽取出的情感词和评价对象两两组合，构成情感词-评价对象候选组，将情感词与评价对象的关系识别建模为二元分类问题； e)训练最大熵分类器:抽取所述SI中情感词-评价对象候选组的特征构造作为训练集训练得到一个最大熵分类器； f)测试最大熵分类器:使用所述S2中的情感词和评价对象对上述最大熵分类器进行测试; g)实际应用:使用所述的条件随机场模型抽取待目标中文文本中的情感词和评价对象，使用所述的最大熵分类器对抽取的情感词和评价对象进行判断，即识别出所述的情感词和评价对象的关系。
2.根据权利要求1所述的识别方法，其特征在于:所述步骤a)中采用斯坦福句法分析器来实现对语料的分词和词性标注。
3.根据权利要求1所述的识别方法，其特征在于:所述步骤b)使用所述训练集训练一个条件随机场模型时，该训练集通过在第一部分语料中，选用词特征和词性特征为抽取特征，处理成训练语料的格式。
4.根据权利要求1所述的识别方法，其特征在于:所述步骤c)中使用条件随机场模型，抽取第二部分语料和第三部分语料中的情感词和评价对象时，先要将所述第二部分语料和第三部分语料按照词特征和词性特征处理成训练语料的格式。
5.根据权利要求1所述的识别方法，其特征在于:所述步骤e)中，首先从所述SI所得的情感词-评价对象候选组中选取存在对应关系的正确组作为所述最大熵分类器的正训练样例，抽取该情感词和评价对象的特征构成分类器的正例训练样本；然后从所述Si所得的情感词-评价对象候选组中选取不存在对应关系的候选组作为分类器的负训练样例，抽取情感词和评价对象的特征构成分类器的负例训练样本；最后，通过训练得到所述最大熵分类器。
6.根据权利要求5所述的识别方法，其特征在于:所述情感词和评价对象的特征如下: 特征1:候选组中的情感词词特征与评价对象的词特征构成的组合特征； 特征2:候选组中的情感词词特征与评价对象的词性特征构成的组合特征； 特征3:候选组中的情感词词性特征与评价对象词特征构成的组合特征； 特征4:候选组中的情感词词性特征与评价对象词性特征构成的组合特征； 特征5:候选组中的情感词和评价对象是否位于同一个子句中； 特征6:候选组中的情感词和评价对象的距离特征。
7.根据权利要求6所述的识别方法，其特征在于:步骤f)中，针对所述S2同样抽取所述情感词和评价对象的该6个特征进行测试，识别出S2中情感词和评价对象候选组是否存在对应关系。
8.根据权利要求1所述的识别方法，其特征在于:所述第一部分语料、第二部分语料和第三部分语料各占40%、40%和20%。
【文档编号】G06F17/30GK103631961SQ201310693087
【公开日】2014年3月12日 申请日期:2013年12月17日 优先权日:2013年12月17日
【发明者】李寿山, 戴敏, 周国栋 申请人:苏州大学张家港工业技术研究院