一种中文文本中评价对象的识别方法及装置制造方法
【专利摘要】本申请公开了一种中文文本中评价对象识别方法及装置，方法为：对语料库中的各条原始语料进行分词，并确定分词所得的各个词特征的词性特征，接收用户输入的各个所述词特征的标签，标签标明词特征是否为评价对象或情感词，对各条原始语料进行分句，将原始语料划分为若干子句，筛选出目标子句，所述目标子句中包含标签为情感词的词特征，利用预设的特征模板，从所述目标子句中提取语料特征，组成训练语料，利用所述训练语料对最大熵分类器进行训练，得到训练后的目标最大熵分类器，利用目标最大熵分类器对待测文本进行评价对象的识别。本申请使用了最大熵分类器并结合了多种特征去识别待测文本中是否有评价对象，获得了良好的效果。
【专利说明】一种中文文本中评价对象的识别方法及装置
【技术领域】
[0001]本申请涉及自然语言处理【技术领域】，更具体地说，涉及一种中文文本中评价对象的识别方法及装置。
【背景技术】
[0002]近几年，随着国内互联网技术的迅猛发展，几大电商如淘宝、京东等，正悄然改变着大众的生活方式；同时，大众点评等资讯类网站和微博等新兴社交网站的崛起，使得国内互联网用户越来越多的在网络上发布自己的主观观点，产生了大量的中文评论文本。而这些富含大量信息的评论文本向中文情感分析技术提出了新的挑战。
[0003]情感信息抽取，是一种关于细粒度文本的情感分析技术，就是对情感文本中有价值的情感信息进行抽取。现有的情感信息抽取任务的相关研究工作主要集中在抽取观点持有者(Opin1n Holder)、评价词语(Polarity Word)、评价对象(Opin1n Target)这三个方面。其中，评价对象抽取在情感信息抽取任务中有着举足轻重的地位。
[0004]由于中文文本中常常出现部分信息省略的情况，在中文情感文本中，这些省略的信息往往表现为评价对象的省略，这对评价对象抽取的性能造成了一定的影响。目前针对情感文本中的评价对象省略现象没有相关的研究。
【发明内容】
[0005]有鉴于此，本申请提供了一种中文文本中评价对象的识别方法及装置，用于解决现有技术缺乏对中文文本中评价对象是否省略进行判断的问题。
[0006]为了实现上述目的，现提出的方案如下:
[0007]一种中文文本中评价对象的识别方法，包括:
[0008]对语料库中的各条原始语料进行分词，并确定分词所得的各个词特征的词性特征；
[0009]接收用户输入的各个所述词特征的标签，所述标签标明词特征是否为评价对象或情感词；
[0010]对各条原始语料进行分句，将原始语料划分为若干子句；
[0011]筛选出目标子句，所述目标子句中包含标签为情感词的词特征；
[0012]利用预设的特征模板，从所述目标子句中提取语料特征，组成训练语料；
[0013]利用所述训练语料对最大熵分类器进行训练，得到训练后的目标最大熵分类器；
[0014]利用所述目标最大熵分类器对待测文本进行评价对象的识别。
[0015]优选地，所述对语料库中的各条原始语料进行分词，并确定分词所得的各个词特征的词性特征，包括:
[0016]利用Stanford Parser工具来对语料库中的各条原始语料进行分词，并确定分词所得的各个词特征的词性特征。
[0017]优选地，所述利用预设的特征模板，从所述目标子句中提取语料特征，组成训练语料，包括:
[0018]将所述目标子句划分为第一类目标子句和第二类目标子句，所述第一类目标子句为不包含标签为评价对象的词特征的子句，所述第二类目标子句为包含标签为评价对象的词特征的子句；
[0019]利用预设的特征模板，从所述第一类目标子句中提取语料特征，组成正例训练样本；
[0020]利用预设的特征模板，从所述第二类目标子句中提取语料特征，组成负例训练样本。
[0021 ] 优选地，所述特征模板包括:
[0022]第一特征子模板:当前子句的bagword特征，所述bagword特征为由子句的分词特征组成的分词序列；
[0023]第二特征子模板:由当前子句的词特征及词性特征共同组合的特征；
[0024]第三特征子模板:当前子句句首第一个词的词特征；
[0025]第四特征子模板:当前子句句首前两个词的词性特征；
[0026]第五特征子模板:当前子句所有词的词性特征；
[0027]第六特征子模板:当前子句句首第一个词的词性特征；
[0028]第七特征子模板:当前子句句末最后三个词的词性特征；
[0029]第八特征子模板:当前子句句末最后一个词的词特征和词性特征。
[0030]优选地，所述特征模板还包括:
[0031]第九特征子模板:当前子句的前一个子句的bagword特征。
[0032]一种中文文本中评价对象的识别装置，包括:
[0033]分词单元，用于对语料库中的各条原始语料进行分词，并确定分词所得的各个词特征的词性特征；
[0034]标签接收单元，用于接收用户输入的各个所述词特征的标签，所述标签标明词特征是否为评价对象或情感词；
[0035]分句单元，用于对各条原始语料进行分句，将原始语料划分为若干子句；
[0036]子句筛选单元，用于筛选出目标子句，所述目标子句中包含标签为情感词的词特征；
[0037]特征提取单元，用于利用预设的特征模板，从所述目标子句中提取语料特征，组成训练语料；
[0038]训练单元，用于利用所述训练语料对最大熵分类器进行训练，得到训练后的目标最大熵分类器；
[0039]对象识别单元，用于利用所述目标最大熵分类器对待测文本进行评价对象的识别。
[0040]优选地，所述分词单元包括:
[0041]第一分词子单元，用于利用Stanford Parser工具来对语料库中的各条原始语料进行分词，并确定分词所得的各个词特征的词性特征。
[0042]优选地，所述特征提取单元包括:
[0043]子句划分单元，用于将所述目标子句划分为第一类目标子句和第二类目标子句，所述第一类目标子句为不包含标签为评价对象的词特征的子句，所述第二类目标子句为包含标签为评价对象的词特征的子句；
[0044]正训练样本确定单元，用于利用预设的特征模板，从所述第一类目标子句中提取语料特征，组成正例训练样本；
[0045]负训练样本确定单元，用于利用预设的特征模板，从所述第二类目标子句中提取语料特征，组成负例训练样本。
[0046]优选地，所述特征提取单元中的特征模板包括:
[0047]第一特征子模板:当前子句的bagword特征，所述bagword特征为由子句的分词特征组成的分词序列；
[0048]第二特征子模板:由当前子句的词特征及词性特征共同组合的特征；
[0049]第三特征子模板:当前子句句首第一个词的词特征；
[0050]第四特征子模板:当前子句句首前两个词的词性特征；
[0051]第五特征子模板:当前子句所有词的词性特征；
[0052]第六特征子模板:当前子句句首第一个词的词性特征；
[0053]第七特征子模板:当前子句句末最后三个词的词性特征；
[0054]第八特征子模板:当前子句句末最后一个词的词特征和词性特征。
[0055]优选地，所述特征模板还包括:
[0056]第九特征子模板:当前子句的前一个子句的bagword特征。
[0057]从上述的技术方案可以看出，本申请实施例提供中文文本中评价对象识别方法，对语料库中的各条原始语料进行分词，并确定分词所得的各个词特征的词性特征，接收用户输入的各个所述词特征的标签，所述标签标明词特征是否为评价对象或情感词，对各条原始语料进行分句，将原始语料划分为若干子句，筛选出目标子句，所述目标子句中包含标签为情感词的词特征，利用预设的特征模板，从所述目标子句中提取语料特征，组成训练语料，利用所述训练语料对最大熵分类器进行训练，得到训练后的目标最大熵分类器，利用所述目标最大熵分类器对待测文本进行评价对象的识别。本申请使用了最大熵分类器并结合了多种特征去识别待测文本中是否有评价对象，获得了良好的效果。
【专利附图】
【附图说明】
[0058]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0059]图1为本申请实施例公开的一种中文文本中评价对象的识别方法流程图；
[0060]图2为本申请实施例公开的一种分词方法流程图；
[0061]图3为本申请实施例公开的一种事件触发词识别装置结构示意图；
[0062]图4为本申请实施例公开的一种特征提取单元结构示意图。
【具体实施方式】
[0063]下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0064]在介绍本申请的方法之前，先介绍一下什么是最大熵分类器。
[0065]最大熵分类方法是基于最大熵信息理论，其基本思想是为所有已知的因素建立模型，而把所有未知的因素排除在外。即要找到一种概率分布，满足所有已知的事实，但是让未知的因素最随机化。相对于朴素贝叶斯方法，该方法最大的特点就是不需要满足特征与特征之间的条件独立。因此，该方法适合统计各种不一样的特征，而无需考虑它们之间的影响。
[0066]参见图1，图1为本申请实施例公开的一种中文文本中评价对象的识别方法流程图。
[0067]如图1所示，该方法包括:
[0068]步骤S100、对语料库中的各条原始语料进行分词，并确定分词所得的各个词特征的词性特征；
[0069]具体地，本地语料库中包含多条原始语料。可以从中选取若干条原始语料或者全部的原始语料，然后对各条原始语料进行分词，获得词特征。然后，对于每一个词特征均确定其词性特征，词性特征表明该分词的词性，例如动词、名词等。下面通过一个具体例子来说明:
[0070]原事件:表姐要结婚了。
[0071]分词结果:表姐/要/结婚/ 了 /。
[0072]词性标注结果:表姐/NN要/W结婚/W 了 /ST。/PU
[0073]其中，NN、VV等为Stanford词性标准工具规定的词性代码，NN为名称、VV为动词，PU为所有标点符号的代码。其它的可以参考Stanford词性标准工具对于词性的标注解释。
[0074]需要解释的是，在进行分词并确定词性特征时，可以使用最大概率法、最大匹配法、条件随机场方法或Stanford Parser工具来进行分词及确定词性特征。
[0075]步骤S110、接收用户输入的各个所述词特征的标签，所述标签标明词特征是否为评价对象或情感词；
[0076]具体地，对于分词后的每个词特征，由用户进行人工标注，为每个词特征分配标签，表明其是否为评价对象或者情感词。例如“朋友很喜欢苹果”这个实例中，词特征“苹果”的标签为评价对象，词特征“喜欢”的标签为情感词。
[0077]步骤S120、对各条原始语料进行分句，将原始语料划分为若干子句；
[0078]具体地分句时，以“。”、“？ ”、“ ! ”等作为整句的标识，而根据“，”、“；”等将整句划分为各个子句，并保持上下文关系。
[0079]步骤S130、筛选出目标子句，所述目标子句中包含标签为情感词的词特征；
[0080]具体地，对于没有情感词的子句，对于我们后续情感分析不能够提供数据基础，因此本步骤中需要剔除掉这部分子句。
[0081]步骤S140、利用预设的特征模板，从所述目标子句中提取语料特征，组成训练语料；
[0082]具体地，我们预先设定了特征模板，该特征模板规定了所需特征的具体形式。利用特征模板，从目标子句中提取语料特征，组成训练语料。
[0083]步骤S150、利用所述训练语料对最大熵分类器进行训练，得到训练后的目标最大熵分类器；
[0084]步骤S160、利用所述目标最大熵分类器对待测文本进行评价对象的识别。
[0085]具体地，利用训练语料可以对最大熵分类器进行训练，使得最大熵分类器可以识别文本中的评价对象。
[0086]本申请实施例提供中文文本中评价对象识别方法，对语料库中的各条原始语料进行分词，并确定分词所得的各个词特征的词性特征，接收用户输入的各个所述词特征的标签，所述标签标明词特征是否为评价对象或情感词，对各条原始语料进行分句，将原始语料划分为若干子句，筛选出目标子句，所述目标子句中包含标签为情感词的词特征，利用预设的特征模板，从所述目标子句中提取语料特征，组成训练语料，利用所述训练语料对最大熵分类器进行训练，得到训练后的目标最大熵分类器，利用所述目标最大熵分类器对待测文本进行评价对象的识别。本申请使用了最大熵分类器并结合了多种特征去识别待测文本中是否有评价对象，获得了良好的效果。
[0087]参见图2，图2为本申请实施例公开的一种分词方法流程图。
[0088]如图2所示，上述步骤S100具体可以为:
[0089]步骤S200、将所述目标子句划分为第一类目标子句和第二类目标子句；
[0090]具体地，所述第一类目标子句为不包含标签为评价对象的词特征的子句，所述第二类目标子句为包含标签为评价对象的词特征的子句。
[0091]步骤S210、利用预设的特征模板，从所述第一类目标子句中提取语料特征，组成正例训练样本；
[0092]步骤S220、利用预设的特征模板，从所述第二类目标子句中提取语料特征，组成负例训练样本。
[0093]正例训练样本和负例训练样本共同组成了训练语料，用来对最大熵分类器进行训练。
[0094]需要解释的是，上述特征模板可以具体包括以下几类:
[0095]第一特征子模板:当前子句的bagword特征，所述bagword特征为由子句的分词特征组成的分词序列；
[0096]第二特征子模板:由当前子句的词特征及词性特征共同组合的特征；
[0097]第三特征子模板:当前子句句首第一个词的词特征；
[0098]第四特征子模板:当前子句句首前两个词的词性特征；
[0099]第五特征子模板:当前子句所有词的词性特征；
[0100]第六特征子模板:当前子句句首第一个词的词性特征；
[0101]第七特征子模板:当前子句句末最后三个词的词性特征；
[0102]第八特征子模板:当前子句句末最后一个词的词特征和词性特征。
[0103]第九特征子模板:当前子句的前一个子句的bagword特征。
[0104]为了更清楚的对上述特征进行解释，下面以一个具体实例来进行说明:
[0105]以当前分句“朋友很喜欢。”为例，分词后的结果为“朋友很喜欢。”，前一个子句为“很好，”，分词后的结果为“很好，”，“朋友”的词性为剛，“很”的词性为AD，“喜欢”的词性为VV，“好”的词性为VA，标点的词性统一为PU。
[0106]特征1:当前子句的bagword特征，S卩“朋友很喜欢。”；
[0107]特征2:由当前子句的词特征及词性特征共同组合的特征，即将“朋友_NN很_AD喜欢_VV。_PU”作为特征；
[0108]特征3:当前子句句首第一个词的词特征，即“朋友”；
[0109]特征4:当前子句句首前两个词的词性特征，即“NN_AD” ；
[0110]特征5:当前子句所有词的词性特征，即“NN_AD_VV_PU” ；
[0111]特征6:当前子句句首第一个词的词性特征，S卩“ NN”；
[0112]特征7:当前子句句末最后三个词的词性特征，因此本特征取“AD_VV_PU” ；
[0113]特征8:当前子句句末最后一个词的词特征和词性特征，即为“。_PU”；
[0114]特征9:当前子句的前一个子句的bagword特征，即为“很好，”。
[0115]下面对本申请实施例提供的中文文本中评价对象的识别装置进行描述，下文描述的中文文本中评价对象的识别装置与上文描述的中文文本中评价对象的识别方法可相互对应参照。
[0116]参见图3，图3为本申请实施例公开的一种事件触发词识别装置结构示意图。
[0117]如图3所示，该装置包括:
[0118]分词单元31，用于对语料库中的各条原始语料进行分词，并确定分词所得的各个词特征的词性特征；
[0119]标签接收单元32，用于接收用户输入的各个所述词特征的标签，所述标签标明词特征是否为评价对象或情感词；
[0120]分句单元33，用于对各条原始语料进行分句，将原始语料划分为若干子句；
[0121]子句筛选单元34，用于筛选出目标子句，所述目标子句中包含标签为情感词的词特征；
[0122]特征提取单元35，用于利用预设的特征模板，从所述目标子句中提取语料特征，组成训练语料；
[0123]训练单元36，用于利用所述训练语料对最大熵分类器进行训练，得到训练后的目标最大熵分类器；
[0124]对象识别单元37，用于利用所述目标最大熵分类器对待测文本进行评价对象的识别。
[0125]可选的，参见图4，图4为本申请实施例公开的一种特征提取单元结构示意图。
[0126]如图4所示，特征提取单元35包括:
[0127]子句划分单元41，用于将所述目标子句划分为第一类目标子句和第二类目标子句，所述第一类目标子句为不包含标签为评价对象的词特征的子句，所述第二类目标子句为包含标签为评价对象的词特征的子句；
[0128]正训练样本确定单元42，用于利用预设的特征模板，从所述第一类目标子句中提取语料特征，组成正例训练样本；
[0129]负训练样本确定单元43，用于利用预设的特征模板，从所述第二类目标子句中提取语料特征，组成负例训练样本。
[0130]可选的，上述特征模板可以包括:
[0131]第一特征子模板:当前子句的bagword特征，所述bagword特征为由子句的分词特征组成的分词序列；
[0132]第二特征子模板:由当前子句的词特征及词性特征共同组合的特征；
[0133]第三特征子模板:当前子句句首第一个词的词特征；
[0134]第四特征子模板:当前子句句首前两个词的词性特征；
[0135]第五特征子模板:当前子句所有词的词性特征；
[0136]第六特征子模板:当前子句句首第一个词的词性特征；
[0137]第七特征子模板:当前子句句末最后三个词的词性特征；
[0138]第八特征子模板:当前子句句末最后一个词的词特征和词性特征。
[0139]第九特征子模板:当前子句的前一个子句的bagword特征。
[0140]本申请实施例提供中文文本中评价对象识别装置，对语料库中的各条原始语料进行分词，并确定分词所得的各个词特征的词性特征，接收用户输入的各个所述词特征的标签，所述标签标明词特征是否为评价对象或情感词，对各条原始语料进行分句，将原始语料划分为若干子句，筛选出目标子句，所述目标子句中包含标签为情感词的词特征，利用预设的特征模板，从所述目标子句中提取语料特征，组成训练语料，利用所述训练语料对最大熵分类器进行训练，得到训练后的目标最大熵分类器，利用所述目标最大熵分类器对待测文本进行评价对象的识别。本申请使用了最大熵分类器并结合了多种特征去识别待测文本中是否有评价对象，获得了良好的效果。
[0141]最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0142]本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
[0143]对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
【权利要求】
1.一种中文文本中评价对象的识别方法，其特征在于，包括: 对语料库中的各条原始语料进行分词，并确定分词所得的各个词特征的词性特征； 接收用户输入的各个所述词特征的标签，所述标签标明词特征是否为评价对象或情感词； 对各条原始语料进行分句，将原始语料划分为若干子句； 筛选出目标子句，所述目标子句中包含标签为情感词的词特征； 利用预设的特征模板，从所述目标子句中提取语料特征，组成训练语料； 利用所述训练语料对最大熵分类器进行训练，得到训练后的目标最大熵分类器； 利用所述目标最大熵分类器对待测文本进行评价对象的识别。
2.根据权利要求1所述的识别方法，其特征在于，所述对语料库中的各条原始语料进行分词，并确定分词所得的各个词特征的词性特征，包括: 利用Stanford Parser工具来对语料库中的各条原始语料进行分词,并确定分词所得的各个词特征的词性特征。
3.根据权利要求1所述的识别方法，其特征在于，所述利用预设的特征模板，从所述目标子句中提取语料特征，组成训练语料，包括: 将所述目标子句划分为第一类目标子句和第二类目标子句，所述第一类目标子句为不包含标签为评价对象的词特征的子句，所述第二类目标子句为包含标签为评价对象的词特征的子句； 利用预设的特征模板，从所述第一类目标子句中提取语料特征，组成正例训练样本； 利用预设的特征模板，从所述第二类目标子句中提取语料特征，组成负例训练样本。
4.根据权利要求3所述的识别方法，其特征在于，所述特征模板包括: 第一特征子模板:当前子句的bagword特征,所述bagword特征为由子句的分词特征组成的分词序列； 第二特征子模板:由当前子句的词特征及词性特征共同组合的特征； 第三特征子模板:当前子句句首第一个词的词特征； 第四特征子模板:当前子句句首前两个词的词性特征； 第五特征子模板:当前子句所有词的词性特征； 第六特征子模板:当前子句句首第一个词的词性特征； 第七特征子模板:当前子句句末最后三个词的词性特征； 第八特征子模板:当前子句句末最后一个词的词特征和词性特征。
5.根据权利要求4所述的识别方法，其特征在于，所述特征模板还包括: 第九特征子模板:当前子句的前一个子句的bagword特征。
6.一种中文文本中评价对象的识别装置，其特征在于，包括: 分词单元，用于对语料库中的各条原始语料进行分词，并确定分词所得的各个词特征的词性特征； 标签接收单元，用于接收用户输入的各个所述词特征的标签，所述标签标明词特征是否为评价对象或情感词； 分句单元，用于对各条原始语料进行分句，将原始语料划分为若干子句； 子句筛选单元，用于筛选出目标子句，所述目标子句中包含标签为情感词的词特征； 特征提取单元，用于利用预设的特征模板，从所述目标子句中提取语料特征，组成训练语料； 训练单元，用于利用所述训练语料对最大熵分类器进行训练，得到训练后的目标最大熵分类器； 对象识别单元，用于利用所述目标最大熵分类器对待测文本进行评价对象的识别。
7.根据权利要求6所述的识别装置，其特征在于，所述分词单元包括: 第一分词子单元，用于利用Stanford Parser工具来对语料库中的各条原始语料进行分词，并确定分词所得的各个词特征的词性特征。
8.根据权利要求6所述的识别装置，其特征在于，所述特征提取单元包括: 子句划分单元，用于将所述目标子句划分为第一类目标子句和第二类目标子句，所述第一类目标子句为不包含标签为评价对象的词特征的子句，所述第二类目标子句为包含标签为评价对象的词特征的子句； 正训练样本确定单元，用于利用预设的特征模板，从所述第一类目标子句中提取语料特征，组成正例训练样本； 负训练样本确定单元，用于利用预设的特征模板，从所述第二类目标子句中提取语料特征，组成负例训练样本。
9.根据权利要求8所述的识别装置，其特征在于，所述特征提取单元中的特征模板包括: 第一特征子模板:当前子句的bagword特征,所述bagword特征为由子句的分词特征组成的分词序列； 第二特征子模板:由当前子句的词特征及词性特征共同组合的特征； 第三特征子模板:当前子句句首第一个词的词特征； 第四特征子模板:当前子句句首前两个词的词性特征； 第五特征子模板:当前子句所有词的词性特征； 第六特征子模板:当前子句句首第一个词的词性特征； 第七特征子模板:当前子句句末最后三个词的词性特征； 第八特征子模板:当前子句句末最后一个词的词特征和词性特征。
10.根据权利要求9所述的识别装置，其特征在于，所述特征模板还包括: 第九特征子模板:当前子句的前一个子句的bagword特征。
【文档编号】G06F17/28GK104298665SQ201410548882
【公开日】2015年1月21日 申请日期:2014年10月16日 优先权日:2014年10月16日
【发明者】李寿山, 戴敏, 周国栋 申请人:苏州大学