一种基于观点的文本分类方法
【专利摘要】本发明公开了一种基于观点的文本分类方法，具体步骤包括：（100）主题段的划分；（200）语句主观性的判别；（300）观点句识别；（400）观点句相似度计算；（500）观点句聚类。通过上述方式，本发明一种基于观点的文本分类方法，该方法可以实现动态的、语义的、低维高效的文本分类，使网络文本信息处理更符合人的认知过程，更能满足实际应用的需求。
【专利说明】-种基于观点的文本分类方法
【技术领域】
[0001] 本发明涉及文本挖掘和情感计算【技术领域】，尤其是涉及一种基于观点的文本分类 方法。
【背景技术】
[0002] 随着Web2. 0技术的发展，网络社区、博客和论坛给网络用户提供了更宽广的平台 来交流信息和表达意见，商业机构可W通过网络调查客户对产品的评论来了解客户意见并 进行市场调查与分析，对产品进行在线跟踪，不断赶紧产品性能和售后服务，培育潜在的消 费群体，同时消费者也可W通过浏览某产品的用户评价信息来选择是否购买该产品，政府 部口可W网络论坛来了解人们对某个政策法规或者时事的看法及时的了解民众对社会管 理者的社会政治态度并作出科学合理的决策，因此，如何快速，有效处理和分析该些主观性 的评论文本，了解其他人的想法和对事物的观点和态度是网络文本信息处理领域待解决的 重要问题之一。
[0003] 所谓观点，是指一个人对某事物的想法和理解，观点并非是事实，因为观点既没有 得到验证，也没有得到证明和确认，如果一个观点后来能够得到证明和确认，那它就不再是 一个观点，而变成一个事实，根据Kim和化vy对观点的定义；观点由四个要素组成：即主 题、持有者、陈述、情感，该四个元素之间存在着内在的联系，即观点的持有者针对某主题发 表了具有情感的意见陈述。
[0004] 作为一个新兴的研究领域，观点挖掘研究引起NLP研究界的广泛关注，近年来， NLP相关的一些国际会议都设有专题来讨论观点挖掘问题，众多的研究成果可W分为两大 类；文档级(粗粒度）观点挖掘和句子级（中粒度）观点挖掘。
[0005] 粗粒度观点挖掘将评价文本划分为支持、反对和中立H大类，粗粒度观点挖掘虽 然可W看做文本分类，但与传统的面向主题的文本分类有很大的不同，在传统面向主题的 文本分类中，与主题相关的词非常重要；而在粗粒度观点挖掘中，表明褒义或眶义观点的情 感词最有用。
[0006] 粗粒度观点挖掘不能发现用户喜欢与不喜欢的具体细节，例如用户可能对一款数 码相机的外形设计满意，但是对其电池的使用寿命却不太满意，在很多时候仅仅是该种总 体上的判断还不够，因为人们对于某一话题进行观点和态度表达的时候除了对总体上的评 价外，往往还包括了对其中某个部分或者特性的评价。
[0007] 中粒度观点挖掘主要是应用于对事物特性发表观点的抽取，该方法进入到语句层 次，W便能够提取观点的具体细节，当然该里的事物可W是一个产品、一种服务、一个人、一 个组织、一个事件等，例如"该台照相机的电池寿命太短"该句话，用户评价的产品特征是该 款相机的"电池寿命"，并且该用户给出的结论（观点）是消极的。
[0008] 无论是粗粒度观点挖掘还是中粒度观点挖掘，像"美国先打伊拉克"和"伊拉克先 打美国"两种不同的观点都会归类为相同的一类，因为它们是W词为基本特征，并没有用到 语义特征(观点)，细粒度观点挖掘是按观点将文本或句子分类，类别的数量是动态的，因为 不同的人对同一事物有不同的看法，不仅仅是赞成、反对和中立，由于细粒度观点挖掘无法 得到一个通用的语料库，所W基于观点的文本分类是观点聚类。
[0009] 提出基于观点的文本分类的另一个动机是在过去的几十年中，语义计算、情感计 算有了长足的发展，动态文本分类、基于语义的文本分类、多技术综合的文本分类、低维高 效的文本分类有着迫切的应用需求。
【发明内容】
[0010] 本发明主要解决的技术问题是提供一种基于观点的文本分类方法，该方法可W实 现动态的、语义的、低维高效的文本分类，使网络文本信息处理更符合人的认知过程，更能 满足实际应用的需求。
[0011] 为解决上述技术问题，本发明采用的一个技术方案是：一种基于观点的文本分类 方法，具体步骤包括： (100)主题段的划分：首先输入文本，通过
【权利要求】
1. 一种基于观点的文本分类方法，其特征在于，具体步骤包括： (I O O ) 主题段的划分：首先输入文本，通过
(I ￡i，j ￡n)计算文本中每两个段落之间的语义相似度， 然后逐个找出主题发生转换的段落候选点Pkl，Pk2,……，Pt，若P t满足
,矣-1^>1, ,则确定辱为主题段落的划分候选点，继续处理下一个候 选点，如果全部主题段落划分候选点都处理完毕则结束，若不满足，判断巧M是否满足
，若满足，则认为为主题段落划分候选点，并继续处理下一个主题 段落划分候选点，若不满足，则判断主题段落划分候选点的下一个段落是否满足
，认为&不是划分段，直至全部主题段落划分候选点处理完毕则结 束，确定文本中的主题段落划分点，将文本中的所有自然段落合并为若干个主题段，即文本 可以表示为D=S1Ss2J:......￡sn，Sn表示主题段； 其中，
(WillWi2,……，……，Wik)为段落特征向量，Wu表示文本特征词列表中第j个元素在段 落i中的权值，权值根据词语在该段出现的频率计算，k为特征向量元素的个数，文本特征 向量F(D) = ^W2,......,W1)，W1表示文本特征词列表中第1个元素在全文中的权值，权值 根据词语在文本中出现的频率计算，*^是第r个主题段落划分候选点的段落的下标； (200)语句主观性的判别：采用CHI统计方法分别对主观文本和客观文本进行2-P0S主 观模式提取，首先对训练语料库中的句子进行分词和词性标注，然后构造2-POS统计语言 模型，最后根据公式（1)分别为主、客观模式集合中的每个2-POS类型计算CHI统计量，并 依据CHI值排序，
其中表示属于类Ci的句子中包含第k个2-POS模式句子数， 表示不属于类Ci的句子中包含第k个2-POS模式句子数，表 示属于类Ci的句子中不包含第k个2-POS模式句子数，表示既不属于类Ci也不包含第k个2-POS模式句子数，N表示语料中的句子总数； 利用统计方法在康奈尔大学提供的影评数据集上获得主观规则； 所述主观模式和所述主观规则统称为主观线索，首先根据公式（2)计算主观线索Clue 权重， Wight (Clue) =Max (CHI 值 / 最大 CHI 值，置信度 *falg) (2) 其中flag=l，则主观线索为主观句置信度，否则flag=0 ; 然后跟据主观线索密度定义公式（3)计算主观线索密度：
其中，句子包含的主观线索词总数为见相邻的两个主观线索词^和wi+1之间的非主观 线索词数量表示为(Jfi, ri+1)，关键词ri+1在句子中的权重表示为(ri+1); 根据公式（4)采用dWW/方法计算主观线索词的权重：
其中，表示包含词的句子数，是总句子数，在句子幻中出现的次数表 示为; 句子是主观性句子的可能性大小与SD(S)值的大小成正比关系； (300)观点句识别：观点句不同于主观句，是主观句子集，观点句识别首先要构造观点 词语字典，然后利用观点词语字典对句子出现的观点词语进行统计，将统计的结果，利用 ID3算法生成决策树，从而用于观点句的识别； (400)观点句相似度计算：首先进行观点抽取，根据步骤（100)对主题聚类，然后对同 一主题，抽取描述主题的属性，对同一属性评价的褒贬词类别即为观点词，最后根据公式 (5)计算词语的权重，
其中，k表示句子中出现的词类数，Iii表示句中i类词的个数，表示第i个观点的 权重。
2.假设句子A包含词语的观点权重集合为WordSet (A) = (W1, W2……Wj，句子B包 含词语的观点权重集合为WordSet (B) = (W1, W2,…….，Wj，如果句子B的观点权重集合 WordSet (B)包含 WordSet (A)中的第 i 个词（I < i < n)，即 Wi G WordSet (A) n WordSet (B), 则第i个词出现，Wi对句A和句B相似度的贡献为Si，同理，如果Wi不在WordSet (B) 中出现，而 Wj(Wj G WordSet (A)，l 彡 j 彡 n)在 WordSet(B)中出现，即 Wj G WordSet (A) n WordSet (B)，设此时词第j个词的出现，Wj对句A和句B相似度的贡献为Sj, 如果第i个词和第j个词同时在句A和句B中出现，则Wi和％对句A和句B的相似度的 贡献为Sij,且有SiPSJSj,则相近词对Wi和W j对A，B相似度的贡献度为Sij- (SJSjXWi和 Wj的相似度大小与Sij- (SJSj)的值的大小成反比，Sij- (SJSj)的值越小，则Wi和Wj越相 似； (500)观点句聚类：结合步骤（100)至步骤（400)，根据公式（6)进行观点聚类，
优先级权重，并不是所有特征都对相似度有贡献，有效配对指满足优先级规则的特征匹配， PairCiunt1为观点句1的词语数，PairCiunt2为观点句2的词语数。
3.根据权利要求1所述的一种基于观点的文本分类方法，其特征在于：所述步骤（200) 中的主观规则包括： 规则1 :程度副词(绝对、非常、相当主观句（0.75) 规则2 :第一人称代词(我、本人、个人）> 主观句（0. 85) 规则3 :疑问词(难道、为什么）> 主观句（0. 90) 规则4 :指示词(这个、那个、某些）> 主观句（0. 72) 规则5 :连词(而、反而、反之）> 主观句（0.64) 规则6 :引用语(他说，他认为）> 客观句（1. 0) 规则7 :概念定义核心动词(是、包含、称为、叫做、定义为）> 客观句（0.99) 规则8 :事实陈述核心动词(誉为、报道、讲述）> 客观句（0. 98) 规则9 :主张类观点词(认为、应该、决定、希望、想）> 主观句（0.77) 其中观点词分为18类，不同类对主观句判别贡献不同，所述主观规则后括号的数字为 该所述主观规则的置信度。
【文档编号】G06F17/30GK104331394SQ201410434035
【公开日】2015年2月4日 申请日期:2014年8月29日 优先权日:2014年8月29日
【发明者】程实, 何海棠, 沈学华, 程显毅, 施佺 申请人:南通大学