基于中文短语串的细粒度主题信息抽取方法
【专利摘要】本发明提出了一种基于中文短语串的细粒度主题信息抽取方法，首先对输入的原始文本集进行预处理，主要分为中文分词、停用词处理和词性标注。在进行预处理的同时，进行扩展词汇输入，从而提高中文分词的准确度。预处理阶段完成后，得到处理后的结构化文本集合。然后进行基于词性的正则表达式匹配，得到一个初步的短语筛选结果。然后统计每个词语的串频信息，选取种子词，对短语进行扩展，最终得到短语抽取结果。通过实验证明，该文本抽取方法能够有效且精炼地抽取文本短语，具有一定的可靠性和应用性。
【专利说明】
基于中文短语串的细粒度主题信息抽取方法
技术领域
[0001] 本发明一般涉及文本挖掘领域，具体涉及基于中文短语串的细粒度主题信息抽取 方法。
【背景技术】
[0002] 随着互联网时代的不断发展，信息呈现爆炸式的增长。近几年，"大数据"和云计算 技术一直被炒得很热，也在一些领域中得到了不同的应用。本方法是基于中文短语串的主 题信息抽取，属于文本挖掘技术。在信息爆炸的时代，人们被动地接受大量的无效信息，如 电子邮件、广告以及互联网上的虚假消息等，浪费了人们大量的时间和精力。虽然搜索引擎 在一定程度上能够帮助人们获取到特定的信息，但还是不能更深入地挖掘出背后隐藏的有 用信息。故人们迫切地需要在网络中搜索到精确的信息，提供更全面的网络话题挖掘服务。 从而人们在知道网络所覆盖主题的一般性描述的同时，也能够学习其他人的评价和讨论话 题的具体细节。
[0003] 由于中文文字的复杂性和缺乏对中文文本挖掘技术的研究，导致国内的文本挖掘 技术发展比较晚。主要分为两类:一是基于词语规则的方法基于词语规则方法本质是总结 并分析不同词语之间相互关系来进行规则归纳，并对待处理文本执行后续工作；二是基于 文本语义的规则方法，基于语义方法本质是搜索通用知识库来进行文本语义信息的抽取。
【发明内容】
[0004] 本发明以文本短语为基本语义信息单位，针对中文短语抽取进行研究。本发明提 供了基于中文短语串的细粒度主题信息抽取方法。本发明的目的在于通过提供的文本集 合，能够有效地挖掘和提炼出里面潜在的信息，从而提供决策支持。
[0005] 本发明的目的通过如下技术方案实现。
[0006] -种基于中文短语串的细粒度主题信息抽取方法，其包括以下步骤：
[0007] (a)对原始文本进行常规的文本分析的预处理步骤，包括中文分词、停用词处理和 词性标注；
[0008] (b)针对语料中存在的大量专有名词引入另外的扩展词库来进行处理，从而得到 结构化的文本集合；
[0009] (c)利用步骤(a，b)中得到的结构化文本集合，进行基于词性长度的正则表达式匹 配，以7个词语作为短语长度的上限；
[0010] (d)利用步骤(c)过滤得到的短语抽取的中间结果，进行词语串频信息统计，包括 前缀短语串频集合和后缀短语串频集合的信息统计；
[0011] (e)基于步骤(d)统计得到的信息进行词语串频信息参数分析；
[0012] 基于步骤(e)进行候选种子词选取与短语扩展向前进行短语扩展和向后进行短语 扩展。
[0013] 进一步地，在文本预处理阶段，对原始文本进行处理的步骤主要是中文分词、停用 词处理和词性标注。由于中文的词与词之间不像英文那样有固定的间隔符，所以对原始文 本第一步操作是中文分词和停用词处理，本文使用的是基于词库的分词算法，正向最大匹 配、逆向匹配和逐词遍历匹配法。在进行预处理的同时，由于大量专有名词主体的存在，本 文引入额外的扩展词库，为了提高中文分词的准确度和精密度，扩展词库需要不断地更新 维护。之后进行词性标注，主要分为四种词性，名词n、动词V、形容词adj和副词adv。
[0014] 进一步地，通过对搜狗语料库的新闻文章进行调查，主要的中文短语含词的数目 在4个和5个，90%以上的中文短语含词数目不超过7个，故本方法的上限为7个词。对其中的 语料短语进行结构上的分析，短语的词性包括4种词性：名词n，动词V，形容词adj和副词 adv。参考目前中文语法范畴，主要分为以下四种类型的短语：
[0015] (1)并列短语：n+n/v+v/adj+adj/adv+adv
[0016] (2)偏正短语:ad j+n/adv+ad j/adv+v
[0017] (3)动宾短语：v+n/v+v/v+ad j
[0018] (4)主谓结构：n+v/n+adj
[0019] 正则表达式(Regular Expressions)的本质核心是通过语法格式匹配字符，现在 已经是公认的ISO标准，且被广泛地应用到各种信息技术领域。许多计算机应用平台和脚本 语言现在都已经支持正则表达式。根据中文短语7个词最长匹配原则，下面将列举按照词性 有效长度的词性短语组成的正则表达式：
[0020] a. 1种词性有效长度的短语
[0021] (l)n+
[0022] b. 2个词性有效长度的短语
[0023] (1)n+adv*v+
[0024] (2)v+adv木v+
[0025] (3)n+adv*adj+
[0026] (4)v+adj*n+
[0027] (5)adj+n+
[0028] c. 3个词性有效长度的短语
[0029] (1)n+adv*v+adj*n+
[0030] (2)n+adv*v+adv*adj+
[0031 ] (3)adj+n+adv*v+
[0032] (4)adj+n+adv*adj+
[0033 ] (5)adv+adj+n+
[0034] (6)adv+v+adv^v+
[0035] (7)adv+v+adj*n+
[0036] d. 4个词性有效长度的短语
[0037] (1 )n+adv>!<v+adv>!<ad j+
[0038] (2)adj+n+adv*v+adj*n+
[0039] (3)adj+n+adv*v+adv*adj+
[0040] (4)adv+adj+n+adv*adj+
[0041 ] (5) adv+ad j+n+adv>!<v+
[0042] e. 5个词性有效长度的词语
[0043] (1)adv+adj+n+adv*v+adv*adj+
[0044] (2)adv+adj+n+adv*v+adj*n+
[0045] 以上基本包含了 7个词语长度以下5个词性有效长度以下的短语结构的组成方式。
[0046] 进一步地，步骤(d)中，词语串频信息包括前缀词语串频集合和后缀词语串频集 合。前缀词语串频集合是指候选种子词的前缀词语所组成的集合，包括前缀词语的词语内 容以及出现频次。同理后缀词语串频集合是指候选种子词的后缀词语所组成的集合，也包 括后缀词语的词语内容以及出现频次。本方法用数学集合进行表示，对于某一种子词t，前 缀词语串频集合pre_s (prefix-set)定义如下：
[0047] pre_st={(ewi,efi),(ew2,ef2), ...,(ewn,efn)}
[0048] 其中（ewi，efi)表示第i个前缀词eWi和第i个前缀词e Wi出现的频次efi。类似地后缀 词语串频集合post-set (postfix-set)定义如下：
[0049] p〇St_St = { (OWl，〇fl)，(OW2,〇f2)，…(OWn，〇fn)}
[0050 ]其中（o w j，o f j)表示第j个前缀词o w j和第j个前缀词o w j出现的频次o f j。
[0051] 对于种子词，最频繁前缀词是前缀词语集合中频次最高的前缀词max_eWt，而最频 繁后缀词是后缀词语集合中频次最高的后缀词max_ 〇Wt。其定义分别如下，k、l分别表示频 数最大的如缀词和后缀词的下标：
[0052]
[0053]
[0054]肖U缀词最尚频比max_p_freqt是最频繁如缀词的频次比上所有如缀词频次求和。
[0055]
Ι^?Κ?
[0056] 后缀词最高频比max_S_freqt是最频繁后缀词的频次比上所有后缀词频次求和。
[0057]
[0058] 进一步地，步骤(e)中，前缀词语串频集合pre_s和后缀词语串频集合p〇S_s代表了 种子词在上下文中出现的信息。口1^_8和口081：_8的集合越大，表示该种子词与其他词语进行 组合的概率越大，从而进行对词语的扩展。通过对文档分析，？^_8和?081：_8中每个前缀词 语和后缀词语相对应的频次ef和Of大小决定了对应的前缀词语或后缀词语能否会成为种 子词的扩展。通过定义一个阈值(1：11^811〇1(1)；^1^与6€和(^进行比较，当6€和(^的值大于等 于阈值ftrh，则判断前缀或后缀词语符合短语扩展的条件从而能够进行短语扩展。假设b 1>t 为布尔变量表示某个前缀或后缀词语能否作为种子词t的扩展词来来进行短语扩展，那么 定义
[0059]
[0060]
[0061 ] 进一步地，步骤(f )中，基于对种子词的分析，可以得出口代_8和口081：_861：的集合越 大越容易成为种子词。但是单纯计算?^_8和?081：_8的集合元素的个数进行求和是有所欠 缺的。在选择候选种子词上，仿照笛卡尔乘积的思想，对?^_8和卩081：_8集合中元素的个数 分别加上1，再计算乘积作为判断依据，用seed_value来表示：
[0062] seed_valuet=(|pre_si |+1) · (|post_Si|+1)
[0063] 之所以对两个乘数加上1，主要是考虑到避免某些词语的pre_S或者post_ S元素个 数为0从而导致其的值为0，然而实际上该词语在进行选取候选种子词时依然有其自身贡献 度。
[0064] 假设Seed_W〇rd是用于扩展所选择的候选种子词，{。，〖^…^丨是短语中的词语集 合，k为最大种子词的下标，m为最大种子词的下标，那么
[0065]
[0066] 在选取候选种子词后，进行前缀短语扩展和后缀短语扩展。在扩展的过程中，终止 短语扩展的条件是，达到短语扩展终止条件或者当找不到新的前缀词或者后缀词作为新的 种子词。
[0067] 与现有技术相比，本发明具有如下优点和技术效果：
[0068] 本发明考虑使用的是较低层次的短语作为语义单元。中文短语串相对于句子而言 也有类似的语法结构(主谓结构、动宾结构等等），为了满足最基本的语义要求。中文的句子 短语串相对来说处于低层次的词汇水平，并且在词汇短语之间能够搭配表达的信息远远多 出纯粹词汇之间拼凑出的信息。目前在表示文本特征的步骤中，词汇仅仅只是以一个标签 的属性值的形式存在，词汇本身并没有为特征表示提供更多的语义信息。本方法不需要对 语料样本进行词性语义模型的建立和知识库输入，通用性相对更强，具有比较好的短语抽 取效果。
【附图说明】
[0069] 图1为基于种子词"股市"的前缀词语串频集合和后缀词语串频集合示意图。
【具体实施方式】
[0070] 以下结合实施例对本发明的实施方式作进一步说明，但本发明的实施不限于此。
[0071] 下面是针对中国经济在网络上进行搜索，摘录了一些句子文本集合进行举例说 明，进行接下来步骤的实施。
[0072] (1)全球经济贸易增长乏力，原因是2008年以来的国际经济危机还没有完全退出， 它的影响还在。
[0073] (2)因全随着中国经济总量成为世界第二，很多大国对中国有了一些防范心理，周 边国家也对中国有些芥蒂。
[0074] (3)中国进入中等收入阶段，贫富差距仍然比较大，社会矛盾一部分在加剧，老百 姓对权利的诉求在增加。
[0075] (4)资源越来越短缺，环境污染的压力仍然很大。大气、水、土壤，这些污染的增量 控制可以有所成效，但是已经污染了的存量部分的解决还需要时间。
[0076] (5)作为世界第二大经济体，中国经济走势受到大家关注，中国经济的一举一动与 世界经济的关联度可谓与日倶增。
[0077] (6)目前资本市场的改革和发展还不能完全适应国民经济健康稳定发展的需要， 也不能完全支持国家经济金融安全的需要。随着全面深化改革的持续推进，资本市场的深 改也将提速，以实现与经济"新常态"相匹配。
[0078] (7)目前我国经济发展处于工业化中后期，虽然近年来消费在经济增加值中所占 比重越来越大，但是以制造业为核心的实体经济仍然是我国经济的主体。
[0079] (8)在"十三五"规划期间，稳健增长的中国经济将为亚太经济带来新的活力。
[0080] (9)只有通过股市融资，才能"提高直接融资比重，降低杠杆率"，也才能有效化解 过剩产能，让那些有创新活力的企业，主要通过股权融资做优、做强、做大。股市，特别是加 快股票融资，肩负着经济转型产业升级的重任。
[0081] (10)中国经济增长需要进一步推进改革，更多取决于结构改革。
[0082] 第一步，进行文本预处理，中文分词、停用词处理和词性标注，得到一个结构化的 文本集合。
[0083] 第二步，进行基于词性的正则表达式的匹配，主要有以下4中词性（名词n，动词V， 形容词ad j，和副词adv)的正则表达式匹配，最高词长度为7。
[0084] 短语抽取结果有："全球经济贸易增长乏力"、"国际经济危机"、"中国经济总量"、 "中国经济走势"、"世界第二大经济体"、"适应国民经济健康稳定发展的需要"、"稳健增长 的中国经济"、"经济转型产业升级的重任"、"国家经济金融安全"、"消费在经济增加值中所 占比重越来越大"、"世界经济的关联度可谓与日倶增"等。
[0085] 第三步，对上述文本集合进行词语串频信息统计。按公式计算出的候选种子词"股 市"的词语串频信息如下：
[0086] 前缀词语串频集合Pre_s:{(中国，5)，（国际，2)，（全球，1)，（世界，1)，（实体，1)} [0087] 最频繁前缀词语max_ewt:中国
[0088] 如缀词最尚频比
[0089] 后缀词语串频集合P〇st_S:{(增长，3)，（发展，2)，（稳定，2)，（危机，1)，（转型，1)， (升级，1)}
[0090] 最频繁后缀词语max_0W:增长
[0091] 后缀词最尚频比
[0092] 基于种子词"经济"的前缀词语串频集合和后缀词语串频集合见说明书附图1所示。
[0093] 第四步，对词语串频信息参数进行分析。
[0094] 定义一个阈值ftrh来与ef和of进行对比，当ef和of的值大于等于阈值ftrh，则判断 前缀词语或者后缀词语满足短语扩展条件从而进行短语扩展。根据ftrh的公式计算，当ftrh =2时，那么"经济"作为其种子词将会在文本中扩展为"中国经济"和"世界经济"，"经济增 长"，"经济发展"，"经济稳定"，"中国经济发展"和"世界经济发展"。
[0095] 从实例中可以看到，通过本方法抽取出的中文短语串较好地表达了这些文档的文 本特征，也直观的反映了文本的语义信息，有助于对中文自然语言的处理提供指导性的意 见。
【主权项】
1. 一种基于中文短语串的细粒度主题信息抽取方法，其特征在于，包括W下步骤： (a) 对原始文本进行常规的文本分析的预处理步骤，包括中文分词、停用词处理和词性 标注； (b) 针对语料中存在的大量专有名词引入另外的扩展词库来进行处理，从而得到结构 化的文本集合； (C)利用步骤(a), (b)中得到的结构化文本集合，进行基于词性长度的正则表达式匹 配，W7个词语作为短语长度的上限； (d) 利用步骤(C)过滤得到的短语抽取的中间结果，进行词语串频信息统计，包括前缀 短语串频集合和后缀短语串频集合的信息统计； (e) 基于步骤(d)统计得到的信息进行词语串频信息参数分析； (f) 基于步骤(e)进行候选种子词选取与短语扩展向前进行短语扩展和向后进行短语 扩展。2. 根据权利要求1所述基于中文短语串的细粒度主题信息抽取方法，其特征在于:步骤 (C)中分析结构化文本集合其中的语料短语的结构，主要是4种词性的词语:动词V，名词n， 形容词adj和副词adv;参考目前中文语法范畴，主要分为W下四种类型的短语： (1) 并列短语:n+n/v+v/ad j+ad j /ad v+ad V (2) 偏正短语：ad j+n/adv+ad j/adv+v (3) 动宾短语:v+n/v+v/v+ad j (4) 主谓结构:n+v/n+ad j; 基于中文短语W7个字为上限的长度，对词性长度进行统计，主要分为： a. 巧巾词性有效长度的短语 (l)n+ b. 2个词性有效长度的短语 (1) n+曰dv*v+ (2) v+adv*v+ (3) n+adv*adj+ (4) v+adj*n+ (5) 曰dj+n+ c. 3个词性有效长度的短语 (1) n+曰dv*v+曰dj*n+ (2) n+曰dV*v+曰dV*曰d j+ (3) ad j +n+adV*v+ (4) ad j +n+adv*ad j+ (5) 3dv+3dj+n+ (6) 3dv+v+3dv*v+ (7) 3dv+v+3dj*n+ d. 4个词性有效长度的短语 (1) n+曰dv*v+曰dv*曰dj+ (2) ad j +n+adV*v+ad j *n+ (3) 曰d j +n+曰dV*v+曰dV*曰d j+ (4) 曰dv+曰d j +n+曰dV相d j+ (5) 曰dv+曰d j +n+曰dV*v+ e. 5个词性有效长度的词语 (1) 曰dv+曰dj+n+曰dv*v+曰dv*曰dj+ (2) 曰dv+曰d j +n+曰dV*v+曰d j *n+ ο3. 根据权利要求1所述基于中文短语串的细粒度主题信息抽取方法，其特征在于:步骤 (d) 中，前缀词语串频和后缀词语串频集合指的是候选种子词的前缀词语、后缀短语所组成 的集合，包含了词语的出现频次和内容;对于某一种子词t，用数学集合进行表示，前缀词语 串频集合缩写pre_st定义如下： pre_st= {(ewi,efi), (ew2,ef2), . . . ,(ewn,efn)} 其中（ewi，efi)是第i个前缀词ewi，efi是前缀词ewi出现的频次，η表示前缀词总的个数； 同理，后缀词语串频集合(postfix-set)定义如下： P〇St_St= { (〇Wl,〇fl) , (〇W2,〇f2) , . . . ,(〇Wn,〇fn)} 其中（ewj，e。)是第j个后缀词，ofj是第j个后缀词owj出现的频次;对于种子词t，最频繁 前缀词是前缀词语集合中频次最高的前缀词max_ewt，而最频繁后缀词是后缀词语集合中 频次最高的后缀词max_owt;其定义分别如下，k、l分别表示频数最大的前缀词和后缀词的 下标：前缀词最高频次比max_e_freqt是最频繁前缀词的频次比上所有前缀词频次的和;后缀 词最高频次比max_o_freqt是最频繁后缀词的频次比上所有后缀词频次的和，4. 根据权利要求1所述基于中文短语串的细粒度主题信息抽取方法，其特征在于:步骤 (e) 中，前缀词语串频集合pre_s和后缀词语串频集合口〇3_3代表了种子词在上下文中出现 的信息；9'6_3和9〇3*_3的集合越大，表示该种子词与其他词语进行组合的概率越大，从而 进行对词语的扩展;通过对文档分析，9'6_3和9〇3*_3中每个前缀词语和后缀词语相对应的 频次ef和of大小决定了对应的前缀词语或后缀词语能否会成为种子词的扩展;通过定义一 个阔值ftrh与ef和of进行比较，当ef和of的值大于等于阔值ftrh，则判断前缀或后缀词语符 合短语扩展的条件从而能够进行短语扩展;假设bi,t为布尔变量表示某个前缀或后缀词语 能否作为种子词t的扩展词来来进行短语扩展，那么定义5.根据权利要求4所述基于中文短语串的细粒度主题信息抽取方法，其特征在于:基于 对种子词的分析，可W得出9'6_3和9〇3*_36*的集合越大越容易成为种子词;但是单纯计算 pre_s和post_s的集合元素的个数进行求和是有所欠缺的；在选择候选种子词上，仿照笛卡 尔乘积的思想，对9'6_3和9〇3*_3集合中元素的个数分别加上1，再计算乘积作为判断依据， 用seed_value来表示： seed_valuet=(|pre_si|+l) · (|post_si|+l) 假设seed_word是用于扩展所选择的候选种子词，{巾1^2，"|心}是短语中的词语集合， m为最大种子词的下标，那么
【文档编号】G06F17/27GK105975475SQ201610207374
【公开日】2016年9月28日
【申请日】2016年3月31日
【发明人】黄翰, 丁东辉, 林伟佳, 郝志峰, 杨晓伟
【申请人】华南理工大学