专利名称：一种基于文本分割技术的多文档文摘方法
技术领域：
本发明属于多文档文摘技术领域，尤其涉及一种基于文本分割技术的多文档文摘方法。
背景技术：
在网络时代中，各类电子文本信息大量涌现，如何帮助用户在较少的时间从信息海洋中迅速准确地获得用户感兴趣的信息，日益成为自然语言理解领域的研究热点。多文档文摘是将同一主题的多个文本去除冗余信息，按照一定的压缩比有机地融合在一起的技术，该技术将把用户提供的相关文档集合形成文摘，并以适当的形式展现给用户，提高了获取信息的效率，并随着近几年连续举办的各类国际大型评测会议，相关技术有了较大突破。多文档文摘技术的特点是将同一主题下的文档集合进行有效的压缩，而这些文档集合虽属于同一主题，但往往从多个不同的方面和角度对事件进行论述，形成了所谓的子主题或子事件。传统文本处理技术以篇章作为基本处理单元，认为一篇文章只讨论一个主题，从句子重要度出发抽取若干文摘句，该方法容易造成对次重要主题的遗漏或忽略。秦兵等人提出了基于子主题的多文档文摘方法，孔庆苹等人基于概念获取的多文档主题划分。上述方法都考虑到了多文档包含多个子主题的特点，但这些方法多通过句子聚类法将各句子划分到相应主题下，然后提取文摘句。然而在实际的文档写作过程中，作者一般都会用连续的段落来表达一个主题，基于这个情况，描述某个局部主题的段落通常都是连续的、而非离散的。因此完全按照句子作为处理颗粒度将会使得有些信息可能被忽略。文本分割技术可以按照文档主题叙述的线性变换将文档划分成为若干个语义片段或分割单元。将文本分割技术作为多文档自动文摘的主题分析或主题划分技术，使用语义段落(文本片段)作为基本处理单元，来识别文本内部不同子主题的边界，并将其线性分割开来。
发明内容
本发明提供了一种基于文本分割技术的多文档文摘方法，旨在解决传统文本处理技术以篇章作为基本处理单元，认为一篇文章只讨论一个主题，从句子重要度出发抽取若干文摘句，容易造成对次重要主题的遗漏或忽略，以及当完全按照句子作为处理颗粒度将会使得有些信息可能被忽略的问题。本发明的目的在于提供一种基于文本分割技术的多文档文摘方法，该多文档文摘方法包括以下步骤步骤一，以“知网”作为工具获取概念，并以获取的概念作为特征建立概念向量空间模型；步骤二,使用改进的Dotpfotting算法进行文本分割,获得文本的主题划分；步骤三，利用建立的概念向量空间模型计算句子权重，根据句子权重、主题划分、句子相似度产生文摘。
进一步，步骤一，以“知网”作为工具获取概念时，将“知网”结构中的DEF项相同的词语作为词义相同的义原，提取出来作为同一个概念不同词语的集合，具体的实现步骤为SI I，选择多义词的DEF项S111，利用中科院计算所的ICTCLAS平台对文本进行词语切分和词性的标注，去除对文本文摘作用不大的介词、虚词、数词词语，提取出关键的名词、形容词重要词语进行处理，得到一个切分好和带词性标注的文本；S112，在对多义词的DEF项选取主要分两种情况进行，一种情况是有些多义词在不同语境下的词性是不同的，可根据标注好词性的特点确定这些多义词的DEF项，另外一种情况是在不同DEF项下有相同的词性，但在不同语境下需要与不同词性词语搭配使用，根据不同语境将会产生不同的语法形式确定这类多义词的DEF项； S12，在确定多义词DEF项后，采用改进的DEF项获取其他词语概念S121，重新定义DEF项，将DEF项扩展为包含的基本义原和该词语中的关系义原的并集，在扩展时过滤掉“知网”中含义过大、过宽泛的抽象义原；S122，以句子为单位建立概念获取前的文档模型，表示为Sj(Wl，W2, . . . Wn)，文档由j句话构成，每句话包含η个词语；S123，进入建立向量空间模型的句子扫描，设目前正在扫描第j句话；S124，扫描句中词语Wi，找到所对应的DEF项，并在该句话中扫描是否有与DEF项义原相同的词语，如果没有则标注词语Wi的概念，则扫描句子下一个词语Wi+Ι，转到S24，句中所有词语扫描完，进入下一个句子的扫描，转到S23 ;若有相同词语，转到S25 ；S125，提取出词语Wk，找出Wk所对应的DEF项，若词语Wk的DEF项义原词语未包含Wi，则将词语Wi和Wk的概念以Wi的DEF项进行标注；若出现词语Wi，则通过比较两个词语在DEF项描述的义原的距离，采用离基本义原更有的那个词语的DEF项作为这两个词语的概念，进入下一个词语Wi+Ι的扫描，转到S24 ;句中所有词语扫描完，进入下一个句子的扫描，转到S23。进一步,步骤二,使用改进的Dotpfotting算法进行文本分割,获得文本的主题划分时，改进的DotPlotting模型的修改密度函数为
权利要求
1.一种基于文本分割技术的多文档文摘方法，其特征在于，该多文档文摘方法包括以下步骤 步骤一，以“知网”作为工具获取概念，并以获取的概念作为特征建立概念向量空间模型； 步骤二，使用改进的Dotpfotting算法进行文本分割，获得文本的主题划分； 步骤三，利用建立的概念向量空间模型计算句子权重，根据句子权重、主题划分、句子相似度产生文摘。
2.如权利要求I所述的多文档文摘方法，其特征在于，步骤一，以“知网”作为工具获取概念时，将“知网”结构中的DEF项相同的词语作为词义相同的义原，提取出来作为同一个概念不同词语的集合，具体的实现步骤为 SI I，选择多义词的DEF项 S111，利用中科院计算所的ICTCLAS平台对文本进行词语切分和词性的标注，去除对文本文摘作用不大的介词、虚词、数词词语，提取出关键的名词、形容词重要词语进行处理，得到一个切分好和带词性标注的文本； S112，在对多义词的DEF项选取主要分两种情况进行，一种情况是有些多义词在不同语境下的词性是不同的，可根据标注好词性的特点确定这些多义词的DEF项，另外一种情况是在不同DEF项下有相同的词性，但在不同语境下需要与不同词性词语搭配使用，根据不同语境将会产生不同的语法形式确定这类多义词的DEF项； S12，在确定多义词DEF项后，采用改进的DEF项获取其他词语概念S121，重新定义DEF项，将DEF项扩展为包含的基本义原和该词语中的关系义原的并集，在扩展时过滤掉“知网”中含义过大、过宽泛的抽象义原； S122，以句子为单位建立概念获取前的文档模型，表示为Sj(Wl，W2, . . .Wn)，文档由j句话构成，每句话包含η个词语； S123，进入建立向量空间模型的句子扫描，设目前正在扫描第j句话； S124，扫描句中词语Wi，找到所对应的DEF项，并在该句话中扫描是否有与DEF项义原相同的词语，如果没有则标注词语Wi的概念，则扫描句子下一个词语Wi+Ι，转到S24，句中所有词语扫描完，进入下一个句子的扫描，转到S23 ;若有相同词语，转到S25 ； S125，提取出词语Wk，找出Wk所对应的DEF项，若词语Wk的DEF项义原词语未包含Wi，则将词语Wi和Wk的概念以Wi的DEF项进行标注；若出现词语Wi，则通过比较两个词语在DEF项描述的义原的距离，采用离基本义原更有的那个词语的DEF项作为这两个词语的概念，进入下一个词语Wi+Ι的扫描,转到S24 ;句中所有词语扫描完,进入下一个句子的扫描，转到S23。
3.如权利要求I所述的多文档文摘方法，其特征在于，步骤二，使用改进的Dotpfotting算法进行文本分割，获得文本的主题划分时，改进的DotPlotting模型的修改密度函数为
4.如权利要求3所述的多文档文摘方法，其特征在于，改进的Dotpfotting算法的含义是语义段落边界是依次添加进来的，将文档中自然段落末尾作为候选语义段落分割点，选取新的语段边界时，考察每个候选边界，尝试将其加入边界集合B，组成新的边界集合P，并利用密度函数来评价由新的边界集合里的边界构成的分割方式，选取使得密度函数值最小的候选边界作为分割边界，并将该边界加入分割边界集合，直至边界的个数达到预先指定的数目K为止。
5.如权利要求I所述的多文档文摘方法，其特征在于，在整个多文档文摘生成过程中包括句子权值计算和文摘句相似度计算，具体计算方法如下 (1)概念权重计算 建立好基于句子的概念向量空间模型后，采用传统的TF*IDF法来计算概念重要度； (2)句子权重计算 句子权重计算是对待处理的文本建立起句子的概念向量空间模型Sj (Cl，Wlj ；C2,W2j ；Cn, Wnj)进行句子权重计算，从语言学结构分析和相关统计运行分析，句子的重要程度与句中包含的词语、自身在段落中的位置以及段落在整个文章中的位置等因素相关，设计句子权重的计算函数为
6.如权利要求I所述的多文档文摘方法，其特征在于，该多文档文摘方法通过内部评测的方式进行验证。
全文摘要
本发明属于多文档文摘技术领域，提供了一种基于文本分割技术的多文档文摘方法，使用HowNet进行概念获取，建立概念向量空间模型，采用改进的DotPlotting模型和句子概念向量空间进行文本分割，利用建立的概念向量空间模型计算句子权重，根据句子权重、文本分割和相似度情况产生文摘，同时使用ROUGE-N评测方法和F_Score作为评测指标对产生的文摘进行评测，结果显示使用文本分割技术进行多文档摘要是有效的，该多文档文摘方法将把用户提供的相关文档集合形成文摘，并以适当的形式展现给用户，极大地提高了获取信息的效率，实用性强，具有较强的推广与应用价值。
文档编号G06F17/27GK102945228SQ201210437340
公开日2013年2月27日 申请日期2012年10月29日 优先权日2012年10月29日
发明者王萌, 唐新来, 王晓荣 申请人:广西工学院