一种基于web文档的自动摘要方法
【专利摘要】本发明公开了一种基于WEB文档的自动摘要方法，具体包括以下几个步骤：(1)利用Html文档对象模型标签树抓取WEB文档正文信息；(2)对抓取的WEB文档正文信息进行分块、分句；(3)对抓取的WEB文档正文信息，依据关键词库进行分词，分词后去除无意义的非关键词，并将网络新词及专业词语扩充到关键词库，对于网络上已停用的非关键词，扩充到非关键词库；(4)计算分词权值和分句、分块权值；(5)根据摘要精细程度，选择分块、分句的个数，最后从中选出权值最高的几个分块、分句形成文档摘要信息。本发明能够分析WEB文档信息，给用户提供简洁的、信息全面的页面内容的概要，以提高用户获取信息的效率。
【专利说明】一种基于WEB文档的自动摘要方法
【技术领域】
[0001] 本发明涉及文本处理【技术领域】，具体涉及一种基于WEB文档的自动摘要方法。
【背景技术】
[0002] 在文本处理【技术领域】，如何在海量的WEB信息中快速而又准确地获取信息成为当 前的研究热点，为了有效的提高信息获取效率，文档自动摘要技术的研究应运而生，并且得 到了广泛的关注。它能够将繁杂、冗长的文档内容用简洁、明了的语言概括出来，对信息的 快速甄别进而获取信息带来了很大的帮助。目前已有的文档自动摘要方法主要侧重于基于 句子抽取的方法，形成的摘要还较粗糙，不能为用户提供简洁的文档内容概要，用户获取信 息的效率较低。
【发明内容】
[0003] 针对现有技术存在的不足，本发明目的是提供一种基于WEB文档的自动摘要方 法，能够分析WEB文档信息，给用户提供简洁的、信息全面的页面内容的概要，以提高用户 获取信息的效率。
[0004] 为了实现上述目的，本发明是通过如下的技术方案来实现：
[0005] 本发明的一种基于WEB文档的自动摘要方法，具体包括以下几个步骤：
[0006] (1)利用Html文档对象模型标签树抓取WEB文档正文信息；
[0007] (2)对抓取的WEB文档正文信息进行分块、分句；
[0008] (3)对抓取的WEB文档正文信息，依据关键词库进行分词，分词后去除无意义的非 关键词，并将网络新词及专业词语扩充到关键词库，对于网络上已停用的非关键词，扩充到 非关键词库；
[0009] (4)计算分词权值和分句、分块权值；
[0010] (5)根据摘要精细程度，选择分块、分句的个数，最后从中选出权值最高的几个分 块、分句形成文档摘要信息。
[0011] 步骤（1)中，利用Html文档对象模型标签树抓取WEB文档正文信息具体步骤如 下：Html文档对象模型通过解析器载入整个Html文档内容，根据Html文档对象模型的嵌 套关系，将Html文档中嵌套标签解析成一个节点树，在内存中构建对象集合，通过Html文 档对象模型标签树的遍历获取WEB文档正文信息。
[0012] Html文档内容包含以下信息：（Ia)正文：即网页要发布的主体内容；（2a)页面的 附带信息；（3a) HTML标记。
[0013] 步骤（2)中，对抓取的WEB文档正文信息进行分块、分句方法如下：如果Html文档 内容有<P>标签来展示文档段落，则根据<P>标签抓取元素，实现分块，采用分块模式；如果 Html文档内容没有<p>标签，则采用分句模式，即将文档按句尾标点符号进行分割。
[0014] 步骤（3)中，所述分词的过程具体如下：载入所述关键词库，预先把带有明显特 征的词切分出来，所述明显特征的词指WEB文档正文标题和正文每一段的第一句中的关键 词，并将WEB文档正文信息依照切分出的词分成几个小段，再基于反向最长匹配策略进行 机械分词，并将网络新词及专业词语扩充到关键词库，完成关键词库的动态更新。
[0015] 上述反向最长匹配策略具体方法如下：将WEB文档内容逐一与关键词库中的词条 进行匹配，匹配成功的标准是在关键词库中找到某个词条，即完成对WEB文档中某个关键 词的识别。
[0016] 步骤（4)中，分词权值的计算方法如下：分词去除非关键词后，按词频计算单个分 词的权值，并对带明显特征的分词的权值重新进行修正，修正方法为：带明显特征的分词权 值增加n，其中，η为除带明显特征外的关键词的最大权值。
[0017] 步骤（4)中，分句、分块权值的计算方法如下：根据分词权值，再加权计算分句或 分块中所包含关键词的权值，作为分句、分块权值，加权计算方法为：设分句、分块K的权值 为Q (K)，其中，包含m个关键词，每个关键词出现的次数为η，每个关键词的权值为q (i)，则 Q(K)满足关系
【权利要求】
1. 一种基于WEB文档的自动摘要方法，其特征在于，具体包括以下几个步骤： (1) 利用Html文档对象模型标签树抓取WEB文档正文信息； (2) 对抓取的WEB文档正文信息进行分块、分句； (3) 对抓取的WEB文档正文信息，依据关键词库进行分词，分词后去除无意义的非关键 词，并将网络新词及专业词语扩充到关键词库，对于网络上已停用的非关键词，扩充到非关 键词库； (4) 计算分词权值和分句、分块权值； (5) 根据摘要精细程度，选择分块、分句的个数，最后从中选出权值最高的几个分块、分 句形成文档摘要信息。
2. 根据权利要求1所述的基于WEB文档的自动摘要方法，其特征在于，步骤（1)中，利 用Html文档对象模型标签树抓取WEB文档正文信息具体步骤如下： Html文档对象模型通过解析器载入整个Html文档内容，根据Html文档对象模型的嵌 套关系，将Html文档中嵌套标签解析成一个节点树，在内存中构建对象集合，通过Html文 档对象模型标签树的遍历获取WEB文档正文信息。
3. 根据权利要求2所述的基于WEB文档的自动摘要方法，其特征在于，Html文档内容 包含以下信息： (Ia)正文：即网页要发布的主体内容； (2a)页面的附带信息； (3a) HTML 标记。
4. 根据权利要求1所述的基于WEB文档的自动摘要方法，其特征在于，步骤（2)中，对 抓取的WEB文档正文信息进行分块、分句方法如下： 如果Html文档内容有<p>标签来展示文档段落，则根据<p>标签抓取元素，实现分块， 采用分块模式； 如果Html文档内容没有<p>标签，则采用分句模式，即将文档按句尾标点符号进行分 割。
5. 根据权利要求1所述的基于WEB文档的自动摘要方法，其特征在于，步骤（3)中，所 述分词的过程具体如下： 载入所述关键词库，预先把带有明显特征的词切分出来，所述明显特征的词指WEB文 档正文标题和正文每一段的第一句中的关键词，并将WEB文档正文信息依照切分出的词分 成几个小段，再基于反向最长匹配策略进行机械分词，并将网络新词及专业词语扩充到关 键词库，完成关键词库的动态更新。
6. 根据权利要求5所述的基于WEB文档的自动摘要方法，其特征在于，所述反向最长匹 配策略具体方法如下： 将WEB文档内容逐一与关键词库中的词条进行匹配，匹配成功的标准是在关键词库中 找到某个词条，即完成对WEB文档中某个关键词的识别。
7. 根据权利要求1所述的基于WEB文档的自动摘要方法，其特征在于，步骤（4)中，分 词权值的计算方法如下： 分词去除非关键词后，按词频计算单个分词的权值，并对带明显特征的分词的权值重 新进行修正，修正方法为：带明显特征的分词权值增加 n，其中，n为除带明显特征外的关键 词的最大权值。
8. 根据权利要求7所述的基于WEB文档的自动摘要方法，其特征在于，步骤（4)中，分 句、分块权值的计算方法如下： 根据分词权值，再加权计算分句或分块中所包含关键词的权值，作为分句、分块权值， 加权计算方法为：设分句、分块K的权值为Q (K)，其中，包含m个关键词，每个关键词出现的 次数为n，每个关键词的权值为q(i)，则Q(K)满足关系：
9. 根据权利要求1所述的基于WEB文档的自动摘要方法，其特征在于，步骤（5)中， 所述摘要精细程度作为系统的基本参数进行定义，设系统定义的总级数为K，系统选择的 级数为N，如果采用分句模式，则统计WEB文档的句子总数，记为L，则选择的分句总个数 为;如果采用分块模式，则统计WEB文档的总块数，记为M，则选择的分块总个数为 Af
10. 根据权利要求1所述的基于WEB文档的自动摘要方法，其特征在于，步骤（5)中，采 用jQuery编程技术，以一个统一资源定位符URL作为信息来源，实现网页截图，再将生成 的摘要信息与原始的网页截图进行对照，用来衡量摘要是否概括了原网页的主要内容。
【文档编号】G06F17/27GK104361081SQ201410642510
【公开日】2015年2月18日 申请日期:2014年11月13日 优先权日:2014年11月13日
【发明者】刘文婷 申请人:河海大学