专利名称：一种搜索引擎动态摘要提取方法
技术领域：
本发明涉及搜索引擎技术领域，特别是涉及一种搜索引擎动态摘 要提取方法。
背景技术：
在网络信息极大丰富的今天，为了快速而准确的找到所需的信 息，搜索引擎应运而生，成为现代网络的重要工具。虽然现代搜索引 擎提供了较准确的结果排序，然而时常会有 一 些靠前的结果并不是用 户所需要的，出现这样的情况一是搜索引擎是基于全文索引技术提供 服务的，只要文档中包含查询词就会返回的，所以很大可能存在与用 户査询需求不相关的文档，二是因为查询词未必可以完全展现用户的 意图。因此，用户会通过阅读摘要来判定链接的价值。那么摘要的好 坏直接影响到用户对链接价值判定的准确性，摘要的质量也成为用户 选择搜索引擎的标准之 一 。综上可知摘要对于搜索引擎有着重要的意 义，其意义就在于对用户判断链接价值时所起到的指导性作用。好的
摘要应当做到不对用户产生误导，这种误导主要有两种情况
类型一原本与用户查询较相关的链接，用户阅读摘要后感觉不 相关，从而忽略该链接。
类型二原本与用户查询不相关的链接，用户阅读摘要后感觉相 关，从而点击链接阅读原文。
目前在摘要方面已有不少研究。Tombros等人在1998年得出结 论以査询为中心的动态摘要相比较以内容为中心的静态摘要，更容易 找至ll相关文档(A. Tombros and M. Sanderson, Advantages of query biased summaries in information retrieval, in Proceedings of the 21st annual international ACM SIGIR conference on Research anddevelopment in information retrieval. Melbourne, Australia: ACM, 1998.)。但是该研究对象是新闻类文档，且没有验证该方法在搜索引 擎摘要中的有效性。Das等人在2007年对以往的自动文档摘要研究 工作做了综述，对于单文档摘要，多文档摘要的发展给出较全面的概 括 (D. Das and A. F. T. Martins, A Survey on Automatic Text Summarization, Language Technologies Institute, CMU 2007.), 但是没 有考虑针对网页形成动态摘要的情况。Ferragina等人在2005年利用 搜索引擎动态摘要来做个性化的搜索引擎(P. Ferragina and A. Gulli， A personalized search engine based on web-snippet hierarchical clustering, in Special interest tracks and posters of the 14th international conference on World Wide Web. Chiba， Japan: ACM, 2005.)，但是没有涉及到如何 构建有效的动态摘要.李晓明等在2005年给出了一种便于理解和实 现的简单的动态摘要算法(李晓明，闫宏飞，and王继民，搜索引擎-原理、技术与系统科学出版社,2005.第五章第三节)。蔡建山等人 在2007年基于滑动窗口提取动态摘要(蔡建山迟呈英战学刚and 王丫，基于滑动窗口的动态摘要算法，计算机工程33巻6期 2007)，但是窗口的初始位置是从每个查询词的开始位置开始的，忽 略了查询词前有意义的文字，且实验部分简陋，实验结果难以重现。
发明内容
本发明提供了一种搜索引擎动态摘要提取方法，目的是为解决现 有技术中摘要和用户查询相关性与原文档和用户查询相关性之间一 致性不高的问题。
为达到上述目的，本发明实施例的技术方案提供 一种搜索引擎动 态摘要提取方法，所述方法包括以下步骤获取用户输入的查询词； 根据所述查询词，截取摘要候选段落；获取所述候选段落的段权值； 选取段权值最高的预先设定个数的候选段落，并将选择的候选段落合 并生成摘要。其中，在所述截取摘要候选段落的步骤中，具体包括从所述查
询词在文中的位置开始向两边延伸；根据向前阈值、终结标点集或上 一段的结尾，获取所述候选段落的起始位置；根据所述起始位置和候 选段落长度的设定值，获取所述候选段落的初始结束位置；根据所述 初始结束位置、向前、向后阈值和终结标点集，获取所述候选段落的 结束位置。
其中，所述获取候选段落的起始位置的步骤，具体包括在所述
査询词在文中的位置向前延伸的长度大于所述向前阈值时、或找到所 述终结标点集中的终结标点时、或达到上一段的结尾时的位置为所述 候选段落的起始位置。
其中，所述初始结束位置为所述起始位置和候选段落长度的设定
值之和。
其中，所述获取候选段落的结東位置的步骤，具体包括在所述 查询词在文中的位置向后延伸的长度大于所述向后阈值时、或从所述 初始结束位置向前、向后调整找到所述终结标点集中的终结标点时的 位置为所述候选段落的结束位置。
其中，在所述获取候选段落的段权值的步骤中，具体包括根据 査询词在候选段落中出现的频率获取查询词权值。根据所述查询词的 权值和所述查询词在所述候选段落中出现的次数，获取落在所述候选 段落中的查询词的权值之和。
其中，在所述获取查询词的权值的步骤中，具体包括当所述查 询词在候选段落中第一次出现时，其权值为Cl,当所述查询词在第 一次之后在所述候选段落中出现时，其权值为C2; 为某候选段落计算权值时，所有査询词的权值都初始化为Cl。
其中，所述C1为1，所述C2为0.01。
其中，在所述选取段权值最高的预先设定个数的候选段落，并将 选择的候选段落合并生成摘要的步骤中，还包括当选择的候选段落的个数小于所述预先设定个数时，扩展所述选择的候选段落，使所述 选择的候选段落的长度达到预先设定个数的候选段落的长度。
其中，在所述选取段权值最高的预先设定个数的候选段落，并将
选择的候选段落合并生成摘要的步骤中，还包括当选择的候选段落
的个数为0时，以正文的首段话作摘要。
与现有技术相比，本发明的技术方案具有如下优点
本发明以用户查询词为中心进行摘要候选段落的截取，并根据段
权值选择候选段落，将选择的候选段落合并生成摘要，从而提高了摘
要和用户查询相关性与原文档和用户查询相关性之间 一致性。
图1是本发明的 一 种搜索引擎动态摘要提取方法的流程图。
具体实施例方式
下面结合附图和实施例，对本发明的具体实施方式
作进一步详细 描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本发明的 一种搜索引擎动态摘要提取方法的流程如图1所示，包 括以下步骤
步骤sl01,获取用户输入的查询词。
步骤sl02，根据查询词，截取摘要候选段落。首先从所述查询词 在文中的位置开始向两边延伸；然后根据向前阈值、终结标点集或上 --段的结尾，获取所述候选段落的起始位置，在所述查询词在文中的 位置向前延伸的长度大于所述向前阈值时、或找到所述终结标点集中 的终结标点时、或达到上一段的结尾时的位置为所述候选段落的起始 位置；再根据所述起始位置和候选段落长度的设定值，获取所述候选
段落的初始结東位置，所述初始结東位置为所述起始位置和候选段落
长度的设定值之和；最后根据所述初始结東位置、向前、向后阈值和 终结标点集，获取所述候选段落的结東位置，在所述查询词在文中的 位置向后延伸的长度大于所述向后阈值时、或从所述初始结束位置向段落的结束位置。
步骤sl03，获取候选段落的段权值。首先，获取查询词权值。在 候选段落中第一次出现的査询词权值为1，其后再出现权值为0.01。 本实施例中取C1为1、 C2为0.01;然后根据所述查询词的权值和 所述查询词在所述候选段落中出现的次数，获取落在所述候选段落中 的查询词的权值之和，即所述候选段落的段权值。
步骤sl04，选取段权值最高的预先设定个数的候选段落，并将选 择的候选段落合并生成摘要。当选择的候选段落的个数小于所述预先 设定个数时，扩展所述选择的候选段落，使所述选择的候选段落的长 度达到预先设定个数的候选段落的长度；当选择的候选段落的个数为 0时，以正文的首段话作摘要。
本发明从形成摘要的基本需求(对用户判断链接价值时所起到的 指导性作用)出发，研究动态摘要，实现摘要算法。下面进行具体说
1、摘要提取的原则
摘要的意义在于指导用户判断链接价值，因此关于提取原则，主 要有两种观点1)以链接页面文章的大意为中心；2)以用户查询词 为中心。前者即"全文摘要"，目的是为展现原文主题，旨在使用户迅 速了解原文叙述的中心问题；后者是指依据用户输入查询词提取摘 要，在文章中提取出与查询词最相关的部分，旨在使用户迅速了解到 原文与查询的相关性如何。这两种提取原则各有优劣，前者浓缩文章， 允许修改原文，以保证语句通顺连贯且无冗余；后者直接重现文章中 与查询相关的片段。我们选择第二种观点作为提取摘要的核心原则， 理由如下
1) 链接页面往往没有一个统一的主题。
2) 文章中与查询相关的信息未必是文章主题，但该信息可能很有价值，这样容易产生类型一的误导。
3 )观点 一 易使得不同的查询对于同- 一 个文章产生相同或相近的 结果(可以说观点一是一种静态摘要，观点二则是动态的)，如此则 忽略了不同查询的需求差异，易产生似是而非的效果，导致两种类型 的误导。
4)查询词是用户需求的集中体现，以查询词为中心提取摘要更 符合用户的需求。
事实上，Tombros等人在1998年以新闻类文档为研究对象验证
了以查询为中心的动态摘要相比较以内容为中心的静态摘要，更容易 找到相关文档。这也间接说明选取"以查询为中心"的动态提取原则， 作为摘要提取原则的合理性。
2摘要提取算法的形式化规则
依据摘要的两种类型的误导情况和提取摘要的原则，我们给出提
1) 从原文中提取几段作为摘要候选段落，即不要对原文进行改 动，直接从原文截取。段长大致相等，这是为方便算法的实现，同时 保证页面显示的美观。
2) 合并成摘要的候选段落中应该满足查询词出现的次数最多， 且最为丰富。 一个查询中通常包含一到多个查询词，候选段落中包含 的不同的查询词越多，我们定义为越丰富。我们以查询为中心原则， 将与查询"最相关"解析为查询词出现"最多"、"最丰富"。只以"最 多，，作为"最相关"的解析是不够的，比如"python urlopen用法" 这个查询，在一篇文档中查询词"python"出现的次数很可能比
"urlopen"多出很多(比如 一篇涉及到urlopen的关于python的文档)， 那么按照"最多"的规则提出的摘要极可能没有"urlopen""这个查 询词，结果有可能导致类型一误导。这种现象可以直观的理解为一个 查询词出现较多淹没了另 一个查询词。从"淹没"的意义上讲"最丰富"比"最多"更为重要。
3) 要求摘要段的语句完整。这是针对两种类型的误导而提出的。 若是一段话不完整，则表意就会不明确，同时增加用户的阅读负担， 很可能导致两种类型的误导。
4) 作为摘要的不同段间不要存在交叉。这是保证摘要尽可能多 的向用户提供原文信息。交叉的部分占用了摘要的空间，但未向用户 提供更多的有效信息，而且重复的内容令用户不满意。
3摘要提取算法 3.1算法主体框架
根据算法规则，提取摘要算法主体框架由截取摘要候选段落，以 及从候选段落中选取内容合并成最终摘要这两部分组成。
第 一步截取摘要候选段落。根据以查询为中心的原则提取摘要， 段落的截取也以查询为中心。由查询词在正文中的位置开始向两边延 伸形成截取段落。根据算法规则3保证语句完整，我们选取带有终结 意味的标点(比如句号，分号等)作为延伸截取段落的结東标志。由 于规则l对段长提出了大致相等的要求，因此不可以盲目的只以终结 标点作为标志，应当设定向前向后延伸的长度阈值。观察发现，用户 对一句话开头的完整性要求高于对结尾的完整性要求，这一点也是可 以直观理解的。有了完整的开头，即使结尾部分被截断，语句大意也 可以通过之前完整的开头部分推断出来，所以对向前延伸的阈值设定 的要高些，尽量保证截取段落开头的完整性。
若对每一个落在正文中的查询词都向两边延伸截取段落，那么截 取的段落很可能相交，所以对已经落在某段落中的查询词不再做段落 截取，只对在已截取段落之外的查询词做段落截取。
第二步选取候选段落合并生成最终摘要。候选段落的选取应遵守 规则2。首先为每个查询词给定一个权值，可以根据词频，或者用户 日志给出，本实施例中，查询词权值分配方法如下若查询词在候选段落中第一次出现，其权值为Cl,其后每次在该候选段落中出现其 权值都为C2。段落权值为落在段中的查询词权值之和。
段落权值采用查询词权值求和的计算方式是以规则2中的"最 多"为基础设计的。查询词权值计算方式设计是以规则2的"最丰富" 为核心的。在本实施例中，Cl取l， C2取0.01，由此按照求和方式 计算的段权值一定是x . y的形式(x代表整数部分，y代表小数部分)。 本实施例中认为查询词候选段落中出现次数有限，不会超过IOO,因 此最终计算出的段权值x. y的整数部分x就代表了查询词出现的丰富 性，小数部分y则代表了查询词出现的数量。如此就可以保证以"最 丰富"为核心，同时兼顾"最多"。
3.2算法描述 ..
本发明的 一 种动态摘要提取算法的伪代码如下 Algorithm: Finding snippet
Purpose:根据用户输入的查询词以及网页文字内容，形成摘要 Precondition: qwordsPosition
小到大排序 qwordsPositionLen initParaLen frontLen backLen delimSymbol paraNum snippetSet Return: snippet
1. lastParaEnd = -1
2. i = 0
11
〃存储每个查询词在文中的位置，按位置从
〃 qwordsPosition的长度
〃截取段的大致长度 〃向前延伸的阈值 〃向后延伸的阈值 //终结标点集 〃提取段的数量 〃摘要
〃上一段的结東位置3. loop (i < qwordsPositionLen )
〃通过向前阈值、终结标点集、和上一段的结尾得到一段的起始 〃当大于阈值或找到终点标点或达到上一段结尾后停止
3.1
paraStart=computeParaStart(qwordPositionLiJ，frontLen,deliSymbol, lastParaEnd)
3.2 initParaEnd=paraStart+initParaLen 〃计算出段初始结東位置 〃从段初始结東位置向前向后调整找到终结标点，找到段真正的
结東位置
3.3 paraEnd=computeParaEnd(initParaEnd， paraStart, backLen， delimSymbol)
3.4. paraWdght = 0 〃段权值
〃计算每段的权值，扫描之后的查询词，落在截取段中的查询词 的权值累加到段权值上
3.5.1 para Weight += getWeight(qwordsPositiorO
3.5.2 i = i+ 1
〃若未提出paraNum个段落或提出的paraNum个段落中最小的
段权值小于当前
〃段得到的paraWeight，则将当前段落加入将要提出作为摘要的段 落集合中
3.6 judgeAddSinppetSet(paraStart， paraEnd, para Weight, snippetSet)
3.7 lastParaEnd = paraEnd
4. end loop
5. return snippetSet
在实际实现中paraNum = 2, initParaLen = 60。公式(1 )中常量C 1 、 C2分别取0.1和IO。在实现算法时要注意截断时编码细节。不同的编码可能导致中英
文字符占据的bit位数不同。实际实现的做法是将文档转换成Unicode
实现算法时还要注意中英文区别处理的细节问题。由于英文在页 面中占据的空间大约为中文的一半，所以在摘要中出现英文时，摘要 显得较短，为保持页面美观在提取段落中出现英文时要适当增长段落 长度。
注意未提出足够数量段落的处理。在实际实现中paraNum = 2。 当仅仅提出一个有效段落时，则扩展该段落，使其长度达到原长度的 两倍左右；当未提出有效段落时，提出正文的首段话作摘要。
4实验与结果分析
4.1实验目的与评判标准
实验目的是测试上文算法提取摘要的质量，以验证摘要提取原则
基于之前对摘要意义的分析，将不误导作为较高质量摘要的标 准。误导是一种感性认识，实际上是摘要展现的原文与查询的相关性 和原文与查询实际相关性存在差异，我们将这种差异量化，当差异值
越小时，代表摘要的质量就越高。 4.2实验方法
用户针对摘要和查询的相关性给摘要打分，其摘要和查询的相关 性与分值的对应关系如表l所示
表l
3分査询与摘要很相关，阅读摘要后决定打开链接或在摘要中已 经发现査找内容
2分査询与摘要一定相关，阅读摘要后有打开链接的倾向
1分查询与摘要不太相关，不倾向打开链接
o分查询与摘要不相关，不会打开链接
用户再针对链接文档和查询的相关性打分，打分方式与摘要相同
守
分和摘要得分，得:
摘要对查询和文
TV
(2)
其中，A^为文档得分，M.y为摘要得分，A^为文档数量。
由公式(2)计算出的数值来说明摘要的质量，显然这个计算数
值越小，摘要的质量也就越高。 4.3实验设计与步骤
对于公式(2)，我们并不知道什么样的数值能够说明摘要的质量 是可接受的，因此在对本发明算法打分并且计算公式(2)的同时， 对商业搜索引擎百度的摘要进行打分和计算公式(2)的值。
用户使用百度进行查询，并选取搜索结果中的3到5个摘要进行打分。
对用户选取的搜索结果用本发明算法针对用户查询重新提取摘 要，用户再对新的摘要进行打分。
打开搜索结果的链接文档，对文档打分.
计算公式(2)。
4.4实验结果和说明
查询数30
链接文档数150
有效链接149
本发明算法公式(2)计算结果0.973 百度摘要公式(2)计算结果1.033
实验中的用户群为7位北京大学信息科学技术学院四年级本科 生。实验中的用户都是对搜索有经验的，但我们认为这样不会对实验 结果造成偏差。比如说对于没有搜索经验的用户，使用的查询词未能 充分表达用户意图，那么得到査询结果很可能非用户需求，如此用户 便会对文档和査询的相关性打分很低，不过这样并不会对摘要评测造成影响，因为只要摘要的质量高，忠实反映查询和原文的相关度，那 么摘要的得分也会相应的低，算出的差值小， 一样可以反映摘要质量。 简单的说我们认为实验最后计算值是一个相对值，消除了用户本身影 响。
我们认为用户群体无法对本发明算法产生偏向性。从实验过程来 看，用户给本发明算法打分时是不知道文档得分的，那么，对于本发
明的算法就无法产生偏向性。
实验中本发明算法和百度都采用相同的数据集，因此，百度的结
实验中的查询全部来自于实验用户平时使用搜索引擎的真实查 询。用户并不是为实验而查询，而是在实际中有需求的情况下的查询， 我们认为这样的查询更真实。并且用户在有明确需求下对摘要打分， 我们认为这样的打分更合理。
关于查询结果中url的选取，基本原则是选取百度查询结果中的第 1、 2、 5、 9、 10条，目的是为了链接文档和查询的相关性分布尽量平 均。从直观理解，第l、 2条结果和查询的相关性较大，第5条结果相 关性一般，第9、 IO条结果相关性较低。对于点不开的链接选取其后 与其最近的有效链接。
4.5结果分析
从(2)式的计算结果来看，本发明的算法结果较好，本发明摘 要更能反映查询与原文的相关性，相比百度略优6%。但实际上两者 之间并没有太强的可比性。原因如下
1) 摘要基于网页正文，百度的正文是过去提取，很可能网页已 经发生变化，而本发明算法所基于的正文是实时提取的。
2) 实验中对于有些未能抓取的网页和提取正文不正确的网页， 采用手动提正文的方式，提取的正文结果质量较高，摘要结果也自然 更好。3)摘要是基于正文提取的，正文是通过去HTML标签和网页去 噪等方法从网页原文中提出的，由于提取正文的方法存在差异，导致 正文的质量不同，从而使得基于正文质量的摘要质量不存在很强的可
虽然缺乏一定的可比性，但百度的结果是有指导和参考价值的。 实验中百度的结果给出了 1.033这个值，而鉴于百度是现在最炙手可 热的搜索引擎之一，我们可以假设对于百度的摘要用户是可接受的， 那么1.033这个值是用户可忍受的差异值。本发明算法所得到的差异 值为0.973，在1.033附近，并且单纯从误差角度感性体会，0.973这个 差异值也应是可忍受的。所以，我们断言本发明摘要结果是理想的， 摘要原则和算法规则是合理的且可行的。
本发明分析了搜索引擎摘要以查询为中心的动态选取原则和以 文章内容为中心的静态选取原则的优劣，选取以查询为中心作为搜索 引擎摘要的核心的原则。之后基于这个原则提出了形式化算法规则， 其中我们将"以查询为中心"解析为关键词出现"最多，最丰富"，并且 我们强调摘要段落完整性，我们认为 一 段话开头的完整性更为重要， 必须从关键词开始向前延伸，以保证开头完整性。最后实现算法，且 提出了一种摘要评价方法，得到了较理想的效果。而且本发明动态摘 要算法已经应用到北京大学校内搜索引擎上。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领 域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以 做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
权利要求
1、一种搜索引擎动态摘要提取方法，其特征在于，所述方法包括以下步骤获取用户输入的查询词；根据所述查询词，截取摘要候选段落；获取所述候选段落的段权值；选取段权值最高的预先设定个数的候选段落，并将选择的候选段落合并生成摘要。
2、 如权利要求l所述的搜索引擎动态摘要提取方法，其特征在 于，在所述截取摘要候选段落的步骤中，具体包括从所述查询词在文中的位置开始向两边延伸； 根据向前阈值、终结标点集或上一段的结尾，获取所述候选段落 的起始位置；根据所述起始位置和候选段落长度的设定值，获取所述候选段落 的初始结束位置；根据所述初始结東位置、向前、向后阈值和终结标点集，获取所 述候选段落的结束位置。
3、 如权利要求2所述的搜索引擎动态摘要提取方法，其特征在 于，所述获取候选段落的起始位置的步骤，具体包括在所述查询词在文中的位置向前延伸的长度大于所述向前阈值 时、或找到所述终结标点集中的终结标点时、或达到上一段的结尾时 的位置为所述候选段落的起始位置。
4、 如权利要求2或3所述的搜索引擎动态摘要提取方法，其特 征在于，所述初始结束位置为所述起始位置和候选段落长度的设定值 之和。
5、 如权利要求4所述的搜索引擎动态摘要提取方法，其特征在 于，所述获取候选段落的结束位置的步骤，具体包括在所述查询词在文中的位置向后延伸的长度大于所述向后阈值 时、或从所述初始结東位置向前向后调整找到所述终结标点集中的终 结标点时的位置为所述候选段落的结東位置。
6、 如权利要求1所述的搜索引擎动态摘要提取方法，其特征在 于，在所述获取候选段落的段权值的步骤中，具体包括根据所述查询词在候选段落中出现的频率获取查询词权值； 根据所述查询词的权值和所述查询词在所述候选段落中出现的 次数，获取落在所述候选段落中的查询词的权值之和。
7、 如权利要求6所述的搜索引擎动态摘要提取方法，其特征在 于，在所述获取查询词的权值的步骤中，具体包括当所述查询词在候选段落中第一次出现时，其权值为Cl,当所 述查询词在第一次之后在所述候选段落中出现时，其权值为C2;为某候选段落计算权值时，所有查询词的权值都初始化为Cl。
8、 如权利要求7所述的搜索引擎动态摘要提取方法，其特征在于，所述Cl为1，所述C2为0.01。
9、 如权利要求1所述的搜索引擎动态摘要提取方法，其特征在 于，在所述选取段权值最高的预先设定个数的候选段落，并将选择的 候选段落合并生成摘要的步骤中，还包括当选择的候选段落的个数小于所述预先设定个数时，扩展所述选 择的候选段落，使所述选择的候选段落的长度达到预先设定个数的候 选段落的长度。
10、 如权利要求l所述的搜索引擎动态摘要提取方法，其特征在 于，在所述选取段权值最高的预先设定个数的候选段落，并将选择的 候选段落合并生成摘要的步骤中，还包括当选择的候选段落的个数为0时，以正文的首段话作摘要。
全文摘要
本发明公开了一种搜索引擎动态摘要提取方法，所述方法包括以下步骤获取用户输入的查询词；根据所述查询词，截取摘要候选段落；获取所述候选段落的段权值；选取段权值最高的预先设定个数的候选段落，并将选择的候选段落合并生成摘要。本发明以用户查询词为中心进行摘要候选段落的截取，并根据段权值选择候选段落，将选择的候选段落合并生成摘要，从而提高了摘要和用户查询相关性与原文档和用户查询相关性之间一致性。
文档编号G06F17/30GK101458718SQ20091007648
公开日2009年6月17日 申请日期2009年1月5日 优先权日2009年1月5日
发明者李晓明, 树柏涵, 闫宏飞 申请人:北京大学