基于查询扩展的有限数据源数据获取方法
【技术领域】
[0001] 本发明属于信息处理技术领域，尤其涉及信息检索领域中的查询扩展以及局部上 下文分析方法。
【背景技术】
[0002] 互联网可以视为一个不断增长的文本语料库，不同领域的专家学者建议将互联网 上的资源作为语料的获取来源。对语言学家而言，Web是重要的语言数据来源；自然语言处 理领域（NLP)，很多研究使用互联网上的文本数据并获得成功，研究包括机器翻译、术语抽 取、拼音检查和语法检查等。可以说，Web相当于一个巨型的免费语料库，收录不同类型资 源的搜索引擎、在线数据库便是开启这个语料库的"钥匙"，可以视作存储特定类型资源的 数据源。许多研究通过搜索引擎这类数据源获取语料数据建设新的语料库或优化现有语料 库，通过获取新闻文本数据用于舆情系统建设和新闻热点发现。然而这类数据源具有许多 限制，首先他们只存储采集自因特网的有限信息，其次这些数据源只向用户提供查询的接 口，用户只能通过查询从中获取与查询相关的数据，最后数据源对返回数据的数目也有较 大限制。在本文中，定义具有上述三点性质的互联网数据源为有限数据源。常见的有限数 据源包括搜索引擎、数字图书馆、视频网站等包含大量数据资源的信息服务系统。
[0003] 虽然有限数据源可以为研究者提供大量语料数据，但是其有限的检索结果数限制 了研究者对数据的获取，根据2014年对通用搜索引擎的统计数据，谷歌网页搜索一次检索 最多返回400条记录，百度网页搜索一次检索最多返回760条记录，雅虎网页搜索一次检索 最多返回1000条记录。
[0004] 针对上述问题，一种可行的方法就是通过多次拓展查询来穷尽相关数据，但是每 次拓展查询可能会有大量重复的检索结果，导致查询次数过多，数据获取效率低，无法获取 所有相关的数据。
【发明内容】
[0005] 本发明针对上述现有技术所存在的问题，提供一种基于查询扩展的有限数据源数 据获取方法。
[0006] 本发明的技术方案为一种基于查询扩展的有限数据源数据获取方法，包含以下步 骤：
[0007] 步骤1，用初始查询表达式Q在总文档数为N的有限数据源中检索，获取前n篇文 档S，构成初始查询的结果集R，对前n篇文档S进行正文提取、分词和词性标注，对所有词 进行词性过滤，从所有词中选取概念词集C，按公式（1)计算概念词集C中每个概念词(^与 查询词Wl之间的共现度，根据概念词ci与查询词wi之间的共现度f(c，Q)，对所有概念词进 行逆向排序，选取前k个概念词作为扩展词集；
[0008]
[0009] 其中，共现度计算公式中idf(wj为查询词^的逆文档频率，A为常量；c〇_ degree(c，Wl)为每个查询词Wl与概念C之间的贡献数，概念C与初始查询表达式Q之间的 共现度为概念C与初始查询表达式Q所有的查询词Wl的共现数的成积和；idf(wJ为查询 词&逆文档频率，idf(Wi) = Sum(d)为有限数据源中的文档中数，dwl为有限数 据源中包含词Wl的文档总数，idf(Wl)词语普遍重要性的度量；
[0010] 步骤2,根据扩展词集构造查询表达式，查询表达式为S+ti，然后进行k次查询得 到k个查询结果集；
[0011] 步骤3,判断k次查询累积返回的不重复文档总数是否超过总文档数N，如果未达 至IJ，则按照步骤1从每个初始查询的结果集R中选取m个扩展词，进行第二层查询扩展，此 时总共查询kXm次，此时的查询表达式为S+t11;其间，如果累积返回的文档总数超过总数 N，则停止；
[0012] 步骤4,按照步骤2和步骤3迭代进行查询扩展，直到累计返回的文档总数等于总 数N;此累计返回的文档总数N指不重复的文档数；
[0013] 优选的，所述的步骤2中，共现度计算公式中A默认为1。
[0014] 本发明的有益效果是：一种基于查询扩展的有限数据源数据获取方法，本发明通 过查询扩展技术执行多次查询以获取尽可能多的记录，可以有效地避开返回记录数的限 制；以最少的查询次数穷尽此类数据源中的相关文档，本发明能以较少的查询扩展次数从 有限数据源中获取所有相关的数据。
【附图说明】
[0015] 图1是本发明的方法流程图。
【具体实施方式】
[0016] 如图1，本发明提供一种基于查询扩展的有限数据源数据获取方法，包含以下步 骤：
[0017] 步骤1，用初始查询表达式Q在总文档数为N的有限数据源中检索，获取前n篇文 档S，构成初始查询的结果集R，对前n篇文档S进行正文提取、分词和词性标注，对所有词 进行词性过滤，从所有词中选取概念词集C，按公式（1)计算概念词集C中每个概念词(^与 查询词Wl之间的共现度，根据概念词ci与查询词wi之间的共现度f(c，Q)，对所有概念词进 行逆向排序，诜取前k个概念词作为扩展词集：
[0018]
[0019] 其中，共现度计算公式中idf(wj为查询词&的逆文档频率，A为常量；c〇_ degree(c，Wl)为每个查询词Wl与概念C之间的贡献数，概念C与初始查询表达式Q之间的 共现度为概念C与初始查询表达式Q所有的查询词Wl的共现数的成积和；idf(wJ为查询 词&逆文档频率，idf(Wi)=log(^^)，Sum(d)为有限数据源中的文档中数，dwl为有限数 据源中包含词Wl的文档总数，idf(Wl)词语普遍重要性的度量；
[0020] 步骤2,根据扩展词集构造查询表达式，查询表达式为S+ti，然后进行k次查询得 到k个查询结果集；
[0021] 步骤3,判断k次查询累积返回的不重复文档总数是否超过总文档数N，如果未达 至IJ，则按照步骤1从每个初始查询的结果集R中选取m个扩展词，进行第二层查询扩展，此 时总共查询kXm次，此时的查询表达式为S+t11;其间，如果累积返回的文档总数超过总数 N，则停止；
[0022] 步骤4,按照步骤2和步骤3迭代进行查询扩展，直到累计返回的文档总数等于总 数N;此累计返回的文档总数N指不重复的文档数；
[0023] 在步骤2中，共现度计算公式中A默认为1。
【主权项】
1. 一种基于查询扩展的有限数据源数据获取方法，其特征在于，包含w下步骤： 步骤1，用初始查询表达式Q在总文档数为N的有限数据源中检索，获取前n篇文档S， 构成初始查询的结果集R，对前n篇文档S进行正文提取、分词和词性标注，对所有词进行词 性过滤，从所有词中选取概念词集C，按公式（1)计算概念词集C中每个概念词Ci与查询词 之间的共现度，根据概念词C1与查询词W1之间的共现度f(C，Q)，对所有概念词进行逆向 排序，选取前k个概念词作为扩展词集；其中，共现度计算公式中i壯(Wi)为查询词Wi的逆文档频率，A为常量；co_degree(c，Wi)为每个查询词与概念C之间的贡献数，概念C与初始查询表达式Q之间的共现度为 概念C与初始查询表达式Q所有的查询词的共现数的成积和；i壯(W1)为查询词逆文 档频率，:MT(Wi)=log护^)，Sum(d)为有限数据源中的文档中数，cU为有限数据源中包 含词的文档总数，i壯(W1)词语普遍重要性的度量； 步骤2,根据扩展词集构造查询表达式，查询表达式为S+ti，然后进行k次查询得到k个 查询结果集； 步骤3,判断k次查询累积返回的不重复文档总数是否超过总文档数N，如果未达到，贝U按照步骤1从每个初始查询的结果集R中选取m个扩展词，进行第二层查询扩展，此时总共 查询kXm次，此时的查询表达式为S+tii;其间，如果累积返回的文档总数超过总数N，则停 止； 步骤4,按照步骤2和步骤3迭代进行查询扩展，直到累计返回的文档总数等于总数N; 此累计返回的文档总数N指不重复的文档数。2. 根据权利要求书1所述基于查询扩展的捜索引擎数据获取方法，其特征在于：在步 骤2中，共现度计算公式中A默认为1。
【专利摘要】本发明公开了一种基于查询扩展的有限数据源数据获取方法，本发明通过查询扩展技术执行多次查询以获取尽可能多的记录，可以有效地避开返回记录数的限制；以最少的查询次数穷尽此类数据源中的相关文档，本发明通过多次查询直至穷尽有限数据源中所有相关文档；本发明将该方法应用与实际的信息检索中，能以较少的查询扩展次数从有限数据源中获取所有相关的数据。
【IPC分类】G06F17/30
【公开号】CN105005620
【申请号】CN201510437403
【发明人】陆伟, 乐兴虎, 程齐凯
【申请人】武汉大学
【公开日】2015年10月28日
【申请日】2015年7月23日