网页信息处理方法及装置的制造方法
【技术领域】
[0001] 本发明涉及信息处理技术领域，尤其涉及一种网页信息处理方法及装置。
【背景技术】
[0002] 社交媒体和移动服务是互联网上普遍流行的信息来源。根据2013年的推特招股 说明书，推特每月有超过2. 15亿的活跃用户，每天产生近5亿条推文。由于网络数据量史 无前例的增长，当用户进行网页信息查询时，为了准确得到所需的信息，越来越需要结合时 间间隔来进行查询，而不仅仅使用关键字来进行查询。例如，在推特中，由于热点推文与用 户点击率超过给定阈值的时间间隔有关，因此用户可以通过提交时间间隔结合关键字的查 询条件来找到热点推文，并追踪事件的发展。再如，维基百科标记了存档文件从创建到最后 一次修改的这段时间间隔，管理员可以通过执行时间间隔及关键字查询来找出活跃网页， 从而方便网络的管理和维护。
[0003] 现有技术中，结合时间间隔和关键词这两方面的查询条件对网络数据进行查询和 处理时，通常采用经典的向量空间模型，对待检索网页的时间间隔信息和文本信息建立统 一的倒排索引检索模型，同时针对这两类信息进行检索处理，完成待检索网页的筛选过滤 以及候选数据集与查询条件之间的相关度计算。但是，这种信息处理方式采用统一的索引 同时对所述待检索网页的时间间隔信息和文本信息进行检索，当给定的查询关键字区分度 不大，即，大量的待检索网页共同包含所述查询关键字时，同时针对待检索网页的文本信息 进行检索，容易造成信息处理量大，查询效率低下的问题。
【发明内容】
[0004] 本发明实施例提供一种网页信息处理方法及装置，用以解决现有技术中同时针对 查询时间间隔及查询关键字进行网页检索过程中检索效率及检索性能低下的问题。
[0005] 本发明实施例提供一种网页信息处理方法，所述方法包括：
[0006] 获取待检索网页的时间间隔信息；
[0007] 根据所述待检索网页的时间间隔信息将所述待检索网页的集合划分为多个区域， 通过线段树结构将所述时间间隔信息构成的时间间隔集合划分成至少两个单元时间间 隔；
[0008] 基于所述单元时间间隔为每个区域添加倒排线段树索引；
[0009] 根据查询时间间隔以及每个区域的倒排线段树索引分别对每个区域内的待检索 网页进行检索，确定与所述查询时间间隔关联的第一候选网页；
[0010] 从所述第一候选网页中确定包含查询关键字的第二候选网页；
[0011] 输出所述第二候选网页。
[0012] 在本发明的另一实施例中，所述基于所述单元时间间隔为每个区域添加倒排线段 树索引具体包括：
[0013] 基于所述单元时间间隔对每个区域中的待检索网页构建线段树索引；
[0014] 通过节点摘要文件存储所述线段树中每个待检索网页的文本统计信息；
[0015] 通过节点倒排索引表存储每个区域的待检索网页的倒排列表。
[0016] 在本发明的另一实施例中，还包括：
[0017] 所述线段树索引的每个叶节点中存储所述叶节点与其孩子节点中包含的所述待 检索网页的数量；
[0018] 所述文本统计信息包括行标识符和二元组列表，所述行标识符为所述待检索网页 中包含的文本信息，所述二元组列表的形式为node=dfItf，其中，node表示所述线段树索 引中包含所述文本信息的待检索网页的标识符，df表示包含所述文本信息的待检索网页的 总数，tf表示所述文本信息在包含所述文本信息的待检索网页中出现的次数；
[0019] 所述倒排列表包括行键值及键值对，其中，所述行键值为所述待检索网页在所述 线段树索引中的标识符，所述键值对包括所述待检索网页中包含的所述文本信息及所述待 检索网页的标识符对应的连接。
[0020] 在本发明的另一实施例中，还包括：
[0021] 若确定有至少两个所述第二候选网页，分别计算所述至少两个第二候选网页的相 关度分数，并输出至少一个所述第二候选网页；其中，所述至少一个第二候选网页的相关度 分数值大于其它第二候选网页的相关度分数值。
[0022] 在本发明的另一实施例中，所述相关度分数的计算方法为：
[0023] ^ (p,q) =a* 8 (p.i,q.i) + (1-a) * 0 (p.d,q.d)
[0024] 其中，p表示所述第一候选网页，q表示查询条件，p.i表示所述第一候选网页的时 间间隔范围，q.i表示所述查询时间间隔的范围，P.d表示所述第一候选网页的文本信息集 合，q.d表示所述查询关键字集合，S(p.i，q.i)表示所述第一候选网页与所述查询时间间 隔的时间间隔相似度，9 (P.k，q.k)表示所述第一候选网页与所述查询关键字的关键字相 关度，a为查询偏好率，用于权衡所述时间间隔相似度和关键字相关度的相对影响；
【主权项】
1. 一种网页信息处理方法，其特征在于，包括： 获取待检索网页的时间间隔信息； 根据所述待检索网页的时间间隔信息将所述待检索网页的集合划分为多个区域，通过 线段树结构将所述时间间隔信息构成的时间间隔集合划分成至少两个单元时间间隔； 基于所述单元时间间隔为每个区域添加倒排线段树索引； 根据查询时间间隔W及每个区域的倒排线段树索引分别对每个区域内的待检索网页 进行检索，确定与所述查询时间间隔关联的第一候选网页； 从所述第一候选网页中确定包含查询关键字的第二候选网页； 输出所述第二候选网页。
2. 根据权利要求1所述的网页信息处理方法，其特征在于，所述基于所述单元时间间 隔为每个区域添加倒排线段树索引具体包括： 基于所述单元时间间隔对每个区域中的待检索网页构建线段树索引； 通过节点摘要文件存储所述线段树中每个待检索网页的文本统计信息； 通过节点倒排索引表存储每个区域的待检索网页的倒排列表。
3. 根据权利要求2所述的网页信息处理方法，其特征在于， 所述线段树索引的每个叶节点中存储所述叶节点与其孩子节点中包含的所述待检索 网页的数量； 所述文本统计信息包括行标识符和二元组列表，所述行标识符为所述待检索网页中包 含的文本信息，所述二元组列表的形式为node=壯|tf，其中，node表示所述线段树索引 中包含所述文本信息的待检索网页的标识符，壯表示包含所述文本信息的待检索网页的总 数，tf表示所述文本信息在包含所述文本信息的待检索网页中出现的次数； 所述倒排列表包括行键值及键值对，其中，所述行键值为所述待检索网页在所述线段 树索引中的标识符，所述键值对包括所述待检索网页中包含的所述文本信息及所述待检索 网页的标识符对应的连接。
4. 根据权利要求1至3任一项所述的网页信息处理方法，其特征在于，若确定有至少两 个所述第二候选网页，分别计算所述至少两个第二候选网页的相关度分数，并输出至少一 个所述第二候选网页；其中，所述至少一个第二候选网页的相关度分数值大于其它第二候 选网页的相关度分数值。
5. 根据权利要求4所述的网页信息处理方法，其特征在于，所述相关度分数的计算方 法为： C(P,q)=曰 *5(P.i,q.i)+ (1-曰）* 目（P.d,q.d) 其中，P表示所述第一候选网页，q表示查询条件，P.i表示所述第一候选网页的时间间 隔范围，q.i表示所述查询时间间隔的范围，P.d表示所述第一候选网页的文本信息集合， q.d表示所述查询关键字集合，5 (P.i，q.i)表示所述第一候选网页与所述查询时间间隔 的时间间隔相似度，0 (P.k，q.k)表示所述第一候选网页与所述查询关键字的关键字相关 度，a为查询偏好率，用于权衡所述时间间隔相似度和关键字相关度的相对影响； 其中，所述时间间隔相似度的计算方法为：
所述关键字相关度的计算方法为：
其中，f；p.d表示所述待检索网页的文本信息集合P.d中关键字t的出现频率，D表示所 述第一候选网页的集合，Dq表示所述第一候选网页的数量，壯t,D表示D中包含所述查询关 键字t的网页的个数。
6. 根据权利要求1至3任一项所述的网页信息处理方法，其特征在于，所述根据所述待 检索网页的时间间隔信息将所述待检索网页的集合划分为多个区域具体包括：根据所述待 检索网页的时间间隔信息，通过z-order多维映射函数计算出所述待检索网页的Z-order 值，根据所述Z-order值的排序将所述待检索网页的集合划分为Z-order值域不关联的多 个区域。
7. -种网页信息处理装置，其特征在于，包括； 获取模块，用于获取待检索网页的时间间隔信息； 划分模块，用于根据所述待检索网页的时间间隔信息将所述待检索网页的集合划分为 多个区域，并通过线段树结构将所述时间间隔信息构成的时间间隔集合划分成若干单元时 间间隔， 倒排线段树索引构建模块，用于基于所述单元时间间隔为每个区域添加倒排线段树索 引； 第一确定模块，用于根据查询时间间隔W及每个区域的倒排线段树索引分别对每个区 域内的待检索网页进行检索，确定与所述查询时间间隔关联的第一候选网页； 第二确定模块，用于从所述第一候选网页中确定包含查询关键字的第二候选网页； 输出模块，用于输出所述第二候选网页。
8. 根据权利要求7所述的网页信息处理装置，其特征在于，所述倒排线段树索引构建 模块具体用于： 基于所述单元时间间隔对每个区域中的待检索网页构建线段树索引； 通过节点摘要文件存储所述线段树中每个待检索网页的文本统计信息； 通过节点倒排索引表存储每个区域的待检索网页的倒排列表。
9. 根据权利要求7或8所述的网页信息处理装置，其特征在于，还包括计算模块，用于 当所述第二确定模块确定有至少两个所述第二候选网页时，分别计算所述至少两个第二候 选网页的相关度分数； 所述输出模块用于输出至少一个所述第二候选网页；其中，所述至少一个第二候选网 页的相关度分数值大于其它第二候选网页的相关度分数值。
10. 根据权利要求7或8所述的网页信息处理装置，其特征在于，所述划分模块具体用 于：根据所述待检索网页的时间间隔信息，通过z-order多维映射函数计算出所述待检索
【专利摘要】本发明提供一种网页信息处理方法及装置，所述方法包括：获取待检索网页的时间间隔信息；根据所述待检索网页的时间间隔信息将所述待检索网页的集合划分为多个区域，通过线段树结构将所述时间间隔信息构成的时间间隔集合划分成至少两个单元时间间隔；基于所述单元时间间隔为每个区域添加倒排线段树索引；根据查询时间间隔以及每个区域的倒排线段树索引分别对每个区域内的待检索网页进行检索，确定与所述查询时间间隔关联的第一候选网页；从所述第一候选网页中确定包含查询关键字的第二候选网页；输出所述第二候选网页。
【IPC分类】G06F17-30
【公开号】CN104794237
【申请号】CN201510229707
【发明人】张孝, 李睿, 于翌睎, 王珊
【申请人】中国人民大学
【公开日】2015年7月22日
【申请日】2015年5月7日