一种网页信息提取方法、装置及终端的制作方法
【专利摘要】本发明实施例公开了一种网页信息提取方法，包括：解析网页信息并生成得到所述网页信息的标签树，所述标签树包括多个节点，所述标签树的各个节点分别对应于所述网页信息中的一个内容分块；获取预先建立的网页信息词库，所述网页信息词库包括多种类型的词语集合，所述词语集合中的各个词语分别对应一个权值；根据所述预先建立的网页信息词库，通过遍历所述网页信息的标签树获取所述网页信息的正文内容块；根据所述网页信息的正文内容块，对所述网页信息中的至少一个内容元素进行提取。本发明实施例还公开了网页信息提取装置及终端。采用本发明实施例，可以网页信息的提取速度。
【专利说明】一种网页信息提取方法、装置及终端
【技术领域】
[0001]本发明涉及电子【技术领域】，尤其涉及一种网页信息提取方法、装置及终端。
【背景技术】
[0002]搜索引擎包括爬行器、索引器和检索器，爬行器可以在互联网中搜集信息，并将搜集的信息写入数据库；索引器可以从爬行器搜集的信息中抽取出索引项，生成文档库的索引表；检索器可以根据文档库的索引表查询出与用户提交的查询信息相关的检索文档，从而将查询出的检索文档展现给用户，因此，搜索引擎最终是否能够为用户展示出满意的搜索答案，很大因素取决于爬行器提取的信息，而爬行器的提取方法决定了爬行器提取的信肩、O
[0003]网页信息包括正文内容、广告信息以及邮箱登录信息等等，正文内容一般都是在网页显示界面的中间，在现有技术方案中，爬行器每次都是对整个网页信息进行搜索以提取有用信息，而事实上爬行器只需要对网页显示界面中的正文内容块进行提取，对网页显示界面中的其他诸如广告信息进行搜索必然影响检索结果和浪费用户的阅读时间。
【发明内容】
[0004]本发明实施例提供一种网页信息提取方法、装置及终端。可以提高网页信息的提取速度。
[0005]本发明实施例提供了一种网页信息提取方法，包括:
[0006]解析网页信息并生成得到所述网页信息的标签树，所述标签树包括多个节点，所述标签树的各个节点分别对应于所述网页信息中的一个内容分块；
[0007]获取预先建立的网页信息词库，所述网页信息词库包括多种类型的词语集合，所述词语集合中的各个词语分别对应一个权值；
[0008]根据所述预先建立的网页信息词库，通过遍历所述网页信息的标签树获取所述网页信息的正文内容块；
[0009]根据所述网页信息的正文内容块，对所述网页信息中的至少一个内容元素进行提取。
[0010]其中，所述解析网页信息生成所述网页信息的标签树之后，还包括:
[0011]根据生成得到的所述网页信息的标签树，确定所述网页信息是否为主题类型的网页信息；
[0012]若所述网页信息为主题类型的网页信息，则执行所述获取预先建立的网页信息词库的步骤。
[0013]其中，所述根据所述预先建立的网页信息词库，通过遍历所述网页信息的标签树获取所述网页信息的正文内容块包括:
[0014]从所述预先建立的网页信息词库中分别获取各个内容分块中的各个词语对应的权值；
[0015]根据所述各个内容分块中的各个词语对应的权值，分别计算所述各个内容分块的特征值，所述各个内容分块的特征值为所述各个内容分块中的多个词语对应的权值之和；
[0016]根据所述各个内容分块的特征值，获取所述网页信息中的正文内容块。
[0017]其中，所述内容元素包括多个关键词，所述根据所述网页信息的正文内容块，对所述网页信息中的至少一个内容元素进行提取包括:
[0018]获取所述正文内容块中各个词语的词频以及所述各个词语对应的权值；
[0019]根据所述正文内容块中各个词语的词频以及与所述各个词语对应的权值，从所述正文内容块中提取所述多个关键词。
[0020]其中，所述根据所述正文内容块中各个词语的词频以及与所述各个词语对应的权值，从所述正文内容块中提取所述多个关键词包括:
[0021]根据所述正文内容块中各个词语的词频以及与所述各个词语对应的权值，计算所述正文内容中各个词语的特征值；
[0022]判断所述正文内容块中各个词语的特征值是否大于预设阈值；
[0023]若所述正文内容块中的某个/些词语的特征值大于预设阈值，则将所述某个/些词语作为所述正文内容块的关键词。
[0024]其中，所述内容元素包括正文标题，所述根据所述网页信息的正文内容块，对所述网页信息中的至少一个内容元素进行提取包括:
[0025]从所述预先建立的网页信息词库中获取所述多个关键词中各个关键词的权值；
[0026]将所述多个关键词中的权值最高的关键词作为所述正文标题。
[0027]其中，所述内容元素包括摘要，所述正文内容块包括多个段落，所述根据所述网页信息的正文内容块，对所述网页信息中的至少一个内容元素进行提取包括:
[0028]获取各个段落中的多个关键词，以及所述多个关键词中各个关键词的权值；
[0029]分别计算所述各个段落中的各条语句的特征值，所述各条语句的特征值为所述各条语句所包含的关键词的权值之和；
[0030]将所述各个段落中的特征值最高的语句进行组合得到所述网页信息的摘要。
[0031]其中，所述获取各个段落中的多个关键词，以及所述多个关键词中各个关键词的权值之前，还包括:
[0032]根据生成得到的所述网页信息的标签树，对所述正文内容块中的所述多个段落进行识别。
[0033]其中，所述内容元素包括多个超链接，所述根据所述网页信息的正文内容块，对所述网页信息中的至少一个内容元素进行提取包括:
[0034]确定所述网页信息中的各个超链接对应的语句是否与所述正文内容块的内容信息匹配；
[0035]若所述网页信息中的某个/些超链接对应的语句与所述正文内容块的内容信息匹配，则从所述网页信息中提取出所述某个/些超链接。
[0036]相应地，本发明实施例提供了一种网页信息提取装置，包括:
[0037]标签树生成模块，用于解析网页信息并生成得到所述网页信息的标签树，所述标签树包括多个节点，所述标签树的各个节点分别对应于所述网页信息中的一个内容分块；
[0038]词库获取模块，用于获取预先建立的网页信息词库，所述网页信息词库包括多种类型的词语集合，所述词语集合中的各个词语分别对应一个权值；
[0039]正文获取模块，用于根据所述预先建立的网页信息词库，通过遍历所述网页信息的标签树获取所述网页信息的正文内容块；
[0040]元素提取模块，用于根据所述网页信息的正文内容块，对所述网页信息中的至少一个内容元素进行提取。
[0041]其中，所述装置还包括:
[0042]类型确定模块，用于根据生成得到的所述网页信息的标签树，确定所述网页信息是否为主题类型的网页信息；
[0043]确定执行模块，用于若所述网页信息为主题类型的网页信息，则执行所述获取预先建立的网页信息词库的步骤。
[0044]其中，所述正文获取模块，具体用于从所述预先建立的网页信息词库中分别获取各个内容分块中的各个词语对应的权值；根据所述各个内容分块中的各个词语对应的权值，分别计算所述各个内容分块的特征值，所述各个内容分块的特征值为所述各个内容分块中的多个词语对应的权值之和；根据所述各个内容分块的特征值，获取所述网页信息中的正文内容块。
[0045]其中，所述内容元素包括多个关键词，所述元素提取模块包括:
[0046]第一获取单元，用于获取所述正文内容块中各个词语的词频以及所述各个词语对应的权值；
[0047]关键词提取单元，用于根据所述正文内容块中各个词语的词频以及与所述各个词语对应的权值，从所述正文内容块中提取所述多个关键词。
[0048]其中，所述关键词提取单元，具体用于根据所述正文内容块中各个词语的词频以及与所述各个词语对应的权值，计算所述正文内容中各个词语的特征值；判断所述正文内容块中各个词语的特征值是否大于预设阈值；若所述正文内容块中的某个/些词语的特征值大于预设阈值，则将所述某个/些词语作为所述正文内容块的关键词。
[0049]其中，所述内容元素包括正文标题，所述元素提取模块包括:
[0050]第二获取单元，用于从所述预先建立的网页信息词库中获取所述多个关键词中各个关键词的权值；
[0051]标题提取单元，用于将所述多个关键词中的权值最高的关键词作为所述正文标题。
[0052]其中，所述内容元素包括摘要，所述正文内容块包括多个段落，所述元素提取模块包括:
[0053]第三获取单元，用于获取各个段落中的多个关键词，以及所述多个关键词中各个关键词的权值；
[0054]特征值计算单元，用于分别计算所述各个段落中的各条语句的特征值，所述各条语句的特征值为所述各条语句所包含的关键词的权值之和；
[0055]摘要提取单元，用于将所述各个段落中的特征值最高的语句进行组合得到所述网页信息的摘要。
[0056]其中，所述元素提取模块还包括:
[0057]段落识别单元，用于根据生成得到的所述网页信息的标签树，对所述正文内容块中的所述多个段落进行识别。
[0058]其中，所述内容元素包括多个超链接，所述元素提取模块包括:
[0059]内容匹配单元，用于确定所述网页信息中的各个超链接对应的语句是否与所述正文内容块的内容信息匹配；
[0060]链接提取单元，用于若所述网页信息中的某个/些超链接对应的语句与所述正文内容块的内容信息匹配，则从所述网页信息中提取出所述某个/些超链接。
[0061]相应地，本发明实施例还提供一种终端，包括:
[0062]如上述任意一项所述的网页信息提取装置。
[0063]实施本发明实施例，针对现有技术方案中网页信息提取速度慢的技术问题，首先解析网页信息并生成得到网页信息的标签树，标签树的各个节点分别对应于网页信息中的一个内容分块；然后获取预先建立的网页信息词库，网页信息词库包括多种类型的词语集合，词语集合中的各个词语分别对应一个权值；最后根据预先建立的网页信息词库，通过遍历网页信息的标签树获取网页信息的正文内容块；从而根据网页信息的正文内容块，对网页信息中的至少一个内容元素进行提取，提高了网页信息的提取速度。
【专利附图】
【附图说明】
[0064]为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0065]图1是本发明提出的一种网页信息提取方法的第一实施例流程图；
[0066]图2是本发明提出的一种网页信息提取方法的第二实施例的流程图；
[0067]图3是本发明实施例提供的一种标签树结构示意图；
[0068]图4是本发明实施例提出的一种网页信息提取装置的结构示意图；
[0069]图5是本发明提出的网页信息提出装置中元素提取模块的第一实施例的结构示意图；
[0070]图6是本发明提出的网页信息提出装置中元素提取模块的第二实施例的结构示意图；
[0071]图7是本发明提出的网页信息提出装置中元素提取模块的第三实施例的结构示意图；
[0072]图8是本发明提出的网页信息提出装置中元素提取模块的第四实施例的结构示意图。
【具体实施方式】
[0073]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0074]请参考图1，图1是本发明提出的一种网页信息提取方法的第一实施例流程图。如图所示，本发明实施例中的信息提取方法包括:
[0075]S101，解析网页信息并生成得到所述网页信息的标签树，所述标签树包括多个节点，所述标签树的各个节点分别对应于所述网页信息中的一个内容分块。
[0076]具体实现中，网页信息可以包括正文内容块、广告内容块以及链接地址块等多个内容分块，每个内容分块又可以进一步划分，例如，正文内容块可以分为标题、广告、空栏、正文文字以及参与人数等内容。按照这样的划分方法，可以将整个界面的网页信息作为根节点，正文内容块、广告内容块以及链接地址块等多个内容分块多为子节点，标题、广告、空栏、正文文字以及参与人数等内容作为正文内容分块的子节点，构成该网页信息的标签树。如图3所示，对网页信息进行解析得到的标签树，需要说明的是，标签树不局限于包括如图所示的节点，还可以包括其他内容分块的节点。
[0077]S102，获取预先建立的网页信息词库，所述网页信息词库包括多种类型的词语集合，所述词语集合中的各个词语分别对应一个权值。
[0078]具体实现中，可以预先建立网页信息词库，网页信息词库可以包括正文内容相关词语集合、噪音词语集合、正文内容不相关词语集合。例如医学相关的词语集合可以包括疾病名称、药物名称、医院名字、医学专家等等；同样，噪音词语集合可以包含大量广告之类的词；而正文内容不相关的词语集合可以包括中国、太阳、水、火之类的信息。进一步的，可以对网页信息中的各个词语赋一个权值，各个词语对应的权值分别表示该词语与正文内容的相关程度，与正文内容相关程度越高，该词语的权值越高。
[0079]可选的，由于不同类型的网页信息有不同的提取方法，网页信息可以分为主题类型的网页信息、超链接类型的网页信息以及图片类型的网页信息，并且网页信息的提取只需对网页显示界面中的中间区域信息进行搜索。在解析网页信息生成所述网页信息的标签树之后，可以根据生成得到的所述网页信息的标签树，确定所述网页信息是否为主题类型的网页信息。具体实现中，可以根据网页信息的标签树，得到网页显示界面的中间区域内容块的词项数、图片内容块的词项数以及超链接内容块的词项数，若图片内容块的词项数占中间区域内容块的词项数比值大于第一预设阈值，则可以判定该网页信息为图片类型的网页信息；若超链接内容块的词项数占中间区域内容块的词项数的比值大于第二预设阈值，则可以判定该网页信息为超链接类型的网页信息，若两者都不是，则可以判定该网页信息为主题类型的网页信息，进而执行下述操作步骤。
[0080]S103，根据所述预先建立的网页信息词库，通过遍历所述网页信息的标签树获取所述网页信息的正文内容块。
[0081]具体实现中，可以从预先建立的网页信息词库中分别获取各个内容分块中的各个词语对应的权值；根据各个内容分块中的各个词语对应的权值，分别计算各个内容分块的特征值，各个内容分块的特征值为各个内容分块中的多个词语对应的权值之和；根据各个内容分块的特征值，获取网页信息中的正文内容块，将特征值最大的内容分块作为网页信息中的正文内容块。
[0082]例如:如图3所示，图中的各个节点分别对应一个权值，其中，“正文”节点包括“神奇的广告又来了”、“空一行”、“标题”、“422人参与”、“包含下面文字的层”以及“正文下面的广告”等子节点，“正文节点”只是一个空容器，不参与评分，而“正文下面的广告”节点又可以分为“第一段话”、“第二段话”、“第三段话”、“其他段”以及“广告”等子节点。将“包含下面文字的层”节点所包含的子节点对应的取值进行相加，可以得到“包含下面文字的层”内容分块的特征值，然后对“正文”节点中的每一个节点的权值进行开方运算并进行相加得到“正文”内容分块的特征值，然后对“正文”内容分块的特征值与“包含下面文字的层”内容分块的特征值进行比较，可以确定所述网页信息中的正文内容块。
[0083]S104，根据所述网页信息的正文内容块，对所述网页信息中的至少一个内容元素进行提取。其中，至少一个内容元素可以包括关键词、标题、摘要以及超链接。
[0084]可选的，可以获取正文内容块中各个词语的词频以及各个词语对应的权值；根据正文内容块中各个词语的词频以及与各个词语对应的权值，从正文内容块中提取多个关键词。其中，词语的词频为该词语在正文内容块出现的次数，词语对应的权值可以从预先建立的网页信息词库中查找到。具体实现中，根据正文内容块中各个词语的词频以及与各个词语对应的权值，计算正文内容中各个词语的特征值；判断正文内容块中各个词语的特征值是否大于预设阈值；若正文内容块中的某个/些词语的特征值大于预设阈值，则将某个/些词语作为正文内容块的关键词。或者设定选取关键词的个数，对多个关键词的特征值大小进行排序来进行选取。
[0085]可选的，可以从预先建立的网页信息词库中获取多个关键词中各个关键词的权值；将多个关键词中的权值最闻的关键词作为正文标题。
[0086]可选的，可以根据生成得到的网页信息的标签树，对正文内容块中的多个段落进行识别，其中，标签树包括正文内容块的根节点，正文内容块的根节点所包含的各个子节点分别对应与正文内容块的各个段落；获取各个段落中的多个关键词，以及多个关键词中各个关键词的权值；分别计算各个段落中的各条语句的特征值，各条语句的特征值为各条语句所包含的关键词的权值之和；将各个段落中的特征值最高的语句进行组合得到网页信息的摘要。
[0087]可选的，可以确定网页信息中的各个超链接对应的语句是否与正文内容块的内容信息匹配，例如:超链接文字中的某个词语与正文内容块中的某个词语相同，或者超链接文字表达主题内容与正文内容块表达的主题内容相似；若网页信息中的某个/些超链接对应的语句与正文内容块的内容信息匹配，则从网页信息中提取出某个/些超链接。
[0088]在本发明实施例中，首先解析网页信息并生成得到网页信息的标签树，标签树的各个节点分别对应于网页信息中的一个内容分块；然后获取预先建立的网页信息词库，网页信息词库包括多种类型的词语集合，词语集合中的各个词语分别对应一个权值；最后根据预先建立的网页信息词库，通过遍历网页信息的标签树获取网页信息的正文内容块；从而根据网页信息的正文内容块，对网页信息中的至少一个内容元素进行提取，提高了网页信息的提取速度。
[0089]如图2所示，请本发明实施例提出的一种网页信息提取方法的第二实施例的流程图。如图所示，本发明实施例中的网页信息提取方法包括:
[0090]S201，解析网页信息并生成得到所述网页信息的标签树，所述标签树包括多个节点，所述标签树的各个节点分别对应于所述网页信息中的一个内容分块。
[0091]具体实现中，网页信息可以包括正文内容块、广告内容块以及链接地址块等多个内容分块，每个内容分块又可以进一步划分，例如，正文内容块可以分为标题、广告、空栏、正文文字以及参与人数等内容。按照这样的划分方法，可以将整个界面的网页信息作为根节点，正文内容块、广告内容块以及链接地址块等多个内容分块多为子节点，标题、广告、空栏、正文文字以及参与人数等内容作为正文内容分块的叶子节点，构成该网页信息的标签树。如图3所示，对网页信息进行解析得到的标签树，需要说明的是，标签树不局限于包括如图所示的节点，还可以包括其他内容分块的节点。
[0092]S202，获取预先建立的网页信息词库，所述网页信息词库包括多种类型的词语集合，所述词语集合中的各个词语分别对应一个权值。
[0093]具体实现中，可以预先建立网页信息词库，网页信息词库可以包括正文内容相关词语集合、噪音词语集合、正文内容不相关词语集合。例如医学相关的词语集合可以包括疾病名称、药物名称、医院名字、医学专家等等；同样，噪音词语集合可以包含大量广告之类的词；而正文内容不相关的词语集合可以包括中国、太阳、水、火之类的信息。进一步的，可以对网页信息中的各个词语赋一个权值，各个词语对应的权值分别表示该词语与正文内容的相关程度，与正文内容相关程度越高，该词语的权值越高。
[0094]可选的，由于不同类型的网页信息有不同的提取方法，网页信息可以分为主题类型的网页信息、超链接类型的网页信息以及图片类型的网页信息，并且网页信息的提取只需对网页显示界面中的中间区域信息进行搜索。在解析网页信息生成所述网页信息的标签树之后，可以根据生成得到的所述网页信息的标签树，确定所述网页信息是否为主题类型的网页信息。具体实现中，可以根据网页信息的标签树，得到网页显示界面的中间区域内容块的词项数、图片内容块的词项数以及超链接内容块的词项数，若图片内容块的词项数占中间区域内容块的词项数比值大于第一预设阈值，则可以判定该网页信息为图片类型的网页信息；若超链接内容块的词项数占中间区域内容块的词项数的比值大于第二预设阈值，则可以判定该网页信息为超链接类型的网页信息，若两者都不是，则可以判定该网页信息为主题类型的网页信息，进而执行下述操作步骤。
[0095]S203，从预先建立的网页信息词库中分别获取各个内容分块中的各个词语对应的权值。
[0096]S204,根据各个内容分块中的各个词语对应的权值，分别计算各个内容分块的特征值，各个内容分块的特征值为各个内容分块中的多个词语对应的权值之和。
[0097]S205，根据各个内容分块的特征值，获取网页信息中的正文内容块，将特征值最大的内容分块作为网页信息中的正文内容块。
[0098]例如:如图3所示，图中的各个节点分别对应一个权值，其中，“正文”节点包括“神奇的广告又来了”、“空一行”、“标题”、“422人参与”、“包含下面文字的层”以及“正文下面的广告”等子节点，“正文节点”只是一个空容器，不参与评分，而“正文下面的广告”节点又可以分为“第一段话”、“第二段话”、“第三段话”、“其他段”以及“广告”等子节点。将“包含下面文字的层”节点所包含的子节点对应的取值进行相加，可以得到“包含下面文字的层”内容分块的特征值，然后对“正文”节点中的每一个节点的权值进行开方运算并进行相加得到“正文”内容分块的特征值，然后对“正文”内容分块的特征值与“包含下面文字的层”内容分块的特征值进行比较，可以确定所述网页信息中的正文内容块。
[0099]S206，根据所述网页信息的正文内容块，对所述网页信息中的至少一个内容元素进行提取。其中，至少一个内容元素可以包括关键词、标题、摘要以及超链接。
[0100]可选的，可以获取正文内容块中各个词语的词频以及各个词语对应的权值；根据正文内容块中各个词语的词频以及与各个词语对应的权值，从正文内容块中提取多个关键词。其中，词语的词频为该词语在正文内容块出现的次数，词语对应的权值可以从预先建立的网页信息词库中查找到。具体实现中，根据正文内容块中各个词语的词频以及与各个词语对应的权值，计算正文内容中各个词语的特征值；判断正文内容块中各个词语的特征值是否大于预设阈值；若正文内容块中的某个/些词语的特征值大于预设阈值，则将某个/些词语作为正文内容块的关键词。或者设定选取关键词的个数，对多个关键词的特征值大小进行排序来进行选取。
[0101]可选的，可以从预先建立的网页信息词库中获取多个关键词中各个关键词的权值；将多个关键词中的权值最闻的关键词作为正文标题。
[0102]可选的，可以根据生成得到的网页信息的标签树，对正文内容块中的多个段落进行识别，其中，标签树包括正文内容块的根节点，正文内容块的根节点所包含的各个子节点分别对应与正文内容块的各个段落；获取各个段落中的多个关键词，以及多个关键词中各个关键词的权值；分别计算各个段落中的各条语句的特征值，各条语句的特征值为各条语句所包含的关键词的权值之和；将各个段落中的特征值最高的语句进行组合得到网页信息的摘要。
[0103]可选的，可以确定网页信息中的各个超链接对应的语句是否与正文内容块的内容信息匹配，例如:超链接文字中的某个词语与正文内容块中的某个词语相同，或者超链接文字表达主题内容与正文内容块表达的主题内容相似；若网页信息中的某个/些超链接对应的语句与正文内容块的内容信息匹配，则从网页信息中提取出某个/些超链接。
[0104]在本发明实施例中，首先解析网页信息并生成得到网页信息的标签树，标签树的各个节点分别对应于网页信息中的一个内容分块；然后获取预先建立的网页信息词库，网页信息词库包括多种类型的词语集合，词语集合中的各个词语分别对应一个权值；最后根据预先建立的网页信息词库，通过遍历网页信息的标签树获取网页信息的正文内容块；从而根据网页信息的正文内容块，对网页信息中的至少一个内容元素进行提取，提高了网页信息的提取速度。
[0105]请参考图4，图4是本发明实施例提出的一种网页信息提取装置的结构示意图，如图所示，本发明实施例中的网页信息提取装置包括:
[0106]标签树生成模块401，用于解析网页信息并生成得到所述网页信息的标签树，所述标签树包括多个节点，所述标签树的各个节点分别对应于所述网页信息中的一个内容分块。
[0107]具体实现中，网页信息可以包括正文内容块、广告内容块以及链接地址块等多个内容分块，每个内容分块又可以进一步划分，例如，正文内容块又可以分为标题、广告、空栏、正文文字以及参与人数等内容。按照这样的划分方法，可以将整个界面的网页信息作为根节点，正文内容块、广告内容块以及链接地址块等多个内容分块多为子节点，标题、广告、空栏、正文文字以及参与人数等内容作为正文内容分块的叶子节点，构成该网页信息的标签树。如图3所示，对网页信息进行解析得到的标签树，需要说明的是，标签树不局限于包括如图所示的节点，还可以包括其他内容分块的节点。
[0108]类型确定模块402，用于根据生成得到的所述网页信息的标签树，确定所述网页信息是否为主题类型的网页信息。
[0109]具体实现中，可以根据网页信息的标签树，得到网页显示界面的中间区域内容块的词项数、图片内容块的词项数以及超链接内容块的词项数，若图片内容块的词项数占中间区域内容块的词项数比值大于第一预设阈值，则可以判定该网页信息为图片类型的网页信息；若超链接内容块的词项数占中间区域内容块的词项数的比值大于第二预设阈值，则可以判定该网页信息为超链接类型的网页信息，若两者都不是，则可以判定该网页信息为主题类型的网页信息，进而执行下述操作模块。
[0110]需要说明的是，由于不同类型的网页信息有不同的提取方法，网页信息可以分为主题类型的网页信息、超链接类型的网页信息以及图片类型的网页信息，并且网页信息的提取只需对网页显示界面中的中间区域信息进行搜索。
[0111]确定执行模块403，用于若所述网页信息为主题类型的网页信息，则执行所述获取预先建立的网页信息词库的步骤。
[0112]词库获取模块404，用于获取预先建立的网页信息词库，所述网页信息词库包括多种类型的词语集合，所述词语集合中的各个词语分别对应一个权值。
[0113]具体实现中，可以预先建立网页信息词库，网页信息词库可以包括正文内容相关词语集合、噪音词语集合、正文内容不相关词语集合。例如医学相关的词语集合可以包括疾病名称、药物名称、医院名字、医学专家等等；同样，噪音词语集合可以包含大量广告之类的词；而正文内容不相关的词语集合可以包括中国、太阳、水、火之类的信息。进一步的，可以对网页信息中的各个词语赋一个权值，各个词语对应的权值分别表示该词语与正文内容的相关程度，与正文内容相关程度越高，该词语的权值越高。
[0114]正文获取模块405，用于根据所述预先建立的网页信息词库，通过遍历所述网页信息的标签树获取所述网页信息的正文内容块。
[0115]具体实现中，可以从预先建立的网页信息词库中分别获取各个内容分块中的各个词语对应的权值；根据各个内容分块中的各个词语对应的权值，分别计算各个内容分块的特征值，各个内容分块的特征值为各个内容分块中的多个词语对应的权值之和；根据各个内容分块的特征值，获取网页信息中的正文内容块，将特征值最大的内容分块作为网页信息中的正文内容块。
[0116]例如:如图3所示，图中的各个节点分别对应一个权值，其中，“正文”节点包括“神奇的广告又来了”、“空一行”、“标题”、“422人参与”、“包含下面文字的层”以及“正文下面的广告”等子节点，“正文节点”只是一个空容器，不参与评分，而“正文下面的广告”节点又可以分为“第一段话”、“第二段话”、“第三段话”、“其他段”以及“广告”等子节点。将“包含下面文字的层”节点所包含的子节点对应的取值进行相加，可以得到“包含下面文字的层”内容分块的特征值，然后对“正文”节点中的每一个节点的权值进行开方运算并进行相加得到“正文”内容分块的特征值，然后对“正文”内容分块的特征值与“包含下面文字的层”内容分块的特征值进行比较，可以确定所述网页信息中的正文内容块。
[0117]元素提取模块406，用于根据所述网页信息的正文内容块，对所述网页信息中的至少一个内容元素进行提取。其中，至少一个内容元素可以包括关键词、标题、摘要以及超链接。
[0118]可选的，如图5所示，元素提取模块406可以进一步包括:
[0119]第一获取单元501，用于获取所述正文内容块中各个词语的词频以及所述各个词语对应的权值；
[0120]关键词提取单元502，用于根据所述正文内容块中各个词语的词频以及与所述各个词语对应的权值，从所述正文内容块中提取所述多个关键词。其中，词语的词频为该词语在正文内容块出现的次数，词语对应的权值可以从预先建立的网页信息词库中查找到。
[0121]具体实现中，根据正文内容块中各个词语的词频以及与各个词语对应的权值，计算正文内容中各个词语的特征值；判断正文内容块中各个词语的特征值是否大于预设阈值；若正文内容块中的某个/些词语的特征值大于预设阈值，则将某个/些词语作为正文内容块的关键词。或者设定选取关键词的个数，对多个关键词的特征值大小进行排序来进行选取。
[0122]可选的，如图6所示，元素提取模块406还可以进一步包括:
[0123]第二获取单元601，用于从所述预先建立的网页信息词库中获取所述多个关键词中各个关键词的权值；
[0124]标题提取单元602，用于将所述多个关键词中的权值最高的关键词作为所述正文标题。
[0125]可选的，如图7所示，元素提取模块406还可以进一步包括:
[0126]段落识别单元701，用于根据生成得到的所述网页信息的标签树，对所述正文内容块中的所述多个段落进行识别。
[0127]第三获取单元702，用于获取各个段落中的多个关键词，以及所述多个关键词中各个关键词的权值。
[0128]特征值计算单元703，用于分别计算所述各个段落中的各条语句的特征值，所述各条语句的特征值为所述各条语句所包含的关键词的权值之和。
[0129]摘要提取单元704，用于将所述各个段落中的特征值最高的语句进行组合得到所述网页信息的摘要。
[0130]可选的，如图8所示，元素提取模块406还可以进一步包括:
[0131]内容匹配单元801，用于确定所述网页信息中的各个超链接对应的语句是否与所述正文内容块的内容信息匹配。例如:超链接文字中的某个词语与正文内容块中的某个词语相同，或者超链接文字表达主题内容与正文内容块表达的主题内容相似。
[0132]链接提取单元802，用于若所述网页信息中的某个/些超链接对应的语句与所述正文内容块的内容信息匹配，则从所述网页信息中提取出所述某个/些超链接。
[0133]在本发明实施例中，首先解析网页信息并生成得到网页信息的标签树，标签树的各个节点分别对应于网页信息中的一个内容分块；然后获取预先建立的网页信息词库，网页信息词库包括多种类型的词语集合，词语集合中的各个词语分别对应一个权值；最后根据预先建立的网页信息词库，通过遍历网页信息的标签树获取网页信息的正文内容块；从而根据网页信息的正文内容块，对网页信息中的至少一个内容元素进行提取，提高了网页信息的提取速度。
[0134]在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0135]此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0136]流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属【技术领域】的技术人员所理解。
[0137]在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(R0M)，可擦除可编辑只读存储器(EPR0M或闪速存储器)，光纤装置，以及便携式光盘只读存储器(⑶ROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0138]应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
[0139]本【技术领域】的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0140]此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0141]上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
【权利要求】
1.一种网页信息提取方法，其特征在于，所述方法包括: 解析网页信息并生成得到所述网页信息的标签树，所述标签树包括多个节点，所述标签树的各个节点分别对应于所述网页信息中的一个内容分块； 获取预先建立的网页信息词库，所述网页信息词库包括多种类型的词语集合，所述词语集合中的各个词语分别对应一个权值； 根据所述预先建立的网页信息词库，通过遍历所述网页信息的标签树获取所述网页信息的正文内容块； 根据所述网页信息的正文内容块，对所述网页信息中的至少一个内容元素进行提取。
2.如权利要求1所述的方法，其特征在于，所述解析网页信息生成所述网页信息的标签树之后，还包括: 根据生成得到的所述网页信息的标签树，确定所述网页信息是否为主题类型的网页信息； 若所述网页信息为主题类型的网页信息，则执行所述获取预先建立的网页信息词库的步骤。
3.如权利要求1所述的方法，其特征在于，所述根据所述预先建立的网页信息词库，通过遍历所述网页信息的标签树获取所述网页信息的正文内容块包括: 从所述预先建立的网页信息词库中分别获取各个内容分块中的各个词语对应的权值； 根据所述各个内容分块中的各个词语对应的权值，分别计算所述各个内容分块的特征值，所述各个内容分块的特征值为所述各个内容分块中的多个词语对应的权值之和； 根据所述各个内容分块的特征值，获取所述网页信息中的正文内容块。
4.如权利要求1所述的方法，其特征在于，所述内容元素包括多个关键词，所述根据所述网页信息的正文内容块，对所述网页信息中的至少一个内容元素进行提取包括: 获取所述正文内容块中各个词语的词频以及所述各个词语对应的权值； 根据所述正文内容块中各个词语的词频以及与所述各个词语对应的权值，从所述正文内容块中提取所述多个关键词。
5.如权利要求4所述的方法，其特征在于，所述根据所述正文内容块中各个词语的词频以及与所述各个词语对应的权值，从所述正文内容块中提取所述多个关键词包括: 根据所述正文内容块中各个词语的词频以及与所述各个词语对应的权值，计算所述正文内容中各个词语的特征值； 判断所述正文内容块中各个词语的特征值是否大于预设阈值； 若所述正文内容块中的某个/些词语的特征值大于预设阈值，则将所述某个/些词语作为所述正文内容块的关键词。
6.如权利要求4所述的方法，其特征在于，所述内容元素包括正文标题，所述根据所述网页信息的正文内容块，对所述网页信息中的至少一个内容元素进行提取包括: 从所述预先建立的网页信息词库中获取所述多个关键词中各个关键词的权值； 将所述多个关键词中的权值最高的关键词作为所述正文标题。
7.如权利要求4所述的方法，其特征在于，所述内容元素包括摘要，所述正文内容块包括多个段落，所述根据所述网页信息的正文内容块，对所述网页信息中的至少一个内容元素进行提取包括: 获取各个段落中的多个关键词，以及所述多个关键词中各个关键词的权值； 分别计算所述各个段落中的各条语句的特征值，所述各条语句的特征值为所述各条语句所包含的关键词的权值之和； 将所述各个段落中的特征值最高的语句进行组合得到所述网页信息的摘要。
8.如权利要求7所述的方法，其特征在于，所述获取各个段落中的多个关键词，以及所述多个关键词中各个关键词的权值之前，还包括: 根据生成得到的所述网页信息的标签树，对所述正文内容块中的所述多个段落进行识别。
9.如权利要求4所述的方法，其特征在于，所述内容元素包括多个超链接，所述根据所述网页信息的正文内容块，对所述网页信息中的至少一个内容元素进行提取包括: 确定所述网页信息中的各个超链接对应的语句是否与所述正文内容块的内容信息匹配； 若所述网页信息中的某个/些超链接对应的语句与所述正文内容块的内容信息匹配，则从所述网页信息中提取出所述某个/些超链接。
10.一种网页信息提取装置，其特征在于，所述装置包括: 标签树生成模块，用于解析网页信息并生成得到所述网页信息的标签树，所述标签树包括多个节点，所述标签树的各个节点分别对应于所述网页信息中的一个内容分块； 词库获取模块，用于获取预先建立的网页信息词库，所述网页信息词库包括多种类型的词语集合，所述词语集合中的各个词语分别对应一个权值； 正文获取模块，用于根据所述预先建立的网页信息词库，通过遍历所述网页信息的标签树获取所述网页信息的正文内容块； 元素提取模块，用于根据所述网页信息的正文内容块，对所述网页信息中的至少一个内容元素进行提取。
11.如权利要求10所述的装置，其特征在于，所述装置还包括: 类型确定模块，用于根据生成得到的所述网页信息的标签树，确定所述网页信息是否为主题类型的网页信息； 确定执行模块，用于若所述网页信息为主题类型的网页信息，则执行所述获取预先建立的网页信息词库的步骤。
12.如权利要求10所述的装置，其特征在于， 所述正文获取模块，具体用于从所述预先建立的网页信息词库中分别获取各个内容分块中的各个词语对应的权值；根据所述各个内容分块中的各个词语对应的权值，分别计算所述各个内容分块的特征值，所述各个内容分块的特征值为所述各个内容分块中的多个词语对应的权值之和；根据所述各个内容分块的特征值，获取所述网页信息中的正文内容块。
13.如权利要求10所述的装置，其特征在于，所述内容元素包括多个关键词，所述元素提取1?块包括: 第一获取单元，用于获取所述正文内容块中各个词语的词频以及所述各个词语对应的权值； 关键词提取单元，用于根据所述正文内容块中各个词语的词频以及与所述各个词语对应的权值，从所述正文内容块中提取所述多个关键词。
14.如权利要求13所述的装置，其特征在于， 所述关键词提取单元，具体用于根据所述正文内容块中各个词语的词频以及与所述各个词语对应的权值，计算所述正文内容中各个词语的特征值；判断所述正文内容块中各个词语的特征值是否大于预设阈值；若所述正文内容块中的某个/些词语的特征值大于预设阈值，则将所述某个/些词语作为所述正文内容块的关键词。
15.如权利要求13所述的装置，其特征在于，所述内容元素包括正文标题，所述元素提取模块包括: 第二获取单元，用于从所述预先建立的网页信息词库中获取所述多个关键词中各个关键词的权值； 标题提取单元，用于将所述多个关键词中的权值最高的关键词作为所述正文标题。
16.如权利要求13所述的装置，其特征在于，所述内容元素包括摘要，所述正文内容块包括多个段落，所述元素提取模块包括: 第三获取单元，用于获取各个段落中的多个关键词，以及所述多个关键词中各个关键词的权值； 特征值计算单元，用于分别计算所述各个段落中的各条语句的特征值，所述各条语句的特征值为所述各条语句所包含的关键词的权值之和； 摘要提取单元，用于将所述各个段落中的特征值最高的语句进行组合得到所述网页信息的摘要。
17.如权利要求16所述的装置，其特征在于，所述元素提取模块还包括: 段落识别单元，用于根据生成得到的所述网页信息的标签树，对所述正文内容块中的所述多个段落进行识别。
18.如权利要求13所述的装置，其特征在于，所述内容元素包括多个超链接，所述元素提取1?块包括: 内容匹配单元，用于确定所述网页信息中的各个超链接对应的语句是否与所述正文内容块的内容信息匹配； 链接提取单元，用于若所述网页信息中的某个/些超链接对应的语句与所述正文内容块的内容信息匹配，则从所述网页信息中提取出所述某个/些超链接。
19.一种终端，其特征在于，所述终端包括: 如权利要求10?18任意一项所述的网页信息提取装置。
【文档编号】G06F17/30GK104268192SQ201410483306
【公开日】2015年1月7日 申请日期:2014年9月20日 优先权日:2014年9月20日
【发明者】邝锐强 申请人:广州金山网络科技有限公司