一种抓取网页内容的方法及装置的制造方法
【技术领域】
[0001]本发明涉及计算机应用技术领域，尤其涉及一种抓取网页内容的方法及装置。
【背景技术】
[0002]网络爬虫是搜索引擎技术的基础组成部分。网络爬虫技术是从一个或若干初始网页的URL(Uniform Resource Locator，统一资源定位符)开始，获得初始网页上的URL，在抓取网页信息的过程中，根据网页的抓取规则，不断从当前页面上抽取新的URL放入队列，直到满足某种停止条件。然后将抓取到的网页信息存储在搜索引擎的服务器中，从而可以加快用户的搜索速度。
[0003]目前，在采用网络爬虫技术对网页进行抓取过程中，抓取规则为人工设置，针对不同类型的网页，需要人工设置相应的抓取规则，当需要抓取的网页类型众多时，将耗费大量的人力去设置抓取规则，从而增加了网页内容抓取的复杂度。
[0004]由此可见，目前在对不同类型网页内容进行抓取的过程中，存在网页内容抓取复杂度高，以及网页内容抓取效率低的问题。
【发明内容】
[0005]本发明实施例提供一种抓取网页内容的方法及装置，用以解决目前在对不同类型网页内容进行抓取的过程中，存在网页内容抓取复杂度高，以及网页内容抓取效率低的问题。
[0006]本发明实施例提供的具体技术方案如下:
[0007]—种抓取网页内容的方法，包括:
[0008]获取待抓取网页的URL;
[0009]在抓取规则库中，获取所述待抓取网页的URL对应的抓取规则；
[0010]当无法获取到对应于所述待抓取网页的URL的抓取规则时，对所述待抓取网页中的内容进行分析，并对满足抓取条件的所述待抓取网页生成抓取规则；
[0011]将所述待抓取网页的URL以及对应于生成的所述待抓取网页抓取规则在所述抓取规则库中进行更新。
[0012]可选的，对所述待抓取网页中包含的内容进行分词划分，生成分词组;计算所述分词组与每一个预先建立的主题语义库之间的相似度；当计算得到的所述分词组与任一所述主题语义库之间的相似度大于等于第一预设阈值时，对所述待抓取网页对应的抓取规则进行生成。
[0013]可选的，获取所述计算得到的相似度所对应的至少一个主题语义库；获取所述待抓取网页对应的HTML文档，将所述HTML文档中最高层级的分段标签作为根节点，其他层级对应的分段标签作为分节点，构建树状结构；由根节点开始，逐层遍历所述树状结构;在所述树状结构中，当存在任一分节点对应的文本内容与所述至少一个主题语义库之间的相似度大于等于第二预设阈值时，获取所述任一分节点的标识;将所述任一分节点的标识及其对应的分段标签，作为所述待抓取网页的抓取规则。
[0014]进一步的，将所述待抓取网页的URL以及对应于生成的所述待抓取网页抓取规则在所述抓取规则库中进行更新之后，将所述待抓取网页对应的分词组中包含的指定词性的分词组保存至主题内容库中；按照预设周期统计所述主题内容库中，每一个分词组的出现频率;从所述主题内容库中的所有分词组中，选取出现频率大于等于预设频率阈值的分词组，存储至所述主题语义库中。
[0015]可选的，所述抓取规则库的生成方法，包括:获取样本网页的URL;建立所述样本网页对应的预设抓取规则与所述样本网页的URL之间的对应关系，将所述对应关系存储至抓取规则库中；并获取样本网页中包含的样本内容以及所述样本网页类型;根据所述样本网页中包含的样本内容，对所述样本内容进行分词划分，将生成的每一个样本分词组均作为特征值;将所有特征值存储至与所述样本网页类型相对应的预设的主题语义库中
[0016]一种抓取网页内容的装置，包括:
[0017]第一获取单元，用于获取待抓取网页的URL;
[0018]第二获取单元，用于在抓取规则库中，获取所述待抓取网页的URL对应的抓取规则；
[0019]抓取规则生成单元，用于当无法获取到对应于所述待抓取网页的URL的抓取规则时，对所述待抓取网页中的内容进行分析，并对满足抓取条件的所述待抓取网页生成抓取规则；
[0020]更新单元，用于将所述待抓取网页的URL以及对应于生成的所述待抓取网页抓取规则在所述抓取规则库中进行更新。
[0021]可选的，所述抓取规则生成单元，具体用于:对所述待抓取网页中包含的内容进行分词划分，生成分词组;计算所述分词组与每一个预先建立的主题语义库之间的相似度；当计算得到的所述分词组与任一所述主题语义库之间的相似度大于等于第一预设阈值时，对所述待抓取网页对应的抓取规则进行生成。
[0022]可选的，所述抓取规则生成单元，具体用于:获取所述计算得到的相似度所对应的至少一个主题语义库；获取所述待抓取网页对应的HTML文档，将所述HTML文档中最高层级的分段标签作为根节点，其他层级对应的分段标签作为分节点，构建树状结构；由根节点开始，逐层遍历所述树状结构;在所述树状结构中，当存在任一分节点对应的文本内容与所述至少一个主题语义库之间的相似度大于等于第二预设阈值时，获取所述任一分节点的标识;将所述任一分节点的标识及其对应的分段标签，作为所述待抓取网页的抓取规则。
[0023]进一步的，上述装置还包括存储单元，用于:将所述待抓取网页的URL以及对应于生成的所述待抓取网页抓取规则在所述抓取规则库中进行更新之后，将所述待抓取网页对应的分词组中包含的指定词性的分词组保存至主题内容库中；按照预设周期统计所述主题内容库中，每一个分词组的出现频率;从所述主题内容库中的所有分词组中，选取出现频率大于等于预设频率阈值的分词组，存储至所述主题语义库中。
[0024]进一步的，上述装置还包括抓取规则库生成单元，还用于:获取样本网页的URL;建立所述样本网页对应的预设抓取规则与所述样本网页的URL之间的对应关系，将所述对应关系存储至抓取规则库中；并获取样本网页中包含的样本内容以及所述样本网页类型;根据所述样本网页中包含的样本内容，对所述样本内容进行分词划分，将生成的每一个样本分词组均作为特征值;将所有特征值存储至与所述样本网页类型相对应的预设的主题语义库中。
[0025]本发明实施例中，当检测到待抓取网页时，即从预设的抓取规则库中查找上述待抓取网页的URL，当该抓取规则库中不存在URL对应的抓取规则时，对待抓取网页中的内容进行分析，并对满足条件的待抓取网页生成抓取规则。采用本发明技术方案，对待抓取网页中的内容进行分析，根据分析结果自动生成待抓取网页对应的抓取规则，无须人工设置抓取规则，有效降低了网页内容抓取的复杂度，提高了网页内容抓取的效率。
【附图说明】
[0026]图1为本发明实施例中通信系统架构示意图；
[0027]图2为本发明实施例中网页内容抓取流程图；
[0028]图3为本发明实施例中样本网页示意图；
[0029]图4为本发明实施例中依存句法树示意图；
[0030]图5为本发明实施例中待抓取网页示意图；
[0031]图6为本发明实施例中具体应用场景下的网页内容抓取流程图；
[0032]图7为本发明实施例中网页内容抓取装置结构示意图。
【具体实施方式】
[0033]为了解决目前在对不同类型网页内容进行抓取的过程中，存在网页内容抓取复杂度高，以及网页内容抓取效率低的问题。本发明实施例中，当检测到待抓取网页时，即从预设的抓取规则库中查找上述待抓取网页的URL，当该抓取规则库中不存在URL对应的抓取规则时，对待抓取网页中的内容进行分析，并对满足条件的待抓取网页生成抓取规则。采用本发明技术方案，对待抓取网页中的内容进行分析，根据分析结果自动生成待抓取网页对应的抓取规则，无须人工设置抓取规则，有效降低了网页内容抓取的复杂度，提高了网页内容抓取的效率。
[0034]参阅图1所示，为本发明实施例中通信系统示意图，该通信系统包括客户端和至少一个web服务器;客户端包含用户界面，用户可以通过该用户界面与客户端进行信息交互，指示客户端呈现浏览器界面，以及根据用户指示向web服务器请求相应的数据包，并根据该数据包呈现相应的网页;web服务器，用户根据客户端发送的请求，向客户端发送相应的数据包。
[0035]下面结合附图对本发明优选的实施方式进行详细说明。
[0036]参阅图2所示，本发明实施例中，网页内容抓取过程包括:
[0037]步骤200:获取待抓取网页的URL。
[0038]本发明实施例中，客户端根据用户指示，运行浏览器应用程序；当客户端检测到用户在浏览器中输入所请求的网页信息时，根据该网页信息