一种增量抓取网页内容的方法
【专利摘要】本发明公开了一种增量抓取网页内容的方法，首先通过全局搜索遍历的方式建立网页内容基础资源库，然后提取出网页内容处于变化更新状态的URL，并将这些URL和对应的网页解析规则加入到所分配的任务队列中，下载这些网页并创建网页DOM对象，依据解析规则提取出网页内容元数据并与原基础库中的网页内容对比后替换掉已更新的信息，或者向基础资源库中完全不存在的URL插入其网页内容信息。本发明在对整个资源库进行检查更新时不需要去遍历所有URL的网页内容，只需遍历那些有更新变化标识URL下的网页内容，实现了网页内容的增量抓取，减少了抓取工作量，提高了更新效率。
【专利说明】一种增量抓取网页内容的方法
【技术领域】
[0001]本发明涉及计算机【技术领域】，特别涉及一种增量式的网页内容抓取方法。
【背景技术】
[0002]目前，爬虫技术被广泛应用于网页内容的抓取，海量网页信息通常通过一种贪婪式、地毯式的网络爬虫方法来获取并建立相应的资源库。然而在互联网高速发展的时代，网页信息的更新速度也是极快的，在这种情况下由于对时效性、新鲜度等指标的要求使得已有网页内容信息资源库的价值降低，不能满足相应的需求。现有的增量抓取方法往往是通过遍历所有的网页并从中提取出与已有资源相比新鲜度较高的网页信息，这种方法效率很低，对时间、空间与网络带宽等要求较高，在这种情况下，一种高效的网页内容增量抓取方法显得尤为重要。
【发明内容】
[0003]为了克服现有技术的上述缺点，本发明提供了一种增量抓取网页内容的方法，能在高效、较低工作量的情况下完成网页内容抓取工作。
[0004]本发明解决其技术问题所采用的技术方案是:一种增量抓取网页内容的方法，包括如下步骤:
[0005]步骤一、建立网页内容基础资源库；
[0006]步骤二、从网页内容基础资源库中识别并筛选出处于持续变化更新状态的网页，将网页地址URL存入数据库表中，同时定义网页解析规则；
[0007]步骤三、部署若干线程多任务并发实现增量抓取网页内容元数据；
[0008]步骤四、对网页内容基础资源库进行增量更新。
[0009]与现有技术相比，本发明的积极效果是:本发明首先通过全局搜索遍历的方式建立网页内容基础资源库，然后提取出网页内容处于变化更新状态的URL，并将这些URL和对应的网页解析规则加入到所分配的任务队列中，下载这些网页并创建网页DOM对象，依据解析规则提取出网页内容元数据并与原基础库中的网页内容对比后替换掉已更新的信息，或者向基础资源库中完全不存在的URL插入其网页内容信息。本发明在对整个资源库进行检查更新时不需要去遍历所有URL的网页内容，只需遍历那些有更新变化标识URL下的网页内容，实现了网页内容的增量抓取，减少了抓取工作量，提高了更新效率。
【专利附图】
【附图说明】
[0010]本发明将通过例子并参照附图的方式说明，其中:
[0011]图1为本发明方法的流程图。
【具体实施方式】
[0012]本发明中增量式抓取网页内容的方法，是在建立了网页内容资源库的基础上，提取出处于变化更新状态的网页URL，再从已下载的网页中抓取出内容元数据并增量更新资源库中的相应内容，或者插入原资源库中不存在的网页内容。
[0013]本发明中对基础资源库的增量更新包括了对已有网页内容信息的更新和全新的URL下网页内容信息的添加。
[0014]如图1所示，本发明方法包括如下步骤:
[0015]步骤S101，建立网页内容基础资源库:
[0016]首先以全局搜索遍历的方式遍历种子URL下符合需求定义的所有网页，下载这些网页并依据符合这些网页特点的解析规则对它们进行解析，提取出网页内容元数据，从而将这些网页内容元数据插入预先设定的关系数据库中，建立网页内容基础资源库，其中每一个特定的网页对应一个唯一标识的ID。
[0017]步骤S102，从网页内容基础资源库中识别并筛选出处于持续变化更新状态的网页，并定义符合网页特征与需求的解析规则:
[0018]依据网页内容基础资源库中网页内容的特征及相关标识，筛选出网页内容处于变化更新状态的网页对应地址URL，并存入相应的数据库表中。需要识别网页的内容是否处于变化更新中，是否需要后续的跟踪与内容增量抓取更新，如果是则将这个网页的地址URL加入到对应的数据库表中，这个表仅用于存储需要更新的网页地址URL，比如视频类的网页内容信息，变化更新的通常是视频的播放地址，如连载的电视剧集等。
[0019]从存储内容变化网页地址URL的数据库表中取出地址URL，并定义符合网页内容特征的网页内容元数据解析规则。网页解析规则是针对网页的特定类型、依据网页的布局、结构设计特点、内容信息的重要度和用户需求等来定义的。
[0020]步骤S103，部署若干线程多任务并发实现增量抓取网页内容元数据:
[0021]根据所要抓取网页的规模部署一定数量的线程以多任务并发实现增量抓取，将定义的解析规则和从数据库表中取出的处于变化更新中的网页URL加入到线程任务队列中；在每一个线程任务队列中，下载所有URL对应的网页并创建DOM对象，然后依据解析规则对所述的DOM对象进行解析，并从中提取出所需的网页内容元数据，以视频类网页信息为例，网页元数据包括:视频标题、上传时间、视频类型、上传作者、演员、国家与地区、观众评分坐寸ο
[0022]步骤S104，对网页内容基础资源库进行增量更新:
[0023]将提取出的网页内容元数据与基础资源库中的网页内容信息进行对比，若基础资源库中不存在网页URL下任何信息记录，则直接将该网页URL下的所有内容元数据插入基础库中；若基础库中已存在网页URL下的部分信息，则将提取出的网页内容元数据的更新部分在基础库中进行更新操作。至此，本次网页内容增量抓取任务完成，开发者只需根据网页内容的更新频率与特点定期部署增量抓取的工作。
【权利要求】
1.一种增量抓取网页内容的方法，其特征在于:包括如下步骤: 步骤一、建立网页内容基础资源库； 步骤二、从网页内容基础资源库中识别并筛选出处于持续变化更新状态的网页，将网页地址URL存入数据库表中，同时定义网页解析规则； 步骤三、部署若干线程多任务并发实现增量抓取网页内容元数据； 步骤四、对网页内容基础资源库进行增量更新。
2.根据权利要求1所述的一种增量抓取网页内容的方法，其特征在于:步骤一所述建立网页内容基础资源库的方法为:以全局搜索遍历的方式遍历种子URL下符合需求定义的所有网页，下载、解析并提取出网页内容元数据，然后插入预先设定的关系数据库中，建立网页内容基础资源库。
3.根据权利要求2所述的一种增量抓取网页内容的方法，其特征在于:在网页内容基础资源库中，每一个特定的网页对应一个唯一标识的ID。
4.根据权利要求1所述的一种增量抓取网页内容的方法，其特征在于:所述网页解析规则是针对网页的特定类型、依据网页的布局、结构设计特点、内容信息的重要度和用户需求等来定义的。
5.根据权利要求1所述的一种增量抓取网页内容的方法，其特征在于:步骤三所述部署若干线程多任务并发实现增量抓取网页内容元数据的方法为:根据所要抓取网页的规模部署一定数量的线程，将网页解析规则和从数据库表中取出的处于变化更新中的网页地址URL加入到线程任务队列中；在每一个线程任务队列中，下载所有URL对应的网页并创建DOM对象，然后依据网页解析规则对DOM对象进行解析，并从中提取出所需的网页内容元数据。
6.根据权利要求1所述的一种增量抓取网页内容的方法，其特征在于:步骤四所述对网页内容基础资源库进行增量更新的方法为:将步骤三抓取出的网页内容元数据与基础资源库中的网页内容信息进行对比，若基础资源库中不存在网页URL下任何信息记录，则将该网页URL下的所有内容元数据插入基础资源库中；若基础资源库中已存在网页URL下的部分信息，则将提取出的网页内容元数据的更新部分在基础资源库中进行更新操作。
【文档编号】G06F17/30GK104391917SQ201410663266
【公开日】2015年3月4日 申请日期:2014年11月19日 优先权日:2014年11月19日
【发明者】康钟荣, 李强 申请人:四川长虹电器股份有限公司