专利名称：一种网页数据信息的定向采集方法及装置的制作方法
技术领域：
本发明涉及互联网技术领域，尤其涉及一种网页数据信息的定向采集方法及装置。
背景技术：
随着网络技术的出现，用户获取信息的方式得到了拓展，并且随着网络技术的不断成熟，互联网已经成为用户获取信息的主要载体。在互联网中用户可以通过搜索引擎进行信息的采集，而网络信息采集系统为搜索引擎的重要组成部分。网络信息采集系统可以在互联网中自动提取网页，并以提取的网页的统一资源定位符(Uniform Resource Locator, URL)为种子URL，访问并下载该URL对应的网页，获取该网页中存在的URL，将获取的URL添加到URL列表中，在该列表中选择一个URL，重新上述过程，直到满足设定的要求。在通过提取网页进行数据信息采集时，每两次信息采集之间存在一定的时间间隔，现有技术中一般每两次信息采集之间的时间间隔相等，或者该时间间隔符合泊松分布。在进行信息采集时，每两次信息采集之间采用相等的时间间隔时，如果应用在更新比较缓慢的网站上，由于网站的更新比较慢，每两次信息采集过程中可能采集的信息相同，从而造成了搜索引擎资源的浪费，并且还可能带来带宽的浪费。当该时间间隔应用在更新比较频繁的网站上时，由于网站的更新比较频繁，网站的内容可能已经更新了，但是下一采集时间还没有到来，因此可能由于信息的漏采，造成信息采集的不准确。而当时间间隔符合泊松分布时，也只是由搜索引擎运行的时间增长，而使时间间隔趋于一个稳定值，即当搜索引擎长时间运行时，搜索引擎的信息采集的时间间隔也为一恒定值，因此该时间间隔在进行信息采集的过程中也会造成资源的浪费，及信息采集不准确的问题。
发明内容
有鉴于此，本发明实施例提供一种网页数据信息的定向采集方法及装置，用以解决现有技术中搜索引擎在进行信息采集时，造成的资源浪费及信息采集不准确的问题。本发明实施例提供的一种网页数据信息的定向采集方法，包括根据采集到的列表页对应网页的内容，抽取每个内容所在的内容页的统一资源定位符URL信息，其中所述列表页为用于数据信息采集的网页；根据抽取的每个内容页的URL信息，及服务器中保存的已经进行了数据信息采集的每个URL信息，确定该列表页中未进行数据信息采集的URL信息的数量；根据确定的所述列表页中未进行数据信息采集的URL信息的数量，及抽取的所述内容页的URL信息的数量，确定所述列表页当前的页面更新率；根据所述列表页所属网站的标准更新率，确定的所述列表页当前的页面更新率， 及当前的信息采集时间间隔，确定针对所述列表页当前数据信息采集与下一次数据信息采集的时间间隔，并在等待该确定的时间间隔后，进行数据信息采集。本发明实施例提供的一种网页数据信息的定向采集装置，包括抽取模块，用于根据采集到的列表页对应网页的内容，抽取每个内容所在的内容页的统一资源定位符URL信息，其中所述列表页为用于数据信息采集的网页；第一确定模块，用于根据抽取的每个内容页的URL信息，及服务器中保存的已经进行了数据信息采集的每个URL信息，确定该列表页中未进行数据信息采集的URL信息的数量；第二确定模块，用于根据确定的所述列表页中未进行数据信息采集的URL信息的数量，及抽取的所述内容页的URL信息的数量，确定所述列表页当前的页面更新率；确定采集模块，用于根据所述列表页所属网站的标准更新率，确定的所述列表页当前的页面更新率，及当前的信息采集时间间隔，确定针对所述列表页当前数据信息采集与下一次数据信息采集的时间间隔，并在等待该确定的时间间隔后，进行数据信息采集。本发明实施例提供了一种网页数据信息的定向采集方法及装置，该采集方法中确定列表页当前的页面更新率，根据列表页所属网站的标准更新率，确定的所述列表页当前的页面更新率，及当前的信息采集时间间隔，确定针对所述网站当前信息采集与下一次信息采集的时间间隔，在等待该确定的时间间隔后，进行信息采集。由于在本发明实施例的上述实现方式中，通过确定列表页的页面更新率，动态的确定信息采集的时间间隔，因此可以在网页刷新时准确的获取到信息，并且减少了网络资源的浪费。
图1为本发明实施例提供的网页数据信息的定向采集过程；图2为本发明实施例提供的网页数据信息的定向装置的组成结构示意图。
具体实施例方式本发明实施例中为了减少网络资源的浪费，提高信息采集的准确性，提供了一种网页数据信息的定向采集方法，在该方法中通过确定包含被采集网站的网页信息的列表页的当前页面更新率，并根据所述网站的标准更新率，确定针对所述列表页当前信息采集与下一次信息采集的时间间隔，根据该时间间隔进行信息的采集。由于在本发明实施例的上述实现方式中，通过确定列表页中当前的页面更新率，动态的确定信息采集的时间间隔，因此根据确定信息采集的时间间隔，可以在网页刷新时准确的获取到网页的数据信息，并且减少了网络资源的浪费。下面结合说明书附图，对本发明实施例进行详细说明。图1为本发明实施例提供的网页数据信息的定向采集过程，该过程包括以下步骤SlOl 根据采集到的列表页对应网页的内容，抽取每个内容所在的内容页的统一资源定位符URL信息，其中所述列表页为用于数据信息采集的网页。在本发明实施例中列表页为用于数据信息采集的网页。一般针对每个网站进行数据信息采集时，将该网站中初始进行信息采集的每个URL信息作为一个列表页，即将某一网页的URL信息作为初始数据信息采集的列表页。
当进行数据信息采集时，根据采集任务对应的列表页的URL信息，采集该列表页的每个内容。根据列表页的每个内容，抽取每个内容所在内容页的URL信息。例如当该列表页为某网站新闻主页时，在该主页中包含若干条新闻题目信息，其中该新闻题目即为该列表页中的内容，根据每个新闻题目信息，获取每个新闻题目的新闻正文所在的网页的URL， 从而达到采集每个新闻题目所在内容页的URL信息的目的，即每个新闻正文所在的网页为该内容所在的内容页。S102:根据抽取的每个内容页的URL信息，及服务器中保存的已经进行了数据信息采集的每个URL信息对应的标识信息，确定该列表页中未进行数据信息采集的URL信息的数量。在本发明实施例中确定列表页中未进行数据信息采集的URL信息具体包括根据抽取的每个内容页的URL信息，确定每个URL信息对应的标识信息，针对确定的每个URL 信息对应的标识信息，在服务器保存的已经进行了数据信息采集的每个URL信息对应的标识信息中查找，判断是否存在该确定的标识信息，当判断不存在时，确定该标识信息对应的 URL信息为该列表页中未进行数据信息采集的URL信息。S103 根据确定的所述列表页中未进行数据信息采集的URL信息的数量，及抽取的所述内容页中的URL信息的数量，确定所述列表页当前的页面更新率。其中，确定所述列表页的页面更新率包括计算所述列表页中未进行数据信息采集的URL信息的数量，与抽取的所述内容页的URL信息的数量的比值，将所述比值作为确定的所述列表页当前的页面更新率。S104:根据所述列表页所属网站的标准更新率，确定的所述列表页当前的页面更新率，及当前的信息采集时间间隔，确定针对所述列表页当前信息采集与下一次信息采集的时间间隔。在本发明实施例中确定针对所述列表页当前数据信息采集与下一次数据信息采集的时间间隔包括当确定的列表页的当前页面更新率大于所述网站的标准更新率时，缩短当前的数据信息采集时间间隔，将缩短后的时间间隔确定为当前数据信息采集与下一次数据信息采集的时间间隔；当确定的列表页的当前页面更新率等于所述网站的标准更新率时，确定当前数据信息采集与下一次数据信息采集的时间间隔为当前的数据信息采集时间间隔；当确定的列表页的当前页面更新率小于所述网站的标准更新率时，延长当前的数据信息采集时间间隔，将延长后的时间间隔确定为当前数据信息采集与下一次数据信息采集的时间间隔。S105 在等待该确定的时间间隔后，进行数据信息采集。在本发明实施例中可以针对网站的重要性对网站进行分级，划分级别的个数可以根据需要确定，网站的重要性越高对应的级别越高。并且每一级别中包含的网站对应的权重值相同，每一级别包含的网站对应的权重值可以为不小于1的数值。网站的重要性越高时，对应的权重值越大。其中网站的重要性可以根据用户的经验进行确定，或根据网站信息的准确程度进行确定，在进行网站信息准确程度的评判时，可以根据用户自身对网站信息的分析确定，或根据相应的匹配算法确定。上述实施方式中，在针对每个网站进行网页数据信息的定向采集时，每个网站的重要性都是可知的，或者当存在不可知的网站时，可以任意将该网站划分到一个级别中以便后续过程的进行。在进行网页数据信息采集之前，需要确定全局更新率。该全局更新率，在进行网页数据信息采集的初始阶段设置，可以将该全局更新率设置为任意大于零小于1的数值。当设置了全局更新率后，根据每个网站对应的权重值，可以确定每个网站的标准更新率，其中该标准更新率可以为设置的全局更新率与该网站对应的权重值的积。或者其他的确定方法，主要保证网站重要性越高时，该网站对应的标准更新率越高。在本发明实施例中在进行网页数据信息的采集时，针对每个网站都可能存在一个或多个采集任务，每个采集任务即为一个列表页，即针对每个采集任务都有对应的一个URL fn息ο每个采集任务对应一个列表页，在服务器中可以保存已经进行了数据采集的网页的URL信息对应的唯一标识信息，相同的标识信息对应相同的URL信息。例如可以采用MD5 算法，确定每个URL信息对应的标识信息。根据采集到的列表页对应网页的内容，抽取每个内容所在的内容页的统一资源定位符URL信息时，由于每个URL信息对应一个网页，而不同的网页可能包含不同的内容，因此可以根据每个内容页的URL信息，获取对应的内容数据。例如在网页中可能包含帖子的标题、博客的标题、新闻正文的标题等等内容。不同的内容对应不同的链接，例如当列表页中包含帖子的议题时，根据该议题可以获取该帖子对应的链接，即该帖子的正文所在的内容页，在帖子的议题所在的内容页，即为列表页中的内容所在的内容页，而该内容页的URL 信息，即为该列表页中的内容所在内容页的URL信息。针对每个列表页，由于每个网页的格式基本上固定，因此一般情况下在采集列表页每个内容所在的内容页的URL信息时，可以获取到相同数量的URL信息。例如对于某一论坛主页为列表页时，在该论坛主页中包含的内容-帖子的数量确定，而每个帖子在不同的内容页中。例如在该列表页中可以包含20个帖子，当又有新的帖子出现时，按照更新程度进行排序时，该帖子将在该主页内，相反一些帖子将会被替代，即不包含在该主页内。此时根据该列表页的每个内容进行URL信息的采集时，可以获取每个帖子所在的内容页的URL fn息ο因为服务器中保存了已经进行了数据信息采集的内容页的URL信息的标识信息， 并且相同的标识信息对应的URL信息相同，因此可以根据采集的每个内容所在内容页的 URL信息，确定该列表页中新出现的未进行数据信息采集的内容页URL信息的数量。例如出现了新增的帖子，当获取了该帖子所在的网页的URL信息后，根据该URL信息，确定该URL信息对应的标识信息，确定该标识信息是否在服务器中保存，当服务器中保存了该URL信息对应的标识信息时，可以认为该帖子在其他的采集任务中已经采集过，即该帖子的数据信息已经被采集过，该URL信息非未进行数据信息采集的URL信息；当该URL 信息对应的标识信息，在服务器中不存在时，确定该URL信息为该列表页中新出现的未进行数据信息采集的URL信息。因此根据上述描述可知，当采集了列表页中每个内容所在的内容页的URL信息后，根据每个URL信息对应的标识信息，及服务器中保存的已经进行了数据信息采集的每个URL信息对应的标识信息，可以确定该列表页中新出现的未进行数据信息采集的URL信息的数量。
当进行第一次数据信息采集时，网站中初始进行数据信息采集的URL信息为该列表页的URL信息，根据该URL信息在对应的网页中抽取每个内容所在的内容页的URL信息。 根据抽取的每个内容页的URL信息对应的标识信息，以及服务器中保存的已经进行了数据信息采集的每个URL信息对应的标识信息，将未在该服务器中出现的URL信息对应的标识信息的数量，确定列表页中新出现的未进行数据信息采集的URL信息的数量。当抽取了每个内容所在的内容页的URL信息，并确定了列表页中新出现的未进行数据信息采集的URL信息的数量，根据每个未进行数据信息采集的URL信息，在对应的网页进行数据信息的采集，并在数据信息采集后，将该URL信息对应的标识信息保存到服务器中，作为已进行了数据信息采集的URL信息对应的标识信息。当下一次根据列表页的每个内容进行数据信息采集时，获取到某一内容所在的内容页的URL信息对应的标识信息，与该服务器中保存的该URL信息对应的标识信息相同时，则认为对该URL信息对应的网页的内容已进行了数据信息的采集。当采集了列表页中每个内容对应网页的URL信息后，确定了该列表页中新出现的未进行数据信息采集的URL信息的数量，根据确定的所述列表页中新出现的未进行数据信息采集的URL信息的数量，及抽取的所述内容页的URL信息的数量，确定所述列表页当前的页面更新率。确定列表页当前的页面更新率具体包括计算列表页中新出现的未进行数据采集的URL信息的数量，与抽取的所述内容页的URL信息的数量的商，将该商值作为该列表页当前的页面更新率。确定了该列表页当前的页面更新率后，由于该列表页当前的页面更新率表示按照当前的数据信息采集时间间隔，对该列表页的内容所在的内容页的URL信息进行抽取时， 当前该列表页的内容所在的内容页的URL信息的更新情况。并且由于该列表页所属网站的标准更新率已知，当该列表页当前的页面更新率大于该网站对应的标准更新率时，说明该列表页的内容所在的内容页的URL的信息更新较快，即进行数据信息采集时，该列表页中未进行数据信息采集的URL信息数量较多，因此采用当前的时间间隔进行数据信息采集时，将会造成部分信息的丢失。因此为了保证数据信息采集的准确性，需要将数据信息采集的时间间隔缩短。在本发明实施例中在缩短该数据信息采集的时间间隔时，可以将当前的数据信息采集时间间隔减去一个固定值，或减去任意值，将减去固定值或任意值后的时间间隔，作为针对所述网站当前数据信息采集与下一次数据信息采集的时间间隔。但在本发明实施例中为了使确定针对所述网站当前数据信息采集与下一次数据信息采集的时间间隔更加准确， 可以确定当前的数据信息采集时间间隔与所述网站的标准更新率的积，并确定所述积与所述列表页当前的页面更新率的商，将所述商确定为针对所述网站当前数据信息采集与下一次数据信息采集的时间间隔。当该列表页当前的页面更新率等于该网站对应的标准更新率时，说明对该列表页的页面更新时间，与当前的数据信息采集时间间隔比较吻合，针对所述网站当前数据信息采集与下一次数据信息采集的时间间隔可以采用当前的数据信息采集时间间隔。当该列表页当前的页面更新率小于该网站对应的标准更新率时，说明该列表页的页面更新较慢，即进行数据信息采集时可能该列表页的内容所在内容页的URL信息还基本上没进行更新，采用当前的时间间隔进行数据信息采集时，将会造成带宽的浪费，因此为了节省带宽资源，需要将数据信息采集的时间间隔延长。在本发明实施例中在延长该数据信息采集的时间间隔时，可以将当前的数据信息采集时间间隔加上一个固定值，或加上任意值，将加上固定值或任意值后的时间间隔，作为针对所述网站当前数据信息采集与下一次数据信息采集的时间间隔。但在本发明实施例中为了使确定针对所述网站当前数据信息采集与下一次数据信息采集的时间间隔更加准确， 可以确定所述网站的标准更新率与确定的所述列表页当前的页面更新率的差值，将该差值加一后确定与当前的数据信息采集时间间隔的积，将该积确定为针对所述网站当前信息采集与下一次信息采集的时间间隔。例如，在确定针对所述网站当前数据信息采集与下一次数据信息采集的时间间隔时，可以根据下述公式进行
权利要求
1.一种网页数据信息的定向采集方法，其特征在于，包括根据采集到的列表页对应网页的内容，抽取每个内容所在的内容页的统一资源定位符 URL信息，其中所述列表页为用于数据信息采集的网页；根据抽取的每个内容页的URL信息，及服务器中保存的已经进行了数据信息采集的每个URL信息，确定该列表页中未进行数据信息采集的URL信息的数量；根据确定的所述列表页中未进行数据信息采集的URL信息的数量，及抽取的所述内容页的URL信息的数量，确定所述列表页当前的页面更新率；根据所述列表页所属网站的标准更新率，确定的所述列表页当前的页面更新率，及当前的信息采集时间间隔，确定针对所述列表页当前数据信息采集与下一次数据信息采集的时间间隔，并在等待该确定的时间间隔后，进行数据信息采集。
2.如权利要求1所述的方法，其特征在于，所述确定列表页中未进行数据信息采集的 URL信息包括根据抽取的每个内容页的URL信息，确定每个URL信息对应的标识信息； 针对确定的每个URL信息对应的标识信息，在服务器保存的已经进行了数据信息采集的每个URL信息对应的标识信息中查找，判断是否存在该确定的标识信息；当判断不存在时，确定该标识信息对应的URL信息为该列表页中未进行数据信息采集的URL信息。
3.如权利要求2所述的方法，其特征在于，所述方法进一步包括根据所述未进行数据信息采集的URL信息，在对应的网页进行数据信息采集后，将所述URL信息对应的标识信息保存在所述服务器中。
4.如权利要求1所述的方法，其特征在于，确定所述网站的标准更新率包括根据设置的全局更新率，以及所述网站对应的权重值，确定所述网站的标准更新率。
5.如权利要求4所述的方法，其特征在于，所述方法还包括将采集线程划分为进行列表页队列采集的采集线程，和进行内容页队列采集的采集线程，其中列表页队列包含待采集的每个列表页的URL信息，针对列表页的采集包括抽取列表页中每个内容所在的内容页的URL信息，内容页队列包含待采集的每个内容页的URL信息，针对内容页的采集包括根据每个内容页的URL信息，获取对应网页中的数据信息；当列表页队列中待采集的URL信息的数量与采集任务总数的比例，大于设定的比例阈值，并且内容页队列中的线程数量不小于内容页队列中所有的URL信息所属的网站的数量时，增加对列表页队列进行采集的采集线程的数量；当列表页队列中排队等待采集的URL信息的数量与采集任务总数的比例，小于设定的比例阈值，且当前内容页队列中的线程数量小于内容页队列中所有的URL信息所属的网站的数量时，减少对列表页队列进行采集的采集线程的数量，其中采集任务总数为初始进行数据信息采集时加载的所有列表页的个数。
6.如权利要求5所述的方法，其特征在于，所述方法还包括Si根据iRatiOriRatioGlohal-gi^l ,if λ < A0AnThdNumciml > nSiteNumCim,a RatioiRatioGhhal,if λ < A0KnThdNumctmt < nSiteNumComiRatioGhhd * a1<alio，if λ > A0RnThdNumaml > nSiteNumCon,调整全局更新率，其中aKati。为1和1.5之间数值，λ。为理想状态下，列表页队列中待采集的URL信息的数量与采集任务总数的比例，λ为当前列表页队列中待采集的URL 信息的数量与采集任务总数的比例，nThdNumCont为分配给内容页队列的采集线程的数量， nSiteNUm。。nt为内容页队列中所有的URL信息所属的网站的数量。
7.如权利要求1所述的方法，其特征在于，确定针对所述列表页当前信息采集与下一次信息采集的时间间隔包括当列表页的当前页面更新率大于所述网站的标准更新率时，缩短当前的信息采集时间间隔，将缩短后的时间间隔确定为当前信息采集与下一次信息采集的时间间隔；当列表页的当前页面更新率等于所述网站的标准更新率时，确定当前信息采集与下一次信息采集的时间间隔为当前的信息采集时间间隔；当列表页的当前页面更新率小于所述网站的标准更新率时，延长当前的信息采集时间间隔，将延长后的时间间隔确定为当前信息采集与下一次信息采集的时间间隔。
8.—种网页数据信息的定向采集的装置，其特征在于，包括抽取模块，用于根据采集到的列表页对应网页的内容，抽取每个内容所在的内容页的统一资源定位符URL信息，其中所述列表页为用于数据信息采集的网页；第一确定模块，用于根据抽取的每个内容页的URL信息，及服务器中保存的已经进行了数据信息采集的每个URL信息，确定该列表页中未进行数据信息采集的URL信息的数量；第二确定模块，用于根据确定的所述列表页中未进行数据信息采集的URL信息的数量，及抽取的所述内容页的URL信息的数量，确定所述列表页当前的页面更新率；确定采集模块，用于根据所述列表页所属网站的标准更新率，确定的所述列表页当前的页面更新率，及当前的信息采集时间间隔，确定针对所述列表页当前数据信息采集与下一次数据信息采集的时间间隔，并在等待该确定的时间间隔来后，进行数据信息采集。
9.如权利要求8所述的装置，其特征在于，所述第一确定模块包括第一确定单元，用于根据抽取的每个内容页的URL信息，确定每个URL信息对应的标识 fn息；判断单元，用于针对确定的每个URL信息对应的标识信息，在服务器保存的已经进行了数据信息采集的每个URL信息对应的标识信息中查找，判断是否存在该确定的标识信息；第二确定单元，用于当判断不存在时，确定该标识信息对应的URL信息为该列表页中未进行数据信息采集的URL信息。
10.如权利要求9所述的装置，其特征在于，所述装置还包括存储模块，用于根据所述未进行数据信息采集的URL信息，在对应的网页进行数据信息采集后，将所述URL信息对应的标识信息保存在所述服务器中。
11.如权利要求8所述的装置，其特征在于，所述确定采集模块具体用于，根据设置的全局更新率，以及所述网站对应的权重值，确定所述网站的标准更新率。
12.如权利要求11所述的装置，其特征在于，所述装置还包括线程分配模块，用于将采集线程划分为进行列表页队列采集的采集线程，和进行内容页队列采集的采集线程，其中列表页队列包含待采集的每个列表页的URL信息，针对列表页的采集包括抽取列表页中每个内容所在的内容页的URL信息，内容页队列包含待采集的每个内容页的URL信息，针对内容页的采集包括根据每个内容页的URL信息，获取对应网页中的数据信息，当列表页队列中待采集的URL信息的数量与采集任务总数的比例，大于设定的比例阈值，并且内容页队列中的线程数量不小于内容页队列中所有的URL信息所属的网站的数量时，增加对列表页队列进行采集的采集线程的数量，当列表页队列中排队等待采集的URL信息的数量与采集任务总数的比例，小于设定的比例阈值，且当前内容页队列中的线程数量小于内容页队列中所有的URL信息所属的网站的数量时，减少对列表页队列进行采集的采集线程的数量，其中采集任务总数为初始进行数据信息采集时加载的所有列表页的个数。
13.如权利要求12所述的装置，其特征在于，所述装置还包括调整模 块，用于根据
14.如权利要求8所述的装置，其特征在于，所述确定采集模块具体用于， 当列表页的当前页面更新率大于所述网站的标准更新率时，缩短当前的信息采集时间间隔，将缩短后的时间间隔确定为当前信息采集与下一次信息采集的时间间隔，当列表页的当前页面更新率等于所述网站的标准更新率时，确定当前信息采集与下一次信息采集的时间间隔为当前的信息采集时间间隔，当列表页的当前页面更新率小于所述网站的标准更新率时，延长当前的信息采集时间间隔，将延长后的时间间隔确定为当前信息采集与下一次信息采集的时间间隔。
全文摘要
本发明公开了一种网页数据信息的定向采集方法，用以解决现有技术中搜索引擎在进行信息采集时，造成的资源浪费及信息采集不准确的问题。该方法确定列表页当前的页面更新率，根据列表页所属网站的标准更新率，确定的所述列表页当前的页面更新率，及当前的信息采集时间间隔，确定针对所述网站当前信息采集与下一次信息采集的时间间隔，在等待该确定的时间间隔后，进行信息采集。本发明还提供了一种网页数据信息的定向采集装置。如本发明提出的方案，通过确定列表页的页面更新率，动态的确定信息采集的时间间隔，因此可以在网页刷新时准确的获取到信息，并且减少了网络资源的浪费。
文档编号G06F17/30GK102339290SQ20101023636
公开日2012年2月1日 申请日期2010年7月22日 优先权日2010年7月22日
发明者吴新丽, 杨建武 申请人:北京北大方正电子有限公司, 北京大学, 北大方正集团有限公司