发送网页访问请求的方法和装置制造方法
【专利摘要】本发明公开了一种发送网页访问请求的方法和装置。其中，该方法包括：接收测试网站的测试请求，其中，所述测试请求中携带有测试次数，循环执行下述步骤，直至生成的访问请求的个数等于所述测试次数；生成访问第一网页的第一访问请求；在间隔预设时间之后，生成访问第二网页的第二访问请求；其中，所述访问请求包括所述第一访问请求和所述第二访问请求，在循环执行上述步骤时，各个循环中的所述预设时间的值不完全相同，所述第一网页和所述第二网页属于所述网站。采用本发明，解决了对网页质量进行测试时频繁发出测试请求的机器被屏蔽，导致无法测试的问题，实现了可以使用同一终端发出多个访问请求以对网页进行测试的效果。
【专利说明】发送网页访问请求的方法和装置
【技术领域】
[0001]本发明涉及互联网领域，具体而言，涉及一种发送网页访问请求的方法和装置。
【背景技术】
[0002]随着互联网的发展，上网人数不断地增加，网站的访问量不断地上升。随之而来的 是用户对网页质量的要求也在不断地增加，这进一步推动网页质量评估的发展。为了更好 地评估网页质量，要求对网站的网页进行抓取再进行质量的分析。但是当过于频繁地向同 一个网站发送请求时，会被认为是对网站的不友好访问，从而导致被网站屏蔽当前访问的 IP，最终无法拿到相关的网页数据。
[0003]现有的技术虽然可以通过多台机器，实现分布式来抓取网页的数据。这样可以从 一定程度上减少同一个IP向网站发出的请求个数，并提高抓取网页的速度。但是采用这种 方法也并未从根本上解决同一个IP向网站发出的请求的频繁问题，当某台机器发出的网 页请求过于频繁时，同样会出现该机器的IP被屏蔽的情况。
[0004]针对现有技术中对网页质量进行测试时频繁发出测试请求的机器被屏蔽，导致无 法测试的问题，目前尚未提出有效的解决方案。
【发明内容】
[0005]针对相关技术中对网页质量进行测试时发出测试请求的机器被屏蔽，导致无法测 试的问题，目前尚未提出有效的解决方案，为此，本发明的主要目的在于提供一种发送网页 访问请求的方法和装置，以解决上述问题。
[0006]为了实现上述目的，根据本发明的一个方面，提供了一种发送网页访问请求的方 法，该方法包括：接收测试网站的测试请求，其中，所述测试请求中携带有测试次数，循环执 行下述步骤，直至生成的访问请求的个数等于所述测试次数；生成访问第一网页的第一访 问请求；在间隔预设时间之后，生成访问第二网页的第二访问请求；其中，所述访问请求包 括所述第一访问请求和所述第二访问请求，在循环执行上述步骤时，各个循环中的所述预 设时间的值不完全相同，所述第一网页和所述第二网页属于所述网站。
[0007]进一步地，在生成访问第一网页的第一访问请求之后，所述方法还包括：使用函 数生成器生成的所述预设时间；或按照循环次数从数据表中读取所述预设时间，所述数据 表中保存多个所述预设时间与所述循环次数的对应关系，所述多个所述预设时间的值各不 同。
[0008]进一步地，使用函数生成器生成的所述预设时间包括：按照如下公式计算所述预 设时间R，其中，所述公式为：R二（l+s)*b，所述b为预设的时间段，s G [Od]，所述3为所 述函数生成器生成的小数。
[0009] 进一步地，所述访问请求为下载所述网站上的网页的请求。
[0010]进一步地，在生成所述第一访问请求或所述第二访问请求之后，将所述第一访问 请求或所述第二访问请求发送至所述网站的网站服务器。
[0011]为了实现上述目的，根据本发明的另一方面，提供了一种发送网页访问请求的装 置，该装置包括：处理模块，用于接收测试网站的测试请求，其中，所述测试请求中携带有测 试次数，循环执行下述步骤，直至生成的访问请求的个数等于所述测试次数；第一生成模 块，用于生成访问第一网页的第一访问请求；第二生成模块，用于在间隔预设时间之后，生 成访问第二网页的第二访问请求；其中，所述访问请求包括所述第一访问请求和所述第二 访问请求，在循环执行上述步骤时，各个循环中的所述预设时间的值不完全相同，所述第一 网页和所述第二网页属于所述网站。
[0012]进一步地，所述装置还包括：第三生成模块，用于在生成访问第一网页的第一访问 请求之后，使用函数生成器生成的所述预设时间；或第四生成模块，用于在生成访问第一网 页的第一访问请求之后，按照循环次数从数据表中读取所述预设时间，所述数据表中保存 多个所述预设时间与所述循环次数的对应关系，所述多个所述预设时间的值各不同。
[0013]进一步地，所述第三生成模块包括：生成子模块，用于按照如下公式计算所述预设 时间R，其中，所述公式为：R= (l+s)*b，所述b为预设的时间段，s G [0, 1]，所述s为所述 函数生成器生成的小数。
[0014] 进一步地，所述访问请求为下载所述网站上的网页的请求。
[0015] 进一步地，所述装置还包括发送模块，用于在生成所述第一访问请求或所述第二 访问请求之后，将所述第一访问请求或所述第二访问请求发送至所述网站的网站服务器。 [0016] 采用本发明，在对网站进彳丁测试的过程中，在通过终端发出的第一访问请求之后， 间隔一段时间（即上述实施例中的预设时间），然后再生成第二访问请求，并且，每次生成 第一访问请求之后，间隔的预设时间不完全相同，从而使得终端向网页发送的访问请求之 间具有时间间隔，且同一终端发送访问请求的间隔不完全相同，也即发出的访问请求在时 间上使用不同的频率，网站服务器不具有鉴别间隔不同时间的访问请求的能力。通过本发 明实施例，解决了对网页质量进行测试时频繁发出测试请求的机器被屏蔽，导致无法测试 的问题，实现了可以使用同一终端发出多个访问请求以对网页进行测试的效果。
【专利附图】
【附图说明】
[0017] 此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发 明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0018] 图1是根据本发明实施例的发送网页访问请求的方法的流程图；
[0019] 图2是根据本发明实施例的一种发送网页访问请求的方法的流程图；以及
[0020] 图3是根据本发明实施例的发送网页访问请求的装置的示意图。
【具体实施方式】
[0021] 为了使本【技术领域】的人员更好地理解本发明方案，下面将结合本发明实施例中的 附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是 本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术 人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范 围。
[0022] 需要说明的是，本发明的说明书和权利要求书及上述附图中的术语"第一"、"第 二"等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用 的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或 描述的那些以外的顺序实施。此外，术语"包括"和"具有，，以及他们的任何变形，意图在^ 覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设^不必限 于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法产 品或设备固有的其它步骤或单元。 '
[0023] 图1是根据本发明实施例的发送网页访问请求的方法的流程图，如图i所示该方 法包括如下步骤：
[0024] 步骤S102,接收测试网站的测试请求。
[0025]其中，测试请求中携带有测试次数。在接收到测试请求之后，循环执行下述步骤， 直至生成的访问请求的个数等于测试次数。
[0026] 步骤S104,生成访问第一网页的第一访问请求。
[0027] 步骤S106,在间隔预设时间之后，生成访问第二网页的第二访问请求。
[0028] 其中，访问请求包括第一访问请求和第二访问请求，在循环执行上述步骤时，各个 循环中的预设时间的值不完全相同，第一网页和第二网页属于网站。
[0029] 具体地，所有的循环操作中的预设时间的值不完全相同。
[0030] 采用本发明实施例，在对网站进行测试的过程中，在通过终端发出的第一访问请 求之后，间隔一段时间（即上述实施例中的预设时间），然后再生成第二访问请求，并且，每 次生成第一访问请求之后，间隔的预设时间不完全相同，从而使得终端向网页发送的访问 请求之间具有时间间隔，且同一终端发送访问请求的间隔不完全相同，也即发出的访问请 求在时间上使用不同的频率，网站服务器不具有鉴别间隔不同时间的访问请求的能力。通 过本发明实施例，解决了对网页质量进行测试时频繁发出测试请求的机器被屏蔽，导致无 法测试的问题，实现了可以使用同一终端发出多个访问请求以对网页进行测试的效果。
[0031] 在上述实施例中，测试请求中可以包括被测试的网页的URL、对被测试的网页的测 试次数，如，测试请求为：向百度（WWW. baidu. com)发送1万次的测试。终端则按照该测试 请求生成1万个访问请求。
[0032] 例如，该访问请求可以为下载网页的请求，测试过程中生成的访问请求可以为访 问不同的网页的请求，但是不同的网页属于同一网站。
[0033] 在下载网站的两个网页的过程中，有一个暂停机制（即上述的间隔预设时间），利 用这个机制可以暂停向服务器发送请求，即暂停一定的时间后，再向网站服务器发送下一 个请求。
[0034] 如图2所示，上述实施例可以包括如下步骤：
[0035] 步骤S202 :下载第一网页。
[0036] 具体地，先向服务器发送访问请求（即上述实施例中的第一个访问请求），下载前 一个网页（即第一网页）。
[0037] 步骤S204 :暂停下载。
[0038] 具体地，在下载完前一个网页之后，系统将暂停向同一个网站服务器发送下一个 访问请求，这部分的暂停时间即上述的预设时间。
[0039] 步骤S206 :下载第二网页。
[0040]在经过一段时间的暂停之后，再起向网站服务器发送下一个访问请求（即上述实 施例中的第二访问请求），下载后一个网页。
[0041]根据本发明上述实施例，在生成访问第一网页的第一访问请求之后，方法还可以 包括：使用函数生成器生成的预设时间；或按照循环次数从数据表中读取预设时间，数据 表中保存多个预设时间与循环次数的对应关系，多个预设时间的值各不同。
[0042]数据表可以是预设好的时间和循环次数。表1示出了一种数据表的形式：
[0043] 表 1
[0044]
【权利要求】
1. 一种发送网页访问请求的方法，其特征在于，包括： 接收测试网站的测试请求，其中，所述测试请求中携带有测试次数，循环执行下述步 骤，直至生成的访问请求的个数等于所述测试次数； 生成访问第一网页的第一访问请求； 在间隔预设时间之后，生成访问第二网页的第二访问请求； 其中，所述访问请求包括所述第一访问请求和所述第二访问请求，在循环执行上述步 骤时，各个循环中的所述预设时间的值不完全相同，所述第一网页和所述第二网页属于所 述网站。
2. 根据权利要求1所述的方法，其特征在于，在生成访问第一网页的第一访问请求之 后，所述方法还包括： 使用函数生成器生成的所述预设时间；或 按照循环次数从数据表中读取所述预设时间，所述数据表中保存多个所述预设时间与 所述循环次数的对应关系，所述多个所述预设时间的值各不同。
3. 根据权利要求2所述的方法，其特征在于，使用函数生成器生成的所述预设时间包 括： 按照如下公式计算所述预设时间R，其中，所述公式为： R= (1+s)*b，所述b为预设的时间段，se [〇，1]，所述s为所述函数生成器生成的小 数。
4. 根据权利要求1至3中任意一项所述的方法，其特征在于，所述访问请求为下载所述 网站上的网页的请求。
5. 根据权利要求1至3中任意一项所述的方法，其特征在于，在生成所述第一访问请求 或所述第二访问请求之后，将所述第一访问请求或所述第二访问请求发送至所述网站的网 站服务器。
6. -种发送网页访问请求的装置，其特征在于，包括： 处理模块，用于接收测试网站的测试请求，其中，所述测试请求中携带有测试次数，循 环执行下述步骤，直至生成的访问请求的个数等于所述测试次数； 第一生成模块，用于生成访问第一网页的第一访问请求； 第二生成模块，用于在间隔预设时间之后，生成访问第二网页的第二访问请求； 其中，所述访问请求包括所述第一访问请求和所述第二访问请求，在循环执行上述步 骤时，各个循环中的所述预设时间的值不完全相同，所述第一网页和所述第二网页属于所 述网站。
7. 根据权利要求6所述的装置，其特征在于，所述装置还包括： 第三生成模块，用于在生成访问第一网页的第一访问请求之后，使用函数生成器生成 的所述预设时间；或 第四生成模块，用于在生成访问第一网页的第一访问请求之后，按照循环次数从数据 表中读取所述预设时间，所述数据表中保存多个所述预设时间与所述循环次数的对应关 系，所述多个所述预设时间的值各不同。
8. 根据权利要求7所述的装置，其特征在于，所述第三生成模块包括： 生成子模块，用于按照如下公式计算所述预设时间R，其中，所述公式为： R= (1+s)*b，所述b为预设的时间段，se [〇，ι]，所述s为所述函数生成器生成的小 数。
9. 根据权利要求6至8中任意一项所述的装置，其特征在于，所述访问请求为下载所述 网站上的网页的请求。
10. 根据权利要求6至8中任意一项所述的装置，其特征在于，所述装置还包括发送模 块，用于在生成所述第一访问请求或所述第二访问请求之后，将所述第一访问请求或所述 第二访问请求发送至所述网站的网站服务器。
【文档编号】G06F11/36GK104268266SQ201410536391
【公开日】2015年1月7日 申请日期:2014年10月11日 优先权日:2014年10月11日
【发明者】杨韬, 何恺铎, 王晓群, 谭紫萱 申请人:北京国双科技有限公司