技术特征：
1.一种对访问次数有限制的网站防封禁方法，其特征在于：包括如下步骤，s1、通过爬虫工具，自动化控制目标浏览器，使用selenium访问网站登录页面；s2、当网站登录页面加载完毕，循环获取准备好的用户名和密码填充到登录表单中；s3、登录网站，并获取登录结果cookie；s4、解析获取的登录结果的返回体，并根据返回体中set cookie的内容，判断set cookie中当前cookie的有效性，根据判断结果剔除已过期cookie，之后将有效cookie保存到内存或持久化到硬盘，动态添加有效cookie到cookie池；s5、根据有效cookie，直接采集目标网页数据。2.根据权利要求1所述的对访问次数有限制的网站防封禁方法，其特征在于：步骤s4中当前登录结果cookie有效性的判断方式为，判断当前cookie的请求使用次数是否达到预设访问次数的90％，若是，则表示当前登录结果的cookie有效；若否，则表示当前cookie已过期。3.一种对访问次数有限制的网站防封禁系统，所述系统用于实现权利要求1或2所述的对访问次数有限制的网站防封禁方法；其特征在于：所述系统包括，爬虫工具；用于自动化控制目标浏览器，使用selenium访问网站登录页面；信息填充模块；用于在网站登录页面加载完毕后，循环获取准备好的用户名和密码填充到登录表单中；cookie获取模块；用于获取登录结果的cookie；解析模块；用于解析登录结果的返回体；cookie控制模块；用于接收返回体中set cookie的内容，并根据返回体中set cookie的内容，判断set cookie中当前cookie的有效性，根据判断结果剔除已过期cookie，之后将有效cookie保存到内存或持久化到硬盘，动态添加有效cookie到cookie池；采集模块；用于调用cookie控制模块，获取有效cookie，使用有效cookie直接采集目标网页数据。
技术总结
本发明公开了一种对访问次数有限制的网站防封禁方法及系统，方法包括S1、通过爬虫工具，自动化控制目标浏览器，使用selenium访问网站登录页面；S2、当网站登录页面加载完毕，循环获取准备好的用户名和密码填充到登录表单中；S3、登录网站，并获取登录结果cookie；S4、解析获取的登录结果的返回体，并根据返回体中set cookie的内容，判断set cookie中当前cookie的有效性，根据判断结果剔除已过期cookie，之后将有效cookie保存到内存或持久化到硬盘，动态添加有效cookie到cookie池等步骤。优点是：实现了快速登录的效果，并通过对cookie的管理，有效控制cookie使用的阈值，达到防止被网站限制访问的目的。到防止被网站限制访问的目的。到防止被网站限制访问的目的。
技术研发人员：谢广才 姜波 周彦其 李鑫
受保护的技术使用者：中文在线数字出版集团股份有限公司
技术研发日：2020.12.22
技术公布日：2022/6/23