一种提高ADSL代理服务主机上网稳定性的判断方法与流程

文档序号:16687039发布日期:2019-01-22 18:25阅读:340来源:国知局
一种提高ADSL代理服务主机上网稳定性的判断方法与流程

本发明涉及计算机网络领域,尤其涉及一种提高adsl代理服务主机上网稳定性的判断方法。



背景技术:

目前,通过固定ip地址的云主机代理上网获取网站信息,经常会由于访问频率过高,固定上网ip地址容易被封,为了能够稳定地进行访问,往往采用更多的代理服务器,这样就增加云主机的购买、维护和管理成本。现有adsl代理服务主机做代理池的方案有效解决了这一问题,但是通过该方案获取的动态代理ip地址,当adsl代理服务主机在重新拨号期间,代理ip地址会出现短暂不能用的情况,这样会导致代理上网不稳定。为了尽可能降低这种由于代理ip地址因adsl代理服务主机重新拨号而出现短暂不能用的情况,通常的做法就是在同时间内增加adsl代理服务主机的数量,以避免多台adsl代理服务主机如果出现同时在重新拨号而给代理上网带来短时间的运行压力。而一旦增加了adsl代理服务主机的数量,又会增加设备维护和管理的成本。而如果不增加adsl代理服务主机的数量,一旦出现同时重新拨号的极端情况,就会导致短时间内上网不稳定。



技术实现要素:

鉴于上述技术问题,本发明提供了一种提高adsl代理服务主机上网稳定性的判断方法。该方法通过程序机制可以检测和判断adsl定时拨号获取的动态代理ip是否可用,能够让代理上网时间避开该不可用时间段,从而实现稳定代理上网需求。

如图1所示,本发明的具体技术方案如下:

一种提高adsl代理服务主机上网稳定性的判断方法,包括以下步骤:

s01:搭建由多台adsl代理服务器主机通过拨号方式获取动态代理ip地址的动态ip地址代理池,以及至少一台以上固定ip的云主机因其所捆绑的固定ip地址所形成的固定ip地址代理池;

s02:由每台adsl代理服务器主机通过拨号获取动态代理ip地址以实现网络连接;

s03:通过程序获取每台adsl代理服务器主机拨号成功时的时间戳参数t1;通过程序获取每台adsl代理服务器主机重新拨号的时间戳参数t2;

s04:通过程序设置每台adsl代理服务器主机定时拨号的间隔时长参数tx;

s05:通过程序设置代理上网所预留的总时间参数ty;

s06:通过程序实时调取当前的时间戳参数t0;

s07:通过程序对每台adsl代理服务器主机执行判断逻辑公式:t2>t0+ty;若在代入具体数据参数后该逻辑公式成立,则表示当前adsl代理服务器主机尚未即将进入重新拨号的时段,其代理ip地址可继续使用,无需主动切换连接线路规避;若在代入具体数据参数后该逻辑公式不成立,则表示当前adsl代理服务器主机即将进入重新拨号的时段,其代理ip地址不可继续使用,需主动切换连接线路规避。

上述方案中,所述主动切换连接线路是指单台adsl代理服务器主机在被判断其代理ip地址不可继续使用时,通过访问接口获取动态ip地址代理池中其它adsl代理服务器主机的动态ip地址。

上述方案中,所述当动态ip地址代理池中其它adsl代理服务器主机的动态ip地址均同时不可继续使用的极端情况下,主动切换连接线路会通过访问接口获取固定ip地址代理池中固定ip的云主机的固定ip地址来实现上网。

上述方案中,所述通过程序设置形成参数式:t2=t1+tx。

上述方案中,所述通过程序设置tx为120s-1800s。根据每个运行系统软硬件环境的不同,该参数tx可以设成2分钟以上,最大不超过10分钟。

上述方案中,所述通过程序设置ty为30s-120s。根据每个运行系统软硬件环境的不同,该参数ty可以设成半分钟以上,最大不超过2分钟。

上述方法的判断依据是:当判断以上逻辑公式(t2>t0+ty)成立时,说明若此时再进行一次代理上网,不会与该adsl代理主机重新拨号的时间相冲突,此时利用当前的代理ip上网将不会出现不稳定现象;当判断以上逻辑公式(t2>t0+ty)不成立时,说明若此时再进行一次代理上网,将会与该adsl代理主机重新拨号的时间相冲突,此时还用当前代理ip上网必会出现不可用现象。

本发明方法,不仅能够充分利用adsl定时拨号获取的代理ip做动态代理池方案的优势,减少代理主机的数量,降低购买、维护和管理成本,还能改善adsl代理主机再拨号期间其代理ip短暂不可用的情况。

附图说明:

以下结合附图和具体实施方式来进一步说明本发明。

图1为本发明方法的流程图。

图2为本发明具体实施例中所涉及的系统框架示意图。

图3为本发明实施例中的一种逻辑框图。

具体实施方式:

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体图示,进一步阐述本发明。

本发明方法针对使用adsl代理主机作动态代理池方案时出现的重新拨号期间代理ip不可用的问题,提出了一种改善方法,在代理上网时及时避开该动态代理ip不可用的时间段,从而提高adsl拨号代理上网的稳定性。

为便于本领域技术人员理解,下面结合本技术方法在爬虫领域的应用对本发明方法进行详细说明。

如图2和图3所示,本实施例中,一共部署了三台adsl代理主机作动态代理池。另有若干台固定ip服务主机作为机动应急,客户端通过后端服务主机选择上网的路径。

然后,由运维工作人员编写指令代码,控制每台adsl代理主机间隔拨号的时长,本实施例中间隔时长设置为10分钟,即tx=10×60s=600s;另一方面,根据业务需求通过程序代码预留当前爬虫需要的时间,本实施例中预留爬虫的时间为2分钟,即ty=2×60s=120s。

每成功拨号一次将切换该adsl代理主机的ip地址,此时adsl代理主机将返回当前代理ip地址的过期时间的时间戳,也就是该adsl代理主机重新拨号的时间戳,用t2表示。

通过指令直接调取当前时间的时间戳t0,即t0参数实时获取。

本实施例中,可访问http://118.xx.xx.189:8000/show页面来查询三台代理服务主机当前的代理信息,其中118.xx.xx.189为查询地址,8000为查询端口。

以其中一台adsl代理服务主机的代理信息为例,以下是在2018-10-1215:38:30查询的某台adsl代理主机的代理信息:#113.xx.xx.xx:xxxx#地区#2018-10-1215:45:05#,其中2018-10-1215:45:05为该台adsl代理主机重新拨号的时间,t2为该时刻的时间戳。

若当前时间为2018-10-1215:38:30,此时t0为2018-10-1215:38:30时刻的时间戳,检测该代理ip的可用性,判断t2>t0+ty?表达式成立,说明此时该代理ip可用,可继续使用该动态ip地址。

若当前时间为2018-10-1215:44:30,此时t0为2018-10-1215:44:30时刻的时间戳,检测该代理ip的可用性,判断t2>t0+ty?表达式不成立,说明此时该代理ip不可用,选择避开使用该动态ip地址。

本实施例中,部署三台代理服务主机,分别错峰进行拨号,其中某一台代理服务主机拨号获得的动态代理ip被检测为不可用时,并不影响其它代理服务主机继续工作。

本实施例采用本发明方法让爬虫时间有效地避开使用不可用的代理ip,从而能够实现稳定进行爬虫。

当然,上述所例举的爬虫的单个实施例,只是本发明方法在实际应用中小规模的演示,作为一项效果突出的借助程序实现网络后台高效管理方法,申请人在非公开的状态下,机构内部进行了模拟试验,以下为采用本发明方法前后的技术效果。

改进前:共有65台专门做代理的云主机,均为固定ip,当用户有请求时,开发人员会从这65台云主机中轮流获取ip进行代理上网。也就是说,运维人员需要同时管理和维护65台固定ip的代理云主机才能满足当前的业务需求。

改进后:将65台固定ip的云主机全部释放,用15台adsl代理服务器主机做动态ip代理池代替先前65台固定ip的云主机。理论上,采用改进方案只需要同时管理和维护15台adsl代理服务器主机即可满足当前的业务需求,管理成本可降低到方案改进前的四分之一。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1