技术特征：
技术总结
本申请提供一种URL数据挖掘方法及系统，所述方法挖掘的数据可应用于上网行为管理设备升级，包括：获取URL数据，将URL数据切割，依次添加至协程事件循环；通过运行协程事件循环访问URL地址，以及接收URL地址服务器反馈的请求响应，并根据请求响应获取响应数据；再检查响应数据是否包含JS跳转代码；若包含JS跳转代码，解析JS跳转代码，获取重定向URL地址，再次接收响应数据；最后按预设格式将URL地址和响应数据存储在一个文件中。所述方法将被动的获取URL数据转变成主动获取，并且通过协程事件降低由于请求响应超时等待导致的线程、进程堵塞，提高数据挖掘效率。
技术研发人员：柳开江
受保护的技术使用者：武汉思普崚技术有限公司
技术研发日：2019.06.27
技术公布日：2019.09.27