技术总结
本发明公开了一种爬取动态网页的方法及装置，涉及互联网技术领域，能够爬取动态网页中的动态数据。本发明的方法主要包括：在获取需要爬取的网页的统一资源定位符URL之后，利用无界面浏览器爬取获取的URL的网页内容；利用解析引擎对爬取的网页内容进行解析；若所述网页内容中含有触发加载动态数据的特征信息，则通过所述无界面浏览器的模拟点击事件接口触发所述特征信息对应的点击事件；爬取所述点击事件产生的动态数据。本发明主要适用于利用无界面浏览器爬取网页内容的场景中。
技术研发人员：王照旗;顾鹏飞;濮灿
受保护的技术使用者：北京奇虎科技有限公司;北京奇安信科技有限公司
文档号码：201611209352
技术研发日：2016.12.23
技术公布日：2017.06.13