一种自动获取目标数据源的方法及系统与流程

文档序号:17131045发布日期:2019-03-16 01:13阅读:来源:国知局

技术特征:

技术总结
本发明提供一种自动获取目标数据源的方法,包括如下步骤:对网页数据进行解析;对解析后的数据进行结构化或半结构化形成可分析数据;基于解析后获得的可用于分析的数据进行数据分析以确定是否需要获得该网页数据;利用数据采集器获取数据源网页数据并将获取的网页数据保存在关系型数据库或者文件中。采用该方法,在对网页数据进行爬取之前,首先对网页数据进行可分析化,并对其进行分析,获得用户感兴趣的网页页面数据,而不同于传统的先爬取数据保存,然后进行分析的方法。这么做的优点也是非常明显的,它能够大幅减少后续开发人员的庞大数据分析挖掘工作,提高效率。本发明进一步涉及一种自动获取目标数据源的系统。

技术研发人员:鄢亚东;程国艮
受保护的技术使用者:中译语通科技股份有限公司
技术研发日:2018.10.30
技术公布日:2019.03.15
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1