技术编号：6549974
提示：您尚未登录，请点 登 陆 后下载，如果您还没有账户请点 注 册 ，登陆完成后，请刷新本页查看技术详细信息。本发明公开了一种视频领域相关的分布式微博数据抓取系统，该系统包括视频网站抓取子系统、微博用户名匹配子系统及微博数据抓取子系统，本发明使用对整个分布式系统中的抓取器节点进行管理和监控，在页面解析过程中，构建解析方法库，解决了因视频网站页面结构变化导致的完全重写解析器的问题。在更新控制中，使用视频热度模型来控制视频网页的解析频次，使用基于PageRank的微博用户影响力模型来控制微博用户数据抓取的频次。在微博数据抓取过程中引入了LDA模型构建微博用户的主题模型...
注意：该技术已申请专利，请尊重研发人员的辛勤研发付出，在未取得专利权人授权前，仅供技术研究参考不得用于商业用途。
该专利适合技术人员进行技术研发参考以及查看自身技术是否侵权，增加技术思路，做技术知识储备，不适合论文引用。
请注意，此类技术没有源代码，用于学习研究技术思路。