一种基于社交平台的数据采集与处理方法、装置和设备与流程

文档序号:37372694发布日期:2024-03-22 10:25阅读:来源:国知局

技术特征:

1.一种基于社交平台的数据采集与处理方法,其特征在于,包括:

2.根据权利要求1所述的基于社交平台的数据采集与处理方法,其特征在于,所述获取预设间隔时间内新增的活动报名信息,将所述活动报名信息存储到活动统计周期对应的报名信息表中,包括:

3.根据权利要求1所述的基于社交平台的数据采集与处理方法,其特征在于,所述利用各所述活动平台的分布式爬虫,对所述平台任务列表中的所述活动任务进行并发数据采集,包括:

4.根据权利要求3所述的基于社交平台的数据采集与处理方法,其特征在于,所述根据所述报名信息表中所有的所述活动报名信息,为各所述活动平台生成对应的平台任务列表,包括:

5.根据权利要求1所述的基于社交平台的数据采集与处理方法,其特征在于,根据所述报名信息表中所有的所述活动报名信息,为各所述活动平台生成对应的平台任务列表之前,还包括:

6.根据权利要求1所述的基于社交平台的数据采集与处理方法,其特征在于,所述将所述活动报名信息和对应的活动作品信息存储到活动统计周期对应的活动结果列表中之后,还包括:

7.根据权利要求1所述的基于社交平台的数据采集与处理方法,其特征在于,所述将所述活动报名信息和对应的活动作品信息存储到活动统计周期对应的活动结果列表中之后,还包括:

8.一种基于社交平台的数据采集与处理装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括:处理器和存储器;

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。


技术总结
本发明公开了一种基于社交平台的数据采集与处理方法、装置和设备,其中方法包括:获取预设间隔时间内新增的活动报名信息,并存储到活动统计周期对应的报名信息表;根据报名信息表中所有的活动报名信息,为各活动平台生成对应的平台任务列表;利用各活动平台的分布式爬虫,对平台任务列表中的活动任务进行并发数据采集;周期性判断并发数据采集是否完成,当数据采集完成后,将活动报名信息和对应的活动作品信息存储到活动统计周期对应的活动结果列表中;在活动统计周期结束时,根据活动结果列表和预设的活动奖励规则,确定待奖励的报名者及相应的奖励措施。本发明能高效、准确地对活动信息进行自动化采集、提取和处理,大幅提高工作效率。

技术研发人员:姜薇
受保护的技术使用者:创优数字科技(广东)有限公司
技术研发日:
技术公布日:2024/3/21
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1