一种基于社交平台的数据采集与处理方法、装置和设备与流程

本发明涉及数据采集与处理，尤其是涉及一种基于社交平台的数据采集与处理方法、装置和设备。

背景技术：

1、随着信息技术和电子商务技术的快速发展，企业在品牌推广、口碑营销以及精准营销等方面，可通过用户在抖音、小红书等社交平台的创作和传播带来的优势，帮助品牌更好地与用户互动、建立品牌认知，并提升销售和市场份额。为鼓励更多用户在社交媒体上发布与公司有关的、正向且有趣的作品，可及时判断作品的活动效果，并对效果优秀的作品给予优惠券等奖励。因此，如何有效地采集、提取和处理营销活动相关的信息，是非常关键的。

2、传统的营销活动统计通常是依赖于人工获取手机用户的报名链接或者作品链接，获取对应的活动作品信息详情，然后通过大量人工的分析与统计来实现最终发券的目的。传统人工统计营销活动相关信息时，可能会存在工作量大、效率低且容易出错等问题，可能会导致活动奖励异常，反而会给公司带来负面影响。

技术实现思路

1、本发明的目的是提供一种基于社交平台的数据采集与处理方法、装置和设备，以解决现有技术在采集、提取和处理营销活动相关信息时效率低、且容易出错等技术问题。

2、本发明的目的，可以通过如下技术方案实现：

3、方案一，一种基于社交平台的数据采集与处理方法，包括：

4、获取预设间隔时间内新增的活动报名信息，将所述活动报名信息存储到活动统计周期对应的报名信息表中，所述活动报名信息至少包括报名者信息、活动平台、活动主题、报名者在所述活动平台的活动作品链接和报名时间；

5、根据所述报名信息表中所有的所述活动报名信息，为各所述活动平台生成对应的平台任务列表，所述平台任务列表中的每个活动任务对应各所述活动平台中的各所述活动主题；

6、利用各所述活动平台的分布式爬虫，对所述平台任务列表中的所述活动任务进行并发数据采集；

7、周期性判断并发数据采集是否完成，当并发数据采集完成后，将所述活动报名信息和对应的活动作品信息存储到活动统计周期对应的活动结果列表中；所述活动作品信息是根据所述活动作品链接获取的；

8、在活动统计周期结束时，根据所述活动结果列表和预设的活动奖励规则，确定待奖励的报名者及相应的奖励措施。

9、可选地，所述获取预设间隔时间内新增的活动报名信息，将所述活动报名信息存储到活动统计周期对应的报名信息表中，包括：

10、根据所述报名时间获取预设间隔时间内新增的活动报名信息；

11、将所述活动报名信息以记录的形式存储到活动统计周期对应的报名信息表中。

12、可选地，所述利用各所述活动平台的分布式爬虫，对所述平台任务列表中的所述活动任务进行并发数据采集，包括：

13、基于celery分布式框架和redis任务队列，开发各所述活动平台的分布式爬虫；

14、设置所述分布式爬虫的并发任务量；

15、根据所述并发任务量对所述平台任务列表中的所述活动任务进行并发数据采集。

16、可选地，所述根据所述报名信息表中所有的所述活动报名信息，为各所述活动平台生成对应的平台任务列表，包括：

17、获取所述报名信息表中所有的所述活动报名信息；

18、将各所述活动平台中的各所述活动主题作为一个活动任务，为各所述活动平台生成对应的平台任务列表；

19、利用线程池将各所述平台任务列表中的所述活动任务推送到对应的所述活动平台。

20、可选地，根据所述报名信息表中所有的所述活动报名信息，为各所述活动平台生成对应的平台任务列表之前，还包括：

21、将所述报名信息表中所有的所述活动报名信息对应的活动任务的状态设置为未采集状态。

22、可选地，所述将所述活动报名信息和对应的活动作品信息存储到活动统计周期对应的活动结果列表中之后，还包括：

23、将所述活动结果列表同步到数据中台。

24、可选地，所述将所述活动报名信息和对应的活动作品信息存储到活动统计周期对应的活动结果列表中之后，还包括：

25、利用数据中台将所述活动结果列表中的数据进行可视化展示。

26、方案二，一种基于社交平台的数据采集与处理装置，包括：

27、报名信息获取模块，用于获取预设间隔时间内新增的活动报名信息，将所述活动报名信息存储到活动统计周期对应的报名信息表中，所述活动报名信息至少包括报名者信息、活动平台、活动主题、报名者在所述活动平台的活动作品链接和报名时间；

28、任务列表生成模块，用于根据所述报名信息表中所有的所述活动报名信息，为各所述活动平台生成对应的平台任务列表，所述平台任务列表中的每个活动任务对应各所述活动平台中的各所述活动主题；

29、并发数据采集模块，用于利用各所述活动平台的分布式爬虫，对所述平台任务列表中的所述活动任务进行并发数据采集；

30、活动结果生成模块，用于周期性判断并发数据采集是否完成，当并发数据采集完成后，将所述活动报名信息和对应的活动作品信息存储到活动统计周期对应的活动结果列表中；所述活动作品信息是根据所述活动作品链接获取的；

31、活动奖励确定模块，用于在活动统计周期结束时，根据所述活动结果列表和预设的活动奖励规则，确定待奖励的报名者及相应的奖励措施。

32、方案三，一种电子设备，包括：处理器和存储器；

33、其中，所述存储器存储计算机程序，所述处理器执行所述计算机程序时实现方案一所述的方法的步骤。

34、方案四，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现方案一所述的方法的步骤。

35、基于上述技术方案，本发明带来的有益效果是：

36、获取预设间隔时间内新增的活动报名信息，将活动报名信息存储到活动统计周期对应的报名信息表中，能自动获取报名参与活动主题的活动作品链接，自动化收集活动报名信息。根据报名信息表中所有的活动报名信息，将各活动平台中的每个活动主题作为一个活动任务，为各活动平台生成对应的平台任务列表。然后利用各活动平台的分布式爬虫，对平台任务列表中的活动任务进行并发数据采集，且支持根据实际情况调整并发任务数，对采集任务量的控制更加高效和灵活，可实现异步高效采集，实现高并发大数据量的采集维护，提高采集效率与速度。周期性判断并发数据采集是否完成，可随时监控任务执行情况与耗费时长；当并发数据采集完成后，将活动报名信息和对应的活动作品信息存储到活动统计周期对应的活动结果列表中，可进行活动结果表的监控和推送。在活动统计周期结束时，根据活动结果列表和预设的活动奖励规则，自动、快速地计算出可发券奖励的报名者及相应的奖励措施，能高效、准确地对活动信息进行自动化采集、提取和处理，大幅提高工作效率，且可以实现活动平台作品数据的沉淀与拉新比等分析，便于直观监测营销活动的力度与质量，帮助提高品牌认知度和美誉度，并提升企业销售和市场份额，以帮助企业实现降本增效。