基于大数据的大型活动人流量预测方法与流程

本发明涉及大数据预测领域，尤其涉及一种基于大数据的大型活动人流量预测方法。

背景技术：

1、由于大型活动的动态性和即时性，需要及时更新和处理大量的实时数据，以准确预测人流流量。然而，实时数据的获取和处理可能受到限制，导致预测的延迟或不准确。忽视复杂因素：点位流量预测需要考虑多个因素；现有技术可能无法充分考虑和处理这些复杂因素，从而影响预测结果的准确性。

技术实现思路

1、为了解决上述问题，本发明的目的在于提供一种基于大数据的大型活动人流量预测方法，利用历史数据和相关因素进行建模和预测，能够更准确地预测未来的人流量。

2、为实现上述目的，本发明采用以下技术方案：

3、一种基于大数据的大型活动人流量预测方法，包括以下步骤：

4、步骤s1:获取相关大型活动的历史数据，包括历史人流量数据、天气数据、交通数据、社交媒体数据；

5、步骤s2：对采集到的数据进行预处理；

6、步骤s3:对预处理后的数据进行特征提取，并将不同来源的数据进行合并，得到初始数据集；

7、步骤s4:构建时间序列模型，并基于初始数据集训练，得到人流量预测模型；

8、步骤s5：基于人流量预测模型对未来的人流量进行预测，并实时监控和更新预测结果。

9、进一步的，所述预处理包括异常值处理和缺失值处理，具体如下：

10、使用箱线图识别和处理异常值，首先，对于每个特征，绘制其对应的箱线图，将箱线图超过上下四分位数1.5倍的观测值认定为异常值，并删除异常值；

11、选择多项式插值方法来填补缺失的数据，拟合数据集中已有的数据点，构建下式来估计缺失值：

12、f(x) = a0 + a1*x + a2*x^2

13、其中，a0、a1、a2是通过最小二乘法计算得到的多项式系数，x为数据集中的数据点。

14、进一步的，所述步骤s3具体为：

15、设人流量数据的时间戳字段为timestamp，特征数据的时间戳字段为feature_timestamp，人流量数据的人流量字段为traffic_volume，特征数据的特征字段为feature；

16、合并公式如下：

17、merged_data = select traffic_volume, feature from traffic_data joinfeature_data on traffic_data.timestamp = feature_data.feature_timestamp；

18、其中，traffic_data表示人流量数据表，feature_data表示特征数据表，timestamp表示时间戳字段，traffic_volume表示人流量字段，feature_timestamp表示特征时间戳字段，feature表示特征字段；select traffic_volume, feature：表示选择traffic_data表中的traffic_volume字段和feature_data表中的feature字段作为结果集。from traffic_data join feature_data：表示从traffic_data表和feature_data表中获取数据；on traffic_data.timestamp：表示按照traffic_data表中的timestamp字段进行连接；= feature_data.feature_timestamp：表示连接条件是traffic_data表中的timestamp字段等于feature_data表中的feature_timestamp字段。

19、进一步的，所述时间序列模型采用arima模型，具体构建如下：

20、构建初始arima模型：

21、yt = c + ∑φi*yt-i + ∑θi*εt-i + εt

22、其中，yt表示时间t的人流量数据，c表示常数项，φi表示自回归系数，θi表示移动平均系数，εt表示时间t的误差项；

23、将初始数据集分为训练集和测试集；

24、并基于训练集训练初始arima模型，得到训练后的arima模型；

25、使用mae作为损失函数，基于测试集对训练后的arima模型进行评估：

26、mae = 1/n * ∑|y_pred - y_true|

27、其中，n表示测试集样本数量，y_pred表示模型预测结果，y_true表示真实值；

28、基于贝叶斯优化，优化训练后的arima模型的自回归系数φi和移动平均系数θi的数量和取值，得到最终的人流量预测模型。

29、进一步的，所述贝叶斯优化，具体如下：

30、将mae作为目标函数，并预设φi和θi的取值范围和数量，作为参数空间；

31、使用贝叶斯优化库初始化一个优化器对象，并设置优化器的目标函数和参数空间；

32、调用优化器的optimize()方法，开始优化过程；

33、优化器将根据目标函数的评估结果，自动选择下一组参数进行评估；

34、优化器会迭代地进行参数调整和评估，直到达到指定的迭代次数或收敛条件。

35、进一步的，所述步骤s5具体为：

36、设定一个循环，每隔预设时间间隔进行以下步骤：

37、a.获取当前时间；

38、b.获取最新的观测值，通过实时监测人流量来获取；

39、c. 使用人流量预测模型预测未来的人流量；

40、d.将最新的观测值添加到训练集中，并重新训练人流量预测模型；

41、e. 基于重新训练人流量预测模型预测结果，包括当前时间和预测的人流量。

42、本发明具有如下有益效果：

43、1.本发明综合考虑历史人流量数据、天气数据、交通数据、社交媒体数据，并将数据进行整合，然后对arima模型进行训练得到人流量预测模型， 能够更准确地预测未来的人流量；

44、2.本发明的人流量预测模型根据实时情况对预测结果进行调整和更新，更好地适应不断变化的人流量需求，相比于传统的静态模型，预测的准确度和实时性更好。

技术特征：

1.一种基于大数据的大型活动人流量预测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于大数据的大型活动人流量预测方法，其特征在于，所述预处理包括异常值处理和缺失值处理，具体如下：

3.根据权利要求1所述的基于大数据的大型活动人流量预测方法，其特征在于，所述步骤s3具体为：

技术总结
本发明涉及一种基于大数据的大型活动人流量预测方法，包括以下步骤：步骤S1:获取相关大型活动的历史数据，包括历史人流量数据、天气数据、交通数据、社交媒体数据；步骤S2：对采集到的数据进行预处理；步骤S3:对预处理后的数据进行特征提取，并将不同来源的数据进行合并，得到初始数据集；步骤S4:构建时间序列模型，并基于初始数据集训练，得到人流量预测模型；步骤S5：基于人流量预测模型对未来的人流量进行预测，并实时监控和更新预测结果。本发明利用历史数据和相关因素进行建模和预测，能够更准确地预测未来的人流量。

技术研发人员：刘世泉,蓝永文
受保护的技术使用者：福建天创信息科技有限公司
技术研发日：
技术公布日：2024/1/15