大数据可视化分析方法、系统、电子设备及存储介质与流程

本申请涉及数据处理，尤其涉及一种大数据可视化分析方法、系统、电子设备及存储介质。

背景技术：

1、大数据是it行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

2、随着经济的高速发展，网络购物已成为了时下的必需品，电商平台也在发展中产生了海量的数据，但现有的很多电商平台对于数据没有充分利用，电商平台对于商品的选取通常为人工进行选品，运营人员通过网络收集信息，对电商的运营环境和市场情况进行判断，选择上架商品。这样的选取方式过于依赖人力经验，导致选品效率较低，且人工搜寻的信息面较窄，获取的信息准确性不高，导致选品质量较差。

技术实现思路

1、有鉴于此，本申请提供一种大数据可视化分析方法、系统、电子设备及存储介质，以解决电商平台选品过于依赖人工搜寻判断且获取的信息准确性不高的技术问题。

2、本申请的第一方面提供一种大数据可视化分析方法，所述方法包括：

3、响应于对目标商品的分析指令，从多个数据平台获取与所述目标商品相关的原始商品信息数据表；

4、根据多个所述原始商品信息数据表生成商品信息核心数据表；

5、对所述商品信息核心数据表进行预处理，将预处理后的商品信息核心数据表汇聚至数据仓库；

6、基于所述数据仓库中的商品信息核心数据表，使用决策树进行建模，训练销量预测模型；

7、通过所述销量预测模型得到所述目标商品在本季节的第一销量预测结果及在下一季节的第二销量预测结果；

8、构建数据分析可视化界面，将所述第一销量预测结果及所述第二销量预测结果进行实时动态可视化数据展示。

9、在一种可能的实施方式中，所述根据多个所述原始商品信息数据表生成商品信息核心数据表包括：

10、获取每个所述原始商品信息数据表的属性字段；

11、根据所述属性字段确定多个所述原始商品信息数据表的相同属性字段；

12、通过所述相同属性字段对多个所述原始商品信息数据表进行合并，形成合并数据表；

13、使用相关性分析删除所述合并数据表中的多余数据，得到所述商品信息核心数据表。

14、在一种可能的实施方式中，所述使用相关性分析删除所述合并数据表中的多余数据，得到所述商品信息核心数据表包括：

15、确定所述合并数据表中的输入属性字段及输出属性字段；

16、计算所述输入属性字段与所述输出属性字段之间的第一相关系数；

17、计算任意两个所述输入属性字段之间的第二相关系数；

18、根据所述第一相关系数及所述第二相关系数删除所述合并数据表中的多余数据，得到所述商品信息核心数据表。

19、在一种可能的实施方式中，所述根据所述第一相关系数及所述第二相关系数删除所述合并数据表中的多余数据包括：

20、将所述第一相关系数与第一预设相关系数进行比较，确定所述第一相关系数中小于所述第一预设相关系数的目标第一相关系数，将所述合并数据表中所述目标第一相关系数对应的输入属性字段进行删除处理；

21、将所述第二相关系数与第二预设相关系数进行比较，确定所述第二相关系数中大于所述第二预设相关系数的目标第二相关系数，将所述合并数据表中所述目标第二相关系数对应的输入属性字段进行删除处理。

22、在一种可能的实施方式中，在所述训练销量预测模型之前，所述方法还包括：

23、对所述数据仓库中的商品信息核心数据表中的数据进行离散化处理；

24、按照预设比例将离散化处理后的商品信息核心数据表中的数据划分为训练数据集和评估数据集。

25、在一种可能的实施方式中，所述销量预测模型的训练过程包括：

26、将所述训练数据集输入决策树中进行学习；

27、计算所述训练数据集中每个输入属性字段对应的信息增益率；

28、选取信息增益率最大的输入属性字段作为划分节点；

29、根据所述划分节点对所述训练数据集进行划分；

30、判断划分后的训练数据集是否还有新的划分；

31、如果没有新的划分，则结束所述决策树的生长，得到所述销量预测模型；

32、使用所述评估数据集对所述销量预测模型进行评估，得到评估结果。

33、在一种可能的实施方式中，所述数据分析可视化界面包括：

34、用可视化显示图表的方式呈现构建所述数据分析可视化界面，所述可视化显示图表包括：气泡图、旭日图、矩形树图、簇状柱形图、包图、树图、复杂网络关系图、地图。

35、本申请的第二方面提供一种大数据可视化分析系统，所述系统包括：

36、数据获取模块，用于响应于对目标商品的分析指令，从多个数据平台获取与所述目标商品相关的原始商品信息数据表；

37、数据生成模块，用于根据多个所述原始商品信息数据表生成商品信息核心数据表；

38、数据处理模块，用于对所述商品信息核心数据表进行预处理，将预处理后的商品信息核心数据表汇聚至数据仓库；

39、模型训练模块，用于基于所述数据仓库中的商品信息核心数据表，使用决策树进行建模，训练销量预测模型；

40、销量预测模块，用于通过所述销量预测模型得到所述目标商品在本季节的第一销量预测结果及在下一季节的第二销量预测结果；

41、界面展示模块，用于构建数据分析可视化界面，将所述第一销量预测结果及所述第二销量预测结果进行实时动态可视化数据展示。

42、本申请的第三方面提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的大数据可视化分析方法的步骤。

43、本申请的第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的大数据可视化分析方法的步骤。

44、本申请实施例提供的大数据可视化分析方法、装置、电子设备及存储介质，通过自动从多个数据平台获取与目标商品相关的原始商品信息数据表，训练销量预测模型基于大数据进行商品销量的预测，并将预测结果进行可视化的展示，基于大数据的自动化选品效率高，获取的信息准确性高，不需依赖人力经验。此外，通过销量预测模型得到目标商品在本季节的第一销量预测结果及在下一季节的第二销量预测结果，并进行可视化的展示，便于用户直观的查看目标商品在两个季节的销量，从而辅助用户基于两个季节的销量进行选品，选出的商品质量较高。

技术特征：

1.一种大数据可视化分析方法，其特征在于，所述方法包括：

2.根据权利要求1所述的大数据可视化分析方法，其特征在于，所述根据多个所述原始商品信息数据表生成商品信息核心数据表包括：

3.根据权利要求2所述的大数据可视化分析方法，其特征在于，所述使用相关性分析删除所述合并数据表中的多余数据，得到所述商品信息核心数据表包括：

4.根据权利要求3所述的大数据可视化分析方法，其特征在于，所述根据所述第一相关系数及所述第二相关系数删除所述合并数据表中的多余数据包括：

5.根据权利要求1所述的大数据可视化分析方法，其特征在于，在所述训练销量预测模型之前，所述方法还包括：

6.根据权利要求5所述的大数据可视化分析方法，其特征在于，所述销量预测模型的训练过程包括：

7.根据权利要求1至5中任意一项所述的大数据可视化分析方法，其特征在于，所述数据分析可视化界面包括：

8.一种大数据可视化分析系统，其特征在于，所述系统包括：

9.一种电子设备，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的大数据可视化分析方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的大数据可视化分析方法的步骤。

技术总结
本申请涉及数据处理技术领域，提供了一种可视化分析的数据处理方法、系统、电子设备及存储介质。本申请通过从多个数据平台获取与目标商品相关的原始商品信息数据表，根据多个原始商品信息数据表生成商品信息核心数据表并进行预处理后汇聚至数据仓库，使用决策树进行建模，训练销量预测模型，从而通过销量预测模型得到目标商品在本季节及下一季节的销量预测结果，最后将销量预测结果放入数据分析可视化界面中进行实时动态可视化展示。基于大数据的可视化分析方法在智能判断与搜索获取数据的效率及准确性均较高，可视化显示能够更直观的展现预测结果，辅助用户进行选品，增加用户体验，大大降低了工作量。

技术研发人员：陈飞,陈典银
受保护的技术使用者：深圳特为科创信息技术有限公司
技术研发日：
技术公布日：2024/1/15