一种导购平台大数据处理系统的制作方法

本发明涉及大数据技术领域，尤其涉及一种导购平台大数据处理系统。

背景技术：

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

现有市场上的导购平台大数据处理系统无法对海量的数据进行快速的分类、筛选以及计算，不便于实现客户端对数据的查看，无法通过计算机图形以及图像的直观方式展示给用户，因此不利于推广。

技术实现要素：

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种导购平台大数据处理系统。

为了实现上述目的，本发明采用了如下技术方案：

设计一种导购平台大数据处理系统，包括导购平台模块，所述导购大平台模块信号连接有数据采集模块，同时数据采集模块通过信号连接的方式与数据预处理模块相连接，所述数据预处理模块与数据分析模块，所述数据分析模块与数据清洗模块通过信号连接的方式相连接，且数据清洗模块与云端数据库相连接，同时数据清洗模块与导购平台模块相互连接，所述数据清洗模块包括数据计算器、数据转换器、数据集成模块、数据传输模块以及应用服务器，依靠应用服务器，通过数据计算器将数数据分析模块中的产生的数据进行计算，同时将计算后的数据传递至数据转换器中，通过数据集成模块将不同来源、格式、特点以及性质的数据通过逻辑函数进行快速的集中，并将集中后的数据通过数据传输模块传递至云端数据库。

优选的，所述数据采集模块包括互联网模块、web数据库、网页数据采集器模块以及多网络数据采集模块，通过网页数据采集器模块对互联网模块以及web数据库中关于导购平台模块的数据进行收集，同时多网络数据采集模块具体采用多网络爬虫的方式对数据进行收集，能够保障收集到的数据的时效性质量。

优选的，所述数据预处理模块包括mapreduce分布式计算框架、中央处理器，mapreduce分布式计算框架是一个批量处理的分布式计算框架，依靠中央处理器对海量的数据进行分析以及处理，同时对各种结构化数据模块以及非结构化数据模块的处理，有效的减少了数据读写和移动的开销，提高了大数据的处理运行速度。

优选的，所述数据分析模块包括数据访问连接器模块、ethink数据挖掘模块、网络传输模块以及数据可视化模块，数据访问连接器模块能够识别控制端对数据处理的权限，同时ethink数据挖掘模块依靠数据访问连接器模块对大数据以及关系数据通过函数进行深度的挖掘，并通过网络传输模块将数据传输至数据可视化模块中。

优选的，所述数据可视化模块具体包括平板、手机移动客户端以及pc端。

优选的，所述导购平台模块信号连接有大数据隐私与安全模块，大数据隐私与安全模块具体包括ids控制端认证模块，所述ids控制端认证模块信号连接有防火墙模块，所述防火墙模块连接有数据录入模块，且通过数据录入模块将数据传递至网站数据备份模块中进行备份。

优选的，所述导购平台模块信号连接有大数据应用模块，数据源收集模块，数据源收集模块通过无线网络传输模块传递至信号转换器模块中，借助于信号转换器模块将光信号转换为电信号，同时将这些电信号传输至移动客户端模块中，便于客户端对数据的查看。

本发明提出的一种导购平台大数据处理系统，有益效果在于：

1、依靠中央处理器对海量的数据进行分析以及处理，同时对各种结构化数据模块以及非结构化数据模块的处理，有效的减少了数据读写和移动的开销，提高了大数据的处理运行速度；

2、借助于信号转换器模块将光信号转换为电信号，同时将这些电信号传输至移动客户端模块中，便于客户端对数据的查看；

3、多网络数据采集模块具体采用多网络爬虫的方式对数据进行收集，能够保障收集到的数据的时效性质量，能够实现对数据采集任务的启动以及停止；

4、对各种结构化数据模块以及非结构化数据模块的处理，有效的减少了数据读写和移动的开销，提高了大数据的处理运行速度，同时在数据采集的过程中通常有一个或多个数据源，这些数据源包括同构或异构的数据库、文件系统以及服务接口，从而会容易受到噪声数据、数据值缺失以及数据冲突的影响，因此需要首先对收集到的大数据集合进行预处理，能够保证大数据分析与预测结果的准确性以及价值性，同时通过对大数据的预处理，能够有效的提高大数据的质量，是大数据过程质量的体现，提高了大数据的一致性、准确性、真实性以及可用性。

5、对大数据的分析，有利于对大数据的引导作用，保障了大数据的可用性、价值性，从而满足了用户的需求。

附图说明

图1为本发明提出的一种导购平台大数据处理系统的系统框图。

图2为本发明提出的一种导购平台大数据处理系统的大数据隐私与安全模块的系统框图。

图3为本发明提出的一种导购平台大数据处理系统的大数据应用模块的系统框图。

图4为本发明提出的一种导购平台大数据处理系统的数据采集模块的系统框图。

图5为本发明提出的一种导购平台大数据处理系统的数据预处理模块的系统框图。

图6为本发明提出的一种导购平台大数据处理系统的数据分析的系统框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

参照图1-6，一种导购平台大数据处理系统，包括导购平台模块，导购大平台模块信号连接有数据采集模块，同时数据采集模块通过信号连接的方式与数据预处理模块相连接，数据预处理模块与数据分析模块，数据分析模块与数据清洗模块通过信号连接的方式相连接，且数据清洗模块与云端数据库相连接，同时数据清洗模块与导购平台模块相互连接，数据清洗模块包括数据计算器、数据转换器、数据集成模块、数据传输模块以及应用服务器，依靠应用服务器，通过数据计算器将数数据分析模块中的产生的数据进行计算，同时将计算后的数据传递至数据转换器中，通过数据集成模块将不同来源、格式、特点以及性质的数据通过逻辑函数进行快速的集中，并将集中后的数据通过数据传输模块传递至云端数据库。

数据采集模块包括互联网模块、web数据库、网页数据采集器模块以及多网络数据采集模块，通过网页数据采集器模块对互联网模块以及web数据库中关于导购平台模块的数据进行收集，同时多网络数据采集模块具体采用多网络爬虫的方式对数据进行收集，能够保障收集到的数据的时效性质量，能够实现对数据采集任务的启动以及停止。

数据预处理模块包括mapreduce分布式计算框架、中央处理器，mapreduce分布式计算框架是一个批量处理的分布式计算框架，依靠中央处理器对海量的数据进行分析以及处理，同时对各种结构化数据模块以及非结构化数据模块的处理，有效的减少了数据读写和移动的开销，提高了大数据的处理运行速度，同时在数据采集的过程中通常有一个或多个数据源，这些数据源包括同构或异构的数据库、文件系统以及服务接口，从而会容易受到噪声数据、数据值缺失以及数据冲突的影响，因此需要首先对收集到的大数据集合进行预处理，能够保证大数据分析与预测结果的准确性以及价值性，同时通过对大数据的预处理，能够有效的提高大数据的质量，是大数据过程质量的体现，提高了大数据的一致性、准确性、真实性以及可用性。

数据分析模块包括数据访问连接器模块、ethink数据挖掘模块、网络传输模块以及数据可视化模块，数据访问连接器模块能够识别控制端对数据处理的权限，同时ethink数据挖掘模块依靠数据访问连接器模块对大数据以及关系数据通过函数进行深度的挖掘，并通过网络传输模块将数据传输至数据可视化模块中，对大数据的分析，有利于对大数据的引导作用，保障了大数据的可用性、价值性，从而满足了用户的需求。

数据可视化模块具体包括平板、手机移动客户端以及pc端，导购平台模块信号连接有大数据隐私与安全模块，大数据隐私与安全模块具体包括ids控制端认证模块，ids控制端认证模块信号连接有防火墙模块，防火墙模块连接有数据录入模块，且通过数据录入模块将数据传递至网站数据备份模块中进行备份，该设计，能够有效的防止出现数据丢失的情况发生，并提高了系统的安全性，也对用户的信息以及大数据起到了防护的效果。

导购平台模块信号连接有大数据应用模块，数据源收集模块，数据源收集模块通过无线网络传输模块传递至信号转换器模块中，借助于信号转换器模块将光信号转换为电信号，同时将这些电信号传输至移动客户端模块中，便于客户端对数据的查看。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。