一种并行计算场景下分布式数据集合计算方法和系统与流程

1.本发明涉及数据处理技术领域，尤其涉及一种并行计算场景下分布式数据集合计算方法和系统。


背景技术：

2.当前是一个互联网的时代，互联网深入到了人们的日常生活中，日常消费、生活习惯、个人爱好都在互联网中留下了各种痕迹和数据，这样就造成互联网上留下了海量的待发掘的消费数据，对这些数据的分析和挖掘，获取其中的关键业务信息，是至关重要的。
3.现有的分布式数据分析方法中，通过默认以文件或分布式文件系统中的数据块作为分布式数据计算分析的最小执行单元，各个单元分别由一个计算单元计算，待所有计算单元数据计算完成后，对计算结果进行汇总，至此整个分布式计算完成。然而，现有的分布式数据计算效率较低，数据计算较为繁琐。


技术实现要素：

4.基于背景技术存在的技术问题，本发明提出了一种并行计算场景下分布式数据集合计算方法和系统。
5.本发明提出的一种并行计算场景下分布式数据集合计算系统，包括信息收集模块、信息分类模块、数据处理模块和数据存储模块，所述信息收集模块、信息分类模块、数据处理模块和数据存储模块依次连接，所述信息收集模块包括信息抓取单元，所述信息分类模块包括数据解析单元、数据过滤单元、数据去重单元和数据分类单元，数据解析单元、数据过滤单元、数据去重单元和数据分类单元依次连接，所述数据处理模块包括中心调度单元、分布式计算单元和汇总单元，所述中心调度单元、分布式计算单元和汇总单元依次连接。
6.优选的，所述信息抓取单元用于收集互联网网站信息，对互联网网站信息进行整理，得到互联网网站的特性信息数据，并将特性信息数据传输至信息分类模块。
7.优选的，所述数据解析单元接收特征信息数据，并对特征信息数据进行数据解析，将特征信息数据解析成常用数据信息，并将解析后的数据信息传输至数据过滤单元。
8.优选的，所述数据过滤单元将对常用数据信息进行筛分，剔除无用数据信息，并将有用数据信息传输至数据去重单元。
9.优选的，所述数据去重单元将有用数据信息中重复数据信息进行剔除，得到精简数据信息，并将精简数据信息传输至数据分类单元。
10.优选的，所述数据分类单元用于将精简数据信息根据不同数据类型进行分类，并将分类后的数据信息传输至数据处理模块。
11.优选的，所述中心调度单元用于对数据信息进行分析和分配，分析后的数据信息进行数据的分配，并将分配的数据传输至分布式计算单元。
12.优选的，所述分布式计算单元用于对分配的数据信息进行计算处理，计算处理后
的数据传输至汇总单元进行汇总处理，汇总后的数据传输至数据存储模块进行存储。
13.一种并行计算场景下分布式数据集合计算方法，包括如下步骤：
14.s1信息收集：信息收集模块包括信息抓取单元，信息抓取单元用于收集互联网网站信息，对互联网网站信息进行整理，得到互联网网站的特性信息数据，并将特性信息数据传输至信息分类模块；
15.s2信息分类：信息分类模块包括数据解析单元、数据过滤单元、数据去重单元和数据分类单元，数据解析单元、数据过滤单元、数据去重单元和数据分类单元依次连接，数据解析单元接收特征信息数据，并对特征信息数据进行数据解析，将特征信息数据解析成常用数据信息，并将解析后的数据信息传输至数据过滤单元，数据过滤单元将对常用数据信息进行筛分，剔除无用数据信息，并将有用数据信息传输至数据去重单元，数据去重单元将有用数据信息中重复数据信息进行剔除，得到精简数据信息，并将精简数据信息传输至数据分类单元，数据分类单元用于将精简数据信息根据不同数据类型进行分类，并将分类后的数据信息传输至数据处理模块；
16.s3数据处理：数据处理模块包括中心调度单元、分布式计算单元和汇总单元，所述中心调度单元、分布式计算单元和汇总单元依次连接，中心调度单元用于对数据信息进行分析和分配，分析后的数据信息进行数据的分配，并将分配的数据传输至分布式计算单元，分布式计算单元用于对分配的数据信息进行计算处理，计算处理后的数据传输至汇总单元进行汇总处理；
17.s4数据存储：将汇总后的数据传输至数据存储模块进行存储。
18.本发明中，所述一种并行计算场景下分布式数据集合计算方法和系统，能够分别对不同类型的互联网网站进行处理，能够对互联网上的数据做到全面、高效、多样化的抓取，同时，能够通过分布式数据计算效率。
附图说明
19.图1为本发明提出的一种并行计算场景下分布式数据集合计算系统的框图。
具体实施方式
20.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
21.参照图1，一种并行计算场景下分布式数据集合计算系统，包括信息收集模块、信息分类模块、数据处理模块和数据存储模块，信息收集模块、信息分类模块、数据处理模块和数据存储模块依次连接，信息收集模块包括信息抓取单元，信息分类模块包括数据解析单元、数据过滤单元、数据去重单元和数据分类单元，数据解析单元、数据过滤单元、数据去重单元和数据分类单元依次连接，数据处理模块包括中心调度单元、分布式计算单元和汇总单元，中心调度单元、分布式计算单元和汇总单元依次连接。
22.本发明中，信息抓取单元用于收集互联网网站信息，对互联网网站信息进行整理，得到互联网网站的特性信息数据，并将特性信息数据传输至信息分类模块。
23.本发明中，数据解析单元接收特征信息数据，并对特征信息数据进行数据解析，将特征信息数据解析成常用数据信息，并将解析后的数据信息传输至数据过滤单元。
24.本发明中，数据过滤单元将对常用数据信息进行筛分，剔除无用数据信息，并将有用数据信息传输至数据去重单元。
25.本发明中，数据去重单元将有用数据信息中重复数据信息进行剔除，得到精简数据信息，并将精简数据信息传输至数据分类单元。
26.本发明中，数据分类单元用于将精简数据信息根据不同数据类型进行分类，并将分类后的数据信息传输至数据处理模块。
27.本发明中，中心调度单元用于对数据信息进行分析和分配，分析后的数据信息进行数据的分配，并将分配的数据传输至分布式计算单元。
28.本发明中，分布式计算单元用于对分配的数据信息进行计算处理，计算处理后的数据传输至汇总单元进行汇总处理，汇总后的数据传输至数据存储模块进行存储。
29.一种并行计算场景下分布式数据集合计算方法，包括如下步骤：
30.s1信息收集：信息收集模块包括信息抓取单元，信息抓取单元用于收集互联网网站信息，对互联网网站信息进行整理，得到互联网网站的特性信息数据，并将特性信息数据传输至信息分类模块；
31.s2信息分类：信息分类模块包括数据解析单元、数据过滤单元、数据去重单元和数据分类单元，数据解析单元、数据过滤单元、数据去重单元和数据分类单元依次连接，数据解析单元接收特征信息数据，并对特征信息数据进行数据解析，将特征信息数据解析成常用数据信息，并将解析后的数据信息传输至数据过滤单元，数据过滤单元将对常用数据信息进行筛分，剔除无用数据信息，并将有用数据信息传输至数据去重单元，数据去重单元将有用数据信息中重复数据信息进行剔除，得到精简数据信息，并将精简数据信息传输至数据分类单元，数据分类单元用于将精简数据信息根据不同数据类型进行分类，并将分类后的数据信息传输至数据处理模块；
32.s3数据处理：数据处理模块包括中心调度单元、分布式计算单元和汇总单元，中心调度单元、分布式计算单元和汇总单元依次连接，中心调度单元用于对数据信息进行分析和分配，分析后的数据信息进行数据的分配，并将分配的数据传输至分布式计算单元，分布式计算单元用于对分配的数据信息进行计算处理，计算处理后的数据传输至汇总单元进行汇总处理；
33.s4数据存储：将汇总后的数据传输至数据存储模块进行存储。
34.本发明：信息收集：信息收集模块包括信息抓取单元，信息抓取单元用于收集互联网网站信息，对互联网网站信息进行整理，得到互联网网站的特性信息数据，并将特性信息数据传输至信息分类模块；信息分类：信息分类模块包括数据解析单元、数据过滤单元、数据去重单元和数据分类单元，数据解析单元、数据过滤单元、数据去重单元和数据分类单元依次连接，数据解析单元接收特征信息数据，并对特征信息数据进行数据解析，将特征信息数据解析成常用数据信息，并将解析后的数据信息传输至数据过滤单元，数据过滤单元将对常用数据信息进行筛分，剔除无用数据信息，并将有用数据信息传输至数据去重单元，数据去重单元将有用数据信息中重复数据信息进行剔除，得到精简数据信息，并将精简数据信息传输至数据分类单元，数据分类单元用于将精简数据信息根据不同数据类型进行分类，并将分类后的数据信息传输至数据处理模块；数据处理：数据处理模块包括中心调度单元、分布式计算单元和汇总单元，中心调度单元、分布式计算单元和汇总单元依次连接，中
心调度单元用于对数据信息进行分析和分配，分析后的数据信息进行数据的分配，并将分配的数据传输至分布式计算单元，分布式计算单元用于对分配的数据信息进行计算处理，计算处理后的数据传输至汇总单元进行汇总处理；数据存储：将汇总后的数据传输至数据存储模块进行存储。
35.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。