本发明涉及大数据领域，具体涉及进行数据初步清洗的网络数据采集方法。
背景技术：
数据发展历程上出现过类似的术语有超大规模数据、海量数据等。“超大规模”一般表示对应gb(1gb＝1024mb)的数据，“海量”一般表示的是tb(1tb＝1024gb)级的数据，而现在的“大数据”则是pb(1pb＝1024tb)、eb(1eb＝1024pb)、甚至zb(1zb＝1024eb)级别以上的数据。2013年gartner预测世界上存储的数据将达到1.2zb，如果将这些数据刻录到cd-r只读光盘上，并堆起来，其高度将是地球到月球距离的5倍。不同规模的背后隐含的是不同的技术问题或挑战性研究难题。
大数据(bigdata)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在日新月异的it业界，各个企业对大数据都有着自己不同的解读.但大家都普遍认为，大数据有着4“v”特征，即volume(容量大)、variety(种类多)、velocity(速度快)和最重要的value(价值密度低)：
(1)量大(volumebig)。数据量级已从tb(210gb)发展至pb(210tb)乃至zb(220pb)，可称海量、巨量乃至超量。
(2)多样化(variabletype)。数据类型繁多，愈来愈多为网页、图片、视频、图像与位置信息等半结构化和非结构化数据信息。
(3)快速化(velocityfast)。数据流往往为高速实时数据流，而且往往需要快速、持续的实时处理；处理工具亦在快速演进，软件工程及人工智能等均可能介入。
(4)价值高和密度低(valuehighandlowdensity)。以视频安全监控为例，连续不断的监控流中，有重大价值者可能仅为一两秒的数据流；360°全方位视频监控的“死角”处，可能会挖掘出最有价值的图像信息。
(5)复查complexity：处理和分析的难度非常大。
网络数据是数量大、内容杂乱的，现有的大数据数据采集技术对于网络信息的抓取方法较复杂，花费时间较多。
技术实现要素：
本发明所要解决的技术问题是网络数据是数量大、内容杂乱的，现有的大数据数据采集技术对于网络信息的抓取方法较复杂，花费时间较多，目的在于提供进行数据初步清洗的网络数据采集方法，提高对网络信息的抓取和存储速度。
本发明通过下述技术方案实现：
进行数据初步清洗的网络数据采集方法，包括：
步骤1，通过网络爬虫从internet上抓取网页内容，并抽取出需要的属性内容；
步骤2，通过url队列为爬虫提供需要抓取数据网络的url；
步骤3，通过数据处理模块对爬虫抓取的内容进行处理；数据处理模块包括大数据清洗任务单元库、sparksql模块、spark-etlsdk模块、流水线配置模块以及由网页客户端和网页服务端构成的网页服务平台，其特征在于，用户通过网页服务端添加需要的清洗单元与需要执行的算法任务，sparksql模块从网页服务端处接收需要的清洗单元以及需要执行的算法任务并实现数据清洗功能，清洗单元以及算法任务从大数据清洗任务单元库中提取，流水线配置模块实现sdk定义的接口提交到工作服务器进行有效的运行，流水线配置模块用于为大数据清洗任务单元库、sparksql模块、spark-etlsdk模块、流水线配置模块以及由网页客户端和网页服务端构成的网页服务平台之间的信息交互建立接口；
步骤4，通过数据存储模块对需要抓取数据网站的url信息、爬虫从网页中抽取出来的数据以及经过dp处理后的数据进行存储。
进一步地，进行数据初步清洗的网络数据采集方法，所述步骤1包括：
步骤11，将需要抓取数据网站的url信息写入url队列；
步骤12，爬虫从url队列中获取需要抓取数据网站的siteurl信息；
步骤13，爬虫从internet抓取对应网页内容，并抽取特定属性的内容值；
步骤14，爬虫将从网页中抽取处的数据写入数据库；
步骤15，dp读取spiderdata并进行处理；
步骤16，dp将处理后的数据写入数据库。
进一步地，进行数据初步清洗的网络数据采集方法，所述步骤3中数据处理模块对数据的处理包括数据清洗、数据去噪以及进一步的集成存储。
本发明通过网络爬虫或网站公开api方式从网站上获取数据信息，本发明可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储，并且支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联，提高了网络信息的采集和抓取速度，同时提高了抓取后信息的存储速度。
网页客户端负责前端服务功能界面，网页服务端用于负责提交管理大数据处理任务，sparksql用于实际负责大数据etl。本发明的网页客户端根据后台服务功能设计来实现需求，同时又反过来促进后台服务的完善。网页客户端是主要的用户接口，需要保证基础的功能页面，网页客户端用于对jobjars进行管理，具体包括：统计查看现有jars，查看当前平台所拥有的的jar包，及整体jar包的统计信息，etl各种功能类型数等；查看并修改单个jar包信息，包括jar包的详细功能说明与使用方式，上传信息等；上传jar包，上传jar包到spark-etl平台，交由平台同一管理存储文件，并提供详细的jar信息；删除jar包。本发明针对大数据量与数据多样性这两项大数据特性，spark-etl能够更加有效快速地完成大数据清洗任务，相比于spark原生框架下，编写spark程序完成大数据清洗，spark-etl将这项工作转变成从框架下选择合适的大数据清洗任务单元，或者根据需要编写单块的小单元，通过串联这些清洗单元的方式，实现大数据清洗。整个过程只需要编写配置大数据清洗流水线的定义文件，而无需复杂的代码编程，尤其是不需要深厚的spark编程能力即可实现利用spark完成大数据清洗。
本发明与现有技术相比，具有如下的优点和有益效果：本发明通过步骤1，通过网络爬虫从internet上抓取网页内容，并抽取出需要的属性内容；步骤2，通过url队列为爬虫提供需要抓取数据网络的url；步骤3，通过数据处理模块对爬虫抓取的内容进行处理；步骤4，通过数据存储模块对需要抓取数据网站的url信息、爬虫从网页中抽取出来的数据以及经过dp处理后的数据进行存储。即通过网络爬虫或网站公开api方式从网站上获取数据信息，本发明可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储，并且支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联，提高了网络信息的采集和抓取速度，同时提高了抓取后信息的存储速度。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例
进行数据初步清洗的网络数据采集方法，包括：
步骤1，通过网络爬虫从internet上抓取网页内容，并抽取出需要的属性内容；
步骤2，通过url队列为爬虫提供需要抓取数据网络的url；
步骤3，通过数据处理模块对爬虫抓取的内容进行处理；数据处理模块包括大数据清洗任务单元库、sparksql模块、spark-etlsdk模块、流水线配置模块以及由网页客户端和网页服务端构成的网页服务平台，其特征在于，用户通过网页服务端添加需要的清洗单元与需要执行的算法任务，sparksql模块从网页服务端处接收需要的清洗单元以及需要执行的算法任务并实现数据清洗功能，清洗单元以及算法任务从大数据清洗任务单元库中提取，流水线配置模块实现sdk定义的接口提交到工作服务器进行有效的运行，流水线配置模块用于为大数据清洗任务单元库、sparksql模块、spark-etlsdk模块、流水线配置模块以及由网页客户端和网页服务端构成的网页服务平台之间的信息交互建立接口；
步骤4，通过数据存储模块对需要抓取数据网站的url信息、爬虫从网页中抽取出来的数据以及经过dp处理后的数据进行存储。
步骤1包括：
步骤11，将需要抓取数据网站的url信息写入url队列；
步骤12，爬虫从url队列中获取需要抓取数据网站的siteurl信息；
步骤13，爬虫从internet抓取对应网页内容，并抽取特定属性的内容值；
步骤14，爬虫将从网页中抽取处的数据写入数据库；
步骤15，dp读取spiderdata并进行处理；
步骤16，dp将处理后的数据写入数据库。
步骤3中数据处理模块对数据的处理包括数据清洗、数据去噪以及进一步的集成存储。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。