本发明涉及大数据领域，具体涉及自动剔除无用信息和重复信息的网络数据采集方法。
背景技术：
网络数据包含大量的图片、视频、数据等内容，纵梁非常的庞大，数量大、内容杂乱的，现有的大数据数据采集技术对于网络信息的抓取方法较复杂，花费时间较多，这就导致工作效率很低，企业要想尽快获得大量数据，需要大量的开发人员，成本很高。
技术实现要素：
本发明所要解决的技术问题是网络数据是数量大、内容杂乱的，现有的大数据数据采集技术对于网络信息的抓取方法较复杂，花费时间较多，目的在于提供自动剔除无用信息和重复信息的网络数据采集方法，提高对网络信息的抓取和存储速度。
本发明通过下述技术方案实现：
自动剔除无用信息和重复信息的网络数据采集方法，包括：
步骤1，通过网络爬虫从internet上抓取网页内容，并抽取出需要的含有关键字的内容；
步骤2，通过url队列为爬虫提供需要抓取数据网络的url；
步骤3，通过数据处理模块对爬虫抓取的内容进行处理；数据处理模块包括大数据清洗任务单元库、sparksql模块、spark-etlsdk模块、流水线配置模块以及由网页客户端和网页服务端构成的网页服务平台，其特征在于，用户通过网页服务端添加需要的清洗单元与需要执行的算法任务，sparksql模块从网页服务端处接收需要的清洗单元以及需要执行的算法任务并实现数据清洗功能，清洗单元以及算法任务从大数据清洗任务单元库中提取，流水线配置模块实现sdk定义的接口提交到工作服务器进行有效的运行，流水线配置模块用于为大数据清洗任务单元库、sparksql模块、spark-etlsdk模块、流水线配置模块以及由网页客户端和网页服务端构成的网页服务平台之间的信息交互建立接口；
步骤4，通过数据存储模块对需要抓取数据网站的url信息、爬虫从网页中抽取出来的数据以及经过dp处理后的数据进行存储。
进一步地，自动剔除无用信息和重复信息的网络数据采集方法，所述步骤1包括：
步骤11，将需要抓取数据网站的url信息写入url队列；
步骤12，爬虫从url队列中获取需要抓取数据网站的siteurl信息；
步骤13，爬虫从internet抓取对应网页内容，并抽取特定属性的内容值；
步骤14，爬虫将从网页中抽取处的数据写入数据库；
步骤15，dp读取spiderdata并进行处理；
步骤16，dp将处理后的数据写入数据库。
进一步地，自动剔除无用信息和重复信息的网络数据采集方法，所述步骤3中数据处理模块对数据的处理包括数据清洗、数据去噪以及进一步的集成存储。
本发明通过网络爬虫或网站公开api方式从网站上获取数据信息，本发明可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储，并且支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联，提高了网络信息的采集和抓取速度，同时提高了抓取后信息的存储速度。
本发明与现有技术相比，具有如下的优点和有益效果：本发明通过步骤1，通过网络爬虫从internet上抓取网页内容，并抽取出需要的含有关键字的内容；步骤2，通过url队列为爬虫提供需要抓取数据网络的url；步骤3，通过数据处理模块对爬虫抓取的内容进行处理；步骤4，通过数据存储模块对需要抓取数据网站的url信息、爬虫从网页中抽取出来的数据以及经过dp处理后的数据进行存储。即通过网络爬虫或网站公开api方式从网站上获取数据信息，本发明可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储，并且支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联，提高了网络信息的采集和抓取速度，同时提高了抓取后信息的存储速度。
具体实施方式
自动剔除无用信息和重复信息的网络数据采集方法，包括：
步骤1，通过网络爬虫从internet上抓取网页内容，并抽取出需要的含有关键字的内容；
步骤2，通过url队列为爬虫提供需要抓取数据网络的url；
步骤3，通过数据处理模块对爬虫抓取的内容进行处理；数据处理模块包括大数据清洗任务单元库、sparksql模块、spark-etlsdk模块、流水线配置模块以及由网页客户端和网页服务端构成的网页服务平台，其特征在于，用户通过网页服务端添加需要的清洗单元与需要执行的算法任务，sparksql模块从网页服务端处接收需要的清洗单元以及需要执行的算法任务并实现数据清洗功能，清洗单元以及算法任务从大数据清洗任务单元库中提取，流水线配置模块实现sdk定义的接口提交到工作服务器进行有效的运行，流水线配置模块用于为大数据清洗任务单元库、sparksql模块、spark-etlsdk模块、流水线配置模块以及由网页客户端和网页服务端构成的网页服务平台之间的信息交互建立接口；
步骤4，通过数据存储模块对需要抓取数据网站的url信息、爬虫从网页中抽取出来的数据以及经过dp处理后的数据进行存储。
进一步地，自动剔除无用信息和重复信息的网络数据采集方法，所述步骤1包括：
步骤11，将需要抓取数据网站的url信息写入url队列；
步骤12，爬虫从url队列中获取需要抓取数据网站的siteurl信息；
步骤13，爬虫从internet抓取对应网页内容，并抽取特定属性的内容值；
步骤14，爬虫将从网页中抽取处的数据写入数据库；
步骤15，dp读取spiderdata并进行处理；
步骤16，dp将处理后的数据写入数据库。
进一步地，自动剔除无用信息和重复信息的网络数据采集方法，所述步骤3中数据处理模块对数据的处理包括数据清洗、数据去噪以及进一步的集成存储。
本发明通过网络爬虫或网站公开api方式从网站上获取数据信息，本发明可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储，并且支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联，提高了网络信息的采集和抓取速度，同时提高了抓取后信息的存储速度。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。