大数据清洗处理系统的制作方法

文档序号:12748064阅读:904来源:国知局

本发明涉及数据处理领域,具体地,涉及一种大数据清洗处理系统。



背景技术:

大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

随着电子信息化的飞速发展,电子信息数据逐渐成为人们研究的重点,人们日常生活均离不开各种各样的数据,进而大数据成为了目前研究的热点。

在现有技术中,在进行大数据处理时,通常将需要处理的各种数据进行融合存储,然后进行大数据处理利用分析等,但是简单的数据采集融合存在数据不准确含有杂质数据的问题,现有技术中并没有对大数据的数据进行清洗,导致大数据处理分析不准确的问题。

综上所述,本申请发明人在实现本申请实施例中发明技术方案的过程中,发现上述技术至少存在如下技术问题:

在现有技术中,现有的大数据分析处理存在没有对数据进行清洗,导致分析处理准确率较差的技术问题。



技术实现要素:

本发明提供了一种大数据清洗处理系统,解决了现有的大数据分析处理存在没有对数据进行清洗,导致分析处理准确率较差的技术问题,实现了系统设计合理,对大数据进行清洗处理,保障了大数据分析处理的准确性的技术效果。

为解决上述技术问题,本申请实施例提供了大数据清洗处理系统,所述系统包括:

采集单元,所述采集单元用于采集业务领域相关数据,并将采集的数据存储在存储单元中;

第一存储单元,所述第一存储单元用于对采集的数据进行存储;

清洗单元,所述清洗单元用于对存储单元中数据进行清洗处理;

第二存储单元,所述第二存储单元用于将清洗后的数据进行存储。

其中,所述系统还包括显示单元,所述显示单元用于对第二存储单元存储的数据进行显示。

其中,所述清洗单元具体包括:

过滤条件输入模块,所述过滤条件输入模块用于用户输入过滤条件;

过滤模块,所述过滤模块用于基于过滤条件对第一存储单元中的数据进行过滤处理。

其中,所述系统还包括检查单元,所述检查单元用于对第二存储单元的数据进行检查,判断是否还包括需要清洗的数据。

其中,所述系统还包括报警单元,所述报警单元用于在第二存储单元存储空间小于预设值时进行报警。

本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:

由于采用了将大数据清洗处理系统设计为包括:采集单元,所述采集单元用于采集业务领域相关数据,并将采集的数据存储在存储单元中;第一存储单元,所述第一存储单元用于对采集的数据进行存储;清洗单元,所述清洗单元用于对存储单元中数据进行清洗处理;第二存储单元,所述第二存储单元用于将清洗后的数据进行存储的技术方案,所以,有效解决了现有的大数据分析处理存在没有对数据进行清洗,导致分析处理准确率较差的技术问题,进而实现了系统设计合理,对大数据进行清洗处理,保障了大数据分析处理的准确性的技术效果。

附图说明

图1是本申请实施例一中大数据清洗处理系统的组成示意图。

具体实施方式

本发明提供了一种大数据清洗处理系统,解决了现有的大数据分析处理存在没有对数据进行清洗,导致分析处理准确率较差的技术问题,实现了系统设计合理,对大数据进行清洗处理,保障了大数据分析处理的准确性的技术效果。

本申请实施中的技术方案为解决上述技术问题。总体思路如下:

采用了将大数据清洗处理系统设计为包括:采集单元,所述采集单元用于采集业务领域相关数据,并将采集的数据存储在存储单元中;第一存储单元,所述第一存储单元用于对采集的数据进行存储;清洗单元,所述清洗单元用于对存储单元中数据进行清洗处理;第二存储单元,所述第二存储单元用于将清洗后的数据进行存储的技术方案,所以,有效解决了现有的大数据分析处理存在没有对数据进行清洗,导致分析处理准确率较差的技术问题,进而实现了系统设计合理,对大数据进行清洗处理,保障了大数据分析处理的准确性的技术效果。

为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

实施例一:

在实施例一中,请参考图1,提供了大数据清洗处理系统,所述系统包括:

采集单元,所述采集单元用于采集业务领域相关数据,并将采集的数据存储在存储单元中;

第一存储单元,所述第一存储单元用于对采集的数据进行存储;

清洗单元,所述清洗单元用于对存储单元中数据进行清洗处理;

第二存储单元,所述第二存储单元用于将清洗后的数据进行存储。

其中,所述系统还包括显示单元,所述显示单元用于对第二存储单元存储的数据进行显示。

其中,所述清洗单元具体包括:

过滤条件输入模块,所述过滤条件输入模块用于用户输入过滤条件;

过滤模块,所述过滤模块用于基于过滤条件对第一存储单元中的数据进行过滤处理。

其中,所述系统还包括检查单元,所述检查单元用于对第二存储单元的数据进行检查,判断是否还包括需要清洗的数据。

其中,所述系统还包括报警单元,所述报警单元用于在第二存储单元存储空间小于预设值时进行报警。

本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:

由于采用了将大数据清洗处理系统设计为包括:采集单元,所述采集单元用于采集业务领域相关数据,并将采集的数据存储在存储单元中;第一存储单元,所述第一存储单元用于对采集的数据进行存储;清洗单元,所述清洗单元用于对存储单元中数据进行清洗处理;第二存储单元,所述第二存储单元用于将清洗后的数据进行存储的技术方案,所以,有效解决了现有的大数据分析处理存在没有对数据进行清洗,导致分析处理准确率较差的技术问题,进而实现了系统设计合理,对大数据进行清洗处理,保障了大数据分析处理的准确性的技术效果。

尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1