一种大数据处理方法与流程

文档序号:18192281发布日期:2019-07-17 05:38阅读:179来源:国知局

本发明涉及数据处理技术领域技术领域,具体涉及一种大数据处理方法。



背景技术:

随着社会发展和经济进步,移动通信终端以及一些智能家居被广泛的使用,移动通信终端承载了个体之间的通信沟通职能,在此过程中移动终端采集、上传并存储大量用户使用信息。

大数据技术或称巨量资料,指的是所涉及的资料量规模巨大到无法通过目前主流软件工具,在合理的时间内达到汲取、管理、处理并整理成为帮助企业经营决策更积极目的资讯。大数据计数的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化的处理,换言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键在于提高对数据的“加工能力”,通过加工数据实现增值。

如何从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、事先不知道的、但有时潜在有用的信息的过程被称为数据挖掘,显而易见,数据挖掘时大数据技术的关键。



技术实现要素:

发明目的:针对上述现有技术中的不足,本发明提供一种大数据处理方法,结合了现有的移动网络,能够获取较完整的原始数据,同时通过多属性挖掘,有效提高数据利用率。

技术方案:为实现上述目的,本发明采用如下技术方案:

一种大数据处理方法,包括如下步骤:

步骤1:采集数据;

步骤2:对采集到的数据进行降噪处理;

步骤3:将数据分类存储至数据库;

步骤4:将数据库的数据共享至数据仓库;

步骤5:用户根据关键词对数据仓库中的信息进行检索,对已经检索出来的信息,通过管控平台进行可视化展示;

步骤6:用户确定找到自己需要的数据信息时,数据最终通过移动终端输出。

优选的,步骤1中,所述数据包括用户的地理位置信息和当前用户的使用习惯等。

优选的,还包括离散化处理步骤,将降噪处理后的数据信息进行离散化处理,方便存储和进一步分析。

优选的,还包括数据抽取步骤,将经步骤3处理后的数据进行抽取,获得符合数据库格式的数据,并将抽取整理后的数据发送到数据库中,数据库将抽取整理后的数据分析和挖掘,获得有价值的数据。

优选的,步骤3中,所述数据库的数量大于1。

有益效果:本发明提高了从数据库中提取信息的效率,最终数据通过移动终端输出,极大方便了使用者的使用。结合了现有的移动网络,能够获取较完整的原始数据,同时通过多属性挖掘,有效提高数据利用率。

具体实施方式

下面结合实施例对本发明做更进一步的解释。

本发明提供一种大数据处理方法,包括如下步骤:

步骤1:采集数据;采集用户的地理位置信息以及当前用户的使用习惯等用户数据。

步骤2:对采集到的数据进行降噪处理;降噪处理后进行离散化处理,将降噪处理后的数据信息进行离散化处理,方便存储和进一步分析。

步骤3:按照不同的标准将数据分类存储;

数据分类存储后对数据进行抽取,获得符合数据库格式的数据,并将抽取整理后的数据发送到数据库中,数据库将抽取整理后的数据分析和挖掘,获得有价值的数据。

从不同角度对输入的信息进行多方面挖掘,对挖掘结果进行汇总,对汇总后的数据进行融合信息分析处理。

步骤4:将数据共享至数据库;数据库存储用户的业务数据,不同的业务可以存放到不同的数据库上,数据库可以有多个,数据仓库通过数据抽取装置与多个数据库相连接,数据抽取装置将多个数据库的数据内容,进行抽取,获得符合数据仓库的数据,并将抽取整理后的数据发送到数据仓库中,数据仓库根据分析和挖掘算法,将抽取整理后的数据分析和挖掘,获得有价值的数据。

步骤5:用户根据关键词对数据库中的信息进行检索,对已经检索出来的信息,通过管控平台进行可视化展示;

步骤6:用户确定找到自己需要的数据信息时,数据最终通过移动终端输出。

根据下述实施例,可以更好的理解本发明。然而,本领域的技术人员容易理解,实施例所描述的具体的物料配比、工艺条件及其结果仅用于说明本发明,而不应当也不会限制权利要求书中所详细描述的本发明。



技术特征:

技术总结
本发明提供一种大数据处理方法,其特征在于,包括如下步骤:步骤1:采集数据;步骤2:对采集到的数据进行降噪处理;步骤3:将数据分类存储至数据库;步骤4:将数据库的数据共享至数据仓库;步骤5:用户根据关键词对数据仓库中的信息进行检索,对已经检索出来的信息,通过管控平台进行可视化展示;步骤6:用户确定找到自己需要的数据信息时,数据最终通过移动终端输出。本发明结合了现有的移动网络,能够获取较完整的原始数据,同时通过多属性挖掘,有效提高数据利用率。

技术研发人员:王立钧;吴勇
受保护的技术使用者:南京唯实科技有限公司
技术研发日:2017.10.13
技术公布日:2019.07.16
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1