一种大数据存储系统的制作方法

文档序号:15047469发布日期:2018-07-27 23:00阅读:184来源:国知局

本发明涉及电子技术领域,尤其涉及一种大数据存储系统。



背景技术:

近年来,互联网的发展越来越迅速,使用互联网的人也越来越普及,人们在使用互联网进行日常的活动的时候,例如网购,查看节目,信息,商品都会产生大量的数据,而这些数据对于电子商务网站或者互联网媒体类网站来说是非常宝贵的,利用这些大数据的处理分析能得到非常宝贵的商业价值。

随着网络技术和电商平台的日趋完善,消费者对电商平台的口碑评价越来越关注,也使得电商平台口碑评价成为打造电商品牌的重要途径。网民对电商舆情的关注焦点主要集中在电商价格、商品质量、物流速度、售后服务等方面。为此有电商,如京东,对所在网站的文本数据进行舆情分析,以达到更加了解客户需求,主流偏好等信息。对于舆情分析第一步首先是通调查和深入访谈的形式,了解客户需求,确定研究方向;第二步则对客户关注该电商平台的所有关键词进行筛选,锁定关键词;接下来的第三步是通过中心自有监测平台采集抓取主题型关键词关注的百万级网民信息;第四步是将行业关键词放到监测框中进行筛选,获取具有行业属性的信息;第五步以行业特征数据分析基础,研究该群体对于某电商平台的关注特征;第六步依据研究结果,归纳研究结论,撰写行业研究报告。

相比于线下零售,电子商务网站具备非常吩咐的客户历史数据。通过这些数据的分析,能够进一步了解客户的购物习惯、兴趣爱好和购买意愿,并可以对客户群体进行细分,从而正对不同的用户对服务经行调整和优化,进行有针对性的广告营销和推送,实现个性化服务。

大数据广泛应用于互联网各项应用中,对网站的价值意义重大,通过海量数据分析和云计算的实现,可以最大化帮助互联网媒体类网站广告系统和电子商务类网站大数据商品推送系统得到最大化的提升。互联网媒体类网站大数据广告根据用户阅读偏好推送,针对海量数据的云计算,通过各种广告形式推送到网站浏览用户,例如应用在商会网(www.netcoc.com);电子商务类网站大数据商品推送给在线购买者,通过分析用户点击行为、购买行为、产品相关性、偏好及使用时间规律推送相应的商品及促销信息,例如应用在品得商城(www.pedemall.com)。

随着科技技术的进步,全球的数据量呈几何级数逐年递增,其数据资源的庞大,导致了数据存储系统的复杂化,如何对获取的数据进行自动分类整理,筛选掉无光紧要的数据,成为大数据存储中亟待解决的技术问题。



技术实现要素:

本发明实施例的目的在于提供一种大数据存储系统,以根据大数据的处理设备能够提升网站的广告传播的精准度和商城商品展示的精准度。

为了达到上述目的,本发明实施例提供了一种大数据存储系统,所述系统包括:

依次连接的异构数据同步模块、数据整合模块、数据交换模块、数据管理模块、时间同步模块、数据转换及清理模块、数据抽取和装载模块和数据精度校验模块。

可选的:所述数据整合模块分别对各种属性的数据进行数据清洗,排除异常数据;所述数据交换模块分别对各种属性的数据缺失值进行交换和补充。

可选的:所述数据管理模块用于根据属性对数据进行分类管理;所述时间同步模块统一对各种属性的数据进行时间校准。

可选的:所述数据转换及清理模块分别对各种属性的数据进行样本数据抽取,去除冗余数据提取精简数据集;所述数据精度校验模块8按照预定的预测模型进行数据进行精度校验。

可选的:所述异构数据同步模块用于获取多源采集的多种属性的数据,并根据时钟同步信号按照相应属性进行存储。

可选的:所述数据整合模块分别对各种属性的数据进行数据清洗,排除异常数据。

可选的:所述数据交换模块分别对各种属性的数据缺失值进行交换和补充。

可选的:所述数据转换及清理模块分别对各种属性的数据进行样本数据抽取,去除冗余数据提取精简数据集。

有益效果:

本发明实施例提供的一种大数据存储系统,依次连接的异构数据同步模块、数据整合模块、数据交换模块、数据管理模块、时间同步模块、数据转换及清理模块、数据抽取和装载模块和数据精度校验模块大数据的处理设备是结合了当前大数据技术的各种解决方案基础上,形成简洁高效的技术处理手段。适用于中小企业,媒体平台、电商平台,性价比较高,可以满足日常经营所需的数据分析支持,帮助企业更好的获得收益。能够将分散的、不同类型的,不同标准的数据进行有效的除重筛选和整合。本发明能够有效地保证数据质量的同时,提高数据采样速度和处理准确性从而提高了预测精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明提供的大数据的处理设备的第一种结构示意图。

图2是本发明提供的大数据的处理设备的第二种结构示意图。

图3是本发明提供的大数据的处理设备的第三种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

下面通过具体实施例,对本发明进行详细的说明。

依次连接的异构数据同步模块1、数据整合模块2、数据交换模块3、数据管理模块4、时间同步模块5、数据转换及清理模块6、数据抽取和装载模块7和数据精度校验模块8。

进一步的,所述异构数据同步模块1用于获取多源采集的多种属性的数据,并根据时钟同步信号按照相应属性进行存储。

进一步的,所述数据整合模块2分别对各种属性的数据进行数据清洗,排除异常数据。

进一步的,所述数据交换模块3分别对各种属性的数据缺失值进行交换和补充。

进一步的,所述数据转换及清理模块分别对各种属性的数据进行样本数据抽取,去除冗余数据提取精简数据集。

所述异构数据同步模块1用于获取多源采集的多种属性的数据,并根据时钟同步信号按照相应属性进行存储。

所述数据整合模块2分别对各种属性的数据进行数据清洗,排除异常数据。

所述数据交换模块3分别对各种属性的数据缺失值进行交换和补充。

所述数据管理模块4根据属性对数据进行分类管理。

所述时间同步模块5统一对各种属性的数据进行时间校准。

所述数据转换及清理模块6分别对各种属性的数据进行样本数据抽取,去除冗余数据提取精简数据集。

数据精度校验模块8按照预定的预测模型进行数据进行精度校验。

本发明能够通过异构数据同步模块1对异构数据进行同步,数据整合模块2对不同数据进行整合,数据交换模块3对数据进行交互,数据管理模块4和数据转换及清理模块5支持raid创建、cifs,nfs,ftp共享应用的数据存储进行有效转换成统一标准格式存储,并通过数据抽取和装载模块6进行统一格式封装。从而实现对结构化和非结构化数据的统一管理和存储。

本发明实施例提供的实施例,依次连接的异构数据同步模块、数据整合模块、数据交换模块、数据管理模块、时间同步模块、数据转换及清理模块、数据抽取和装载模块和数据精度校验模块大数据的处理设备是结合了当前大数据技术的各种解决方案基础上,形成简洁高效的技术处理手段。适用于中小企业,媒体平台、电商平台,性价比较高,可以满足日常经营所需的数据分析支持,帮助企业更好的获得收益。能够将分散的、不同类型的,不同标准的数据进行有效的除重筛选和整合。本发明能够有效地保证数据质量的同时,提高数据采样速度和处理准确性从而提高了预测精度。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1