一种大数据误删找回处理系统的制作方法

文档序号:15143908发布日期:2018-08-10 20:13阅读:178来源:国知局

本发明涉及电子技术领域,尤其涉及一种大数据误删找回处理系统。



背景技术:

我国大数据发展处于初级阶段,大数据发展远没有形成产业化,大小企业利用各自的资源和优势走自己的大数据发展之路,资源共享、数据互通的情况较少,大企业如bat是根据各自的数据资产、核心产业链和商业模式,在综合业务的基础上延伸发展大数据,大数据业务的发展要服从公司的整体战略,像百度的核心是搜索,阿里的核心是电商,腾讯的核心是社交,它们都不会离开既有的核心竞争力来发展大数据,本质上说,不会为了搭建一个大数据平台而丢弃原来赚钱的买卖,甚至长期亏本。大数据发展的市场化、产业化、社会化还有很长的路要走。

我国大数据行业发展非常迅速,2014年市场规模为4.7亿元,短短两年的市场,到2014年,市场规模增长到了23.2亿元,同比2013年,增长高达107.14%,是2012年市场规模的4.93倍。未来三年,大数据行业有望一直保持100%以上的增长率,2015年上年年市场规模已经超过2014年全年,达到25.71亿元,与2014年同期相比,增长率达到75.6%。

随着大数据和分析在企业应用的深入,对大数据和分析平台的企业级可靠性、稳定性、安全性要求会越来越高;第二,大多数企业级用户都面对着极为复杂的行业应用场景,不同类型和来源的数据需要统一地被利用,特别是新的大数据方案如何与传统的数据仓库无缝集成;第三,大多数企业级客户还处于对大数据和分析的探索初期,他们十分需要拥有行业经验,又有大数据领域相关产品和技术能力的供应商作为合作伙伴。

以全球领导厂商ibm为例,ibm是业界唯一集咨询、服务、软硬件等综合能力于一体的厂商,在全球拥有3万多个大数据和分析应用客户,是大数据和分析领域的绝对领导者。30多笔与分析相关的收购,400多位顶尖数学家,9000多名业务分析顾问,使ibm能够提供业界最完整的企业级大数据和分析解决方案,针对企业级大数据和分析应用的不同场景,全面满足企业级客户对大数据和分析的需求。

地方政府积极推动大数据发展,2013年以来陆续出台了推进计划。总体上看各地大数据发展政策各有侧重,形成了不同的模式。

模式一是强调研发及公共领域应用。如上海市《推进大数据研究与发展三年行动计划》提出,将在三年内选取医疗卫生、食品安全、终身教育、智慧交通、公共安全、科技服务6个有基础的领域,建设大数据公共服务平台。

模式二是强调以大数据引领产业转型升级。如北京中关村《关于加快培育大数据产业集群推动产业转型升级的意见》提出,要充分发挥大数据在工业化与信息化深度融合中的关键作用,推动中关村国家自主创新示范区产业转型升级。

模式三是强调建立大数据基地,吸纳企业落户。如重庆、贵州、陕西、湖北等地都提出建设大数据产业基地的计划,力图将大数据培育成本地的支柱产业。在地方积极推动大数据发展的同时,也应警惕将“大数据”简单等同于“大数据中心”、盲目上马大规模园区建设的潜在过热风险。

随着计算机技术的飞速发展,各行各领域数据的呈几何级快速增长。这些数据来自各方面,从搜集天气情况的感测器、数码图片、在线的视频资料,到网络购物的交易记录、手机的全球定位系统信号等应有尽有。伴随数据规模的急剧膨胀,各行业累积的数据量越来越巨大,数据类型也越来越多、数据结构越来越复杂,已经超越了传统数据管理系统、处理模式的能力范围,传统的串行数据库系统已经难以适应这种飞速增长的应用需求,在生产实践中表现出明显的能力不足,无法满足大数据时代的数据存储需求。

在现有技术中,集中式的数据存储方案的数据处理效率低、容灾能力低,系统恢复时间长;分布式的数据存储方案采用dht方式访问用户数据,以单播方式查找,当发现一个节点失效时,才向另一节点发起查找请求,更新等操作也类似,同样存在数据处理效率低、容灾能力低,并且,实施时需要有繁琐的hash计算和路由查找过程,实现复杂,同时也有可能出现数据不一致的情况。



技术实现要素:

本发明实施例的目的在于提供一种大数据误删找回处理系统,提高数据存储的可靠性,避免数据出现不一致的情况。

为了达到上述目的,本发明实施例提供了一种大数据误删找回处理系统,包括:数据源、数据区分单元数据类编号生成单元、数据存储单元、云数据库、数据恢复单元依次连接;

所述数据区分单元,用于将所述数据源的数据进行区分及分类;

所述数据类编号生成单元,用于将数据区分单元分类好的数据生成数据分类编号;

所述数据存储单元,用于将所述的数据类编号生成单元生成的每一个数据包按着编号依次存入云数据库;

所述数据恢复单元,用于针对接收所述云数据库中每一个数据包的信息,并通过硬盘驱动器hdd的检错机制对恢复后的数据数据包进行错误检测,用于将该机制进行优化从而提高系统的检错效率。

可选的,所述数据类编号生成单元通过编号生成分类文件数据。

可选的,所述数据区分单元,根据预设规则和基准将所述数据源的数据进行区分及分类。

可选的,包括:

数据源,用于根据预定的准则,将所述数据源的数据分类成多个数据类别,并且针对每一个所述类别,通过链接部分数据的所述单元来产生新的划分的文件数据。

可选的,所述数据类编号生成单元,针对所述部分数据的所述单元的每一个而生成数据编号。

可选的,所述数据编号包括在划分所述部分数据的所述单元之前待写入的所述数据中的位置信息以及在划分所述部分数据的所述单元之后生成的所述划分的文件数据中的位置信息。

可选的,将用于检错的测试数据添加到所述数据编号,并且通过链接多个所述数据编号来生成分类文件数据。

可选的,还包括存储单元:所述存储单元,用于针对分类出地文件数据,以及相应生成的每个部分的数据编号,依次有序地存入云数据库中,进行有效存储。

有益效果:

应用本发明提供的一种大数据误删找回处理系统,通过数据区分单元对数据源的数据进行区分并分类,根据分类后的数据生成数据分类编号,并数据数据类编号将每一个数据包存储到云数据库,并针对接收所述云数据库中每一个数据包的信息,并通过硬盘驱动器hdd的检错机制对恢复后的数据数据包进行错误检测,用于将该机制进行优化从而提高系统的检错效率。因此,能够可提高数据存储的可靠性,且在数据被删除又恢复的时候采用hdd的检错机制对恢复后的数据包进行错误监测,避免数据出现不一致的情况。

附图说明

图1是本发明实施例提供的大数据误删找回处理系统的第一种结构示意图。

图2是本发明实施例提供的大数据误删找回处理系统的第二种结构示意图。

图3是本发明实施例提供的大数据误删找回处理系统的第三种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

下面通过具体实施例,对本发明进行详细的说明。

参见图1至图3,一种大数据误删找回处理系统,包括:数据源、数据区分单元数据类编号生成单元、数据存储单元、云数据库、数据恢复单元依次连接;

所述数据区分单元,用于将所述数据源的数据进行区分及分类;

所述数据类编号生成单元,用于将数据区分单元分类好的数据生成数据分类编号;

所述数据存储单元,用于将所述的数据类编号生成单元生成的每一个数据包按着编号依次存入云数据库;

所述数据恢复单元,用于进行错误检测,针对硬盘驱动器hdd的检错机制,用于将该机制进行优化从而提高系统的检错效率。

通过数据区分单元对数据源的数据进行区分并分类,根据分类后的数据生成数据分类编号,并数据数据类编号将每一个数据包存储到云数据库,并针对接收所述云数据库中每一个数据包的信息,并通过硬盘驱动器hdd的检错机制对恢复后的数据数据包进行错误检测,

用于将该机制进行优化从而提高系统的检错效率。因此,能够可提高数据存储的可靠性,且在数据被删除又恢复的时候采用hdd的检错机制对恢复后的数据包进行错误监测,避免数据出现不一致的情况。

可选的,所述数据类编号生成单元通过编号生成分类文件数据。

可选的,包括:数据源,用于根据预定的准则,将所述数据源的数据分类成多个数据类别,并且针对每一个所述类别,通过链接部分数据的所述单元来产生新的划分的文件数据。

可选的,所述数据类编号生成单元,针对所述部分数据的所述单元的每一个而生成数据编号,所述数据编号包括在划分所述部分数据的所述单元之前待写入的所述数据中的位置信息以及在划分所述部分数据的所述单元之后生成的所述划分的文件数据中的位置信息,将用于检错的测试数据添加到所述数据编号,并且通过链接多个所述数据编号来生成分类文件数据。

可选的,还包括存储单元:所述存储单元,用于针对分类出地文件数据,以及相应生成的每个部分的数据编号,依次有序地存入云数据库中,进行有效存储。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1