一种大数据挖掘分布式存储系统的制作方法
【专利摘要】本实用新型涉及一种存储系统，属于大数据挖掘设备领域，具体涉及一种大数据挖掘分布式存储系统。包括：客户端，以及与客户端相连的数据中心；数据中心为两个，每个数据中心包括：服务器，以及通过网络与服务器相连的光纤交换机，其中，每个光纤交换机与多个磁盘存储阵列相连，并且每两个磁盘存储阵列构成一个HA双机集群系统；并且，第一个数据中心的光纤交换机通过波分链路与第二个数据中心的光纤交换机相连。因此，本实用新型具有如下优点：1.设计合理，结构简单，成本低且完全实用；2.管理简单，存储资源利用效率高，数据安全；3.部署容易，借助云储存管理平台的TPM技术，云存储管理平台的接入在线进行，无需停机。
【专利说明】
一种大数据挖掘分布式存储系统
技术领域
[0001]本实用新型涉及一种存储系统，属于大数据挖掘设备领域，具体涉及一种大数据挖掘分布式存储系统。【背景技术】
[0002]近年来，由于信息技术的发展，科学计算和商业计算等众多应用领域会产生了规模相当巨大的数据，并且数据量仍在快速增加，呈海量形式发展。大数据在生活中无处不在，大数据不仅仅是数据的“大量化”，而是包含“快速化”、“多样化”和“价值化”等多重属性。预计到2020年，全球电子设备存储的数据将暴增至35ZB。每秒钟，人们会发送290万封电子邮件;每分钟，人们会向Youtube上传60个小时的视频;每一天，人们会在Twitter上发1.9 亿条微博消息以及在Fzcebook发出40亿条信息。面对海量的数据，大数据存储与处理面临巨大的挑战，包括如何弹性地应对数据和负载的动态变化、如何有效存储和海量的数据以及支持大数据上的智能分析和事务处理。
[0003]在科学计算方面，如物理学、天文学、生物学等领域都会产生规模庞大的数据，而且每年的数据规模达到若干PB。而在商业计算方面，Web搜索、社会网络等需要处理的数据规模也非常庞大，例如，Google和Facebook等应用产生的数据达到PB甚至EB级。
[0004]按照摩尔定律，处理器的速度每18个月就会翻一番，光纤技术的发展也大大加快了数据在网络上的传输速度。但是，数据存取受限于存储介质的机械运动，使得数据存取成为制约信息技术发展的主要瓶颈.面对数据存储的急剧膨胀，企业需要不断购置大量的存储设备来应对不断增长的存储需求。
[0005]但是，现有技术中的大数据挖掘设备不仅存储设备的采购预算越来越高，大多数企业难以承受如此巨大的开支，并且大量的异构物理存储资源大大增加了存储管理的复杂性，容易造成存储资源浪费和利用效率不高，此外，现有技术中的大数据存储的安全性较低。【实用新型内容】
[0006]本实用新型主要是解决现有技术所存在的大数据挖掘设备成本高，管理复杂，存储资源浪费，利用效率不高，数据存储安全性较低的技术问题，提供了一种大数据挖掘分布式存储系统。该大数据挖掘分布式存储系统设计合理，结构简单，成本低且完全实用，并且， 管理简单，存储资源利用效率高，数据安全;此外，部署容易，借助云储存管理平台的TPM技术，云存储管理平台的接入在线进行，无需停机。
[0007]本实用新型的上述技术问题主要是通过下述技术方案得以解决的:
[0008]—种大数据挖掘分布式存储系统，包括:客户端，以及与客户端相连的数据中心；
[0009]所述数据中心为两个，每个数据中心包括:服务器，以及通过网络与服务器相连的光纤交换机，其中，每个光纤交换机与多个磁盘存储阵列相连，并且每两个磁盘存储阵列构成一个HA双机集群系统；
[0010]并且，第一个数据中心的光纤交换机通过波分链路与第二个数据中心的光纤交换机相连。
[0011]优化的，上述的一种大数据挖掘分布式存储系统，还包括用于整合不同存储系统并向外提供统一存储操作接口的虚拟化存储网关，并且每个光纤交换机与两个虚拟化存储网关相连，每两个虚拟化存储网关之间构成一个HA双机集群系统。
[0012]优化的，上述的一种大数据挖掘分布式存储系统，所述服务器包括用于进行数据交换的物理服务器，以及用于提供存储服务接口的虚拟服务器。
[0013]优化的，上述的一种大数据挖掘分布式存储系统，所述磁盘存储阵列包括:用于存储采集的流媒体资源的流媒体采集资源池、用于存储对流媒体采集资源池中存储的数据进行图像压缩和分片结果的流媒体分片压缩池，用于存储对流媒体分片压缩池中的数据进行分析得到的结果的流媒体分析结果池。
[0014]因此，本实用新型具有如下优点:1.设计合理，结构简单，成本低且完全实用；2.管理简单，存储资源利用效率高，数据安全;3.部署容易，借助云储存管理平台的TPM技术，云存储管理平台的接入在线进行，无需停机。【附图说明】[0〇15]图1为本实用新型的结构不意图。【具体实施方式】
[0016]下面通过实施例，并结合附图，对本实用新型的技术方案作进一步具体的说明。 [〇〇17] 实施例:
[0018]如图1所示，一种大数据挖掘分布式存储系统，包括:客户端，以及与客户端相连的数据中心；
[0019]数据中心为两个，每个数据中心包括:服务器，以及通过网络与服务器相连的光纤交换机，其中，每个光纤交换机与多个磁盘存储阵列相连，并且每两个磁盘存储阵列构成一个HA双机集群系统；
[0020]并且，第一个数据中心的光纤交换机通过波分链路与第二个数据中心的光纤交换机相连。
[0021]还包括用于整合不同存储系统并向外提供统一存储操作接口的虚拟化存储网关， 并且每个光纤交换机与两个虚拟化存储网关相连，每两个虚拟化存储网关之间构成一个HA 双机集群系统。服务器包括用于进行数据交换的物理服务器，以及用于提供存储服务接口的虚拟服务器。
[0022]本实施例的磁盘存储阵列包括:用于存储采集的流媒体资源的流媒体采集资源池、用于存储对流媒体采集资源池中存储的数据进行图像压缩和分片结果的流媒体分片压缩池，用于存储对流媒体分片压缩池中的数据进行分析得到的结果的流媒体分析结果池。 [〇〇23]本实施例采用两个数据中心构成了双活数据中心结构。两个数据中心共享存储、 网络以及服务器资源，两个数据中心同时对外提供服务，整个系统具有业务负载均衡、自动故障切换、业务接管等功能。
[0024]双活数据中心作为整个系统的核心基础架构平台，主要解决以下两个核心问题。一是如何在两个数据中心间实现数据实时同步，从而保证异常情况下，零数据丢失(RP〇 = 0)。二是如何实现存储资源的虚拟化，提供可同时被两个数据中心主机访问的存储共享卷， 从而实现主机应用集群的跨站点部署，保证异常情况下，应用的自动切换(RTO?0)。[〇〇25]此方案中，云存储管理平台在线接管现有磁盘阵列，进行虚拟化集中管理，借助云储存管理平台的TPM技术，云存储管理平台的接入在线进行，无需停机。云储存管理平台接管现有存储后不改变以后数据内容和格式，继续使用。这一功能极大的简化了方案部署。
[0026]本文中所描述的具体实施例仅仅是对本实用新型精神作举例说明。本实用新型所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本实用新型的精神或者超越所附权利要求书所定义的范围。
【主权项】
1.一种大数据挖掘分布式存储系统，其特征在于，包括:客户端，以及与客户端相连的数据中心； 所述数据中心为两个，每个数据中心包括:服务器，以及通过网络与服务器相连的光纤交换机，其中，每个光纤交换机与多个磁盘存储阵列相连，并且每两个磁盘存储阵列构成一个HA双机集群系统； 并且，第一个数据中心的光纤交换机通过波分链路与第二个数据中心的光纤交换机相连。2.根据权利要求1所述的一种大数据挖掘分布式存储系统，其特征在于，所述服务器包括用于进行数据交换的物理服务器，以及用于提供存储服务接口的虚拟服务器。
【文档编号】H04L29/08GK205610685SQ201620157029
【公开日】2016年9月28日
【申请日】2016年3月2日
【发明人】孙刘欣
【申请人】湖北邮电规划设计有限公司