分布式内存磁盘群集储存系统运作方法_2

文档序号:9546858阅读:来源:国知局
S-DFS, GPFS、Lustre、NCP、NFS、POHMELFS、Hadoop、HAMMER、SMB (CIFS)、cramfs、FUSE、SquashFS、UMSDOS、Un1nFS、configfs、devfs、procfs、specfs、sysfs、tmpfs、WinFS、EncFS、EFS、ZFS、RAW、ASM、LVM、SFS、MPFS 或 MGFS。
[0028]本发明的有益效果可以总结如下:本发明之分布式内存磁盘群集储存系统运作方法于设计上系透过本发明所提出之系统架构方法之下,我们采用分布式内存储存系统,能够满足四种需求的扩充,即网路带宽传输的扩充、磁盘容量的扩充、10PS速度的扩充、内存I/o传输速度增加的扩充。同时能够做到满足跨区域、资料中心、WAN的使用,让用户需求能够在当地的群集内存磁盘(Memory Disk Cluster)集中提供服务、也能够渐进式的扩充群集内存磁盘容量,进一步提供跨区域或跨国的资料服务。
[0029]在随着储存器的增加,每增加一台服务器就累加一台机器的网路带宽与磁盘容量,当形成一个资源池(Resource Pool)时,这分散内存式储存设备单元就像一颗实体硬盘,其中一台实体主机故障时不会影响整体运作,复本中区块内存磁盘会重新复制资料到新的区块内存磁盘,维持一定资料备份基础,同时也采取连续资料复制(Continuous DataProtector, CDP)为企业资料的备份和回复提供创新技术,以破除磁带备份经常失败,一天只能备份一次问题。
[0030]也让复本产生资料能够由不同区块内存磁盘送出达到多对一传输资料,当用户数量增加,只要增加区块内存磁盘数量,能够达到多对多的传输,让RAID的多数硬盘崩溃造成整体资料遗失的缺点,储存器网路界面数量与速度的限制造成用户过多的资料拥挤造成的延迟,LUN扩充数量的问题,资料中心无法跨区使用的问题,因为采用内存式磁盘方式,每个档案或是每个虚拟机都能够用档案形式存在于内存,直接使用内存汇流排最高的1/0高速度,资料在CPU与内存中搬迁移动,1/0次数、距离、速度都是最高的,综观上述优势,是为习知技术所不能及者,故可見其增益性所在。
[0031]而为了让上述目的、技术特征以及实际实施后之增益性更为明显易懂,于下文中将系以较佳之实施范例辅佐对应相关之图式来进行更详细之说明。
【附图说明】
[0032]图1为本发明之分布式内存磁盘群集储存系统运作方法之实施示意图。
图2也为本发明之分布式内存磁盘群集储存系统运作方法之实施示意图。
其中,群集架构(1),分散内存式储存设备单元(1A),计算机单元(10),第一资料中心
(101),群集资料主控站(1011),第二资料中心(102),群集资料备份站(1021),备份中心
(103),区块内存磁盘(11),硬盘储存装置(12),网路卡(13),连接埠群组现用链(20),分布式内存文件系统(40)。
【具体实施方式】
[0033]为利贵审查员了解本发明之发明特征、内容与优点及其所能达成之功效,兹将本发明配合附图,并以实施例之表达形式详细说明如下,而其中所使用之图式,其主旨仅为示意及辅助说明书之用,未必为本发明实施后之真实比例与精准配置,故不应就所附之图式的比例与配置关系解读、局限本发明于实际实施上的权利范围。
[0034]本发明之优点、特征以及达到之技术方法将参照例示性实施例及所附图式进行更详细地描述而更容易理解,且本发明或可以不同形式来实现,故不应被理解仅限于此处所陈述的实施例,相反地,对所属技术领域具有通常知识者而言,所提供的实施例将使本揭露更加透彻与全面且完整地传达本发明的范畴,且本发明将仅为所附加的申请专利范围所定义。
[0035]而除非另外定义,所有使用于后文的术语(包含科技及科学术语)与专有名词,于实质上系与本发明所属该领域的技术人士一般所理解之意思相同,而例如于一般所使用的字典所定义的那些术语应被理解为具有与相关领域的内容一致的意思,且除非明显地定义于后文,将不以过度理想化或过度正式的意思理解,合先叙明。
[0036]请配合参看图1所示,本发明提出一种分布式内存磁盘群集储存系统运作方法,其中该分布式内存磁盘群集储存系统运作方法于一较佳之实施方式可为:
[0037]首先做分散内存式储存设备之建置,其系包含将复数台的计算机单元(10)组成群集架构(1)而形成群集内存磁盘;而其中该计算机单元(10)系俱备了 CPU、内存、硬盘、网路卡、主板、I/O适配卡、连接线、外壳之计算器设备。
[0038]主要在计算机单元(10)安装系统虚拟机平台操作系统,藉此安装令计算机单元
(10)形成多个虚拟机,而该计算机单元(10)设定所须要使用机器内存资源容量,系利用操作系统来设定内存容量占用之方式,或者是利用程序软件将该内存规划成硬盘装置,做成一个区块内存磁盘(chunk memory disk) (11),这便如同硬盘的磁道一般。
[0039]进而得以将一个档案拆成一到多份的资料,档案大小或可为64MB以上,保持一到多份的复本复制平均分散在所有区块内存磁盘(11)上,故资料实际存放在内存模块里,并使用多信道的内存汇流排平行存取内存模块,而将内存模块之容量规划成磁盘使用,而其中该内存模块之存取支持所有操作系统文件格式,并且采用分布式存放架构,将资料可以复制复本一份以上,藉此方式,即使机器损毁与资料中心损毁,资料中心依然可以运作。
[0040]每份复本资料都可以采用1-4096位AES与RSA混用加密资料存放在内存上,每当要存取资料时,资料在内存与CPU之间流动,所耗费的I/O存取次数与距离是最少的,虚拟机系以档案形式存在于内存模块中,虚拟内存所规划使用的内存容量也在同一区块。
[0041]当虚拟机之操作系统在内存模块中直接由CPU存取需要的档案,处理资料后存回内存模块中,虚拟机做计算使用的内存也在内存模块中,计算完依然直接存回在所存放虚拟机操作系统的内存模块位置,相对依照存取路径的减少与使用最快的I/o速度,让这个储存系统大部分资料可以在计算机单元(10)中以平行运算的方式在区块内存磁盘(11)处理资料,其他没有在计算机单元(10)的资料才透过网路卡(13)连接一连接埠群组现用链
(20)以存取其他计算机单元(10)的区块内存磁盘(11)。
[0042]其中,虚拟机平台操作系统,可以采用VMware vSphere ESXi4.1之后的版本、Microsoft Server2012R2Hype;r-V之后的版本、Citrix XenServer Oracle VM、0eacle VM、RedHat KVM、Linux-Base KVM ;而虚拟机操作系统,可以采用可以采用Linux (Linux2.6.14andup have FUSE support included in the official kernel) >FreeBSD>0penSolari s、Mac0S X。
[0043]再者,各该区块内存磁盘(11)更可能透过一监控单元来做其运作情况之监控,该侦测单元或可利用Splunk或者是其他搜索引擎之软件程序来监控之,当检测到问题时更可以配置重新启动应用程序服务,达到一回复之功能,而这类型之程序为习知技术,故不在此部份进一步的多加赘述。
[0044]而各计算机单元(10)进一步依功能性又可区分为一第一资料中心(101)、至少一个第二资料中心(102)及一备份中心(103);其中该第一资料中心(101)系以一虚拟群集资料主控站(1011)控管,其中各该第二资料中心(102)系以一虚拟群集资料备份站(1021)控管,且其中该备份中心(103)系以虚拟群集资料备份站(1021)控管,而其中该第一资料中心(101)与该第二资料中心(102)共同形成一分布式内存文件系统(40)。
[0045]而请进一步配合参看图2所示,其中更进一步是为形成堆栈架构扩展储存容量架构,其使用网路层接口的存取方式将一台计算机单元(10)中多个区块内存磁盘(11)规划成一个群集概念的群集内存磁盘单元资源池,其运作原理如同计算机的汇流排使用方式。
[0046]当采用多台计算机单元(10)中64位之区块内存磁盘(11),就如同64位的CPU汇流排形式使用,同步使用所有区块内存磁盘(11)取得资料,而当向上扩展区块内存磁盘
(11)数量时,如同将64位的CPU汇流排提升至128位或256位,其存取的速度以累加的方式提升,故其中内存磁盘容量也会因为区块内存磁盘(11)增加,磁盘容量上限也可以增力口,并且提升资料存取速度与资料的可靠度,使用者可以依照需求渐进式增加。
[0047]当群集架构(1)产生,每一个群集架构都可以独立使用,并且可以将每一个群集架构(1)当作分散内存式储存设备单兀(DMDCS Distributed Memory Disk ClusterStorage) (1A),同时使用网路层接口堆栈,可以将每个分散内存式储存设备单元(1A)仿真成大型的内存磁盘(chunk memory disk),采用新的群集资料主控站(1011)与群集资料备份站(1021)来控制资料的处理量分散在所有大型的内存磁盘(chunk memory disk)。
[0048]这便如同平行运算使用每一台主机的资源,将资料分成区块送到每一台机器运算,最后再组合成一个结果。
[0049]其中一个区块内存磁盘(11)或是其中一个分散内存式储存设备单元(1A)失效,都不会影响整个磁盘的使用或使整个磁盘崩溃。
[0050]此外,当一个一台计算机单元(10)中的内存单元故障,该服务器计算机单元会将损坏的内存标示故障,并且不再使用该DIMM内存中的区块内存1C,当更换内存后,才会恢复该资源之使用。
[0051]而其中虚拟机之内存间系使用存储区域网路(Storage Area Network, SAN)架构运行,采取软件虚拟出来的网路层接口,将所有的区块内存磁盘连接在一起协同运作;而该网路层接口,系使用 SAN、SAN i SCS1、SAN FC、SAN FCoE、NFS、NAS、JB0D、CIFS、FUSE 接口进行服务器和磁盘驱动器设备之间的通信,并且开发有RAMST0RAGE □ API作为应用程序支持用。
[0052]又其中,该RAMST0RAGE □ API 系采用 REST、Restfu 1、C++、PHP、Python、Java、Per 1、Javascript与其他程序开发软件所形成的RAMST0RAGE API,存取分散内存式储存设备单元(DMDCS Distributed Memory Disk Cluster Storage)
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1