一种存储虚拟化系统实现的方法
【专利摘要】本发明公开了一种存储虚拟化系统实现的方法，包括：主服务器、备服务器、块服务器，其中，主服务器：管理节点，主要存储与数据文件相关的元数据；备服务器：主服务器的备份系统，当主服务器一旦出现宕机，备服务器迅速接管主服务器的业务；块服务器：负责具体的存储工作，用来存储数据。通过该方法可以有效的提供传统存储遇到的性能瓶颈，降低用户的采购成本，并消除传统存储解决方案遇到地单点故障问题，提升存储系统的可靠性，以低成本建设一套高性能及高稳定性的存储系统。
【专利说明】一种存储虚拟化系统实现的方法
[0001]
【技术领域】
[0002]本发明涉及存储虚拟化领域，具体涉及存储虚拟化系统实现的方法。
技术背景
[0003]目前互联网上可访问的信息数量迅速增加，互联网公司对存储的需求已经达到EB级，传统的存储解决方案价格高，性能瓶颈大，并且易出现单点故障。毫无疑问，各个大型网站也都存储着海量的数据，这些海量的数据如何有效存储，是每个大型网站的架构师必须要解决的问题。这种存储虚拟化的实现方法可以有效的解决传统存储解决方案产生的问题，不必使用专业的存储系统，使用低价的存储服务器即可实现存储虚拟化系统的建设，并且可以通过副本的设置消除单点故障，保证数据安全。
【发明内容】
[0004]本发明要解决的技术问题是:鉴于以上述所存在的问题，本发明的目的是提供一种存储虚拟化系统实现的方法，通过该方法可以有效的提供传统存储遇到的性能瓶颈，降低用户的采购成本，并消除传统存储解决方案遇到地单点故障问题，提升存储系统的可靠性，以低成本建设一套高性能及高稳定性的存储系统。
[0005]本发明所采用的技术方案为:
一种存储虚拟化实现的方法，包括:主服务器、备服务器、块服务器，其中，
主服务器:管理节点，主要存储与数据文件相关的元数据，元数据包括:命名空间(Name Space),也就是整个文件系统的目录结构，一个能将64位标签映射到数据块的位置及其组成文件的表格，主服务器节点会周期性地接收从每个块服务器节点来的更新("Heart- beat")来让元数据保持最新状态；
备服务器:主服务器的备份系统，当主服务器一旦出现宕机，备服务器迅速接管主服务器的业务；
块服务器:负责具体的存储工作，用来存储数据，存储虚拟化系统将文件按照固定大小进行分块，每一块称为一个数据块，每一个数据块以Block为单位进行划分,大小为64KB,每个数据块有一个唯一的64位标签；存储虚拟化系统采用副本的方式实现容错，每一个数据块有多个存储副本(默 认为三个)。块服务器的个数可有多个。
[0006]所述方法实现步骤如下:
1)准备物理服务器安装操作系统并配置IP；
2)配置主服务器，安装应用程序；
3)配置备份服务器；
4)配置块服务器；
5)测试存储虚拟化系统可用性。[0007]所述服务器的配置过程如下:通过ssh连接至服务器操作系统命令行窗口 执行如下命令开始安装:
chmod +X./ ics-1.1—2011-X X-X X-X X-X X-X X.bin./ ics-1.1—2011-X X-XX-XX-X X-X X.bin
包括安装主服务器、块服务器和客户端三个组件，选择合适组件选择安装即可。
[0008]所述主服务器安装程序如下:
1)空格键选择安装Master和client程序；
2)填写以下信息:
a)L0CAL_ADPT=eth0,使用的网卡名称(所有节点相关)
b)L0CAL_H0ST=...，上述网卡对应的IP地址(所有节点相关) c)MASTER_H0ST=...，配置浮动IP与上述IP位于同一网段，主服务器和所有的备份服务器需要配置相同的浮动IP (所有节点无关)
3)启动存储服务:
/etc/init.d/ics-failover start
/etc/init.d/ics-daemon start
4)初始化存储资源: mkdir - p /mnt/mfs
mfsmount /mnt/mfs - H $ {MASTER_H0ST}注:(本机 IP 地址) mkdir /mnt/mfs/root umount /mnt
[0009]所述块服务器安装程序如下:
1)空格选择安装Chunk程序；
2)填写以下信息:
a)L0CAL_ADPT=eth0,使用的网卡名称(所有节点相关)
b)L0CAL_H0ST=...，上述网卡对应的IP地址(所有节点相关)
c)MASTER_H0ST=...，配置浮动IP与上述IP位于同一网段，主服务器和所有的备份服务器需要配置相同的浮动IP (所有节点无关)
d)EXP0RT_PATH=/mfsdata,配置块服务器的数据目录(只和chunk节点相关)注:以上的配置实际是写在mfs.cfg文件中，文件位于/etc/mfs/mfs.cfg,可以检查是否配置成功。
[0010]3)重启块服务器。
[0011 ] 设置块服务器多路径程序如下:
在任意块服务器上，除了设置/mfsdata为存储路径外，还可以增加别的路径。例如当块服务器增加了一块硬盘，这块盘挂载到/mfsdatal路径下，则直接修改该块服务器上的配置文件/etc/mfs/mfs.cfg即可，在EXP0RT_PATH上多增加一个(注意引号):EXP0RT_PATH=” /mfsdata /mfsdatal ”
[0012]所述测试存储虚拟化系统可用性包括:验证系统服务:
Mfs-failover 服务:
主服务器容错进程，使用浮动IP配置主服务器，运行在主服务器和备份服务器上； Mfs-daemon 服务: 主服务器守护进程，切换主服务器和备份服务器，包含jre (1.6.23) ,tomcat (5.5.31)等，运行在主服务器和备份服务器上；
MFS-chunks 服务:
块服务进程，运行在块服务器上。
[0013]存储全都部署好后，可以通过浏览器输入URL为主服务器的ip加端口号9425来查看存储虚拟化系统的运行工作情况，例如:http://192.168.0.100:9425。
[0014]本发明的有益效果为:
采用本发明方法有效的提高了数据存储的可靠性、可扩展性以及高性能的需求并可为使用者降低存储空间采购成本，保证客户数据存储系统的高性能、高可靠性、低成本。这种方法可让用户迅速搭建完成存储虚拟化系统，并投入到实际生产环境中，并可根据实际存储空间对外进行扩展，以达到客户对数据存储系统迅速上线、高效运行的需求。
【专利附图】
【附图说明】
[0015]图1为本发明存储虚拟化系统网络拓扑图。
【具体实施方式】
[0016]下面参照附图，通过【具体实施方式】对本发明进一步说明:
主服务器:管理节点，主要存储与数据文件相关的元数据，元数据包括:命名空间(Name Space),也就是整个文件系统的目录结构，一个能将64位标签映射到数据块的位置及其组成文件的表格，主服务器节点会周期性地接收从每个块服务器节点来的更新("Heart- beat")来让元数据保持最新状态；
备服务器:主服务器的备份系统，当主服务器一旦出现宕机，备服务器迅速接管主服务器的业务；
块服务器:负责具体的存储工作，用来存储数据，存储虚拟化系统将文件按照固定大小进行分块，每一块称为一个数据块，每一个数据块以Block为单位进行划分,大小为64KB,每个数据块有一个唯一的64位标签；存储虚拟化系统采用副本的方式实现容错，每一个数据块有多个存储副本(默认为三个)。块服务器的个数可有多个。
[0017]所述方法实现步骤如下:
1)准备四台物理服务器安装操作系统并配置IP;
2)配置主服务器，安装应用程序；
3)配置备份服务器；
4)配置块服务器；
5)测试存储虚拟化系统可用性。
[0018]所述服务器的配置过程如下:通过ssh连接至服务器操作系统命令行窗口，执行如下命令开始安装:
chmod +X./ ics-1.1—2011-X X-X X-X X-X X-X X.bin./ ics-1.1—2011-X X-X X-XX-X X-X X.bin
包括安装主服务器、块服务器和客户端三个组件，选择合适组件选择安装即可。
[0019]所述主服务器安装程序如下:1)空格键选择安装Master和client程序；
2)填写以下信息:
a)LOCAL_ADPT=ethO,使用的网卡名称(所有节点相关)
b)LOCAL_HOST=...，上述网卡对应的IP地址(所有节点相关)
c)MASTER_HOST=...，配置浮动IP与上述IP位于同一网段，主服务器和所有的备份服务器需要配置相同的浮动IP (所有节点无关)
3)启动存储服务:
/etc/init.d/ics-failover start
/etc/init.d/ics-daemon start
4)初始化存储资源: mkdir - p /mnt/mfs
mfsmount /mnt/mfs - H $ {MASTER_HOST}注:(本机 IP 地址) mkdir /mnt/mfs/root umount /mnt
[0020]所述块服务器安装程序如下: 1)空格选择安装Chunk程序；
2)填写以下信息:
a)L0CAL_ADPT=eth0,使用的网卡名称(所有节点相关)
b)L0CAL_H0ST=...，上述网卡对应的IP地址(所有节点相关)
c)MASTER_H0ST=...，配置浮动IP与上述IP位于同一网段，主服务器和所有的备份服务器需要配置相同的浮动IP (所有节点无关)
d)EXPORT_PATH=/mfsdata,配置块服务器的数据目录(只和chunk节点相关)注:以上的配置实际是写在mfs.cfg文件中，文件位于/etc/mfs/mfs.cfg,可以检查是否配置成功。
[0021]3)重启块服务器。
[0022]设置块服务器多路径程序如下:
在任意块服务器上，除了设置/mfsdata为存储路径外，还可以增加别的路径。例如当块服务器增加了一块硬盘，这块盘挂载到/mfsdatal路径下，则直接修改该块服务器上的配置文件/etc/mfs/mfs.cfg即可，在EXP0RT_PATH上多增加一个(注意引号):EXP0RT_PATH=” /mfsdata /mfsdatal”
[0023]所述测试存储虚拟化系统可用性包括:验证系统服务:
Mfs-failover 服务:
主服务器容错进程，使用浮动IP配置主服务器，运行在主服务器和备份服务器上； Mfs-daemon 服务:
主服务器守护进程，切换主服务器和备份服务器，包含jre (1.6.23) ,tomcat (5.5.31)等，运行在主服务器和备份服务器上；
MFS-chunks 服务:
块服务进程，运行在块服务器上。
[0024]存储全都部署好后，可以通过浏览器输入URL为主服务器的ip加端口号9425来查看存储虚拟化系统的运行工作情况，例如:http://192.168.0.100:9425。
【权利要求】
1.一种存储虚拟化实现的方法，包括:主服务器、备服务器、块服务器，其特征在于: 主服务器:管理节点，主要存储与数据文件相关的元数据，元数据包括:命名空间，是整个文件系统的目录结构，一个能将64位标签映射到数据块的位置及其组成文件的表格，主服务器节点会周期性地接收从每个块服务器节点来的更新来让元数据保持最新状态； 备服务器:主服务器的备份系统，当主服务器一旦出现宕机，备服务器迅速接管主服务器的业务； 块服务器:负责具体的存储工作，用来存储数据，存储虚拟化系统将文件按照固定大小进行分块，每一块称为一个数据块，每一个数据块以Block为单位进行划分,大小为64KB,每个数据块有一个唯一的64位标签。
2.根据权利要求1所述的一种存储虚拟化实现的方法，其特征在于:所述方法实现步骤如下: 1)准备物理服务器安装操作系统并配置IP; 2)配置主服务器，安装应用程序； 3)配置备份服务器； 4)配置块服务器； 5)测试存储虚拟化系统可用性。
3.根据权利要求2所述的一种存储虚拟化实现的方法，其特征在于，所述服务器的配置过程如下:通过ssh连接至服务器操作系统命令行窗口，执行如下命令开始安装: chmod +X./ ics-1.1—2011-X X-X X-X X-X X-X X.bin./ ics-1.1—2011-X X-XX-XX-X X-X X.bin 包括安装主服务器、块服务器和客户端三个组件，选择合适组件选择安装即可。
4.根据权利要求3所述的一种存储虚拟化实现的方法，其特征在于:所述主服务器安装程序如下: 1)空格键选择安装Master和client程序； 2)填写以下信息: a)LOCAL_ADPT=ethO，使用的网卡名称 b)L0CAL_H0ST=...，上述网卡对应的IP地址 c)MASTER_HOST=...，配置浮动IP与上述IP位于同一网段，主服务器和所有的备份服务器需要配置相同的浮动IP 3)启动存储服务:
/etc/init.d/ics-failover start
/etc/init.d/ics-daemon start 4)初始化存储资源: mkdir - p /mnt/mfs
mfsmount /mnt/mfs -H $ {MASTER_HOST}注:
mkdir /mnt/mfs/root
umount /mnt
o
5.根据权利要求3所述的一种存储虚拟化实现的方法，其特征在于:所述块服务器安装程序如下: 1)空格选择安装Chunk程序； 2)填写以下信息: a)LOCAL_ADPT=ethO，使用的网卡名称 b)LOCAL_HOST=...，上述网卡对应的IP地址 c)MASTER_HOST=...，配置浮动IP与上述IP位于同一网段，主服务器和所有的备份服务器需要配置相同的浮动IP d)EXPORT_PATH=/mfsdata,配置块服务器的数据目录 3)重启块服务器。
6.根据权利要求4或5所述的一种存储虚拟化实现的方法，其特征在于:设置块服务器多路径程序如下: 当块服务器增加了一块硬盘，这块盘挂载到/mfsdatal路径下，直接修改该块服务器上的配置文件/etc/mfs/mfs.cfg，在EXPORT_PATH上多增加一个:
EXPORT_PATH=” /mfsdata /mfsdatal ” 。
7.根据权利要求2所述的一种存储虚拟化实现的方法，其特征在于:所述测试存储虚拟化系统可用性包括验证系统服务: Mfs-failover 服务: 主服务器容错进程，使用浮动IP配置主服务器，运行在主服务器和备份服务器上； Mfs-daemon 服务: 主服务器守护进程，切换主服务器和备份服务器，运行在主服务器和备份服务器上； MFS-chunks 服务: 块服务进程，运行在块服务器上。
8.根据权利要求1所述的一种存储虚拟化实现的方法，其特征在于:所述块服务器为多个。
9.根据以上任一权利要求所述的存储虚拟化系统访问方法，其特征在于:存储全都部署好后，通过浏览器输入URL为主服务器的ip加端口号9425来查看存储虚拟化系统的运行工作情况。
【文档编号】G06F17/30GK103902665SQ201410088599
【公开日】2014年7月2日 申请日期:2014年3月11日 优先权日:2014年3月11日
【发明者】韩啸 申请人:浪潮电子信息产业股份有限公司