专利名称：一种针对超大规模虚拟机集群的存储系统的制作方法
技术领域：
本发明涉及一种存储系统，特别涉及一种适用于云计算中大规模虚拟机集群的针对超大规模虚拟机集群的存储系统。
背景技术：
虚拟化技术在云计算的发展和推广中起着非常重要的作用，虚拟机是虚拟化技术应用于云计算中的典型。虚拟机降低了运营成本、提高了应用兼容性、提高了应用可用性、提升了资源利用率、加快了应用部署速度、降低了能源消耗。随着云计算的不断推广，一个云池中的虚拟机数据在不断增长，有的云池甚至多达万级或十万级的虚拟机台数。尽管目前已经有很多大容量、高可靠、高可扩展的存储系统和方法，但是还没有一种特别针对云计算环境下这种超大规模的虚拟机集群的存储系统和方法，而存储系统的综合性能直接影响着整个虚拟机集群的性能和正常运行。面对这种超大规模的虚拟机集群数据存储和服务性能的应用要求，我们需要一种有系统的、有针对性的解决方案，在存储容量、数据访问性能、 数据传输性能、数据管理、存储扩展等方面做出新的改进，使得整个集群系统的性能和稳定性得到更好保障。在虚拟机技术的发展和应用过程中，虚拟机存储系统和方法经历了三个不同的发展时期最初，虚拟机主要是处在单台物理机这样一个相对封闭的环境中，虚拟机的数据存储、备份、恢复、镜像等等都是在物理机本地磁盘上完成的。目前，这样的方法主要多见于小型的实验或生产环中。随后，随着虚拟机数量的增加，单台虚拟机所需求和产出的数据量的增加，物理机本地的存储系统已经很难满足虚拟机对存储容量和存取速度的需要，更重要的是，一旦物理机本地磁盘出现问题，将会导致整个虚拟机群生产环境的中断，造成损失。因此，在这样的背景下，虚拟机群开始使用如NAS或SAN以及磁盘阵列等外部存储设备来存取数据。虽然这样的系统和方法较好的解决了第一种存储方法所具有的问题，但是长远的看，这种方法也是具有很大的局限性的，尤其是对于万级或者十万级甚至百万级的虚拟机集群而言。目前，人们开始探寻新的针对超大规模虚拟机集群的存储系统和方法。云计算的弹性部署、快速部署和按需使用，要求虚拟机池中的虚拟机集群本身具备弹性部署和快速部署。这要求虚拟机能够快速的部署、快速的启动、快速的恢复以及动态的迁移。在虚拟机集群中，有很多的数据是相同的，但是这些数据在现有系统中是被重复存放的。每台虚拟机的全部数据大概在20-60GB，可以想象，对于万级或者十万级的超大规模虚拟机集群来说，这要占用多么大的存储资源，而事实上，这些数据中有很多是一样的(大约有90%的数据是相同的)。而现有的存储系统和方法还无法很好的解决数据重复存放问题。因此，针对上述问题，特别需要一种针对超大规模虚拟机集群的存储系统，以解决上述现有存在的问题
发明内容
本发明的目的在于提供一种针对超大规模虚拟机集群的存储系统，对现有技术的不足，可以更好的提升虚拟机的性能、稳定性、安全性，时，提升存储资源利用率，节约存储成本。本发明所解决的技术问题可以采用以下技术方案来实现一种针对超大规模虚拟机集群的存储系统，其特征在于，它包括虚拟机集群缓存系统，通过缓存算法将用户最近经常访问的数据存放在快速存储设备中；虚拟机集群镜像存储系统，将虚拟机集群的模板镜像数据和镜像增量数据分开存储； 虚拟机集群I/O监控处理系统，监控每个虚拟机集群管理器中的I/O类型、负载等状态，随后将得到的状态汇总并将监控到的虚拟机子集群I/o特征进行综合处理，根据设 定好的策略从I/o负载过重的虚拟机集群中将部分虚拟机迁往I/O负载轻的虚拟机集群，进而平衡整个虚拟机集群的I/o负载，提升虚拟机集群服务质量；及分布式存储系统，负责存储整个虚拟机集群中的用户数据以及备份数据；所述虚拟机集群缓存系统分别与所述虚拟机集群镜像存储系统、虚拟机集群I/O监控处理系统和分布式存储系统互相连接。在本发明的一个实施例中，所述虚拟机集群缓存系统包括若干集群缓存模块。在本发明的一个实施例中，所述虚拟机集群镜像存储系统包括位于固态硬盘中的虚拟机镜像模板存储模块和虚拟机镜像增量数据存储模块，所述虚拟机镜像模板存储模块和所述虚拟机镜像增量数据存储模块互相连接。在本发明的一个实施例中，所述虚拟机集群I/O监控处理系统包括I状态监控模块和I/o信息处理及虚拟机调度模块，所述I/O状态监控模块与所述I/O信息处理及虚拟机调度模块互相连接。在本发明的一个实施例中，所述分布式存储系统包括用户数据模块、镜像增量数据备份模块和镜像模板数据备份模块。本发明的针对超大规模虚拟机集群的存储系统，与现有技术相比，具有较广的云计算虚拟机存储范围，增强虚拟机存储的存取性能和系统稳定性，使云计算提供商能够更快的进行部署，进行按需服务，通过合理的结合共享存储和独享存储方式，其存储架构和存储方式将被动式存储转变为主动式存储，提高了服务质量，节约了资源和能源，实现本发明的目的。本发明的特点可参阅本案图式及以下较好实施方式的详细说明而获得清楚地了解。
图I为本发明的针对超大规模虚拟机集群的存储系统的结构示意图；图2为本发明的虚拟机集群缓存系统的结构示意图；图3为本发明的虚拟机集群镜像存储系统的结构示意图；图4为本发明的虚拟机集群I/O监控处理模块的结构示意图；图5为本发明的分布式存储系统的结构示意图6为本发明的针对超大规模虚拟机集群的存储系统的流程示意图。
具体实施例方式为了使本发明实现的技术手段、创作特征、达成目的与功效易于明了解，下面结合具体图示，进一步阐述本发明。如图I所示，本发明的针对超大规模虚拟机集群的存储系统，它包括虚拟机集群缓存系统100，通过缓存算法将用户最近经常访问的数据存放在快速存储设备中；虚拟机集群镜像存储系统200，将虚拟机集群的模板镜像数据和镜像增量数据分开存储；虚拟机集群I/O监控处理系统300，监控每个虚拟机集群管理器中的I/O类型、负 载等状态，随后将得到的状态汇总并将监控到的虚拟机子集群I/o特征进行综合处理，根据设定好的策略从I/o负载过重的虚拟机集群中将部分虚拟机迁往I/O负载轻的虚拟机集群，进而平衡整个虚拟机集群的I/o负载，提升虚拟机集群服务质量；及分布式存储系统400，负责存储整个虚拟机集群中的用户数据以及备份数据；所述虚拟机集群缓存系统100分别与所述虚拟机集群镜像存储系统200、虚拟机集群I/o监控处理系统300和分布式存储系统400互相连接。在本发明中，所述虚拟机集群缓存系统100包括若干集群缓存模块110。在本发明中，所述虚拟机集群镜像存储系统200包括位于固态硬盘中的虚拟机镜像模板存储模块210和虚拟机镜像增量数据存储模块220，所述虚拟机镜像模板存储模块210和所述虚拟机镜像增量数据存储模块220互相连接。在本发明中，所述虚拟机集群I/O监控处理系统300包括I/O状态监控模块310和I/o信息处理及虚拟机调度模块320，所述I/O状态监控模块310与所述I/O信息处理及虚拟机调度模块320互相连接。在本发明中，所述分布式存储系统400包括用户数据模块410、镜像量数据备份模块420和镜像模板数据备份模块430。如图2所示，所述虚拟机集群缓存系统100中，一级缓存根据缓存算法以及基于机器学习的预测算法，负责将用户最近以及不久要访问的数据存储在高速存储设备中，以供用户快速访问。具有扩展元数据的海量分布式存储负责存放大数据或者用户最近不会用到的数据。如图3所示，所述虚拟机集群镜像存储系统200包括位于固态硬盘中的虚拟机镜像模板存储模块210和虚拟机镜像增量数据存储模块220 ;其中，虚拟机镜像模板存储模块210为所有虚拟机子集群共享，虚拟机镜像增量数据存储模块220为每个虚拟机子集群共享，位于本地存储设备中。虚拟机镜像模板存储模块210负责存放不同类型操作系统和相同类型不同配置参数的操作系统文件，为了节省存储资源，所有虚拟机子集群共享该模块，同时，为了增加虚拟机启动和初始化速度，和防止启动风暴，同时考虑到固态硬盘读速度快、写次数有限读次数不限等特点，采用了固态硬盘来存储。虚拟机镜像增量数据存储模块220负责存储用户在对模板镜像进行配置后的增量数据，考虑到虚拟机迁移速度问题，以及增量数据数据量不大等特点，采用了本地存储来存储模板增量数据。如图4所示，虚拟机集群I/O监控处理系统300包括I/O状态监控模块310和I/O信息处理及虚拟机调度模块320 ；1/0状态监控模块310从虚拟机监视器中获得每个虚拟机的I/o特征，并以虚拟机子集群为单元，将捕获的数据提交给I/O信息处理及虚拟机调度模块320，判断是否需要调度虚拟机以平衡虚拟机子集群的I/O负载，以此提升虚拟机服务质量。I/O状态监控模块310位于虚拟机子集群管理监视器中，负责从位于拟机管理监视器中的I/o中捕获虚拟机I/O特征。I/O信息处理及虚拟机度模块320负责接收每个虚拟机子集群中的I/O状态监控子模块提交的虚拟机I/O特征，将接收的信息进行综合处理，并跟进预先定好的策略，结合CPU、内存使用情况，对需要调度的虚拟机进行迁移，减轻I/O压力过大的虚拟机子集群。 如图5所示，分布式存储系统400包括用户数据模块410、镜像增量数据备份模块420和镜像模板数据备份模块430。扩展元数据服务器存放的是上层文件的扩展后的元数据，对存储服务器中存放的数据赋予了更多实际意义，使得对数据的其它如归档、重复数据删除等操作变得更为高效。同时，采用分布式存储系统，使得存储容量更大、可靠性更高、可扩展性更强。通过光纤通道(FibreChannel, FC)、因特网小型计算机系统接口(Internet Small ComputerSystemlnterface, ISCSI )、以太网光纤通道(Fibre Channel over Ethernet, FCOE)以及网络文件系统或者通用网络文件系统提供扩展元数据接口。如图6所示，为本发明的针对超大规模虚拟机集群的存储系统的流程。以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，本发明要求保护范围由所附的权利要求书及其等效物界定。
权利要求
1.一种针对超大规模虚拟机集群的存储系统，其特征在于，它包括 虚拟机集群缓存系统，通过缓存算法将用户最近经常访问的数据存放在快速存储设备中；虚拟机集群镜像存储系统，将虚拟机集群的模板镜像数据和镜像增量数据分开存储；虚拟机集群I/o监控处理系统，监控每个虚拟机集群管理器中的I/O类型、负载等状态，随后将得到的状态汇总并将监控到的虚拟机子集群I/o特征进行综合处理，根据设定好的策略从I/o负载过重的虚拟机集群中将部分虚拟机迁往I/O负载轻的虚拟机集群，进而平衡整个虚拟机集群的I/o负载，提升虚拟机集群服务质量；及 分布式存储系统，负责存储整个虚拟机集群中的用户数据以及备份数据； 所述虚拟机集群缓存系统分别与所述虚拟机集群镜像存储系统、虚拟机集群I/o监控处理系统和分布式存储系统互相连接。
2.如权利要求I所述的针对超大规模虚拟机集群的存储系统，其特征在于，所述虚拟机集群缓存系统包括若干集群缓存模块。
3.如权利要求I所述的针对超大规模虚拟机集群的存储系统，其特征在于，所述虚拟机集群镜像存储系统包括位于固态硬盘中的虚拟机镜像模板存储模块和虚拟机镜像增量数据存储模块，所述虚拟机镜像模板存储模块和所述虚拟机镜像增量数据存储模块互相连接。
4.如权利要求I所述的针对超大规模虚拟机集群的存储系统，其特征在于，所述虚拟机集群I/O监控处理系统包括I/O状态监控模块和I/O信处理及虚拟机调度模块，所述I/O状态监控模块与所述I/O信息处理及虚机调度模块互相连接。
5.如权利要求I所述的针对超大规模虚拟机集群的存储系统，其特征在于，所述分布式存储系统包括用户数据模块、镜像增量数据备份模块和镜像模板数据备份模块。
全文摘要
本发明的目的在于公开一种针对超大规模虚拟机集群的存储系统，它包括虚拟机集群缓存系统、虚拟机集群镜像存储系统、虚拟机集群I/O监控处理系统及分布式存储系统；与现有技术相比，具有较广的云计算虚拟机存储范围，增强虚拟机存储的存取性能和系统稳定性，使云计算提供商能够更快的进行部署，进行按需服务，通过合理的结合共享存储和独享存储方式，其存储架构和存储方式将被动式存储转变为主动式存储，提高了服务质量，节约了资源和能源，实现本发明的目的。
文档编号G06F3/06GK102841759SQ20121014389
公开日2012年12月26日 申请日期2012年5月10日 优先权日2012年5月10日
发明者刘晓军, 谌伟, 李阳 申请人:天津兆民云计算科技有限公司