一种基于公有云实现的数据库可用互备方法与流程

文档序号:14776572发布日期:2018-06-23 03:33阅读:345来源:国知局

本发明属于计算机领域,特别涉及一种基于公有云实现的数据库可用互 备方法。



背景技术:

云计算技术利用高速互联网的传输能力,将计算、存储、软件、服务等 资源从分散的个人计算机或服务器移植到互联网中集中管理的大规模高性能 计算机、个人计算机、虚拟计算机中,从而使用户像使用电力一样使用这些 资源。云计算表述了一种新的计算模式:应用、数据和IT资源以服务的方式 通过网络提供给用户使用。从层次上云计算平台可以分为软件即服务 (SoftwareasaService,SaaS)、平台即服务(PlatformasaService,PaaS)和基础架 构即服务(InfrastructureasaService,IaaS)这三个层次:

从服务对象和范围来讲,云计算平台可以被分为三种:公有云,私有云 和混合云。

2017年3月,在CeBIT2017(汉诺威消费电子、信息及通信博览会)上, 华为与Commvault联合推出了混合云备份方案,该混合云备份方案可以通过 华为公有云的对象存储服务,提供低成本,方便和超大容量的数据存储,以 及高达11个9的数据持久度,提供了多一层的数据容灾能力;同时,该方案 通过传输加密和静态数据加密两种方式,保证企业数据的安全可靠。

公有云面向广域分布的社会大众或中小企业提供的云计算服务。公有云 服务平台一般规模庞大,由地理上分布的多个数据中心共同为用户提供服 务,最常见的公有云服务形式如Amazon(亚马逊公司)的EC2、Google(谷歌公 司)的APP、Apple(苹果公司)的Appstore等。公有云通过按需租用的形式向 社会大众提供服务,从而使个人和中小企业能够以较低的成本建立自己的业 务系统。公有云平台的监管一个较为重大的问题,如EC2中的资源有很多用 于垃圾邮件、黑客攻击等。但是公有云在为社会大众或中小企业降低了成本 的同时,其安全性又是大众所担忧的,因此,亟需一种数据库可用互备方 法。



技术实现要素:

本发明解决的技术问题在于针对当前公有云安全性的问题,提供一种基 于公有云实现的数据库可用互备方法,该方法具有低成本、高效率、高安全 和高可靠性等特点。

本发明解决上述技术问题的技术方案是:设置多个调度服务器来处理用 户请求;用λ表示单位时间内平均到达的用户请求数,用μ表示服务台的 平均服务速率,用ρ表示平均每单位时间中系统可以为顾客服务的比例,即 服务强度,Ws表示顾客在系统中的平均逗留时间,Wq表示顾客排队等待的平 均时间,则:

限定队列的最大的长度值,当队列长度超过限定值时,所有的用户请求 均暂时被拒绝。

按照如下原则进行平台资源分配:

A、从单一虚拟机角度来看,Vi中任意vij所占用的任意一项资源量(如 频率、核心数、磁盘空间、带宽)小于物理机Pi的资源总量;

B、虚拟机集合Vi中所有虚拟机占用的任意资源量之和小于物理机Pi的 资源总量,即D(Vi)<Di,并且M(Vi)<Mi,并且B(Vi)<Bi,并且F(Vi)< Fi,并且C(Vi)<Ci;

前述符号Pi表示云中任一台物理机,Ci表示Pi可供分配的物理核心 数,Fi表示Pi可供分配的CPU核心频率之和,Mi表示Pi可供分配的总物理 内存,Bi表示Pi可供分配的总带宽,Di表示Pi可供分配的总磁盘空间,Vi 表示Pi上运行的虚拟机集合,F(Vi)表示Vi占用的CPU频率之和,C(Vi)表 示Vi占用的CPU核心数之和,M(Vi)表示Vi占用的内存之和,D(Vi)表示Vi 占用的磁盘空间之和,B(Vi)表示Vi分配的带宽之和。

调度服务器首先遍历元数据库中的物理机,根据其当前状态信息找到当 前剩余资源可以满足用户需要的物理机集合;然后按照物理机的使用率对结 果集合进行排序;用户请求的虚拟机将优先被部署在总体使用率较低的物理 机上;使用率包含主频、核心数、内存等各方面;一般情况下以CPU总体使 用率作为物理机使用率的主要指标。

当物理机集合中所有物理机都不能满足请求时,调度平台首先找到使用 率最低的两台物理机,然后尝试备份使用率最低的虚拟机到另外一台物理机 以释放足够的资源来运行新的虚拟机请求;对于找到的物理机,如果一次备 份也无法释放足够的资源,则拒绝用户请求。

本发明通过多调度机调度、备份、互换的方法;可以快速对做出响应, 提升服务效率。

具体实施方式

下面结合实施例对本发明作进一步说明。

本发明中公有云平台主要由三个重要组成部份组成:

云管理中心1:是云对外服务的接口,也是云资源统一管理、监控和调 度的中心。云管理中心接受用户对整个云的资源请求,按需从平台管理的资 源中为用户分配好所需的资源(如虚拟机、存储资源等),并进行初始设置, 然后请资源访问路径返回给用户。

云计算数据库2:由逻辑上可管理的物理计算资源组成,对于云平台而 言,这些物理机将作为虚拟机的宿主机,供平台调度。平台的调度服务器将 根据用户需求,从平台中选择最优的资源以保证虚拟机的运行。一般情况 下,多个云计算数据库以一台代理服务器作为资源与云管理中心的接入点, 以完成对计算资源的监控和调度。

云存储备份数据库3:由逻辑上可管理的物理存储资源组成。对IaaS平 台而言,虚拟机模板、用户虚拟机镜像、快照等全部存储在统一管理的存储 结点上,如NFS、S3、ISCSI等。用户的虚拟机文件在创建时读入具体的物 理机并由虚拟机系统加载,对于平台而言,物理机和虚拟机之间是松耦合 的。这也是公有云平台和私有云平台的最大区别。

本发明中用户向平台申请资源流程如下所示:

1、注册用户登录平台Portal服务器,向平台提出虚拟机资源请求,包含 CPU核心数、主频、内存、硬盘大小等相关参数;

2、Portal服务器将用户请求转发给调度服务器;

3、调度服务器查询元数据库,查找可以满足该虚拟机运行需求的物理服 务器列表;

4、调度服务器从列表中选择优先级最高的一台物理机,把请求转给该物 理机所在区域的代理服务器;

5、调度服务器根据用户请求的虚拟机类型从存储资源中选择虚拟机镜像 模板,把镜像传输请求交给存储资源的代理服务器;

6、用户请求的虚拟机镜像被加载到被调度服务器选中的物理机中。调度 服务器通过代理服务器启动物理服务器上加载成功的虚拟机。如4-6的过程 中出错,调度服务器将选择新的物理机加载虚拟机;

7、用户请求的虚拟机启动后,用户可以通过RDP、VNC、ICA、SSH协 议终端远程访问运行中的虚拟机。

各代理服务器同时具有资源的监控功能,它们定期向云管理中心返回各 云计算资源和存储备份数据库的资源情况,并更新元数据库,从而保证平台 调度的正确性;根据平台的服务流程,我们可以将公有云平台的服务过程抽 象成模型。模型包括三个主要的流程:

1、管理中心的调度平台,从用户请求队列中取出优先级最高的用户请求 R。R首先读取元数据库,根据用户请求的硬件资源判断是否能被当前空闲的 物理机资源满足,如CPU频率、核心数、带宽、存储、硬盘空间等。如果能 满足,则直接转向步骤2;如果不能满足,判断是否可以通过平台虚拟机备 份,释放相关资源;如果可以则在执行备份步骤,转步骤2;如果即使备份 也无法完成,则退出,并报告用户资源无法完成请求。

2、如果资源请求可以满足,调度服务器从存储结点中选择与用户请求对 应的虚拟机模板T(对于新建立的虚拟机)或虚拟机镜像I。

3、调度服务器将I迁入对应的物理机,并创建对应的虚拟机实例V。

根据平台的服务模型,通过各项指标进行量化,来分析云平台的吞吐 率,并对模型进行优化分析。

请求队列

从排队论的观点来看公有云平台的资源请求及调度过程是一个排队及接 受服务的过程,排队系统的输入即用户请求,服务台即调度服务器,输出为 用户请求到的资源。用户请求队列为R={R1,R2,R3,…Rn}。

一般可假设在IaaS公有云平台用户的排队过程中,用户请求到达服从泊 松分布,服务时间服从指数分布。用λ表示单位时间内平均到达的用户请求 数,用μ表示服务台的平均服务速率(服务台的服务能力)。用ρ表示平均每单 位时间中系统可以为顾客服务的比例,即服务强度。Ws表示顾客在系统中的 平均逗留时间(包括排队等待时间和接受服务的时间),Wq表示顾客排队等待 的平均时间,可通过如下公式计算,在单队单服务台的情况下:

从公式(1)、(2)可以看出,提高平台对用户请求的响应时间有两个途径: 一是减少调度服务器接受的请求数;另外一个是提高平台的响应速度。因此 可以设置多个调度服务器来处理用户请求在单队k个服务台的情况下:

多队多服务台可看作是多个单队单服务台,并结合以上公式进行分析。 一般情况下,为了将平台的响应时间控制在用户可以接受的范围内。平台将 限定队列的最大的长度值,当队列长度超过限定值时,所有的用户请求均暂 时被拒绝,因此队列可能的最长响应时间即最长队列的处理时间。

模型量化

设IaaS云计算平台所包含的物理机集合为P,则:P={P1,P2, P3,...Pn},其中n为物理机的数量。设F为物理机的单CPU核心的主频,F ={F1,F2,F3,...Fn};设C为物理机对应的核心数C={C1,C2, C3,...Cn};D为物理机对应的可用磁盘空间D={D1,D2,D3,...Dn};B 为物理机可用的最大带宽B={B1,B2,B3,...Bn};M为物理机可用的最大 内存M={M1,M2,M3,...Mn};则有每台物理机的总频率之和为TF,即 TF={TF1,TF2,TF3,...TFN}={F1×C1,F2×C2,F3×C3,...,Fn×Cn}, 即Fi×Ci。各变量及公式说明如表1所示。

设对应物理机上的虚拟机集合为V={V1,V2,V3,...Vn};其中Vi={vi1, vi2,...,vim},vij为运行在物理机Pi上的某一虚拟机。F(vij)为vij对 应的频率,则物理机上所有虚拟机的频率之和为:

如果符号代表意义如下表:

表1公式说明

c(vij)为vij对应的物理核心数,则物理机上所有虚拟机的物理核心数 之和为

m(vij)为vij对应的可用内存,则物理机上所有虚拟机的内存之和为

d(vij)为vij对应的磁盘空间,则物理机上所有虚拟机的磁盘空间之和 为

b(vij)为vij对应的可用带宽,则物理机上所有虚拟机的带宽之和为

调度原则

对于用户请求,IaaS公有云平台资源分配要遵循以下原则,这也是平台 资源分配的必要条件。

(1)从单一虚拟机角度来看,Vi中任意vij所占用的任意一项资源量(如频 率、核心数、磁盘空间、带宽)小于物理机Pi的资源总量。

(2)虚拟机集合Vi中所有虚拟机占用的任意资源量之和小于物理机Pi的 资源总量,即D(Vi)<Di,并且M(Vi)<Mi,并且B(Vi)<Bi,并且F(Vi)< Fi,并且C(Vi)<Ci。

设用户请求Ri可以被分解为对CPU频率的请求RFi,对CPU核心数的 请求RCi,对内存的请求RMi,对磁盘空间的请求RDi,对带宽的请求 RBi。调度服务器首先遍历元数据库中的物理机,根据其当前状态信息找到当 前剩余资源可以满足用户需要的物理机集合;然后按照物理机的使用率对结 果集合进行排序。用户请求的虚拟机将优先被部署在总体使用率较低的物理 机上。使用率包含主频、核心数、内存等各方面。一般情况下以CPU总体使 用率作为物理机使用率的主要指标。

备份模型

公有云平台可以通过备份物理机上虚拟机以释放资源,来完成当前资源 请求无法到的需求。由于虚拟机的备份会造成虚拟机QoS的下降,并影响相 关物理相上所有的虚拟机(I/O操作相关影响)。因此,平台应尽可能减少虚拟 机的迁移操作,尽可能用一次虚拟机备份操作即可得到可以满足用户请求的 物理机。当物理机集合中所有物理机都不能满足请求时,调度平台首先找到 使用率最低的两台物理机,然后尝试备份使用率最低的虚拟机到另外一台物 理机以释放足够的资源来运行新的虚拟机请求。对于找到的物理机,如果一 次备份也无法释放足够的资源,则拒绝用户请求。

本发明的保护范围不限于上述的实施例,显然,本领域的技术人员可以 对本发明进行各种改动和变形而不脱离本发明的范围和精神。倘若这些改动 和变形属于本发明权利要求及其等同技术的范围,则本发明的意图也包含这 些改动和变形在内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1