一种基于云存储的集群存储及均衡传输系统的制作方法

文档序号:15980555发布日期:2018-11-17 00:16阅读:253来源:国知局

本发明涉及云存储领域,尤其涉及一种基于云存储的集群存储及均衡传输系统。

背景技术

云存储以其灵活、简便、高可用性等特点,正在被越来越多的企业采用。伴随着云存储的普及,云存储管理成为目前存储领域不可或缺的技术。云存储管理是一类应用程序,它们监控和管理物理及逻辑层上的存储资源。

目前实现云存储的方式通常是在服务器集群中配置储存服务器,并且随着云存储量的不断攀升,需要对储存服务器的储量进行扩充,来满足储存要求。这给容易导致需要配置一定数量的储存服务器来扩充储存量,这样为用户带来较大的配置成本。

目前现有技术中有的储存服务器采用虚拟储存来扩充储存量,通过虚拟储存量和物理储存量共同实现对云存储的扩充,但是这种方式虚拟储存量和物理储存量的网络配合需要基于当前云存储的储存量来配置虚拟储存的储存量,如何配置合适的虚拟储存量来配合物理储存量实现储存量的扩充是当前丞待解决的问题。而且在服务器集群中,配置了多个储存服务器及相应的虚拟储存后,集群服务器在与各个储存服务器进行数据通信时,如何实现均衡传输数据信息,保证数据传输的速度和均衡,防止集群数据堵塞也是在配置合适的虚拟储存量后需要解决的技术问题。



技术实现要素:

为了克服上述现有技术中的不足,本发明提供一种基于云存储的集群存储及均衡传输系统,包括:集群服务器以及多个储存服务器;

储存服务器配置有虚拟储存管理模块;

虚拟储存管理模块用于根据集群服务器发送的虚拟储存量配置指令,配置预设储存量的虚拟储存器;还用于划分虚拟储存器的储存区域,将虚拟储存器的储存区域划分成本地存储区域和集群储存区域;配置本地存储区域的储存量;配置集群储存区域的储存量;

集群服务器分别与每个储存服务器分别与通信连接;

集群服务器与储存服务器之间配置有至少两条通信通道;

集群服务器用于配置每个储存服务器的地址信息,还获取每个储存服务器的储存量,储存服务器的虚拟储存器的总储存量,本地存储区域储存量和集群储存区域储存量,并将储存服务器排列成一序列表;

集群服务器将每个储存服务器的集群储存区域的储存量配置为集群储存量。

优选地,集群服务器还用于向储存服务器发出数据储存任务,并判断发送的数据储存任务是否为首次;

当为首次时,获取集群服务器与储存服务器之间每条通信通道的带宽以及获取本次传输数据信息的数据总量;

通过(该通信通道带宽÷所有通信通道的带宽总和)×数据总量,得出每条通信通道的数据传输量,并基于每条通信通道的数据传输量传输数据信息。

优选地,集群服务器与储存服务器之间配置有两条通信通道;

集群服务器还用于当为非首次时,当两条通信通道传输带宽不等时,按照下述方式配置每条通道的传输数据量:

第一通信通道优先完成任务,耗时ta_1

第一通信通道a的任务速率和第二通信通道b的任务速率分别通过集群服务器监测得到,sa_1和sb_1;

第一通信通道a相比第二通信通道b先完成任务,ta_1时刻时的任务公式:

ka_1=ta_1×sa_1;

第二通信通道b在ta_1时刻并未完成数据传输,且差了hb_1数据量,第二通信通道b的任务公式:kb_1=ta_1×sb_1+hb_1;

第一通信通道a根据上次任务得出的下次任务占比为xa-2={ka_1+[sa_1÷(sa_1+sb_1)]×hb_1},第二通信通道b据上次任务经验得出的的下次任务占比为xb_2={(kb_1-hb_1)+[sb_1÷(sa_1+sb_1)]×hb_1};

第一通信通道a下次任务分配公式:

ka_2=[ka_1÷(ka_1+kb_1)+xa_2÷(xa_2+xb_2)]÷2

以此类推第一路径a的第n次任务分配公式:

ka_n=[ka_1÷(ka_1+kb_1)+ka_2÷(ka_2+kb_2)+…+xa_n÷(xa_n+xb_n)]÷n。

优选地,集群服务器还用于当为非首次时,当两条通信通道传输带宽相等时,获取集群服务器与储存服务器之间每条通信通道的带宽以及获取本次传输数据信息的数据总量;

通过(该通信通道带宽÷所有通信通道的带宽总和)×数据总量,得出每条通信通道的数据传输量,并基于每条通信通道的数据传输量传输数据信息。

优选地,集群服务器还用于实时监测各个储存服务器的已用储存量,当某一储存服务器的已用储存量超出储存量阈值时,集群服务器向所述储存服务器的虚拟储存管理发出虚拟储存量配置指令,使所述虚拟储存管理模块配置集群服务器发出预设数量的虚拟储存器,配置虚拟储存器的储存量,对虚拟储存器进行地址编码,还实时获取虚拟储存器的当前储存量以及储存服务器空余储存量。

优选地,集群服务器还用于实时监测集群储存量,当已用集群储存量超过阈值时,获取每个储存服务器的本地存储区域可用储存量;

当某一储存服务器的本地存储区域可用储存量高于预设本地储存阈值时,集群服务器向所述储存服务器的虚拟储存管理模块发送集群存储区域扩充控制指令,使所述虚拟储存管理模块对将虚拟储存器的本地存储区域可用储存量转为集群储存区域。

优选地,集群服务器还用于实时监测集群储存量,当已用集群储存量超过阈值时,获取每个储存服务器的可用储存量,当某一储存服务器可用储存量高于预设储存阈值时,集群服务器向所述储存服务器的虚拟储存管理模块发送集群存储区域扩充控制指令,使所述虚拟储存管理模块将本地存储区域储存的数据信息储存至储存服务器内,再将虚拟储存器的本地存储区域可用储存量转为集群储存区域。

优选地,集群服务器用于实时监测集群中是否增加新储存服务器,如果有新增储存服务器,与储存服务器通信连接;

集群服务器配置新增储存服务器的集群储存服务器地址信息以及集群虚拟储存器地址信息,还获取新增储存服务器的储存量,虚拟储存器的总储存量,本地存储区域储存量和集群储存区域储存量,并将新增储存服务器配置到序列表中;

集群服务器将新增储存服务器的集群储存区域的储存量配置为集群储存量。

优选地,集群服务器还用于实时监测集群储存量,当已用集群储存量超过阈值时,集群服务器发送储存量超阈值提示,并实时监测集群中是否增加新储存服务器,如果有新增储存服务器,与新增储存服务器通信连接;集群服务器将新增储存服务器的集群储存区域的储存量配置为集群储存量。

从以上技术方案可以看出,本发明具有以下优点:

在本发明的系统中如果系统集群的储存量无法满足云存储量则可以根据虚拟储存量配置指令,配置虚拟储存器预设数量的虚拟储存器,配置每个虚拟储存器的储存量,对虚拟储存器进行地址编码,还实时获取每个虚拟储存器的当前储存量以及空余储存量。这样储存服务器配置出一定数量的虚拟储存器可以满足储存需要。在集群中,集群服务器获取每个储存服务器的储存量,虚拟储存器的总储存量,本地存储区域储存量和集群储存区域储存量,并将储存服务器排列成一序列表;集群服务器将每个储存服务器的集群储存区域的储存量配置为集群储存量。集群服务器可以根据集群当前储存量的需要扩充储存空间,满足云存储的需要。采用搭建特定的虚拟化环境,构建虚拟机,通过虚拟机来模拟共享存储的真是工作过程,通过对物理主机、虚拟机和网络之间的通信、数据输入输出、数据共享、负载均衡等来模拟出真实的存储服务器工作的场景,让用户可以真实体验到普通服务器通过软件升级带来的高性能存储服务,提高工作效率,提升使用快感。

本发明中,配置了多个储存服务器及相应的虚拟储存后,集群服务器在与各个储存服务器进行数据通信时,实现均衡传输数据信息,保证数据传输的速度和均衡,防止集群数据堵塞,提高数据传输效率。

附图说明

为了更清楚地说明本发明的技术方案,下面将对描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为基于云存储的集群存储及均衡传输系统示意图。

具体实施方式

本发明提供一种基于云存储的集群存储及均衡传输系统,如图1所示,包括:集群服务器1以及多个储存服务器2;储存服务器2配置有虚拟储存管理模块;

虚拟储存管理模块用于根据集群服务器1发送的虚拟储存量配置指令,配置预设储存量的虚拟储存器3;还用于划分虚拟储存器3的储存区域,将虚拟储存器3的储存区域划分成本地存储区域4和集群储存区域5;配置本地存储区域4的储存量;配置集群储存区域5的储存量;虚拟储存管理模块还用于配置本地存储区域4为仅有本地储存服务器2访问并储存数据;配置集群储存区域5为集群内共享储存区域。集群服务器1分别与每个储存服务器2分别与通信连接;集群服务器1与储存服务器2之间配置有至少两条通信通道;集群服务器1用于配置每个储存服务器2的地址信息,还获取每个储存服务器2的储存量,储存服务器2的虚拟储存器3的总储存量,本地存储区域4储存量和集群储存区域5储存量,并将储存服务器2排列成一序列表;集群服务器1将每个储存服务器2的集群储存区域5的储存量配置为集群储存量。这样集群在访问使用储存服务器2时可以基于集群储存服务器2地址信息以及集群虚拟储存器3地址信息进行访问,用户也可以通过序列表查询各个储存服务器2的当前状态。序列表的排列方式可以基于储存服务器2的储存量大小排序,可以依据储存服务器2在集群建立时间排序等等。

可能以许多方式来实现本发明的方法以及装置。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法以及装置。用于所述方法的步骤的上述顺序仅是为了进行说明,本发明的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本发明实施为记录在记录介质中的程序,这些程序包括用于实现根据本发明的方法的机器可读指令。因而,本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将运用具体的实施例及附图,对本发明保护的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本专利中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本专利保护的范围。

本实施例中,采用搭建特定的虚拟化环境,构建虚拟机,通过虚拟机来模拟共享存储的真是工作过程,通过对物理主机、虚拟机和网络之间的通信、数据输入输出、数据共享、负载均衡等来模拟出真实的存储服务器工作的场景,让用户可以真实体验到普通服务器通过软件升级带来的高性能存储服务,提高工作效率,提升使用快感。储存服务器2设计虚拟的共享存储,实现虚拟的数据存储,使用户在没有昂贵的特定存储服务器的情况下也可以享受数据存储服务。

本实施例中,集群服务器1还用于实时监测各个储存服务器2的已用储存量,当某一储存服务器2的已用储存量超出储存量阈值时,集群服务器1向所述储存服务器2的虚拟储存管理发出虚拟储存量配置指令,使所述虚拟储存管理模块配置集群服务器1发出预设数量的虚拟储存器3,配置虚拟储存器3的储存量,对虚拟储存器3进行地址编码,还实时获取虚拟储存器3的当前储存量以及储存服务器2空余储存量。集群服务器16可以根据用户发出的控制指令,也可以基于系统集群的设置,自动在储存服务器2上配置虚拟储存器3,来扩充集群的储存空间。

本发明中,如果集群的当前已用储存量超阈值,集群服务器16可以发出提示,提示用户进行处理。还可以采用以下三种实施方式来处理。

存储数据处理实施例一:

集群服务器1还用于实时监测集群储存量,当已用集群储存量超过阈值时,获取每个储存服务器2的本地存储区域4可用储存量;当某一储存服务器2的本地存储区域4可用储存量高于预设本地储存阈值时,集群服务器1向所述储存服务器2的虚拟储存管理模块发送集群存储区域扩充控制指令,使所述虚拟储存管理模块对将虚拟储存器3的本地存储区域4可用储存量转为集群储存区域5。

集群服务器16可以实时监测集群的储存量,使用户能够实时获取到集群的存储量信息。如果出现储存量超阈值可以对集群储存区域5进行扩充。

存储数据处理实施例二:

集群服务器1还用于实时监测集群储存量,当已用集群储存量超过阈值时,获取每个储存服务器2的可用储存量,当某一储存服务器2可用储存量高于预设储存阈值时,集群服务器1向所述储存服务器2的虚拟储存管理模块发送集群存储区域扩充控制指令,使所述虚拟储存管理模块将本地存储区域4储存的数据信息储存至储存服务器2内,再将虚拟储存器3的本地存储区域4可用储存量转为集群储存区域5。

存储数据处理实施例三:

集群服务器1还用于实时监测集群储存量,当已用集群储存量超过阈值时,集群服务器1发送储存量超阈值提示,并实时监测集群中是否增加新储存服务器2,如果有新增储存服务器2,与新增储存服务器2通信连接;集群服务器1将新增储存服务器2的集群储存区域5的储存量配置为集群储存量。

当然在配置增加新储存服务器2的过程还可以采用集群服务器1用于实时监测集群中是否增加新储存服务器2,如果有新增储存服务器2,与储存服务器2通信连接;集群服务器1配置新增储存服务器2的集群储存服务器2地址信息以及集群虚拟储存器3地址信息,还获取新增储存服务器2的储存量,虚拟储存器3的总储存量,本地存储区域4储存量和集群储存区域5储存量,并将新增储存服务器2配置到序列表中;集群服务器1将新增储存服务器2的集群储存区域5的储存量配置为集群储存量。

当然在本发明中,可以同时采用上述三种方式,也可以同时采用上述任两种方式的组合,具体采用何种方式这里不做限定。

在服务器集群中,配置了多个储存服务器2及相应的虚拟储存后,集群服务器1在与各个储存服务器2进行数据通信时,为了实现均衡传输数据信息,保证数据传输的速度和均衡,防止集群数据堵塞,集群服务器1还用于向储存服务器2发出数据储存任务,并判断发送的数据储存任务是否为首次;当为首次时,获取集群服务器1与储存服务器2之间每条通信通道的带宽以及获取本次传输数据信息的数据总量;通过(该通信通道带宽÷所有通信通道的带宽总和)×数据总量,得出每条通信通道的数据传输量,并基于每条通信通道的数据传输量传输数据信息。

本发明中,集群服务器1还用于当为非首次时,当两条通信通道传输带宽相等时,获取集群服务器1与储存服务器2之间每条通信通道的带宽以及获取本次传输数据信息的数据总量;通过(该通信通道带宽÷所有通信通道的带宽总和)×数据总量,得出每条通信通道的数据传输量,并基于每条通信通道的数据传输量传输数据信息。

本发明中,集群服务器1与储存服务器2之间配置有两条通信通道;

集群服务器1还用于当为非首次时,当两条通信通道传输带宽不等时,按照下述方式配置每条通道的传输数据量:

第一通信通道优先完成任务,耗时ta_1

第一通信通道a的任务速率和第二通信通道b的任务速率分别通过集群服务器1监测得到,sa_1和sb_1;

第一通信通道a相比第二通信通道b先完成任务,ta_1时刻时的任务公式:

ka_1=ta_1×sa_1;

第二通信通道b在ta_1时刻并未完成数据传输,且差了hb_1数据量,第二通信通道b的任务公式:kb_1=ta_1×sb_1+hb_1;

第一通信通道a根据上次任务得出的下次任务占比为xa-2={ka_1+[sa_1÷(sa_1+sb_1)]×hb_1},第二通信通道b据上次任务经验得出的的下次任务占比为xb_2={(kb_1-hb_1)+[sb_1÷(sa_1+sb_1)]×hb_1};

第一通信通道a下次任务分配公式:

ka_2=[ka_1÷(ka_1+kb_1)+xa_2÷(xa_2+xb_2)]÷2

以此类推第一路径a的第n次任务分配公式:

ka_n=[ka_1÷(ka_1+kb_1)+ka_2÷(ka_2+kb_2)+…+xa_n÷(xa_n+xb_n)]÷n。

这样实现了集群服务器1在与各个储存服务器2进行数据通信时均衡传输数据信息,保证数据传输的速度和均衡,防止集群数据堵塞,也提高数据传输的效率。

对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1