一种基于云存储系统中提升访问数据快速存储方法与流程

文档序号:12377236阅读:576来源:国知局

本发明属于计算机存储技术领域,特别是涉及一种基于云存储系统中提升访问数据快速存储方法。



背景技术:

随着互联网技术的快速发展,互联网的业务范围也在不断扩大,互联网己经成为人们日常生活中不可或缺的重要组成部分。用户对互联网的使用需求己经从传统的门户网站逐渐转向了高业务量的互联网服务。与此同时,数据呈现出爆炸性的增长,对于互联网服务方来说,新扩展的业务中所需要的存储资源和计算机硬件的成本在不断地提髙,数据中心的建设和维护成本在逐年升高,人员管理和资源的消耗也在不断增加。要解决这一系列的问题,必须要建立一个新的平台和处理机制来协调和调度有限的资源,使数据的收集、处理和计算变得更为髙效、快捷。

云计算不断研究与发展的同时,其核心的技术云存储也被越来越多地被人们所关注。云存储是集群应用、网格技术和分布式文件系统等将网络中大量不同类型的存储设格通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能,它为用户节省了大量成本,因此得到了广泛的支持和应用。



技术实现要素:

本发明的目的在于提供一种基于云存储系统中提升访问数据快速存储方法,通过采用访问云数据进行分割的方式,进行单个处理,作为大量用户数据存储支撑的云存储系统的高速并发访问性能方面出发。

本发明是通过以下技术方案实现的:

本发明为一种基于云存储系统中提升访问数据快速存储方法,所述云存储系统包括元数据服务器、数据存储服务器以及客户端,其特征在于,包括如下步骤:

元数据服务器与客户端之间只进行控制信号的传输,不进行存储数据流的传输;

客户端与数据存储服务器之间进行存储数据流传输;

将大于阈值的数据文件均匀分割为各个数据块,分布式存储在每个数据存储服务器上;

单个数据文件读写并发进行;

客户端写数据时,数据被分成各个数据块,写每个数据块根据以下步骤进行操作,并行的向数据存储服务器写数据块:

a客户端向元数据服务器发起数据写请求;

b元数据服务器根据其管理的数据存储服务器的负载均衡的方法计算目的数据存储服务器,在目的数据存储服务器上创建新的数据块;

c目的数据存储服务器的数据块创建成功,将结果返回给元数据服务器;

d元数据服务器备份并同步此数据信息,并将目的数据存储服务器信息返回给客户端;

e客户端根据得到的目的数据存储服务器信息,向对应目的数据存储服务器发出数据写请求,并向目的数据存储服务器发送数据;

f目的数据存储服务器接收数据并存储到对应数据块,同时也向其他数据存储服务器备份;

g当本地数据写入以及备份完成后,目的数据存储服务器将完成信息返回给客户端;

客户端收到完成信息后,即完成数据的写入。

优选地,所述将大于阈值的数据文件均匀分割为各个数据块,分布式存储在每个数据存储服务器上的具体步骤:

S1客户端根据读数据文件时的请求偏移量除以数据块的大小得到数据块索引,并向元数据服务器发起数据读请求;

S2元数据服务器返回该数据块所在的数据存储服务器的列表,数据存储服务器列表包括每个数据存储服务器的地址和序号;

S3客户端向读写请求数最少的数据存储服务器发送读数据块请求;

S4数据存储服务器从本地文件系统读出数据块,并返回数据块给客户端。

优选地,所述负载均衡的方法为:遍历所有数据存储服务器列表,数据存储服务器列表包括每个数据存储服务器的地址,分别以每个数据存储服务器的空间除以最大数据存储服务器的空间作为每个数据存储服务器的动态加权因子,加权因子取值范围0.0~1.0,加权因子与数据存储服务器的当前权值之和构成新的权值,对所有数据存储服务器权重进行排序,把负载最小的数据存储服务器排列在列表前面,然后返回可用数据存储服务器的地址,其权值减1。

本发明具有以下有益效果:

1、本发明作为大量用户数据存储支撑的云存储系统的高速并发访问性能方面出发,提出一种能满足多用户、高并发访问的需求的方法,给现实应用调用提供方便、高性能的存储支撑。

2、本发明作为大量用户数据存储支撑的云存储系统的高速并发访问性能方面出发,采用访问云数据进行分割的方式,进行单个处理。

当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明的一种基于云存储系统中提升访问数据快速存储方法的框架图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。

请参阅图1所示,本发明为一种基于云存储系统中提升访问数据快速存储方法,所述云存储系统包括元数据服务器、数据存储服务器以及客户端,包括如下步骤:

元数据服务器与客户端之间只进行控制信号的传输,不进行存储数据流的传输;

客户端与数据存储服务器之间进行存储数据流传输;

将大于阈值的数据文件均匀分割为各个数据块,分布式存储在每个数据存储服务器上;

单个数据文件读写并发进行;

客户端写数据时,数据被分成各个数据块,写每个数据块根据以下步骤进行操作,并行的向数据存储服务器写数据块:

a客户端向元数据服务器发起数据写请求;

b元数据服务器根据其管理的数据存储服务器的负载均衡的方法计算目的数据存储服务器,在目的数据存储服务器上创建新的数据块;

c目的数据存储服务器的数据块创建成功,将结果返回给元数据服务器;

d元数据服务器备份并同步此数据信息,并将目的数据存储服务器信息返回给客户端;

e客户端根据得到的目的数据存储服务器信息,向对应目的数据存储服务器发出数据写请求,并向目的数据存储服务器发送数据;

f目的数据存储服务器接收数据并存储到对应数据块,同时也向其他数据存储服务器备份;

g当本地数据写入以及备份完成后,目的数据存储服务器将完成信息返回给客户端;

客户端收到完成信息后,即完成数据的写入。

优选地,所述将大于阈值的数据文件均匀分割为各个数据块,分布式存储在每个数据存储服务器上的具体步骤:

S1客户端根据读数据文件时的请求偏移量除以数据块的大小得到数据块索引,并向元数据服务器发起数据读请求;

S2元数据服务器返回该数据块所在的数据存储服务器的列表,数据存储服务器列表包括每个数据存储服务器的地址和序号;

S3客户端向读写请求数最少的数据存储服务器发送读数据块请求;

S4数据存储服务器从本地文件系统读出数据块,并返回数据块给客户端。

其中,负载均衡的方法为:遍历所有数据存储服务器列表,数据存储服务器列表包括每个数据存储服务器的地址,分别以每个数据存储服务器的空间除以最大数据存储服务器的空间作为每个数据存储服务器的动态加权因子,加权因子取值范围0.0~1.0,加权因子与数据存储服务器的当前权值之和构成新的权值,对所有数据存储服务器权重进行排序,把负载最小的数据存储服务器排列在列表前面,然后返回可用数据存储服务器的地址,其权值减1。

值得注意的是,上述系统实施例中,所包括的各个单元只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。

另外,本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,相应的程序可以存储于一计算机可读取存储介质中,所述的存储介质,如ROM/RAM、磁盘或光盘等。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1