分布式文件系统文件读写方法、分布式文件系统及其装置的制作方法

文档序号:7736960阅读:154来源:国知局
专利名称:分布式文件系统文件读写方法、分布式文件系统及其装置的制作方法
技术领域
本发明涉及通信领域,具体而言,涉及一种分布式文件系统文件读写方法、分布式文件系统及其装置。
背景技术
目前在云存储中,普遍采用多副本的方式来保护数据,防止一个磁盘或一个节点损坏造成数据的丢失,同时为了达到系统的负载均衡,也采用了副本的复制,迁移策略。当用户正在读写时,此时若有大量的副本进行复制或迁移,则在系统读写能力一定的情况下, 副本的复制和迁移操作就会对用户的读写速度产生比较大的影响,进而影响到用户的读写速度。另外,不同的用户或者同一个用户操作的不同文件对读写速度要求也不同。而在目前的分布式文件系统中,所有的读写操作都一视同仁,没有区分轻重缓急,这样就造成有些需要优先写入或优先读取的操作没有及时得到满足。针对上述问题,目前尚未提出有效的解决方案。

发明内容
本发明的主要目的在于提供一种分布式文件系统文件读写方法、分布式文件系统及其装置,以至少解决上述问题之一。根据本发明的一个方面,提供了一种分布式文件系统文件读写方法,包括文件访问服务端接收文件访问客户端根据文件访问客户端读写列队发送的文件访问客户端数据缓存块,其中,文件访问客户端数据缓存块具有文件访问客户端设置的优先级标识,文件访问客户端读写列队中包括文件访问客户端根据优先级标识放入的文件访问客户端数据缓存块;文件访问服务端根据文件访问客户端数据缓存块的优先级标识,为文件访问客户端数据缓存块对应的文件访问服务端数据缓存设置相应的优先级标识,将设置了优先级标识的文件访问服务端数据缓存发送给存储设备处理;存储设备根据文件访问服务端数据缓存的优先级标识将文件访问服务端数据缓存放入相应的存储设备读写列队中,根据存储设备读写列队依次进行文件读写操作。优先级标识包括高优先级读标识、中优先级读标识、低优先级读标识、高优先级写标识、中优先级写标识、低优先级写标识;文件访问客户端读写列队及存储设备读写列队包括高优先级读列队、中优先级读列队、低优先级读列队、高优先级写列队、中优先级写列队、低优先级写列队。文件访问客户端数据缓存块具有的文件访问客户端设置的优先级标识包括以下至少之一文件访问客户端数据缓存块具有文件访问客户端响应于用户的操作设置的优先级标识;当文件写关闭时,该文件拥有的所有还未写入到文件访问服务端的文件访问客户端数据缓存块具有文件访问客户端设置的高优先级写标志。文件访问服务端根据文件访问客户端数据缓存块的优先级标识,为文件访问客户端数据缓存块对应的文件访问服务端数据缓存设置相应的优先级标识时,还包括当文件访问服务端在接收到副本复制或迁移请求时,为源副本所在的数据缓存设置低优先级读/ 写标识,以低优先级读源副本,并将设置了低优先级写标识的源副本所在的数据缓存发送给目的文件访问服务端。文件访问服务端接收文件访问客户端根据文件访问客户端读写列队发送的文件访问客户端数据缓存块包括文件访问服务端接收文件访问客户端根据预定的第一比例发送的不同优先级读写列队的文件访问客户端数据缓存块。根据存储设备读写列队依次进行文件读写操作包括存储设备根据预定的第二比例对不同优先级读写列队的文件访问服务端数据缓存进行读写处理。根据本发明的另一方面,提供了一种分布式文件系统的文件访问客户端,包括标识模块,用于为文件访问客户端数据缓存块设置优先级标识;列队模块,用于根据优先级标识将文件访问客户端数据缓存块放入对应的文件访问客户端读写列队。标识模块包括以下至少之一第一设置单元,用于响应于用户的操作为文件访问客户端数据缓存块设置优先级标识;第二设置单元,用于在文件写关闭时,为该文件拥有的所有还未写入到文件访问服务端的数据缓存标识上高优先级写标志。发送模块,用于根据预定比例将不同优先级读写列队的文件访问客户端数据缓存块发送给文件访问服务端处理。根据本发明的再一方面,提供了一种分布式文件系统的文件访问服务端,包括设置模块,用于根据文件访问客户端数据缓存块的优先级标识,为文件访问客户端数据缓存块对应的文件访问服务端数据缓存设置相应的优先级标识;发送模块,用于将设置了优先级标识的文件访问服务端数据缓存发送给存储设备处理。上述分布式文件系统的文件访问服务端还包括副本模块,用于在接收到副本复制或迁移请求后,为源副本所在的数据缓存设置低优先级读/写标识,以低优先级读源副本,并将设置了低优先级写标识的源副本所在的数据缓存发送给目的文件访问服务端。根据本发明的又一方面,提供了一种分布式文件系统的存储设备,包括列队模块,用于根据文件访问服务端数据缓存的优先级标识将文件访问服务端数据缓存放入相应的存储设备读写列队中;读写模块,用于根据存储设备读写列队依次进行文件读写操作。读写模块,用于根据预定比例对不同优先级读写列队的文件访问服务端数据缓存进行读写处理。根据本发明的又一方面,提供了一种分布式文件系统,包括文件访问客户端、文件访问服务端、存储设备,其中,文件访问客户端,用于为文件访问客户端数据缓存块设置优先级标识,根据优先级标识将文件访问客户端数据缓存块放入对应的文件访问客户端读写列队,根据文件访问客户端读写列队将文件访问客户端数据缓存块发送给文件访问服务端处理;文件访问服务端,用于根据文件访问客户端数据缓存块的优先级标识,为文件访问客户端数据缓存块对应的文件访问服务端数据缓存设置相应的优先级标识,将设置了优先级标识的文件访问服务端数据缓存发送给存储设备处理;存储设备,用于根据文件访问服务端数据缓存的优先级标识将文件访问服务端数据缓存放入相应的存储设备读写列队中, 根据存储设备读写列队依次进行文件读写操作。通过本发明,采用为分布式文件系统的文件读写设置优先级标识,并建立相应的处理列队,根据列队依次对文件进行读写处理的方案,解决了现有分布式文件系统中需要优先写入或优先读取的操作不能及时得到满足的问题,进而达到了满足不同文件对读写速度不同的需求,提高用户的读写体验的效果。


此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中图1是根据本发明实施例的分布式文件系统中的文件读写方法的流程图;图2是根据本发明实例的文件写关闭时文件访问客户端对数据缓存块标识高优先级写标识的流程图;图3是根据本发明实例的文件访问客户端文件写关闭时优先级处理示意图;图4是根据本发明实例的不同优先级队列进行轮选处理的流程图;图5是根据本发明实例的文件访问服务端进行优先级读写处理的示意图;图6是根据本发明实施例的分布式文件系统的文件访问客户端的结构框图;图7是根据本发明实施例的分布式文件系统的文件访问服务端的结构框图;图8是根据本发明实施例的分布式文件系统的存储设备的结构框图;图9是根据本发明实施例的分布式文件系统的结构框图;图10是根据本发明优选实施例的分布式文件系统的结构框图。
具体实施例方式下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。图1是根据本发明实施例的分布式文件系统中的文件读写方法的流程图。如图1 所示,根据本发明实施例的分布式文件系统中的文件读写方法包括步骤S102,文件访问服务端接收文件访问客户端根据文件访问客户端读写列队发送的文件访问客户端数据缓存块,其中,文件访问客户端数据缓存块具有文件访问客户端设置的优先级标识,文件访问客户端读写列队中包括文件访问客户端根据优先级标识放入的文件访问客户端数据缓存块;步骤S104,文件访问服务端根据文件访问客户端数据缓存块的优先级标识,为文件访问客户端数据缓存块对应的文件访问服务端数据缓存设置相应的优先级标识,将设置了优先级标识的文件访问服务端数据缓存发送给存储设备处理;步骤S106,存储设备根据文件访问服务端数据缓存的优先级标识将文件访问服务端数据缓存放入相应的存储设备读写列队中,根据存储设备读写列队依次进行文件读写操作。本实施例提供的方法为分布式文件系统中的文件读写设置了优先级机制,会根据文件读写优先级的不同做相应的处理,优先处理具有高优先级的读写请求,对于低优先级的读写请求则可以延迟处理,从而可以使系统的性能达到最佳,弥补了现有技术不足。优先级的设置可以有多种方式,本优选实施例给出一种优选的实施方式。优选地, 优先级标识可以包括高优先级读标识、中优先级读标识、低优先级读标识、高优先级写标识、中优先级写标识、低优先级写标识;对应的,文件访问客户端读写列队及存储设备读写列队可以包括高优先级读列队、中优先级读列队、低优先级读列队、高优先级写列队、中优先级写列队、低优先级写列队。本优选实施例提供的优先级标识及对应的列队设置方式是一种适用范围较为广泛的方式,但并不是唯一的,在具体实施过程中可以根据具体需要减少或增加优先级标识及对应的列队的阶数。优选地,文件访问客户端数据缓存块具有的文件访问客户端设置的优先级标识可以包括以下至少之一文件访问客户端数据缓存块具有文件访问客户端响应于用户的操作设置的优先级标识;当文件写关闭时,该文件拥有的所有还未写入到文件访问服务端的文件访问客户端数据缓存块具有文件访问客户端设置的高优先级写标志。在具体实施过程中,为什么样的文件读写设置什么样的优先级需要根据实际的情况来确定,可以根据分布式文件系统应用的场景进行不同的设定。本优选实施给出两种通用的原则第一,为了提高用户体验、满足用户需求,可以根据用户的操作来设定优先级 (包括读和写),即由用户自行选择某个文件读写操作的优先级,如果用户不指定任何优先级,则可以默认为中优先级;第二,在写关闭某个文件时,为了尽快释放该文件占用的资源, 可以为该文件拥有的所有还未写入到文件访问服务端的文件访问客户端数据缓存块设置高优先级写标志。优选地,文件访问服务端根据文件访问客户端数据缓存块的优先级标识,为文件访问客户端数据缓存块对应的文件访问服务端数据缓存设置相应的优先级标识时,还包括当文件访问服务端在接收到副本复制或迁移请求时,为源副本所在的数据缓存设置低优先级读/写标识,以低优先级读源副本,并将设置了低优先级写标识的源副本所在的数据缓存发送给目的文件访问服务端。本优选实施例给出一种在用户文件读写需求与副本复制、迁移请求同时出现时的处理方法。事实上,在用户读写过程中发生副本的复制或迁移时,这些副本在当前时刻基本上不会被用户读写到,因此可以为其设置优先级比较低的标识,延迟处理副本的复制或迁移,优先处理用户当前的读写。优选地,文件访问服务端接收文件访问客户端根据文件访问客户端读写列队发送的文件访问客户端数据缓存块可以包括文件访问服务端接收文件访问客户端根据预定的第一比例发送的不同优先级读写列队的文件访问客户端数据缓存块;根据存储设备读写列队依次进行文件读写操作可以包括存储设备根据预定的第二比例对不同优先级读写列队的文件访问服务端数据缓存进行读写处理。在按优先级进行处理时,一般来说都采用在处理完高优先级之后再依次处理较低的优先级的方式。本优选实施例给出的处理方法没有采用这一方式,而是采用按照一定的比例关系同时对所有的优先级进行处理的方式,高优先级的处理比例较大,低优先级的处理比例较小,这样既满足了优先级本身设置的目的(即优先处理高优先级),也避免了低优先级长期得不到处理的问题。具体地本优选实施中,就是文件访问客户端会对具有不同优先级的读写队列按照一定的配置比例将其中的文件访问客户端数据缓存块发送给文件访问服务端,高优先级列队的数据缓存块发送比例较大,低优先级列队的数据缓存块发送比例较小;以及存储设备在进行读写处理时,会对具有不同优先级的读写队列按照一定的配置比例进行处理,高优先级的读写请求处理比例较大,低优先级的读写请求处理比例较小。 这样,既可以是具有优先级高的读写优先得到处理,同时也不会对低优先级的读写产生太大的影响。需要说明的是,文件访问客户端及存储设备采用的比例(即第一比例和第二比例)可以是相同的,也可以是不同的。综上,上述优选实施例可以概括如下根据上述优选实施例的分布式文件系统文件读写方法可以分为三个部分文件访问客户端读写优先级处理方法、文件访问服务端读写优先级处理方法、存储设备读写优先级处理方法,其中文件访问客户端读写优先级处理方法主要是对文件访问客户端数据缓存块进行优先级标识,包括但不限于下面三种情形一是文件写关闭时,将该文件所拥有的所有还未写入到文件访问服务端的数据缓存标识上高优先级写标志;二是用户指定某种优先级读文件标识;三是用户指定某种优先级写文件标识。如果用户不指定任何优先级,则按默认方式处理即默认为中优先级读写。根据读写优先级的不同分别放入不同的文件访问客户端读写队列中,包括六个队列(1)高优先级读队列O)中优先级读队列(3)低优先级读队列 (4)高优先级写队列(5)中优先级写队列(6)低优先级写队列。具有不同优先级的读写队列按照一定的配置比例进行处理,高优先级的读写请求处理比例较大,低优先级的读写请求处理比例较小。标识上优先级的数据缓存块被发送给文件访问服务端进行处理。文件访问服务端读写优先级处理方法主要处理如下两种情形一是在接收到文件访问客户端携带优先级标识的数据后,对文件访问服务端数据缓存标识上相应的优先级; 二是在接收到副本复制、迁移请求后,将源副本所在的数据缓存标识上低优先级读写,以低优先级读源副本,并将标识上低优先级写的数据缓存发送给目的文件访问服务端。之后将标识上读写优先级的数据缓存发送给存储设备进行处理。存储设备读写优先级处理方法主要是对文件访问服务器发送来的带上优先级标识的数据缓存放入不同的存储设备读写队列中,具有不同优先级的读写队列按照一定的配置比例进行处理,高优先级的读写请求处理比例较大,低优先级的读写请求处理比例较小。 该方法与文件访问客户端实现的读写优先级处理方法基本类似。下面结合实例对上述优选实施例进行详细说明。步骤1 将文件访问客户端数据缓存置上相应的读写优先级标识。对于上层传入的读写优先级,可直接置上相应的标识,并插入到对应的读写队列中。对于关闭文件时,需要将文件对应的所有的数据缓存的写优先级提高到高优先级,如图2所示,该操作主要通过如下方式实现步骤S202,出现文件关闭请求。步骤S204,扫描该文件未写入到文件访问服务端的缓存页链表,判断该文件有未写入到文件访问服务器端的缓存页,如果有,转至步骤S206,如果没有,则直接进行后续处理(参见下文步骤2)。文件访问服务端在应用程序写入缓存页的同时,将该缓存页加入到缓存页链表中,每一个写打开的文件都有一个这样的链表。当缓存页成功写入到文件访问服务端后,文件访问服务端发送写入成功的通知,文件访问客户端在接收到写入成功通知后,将缓存页从链表中删除。步骤S206,检查缓存页是否还未在于写队列中,如果是,则转至步骤S208,如果否,则转至步骤S210。步骤S208,将缓存页从缓存区中移出,如图3所示,插入到高优先级队列尾,并将该缓存页标识上高优先级写,继续进行后续处理(参见下文步骤2)。步骤S210,将该缓存页从相应写队列中挪出,如图3所示,插入到高优先级队列尾,并将该缓存页标识上高优先级写,继续进行后续处理(参见下文步骤2)。步骤2 文件访问客户端写线程按照配置的队列轮询比例轮流处理高、中、低优先级读写队列。其轮选规则如图4所示,包括步骤S402,设定一个全局变量,初始值为0,它记录了高、低优先级读写队列处理的总次数。假设高、中、低优先级队列处理比例配置为a b c;步骤S404,为了判断本次从哪个队列中取条目,做如下运算计算总次数对 (a+b+c)取余;步骤S406,判断结果是否在(0,a-l)区间,如果是,转至步骤S408,如果否,转至步骤 S414 ;步骤S408,轮到高优先级读写队列,判断列队是否为空,如果否,转至步骤S410, 如果是,转至步骤S412 ;步骤S410,从高优先级读写队列中取出消息进行处理,全局计数器增加1 ;步骤S412,调整全局计数全局计数=全局计数+a ;步骤S414,进一步判断结果是否在(a,a+b-1)区间,如果是,转至步骤S416,如果否,转至步骤S422 ;步骤S416,轮到中优先级读写队列,判断列队是否为空,如果否,转至步骤S418, 如果是,转至步骤S420 ;步骤S418,从中优先级读写队列中取出消息进行处理,全局计数器增加1 ;步骤S420,调整全局计数全局计数=全局计数+a+b ;步骤S422,那么结果必然在(a+b,a+b+c-l)区间,轮到低优先级读写队列,判断列队是否为空,如果否,转至步骤S424,如果是,转至步骤;步骤S424,从低优先级读写队列中取出消息进行处理,全局计数器增加1 ;步骤S似6,调整全局计数全局计数=(a+b+c) *[1+全局计数/(a+b+c)]。在上述轮选规则中,设定了一个全局变量,初始值为0,用于记录了高、低优先级读写队列处理的总次数。假设高、中、低优先级队列处理比例配置为a b c,为了判断本次从哪个队列中取条目,做如下运算计算总次数对(a+b+c)取余,结果在(0,a-Ι)区间, 则轮到高优先级读写队列;若结果在(a,a+b_l)区间,则轮到中优先级读写队列;若结果在 (a+b,a+b+c-l)区间,则轮到低优先级读写队列。若某一个优先级读写队列中有消息,则全局变量增加1 ;否则,直接转到下一个优先级读写队列,若下一个优先级读写队列依然没有消息,则继续转到下一个读写队列。这样就保证了高、中、低优先级读写队列都有机会被处理到,而不至于造成低优先级读写的长期等待,同时,当某一个队列中没有消息可处理时, 能迅速的转入到另一个队列进行处理,提高了系统的读写能力。步骤3 文件访问客户端读写线程处理各个队列中的消息,并将消息发送给文件访问服务端。步骤4 文件访问服务端将数据缓存标识上相应的读写优先级,包括如下两种情形一是副本复制、迁移;二是文件访问客户端的读写请求,具体处理如图5所示。步骤5 存储设备端与文件访问客户端做类似的处理,将读写队列分成高、中、低优先级写和读六种队列,读写线程依据一定的轮选比例轮流处理存储设备读写队列。图6是根据本发明实施例的分布式文件系统的文件访问客户端的结构框图。如图 6所示,根据本发明实施例的分布式文件系统的文件访问客户端包括标识模块62,用于为文件访问客户端数据缓存块设置优先级标识;列队模块64,连接至标识模块62,用于根据优先级标识将文件访问客户端数据缓存块放入对应的文件访问客户端读写列队;发送模块66,连接至列队模块64,用于根据文件访问客户端读写列队将文件访问客户端数据缓存块发送给文件访问服务端处理。本实施例提供的文件访问客户端具有优先级机制,会根据文件读写优先级的不同做相应的处理,优先将具有高优先级的文件访问客户端数据缓存块发送给文件访问服务端,对于低优先级的文件访问客户端数据缓存块则可以延迟处理,为整个分布式文件系统优先级机制的建立奠定了基础。优选地,标识模块62可以包括以下至少之一第一设置单元,用于响应于用户的操作为文件访问客户端数据缓存块设置优先级标识;第二设置单元,用于在文件写关闭时,为该文件拥有的所有还未写入到文件访问服务端的数据缓存标识上高优先级写标志。第一设置单元可以根据用户的操作来设定优先级(包括读和写),使得用户可以自行选择某个文件读写操作的优先级,从而提高了用户体验、满足了用户需求。如果用户不指定任何优先级,则可以默认为中优先级。在写关闭某个文件时,第二设置单元可以为该文件拥有的所有还未写入到文件访问服务端的文件访问客户端数据缓存块设置高优先级写标志,以尽快释放该文件占用的资源。优选地,发送模块66,可以用于根据预定比例将不同优先级读写列队的文件访问客户端数据缓存块发送给文件访问服务端处理。本优选实施例中的发送模块66对具有不同优先级的读写队列会按照一定的配置比例将其中的文件访问客户端数据缓存块发送给文件访问服务端,高优先级列队的数据缓存块发送比例较大,低优先级列队的数据缓存块发送比例较小,这样既满足了优先级本身设置的目的,也避免了低优先级长期得不到处理的问题。图7是根据本发明实施例的分布式文件系统的文件访问服务端的结构框图。如图 7所示,根据本发明实施例的分布式文件系统的文件访问服务端包括设置模块72,用于根据文件访问客户端数据缓存块的优先级标识,为文件访问客户端数据缓存块对应的文件访问服务端数据缓存设置相应的优先级标识;发送模块74,连接至设置模块72,用于将设置了优先级标识的文件访问服务端数据缓存发送给存储设备处理。本实施例提供的文件访问服务端,会根据文件访问客户端数据缓存块的优先级标
1识,为文件访问客户端数据缓存块对应的文件访问服务端数据缓存设置相应的优先级标识,使优先级标识由文件访问客户端数据缓存块传递到文件访问服务端数据缓存,为后续存储设备的优先级处理奠定了基础。优选地,根据本发明优选实施例的分布式文件系统的文件访问服务端还包括副本模块,用于在接收到副本复制或迁移请求后,为源副本所在的数据缓存设置低优先级读/写标识,以低优先级读源副本,并将设置了低优先级写标识的源副本所在的数据缓存发送给目的文件访问服务端。在本优选实施例中,副本模块提供了在用户文件读写需求与副本复制、迁移请求出现冲突时的处理功能。事实上,在用户读写过程中发生副本的复制或迁移时,这些副本在当前时刻基本上不会被用户读写到,因此可以为其设置优先级比较低的标识,延迟处理副本的复制或迁移,优先处理用户当前的读写,以保证用户体验。图8是根据本发明实施例的分布式文件系统的存储设备的结构框图。如图8所示, 根据本发明实施例的分布式文件系统的存储设备包括列队模块82,用于根据文件访问服务端数据缓存的优先级标识将文件访问服务端数据缓存放入相应的存储设备读写列队中;读写模块84,连接至列队模块82,用于根据存储设备读写列队依次进行文件读写操作。本实施例提供的存储设备可以最终实现文件的优先级读写,使系统的性能达到最佳。优选地,读写模块84,可以用于根据预定比例对不同优先级读写列队的文件访问服务端数据缓存进行读写处理。在本优选实施例中,读写模块84在进行读写处理时,会对具有不同优先级的读写队列按照一定的配置比例进行处理,高优先级的读写请求处理比例较大,低优先级的读写请求处理比例较小。这样,既可以是具有优先级高的读写优先得到处理,同时也不会对低优先级的读写产生太大的影响。图9是根据本发明实施例的分布式文件系统的结构框图。如图9所示,根据本发明实施例的分布式文件系统包括文件访问客户端92、文件访问服务端94、存储设备96,其中,文件访问客户端92,用于为文件访问客户端数据缓存块设置优先级标识,根据优先级标识将文件访问客户端数据缓存块放入对应的文件访问客户端读写列队,根据文件访问客户端读写列队将文件访问客户端数据缓存块发送给文件访问服务端94处理;文件访问服务端94,连接至文件访问客户端92,用于根据文件访问客户端数据缓存块的优先级标识,为文件访问客户端数据缓存块对应的文件访问服务端数据缓存设置相应的优先级标识,将设置了优先级标识的文件访问服务端数据缓存发送给存储设备96处理;存储设备96,连接至文件访问服务端94,用于根据文件访问服务端数据缓存的优先级标识将文件访问服务端数据缓存放入相应的存储设备读写列队中,根据存储设备读写列队依次进行文件读写操作。本实施例提供的分布式文件系统设置了优先级机制,会根据文件读写优先级的不同做相应的处理,优先处理具有高优先级的读写请求,对于低优先级的读写请求则可以延迟处理,从而可以使系统的性能达到最佳,弥补了现有技术不足。在具体实施过程中,当涉及到多个文件访问服务端或文件访问服务端协作时(如副本复制或迁移),如图10所示,还需要引入相应的控制器,进行相应的控制(如向源副本对应的文件访问服务端发送副本复制或迁移请求)。从以上的描述中,可以看出,本发明提供的技术方案在现有的系统基础上增加了文件的读写优先级处理功能,使得用户可以设定某个文件的读写优先级,并进行不同级别的处理;也可以在有用户读写和副本复制或迁移并存时,降低副本复制和迁移的读写优先级,从而保证用户的读写不受太大的影响;在写关闭某个文件时,为了尽快释放该文件占用的资源,可以提高该文件写优先级;具有读写优先级的读写方法提高了用户的读写体验,可满足不同文件对读写速度不同的需求,特别适用于具有不同读写速度需求的环境。显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
权利要求
1.一种分布式文件系统文件读写方法,其特征在于,包括文件访问服务端接收文件访问客户端根据文件访问客户端读写列队发送的文件访问客户端数据缓存块,其中,所述文件访问客户端数据缓存块具有所述文件访问客户端设置的优先级标识,所述文件访问客户端读写列队中包括所述文件访问客户端根据所述优先级标识放入的文件访问客户端数据缓存块;文件访问服务端根据所述文件访问客户端数据缓存块的优先级标识,为所述文件访问客户端数据缓存块对应的文件访问服务端数据缓存设置相应的优先级标识,将设置了优先级标识的文件访问服务端数据缓存发送给存储设备处理;所述存储设备根据所述文件访问服务端数据缓存的优先级标识将所述文件访问服务端数据缓存放入相应的存储设备读写列队中,根据所述存储设备读写列队依次进行文件读写操作。
2.根据权利要求1所述的方法,其特征在于,所述优先级标识包括高优先级读标识、中优先级读标识、低优先级读标识、高优先级写标识、中优先级写标识、低优先级写标识;所述文件访问客户端读写列队及所述存储设备读写列队包括高优先级读列队、中优先级读列队、低优先级读列队、高优先级写列队、中优先级写列队、低优先级写列队。
3.根据权利要求2所述的方法,其特征在于,所述文件访问客户端数据缓存块具有的所述文件访问客户端设置的优先级标识包括以下至少之一所述文件访问客户端数据缓存块具有所述文件访问客户端响应于用户的操作设置的优先级标识;当文件写关闭时,该文件拥有的所有还未写入到文件访问服务端的文件访问客户端数据缓存块具有所述文件访问客户端设置的高优先级写标志。
4.根据权利要求2所述的方法,其特征在于,文件访问服务端根据所述文件访问客户端数据缓存块的优先级标识,为所述文件访问客户端数据缓存块对应的文件访问服务端数据缓存设置相应的优先级标识时,还包括当所述文件访问服务端在接收到副本复制或迁移请求时,为源副本所在的数据缓存设置低优先级读/写标识,以低优先级读所述源副本,并将设置了低优先级写标识的所述源副本所在的数据缓存发送给目的文件访问服务端。
5.根据权利要求2至4任一项所述的方法,其特征在于,文件访问服务端接收文件访问客户端根据文件访问客户端读写列队发送的文件访问客户端数据缓存块包括所述文件访问服务端接收所述文件访问客户端根据预定的第一比例发送的不同优先级读写列队的文件访问客户端数据缓存块;根据所述存储设备读写列队依次进行文件读写操作包括所述存储设备根据预定的第二比例对不同优先级读写列队的文件访问服务端数据缓存进行读写处理。
6.一种分布式文件系统的文件访问客户端,其特征在于,包括标识模块,用于为文件访问客户端数据缓存块设置优先级标识;列队模块,用于根据所述优先级标识将所述文件访问客户端数据缓存块放入对应的文件访问客户端读写列队;发送模块,用于根据所述文件访问客户端读写列队将所述文件访问客户端数据缓存块发送给所述文件访问服务端处理。
7.根据权利要求6所述的文件访问客户端,其特征在于,所述标识模块包括以下至少之一第一设置单元,用于响应于用户的操作为文件访问客户端数据缓存块设置优先级标识;第二设置单元,用于在文件写关闭时,为该文件拥有的所有还未写入到文件访问服务端的数据缓存标识上高优先级写标志。
8.根据权利要求7所述的文件访问客户端,其特征在于,所述发送模块,用于根据预定比例将不同优先级读写列队的文件访问客户端数据缓存块发送给所述文件访问服务端处理。
9.一种分布式文件系统的文件访问服务端,其特征在于,包括设置模块,用于根据文件访问客户端数据缓存块的优先级标识,为所述文件访问客户端数据缓存块对应的文件访问服务端数据缓存设置相应的优先级标识;发送模块,用于将设置了优先级标识的文件访问服务端数据缓存发送给所述存储设备处理。
10.根据权利要求9所述的文件访问服务端,其特征在于,还包括副本模块,用于在接收到副本复制或迁移请求后,为源副本所在的数据缓存设置低优先级读/写标识,以低优先级读所述源副本,并将设置了低优先级写标识的所述源副本所在的数据缓存发送给目的文件访问服务端。
11.一种分布式文件系统的存储设备,其特征在于,包括列队模块,用于根据文件访问服务端数据缓存的优先级标识将所述文件访问服务端数据缓存放入相应的存储设备读写列队中;读写模块,用于根据所述存储设备读写列队依次进行文件读写操作。
12.根据权利要求11所述的存储设备,其特征在于,所述读写模块,用于根据预定比例对不同优先级读写列队的文件访问服务端数据缓存进行读写处理。
13.—种分布式文件系统,其特征在于,包括文件访问客户端、文件访问服务端、存储设备,其中,所述文件访问客户端,用于为文件访问客户端数据缓存块设置优先级标识,根据所述优先级标识将所述文件访问客户端数据缓存块放入对应的文件访问客户端读写列队,根据所述文件访问客户端读写列队将所述文件访问客户端数据缓存块发送给所述文件访问服务端处理;所述文件访问服务端,用于根据所述文件访问客户端数据缓存块的优先级标识,为所述文件访问客户端数据缓存块对应的文件访问服务端数据缓存设置相应的优先级标识,将设置了优先级标识的文件访问服务端数据缓存发送给所述存储设备处理;所述存储设备,用于根据所述文件访问服务端数据缓存的优先级标识将所述文件访问服务端数据缓存放入相应的存储设备读写列队中,根据所述存储设备读写列队依次进行文件读写操作。
全文摘要
本发明公开了一种分布式文件系统文件读写方法、分布式文件系统及其装置,上述方法包括文件访问服务端接收文件访问客户端根据文件访问客户端读写列队发送的文件访问客户端数据缓存块,其中,文件访问客户端数据缓存块具有优先级标识;文件访问服务端根据优先级标识,为文件访问服务端数据缓存设置相应的优先级标识,并发送给存储设备处理;存储设备根据优先级标识将文件访问服务端数据缓存放入相应的存储设备读写列队中,依次进行文件读写操作。通过本发明提供的技术方案,解决了优先写入或读取的操作不能及时得到满足的问题,进而达到了满足不同文件对读写速度不同的需求的效果。
文档编号H04L29/08GK102262668SQ20111021429
公开日2011年11月30日 申请日期2011年7月28日 优先权日2011年7月28日
发明者夏舰波, 罗文彬 申请人:南京中兴新软件有限责任公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1