元数据服务集群的快照更新管理方法及系统与流程

文档序号:16209275发布日期:2018-12-08 07:31阅读:126来源:国知局
本发明涉及集群管理
技术领域
:,特别是涉及一种元数据服务集群的快照更新管理方法及系统。
背景技术
:分布式文件系统的元数据服务集群中,每个元数据服务器mds内均包含一个snaptable,即一种快照表,用于保存快照的序列号及快照信息、最新一次删除/创建等等快照的元数据。目前,在某一个mds对自身的快照表进行更新后,例如mds1发生更新,其他mds若需要进行同步更新的话,需要直接发送请求至mds1来获取mds1的更新快照数据。这样使得,在某些需要获取大量快照数据的业务下,想要得到需求的快照数据的话,需要集群内各个mds之间多次进行交互,操作复杂,业务完成时间长。因此,如何提供一种操作简便的元数据服务集群的快照更新管理方法及系统是本领域技术人员目前需要解决的问题。技术实现要素:本发明的目的是提供一种元数据服务集群的快照更新管理方法及系统,一种元数据服务集群的快照更新管理方法,由管理服务器保存集群内全部元数据服务器的快照更新数据,方便后续业务应用获取快照数据。为解决上述技术问题,本发明提供了一种元数据服务集群的快照更新管理方法,基于快照更新管理系统,所述系统包括多个元数据服务器以及管理服务器;所述方法包括:所述元数据服务器进行快照表更新后发送快照更新请求至所述管理服务器,所述快照更新请求内包含快照更新的元数据信息;所述管理服务器接收所述元数据服务器发送的快照更新请求后进行缓存,据此更新自身的快照表;接收快照获取请求后,将对应的快照表数据发送至相应的对象端。优选地,还包括:所述管理服务器接收所述快照更新请求后,发送快照更新通知至集群内、除进行快照更新的所述元数据服务器以外的全部元数据服务器内;所述快照更新通知内携带有发生快照更新的元数据服务器的标识。优选地,还包括:所述元数据服务器发送快照同步更新请求至所述管理服务器,所述快照同步更新请求内携带有作为同步对象的元数据服务器的标识;所述管理服务器接收所述快照同步更新请求后,依据所述快照同步更新请求内携带的标识查找对应的快照更新请求,并将查找结果返回至发送所述快照同步更新请求的元数据服务器。优选地,还包括:所述管理服务器发送所述快照更新通知后,等待各个所述元数据服务器返回的响应;所述管理服务器收到除进行快照更新的所述元数据服务器以外的全部元数据服务器返回的响应后,发送允许指令至所述进行快照表更新的元数据服务器;所述进行快照表更新的元数据服务器接收所述允许指令后,将自身快照表更新数据写入日志内。优选地,还包括:所述管理服务器若在预设时间后未接收到全部响应,则发送携带有未返回响应的元数据服务器的标识的允许指令至所述进行快照表更新的元数据服务器;所述进行快照表更新的元数据服务器将所述未返回响应的元数据服务器的标识写入自身日志内。优选地,所述进行快照表更新的元数据服务器将自身快照表更新数据写入日志后,还包括:所述进行快照表更新的元数据服务器发送提交完成通知至所述集群内除自身以外的全部元数据服务器。优选地,所述进行快照表更新的元数据服务器发送所述快照更新请求之前还包括:所述进行快照表更新的元数据服务器获取锁,锁定自身元数据列表;相应的,所述进行快照表更新的元数据服务器将自身快照表更新数据写入日志后,还包括:所述进行快照表更新的元数据服务器释放锁,释放自身元数据列表。优选地,所述快照更新的元数据信息具体包括:快照更新操作内容、快照更新操作目录和快照更新操作时间。为解决上述技术问题,本发明还提供了一种元数据服务集群的快照更新管理系统,包括多个元数据服务器以及管理服务器;所述元数据服务器,用于进行快照表更新后发送快照更新请求至所述管理服务器,所述快照更新请求内包含快照更新的元数据信息;所述管理服务器,用于接收所述元数据服务器发送的快照更新请求后,据此更新自身的快照表;接收快照获取请求后,将对应的快照表数据发送至相应的对象端。本发明提供了一种元数据服务集群的快照更新管理方法及系统,当某一个元数据服务器进行快照表更新后,该元数据服务器会将快照更新信息发送至管理服务器内进行缓存更新,这样使得管理服务器内包含集群内全部元数据服务器的快照更新数据,任何业务应用在需要快照数据时,仅需要从管理服务器内获取即可,而不需要各个元数据服务器之间进行多次交互,方便了业务应用获取快照数据,简化了业务应用在获取快照数据时的操作步骤,减少了业务应用的处理时间。附图说明为了更清楚地说明本发明实施例中的技术方案,下面将对现有技术和实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1为本发明提供的一种元数据服务集群的快照更新管理方法的过程的流程图;图2为本发明提供的另一种元数据服务集群的快照更新管理方法的过程的流程图。具体实施方式本发明的核心是提供一种元数据服务集群的快照更新管理方法及系统,由管理服务器保存集群内全部元数据服务器的快照更新数据,方便后续业务应用获取快照数据。为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。本发明提供了一种元数据服务集群的快照更新管理方法,基于快照更新管理系统,系统包括多个元数据服务器以及管理服务器;参见图1所示,图1为本发明提供的一种元数据服务集群的快照更新管理方法的过程的流程图;该方法包括:步骤s1:元数据服务器进行快照表更新后发送快照更新请求至管理服务器,快照更新请求内包含快照更新的元数据信息;其中,元数据服务集群内会选择一个元数据服务器作为管理服务器,执行一些管理操作。对于快照表更新这一操作,可以认为管理服务器为snapserver(即快照服务方),管理服务器与其他元数据服务器均为snapclient(快照客户方),因为管理服务器本身也属于元数据服务器,故管理服务器包含snapserver和snapclient两种身份。某一元数据服务器内对快照表进行更新后,会发送快照更新请求至管理服务器。此时,由于进行快照更新的元数据服务器仅是进行了更新操作,而未将更新结果刷写至磁盘内,故为避免更新结果丢失,需要在进行快照更新的元数据服务器内缓存此次快照更新的元数据信息。步骤s2:管理服务器接收元数据服务器发送的快照更新请求后进行缓存,据此更新自身的快照表;接收快照获取请求后,将对应的快照表数据发送至相应的对象端。这里的快照获取请求,可以是外界服务器发送的,也可能是集群内某一个元数据服务器发送的,本发明对此不作限定。由于管理服务器本身也属于元数据服务器的一种,因此管理服务器内的快照表也需要进行快照表更新同步,因此,管理服务器接收快照更新请求后,需要首先据此更新自身的快照表。在一种具体实施中,该方法还包括:管理服务器接收快照更新请求后,发送快照更新通知至集群内、除进行快照更新的元数据服务器以外的全部元数据服务器内;快照更新通知内携带有发生快照更新的元数据服务器的标识。可以理解的是,在有元数据服务器进行快照更新后,其他元数据服务器可能会存在对该快照更新进行同步的需求,因此,当有元数据服务器进行快照更新后,需要管理服务器通知整个集群,方便其他元数据服务器进行数据获取。进一步可知,该方法还包括:元数据服务器发送快照同步更新请求至管理服务器,快照同步更新请求内携带有作为同步对象的元数据服务器的标识;管理服务器接收快照同步更新请求后,依据快照同步更新请求内携带的标识查找对应的快照更新请求,并将查找结果返回至发送快照同步更新请求的元数据服务器。可以理解的是,部分元数据服务器会存在数据同步的需求,故这些元数据服务器在得知有元数据服务器发生快照更新后,会向管理服务器发送请求,来获取快照更新请求,进行同步更新。在一种具体实施中,该方法还包括:管理服务器发送快照更新通知后,等待各个元数据服务器返回的响应;管理服务器收到除进行快照更新的元数据服务器以外的全部元数据服务器返回的响应后,发送允许指令至进行快照表更新的元数据服务器;进行快照表更新的元数据服务器接收允许指令后,将自身快照表更新数据写入日志内。这里等待返回响应的目的,是为了确认各个元数据服务器是否接收到通知。其中,由于管理服务器不能无限时的等待响应,因此一般会设置一个预设时间,判断预设时间内是否接收到全部响应。当然,预设时间的数值本发明不作限定。可以理解的是,正常情况下,管理服务器能够收到自身发送通知的全部元数据服务器返回的响应。接收到全部响应后,才能够确认通知完成,此时,再通知进行快照表更新的元数据服务器进行日志写入。元数据服务集群内,日志是用于对操作内容进行记录的,后续会周期性的将日志刷写至磁盘内,因此,需要保证日志的正确性和完整性。若进行快照表更新的元数据服务器一旦完成快照更新即在日志内记录更新完成的话,那么日志内则无法包含快照更新通知的情况,使得后续无法依据日志记录的内容得知此次日志更新的通知情况。因此,在接收到管理服务器发送的允许指令后,再进行日志写入,则能够尽可能保证日志的正确性和完整性。另外,在日志写入时,会将此次快照更新的信息以及快照更新同步的信息均记录至日志内,并且元数据服务器会将记录的日志片段提交至自身的整体日志内进行保存,以供后续将整体日志刷写至磁盘内。另外,元数据服务器会周期性地将日志刷写至磁盘内,因此,为了避免刷写至磁盘内的日志内容重复,仅需要在进行快照表更新的元数据服务器内进行日志写入即可。虽然,通常情况下,管理服务器应该能够收到自身发送快照更新通知的全部元数据服务器返回的响应,但是部分情况下,可能会由于有些元数据服务器故障或者通信问题出现仅接收到部分响应的情况,此时该方法还包括:管理服务器若在预设时间后未接收到全部响应,则发送携带有未返回响应的元数据服务器的标识的允许指令至进行快照表更新的元数据服务器;进行快照表更新的元数据服务器将未返回响应的元数据服务器的标识写入自身日志内。可以理解的是,若部分元数据服务器未在预设时间内返回响应的话,通常会认为该部分元数据服务器的存在故障,此时,管理服务器需要筛选出这部分通知失败的元数据服务器的标识,并发送至进行快照表更新的元数据服务器,使进行快照表更新的元数据服务器能够将这部分标识写入日志内,方便后续用户得知本次快照更新时哪部分元数据服务器通知失败。在一种具体实施例中,进行快照表更新的元数据服务器将自身快照表更新数据写入日志后,还包括:进行快照表更新的元数据服务器发送提交完成通知至集群内除自身以外的全部元数据服务器。可以理解的是,通过发送提交完成通知,能够告知其他元数据服务器此次快照更新操作已经写入日志内了,快照更新进程完成。在一种具体实施例中,进行快照表更新的元数据服务器发送快照更新请求之前还包括:进行快照表更新的元数据服务器获取锁,锁定自身元数据列表;相应的,进行快照表更新的元数据服务器将自身快照表更新数据写入日志后,还包括:进行快照表更新的元数据服务器释放锁,释放自身元数据列表。可以理解的是,元数据服务器对于实际的客户端是属于服务端的,因此,可能会有一些客户端对元数据服务器进行访问,若此时元数据服务器正在进行快照更新的话,不仅客户端的访问可能影响元数据服务器的快照更新,元数据服务器的快照更新也可能影响客户端的访问结果,因此,为了避免这种情况,在元数据服务器进行快照更新时,使用锁来锁定该元数据服务器的元数据列表,是外部客户端无法在此时进行访问,快照更新完毕后,再释放锁。另外,元数据服务器获取的锁设置有相应的锁权限,不同的锁权限允许执行不同的操作,本发明中元数据服务器获取的锁的锁权限需要能够允许执行快照操作。其中,本发明快照更新的元数据信息具体包括:快照更新操作内容、快照更新操作目录和快照更新操作时间。当然,元数据信息还可包含其他内容,本发明对此不作特别限定。参见图2所示,图2为本发明提供的另一种元数据服务集群的快照更新管理方法的过程的流程图。本发明提供了一种元数据服务集群的快照更新管理方法,当某一个元数据服务器进行快照表更新后,该元数据服务器会将快照更新信息发送至管理服务器内进行缓存更新,这样使得管理服务器内包含集群内全部元数据服务器的快照更新数据,任何业务应用在需要快照数据时,仅需要从管理服务器内获取即可,而不需要各个元数据服务器之间进行多次交互,方便了业务应用获取快照数据,简化了业务应用在获取快照数据时的操作步骤,减少了业务应用的处理时间。本发明还提供了一种元数据服务集群的快照更新管理系统,包括多个元数据服务器以及管理服务器;元数据服务器,用于进行快照表更新后发送快照更新请求至管理服务器,快照更新请求内包含快照更新的元数据信息;管理服务器,用于接收元数据服务器发送的快照更新请求后,据此更新自身的快照表;接收快照获取请求后,将对应的快照表数据发送至相应的对象端。以上的几种具体实施方式仅是本发明的优选实施方式,以上几种具体实施例可以任意组合,组合后得到的实施例也在本发明的保护范围之内。应当指出,对于本
技术领域
:的普通技术人员来说,相关专业技术人员在不脱离本发明精神和构思前提下推演出的其他改进和变化,均应包含在本发明的保护范围之内。本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其他实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1