网络附加存储节点的元数据同步方法及网络附加存储节点的制作方法

文档序号:7682861阅读:120来源:国知局
专利名称:网络附加存储节点的元数据同步方法及网络附加存储节点的制作方法
技术领域
本发明涉及网络存储技术领域,尤其涉及网络附加存储节点的元数据同步 方法及网络附加存储节点。背景4支术集群技术是一种广泛采用的服务提供技术,其核心是将多台计算机在网络 上进行分布式部署以共同提供服务,有效的推动了服务提供的发展。网络附加存^f诸(NAS, Network Attached Storage ):技术是一种将分布的、 独立的各个小数据整合成大型的、集中化管理的数据中心,以便各个用户进行 访问的4支术。图1为NAS系统的结构示意图,结合该图可知,NAS系统包括NAS客户端,可以通过NAS集群提供的服务,对NAS存储设备进行访问, 进行查看、写入、删除、读取及修改数据等搡作,NAS客户端包括提供应用的 服务器、内网用户等。NAS集群,由多台向NAS客户端提供NAS服务的计算机通过网络组成, 所述提供NAS服务的计算机通常称为NAS节点,可以用于存储文件内容数据 对应的元数据,例如图示的文件内容数据A、 B及C分别对应的元数据a、 b 及c,图中仅画出该集群内有两个NAS节点的情况;NAS存储设备,通常用于存储文件的内容数据,例如图示的文件内容数据 A、 B及C等。基于集群的NAS技术大大推动了网络存储的发展,但是由于集群内的计 算机是分布式部署的特点,NAS系统有一个亟需解决的一个问题如何将NAS集群的各个NAS节点的文件数据进行同步。在文件系统的设计层次,文件数据通常包括文件内容数据及文件元数据, 其中文件元数据是文件系统对文件内容数据进行管理的必要信息,为本领域专业术语,通常包括文件系统超级块(super block),文件信息节点(Inode, Information Node )、当前用户读写锁(flock)及文件内容数据的存储位置等信 息,且每一份文件内容对应的文件元数据的数据量通常较小。在NAS节点间同步文件数据的关键是同步文件元数据,且提高NAS集群 性能的关键也在于将各个NAS节点间文件元数据进行同步。参照图2,为现有技术NAS节点同步元数据的过程示意图,结合该图可知, 现有技术中,NAS节点进行元数据同步方法为全同步方式定时将自身各个文 件元数据同步给其他NAS节点。以NAS节点1为例,现有技术同步元数据的过程如下,其中假设NAS节 点每隔时间段t同步元数据在时刻t0, NAS节点1将元数据a及b同步给NAS节点2;在时刻tl , tl小于t0+t,如果NAS节点1基于NAS客户端1的请求将文 件内容数据C写入后端存储设备,并存储文件内容数据C对应的元数据c;则在时刻t0+t到来时,NAS节点1将元数据a、 b及c同步给NAS节点2。可以看出,基于现有元数据同步方法,将导致部分元数据重复同步。虽然 元数据的数据量相对于文件内容数据来讲较少,现有方法在小型规模和中型规 模的存储系统中还能够适用。但当存储系统的容量增加到一定值的时候,基于 这种"全同步"方法来同步元数据,使得NAS节点间部分元数据重复传递,将 带来增大NAS节点开销,加大集群网络负担等一系列问题。此外上述现有的元数据同步方法是定时同步元数据,例如上例中,在时刻 t0与t0+t之间,NAS节点1新增元数据c,但是NAS节点1在时刻t0+t才将 该元数据c同步,这使得NAS节点上变动的元数据不能及时同步,降低元数 据的同步效率,从而可能降低NAS服务的质量。例如如果在NAS节点l新增元数据c的时刻tl与时刻tO+t之间,NAS客户端2向NAS节点2请求访问 文件内容数据C,则NAS节点2中没有该文件内容数据C对应的元数据c。按 照现有技术,NAS节点2将通知其他NAS节点查找文件内容数据C对应的元 数据c,然后NAS节点1基于该通知,查找出文件内容数据C对应的元数据c, 并同步给NAS节点2,这样在NAS客户端2上能够明显感觉到延迟,即降低 了 NAS节点2提供的NAS服务的质量。发明内容本发明实施例提供一种NAS节点的元数据同步方法及NAS节点,以避免 重复同步元数据,从而减少同步元数据所消耗的各种资源。本发明实施例提出了一种NAS节点的元数据同步方法,包括在NAS节 点集群中,各个NAS节点记录发生变动的元数据及其变动方式;以及向其他 NAS节点同步所述记录的元数据及其变动方式。本发明实施例还4€出了一种NAS节点,包括凝:据记录单元,用于记录 发生变动的元凝:据及其变动方式;数据同步单元,用于向网络附加存储节点集 群中的其他网络附加存储节点同步所述数据记录单元记录的元数据及其变动 方式。本发明实施例还提供一种NAS节点的元数据同步方法及NAS节点,以提 高元数据同步效率,进而提高NAS服务的质量。本发明实施例提出了一种NAS节点的元数据同步方法,包括在NAS节 点集群中,各个NAS节点监控自身存储的元数据是否发生变化;以及在监控 到所述元数据发生变动时,将自身存储的全部元数据同步给其他NAS节点。本发明实施例还提出了一种NAS节点,包括数据监控单元,用于监控 所述节点存储的元数据是否发生变化;数据同步单元,用于在数据监控单元监 控到所述元数据发生变动时,将所述节点存储的全部元数据同步给网络附加存储节点集群中的其他网络附加存储节点。本发明实施例通过在NAS集群中,各个NAS节点记录发生变动的元数据 及其变动方式;以及向其他NAS节点同步所述记录的元数据及其变动方式。, 避免了现有技术NAS节点定时同步全部元数据,造成元数据重复同步,带来 增大NAS节点开销,加大集群网络负担等一系列的问题,减少了同步元数据 需要消耗的各种资源。本发明实施例通过在NAS节点集群中,各个NAS节点监控自身存储的元 数据是否发生变化;以及在监控到所述元数据发生变动时,将自身存储的全部 元数据同步给其他NAS节点,使得元数据能够得到及时同步,提高了元数据 同步的效率,进而提高了 NAS服务的质量。


图1为NAS系统的结构示意图;图2为现有技术NAS节点同步元数据的过程示意图;图3为本发明实施例中NAS节点第一种元数据同步方法的流程图;图4为本发明第 一实施例中NAS节点同步元数据的过程示意图;图5为本发明实施例提出的第一种NAS节点的结构示意图;图6为本发明实施例中NAS节点第二种元数据同步方法的流程图;图7为本发明实施例提出的第二种NAS节点的结构示意图。
具体实施方式
针对背景技术提及的问题,本发明实施例提出NAS节点在向其他NAS 节点同步元数据时,通过同步发生变动的元数据及其变动方式,以避免重复同 步元数据,减少同步元数据需要消耗的各种资源;另外,NAS节点还可以在数据变动时,向其他NAS节点同步自身存储的全部元数据或变动的元数据, 以解决元数据同步效率低,降低NAS服务质量的问题。下面结合说明书附图阐述上述方案。方案一、NAS节点同步变动的元数据及其变动方式。图3为本发明实施例中NAS节点第一种元数据同步方法的流程图,结合 该图可知,其过程包括步骤1,在NAS节点集群中,各个NAS节点记录发生变动的元数据及其 变动方式;在NAS节点向NAS客户端提供各种NAS服务的过程中,由于NAS客户 端的各种操作,可能导致NAS节点内元数据的变动,也就对应有元数据的变 动方式。例如NAS客户端在基于NAS节点向后端存储设备写入文件内容数据 C时,NAS节点1将添加元^t据c,此时变动方式可以为"添加元it据"。此 外变动方式还可以包括元数据发生改变、删除元数据等方式。在记录元数据变动方式时,还可以记录元数据变动时间,用于识别出哪些 变动的元数据还没有同步。当然,这是可选的,因为还可以通过每次在元数据 发生变动时,就将发生变动的元数据及变动方式同步,避免存储有未同步的元 数据,这样就可以不用记录变动时间。步骤2,向其他NAS节点同步所述记录的元数据及其变动方式。NAS节点向其他NAS节点同步变动的元数据及变动方式时,可以有多种 同步方式,包括定时同步,即在预定第一时间段到来时,同步在最近一次同步元数据后变 动的元数据及其变动方式,此时除记录变动方式外,还需要记录变动时间,才 能够识别出应该同步哪些元数据,所述第一时间段通常晚于元数据的变动时 间。例如在同步时刻t0, NAS节点将存储的元数据a及b同步给其他NAS节点;在时刻tl ,元数据a变为al, NAS节点存储有元数据al及b;则预定第一时间段,例如下次同步时刻tO+t到来时,需要识别出哪个元数 据是在tO后变动的,因此在记录al的变动方式时,还需要记录al变动的时间 为tl,这样在tO+t时刻,才艮据al的变动时刻为tl,大于tO,就可以确定al是 在时刻tO后变动的,需要将al同步给其他NAS节点。触发方式同步即在元数据变动时,同步变动的元数据及其变动方式;例如在时刻tl,元数据a变动为al时,NAS节点就将al及其变动方式同 步给其他NAS节点,这样就无需通过变动时间来确定哪些元数据是在最近一 次同步后变动的,也就无需记录元凄t据的变动时间。定时及触发方式结合基于变动方式,采用定时方式同步一部分变动的元 数据及其变动方式,并采用触发方式同步另一部分变动的元数据及其变动方 式。此时可以针对元数据的变动方式选择相应的同步策略,例如在读取多而写 入少的NAS部署环境中,可以全部釆用触发方式同步变动的元数据及其变动 方式,而在一般的NAS环境中,在变动方式为添加元数据及删除元数据等方 式时,采用触发方式同步变动的元数据,其他的变动方式采用定时方式同步变 动的元数据。该方案一中,在同步变动的元数据及其变动方式的基础上,还可以结合现 有技术中的同步全部元数据的方式,以在将自身的全部元数据同步后,删除存 储的元数据变动方式及可能存储的元数据变动时间等操作数据,释放相应的存同样也可以节约同步元数据所需要消耗的各类资源。上述删除操作记录,释放相应存储空间是在预定时间同步全部元数据后执 行的,实际上,通过上述同步变动元数据的方式已经可以将自身的全部元数据 同步给其他NAS节点,因此在预定时间同步全部元数据是可选的。同样,由于操作记录所占的存储空间较小,该删除操作记录,释放相应存 储空间的步骤也是可选的。下面给出几个实施例,来具体阐述上述方案。实施例一、记录变动元数据的变动方式及时间,以及基于定时与触发的结 合方式,同步变动的元数据及其变动方式;并在预定时间同步全部的元数据, 以释放搡作记录所占用的存储空间。图4为本发明第 一实施例中NAS节点同步元数据的过程示意图,图中NAS 集群由NAS节点1及2构成,其中NAS节点1向NAS客户端1提供NAS服 务,NAS节点2向NAS客户端2提供NAS服务。元数据定时同步方式的同步 时间为每隔时间段t同步,在元数据的变动方式为添加及删除元数据时,采用 触发方式同步变动的元数据,其他变动方式采用定时方式同步变动的元数据。假设在时刻t0, NAS节点1将元数据a及b同步给NAS节点2;在时刻tl,客户端1基于NAS节点1向后端存储设备写入文件内容数据 C,并修改元数据a对应的文件内容数据A,使得a变为al;则NAS节点1 上变动的元数据为c及al,其中将元数据c的变动方式记录为添加元数据,元 数据al的变动方式记录为更新元数据a,并记录元数据al变动的时间为tl。由于元数据c的变动方式为添加元数据,应该采用触发方式同步元数据c 及其变动方式,于是在存储元数据c后,NAS节点1就向NAS节点2传送c 及其变动方式,NAS节点2在接收到c及其变动方式后,在原有元lt据中添加 元数据c。而元数据al的变动方式为更新元数据,应采用定时方式同步,于是NAS 节点1在定时时刻tO+t到达时,首先确定元数据al的变动时间为tl,大于前 一次定时同步时刻t0,因此向NAS节点2传递元数据al及其变动方式,NAS 节点2在接收到元数据al及其变动方式后,将原有元数据中的元数据a更新 为元数据al。假设时刻t2为将NAS节点1将全部元数据同步给NAS节点2,并删除变 动方式、变动时间等操作记录的时刻,则在时刻t2到来时,NAS节点l将当 前自身的全部元数据al 、 b及c同步给NAS节点2,并删除上述记录的al及C的变动方式,以及al的变动时间,释放相应存储空间。其中t2也可以与定时同步方式的时间重合,例如与tO+t重合,即在定时同步一些变动的元数据时,同步全部的元数据,删除操作记录。上述实施例仅是通过记录变动元数据的变动方式及时间,以及基于定时与 触发的结合方式,同步变动的元数据及其变动方式,并在预定时间同步全部元 数据,删除操作记录来阐述上述方案,实际上,如上所述,元数据变动时间也 可以不记录,而且同步方式还可以使用其他同步方式等来实现上述方案,由于 根据实施例一的实施过程,本领域技术人员容易推断出其他情况下该方案一的 实施过程,下文不再赘述。针对方案一中的元数据同步方法,本发明实施例提出了第一种NAS节点, 以避免重复同步元数据,减少同步元数据需要耗费的资源。图5为本发明实施例提出的第一种NAS节点的结构示意图,结合该图可 知,本发明实施例提出的第一种NAS节点10包括数据记录单元11,用于记录发生变动的元数据及其变动方式;数据同步单元12,用于向NAS节点集群中的其他NAS节点同步所述数据 记录单元11记录的元数据及其变动方式。方案二、 NAS节点在元数据发生变动时,向其他NAS节点同步自身存储 的全部元数据。现有技术同步元数据是定时同步的,也就可能导致元数据不能及时同步, 降低元数据同步效率的问题,本发明实施例提出可以由NAS节点在元数据变 动时,向其他NAS节点同步自身存储的全部元数据,使得元数据及时同步, 提高同步效率。图6为本发明实施例中NAS节点的第二种元数据同步方法的流程图,结 合该图可知,NAS节点的第二种元数据同步方法的流程为步骤A,在NAS集群中,各个NAS节点监控自身存储的元数据是否发生 变化;通常NAS节点在向NAS客户端提供NAS服务时,将使得相应元数据变 动,其中监控方式较为常见,此处不再详述。步骤B,在监控到所述元数据发生变动时,将自身存储的全部元数据同步 给其他NAS节点。通过在元数据变动时,就将元数据同步给其他NAS节点,可以使得元数 据能够及时同步。方案二与方案一中提到的触发方式比较类似,只不过方案二中,NAS节点 向其他NAS节点同步的是自身存储的全部元数据,而不仅是变动的元数据。 无论同步变动的那部分元数据还是全部的元数据,基于这种触发式的同步都能 够提高元数据同步效率。方案二也可以与定时同步方式结合起来使用,用以在不同的应用情况下, 选择合适的同步方式,来进一步提高同步效率,实际可以根据变动方式,选择 相应的同步方式,与上述实施例类似,例如在元数据a变动为元数据al时,可以采用定时同步方式,即在元数据变 动后的规定时间段,NAS节点向其他NAS节点同步当前自身存储的全部元数 据;而在增添元lt据c时,可以采用触发同步方式,即在添加完元数据c时, NAS节点将包括元数据c在内的全部元数据同步给其他NAS节点。基于方案一触发方式的实施过程,本领域一般技术人员容易推断出方案二 的实施过程,本文不再赘述。针对方案二的元数据同步方法,本发明实施例提出了第二种NAS节点, 以提高元数据的同步效率。图7为本发明实施例提出的第二种NAS节点的结构示意图,结合该图可 知,该第二种NAS节点20包括数据监控单元21,用于监控所述节点20存储的元数据是否发生变化;数据同步单元22,用于在数据监控单元21监控到所述元数据发生变动时, 将所述节点20存储的全部元数据同步给NAS节点集群中的其他NAS节点。本发明实施例通过NAS节点记录变动的元数据及其变动方式,并将记录 的元数据及其变动方式同步给其他NAS节点,避免了现有技术中NAS节点在 向其他NAS节点同步元数据时,每次都同步自身存储的全部元数据,导致部 分元数据重复同步,以及增加NAS节点重复同步元数据多余消耗的各类资源 的问题,减少了同步元数据所消耗的资源。本发明实施例可以通过NAS节点记录元数据的变动时间,使得NAS节点 可以在元数据变动后的规定第一时段到达时,向其他NAS节点同步变动的元 数据及其变动方式,增加了 NAS节点同步元数据的方式,满足了不同的场合 的需要。本发明实施例还可以通过NAS节点在元数据发生变动时,将变动的元数 据及其变动方式同步给其他NAS节点,在成功避免元数据重复同步的情况下, 还能够及时同步元数据,提高元数据的同步效率。本发明实施例还可以通过NAS节点针对不同的应用场景,例如元数据发 生的不同变动,来选择在元数据变动时,和/或元数据变动后的规定时刻,向其 他NAS节点同步变动的元数据,从而提高了方案的应用性,满足了不同的场 景需求,有利于方案的推广使用。本发明实施例还可以通过NAS节点在向其他NAS节点同步了变动的元数 据及其变动方式,或者同步了自身存储的全部元数据后,删除记录的变动方式 等操作记录,释放相应存储空间,从而节约了 NAS的存储空间。本发明实施例可以通过NAS节点监控自身存储的元数据是否发生变化; 以及在监控到所述元数据发生变动时,将自身存储的全部元数据同步给其他 NAS节点,以避免采用现有技术同步元数据时,使得元数据不能够即使同步, 降低元数据同步效率的问题,提高了元数据的同步效率。显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发 明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及 其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
权利要求
1、一种网络附加存储节点的元数据同步方法,其特征在于,包括在网络附加存储节点集群中,各个网络附加存储节点记录发生变动的元数据及其变动方式;以及向其他网络附加存储节点同步所述记录的元数据及其变动方式。
2、 如权利要求1所述的方法,其特征在于,还包括记录所述元数据发生 变动的时间的步骤。
3、 如权利要求2所述的方法,其特征在于,在所述记录的时间后规定第 一时段到达时,向其他网络附加存储节点同步所述记录的元数据及其变动方 式。
4、 如权利要求1所述的方法,其特征在于,在元数据发生变动时,向其 他网络附加存储节点同步所述记录的元数据及其变动方式。
5、 如1 4任一项权利要求所述的方法,其特征在于,在向其他网络附加 存储节点同步所述记录的元数据及其变动方式后,还包括删除记录的变动方式 的步骤。
6、 如权利要求1所述的方法,其特征在于,还包括步骤 在预设第二时段到达时,向其他网络附加存储节点同步自身存储的全部元数据;以及删除所述记录的变动方式。
7、 一种网络附加存储节点,其特征在于,包括 数据记录单元,用于记录发生变动的元数据及其变动方式;数据同步单元,用于向网络附加存储节点集群中的其他网络附加存储节点 同步所述数据记录单元记录的元数据及其变动方式。
8、 一种网络附加存储节点的元数据同步方法,其特征在于,包括 在网络附加存储节点集群中,各个网络附加存储节点监控自身存储的元数据是否发生变化;以及在监控到所述元数据发生变动时,将自身存储的全部元数据同步给其 他网络附加存储节点。
9、 如权利要求8所述的方法,其特征在于,还包括在元数据变动后的规 定时段到达时,将自身存储的全部元数据同步给其他网络附加存储节点的步骤。
10、 一种网络附加存储节点,其特征在于,包括 数据监控单元,用于监控所述节点存储的元数据是否发生变化; 数据同步单元,用于在数据监控单元监控到所述元数据发生变动时,将所述节点存储的全部元数据同步给网络附加存储节点集群中的其他网络附加存 储节点。
全文摘要
本发明公开了一种NAS节点的元数据同步方法及NAS节点,以避免NAS集群中,NAS节点重复向其他NAS节点同步元数据,该方法包括在NAS节点集群中,各个NAS节点记录发生变动的元数据及其变动方式;以及向其他NAS节点同步所述记录的元数据及其变动方式;本发明还公开了一种NAS节点的元数据同步方式及NAS节点,以提高NAS节点的元数据的同步效率,该方法包括在NAS集群中,各个NAS节点监控自身存储的元数据是否发生变化;以及在监控到所述元数据发生变动时,将自身存储的全部元数据同步给其他NAS节点。
文档编号H04L29/08GK101232514SQ20081000425
公开日2008年7月30日 申请日期2008年1月24日 优先权日2008年1月24日
发明者程任全, 迁 黄 申请人:创新科存储技术(深圳)有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1