一种提升元数据集群性能的方法
【技术领域】
[0001]本发明涉及计算机应用技术领域，适用于文件系统支持元数据集群的情况，能够在元数据集群范围内平衡负载，提高元数据集群处理数据的效率，具体地说，特别涉及一种提升元数据集群性能的方法。
【背景技术】
[0002]集群(cluster)技术是一种较新的技术，通过集群技术，可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益，其任务调度则是集群系统中的核心技术。
[0003]集群技术分别为科学集群，负载均衡集群和高可用性集群三类。其中，负载均衡集群为企业需求提供了更实用的系统。负载均衡集群使负载可以在计算机集群中尽可能平均地分摊处理。负载通常包括应用程序处理负载和网络流量负载。这样的系统非常适合向使用同一组应用程序的大量用户提供服务。每个节点都可以承担一定的处理负载，并且可以实现处理负载在节点之间的动态分配，以实现负载均衡。对于网络流量负载，当网络服务程序接受了高入网流量，以致无法迅速处理。这时，网络流量就会发送给在其它节点上运行的网络服务程序。同时，还可以根据每个节点上不同的可用资源或网络的特殊环境来进行优化。与科学计算集群一样，负载均衡集群也在多节点之间分发计算处理负载。它们之间的最大区别在于缺少跨节点运行的单并行程序。大多数情况下，负载均衡集群中的每个节点都是运行单独软件的独立系统。
[0004]分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。现有的分布式文件系统主要分为两大部分:元数据管理和数据管理。其中，元数据的请求占文件系统所有请求的50%以上，所以提升元数据请求的处理性能，可以有效提升整个文件系统的性能。
[0005]在多个元数据节点的系统里，每个元数据节点都有自己负责的目录结构。如果某个元数据下面的目录内容访问量加大，构成热点数据，此元数据节点负载压力将增加。这时，如果多个用户同时访问此元数据节点，会造成负载不平衡的情况。如果可以把该元数据节点下部分目录分给其他元数据节点，在元数据集群范围内平衡负载，将有效提升元数据集群处理数据的效率，进而提升整个文件系统的性能。
[0006]针对以上问题，本发明提出了一种通过手动转移元数据集群负载压力以提升整个文件系统处理性能的方式。用户可以在某个元数据负载压力较大时，手动将它负责的部分目录分给其他元数据。
【发明内容】
[0007]本发明为了弥补现有技术的缺陷，提供了一种能够提高集群处理数据效率的提升元数据集群性能的方法。
[0008]本发明是通过如下技术方案实现的: 一种提升元数据集群性能的方法，其特征在于:该方法体系包括导出端、导入端和旁观者三部分，该方法通过在所述导出端手动执行命令方式，将负载较大的元数据节点下的热点目录转移到导入端，并更新旁观者的目录授权信息。
[0009]所述导出端负责驱动整个导出过程，所述导入端负责配合导出端完成目录迀移，所述旁观者为待导出目录的副本的拥有者。
[0010]本大明提升元数据集群性能的方法，其特征在于包括以下步骤:
(1)将导出端的元数据中待导出的目录分片保存到导出端的导出队列，将导出端的元数据通过手动执行export命令触发导出队列，进入导出流程；
(2)将本地待导出目录冻结，并发送消息到导入端，将待迀移目录加载到导入端的缓存；
(3 )导入端将待迀移目录加载至本地后，将待迀移目录标记为授权争议并冻结，随后向导出端回复确认字符ACK ；
(4)导出端接收到导入端回复的确认字符ACK后，向旁观者发送通告，告知副本此目录进入导出流程，待旁观者回复确认字符ACK后，更新日志信息；
(5)导出端将待导出目录的状态设为“正在导出”，并授权待导出目录为授权争议，调整本地负载，减去待导出目录负载后，向导入端发送消息；
(6)导入端处理导出端发送来的消息，记录日志并打开相关会话，向导出端回复确认字符 ACK ；
(7)导出端调整待导出目录的授权并写日志后，向旁观者广播此目录授权信息已变更，等待旁观者回复确认字符ACK后，向导入端发送导出结束消息；
(8)导入端收到导出结束消息后，完成目录导入，目录迀移完成。
[0011]本发明的有益效果是:该提升元数据集群性能的方法，适用于支持多个元数据节点的分布式集群文件系统，在分布式集群文件系统的某个元数据负载较大时，能够在元数据集群范围内平衡负载，提高元数据集群处理数据的效率，进而有效提升系统性能。
【附图说明】
[0012]附图1为发明导出端、导入端以及旁观者三者的流程关系示意图。
【具体实施方式】
[0013]下面结合附图对本发明进行详细的说明。
[0014]该提升元数据集群性能的方法体系包括导出端、导入端和旁观者三部分，所述导出端负责驱动整个导出过程，所述导入端负责配合导出端完成目录迀移，所述旁观者为待导出目录的副本的拥有者。
[0015]该提升元数据集群性能的方法通过在所述导出端手动执行命令方式，将负载较大的元数据节点下的热点目录转移到导入端，并更新旁观者的目录授权信息。
[0016]该提升元数据集群性能的方法，包括以下具体步骤:
(1)将导出端的元数据中待导出的目录分片保存到导出端的导出队列，将导出端的元数据通过手动执行export命令触发导出队列，进入导出流程；
(2)将本地待导出目录冻结，并发送消息到导入端，将待迀移目录加载到导入端的缓存；
(3 )导入端将待迀移目录加载至本地后，将待迀移目录标记为授权争议并冻结，随后向导出端回复确认字符ACK ；
(4)导出端接收到导入端回复的确认字符ACK后，向旁观者发送通告，告知副本此目录进入导出流程，待旁观者回复确认字符ACK后，更新日志信息；
(5)导出端将待导出目录的状态设为“正在导出”，并授权待导出目录为授权争议，调整本地负载，减去待导出目录负载后，向导入端发送消息；
(6)导入端处理导出端发送来的消息，记录日志并打开相关会话，向导出端回复确认字符 ACK ；
(7)导出端调整待导出目录的授权并写日志后，向旁观者广播此目录授权信息已变更，等待旁观者回复确认字符ACK后，向导入端发送导出结束消息；
(8)导入端收到导出结束消息后，完成目录导入，目录迀移完成。
【主权项】
1.一种提升元数据集群性能的方法，其特征在于:该方法体系包括导出端、导入端和旁观者三部分，该方法通过在所述导出端手动执行命令方式，将负载较大的元数据节点下的热点目录转移到导入端，并更新旁观者的目录授权信息。
2.根据权利要求1所述的提升元数据集群性能的方法，其特征在于:所述导出端负责驱动整个导出过程，所述导入端负责配合导出端完成目录迀移，所述旁观者为待导出目录的副本的拥有者。
3.根据权利要求1或2所述的提升元数据集群性能的方法，其特征在于包括以下步骤: (1)将导出端的元数据中待导出的目录分片保存到导出端的导出队列，将导出端的元数据通过手动执行export命令触发导出队列，进入导出流程； (2)将本地待导出目录冻结，并发送消息到导入端，将待迀移目录加载到导入端的缓存； (3 )导入端将待迀移目录加载至本地后，将待迀移目录标记为授权争议并冻结，随后向导出端回复确认字符ACK ； (4)导出端接收到导入端回复的确认字符ACK后，向旁观者发送通告，告知副本此目录进入导出流程，待旁观者回复确认字符ACK后，更新日志信息； (5)导出端将待导出目录的状态设为“正在导出”，并授权待导出目录为授权争议，调整本地负载，减去待导出目录负载后，向导入端发送消息； (6)导入端处理导出端发送来的消息，记录日志并打开相关会话，向导出端回复确认字符 ACK ； (7)导出端调整待导出目录的授权并写日志后，向旁观者广播此目录授权信息已变更，等待旁观者回复确认字符ACK后，向导入端发送导出结束消息； (8)导入端收到导出结束消息后，完成目录导入，目录迀移完成。
【专利摘要】本发明特别涉及一种提升元数据集群性能的方法。该提升元数据集群性能的方法体系包括导出端、导入端和旁观者三部分，所述导出端负责驱动整个导出过程，所述导入端负责配合导出端完成目录迁移，所述旁观者为待导出目录的副本的拥有者；该方法通过在所述导出端手动执行命令方式，将负载较大的元数据节点下的热点目录转移到导入端，并更新旁观者的目录授权信息。该提升元数据集群性能的方法，适用于支持多个元数据节点的分布式集群文件系统，在分布式集群文件系统的某个元数据负载较大时，能够在元数据集群范围内平衡负载，提高元数据集群处理数据的效率，进而有效提升系统性能。
【IPC分类】H04L29-08
【公开号】CN104580471
【申请号】CN201510013603
【发明人】程瑶
【申请人】浪潮电子信息产业股份有限公司
【公开日】2015年4月29日
【申请日】2015年1月12日