分布式系统的管理方法和装置的制造方法
【技术领域】
[0001]本发明涉及计算机领域，具体地，涉及一种分布式系统的管理方法和装置。
【背景技术】
[0002]分布式文件系统一般包含客户端，元数据服务器和数据服务器，客户端负责文件数据的访问接口制定，元数据服务器处理文件的布局及属性，数据服务器存储文件的数据内容。
[0003]对于分布式文件系统，可以存储海量数据是其最主要的特征，而海量数据就伴随着大批量的磁盘和数据节点的存在，而数据节点中的磁盘能耗是非常大的，而系统的业务经常根据时间段的不同而压力大小不同，业务压力小时，大量的数据盘在空载状态，产生了很多不必要的功耗，直接造成了分布式文件系统的使用成本的增加。
[0004]对于该问题，现有技术采用的解决法案是将不同的节点划分为不同的物理分区，对分区内的节点进行关机或整机节能，但是由于这种方法中整个节点处于关机和节能状态，那么当业务需要访问其上的数据时，其由关机或节能状态转移到全速工作状态的切换时间会过长，那么将直接导致上层访问时间的延迟放大。
[0005]针对相关技术中的上述问题，目前尚未提出有效的解决方案。
【发明内容】
[0006]针对相关技术中的上述问题，本发明提出一种分布式系统的管理方法和装置，能够避免整节点关机节能带来的业务切换时间长的问题，并可以有效的利用业务特征进行系统的节能处理。
[0007]本发明的技术方案是这样实现的:
[0008]根据本发明的一个方面，提供了一种分布式系统的管理方法，其中，分布式系统包括元数据服务节点，数据节点。
[0009]该管理方法包括:
[0010]对分布式系统中所有磁盘进行分组，得到多个服务组和多个节能组；
[0011]将多个节能组的读写业务迀移至多个服务组，并对多个节能组内的磁盘进行降速或休眠；
[0012]使多个服务组全速运行所在的业务。
[0013]其中，对分布式系统中的所有磁盘进行分组时，分组的依据包括以下至少之一:
[0014]同一个文件位于同一磁盘组中；
[0015]业务的压力；
[0016]业务的访问方式。
[0017]此外，该管理方法进一步包括:
[0018]在向数据节点读写数据时，数据节点统计该数据节点对应的各磁盘组的业务压力值并发送至元数据服务节点；
[0019]元数据服务节点将各磁盘组的业务压力值与对应各磁盘组的各压力阈值分别进行比较；
[0020]在磁盘组的业务压力值大于对应的压力阈值的情况下，将该磁盘组切换为节能组。
[0021]可选的，该管理方法进一步包括:
[0022]在向数据节点写入新文件时，元数据服务器将新文件写入到该数据节点的同一个服务组内的磁盘中。
[0023]可选的，该管理方法进一步包括:
[0024]在从数据节点读取的文件位于节能组的磁盘中的情况下，数据节点将该节能组内的多个磁盘唤醒以提供服务。
[0025]可选的，该管理方法进一步包括:
[0026]元数据节点定期采集各数据节点所对应的各磁盘组的容量使用情况；
[0027]将服务组的可用容量与节能组的可用容量的差值与容量阈值作比较；
[0028]在差值超过容量阈值的情况下，将该服务组和该节能组进行状态切换。
[0029]其中，在将服务组的可用容量与节能组的可用容量的差值与容量阈值作比较时，可将从属于同一数据节点的服务组的可用容量和节能组的可用容量的差值与容量阈值作比较。
[0030]根据本发明的另一方面，提供了一种分布式系统的管理装置，其中，分布式系统包括元数据服务节点，数据节点。
[0031]该管理装置包括:
[0032]分组模块，用于对分布式系统中所有磁盘进行分组，得到多个服务组和多个节能组；
[0033]转换模块，用于将多个节能组的读写业务迀移至多个服务组，并对多个节能组内的磁盘进行降速或休眠；
[0034]运行模块，用于使多个服务组全速运行所在的业务。
[0035]此外，该管理装置进一步包括:
[0036]统计模块，用于在向数据节点读写数据时，统计该数据节点对应的各磁盘组的业务压力值并发送至元数据服务节点；
[0037]第一比较模块，用于将各磁盘组的业务压力值与对应各磁盘组的各压力阈值分别进行比较；
[0038]第一切换模块，用于在磁盘组的业务压力值大于对应的压力阈值的情况下，将该磁盘组切换为节能组。
[0039]可选的，该管理装置进一步包括:
[0040]采集模块，用于定期采集各数据节点所对应的各磁盘组的容量使用情况；
[0041]第二比较模块，用于将服务组的可用容量与节能组的可用容量的差值与容量阈值作比较；
[0042]第二切换模块，用于在差值超过容量阈值的情况下，将该服务组和该节能组进行状态切换。
[0043]本发明通过对分布式系统中所有磁盘划分为若干个服务组和节能组，并将节能组的读写业务迀入服务组，并对节能组内磁盘降速或休眠，使服务分组全速转动正常服务。既避免了整节点关机节能带来的业务切换时间长的问题，又可以有效的利用业务特征进行系统的节能处理。
【附图说明】
[0044]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0045]图1是根据本发明实施例的分布式系统的管理方法的流程图；
[0046]图2是根据本发明另一实施例的分布式系统的管理方法的流程图；
[0047]图3是根据本发明实施例的分布式系统的管理装置的框图。
【具体实施方式】
[0048]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
[0049]根据本发明的实施例，提供了一种分布式系统的管理方法，其中，分布式系统包括元数据服务节点，数据节点，客户端节点。
[0050]如图1所示，根据本发明实施例的管理方法包括:
[0051]步骤SlOl，对分布式系统中所有磁盘进行分组，得到多个服务组和多个节能组；
[0052]步骤S103，将多个节能组的读写业务迀移至多个服务组，并对多个节能组内的磁盘进行降速或休眠；
[0053]步骤S103，使多个服务组全速运行所在的业务。
[0054]其中，在一个实施例中，在对分布式系统中的所有磁盘进行分组时，分组的依据包括以下至少之一:
[0055]同一个文件位于同一磁盘组中；
[0056]业务的压力；
[0057]业务的访问方式。
[0058]为了更好的理解本发明的上述技术方案，下面结合图2所示的具体实例来对本发明的上述技术方案进行详细阐述。
[0059]从图2可以看出，本发明的技术方案是这样实现的:
[0060]1、元数据服务节点将各个数据节点的磁盘划分为若干个分组，在选取文件布局时，使得同一个文件只落入同一个分组；
[0061]2、客户端节点向数据节点写入或读取数据；
[0062]3、数据节点统计当前的业务压力(即该数据节点对应的各磁盘组的业务压力值)并发送至元数据服务器；
[0063]4、元数据服务节点定期向数据节点获取其统计的当前的业务压力值；
[0064]并根据每个磁盘分组的处理能力，选择是否可以节能(具体为:元数据服务节点将各磁盘组的业务压力值与对应各磁盘组的各压力阈值分别进行比较;在磁盘组的业务压力值大于对应的压力阈值的情况下，将该磁盘组切换为节能组，即选择可以节能；否则不进行切换)；
[0065]5、若可以节能，元数据服务节点则向数据节点发出指定目标磁盘组(即业务压力值大于压力阈值的磁盘组)节能的命令