专利名称：一种多磁盘场景下的磁盘管理方法和设备的制作方法
技术领域：
本发明涉及通信技术领域，特别是涉及一种多磁盘场景下的磁盘管理方法和设备。
背景技术：
并行计算(Parallel Computing)是指同时使用多种计算资源解决计算问题的过程。并行计算或称平行计算是相对于串行计算来说的。所谓并行计算可分为时间上的并行和空间上的并行。时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。并行计算系统，如MapReduce、Pregel、MPI、OpenMP等为高性能计算和海量数据处理提供了一种并行和分布式的处理方法。该类系统一般是由大量处理节点和中控节点组成，中控节点用于进行任务的分解、调度和状态监控等工作，处理节点进行任务的执行。一个并行计算程序首先要提交到中控节点，由中控节点进行任务的分解，并调度至处理节点；处理节点进行子任务的计算，并将结果反馈。在高性能计算和海量数据处理系统中，处理节点会产生大量的临时中间结果。不同并行应用的临时中间结果的数据大小不同，中间结果的访问情况(顺序写顺序读，或者顺序写随机读，或者随机写随机读等)不同， 中间结果的存储时间也不相同。为了保存中间数据结果，可以在每个处理节点上挂载一个或多个本地磁盘，或者将结果保存在共享存储系统中。但是，由于共享存储昂贵的价格和可能会成为瓶颈的网络带宽，特别是在海量数据处理的场景下，并行计算系统一般采用在处理节点挂载多个本地磁盘来存储中间数据结果的方法。下面，以MapReduce并行计算系统为例来介绍并行计算系统的架构、数据处理流程和数据存储方式。MapReduce是一种用于处理海量数据集的并行编程模型和系统，可以自动将 MapReduce作业并行化为多个子任务，并调度到一个由普通PC (Personal Computer，个人电脑)构建的集群上并发执行；同时，系统自动解决对节点失效、任务失效及节点间数据交换等问题，使得MapReduce应用可以不必关心此问题，而通过定义相应的Map和Reduce函数即可实现分布式数据处理的功能。MapReduce系统主要由三个模块组成，其系统架构如图1所示。客户端(Client)用于将用户撰写的并行处理作业提交至主节点(Master)；主节点自动将用户作业分解为Map 任务和Reduce任务，并将任务调度到工作节点(Worker)；工作节点用于向主节点请求执行任务。在MapReduce作业执行过程中，会产生大量临时数据，这些临时数据保存在每个工作节点的本地磁盘上，当MapReduce作业执行完毕后，这些临时数据会被清除。因此，在 MapReduce执行过程中，会有大量的本地磁盘I/Oanput/Output，输入/输出)。为了提升本地数据的读写性能，一般都会在每个工作节点服务器上配置多个磁盘。
当配置多个磁盘时，MapReduce对本地多个磁盘的管理采用的处理方案的流程图如图2所示，包括以下步骤步骤S201、当本地磁盘管理系统接收到磁盘写请求时，首先判断是否指定了要写入的数据的大小。如果指定了写入数据的大小，则执行步骤S202 ；如果未指定写入数据的大小，则执行步骤S203。步骤S202、轮询每个磁盘，直到找到一个剩余存储空间可以满足要求的磁盘。步骤S203、采用带有概率的轮询方法(Roulette selection)，以较大的概率选择剩余存储空间较多的磁盘。在实现本发明的过程中，发明人发现现有技术至少存在如下问题在现有并行计算系统中，本地磁盘管理策略仅仅考虑了磁盘的容量和剩余存储空间是否可以满足要求或者以较高优先级将剩余存储空间较多的磁盘分配出去。但是，当处理节点上配置异构的磁盘时，由于已购磁盘存在性能以及操作策略的差异，目前的磁盘管理策略将不能更合理的调度各个磁盘。
发明内容
本发明的目的在于提供一种多磁盘场景下的磁盘管理方法和设备，同时考虑各磁盘的剩余空间和性能信息，根据综合得到的优先级参数进行磁盘选择，从而，更加高效合理的进行磁盘管理，发挥磁盘的性能，为此，本发明采用如下技术方案一方面，本发明实施例提出了一种多磁盘场景下的磁盘管理方法，包括接收任务调度指示消息，并根据各磁盘当前的剩余空间信息和性能信息为各磁盘确定针对所述任务调度指示消息所对应的任务的优先级参数；根据所述各磁盘的优先级参数，为所述任务调度指示消息所对应的任务选择磁盘，执行相应的任务处理。另一方面，本发明实施例还提供了一种处理节点，包含多个磁盘，所述处理节点包括接收模块，用于接收任务调度指示消息；获取模块，用于获取各磁盘当前的剩余空间信息和性能信息；确定模块，用于根据所述获取模块所获取的各磁盘当前的剩余空间信息和性能信息，为各磁盘确定针对所述接收模块所接收的任务调度指示消息所对应的任务的优先级参数；选择模块，用于根据所述确定模块所确定的各磁盘的优先级参数，为所述任务调度指示消息所对应的任务选择磁盘，执行相应的任务处理。与现有技术相比，本发明实施例所提出的技术方案具有以下优点通过应用本发明实施例所提出的技术方案，在进行磁盘选择时，针对每个任务，不仅考虑各磁盘的剩余空间，还进一步考虑各磁盘的性能信息，为各磁盘确定综合的优先级参数，并根据该优先级参数为该任务进行磁盘选择，从而，可以更加高效合理的进行磁盘管理，实现发挥磁盘的性能。
图1为现有技术中的MapReduce系统的架构示意图；图2为现有技术中MapReduce对本地多个磁盘的管理采用的处理方案的流程示意图；图3为本发明实施例所提出的一种多磁盘场景下的磁盘管理方法的流程示意图；图4为本发明实施例所提出的一种具体应用场景中的磁盘管理方法的流程示意图；图5为本发明实施例所提出的一种处理节点的结构示意图。
具体实施例方式下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。如背景技术所述，在现有的磁盘管理策略中，只是根据磁盘的剩余空间大小进行磁盘选择，所以，在存在性能差异较大的异构磁盘，或磁盘大小本身差异较大的情况下，不能够实现磁盘的合理管理，具体的，基于如图2所示的处理流程，现有磁盘管理策略的缺陷主要表现为以下三个方面一、处理节点上可能会配置不同容量的磁盘。依照现有技术中的磁盘管理策略，当处理节点上配置一个较大容量的磁盘时，则其将有较高的概率被调度，大容量磁盘的I/O负载将高于小容量磁盘，导致了磁盘间I/O负载的不平衡。在极端的情况下，大容量磁盘I/O负载较高，但是小容量磁盘I/O负载则是空闲的。二、处理节点上可能会配置不同性能的磁盘。当处理节点上配置高性能的磁盘，如SSD(Solid State Disk，固态硬盘)或 SAS(Serial Attached SCSI，串行连接SC^I接口)盘，其读写性能是SATA(Serial Advanced Technology Attachment,串行高级技术附件，一种基于行业标准的串行硬件驱动器接口 ) 盘的数倍。但是，由于SSD硬盘价格昂贵且存储容量较小，一般会将其与慢速磁盘共同使用。现有技术中的磁盘管理策略并未考虑不同磁盘本身性能的差异，从而SSD等高速磁盘的高读写性能不能完全发挥出来。三、并行应用对数据的操作不同。现有技术中的磁盘管理策略仅仅考虑如果将数据写入本地磁盘，并未考虑如何读取写入的数据以及如何删除这些数据。数据读写关系可能包括顺序/随机写、顺序/随机读，读写频率和数据存储时间长度也各有不同。现有技术中的磁盘管理策略也未考虑应用的读写情况，很有可能将I/O性能低容量大的磁盘分配给需要频繁I/O的应用，造成应用性能下降或磁盘性能未能完全发挥。根据以上分析，现有技术中的磁盘管理策略或者不能更好的感知异构的磁盘，或者不能更好的感知应用的需求，从而造成应用性能下降，或不能发挥高性能磁盘的性能。基于此，本发明实施例中提出了一种多磁盘场景下的磁盘管理方法和设备，通过综合考虑各磁盘的剩余空间和性能信息为各磁盘确定优先级信息，并按照优先级信息进行磁盘的管理和调度。如图3所示，为本发明实施例所提出的一种多磁盘场景下的磁盘管理方法的流程示意图，具体包括以下步骤步骤S301、接收任务调度指示消息。步骤S302、根据各磁盘当前的剩余空间信息和性能信息为各磁盘确定针对任务调度指示消息所对应的任务的优先级参数。在具体的应用场景中，本步骤的处理具体包括以下两种情况情况一、根据各磁盘当前的剩余空间信息和性能信息，以及当前的剩余空间信息和性能信息相应的权值确定各磁盘针对任务调度指示消息所对应的任务的优先级参数。情况二、确定各磁盘当前的剩余空间信息和性能信息在全部磁盘相应的信息之和中所占有的比例，按照各比例的值以及各比例相应的权值确定各磁盘针对任务调度指示消息所对应的任务的优先级参数。需要说明的是，上述的两种情况可以根据实际的场景需要进行选择，可以按照情况一的方式，直接以各磁盘相关参数的值结合相应的权值进行优先级参数的确定，也可以按照情况二的方式，通过对相应的参数在各磁盘中总的情况进行归一处理，确定不同的磁盘的参数在总的情况中所占的比例，并进一步根据相应的权值进行优先级参数的确定，具体应用上述的哪种方式并不影响本发明的保护范围。考虑到前述的现有技术的磁盘管理策略中所存在的第三方面的缺陷，对于不同特性的任务调度，如果按照相同的标准进行优先级划分显然不能满足最优化合理的磁盘管理效果，因此，本发明实施例所提出的技术方案中，还可以进一步根据所调度的任务的特性进行相应的优先级确定规则的调整，具体的任务特性的获取方式是通过接收到的任务调度指示消息中所携带的数据请求特征信息来实现的。具体的，当接收到的任务调度指示消息中包含所调度任务相应的数据请求特征信息时，本发明实施例所提出的技术方案的后续处理包括对权值的调整过程，对应前述的两种优先级参数的确定方式，相应的调整过程同样包括两种方式根据数据请求特征信息的内容，调整当前的剩余空间信息和性能信息相应的权值的大小；或，根据数据请求特征信息的内容，调整各比例相应的权值的大小。步骤S303、根据各磁盘的优先级参数，为任务调度指示消息所对应的任务选择磁盘，执行相应的任务处理。在实际的应用场景中，本步骤的处理包括以下两种情况情况一、为任务调度指示消息所对应的任务选择优先级参数值最大的磁盘，执行相应的任务处理。情况二、根据相应的选择策略，按照相应的优先级参数值，为任务调度指示消息所对应的任务选择磁盘，执行相应的任务处理，其中，选择策略中配置不同的优先级参数大小区间所对应的选择概率，包含高优先级参数值的优先级参数区间所对应的选择概率大于包含低优先级参数值的优先级参数区间所对应的选择概率。具体应用上述的哪种方式，并不会影响本发明的保护范围。
7
进一步需要指出的是，在上述的处理过程中，对于具体的应用场景，前述的各磁盘的性能信息，至少包括各磁盘的I/O性能信息，和/或各磁盘当前的I/O负载信息。其中，各磁盘的I/O性能信息具体通过以下方式获取预先配置各磁盘的I/O性能信息；或，通过对各磁盘进行测试，获取各磁盘相应的I/O性能信息。另一方面，各磁盘当前的I/O负载信息具体通过以下方式获取实时监控各磁盘的I/O操作，当接收到任务调度指示消息时，根据各磁盘在之前预设的时间区间范围内的I/O操作情况，确定各磁盘当前的I/O负载信息；或，周期性监控各磁盘的I/O操作，在每个周期结束时，根据各磁盘在当前周期范围内的I/O操作情况，确定各磁盘在当前周期的I/O负载信息，并在接收到任务调度指示消息时，以各磁盘最近周期的I/O负载信息作为各磁盘当前的I/O负载信息。与现有技术相比，本发明实施例所提出的技术方案具有以下优点通过应用本发明实施例所提出的技术方案，在进行磁盘选择时，针对每个任务，不仅考虑各磁盘的剩余空间，还进一步考虑各磁盘的性能信息，为各磁盘确定综合的优先级参数，并根据该优先级参数为该任务进行磁盘选择，从而，可以更加高效合理的进行磁盘管理，实现发挥磁盘的性能。下面，结合具体的应用场景，对本发明是势力所提出的技术方案进行进一步的详细说明。针对前述的现有技术中的磁盘管理策略所存在的问题，本发明实施例提出一种并行计算系统中的基于优先级的磁盘管理方案。该方案充分考虑磁盘的异构性能、实时负载和数据操作请求特征等信息，针对每个请求为每个磁盘设置一个优先级，并根据磁盘的优先级为应用分配磁盘。结合具体的应用场景，在本发明实施例所提出的技术方案中，对磁盘优先级考虑的因素及各因素对磁盘选择策略的影响说明如下(1)磁盘剩余容量(free_capacity)较大剩余容量的磁盘将具有较高的概率存储数据。(2)磁盘 I/O 性能(disk_io)I/O性能较高的磁盘将具有较高的概率存储数据。(3)磁盘实时负载(disk_util)磁盘实时负载较低的磁盘将具有较高的概率存储数据。(4)应用的数据请求特征(app_feature)这个因素的影响主要体现在对之前几个因素所占权值的调整，对具体的调整规则举例说明如下对于频繁读写数据的请求，则调整磁盘优先级计算时对disk_io参数的权值；对于保存数据量较大但读写不频繁的请求，则调整磁盘优先级计算时free^apacity参数的权值；对于紧急的数据请求，则调整磁盘优先级计算时disk_util参数的权值。在具体的应用过程中，上述的调整规则可以应用其中的一部分或全部应用，也可以根据实际需要进行进一步的规则设定，以满足具体的应用场景的需要。
下面，基于上述的各因素，对本发明实施例所提出的技术方案中的各磁盘的优先级参数的计算过程说明如下首先，说明在优先级参数计算中所应用的各参数信息的获取方式(1)磁盘剩余容量(free^apacity)该信息可以周期性的探测各个磁盘的剩余空间。(2)磁盘I/O性能(disk_io)该信息表示该磁盘的I/O性能，该性能参数可以在系统启动时进行实时测试，在系统启动后需要实时计算或者通过系统配置文件/配置项的方式进行。(3)磁盘实时负载(disk_util)表示磁盘当前一段时间的读写请求情况。该参数可以周期间对磁盘I/O监控得到。较大的disk_util表示当前磁盘比较繁忙，较低的disk_ util表示当前磁盘比较空闲。基于上述说明，在实际的应用场景中，系统中某个磁盘η的优先级参数 (Priority_Disk_n)的计算公式具体为Priority_Disk_n = A*free_capacity+B*disk_io+C*(l/disk_util)其中，(1)A、B和C为以上各个参数所占的权值，A+B+C = 100%。在每次写请求时，可以根据请求的特征app_featUre调整以上各个参数的值，以适应具体的应用特征。(2)对各个参数进行归一化，例如对free^apacity的归一化方法是，计算每个磁盘的free_capacity之和，每个磁盘的归一化后的结果即是该磁盘的free_capacity占所有磁盘free^apacity之和的比例。其他参数依此类推，在此不再重复说明。下面，以只考虑上述的四种因素的应用场景为例，说明本发明实施例所提出的技术方案的应用流程，其流程示意图如图4所示，包括以下步骤步骤S401、在处理节点配置或测试每个磁盘的I/O性能disk_io。如果采用的是配置方式，那么处理节点可以直接根据配置的信息确定各磁盘相应的信息。而如果采用的是测试方式，则处理节点需要启动测试程序，对每个磁盘逐个进行 I/O性能的测试。步骤S402、处理节点实时或周期性的统计每个磁盘的剩余容量freejapacity。步骤S403、处理节点实时统计每个磁盘的负载disk_util ；步骤S404、中控节点将待处理任务调度给处理节点。其中待处理任务中带有其数据请求特征app_featUre，即该任务对数据的存储量、 存储时间、读写频率等信息。步骤S405、处理节点在接收到任务的数据写请求时，根据该任务的app_feature 和获取的disk_i0/free_capacity/disk_util等信息，计算每个磁盘针对该任务的优先级参数。步骤S406、处理节点根据各磁盘的优先级参数，选择一个磁盘给该请求。在本步骤的处理过程在，可以采用完全依赖优先级的磁盘选择，即总是优先使用优先级最高的磁盘，也可以采用以较高的概率使用优先级高的磁盘的策略进行磁盘选择， 从而避免大容量磁盘始终被频繁调度的情况出现。
与现有技术相比，本发明实施例所提出的技术方案具有以下优点通过应用本发明实施例所提出的技术方案，在进行磁盘选择时，针对每个任务，不仅考虑各磁盘的剩余空间，还进一步考虑各磁盘的性能信息，为各磁盘确定综合的优先级参数，并根据该优先级参数为该任务进行磁盘选择，从而，可以更加高效合理的进行磁盘管理，实现发挥磁盘的性能。为了实现本发明实施例的技术方案，本发明实施例还提供了一种处理节点，包含多个磁盘，其结构示意图如图5所示，具体包括接收模块51，用于接收任务调度指示消息；获取模块52，用于获取各磁盘当前的剩余空间信息和性能信息；确定模块53，用于根据获取模块52所获取的各磁盘当前的剩余空间信息和性能信息，为各磁盘确定针对接收模块51所接收的任务调度指示消息所对应的任务的优先级参数；选择模块M，用于根据确定模块53所确定的各磁盘的优先级参数，为任务调度指示消息所对应的任务选择磁盘，执行相应的任务处理。在实际的应用场景中，确定模块53，具体用于根据各磁盘当前的剩余空间信息和性能信息，以及当前的剩余空间信息和性能信息相应的权值确定各磁盘针对任务调度指示消息所对应的任务的优先级参数；或，确定各磁盘当前的剩余空间信息和性能信息在全部磁盘相应的信息之和中所占有的比例，按照各比例的值以及各比例相应的权值确定各磁盘针对任务调度指示消息所对应的任务的优先级参数。进一步的，当接收模块51所接收到的任务调度指示消息中包含所调度任务相应的数据请求特征信息时，该处理节点还包括调整模块55，用于根据数据请求特征信息的内容，调整当前的剩余空间信息和性能信息相应的权值的大小，或根据数据请求特征信息的内容，调整各比例相应的权值的大小；确定模块53，还用于根据调整模块55调整后的权值的大小，确定各磁盘针对任务调度指示消息所对应的任务的优先级参数。另一方面，获取模块52所获取的各磁盘的性能信息，至少包括各磁盘的I/O性能信息，和/或各磁盘当前的I/O负载信息，其中，获取模块52获取各磁盘的I/O性能信息的方式具体为预先配置各磁盘的I/O性能信息；或，通过对各磁盘进行测试，获取各磁盘相应的I/O性能信息；获取模块52获取各磁盘当前的I/O负载信息的方式具体为实时监控各磁盘的I/O操作，当接收到任务调度指示消息时，根据各磁盘在之前预设的时间区间范围内的I/O操作情况，确定各磁盘当前的I/O负载信息；或，周期性监控各磁盘的I/O操作，在每个周期结束时，根据各磁盘在当前周期范围内的I/O操作情况，确定各磁盘在当前周期的I/O负载信息，并在接收到任务调度指示消息时，以各磁盘最近周期的I/O负载信息作为各磁盘当前的I/O负载信息。需要进一步指出的是，选择模块M，具体用于
10
为任务调度指示消息所对应的任务选择优先级参数值最大的磁盘，执行相应的任务处理；或，根据相应的选择策略，按照相应的优先级参数值，为任务调度指示消息所对应的任务选择磁盘，执行相应的任务处理，其中，选择策略中配置不同的优先级参数大小区间所对应的选择概率，包含高优先级参数值的优先级参数区间所对应的选择概率大于包含低优先级参数值的优先级参数区间所对应的选择概率。与现有技术相比，本发明实施例所提出的技术方案具有以下优点通过应用本发明实施例所提出的技术方案，在进行磁盘选择时，针对每个任务，不仅考虑各磁盘的剩余空间，还进一步考虑各磁盘的性能信息，为各磁盘确定综合的优先级参数，并根据该优先级参数为该任务进行磁盘选择，从而，可以更加高效合理的进行磁盘管理，实现发挥磁盘的性能。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明实施例可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是⑶-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或网络设备等)执行本发明实施例各个实施场景所述的方法。本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本发明实施例所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。上述本发明实施例序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本发明实施例的几个具体实施场景，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明实施例的业务限制范围。
权利要求
1.一种多磁盘场景下的磁盘管理方法，其特征在于，包括以下步骤接收任务调度指示消息，并根据各磁盘当前的剩余空间信息和性能信息为各磁盘确定针对所述任务调度指示消息所对应的任务的优先级参数；根据所述各磁盘的优先级参数，为所述任务调度指示消息所对应的任务选择磁盘，执行相应的任务处理。
2.如权利要求1所述的方法，其特征在于，所述根据各磁盘当前的剩余空间信息和性能信息为各磁盘确定针对所述任务调度指示消息所对应的任务的优先级参数，具体为根据各磁盘当前的剩余空间信息和性能信息，以及当前的剩余空间信息和性能信息相应的权值确定各磁盘针对所述任务调度指示消息所对应的任务的优先级参数；或，确定各磁盘当前的剩余空间信息和性能信息在全部磁盘相应的信息之和中所占有的比例，按照各比例的值以及各比例相应的权值确定各磁盘针对所述任务调度指示消息所对应的任务的优先级参数。
3.如权利要求2所述的方法，其特征在于，当接收到的所述任务调度指示消息中包含所调度任务相应的数据请求特征信息时，还包括根据所述数据请求特征信息的内容，调整当前的剩余空间信息和性能信息相应的权值的大小；或，根据所述数据请求特征信息的内容，调整各比例相应的权值的大小。
4.如权利要求1所述的方法，其特征在于，所述各磁盘的性能信息，至少包括各磁盘的I/O性能信息；和/或，各磁盘当前的I/O负载信息。
5.如权利要求4所述的方法，其特征在于，所述各磁盘的I/O性能信息，具体通过以下方式获取预先配置各磁盘的I/O性能信息；或，通过对各磁盘进行测试，获取各磁盘相应的I/O性能信息。
6.如权利要求4所述的方法，其特征在于，所述各磁盘当前的I/O负载信息，具体通过以下方式获取实时监控各磁盘的I/O操作，当接收到所述任务调度指示消息时，根据各磁盘在之前预设的时间区间范围内的I/O操作情况，确定各磁盘当前的I/O负载信息；或，周期性监控各磁盘的I/O操作，在每个周期结束时，根据各磁盘在当前周期范围内的 I/O操作情况，确定各磁盘在当前周期的I/O负载信息，并在接收到所述任务调度指示消息时，以各磁盘最近周期的I/O负载信息作为各磁盘当前的I/O负载信息。
7.如权利要求1所述的方法，其特征在于，所述根据所述各磁盘的优先级参数，为所述任务调度指示消息所对应的任务选择磁盘，执行相应的任务处理，具体包括为所述任务调度指示消息所对应的任务选择优先级参数值最大的磁盘，执行相应的任务处理；或，根据相应的选择策略，按照相应的优先级参数值，为所述任务调度指示消息所对应的任务选择磁盘，执行相应的任务处理，其中，所述选择策略中配置不同的优先级参数大小区间所对应的选择概率，包含高优先级参数值的优先级参数区间所对应的选择概率大于包含低优先级参数值的优先级参数区间所对应的选择概率。
8.一种处理节点，包含多个磁盘，其特征在于，所述处理节点包括 接收模块，用于接收任务调度指示消息；获取模块，用于获取各磁盘当前的剩余空间信息和性能信息； 确定模块，用于根据所述获取模块所获取的各磁盘当前的剩余空间信息和性能信息， 为各磁盘确定针对所述接收模块所接收的任务调度指示消息所对应的任务的优先级参数；选择模块，用于根据所述确定模块所确定的各磁盘的优先级参数，为所述任务调度指示消息所对应的任务选择磁盘，执行相应的任务处理。
9.如权利要求8所述的处理节点，其特征在于，所述确定模块，具体用于根据各磁盘当前的剩余空间信息和性能信息，以及当前的剩余空间信息和性能信息相应的权值确定各磁盘针对所述任务调度指示消息所对应的任务的优先级参数；或，确定各磁盘当前的剩余空间信息和性能信息在全部磁盘相应的信息之和中所占有的比例，按照各比例的值以及各比例相应的权值确定各磁盘针对所述任务调度指示消息所对应的任务的优先级参数。
10.如权利要求9所述的处理节点，其特征在于，当所述接收模块所接收到的所述任务调度指示消息中包含所调度任务相应的数据请求特征信息时，所述处理节点，还包括调整模块，用于根据所述数据请求特征信息的内容，调整当前的剩余空间信息和性能信息相应的权值的大小，或根据所述数据请求特征信息的内容，调整各比例相应的权值的大小；所述确定模块，还用于根据所述调整模块调整后的权值的大小，确定各磁盘针对所述任务调度指示消息所对应的任务的优先级参数。
11.如权利要求8所述的处理节点，其特征在于，所述获取模块所获取的各磁盘的性能信息，至少包括各磁盘的I/O性能信息，和/或各磁盘当前的I/O负载信息，其中，所述获取模块获取各磁盘的I/O性能信息的方式具体为 预先配置各磁盘的I/O性能信息；或， 通过对各磁盘进行测试，获取各磁盘相应的I/O性能信息； 所述获取模块获取各磁盘当前的I/O负载信息的方式具体为 实时监控各磁盘的I/O操作，当接收到所述任务调度指示消息时，根据各磁盘在之前预设的时间区间范围内的I/O操作情况，确定各磁盘当前的I/O负载信息；或，周期性监控各磁盘的I/O操作，在每个周期结束时，根据各磁盘在当前周期范围内的 I/O操作情况，确定各磁盘在当前周期的I/O负载信息，并在接收到所述任务调度指示消息时，以各磁盘最近周期的I/O负载信息作为各磁盘当前的I/O负载信息。
12.如权利要求8所述的处理节点，其特征在于，所述选择模块，具体用于为所述任务调度指示消息所对应的任务选择优先级参数值最大的磁盘，执行相应的任务处理；或，根据相应的选择策略，按照相应的优先级参数值，为所述任务调度指示消息所对应的任务选择磁盘，执行相应的任务处理，其中，所述选择策略中配置不同的优先级参数大小区间所对应的选择概率，包含高优先级参数值的优先级参数区间所对应的选择概率大于包含低优先级参数值的优先级参数区间所对应的选择概率。
全文摘要
本发明实施例公开了一种多磁盘场景下的磁盘管理方法和设备，通过应用本发明实施例所提出的技术方案，在进行磁盘选择时，针对每个任务，不仅考虑各磁盘的剩余空间，还进一步考虑各磁盘的性能信息，为各磁盘确定综合的优先级参数，并根据该优先级参数为该任务进行磁盘选择，从而，可以更加高效合理的进行磁盘管理，实现发挥磁盘的性能。
文档编号G06F3/06GK102541460SQ201010613959
公开日2012年7月4日 申请日期2010年12月20日 优先权日2010年12月20日
发明者周大, 郭磊涛, 钱岭, 齐骥 申请人:中国移动通信集团公司