用于度量存储系统性能的方法和装置制造方法
【专利摘要】本发明涉及一种用于度量存储系统性能的方法和装置。方法包括：使一个或多个实体执行包含多个任务的任务集，所述多个任务中的每个任务用于访问所述存储系统；基于所述执行的结果获得所述存储系统的指标集，所述指标集包含一个或多个用于指示所述存储系统性能的指标；以及基于所述指标集调整所述任务集，以供所述一个或多个实体后续执行。该方法可以迭代地执行。通过本发明，可以基于执行结果来智能地改进用于下一次执行的工作负载，从而能够更有针对性地、更加高效地获得存储系统的性能，以便更好地利用存储系统。
【专利说明】用于度量存储系统性能的方法和装置
【技术领域】
[0001]本发明的实施方式涉及存储系统领域，具体而言涉及用于评估存储系统性能的方法和装置。
【背景技术】
[0002]随着计算机存储技术的不断发展，对存储系统的可管理性、安全性、智能化等各方面的要求逐渐成为这一领域的研究热点。存储系统的服务质量QOS(Quality of SerVice)是满足上层应用需求的重要保证，并因而受到研发人员、用户等的广泛关注，如何评估和度量存储系统的QOS也成为亟待解决的问题。
[0003]然而，存储系统的QOS(典型例子是I/O Q0S)由于工作负载的各种配置和组合而难以度量。现有技术中并不存在高效、便利的度量方法。如果想要穷尽所有可能的工作负载来对其评测的话，需要耗费极大的精力和时间。
【发明内容】
[0004]为此，本发明提供了一种高效、快捷、便利的用于度量存储系统性能的方法和装置。
[0005]根据本发明的一个方面，提供一种用于度量存储系统性能的方法，包括以下步骤:
(i)使一个或多个实体执行包含多个任务的任务集，所述多个任务中的每个任务用于访问所述存储系统；(ii)基于所述执行的结果获得所述存储系统的指标集，所述指标集包含一个或多个用于指示所述存储系统性能的指标；以及(iii)基于所述指标集调整所述任务集，以供所述一个或多个实体后续执行。
[0006]根据本发明的可选实施方式，该方法还包括步骤:(iv)基于所述执行的结果确定已经执行的所述多个任务中的一个或多个任务的类别；以及(V)基于所述类别调整所述任务集，以供所述一个或多个实体后续执行。
[0007]根据本发明的可选实施方式，步骤(V)中基于所述类别调整所述任务集进一步包括:从所述任务集中删除具有所述一个或多个类别中的任一类别的任务。
[0008]根据本发明的可选实施方式，该方法还包括迭代地执行所述步骤(i)-(iii)/步骤(i)_ (V)，直至满足预定条件。其中，所述预定条件可以例如包括所述方法的预定执行次数和/或所述指标的预定稳定程度。
[0009]根据本发明的可选实施方式，对所述任务集的所述调整包括创建、删除或修改所述任务集中的一个或多个任务。
[0010]根据本发明的可选实施方式，初始的所述任务集基于所述存储系统声称的性能参数生成或者随机生成。
[0011]根据本发明的可选实施方式，所述访问包括对所述存储系统的输入/输出访问。
[0012]根据本发明的可选实施方式，步骤(iii)还包括:确定所述指标集中的一个或多个指标是否达到所述存储系统的声称性能参数；以及在确定存在未能达到所述标称性能参数的指标时，针对所述指标集中未能达到所述声称性能参数的所述指标，调整所述任务集。
[0013]根据本发明的可选实施方式，步骤(iii)还包括:基于所述指标集中的一个或多个指标与参考存储系统的对应指标的匹配程度，确定所述存储系统与所述参考存储系统之间的相似度；以及基于所述相似度调整所述任务集。
[0014]根据本发明的可选实施方式，所述基于相似度调整所述任务集还包括:在所述相似度为高时，针对所述参考系统的其他指标调整所述任务集。
[0015]根据本发明的又一方面，提供了一种用于评估存储系统性能的装置，包括:执行装置，被配置为使一个或多个实体执行包含多个任务的任务集，所述多个任务中的每个任务用于访问所述存储系统；指标获得装置，被配置为基于所述执行的结果获得所述存储系统的指标集，所述指标集包含一个或多个用于指示所述存储系统性能的指标；以及第一调整装置，被配置为基于所述指标集调整所述任务集，以供所述一个或多个实体后续执行。
[0016]根据本发明的可选实施方式，该装置还包括:类别确定装置，被配置为基于所述执行的结果确定已经执行的所述多个任务中的一个或多个任务的类别；以及第二调整装置，被配置为基于所述类别调整所述任务集，以供所述一个或多个实体后续执行。
[0017]根据本发明的可选实施方式，所述第二调整装置还包括:删除装置，被配置为从所述任务集中删除具有所述一个或多个类别中的任一类别的任务。
[0018]根据本发明的可选实施方式，该装置还包括迭代装置，被配置为使得所述执行装置、所述指标获得装置以及所述第一调整装置迭代地执行，直至满足预定条件；或者被配置为使得所述执行装置、所述指标获得装置、所述第一调整装置、所述类别确定装置、以及所述第二调整装置迭代地执行，直至满足预定条件。
[0019]根据本发明的可选实施方式，所述预定条件包括所述方法的预定执行次数和/或所述指标的预定稳定程度。
[0020]根据本发明的可选实施方式，所述第一调整装置和/或所述第二调整装置对所述任务集的所述调整包括增加、删除或修改所述任务集中的一个或多个任务。
[0021]根据本发明的可选实施方式，还包括初始任务集生成装置，被配置为基于所述存储系统声称的性能参数生成初始的所述任务集或者随机生成初始的所述任务集。
[0022]根据本发明的可选实施方式，所述访问包括对所述存储系统的输入/输出访问。
[0023]根据本发明的可选实施方式，所述第一调整装置还包括:比较装置，被配置为确定所述指标集中的一个或多个指标是否达到所述存储系统的声称性能参数；以及定向调整装置，被配置为在确定存在未能达到所述标称性能参数的指标时，针对所述指标集中未能达到所述声称性能参数的所述指标，调整所述任务集。
[0024]根据本发明的可选实施方式，所述第一调整装置还包括:匹配装置，被配置为基于所述指标集中的一个或多个指标与参考存储系统的对应指标的匹配程度，确定所述存储系统与所述参考存储系统之间的相似度；以及相似度调整装置，被配置为基于所述相似度调整所述任务集。
[0025]根据本发明的可选实施方式，所述相似度调整装置还包括:子调整装置，被配置为在所述相似度为高时，针对所述参考系统的其他指标调整所述任务集。
【专利附图】
【附图说明】
[0026]图1示出了用于在其中实现本发明的一个方面的系统100的示意性框图。
[0027]图2示出了根据本发明实施方式的用于例如如图1所示出装置102的、用于度量存储系统性能的方法200的流程图。
[0028]图3示出了适于用来实践本发明实施方式的计算机系统的示意性框图。
[0029]应当注意，附图中的流程图和框图，图示了按照本发明各种实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
【具体实施方式】
[0030]下面将参考附图中示出的若干示例性实施方式来描述本发明的原理和精神。应当理解，描述这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。
[0031]图1示出了用于在其中实现本发明的一个方面的系统100的示意性框图。
[0032]如图所示，在系统100中包含有若干个实体E1-En、存储系统101、以及根据本发明一个实施方式的用于度量存储系统101的性能的装置102。实体E1-Eni间共享I/o资源，它们可以在执行工作负载时对存储系统进行诸如输入/输出(I/O)之类的访问。实体的示例包括但不限于主机或虚拟机VM。
[0033]为了度量存储系统101的性能，装置102可以包括执行装置1021、指标获得装置1022以及第一调整装置1023。其中，执行装置1021被配置为使一个或多个实体执行包含多个任务的任务集，所述多个任务中的每个任务用于访问所述存储系统。具体而言，执行装置1021可以从多个实体中选择一部分实体(例如E1-En)连接到存储系统101，向其分配作为任务的工作负载(例如I/O工作负载，本文中“工作负载”和“任务”可互换地使用)。实体E1-En执行所分配的例如I/O工作负载从而与存储系统101交互。
[0034]在一轮工作负载执行完毕之后，指标获得装置1022被配置为基于执行的结果获得存储系统101的指标集，该指标集包含一个或多个用于指示所述存储系统性能的指标。在一个实现中，指标集中的指标可以例如基于时序分析算法和统计模型而获得。作为示例，指标可以用来反映该存储系统所采用的I/o调度算法、网络I/O控制方法、高速缓存管理策略等等与存储系统的性能优劣至关重要的因素。
[0035]第一调整装置1023则被配置为基于指标集来调整任务集，以供一个或多个实体E1-En后续执行。在具体实现中，可以根据执行的结果导出新的工作负载生成规则，并根据新的生成规则来生成用于下一轮执行的工作负载。本领域技术人员应知，在提供存储系统时，通常也同时由厂商提供所谓的“声称性能参数”，其反映的是存储系统的承诺服务质量，声称性能参数例如包括每秒输入输出次数10PS、执行延迟承诺等。因此，在一个优选实施方式中，第一调整装置1023还可以包括比较装置(图1中未示出)，其被配置为确定所述指标集中的一个或多个指标是否达到所述存储系统的声称性能参数；以及定向调整装置(图1中未示出)，其被配置为在确定存在未能达到所述标称性能参数的指标时,针对所述指标集中未能达到所述声称性能参数的所述指标，调整所述任务集的设置，从而打破存储系统的承诺QOS，进而有可能更有针对性、更高效地度量系统的性能。在另一优选实施方式中，装置102还包括初始任务集生成装置1026，其被配置为基于所述存储系统声称的性能参数生成初始的所述任务集或者随机生成初始的所述任务集。
[0036]在又一个优选实施方式中，还可能存在作为参考的存储系统(本文中称为“参考存储系统”)，这些存储系统所采用的I/o算法以及相关配置参数均是已知的。例如，Noop (著名的I/O算法之一)、deadline、AS、CFQ可以被认为是已知的算法,而例如在VM平台环境的ESX服务器中的I/O调度算法则被认为是未知的。本领域技术人员应当理解，上述已知算法和未知算法的举例仅是示意性、而非限制性的。其他已知/未知性能的I/O算法均在本发明的考虑范围内。在I/O算法为已知的情况下，引入已知I/O调度算法的属性。
[0037]例如，由Noop维护的电梯队列(elevator queue)是单个FIFO队列。因而,其仅以FIFO方式服务于来自不同进程的并发请求；相比之下，Deadline, AS和CFQ由支持I/O请求合并和排序的若干子数据结构构成，因此这些算法可以以调度周期方式服务于来自一个锦绣的多个I/O请求，并且I/O服务切换事件的频率相对较低。此外，Deadline保证每个I/O请求可以被及时地完成而没有饥饿，并且维护读和写FIFO队列这二者以便提高吞吐量；AS具有用于预测性执行来自同一进程的传入I/O请求的时间窗；并且CFQ是具有若干优先级队列以在进程组中保证盘I/O带宽的完整公平算法。
[0038]在此基础上，本发明的这一优选实施方式中第一调整装置1023可以包括匹配装置(图1中未示出)，被配置为基于所述指标集中的一个或多个指标与参考存储系统的对应指标的匹配程度，确定所述存储系统与所述参考存储系统之间的相似度；以及相似度调整装置(图1中未示出)，被配置为基于所述相似度调整所述任务集。更为优选的是，该相似度调整装置还包括:子调整装置，被配置为在所述相似度为高时，针对所述参考系统的其他指标调整所述任务集。例如，在通过实体执行任务集合(工作负载)发现待度量性能的存储系统的一个或多个指标与参考存储系统高度接近或者相同、并且确认两个存储系统极为接近时，可以高概率地认为待度量的存储系统采用了与参考存储系统类似的I/o算法，比如Noop，从而可以针对采用了 Noop算法的存储系统的其他特性来调整任务集，以供实体E1-En下一次执行。
[0039]可选地，装置102也可以包括类别确定装置1024，其被配置为基于该执行的结果确定已经执行的所述多个任务中的一个或多个任务的类别；以及第二调整装置1025，其被配置为基于所述类别调整所述任务集，以供所述一个或多个实体后续执行。如前所述，在根据执行的结果生成反映存储系统性能的指标的同时，还可以基于该执行结果从已经执行过的工作负载中提取出工作负载的典型类别，例如读1/0操作类或写1/0操作类、顺序1/0操作类和乱序1/0操作类等等。对于所提取的典型类别，由于属于相同典型类别的工作负载具有同类特性，因此不再需要再次测试执行这类工作负载所引起的结果，由此在调整用于下一次执行的任务集时可以不再生成同类的任务(工作负载)。为此，第二调整装置1025可以优选地还包括删除装置(图1中未示出)，其被配置为从该任务集中删除具有所述一个或多个类别中的任一类别的任务。需要注意的是，对典型类别的提取可以由所获得的存储系统的各种指标来弓I导。
[0040]下面通过示例1-3来详细阐述基于类别调整任务集的示例。本领域技术人员应当理解，示例1-3仅为了更好地理解本发明而示出，并不旨在限制本发明的保护范围。
[0041]示例1:如果目标存储系统中反映性能的关键因子(KF)是I/O调度算法，并且该算法是Noop，而Noop的属性是以FIFO (先进先出)方式提供I/O请求，则这一方式表明可以在确定了工作负载执行序列的情况下估计I/O执行结果。
[0042]示例2:如果目标KF是I/O高速缓存替换策略，并且如果该策略是LRU (最近最少使用)，则也可以估计I/o执行结果；
[0043]示例3:如果目标KF是I/O调度算法，则如果归档出写优先级高于读优先级，则可以考虑将工作负载划分为读类和写类。
[0044]总体而言，如果可以将反映目标存储系统性能的指标的特性提炼成一些规则，则这些规则可以将工作负载划分成不同的类。
[0045]作为优选实施方式，上述第一调整装置1023和/或第二调整装置1025对该任务集的调整包括增加、删除或修改任务集中的一个或多个任务。
[0046]另外，需要说明的是，为了获得稳定的反映系统性能的指标集，装置102还优选地包括迭代装置1027，其被配置为使得所述执行装置、所述指标获得装置以及所述第一调整装置迭代地执行，直至满足预定条件；或者被配置为使得所述执行装置、所述指标获得装置、所述第一调整装置、所述类别确定装置、以及所述第二调整装置迭代地执行，直至满足预定条件。预定条件例如可以包括所述方法的预定执行次数和/或所述指标的预定稳定程度。
[0047]通过装置1021-1024/1021-1026的迭代执行，总是可以根据上一轮执行的结果来获得最新的系统性能指标以及工作负载的代表性分类，从而可以依据上一轮执行的结果来有针对性地设计下一轮要执行的工作负载，以便更为高效、便利地获得存储系统的性能。
[0048]图2示出了根据本发明实施方式的用于例如如图1所示出装置102的用于度量存储系统性能的方法200的流程图。应理解的是，方法200中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。方法200还可以包括附加的步骤和/或省略执行示出的步骤。本发明的范围在此方面不受限制。本领域技术人员应当理解，为了简洁起见，下文对方法200的说明中，与前文类似的术语表达相似的含义。
[0049]方法200开始之后，在步骤S201处，首先使一个或多个实体执行包含多个任务的任务集，所述多个任务中的每个任务用于访问所述存储系统。
[0050]接下来，方法200前进到步骤S202，基于所述执行的结果获得所述存储系统的指标集，所述指标集包含一个或多个用于指示所述存储系统性能的指标。
[0051]接着，方法200进到步骤S203，基于所述指标集调整所述任务集，以供所述一个或多个实体后续执行。
[0052]根据本发明的一个实施方式，方法200还可以可选地包括步骤S204，基于所述执行的结果确定已经执行的所述多个任务中的一个或多个任务的类别；以及步骤S205，基于所述类别调整所述任务集，以供所述一个或多个实体后续执行。
[0053]在本发明的优选实施方式中，步骤S205中基于所述类别调整所述任务集进一步包括:从所述任务集中删除具有所述一个或多个类别中的任一类别的任务。
[0054]与前述类似，根据本发明一个方面的步骤S201-S203的执行使得可以根据先前执行的结果而有针对性的设计下一轮的工作负载，从而更高效地获得存储系统的性能参数。而根据本发明的另一方面的步骤S201-S205的执行则还可以根据先前执行的结果标识出代表性的工作负载，从而在设计下一轮要执行的工作负载时避免重复与代表性的工作负载同一类型的工作负载，进一步提高了方法的效率。
[0055]在本发明的一个实现中，方法200还包括步骤S206，判定方法200的执行是否满足预定条件，在满足时方法200结束，否则返回到步骤S201循环迭代该方法200。预定条件可以例如包括所述方法的预定执行次数和/或所述指标的预定稳定程度。并且在步骤S203和S205中对所述任务集的所述调整包括创建、删除或修改所述任务集中的一个或多个任务。初始的任务集可以基于所述存储系统声称的性能参数生成或者随机生成。并且访问包括对所述存储系统的输入/输出访问。
[0056]在本发明的一个实现中，步骤S203还可以包括:确定所述指标集中的一个或多个指标是否达到所述存储系统的声称性能参数，以及在确定存在未能达到所述标称性能参数的指标时，针对所述指标集中未能达到所述声称性能参数的所述指标，调整所述任务集，从而使得可以针对该指标进行设计任务集。
[0057]在本发明的另一个实现中，步骤S203也可以包括:基于所述指标集中的一个或多个指标与参考存储系统的对应指标的匹配程度，确定所述存储系统与所述参考存储系统之间的相似度；以及基于所述相似度调整所述任务集。具体而言，基于相似度调整所述任务集还包括:在所述相似度为高时，针对所述参考系统的其他指标调整所述任务集。
[0058]上文已经结合若干【具体实施方式】阐释了本发明的精神和原理。根据本发明的实施方式，可以高效、便利地获得目标存储系统的各项性能(包括优势和劣势)，从而便于对该目标存储系统的进一步利用。
[0059]图3示出了适于用来实践本发明实施方式的计算机系统的示意性框图。如图3所示，计算机系统可以包括:CPU(中央处理单元)301、RAM(随机存取存储器)302、ROM(只读存储器)303、系统总线304、硬盘控制器305、键盘控制器306、串行接口控制器307、并行接口控制器308、显示控制器309、硬盘310、键盘311、串行外部设备312、并行外部设备313和显示器314。在这些设备中，与系统总线303耦合的有CPU301、RAM302、R0M303、硬盘控制器305、键盘控制器306、串行控制器307、并行控制器308和显示控制器309。硬盘310与硬盘控制器305耦合，键盘311与键盘控制器306耦合，串行外部设备312与串行接口控制器307耦合，并行外部设备313与并行接口控制器308耦合，以及显示器314与显示控制器309耦合。
[0060]应当理解，图3所述的结构框图仅仅为了示例的目的而示出的，而不是对本发明范围的限制。在某些情况下，可以根据具体情况而增加或者减少某些设备。
[0061]特别地，除硬件实施方式之外，本发明的实施方式可以通过计算机程序产品的形式实现。例如，参考图2描述的方法200可以通过计算机程序产品来实现。该计算机程序产品可以存储在例如图3所示的RAM302、R0M303、硬盘310和/或任何适当的存储介质中，或者通过网络从适当的位置下载到计算机系统300上。计算机程序产品可以包括计算机代码部分，其包括可由适当的处理设备(例如，图3中示出的CPU301)执行的程序指令。所述程序指令至少可以包括:用于使一个或多个实体执行包含多个任务的任务集的指令，所述多个任务中的每个任务用于访问所述存储系统；用于基于所述执行的结果获得所述存储系统的指标集的指令，所述指标集包含一个或多个用于指示所述存储系统性能的指标；以及用于基于所述指标集调整所述任务集，以供所述一个或多个实体后续执行的指令。
[0062]上文已经结合若干【具体实施方式】阐释了本发明的精神和原理。根据本发明的实施方式，可以在每轮工作负载的执行之后基于执行结果来智能地改进用于下一次执行的工作负载，从而能够更有针对性地、更加高效地获得存储系统的性能，以便更好地利用存储系统。
[0063]应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
[0064]应当注意，尽管在上文详细描述中提及了设备的若干装置或子装置，但是这种划分仅仅并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多装置的特征和功能可以在一个装置中具体化。反之，上文描述的一个装置的特征和功能可以进一步划分为由多个装置来具体化。
[0065]此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤规约为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
[0066]虽然已经参考若干【具体实施方式】描述了本发明，但是应该理解，本发明并不限于所公开的【具体实施方式】。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。所附权利要求的范围符合最宽泛的解释，从而包含所有这样的修改及等同结构和功能。
【权利要求】
1.一种用于度量存储系统性能的方法，包括以下步骤: (i)使一个或多个实体执行包含多个任务的任务集，所述多个任务中的每个任务用于访问所述存储系统； (?)基于所述执行的结果获得所述存储系统的指标集，所述指标集包含一个或多个用于指示所述存储系统性能的指标；以及 (iii)基于所述指标集调整所述任务集，以供所述一个或多个实体后续执行。
2.根据权利要求1所述的方法，还包括步骤: (iv)基于所述执行的结果确定已经执行的所述多个任务中的一个或多个任务的类别；以及 (v)基于所述类别调整所述任务集，以供所述一个或多个实体后续执行。
3.根据权利要求2所述的方法，其中，步骤(V)中基于所述类别调整所述任务集进一步包括:从所述任务集中删除具有所述一个或多个类别中的任一类别的任务。
4.根据权利要求1或2所述的方法，还包括迭代地执行所述步骤(i)-(iii)/步骤(i)_ (V)，直至满足预定条件。
5.根据权利要求4所述的方法，其中，所述预定条件包括所述方法的预定执行次数和/或所述指标的预定稳定程度。
6.根据权利要求1或2所述的方法，其中，对所述任务集的所述调整包括创建、删除或修改所述任务集中的一个或多个任务。
7.根据权利要求1或2所述的方法，其中，初始的所述任务集基于所述存储系统声称的性能参数生成或者随机生成。
8.根据权利要求1或2所述的方法，其中，所述访问包括对所述存储系统的输入/输出访问。
9.根据权利要求1或2所述的方法，其中，所述步骤(iii)还包括:确定所述指标集中的一个或多个指标是否达到所述存储系统的声称性能参数；以及 在确定存在未能达到所述标称性能参数的指标时，针对所述指标集中未能达到所述声称性能参数的所述指标，调整所述任务集。
10.根据权利要求1或2所述的方法，其中，所述步骤(iii)还包括:基于所述指标集中的一个或多个指标与参考存储系统的对应指标的匹配程度，确定所述存储系统与所述参考存储系统之间的相似度；以及 基于所述相似度调整所述任务集。
11.根据权利要求1或2所述的方法，其中，所述基于相似度调整所述任务集还包括:在所述相似度为高时，针对所述参考系统的其他指标调整所述任务集。
12.一种用于评估存储系统性能的装置，包括: 执行装置，被配置为使一个或多个实体执行包含多个任务的任务集，所述多个任务中的每个任务用于访问所述存储系统； 指标获得装置，被配置为基于所述执行的结果获得所述存储系统的指标集，所述指标集包含一个或多个用于指示所述存储系统性能的指标；以及 第一调整装置，被配置为基于所述指标集调整所述任务集，以供所述一个或多个实体后续执行。
13.根据权利要求12所述的装置，还包括: 类别确定装置，被配置为基于所述执行的结果确定已经执行的所述多个任务中的一个或多个任务的类别；以及 第二调整装置，被配置为基于所述类别调整所述任务集，以供所述一个或多个实体后续执行。
14.根据权利要求13所述的装置，其中，所述第二调整装置还包括: 删除装置，被配置为从所述任务集中删除具有所述一个或多个类别中的任一类别的任务。
15.根据权利要求12或13所述的装置，还包括迭代装置，被配置为使得所述执行装置、所述指标获得装置以及所述第一调整装置迭代地执行，直至满足预定条件；或者被配置为使得所述执行装置、所述指标获得装置、所述第一调整装置、所述类别确定装置、以及所述第二调整装置迭代地执行，直至满足预定条件。
16.根据权利要求15所述的装置，其中，所述预定条件包括所述方法的预定执行次数和/或所述指标的预定稳定程度。
17.根据权利要求12或13所述的装置，其中，所述第一调整装置和/或所述第二调整装置对所述任务集的所述调整包括增加、删除或修改所述任务集中的一个或多个任务。
18.根据权利要求12或13所述的装置，还包括初始任务集生成装置，被配置为基于所述存储系统声称的性能参数生成初始的所述任务集或者随机生成初始的所述任务集。
19.根据权利要求12或13所述的装置，其中，所述访问包括对所述存储系统的输入/输出访问。
20.根据权利要求12或13所述的装置，其中，所述第一调整装置还包括: 比较装置，被配置为确定所述指标集中的一个或多个指标是否达到所述存储系统的声称性能参数；以及 定向调整装置，被配置为在确定存在未能达到所述标称性能参数的指标时，针对所述指标集中未能达到所述声称性能参数的所述指标，调整所述任务集。
21.根据权利要求12或13所述的装置，其中，所述第一调整装置还包括: 匹配装置，被配置为基于所述指标集中的一个或多个指标与参考存储系统的对应指标的匹配程度，确定所述存储系统与所述参考存储系统之间的相似度；以及 相似度调整装置，被配置为基于所述相似度调整所述任务集。
22.根据权利要求12或13所述的装置，其中，所述相似度调整装置还包括: 子调整装置，被配置为在所述相似度为高时，针对所述参考系统的其他指标调整所述任务集。
【文档编号】G06F9/44GK104239026SQ201310272881
【公开日】2014年12月24日 申请日期:2013年6月21日 优先权日:2013年6月21日
【发明者】杨子夜, 范晨辉, 陈平, 陈熹, 陈海兰 申请人:伊姆西公司