数据缓存集群压力测试装置及方法
【专利摘要】本发明公开一种数据缓存集群压力测试装置，包括：客户端模块，用于产生当前测试周期基于数据缓存集群的测试压力；测试管理模块，用于获取所述数据缓存集群响应所述测试压力时的性能参数；以及判断所述测试压力是否与所述性能参数线性相关，是则增加下一测试周期的测试压力，否则减小下一测试周期的测试压力，直至获取到测试压力和性能参数线性相关的临界值，其中，当次测试压力的调整量小于上次测试压力的调整量，所述临界值包括测试周期内的测试压力和性能参数线性相关，且测试压力的上次调整量小于预设阈值。本发明还公开了一种数据缓存集群压力测试方法。本发明能够准确的获取数据缓存集群的极限性能指标。
【专利说明】
数据缓存集群压力测试装置及方法
技术领域
[0001]本发明涉及数据缓存技术领域，具体涉及一种数据缓存集群压力测试装置及方法。
【背景技术】
[0002]随着互联网行业的高速发展，网站数据缓存已经成为网站的一个关键性支撑技术。缓存服务如Redis ,Memcache等也在不断升级发展。缓存集群的自动扩展、容错和高可用性都有了很大的改进，将能够在更大范围内承担更关键的任务。使用这些数据缓存集群，就需要对其进行详细的测试，其中，检验集群的极限性能尤为重要。
[0003]传统的压力测试方法一般通过使用测试工具软件的已有方法来进行，相对测试步骤较简单，无法动态自动调整测试参数，测试结果只能按固定的参数指标，输出相应的结果。这种固定参数的方法，无法采集被测试系统的各种临界状态(如崩溃前的状态等)详细的测试数据，也就无法获取较准确的集群极限性能指标等。
【发明内容】
[0004]本发明提供一种数据缓存集群压力测试装置及方法，旨在准确的获取数据缓存集群的极限性能指标。
[0005]为实现上述发明目的，本发明提供一种数据缓存集群压力测试装置，所述数据缓存集群压力测试装置包括:
[0006]客户端模块，用于产生当前测试周期基于数据缓存集群的测试压力；
[0007]测试管理模块，用于获取所述数据缓存集群响应所述测试压力时的性能参数；以及
[0008]判断所述测试压力是否与所述性能参数线性相关，是则增加下一测试周期的测试压力，否则减小下一测试周期的测试压力，直至获取到测试压力和性能参数线性相关的临界值，其中，
[0009]当次测试压力的调整量小于上次测试压力的调整量，所述临界值包括测试周期内的测试压力和性能参数线性相关，且测试压力的上次调整量小于预设阈值。
[0010]可选的，所述客户端模块还用于，通过多个程序产生当前测试周期基于数据缓存集群的测试压力，其中，各所述程序中有程序采用的编程语言不同。
[0011 ]可选的，所述测试压力包括读测试压力、写测试压力和混合读写测试压力，所述客户端模块还用于，产生当前测试周期基于数据缓存集群的写测试压力、读测试压力或混合读写测试压力；以及
[0012]在产生的测试压力达到测试压力和性能参数线性相关的临界值时，继续产生其它类型的测试压力进行压力测试。
[0013]可选的，在所述客户端模块产生的测试压力为读测试压力或混合读写测试压力，且获取数据缓存集群响应测试压力的性能参数的同时，所述测试管理模块还用于，判断所述数据缓存集群响应所述读测试压力或混合读写测试压力返回的读数据是否与所述写测试压力对应的写数据相同，是则输出读写准确的信息。
[0014]可选的，所述测试管理模块还用于，记录并根据各测试周期的测试压力及其对应的性能参数生成测试报告。
[0015]此外，为了上述发明目的，本发明还提供一种数据缓存集群压力测试方法，所述数据缓存集群压力测试方法包括以下步骤:
[0016]产生当前测试周期基于数据缓存集群的测试压力；
[0017]获取所述数据缓存集群响应所述测试压力时的性能参数；
[0018]判断所述测试压力是否与所述性能参数线性相关，是则增加下一测试周期的测试压力，否则减小下一测试周期的测试压力，直至获取到测试压力和性能参数线性相关的临界值，其中，
[0019]当次测试压力的调整量小于上次测试压力的调整量，所述临界值包括测试周期内的测试压力和性能参数线性相关，且测试压力的上次调整量小于预设阈值。
[0020]可选的，所述产生当前测试周期基于数据缓存集群的测试压力的步骤包括:
[0021]通过多个程序产生当前测试周期基于数据缓存集群的测试压力，其中，各所述程序中有程序采用的编程语言不同。
[0022]可选的，所述测试压力包括读测试压力、写测试压力和混合读写测试压力，所述产生当前测试周期基于数据缓存集群的测试压力的步骤包括:
[0023]产生当前测试周期基于数据缓存集群的写测试压力、读测试压力或混合读写测试压力；
[0024]在调整下一测试周期的测试压力之后，还包括:
[0025]在产生的测试压力达到测试压力和性能参数线性相关的临界值时，继续产生其它类型的测试压力进行压力测试。
[0026]可选的，在产生的测试压力为读测试压力或混合读写测试压力，且执行获取数据缓存集群响应测试压力的性能参数的同时，还执行以下步骤:
[0027]判断所述数据缓存集群响应所述读测试压力或混合读写测试压力返回的读数据是否与所述写测试压力对应的写数据相同，是则输出读写准确的信息。
[0028]可选的，所述数据缓存集群压力测试方法还包括:
[0029]记录并根据各测试周期的测试压力及其对应的性能参数生成测试报告。
[0030]本发明的数据缓存集群压力测试装置及方法，通过周期的产生测试压力模拟实际负载，并根据数据缓存集群响应测试压力时的性能参数与测试压力的线性相关性调整下一周期的测试压力，通过动态的自动调整测试压力，能够准确的获取到测试压力和性能参数线性相关的临界值，即准确的获取到数据缓存集群的极限性能指标。
【附图说明】
[0031]图1为本发明数据缓存集群压力测试装置第一实施例的功能模块示意图；
[0032]图2为本发明数据缓存集群压力测试装置第一实施例中数据缓存集群压力测试装置和数据缓存集群的架构示例图；
[0033]图3为本发明数据缓存集群压力测试装置第二实施例中一应用场景的测试流程示例图；
[0034]图4为本发明数据缓存集群压力测试方法第一实施例的流程示意图；
[0035]图5为本发明数据缓存集群压力测试方法第二实施例的流程示意图。
【具体实施方式】
[0036]应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互任意结入口 ο
[0037]参照图1，在本发明数据缓存集群压力测试装置的第一实施例中，该数据缓存集群压力测试装置包括:
[0038]客户端模块10，用于产生当前测试周期基于数据缓存集群的测试压力；
[0039]需要说明的是，本实施例对数据缓存集群的压力测试包括连续写、连续读和混合读写的测试，以全面的测试数据缓存集群的读/写性能。相应的，在本实施例中，测试压力包括读测试压力、写测试压力和混合读写测试压力，分别用于描述测试周期内将数据写入数据缓存集群的写吞吐量，测试周期内从数据缓存集群读取数据的读吞吐量，测试周期内基于数据缓存集群混合读写数据的读/写吞吐量。
[0040]其中，本实施例并不限制测试周期的具体取值，可按实际需要进行设置，例如，本实施例将测试周期设置为5秒，如当进行数据缓存集群的连续写压力测试时，在5秒内以一定的吞吐量连续写入数据至数据缓存集群。
[0041]本实施例中，客户端模块10在产生当前测试周期的测试压力时，具体通过多个程序产生当前测试周期的测试压力，其中，多个程序中有程序采用的编程语言不同，例如，参照图2，客户端模块10分别启用多个ruby和java等程序产生设定的吞吐量，每个程序进程可执行读、写或混合读写操作，以对数据缓存集群进行连续写、连续读或混合读写的测试。此夕卜，客户端模块10还统计每秒总的最大吞吐量指标。
[0042]需要说明的是，针对不同编程语言编写的程序，数据缓存集群基于对应的底层驱动实现访问支持。因此，本实施例通过多种不同编程语言编写的程序模拟多种类型的客户端，可验证数据缓存集群对多种类型客户端压力测试的稳定性，且更贴近数据缓存集群的实际工作环境，使得测试数据具有较高的置信度。
[0043]客户端模块10产生当前测试周期基于数据缓存集群的测试压力，即通过多个程序按照设定的吞吐量访问数据缓存集群(包括读、写或混合读写操作)。
[0044]测试管理模块20，用于获取数据缓存集群响应接收的测试压力时的性能参数；以及
[0045]判断当前测试周期的测试压力与性能参数是否线性相关，是则增加下一测试周期的测试压力，否则减小下一测试周期的测试压力，直至获取到测试压力和性能参数线性相关的临界值，其中，
[0046]当次测试压力的调整量小于上次测试压力的调整量，临界值包括测试周期内的测试压力和性能参数线性相关，且测试压力的上次调整量小于预设阈值。
[0047]本实施例中，数据缓存集群在接收到测试压力时，相应进行响应，包括:
[0048]接收到客户端模块10产生的读测试压力时，返回对应的读取数据；
[0049]接收到客户端模块10产生的写测试压力时，写入对应的写数据；
[0050]接收到客户端模块10产生的混合读写测试压力时，混合写入对应的写数据以及返回对应的读取数据。
[0051]参照图2，数据缓存集群由多个节点构成，数据缓存集群在进行读写操作时，具体读/写哪个节点或者哪几个节点，由数据缓存集群基于配置的负载均衡策略相应执行，本实施例不做限制，例如，模拟的Ruby客户端I对应节点I，模拟的Ruby客户端2对应节点2等。
[0052]在测试周期内，测试管理模块20实时采集数据缓存集群内各节点的性能参数(包括各节点的CPU占用率、内存I/O占用率、磁盘I/O占用率以及网络I/O占用率)，并在各节点稳定之后，判断各节点的性能参数是否接收的测试压力线性相关，当性能参数与测试压力线性相关的节点的数量值达到预设阈值时，视作整个数据缓存集群的性能参数与测试压力线性相关，进而根据数据缓存集群的测试压力和性能参数之间的相关性调整下一测试周期的测试压力。
[0053]需要说明的是，在测试管理模块20增大测试压力的过程中，数据缓存集群中的部分节点可能由于自身性能原因导致宕机，无法继续提供数据缓存服务，也即无法响应分配的部分测试压力。此时，数据缓存集群将会把预分配至宕机节点的部分测试压力迀移至其它正常节点进行处理，不会影响整个数据缓存集群的性能参数和测试压力的相关性。若在测试管理模块20增大测试压力的过程中，数据缓存集群中的全部节点宕机，使得整个数据缓存集群的性能参数和测试压力线性无关，此时测试管理模块20停止当前测试周期的测试，以当前测试压力为基准，减小一定量后作为下一测试周期的测试压力进入测试。
[0054]例如，客户端模块10在测试管理模块20指示下逐步增大测试压力，具体启用多个Ruby和Java等程序进程模拟负载(即模拟客户端)从2万->4万->6万…_>N/S等吞吐量逐步增大，在各测试周期内，测试管理模块20观察数据缓存集群的各节点的CPU占用率、内存I/O占用率、磁盘I/O占用率以及网络I/O占用率与负载的相关性，直至稳定。在一测试周期内，如果负载与性能消耗成线性相关，继续逐步增大吞吐量，直至这个负载与性能线性相关被严重破坏(即数据缓存集群全部节点宕机)，并在负载与性能线性无关时，减小下一测试周期的测试压力(具体指示客户端模块10减小模拟负载量)，并进入下一测试周期进行测试，直至负载和数据缓存系统的极限性能达到动态平衡，即获取到测试压力与性能参数线性相关的临界值，该临界值包括测试周期内的测试压力和性能参数线性相关，且测试压力的上次调整量小于预设阈值(本实施例不作具体限制，可按实际需要进行设置，例如，本实施例将其设置为10)。
[0055]为此，测试管理模块20在调整(包括增加和减小)下一测试周期的测试压力时，当次的调整量小于上一次的调整量。
[0056]需要说明的是，本实施例对数据缓存集群进行的压力测试包括连续写、连续读以及混合读写的测试，为准确获取到数据缓存集群连续写、连续读以及混合读写的性能极限指标，本实施例依次对数据缓存集群进行连续写、连续读以及混合读写的测试。在本实施例中，客户端模块10还用于产生当前测试周期基于数据缓存集群的写测试压力、读测试压力或混合读写测试压力；以及
[0057]在产生的测试压力达到测试压力和性能参数线性相关的临界值时，继续产生其它类型的测试压力进行压力测试。
[0058]进一步的，测试管理模块20还用于，记录并根据各测试周期的测试压力及其对应的性能参数生成测试报告。
[0059]在本实施例中，测试管理模块20在各测试周期获取到数据缓存集群响应接收到测试压力时的性能参数之后，按照各测试周期的对应关系，形成测试报告，包括执行连续写、连续读以及混合读写三种压力测试的各测试周期的测试压力及数据缓存集群中对应的各节点的CPU占用率、内存I/O占用率、磁盘I/O占用率以及网络I/O占用率等数据。通过该测试报告用户可以直观的得到数据缓存集群在测试压力整个连续变化过程中的性能指标，以及测试压力达到和数据缓存系统的极限性能动态平衡的极限性能指标(包括连续写、连续读以及混合读写三种测试的极限性能指标)。
[0060]本实施例提出的数据缓存集群压力测试装置，通过周期的产生测试压力模拟实际负载，并根据数据缓存集群响应测试压力时的性能参数与测试压力的线性相关性调整下一周期的测试压力，通过动态的自动调整测试压力，能够准确的获取到测试压力和性能参数线性相关的临界值，即准确的获取到数据缓存集群的极限性能指标。
[0061]进一步的，提出了本发明数据缓存集群压力测试装置的第二实施例，本实施例与第一实施例的区别在于，本实施例中的测试管理模块20还对数据缓存集群的读写准确性进行验证，继续参照图2，在本实施例中，该数据缓存集群压力测试装置包括:
[0062]客户端模块10，用于产生当前测试周期基于数据缓存集群的测试压力；
[0063]测试管理模块20，用于获取数据缓存集群响应接收的测试压力时的性能参数；以及
[0064]判断当前测试周期的测试压力与性能参数是否线性相关，是则增加下一测试周期的测试压力，否则减小下一测试周期的测试压力，直至获取到测试压力和性能参数线性相关的临界值，其中，
[0065]当次测试压力的调整量小于上次测试压力的调整量，临界值包括测试周期内的测试压力和性能参数线性相关，且测试压力的上次调整量小于预设阈值；
[0066]客户端模块10还用于产生当前测试周期基于数据缓存集群的写测试压力、读测试压力或混合读写测试压力；以及
[0067]在产生的测试压力达到测试压力和性能参数线性相关的临界值时，继续产生其它类型的测试压力进行压力测试；
[0068]测试管理模块20还用于，在客户端模块10产生的测试压力为读测试压力或混合读写测试压力，且获取数据缓存集群响应测试压力的性能参数的同时，判断数据缓存集群响应接收的读测试压力或者混合读写测试压力返回的读数据是否与产生的写测试压力对应的写数据相同，是则输出读写准确的信息。
[0069]以下仅对本实施例与第一实施例的区别进行说明，其他可具体参照第一实施例，此处不再赘述。
[0070]在本实施例中，测试管理模块20在对数据缓存集群进行压力测试的同时，还对数据缓存集群的读写准确性进行验证，具体的，在客户端模块10产生的测试压力为读测试压力或混合读写测试压力(即执行对数据缓存集群的连续读压力测试或者混合读写压力测试时)，且获取数据缓存集群响应测试压力的性能参数的同时，测试管理模块20还用于判断数据缓存集群响应接收的读测试压力或者混合读写测试压力返回的读数据是否与产生的写测试压力对应的写数据相同，是则输出读写准确的信息。可选的，前述测试管理模块20生成的测试报告还可包括数据缓存集群的读写准确性。
[0071]需要说明的是，由于本实施例首先对数据缓存集群进行连续写的压力测试，客户端模块10在通过多种程序产生写测试压力时，产生的用于写入数据缓存集群的键值对设定有一定的相关性，例如，值数值为重复的“1，2，3”。相应的，测试管理模块20在获取到数据缓存集群响应接收的读测试压力或者混合读写测试压力返回的读数据时，按照这种相关性，验证数据缓存集群读写数据的准确性，例如，验证读取的值数值是否为重复的“I，2，3”，是则说明读写准确。
[0072]以下结合图3对上述第二实施例的数据缓存集群压力测试装置做进一步应用说明:
[0073]1、启动待测试的数据缓存集群的服务。
[0074]2、模拟客户端生成访问负载吞吐量。
[0075]具体地，客户端模块10分别启用多个ruby和java等程序进程产生一定量吞吐，每个进程可执行读、写或混合读写操作。
[0076]3、压力线性提升测试。
[0077]测试管理模块20控制模拟负载从2万->4万->6万…_>N/S等吞吐量逐步增大，每个测试步骤持续一定时间，观察集群的各节点的CPU占用率、内存I/O占用率、磁盘I/O占用率以及网络I/o占用率与负载的相关性，直至稳定。在一测试周期内，如果负载与性能消耗成线性相关，继续逐步增大吞吐量，直至这个负载与性能线性相关被严重破坏。测试管理模块20记录所有测试吞吐指标和集群性能数据。
[0078]具体的，包括连续写、连续读和混合读写的测试:
[0079](I)执行连续写压力测试，按上述步骤逐步提升压力，并记录数据。
[0080](2)执行连续读压力测试，按上述步骤逐步提升压力，并记录数据。
[0081](3)执行连续混合读写压力测试，按上述步骤逐步提升压力，并记录数据。
[0082]上述处理过程中，如果发生集群中部分节点宕机，观察整个集群状态稳定后，继续执行。
[0083]上述处理过程中，如果发生整个集群宕机，即停止，作为本次压力测试的一个临界点。
[0084]上述处理过程中，获取上次压力测试的一个临界点后，向下调整参数，重复上述步骤，直至测试参数和被测系统的极限性能达到动态平衡，获取系统较稳定的极限性能数据。
[0085]4、读写数据的键值对验证。
[0086]上述连续写测试中，写入数据的键和值数值已经设定相关性，后续连续读测试和混合读写测试中，测试管理模块20按这种相关性，进行数据验证，检测数据读写的准确性。
[0087]5、压力测试数据管理。
[0088]统计上述处理过程中客户端吞吐量，集群各节点CPU占用率、内存I/O占用率、磁盘I/O占用率、网络I/O占用率以及数据读写的准确性等数据，输出测试报告。
[0089]本实施例通过增加对数据缓存集群的读写准确性的验证，能够满足用户多样化的测试需求。
[0090]进一步的，本发明还提供了一种数据缓存集群压力测试方法，结合参照图1和图4，对应于本发明数据缓存集群压力测试装置的第一实施例，在本发明数据缓存集群压力测试方法的第一实施例中，该数据缓存集群压力测试方法包括:
[0091 ]步骤SI，产生当前测试周期基于数据缓存集群的测试压力；
[0092]需要说明的是，本实施例提供的数据缓存集群压力测试方法由图1所示的数据缓存集群压力测试装置执行。本实施例对数据缓存集群的压力测试包括连续写、连续读和混合读写的测试，以全面的测试数据缓存集群的读/写性能。相应的，在本实施例中，测试压力包括读测试压力、写测试压力和混合读写测试压力，分别用于描述测试周期内将数据写入数据缓存集群的写吞吐量，测试周期内从数据缓存集群读取数据的读吞吐量，测试周期内基于数据缓存集群混合读写数据的读/写吞吐量。
[0093]其中，本实施例并不限制测试周期的具体取值，可按实际需要进行设置，例如，本实施例将测试周期设置为5秒，如当进行数据缓存集群的连续写压力测试时，在5秒内以一定的吞吐量连续写入数据至数据缓存集群。
[0094]本实施例中，客户端模块10在产生当前测试周期的测试压力时，具体通过多个程序产生当前测试周期的测试压力，其中，多个程序中有程序采用的编程语言不同，例如，参照图2，客户端模块10分别启用多个ruby和java等程序产生设定的吞吐量，每个程序进程可执行读、写或混合读写操作，以对数据缓存集群进行连续写、连续读或混合读写的测试。此夕卜，客户端模块10还统计每秒总的最大吞吐量指标。
[0095]需要说明的是，针对不同编程语言编写的程序，数据缓存集群基于对应的底层驱动实现访问支持。因此，本实施例通过多种不同编程语言编写的程序模拟多种类型的客户端，可验证数据缓存集群对多种类型客户端压力测试的稳定性，且更贴近数据缓存集群的实际工作环境，使得测试数据具有较高的置信度。
[0096]客户端模块10产生当前测试周期基于数据缓存集群的测试压力，即通过多个程序按照设定的吞吐量访问数据缓存集群(包括读、写或混合读写操作)。
[0097]步骤S2，获取数据缓存集群响应接收的测试压力时的性能参数；
[0098]步骤S3，判断当前测试周期的测试压力与性能参数是否线性相关，是则增加下一测试周期的测试压力，否则减小下一测试周期的测试压力，直至获取到测试压力和性能参数线性相关的临界值，其中，
[0099]当次测试压力的调整量小于上次测试压力的调整量，临界值包括测试周期内的测试压力和性能参数线性相关，且测试压力的上次调整量小于预设阈值。
[0100]本实施例中，数据缓存集群在接收到测试压力时，相应进行响应，包括:
[0101]接收到客户端模块10产生的读测试压力时，返回对应的读取数据；
[0102]接收到客户端模块10产生的写测试压力时，写入对应的写数据；
[0103]接收到客户端模块10产生的混合读写测试压力时，混合写入对应的写数据以及返回对应的读取数据。
[0104]参照图2，数据缓存集群由多个节点构成，数据缓存集群在进行读写操作时，具体读/写哪个节点或者哪几个节点，由数据缓存集群基于配置的负载均衡策略相应执行，本实施例不做限制，例如，模拟的Ruby客户端I对应节点I，模拟的Ruby客户端2对应节点2等。
[0105]在测试周期内，测试管理模块20实时采集数据缓存集群内各节点的性能参数(包括各节点的CPU占用率、内存I/O占用率、磁盘I/O占用率以及网络I/O占用率)，并在各节点稳定之后，判断各节点的性能参数是否接收的测试压力线性相关，当性能参数与测试压力线性相关的节点的数量值达到预设阈值时，视作整个数据缓存集群的性能参数与测试压力线性相关，进而根据数据缓存集群的测试压力和性能参数之间的相关性调整下一测试周期的测试压力。
[0106]需要说明的是，在测试管理模块20增大测试压力的过程中，数据缓存集群中的部分节点可能由于自身性能原因导致宕机，无法继续提供数据缓存服务，也即无法响应分配的部分测试压力。此时，数据缓存集群将会把预分配至宕机节点的部分测试压力迀移至其它正常节点进行处理，不会影响整个数据缓存集群的性能参数和测试压力的相关性。若在测试管理模块20增大测试压力的过程中，数据缓存集群中的全部节点宕机，使得整个数据缓存集群的性能参数和测试压力线性无关，此时测试管理模块20停止当前测试周期的测试，以当前测试压力为基准，减小一定量后作为下一测试周期的测试压力进入测试。
[0107]例如，客户端模块10在测试管理模块20指示下逐步增大测试压力，具体启用多个Ruby和Java等程序进程模拟负载(即模拟客户端)从2万->4万->6万…_>N/S等吞吐量逐步增大，在各测试周期内，测试管理模块20观察数据缓存集群的各节点的CPU占用率、内存I/O占用率、磁盘I/O占用率以及网络I/O占用率与负载的相关性，直至稳定。在一测试周期内，如果负载与性能消耗成线性相关，继续逐步增大吞吐量，直至这个负载与性能线性相关被严重破坏(即数据缓存集群全部节点宕机)，并在负载与性能线性无关时，减小下一测试周期的测试压力(具体指示客户端模块10减小模拟负载量)，并进入下一测试周期进行测试，直至负载和数据缓存系统的极限性能达到动态平衡，即获取到测试压力与性能参数线性相关的临界值，该临界值包括测试周期内的测试压力和性能参数线性相关，且测试压力的上次调整量小于预设阈值(本实施例不作具体限制，可按实际需要进行设置，例如，本实施例将其设置为10)。
[0108]为此，测试管理模块20在调整(包括增加和减小)下一测试周期的测试压力时，当次的调整量小于上一次的调整量。
[0109]需要说明的是，本实施例对数据缓存集群进行的压力测试包括连续写、连续读以及混合读写的测试，为准确获取到数据缓存集群连续写、连续读以及混合读写的性能极限指标，本实施例依次对数据缓存集群进行连续写、连续读以及混合读写的测试。在本实施例中，步骤SI包括:
[0110]产生当前测试周期基于数据缓存集群的写测试压力、读测试压力或混合读写测试压力；
[0111]步骤S3之后，还包括:
[0112]在产生的测试压力达到测试压力和性能参数线性相关的临界值时，继续产生其它类型的测试压力进行压力测试。
[0113]进一步的，在本实施例中，该数据缓存集群压力测试方法还包括:
[0114]记录并根据各测试周期的测试压力及其对应的性能参数生成测试报告。
[0115]在本实施例中，测试管理模块20在各测试周期获取到数据缓存集群响应接收到测试压力时的性能参数之后，按照各测试周期的对应关系，形成测试报告，包括执行连续写、连续读以及混合读写三种压力测试的各测试周期的测试压力及数据缓存集群中对应的各节点的CPU占用率、内存I/O占用率、磁盘I/O占用率以及网络I/O占用率等数据。通过该测试报告用户可以直观的得到数据缓存集群在测试压力整个连续变化过程中的性能指标，以及测试压力达到和数据缓存系统的极限性能动态平衡的极限性能指标(包括连续写、连续读以及混合读写三种测试的极限性能指标)。
[0116]本实施例提出的数据缓存集群压力测试方法，通过周期的产生测试压力模拟实际负载，并根据数据缓存集群响应测试压力时的性能参数与测试压力的线性相关性调整下一周期的测试压力，通过动态的自动调整测试压力，能够准确的获取到测试压力和性能参数线性相关的临界值，即准确的获取到数据缓存集群的极限性能指标。
[0117]进一步的，结合参照图2和图5，对应于本发明数据缓存集群压力测试装置的第二实施例，提出了本发明数据缓存集群压力测试方法的第二实施例，与本发明数据缓存集群压力测试方法的第一实施例的区别在于，本实施例还增加了对数据缓存集群的读写准确性的验证步骤，在本实施例中，该数据缓存集群压力测试方法包括:
[0118]步骤SI，产生当前测试周期基于数据缓存集群的测试压力；
[0119]步骤S2，获取数据缓存集群响应接收的测试压力时的性能参数；
[0120]步骤S3，判断当前测试周期的测试压力与性能参数是否线性相关，是则增加下一测试周期的测试压力，否则减小下一测试周期的测试压力，直至获取到测试压力和性能参数线性相关的临界值，其中，
[0121]当次测试压力的调整量小于上次测试压力的调整量，临界值包括测试周期内的测试压力和性能参数线性相关，且测试压力的上次调整量小于预设阈值；
[0122]其中，步骤SI包括:
[0123]产生当前测试周期基于数据缓存集群的写测试压力、读测试压力或混合读写测试压力；
[0124]步骤S3之后，还包括:
[0125]在产生的测试压力达到测试压力和性能参数线性相关的临界值时，继续产生其它类型的测试压力进行压力测试；
[0126]其中，在产生的测试压力为读测试压力或混合读写测试压力，且获取数据缓存集群响应测试压力的性能参数的同时，还执行以下步骤:
[0127]判断数据缓存集群响应接收的读测试压力或者混合读写测试压力返回的读数据是否与产生的写测试压力对应的写数据相同，是则输出读写准确的信息。
[0128]以下仅对本实施例与第一实施例的区别进行说明，其他可具体参照第一实施例，此处不再赘述。
[0129]在本实施例中，测试管理模块20在对数据缓存集群进行压力测试的同时，还对数据缓存集群的读写准确性进行验证，具体的，在客户端模块10产生的测试压力为读测试压力或混合读写测试压力(即执行对数据缓存集群的连续读压力测试或者混合读写压力测试时)，且获取数据缓存集群响应测试压力的性能参数的同时，测试管理模块20还用于判断数据缓存集群响应接收的读测试压力或者混合读写测试压力返回的读数据是否与产生的写测试压力对应的写数据相同，是则输出读写准确的信息。可选的，前述测试管理模块20生成的测试报告还可包括数据缓存集群的读写准确性。
[0130]需要说明的是，由于本实施例首先对数据缓存集群进行连续写的压力测试，客户端模块10在通过多种程序产生写测试压力时，产生的用于写入数据缓存集群的键值对设定有一定的相关性，例如，值数值为重复的“1，2，3”。相应的，测试管理模块20在获取到数据缓存集群响应接收的读测试压力或者混合读写测试压力返回的读数据时，按照这种相关性，验证数据缓存集群读写数据的准确性，例如，验证读取的值数值是否为重复的“I，2，3”，是则说明读写准确。
[0131]以下结合图3对上述第二实施例的数据缓存集群压力测试方法做进一步应用说明:
[0132]1、启动待测试的数据缓存集群的服务。
[0133]2、模拟客户端生成访问负载吞吐量。
[0134]具体地，客户端模块10分别启用多个ruby和java等程序进程产生一定量吞吐，每个进程可执行读、写或混合读写操作。
[0135]3、压力线性提升测试。
[0136]测试管理模块20控制模拟负载从2万->4万->6万…_>N/S等吞吐量逐步增大，每个测试步骤持续一定时间，观察集群的各节点的CPU占用率、内存I/O占用率、磁盘I/O占用率以及网络I/o占用率与负载的相关性，直至稳定。在一测试周期内，如果负载与性能消耗成线性相关，继续逐步增大吞吐量，直至这个负载与性能线性相关被严重破坏。测试管理模块20记录所有测试吞吐指标和集群性能数据。
[0137]具体的，包括连续写、连续读和混合读写的测试:
[0138](I)执行连续写压力测试，按上述步骤逐步提升压力，并记录数据。
[0139](2)执行连续读压力测试，按上述步骤逐步提升压力，并记录数据。
[0140](3)执行混合读写压力测试，按上述步骤逐步提升压力，并记录数据。
[0141]上述处理过程中，如果发生集群中部分节点宕机，观察整个集群状态稳定后，继续执行。
[0142]上述处理过程中，如果发生整个集群宕机，即停止，作为本次压力测试的一个临界点。
[0143]上述处理过程中，获取上次压力测试的一个临界点后，向下调整参数，重复上述步骤，直至测试参数和被测系统的极限性能达到动态平衡，获取系统较稳定的极限性能数据。
[0144]4、读写数据的键值对验证。
[0145]上述连续写测试中，写入数据的键和值数值已经设定相关性，后续连续读测试和混合读写测试中，测试管理模块20按这种相关性，进行数据验证，检测数据读写的准确性。
[0146]5、压力测试数据管理。
[0147]统计上述处理过程中客户端吞吐量，集群各节点CPU占用率、内存I/O占用率、磁盘I/O占用率以及网络I/O占用率以及数据读写的准确性等数据，输出测试报告。
[0148]本实施例通过增加对数据缓存集群的读写准确性的验证，能够满足用户多样化的测试需求。
[0149]需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0150]上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0151]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如R0M/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，月艮务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
[0152]出于解释的目的，前面的描述使用了特定的术语，以提供对本发明的透彻理解。然而，对本领域的技术人员来说显而易见的是，为了实践本发明并不需要具体的细节。本发明的具体实施例的前述描述是为了图示和说明的目的而呈现。它们并不意在详尽的或将本发明限于所公开的准确形式。鉴于上面的教义，许多修改和变化是可能的。为了最好地解释本发明的原理及其实际应用而示出并描述了这些实施例，从而使本领域的其他技术人员能够最好地利用本发明和具有适于预期的特定使用的各种修改的各种实施例。意在本发明的范围由随后的权利要求和其等同物来限定。
【主权项】
1.一种数据缓存集群压力测试装置，其特征在于，所述数据缓存集群压力测试装置包括: 客户端模块，用于产生当前测试周期基于数据缓存集群的测试压力； 测试管理模块，用于获取所述数据缓存集群响应所述测试压力时的性能参数；以及 判断所述测试压力是否与所述性能参数线性相关，是则增加下一测试周期的测试压力，否则减小下一测试周期的测试压力，直至获取到测试压力和性能参数线性相关的临界值，其中， 当次测试压力的调整量小于上次测试压力的调整量，所述临界值包括测试周期内的测试压力和性能参数线性相关，且测试压力的上次调整量小于预设阈值。2.根据权利要求1所述的数据缓存集群压力测试装置，其特征在于，所述客户端模块还用于，通过多个程序产生当前测试周期基于数据缓存集群的测试压力，其中，各所述程序中有程序采用的编程语言不同。3.根据权利要求1所述的数据缓存集群压力测试装置，其特征在于，所述测试压力包括读测试压力、写测试压力和混合读写测试压力，所述客户端模块还用于，产生当前测试周期基于数据缓存集群的写测试压力、读测试压力或混合读写测试压力；以及 在产生的测试压力达到测试压力和性能参数线性相关的临界值时，继续产生其它类型的测试压力进行压力测试。4.根据权利要求3所述的数据缓存集群压力测试装置，其特征在于，在所述客户端模块产生的测试压力为读测试压力或混合读写测试压力，且获取数据缓存集群响应测试压力的性能参数的同时，所述测试管理模块还用于，判断所述数据缓存集群响应所述读测试压力或混合读写测试压力返回的读数据是否与所述写测试压力对应的写数据相同，是则输出读写准确的信息。5.根据权利要求1-4任一项所述的数据缓存集群压力测试装置，其特征在于，所述测试管理模块还用于，记录并根据各测试周期的测试压力及其对应的性能参数生成测试报告。6.一种数据缓存集群压力测试方法，其特征在于，所述数据缓存集群压力测试方法包括以下步骤: 产生当前测试周期基于数据缓存集群的测试压力； 获取所述数据缓存集群响应所述测试压力时的性能参数； 判断所述测试压力是否与所述性能参数线性相关，是则增加下一测试周期的测试压力，否则减小下一测试周期的测试压力，直至获取到测试压力和性能参数线性相关的临界值，其中， 当次测试压力的调整量小于上次测试压力的调整量，所述临界值包括测试周期内的测试压力和性能参数线性相关，且测试压力的上次调整量小于预设阈值。7.根据权利要求6所述的数据缓存集群压力测试方法，其特征在于，所述产生当前测试周期基于数据缓存集群的测试压力的步骤包括: 通过多个程序产生当前测试周期基于数据缓存集群的测试压力，其中，各所述程序中有程序采用的编程语言不同。8.根据权利要求6所述的数据缓存集群压力测试方法，其特征在于，所述测试压力包括读测试压力、写测试压力和混合读写测试压力，所述产生当前测试周期基于数据缓存集群的测试压力的步骤包括: 产生当前测试周期基于数据缓存集群的写测试压力、读测试压力或混合读写测试压力； 在调整下一测试周期的测试压力之后，还包括: 在产生的测试压力达到测试压力和性能参数线性相关的临界值时，继续产生其它类型的测试压力进行压力测试。9.根据权利要求8所述的数据缓存集群压力测试方法，其特征在于，在产生的测试压力为读测试压力或混合读写测试压力，且执行获取数据缓存集群响应测试压力的性能参数的同时，还执行以下步骤: 判断所述数据缓存集群响应所述读测试压力或混合读写测试压力返回的读数据是否与所述写测试压力对应的写数据相同，是则输出读写准确的信息。10.根据权利要求6-9任一项所述的数据缓存集群压力测试方法，其特征在于，所述数据缓存集群压力测试方法还包括: 记录并根据各测试周期的测试压力及其对应的性能参数生成测试报告。
【文档编号】G06F11/34GK106055464SQ201610363653
【公开日】2016年10月26日
【申请日】2016年5月26日
【发明人】黄沂
【申请人】努比亚技术有限公司