服务器大数据性能评价方法、系统及电子设备和存储介质与流程

本申请涉及计算机技术领域，更具体地说，涉及一种服务器大数据性能评价方法、系统及一种电子设备和一种计算机可读存储介质。

背景技术：

随着大数据技术的迅猛发展以及互联网企业大数据业务需求的增加，必须了解大数据业务场景。在现有技术中测试服务器大数据性能的方法为利用hadoop的benchmark工具，该工具仅仅能得到服务器的性能数据，但没有给出服务器大数据性能的评价标准。

因此，如何提供一种服务器大数据性能的评价标准是本领域技术人员需要解决的技术问题。

技术实现要素：

本申请的目的在于提供一种服务器大数据性能评价方法、系统及一种电子设备和一种计算机可读存储介质，提供了一种服务器大数据性能的评价标准。

为实现上述目的，本申请提供了一种服务器大数据性能评价方法，包括：

获取测试数据，并根据所述测试数据创建查询任务列表；

在预设的运行时间内执行所述查询任务列表中的查询任务；

根据单位时间内执行成功的任务数量和任务平均执行时间评价所述服务器的大数据性能。

其中，所述测试数据包括hive数据和spart数据。

其中，所述获取测试数据，包括：

通过tpc-ds生成所述hive数据，通过spark工具生成所述spart数据。

其中，所述根据所述测试数据创建查询任务列表，包括：

根据所述hive数据创建mapreduce查询任务列表，根据所述spart数据创建spart查询任务列表。

其中，还包括：

在所述运行时间内监控所述服务器的运行状态信息。

其中，在所述运行时间内监控所述服务器的运行状态信息，包括：

在所述运行时间内通过nmon工具监控所述服务器的运行状态信息。

为实现上述目的，本申请提供了一种服务器大数据性能评价系统，包括：

创建模块，用于获取测试数据，并根据所述测试数据创建查询任务列表；

执行模块，用于在预设的运行时间内执行所述查询任务列表中的查询任务；

评价模块，用于根据单位时间内执行成功的任务数量和任务平均执行时间评价所述服务器的大数据性能。

其中，还包括：

监控模块，用于在所述运行时间内监控所述服务器的运行状态信息。

为实现上述目的，本申请提供了一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述服务器大数据性能评价方法的步骤。

为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述服务器大数据性能评价方法的步骤。

通过以上方案可知，本申请提供的一种服务器大数据性能评价方法，包括：获取测试数据，并根据所述测试数据创建查询任务列表；在预设的运行时间内执行所述查询任务列表中的查询任务；根据单位时间内执行成功的任务数量和任务平均执行时间评价所述服务器的大数据性能。

本申请提供的服务器大数据性能评价方法，对大数据场景进行模拟，记录查询任务的执行情况，在服务器负载相同情况下，通过计算单位时间内执行成功的任务数量和任务平均执行时间，作为服务器大数据性能评判标准。本申请还公开了一种服务器大数据性能评价系统及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1为根据一示例性实施例示出的一种服务器大数据性能评价方法的流程图；

图2为根据一示例性实施例示出的另一种服务器大数据性能评价方法的流程图；

图3为根据一示例性实施例示出的一种服务器大数据性能评价系统的结构图；

图4为根据一示例性实施例示出的一种电子设备的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例公开了一种服务器大数据性能评价方法，提供了一种服务器大数据性能的评价标准。

参见图1，根据一示例性实施例示出的一种服务器大数据性能评价方法的流程图，如图1所示，包括：

s101：获取测试数据，并根据所述测试数据创建查询任务列表；

本实施例的执行主体为服务器大数据性能测试的处理器，前提为hadoop已正常安装并启动。首先获取测试数据，该测试数据用于对服务器进行大数据性能测试，即为服务器大数据性能测试的模拟数据。本实施例不对测试数据的具体类型进行具体限定，可以包括hive数据和spart数据，获取这些测试数据的前提为hive、spark都已经安装并且能够正确启动。

获取测试数据后，根据该测试数据生成查询任务列表，例如，hive数据对应的查询任务列表为mapreduce查询任务列表，spart数据对应的查询任务列表为spart查询任务列表。

在本实施例中，可以灵活的调整大数据业务负载，即灵活调整测试数据的类型和查询任务列表中的任务数量级别。

s102：在预设的运行时间内执行所述查询任务列表中的查询任务；

在本步骤中，可以预先设置运行时间，在该运行时间内执行查询任务列表中的查询任务。在执行过程中，可以随机执行查询任务列表中的查询任务，也可以依次执行，在此不进行具体限定。

s103：根据单位时间内执行成功的任务数量和任务平均执行时间评价所述服务器的大数据性能。

在本实施例中，将单位时间内执行成功的任务数量和任务平均执行时间作为服务器的大数据性能的评价指标。在查询任务执行过程中，需要记录执行查询任务的总数量和执行成功的任务总数量，单位时间内执行成功的任务数量为执行成功的任务总数量与运行时间的比值，任务平均执行时间为执行查询任务的总数量与运行时间的比值。当测试数据包含多种类型，对应不同的查询任务列表时，需要分别计算。

需要说明的是，可以将上述两个评价指标显示至测试报告中，以便测试人员进行人工评价，也可以根据这两个评价指标设定评价公式，自动生成评价结果，在此不进行具体限定。

本申请实施例提供的服务器大数据性能评价方法，对大数据场景进行模拟，记录查询任务的执行情况，在服务器负载相同情况下，通过计算单位时间内执行成功的任务数量和任务平均执行时间，作为服务器大数据性能评判标准。

本申请实施例公开了一种服务器大数据性能评价方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：

参见图2，根据一示例性实施例示出的另一种服务器大数据性能评价方法的流程图，如图2所示，包括：

s201：通过tpc-ds生成所述hive数据，通过spark工具生成所述spart数据；

在本实施例中，测试数据包括hive和spark两部分数据。其中hive数据通过tpc-ds生成，数据量根据实际需求可以为50g，spark数据通spark自带数据生成工具生成，数据量可以根据实际需求分别为10g、20g和40g，spark自带数据生成工具生成的数据需要将其分别转换为数据表，以便后续处理。

s202：根据所述hive数据创建mapreduce查询任务列表，根据所述spart数据创建spart查询任务列表。

在本步骤中，相应的，生成的查询任务列表包括mapreduce查询任务和spark查询任务两种类型。

s203：在预设的运行时间内执行所述mapreduce查询任务列表和所述spart查询任务列表中的查询任务；

s204：在所述运行时间内监控所述服务器的运行状态信息；

在本实施例中，在执行查询任务的过程中，监控服务器的运行状态信息，此处不对运行状态信息的具体内容进行限定，例如可以包括cpu、内存、io、network带宽等信息，这些运行状态信息可以记录在测试报告中。优选的，本步骤可以通过nmon工具监控服务器的运行状态信息。

s205：根据单位时间内执行成功的mapreduce任务数量、mapreduce任务平均执行时间、单位时间内执行成功的spart任务数量和spart任务平均执行时间评价所述服务器的大数据性能。

在本步骤中，mapreduce通过mapreduceapphistory日志进行统计，统计运行时间内成功执行的mapreduce任务数量、执行的总mapreduce任务数量，从而计算单位时间内执行成功的mapreduce任务数量、mapreduce任务平均执行时间。spark通过sparkapphistory日志进行统计，统计运行时间内成功执行的spark任务数量、执行的总spark任务数量，从而计算单位时间内执行成功的spart任务数量和spart任务平均执行时间，根据上述计算得到的四个指标评价服务器的大数据性能。

下面对本申请实施例提供的一种服务器大数据性能评价系统进行介绍，下文描述的一种服务器大数据性能评价系统与上文描述的一种服务器大数据性能评价方法可以相互参照。

参见图3，根据一示例性实施例示出的一种服务器大数据性能评价系统的结构图，如图3所示，包括：

创建模块301，用于获取测试数据，并根据所述测试数据创建查询任务列表；

执行模块302，用于在预设的运行时间内执行所述查询任务列表中的查询任务；

评价模块303，用于根据单位时间内执行成功的任务数量和任务平均执行时间评价所述服务器的大数据性能。

本申请实施例提供的服务器大数据性能评价系统，对大数据场景进行模拟，记录查询任务的执行情况，在服务器负载相同情况下，通过计算单位时间内执行成功的任务数量和任务平均执行时间，作为服务器大数据性能评判标准。

在上述实施例的基础上，作为一种优选实施方式，所述测试数据包括hive数据和spart数据。

在上述实施例的基础上，作为一种优选实施方式，所述创建模块301包括：

获取单元，用于通过tpc-ds生成所述hive数据，通过spark工具生成所述spart数据；

创建单元，用于根据所述测试数据创建查询任务列表。

在上述实施例的基础上，作为一种优选实施方式，所述创建单元具体为根据所述hive数据创建mapreduce查询任务列表，根据所述spart数据创建spart查询任务列表的单元。

在上述实施例的基础上，作为一种优选实施方式，还包括：

监控模块，用于在所述运行时间内监控所述服务器的运行状态信息。

在上述实施例的基础上，作为一种优选实施方式，所述监控模块具体为在所述运行时间内通过nmon工具监控所述服务器的运行状态信息的模块。

关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本申请还提供了一种电子设备，参见图4，本申请实施例提供的一种电子设备400的结构图，如图4所示，可以包括处理器11和存储器12。该电子设备400还可以包括多媒体组件13，输入/输出(i/o)接口14，以及通信组件15中的一者或多者。

其中，处理器11用于控制该电子设备400的整体操作，以完成上述的服务器大数据性能评价方法中的全部或部分步骤。存储器12用于存储各种类型的数据以支持在该电子设备400的操作，这些数据例如可以包括用于在该电子设备400上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器12可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(staticrandomaccessmemory，简称sram)，电可擦除可编程只读存储器(electricallyerasableprogrammableread-onlymemory，简称eeprom)，可擦除可编程只读存储器(erasableprogrammableread-onlymemory，简称eprom)，可编程只读存储器(programmableread-onlymemory，简称prom)，只读存储器(read-onlymemory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件13可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器12或通过通信组件15发送。音频组件还包括至少一个扬声器，用于输出音频信号。i/o接口14为处理器11和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件15用于该电子设备400与其他设备之间进行有线或无线通信。无线通信，例如wi-fi，蓝牙，近场通信(nearfieldcommunication，简称nfc)，2g、3g或4g，或它们中的一种或几种的组合，因此相应的该通信组件15可以包括：wi-fi模块，蓝牙模块，nfc模块。

在一示例性实施例中，电子设备400可以被一个或多个应用专用集成电路(applicationspecificintegratedcircuit，简称asic)、数字信号处理器(digitalsignalprocessor，简称dsp)、数字信号处理设备(digitalsignalprocessingdevice，简称dspd)、可编程逻辑器件(programmablelogicdevice，简称pld)、现场可编程门阵列(fieldprogrammablegatearray，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的服务器大数据性能评价方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述服务器大数据性能评价方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器12，上述程序指令可由电子设备400的处理器11执行以完成上述的服务器大数据性能评价方法。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。