一种客户端设备性能测试方法及系统的制作方法
【技术领域】
[0001]本申请涉及移动客户端设备测试技术，尤其涉及一种客户端设备性能测试方法及系统。
【背景技术】
[0002]客户端设备性能测试的实现原理是在执行测试过程的基础上，同时对执行被测程序客户端设备的性能参数(如内存、CPU、FPS、流量、温度、电量和电压等)的收集、整理和分析，是一种最基本的测试类型。对于大型手游来说，良好的游戏体验是提高玩家留存率的重要因素，而客户端设备性能是良好游戏体验的前提，因此手游客户端设备的性能测试更加显得必要。
[0003]传统的客户端设备性能测试流程通常为:开发人员完成程序代码、美术资源及服务器部署之后，将客户端设备程序打包提交给测试员进行测试，而测试人员需要对硬件和软件进行特定需求的准备工作之后，展开具有高度重复性的测试执行操作；而且，为了提高测试的科学性，还要确保操作步骤、测试用例的先后顺序在每台测试设备上的一致性；与此同时，还要完成性能数据的收集工作。
[0004]现有技术中的客户端设备性能测试流程如图1所示，包括如下步骤:
[0005]步骤101:准备客户端设备性能测试用例。
[0006]步骤102:在被测客户端设备上部署测试环境。
[0007]步骤103:根据客户端设备性能测试用例，在被测客户端设备上执行测试(如完成游戏登录、完成新手引导、切换游戏场景等)，与此同时收集对应测试用例的性能数据。重复该步骤，直到所有性能测试用例的执行完毕。
[0008]步骤104:整理和分析性能数据，最终生成测试报告。
[0009]从上述描述可以看出，现有的客户端设备性能测试过程耗费人力巨大，效率低，单纯通过人力收集性能数据对于捕捉程序运行时的瞬时数据来说能力有限，几秒钟之内对于运行中的程序来说可能会发生很多事情；此外传统方法执行客户端设备性能测试对于测试员来说，高度的重复性操作是一种巨大的煎熬。
[0010]此外，目前业内进行一次客户端设备性能测试的时长通常在10-15分钟，而且最终得到数据反映的是客户端设备整体性能，如果出现性能异常，无法根据测试数据定位到底是哪个功能模块出现问题。
【发明内容】
[0011]本申请提供了一种客户端设备性能测试方法及系统，能够自动高效地完成对客户端设备性能的测试。
[0012]本申请实施例提供了一种客户端设备性能测试系统，包括:脚本录制模块、性能收集模块、任务分发管理模块、文件服务器模块和测试数据分析模块；
[0013]所述脚本录制模块用于将对被测客户端设备的操作转化为自动化脚本语句，将多条自动化脚本语句按照逻辑顺序组合成包含多个测试用例集的测试脚本；向任务分发管理模块发送携带所述测试脚本的测试任务；
[0014]所述任务分发管理模块用于从文件服务器模块下载各测试任务对应的测试应用包，发送指令将测试应用包安装到被测客户端设备上；接收来自脚本录制模块的测试任务，根据被测客户端设备的状态，当被测客户端设备空闲时，将新的测试任务分发到该被测客户端设备上；
[0015]文件服务器模块用于存储测试应用包；客户端设备测试完成后，接收被测客户端设备上传的测试日志；
[0016]性能收集模块，用于在被测客户端设备执行测试脚本的过程中，收集被测客户端设备的性能数据及被测程序的运行日志；
[0017]测试数据分析模块用于检测到某个测试任务完成时，从文件服务器模块下载该测试任务对应的所有测试日志，从性能收集模块下载性能数据以及运行日志，根据测试日志和运行日志对性能数据进行性能的统计分析，得到分析结果。
[0018]可选地，该客户端设备性能测试系统进一步包括测试报告生成模块，将测试数据分析模块获得的分析结果依次填充到指定的报告模板当中，生成表格版的报告；和/或，将分析结果通过网页展示，分为整体表现和测试详情两种形式。
[0019]可选地，所述整体表现包括:通过饼状图和条形图直观展示出被测客户端设备的性能维度，性能维度包括CPU占用率、流量、内存、温度和帧率，以及根据调研出的性能标准判断出本次测试的整体通过率；
[0020]所述测试详情包括:以每台被测客户端设备的详细性能数据作为中心来展示，标示出性能异常的时间点；每个性能维度都有独立的随时间变化的曲线图，图内以不同测试用例为区间。
[0021]可选地，该客户端设备性能测试系统进一步包括邮件模块，用于将测试报告生成模块所生成的测试包括通过邮件发送到指定的邮箱中。
[0022]可选地，所述性能收集模块同时启动程序运行日志的接口与测试初始化，完整记录被测程序在启动时的运行日志；以测试脚本回放为主线程，被测程序运行日志与性能数据收集各占用一条辅线程，三条进程同步进行，性能数据的收集间隔时间为1秒钟，每秒钟性能收集线程将依次做如下数据的获取:时间戳、测试用例标题以及被测客户端设备的性能数据，从而得到测试脚本执行的每一步及每一个时间点对应的被测程序运行日志及被测客户端设备的性能数据。
[0023]可选地，所述被测客户端设备的性能数据包括:被测程序CPU占用率、被测程序内存占用率、被测程序所占实际物理内存、被测程序独自占用的物理内存、帧率、流量、设备温度、设备剩余可用内存、电池电量和电压。
[0024]本申请实施例还提供了一种客户端设备性能测试方法，包括:
[0025]A、将对被测客户端设备的操作转化为自动化脚本语句，将多条自动化脚本语句按照逻辑顺序组合成包含多个测试用例集的测试脚本；
[0026]B、生成包含所述测试脚本的测试任务；将测试任务对应的测试应用包安装到被测客户端设备上；
[0027]C、根据被测客户端设备的状态，当被测客户端设备空闲时，将新的测试任务分发到该被测客户端设备上，被测客户端设备执行测试任务对应的测试脚本；
[0028]D、在被测客户端设备执行测试脚本的过程中，收集被测客户端设备的性能数据及被测程序的运行日志；测试完成后，接收被测客户端设备上传的测试日志；
[0029]E、测试任务完成时，根据测试日志和运行日志对性能数据进行性能的统计分析，得到分析结果。
[0030]可选地，步骤E之后，进一步包括:
[0031]F、将测试数据分析模块获得的分析结果依次填充到指定的报告模板当中，生成表格版的报告；和/或，将分析结果通过网页展示，分为整体表现和测试详情两种形式。
[0032]可选地，所述整体表现包括:通过饼状图和条形图直观展示出被测客户端设备的性能维度，性能维度包括CPU占用率、流量、内存、温度和帧率，以及根据调研出的性能标准判断出本次测试的整体通过率；
[0033]所述测试详情包括:以每台被测客户端设备的详细性能数据作为中心来展示，标示出性能异常的时间点；每个性能维度都有独立的随时间变化的曲线图，图内以不同测试用例为区间。
[0034]可选地，步骤F之后进一步包括:将所生成的测试包括通过邮件发送到指定的邮箱中。
[0035]可选地，步骤D包括:
[0036]同时启动程序运行日志的接口与测试初始化，完整记录被测程序在启动时的运行日志；以测试脚本回放为主线程，被测程序运行日志与性能数据收集各占用一条辅线程，三条进程同步进行，性能数据的收集间隔时间为1秒钟，每秒钟性能收集线程将依次做如下数据的获取:时间戳、测试用例标题以及被测客户端设备的性能数据，从而得到测试脚本执行的每一步及每一个时间点对应