测试方法、装置以及计算机系统和介质与流程

本公开涉及计算机技术领域，更具体地，涉及一种测试方法、装置以及计算机系统和介质。

背景技术：

移动端测试是整个测试环节中的重要组成部分，可以包括移动端兼容性测试以及性能测试等，常规的测试方法需要在每一台测试设备上重复执行全部的测试用例，采集性能数据以及检查每台测试设备的执行过程及执行结果是否存在异常等。采集的数据包括但不限于：设备维度的数据、设备性能维度的数据、兼容性维度的数据、以及各种日志、截图等等相关数据。

常规的自动化测试框架中难以支持这些需要采集的数据，因此，移动端兼容性测试以及性能测试无法满足自动化测试过程。例如，性能数据采集，一般都是用安卓调试桥(androiddebugbridge，简称adb)命令或者第三方的应用(app)采集各种性能数据，在数据采集过程中存在重复性的工作，采集过程耗时耗力，现有技术的数据采集方式与自动化测试相脱离，没有标准化的方案支撑。此外，测试过程中涉及到的框架比较多，对测试人员的要求也比较高，导致测试难度较大。

技术实现要素：

有鉴于此，本公开提供了一种使用难度较低且与自动化测试过程相符的测试方法、装置以及计算机系统和介质。

本公开的一个方面提供了一种测试方法，该测试方法可以应用于测试服务器，该测试服务器可以与至少一个测试设备通讯连接，所述测试服务器中具有基于stf手机管理框架构建的stf测试平台和模拟人工点击工具，该模拟人工点击工具可以模拟人工手动点击测试，所述测试服务器还可以借助stf手机管理框架的应用程序接口等远程控制所述至少一个测试设备，所述方法可以包括：首先，接收第一请求指令，所述第一请求指令包括测试应用信息，所述测试应用信息用于确定测试应用包，响应于接收到所述第一请求指令，根据所述测试应用信息获取测试应用包，其中，所述测试应用包包括测试应用安装包，该测试应用安装包可以为预先存储在测试服务器中的测试应用安装包，这样可以使得测试人员输入所需的测试应用包的相关信息即可从测试服务器中找到该测试应用安装包，然后，至少利用模拟人工点击工具基于预设测试方式，使用所述测试应用包在所述至少一个测试设备中进行测试，得到测试结果，其中，通过模拟人工点击来实现测试过程，可以至少部分减少测试人员为了实现测试而进行的编程工作，大大降低了测试难度，此外，通过预设测试方法实现通过后台封装的各种逻辑处理，只要测试人员选择好测试应用包，即可下达测试任务，接下来的测试过程会由根据后台封装的各种逻辑进行测试，进一步降低了测试难度，在得到测试结果后发送给请求端即可进行测试结果展示。

根据本公开的实施例，所述测试平台测试服务器中可以存储有至少一个测试应用包与应用包信息对应关系，所述应用包信息可以包括以下任意一种或多种：应用包的包名信息、应用包的版本信息、应用包的使用人信息、包工作流(activity)信息或者包名的加密信息，其中，该应用包信息可以用于记录测试应用包的属性信息及被使用信息，以便于进行查找或查看其工作流信息或追溯使用情况。相应地，所述根据所述测试应用信息获取测试应用包可以包括：首先，根据所述测试应用信息和所述至少一个测试应用包与应用包信息对应关系获取所述测试应用包，然后，可以更新所述应用包信息，例如，该测试应用包在什么时候被谁使用过，这样还有一个好处，当多个测试设备被其他测试人员占用，而测试人员需要多个测试设备时，可以根据最近使用的测试应用信息查看测试设备都被谁使用，方便测试人员与相应的测试人员进行沟通，以便协调测试设备的使用。

根据本公开的实施例，所述方法还可以包括在接收到上传的测试应用包之后，建立所述上传的测试应用包与应用包信息对应关系。这样便于测试服务器的维护，以及测试应用信息的更新。例如，当测试人员输入测试应用信息，没有找到相应的测试应用包时，可以自行上传测试应用包以便自己或其他测试人员进行使用，同时也建立该上传的测试应用包与应用包信息对应关系以便后续使用。

根据本公开的实施例，所述模拟人工点击工具为猴子(monkey)工具。monkey工具可以随机循环模拟人工点击安卓设备，代替编写用例，且便于通过程序采集各种测试数据。

根据本公开的实施例，所述预设测试方式包括以下任意一种或多种：安装测试、启动测试、卸载测试、覆盖安装测试、登录测试、卸载测试、统计启动用时、压力测试、延迟测试或者异常测试。其中，各种测试方式之间可以存在测试逻辑，例如，安装测试、启动测试和卸载测试可以为一组连贯的测试，压力测试、延迟测试和异常测试可以为一组连贯的测试，覆盖安装测试、登录测试、卸载测试、统计启动用时可以为一组连贯的测试，这样可以使得最终得到的测试数据之间更加符合逻辑性，且前面的测试可以为后面的测试的基础，例如，只有在安装成功之后才能进行启动测试，然后进行性能测试、卸载测试等。也就是说具有多种组合方式，在此不做限定。

根据本公开的实施例，所述测试方法还可以包括如下操作：在使用所述测试应用包在所述至少一个测试设备中进行测试之前，获取所述至少一个测试设备的设备状态，所述设备状态包括被占用状态和空置状态，这样可以有效避免一个测试设备被多个测试人员同时使用造成的混乱。相应地，所述使用所述测试应用包在所述至少一个测试设备中进行测试可以包括使用所述测试应用包在至少一个空置状态的测试设备中进行测试。

根据本公开的实施例，所述使用所述测试应用包在至少一个空置状态的测试设备中进行测试可以包括如下操作：首先，接收第二请求指令，其中，所述第二请求指令包括请求空置状态的测试设备信息，响应于接收到第二请求指令，可以给请求端发送空置状态的测试设备信息。然后可以接收第三请求指令，所述第三请求指令包括请求占用的空置状态的测试设备信息，响应于接收到所述第三请求指令，调用stf手机管理框架的占用接口以占用所述请求占用的空置状态的测试设备信息对应的测试设备，并在占用成功后更新所述请求占用的空置状态的测试设备信息对应的测试设备的设备状态，以便其他测试人员及时了解各测试设备的使用状态，例如，测试服务器仅展示空置状态的测试设备的测试设备列表，某个空置状态的测试设备一旦被占用，则从展示的测试设备列表中删除。接着，使用所述测试应用包在所述请求占用的空置状态的测试设备信息对应的测试设备中进行测试。

根据本公开的实施例，所述使用所述测试应用包在所述选取的请求占用的测试设备信息对应的测试设备中进行专项型测试可以包括数据采集存储过程和数据解析过程，其中，数据采集存储过程可以包括采集并存储基于预设测试方式进行测试过程中生成的运行数据，所述运行数据包括以下任意一种或多种：设备唯一码、启动测试时间、启动首页面时间、启动是否成功、执行猴子工具时生成的数据、测试设备的内存信息、测试设备的cpu信息、网络流量信息、安装信息、测试设备以及安装包信息、安装包图标、测试应用的名字、测试应用包名、软件开发工具包(softwaredevelopmentkit，简称sdk)版本、测试设备品牌、测试设备远程连接的ip地址和端口。数据解析过程可以包括通过解析json串方式将所述运行数据生成各种预设维度的测试报告数据。这样就可以得到各种预设维度的测试报告数据，以便于后续按预设维度进行统计分析。

根据本公开的实施例，所述测试服务器中可以存储有测试结果可视化展示模板，例如，excel图表模板等各种可视化模板，当将数据填入模板中时会自动生成可视化报表，相应地，所述方法还可以包括如下操作：在生成所述测试报告数据之后，利用所述测试报告数据和所述测试结果可视化展示模板生成可视化测试结果，相应地，所述发送所述测试结果可以包括发送所述可视化测试结果，当然，也可以同时把测试数据发送给请求端，在此不做限定。

本公开的另一个方面提供了一种测试装置，该测试装置与至少一个测试设备通讯连接，且所述测试测试装置可远程控制所述至少一个测试设备，所述测试装置中具有基于stf手机管理框架构建的stf测试平台和模拟人工点击工具，相应地，该测试装置可以包括接收模块、应用包获取模块、测试模块和发送模块，其中，所述接收模块用于接收第一请求指令，所述第一请求指令包括测试应用信息，所述测试应用信息用于确定测试应用包，所述应用包获取模块用于响应于接收到所述第一请求指令，根据所述测试应用信息获取测试应用包，其中，所述测试应用包包括测试应用安装包，所述测试模块用于至少利用模拟人工点击工具基于预设测试方式，使用所述测试应用包在所述至少一个测试设备中进行测试，得到测试结果，以及所述发送模块用于发送所述测试结果。

根据本公开的实施例，所述测试装置中可以存储有至少一个测试应用包与应用包信息对应关系，所述应用包信息包括以下任意一种或多种：应用包的包名信息、应用包的版本信息、应用包的使用人信息、包工作流信息或者包名的加密信息，相应地，所述应用包获取模块可以包括获取单元和更新单元，其中，所述获取单元用于根据所述测试应用信息和所述至少一个测试应用包与应用包信息对应关系获取所述测试应用包，所述更新单元用于更新所述应用包信息。

根据本公开的实施例，所述测试装置还可以包括创建模块，其中，该创建模块用于在接收到上传的测试应用包之后，建立所述上传的测试应用包与应用包信息对应关系。

根据本公开的实施例，所述测试装置还可以包括状态获取模块，其中，该状态获取模块可以用于在使用所述测试应用包在所述至少一个测试设备中进行测试之前，获取所述至少一个测试设备的设备状态，所述设备状态包括被占用状态和空置状态，相应地，所述测试模块具体用于使用所述测试应用包在至少一个空置状态的测试设备中进行测试。

根据本公开的实施例，所述测试模块可以包括第一接收单元、发送单元、第二接收单元、占用单元和测试单元，其中，所述第一接收单元用于接收第二请求指令，所述第二请求指令包括请求空置状态的测试设备信息，所述发送单元用于响应于接收到第二请求指令，发送空置状态的测试设备信息，所述第二接收单元用于接收第三请求指令，所述第三请求指令包括请求占用的空置状态的测试设备信息，所述占用单元用于响应于接收到所述第三请求指令，调用stf手机管理框架的占用接口以占用所述请求占用的空置状态的测试设备信息对应的测试设备，并在占用成功后更新所述请求占用的空置状态的测试设备信息对应的测试设备的设备状态，所述测试单元用于使用所述测试应用包在所述请求占用的空置状态的测试设备信息对应的测试设备中进行测试。

根据本公开的实施例，所述模拟人工点击工具为猴子工具。

根据本公开的实施例，所述预设测试方式包括以下任意一种或多种：安装测试、启动测试、卸载测试、覆盖安装测试、登录测试、卸载测试、统计启动用时、压力测试、延迟测试或者异常测试。

根据本公开的实施例，所述测试单元可以包括数据获取子单元和解析子单元，其中，所述数据获取子单元用于采集并存储基于预设测试方式进行测试过程中生成的运行数据，所述运行数据包括以下任意一种或多种：设备唯一码、启动测试时间、启动首页面时间、启动是否成功、执行猴子工具时生成的数据、测试设备的内存信息、测试设备的cpu信息、网络流量信息、安装信息、测试设备以及安装包信息、安装包图标、测试应用的名字、测试应用包名、sdk版本、测试设备品牌、测试设备远程连接的ip地址和端口，所述解析子单元用于通过解析json串方式将所述运行数据生成各种预设维度的测试报告数据。这样可以将测试过程中生成的运行数据解析为各种预设维度的数据以便于后续进行统计分析。

根据本公开的实施例，所述测试装置中还可以存储有测试结果可视化展示模板，相应地，所述测试装置还可以包括可视化模块，该可视化模块可以用于在生成所述测试报告数据之后，利用所述测试报告数据和所述测试结果可视化展示模板生成可视化测试结果，相应地，所述发送模块可以具体用于发送所述可视化测试结果。

本公开的另一方面提供了一种计算机系统，该计算机系统可以包括一个或多个处理器，以及存储装置，该存储装置可以用于存储可执行指令，所述可执行指令在被所述处理器执行时，实现如上所述的测试方法。

本公开的另一方面提供了一种计算机可读存储介质，其上存储有计算机可执行指令，所述指令在处理器被执行时用于实现如上所述的测试方法。

本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在处理器被执行时用于实现如上所述的测试方法。

根据本公开的实施例，可以至少部分地解决现有测试方法需要测试人员了解多种涉及到的框架技术导致测试难度较高的问题，并因此可以实现通过测试平台后台封装各种预设测试方式，只要测试人员选择测试应用包，即可下达测试任务，由测试平台自动进行测试的技术效果。此外，由于设定好了预设测试方式，可以实现数据采集过程的一致性、可对比性、完整性和可扩展性，保证了采集的数据的完整性以便于提升测试结果的准确度。

根据本公开的实施例，测试过程实现流程化，整合多套解决方案与一体，同时可满足兼容性测试和性能测试，数据采集无需人为参与，只需关联测试设备和选择测试应用包即可实现自动化测试。

根据本公开的实施例，借助猴子工具可以随机循环模拟人工点击安卓设备代替编写用例，有效降低测试难度。

根据本公开的实施例，通过测试平台采集各种测试过程中生成的数据后，以自动生成报告的方式实现了将关联测试设备、触发测试、数据分析以及生成报告多个阶段进行整合，形成了一个测试闭环。

根据本公开的实施例，由于可以解析出多种维度的测试过程中生成的数据，因此可以得到不同的维度的数据，进而可以根据预设的可视化模板生成各维度的可视化测试结果，有助于提升测试结果的直观性。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1a示意性示出了根据本公开实施例的测试方法、装置以及计算机系统和介质的应用场景；

图1b示意性示出了根据本公开实施例的测试方法的处理逻辑示意图；

图2a示意性示出了根据本公开实施例的测试方法的流程图；

图2b示意性示出了根据本公开另一实施例的测试方法的流程图；

图2c示意性示出了根据本公开实施例的测试方法的人机交互界面的示意图；

图2d示意性示出了根据本公开另一实施例的测试方法的流程图；

图3a示意性示出了根据本公开实施例的兼容性测试的可视化报表；

图3b示意性示出了根据本公开另一实施例的兼容性测试的可视化报表；

图3c示意性示出了根据本公开另一实施例的兼容性测试的可视化报表；

图3d示意性示出了根据本公开另一实施例的兼容性测试的可视化报表；

图4示意性示出了根据本公开实施例的测试装置的框图；以及

图5示意性示出了根据本公开实施例的适于实现测试方法的计算机系统的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。在使用类似于“a、b或c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b或c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。本领域技术人员还应理解，实质上任意表示两个或更多可选项目的转折连词和/或短语，无论是在说明书、权利要求书还是附图中，都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如，短语“a或b”应当被理解为包括“a”或“b”、或“a和b”的可能性。

本公开的实施例提供了一种测试方法、装置以及计算机系统和介质，利用stf框架的设备管理以及设备信息实时获取测试设备信息，以及利用模拟人工点击工具可以随机循环模拟人工点击测试设备，以代替编写用例，并且通过程序采集各种数据后，自动生成报告的方式，实现了测试设备管理、触发测试、数据分析以及生成报告的一个测试闭环。

图1a示意性示出了根据本公开实施例的测试方法、装置以及计算机系统和介质的应用场景，图1a中给出了示例性系统架构100。需要注意的是，图1a所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1a所示，根据该实施例的系统架构100可以包括测试设备101、102、103，网络104、服务器105和请求设备106、107。网络104用以在测试设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

测试人员可以使用测试设备101、102、103通过网络104与服务器105交互，以接收或发送信息等。测试设备101、102、103可以为各种品牌、各种型号的移动终端，例如，安装有安卓操作系统的各种品牌或型号的智能手机，该测试设备101、102、103上可以用于安装各种客户端应用以便于测试待测试应用包在各种测试设备101、102、103上的兼容性和性能等，上述测试应用包括但不限于：购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

请求设备106、107可以是具有显示屏并且支持访问web服务的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对测试人员利用请求设备106、107所浏览的测试平台提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的测试人员的请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给测试设备。

需要说明的是，本公开实施例所提供的测试方法一般可以由服务器105执行。相应地，本公开实施例所提供的测试装置一般可以设置于服务器105中。本公开实施例所提供的测试方法也可以由不同于服务器105且能够与测试设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的测试装置也可以设置于不同于服务器105且能够与测试设备101、102、103和/或服务器105通信的服务器或服务器集群中。

应该理解，图1a中的测试设备、网络、服务器和请求设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的测试设备、网络和服务器。

图1b示意性示出了根据本公开实施例的测试方法的处理逻辑示意图。

如图1b所示，测试服务器中具有基于stf手机管理框架构建的stf测试平台(简称stf服务器)、monkey工具等可以模拟用户点击的工具和web框架，这样可以实现测试服务器通过adb命令远程控制测试设备，以及通过monkey工具生成的点击指令检测测试应用包在测试设备中的兼容性、性能等。此外，stf服务器中还可以进一步包括前端数据可视化应用，如echarts，这样便于将测试得到的数据进行可视化，将可视化的测试结果发送给用户以便于用户更加直观的查看测试结果。

以下进行示例性说明，首先，测试平台的服务会查询数据库是否有新的测试请求(测试任务)，如果有测试任务，则新开启线程执行任务，根据测试请求中包含的测试应用信息，如测试应用的名称、版本等，从本地查找对应的测试应用的安装包，然后，stf服务器会远程控制(占用)至少一台测试设备，然后通过预设测试方法进行测试，例如，通过如stf手机管理框架的adb命令在被占用的测试设备上安装测试应用的安装包，在安装成功或失败后会记录相关数据，并在安装成功后启动该测试应用，接着，通过执行模拟人工点击工具进行特定的测试以获取相应的数据，当测试完成后卸载该应用，并把测试过程中生成的所有数据保存在指定地址，然后对上述测试过程中产生的数据进行解析，得到不同预设维度的数据，接着，可以直接输出该不同预设维度的数据或者利用echarts等可视化应用对数据进行分析制表，发送给请求设备以便展示给测试人员。

图2a示意性示出了根据本公开实施例的测试方法的流程图。

如图2a所示，该方法包括操作s201～s204。其中，该方法应用于测试服务器，所述测试服务器与至少一个测试设备通讯连接，且所述测试服务器可远程控制所述至少一个测试设备，所述测试服务器中具有基于stf手机管理框架构建的stf测试平台和模拟人工点击工具。

首先，在操作s201，接收第一请求指令，所述第一请求指令包括测试应用信息，所述测试应用信息用于确定测试应用包。

在本实施例中，该测试应用信息可以为测试应用的名称、测试应用的版本号、测试应用的图标等可以用于确定待测试的测试应用包的信息。具体地，测试服务器中可以存储有测试应用信息和测试应用包的对应关系，测试人员可以给测试服务器输入包含该测试应用信息的指令后，测试服务器能找到对应的测试应用包即可。

如果测试服务器中没有与测试应用信息相应的测试应用包，则表明测试服务器中可能未存储相关应用包，因此，可以由测试人员上传该测试应用包以便于自己或其他测试人员后续使用该测试应用包。

此外，为了便于对各测试应用包进行测试历史追溯等，所述测试服务器中还可以存储有至少一个测试应用包与应用包信息对应关系，所述应用包信息包括以下任意一种或多种：应用包的包名信息、应用包的版本信息、应用包的使用人信息、包工作流信息或者包名的加密信息(如包名udid加密名字)。其中，应用包的使用人信息可以用于表明哪些测试人员在什么时间使用过该测试应用包；包工作流信息是做用户界面ui自动化用的，通常做自动化需要手工填写信息，通过平台会自动帮助识别出来，然后插入到脚本中；包名的加密信息用于存储在数据库中以区分开名字。需要说明的是，该应用包的使用人信息除了便于得知该应用包被谁使用过，还可以便于测试人员之间协调测试设备的使用，例如，测试设备不可能无限多配置，通常每种品牌的每种型号的测试设备会配置一台或数台测试设备(如测试手机)，但是，每天都会有多个测试人员需要使用测试设备，尤其是对于一些新上市的型号的手机，需要做大量验证，因此，常常会导致部分测试设备被占用，其他测试人员无法使用该测试设备，通过存储测试应用包与应用包信息对应关系，使得需要使用的测试设备被占用时，可以查找最近被使用的测试应用包的使用者是谁，占用了多长时间等，这样便于测试人员进行沟通该测试设备的分配事宜。

相应地，所述根据所述测试应用信息获取测试应用包可以包括：首先，根据所述测试应用信息和所述至少一个测试应用包与应用包信息对应关系获取所述测试应用包；然后，更新所述应用包信息。

需要说明的是，当测试服务器接收到新上传的测试应用包时，需要及时建立所述上传的测试应用包与应用包信息对应关系。这样便于后续使用人追踪或其他功能。

然后，在操作s202，响应于接收到所述第一请求指令，根据所述测试应用信息获取测试应用包，其中，所述测试应用包包括测试应用安装包。

在本实施例中，例如，测试服务器中可以存储有测试应用信息和测试应用包的对应关系，测试人员可以给测试服务器输入包含该测试应用信息的指令后，测试服务器即可找到对应的测试应用包。

在操作s203，至少利用模拟人工点击工具基于预设测试方式，使用所述测试应用包在所述至少一个测试设备中进行测试，得到测试结果。

在本实施例中，所述预设测试方式包括以下任意一种或多种：安装测试、启动测试、卸载测试、覆盖安装测试、登录测试、卸载测试、统计启动用时、压力(crash)测试、延迟(nar)测试或者异常(exception)测试。需要说明的是，上述测试方式可以具有一定的测试逻辑，例如，首先需要进行安装测试，然后进行启动测试，接着可以进行登录、统计启动用时、压力、延迟测试或异常测试，然后可以进行卸载测试等，这样可以形成一个完整测试流程。此外，也可以是进行相近功能的测试，例如，进行压力测试、延迟测试和异常测试等。具体进行哪些测试可以根据测试人员的需求或者标准测试流程而定，例如，将上述测试方式都展示给测试人员，由测试人员选取其中所需的测试方式。需要说明的是，测试人员所选的测试方式可能不完整，例如，测试设备中没有安装某个应用，而测试人员只选择了压力测试，则测试服务器会将为了实现压力测试所需的相关操作补充上，例如，安装应用和启动应用，以及在测试完成后卸载应用。

在一个具体实施例中，以模拟人工点击工具为猴子(monkey)工具为例进行说明。首先，当测试平台的服务从数据库查询到新的测试任务时，新开启线程执行测试任务，根据测试请求中包含的测试应用的名称、版本等，从测试服务器中查找对应的测试应用的安装包，然后，测试服务器会通过stf框架的占用接口占用至少一台测试设备，然后通过预设测试方法进行测试，例如，通过如stf手机管理框架的adb命令在被占用的测试设备上安装测试应用的安装包，在安装成功或失败后会记录相关数据，并在安装成功后启动该测试应用，接着，通过执行模拟人工点击工具进行特定的测试以获取相应的数据，当测试完成后卸载该应用，并把测试过程中生成的所有数据保存在指定地址，然后对上述测试过程中产生的数据进行解析，得到预设维度的数据作为测试结果，发送给请求设备以便展示给测试人员。其中，获取的数据包括但不限于以下信息中的一种或多种：设备唯一码、启动测试时间、启动首页面时间、启动是否成功、执行猴子工具时生成的数据、测试设备的内存信息、测试设备的cpu信息、网络流量信息、安装信息、测试设备以及安装包信息、安装包图标、测试应用的名字、测试应用包名、sdk版本、测试设备品牌、测试设备远程连接的ip地址和端口。

通过上述测试过程就实现了如兼容性和性能的自动化测试。

在操作s204，发送所述测试结果。

在本实施例中，所述测试结果可以为设备唯一码、启动测试时间、启动首页面时间、启动是否成功、执行猴子工具时生成的数据等中的一种或多种，也可以是进一步进行统计分析得到的结果，例如，兼容性总得分等，还可以是可视化报表，在此不做限定。

图2b示意性示出了根据本公开另一实施例的测试方法的流程图。

如图2b所示，所述检测方法还可以包括操作s205。

在操作s205中，在使用所述测试应用包在所述至少一个测试设备中进行测试之前，获取所述至少一个测试设备的设备状态，所述设备状态包括被占用状态和空置状态。

相应地，所述使用所述测试应用包在所述至少一个测试设备中进行测试包括使用所述测试应用包在至少一个空置状态的测试设备中进行测试。

在本实施例中，测试服务器还可以实时给请求端反馈当前连接的各测试设备的设备状态，例如，各测试设备处于空置状态还是被占用状态，这样便于测试人员选取合适的测试设备，避免与其它测试发生冲突。需要说明的是，请求端展现给测试人员的可以是处于空置状态的测试设备列表、处于被占用状态的测试设备的设备列表或者其结合，在此不做限定。

具体地，所述使用所述测试应用包在至少一个空置状态的测试设备中进行测试可以包括如下操作：

首先，接收第二请求指令，所述第二请求指令包括请求空置状态的测试设备信息。

然后，响应于接收到第二请求指令，发送空置状态的测试设备信息。

接着，接收第三请求指令，所述第三请求指令包括请求占用的空置状态的测试设备信息。

然后，响应于接收到所述第三请求指令，调用stf手机管理框架的占用接口以占用所述请求占用的空置状态的测试设备信息对应的测试设备，并在占用成功后更新所述请求占用的空置状态的测试设备信息对应的测试设备的设备状态。

接着，使用所述测试应用包在所述请求占用的空置状态的测试设备信息对应的测试设备中进行测试。

其中，所述使用所述测试应用包在所述请求占用的空置状态的测试设备信息对应的测试设备中进行测试可以包括如下两个操作：数据收集操作和数据解析操作。

在数据收集操作中，采集并存储基于预设测试方式进行测试过程中生成的运行数据，所述运行数据包括以下任意一种或多种：设备唯一码、启动测试时间、启动首页面时间、启动是否成功、执行猴子工具时生成的数据、测试设备的内存信息、测试设备的cpu信息、网络流量信息、安装信息、测试设备以及安装包信息、安装包图标、测试应用的名字、测试应用包名、sdk版本、测试设备品牌、测试设备远程连接的ip地址和端口。

在数据解析操作中，可以通过解析json串方式将所述运行数据生成各种预设维度的测试报告数据。

图2c示意性示出了根据本公开实施例的测试方法的人机交互界面的示意图。

在一个具体实施例中，当测试人员通过请求端(前端)浏览器访问到了web服务(可以是任意的开发框架来开发web前后台)，展示给用户的页面可以如图2c所示，测试人员可以选择或输入测试应用信息以便服务器确定测试应用包，如果服务器中没有相应的测试应用包，则可以由测试人员上传所需的测试应用包。测试服务器的stf测试平台通过数据库表关系管理测试应用包与应用包信息对应关系，应用包信息包括：包名、包名udid加密名字、使用人、包版本号、包activity等。前端可以通过基于xml的异步javascript(简称ajax)请求获取测试应用包对应的版本及包名信息。以下以展示处于空置状态和被占用状态的测试手机为例进行说明，选择测试手机区域通过封装stf的应用接口，实时获取到已连接的测试设备的设备状态信息，在前台展示处于空置状态的测试手机。当测试人员选择需要占用的测试手机时，前台会发送一个ajax请求到对应的上下文方法中，方法中可以调用stf的占用接口，这样就可以实现占用测试人员所选的测试手机，如果占用成功，则控制状态测试设备列表中会清除掉该测试手机的信息，还可以将其添加到被占用测试设备中，避免其他测试人员同时选用相同的测试手机。当测试人员输入测试应用信息和选用测试手机之后，前端会把相关信息作为请求信息发送给测试服务器，由测试服务器按照预设测试方式，使用所述测试应用包在所述至少一个测试设备中进行测试。需要说明的是，此时，测试人员的操作已完成，接下来的测试过程会由测试服务器后台完成。

以下示例性说明测试服务器的测试逻辑，可以参考图1b所示。

stf测试平台的服务会查询数据库以确定是否有新任务，如果存在新任务，则新开启线程执行新任务，首先，通过这条新任务的信息获取本地安装包信息，进而找到对应的安装包，然后先占用一台测试设备，stf测试平台的服务会返回给平台占用测试设备的端口，这样可以通过adb命令真实的占用这个设备，接着，通过adb命令在被占用的测试设备上安装对应的安装包(如adbinstall+安装包的路径)，此时存在判断安装成功或安装失败的逻辑，如果安装失败可以直接存入数组里，例如{“设备名”：“fail”}这种格式，然后继续尝试占用第二台测试设备，如果第二台设备安装成功，将执行启动应用服务，也同样可以是使用adb命令实现应用启动，同时也存在判断启动成功或者启动失败的逻辑，当启动成功后，执行monkey工具，清空logcat日志，同时启动另一个线程采集相关的性能数据，(其中，性能数据通过封装adb命令实现，以指定频率采集数据，如每两秒采集一次数据)当monkey工具执行完成后，获取logcat日志的信息，并且保存到指定或对应的目录下，写入大map表，以此类推直至测试人员选取的所有测试设备执行完成。大map表的整体的信息可以如下所示：

{u'nx512j':{'ctime':'wedapr1117:46:522018','start_activity':{'totaltime':'4003','starting':'pass'},'run_monkey':{'crashlist':[],'log_name':'163d869caa8012a5d0ced4b0c9b9fe92.log','mem':[78831,122044,131985,145369,145438,145889,146218,149429,147974,148217,148304,156620,165388,165700,165739,159507,160030,164118,177835,175206,175653,178409,179401,179638,181086,181134],'flow':[0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0],'cpu':[0,0,98,56,35,21,21,29,33,16,16,25,54,16,24,39,39,22,42,55,45,45,43,39,44,44]},'install':'pass','phoneinfo':{'iconpath':u'f084f9c0-3709-11e8-b631-415645000030/r/o/icon.png','appname':u'neteasenews','apppackagename':u'com.netease.newsreader.activity','abi':u'arm64-v8a','display_heigh':1920,'remoteconnecturl':u'10.13.24.118:7413','version':u'5.0.2','appversion':u'798','display_width':1080,'manufacturer':u'nubia','model':u'nx512j','serial':u'nx512j','sdk':u'21'},'uninstall':'pass'}}

上述数据保存到数据库整条任务表的最后一个字段report_info(未示出)，接着，测试服务器可以开始分析数据，通过解析json串方式把获取的数据生成不同维度的表以及测试报告。

其中，获取的数据中的代码的说明如下所示：

此外，字段phoneinfo':

{'iconpath':u'f084f9c0-3709-11e8-b631-415645000030/r/o/icon.png','appname':u'neteasenews','apppackagename':u'com.netease.newsreader.activity','abi':u'arm64-v8a','display_heigh':1920,'remoteconnecturl':u'10.13.24.118:7413','version':u'5.0.2','appversion':u'798','display_width':1080,'manufacturer':u'nubia','model':u'nx512j','serial':u'nx512j','sdk':u'21'}，这个字段里的全部数据，测试设备信息是从stf开放的接口获取，安装包信息是从解析安装包中获取组合的phoneinfo的json串。

字段start_activity:{'totaltime':'4003','starting':'pass'}是启动首页面activity获取页面的响应时间，以及是否可以启动，测试性能以及安装包是否正常启动。

字段run_monkey':{'crashlist':[],'log_name':'163d869caa8012a5d0ced4b0c9b9fe92.log','mem':[78831,122044,131985,145369,145438,145889,146218,149429,147974,148217,148304,156620,165388,165700,165739,159507,160030,164118,177835,175206,175653,178409,179401,179638,181086,181134],'flow':[0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0],'cpu':[0,0,98,56,35,21,21,29,33,16,16,25,54,16,24,39,39,22,42,55,45,45,43,39,44,44]}是通过monkey工具进行循环点击产生的数据，如果出现异常信息，例如crash、anr、exception等等信息，会进入到crashlist数组里。

字段log_name字段是在monkey开启的过程中统计的设备的日志信息，然后当monkey工具执行结束后，通过调用adb命令把日志从测试设备上传，并保存到测试服务器上。

然后，服务器获取这些数据后，后台自动解析json串，经过处理分析，最后展示出兼容性以及性能测试结果。

图2d示意性示出了根据本公开另一实施例的测试方法的流程图。

在本实施例中，所述测试服务器中存储有测试结果可视化展示模板。如图2d所示，所述测试方法还可以进一步包括操作s206。

在操作s206中，在生成所述测试报告数据之后，利用所述测试报告数据和所述测试结果可视化展示模板生成可视化测试结果。

相应地，所述发送所述测试结果包括发送所述可视化测试结果。

在本实施例中，可以在测试服务器中安装可视化应用，例如，echarts，可以将各维度下的数据进行图表化，以便于测试人员更加直观的看到测试结果。

图3a示意性示出了根据本公开实施例的兼容性测试的可视化报表。

如图3a所示，显示了应用在各种型号的测试手机上的兼容性测试结果：是否能安装、是否能启动、是否能卸载、是否在运行过程中出现异常。其中，为了便于测试人员锁定出现错误的测试设备的具体信息，该可视化报表中还展示出了测试设备的具体型号、系统、cpu、系统版本、sdk版本、设备唯一码等信息，这样便于对错误进行分析。如图3a所示，测试应用包可以在nubianx512j5.0.2、huaweijmm-al007.0、lemobilelex6206.0、3601607-a017.1.1和samsungsm-c50007.0的测试手机上成功安装、成功启动、成功卸载，且运行时无异常。而该测试应用包在meizum1e6.0的测试手机上无法安装，自然也无法启动或卸载。

图3b示意性示出了根据本公开另一实施例的兼容性测试的可视化报表。

如图3b所示，示例性给出了测试应用包在各测试手机上的性能测试结果。其中，具体展示了cpu使用率、占用内存大小以及启动耗时三项测试结果，可以看到，360手机的cpu占用率较小，samsung手机的内存占用的最少，相对来说，测试应用包在这两款测试手机的性能较佳。而该测试应用包在meizum1e6.0的测试手机上无法安装，自然也无法给出性能测试结果。

图3c示意性示出了根据本公开另一实施例的兼容性测试的可视化报表。

如图3c所示，示例性给出了测试应用包在同一维度下，在各测试手机上的性能测试结果的比对线条图。从图中可以看到，分别在四个维度下分析了测试应用包在各测试手机上的性能测试结果：启动时长、cpu占用率、内存利用率和网络流量四个维度。可以非常直观清楚的看到在启动时长的维度下，360手机的用时最长。在cpu利用率的维度下，lemobile手机的cpu利用率最高。在内存利用率的维度下，lemobile手机的内存利用率最高。在网络流量的维度下，lemobile手机的网络流量最大。这样可以便于测试人员得到有用的测试信息，反馈给开发人员对缺点进行改进。

图3d示意性示出了根据本公开另一实施例的兼容性测试的可视化报表。

如图3d所示，示例性给出了测试应用包在同一维度下，在各测试手机上的性能测试结果的另一种形式的比对图。测试人员可以根据自己的需求选取具体的展示方式。

图4示意性示出了根据本公开实施例的测试装置的框图。

该测试装置与至少一个测试设备通讯连接，且所述测试测试装置可远程控制所述至少一个测试设备，所述测试装置中具有基于stf手机管理框架构建的stf测试平台和模拟人工点击工具，如图4所示，测试装置400包括接收模块410、应用包获取模块420、测试模块430和发送模块440。

其中，所述接收模块410用于接收第一请求指令，所述第一请求指令包括测试应用信息，所述测试应用信息用于确定测试应用包。

所述应用包获取模块420用于响应于接收到所述第一请求指令，根据所述测试应用信息获取测试应用包，其中，所述测试应用包包括测试应用安装包。

所述测试模块430用于至少利用模拟人工点击工具基于预设测试方式，使用所述测试应用包在所述至少一个测试设备中进行测试，得到测试结果。

所述发送模块440用于发送所述测试结果。

在一个实施例中，所述测试装置400中可以存储有至少一个测试应用包与应用包信息对应关系，所述应用包信息包括以下任意一种或多种：应用包的包名信息、应用包的版本信息、应用包的使用人信息、包工作流信息或者包名的加密信息。

相应地，所述应用包获取模块420可以包括获取单元和更新单元。

其中，所述获取单元用于根据所述测试应用信息和所述至少一个测试应用包与应用包信息对应关系获取所述测试应用包。

所述更新单元用于更新所述应用包信息。

所述测试装置400还可以包括创建模块450，其中，该创建模块450用于在接收到上传的测试应用包之后，建立所述上传的测试应用包与应用包信息对应关系。

在另一个实施例中，所述测试装置400还可以包括状态获取模块460。其中，该状态获取模块460可以用于在使用所述测试应用包在所述至少一个测试设备中进行测试之前，获取所述至少一个测试设备的设备状态，所述设备状态包括被占用状态和空置状态。

相应地，所述测试模块430具体用于使用所述测试应用包在至少一个空置状态的测试设备中进行测试。

其中，所述测试模块430可以包括第一接收单元、发送单元、第二接收单元、占用单元和测试单元。

具体地，所述第一接收单元用于接收第二请求指令，所述第二请求指令包括请求空置状态的测试设备信息。

所述发送单元用于响应于接收到第二请求指令，发送空置状态的测试设备信息。

所述第二接收单元用于接收第三请求指令，所述第三请求指令包括请求占用的空置状态的测试设备信息。

所述占用单元用于响应于接收到所述第三请求指令，调用stf手机管理框架的占用接口以占用所述请求占用的空置状态的测试设备信息对应的测试设备，并在占用成功后更新所述请求占用的空置状态的测试设备信息对应的测试设备的设备状态。

所述测试单元用于使用所述测试应用包在所述请求占用的空置状态的测试设备信息对应的测试设备中进行测试。

可选地，所述模拟人工点击工具为猴子工具。

在一个具体实施例中，所述预设测试方式包括以下任意一种或多种：安装测试、启动测试、卸载测试、覆盖安装测试、登录测试、卸载测试、统计启动用时、压力测试、延迟测试或者异常测试。

另外，所述测试单元可以包括数据获取子单元和解析子单元。

其中，所述数据获取子单元用于采集并存储基于预设测试方式进行测试过程中生成的运行数据，所述运行数据包括以下任意一种或多种：设备唯一码、启动测试时间、启动首页面时间、启动是否成功、执行猴子工具时生成的数据、测试设备的内存信息、测试设备的cpu信息、网络流量信息、安装信息、测试设备以及安装包信息、安装包图标、测试应用的名字、测试应用包名、sdk版本、测试设备品牌、测试设备远程连接的ip地址和端口。

所述解析子单元用于通过解析json串方式将所述运行数据生成各种预设维度的测试报告数据。这样可以将测试过程中生成的运行数据解析为各种预设维度的数据以便于后续进行统计分析。

在又一个实施例中，所述测试装置400中还可以存储有测试结果可视化展示模板，相应地，所述测试装置400还可以包括可视化模块470，该可视化模块470可以用于在生成所述测试报告数据之后，利用所述测试报告数据和所述测试结果可视化展示模板生成可视化测试结果，相应地，所述发送模块440可以具体用于发送所述可视化测试结果。

根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，接收模块410、应用包获取模块420、测试模块430、发送模块440、创建模块450、状态获取模块460和可视化模块470中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，接收模块410、应用包获取模块420、测试模块430、发送模块440、创建模块450、状态获取模块460和可视化模块470中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，接收模块410、应用包获取模块420、测试模块430、发送模块440、创建模块450、状态获取模块460和可视化模块470中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图5示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的方框图。图5示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图5所示，根据本公开实施例的计算机系统500包括处理器501，其可以根据存储在只读存储器(rom)502中的程序或者从存储部分508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。处理器501例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))，等等。处理器501还可以包括用于缓存用途的板载存储器。处理器501可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在ram503中，存储有系统500操作所需的各种程序和数据。处理器501、rom502以及ram503通过总线504彼此相连。处理器501通过执行rom502和/或ram503中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom502和ram503以外的一个或多个存储器中。处理器501也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，系统500还可以包括输入/输出(i/o)接口505，输入/输出(i/o)接口505也连接至总线504。系统500还可以包括连接至i/o接口505的以下部件中的一项或多项：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至i/o接口505。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被处理器501执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的rom502和/或ram503和/或rom502和ram503以外的一个或多个存储器。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。