本申请实施例涉及计算机技术领域，尤其涉及用于输出信息的方法和装置。
背景技术：
在测试用例(testcase)设计完成之后，通常，由测试人员根据测试用例中描述的步骤一步步执行测试，将得到的实际测试结果与期望测试结果进行比较。在此过程中，可以通过自动化测试，达到节省人力、时间或硬件资源，提高测试效率的目的。
测试中，由于产品的版本更新，需要对测试用例、期望测试结果进行及时的更新。
技术实现要素：
本申请实施例提出了用于输出信息的方法和装置。
第一方面，本申请实施例提供了一种用于输出信息的方法，该方法包括：获取针对待测试应用的测试用例，其中，测试用例包括第一测试结果集合，第一测试结果是针对测试用例预先确定的测试结果；利用测试用例对待测试应用进行测试，生成第二测试结果集合；将包含于第二测试结果集合且不包含于第一测试结果集合的测试结果确定为目标测试结果，得到目标测试结果集合并输出。
在一些实施例中，上述方法还包括：基于目标测试结果集合，调整测试用例；利用调整后的测试用例对待测试应用进行测试，生成第三测试结果集合。
在一些实施例中，上述方法还包括：基于预设的准确判定条件，确定第一测试结果集合是否准确。
在一些实施例中，上述方法还包括：响应于确定第一测试结果集合准确，重新下载或重新安装待测试应用。
在一些实施例中，上述方法还包括：响应于确定第一测试结果集合不准确，调整测试用例，利用调整后的测试用例对待测试应用进行测试，生成第四测试结果集合。
在一些实施例中，第一测试结果包括：针对待测试应用预先确定的、待测试应用的安装目录下的文件名，预先确定的、包含于待测试应用中的计算机病毒的信息；第二测试结果包括：安装目录下的文件名，包含于待测试应用中的计算机病毒的信息。
第二方面，本申请实施例提供了一种用于输出信息的装置，该装置包括：获取单元，配置用于获取针对待测试应用的测试用例，其中，测试用例包括第一测试结果集合，第一测试结果是针对测试用例预先确定的测试结果；第一生成单元，配置用于利用测试用例对待测试应用进行测试，生成第二测试结果集合；输出单元，配置用于将包含于第二测试结果集合且不包含于第一测试结果集合的测试结果确定为目标测试结果，得到目标测试结果集合并输出。
在一些实施例中，上述装置还包括：调整单元，配置用于基于目标测试结果集合，调整测试用例；第二生成单元，配置用于利用调整后的测试用例对待测试应用进行测试，生成第三测试结果集合。
在一些实施例中，上述装置还包括：确定单元，配置用于基于预设的准确判定条件，确定第一测试结果集合是否准确。
在一些实施例中，上述装置还包括：安装单元，配置用于响应于确定第一测试结果集合准确，重新下载或重新安装待测试应用。
在一些实施例中，上述装置还包括：第三生成单元，配置用于响应于确定第一测试结果集合不准确，调整测试用例，利用调整后的测试用例对待测试应用进行测试，生成第四测试结果集合。
在一些实施例中，第一测试结果包括：针对待测试应用预先确定的、待测试应用的安装目录下的文件名，预先确定的、包含于待测试应用中的计算机病毒的信息；第二测试结果包括：安装目录下的文件名，包含于待测试应用中的计算机病毒的信息。
第三方面，本申请实施例提供了一种用于输出信息的电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行，使得该一个或多个处理器实现如上述用于输出信息的方法中任一实施例的方法。
第四方面，本申请实施例提供了一种用于输出信息的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述用于输出信息的方法中任一实施例的方法。
本申请实施例提供的用于输出信息的方法和装置，通过获取针对待测试应用的测试用例，其中，测试用例包括第一测试结果集合，第一测试结果是针对测试用例预先确定的测试结果，然后利用测试用例对待测试应用进行测试，生成第二测试结果集合，最后将包含于第二测试结果集合且不包含于第一测试结果集合的测试结果确定为目标测试结果，得到目标测试结果集合并输出，从而基于对目标测试结果的利用，提高了信息输出的丰富性，有助于提高测试的灵活性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性系统架构图；
图2是根据本申请的用于输出信息的方法的一个实施例的流程图；
图3是根据本申请的用于输出信息的方法的一个应用场景的示意图；
图4是根据本申请的用于输出信息的方法的又一个实施例的流程图；
图5是根据本申请的用于输出信息的装置的一个实施例的结构示意图；
图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于输出信息的方法或用于输出信息的装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持应用安装与运行的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上安装或运行的应用(例如软件)提供支持的后台信息处理服务器。后台信息处理服务器可以对接收到的数据(例如测试用例等数据)进行分析等处理，并将处理结果(例如目标测试结果集合)反馈给终端设备。
需要说明的是，本申请实施例所提供的用于输出信息的方法可以由服务器105执行，相应地，用于输出信息的装置一般设置于服务器105中；本申请实施例所提供的用于输出信息的方法也可以由终端设备101、102、103执行，相应地，用于输出信息的装置也可以设置于终端设备101、102、103中
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。当信息处理方法运行于其上的电子设备不需要与其他电子设备进行数据传输时，该系统架构可以不包括网络。例如，当上述电子设备为服务器并且上述电子设备不需要与其他电子设备(例如终端设备)进行交互时，该系统架构可以不包括网络以及终端设备；当上述电子设备为终端设备并且上述电子设备不需要与其他电子设备(例如服务器)进行交互时，该系统架构可以不包括网络以及服务器。
继续参考图2，示出了根据本申请的用于输出信息的方法的一个实施例的流程200。该用于输出信息的方法，包括以下步骤：
步骤201，获取针对待测试应用的测试用例。
在本实施例中，用于输出信息的方法运行于其上的电子设备(例如图1所示的终端设备或服务器)可以通过有线连接方式或者无线连接方式从其他电子设备(例如用于存储针对待测试应用的测试用例的电子设备)获取针对待测试应用的测试用例。
其中，待测试应用可以是客户端服务器端(cs，clientserver)应用，也可以是浏览器端服务器端(bs，browserserver)应用。测试用例包括第一测试结果集合。第一测试结果是针对测试用例预先确定的测试结果，例如，在测试前，测试人员针对测试用例预期的测试结果。可选的，上述测试用例还可以包括测试步骤、测试目的、测试条件等信息。可以理解，在自动化测试中，可以通过技术人员编写代码实现上述步骤的执行。作为示例，上述第一测试结果可以是针对软件的功能的测试结果。例如，第一测试结果可以是“跳转到软件的登录页面”。
示例性的，请参考图3。图示中，上述电子设备获取了存储于本地存储器中的、针对待测试应用的测试用例301。其中，测试用例301包括第一测试结果集合“文件名1、文件名2”。
步骤202，利用测试用例对待测试应用进行测试，生成第二测试结果集合。
在本实施例中，基于步骤201中获取的测试用例，上述电子设备可以利用测试用例对待测试应用进行测试，生成第二测试结果集合。其中，第二测试结果是在执行测试用例时或者之后，待测试应用所包含或获取到的数据。
示例性的，请继续参考图3。上述电子设备利用测试用例301对上述待测试应用进行测试，生成了第二测试结果集合302。其中，第二测试结果集合包括如下第二测试结果：文件名1、文件名2、文件名3。
步骤203，将包含于第二测试结果集合且不包含于第一测试结果集合的测试结果确定为目标测试结果，得到目标测试结果集合并输出。
在本实施例中，上述电子设备可以将包含于第二测试结果集合且不包含于第一测试结果集合的测试结果确定为目标测试结果，得到目标测试结果集合并输出。
可以理解，当第一测试结果集合调整不及时(例如在软件新版本发布后，需要进行测试之前未更新第一测试结果集合)时，将会出现包含于第二测试结果集合且不包含于第一测试结果集合的测试结果。由于此时的第二测试结果集合与第一测试结果集合存在差异，测试人员或者上述电子设备通常会得出待测试应用存在问题的结论。然而，得出该结论的原因可能是由于第一测试结果集合未能及时进行调整。因此，将上述目标测试结果进行输出，有助于进一步确定待测试应用是否存在问题。
作为示例，请继续参考图3。其中，上述电子设备将“文件名3”确定为目标测试结果，由此，得到目标测试结果集合303(包括“文件名3”)并输出了目标测试结果集合303。
在本实施例的一些可选的实现方式中，上述方法还包括：基于目标测试结果集合，调整测试用例；利用调整后的测试用例对待测试应用进行测试，生成第三测试结果集合。
可选的，上述电子设备可以将目标测试结果集合添加至第一测试结果集合，由此得到调整后的测试用例；也可以在上述电子设备将目标测试结果集合输出之后，技术人员通过目标测试结果集合与第一测试结果集合的比对，确定出第一测试结果集合是否未进行及时的更新，或者是否存在对测试结果的预期错误，如果是，则技术人员可以通过上述电子设备对测试用例所包括的测试步骤或者第一测试结果进行调整(更新或修改)。
在本实施例的一些可选的实现方式中，第一测试结果包括：针对待测试应用预先确定的、待测试应用的安装目录下的文件名，预先确定的、包含于测试应用中的计算机病毒的信息；第二测试结果包括：安装目录下的文件名，包含于待测试应用中的计算机病毒的信息。其中，计算机病毒的信息可以是某些特定的字符串，例如，病毒所包含的代码段或者病毒名等等。
可以理解，当第一测试结果包括针对待测试应用预先确定的、待测试应用的安装目录下的文件名并且第二测试结果包括上述安装目录下的文件名时，通过对第一测试结果与第二测试结果的比对，可以确定出上述电子设备所安装的上述待测试应用是否存在安装文件的缺失或错误；当第一测试结果包括预先确定的、包含于测试应用中的计算机病毒的信息并且第二测试结果包括包含于待测试应用中的计算机病毒的信息时，通过对第一测试结果与第二测试结果的比对，可以确定出上述待测试应用中是否包含上述计算机病毒。
本申请的上述实施例提供的方法通过获取针对待测试应用的测试用例，其中，测试用例包括第一测试结果集合，第一测试结果是针对测试用例预先确定的测试结果，然后利用测试用例对待测试应用进行测试，生成第二测试结果集合，最后将包含于第二测试结果集合且不包含于第一测试结果集合的测试结果输出，提高了信息输出的丰富性，有助于提高测试的灵活性。
进一步参考图4，其示出了用于输出信息的方法的又一个实施例的流程400。该用于输出信息的方法的流程400，包括以下步骤：
步骤401，获取针对待测试应用的测试用例。
在本实施例中，步骤401与图2对应实施例中的步骤201基本一致，这里不再赘述。
步骤402，利用测试用例对待测试应用进行测试，生成第二测试结果集合。
在本实施例中，步骤402与图2对应实施例中的步骤202基本一致，这里不再赘述。
步骤403，将包含于第二测试结果集合且不包含于第一测试结果集合的测试结果确定为目标测试结果，得到目标测试结果集合并输出。
在本实施例中，步骤403与图2对应实施例中的步骤203基本一致，这里不再赘述。
步骤404，基于预设的准确判定条件，确定第一测试结果集合是否准确。
在本实施例中，基于步骤403得到的第二测试结果集合以及第一测试结果集合，上述电子设备可以基于预设的准确判定条件，确定第一测试结果集合是否准确。其中，上述预设的准确判定条件是预先设置的、用于判断第一测试结果集合是否准确的条件。示例性的，上述准确判定条件可以是新增的软件需求对应的测试结果与第一测试结果一致。上述新增的软件需求是最新版本软件相对于上一版本的软件新添加的需求(例如功能)。
示例性的，新增的软件需求可以是当用户点击某一按键时，显示特定信息，则与该新增的软件需求对应的测试结果为显示特定信息。如果第一测试结果为显示该特定信息，则上述电子设备可以确定出第一测试结果集合准确，否则，上述电子设备可以确定出第一测试结果集合不准确。可以理解，上述准确判定条件可以由技术人员根据实际情况进行设定，本申请实施例对此不作限制。
步骤405，响应于确定第一测试结果集合准确，重新下载或重新安装待测试应用。
在本实施例中，响应于确定第一测试结果集合准确，上述电子设备还可以重新下载或重新安装待测试应用。
可以理解，当第一测试结果集合准确时，可能是由于待测试应用的存在问题。例如，下载的待测试应用的版本不是最近更新的版本或者安装待测试应用时存在问题等等。此时，通过重新下载或重新安装待测试应用，并继续进行测试，有助于提高测试的准确性。
步骤406，响应于确定第一测试结果集合不准确，调整测试用例，利用调整后的测试用例对待测试应用进行测试，生成第四测试结果集合。
在本实施例中，响应于确定第一测试结果集合不准确，调整测试用例，利用调整后的测试用例对待测试应用进行测试，生成第四测试结果集合
可以理解，当第一测试结果集合不准确时，可能是由于第一测试结果集合未能及时更新或测试人员的预期错误。此时，调整测试用例，然后利用调整后的测试用例对待测试应用进行测试，以及生成第四测试结果集合，有助于提高测试的准确性。
在一些使用情况下，上述电子设备还可以获取待测试应用的上一版本的待测试应用的测试用例；利用上一版本的待测试应用的测试用例对上一版本的待测试应用进行测试，生成测试结果；确定第二测试结果集合与针对上一版本的待测试应用生成的测试结果的差集(即包含于第二测试结果集合且不包含于针对上一版本的待测试应用生成的测试结果的测试结果)；如果该差集中的测试结果均为目标测试结果集合中的测试结果，则确定第一测试结果未更新。
可选的，响应于确定第一测试结果集合准确，上述电子设备还可以将上述差集和/或目标测试结果集合中的测试结果添加到第一测试结果集合中。
从图4中可以看出，与图2对应的实施例相比，本实施例中的用于输出信息的方法的流程400突出了确定第一测试结果集合是否准确的处理步骤。由此，本实施例描述的方案可以引入更多的针对第一测试结果集合准确或不准确的情况下的处理步骤，从而进一步提高测试的灵活性。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种用于输出信息的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的用于输出信息的装置500包括：获取单元501、第一生成单元502和输出单元元503。其中，获取单元501配置用于获取针对待测试应用的测试用例，其中，测试用例包括第一测试结果集合，第一测试结果是针对测试用例预先确定的测试结果；第一生成单元502配置用于利用测试用例对待测试应用进行测试，生成第二测试结果集合；输出单元503配置用于将包含于第二测试结果集合且不包含于第一测试结果集合的测试结果确定为目标测试结果，得到目标测试结果集合并输出。
在本实施例中，用于输出信息的装置500的获取单元501可以通过有线连接方式或者无线连接方式从其他电子设备(例如用于存储针对待测试应用的测试用例的电子设备)获取针对待测试应用的测试用例。
其中，待测试应用可以是客户端/服务器端应用，也可以是浏览器端/服务器端应用。测试用例包括第一测试结果集合。第一测试结果是针对测试用例预先确定的测试结果，例如，在测试前，测试人员针对测试用例预期的测试结果。
在本实施例中，基于获取单元501得到的测试用例，上述第一生成单元502可以利用测试用例对待测试应用进行测试，生成第二测试结果集合。其中，第二测试结果是在执行测试用例时或者之后，待测试应用所包含或获取到的数据。
在本实施例中，上述输出单元503可以将包含于第二测试结果集合且不包含于第一测试结果集合的测试结果确定为目标测试结果，得到目标测试结果集合并输出。
在本实施例的一些可选的实现方式中,上述装置还包括：调整单元(图中未示出)配置用于基于目标测试结果集合，调整测试用例；第二生成单元(图中未示出)配置用于利用调整后的测试用例对待测试应用进行测试，生成第三测试结果集合。
可选的，上述装置可以将目标测试结果集合添加至第一测试结果集合，由此得到调整后的测试用例；也可以在上述装置将目标测试结果集合输出之后，技术人员通过目标测试结果集合与第一测试结果集合的比对，确定出第一测试结果集合是否未进行及时更新，或者是否存在对测试结果的预期错误，如果是，则技术人员可以通过上述装置对测试用例所包括的测试步骤或者第一测试结果进行调整(更新或修改)。
在本实施例的一些可选的实现方式中,上述装置还包括：确定单元(图中未示出)配置用于基于预设的准确判定条件，确定第一测试结果集合是否准确。其中，上述预设的准确判定条件是预先设置的、用于判断第一测试结果集合是否准确的条件。示例性的，上述准确判定条件可以是新增的软件需求对应的测试结果与第一测试结果一致。
在本实施例的一些可选的实现方式中,上述装置还包括：安装单元(图中未示出)配置用于响应于确定第一测试结果集合准确，重新下载或重新安装待测试应用。
可以理解，当第一测试结果集合准确时，可能是由于待测试应用的存在问题。例如，下载的待测试应用的版本不是最近更新的版本或者安装待测试应用时存在问题等等。此时，通过重新下载或重新安装待测试应用，并继续进行测试，有助于提高测试的准确性。
在本实施例的一些可选的实现方式中,上述装置还包括：第三生成单元(图中未示出)配置用于响应于确定第一测试结果集合不准确，调整测试用例，利用调整后的测试用例对待测试应用进行测试，生成第四测试结果集合。
可以理解，当第一测试结果集合不准确时，通常是由于第一测试结果集合未能及时更新或测试人员的预期错误。此时，调整用例，然后利用调整后的测试用例对待测试应用进行测试，以及生成第四测试结果集合，有助于提高测试的准确性。
在本实施例的一些可选的实现方式中,第一测试结果包括：针对待测试应用预先确定的、待测试应用的安装目录下的文件名，预先确定的、包含于测试应用中的计算机病毒的信息；第二测试结果包括：安装目录下的文件名，包含于测试应用中的计算机病毒的信息。
可以理解，当第一测试结果包括针对待测试应用预先确定的、待测试应用的安装目录下的文件名并且第二测试结果包括上述安装目录下的文件名时，通过对第一测试结果与第二测试结果的比对，可以确定出上述装置所安装的上述待测试应用是否存在安装文件的缺失或错误；当第一测试结果包括预先确定的、包含于测试应用中的计算机病毒的信息并且第二测试结果包括包含于待测试应用中的计算机病毒的信息时，通过对第一测试结果与第二测试结果的比对，可以确定出上述待测试应用中是否包含上述计算机病毒。其中，计算机病毒的信息可以是某些特定的字符串，例如，病毒所包含的代码段或者病毒名等等。
在一些使用情况下，上述装置还可以获取待测试应用的上一版本的待测试应用的测试用例；利用上一版本的待测试应用的测试用例对上一版本的待测试应用进行测试，生成测试结果；确定第二测试结果集合与针对上一版本的待测试应用生成的测试结果的差集(即包含于第二测试结果集合且不包含于针对上一版本的待测试应用生成的测试结果的测试结果)；如果该差集中的测试结果均为目标测试结果集合中的测试结果，则确定第一测试结果未更新。
可选的，响应于确定第一测试结果集合准确，上述装置还可以将上述差集和/或目标测试结果集合中的测试结果添加到第一测试结果集合中。
本申请的上述实施例提供的装置，通过获取单元501获取针对待测试应用的测试用例，其中，测试用例包括第一测试结果集合，第一测试结果是针对测试用例预先确定的测试结果，然后第一生成单元502利用测试用例对待测试应用进行测试，生成第二测试结果集合，最后输出单元503将包含于第二测试结果集合且不包含于第一测试结果集合的测试结果确定为目标测试结果，得到目标测试结果集合并输出，提高了信息输出的丰富性，有助于提高测试的灵活性。
下面参考图6，其示出了适于用来实现本申请实施例的电子设备的计算机系统600的结构示意图。图6示出的终端设备/服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(cpu)601，其可以根据存储在只读存储器(rom)602中的程序或者从存储部分608加载到随机访问存储器(ram)603中的程序而执行各种适当的动作和处理。在ram603中，还存储有系统600操作所需的各种程序和数据。cpu601、rom602以及ram603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
以下部件连接至i/o接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至i/o接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(cpu)601执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、第一生成单元和输出单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取针对待测试应用的测试用例的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取针对待测试应用的测试用例，其中，测试用例包括第一测试结果集合，第一测试结果是针对测试用例预先确定的测试结果；利用测试用例对待测试应用进行测试，生成第二测试结果集合；将包含于第二测试结果集合且不包含于第一测试结果集合的测试结果确定为目标测试结果，得到目标测试结果集合并输出。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。