本发明实施例涉及电视
技术领域：
，尤其涉及一种电视应用程序测试方法及装置。
背景技术：
：随着电视技术的不断发展，电视中可以安装的应用程序越来越多，为了保证电视中的各个应用程序可以正常运行，在对应用程序发布之前，需要在电视中对应用程序进行测试。在现有技术中，当需要对安装在电视中的应用程序进行测试时，通常在电视中安装应用程序，并由测试人员对电视中安装的应用程序进行重复性操作，在测试人员操作应用程序的过程中，测试人员通过对应用程序的运行状态进行观察(例如应用程序中的功能是否正常启动、应用程序的界面是否正常等)，以确定应用程序的测试结果。然而，由于应用程序的测试项过多，使得测试人员很难对应用程序进行全面测试，导致对应用程序进行测试的准确性较差。技术实现要素：本发明实施例提供一种电视应用程序测试方法及装置，用于提高应用程序测试的准确性。第一方面，本发明实施例提供一种电视应用程序测试方法，包括：确定待测试应用程序对应的多个辅助测试应用程序；确定所述待测试应用程序对应的多个第一测试实例、及各所述辅助测试应用程序对应的第二测试实例；确定所述第一测试实例和所述第二测试实例的交叉测试顺序，以使两个相邻的第一测试实例之间包括至少一个第二测试实例；根据所述交叉测试顺序，对各所述第一测试实例和各所述第二测试实例进行测试。在一种可能的实施方式中，所述确定待测试应用程序对应的多个辅助测试应用程序，包括：获取所述待测试应用程序对应的多个样本日志，各所述样本日志用于指示用户对电视中的应用程序的使用记录；在各所述多个样本日志中获取所述待测试应用程序对应的关联应用程序，所述关联应用程序的运行时刻与所述待测试应用程序的运行时刻的时间差小于第一预设阈值；在所述关联应用程序中确定所述多个辅助测试应用程序。在另一种可能的实施方式中，所述在所述关联应用程序中确定所述多个辅助测试应用程序，包括：获取各所述关联应用程序与所述待测试应用程序的关联度；将关联度大于第二预设阈值的关联应用程序确定为所述辅助测试应用程序。在另一种可能的实施方式中，所述确定所述待测试应用程序对应的多个第一测试实例、及各所述辅助测试应用程序对应的第二测试实例，包括：根据各所述辅助测试应用程序的测试参数，确定各所述辅助测试应用程序对应的第二测试实例；分别确定各所述第二测试实例对应的、所述待测试应用程序的测试参数；分别根据各所述第二测试实例对应的、所述待测试应用程序的测试参数，确定所述多个第一测试实例。在另一种可能的实施方式中，所述确定所述第一测试实例和所述第二测试实例的交叉测试顺序，以使两个相邻的第一测试实例之间包括至少一个第二测试实例，包括：获取各所述第一测试实例对应的第二测试实例；确定所述第一测试实例的测试顺序；根据所述第一测试实例的测试顺序、及各所述第一测试实例对应的第二测试实例，确定所述交叉测试顺序，其中，各所述第一测试实例与对应的第二测试实例之间的顺序为预设顺序。在另一种可能的实施方式中，所述根据所述交叉测试顺序，对各所述第一测试实例和各所述第二测试实例进行测试之后，还包括：生成各所述第一测试实例对应的测试标识。第二方面，本发明实施例提供一种电视应用程序测试装置，包括：第一确定模块，用于确定待测试应用程序对应的多个辅助测试应用程序；第二确定模块，用于确定所述待测试应用程序对应的多个第一测试实例、及各所述辅助测试应用程序对应的第二测试实例；第三确定模块，用于确定所述第一测试实例和所述第二测试实例的交叉测试顺序，以使两个相邻的第一测试实例之间包括至少一个第二测试实例；测试模块，用于根据所述交叉测试顺序，对各所述第一测试实例和各所述第二测试实例进行测试。在一种可能的实施方式中，所述第一确定模块包括第一获取单元、第二获取单元和确定单元，其中，所述第一获取单元用于，获取所述待测试应用程序对应的多个样本日志，各所述样本日志用于指示用户对电视中的应用程序的使用记录；所述第二获取单元用于，在各所述多个样本日志中获取所述待测试应用程序对应的关联应用程序，所述关联应用程序的运行时刻与所述待测试应用程序的运行时刻的时间差小于第一预设阈值；所述确定单元用于，在所述关联应用程序中确定所述多个辅助测试应用程序。在另一种可能的实施方式中，所述确定单元具体用于：获取各所述关联应用程序与所述待测试应用程序的关联度；将关联度大于第二预设阈值的关联应用程序确定为所述辅助测试应用程序。在另一种可能的实施方式中，所述第二确定模块具体用于：根据各所述辅助测试应用程序的测试参数，确定各所述辅助测试应用程序对应的第二测试实例；分别确定各所述第二测试实例对应的、所述待测试应用程序的测试参数；分别根据各所述第二测试实例对应的、所述待测试应用程序的测试参数，确定所述多个第一测试实例。在另一种可能的实施方式中，所述第三确定模块具体用于：获取各所述第一测试实例对应的第二测试实例；确定所述第一测试实例的测试顺序；根据所述第一测试实例的测试顺序、及各所述第一测试实例对应的第二测试实例，确定所述交叉测试顺序，其中，各所述第一测试实例与对应的第二测试实例之间的顺序为预设顺序。在另一种可能的实施方式中，所述装置还包括生成模块，其中，所述生成模块用于，在所述第二确定模块根据所述交叉测试顺序，对各所述第一测试实例和各所述第二测试实例进行测试之后，生成各所述第一测试实例对应的测试标识。本发明实施例提供的电视应用程序测试方法及装置，当需要对电视中的任意一个待测试应用程序进行测试时，先确定该待测试应用程序对应的多个辅助测试应用程序，并生成待测试应用程序对应的多个第一测试实例、以及各辅助测试应用程序对应的第二测试实例，并根据交叉测试顺序，对第一测试实例和第二测试实例进行交叉测试。在该过程中，由于该多个第一测试示例为对待测试应用程序执行的多个不同的测试过程，因此，通过执行该多个第一测试实例即可实现对待测试应用程序进行全面的测试，进一步的，在对多个第一测试实例进行测试的过程中，还交叉的对第二测试示例进行测试，进而实现对待测试应用程序和辅助测试应用程序之间的切换过程进行测试，进一步提高了对待测试应用程序进行测试的全面性，进而提高了对应用程序进行测试的准确性。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本发明提供的电视应用程序测试方法的应用场景示意图；图2为本发明提供的电视应用程序测试方法的流程示意图；图3为本发明提供的确定辅助测试应用程序方法的流程示意图；图4为本发明提供的确定测试实例方法的流程示意图；图5为本发明提供的确定交叉测试顺序方法的流程示意图；图6为发明提供的电视应用程序测试装置的结构示意图一；图7为发明提供的电视应用程序测试装置的结构示意图二。具体实施方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。图1为本发明提供的电视应用程序测试方法的应用场景示意图，请参见图1，包括电视101和电视应用程序测试装置102。在电视101中安装有多个应用程序(分别记为应用程序1至应用程序n)。电视应用程序测试装置102可以对电视101中的各个应用程序进行测试。可选的，电视应用程序测试装置102可以设置于与电视具有连接关系的计算机中，并通过计算机实现对电视中的应用程序进行测试；电视应用程序测试装置102还可以设置在电视101中。在本申请中，在电视应用程序测试装置102对电视101中的任意一个待测试应用程序进行测试的过程中，电视应用程序测试装置102可以对待测试应用程序和电视中的其他应用程序进行交叉测试，以实现对待测试应用程序进行更为全面的测试，进而提高对应用程序测试的进行测试的准确性。下面，通过具体示例，对本申请实施例所示的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。图2为本发明提供的电视应用程序测试方法的流程示意图，请参见图2，该方法可以包括：s201、确定待测试应用程序对应的多个辅助测试应用程序；s202、确定待测试应用程序对应的多个第一测试实例、及各辅助测试应用程序对应的第二测试实例；s203、确定第一测试实例和第二测试实例的交叉测试顺序，以使两个相邻的第一测试实例之间包括至少一个第二测试实例；s204、根据交叉测试顺序，对各第一测试实例和各第二测试实例进行测试。本发明实施例的执行主体为电视应用程序测试装置(下文简称测试装置)，可选的，该测试装置可以设置在于电视具有连接关系的计算机中，也可以设置与电视中。若测试装置设置与计算机中，则可以将计算机和电视接入同一网段，并建立计算机和电视之间的adb链接。可选的，该测试装置可以通过软件和/或硬件实现。在本发明实施例中，测试装置对电视中的任意一个应用程序的测试过程类似。下面，以测试装置对电视中的待测试应用程序进行测试的过程为例，对图2实施例所示的方法进行详细说明。当需要对待测试应用程序进行测试时，测试装置先确定待测试应用程序对应的多个辅助测试应用程序。该辅助测试应用程序用于实现对待测试应用程序进行更为全面的测试，可选的，电视中安装的、除待测试应用程序之外的其它任意应用程序均可以为待测试应用程序对应的辅助测试应用程序。可选的，可以由用户通过可视化界面选择待测试应用程序对应的辅助测试应用程序，也可以由测试装置根据预设选择规则，在电视中安装的、除待测试应用程序之外的其它任意应用程序中确定辅助测试应用程序。可选的，该预设选择规则可以为，将测试次数最少的多个应用程序确定为辅助测试应用程序；该预设选择规则还可以为，将与待测试应用程序相关性最强的多个应用程序确定为辅助测试应用程序；该预设选择规则还可以为，将最容易导致待测试应用程序故障的多个应用程序确定为辅助测试应用程序。需要说明的是，上述只是以示例的形式是以预设选择规则，并不是对预设选择规则的限定，在实际应用过程中，可以根据实际需要设置该预设选择规则。在测试装置确定得到待测试应用程序对应的辅助测试应用程序之后，测试装置确定待测试应用程序对应的多个第一测试实例、及各辅助测试应用程序对应的第二测试实例。其中，一个测试示例是指根据预设的测试参数对应用程序执行的一次测试过程，该测试参数可以为对应用程序输入的操作事件，例如，对应用程序输入的基本导航事件(上、下、左、右按键对应的事件等)、主要导航事件(确定、返回事件等)、系统导航事件(主页面、静音、音量控制事件等)。当应用程序为视频播放应用程序时，该应用程序对应的测试实例可以为对视频播放应用程序的启动、选择视频、播放视频、暂停视频、退出视频播放应用程序的一个测试过程。在测试装置确定得到多个第一测试实例和第二测试实例之后，测试装置确定第一测试实例和第二测试实例的交叉测试顺序，以使两个相邻的第一测试实例之间包括至少一个第二测试实例。可选的，可以由用户通过可视化界面根据实际测试需求输入该交叉测试顺序，也可以由测试装置确定该交叉测试顺序。可选的，测试装置可以根据用户对待测试应用程序的实际使用过程确定该交叉测试顺序，以使该交叉测试顺序与待测试应用程序的实际使用过程更为相似，进而提高对待测试应用程序测试的真实性。在测试装置确定得到交叉测试顺序之后，测试装置根据交叉测试顺序，对各第一测试实例和各第二测试实例进行测试，以确定对待测试应用程序的测试结果。可选的，在测试装置对第一测试实例和第二测试实例进行测试的过程中，测试装置可以生成测试日志，测试装置可以根据测试日志确定测试结果，当然，用户还可以查看测试日志，以对待测试应用程序的测试结果进行分析。可选的，在对各第一测试实例和各第二测试实例进行测试之后，测试装置还可以生成各第一测试实例对应的测试标识，每一个第一测试实例的测试标识均不相同。这样，用户可以方便的根据测试标识确定该测试标识对应的测试过程，进而可以方便的对测试过程进行重放，利于用户复现待测试应用程序中的故障。下面，通过具体示例，对图2实施例所示的方法进行详细说明。示例性的，假设电视中安装有8个应用程序，分别记为应用程序1-应用程序8，再假设待测试应用程序为应用程序1。当测试装置需要对应用程序1进行测试时，可选的，测试装置将与应用程序1进行切换最为频繁的5个应用程序确定为辅助应用程序，假设辅助应用测试程序为应用程序2-应用程序6。其中，辅助应用程序与应用程序1进行切换是指，退出应用程序1后立刻启动的辅助应用程序、或者退出辅助应用程序后立刻启动应用程序1。测试装置确定应用程序对应的5个第一测试实例，分别记为测试实例11-测试实例15，其中，测试实例11-测试实例15为对应用程序1执行的不同测试过程。测试装置还分别确定应用程序2-应用程序6的第二测试示例，分别记为测试实例2-测试实例6。测试装置确定该多个第一测试实例和第二测试实例的交叉测试顺序，假设该交叉测试顺序为：测试实例11、测试实例2、测试实例12、测试实例3、测试实例13、测试实例4、测试实例14、测试实例5、测试实例15、测试实例6。测试装置根据上述交叉测试顺序对测试实例11-测试实例15、及测试实例2-测试实例6进行测试，以确定对应用程序1的测试结果。本发明实施例提供的电视应用程序测试方法，当需要对电视中的任意一个待测试应用程序进行测试时，先确定该待测试应用程序对应的多个辅助测试应用程序，并生成待测试应用程序对应的多个第一测试实例、以及各辅助测试应用程序对应的第二测试实例，并根据交叉测试顺序，对第一测试实例和第二测试实例进行交叉测试。在该过程中，由于该多个第一测试示例为对待测试应用程序执行的多个不同的测试过程，因此，通过执行该多个第一测试实例即可实现对待测试应用程序进行全面的测试，进一步的，在对多个第一测试实例进行测试的过程中，还交叉的对第二测试示例进行测试，进而实现对待测试应用程序和辅助测试应用程序之间的切换过程进行测试，进一步提高了对待测试应用程序进行测试的全面性，进而提高了对应用程序进行测试的准确性。在图2所示实施例的基础上，可选的，可以通过如下可行的实现方式确定待测试应用程序对应的多个辅助测试应用程序(图2所示实施例中的s201)，具体的，请参见图3所示的实施例。图3为本发明提供的确定辅助测试应用程序方法的流程示意图，请参见图3，该方法可以包括：s301、获取待测试应用程序对应的多个样本日志，各样本日志用于指示用户对电视中的应用程序的使用记录；s302、在各多个样本日志中获取待测试应用程序对应的关联应用程序，关联应用程序的运行时刻与待测试应用程序的运行时刻的时间差小于第一预设阈值；s303、在关联应用程序中确定多个辅助测试应用程序。在图3所示的实施例中，当测试装置需要确定待测试应用程序对应的辅助测试应用程序时，先获取待测试应用程序对应的多个样本日志，各样本日志中记录中用户对电视中的应用程序的使用记录。具体的，在对待测试应用程序进行测试之前，先由部分用户在电视中安装待测试应用程序，并对待测试应用程序进行试用，同时，在电视中生成用户对电视中的应用程序的使用记录。在测试装置确定得到样本日志之后，测试装置在样本日志中获取待测试应用程序对应的关联应用程序，关联应用程序的运行时刻与待测试应用程序的运行时刻的时间差小于第一预设阈值。可选的，在样本日志中记录了电视中各个应用程序的运行时刻，该运行时刻可以包括应用程序的起始运行时刻和终止运行时刻，以使测试装置根据各个应用程序的运行时刻，将运行时刻与待测试应用程序的运行时刻的时间差小于第一预设阈值的应用程序确定为关联应用程序。可选的，该第一预设阈值可以为1分钟、5分钟等，可以根据实际需要设置该第一预设阈值。在测试装置确定得到关联应用程序之后，测试装置在关联应用程序中确定多个辅助测试应用程序。可选的，测试装置可以获取各关联应用程序与待测试应用程序的关联度，并将关联度大于第二预设阈值的关联应用程序确定为辅助测试应用程序。可选的，针对任意一个关联应用程序，可以根据该关联应用程序在样本日志中被确定为关联应用程序的次数，确定该关联应用程序与待测试应用程序的关联度，其中，被确定为关联应用程序的次数越多，关联应用程序与待测试应用程序的关联度越高。下面，通过具体示例，对图3实施例所示的方法进行详细说明。示例性的，假设待测试应用程序为应用程序1，在对应用程序1进行测试之前，先将应用程序1交于100个用户进行试用，并获取该100个用户对应的100个样本日志。测试装置对该100个样本日志进行分析，确定各样本日志中包括的应用程序运行时刻，假设该100个样本日志中的应用程序运行时刻如表1所示：表1测试装置根据表1所示的应用程序运行时刻，确定应用程序1对应的关联应用程序，具体的，测试装置在各样本日志中确定得到的、应用程序1对应的关联应用程序如表2所示：表2样本日志的标识关联应用程序的标识样本日志1应用程序2样本日志2应用程序3、应用程序2样本日志3应用程序2、应用程序4…………测试装置根据表2中各关联应用程序出现的次数，在关联应用程序中确定辅助测试应用程序，可选的，测试装置可以将出现次数最多的多个关联应用程序确定为辅助测试应用程序。在上述过程中，测试装置根据用户对电视应用程序的实际使用记录，确定辅助测试应用程序，使得对待测试应用程序进行测试的过程更贴近用户对待测试应用程序的使用过程，进而提高了对待测试应用进行测试的真实性。在上述任意一个实施例的基础上，可选的，可以根据如下可行的实现方式确定待测试应用程序对应的多个第一测试实例、及各辅助测试应用程序对应的第二测试实例(图2所示实施例中的s202)，具体的，请参见图4所示的实施例。图4为本发明提供的确定测试实例方法的流程示意图，请参见图4，该方法可以包括：s401、根据各辅助测试应用程序的测试参数，确定各辅助测试应用程序对应的第二测试实例；s402、分别确定各第二测试实例对应的、待测试应用程序的测试参数；s403、分别根据各第二测试实例对应的、待测试应用程序的测试参数，确定多个第一测试实例。在图4所示的实施例中，在测试装置确定得到辅助测试应用程序之后，测试装置先确定辅助测试应用程序对应的第二测试实例。可选的，由于辅助测试应用程序用于实现对待测试应用程序和辅助测试应用程序之间的切换过程进行测试，因此，各辅助应用程序对应的测试参数可以仅包括启动操作和退出操作，即，第二测试实例为对辅助测试应用程序进行启动和退出的测试过程。在测试装置确定得到各辅助测试应用程序对应的第二测试实例之后，测试装置分别确定各第二测试实例对应的、待测试应用程序的测试参数，可选的，根据第二测试实例的不同，确定得到的待测试应用程序的测试参数也不同。可选的，可以根据用户对电视中的应用程序进行使用的样本日志，确定各第二测试实例对应的、待测试应用程序的测试参数，以使确定得到的测试参数更符合用户对待测试应用程序的实际使用过程。可选的，各第二测试实例对应的、待测试应用程序的测试参数可以包括对待测试应用程序输入的多个操作事件、各操作事件的执行次数、多个操作事件的执行顺序等。可选的，操作事件可以包括基本导航事件(上、下、左、右按键对应的事件等)、主要导航事件(确定、返回事件等)、系统导航事件(主页面、静音、音量控制事件等)。在测试装置确定得到各第二测试实例对应的、待测试应用程序的测试参数之后，测试装置分别根据各第二测试实例对应的、待测试应用程序的测试参数，确定多个第一测试实例。其中，当待测试应用程序的测试参数不同时，根据该测试参数确定的第一测试实例也不相同。例如，假设待测试应用程序为音乐应用程序，测试装置确定得到的、该音乐应用程序的测试参数包括：启动事件、向下按键事件、选中事件、返回事件，则根据该测试参数确定得到的测试实例为启动音乐应用程序、向下按键选中一首音乐、播放音乐、退出音乐应用程序的一个测试过程。在上述过程中，测试装置确定各第二测试实例对应的、待测试应用程序的测试参数，并根据各第二测试实例对应的、待测试应用程序的测试参数，确定多个第一测试实例，以使确定得到的第一测试实例分别为各第二测试实例相对应，进一步提高了对待测试应用程序测试的全面性。在图4所示实施例的基础上，可选的，可以通过如下可行的实现方式确定第一测试实例和第二测试实例的交叉测试顺序(图2所示实施例中的s203)，具体的，请参见图5所示的实施例。图5为本发明提供的确定交叉测试顺序方法的流程示意图，请参见图5，该方法可以包括：s501、获取各第一测试实例对应的第二测试实例；s502、确定第一测试实例的测试顺序；s503、根据第一测试实例的测试顺序、及各第一测试实例对应的第二测试实例，确定交叉测试顺序，其中，各第一测试实例与对应的第二测试实例之间的顺序为预设顺序。根据图4所示的实施例，测试装置可以确定第一测试实例和第二测试实例的对应关系，当测试装置需要确定交叉测试顺序时，测试装置获取各第一测试实例对应的第二测试实例。测试装置还确定第一测试实例的测试顺序，可选的，可以由用户通过可视化界面输入第一测试实例的测试顺序，也可以由测试装置根据用户对待测试应用程序的使用日志，确定第一测试实例的测试顺序。测试装置根据第一测试实例的测试顺序、各第一测试实例对应的第二测试实例、以及各第一测试实例与对应的第二测试实例之间的顺序为预设顺序，确定交叉测试顺序。下面，通过具体示例，对图5实施例所示的方法进行详细说明。示例性的，假设第一测试实例包括s11、s12、s13、s14，各第一测试实例对应的第二测试实例如表3所示：表3第一测试实例第二测试实例s11s2s12s3s13s4s14s5再假设第一测试实例的顺序为s11、s12、s13、s14，第一测试实例与对应的第二测试实例之间的预设顺序为：第一测试实例位于第二测试实例之前，则测试装置根据第一测试实例的测试顺序、各第一测试实例对应的第二测试实例、以及预设顺序，确定得到的交叉测试顺序为：s11、s2、s12、s3、s13、s4、s14、s5。在上述过程中，测试装置根据第一测试实例和第二测试实例之间的对应关系，确定交叉测试顺序，以使测试装置可以依次对相关的第一测试实例和第二测试实例进行交叉测试，进而可以更加全面的对待测试应用程序和辅助测试应用程序的切换过程进行测试，进一步的提高了对应用程序测试的准确性。图6为发明提供的电视应用程序测试装置的结构示意图一，请参见图6，该装置包括：第一确定模块601，用于确定待测试应用程序对应的多个辅助测试应用程序；第二确定模块602，用于确定所述待测试应用程序对应的多个第一测试实例、及各所述辅助测试应用程序对应的第二测试实例；第三确定模块603，用于确定所述第一测试实例和所述第二测试实例的交叉测试顺序，以使两个相邻的第一测试实例之间包括至少一个第二测试实例；测试模块604，用于根据所述交叉测试顺序，对各所述第一测试实例和各所述第二测试实例进行测试。本发明实施例所示的电视应用程序测试装置可以执行上述方法实施例所示的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。图7为发明提供的电视应用程序测试装置的结构示意图二，在图6所示实施例的基础上，请参见图7,所述第一确定模块601包括第一获取单元6011、第二获取单元6012和确定单元6013，其中，所述第一获取单元6011用于，获取所述待测试应用程序对应的多个样本日志，各所述样本日志用于指示用户对电视中的应用程序的使用记录；所述第二获取单元6012用于，在各所述多个样本日志中获取所述待测试应用程序对应的关联应用程序，所述关联应用程序的运行时刻与所述待测试应用程序的运行时刻的时间差小于第一预设阈值；所述确定单元6013用于，在所述关联应用程序中确定所述多个辅助测试应用程序。在一种可能的实施方式中，所述确定单元6013具体用于：获取各所述关联应用程序与所述待测试应用程序的关联度；将关联度大于第二预设阈值的关联应用程序确定为所述辅助测试应用程序。在另一种可能的实施方式中，所述第二确定模块602具体用于：根据各所述辅助测试应用程序的测试参数，确定各所述辅助测试应用程序对应的第二测试实例；分别确定各所述第二测试实例对应的、所述待测试应用程序的测试参数；分别根据各所述第二测试实例对应的、所述待测试应用程序的测试参数，确定所述多个第一测试实例。在另一种可能的实施方式中，所述第三确定模块603具体用于：获取各所述第一测试实例对应的第二测试实例；确定所述第一测试实例的测试顺序；根据所述第一测试实例的测试顺序、及各所述第一测试实例对应的第二测试实例，确定所述交叉测试顺序，其中，各所述第一测试实例与对应的第二测试实例之间的顺序为预设顺序。进一步的，所述装置还包括生成模块605，其中，所述生成模块605用于，在所述第二确定模块602根据所述交叉测试顺序，对各所述第一测试实例和各所述第二测试实例进行测试之后，生成各所述第一测试实例对应的测试标识。本发明实施例所示的电视应用程序测试装置可以执行上述方法实施例所示的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。当前第1页12