一种任务测试方法、装置、设备以及存储介质与流程

1.本公开涉及云计算技术领域，尤其涉及云手机技术领域，具体涉及一种任务测试方法、装置、设备以及存储介质。


背景技术：

2.随着计算机技术的发展，各种人工智能任务，如语音交互任务、模型预测任务以及图像识别任务等，已经应用到我们生活的方方面面。人工智能任务效果的好坏直接影响用户体验。因此，对人工智能任务的测试至关重要。


技术实现要素：

3.本公开提供了一种任务测试方法、装置、电子设备以及存储介质。
4.根据本公开的一方面，提供了一种任务测试方法，该方法包括：
5.响应于测试需求端发送的测试请求，从本地部署的候选云手机中确定目标云手机；
6.控制目标云手机执行测试请求中的测试任务；
7.根据目标云手机执行测试任务得到的测试数据，生成测试结果，并将测试结果反馈至测试需求端。
8.根据本公开的另一方面，提供了一种电子设备，该电子设备包括：
9.至少一个处理器；以及
10.与至少一个处理器通信连接的存储器；其中，
11.存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开任一实施例的任务测试方法。
12.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开任一实施例的任务测试方法。
13.根据本公开的技术，提出了一种测试需求端与云服务器及其部署的云手机配合进行任务测试的方案，为低成本且高效率的进行任务测试提供了新的解决方案。
14.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
15.附图用于更好地理解本方案，不构成对本公开的限定。其中：
16.图1a是根据本公开实施例提供的一种任务测试方法的流程图；
17.图1b是根据本公开实施例提供的一种任务测试的系统架构示意图；
18.图2是根据本公开实施例提供的一种任务测试方法的流程图；
19.图3是根据本公开实施例提供的一种任务测试方法的流程图；
20.图4是根据本公开实施例提供的一种任务测试方法的流程图；
21.图5是根据本公开实施例提供的一种任务测试装置的结构示意图；
22.图6是用来实现本公开实施例的任务测试方法的电子设备的框图。
具体实施方式
23.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
24.随着计算机技术的发展，各种人工智能任务，如语音交互任务、模型预测任务以及图像识别任务等，已经应用到我们生活的方方面面。人工智能任务效果的好坏直接影响用户体验。目前，对人工智能任务进行测试时采用的方案是测试需求端向待测试的人工智能任务所部署的智能终端(如智能音箱、智能电视或智能手表等)发送测试请求，由智能终端来对其中部署的测试任务进行测试。在待测试任务较多的情况下，对部署待测试任务的智能终端的数量需求也相应增加，导致测试成本较高。此外，受智能终端实际数量的影响，也无法满足并发测试大量的任务的需求。基于此，本实施例提供了一种测试需求端与云服务器及其部署的云手机配合进行任务测试的方案。
25.图1a是根据本公开实施例提供的一种任务测试方法的流程图。图1b是根据本公开实施例提供的一种任务测试的系统架构示意图。本公开实施例适用于对人工智能任务进行测试的情况。整套方法可以由云手机端、部署云手机的云服务器端以及测试需求端配合执行。本实施例的方案应用于云服务器端，该方法可以由配置于云服务器端的任务测试装置来执行，该装置可以采用软件和/或硬件的方式实现。其中，如图1b所示，本实施例的任务测试的系统1中的云服务器11可以是提供云手机服务的服务器设备，如可以是arm(advanced risc machine，高级精简指令集处理器)服务器或x86服务器等。该云服务器11中可通过虚拟机或可用容器的方式部署有至少一个云手机12。云服务器11可以对其中部署的云手机12进行控制。
26.如图1a-1b所示，本实施例提供的任务测试方法可以包括：
27.s101，响应于测试需求端发送的测试请求，从本地部署的候选云手机中确定目标云手机。
28.其中，测试需求端可以是有测试任务需求的用户端，也可以是提供测试服务的业务端。如图1b所示，该测试需求端10通常包括前端110和后端120两部分，前端110可以是全球广域网(web)前端或应用程序客户端，可供用户输入测试任务；后端120可以是中控服务端，如冰夷中控系统，用于与云服务器11进行交互，以使云服务器11中部署的云手机12来执行测试任务。
29.其中，测试请求可以是用户有测试需求的时候，通过测试需求端的前端向后端发起的包含测试任务的测试请求，测试任务可以是任意对人工智能算法进行测试的任务。例如，可以是人机交互场景下，对语音算法进行测试的任务。该测试任务至少包括测试算法，如若测试任务为语音测试任务，则该测试算法为需要测试的语音算法。可选的，该测试请求中还可以包括：测试任务的测试环境、测试样本或指定的测试云手机等。其中，测试样本为对测试任务进行测试所需的样本数据，例如，若测试任务为语音测试任务，则该测试样本可
以是用户的语音数据。可选的，一个测试请求中包含的测试任务的数量可以为一个或多个。
30.其中，本实施例中云服务器及其部署的所有云手机都可作为候选云手机，目标云手机可以是本次执行该测试请求的云手机。目标云手机的个数可以为一个或多个。
31.可选的，在本实施例中，测试需求端接收到用户发起的测试请求后，会将该测试请求转发至部署有能够执行测试任务的云手机的云服务器。可选的，若有多个可选云服务器时，测试需求端可以基于各个云服务器部署的云手机的工作状态和云服务器性能等从多个可选云服务器中选择一个或多个发送测试请求。接收到测试任务的云服务器就会响应该测试请求，从本地部署的候选云手机中，查找能够执行本次测试请求中的测试任务的目标云手机。
32.具体的，本实施例从本地部署的候选云手机中确定目标云手机的方式有很多。例如，若本地只部署了一个候选云手机，则可以直接将该候选云手机作为目标云手机。若测试请求中指定了执行本次测试任务的云手机(即测试云手机)的信息，如测试云手机的标识，则可以基于该测试云手机的信息在本地部署的候选云手机中查找该测试云手机并将其作为目标云手机。若本地部署了多个候选云手机，且测试请求中没有指定测试云手机，则可以随机选择一个或多个候选云手机作为目标云手机；还可以是查看各候选云手机的空闲情况，随机选择一个或多个空闲的候选云手机作为目标云手机等。还可以采用其他方式确定，对此本实施例不进行限定。
33.可选的，在本实施例中，可以针对测试请求中的每个测试任务，为其确定对应的一个或多个目标云手机。例如，可以在测试任务较小时，为该测试任务确定一个目标云手机；在测试任务较大时，为该测试任务确定多个目标云手机，由多个目标云手机配合来执行该测试任务，以提高测试效率。还可以是为每个测试任务都确定多个目标云手机，后续基于多个目标云手机对同一测试任务的测试数据，来确定该测试任务的最终测试结果，以保持测试结果的准确性。
34.s102，控制目标云手机执行测试请求中的测试任务。
35.可选的，云服务器控制目标云手机执行测试请求中的测试任务的具体方式可以是：先获取目标云手机的标识，如互联网协议(internet protocol，ip)地址，根据该ip地址启动目标云手机，再将测试请求中的测试任务和该测试任务关联的测试样本和测试程序发送至目标云手机，以控制目标云手机基于测试样本，调用测试程序来对该测试任务进行测试，并将得到测试数据反馈给云服务器。
36.其中，测试任务是从测试请求中获取的，测试样本和测试程序可以从测试请求中获取，还可以从本地或外部测试样本库和测试程序库中获取对此不进行限定。优选的，为了提高测试效率，测试需求端可以预先针对不同类型的测试任务，采集不同的测试样本，并将其预先发送至云服务器，相应的，云服务在接收测试任务之前，本地就以存储了不同测试任务对应的测试样本，在需要获取测试样本时，直接从本地获取即可，提高了测试样本获取效率，进而提高了任务测试效率。可选的，测试程序也可以通过类似方式预先存储在云服务器本地，对此不进行赘述。
37.可选的，在本实施例中，若s101确定的目标云手机为多个，则可以并发控制多个目标云手机同时执行测试请求的相关测试任务，以提高测试任务的测试效率。
38.s103，根据目标云手机执行测试任务得到的测试数据，生成测试结果，并将测试结
果反馈至测试需求端。
39.可选的，在本实施例中，目标云手机执行完测试任务得到测试数据后，会将测试任务反馈给云服务器，云服务器在基于目标云手机的测试数据，生成测试结果时，可以直接将该测试数据作为测试结果；还可以是基于预设模板对测试结果进行编码，生成标准的测试报告作为测试结果。
40.当接收到的测试数据为多个目标云手机反馈的多组测试数据时，还可以是对多组测试数据进行融合，得到测试结果。例如，若多组测试数据属于不同测试任务，或者同一测试任务的不同测试阶段，则可以对多组测试数据进行整合，得到所有测试任务或者一个完成测试任务的测试结果；若多组测试数据是每个目标云手机对同一测试任务的所有环节测试后得到的，则此时可以解析各组测试数据之间的差异，生成最终的测试结果。
41.可选的，云服务器在生成测试结果后，还需要将测试结果反馈至测试需求端，具体的，可以是先反馈给测试需求端的后端，再由后端传输至前端进行展示。
42.本公开实施例的技术方案，云服务器响应测试需求端发送的测试请求后，从本地部署的候选云手机中确定目标云手机，并控制目标云手机来执行测试请求中的测试任务，进而根据目标云手机执行测试任务得到的测试数据生成测试结果，反馈给测试需求端。本方案提出了一种测试需求端与云服务器及其部署的云手机配合进行任务测试的方案，由于一个云服务器中可以部署多个云手机，因此基于一台云服务器就可以实现多个云手机并发执行测试任务，降低了测试任务的执行成本，提高了任务执行效率。
43.优选的，在本实施例中，若云服务器本地部署的云手机有多个，且测试请求中没有指定测试云手机，则从本地部署的候选云手机中确定目标云手机的方式还可以包括：根据本地部署的候选云手机的历史测试成功率，从候选云手机中确定目标云手机。其中，历史测试成功率可以是指候选云手机历史执行测试任务时，成功完成测试任务的概率。具体的，云服务器可以分析其本地部署的各候选云手机的历史测试成功率，选择成功率高的一个或多个候选云手机作为目标云手机。本实施例选择测试成功率高的云手机来执行本次测试请求的测试任务，进一步提高了测试任务的成功率。
44.优选的，在本实施例中，云服务器端与测试需求端之间优选基于安全外壳(secure shell，ssh)协议，通过远程登录的方式建立通信连接。相应的，将测试结果反馈至测试需求端，包括：对测试结果进行加密，并将加密后的测试结果反馈至测试需求端。具体的，可以是基于ssh协议对应的加密规则，对测试结果进行加密，并将加密后的测试结果反馈给测试需求端；还可以采用其他加密算法对测试结果进行加密，对此不进行限定。本实施例对测试结果加密后再传输，提高了传输过程中测试结果的安全性和私密性。
45.图2是根据本公开实施例提供的一种任务测试方法的流程图。本公开实施例在上述实施例的基础上，进一步对如何“从本地部署的候选云手机中确定目标云手机”进行详细解释说明，如图2所示，本实施例提供的任务测试方法可以包括：
46.s201，响应于测试需求端发送的测试请求，根据测试请求中的测试任务，确定测试硬件环境和/或测试软件环境。
47.其中，测试硬件环境可以是指完成测试任务所需的计算机及其外围设备组成的计算机物理系统，即硬件设施。具体的，可以是指传播活动所需的物质条件、有形条件之和构筑而成的环境，例如可以是对电子设备的处理器、存储器和外接设备的需求条件。测试软件
环境可以是指完成测试任务所需的软件运行环境，以及软件运行所需的周边软件等等。例如，可以是软件运行对应的操作系统环境。
48.可选的，本实施例中，云服务器响应测试请求，可以判断该测试请求中是否包含有测试任务对应的测试硬件环境和/或测试软件环境，若包含，则直接从测试请求中获取测试硬件环境和/或测试软件环境；若不包含，则可以先确定该测试请求的测试任务实际应用的目标智能终端，进而将该目标智能终端的硬件环境作为该测试硬件环境，将目标智能终端的软件环境作为该测试软件环境。其中，云服务器可以与测试需求端交互来确定目标智能终端及其软件环境和/或硬件环境。
49.s202，根据测试硬件环境和/或测试软件环境，从本地部署的候选云手机中确定目标云手机。
50.可选的，本实施例中，云服务器可以从本地部署的候选云手机中，查找硬件环境满足测试硬件环境，和/或软件环境满足测试软件环境的至少一个候选云手机，作为目标云手机。
51.s203，控制目标云手机执行测试请求中的测试任务。
52.s204，根据目标云手机执行测试任务得到的测试数据，生成测试结果，并将测试结果反馈至测试需求端。
53.本公开实施例的技术方案，云服务器响应测试需求端发送的测试请求后，确定测试硬件环境和/或测试软件环境，进而从本地部署的候选云手机中，选择满足该测试硬件环境和/或测试软件环境的候选云手机作为目标云手机，并控制目标云手机来执行测试请求中的测试任务，进而根据目标云手机反馈的测试数据生成测试结果，反馈给测试需求端。本方案结合测试任务所适配的硬件环境和/或软件环境来确定执行该测试任务的目标云手机，保证了目标云手机与该测试任务实际应用的智能终端的匹配性，进而提高了任务测试结果的准确性。
54.图3是根据本公开实施例提供的一种任务测试方法的流程图。本公开实施例在上述实施例的基础上，进一步对如何“响应于测试需求端发送的测试请求，从本地部署的候选云手机中确定目标云手机”进行详细解释说明，如图3所示，本实施例提供的任务测试方法可以包括：
55.s301，响应于测试需求端发送的测试请求，确定云手机需求数量。
56.其中，云手机需求数量可以是指对测试请求中的测试任务进行测试所需要的云手机的数量。
57.可选的，在本实施例中，可以是根据测试请求中测试任务的数量来确定云手机需求数量，例如，若一个云手机执行一个测试任务，则此时测试请求中包含的测试任务的数量即为云手机需求数量。还可以是根据测试请求中测试任务的数量，以及每个测试任务的测试环节的多少来确定云手机需求数量，例如，若测试请求中包含2个测试任务，测试任务1包括2个测试环节，测试任务2包括3个测试环节，则此时完成测试任务1需要2个云手机，完成测试任务2需要3个云手机，即云手机需求数量为5。还可以根据测试请求中的测试要求来确定。例如，若测试请求中要求至少对该测试任务进行3次测试给出最终的测试结果，且云服务本地部署的一个云手机就能够执行一个测试任务，则此时为了测试效率，可以选择3个目标云手机并发执行3次测试任务，即云手机需求数量为3。还可以通过其他方式来确定云手
机需求数量，对此不进行限定。
58.s302，根据云手机需求数量，从本地部署的候选云手机中确定目标云手机。
59.可选的，本实施例可以根据云手机需求数量，从本地部署的候选云手机中，选择该云手机需求数量对应的目标云手机。例如，若云手机需求数量为2，则选择2个目标云手机。
60.需要说明的是，若本地部署的候选云手机的数量大于或等于云手机需求数量时，可以直接执行从本地部署的候选云手机中确定目标云手机的操作，具体的确定方式可以是随机选择、按照候选云手机的空闲情况选择、按照历史测试成功率选择，以及按照测试软件环节和/或测试硬件环境来选择等。对此本实施例不进行限定。
61.在测试请求中的测试任务较多，导致本地部署的候选云手机的数量不满足云手机需求数量的情况下，本实施例还可以根据测试请求中测试任务的历史测试频率，对测试任务进行筛选；根据筛选后的测试任务，更新云手机需求数量；根据更新后的云手机需求数量，从本地部署的候选云手机中确定目标云手机。其中，测试任务的历史测试频率，可以是该测试任务在历史一段时间的测试次数，与该段时间所有任务的总测试次数的比值。本实施例可以根据测试请求中各个测试任务在历史一段时间内的测试频率，对多个测试任务进行筛选，过滤掉历史测试频率较高的测试任务，基于过滤后的测试任务，重新按照上述方案确定云手机需求数量，并基于重新确定的云手机需求数量，来确定目标云手机。本实施例这样设置的好处时，避免一段时间内多次对同一测试任务进行反复测试，导致其他测试频率较低的测试任务无法测试的情况出现，在测试任务较多处理不过来的情况下，提高了任务测试的均衡性。
62.可选的，在本实施例中，云服务器还可以将其筛选掉到的未测试任务反馈给测试需求端，以使测试需求端安排其他云服务器来对该未测试任务进行测试，或者以使测试需求端稍后再安排对该未测试任务进行测试等。
63.s303，控制目标云手机执行测试请求中的测试任务。
64.s304，根据目标云手机执行测试任务得到的测试数据，生成测试结果，并将测试结果反馈至测试需求端。
65.本公开实施例的方案，云服务器响应测试需求端发送的测试请求，确定完成该测试请求的测试任务所需的云手机数量，进而基于该云手机数量从本地部署的候选云手机中，选择目标云手机，并控制目标云手机来执行测试请求中的测试任务，进而根据目标云手机反馈的测试数据生成测试结果，反馈给测试需求端。本实施例解析云手机需求数量来确定目标云手机，避免了目标云手机数量不足造成测试任务无法顺利完成，或目标云手机数量过多导致云手机资源浪费的情况出现，提高了云服务器调度云手机的精准性。
66.图4是根据本公开实施例提供的一种任务测试方法的流程图。本公开实施例在上述实施例的基础上，进一步对如何“响应于测试需求端发送的测试请求，从本地部署的候选云手机中确定目标云手机”进行详细解释说明，如图4所示，本实施例提供的任务测试方法可以包括：
67.s401，响应于测试需求端发送的测试请求，确定测试需求端指定的测试云手机。
68.其中，测试云手机可以是测试需求端指定的执行本次测试任务的云手机。可以是通过测试请求来指定，也可以是测试需求端预先与云服务器交互来指定，对此不进行限定。可选的，测试需求端可以指定云服务器中固定一个或多个候选云手机作为测试云手机，还
可以结合不同的测试任务，指定不同候选云手机作为测试云手机。对此不进行限定。
69.可选的，本实施例中，云服务器响应于测试需求端发送的测试请求，判断测试需求端是否在测试请求中添加了指定的测试云手机，若是，则直接获取指定的测试云手机；否则，从本地查找之前与测试需求端交互时，测试需求端指令的测试云手机。
70.s402，若测试云手机处于工作状态，则从本地部署的候选云手机中，选择测试云手机的同类型云手机作为目标云手机。
71.可选的，在本实施例中，若测试云手机处于空闲状态，则本实例可以是直接将该测试云手机作为目标云手机来执行后续操作。若测试云手机处于工作状态，为了提高测试效率，可以从本地部署的候选云手机中，选择能够替代该测试云手机的其他云手机作为目标云手机来执行后续操作。
72.具体的，为了尽可能满足测试需求端的指定需求，在选择替代该测试云手机的其他云手机时，可以选择测试云手机的同类型云手机作为目标云手机，其中，所谓同类型可以是部署的硬件环境和/或软件环境相同。
73.s403，控制目标云手机执行测试请求中的测试任务。
74.s404，根据目标云手机执行测试任务得到的测试数据，生成测试结果，并将测试结果反馈至测试需求端。
75.本公开实施例的方案，若测试需求端指定的测试云手机处于工作状态，则云服务器从本地部署的候选云手机中，选择测试云手机的同类型云手机作为目标云手机，并控制目标云手机来执行测试请求中的测试任务，进而根据目标云手机反馈的测试数据生成测试结果，反馈给测试需求端。本实施例在测试需求端指定的测试云手机处于工作状态时，从本地部署的其他云手机中选择出替代该测试云手机的目标云手机来执行测试任务，无需等待测试云手机工作完再执行测试任务，提高了任务测试效率。另外，本实例确定的目标云手机与测试云手机属于同一类型，保证了实际执行测试任务的目标云手机能够尽可能的满足用户的指定需求。
76.图5是根据本公开实施例提供的一种任务测试装置的结构示意图。本公开实施例适用于对人工智能任务进行测试的情况。该装置可以采用软件和/或硬件来实现，配置于云服务器端，该装置可以实现本公开任意实施例的任务测试方法。如图5所示，该任务测试装置包括：
77.云手机确定模块501，用于响应于测试需求端发送的测试请求，从本地部署的候选云手机中确定目标云手机；
78.云手机控制模块502，用于控制目标云手机执行测试请求中的测试任务；
79.测试结果生成模块503，用于根据目标云手机执行测试任务得到的测试数据，生成测试结果；
80.测试结果发送模块504，用于将测试结果反馈至测试需求端。
81.本公开实施例的技术方案，云服务器响应测试需求端发送的测试请求后，从本地部署的候选云手机中确定目标云手机，并控制目标云手机来执行测试请求中的测试任务，进而根据目标云手机执行测试任务得到的测试数据生成测试结果，反馈给测试需求端。本方案提出了一种测试需求端与云服务器及其部署的云手机配合进行任务测试的方案，由于一个云服务器中可以部署多个云手机，因此基于一台云服务器就可以实现多个云手机并发
执行测试任务，降低了测试任务的执行成本，提高了任务执行效率。
82.进一步的，上述云手机确定模块501具体用于:
83.根据测试请求中的测试任务，确定测试硬件环境和/或测试软件环境；
84.根据测试硬件环境和/或测试软件环境，从本地部署的候选云手机中确定目标云手机。
85.进一步的，上述云手机确定模块501还具体用于:
86.根据本地部署的候选云手机的历史测试成功率，从候选云手机中确定目标云手机。
87.进一步的，上述云手机确定模块501包括：
88.需求数量确定单元，用于响应于测试需求端发送的测试请求，确定云手机需求数量；
89.云手机确定单元，用于根据云手机需求数量，从本地部署的候选云手机中确定目标云手机。
90.进一步的，上述云手机确定单元具体用于
91.若本地部署的候选云手机的数量不满足云手机需求数量，则根据测试请求中测试任务的历史测试频率，对测试任务进行筛选；
92.根据筛选后的测试任务，更新云手机需求数量；
93.根据更新后的云手机需求数量，从本地部署的候选云手机中确定目标云手机。
94.进一步的，上述云手机确定模块501还具体用于:
95.响应于测试需求端发送的测试请求，确定测试需求端指定的测试云手机；
96.若测试云手机处于工作状态，则从本地部署的候选云手机中，选择测试云手机的同类型云手机作为目标云手机。
97.进一步的，上述测试结果发送模块504具体用于：
98.对测试结果进行加密，并将加密后的测试结果反馈至测试需求端。
99.上述产品可执行本公开任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
100.本公开的技术方案中，所涉及的测试数据的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
101.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
102.图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
103.如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(rom)602中的计算机程序或者从存储单元608加载到随机访问存储器(ram)603中的计算机程序，来执行各种适当的动作和处理。在ram 603中，还可存储设备600操作所需的各种程序和数据。计
算单元601、rom 602以及ram 603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
104.设备600中的多个部件连接至i/o接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
105.计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如，任务测试方法。例如，在一些实施例中，任务测试方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由rom 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到ram 603并由计算单元601执行时，可以执行上文描述的任务测试方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行任务测试方法。
106.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
107.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
108.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
109.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视
器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
110.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
111.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
112.人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。
113.云计算(cloud computing)，指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作系统、网络、软件、应用和存储设备等，并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。
114.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
115.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。