人工智能算法测试方法、装置、服务器、终端及存储介质与流程

本申请涉及人工智能技术领域，尤其涉及一种人工智能算法测试方法、装置、服务器、终端及存储介质。

背景技术：

人工智能(artificialintelligence，ai)，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，其中，人工智能算法测试也成为基于人工智能算法应用前的一项关键环节。

ai算法的测试是各类基于ai算法应用在实施上线前均需要进行的一项关键测试环节，该环节用于确定ai算法是否能够达到预期的设定目标。现有的ai算法测试平台往往都是特定于某类应用场景，针对每个不同类的业务应用，往往需要编写不同的测试代码，不同的ai算法无法公用相同的功能或资源，从而带来较大的代码开发和维护开销。因此，需要提供更有效的方案，以实现多多种ai算法的测试，且降低代码开发成本和维护开销。

技术实现要素：

本申请提供了一种人工智能算法测试方法、装置、服务器、终端及存储介质，可以大大降低测试代码开发的成本和维护开销。

一方面，本申请提供了一种人工智能算法测试方法，所述方法包括：

接收测试终端确定出待测试人工智能ai算法的算法类型为标准ai算法类时，基于测试服务器的ai算法测试接口发送的所述待测试ai算法的测试请求，所述测试请求包括所述待测试ai算法的测试执行回调函数；

获取标准ai算法测试库中与所述待测试ai算法相对应的测试方法，所述测试方法包括测试数据和评测标准；

基于所述测试数据和所述待测试ai算法的测试执行回调函数对所述待测试ai算法进行测试执行；

利用标准测试执行回调接口回调所述测试执行回调函数的执行结果；

基于所述执行结果和所述评测标准确定所述待测试ai算法的测试结果。

另一方面提供了一种人工智能算法测试装置，所述装置包括：

第一测试请求接收模块，用于接收测试终端确定出待测试人工智能ai算法的算法类型为标准ai算法类时，基于测试服务器的ai算法测试接口发送的所述待测试ai算法的测试请求，所述测试请求包括所述待测试ai算法的测试执行回调函数；

测试方法获取模块，用于获取标准ai算法测试库中与所述待测试ai算法相对应的测试方法，所述测试方法包括测试数据和评测标准；

第一测试执行模块，用于基于所述测试数据和所述待测试ai算法的测试执行回调函数对所述待测试ai算法进行测试执行；

第一执行结果回调模块，用于利用标准测试执行回调接口回调所述测试执行回调函数的执行结果；

第一测试结果模块，用于基于所述执行结果和所述评测标准确定所述待测试ai算法的测试结果。

另一方面提供了一种人工智能算法测试服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述的人工智能算法测试方法。

另一方面，本申请提供了一种人工智能算法测试方法，所述方法包括：

确定待测试人工智能ai算法的算法类型；

当所述待测试ai算法的类型为标准ai算法类时，基于测试服务器的ai算法测试接口向所述测试服务器发送所述待测试ai算法的测试请求，所述测试请求包括所述待测试ai算法的测试执行回调函数；以使所述测试服务器获取标准ai算法测试库中与所述待测试ai算法相对应的测试方法，所述测试方法包括测试数据和评测标准；基于所述测试数据和所述待测试ai算法的测试执行回调函数对所述待测试ai算法进行测试执行；利用标准测试执行回调接口回调所述测试执行回调函数的执行结果；基于所述执行结果和所述评测标准确定所述待测试ai算法的测试结果。

另一方面提供了一种人工智能算法测试装置，所述装置包括：

算法类型确定模块，用于确定待测试人工智能ai算法的算法类型；

第一测试请求发送模块，用于当所述待测试ai算法的类型为标准ai算法类时，基于测试服务器的ai算法测试接口向所述测试服务器发送所述待测试ai算法的测试请求，所述测试请求包括所述待测试ai算法的测试执行回调函数；以使所述测试服务器获取标准ai算法测试库中与所述待测试ai算法相对应的测试方法，所述测试方法包括测试数据和评测标准；基于所述测试数据和所述待测试ai算法的测试执行回调函数对所述待测试ai算法进行测试执行；利用标准测试执行回调接口回调所述测试执行回调函数的执行结果；基于所述执行结果和所述评测标准确定所述待测试ai算法的测试结果。

另一方面提供了一种人工智能算法测试终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述的人工智能算法测试方法。

另一方面提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述任一的人工智能算法测试方法。

本申请提供的人工智能算法测试方法、装置、服务器、终端及存储介质，具有如下技术效果：

本申请的测试终端对确定出待测试ai算法的算法类型为标准ai算法类时，直接基于测试服务器的ai算法测试接口发送包括测试执行回调函数的测试请求；以便测试管理服务器可以基于该测试执行回调函数和标准ai算法测试库中与该待测试ai算法相对应的测试数据对所述待测试ai算法进行测试执行；接着，利用标准测试执行回调接口回调测试执行回调函数的执行结果；最后，基于执行结果和标准ai算法测试库中的评测标准确定表征该待测试ai算法性能效果的测试结果。利用本申请实施例提供的技术方案，可以针对属于标准ai算法类中的不同业务应用，进行统一的测试，无需编写不同的测试代码，同一类型的不同的ai算法可以公用相同的测试功能、测试数据、评测标准等资源，大大降低代码开发的成本和维护开销。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本申请实施例提供的一种应用环境的示意图；

图2是本申请实施例提供的一种通用测试平台的结构示意图；

图3是本申请实施例提供的一种人工智能算法测试方法的流程示意图；

图4是本申请实施例提供的另一种人工智能算法测试方法的流程示意图；

图5是本申请实施例提供的另一种人工智能算法测试方法的流程示意图；

图6是本申请实施例提供的一种人工智能算法测试装置的结构示意图；

图7是本申请实施例提供的另一种人工智能算法测试方法的流程示意图；

图8是本申请实施例提供的另一种人工智能算法测试装置的结构示意图；

图9是本申请实施例提供的一种服务器的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例提供的方案涉及人工智能算法测试技术，具体通过如下实施例进行说明。

请参阅图1，图1是本申请实施例提供的一种应用环境的示意图，如图1所示，该应用环境至少包括通用测试平台100和测试终端200。

本说明书实施例中，通用测试平台100可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群。具体的，如图2所示，通用测试平台100可以包括ai算法测试接口、标准ai算法测试模块和自定义ai算法测试模块。

具体的，所述ai算法测试接口可以用于对外提供通用测试平台100的测试能力，该ai算法测试接口负责调用通用测试平台100的标准ai算法测试模块和自定义ai算法测试模块的能力。

具体的，所述标准ai算法测试模块可以包括标准测试执行回调接口和标准ai算法测试库。本说明书实施例中，ai算法测试库中存储有多种可设置固定评测标准的ai算法的测试方法。标准测试执行回调接口用于回调被测ai算法的执行结果。

具体的，所述自定义ai算法测试模块可以包括自定义测试执行回调接口和自定义评测回调接口。本说明书实施例中，自定义测试执行回调接口用于回调被测ai算法的执行结果；自定义评测回调接口用于从所述测试终端200调用所述被测ai算法的自定义测试数据、自定义评测标准，以及回调被测ai算法的评测结果。

本说明书实施例中，测试终端200可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备等类型的实体设备，也可以包括运行于实体设备中的软体，例如应用程序等。本申请实施例中测试终端上运行的操作系统可以包括但不限于安卓系统、ios系统、linux、windows等。本说明书实施例中，测试终端200可以通过通用测试平台100的ai算法测试接口调用通用测试平台100的能力，且对于自定义的ai算法，测试终端200提供自定义测试数据和自定义评测标准。

以下介绍本申请一种人工智能算法测试方法，图3是本申请实施例提供的一种人工智能算法测试方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图3所示，所述方法可以包括：

s301：测试终端确定待测试ai算法的算法类型。

本说明书实施例中，待测试ai算法的算法类型可以包括标准ai算法类和自定义ai算法类。具体的，标准ai算法类的ai算法可以包括可设置固定评测标准的ai算法，一般的，结果为是或否。具体的，标准ai算法类的ai算法可以包括但不限于二分类ai算法、人脸识别领域的1:n的ai算法等。

在一个具体的实施例中，以1：n的人脸检测的ai算法为例，最终需要的结果为某个人脸是否属于指定人脸集合(包括n个人脸图像)。具体的，人脸检测的ai算法在对某一人脸进行识别执行时，可以确定该人脸与指定人脸集合中人脸间间的相似度，并返回相似度最高的值，然后，人脸检测的ai算法的输出层设置一个阈值，一般的，该阈值可以设置为以固定的值，相应的，人脸检测的ai算法可以为可设置固定评测标准的ai算法。

具体的，自定义ai算法类的ai算法可以包括评测标准不固定的ai算法。在一个具体的实施例中，例如用于预估牲口的体长、体重的ai算法，ai算法返回预测结果后，评测标准为预测结果和实际结果的误差的范围，如果在指定的误差范围的话，则认为是准确的。在这种场景下，评测标准往往是需要用户自定义的，无法设置一个固定的值。

s303：当所述待测试ai算法的算法类型为标准ai算法类时，测试终端基于测试服务器的ai算法测试接口向所述测试服务器发送所述待测试ai算法的测试请求，所述测试请求包括所述待测试ai算法的测试执行回调函数。

本说明书实施例中，所述测试执行回调函数可以包括调用待测试ai算法的实现测试执行的函数，并返回待测试ai算法的执行结果。

本说明书实施例中，针对标准ai算法类的待测试ai算法时，由于测试服务器侧存储有该类待测试ai算法的测试方法，测试终端可以基于ai算法测试接口向测试服务器发送所述待测试ai算法的测试请求，且测试请求包括该待测试ai算法的测试执行回调函数，在发送测试请求的同时，在测试服务器注册待测试ai算法的测试执行回调函数。

s305：测试服务器获取标准ai算法测试库中与所述待测试ai算法相对应的测试方法。

本说明书实施例中，测试方法可以包括测试数据和评测标准。具体的，测试服务器侧可以维护一个测试方法的标识信息和对应的ai算法的映射关系，在对待测试ai算法进行测试时，可以基于该目录获取测试方法(包括测试数据和评测标准)。

本说明书实施例中，测试数据可以为待测试ai算法的输入；具体的，评测标准可以为待测试ai算法的输出标准。

本说明书实施例中，标准ai算法测试库中包括多中用于识别不同对象的ai算法的测试方法；相应的，在获取标准ai算法测试库中与待测试ai算法相对应的测试方法时，可以结合待测试ai算法的识别不同对象，选取包括相应测试数据和评测数据的测试方法，例如人脸识别的ai算法，相应的测试方法包括的测试数据可以为人脸图像；评测标准可以为两个人脸图像的相似度阈值。

s307：测试服务器基于所述测试数据和所述待测试ai算法的测试执行回调函数对所述待测试ai算法进行测试执行。

具体的，本说明书实施例中，测试服务器基于所述测试数据和所述待测试ai算法的测试执行回调函数对所述待测试ai算法进行测试执行可以包括：

1)测试服务器可以利用所述待测试ai算法的测试执行回调函数调用所述待测试ai算法，以使所述待测试ai算法基于所述测试数据进行测试执行。

2)将所述测试执行的执行结果作为所述测试执行回调函数的执行结果。

本说明书实施例中，通过测试执行回调函数调用待测试ai算法，实现测试执行，并将待测试ai算法的执行结果测试执行回调函数的执行结果。

s309：测试服务器利用标准测试执行回调接口回调所述测试执行回调函数的执行结果。

s311：测试服务器基于所述执行结果和所述评测标准确定所述待测试ai算法的测试结果。

本说明书实施例中，在得到执行结果之后，可以结合评测标准，确定出可以表征待测试ai算法性能效果的测试结果。具体的，所述测试方法还可以包括评测算法，相应的，可以利用评测算法、执行结果和所述评测标准确定待测试ai算法的测试结果。具体的，标准ai算法中的不同ai算法的评测算法可以有一种或多种，可结合实际应用需求进行设置，例如基于拒识率(falserejectionrate，frr)的评测算法、基于误识率(falseacceptancerate，far)的评测算法等。

在一个具体的实施例中，假设待测试ai算法为1：n的人脸检测的ai算法；相应的，可以以基于拒识率的评测算法作为评测待测试ai算法性能效果的评测方法。

具体的，测试数据可以为多份两个相同的人脸图像，评测标准为确定两个人脸图像为相同人脸图像的相似度阈值下限，即当人脸检测的ai算法输出的两个人脸图像的相似度大于等于该相似度阈值下限时，确定两个人脸图像为相同人脸图像。

进一步的，测试服务器基于测试数据和待测试ai算法的测试执行回调函数对所述待测试ai算法进行测试执行时，可以利用人脸检测的ai算法的测试执行回调函数调用该人脸检测的ai算法，以使该人脸检测的ai算法分别基于多份两个相同的人脸图像进行测试执行，即依次遍历测试数据中多份两个相同的人脸图像；人脸检测的ai算法确定两个相同的人脸图像的相似度，执行结果作为测试执行回调函数的值，然后，利用标准测试执行回调接口回调该测试执行回调函数的值(执行结果)，如果测试执行回调函数返回的值大于评测标准，则识别成功数(success_test_count)累计加1，否则识别失败数(failure_test_count)累计加1；最后，将识别失败数除以识别失败数与识别成功数之和，得到拒识率(测试结果)，即：

frr＝failure_test_count/(failure_test_count+success_test_count)。

进一步的，后续基于该拒识率可以确定该人脸检测的ai算法的性能效果，即该人脸检测的ai算法人脸识别的准确率。具体的，拒识率与人脸识别的准确率成反比，即拒识率越高，人脸检测的ai算法人脸识别的准确率越低，该人脸检测的ai算法的性能效果越差；反之，拒识率越低，人脸检测的ai算法人脸识别的准确率越高，该人脸检测的ai算法的性能效果越好。

由以上本说明书实施例提供的技术方案可见，本说明书实施例中，测试终端对确定出待测试ai算法的算法类型为标准ai算法类时，直接基于测试服务器的ai算法测试接口发送包括测试执行回调函数的测试请求；以便测试管理服务器可以基于该测试执行回调函数和标准ai算法测试库中与该待测试ai算法相对应的测试数据对所述待测试ai算法进行测试执行；接着，利用标准测试执行回调接口回调测试执行回调函数的执行结果；最后，基于执行结果和标准ai算法测试库中的评测标准确定表征该待测试ai算法性能效果的测试结果。利用本申请实施例提供的技术方案，可以针对属于标准ai算法类中的不同业务应用，进行统一的测试，无需编写不同的测试代码，同一类型的不同的ai算法可以公用相同的测试功能、测试数据、评测标准等资源，大大降低代码开发的成本和维护开销。

在另一些实施例中，当所述待测试ai算法的算法类型为自定义ai算法类时，如图4所示，所述方法还可以包括：

s313：测试终端基于所述测试服务器的ai算法测试接口向测试服务器发送所述待测试ai算法的测试请求。

本说明书实施例中，对于自定义(非标准的)ai算法，如何对待测试ai算法进行测试执行，以输出的执行结果，以及评测标准均是测试终端自定义的。为支持此类需求，在测试终端发送测试请求时，可以携带有待测试ai算法的测试执行回调函数和评测标准回调函数，以实现测试执行回调函数和评测标准回调函数的注册，以便后续基于测试执行回调函数实现待测试ai算法的调用执行以及对待测试ai算法的测试结果的确定。

本说明书实施例在，测试执行回调函数可以包括调用待测试ai算法的实现测试执行的函数，并返回待测试ai算法的执行结果。具体的，评测标准回调函数可以调用评测算法实现评测执行的函数，并返回待测试ai算法的评测结果(测试结果)。

s315：测试服务器基于所述自定义评测回调接口从所述测试终端调用所述待测试ai算法的自定义测试数据和自定义评测标准。

本说明书实施例中，自定义测试数据可以为由测试终端基于待测试ai算法确定的测试数据。具体的，自定义评测标准为由测试终端基于待测试ai算法确定的评测标准。

s317：测试服务器基于所述自定义测试数据和所述待测试ai算法的测试执行回调函数对所述待测试ai算法进行测试执行。

具体的，所述基于所述自定义测试数据和所述待测试ai算法的测试执行回调函数对所述待测试ai算法进行测试执行包括：

1)测试服务器利用所述待测试ai算法的测试执行回调函数调用所述待测试ai算法，以使所述待测试ai算法基于所述测试数据进行测试执行。

2)测试服务器将所述测试执行的执行结果作为所述测试执行回调函数的执行结果。

3)测试服务器利用自定义测试执行回调接口回调所述测试执行回调函数的执行结果。

s321：测试服务器基于所述评测标准回调函数、所述执行结果和所述自定义评测标准确定所述待测试ai算法的测试结果。

本说明书实施例中，针对自定义ai算法，在得到执行结果之后，可以结合评测标准回调函数、评测标准，确定出可以表征待测试ai算法性能效果的测试结果。

具体的，测试服务器基于所述评测标准回调函数、所述执行结果和所述自定义评测标准确定所述待测试ai算法的测试结果可以包括：

1)测试服务器利用所述待测试ai算法的评测标准回调函数调用所述待测试ai算法的评测算法，以使所述评测算法基于所述执行结果和评测标准进行评测执行。

2)测试服务器将所述评测执行的评测结果作为所述评测标准回调函数的评测结果。

3)测试服务器利用所述自定义评测回调接口回调所述评测标准回调函数的评测结果。

4)测试服务器将所述评测标准回调函数的评测结果作为所述待测试ai算法的测试结果。

在一个具体的实施例中，假设待测试ai算法为预估牲口体长的ai算法；相应的，假设以基于拒识率的评测算法作为评测待测试ai算法性能效果的评测方法。

具体的，测试数据可以为多份牲口数据(例如出生体长、体重、喂养饲料信息等影响牲口体长的数据)，评测标准为预测结果和实际结果的误差的范围，即当预估牲口体长的ai算法输出牲口的体长与实际体长间误差在该误差的范围内时，确定牲口体长识别为准确的。

进一步的，测试服务器基于测试数据和待测试ai算法的测试执行回调函数对所述待测试ai算法进行测试执行时，可以利用预估牲口体长的ai算法的测试执行回调函数调用该预估牲口体长的ai算法，以使该预估牲口体长的ai算法分别基于多份牲口数据进行测试执行，即依次遍历测试数据中多份牲口数据；预估牲口体长的ai算法确定牲口的体长，执行结果(即确定出的牲口的体长)作为测试执行回调函数的值，然后，利用标准测试执行回调接口回调该测试执行回调函数的值(执行结果)。接着，评测标准回调函数调用预估牲口体长的ai算法的评测算法，以使该评测算法基于执行结果和评测标准进行评测执行。

具体的，在评测执行时，可以计算执行结果和评测标准间的误差，如果该误差在评测标准的范围内，则识别成功数(success_test_count)累计加1，否则识别失败数(failure_test_count)累计加1；最后，将识别失败数除以识别失败数与识别成功数之和，得到拒识率(测试结果)，即：

frr＝failure_test_count/(failure_test_count+success_test_count)。

进一步的，后续基于该拒识率可以确定该预估牲口体长的ai算法的性能效果，即该预估牲口体长的ai算法预估牲口体长的准确率。具体的，拒识率与预估牲口体长的准确率成反比，即拒识率越高，预估牲口体长的ai算法牲口体长的预估准确率越低，该预估牲口体长的ai算法的性能效果越差；反之，拒识率越低，预估牲口体长的ai算法牲口体长的预估准确率越高，该预估牲口体长的ai算法的性能效果越好。

在另一些实施例中，所述方法还可以包括：

测试服务器将所述测试结果发送给所述测试终端。

由以上本说明书实施例提供的技术方案可见，本说明书实施例中，测试终端对确定出待测试ai算法的算法类型为标准ai算法类时，直接基于测试服务器的ai算法测试接口发送包括测试执行回调函数的测试请求；以便测试管理服务器可以基于该测试执行回调函数和标准ai算法测试库中与该待测试ai算法相对应的测试数据对所述待测试ai算法进行测试执行；接着，利用标准测试执行回调接口回调测试执行回调函数的执行结果；然后，基于执行结果和标准ai算法测试库中的评测标准确定表征该待测试ai算法性能效果的测试结果。当确定出待测试ai算法的算法类型为自定义ai算法类时，直接基于测试服务器的ai算法测试接口发送包括测试执行回调函数和评测标准回调函数的测试请求；以便测试管理服务器可以基于自定义评测回调接口从所述测试终端调用所述待测试ai算法的自定义测试数据和自定义评测标准；接着，基于所述自定义测试数据和所述待测试ai算法的测试执行回调函数对所述待测试ai算法进行测试执行；然后，利用自定义测试执行回调接口回调测试执行回调函数的执行结果；最后，基于评测标准回调函数、执行结果和自定义评测标准准确确定表征该待测试ai算法性能效果的测试结果。利用本申请实施例提供的技术方案，可以针对不同的ai算法中属于相同类型的算法，实现公用相同的测试功能、测试数据、评测标准等资源，大大降低代码开发的成本和维护开销。

以下基于测试服务器为执行主体，介绍本申请一种人工智能算法测试方法，具体的，如图5所示，可以包括：

s501：接收测试终端确定出待测试人工智能ai算法的算法类型为标准ai算法类时，基于测试服务器的ai算法测试接口发送的所述待测试ai算法的测试请求，所述测试请求包括所述待测试ai算法的测试执行回调函数。

s503：获取标准ai算法测试库中与所述待测试ai算法相对应的测试方法，所述测试方法包括测试数据和评测标准。

s505：基于所述测试数据和所述待测试ai算法的测试执行回调函数对所述待测试ai算法进行测试执行。

具体的，所述基于所述测试数据和所述待测试ai算法的测试执行回调函数对所述待测试ai算法进行测试执行包括：

利用所述待测试ai算法的测试执行回调函数调用所述待测试ai算法，以使所述待测试ai算法基于所述测试数据进行测试执行；

将所述测试执行的执行结果作为所述测试执行回调函数的执行结果。

s507：利用标准测试执行回调接口回调所述测试执行回调函数的执行结果；

s509：基于所述执行结果和所述评测标准确定所述待测试ai算法的测试结果。

在一些实施例中，当所述待测试ai算法的类型为自定义ai算法类时，所述方法还包括：

接收测试终端确定出待测试ai算法的算法类型为自定义ai算法类时，基于所述ai算法测试接口发送的所述待测试ai算法的测试请求，所述测试请求包括所述待测试ai算法的测试执行回调函数和评测标准回调函数；

基于自定义评测回调接口从所述测试终端调用所述待测试ai算法的自定义测试数据和自定义评测标准；

基于所述自定义测试数据和所述待测试ai算法的测试执行回调函数对所述待测试ai算法进行测试执行；

利用自定义测试执行回调接口回调所述测试执行回调函数的执行结果；

基于所述评测标准回调函数、所述执行结果和所述自定义评测标准确定所述待测试ai算法的测试结果。

在一些实施例中，所述基于所述自定义测试数据和所述待测试ai算法的测试执行回调函数对所述待测试ai算法进行测试执行包括：

利用所述待测试ai算法的测试执行回调函数调用所述待测试ai算法，以使所述待测试ai算法基于所述测试数据进行测试执行；

将所述测试执行的执行结果作为所述测试执行回调函数的执行结果。

在一些实施例中，所述基于所述评测标准回调函数、所述执行结果和所述自定义评测标准确定所述待测试ai算法的测试结果包括：

利用所述待测试ai算法的评测标准回调函数调用所述待测试ai算法的评测算法，以使所述评测算法基于所述执行结果和评测标准进行评测执行；

将所述评测执行的评测结果作为所述评测标准回调函数的评测结果；

利用所述自定义评测回调接口回调所述评测标准回调函数的评测结果；

将所述评测标准回调函数的评测结果作为所述待测试ai算法的测试结果。

在一些实施例中，所述方法还可以包括：将所述测试结果发送给所述测试终端。

本申请实施例还提供了一种人工智能算法测试装置，如图6所示，所述装置包括：

第一测试请求接收模块610，用于接收测试终端确定出待测试人工智能ai算法的算法类型为标准ai算法类时，基于测试服务器的ai算法测试接口发送的所述待测试ai算法的测试请求，所述测试请求包括所述待测试ai算法的测试执行回调函数；

测试方法获取模块620，用于获取标准ai算法测试库中与所述待测试ai算法相对应的测试方法，所述测试方法包括测试数据和评测标准；

第一测试执行模块630，用于基于所述测试数据和所述待测试ai算法的测试执行回调函数对所述待测试ai算法进行测试执行；

第一执行结果回调模块640，用于利用标准测试执行回调接口回调所述测试执行回调函数的执行结果；

第一测试结果模块650，用于基于所述执行结果和所述评测标准确定所述待测试ai算法的测试结果。

在一些实施例中，所述第一测试执行模块630包括：

第一待测试ai算法调用执行模块，用于利用所述待测试ai算法的测试执行回调函数调用所述待测试ai算法，以使所述待测试ai算法基于所述测试数据进行测试执行；

第一执行结果确定模块，用于将所述测试执行的执行结果作为所述测试执行回调函数的执行结果。

在一些实施例中，当所述待测试ai算法的类型为自定义ai算法类时，所述装置还包括：

第二测试请求接收模块，用于接收测试终端确定出待测试ai算法的算法类型为自定义ai算法类时，基于所述ai算法测试接口发送的所述待测试ai算法的测试请求，所述测试请求包括所述待测试ai算法的测试执行回调函数和评测标准回调函数；

数据调用模块，用于基于自定义评测回调接口从所述测试终端调用所述待测试ai算法的自定义测试数据和自定义评测标准；

第二测试执行模块，用于基于所述自定义测试数据和所述待测试ai算法的测试执行回调函数对所述待测试ai算法进行测试执行；

第二执行结果回调模块，用于利用自定义测试执行回调接口回调所述测试执行回调函数的执行结果；

第二测试结果模块，用于基于所述评测标准回调函数、所述执行结果和所述自定义评测标准确定所述待测试ai算法的测试结果。

在一些实施例中，所述第二测试执行模块包括：

第二待测试ai算法调用执行模块，用于利用所述待测试ai算法的测试执行回调函数调用所述待测试ai算法，以使所述待测试ai算法基于所述测试数据进行测试执行；

第二执行结果确定模块，用于将所述测试执行的执行结果作为所述测试执行回调函数的执行结果。

在一些实施例中，所述第二测试结果模块包括：

评测执行单元，用于利用所述待测试ai算法的评测标准回调函数调用所述待测试ai算法的评测算法，以使所述评测算法基于所述执行结果和评测标准进行评测执行；

评测结果确定单元，用于将所述评测执行的评测结果作为所述评测标准回调函数的评测结果；

评测结果回调单元，用于利用所述自定义评测回调接口回调所述评测标准回调函数的评测结果；

测试结果确定单元，用于将所述评测标准回调函数的评测结果作为所述待测试ai算法的测试结果。

在一些实施例中，所述装置还包括：

测试结果发送模块，用于将所述测试结果发送给所述测试终端。

所述的装置实施例中的装置与方法实施例基于同样地申请构思。

本申请实施例提供了一种人工智能算法测试服务器，该人工智能算法测试服务器包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的人工智能算法测试方法。

以下基于测试终端为执行主体，介绍本申请一种人工智能算法测试方法，具体的，如图7所示，可以包括：

s701：确定待测试人工智能ai算法的算法类型。

s703：当所述待测试ai算法的类型为标准ai算法类时，基于测试服务器的ai算法测试接口向所述测试服务器发送所述待测试ai算法的测试请求，所述测试请求包括所述待测试ai算法的测试执行回调函数；以使所述测试服务器获取标准ai算法测试库中与所述待测试ai算法相对应的测试方法，所述测试方法包括测试数据和评测标准；基于所述测试数据和所述待测试ai算法的测试执行回调函数对所述待测试ai算法进行测试执行；利用标准测试执行回调接口回调所述测试执行回调函数的执行结果；基于所述执行结果和所述评测标准确定所述待测试ai算法的测试结果。

在一些实施例中，结合图7，所述方法还包括：

s705：当所述待测试ai算法的类型为自定义ai算法类时，基于所述ai算法测试接口向所述测试服务器发送所述待测试ai算法的测试请求，所述测试请求包括所述待测试ai算法的测试执行回调函数和评测标准回调函数；以使所述测试服务器基于自定义评测回调接口从所述测试终端调用所述待测试ai算法的自定义测试数据；基于所述自定义测试数据和所述待测试ai算法的测试执行回调函数对所述待测试ai算法进行测试执行；利用自定义测试执行回调接口回调所述测试执行回调函数的执行结果；利用所述自定义评测回调接口从所述测试终端调用所述待测试ai算法的自定义评测标准；基于所述评测标准回调函数、所述执行结果和所述自定义评测标准确定所述待测试ai算法的测试结果。

本申请实施例还提供了一种人工智能算法测试装置，如图8所示，所述装置可以包括：

算法类型确定模块810，用于确定待测试人工智能ai算法的算法类型；

第一测试请求发送模块820，用于当所述待测试ai算法的类型为标准ai算法类时，基于测试服务器的ai算法测试接口向所述测试服务器发送所述待测试ai算法的测试请求，所述测试请求包括所述待测试ai算法的测试执行回调函数；以使所述测试服务器获取标准ai算法测试库中与所述待测试ai算法相对应的测试方法，所述测试方法包括测试数据和评测标准；基于所述测试数据和所述待测试ai算法的测试执行回调函数对所述待测试ai算法进行测试执行；利用标准测试执行回调接口回调所述测试执行回调函数的执行结果；基于所述执行结果和所述评测标准确定所述待测试ai算法的测试结果。

在一些实施例中，如图8所示，所述装置还包括：

第二测试请求发送模块830，用于当所述待测试ai算法的类型为自定义ai算法类时，基于所述ai算法测试接口向所述测试服务器发送所述待测试ai算法的测试请求，所述测试请求包括所述待测试ai算法的测试执行回调函数和评测标准回调函数；以使所述测试服务器基于自定义评测回调接口从所述测试终端调用所述待测试ai算法的自定义测试数据；基于所述自定义测试数据和所述待测试ai算法的测试执行回调函数对所述待测试ai算法进行测试执行；利用自定义测试执行回调接口回调所述测试执行回调函数的执行结果；利用所述自定义评测回调接口从所述测试终端调用所述待测试ai算法的自定义评测标准；基于所述评测标准回调函数、所述执行结果和所述自定义评测标准确定所述待测试ai算法的测试结果。

所述的装置实施例中的装置与方法实施例基于同样地申请构思。

本申请实施例提供了一种人工智能算法测试终端，该人工智能算法测试终端包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的人工智能算法测试方法。

存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

本申请实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图9是本申请实施例提供的一种人工智能算法测试方法的服务器的硬件结构框图。如图9所示，该服务器900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessingunits，cpu)910(处理器910可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器930，一个或一个以上存储应用程序923或数据922的存储介质920(例如一个或一个以上海量存储设备)。其中，存储器930和存储介质920可以是短暂存储或持久存储。存储在存储介质920的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器910可以设置为与存储介质920通信，在服务器900上执行存储介质920中的一系列指令操作。服务器900还可以包括一个或一个以上电源960，一个或一个以上有线或无线网络接口950，一个或一个以上输入输出接口940，和/或，一个或一个以上操作系统921，例如windowsservertm，macosxtm，unixtm,linuxtm，freebsdtm等等。

输入输出接口940可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器900的通信供应商提供的无线网络。在一个实例中，输入输出接口940包括一个网络适配器(networkinterfacecontroller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口940可以为射频(radiofrequency，rf)模块，其用于通过无线方式与互联网进行通讯。

本领域普通技术人员可以理解，图9所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器900还可包括比图9中所示更多或者更少的组件，或者具有与图9所示不同的配置。

本申请的实施例还提供了一种存储介质，所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种人工智能算法测试方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的人工智能算法测试方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、终端、服务器和存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。