推荐系统的测试方法、装置、介质及电子设备与流程

本发明涉及游戏技术领域，具体而言，涉及一种推荐系统的测试方法、推荐系统的测试装置，以及实现上述推荐系统的测试方法的计算机可读介质和电子设备。

背景技术：

随着科学技术的发展，基于大数据、人工智能的千人千面应用产品越来越受到网民的追捧。在很多应用产品的推荐系统，通常会在应用的入口处(如，应用的首页等)为用户推荐出使用者感兴趣的内容，这些内容可能包括用户可能感兴趣的人或者事。例如：符合不同用户习惯的个性化的搜索引擎、为用户提供个性化推荐系统的电商，或者为用户提供个性化推荐系统的听歌应用等。

对于具有用户推荐功能的应用产品，例如，交友类产应用品向当前使用应用的用户推荐其可能感兴趣的其他用户、招聘类产应用品向招聘者推荐应聘者等。向当前使用者推荐出符合其选择条件用户(推荐者)，通过推荐者的信息来使得当前使用者更加了解这个推荐者，进而有利于帮助当前使用者尽快获取到其感兴趣的对象。为了衡量推荐系统的推荐准确度，一般会通过测试的方式对推荐系统进行测试。

对于交友类应用产品的推荐系统的测试方法，现有技术一般采用将推荐系统推荐出的推荐者的信息与当前使用者设定的条件进行比对的方式进行测试。

然而，现有技术提供的测试方法准确率较低。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现要素：

本发明实施例的目的在于提供一种推荐系统的测试方法、推荐系统的测试装置，以及实现上述推荐系统的测试方法的计算机可读介质和电子设备，进而至少在一定程度上克服现有技术提供的测试方法准确率较低的缺点。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明实施例的第一方面，提供了一种推荐系统的测试方法，包括：

获取待测参数以及所述待测参数的标准范围值；

获取推荐系统输出的推荐者的标识，并根据所述标识和所述待测参数确定待测信息；

通过所述关于待测参数的标准范围值对所述待测信息进行测试。

在本发明的一些实施例，基于前述实施例，获取待测参数以及所述待测参数的标准范围值，包括：

获取使用者设定的推荐要求，根据推荐要求确定待测参数；

根据所述推荐要求和所述待测参数，确定待测参数的标准范围值。

在本发明的一些实施例，基于前述实施例，获取推荐系统输出的推荐者的标识，并根据所述标识和所述待测参数确定待测信息，包括：

创建关于推荐者信息的类，并将所述待测参数作为所述类的属性；

从所述推荐系统输出数据中获取推荐者的标识，并通过所述标识初始化所述类以确定推荐者实例；

从数据库中获取关于所述推荐者实例的属性值作为待测信息。

在本发明的一些实施例，基于前述实施例，所述推荐系统的输出数据为json格式；

其中，从所述推荐系统输出数据中获取推荐者的标识，包括：

从json格式的输出数据中获取item_id以获取推荐者的标识。

在本发明的一些实施例，基于前述实施例，通过所述关于待测参数的标准范围值对所述待测信息进行测试，包括：

统计所述待测试信息，确定所述待测参数的待测范围值，包括：待测上限值和待测下限值；

通过所述关于待测参数的标准范围值对所述待测范围值进行测试。

在本发明的一些实施例，基于前述实施例，通过所述关于待测参数的标准范围值对所述待测范围值进行测试，包括：

判断所述待测上限值和所述待测下限值是否均在所述标准范围值内；

响应于所述待测上限值或所述待测下限值未在所述标准范围值内，确定数据驱动的结果为抛错。

在本发明的一些实施例，基于前述实施例，上述方法还包括：

响应于所述待测上限值和所述待测下限值均在所述标准范围值内，则获取所述推荐系统的输出数据以扩充所述待测信息；

根据扩充后的待测信息更新待测范围值；

根据更新后的待测范围值再次进行测试。

本发明实施例的第二方面，提供了一种推荐系统的测试装置，包括：

标准范围值获取模块，用于获取待测参数以及所述待测参数的标准范围值；

待测信息获取模块，用于获取推荐系统输出的推荐者的标识，并根据所述标识和所述待测参数确定待测信息；

测试模块，用于通过所述关于待测参数的标准范围值对所述待测信息进行测试。

根据本发明实施例的第三方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中第一方面所述的推荐系统的测试方法。

根据本发明实施例的第四方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中第一方面所述的推荐系统的测试方法。

本发明实施例提供的技术方案可以包括以下有益效果：

一方面，在本发明的一些实施例所提供的技术方案中，先获取待测参数以确定所述待测参数的标准范围值，进而，通过关于待测参数的标准范围值对推荐系统输出的待测信息进行测试，从而根据测试结果完成对上述推荐系统的测试。相较于现有的人工测试的方式造成的测试准确性低的问题，本实施例中通过对推荐系统输出的待测信息进行自动查询统计的方式来提高测试的准确性。同时，避免了对动态推荐的待测信息进行人工测试带来的开销大的问题。

另一方面，在本发明的一些实施例所提供的技术方案中，通过获取推荐系统输出的推荐者的标识，进一步根据推荐者的标识和上述待测参数确定待测信息。从而，能够快速准确地确定待测信息，有效避免待测信息冗余造成测试效率低的问题，进而有利于提高测试效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示意性示出了根据本发明的实施例的推荐系统的测试方法的流程示意图；

图2示意性示出了根据本发明实施例的待测参数的标准范围值的确定方法的流程示意图；

图3示意性示出了根据本发明实施例的待测信息的确定方法的流程示意图；

图4示意性示出了根据本发明另一实施例的数据驱动测试方法的流程示意图；

图5示意性示出了根据本发明再一实施例的数据驱动测试方法的流程示意图；

图6示出了根据本发明的实施例的推荐系统的测试装置的结构示意图；以及，

图7示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

本实施例中所述的“推荐系统”可以是交友类应用产品的推荐模块等，一般用来向当前使用者动态地推送其可能感兴趣的信息。例如，推荐系统(如，交友类应用产品的推荐模块)此次向当前使用者推送n个推荐者及其动态(其中，n为正整数)，推荐系统下一次向此使用者推送n个不同推荐者及其动态。因此，若对推荐者进行逐个测试，不仅会造成测试工作量庞大，大量用户信息人工查询会开销巨大的问题。同时，推荐的随机性导致手工测试无法确保测试准确性。

另外，由于推荐系统动态推荐不同信息，因此，通过伪造数据进行测试的方式也不适用于对交友类应用产品的推荐系统的测试。

图1示出了根据本发明的实施例的推荐系统的测试方法的流程示意图。本实施例提供的推荐系统的测试方法至少在一定程度上克服现有的推荐系统的测试方法存在的以上缺点。

其中，本实施例提供的推荐系统的测试方法的执行主体可以是具有计算处理功能的设备，比如服务器等。

步骤s101，获取待测参数以及所述待测参数的标准范围值；

步骤s102，获取推荐系统输出的推荐者的标识，并根据所述标识和所述待测参数确定待测信息；以及，

步骤s103，通过所述关于待测参数的标准范围值对所述待测信息进行测试。

在图1所示实施例所提供的技术方案中，一方面，先获取待测参数以确定所述待测参数的标准范围值，进而，通过关于待测参数的标准范围值对推荐系统输出的待测信息进行测试，从而根据测试结果完成对上述推荐系统的测试。相较于现有的人工测试的方式造成的测试准确性低的问题，本实施例中通过对推荐系统输出的待测信息进行自动查询统计的方式来提高测试的准确性。同时，避免了对动态推荐的待测信息进行人工测试带来的开销大的问题。

另一方面，通过获取推荐系统输出的推荐者的标识，进一步根据推荐者的标识和上述待测参数确定待测信息。从而，能够快速准确地确定待测信息，有效避免待测信息冗余造成测试效率低的问题，进而有利于提高测试效率。

以下对图1所示实施例各个步骤的具体实施方式进行详细阐述。

在示例性的实施例中，图2示意性示出了根据本发明实施例的待测参数的标准范围值的确定方法的流程示意图，可以用于解释说明步骤s101的具体实施方式。

参考图2，该实施例提供的待测参数的标准范围值的确定方法，包括：

步骤s201，获取使用者设定的推荐要求，根据推荐要求确定待测参数；以及，步骤s202，根据所述推荐要求和所述待测参数，确定待测参数的标准范围值。

在示例性的实施例中，假如使用者设定的推荐要求为“请为我推荐年龄在20岁至30岁之间，身高在170厘米至185厘米，硕士及以上学位，居住地为北京的单身男士”。为了向此使用者推荐符合其设定的推荐要求的用户(推荐者)，本实施例提供的技术方案中，则可以通过关键词提取的方式在使用者设定的上述推荐要求中，提取以下关键词：年龄、身高、学历、居住地、性别，从而根据这些关键词确定对推荐系统进行测试时所涉及的待测参数。

在示例性的实施例中，根据上述步骤中确定的待测参数，再次筛选上述推荐要求，确定每个待测参数对应的范围值(标准范围值)。例如，假如待测参数“身高”，通过关键词“身高”筛选上述推荐要求，得到其标准范围值为：在170厘米至185厘米之间。在下述的测试过程中，针对某一待测参数，通过比较对应的待测信息与上述标准范围值实现对推荐系统的测试。

在示例性的实施例中，在确定待测参数及其标准范围值之后，还将通过遍历待测参数及其标准范围值的方式确定测试组合个数。示例性的，对于待测参数“年龄”，其标准范围值为18-60岁，却可以确定关于待测参数“年龄”的测试组合个数为5。具体的，关于待测参数“年龄”的测试组合为：①上限测试：大于18岁，无上限；②下限测试：小于60岁，无下限；③同时包含上下限的测试：大于18且小于60；④第一边界值测试，小于18；⑤第二边界值测试，大于60。可见，关于待测参数“年龄”的测试组合个数总共5种。

在示例性的实施例中，关于某应用产品的使用者a设定的推荐要求，确定的待测参数。待测参数的标准范围值，以及每个待测参数的测试组合个数，具体可以参考表1。

表1

在示例性的实施例中，在待测参数大于一个的情况下，可以根据以下两种方式确定总体的参数组合总数。

第一种方式为卡迪尔方式，具体为将各个待测参数对应的测试组合个数相乘，将乘积作为参数组合总数。假如待测参数“年龄”的测试组合个数为5、待测参数“居住地”的测试组合个数为10、待测参数“身高”的测试组合个数为5、待测参数“学历”的测试组合个数为5、待测参数“月收入”的测试组合个数为6，则对应的测试组合总数为：5*10*5*5*6＝9000种测试组合。

第二种方式为第一中方式的简化。鉴于上述各个待测参数之间的关系是独立互不关联的，可以采取独立进行测试的方式。即通过求和的方式确定测试组合总数：5+10+5+5+6＝31种。

在示例性的实施例中，在待测参数大于一个的情况下，确定参数组合总数不限于以上两种方式。

以上述第二种方式为例进行说明，将这31种测试组合形式存入到表格中，然后遍历这31种测试组合形式，填入到待测数据驱动接口的参数中，便可以自动完成以上述31种测试组合作为输入的测试。

示例性的，可以利用python的单元测试框架，来做数据的驱动。将数据存在excel表格中，逐行读出数据，然后循坏来调用接口执行测试。

在图2所示实施例提供的技术方案中，将数据驱动测试用于包含推荐用户功能的应用产品的测试中，解决了需要手动重复反复测试造成的测试效率低的问题，同时，节省了测试开销，并有利于提供测试准确度。

在示例性的实施例中，图3示意性示出了根据本发明实施例的待测信息的确定方法的流程示意图，可以用于解释说明步骤s102的具体实施方式。

参考图3，该实施例提供的待测信息的确定方法，包括：

步骤s301，创建关于推荐者信息的类，并将所述待测参数作为所述类的属性；步骤s302，从所述推荐系统输出数据中获取推荐者的标识，并通过所述标识初始化所述类以确定推荐者实例；以及，步骤s303，从数据库中获取关于所述推荐者实例的属性值作为待测信息。

在示例性的实施例中，在步骤s301中创建关于推荐者信息的类，并将所述待测参数作为所述类的属性。本实施例采取结果化数据的方式，以提高待测信息的提取准确度。

在示例性的实施例中，上述推荐系统的输出数据为json格式。那么，可以从json格式的输出数据中获取item_id以获取推荐者的标识。

具体地，①提取推荐者的标识：

推荐系统输出数据中包含很多其他额外信息，而为了减少信息冗余，并准确确定待测信息，本实施例中先抽取推荐者的标识id，以用于后续的信息整理。具体可以通过id抽取模块，读取这个json中所有的item_id存放在数组中供后续模块使用。

示例性的，在上述步骤s302中，根据获取到的推荐者的标识，初始化上述类以确定推荐者实例。进一步地，通过从数据库中获取关于上述待测参数的信息作为上述推荐者实例的属性值，进而确定本次测试的待测信息。

②提取推荐者信息：

推荐者信息提取模块的作用主要是提取出用户的信息用于后续结果的统计和校验。我们需要统计的基础用户信息大概有如下这些：年龄，性别，出生地，收入，学历，身高，体重，籍贯等。

在图3示出实施例提供的技术方案中，提取出所有推荐出来的推荐信息来避免人工逐个查询，提高测试效率，减少人工开销。

在示例性的实施例中，图4示意性示出了根据本发明另一实施例的数据驱动测试方法的流程示意图，可以用于解释说明步骤s103的具体实施方式。

参考图4，该实施例提供的数据驱动测试方法，包括：

步骤s401，统计所述待测试信息，确定所述待测参数的待测范围值，包括：待测上限值和待测下限值；以及，步骤s402，通过所述关于待测参数的标准范围值对所述待测范围值进行测试。

在示例性的实施例中，在步骤s401中统计待测试信息，以待测参数“年龄”为了进行说明。对于使用者b，获取并统计关于推荐系统4次推荐出的推荐在信息，具体的每次的统计结果，如下。

第一次推荐出的推荐者信息的统计结果：待测范围值：26-41岁，待测上限值41岁，待测下限值26岁；

第二次推荐出的推荐者信息的统计结果：待测范围值：23-40岁，待测上限值40岁，待测下限值23岁；

第三次推荐出的推荐者信息的统计结果：待测范围值：24-41岁，待测上限值41岁，待测下限值24岁；

第四次推荐出的推荐者信息的统计结果：待测范围值：26-39岁，待测上限值39岁，待测下限值26岁。

其中，上述使用者b设定的推荐要求中，关于待测信息“年龄”设定为25-40岁。在以下步骤中验证上述推荐者信息是否符合使用者的推荐要求，也就是说，图5用来解释如何判断推荐者的年龄是否在25-40岁。

在示例性的实施例中，图5示意性示出了根据本发明再一实施例的数据驱动测试方法的流程示意图，可以用于解释说明步骤s402的具体实施方式。

参考图5，该实施例提供的数据驱动测试方法，包括：

步骤s501，判断所述待测上限值和所述待测下限值是否均在所述标准范围值内；

在示例性的实施例中，响应于所述待测上限值或所述待测下限值未在所述标准范围值内，则执行步骤s502：确定数据驱动的结果为抛错。

示例性的，上述第一次/第三次推荐出的推荐者信息的统计结果中待测上限值超出了标准范围值，上述第二次推荐出的推荐者信息的统计结果中待测下限值超出了标准范围值。即，第一种第二种以及第三种情况是上边界或者下边界超出范围，这样就有推荐出来的用户不满足使用者b的推荐要求，从而确定数据驱动的结果为抛错。

在示例性的实施例中，响应于所述待测上限值和所述待测下限值均在所述标准范围值内，例如上述第四次推荐出的推荐者信息的统计结果为标准范围值未完全覆盖待测范围值，有一种可能就是待测代码中的范围设定有问题，也还有可能是因为数据取的不够导致。

则执行步骤s503：获取所述推荐系统的输出数据以扩充所述待测信息，根据扩充后的待测信息更新待测范围值；以及，步骤s504：根据更新后的待测范围值再次进行测试。

在示例性的实施例中，可以继续收集推荐系统的输出数据(即对使用者b的推荐者信息)来扩充待测信息，扩充待测信息的具体方法可以参考图3所示实施例提供的具体实施方式，在此不再赘述。

在示例性的实施例中，通过扩充后的待测信息更新待测范围值的具体方法可以参考步骤s401所示实施例提供的具体实施方式，在此不再赘述。

在示例性的实施例中，根据更新后的待测范围值再次进行测试的具体方法可以参考步骤s402所示实施例提供的具体实施方式，在此不再赘述。

在图4和图5示出的实施例提供的技术方案中，通过对推荐系统输出的待测信息进行自动查询统计的方式来提高测试的准确性。同时，避免了对动态推荐的待测信息进行人工测试带来的开销大的问题。

以下介绍本发明的装置实施例，可以用于执行本发明上述的推荐系统的测试方法。

图6示出了根据本发明的实施例的推荐系统的测试装置的结构示意图。

参考图6，上述推荐系统的测试装置600，包括：标准范围值获取模块601、待测信息获取模块602和测试模块603。

其中，标准范围值获取模块601，用于获取待测参数以及所述待测参数的标准范围值；

待测信息获取模块602，用于获取推荐系统输出的推荐者的标识，并根据所述标识和所述待测参数确定待测信息；以及，

测试模块603，用于通过所述关于待测参数的标准范围值对所述待测信息进行测试。

在本发明的一些实施例，基于前述实施例，上述标准范围值获取模块601，具体用于：

获取使用者设定的推荐要求，根据推荐要求确定待测参数；以及，

根据所述推荐要求和所述待测参数，确定待测参数的标准范围值。

在本发明的一些实施例，基于前述实施例，上述待测信息获取模块602，包括：类创建单元6021、推荐者实例确定单元6022以及待测信息获取单元6023。

其中，上述类创建单元6021用于：创建关于推荐者信息的类，并将所述待测参数作为所述类的属性；

上述推荐者实例确定单元6022用于：从所述推荐系统输出数据中获取推荐者的标识，并通过所述标识初始化所述类以确定推荐者实例；以及，

上述待测信息获取单元6023用于：从数据库中获取关于所述推荐者实例的属性值作为待测信息。

在本发明的一些实施例，基于前述实施例，所述推荐系统的输出数据为json格式；

其中，上述推荐者实例确定单元6022具体用于：

从json格式的输出数据中获取item_id以获取推荐者的标识，并通过所述标识初始化所述类以确定多个推荐者实例。

在本发明的一些实施例，基于前述实施例，上述测试模块603，包括：统计单元6031和测试单元6032。

其中，上述统计单元6031用于：统计所述待测试信息，确定所述待测参数的待测范围值，包括：待测上限值和待测下限值；以及，

上述测试单元6032用于：通过所述关于待测参数的标准范围值对所述待测范围值进行测试。

在本发明的一些实施例，基于前述实施例，上述测试单元6032，包括：判断子单元321和响应子单元322。

其中上述判断子单元321用于：判断所述待测上限值和所述待测下限值是否均在所述标准范围值内；以及，

上述响应子单元322用于：响应于所述待测上限值或所述待测下限值未在所述标准范围值内，确定数据驱动的结果为抛错。

在本发明的一些实施例，基于前述实施例，上述响应子单元322还用于：响应于所述待测上限值和所述待测下限值均在所述标准范围值内，则获取所述推荐系统的输出数据以扩充所述待测信息；

根据扩充后的待测信息更新待测范围值；以及，

根据更新后的待测范围值再次进行测试。

由于本发明的示例实施例的推荐系统的测试装置的各个功能模块与上述推荐系统的测试方法的示例实施例的步骤对应，因此对于本发明装置实施例中未披露的细节，请参照本发明上述的推荐系统的测试方法的实施例。

下面参考图7，其示出了适于用来实现本发明实施例的电子设备的计算机系统700的结构示意图。图7示出的电子设备的计算机系统700仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统700包括中央处理单元(cpu)701，其可以根据存储在只读存储器(rom)702中的程序或者从存储部分708加载到随机访问存储器(ram)703中的程序而执行各种适当的动作和处理。在ram703中，还存储有系统操作所需的各种程序和数据。cpu701、rom702以及ram703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。

以下部件连接至i/o接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至i/o接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(cpu)701执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的推荐系统的测试方法。

例如，所述的电子设备可以实现如图1中所示的：步骤s101，获取待测参数以及所述待测参数的标准范围值；步骤s102，获取推荐系统输出的推荐者的标识，并根据所述标识和所述待测参数确定待测信息；以及，步骤s103，通过所述关于待测参数的标准范围值对所述待测信息进行测试。

又如，所述的电子设备可以实现如图2至图5任一图所示的各个步骤。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。