推荐系统测试方法、装置及电子设备与流程

本申请涉及计算机技术领域，更具体地，涉及一种推荐系统测试方法、装置、电子设备及存储介质。

背景技术：

推荐系统(recommendersystem)是一种帮助用户快速获取有用信息的复杂系统，通过分析用户的历史行为，对用户画像进行建模，从而主动给用户推荐能够满足他们兴趣和需求的内容。目前的推荐系统产品多样，涉及衣食住行的各个行业，涉及范围广。随着推荐系统数据的巨量递增，如何确保推荐系统准确地向用户推荐用户所感兴趣的内容变得尤为关键。

技术实现要素：

鉴于上述问题，本申请提出了一种推荐系统测试方法、装置、电子设备及存储介质，以改善上述问题。

第一方面，本申请实施例提供了一种推荐系统测试方法，该方法包括：获取与目标测试模式对应的待测参数；生成与所述目标测试模式匹配的推荐请求；发送携带所述待测参数的所述推荐请求给推荐系统，接收所述推荐系统返回的与所述待测参数对应的待测推荐结果；若所述待测推荐结果不符合与所述目标测试模式对应的预期需求，调整与所述待测参数关联的推荐策略。

第二方面，本申请实施例提供了一种推荐系统测试装置，该装置包括：获取模块，用于获取与目标测试模式对应的待测参数；第一处理模块，用于生成与所述目标测试模式匹配的推荐请求；第二处理模块，用于发送携带所述待测参数的所述推荐请求给推荐系统，接收所述推荐系统返回的与所述待测参数对应的待测推荐结果；第三处理模块，用于若所述待测推荐结果不符合与所述目标测试模式对应的预期需求，调整与所述待测参数关联的推荐策略。

第三方面，本申请实施例提供了一种电子设备，包括存储器以及一个或多个处理器；一个或多个程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于执行上述第一方面所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有程序代码，其中，在程序代码由处理器运行时执行上述第一方面所述的方法。

本申请实施例提供的一种推荐系统测试方法、装置、电子设备及存储介质。本方法通过获取与目标测试模式对应的待测参数，继而生成与目标测试模式匹配的推荐请求，再发送携带待测参数的推荐请求给推荐系统，并接收推荐系统返回的与待测参数对应的待测推荐结果，然后若待测推荐结果不符合与目标测试模式对应的预期需求，调整与待测参数关联的推荐策略。本方案通过针对不同的测试模式而生成匹配的推荐请求的方式，可以在确定目标测试模式以及对应的待测参数后，生成与所述目标测试模式匹配的推荐请求。通过发送携带有与目标测试模式对应的待测参数的推荐请求给推荐系统，并接收推荐系统返回的与待测参数对应的待测推荐结果，在待测推荐结果不符合与目标测试模式对应的预期需求的情况下，调整与待测参数关联的推荐策略，实现了通过多种不同的独立测试方式分别对推荐系统的不同推荐性能进行测试，进而提升推荐系统的推荐性能的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出了本申请一实施例提供的一种推荐系统测试方法的方法流程图。

图2示出了本申请另一实施例提供的一种推荐系统测试方法的方法流程图。

图3示出了本申请实施例提供的测试界面的一示例图。

图4示出了本申请实施例提供的测试界面的另一示例图。

图5示出了本申请又一实施例提供的一种推荐系统测试方法的方法流程图。

图6示出了本申请再一实施例提供的一种推荐系统测试方法的方法流程图。

图7示出了本申请实施例提供的一种推荐系统测试装置的结构框图。

图8示出了本申请实施例提供的一种电子设备的结构框图。

图9示出了本申请实施例的用于保存或者携带实现根据本申请实施例的推荐系统测试方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

推荐系统是一种通过运用深度学习、神经网络等技术帮助用户快速获取有用信息的复杂系统，通过分析用户的历史行为，对用户画像进行建模，从而主动给用户推荐能够满足他们兴趣和需求的内容。目前的推荐系统产品多样，涉及衣食住行的各个行业，涉及范围广。例如，作为一种方式，可以根据用户的浏览内容推荐与用户的浏览内容相似的小视频或直播，或者是推荐用户感兴趣的短视频id等。

然而，随着推荐系统数据的巨量递增，现有的推荐系统并不能准确地向用户推荐用户所感兴趣的内容，甚至一些频繁推送还会给用户带来打扰，极大地降低了用户体验。

针对上述的问题，发明人经过长期的研究发现，可以通过在推荐系统开发上线之前做好模拟测试和压力测试的方式升级目前的推荐系统，从而确保推荐结果的准确性，进而带给用户良好的推荐效果和体验。因此，提出了本申请实施例提供的一种推荐系统测试方法、装置、电子设备及存储介质。

需要说明的是，本实施例中，测试系统可以通过推荐系统的推荐接口与推荐系统通信连接。可选的，本实施例中debug系统(即测试系统)可以模拟推荐请求，通过http协议或者内部定义好的协议(比如yy协议或者thrift的rpc协议)与推荐系统进行数据交互以完成测试。debug系统通过设置待测参数和待测参数值的变化范围，请求推荐系统的服务，返回的推荐结果数据可以在debug系统验收和检查。

本实施例中的debug系统可以视为短视频或者直播平台对应的推荐系统的测试工具，可以方便开发人员和产品运营测试人员对需要上线的推荐系统进行测试和需求验收，或者是对推荐系统进行系统异常排查和性能测试等。

下面将结合附图具体描述本申请的各实施例。

请参阅图1，示出了本申请一实施例提供的一种推荐系统测试方法的流程图，本实施例提供一种推荐系统测试方法，可应用于测试系统，该测试系统可以用于测试推荐系统的推荐准确性等各项推荐性能，该推荐系统可以用于推荐用户感兴趣的各种内容(例如，这些内容可以包括直播，主播、视频、游戏)等，该方法包括：

步骤s110：获取与目标测试模式对应的待测参数。

其中，本实施例中的目标测试模式可以包括人工测试模式、半自动测试模式以及全自动测试模式。测试系统的某条推荐策略被开发完成后，在将该条推荐策略上线到推荐系统进行使用之前，可以通过不同的测试模式对包括该条推荐策略的推荐系统的各项推荐性能进行测试。

待测参数为可以输入debug系统，用于测试推荐系统的推荐性能的参数，不同的待测参数对应的推荐性能可以不同。可选的，不同的测试模式可以对应不同的待测参数。

作为一种方式，可以将用户配置的测试参数作为待测参数。例如，在人工测试模式下，可以将用户输入的用户设备号、用户id、请求推荐个数、当前页面作为待测参数。作为另一种方式，可以将测试系统自动生成的参数作为待测参数。例如，在半自动模式下，可以将debug系统的随机批量请求数量作为待测参数。

步骤s120：生成与所述目标测试模式匹配的推荐请求。

作为一种方式，在获取了与目标测试模式对应的待测参数之后，debug系统可以生成与目标模式匹配的推荐请求，不同的目标测试模式对应匹配的推荐请求不同。可选的，debug系统可以生成与目标测试模式匹配的http请求，以便于通过http请求向推荐系统请求获取推荐结果。

步骤s130：发送携带所述待测参数的所述推荐请求给推荐系统。

可选的，debug系统可以通过推荐系统的推荐接口发送携带待测参数的推荐请求(即上述http请求)给推荐系统。

步骤s140：查询与所述推荐请求对应的推荐结果。

可选的，推荐系统中预先存储有与不同的推荐请求适配的推荐结果，推荐系统可以根据接收到的推荐请求查询对应的推荐结果。可选的，推荐系统可以同时接收不同的推荐请求，查询与不同的推荐请求分别对应的推荐结果。

步骤s150：返回所述推荐结果。

推荐系统可以将查询到的推荐结果返回给debug系统。

步骤s160：接收所述推荐系统返回的与所述待测参数对应的待测推荐结果。

可以理解的是，为了验证推荐系统推荐结果的准确性或者是验证推荐结果是否符合预期需求，debug系统接收推荐系统返回的与待测参数对应的推荐结果后，可以将该推荐结果作为待测推荐结果，以便可以验证该待测推荐结果是否达到预期需求，从而评估推荐系统的准确性或者是其他各项推荐性能。

步骤s170：若所述待测推荐结果不符合与所述目标测试模式对应的预期需求，调整与所述待测参数关联的推荐策略。

可选的，若待测推荐结果不符合与目标测试模式对应的预期需求，那么可以调整与待测参数关联的推荐策略。可选的，不同的待测参数关联的推荐策略可以不同。其中，与待测参数关联的推荐策略可以理解为待测参数所对应的推荐策略。例如，若待测参数包括用户id级别、主播或直播的个数或类别，那么推荐策略可以是“对于不同等级的用户分别推送的主播或直播的个数或类别”。可选的，可以通过不断调整推荐策略的参数配置实现调整与待测参数关联的推荐策略。

本实施例提供的推荐系统测试方法，通过获取与目标测试模式对应的待测参数，继而生成与目标测试模式匹配的推荐请求，再发送携带待测参数的推荐请求给推荐系统，并接收推荐系统返回的与待测参数对应的待测推荐结果，然后若待测推荐结果不符合与目标测试模式对应的预期需求，调整与待测参数关联的推荐策略。本方案通过针对不同的测试模式而生成匹配的推荐请求的方式，可以在确定目标测试模式以及对应的待测参数后，生成与所述目标测试模式匹配的推荐请求。通过发送携带有与目标测试模式对应的待测参数的推荐请求给推荐系统，并接收推荐系统返回的与待测参数对应的待测推荐结果，在待测推荐结果不符合与目标测试模式对应的预期需求的情况下，调整与待测参数关联的推荐策略，实现了通过多种不同的独立测试方式分别对推荐系统的不同推荐性能进行测试，进而提升推荐系统的推荐性能的准确性。

请参阅图2，示出了本申请另一实施例提供的一种推荐系统测试方法的流程图，本实施例提供一种推荐系统测试方法，可应用于测试系统，该方法包括：

步骤s210：获取第一测试模式。

可选的，本实施例中的目标测试模式可以包括第一测试模式。第一测试模式可以用作功能模拟测试，即测试推荐系统返回的推荐结果是否符合预期需求。

步骤s220：获取配置的与所述第一测试模式的测试功能适配的待测参数。

其中，本实施例中的待测参数可以包括第一待测参数。可选的，第一待测参数可以包括用于测试推荐系统的推荐功能的准确性的参数。

在获取了第一测试模式之后，可以获取配置的与第一测试模式的测试功能适配的待测参数。例如，在一个具体的应用场景中，第一测试模式可以为上述实施例中的人工测试模式，可以将用户输入的参数作为与第一测试模式的测试功能适配的待测参数。其中，用户输入的参数可以包括用户设备号、用户id、请求推荐个数以及当前页面(可选的，默认页面可以为0，即当前页面为第0页)。

步骤s230：将所述待测参数作为与所述第一测试模式对应的第一测试参数。

可选的，为了便于验证推荐系统的推荐功能，可以将上述待测参数作为与第一测试模式对应的第一测试参数。

步骤s240：生成与所述第一测试模式匹配的推荐请求。

可选的，若当前测试模式为第一测试模式，那么debug系统可以生成与第一测试模式匹配的推荐请求。可选的，以上述示例为例，假设用户输入的参数中，用户设备号为“xxx”、用户id为“0”、请求推荐个数为“10”以及当前页面offset为“0”，那么可以得到生成的与第一测试模式匹配的推荐请求为“requset：hdid＝xxx&uid＝0&num＝10&offset＝0”。

步骤s250：发送携带所述第一待测参数的所述推荐请求给推荐系统，接收所述推荐系统返回的与所述第一待测参数对应的待测推荐结果。

debug系统可以发送携带第一待测参数的推荐请求给推荐系统，继而接收推荐系统返回的与第一待测参数对应的待测推荐结果。

下面以一个具体的示例对上述内容进行说明：请参阅图3，为debug系统的测试界面示例图，可以通过在不同测试模式之间进行切换对推荐系统的不同性能进行测试。如图3所示，假设当前选取的测试模式为第一测试模式，第一待测参数为用户设备号(即图3中的hdid)、用户id(即图3中的uid)、请求推荐个数以及当前页面，可以输入用户id以及用户设备号，点击查询获取推荐系统返回的推荐结果。可选的，点击查询按钮后，可以显示推荐结果数量，若查询结果较多时，可以通过点击下一页的方式进行查看。可以理解的是，若当前选取的测试模式发生变化时，输入待测参数的界面以及内容均可以发生变化。

可选的，如图4所示，假设输入的用户id为“123”，用户设备号为“123123”，点击查询后可以得到如图4所示的查询结果界面，得到的推荐结果数量为“46”，分别显示为“推荐结果1、推荐结果2、推荐结果3、推荐结果4......”。可选的，推荐结果可以包括视频id和视频信息，例如，视频信息可以包括主播的直播间相关信息、主播封面信息或是主播直播源等。排列在第一的推荐结果为第一位主播的id或者直播id。需要说明的是，上述示例以及具体数值仅作为示例进行说明，并不构成对本方案的限定，实际实现时可以根据实际情况调整待测参数的值。

可选的，若推荐结果1为直播信息，通过点击推荐结果，可以跳转到直播间看直播，从而验证推荐效果是否符合预期。

步骤s260：若所述待测推荐结果不符合与所述第一测试模式对应的预期需求，调整与所述第一待测参数关联的推荐策略。

可选的，不同的待测推荐参数所关联的推荐策略可以不同。

作为一种方式，若上述待测推荐结果不符合与第一测试模式对应的预期需求，那么可以调整与第一待测参数关联的推荐策略。

本实施例提供的推荐系统测试方法，通过获取与第一测试模式对应的第一待测参数，继而生成与第一测试模式匹配的推荐请求，再发送携带第一待测参数的推荐请求给推荐系统，并接收推荐系统返回的与第一待测参数对应的待测推荐结果，然后若待测推荐结果不符合与第一测试模式对应的预期需求，调整与第一待测参数关联的推荐策略。本方案通过发送携带有与第一测试模式对应的第一待测参数的推荐请求给推荐系统，并接收推荐系统返回的与第一待测参数对应的待测推荐结果，在待测推荐结果不符合与第一测试模式对应的预期需求的情况下，调整与第一待测参数关联的推荐策略，实现了通过功能模拟测试方式对推荐系统返回数据的准确性进行测试，进而提升推荐系统的推荐性能的准确性。

请参阅图5，示出了本申请又一实施例提供的一种推荐系统测试方法的流程图，本实施例提供一种推荐系统测试方法，可应用于测试系统，该方法包括：

步骤s310：获取第二测试模式。

可选的，本实施例中的目标测试模式可以包括第二测试模式。第二测试模式可以用作测试推荐系统的推荐功能的抗压性能(即压测)。例如，若预先设定了推荐系统的qps(每秒查询率)，假设1s有1000个请求，通过统计1000个请求在100ms内返回的有多少个，可以得到100ms的成功率，即可以通过测试“1000个请求在100ms内返回的有多少个”的方式测试推荐系统的抗压性能。

步骤s320：获取配置的与所述第二测试模式的测试功能适配的待测参数。

本实施例中的待测参数可以包括第二待测参数，第二待测参数可以包括用于测试推荐系统的推荐功能的抗压性能的参数。若当前选取的测试模式为第二测试模式，那么可以获取配置的与第二测试模式的测试功能适配的待测参数。

步骤s330：将所述待测参数作为与所述第二测试模式对应的第二测试参数。

可选的，为了便于验证推荐系统的抗压性能，可以将上述待测参数作为与第二测试模式对应的第二测试参数。

步骤s340：生成与所述第二测试模式匹配的推荐请求。

类似的，若当前测试模式为第二测试模式，那么debug系统可以生成与第二测试模式匹配的推荐请求。

步骤s350：发送携带所述第二待测参数的所述推荐请求给推荐系统，接收所述推荐系统返回的与所述第二待测参数对应的待测推荐结果。

debug系统可以发送携带第二待测参数的推荐请求给推荐系统，继而接收推荐系统返回的与第二待测参数对应的待测推荐结果。

步骤s360：若所述待测推荐结果不符合与所述第二测试模式对应的预期需求，调整与所述第二待测参数关联的推荐策略。

若上述待测推荐结果不符合与第二测试模式对应的预期需求，那么可以调整与第二待测参数关联的推荐策略。

需要说明的是，第二测试模式为半人工半自动模式。设置好压测参数(即第二待测参数)之后，debug系统可以自动抓取线上的输入参数，抓取用户id和用户设备号id，并通过随机获取当前页面offset和请求推荐个数(可以是10个或者20个)，实现自动测试。然后输出单击cpu和内存的耗用情况，以及延时情况等，还可以自动统计推荐结果数据进行数据分析。

通过线下的压力测试评估当前推荐系统的性能，可以实现让推荐系统满足线上的吞吐量和稳定性，如果性能不够，可以提前做好扩容准备。可选的，可以通过比较相同的qps的请求成功率是否有下降的方式判断性能是否足够。可选的，若相同的qps的请求成功率没有下降，则可以认为性能足够，否则性能不足够。可选的，也可以通过判断qps是否满足预设阈值的方式判断性能是否足够。例如，若能够处理2w/s的请求99.999％可以在100ms返回，那么可以认为性能足够，反之则认为性能不够。

本实施例提供的推荐系统测试方法，通过获取与第二测试模式对应的第二待测参数，继而生成与第二测试模式匹配的推荐请求，再发送携带第二待测参数的推荐请求给推荐系统，并接收推荐系统返回的与第二待测参数对应的待测推荐结果，然后若待测推荐结果不符合与第二测试模式对应的预期需求，调整与第二待测参数关联的推荐策略。本方案实现了通过模拟压力测试，检测推荐系统的抗压性能，观察推荐系统的瓶颈。

请参阅图6，示出了本申请再一实施例提供的一种推荐系统测试方法的流程图，本实施例提供一种推荐系统测试方法，可应用于测试系统，该方法包括：

步骤s410：获取第三测试模式。

可选的，本实施例中的目标测试模式可以包括第三测试模式。第三测试模式可以用于自动验证推荐系统的整体运行性能。

步骤s420：获取配置的与所述第三测试模式的测试功能适配的待测参数。

其中，本实施例中的待测参数可以包括第三待测参数。可选的，第三待测参数可以包括用于测试推荐系统的运行性能的参数。在获取了第三测试模式之后，可以获取配置的与第三测试模式的测试功能适配的待测参数。

步骤s430：将所述待测参数作为与所述第三测试模式对应的第三测试参数。

可选的，为了便于验证推荐系统的运行性能，可以将上述待测参数作为与第三测试模式对应的第三测试参数。

步骤s440：生成与所述第三测试模式匹配的推荐请求。

可选的，若当前测试模式为第三测试模式，那么debug系统可以生成与第三测试模式匹配的推荐请求。

步骤s450：发送携带所述第三待测参数的所述推荐请求给推荐系统，接收所述推荐系统返回的与所述第三待测参数对应的待测推荐结果。

debug系统可以发送携带第三待测参数的推荐请求给推荐系统，继而接收推荐系统返回的与第三待测参数对应的待测推荐结果。

步骤s460：若所述运行日志不满足目标条件，判定所述待测推荐结果不符合与所述第三测试模式对应的预期需求，调整与所述第三待测参数关联的推荐策略。

若测试得出推荐系统的运行日志不满足目标条件，可以判定上述待测推荐结果不符合与目标测试模式对应的预期需求，那么可以调整与第三待测参数关联的推荐策略。

本实施例中，可以通过设定定时任务每日自检程序。通过获取随机的用户设备id、用户id、当前页面以及请求推荐个数，可以自动点击直播间，测试线上运行情况，从而实现验证整个流程，并生成日报。可选的，可以根据抓取的推荐结果验证推荐系统是否正常运转，测试有无线上bug，实现实施监控推荐系统的运行性能。例如，若模拟点开的直播未开播，则认为存在线上bug。可选的，若存在线上bug，可以自动发邮件告知开发人员，以便及时对错误进行检查。

需要说明的是，本申请实施例中可以根据如前述实施例中所描述的根据选择的测试模式获取对应的待测参数，也可以将不同的测试模式集成到一个测试功能模块，该测试功能模块可以根据输入的待测参数自动识别当前需要测试的推荐性能，进而跳转到对应的测试模式完成测试。可选的，可以以可视化的方式展示上述测试结果，具体展示方式可以不作限定。

本实施例提供的推荐系统测试方法，通过获取与第三测试模式对应的第三待测参数，继而生成与第三测试模式匹配的推荐请求，再发送携带第三待测参数的推荐请求给推荐系统，并接收推荐系统返回的与第三待测参数对应的待测推荐结果，然后若推荐系统的运行日志不满足目标条件，判定待测推荐结果不符合与第三测试模式对应的预期需求，调整与第三待测参数关联的推荐策略。本方案通过线上系统的每日自检，可以及时检测推荐系统的推荐结果是否符合正常范围，以便于如果存在问题，可以及时排查问题，提升推荐系统的稳定性与准确性。

请参阅图7，为本申请实施例提供的一种推荐系统测试装置的结构框图，本实施例提供一种推荐系统测试装置500，运行于推荐系统，所述装置500包括：获取模块510、第一处理模块520、第二处理模块530以及第三处理模块540：

获取模块510，用于获取与目标测试模式对应的待测参数。

可选的，待测参数包括第一待测参数，所述第一待测参数包括用于测试所述推荐系统的推荐功能的准确性的参数，所述目标测试模式包括第一测试模式。在这种方式下，获取模块510，具体可以用于获取第一测试模式；获取配置的与所述第一测试模式的测试功能适配的待测参数；将所述待测参数作为与所述第一测试模式对应的第一测试参数。

可选的，待测参数包括第二待测参数，所述第二待测参数包括用于测试所述推荐系统的推荐功能的抗压性能的参数，所述目标测试模式包括第二测试模式。在这种方式下，获取模块510，具体可以用于获取第二测试模式；获取配置的与所述第二测试模式的测试功能适配的待测参数；将所述待测参数作为与所述第二测试模式对应的第二测试参数。

可选的，待测参数包括第三待测参数，所述第三待测参数包括用于测试所述推荐系统的运行性能的参数，所述目标测试模式包括第三测试模式。在这种方式下，获取模块510，具体可以用于获取第三测试模式；获取配置的与所述第三测试模式的测试功能适配的待测参数；将所述待测参数作为与所述第三测试模式对应的第三测试参数。

第一处理模块520，用于生成与所述目标测试模式匹配的推荐请求。

第二处理模块530，用于发送携带所述待测参数的所述推荐请求给推荐系统，接收所述推荐系统返回的与所述待测参数对应的待测推荐结果。

第三处理模块540，用于若所述待测推荐结果不符合与所述目标测试模式对应的预期需求，调整与所述待测参数关联的推荐策略。

可选的，若所述待测推荐结果不符合与所述第一测试模式对应的预期需求，调整与所述第一待测参数关联的推荐策略，不同的待测推荐参数所关联的推荐策略不同。

可选的，若所述待测推荐结果不符合与所述第二测试模式对应的预期需求，调整与所述第二待测参数关联的推荐策略。

可选的，若所述运行日志不满足目标条件，判定所述待测推荐结果不符合与所述第三测试模式对应的预期需求，调整与所述第三待测参数关联的推荐策略。

本实施例提供的一种推荐系统测试装置，通过获取与目标测试模式对应的待测参数，继而生成与目标测试模式匹配的推荐请求，再发送携带待测参数的推荐请求给推荐系统，并接收推荐系统返回的与待测参数对应的待测推荐结果，然后若待测推荐结果不符合与目标测试模式对应的预期需求，调整与待测参数关联的推荐策略。本方案通过针对不同的测试模式而生成匹配的推荐请求的方式，可以在确定目标测试模式以及对应的待测参数后，生成与所述目标测试模式匹配的推荐请求。通过发送携带有与目标测试模式对应的待测参数的推荐请求给推荐系统，并接收推荐系统返回的与待测参数对应的待测推荐结果，在待测推荐结果不符合与目标测试模式对应的预期需求的情况下，调整与待测参数关联的推荐策略，实现了通过多种不同的独立测试方式分别对推荐系统的不同推荐性能进行测试，进而提升推荐系统的推荐性能的准确性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参阅图8，基于上述的推荐系统测试方法及装置，本申请实施例还提供了一种可以执行前述推荐系统测试方法的电子设备100。电子设备100包括存储器102以及相互耦合的一个或多个(图中仅示出一个)处理器104，存储器102以及处理器104之间通信线路连接。存储器102中存储有可以执行前述实施例中内容的程序，而处理器104可以执行存储器102中存储的程序。

其中，处理器104可以包括一个或者多个处理核。处理器104利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器102内的指令、程序、代码集或指令集，以及调用存储在存储器102内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器104可以采用数字信号处理(digitalsignalprocessing，dsp)、现场可编程门阵列(field－programmablegatearray，fpga)、可编程逻辑阵列(programmablelogicarray，pla)中的至少一种硬件形式来实现。处理器104可集成中央处理器(centralprocessingunit，cpu)、图像处理器(graphicsprocessingunit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器104中，单独通过一块通信芯片进行实现。

存储器102可以包括随机存储器(randomaccessmemory，ram)，也可以包括只读存储器(read-onlymemory)。存储器102可用于存储指令、程序、代码、代码集或指令集。存储器102可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现前述各个实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参考图9，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质600中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质600可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。可选地，计算机可读存储介质600包括非瞬时性计算机可读介质(non-transitorycomputer-readablestoragemedium)。计算机可读存储介质600具有执行上述方法中的任何方法步骤的程序代码610的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码610可以例如以适当形式进行压缩。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。