推荐模型优化方法、装置及产品推荐方法与流程

1.本发明涉及信息技术应用领域，尤其涉及一种推荐模型优化方法、装置及产品推荐方法。


背景技术：

2.目前信息社会进入了网络化的大数据时代，大数据需要通过快速获取、处理和分析。快速增加的数据给各种数据处理模型，比如推荐模型带来了严峻的挑战。推荐模型是根据用户习惯个性化推荐产品给用户的深度学习模型，目前的一些为了让推荐模型适应不断变化的数据而进行的推荐模型优化方法中，主要通过人工触发推荐模型优化，并且进行推荐模型优化时，需要人为地结合经验数据和业务理解来进行，存在需要耗费大量人力，且缺乏统一标准的问题，导致推荐模型优化方法的应用性较差。


技术实现要素：

3.本发明的主要目的在于：提供一种推荐模型优化方法、装置及产品推荐方法，旨在解决现有技术的推荐模型优化方法存在应用性较差的技术问题。
4.为实现上述目的，本发明采用如下技术方案：
5.第一方面，本发明提供了一种推荐模型优化方法，所述方法包括以下步骤：
6.获取训练数据集；
7.根据所述训练数据集，对目标推荐模型进行训练和预测，获得目标模型推荐响应率和训练模型推荐响应率；
8.根据所述目标模型推荐响应率和所述训练模型推荐响应率，判断是否达到模型优化触发条件，其中，所述模型优化触发条件为所述训练模型推荐响应率高于所述目标模型推荐响应率；
9.若达到模型优化触发条件，则根据预设参数调整规则，获得依次排序的参数变量，其中，所述参数变量按照对所述目标推荐模型推荐响应率的影响力大小排序；
10.根据所述依次排序的参数变量，按前向传播顺序对所述目标推荐模型依次进行网格搜索，获得最优推荐模型。
11.可选地，上述推荐模型优化方法中，所述根据所述训练数据集，对目标推荐模型进行训练和预测，获得目标模型推荐响应率和训练模型推荐响应率的步骤，具体包括：
12.根据所述训练数据集，对目标推荐模型进行预测，获得目标模型预测结果；
13.根据所述目标模型预测结果进行推荐，并获取用户交互反馈信息，以获得与所述目标推荐模型对应的目标模型推荐响应率；
14.根据所述用户交互反馈信息和所述训练数据集，对所述目标推荐模型进行多次训练，获得多个训练模型，并对所述多个训练模型分别进行预测，获得多个训练模型预测结果；
15.根据所述多个训练模型预测结果进行推荐，并获取用户交互反馈信息，以获得与
所述多个训练模型对应的多个训练模型推荐响应率。
16.可选地，上述推荐模型优化方法中，所述根据所述目标模型推荐响应率和所述训练模型推荐响应率，判断是否达到模型优化触发条件的步骤，具体包括：
17.比较所述多个训练模型推荐响应率和所述目标模型推荐响应率，判断是否达到模型优化触发条件；
18.若所述多个训练模型推荐响应率中有一个推荐响应率高于所述目标模型推荐响应率，判定达到模型优化触发条件；
19.若所述多个训练模型推荐响应率均不高于所述目标模型推荐响应率，判定未达到模型优化触发条件。
20.可选地，上述推荐模型优化方法中，所述根据预设参数调整规则，获得依次排序的参数变量的步骤，具体包括：
21.根据预设参数调整规则，分别对所述目标推荐模型的多个实时参数按预设参数变化比例进行调整，获得多个调整参数；
22.根据每个调整参数，对所述目标推荐模型进行训练，获得与所述多个调整参数对应的多个参考推荐模型；
23.将所述多个参考推荐模型按照推荐响应率由大到小排序，获得对应的依次排序的参数变量。
24.可选地，上述推荐模型优化方法中，所述根据所述依次排序的参数变量，按前向传播顺序对所述目标推荐模型依次进行网格搜索，获得最优推荐模型的步骤，具体包括：
25.根据所述依次排序的参数变量，确定前向传播顺序；
26.针对每个参数变量，按所述前向传播顺序对所述目标推荐模型依次进行网格搜索，获得参数变量最优值，以获得所述参数变量最优值对应的优化推荐模型；
27.当前向传播结束时，将最终获得的优化推荐模型确定为最优推荐模型。
28.可选地，上述推荐模型优化方法中，所述获取训练数据集的步骤，具体包括：
29.根据用户交互实时信息、用户交互历史信息和用户交互反馈信息中的至少一种，获取训练数据集。
30.第二方面，本发明提供了一种产品推荐方法，所述方法包括以下步骤：
31.获取显示产品相关信息的用户界面上的用户交互信息；
32.将所述产品相关信息和所述用户交互信息输入最优推荐模型，以获得推荐产品相关信息；其中，所述最优推荐模型根据上述的推荐模型优化方法获得；
33.在所述用户界面上显示所述推荐产品相关信息对应的推荐产品。
34.第三方面，本发明提供了一种推荐模型优化装置，所述装置包括：
35.数据集获取模块，用于获取训练数据集；
36.预测训练模块，用于根据所述训练数据集，对目标推荐模型进行训练和预测，获得目标模型推荐响应率和训练模型推荐响应率；
37.触发判断模块，用于根据所述目标模型推荐响应率和所述训练模型推荐响应率，判断是否达到模型优化触发条件，其中，所述模型优化触发条件为所述训练模型推荐响应率高于所述目标模型推荐响应率；
38.参数变量获取模块，用于若达到模型优化触发条件，则根据预设参数调整规则，获
得依次排序的参数变量，其中，所述参数变量按照对所述目标推荐模型推荐响应率的影响力大小排序；
39.前向优化模块，用于根据所述依次排序的参数变量，按前向传播顺序对所述目标推荐模型依次进行网格搜索，获得最优推荐模型。
40.第四方面，本发明提供了一种计算机设备，所述设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，实现如上述的推荐模型优化方法。
41.第五方面，本发明提供了一种存储介质，其上存储有计算机程序，所述计算机程序可被一个或多个处理器执行，以实现如上述的推荐模型优化方法。
42.本发明提供的上述一个或多个技术方案，可以具有如下优点或至少实现了如下技术效果：
43.本发明提出的一种推荐模型优化方法、装置及产品推荐方法，通过根据训练数据集对目标推荐模型进行训练和预测，获得目标模型推荐响应率和训练模型推荐响应率，从而判断是否达到模型优化触发条件，相比现有的直接进行优化的方式，可视化配置触发条件，防止产生无效优化，造成计算资源的浪费；再在达到模型优化触发条件时，根据预设参数调整规则，获得按照对目标推荐模型推荐响应率的影响力大小依次排序的参数变量，及时发现模型性能下滑，立即进行模型优化，时效性有保障；然后根据参数变量，按前向传播顺序对目标推荐模型依次进行网格搜索，获得最优推荐模型，可视化配置优化参数，运用前向传播的网格搜索来进行推荐模型优化，可以支持包含多个算法的推荐模型，提升了方法的应用性；实现了自动化、智能化地优化推荐模型的目的，达到减少了人工参与，节省了大量人力、物力和财力，提升了应用性的效果。
附图说明
44.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的这些附图获得其他的附图。
45.图1为本发明推荐模型优化方法第一实施例的流程示意图；
46.图2为本发明涉及的计算机设备的硬件结构示意图；
47.图3为本发明推荐模型优化方法第二实施例的步骤s20和s30的细化流程示意图；
48.图4为本发明推荐模型优化方法第二实施例的步骤s50中对目标推荐模型进行网格搜索的演变示意图；
49.图5为本发明产品推荐方法第一实施例的流程示意图；
50.图6为本发明推荐模型优化装置第一实施例的功能模块示意图。
51.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
52.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发
明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
53.需要说明，在本发明中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
54.在本发明中，若有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
55.对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。另外，各个实施例的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
56.对现有技术的分析发现，目前信息社会进入了网络化的大数据时代，大数据需要通过快速获取、处理、分析，以从中提取有价值的、海量的、多样化的交易数据或交互数据等，其主要特征包括：海量、类型繁多、增长迅速、价值巨大等。快速增加的数据给各种数据处理模型，比如推荐模型带来了严峻的挑战，同时也带来了丰富的模型优化空间。推荐模型是根据用户习惯个性化推荐产品给用户的深度学习模型，如何节省人力、物力、财力做到推荐模型的自动迭代优化，以让推荐模型适应不断变化的数据是一个值得探讨的问题，现有技术中对上述问题的解决方案包含两个方面：
57.第一方面，在触发模型优化时，一般包括以下几种方式：
58.1)手工触发，人工手动判断何时触发模型优化，触发的标准由专家经验来确定，即需要人工判断何时来触发模型，比如由工作人员基于历史数据来判断模型性能是否下降，再触发模型优化；这种触发方式在进行人工判断之前需要大量的计算和调研工作，耗费较大人力，并且这种方式容易导致模型优化滞后的情况；
59.2)定时触发，设置一个固定时间点来配置模型优化，比如设置每天的某个时间点、每周的某个固定时间点以及每月的某个固定时间点等，只要时间符合就可以启动模型优化工作；这种触发方式对触发模型优化时模型性能是否下滑、下滑到了什么程度均无法获知，若触发优化后模型性能下滑，将导致模型应用效果变差，若模型性能已经稳定或者触发优化后模型性能未提升，则本轮优化为无效优化，将导致耗费大量的计算资源；
60.3)条件触发，必须符合条件才可以启动模型优化，对时间没有限制，条件的设定需要前期调研；这种触发方式必须符合条件才可以启动模型优化，条件的设置因人而异，缺乏统一标准，条件设置过于严苛，可能导致模型优化不被触发，条件设置过于宽松，又可能导致频繁触发无效优化，将造成计算资源的浪费。
61.第二方面，在对模型进行优化时，一般包括以下几种方式：
62.1)从算法层面进行优化，通过不断优化算法参数来进行，这种方法主要基于一个
算法的模型来进行优化；这种方式只能针对单一算法的推荐模型进行优化，无法适应多种算法的不同产品的推荐模型；
63.2)从业务层面进行优化，通过前期的数据理解、分析、初步建模，人工判断推荐模型中有没有明显的业务逻辑未被发现、有没有更加直观的指标可以替代复杂的模型、能否有新发现颠覆之前的业务推测即产品推荐结果或者目标变量定义是否稳定等等；这种方式优化前期熟悉数据、分析数据需要耗费大量的人力；
64.3)从建模层面进行优化，在总体技术思路上进行优化，包括不同的建模算法、不同的抽样方法、细分群体来分别建模等等；这种方式需要工作人员根据经验结合实际数据、业务理解来进行，需要大量的人工参与。
65.总体来说，现有技术的推荐模型优化存在需要耗费大量人力和大量计算资源，且缺乏统一的优化触发标准，以及适用性较差的问题。
66.鉴于现有技术中推荐模型优化方法存在应用性较差的技术问题，本发明提供了一种推荐模型优化方法，总体思路如下：
67.获取训练数据集；根据所述训练数据集，对目标推荐模型进行训练和预测，获得目标模型推荐响应率和训练模型推荐响应率；根据所述目标模型推荐响应率和所述训练模型推荐响应率，判断是否达到模型优化触发条件，其中，所述模型优化触发条件为所述训练模型推荐响应率高于所述目标模型推荐响应率；若达到模型优化触发条件，则根据预设参数调整规则，获得依次排序的参数变量，其中，所述参数变量按照对所述目标推荐模型推荐响应率的影响力大小排序；根据所述依次排序的参数变量，按前向传播顺序对所述目标推荐模型依次进行网格搜索，获得最优推荐模型。
68.通过上述技术方案，根据训练数据集对目标推荐模型进行训练和预测，获得目标模型推荐响应率和训练模型推荐响应率，从而判断是否达到模型优化触发条件，相比现有的直接进行优化的方式，可视化配置触发条件，防止产生无效优化，造成计算资源的浪费；再在达到模型优化触发条件时，根据预设参数调整规则，获得按照对目标推荐模型推荐响应率的影响力大小依次排序的参数变量，及时发现模型性能下滑，立即进行模型优化，时效性有保障；然后根据参数变量，按前向传播顺序对目标推荐模型依次进行网格搜索，获得最优推荐模型，可视化配置优化参数，运用前向传播的网格搜索来进行推荐模型优化，可以支持包含多个算法的推荐模型，提升了方法的应用性；实现了自动化、智能化地优化推荐模型的目的，达到减少了人工参与，节省了大量人力、物力和财力，提升了应用性的效果。
69.实施例一
70.参照图1的流程示意图，提出本发明推荐模型优化方法的第一实施例，该推荐模型优化方法应用于计算机设备。
71.所述计算机设备是指能够实现网络连接的终端设备或网络连接设备，所述计算机设备可以是手机、电脑、平板电脑、嵌入式工控机等终端设备，也可以是服务器等网络设备。
72.如图2所示，为计算机设备的硬件结构示意图。所述设备可以包括：处理器1001，例如cpu(central processing unit，中央处理器)，通信总线1002，用户接口1003，网络接口1004，存储器1005。
73.本领域技术人员可以理解，图2中示出的硬件结构并不构成对本发明计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
74.具体的，通信总线1002用于实现这些组件之间的连接通信；
75.用户接口1003用于连接客户端，与客户端进行数据通信，用户接口1003可以包括输出单元，如显示屏、输入单元，如键盘，可选的，用户接口1003还可以包括其他输入/输出接口，比如标准的有线接口、无线接口；
76.网络接口1004用于连接后台服务器，与后台服务器进行数据通信，网络接口1004可以包括输入/输出接口，比如标准的有线接口、无线接口，如wi-fi接口；
77.存储器1005用于存储各种类型的数据，这些数据例如可以包括该设备中任何应用程序或方法的指令，以及应用程序相关的数据，存储器1005可以是高速ram存储器，也可以是稳定的存储器，例如磁盘存储器，可选的，存储器1005还可以是独立于所述处理器1001的存储装置；
78.具体的，继续参照图2，存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及计算机程序，其中，网络通信模块主要用于连接服务器，与服务器进行数据通信；
79.处理器1001用于调用存储器1005中存储的计算机程序，并执行以下操作：
80.获取训练数据集；
81.根据所述训练数据集，对目标推荐模型进行训练和预测，获得目标模型推荐响应率和训练模型推荐响应率；
82.根据所述目标模型推荐响应率和所述训练模型推荐响应率，判断是否达到模型优化触发条件，其中，所述模型优化触发条件为所述训练模型推荐响应率高于所述目标模型推荐响应率；
83.若达到模型优化触发条件，则根据预设参数调整规则，获得依次排序的参数变量，其中，所述参数变量按照对所述目标推荐模型推荐响应率的影响力大小排序；
84.根据所述依次排序的参数变量，按前向传播顺序对所述目标推荐模型依次进行网格搜索，获得最优推荐模型。
85.基于上述的计算机设备，下面结合图1所示的流程示意图，对本实施例的推荐模型优化方法进行详细描述。所述方法可以包括以下步骤：
86.步骤s10：获取训练数据集。
87.具体的，在计算机设备上，应用程序运用目标推荐模型进行产品推荐，比如，购物平台运用商品推荐模型进行商品推荐，视频播放平台运用视频推荐模型进行视频推荐，新闻平台运用新闻推荐模型进行新闻推荐等等，目的是让获取用户感兴趣的产品，比如商品、新闻、视频等等，并将推荐产品推送给用户，以将推荐的产品相关信息，比如商品图标，新闻标题、视频首页等等，显示在用户界面上。用户在用户界面上触控产品相关信息，即可获取到用户交互历史信息和用户交互实时信息。比如，用户点击商品图标查看商品详情，用户点击新闻标题阅读新闻，用户点击视频首页查看视频内容等等的用户操作信息，将这些用户操作信息纳入训练数据集，以备使用。
88.步骤s20：根据所述训练数据集，对目标推荐模型进行训练和预测，获得目标模型推荐响应率和训练模型推荐响应率。
89.具体的，预测是基于目标推荐模型当前状态进行的，训练是基于当前状态的目标推荐模型进行的。预测时，以步骤s10获得的训练数据集为输入，根据目标推荐模型进行预测，输出第一预测结果，也就是预测的产品推荐结果。将第一预测结果显示给用户界面，用
户在用户界面进行操作，获得对应的用户操作信息，比如推荐了5个产品给用户，用户对应地点击了其中的3个，之后进行刷新，获取了下一次的推荐结果。那么，基于本次的第一预测结果，获得目标模型推荐响应率为60％，根据该响应率可以知晓该目标推荐模型的推荐效果。训练时，可以直接根据步骤s10获得的训练数据集进行目标推荐模型的训练，也可以结合训练数据集和第一预测结果对应的用户交互信息对目标推荐模型进行训练。训练后获得一个或多个训练模型，该模型为新增的与目标推荐模型同类型但不同参数的模型。继续以训练数据为输入，根据训练模型进行预测，输出一个或多个第二预测结果，也就是预测的产品推荐结果。将这一个或多个第二预测结果显示给用户界面，可以获得对应的用户操作信息，从而获得对应的一个或多个推荐响应率，即训练模型推荐响应率，根据该响应率可以知晓上述一个或多个训练模型各自的推荐效果。
90.步骤s30：根据所述目标模型推荐响应率和所述训练模型推荐响应率，判断是否达到模型优化触发条件，其中，所述模型优化触发条件为所述训练模型推荐响应率高于所述目标模型推荐响应率。
91.具体的，如果训练模型的推荐效果比当前的目标推荐模型的推荐效果差，说明该目标推荐模型没有可以优化的空间，也就没必要进行模型优化，如果强行进行模型优化，也将会是无效优化，还会造成浪费资源，因此，很有必要做推荐模型优化触发条件的判断。当然，如果训练出的一个或多个训练模型对应的推荐效果中有一个优于该目标推荐模型的推荐效果，说明当前的目标推荐模型还不是最优模型，则有必要对该目标推荐模型进行参数优化，以更准确地推荐产品给用户。
92.步骤s40：若达到模型优化触发条件，则根据预设参数调整规则，获得依次排序的参数变量，其中，所述参数变量按照对所述目标推荐模型推荐响应率的影响力大小排序。
93.具体的，在对推荐模型优化时，模型中涉及的参数在每次优化时的增减比例都是预先设定的，比如，参数t1的变化比例可以是增加或减少10％或20％，参数t2的变化比例可以是增加10％或20％等等。通过将不同的参数变量按照一定的比例增加或减少后，分别对目标推荐模型进行优化训练，可以获得对应不同的推荐参考模型。其中，优化训练时，变化的参数只有一个，其他参数保持不变。然后，根据每个推荐参考模型进行预测，并将产生的预测结果显示给用户，以获取用户操作信息，这样可以获得每个推荐参考模型的推荐响应率，根据推荐响应率即可知晓每个推荐参考模型的推荐效果或模型性能的增减情况，对比这些推荐效果或模型性能的增减情况，可以获得每个参数变量对目标推荐模型的影响力大小，从而可以获得依次排序的参数变量。
94.步骤s50：根据所述依次排序的参数变量，按前向传播顺序对所述目标推荐模型依次进行网格搜索，获得最优推荐模型。
95.具体的，根据依次排序的参数变量，根据第一个参数变量对目标推荐模型进行网格搜索，获得第一个参数的最优值和对应的第一优化模型，接着根据排序第二的参数变量对第一优化模型进行网格搜索，获得第二个参数的最优值和进一步优化的第二优化模型，按上述方法依次对所有参数变量进行网格搜索，直到获得最后一个参数的最优值，以及对应的优化模型。此时，即已获得所有参数的最优值，该最后的优化模型即为最优推荐模型。
96.本实施例提供的推荐模型优化方法，通过根据训练数据集对目标推荐模型进行训练和预测，获得目标模型推荐响应率和训练模型推荐响应率，从而判断是否达到模型优化
触发条件，相比现有的直接进行优化的方式，可视化配置触发条件，防止产生无效优化，造成计算资源的浪费；再在达到模型优化触发条件时，根据预设参数调整规则，获得按照对目标推荐模型推荐响应率的影响力大小依次排序的参数变量，及时发现模型性能下滑，立即进行模型优化，时效性有保障；然后根据参数变量，按前向传播顺序对目标推荐模型依次进行网格搜索，获得最优推荐模型，可视化配置优化参数，运用前向传播的网格搜索来进行推荐模型优化，可以支持包含多个算法的推荐模型，提升了方法的应用性；实现了自动化、智能化地优化推荐模型的目的，达到减少了人工参与，节省了大量人力、物力和财力，提升了应用性的效果。
97.实施例二
98.基于同一发明构思，参照图1至图4，提出本发明推荐模型优化方法的第二实施例，该推荐模型优化方法应用于计算机设备。
99.下面结合图1所示的流程示意图，对本实施例的推荐模型优化方法进行详细描述。所述方法可以包括以下步骤：
100.步骤s10：获取训练数据集。
101.具体的，所述步骤s10，可以包括：
102.步骤s11：根据用户交互实时信息、用户交互历史信息和用户交互反馈信息中的至少一种，获取训练数据集。
103.在具体实施过程中，推荐模型可以是任意产品推荐模型，比如，电商平台的商品推荐模型，视频平台的视频推荐模型，新闻平台的新闻推荐模型，具体可以根据实际需求选择目标推荐模型。选定目标推荐模型后，将该模型当前输出给用户界面显示的产品相关信息，比如商品图标、视频首页、新闻标题等等，对应的用户交互实时信息收集起来并存储；还可以结合用户交互历史信息一起，获得训练数据集。
104.该训练数据集具有三种来源途径：用户交互实时信息即最新数据，用户交互历史信息即历史累积数据，用户交互反馈信息即后续根据目标模型预测结果或训练模型预测结果进行推荐时采集的数据。为了节省计算资源以及存储资源，历史累计数据可以为累计一段时间的数据，比如累计三个月、六个月的数据，同时支持保存样本数据。三种来源的数据可以组合起来组成训练数据集，即可以是用户交互实时信息、用户交互历史信息和用户交互反馈信息中的任意一种，任意两种或三种均包括的情况。这些数据可以由数据库、ftp(file transfer protocol，文件传输协议)、本地文件等方式加载，数据库支持gbase数据库、hbase数据库、hive(数据仓库工具)、mysql(关系型数据库管理系统)等等，ftp文件加载需要提前配置好ftp服务器。
105.步骤s20：根据所述训练数据集，对目标推荐模型进行训练和预测，获得目标模型推荐响应率和训练模型推荐响应率。
106.具体的，如图3所示的细化流程示意图，所述步骤s20，可以包括：
107.步骤s21：根据所述训练数据集，对目标推荐模型进行预测，获得目标模型预测结果；
108.步骤s22：根据所述目标模型预测结果进行推荐，并获取用户交互反馈信息，以获得与所述目标推荐模型对应的目标模型推荐响应率；
109.步骤s23：根据所述用户交互反馈信息和所述训练数据集，对所述目标推荐模型进
行多次训练，获得多个训练模型，并对所述多个训练模型分别进行预测，获得多个训练模型预测结果；
110.步骤s24：根据所述多个训练模型预测结果进行推荐，并获取用户交互反馈信息，以获得与所述多个训练模型对应的多个训练模型推荐响应率。
111.在具体实施过程中，根据步骤s10的训练数据集，对选定为目标的产品推荐模型进行预运行，将训练数据集中的数据作为输入，输出一个目标模型预测结果，即预测得到产品推荐结果，比如推荐商品的图标。将这些商品图标推送到用户界面，用户即可点击其中感兴趣的商品图标，以查看详细的商品信息，那么该商品图标即为有效推荐。但并不是所有商品图标都会被用户点击，因此，需要在用户刷新用户界面之前，获取用户对该界面的交互反馈信息，再根据推荐商品数量和用户点击数量获得与该产品推荐模型对应的目标模型推荐响应率。比如，展示了10个商品信息给用户，用户点击了其中6个，那么此时的目标模型推荐响应率为60％。
112.然后对前述模拟推荐的商品图标推送到用户界面时获取的用户对该界面的交互反馈信息中的有效数据进行采样，获得样本数据。根据该样本数据和前述训练数据集，对选定为目标的产品推荐模型进行一次或多次训练，获得多个训练模型。再按参照上述对目标推荐模型进行预测的实施过程，对每个训练模型进行预测，并获得对应的训练模型推荐响应率，具体过程此处不再赘述。
113.步骤s30：根据所述目标模型推荐响应率和所述训练模型推荐响应率，判断是否达到模型优化触发条件，其中，所述模型优化触发条件为所述训练模型推荐响应率高于所述目标模型推荐响应率。
114.具体的，继续结合图3所示的细化流程示意图，所述步骤s30，可以包括：
115.步骤s31：比较所述多个训练模型推荐响应率和所述目标模型推荐响应率，判断是否达到模型优化触发条件；
116.步骤s32：若所述多个训练模型推荐响应率中有一个推荐响应率高于所述目标模型推荐响应率，判定达到模型优化触发条件；
117.步骤s33：若所述多个训练模型推荐响应率均不高于所述目标模型推荐响应率，判定未达到模型优化触发条件。
118.在具体实施过程中，如果根据一个模型输出的推荐结果获得的推荐响应率较高，说明该模型的推荐效果较好，且该模型的模型性能较高。而模型优化的最终目的就是为了提高模型性能，达到更好的推荐效果。因此，通过比较步骤s20进行预测和训练得到的多个训练模型推荐响应率和目标模型推荐响应率，可以判断当前是否达到模型优化触发条件，只有达到模型触发条件时进行模型优化才不至于造成无效优化，甚至反而让模型性能下降了。
119.对多个训练模型推荐响应率和目标模型推荐响应率进行比较，当多个训练模型推荐响应率中有一个推荐响应率高于目标模型推荐响应率，则判定当前满足模型优化触发条件，后续进行模型优化得到的优化模型的模型性能和推荐效果才会比现在的目标推荐模型高。而当多个训练模型推荐响应率均不高于目标模型推荐响应率时，说明当前的目标推荐模型已经是最优的模型，后续没有必要再对其进行优化，即使进行了优化，也不会产生性能更好或推荐效果更好的模型，否则会造成资源的浪费。此时，可以返回步骤s10继续获取训
练数据集，同时，将预测和训练过程中采集的用户交互反馈信息归入训练数据集，继续对该目标推荐模型进行实时监控，并且后续会继续判断是否满足优化触发条件，以进行模型优化。
120.上述步骤s20和s30进行模型优化触发判断，创造性提出了一种回测触发方式，基于历史已经发生过的真实用户数据，在历史上某一个时间点开始，按照设定进行推演，并模拟真实产品推荐场景进行产品推荐，用户反馈等等，得出一个时间段内的推荐响应率等数据，从而可以比对推荐效果，以判断是否需要启动后续的推荐模型优化步骤，实现了自动、智能地触发推荐模型优化的技术效果。
121.步骤s40：若达到模型优化触发条件，则根据预设参数调整规则，获得依次排序的参数变量，其中，所述参数变量按照对所述目标推荐模型推荐响应率的影响力大小排序。
122.具体的，所述步骤s40，可以包括：
123.步骤s41：根据预设参数调整规则，分别对所述目标推荐模型的多个实时参数按预设参数变化比例进行调整，获得多个调整参数。
124.在具体实施过程中，为了方便理解，本实施例定义一个包含三个参数t1、t2和t3的目标推荐模型。目标推荐模型可以是初始建立的模型，也可以是当前已经训练好的模型，具体根据实际情况选择，选择具有多样化。目标推荐模型也可以是多个模型，即本方法可以同时进行多个模型的优化工作。预设参数调整规则为对每个参数设定的可以调整的方向和比例，即按照一定的比例增加或者减少，比如，设定参数t1可以增加或减少10％、20％、30％，设定参数t2可以增加10％、20％、30％，设定参数t3可以减少10％、20％等等，具体可以根据实际情况设定。
125.根据预设参数调整规则，对目标推荐模型的多个实时参数t1、t2和t3按预设参数变化比例进行调整，获得对应的多个调整参数t1’、t2’和t3’。比如，对参数t1增加10％、对参数t2增加20％，对参数t3减少10％，可以获得调整参数t1’、t2’和t3’。
126.步骤s42：根据每个调整参数，对所述目标推荐模型进行训练，获得与所述多个调整参数对应的多个参考推荐模型。
127.在具体实施过程中，控制目标推荐模型的其他参数不变，按照调整参数对模型进行重新训练，得到对应的参考推荐模型。比如，获得a’、b和c构成的参考推荐模型t1，a、b’和c构成的参考推荐模型t2，a、b和c’构成的参考推荐模型t3。
128.步骤s43：将所述多个参考推荐模型按照推荐响应率由大到小排序，获得对应的依次排序的参数变量。
129.在具体实施过程中，对上述参考推荐模型t1、t2和t3进行预测，可以对应获得预测结果r1、预测结果r2和预测结果r3，分别显示给用户并获取对应的用户操作信息，可以得到三个推荐响应率p1、p2和p3，根据推荐响应率的大小可以知晓模型的性能变化情况，进而得到参数变化对模型的影响情况。按照推荐响应率由大到小排序这三个参考推荐模型，即可得到按该顺序排序的对应的参数变量对目标推荐模型的影响力依次减小。比如，预测结果中r2对应的推荐响应率p2最大，预测结果r1对应的推荐响应率p1次之，预测结果r3对应的推荐响应率p3最小，则这三个参数变量t1、t2和t3对目标推荐模型推荐响应率的影响力最大的是t2，t1次之，t3最小，因此可以获得按t2、t1、t3排序的参数变量。
130.在另一种实施方式中，所述方法还包括：
131.步骤s40’：若未达到模型优化触发条件，则返回获取训练数据集的步骤，以将所述用户交互反馈信息纳入所述训练数据集。
132.具体的，将根据所述目标模型预测结果进行推荐时获取的用户交互反馈信息，以及根据所述多个训练模型预测结果进行推荐时获取的用户交互反馈信息纳入所述训练数据集。
133.步骤s50：根据所述依次排序的参数变量，按前向传播顺序对所述目标推荐模型依次进行网格搜索，获得最优推荐模型。
134.具体的，所述步骤s50，可以包括：
135.步骤s51：根据所述依次排序的参数变量，确定前向传播顺序。
136.在具体实施过程中，根据步骤s40确定的参数变量对应确定前向传播顺序，前向传播是由前往后进行的一个算法，前向传播顺序即进行推荐模型参数优化的先后顺序。比如，对本实施例的目标推荐模型，按t2、t1、t3排序的参数变量对应确定的前向传播顺序为按t2、t1、t3的顺序进行后续操作。
137.步骤s52：针对每个参数变量，按所述前向传播顺序对所述目标推荐模型依次进行网格搜索，获得参数变量最优值，以获得所述参数变量最优值对应的优化推荐模型。
138.具体的，网格搜索(grid search)就是确定一个模型想要改动的参数，然后利用穷举法来将所用的参数都运行一遍，可以自动对变化的参数进行组合，得出每个组合的模型效果，通过比较其效果来选出最佳参数组合。进行网格搜索时，对参数变量进行改动，可以根据预设规则进行改动，或选择改动预设数量的改动值。
139.在具体实施过程中，如图4所示的演变示意图，将目标推荐模型定义为模型a，对模型a进行网格搜索，即对参数t2进行改动，此处只取5个改动值。改动为t21、t22、t23、t24、t25等等，此时，保持参数t1和t3不变，利用穷举法将改动后的参数均运行一遍，选择一个最优的参数，比如t22为参数t2的最优值，则获得了以t22、t1和t3构成的优化推荐模型，定义为模型a1；继续根据参数t1对模型a1进行网格搜索，具体过程不再赘述，假设获得参数t1的最优值t13，从而获得了以t22、t13和t3构成的优化推荐模型，定义为模型a2；再根据参数t3对模型a2进行网格搜索，具体过程不再赘述，假设获得参数t3的最优值t35，则获得以t22、t13和t35构成的最终的优化推荐模型，定义为最终模型。
140.步骤s53：当前向传播结束时，将最终获得的优化推荐模型确定为最优推荐模型。
141.具体的，当按步骤s52的方法按前向传播顺序对目标推荐模型依次进行网格搜索，获得最终模型后，将该最终模型确定为最优推荐模型。后续应用时就以该最优推荐模型进行应用。
142.本实施例提供的推荐模型优化方法，通过可视化配置模型优化回测触发条件，实时且数据化地展示模型推荐效果，只需配置一次就可以实时判断是否需要触发模型优化，实现智能化触发模型优化；运用前向传播网格搜索方法进行模型优化，考虑多模型、多数据源的融合，除了优化原有模型，还支持对根据训练数据集优化后的模型继续进行训练优化；节省了大量的人力、物力，通过比较训练模型推荐响应率和目标模型推荐响应率，能够及时发现模型性能下滑，立即进行模型优化，时效性有保障。
143.实施例三
144.基于同一发明构思，参照图5，提出本发明产品推荐方法的第一实施例，该方法应
用于计算机设备。
145.下面结合图5所示的流程示意图，对本实施例提供的产品推荐方法进行详细描述，所述方法可以包括以下步骤：
146.步骤s1：获取显示产品相关信息的用户界面上的用户交互信息。
147.具体的，产品可以是商品、视频或新闻等，产品相关信息可以是商品图标、视频首页或新闻标题，在计算机设备上运用对应的应用程序，以将产品相关信息展示给用户，从而获取用户交互信息。
148.步骤s2：将所述产品相关信息和所述用户交互信息输入最优推荐模型，以获得推荐产品相关信息；其中，所述最优推荐模型根据上述的推荐模型优化方法获得。
149.步骤s3：在所述用户界面上显示所述推荐产品相关信息对应的推荐产品。
150.具体的，获得最优推荐模型后，实际运行该最优推荐模型可以获得实际的推荐产品，比如推荐的商品、视频、新闻等等，最后显示给用户即可。
151.上述方法步骤的具体实施方式中更多实施细节可参见实施例一或实施例二中具体实施方式的描述，为了说明书的简洁，此处不再重复赘述。
152.实施例四
153.基于同一发明构思，参照图6，提出本发明推荐模型优化装置的第一实施例，该推荐模型优化装置可以为虚拟装置，应用于计算机设备。
154.下面结合图6所示的功能模块示意图，对本实施例提供的推荐模型优化装置进行详细描述，所述装置可以包括：
155.数据集获取模块，用于获取训练数据集；
156.预测训练模块，用于根据所述训练数据集，对目标推荐模型进行训练和预测，获得目标模型推荐响应率和训练模型推荐响应率；
157.触发判断模块，用于根据所述目标模型推荐响应率和所述训练模型推荐响应率，判断是否达到模型优化触发条件，其中，所述模型优化触发条件为所述训练模型推荐响应率高于所述目标模型推荐响应率；
158.参数变量获取模块，用于若达到模型优化触发条件，则根据预设参数调整规则，获得依次排序的参数变量，其中，所述参数变量按照对所述目标推荐模型推荐响应率的影响力大小排序；
159.前向优化模块，用于根据所述依次排序的参数变量，按前向传播顺序对所述目标推荐模型依次进行网格搜索，获得最优推荐模型。
160.进一步地，所述数据集获取模块，具体用于：
161.根据用户交互实时信息、用户交互历史信息和用户交互反馈信息中的至少一种，获取训练数据集。
162.进一步地，所述预测训练模块，可以包括：
163.目标模型预测结果获取单元，用于根据所述训练数据集，对目标推荐模型进行预测，获得目标模型预测结果；
164.目标模型推荐响应率获取单元，用于根据所述目标模型预测结果进行推荐，并获取用户交互反馈信息，以获得与所述目标推荐模型对应的目标模型推荐响应率；
165.训练模型预测结果获取单元，用于根据所述用户交互反馈信息和所述训练数据
集，对所述目标推荐模型进行多次训练，获得多个训练模型，并对所述多个训练模型分别进行预测，获得多个训练模型预测结果；
166.训练模型推荐响应率获取单元，用于根据所述多个训练模型预测结果进行推荐，并获取用户交互反馈信息，以获得与所述多个训练模型对应的多个训练模型推荐响应率。
167.进一步地，所述触发判断模块，可以包括：
168.模型优化触发条件判断单元，用于比较所述多个训练模型推荐响应率和所述目标模型推荐响应率，判断是否达到模型优化触发条件；
169.第一比较结果获取单元，用于若所述多个训练模型推荐响应率中有一个推荐响应率高于所述目标模型推荐响应率，判定达到模型优化触发条件；
170.第二比较结果获取单元，用于若所述多个训练模型推荐响应率均不高于所述目标模型推荐响应率，判定未达到模型优化触发条件。
171.进一步地，所述参数变量获取模块，可以包括：
172.调整参数获取单元，用于根据预设参数调整规则，分别对所述目标推荐模型的多个实时参数按预设参数变化比例进行调整，获得多个调整参数；
173.参考推荐模型获取单元，用于根据每个调整参数，对所述目标推荐模型进行训练，获得与所述多个调整参数对应的多个参考推荐模型；
174.参数变量获取单元，将所述多个参考推荐模型按照推荐响应率由大到小排序，获得对应的依次排序的参数变量。
175.进一步地，所述前向优化模块，可以包括：
176.前向传播顺序确定单元，用于根据所述依次排序的参数变量，确定前向传播顺序；
177.网格搜索单元，用于针对每个参数变量，按所述前向传播顺序对所述目标推荐模型依次进行网格搜索，获得参数变量最优值，以获得所述参数变量最优值对应的优化推荐模型；
178.最优推荐模型获取单元，用于当前向传播结束时，将最终获得的优化推荐模型确定为最优推荐模型。
179.需要说明，本实施例提供的推荐模型优化装置中各个模块可实现的功能和对应达到的技术效果可以参照本发明推荐模型优化方法各个实施例中具体实施方式的描述，为了说明书的简洁，此处不再赘述。
180.实施例五
181.基于同一发明构思，参照图2，为本发明各实施例涉及的计算机设备的硬件结构示意图。本实施例提供了一种计算机设备，所述设备可以包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，实现本发明推荐模型优化方法各个实施例的全部或部分步骤或产品推荐方法的全部或部分步骤。
182.具体的，所述计算机设备是指能够实现网络连接的终端设备或网络连接设备，可以是手机、电脑、平板电脑、便携计算机等终端设备，也可以是服务器、云平台等网络设备。
183.可以理解，所述设备还可以包括通信总线，用户接口和网络接口。
184.其中，通信总线用于实现这些组件之间的连接通信。
185.用户接口用于连接客户端，与客户端进行数据通信，用户接口可以包括输出单元，如显示屏、输入单元，如键盘，可选的，用户接口还可以包括其他输入/输出接口，比如标准
的有线接口、无线接口。
186.网络接口用于连接后台服务器，与后台服务器进行数据通信，网络接口可以包括输入/输出接口，比如标准的有线接口、无线接口，如wi-fi接口。
187.存储器用于存储各种类型的数据，这些数据例如可以包括该计算机设备中任何应用程序或方法的指令，以及应用程序相关的数据。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(static random access memory，简称sram)，可擦除可编程只读存储器(erasable programmable read-only memory，简称eprom)，可编程只读存储器(programmable read-only memory，简称prom)，只读存储器(read-only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘，可选的，存储器还可以是独立于所述处理器的存储装置。
188.处理器用于调用存储器中存储的计算机程序，并执行如上述的推荐模型优化方法各个实施例的全部或部分步骤或产品推荐方法的全部或部分步骤，处理器可以是专用集成电路(application specific integrated circuit，简称asic)、数字信号处理器(digital signal processor，简称dsp)、数字信号处理设备(digital signal processing device，简称dspd)、可编程逻辑器件(programmable logic device，简称pld)、现场可编程门阵列(field programmable gate array，简称fpga)、控制器、微控制器、微处理器或其他电子元件，用于执行如上述推荐模型优化方法各个实施例的全部或部分步骤或产品推荐方法的全部或部分步骤。
189.实施例六
190.基于同一发明构思，本实施例提供了一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘、服务器、app应用商城等等，所述存储介质上存储有计算机程序，所述计算机程序可被一个或多个处理器执行，所述计算机程序被处理器执行时可以实现本发明推荐模型优化方法各个实施例的全部或部分步骤或产品推荐方法的全部或部分步骤。
191.需要说明，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
192.以上所述仅为本发明的可选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均包括在本发明的专利保护范围内。