模型训练方法及装置、信息处理方法及装置与流程

文档序号:31455687发布日期:2022-09-07 14:32阅读:85来源:国知局
模型训练方法及装置、信息处理方法及装置与流程

1.本发明涉及计算机技术,尤其涉及一种模型训练方法及装置、信息处理方法及装置。


背景技术:

2.用户通常会向业务机构申请办理需要的业务,在申请成功时,业务机构会将业务相关的内容发放给用户。
3.在业务的办理过程中,会存在已经成功获得发放内容的用户,引导其他用户来进行业务申请的行为。为了有效的提升业务办理的数量,通常会采用全覆盖的方式,向已经成功申请并办理业务的用户推送推荐信息,以使得成功申请的用户引导其余用户进行业务申请。
4.然而,因为成功办理业务的用户数量是巨大的,全覆盖的方式会向所有成功办理业务的客户均推送信息,从而会导致信息推送缺乏针对性。


技术实现要素:

5.本发明的主要目的在于提供一种模型训练方法及装置、信息处理方法及装置,旨在提升信息推送的针对性和有效性。
6.为实现上述目的,本发明提供一种模型训练方法,所述模型训练方法包括:
7.获取至少一组训练样本,其中,任一组所述训练样本中包括样本对象的样本对象特征;
8.根据所述至少一组训练样本,对所述预估模型进行训练,其中,所述预估模型用于根据所述样本对象特征,输出所述样本对象的引导概率,所述引导概率用于指示所述样本对象引导其他对象在所述业务系统注册的概率;
9.对训练后的所述预估模型进行测试,确定所述预估模型的测试结果参数;
10.根据所述测试结果参数,确定训练完成的预估模型。
11.以及,本发明提供一种信息处理方法,所述信息处理方法包括:
12.在所述预设数据库中获取至少一个第一对象的对象特征,其中,所述第一对象为业务系统中已注册的对象;
13.通过预估模型对各所述对象特征进行处理,得到各所述第一对象各自对应的引导概率,所述引导概率用于指示所述第一对象引导第二对象在所述业务系统注册的概率;
14.根据各所述第一对象各自对应的引导概率以及各所述第一对象,在所述至少一个第一对象中确定目标对象,并向所述目标对象对应的设备发送推荐信息。
15.以及,本发明提供一种模型训练装置,所述模型训练装置包括:
16.获取模块,用于获取至少一组训练样本,其中,任一组所述训练样本中包括样本对象的样本对象特征;
17.训练模块,用于根据所述至少一组训练样本,对所述预估模型进行训练,其中,所
述预估模型用于根据所述样本对象特征,输出所述样本对象的引导概率,所述引导概率用于指示所述样本对象引导其他对象在所述业务系统注册的概率;
18.测试模块,用于对训练后的所述预估模型进行测试,确定所述预估模型的测试结果参数;
19.确定模块,用于根据所述测试结果参数,确定训练完成的预估模型。
20.以及,本发明提供一种信息处理装置,所述信息处理装置包括:
21.获取模块,用于在所述预设数据库中获取至少一个第一对象的对象特征,其中,所述第一对象为业务系统中已注册的对象;
22.处理模块,用于通过预估模型对各所述对象特征进行处理,得到各所述第一对象各自对应的引导概率,所述引导概率用于指示所述第一对象引导第二对象在所述业务系统注册的概率;
23.确定模块,用于根据各所述第一对象各自对应的引导概率以及各所述第一对象,在所述至少一个第一对象中确定目标对象,并向所述目标对象对应的设备发送推荐信息。
24.以及,本发明提供一种模型训练设备,所述模型训练设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的模型训练程序,所述模型训练程序被所述处理器执行时实现如上所述的模型训练方法的步骤。
25.以及,本发明提供一种信息处理设备,所述信息处理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的信息处理程序,所述信息处理程序被所述处理器执行时实现如上所述的信息处理方法的步骤。
26.以及,本发明提供一种计算机可读存储介质,所述计算机可读存储介质上存储有模型训练程序,所述模型训练程序被处理器执行时实现如上所述的模型训练方法的步骤;以及,
27.所述计算机可读存储介质上存储有信息处理程序,所述信息处理程序被处理器执行时实现如上所述的信息处理方法的步骤。
28.以及,本发明提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如上所述的方法。
29.本发明中,通过获取训练样本,并且根据训练样本对预估模型进行训练,在训练完成之后,进一步对预估模型进行测试,在确定预估模型的测试通过时,确定得到训练完成的预估模型。其中预估模型可以根据对象特征输出对象的引导概率,引导概率可以指示已注册的对象引导其他对象在业务系统中进行注册的概率。因此通过训练预估模型,就可以从众多的已注册对象中筛选出来,最有可能引导其他对象进行注册的目标对象,并针对目标对象进行针对性的信息推送,进而可以有效提升信息推送的有效性和针对性。
附图说明
30.图1为本发明提供的预估模型的处理示意图;
31.图2为本发明实施例提供的模型训练方法的流程图;
32.图3为本发明实施例提供的模型训练方法的流程图二;
33.图4为本发明实施例提供的训练预估模型的实现示意图;
34.图5为本发明实施例提供的确定第一目标对象的实现示意图;
35.图6为本发明实施例提供的确定第二目标对象的实现示意图;
36.图7为本发明实施例提供的信息处理方法的流程图;
37.图8为本发明实施例提供的信息处理方法的流程图二;
38.图9为本发明实施例提供的确定目标对象的实现示意图;
39.图10为本发明实施例提供的预估模型的在线测试的实现示意图;
40.图11为本发明实施例提供的模型训练装置的结构示意图;
41.图12为本发明实施例提供的信息处理装置的结构示意图;
42.图13为本发明实施例提供的模型训练设备的硬件结构示意图;
43.图14为本发明实施例提供的信息处理设备的硬件结构示意图。
44.本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
45.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
46.为了更好的理解本发明的技术方案,下面对本发明所涉及的相关技术进行进一步的详细介绍。
47.随着社会进程的不断发展,目前存在多种多样的业务机构,用户通常会向业务机构申请办理需要的业务,在用户申请成功时,业务机构会将业务相关的内容发放给用户。
48.在一个具体的示例中,比如说针对银行机构,申请者可以向银行机构申请办理贷款业务,在申请者的申请通过时,银行机构会向申请者发放授信额度,之后申请者可以进行提款。
49.可以理解的是,在业务办理的过程中,会存在已经成功获得发放内容的用户,引导其他的用户来进行业务申请的行为,这个行为可以通俗的理解为转介绍。
50.为了有效的提升业务机构中业务办理的数量,业务机构通常会给已经成功获得发放内容的用户推送一些推荐信息,其中推荐信息可以是一些激励方案的介绍信息,以鼓励成功申请的用户引导其余用户进行业务申请。比如说在上述介绍的贷款业务的示例中,激励政策比如说可以是利率的调整等等。
51.目前业务机构在推送推荐信息的时候,是采用全覆盖的方式,向已经成功申请并办理业务的全部用户都进行推荐信息的推送。
52.然而,因为成功办理业务的用户数量是巨大的,因此全覆盖的方式会导致信息推荐缺乏针对性,并且会降低推送推荐信息的有效性。
53.针对现有技术中的问题,本发明提出了如下技术构思:通过训练预估模型,对申请对象的对象特征进行处理,得到各个申请对象引导其他对象进行业务申请的概率,之后根据预估模型输出的概率识别出需要推送推荐信息的目标客户,然后向目标客户推送推荐信息,从而可以有效提升推荐信息推送的针对性和有效性。
54.在上述介绍内容的基础上,可以理解的是,本发明的技术方案可以包括预估模型的训练和预估模型的应用两部分,例如可以结合图1对本发明中的预估模型进行理解,图1
为本发明提供的预估模型的处理示意图。
55.如图1所示,本发明中的预估模型可以以申请对象的对象特征作为输入,对申请对象的对象特征进行处理,输出申请对象对应的引导概率,其中,引导概率用于指示申请引导其余对象进行业务申请的概率。
56.下面结合具体的实施例,对本发明中的预估模型的训练和预估模型的应用两部分分别进行介绍。
57.首先对预估模型的训练进行说明,图2为本发明实施例提供的模型训练方法的流程图。
58.如图2所示,该方法包括:
59.s201、获取至少一组训练样本,其中,任一组训练样本中包括样本对象的样本对象特征。
60.在本实施例中,为了对预估模型进行训练,需要首先获取至少一组训练样本,在一组训练样本中可以包括样本对象的对象特征。本实施例中的样本对象是已经在业务系统中完成注册的对象。此处的在业务系统中完成注册,可以理解为上述介绍的完成业务申请。
61.示例性的,假设当前的业务场景为上述介绍的贷款申请的场景,则当前的样本对象就比如说可以是完成了贷款申请的企业或者个人。
62.同时可以理解的是,针对贷款业务,申请者的提款、还款相关行为可以体现申请者对贷款的需要程度,同时也间接的决定了申请者引导其余对象进行业务申请的可能性。比如说通常情况下,提款额度越高的申请者,若能够得到利率优惠,则节省的开支就越大,那么在针对这部分申请者推送推荐信息时,这部分申请者引导其余对象进行业务申请的可能性就越大。
63.因此在一种可能的实现方式中,本实施例中的对象特征例如可以包括第一操作特征和第二操作特征。
64.在上述贷款申请的场景中,第一操作特征可以理解为提款特征,提款特征例如可以包括如下中的至少一种:提款额度、提款频率、提款时间。更进一步的,比如说具体可以是样本对象当前授信的总额度、已提款的额度、最近x天借款的次数、最后一次借款时间、等等,其中x为大于等于1的整数。
65.以及,第二操作特征可以理解为还款特征,还款特征例如可以包括如下中的至少一种:还款额度、还款频率、还款时间。同样更进一步的,还款特征比如说具体可以是样本对象当前授信的总额度、已还款的额度、最近y天还款的次数、最后一次还款时间、等等,其中y为大于等于1的整数。
66.在上述介绍内容的基础上,可以理解的是,在贷款申请的业务场景中,提款特征和还款特征的具体实现还可以根据实际需求进行选择和设置,凡是与提款行为相关的特征均可以作为本实施例中的提款特征,以及凡是与还款行为相关的特征均可以作为本实施例中的还款特征。
67.以及,针对除贷款申请之外的业务场景,其中第一操作特征和第二操作特征的具体实现,还可以根据实际需求进行选择和设置,只要是与相应的业务场景对应的操作的相关特征即可。
68.以及在另一种可能的实现方式中,本实施例中的对象特征还例如可以包括样本对
象的个性化特征,也就是说样本对象本身的一些特征信息。
69.比如说上述介绍的贷款申请的业务场景,样本对象可以为申请贷款的企业,其中个性化特征比如说可以包括企业的基本信息和企业的历史申请信息。其中,企业的基本信息可以包括如下中的至少一种:企业注册城市、企业所属行业、企业注册资本、等等的企业相关的基本信息。以及,企业的历史申请信息比如说可以是企业历次申请的金融产品的相关信息。在实际实现过程中,企业的个性化特征的可以根据实际需求进行选择和设置,本实施例对此不做限定。
70.以及,针对其余的业务场景,样本对象的个性化特征同样可以根据实际需求进行选择和设置,凡是与样本对象本身相关的信息,均可以作为本实施例中的个性化特征。
71.以及需要说明的是,本实施例中的样本对象为已经完成了业务系统注册的对象,在一种可能的实现方式中,针对所有已经完成业务系统注册的对象,在预设存储空间中都会进行存储,同时还存储有这些完成业务系统注册的对象的对象信息。则在获取至少一组训练样本的时候,例如可以从预设存储空间中获取至少一组训练样本。
72.s202、根据至少一组训练样本,对预估模型进行训练,其中,预估模型用于根据样本对象特征,输出样本对象的引导概率,引导概率用于指示样本对象引导其他对象在业务系统注册的概率。
73.在获取到至少一组训练样本之后,就可以根据至少一组训练样本,对预估模型进行训练了。
74.基于上述介绍可以确定的是,本实施例中的预估模型可以对样本对象特征进行处理,从而输出样本对象的引导概率,其中引导概率用于指示样本对象引导其他对象在业务系统中进行注册的概率。需要说明的是,此处的其他对象有可能在业务系统中进行了注册,也有可能未在业务系统中注册,本实施例对此不做限制,只要其是样本对象引导注册的即可。
75.比如说当前存在对象a,假设对象a进行了业务申请,以及假设对象a引导对象b也进行了业务申请,其中对象b有可能是之前进行过业务申请的,但是并不妨碍其当前在对象a的引导下再次进行业务申请。因此本实施例中并不关注其他对象是否在业务系统中进行注册,只关注样本对象是否引导了其他对象进行业务系统的注册。
76.具体的,在根据至少一组训练样本对预估模型进行训练的时候,实际上就是通过预估模型对样本对象的样本对象特征进行处理,之后输出样本引导概率,并且根据样本引导概率和样本对象对应的标签信息,对预估模型进行反馈,以实现对预估模型的训练。
77.s203、对训练后的预估模型进行测试,确定预估模型的测试结果参数。
78.在根据至少一组训练样本对预估模型训练结束之后,可以得到训练后的预估模型。但是当前仅仅是根据本次确定的训练样本对预估模型的训练结束了,还无法保证训练后的预估模型的实际效果。因此本实施例中会对训练后的预估模型进行测试,以确定预估模型的测试结果参数。
79.其中,测试结果参数可以指示预估模型输出的引导概率的正确性和可参考性。
80.s204、根据测试结果参数,确定训练完成的预估模型。
81.在得到测试结果参数之后,可以根据测试结果参数确定训练完成的预估模型。
82.在一种可能的实现方式中,例如可以将测试结果参数和预设阈值进行比较。若确
定测试结果参数大于或等于预设阈值,则可以确定训练后的预估模型的输出正确性是可以保证的,因此可以将训练后的预估模型确定为训练完成的预估模型。
83.或者,若确定测试结果参数小于预设阈值,则可以确定训练后的预估模型的输出正确性还无法保证,因此可以重复执行上述介绍的获取训练样本,并且根据训练样本对预估模型进行训练的步骤,直至预估模型的测试结果参数大于或等于预设阈值,则可以确定得到训练完成的预估模型。
84.本发明实施例提供的模型训练方法,包括:获取至少一组训练样本,其中,任一组训练样本中包括样本对象的样本对象特征。根据至少一组训练样本,对预估模型进行训练,其中,预估模型用于根据样本对象特征,输出样本对象的引导概率,引导概率用于指示样本对象引导其他对象在业务系统注册的概率。对训练后的预估模型进行测试,确定预估模型的测试结果参数。根据测试结果参数,确定训练完成的预估模型。通过获取训练样本,并且根据训练样本对预估模型进行训练,在训练完成之后,进一步对预估模型进行测试,在确定预估模型的测试通过时,确定得到训练完成的预估模型。其中预估模型可以根据对象特征输出对象的引导概率,引导概率可以指示已注册的对象引导其他对象在业务系统中进行注册的概率。因此通过训练预估模型,就可以从众多的已注册对象中筛选出来,最有可能引导其他对象进行注册的目标对象,并针对目标对象进行针对性的信息推送,进而可以有效提升信息推送的有效性和针对性。
85.在上述介绍内容的基础上,下面结合图3至图6对本发明提供的模型训练方法进行进一步的详细介绍。图3为本发明实施例提供的模型训练方法的流程图二,图4为本发明实施例提供的训练预估模型的实现示意图,图5为本发明实施例提供的确定第一目标对象的实现示意图,图6为本发明实施例提供的确定第二目标对象的实现示意图。
86.如图3所示,该方法包括:
87.s301、获取至少一组训练样本,其中,任一组训练样本中包括样本对象的样本对象特征。
88.其中,s301的实现方式与上述s201的实现方式类似,具体的实现可以参照上述介绍,此处不再赘述。
89.在本实施例中进一步的,训练样本中还可以包括:样本对象的样本标签,样本标签用于指示样本对象是否引导其余对象在业务系统注册。
90.基于上述介绍可以确定的是,本实施例中的样本对象是已经完成了在业务系统中的注册的对象,也就是说完成了业务申请的对象。同时,因为在相关的技术中,会针对完成了业务申请的对象推送推荐信息,以鼓励这部分对象引导其余对象进行业务申请。
91.因此在一种可能的实现方式中,本实施例中的样本对象比如说可以是,在业务系统中已注册,并且向其推送过推荐信息的对象,也就是说实施例中是将接收到推荐信息的对象作为总体样本集。那么可以理解的是,完成了业务申请的样本对象在接收到推荐信息之后,有可能会引导其余对象在业务系统注册,也有可能不引导其余对象在业务系统注册。
92.那么针对每一个样本对象,若其在接收到推送信息之后引导其余对象在业务系统注册,则其样本标签(label)比如说可以为1,用于指示样本对象引导其余对象在业务系统注册。
93.或者,针对每一个样本对象,若其在接收到推送信息之后未引导其余对象在业务
系统注册,则其样本标签(label)比如说可以为0,用于指示样本对象未引导其余对象在业务系统注册。
94.s302、根据预估模型对样本对象特征进行处理,得到样本对象对应的样本引导概率。
95.在确定训练样本之后,就可以根据训练样本对预估模型进行训练了。此处需要说明的是,因为本实施例中的训练样本是存在至少一组的,针对任一组训练样本,预估模型都会进行相应的训练过程的处理,并且针对各组训练样本的实现方式是类似的,因此下面以任一组训练样本为例进行介绍。
96.在一种可能的实现方式中,例如可以根据预估模型对训练样本中的样本对象特征进行处理,得到样本对象对应的样本引导概率。
97.例如可以参照图4进行理解,将训练样本中的样本对象特征输入至预估模型中,以使得预估模型输出样本对象的样本引导概率。
98.在一种可能的实现方式中,本实施例中的预估模型比如说可以是轻量梯度提升树模型(light gradient boosting model),或者在实际实现过程中,也可以选用其余模型,本实施例对预估模型的内部实现不做限定,只要其可以实现根据对象特征得到引导概率即可。
99.s303、根据样本引导概率,确定预测标签,其中,预测标签用于指示样本对象是否引导其余对象在业务系统注册。
100.其中,样本引导概率用于当前计算得到的样本对象引导其余对象在业务系统中进行注册的概率。则本实施例中在确定样本对象的样本引导概率之后,参照图4,可以根据样本引导概率确定预测标签,其中预测标签可以用于指示样本对象是否引导其余对象在业务系统中注册。
101.在一种可能的实现方式中,可以将样本引导概率和预设概率进行比较,此处的预设概率可以理解为预设的概率阈值。
102.其中,若确定样本引导概率大于或等于预设概率,则认为当前的样本对象是有较高的可能性引导其余对象在业务系统注册的,因此例如可以确定预测标签为1,用于指示样本对象会引导其余对象在业务系统注册。
103.或者,若确定样本引导概率小于预设概率,则认为当前的样本对象引导其余对象在业务系统注册的可能性较低,因此例如可以确定预测标签为0,用于指示样本对象不会引导其余对象在业务系统注册。
104.s304、根据样本标签和预测标签,对预估模型的模型参数进行更新。
105.在确定预测标签之后,可以根据样本标签和预测标签对预估模型的模型参数进行更新。
106.其中,对预估模型的模型参数进行更新的实现例如可以为:根据样本标签和预测标签,确定损失函数值。根据损失函数值,对预估模型的模型参数进行更新。
107.可以理解的是,样本标签和预测标签是类似的,不同之处在于,样本标签标注的是实际的样本对象是否引导了其余对象在业务系统注册,而预测标签标注的是预测的样本对象是否引导了其余对象在业务系统注册。也就是说一个是实际发生的情况,而另一个是预估模型预估的结果。
108.在对预估模型训练的过程中,为了提升预估模型输出结果的准确性,就要保证预测标签是尽可能的贴近样本标签的。因此参照图4,本实施例中可以根据样本标签和预测标签,确定损失函数值。
109.在一种可能的实现方式中,比如说可以设置有损失函数,之后可以将样本标签和预测标签输入至损失函数,从而得到损失函数值。其中,损失函数值实际上刻画的就是预测标签和样本标签之间的差距。
110.参照图4,在得到损失函数值之后,就可以根据损失函数值对预估模型的模型参数进行更新,以实现对预估模型的优化。
111.上述介绍的就是针对预估模型的完整的训练过程,可以理解的是,上述的训练过程是针对各个训练样本都要进行的。比如说可以针对各个训练样本依次进行上述介绍的训练过程,在每次根据一个训练样本的训练完成,进行预估模型的模型参数更新之后。可以以模型参数更新之后的预估模型为基础,继续进行下一个训练样本的训练过程,直至根据多个训练样本均完成训练,从而可以得到训练后的预估模型。
112.s305、在预设数据库中获取多个测试对象,其中,测试对象为在业务系统中已注册的对象。
113.在得到训练后的预估模型之后,为了保证预估模型的输出结果的准确性和有效性,还需要对预估模型进行进一步的测试,才能够确定预估模型的训练是否结束。
114.在对预估模型进行测试的时候,例如可以从预设数据库中获取多个测试对象,此处的测试对象可以是在业务系统中已注册的对象。
115.可以理解的是,测试对象与上述介绍的样本对象是类似的,只是作用不同。其中样本对象是用于对预估模型进行训练的,而测试对象是用于对预估模型进行测试的。
116.因此测试对象与上述介绍的样本对象类似,例如可以是在业务系统中已注册,并且向其推送了推荐信息的对象。相应的,测试对象也有相应的测试标签,比如说测试标签为1时,可以指示测试对象引导其余对象在业务系统注册,再比如说测试标签为0时,可以指示测试对象未引导其余对象在业务系统注册。
117.s306、根据预估模型输出的样本引导概率,将样本引导概率排序靠前的k个样本对象确定为第一目标对象,其中,k为大于或等于1的整数。
118.为了对预估模型进行测试,本实施例中例如可以根据预估模型输出的样本引导概率,确定第一目标对象,其中第一目标对象就是根据预估模型的输出,所预测的会引导其余对象在业务系统注册的对象。
119.在一种可能的实现方式中,例如可以将样本引导概率进行排序,之后将样品引导概率靠前的k个样本对象确定为第一目标对象,其中k为大于等于1的整数。
120.比如说可以参照图5进行理解,假设当前一共存在10个样本对象,当前针对这10个样本对象的样本引导概率进行排序,例如可以得到图5所示的排序结果。同时假设当前示例中的k为5,则根据图5所示的排序结果,例如可以将排序前5的样本对象2、样本对象7、样本对象5、样本对象6、样本对象4,确定为第一目标对象。
121.或者在另一种可能的实现方式中,在将样本引导概率进行排序之前,还例如可以存在一个召回过程。比如说可以以最终产能为衡量目标,挑选目标群体指数(target group index,tgi)大于或等于第一阈值,并且,申请参数(比如说可以是授信额度)大于或等于第
二阈值的样本对象,将当前挑选的样本对象确定为待选对象。
122.之后根据各个待选对象的样本引导概率进行排序,将样品引导概率靠前的k个样本对象确定为第一目标对象,其中k为大于等于1的整数。其实现方式与上述介绍的示例类似,此处不再进行举例说明。
123.s307、在测试对象中,将随机选择的n个测试对象确定为第二目标对象,其中,n为大于等于1的整数。
124.以及,为了对预估模型进行测试,本实施例中例如可以在测试对象中随机选择n个测试对象,并将随机选择的n个测试对象确定为第二目标对象,其中第二目标对象就是当前针对测试对象,确定的会引导其余对象在业务系统注册的对象。
125.比如说可以参照图6进行理解,假设当前一共存在10个测试对象,同时假设当前示例中的n为5,当前在这10个测试对象中随机选择5个测试对象分别为:测试对象1、测试对象3、测试对象4、测试对象7、测试对象10。则可以将随机选择的这5个测试对象确定为第二目标对象。
126.s308、获取第一目标对象对应的第一引导率,其中,第一引导率为第一类对象的数量和第一目标对象的数量的比值,第一类对象为第一目标对象中实际引导其他对象在业务系统注册的对象。
127.基于上述介绍可以确定的是,本实施例中的样本对象是存在样本标签的,因此是可以确定实际情况下,其是否引导了其余对象在业务系统注册的。以及上述还根据预估模型输出的样本引导概率,确定了预测情况下,会引导其余对象在业务系统注册的第一目标对象。
128.其中的第一目标对象,实际上就是根据预估模型输出的引导概率,挑选出的发生引导行为的可能性最高的k个样本对象,而针对每个样本对象都可以确定其实际引导行为是否发生,则例如可以确定第一目标对象对应的第一引导率。
129.在一种可能的实现方式中,第一引导率为第一类对象的数量和第一目标对象的数量的比值,其中,第一类对象为第一目标对象中实际引导其他对象在业务系统注册的对象。
130.例如可以参照图5进行理解,延续上述的示例,当前确定的第一目标对象包括:样本对象2、样本对象7、样本对象5、样本对象6、样本对象4,同时结合图5的示例,其中样本对象2的样本标签为0,用于指示样本对象2未引导其余对象在业务系统注册;样本对象7的样本标签为1,用于指示样本对象7引导其余对象在业务系统注册;其中样本对象5的样本标签为1,用于指示样本对象5引导其余对象在业务系统注册;样本对象6的样本标签为0,用于指示样本对象6未引导其余对象在业务系统注册;样本对象4的样本标签为1,用于指示样本对象4引导其余对象在业务系统注册。
131.那么基于当前示例可以确定的是,在第一目标对象中实际引导其他对象在业务系统注册的第一类对象就包括:样本对象7、样本对象5和样本对象1。那么第一类对象的数量就是3个,以及第一目标对象的总数量为5个,据此可以确定,第一目标对象对应的第一引导率就是0.6。
132.因此第一引导率实际上也就是说,第一目标对象中存在引导行为的对象的数量和第一目标对象的总数的比值。那么此处的第一引导率,就可以反映出确定的第一目标对象的正确性。
133.s309、获取第二目标对象对应的第二引导率,其中,第二引导率为第二类对象的数量和第二目标对象的数量的比值,第二类对象为第二目标对象中实际引导其他对象在业务系统注册的对象。
134.以及与上述介绍的类似,本实施例中还可以对根据测试对象确定的第二目标对象,确定第二目标对象对应的第二引导率。
135.在一种可能的实现方式中,第二引导率为第二类对象的数量和第二目标对象的数量的比值,其中,第二类对象为第二目标对象中实际引导其他对象在业务系统注册的对象。
136.例如可以参照图6进行理解,延续上述的示例,当前确定的第二目标对象包括:测试对象1、测试对象3、测试对象4、测试对象7、测试对象10,同时结合图6的示例,其中测试对象1的样本标签为0,用于指示测试对象1未引导其余对象在业务系统注册;测试对象3的样本标签为0,用于指示测试对象3未引导其余对象在业务系统注册;其中测试对象4的样本标签为0,用于指示测试对象4未引导其余对象在业务系统注册;测试对象7的样本标签为1,用于指示测试对象7引导其余对象在业务系统注册;测试对象10的样本标签为0,用于指示测试对象10未引导其余对象在业务系统注册。
137.那么基于当前示例可以确定的是,在第二目标对象中实际引导其他对象在业务系统注册的第二类对象就包括:样本对象7。那么第二类对象的数量就是1个,以及第二目标对象的总数量为5个,据此可以确定,第二目标对象对应的第二引导率就是0.2。
138.因此第二引导率实际上也就是说,第二目标对象中存在引导行为的对象的数量和第二目标对象的总数的比值。那么此处的第二引导率,就可以反映出确定的第二目标对象的正确性。
139.s310、将第一引导率和第二引导率的比值,确定为预估模型对应的测试结果参数。
140.上述确定了第一目标对象的第一引导率,可以理解的是,第一引导率就反映了根据预估模型输出的样本引导概率,预估的第一目标对象会进行引导行为的正确率。
141.同时,上述确定了第二目标对象的第二引导率,可以理解的是,第二引导率就反映了在测试样本中,随机选择的第二目标对象会进行引导行为的正确性。
142.那么当前为了确定,根据预估模型输出的样本引导概率进行选择,相较于随机选择的实现,其正确率是否可以保证。则例如可以将第一引导率和第二引导率做比值,将第一引导率和第二引导率的比值,确定为预估模型所对应的测试结果参数。此处的测试结果参数还可以理解为介绍率的提升比。
143.比如说在上述图5和图6的示例中,确定了第一目标对象对应的第一引导率为0.6,以及第二目标对象对应的第二引导率为0.2,那么第一引导率和第二引导率的比值就是3,因此可以确定测试结果参数为3。
144.其中测试结果参数可以指示,根据预估模型输出的样本引导概率进行对象选择,相较于随机进行对象选择的增益,也就从一定程度上反映了根据预估模型输出的样本引导概率进行对象选择的正确性和有效性。
145.s311、根据测试结果参数,确定训练完成的预估模型。
146.在确定测试结果参数之后,例如可以将测试结果参数和预设阈值进行比较,以确定训练完成的预估模型。
147.在一种可能的实现方式中,若确定测试结果参数大于或等于预设阈值,则可以确
定当前的预估模型输出的准确性可以保证了,因此可以将上述根据至少一个样本对象训练后的预估模型,确定为训练完成的预估模型。
148.在另一种可能的实现方式中,若确定测试结果参数小于预设阈值,则可以确定当前的预估模型输出的准确性还无法保证,因此还需要重复执行获取训练样本,并根据训练样本对预估模型进行训练的步骤,直至预估模型的测试结果参数大于或等于预设阈值。
149.比如说延续上述介绍的示例,确定了预估模型的测试结果参数为3,假设当前设置的预设阈值为1.3(对应的增益达到30%),则针对上述介绍的示例,可以确定预估模型的离线测试通过,进而可以将训练后的预估模型确定为训练完成的预估模型。
150.本发明实施例提供的模型训练方法,通过预估模型对样本对象的样本对象特征进行处理,以输出样本对象的样本引导概率,之后根据样本引导概率确定样本对象的预测标签,并且根据预测标签和样本对象的样本标签,对预估模型的模型参数进行更新,从而可以有效实现对预估模型的更新,并且拉近预测标签和样本标签之间的距离,以提升预估模型输出的样本引导概率的正确性,进而有效的实现对预估模型的训练。
151.并且,在对预估模型根据样本对象的训练结束之后,根据测试样本对预估模型进行测试,在测试的具体实现中,首先根据预估模型输出的样本引导概率,确定有较大的可能性引导其余对象进行业务系统注册的第一目标对象,并且根据第一目标对象中实际引导其余对象进行业务系统注册的对象,确定第一目标对象对应的第一引导率。以及,将在测试对象中随机选择的多个对象确定为第二目标对象,并且根据第二目标对象中实际引导其余对象进行业务系统注册的对象,确定第二目标对象对应的第二引导率,然后将第一引导率和第二引导率的比值,确定为预估模型对应的测试结果参数,从而可以有效的将根据预估模型确定目标对象的增益进行量化。之后将测试结果参数和预设阈值进行比较,在确定测试结果参数大于或等于预设阈值的时候,再确定得到训练完成的预估模型,从而可以有效保证训练完成的预估模型所输出的引导概率的正确性和有效性。
152.上述实施例介绍了针对预估模型进行训练的实现,下面再结合具体的实施例对预估模型的应用进行介绍。
153.首先结合图7进行说明,图7为本发明实施例提供的信息处理方法的流程图。
154.如图7所示,该方法包括:
155.s701、在预设数据库中获取至少一个第一对象的对象特征,其中,第一对象为业务系统中已注册的对象。
156.在本实施例中,预设数据库中可以存储有多个第一对象的相关信息,其中第一对象为已经在业务系统中已注册的对象,此处的在业务系统中已注册,例如可以理解为进行了业务申请。
157.则可以在预设数据库中获取至少一个第一对象的对象特征,此处的对象特征与上述介绍的样本对象特征类似,比如说可以包括样本对象的第一操作特征、第二操作特征、个性化特征等等。
158.以及在实际的贷款申请的场景中,第一操作特征比如说可以是提款特征,第二操作特征比如说可以是还款特征,个性化特征比如说可以是企业本身相关的特征,等等,其具体实现可以参照上述实施例的介绍,此处不再赘述。
159.s702、通过预估模型对各对象特征进行处理,得到各第一对象各自对应的引导概
率,引导概率用于指示第一对象引导第二对象在业务系统注册的概率。
160.在确定第一对象的对象特征之后,可以通过预估模型对第一对象的对象特征进行处理,从而得到第一对象对应的引导概率,此处的预估模型就是上述实施例中训练完成的预估模型。针对各个第一对象均执行此操作,从而可以得到各个第一对象各自对应的引导概率,其中引导概率用于指示第一对象引导第二对象在业务系统中注册的概率。
161.需要说明,此处的第二对象有可能在业务系统中进行了注册,也有可能未在业务系统中注册,本实施例对此不做限制,只要第二对象是与第一对象不同的对象即可。
162.比如说当前存在第一对象a,假设第一对象a进行了业务申请,以及假设对象a可以引导第二对象b进行业务申请,其中第二对象b有可能是之前进行过业务申请的,但是并不妨碍其当前在第一对象a的引导下再次进行业务申请。因此本实施例中并不关注第二对象是否在业务系统中进行注册,只要第二对象是与第一对象不同的对象即可。
163.s703、根据各第一对象各自对应的引导概率以及各第一对象,在至少一个第一对象中确定目标对象,并向目标对象对应的设备发送推荐信息。
164.可以确定,引导概率可以指示第一对象引导第二对象在业务系统中进行注册的可能性,则在确定第一对象各自对应的引导概率之后,就可以根据各个第一对象各自对应的引导概率以及各个第一对象,在至少一个第一对象中确定目标对象。
165.此处的目标对象就是确定出来的,有很大的可能性会引导第二对象在业务系统中注册的对象,进一步的,目标对象就是需要推送推荐信息的对象。因此本实施例中在确定目标对象之后,可以向目标对象对应的设备发送推荐信息,以鼓励目标对象引导第二对象在业务系统中进行注册。
166.本发明实施例提供的信息处理方法,包括:在预设数据库中获取至少一个第一对象的对象特征,其中,第一对象为业务系统中已注册的对象。通过预估模型对各对象特征进行处理,得到各第一对象各自对应的引导概率,引导概率用于指示第一对象引导第二对象在业务系统注册的概率。根据各第一对象各自对应的引导概率以及各第一对象,在至少一个第一对象中确定目标对象,并向目标对象对应的设备发送推荐信息。通过获取已经在业务系统中注册的第一对象的对象特征,并通过训练完成的预估模型对第一对象的对象特征进行处理,从而得到第一对象的引导概率,其中引导概率可以指示第一对象引导第二对象在业务系统注册的概率,之后可以根据第一对象的引导概率和第一对象,在多个第一对象中确定目标对象,其中的目标对象就是本实施例中确定的需要针对性的发送推荐信息的对象,并且目标对象是当前确定出来的最有可能引导其他对象进行业务申请的对象,因此通过上述介绍的方式可以有效的提升推荐信息推送的针对性和有效性。
167.在上述实施例介绍的内容的基础上,下面结合图8至图9对本发明提供的信息处理方法进行进一步的详细介绍。图8为本发明实施例提供的信息处理方法的流程图二,图9为本发明实施例提供的确定目标对象的实现示意图。
168.如图8所示,该方法包括:
169.s801、在预设数据库中获取至少一个第一对象的对象特征,其中,第一对象为业务系统中已注册的对象。
170.其中,s801的实现方式与上述s701的实现方式类似,此处不再赘述。
171.s802、通过预估模型对各对象特征进行处理,得到各第一对象各自对应的引导概
率,引导概率用于指示第一对象引导第二对象在业务系统注册的概率。
172.其中,s802的实现方式与上述s702的实现方式类似,此处不再赘述。
173.s803、在预设数据库中获取各第一对象各自对应的目标群体指数,以及获取各第一对象各自的业务申请对应的申请参数。
174.本实施例中,因为引导概率可以指示第一对象引导第二对象在业务系统中注册的可能性,因此在确定引导概率之后,例如可以根据引导概率的排序,确定目标对象。
175.然而本实施例中,还可以在根据引导概率进行排序之前,还例如可以存在一个召回过程,以对第一对象进行一定程度的筛选。
176.在一种可能的实现方式中,比如说可以在预设数据库中获取各个第一对象各自对应的目标群体指数tgi,以及获取各个第一对象各自的业务申请对应的申请参数。
177.比如说当前的业务场景是上述介绍的贷款申请的场景,那么次数的业务申请对应的申请参数,比如说可以是第一对象的授信额度。
178.s804、将目标群体指数大于或等于第一阈值,并且,申请参数大于或等于第二阈值的第一对象,确定为待选对象。
179.在确定第一对象的目标群体指数以及申请参数之后,例如可以根据目标群体指数和申请参数,对第一对象进行过滤。
180.在一种可能的实现方式中,比如说可以将目标群体指数大于或等于第一阈值,并且,申请参数大于或等于第二阈值的第一对象,确定为待选对象,之后根据待选对象的引导概率进行排序。
181.那么也就是说,以最终产能为衡量目标,将低tgi和申请参数较低的第一对象筛选掉,从而确定了待选对象。通过设置当前的筛选过程,从而可以进一步的提升最终推送推荐信息的有效性,更为通俗的,可以理解为可以提升第一对象引导注册的第二对象的质量。
182.例如可以结合图9进行理解,假设当前存在8个第一对象,分别是图9中所示的第一对象1~第一对象8,同时假设根据上述介绍的筛选条件,将其中的第一对象1、第一对象3和第一对象5筛选掉了。则可以得到待选对象包括:第一对象2、第一对象4、第一对象6、第一对象7、第一对象8。
183.s805、将各待选对象各自对应的引导概率进行排序。
184.在确定各个待选对象之后,可以将各个待选对象各自对应的引导概率进行排序。
185.例如可以结合图9进行理解,当前根据待选对象对应的引导概率,对剩余的5个待选对象进行排序,比如说顺序依次为:第一对象6、第一对象2、第一对象8、第一对象4、第一对象7。
186.s806、将引导概率的排序靠前的k个待选对象,确定为目标对象。
187.在将各个待选对象各自对应的引导概率进行排序之后,例如可以将引导概率的排序靠前的k个待选对象,确定为目标对象,其中k可以为大于等于1的整数。
188.同样结合图9进行介绍,假设当前示例中的k为3,则在图9的示例中,可以确定目标对象为第一对象6、第一对象2和第一对象8。
189.s807、向目标对象对应的设备发送推荐信息。
190.在确定目标对象之后,就可以向目标对象所对应的设备发送推荐信息了,推荐信息的具体内容可以根据实际需求进行选择和设置,本实施例对此不做限制。
191.本发明实施例提供的信息处理方法,通过预估模型确定各个第一对象的引导概率,并且通过获取第一对象的目标群体指数和申请参数,根据目标群体指数和申请参数对第一对象进行筛选,得到待选对象,之后根据待选对象的引导概率进行排序,以将排序靠前的多个引导对象确定为目标对象,从而可以有效的实现从多个进行了业务申请的第一对象中,筛选出引导第二对象进行业务申请的可能性最大的目标对象,之后向目标对象发送推荐信息,从而可以有效提升信息推送的针对性和有效性,以尽可能的获得最大的回报率。同时,上述在确定目标对象的时候,还进行了筛选过程,其中的筛选过程可以最大产能为目标,将低tgi和低申请参数的第一对象筛除掉,只保留高tgi和高申请参数的对象,从而可以进一步的提升向目标设备推送推荐信息的回报率和产能。
192.基于上述介绍的内容可以确定的是,在预估模型的训练过程中,针对预估模型进行了离线测试,其中的离线测试可以保证在预估模型投入使用之前,评估其输出结果的有效性和准确性。进一步的,本发明中的预估模型在投入使用之后,还例如可以针对预估模型进行在线测试,以确定根据预估模型确定目标设备的效果。
193.下面例如可以结合图10对在线测试的实现进行理解,图10为本发明实施例提供的预估模型的在线测试的实现示意图。
194.如图10所示,假设当前存在多个参与测试的对象,此处参与测试的对象均是在业务系统中进行了注册的对象。
195.在一种可能的实现方式中,例如可以将多个参与测试的对象评分为第一组a和第二组b,在第一组a中,比如说可以包括上述介绍的至少一个第一对象,以及在第二组b中,比如说可以包括多个参与测试的对象中除第一对象之外的对象,为了便于下述的介绍,此处将第二组b中的对象称为第三对象。
196.之后,针对第一组a中的第一对象,按照上述介绍的基于预估模型的处理方法,确定多个目标对象。
197.以及针对第二组b中的第三对象,按照随机挑选的实现方式,从第二组b中随机挑选多个第三对象,作为多个目标对象。
198.之后向第一组对应的多个目标对象和第二组对应的多个目标对象,均发送推荐信息。然后一段时间之后,可以统计第一组对应的介绍率和第二组对应的介绍率,其中介绍率的实现方式与上述实施例中介绍的类似。
199.具体的,第一组对应的介绍率,就是第一组对应的多个目标对象中,引导其他对象进行注册的对象数量,和第一组对应的多个目标对象的对象数量的比值。第二组对应的介绍率,就是第二组对应的多个目标对象中,引导其他对象进行注册的对象数量,和第二组对应的多个目标对象的对象数量的比值。
200.之后将第一组a的介绍率和第二组b的介绍率进行比较,若确定第一组a的介绍率大于第二组b的介绍率,则可以确定本发明提供的方法,可以通过针对性发送推荐信息的方式,有效的提高对象的介绍率。
201.图11为本发明实施例提供的模型训练装置的结构示意图。如图11所示,该装置110包括:获取模块1101、训练模块1102、测试模块1103、确定模块1104。
202.获取模块1101,用于获取至少一组训练样本,其中,任一组所述训练样本中包括样本对象的样本对象特征;
203.训练模块1102,用于根据所述至少一组训练样本,对所述预估模型进行训练,其中,所述预估模型用于根据所述样本对象特征,输出所述样本对象的引导概率,所述引导概率用于指示所述样本对象引导其他对象在所述业务系统注册的概率;
204.测试模块1103,用于对训练后的所述预估模型进行测试,确定所述预估模型的测试结果参数;
205.确定模块1104,用于根据所述测试结果参数,确定训练完成的预估模型。
206.在一种可能的设计中,所述训练样本中还包括:所述样本对象的样本标签,所述样本标签用于指示所述样本对象是否引导其余对象在所述业务系统注册;
207.所述训练模块具体用于:
208.根据所述预估模型对所述样本对象特征进行处理,得到所述样本对象对应的样本引导概率;
209.根据所述样本引导概率,确定预测标签,其中,所述预测标签用于指示所述样本对象是否引导其余对象在所述业务系统注册;
210.根据所述样本标签和所述预测标签,对所述预估模型的模型参数进行更新。
211.在一种可能的设计中,所述训练模块1102具体用于:
212.若所述样本引导概率大于或等于预设概率,则确定所述预测标签用于指示所述样本对象会引导其余对象在所述业务系统注册;或者,
213.若所述样本引导概率小于所述预设概率,则确定所述预测标签用于指示所述样本对象不会引导其余对象在所述业务系统注册。
214.在一种可能的设计中,所述测试模块1103具体用于:
215.在预设数据库中获取多个测试对象,其中,所述测试对象为在业务系统中已注册的对象;
216.根据所述预估模型输出的样本引导概率,将样本引导概率排序靠前的k个样本对象确定为第一目标对象,其中,所述k为大于或等于1的整数;
217.在所述测试对象中,将随机选择的n个测试对象确定为第二目标对象,其中,所述n为大于等于1的整数;
218.根据所述第一目标对象和所述第二目标对象,确定所述预估模型对应的测试结果参数。
219.在一种可能的设计中,所述测试模块1103具体用于:
220.获取所述第一目标对象对应的第一引导率,其中,所述第一引导率为第一类对象的数量和所述第一目标对象的数量的比值,所述第一类对象为所述第一目标对象中实际引导其他对象在所述业务系统注册的对象;
221.获取所述第二目标对象对应的第二引导率,其中,所述第二引导率为第二类对象的数量和所述第二目标对象的数量的比值,所述第二类对象为所述第二目标对象中实际引导其他对象在所述业务系统注册的对象;
222.将所述第一引导率和所述第二引导率的比值,确定为所述预估模型对应的测试结果参数。
223.在一种可能的设计中,所述确定模块1104具体用于:
224.若所述测试结果参数大于或等于预设阈值,则确定得到训练完成的预估模型;或
者,
225.若所述测试结果参数小于预设阈值,则重复执行获取训练样本,并根据训练样本对所述预估模型训练的步骤,直至所述预估模型的测试结果参数大于或等于预设阈值。
226.本实施例提供的装置,可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,本实施例此处不再赘述。
227.图12为本发明实施例提供的信息处理装置的结构示意图。如图12所示,该装置120包括:获取模块1201、处理模块1202、确定模块1203。
228.获取模块1201,用于在所述预设数据库中获取至少一个第一对象的对象特征,其中,所述第一对象为业务系统中已注册的对象;
229.处理模块1202,用于通过预估模型对各所述对象特征进行处理,得到各所述第一对象各自对应的引导概率,所述引导概率用于指示所述第一对象引导第二对象在所述业务系统注册的概率;
230.确定模块1203,用于根据各所述第一对象各自对应的引导概率以及各所述第一对象,在所述至少一个第一对象中确定目标对象,并向所述目标对象对应的设备发送推荐信息。
231.在一种可能的设计中,所述确定模块1203具体用于:
232.在所述预设数据库中获取各所述第一对象各自对应的目标群体指数,以及获取各所述第一对象各自的业务申请对应的申请参数;
233.将所述目标群体指数大于或等于第一阈值,并且,所述申请参数大于或等于第二阈值的第一对象,确定为所述待选对象;
234.根据各所述待选对象各自对应的引导概率,确定目标对象。
235.在一种可能的设计中,所述确定模块1203具体用于:
236.将各所述待选对象各自对应的引导概率进行排序;
237.将所述引导概率的排序靠前的k个待选对象,确定为所述目标对象。
238.本实施例提供的装置,可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,本实施例此处不再赘述。
239.图13为本发明实施例提供的模型训练设备的硬件结构示意图,如图13所示,本实施例的模型训练设备130包括:处理器1301以及存储器1302;其中
240.存储器1302,用于存储计算机执行指令;
241.处理器1301,用于执行存储器存储的计算机执行指令,以实现上述实施例中模型训练方法所执行的各个步骤。具体可以参见前述方法实施例中的相关描述。
242.可选地,存储器1302既可以是独立的,也可以跟处理器1301集成在一起。
243.当存储器1302独立设置时,该模型训练设备还包括总线1303,用于连接所述存储器1302和处理器1301。
244.图14为本发明实施例提供的信息处理设备的硬件结构示意图,如图14所示,本实施例的信息处理设备140包括:处理器1401以及存储器1402;其中
245.存储器1402,用于存储计算机执行指令;
246.处理器1401,用于执行存储器存储的计算机执行指令,以实现上述实施例中信息处理方法所执行的各个步骤。具体可以参见前述方法实施例中的相关描述。
247.可选地,存储器1402既可以是独立的,也可以跟处理器1401集成在一起。
248.当存储器1402独立设置时,该信息处理设备还包括总线1403,用于连接所述存储器1402和处理器1401。
249.本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上模型训练设备所执行的模型训练方法,或者,实现如上信息处理设备所执行的信息处理方法。
250.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
251.上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
252.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
253.以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1