基于人工智能的分类方法、装置、设备及存储介质与流程

文档序号:26589590发布日期:2021-09-10 20:28阅读:70来源:国知局
基于人工智能的分类方法、装置、设备及存储介质与流程

1.本技术涉及人工智能技术领域,尤其涉及一种基于人工智能的分类方法、装置、设备及计算机可读存储介质。


背景技术:

2.随着人工智能的快速发展,机器学习在大量标记的数据上进行监督式训练可以获得很好的性能和效果,然而大型的标记数据集在数量和应用领域方面均有限,且手动标记足量的训练数据往往需要高昂的代价。
3.但是,迁移能力强的深度学习模型缺乏可解释性,可解释性强的深度学习模型迁移能力不强,使得在迁移学习的过程中往往训练较长时间的深度学习模型反而无法达到目标性能,造成迁移学习的效率低下。对于如何在提高迁移学习效率的同时保证预测的准确性,相关技术尚无有效解决方案。


技术实现要素:

4.本技术实施例提供一种基于人工智能的分类方法、装置及计算机可读存储介质,能够在提高迁移学习效率的同时达到目标性能。
5.本技术实施例的技术方案是这样实现的:
6.本技术实施例提供一种基于人工智能的分类方法,包括:
7.将第一业务场景的第一样本集合和第二业务场景的第二样本集合分别根据样本属性特征进行分组处理,得到每个业务场景下的多个特征组和单体特征;
8.将每个业务场景下的多个特征组进行交叉操作,得到多个交叉特征组;
9.根据多个特征组和多个交叉特征组训练至少一个特征提取模型;
10.根据第一业务场景下的单体特征和每个特征提取模型输出的第一样本特征表征训练类别预测模型,并继续训练至少一个特征提取模型;
11.根据训练后的至少一个特征提取模型和训练后的类别预测模型,预测第二业务场景的待测样本的类别标签。
12.本技术实施例提供一种基于人工智能的分类装置,包括:
13.特征分组模块,用于将第一业务场景的第一样本集合和第二业务场景的第二样本集合分别根据样本属性特征进行分组处理,得到每个业务场景下的多个特征组和单体特征;
14.交叉模块,用于将每个业务场景下的多个特征组进行交叉操作,得到多个交叉特征组;
15.第一训练模块,用于根据多个特征组和多个交叉特征组训练至少一个特征提取模型;
16.第二训练模块,用于根据第一业务场景下的单体特征和每个特征提取模型输出的第一样本特征表征训练类别预测模型,并继续训练至少一个特征提取模型;
17.预测模块,用于根据训练后的至少一个特征提取模型和训练后的类别预测模型,预测第二业务场景的待测样本的类别标签
18.上述方案中,特征分组模块,还用于针对第一业务场景的第一样本集合中的每个样本执行以下处理:将每个样本中具有相同样本属性的多个单体特征进行分组处理,得到多个第一样本特征组,将每个样本中未被用于进行分组处理的单体特征作为第一样本单体特征;针对第二业务场景的第二样本集合中的每个样本执行以下处理:将每个样本具有相同样本属性的多个单体特征进行分组处理,得到多个第二样本特征组,将每个样本中未被用于进行分组处理的单体特征作为第二样本单体特征。
19.上述方案中,交叉模块,还用于根据交叉操作函数,将多个第一样本特征组中的任意两个进行交叉操作,得到多个第一样本交叉特征组;根据交叉操作函数,将多个第二样本特征组中的任意两个进行交叉操作,得到多个第二样本交叉特征组。
20.上述方案中,第一训练模块,还用于根据与多个第一样本特征组分别对应的特征提取模型,确定与多个第一样本特征组分别对应的第一样本特征表征;根据与多个第二样本特征组分别对应的特征提取模型,确定与多个第二样本特征组分别对应的第二样本特征表征,其中,具有相同样本属性的第一样本特征组和第二样本特征组对应的特征提取模型相同;根据与多个第一样本交叉特征组分别对应的特征提取模型,确定与多个第一样本交叉特征组分别对应的第一样本特征表征;根据与多个第二样本交叉特征组分别对应的特征提取模型,确定与多个第二样本交叉特征组分别对应的第二样本特征表征,其中,具有相同样本属性的第一样本交叉特征组和第二样本交叉特征组对应的特征提取模型相同;根据每个具有相同样本属性的第一样本特征表征和第二样本特征表征对应的一个领域区分模型,确定领域区分模型的领域区分损失值,并根据领域区分模型的领域区分损失值更新与具有相同样本属性的第一样本特征表征和第二样本特征表征对应的特征提取模型的参数;基于每个特征提取模型的更新后的参数得到与多个特征组和多个交叉特征组分别对应的训练后的特征提取模型。
21.上述方案中,第二训练模块,还用于基于第一业务场景下的单体特征和第一样本特征表征调用类别预测模型,得到类别预测模型输出的第一样本预测类别标签;根据第一样本预测类别标签和第一样本真实类别标签,确定类别预测损失值;根据类别预测损失值更新类别预测模型的参数,基于更新的参数获得训练后的类别预测模型;继续训练至少一个特征提取模型,包括:根据类别预测损失值继续更新与多个特征组和多个交叉特征组分别对应的特征提取模型的参数,基于更新后的参数获得与多个特征组和多个交叉特征组分别对应的继续训练后的特征提取模型。
22.上述方案中,第一训练模块,还用于根据特征提取模型确定与多个特征组和多个交叉特征组分别对应的第一样本特征表征,并根据特征提取模型确定与多个特征组和多个交叉特征组分别对应的第二样本特征表征;根据每个第一样本特征表征和每个第二样本特征表征以及分别对应的领域区分模型,确定分别对应的领域区分损失值;根据每个领域区分损失值更新特征提取模型的参数,基于更新的参数得到训练后的特征提取模型。
23.上述方案中,第一训练模块,还用于基于每个第一样本特征表征调用与每个第一样本特征表征对应的领域区分模型,得到领域区分模型输出的每个第一样本特征表征的第一样本预测领域标签,根据第一样本预测领域标签和第一样本真实领域标签,确定对应的
领域区分损失值;基于每个第二样本特征表征调用与每个第二样本特征表征对应的领域区分模型,得到领域区分模型输出的每个第二样本特征的第二样本预测领域标签,根据第二样本预测领域标签和第二样本真实领域标签,确定对应的领域区分损失值,其中,具有相同样本属性的第一样本特征表征和第二样本特征表征对应的领域区分模型相同。
24.上述方案中,第二训练模块,还用于基于第一业务场景下的单体特征和第一样本特征表征调用类别预测模型,得到类别预测模型输出的第一样本预测类别标签,根据第一样本预测类别标签和第一样本真实类别标签,确定类别预测损失值;根据类别预测损失值更新类别预测模型的参数,基于更新的参数获得训练后的类别预测模型;继续训练至少一个特征提取模型,包括:根据类别预测损失值继续更新特征提取模型的参数,基于更新后的参数获得训练后的特征提取模型。
25.上述方案中,预测模块,还用于基于第二业务场景下的多个特征组调用与多个特征组分别对应的训练后的特征提取模型,得到训练后的特征提取模型输出的与多个特征组分别对应的更新后的第二样本特征表征;基于第二业务场景下的多个交叉特征组调用与多个交叉特征组分别对应的训练后的特征提取模型,得到训练后的特征提取模型输出的与多个交叉特征组分别对应的更新后的第二样本特征表征;基于更新后的第二样本特征表征和第二业务场景下的单体特征调用训练后的类别预测模型,得到训练后的类别预测模型输出的第二业务场景的类别标签。
26.上述方案中,预测模块,还用于基于第二业务场景下的多个特征组和多个交叉特征组调用特征提取模型,得到特征提取模型输出的与多个特征组和多个交叉特征组分别对应的更新后的第二样本特征表征;基于更新后的第二样本特征表征和第二业务场景下的单体特征,调用训练后的类别预测模型,得到训练后的类别预测模型输出的第二业务场景的类别标签。
27.本技术实施例提供一种电子设备,包括:
28.存储器,用于存储可执行指令;
29.处理器,用于执行存储器中存储的可执行指令时,实现本技术实施例提供的基于人工智能的分类方法。
30.本技术实施例提供一种计算机可读存储介质,存储有可执行指令,用于引起处理器执行时,实现本技术实施例提供的基于人工智能的分类方法。
31.本技术实施例具有以下有益效果:
32.通过将第一业务场景的第一样本集合和第二业务场景的第二样本集合分别根据样本属性特征进行分组处理,得到每个业务场景下的多个特征组和单体特征,通过将多个特征组进行交叉操作,得到多个交叉特征组,可以进一步提高分组处理的准确性,从而使后续从每个特征组和交叉特征组学习到的高阶特征具有更高的可解释性。在训练类别预测模型的同时对特征提取模型进行持续训练,从而可以在提高训练效率的同时,有效提升特征提取模型的性能,进而根据训练后的至少一个特征提取模型和训练后的类别预测模型,可以准确的预测待测样本的类别标签。提高迁移学习效率的同时提高预测的准确性。
附图说明
33.图1是本技术实施例提供的基于系统架构的一个可选的结构示意图;
34.图2是本技术实施例提供的基于人工智能的分类方法的一个流程示意图;
35.图3是本技术实施例提供的业务场景的样本集合的示意图;
36.图4是本技术实施例提供的基于人工智能的分类方法的一个流程示意图;
37.图5是本技术实施例提供的基于人工智能的分类方法的一个流程示意图;
38.图6是本技术实施例提供的交叉操作的原理示意图;
39.图7是本技术实施例提供的基于人工智能的分类方法的一个流程示意图;
40.图8是本技术实施例提供的基于人工智能的分类方法的一个流程示意图;
41.图9是本技术实施例提供的基于人工智能的分类方法的一个流程示意图;
42.图10是本技术实施例提供的基于人工智能的分类方法的一个流程示意图;
43.图11是本技术实施例提供的基于人工智能的分类方法的一个流程示意图;
44.图12是本技术实施例提供的基于人工智能的分类方法的一个流程示意图;
45.图13是本技术实施例提供的基于人工智能的分类方法的一个流程示意图;
46.图14是本技术实施例提供的迁移学习模型训练的一个原理示意图;
47.图15是本技术实施例提供的迁移学习模型预测的一个原理示意图。
具体实施方式
48.为了使本技术的目的、技术方案和优点更加清楚,下面将结合附图对本技术作进一步地详细描述,所描述的实施例不应视为对本技术的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本技术保护的范围。
49.在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
50.在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
51.除非另有定义,本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的,不是旨在限制本技术。
52.对本技术实施例进行进一步详细说明之前,对本技术实施例中涉及的名词和术语进行说明,本技术实施例中涉及的名词和术语适用于如下的解释。
53.1)人工智能,人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,主要包括计算机实现智能的原理、制造类似于人脑智能的计算机,使计算机能实现更高层次的应用。
54.2)迁移学习,迁移学习是一种机器学习的方法,指的是一个预训练的模型被重新用在另一个任务中。迁移学习与多任务学习以及概念飘移这些问题相关,它不是一个专门的机器学习领域。然而,迁移学习在某些深度学习问题中是非常受欢迎的,例如在具有大量训练深度模型所需的资源或者具有大量的用来预训练模型的数据集的情况。仅在第一个任务中的深度模型特征是泛化特征的时候,迁移学习才会起作用。深度学习中的这种迁移被
称作归纳迁移。就是通过使用一个适用于不同但是相关的任务的模型,以一种有利的方式缩小可能模型的搜索范围。
55.3)深度学习,深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法,在语音和图像识别方面取得的效果,远远超过先前相关技术。
56.为了更好地理解本技术实施例中提供的基于人工智能的分类方法,首先对相关技术中的基于人工智能的分类方法进行说明:
57.机器学习在大量标记的数据上进行监督式训练可以获得很好的性能和效果,然而大型的标记数据集在数量和应用领域方面均有限,且手动标记足量的训练、数据往往需要高昂的代价。针对这一问题,通常采用迁移学习方法解决,即训练一个鉴别器用于调整迁移学习网络的参数,使得参数调整后的迁移学习网络下,源领域的数据与目标领域的数据间的分布偏移减小,从而迁移学习网络应用目标领域完成目标任务时有较佳的效果。但是,深度学习模型的缺乏可解释性使其在要求模型可解释性的应用中(比如,金融风险控制)很难被用于迁移学习,而复杂度低的深度学习模型从原始数据中学习到可迁移知识的能力较弱,因此其迁移能力不强。这就产生了一个矛盾,迁移能力强的深度学习模型缺乏可解释性,可解释性强的深度学习模型迁移能力不强,导致深度学习模型无法兼顾可解释性以及迁移能力。同时,在迁移学习中,由于不能对不同领域或场景的数据进行有效的领域区分,使得迁移学习过程中需要训练更长时间才能使得训练后的模型达到目标性能,造成迁移学习的效率低,进而导致计算机需要耗费大量资源算力,致使计算机算力资源的利用率低。
58.在本技术实施例的实施过程中,发现相关技术存在以下问题:
59.随着深度学习模型在很多实际应用中取得令人惊喜的效果,深度学习模型已经成为现代人工智能的主流。支持这些深度学习模型成功的一个很重要的因素是海量高质量的标注数据。
60.然而获得有标注的数据往往成本高昂,因为对数据的筛选和标注需要大量的人力和物力成本。在专业性高的领域(比如金融,医疗领域)尤其如此。解决高质量标注数据难以获得的一个比较普遍的方案是通过领域自适应方法,利用数据资源丰富的领域对数据匮乏的领域进行知识迁移,从而降低对标注数据的需求。
61.传统的领域自适应方法通过在全部的特征上训练一个可迁移的(神经网络)特征提取模型来达到领域自适应的目的。然而,基于全部的特征,只训练一个特征提取模型,有以下两个缺点:
62.特征提取模型的输出缺乏可解释性。对于每一个原始样本,特征提取模型的输出是一个特征向量,而我们不知道特征提取模型是如何计算得到这个特征向量的。
63.特征提取模型通过从原始数据中提取领域不变的高阶特征来达到领域适配的目的。在全部的特征上训练一个单独的特征提取模型可能并不能学习到很好的领域不变特征。因为具有不同变化因素的特征可能会对领域不变的高阶特征的学习产生负效果。
64.基于以上分析,申请人发现,在现有技术中,迁移学习能力强的深度学习模型缺乏可解释性,可解释性强的深度学习模型迁移能力不强,使得在迁移学习的过程中往往训练较长时间的深度学习模型反而无法达到目标性能,造成迁移学习的效率低下。针对上述问
题,本技术实施例提供了一个在提高迁移学习效率的同时保证预测准确性的基于人工智能的翻译方法。
65.本技术实施例提供一种基于人工智能的分类方法、装置、设备和计算机可读存储介质,能够在提高迁移学习效率的同时达到目标性能,下面说明本技术实施例提供的基于人工智能的分类设备的示例性应用,本技术实施例提供的电子设备可以实施为笔记本电脑,平板电脑,台式计算机,机顶盒,移动设备(例如,移动电话,便携式音乐播放器,个人数字助理,专用消息设备,便携式游戏设备)等各种类型的用户终端,也可以实施为服务器。
66.以本技术实施例提供的电子设备是服务器为例,参见图1,图1是本技术实施例提供的基于人工智能的服务器400的结构示意图,图1所示的服务器400包括:至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。服务器400中的各个组件通过总线系统440耦合在一起。可理解,总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图1中将各种总线都标为总线系统440。
67.处理器410可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(dsp,digital signal processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
68.存储器450可以是可移除的,不可移除的或其组合。示例性的硬件设备包括固态存储器,硬盘驱动器,光盘驱动器等。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。
69.存储器450包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(rom,read only me mory),易失性存储器可以是随机存取存储器(ram,random access memor y)。本技术实施例描述的存储器450旨在包括任意适合类型的存储器。
70.在一些实施例中,存储器450能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
71.操作系统451,包括用于处理各种基本系统服务和执行硬件相关任务的系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;
72.网络通信模块452,用于经由一个或多个(有线或无线)网络接口420到达其他计算设备,示例性的网络接口420包括:蓝牙、无线相容性认证(wifi)、和通用串行总线(usb,universal serial bus)等;
73.在一些实施例中,本技术实施例提供的基于人工智能的分类装置可以采用软件方式实现,图1示出了存储在存储器450中的装置455,其可以是程序和插件等形式的软件,包括以下软件模块:特征分组模块4551、交叉模块4552、第一训练模块4553、第二训练模块4554和预测模块4555,这些模块是逻辑上的,因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
74.在另一些实施例中,本技术实施例提供的基于人工智能的分类装置可以采用硬件方式实现,作为示例,本技术实施例提供的基于人工智能的分类装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本技术实施例提供的基于人工智能的分类方法,例
如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(asic,application specific integrated circuit)、ds p、可编程逻辑器件(pld,programmable logic device)、复杂可编程逻辑器件(cpld,complex programmable logic device)、现场可编程门阵列(fpg a,field

programmable gate array)或其他电子元件。
75.下面将结合本技术实施例提供的终端的示例性应用和实施,说明本技术实施例提供的基于人工智能的分类方法。
76.参见图2,图2是本技术实施例提供的基于人工智能的分类方法的一个可选的流程示意图,将结合图2示出的步骤进行说明。
77.步骤11,将第一业务场景的第一样本集合和第二业务场景的第二样本集合分别根据样本属性特征进行分组处理,得到每个业务场景下的多个特征组和单体特征。
78.参见图3,图3是本技术实施例提供的业务场景的样本集合的示意图,将结合图3所示出的业务场景的样本集合对第一业务场景的第一样本集合和第二业务场景的第二样本集合进行示意性说明。
79.第一业务场景与第二业务场景可以为两个业务相似但不同的业务场景。
80.例如,第一业务场景为信用评分和欺诈评分,第二业务场景为欺诈评分,其中,第一业务场景可以有大量的样本,第二业务场景可以有一定数量的样本,即第一样本的数量远远大于第二样本的数量。第一样本中的每一个样本对应一个类别标签和一个领域标签,第二样本中的每一个样本对应一个领域标签,第一样本的领域标签与第二样本的领域标签不同,例如,领域标签与业务场景对应,第一样本中各个样本的领域标签均为1,第二样本中各个样本的领域标签均为0。在图3中,示意性的画出了第一业务场景下的其中一个第一样本和第二业务场景下的其中一个第二样本。
81.再例如,第一业务场景可以为对私转账,第二业务场景可以为对公转账;第一业务场景可以为贷款业务,第二业务场景可以为存储业务;第一业务场景可以为理财业务,第二应用场景可以为信用卡业务。第一业务场景和第二业务场景不仅限于金融领域的业务场景,第一业务场景和第二业务场景还可以是制造业领域的业务场景等等,业务场景的具体类型并不构成对本技术的限定。
82.在一些实施例中,样本可以为对应业务场景下的用户样本,第一业务场景的第一样本可以为对私转账业务场景下的用户样本,第二业务场景的第二样本可以为对公转账业务场景下的用户样本,第一业务场景的第一样本集合可以为对私转账业务场景下的所有用户样本的集合,第二业务场景的第二样本集合可以为对公转账业务场景下的所有用户样本的集合。通常情况下,对私转账的用户规模要远大于对公转账的用户规模,也即第一样本的数量远远大于第二样本的数量。
83.例如,一位用户可能同时有对公转账的业务需求和对私转账的业务需求,因此该用户可能既是第一业务场景的第一样本,同时也是第二业务场景的第二样本。另一位用户可能仅有对公转账的业务需求但是并没有对私转账的业务需求,因此,该用户仅是第一业务场景的第一样本。也即第一业务场景的第一样本集合和第二业务场景的第二样本集合中可能有相同的样本,但是第一业务场景的第一样本集合和第二业务场景的第二样本集合中的样本并不完全相同,因此,第一业务场景和第二业务场景可以是两个相似但不完全相同的两个业务场景,在迁移学习的过程中,两个相似但不完全相同的业务场景可以更加高效
的完成迁移学习,而两个完全不同的业务场景较之于两个相似但不相同的业务场景可能迁移学习的耗时会更长。
84.在一些实施例中,样本属性特征可以为用户的属性特征,例如,用户的属性特征可以有社交属性特征、工作属性特征、习惯属性特征、理财属性特征、消费属性特征、年龄属性特征等等,业务属性特征的具体类型并不用构成对本技术的限定。
85.例如,将对私转账业务场景下的用户样本集合和对公转账业务场景下的用户样本集合分别根据样本属性特征进行分组处理,进而可以得到每个业务场景下的多个特征组和单体特征。
86.例如,在对私转账业务场景下的一个用户样本,可以根据社交属性特征、工作属性特征、习惯属性特征、理财属性特征等,将该用户样本的单体特征进行分组,例如,该用户样本的一个特征组可以为工作属性特征组,该工作属性特征组中可以有至少两个单体特征,例如,该工作属性特征组中可以有工作地址特征、工作类型特征、薪资特征等等。
87.在一些实施例中,第一业务场景的第一样本集合中的样本和第二业务场景的第二样本集合中的样本具有相同的特征空间。第一业务场景的第一样本集合和第二业务场景的第二样本集合可以用于分类问题、回归问题等,第一业务场景的第一样本集合和第二业务场景的第二样本集合的具体用途,并不构成对本技术的限定。
88.在一些实施例中,参见图4,图4是本技术实施例提供的基于人工智能的分类方法的一个流程示意图,上述步骤11可以通过图4示出的步骤111和步骤112实现,将结合各步骤进行说明。
89.步骤111,针对第一业务场景的第一样本集合中的每个样本执行以下处理:将每个样本中具有相同样本属性的多个单体特征进行分组处理,得到多个第一样本特征组,将每个样本中未被用于进行分组处理的单体特征作为第一样本单体特征。
90.例如,对第一业务场景的第一样本集合中的一个第一样本而言,参见图3,多个第一样本特征组可以为f
1a
、f
2a
、f
3a
……
f
ia
……
f
na
,举例而言,第一样本特征组f
1a
可以由具有相同样本属性的多个第一样本单体特征所组成。举例而言,第一样本特征组f
1a
中的第一样本单体特征的样本属性和第一样本特征组f
2a
中的第一样本单体特征的样本属性是不同的。
91.例如,参见图3,第一样本单体特征可以为f
1a
、f
2a
……
f
ja
……
f
ma
,可以理解的是,第一样本单体特征f
1a
、f
2a
……
f
ja
……
f
ma
均未被用于进行分组处理,也即f
1a
、f
2a
……
f
ja
……
f
ma
均不在任一第一样本特征组f
1a
、f
2a
、f
3a
……
f
ia
……
f
na
中。
92.步骤112,针对第二业务场景的第二样本集合中的每个样本执行以下处理:将每个样本具有相同样本属性的多个单体特征进行分组处理,得到多个第二样本特征组,将每个样本中未被用于进行分组处理的单体特征作为第二样本单体特征。
93.例如,针对第二业务场景的第二样本集合中的每个样本均进行分组处理。对第二业务场景的第二样本集合中的一个第二样本而言,参见图3,多个第二样本特征组可以为f
1b
、f
2b
、f
3b
……
f
ib
……
f
nb
,举例而言,第二样本特征组f
1b
可以由具有相同样本属性的多个第二样本单体特征所组成。举例而言,第二样本特征组f
1b
中的第二样本单体特征的样本属性和第二样本特征组f
2b
中的第二样本单体特征的样本属性是不同的。
94.例如,参见图3,第二样本单体特征可以为f
1b
、f
2b
……
f
jb
……
f
mb
,可以理解的是,第二样本单体特征f
1b
、f
2b
……
f
jb
……
f
mb
均未被用于进行分组处理,也即f
1b
、f
2b
……
f
jb
……
f
mb
均不在任一第二样本特征组f
1b
、f
2b
、f
3b
……
f
ib
……
f
nb
中。
95.在一些实施例中,可以先获取第二业务场景的第二样本以及第二业务场景的第二样本,根据样本属性特征对第二样本以及第二样本的特征进行分组,例如,根据样本属性特征对第二业务场景的第二样本的特征进行分组,以获得预设个数的第二样本特征组,并根据样本属性特征对第二业务场景的第二样本的特征进行分组,以获得预设个数的第二样本特征组,使得每一组样本中的特征均为对样本某个属性的描述,每个样本特征组可以是对样本某一方面的比较抽象的描述,例如可把婚恋交友、微博交友、微信交友等特征划为一组,这组特征是对样本的社交属性的描述。
96.步骤12,将每个业务场景下的多个特征组进行交叉操作,得到多个交叉特征组。
97.在一些实施例中,交叉操作可以对多个特征组中的任意两个特征组进行交叉,交叉操作可以是拼接、内积、外积等,交叉操作的具体类型并不构成对本技术实施例的限定。
98.在一些实施例中,参见图5,图5是本技术实施例提供的基于人工智能的分类方法的一个流程示意图,上述步骤12可以通过图5示出的步骤121和步骤122实现,将结合各步骤进行说明。
99.步骤121,根据交叉操作函数,将多个第一样本特征组中的任意两个进行交叉操作,得到多个第一样本交叉特征组。
100.在一些实施例中,交叉操作函数的表达式可以为:
101.g(f
i
,f
j
),i≠j
102.其中,f
j
和f
i
可以表示不同的第一样本特征组,交叉操作函数g(f
i
,f
j
)可以是对f
i
和f
j
的拼接操作,内积操作,外积操作等等,交叉操作函数的具体操作类型并不构成对本技术的限定。
103.步骤122,根据交叉操作函数,将多个第二样本特征组中的任意两个进行交叉操作,得到多个第二样本交叉特征组。
104.在一些实施例中,交叉操作函数的表达式可以为:
105.g(f
i
,f
j
),i≠j
106.其中,f
j
和f
i
可以表示不同的第二样本特征组,交叉操作函数g(f
i
,f
j
)可以是对f
i
和f
j
的拼接操作,内积操作,外积操作等等,交叉操作函数的具体操作类型并不构成对本技术的限定。
107.参见图6,图6是本技术实施例提供的交叉操作的原理示意图。在图6中,多个第二样本特征组f1、f2、f3中的任意两个可以进行交叉操作,如图6所示,f1和f2可以通过交叉操作函数g(f1,f2)进行交叉操作得到f1和f2的第二样本交叉特征组;f1和f3可以通过交叉操作函数g(f1,f3)进行交叉操作得到f1和f3的第二样本交叉特征组;f3和f2可以通过交叉操作函数g(f2,f3)进行交叉操作得到f3和f2的第二样本交叉特征组。
108.步骤13,根据多个特征组和多个交叉特征组训练至少一个特征提取模型。
109.在一些实施例中,特征组可以包括第一样本特征组和第二样本特征组,交叉特征组可以包括第一样本交叉特征组和第二样本交叉特征组。特征提取模型通过从原始数据中提取领域不变的高阶特征来达到领域适配的目的。
110.特征提取模型可以是深度神经网络模型,特征提取模型可以用于对特征进行表征学习。
111.在一些实施例中,参见图7,图7是本技术实施例提供的基于人工智能的分类方法的一个流程示意图,上述步骤13可以通过图7示出的步骤1311至步骤1316实现,将结合各步骤进行说明。
112.步骤1311,根据与多个第一样本特征组分别对应的特征提取模型,确定与多个第一样本特征组分别对应的第一样本特征表征。
113.参见图14,图14是本技术实施例提供的迁移学习模型训练的一个原理示意图。在图14中,根据多个第一样本特征组f
1a
、f
2a
、f
3a
分别对应的特征提取模型r1、r2、r3,确定与多个第一样本特征组f
1a
、f
2a
、f
3a
分别对应的第一样本特征表征r
1a
、r
2a
、r
3a

114.可以理解的是,在图14中,仅是示意性示出了三个第一样本特征组f
1a
、f
2a
、f
3a
,第一样本特征组还可以有f
4a
、f
5a
等等,第一样本特征组的数量还可以为2个、4个、5个等等,第一样本特征组的实际数量并不够成对本技术的限定。
115.步骤1312,根据与多个第二样本特征组分别对应的特征提取模型,确定与多个第二样本特征组分别对应的第二样本特征表征,其中,具有相同样本属性的第一样本特征组和第二样本特征组对应的特征提取模型相同。
116.例如,参见图14,根据多个第一样本特征组f
1b
、f
2b
、f
3b
分别对应的特征提取模型r1、r2、r3,确定与多个第一样本特征组f
1b
、f
2b
、f
3b
分别对应的第一样本特征表征r
1b
、r
2b
、r
3b

117.可以理解的是,在图14中,仅是示意性示出了三个第一样本特征组f
1b
、f
2b
、f
3b
,第一样本特征组还可以有f
4b
、f
5b
等等,第一样本特征组的数量还可以为2个、4个、5个等等,第一样本特征组的实际数量并不够成对本技术的限定。
118.在一些实施例中,具有相同样本属性的第一样本特征组和第二样本特征组对应的特征提取模型相同,参见图14,具有相同样本属性的第一样本特征组f
1a
和第二样本特征组f
1b
对应的特征提取模型相同,具有相同样本属性的第一样本特征组f
2a
和第二样本特征组f
2b
对应的特征提取模型相同,具有相同样本属性的第一样本特征组f
3b
和第二样本特征组f
3b
对应的特征提取模型相同。
119.步骤1313,根据与多个第一样本交叉特征组分别对应的特征提取模型,确定与多个第一样本交叉特征组分别对应的第一样本特征表征。
120.参见图14,根据与多个第一样本交叉特征组f
1a
f
2a
、f
1a
f
3a
、f
2a
f
3a
分别对应的特征提取模型r4、r5、r6,确定与多个第一样本交叉特征组f
1a
f
2a
、f
1a
f
3a
、f
2a
f
3a
分别对应的第一样本特征表征r
4a
、r
5a
、r
6a

121.可以理解的是,在图14中,仅是示意性的画出了三个第一样本交叉特征组f
1a
f
2a
、f
1a
f
3a
、f
2a
f
3a
,第一样本交叉特征组还可以有f
4b
f
5b
等等,第一样本交叉特征组的数量还可以为6个等等,第一样本交叉特征组的实际数量并不够成对本技术的限定。
122.步骤1314,根据与多个第二样本交叉特征组分别对应的特征提取模型,确定与多个第二样本交叉特征组分别对应的第二样本特征表征,其中,具有相同样本属性的第一样本交叉特征组和第二样本交叉特征组对应的特征提取模型相同。
123.例如,根据与多个第二样本交叉特征组f
1b
f
2b
、f
1b
f
3b
、f
2b
f
3b
分别对应的特征提取模型r4、r5、r6,确定与多个第二样本交叉特征组f
1b
f
2b
、f
1b
f
3b
、f
2b
f
3b
分别对应的第二样本特征表征r
4b
、r
5b
、r
6b

124.可以理解的是,在图14中,仅是示意性的画出了三个第二样本交叉特征组f
1b
f
2b

f
1b
f
3b
、f
2b
f
3b
,第二样本交叉特征组还可以有f
4b
f
5b
等等,第二样本交叉特征组的数量还可以为6个等等,第二样本交叉特征组的实际数量并不够成对本技术的限定。
125.例如,参见图14,具有相同样本属性的第一样本交叉特征组f
1a
f
2a
和第二样本交叉特征组f
1b
f
2b
对应的特征提取模型相同,具有相同样本属性的第一样本交叉特征组f
1a
f
3a
和第二样本交叉特征组f
1b
f
3b
对应的特征提取模型相同,具有相同样本属性的第一样本交叉特征组f
2a
f
3a
和第二样本交叉特征组f
2b
f
3b
对应的特征提取模型相同。
126.步骤1315,根据每个具有相同样本属性的第一样本特征表征和第二样本特征表征对应的一个领域区分模型,确定领域区分模型的领域区分损失值,并根据领域区分模型的领域区分损失值更新与具有相同样本属性的第一样本特征表征和第二样本特征表征对应的特征提取模型的参数。
127.领域区分模型可以是可微分的分类模型,领域区分模型可以用于判断特征提取模型学习到的特征表征是第一样本特征表征还是第二样本特征表征。
128.例如,参见图14,根据每个具有相同样本属性的第一样本特征表征r
1a
和第二样本特征表征r
1b
对应的一个领域区分模型d1,确定领域区分模型d1的领域区分损失值l
d,1
;根据每个具有相同样本属性的第一样本特征表征r
2a
和第二样本特征表征r
2b
对应的一个领域区分模型d2,确定领域区分模型d2的领域区分损失值l
d,2
;根据每个具有相同样本属性的第一样本特征表征r
3a
和第二样本特征表征r
3b
对应的一个领域区分模型d3,确定领域区分模型d3的领域区分损失值l
d,3

129.例如,参见图14,根据领域区分模型d1的领域区分损失值l
d,1
更新与具有相同样本属性的第一样本特征表征r
1a
和第二样本特征表征r
1b
对应的特征提取模型r1的参数;根据领域区分模型d2的领域区分损失值l
d,2
更新与具有相同样本属性的第一样本特征表征r
2a
和第二样本特征表征r
2b
对应的特征提取模型r2的参数;根据领域区分模型d3的领域区分损失值l
d,3
更新与具有相同样本属性的第一样本特征表征r
3a
和第二样本特征表征r
3b
对应的特征提取模型r3的参数。
130.步骤1316,基于每个特征提取模型的更新后的参数得到与多个特征组和多个交叉特征组分别对应的训练后的特征提取模型。
131.例如,参见图14,基于每个特征提取模型r1、r2、r3、r4、r5、r6的更新后的参数得到与多个特征组和多个交叉特征组分别对应的训练后的特征提取模型r1、r2、r3、r4、r5、r6。
132.在一些实施例中,参见图8,图8是本技术实施例提供的基于人工智能的分类方法的一个流程示意图,上述步骤13可以通过图8示出的步骤1321至步骤1323实现,将结合各步骤进行说明。
133.步骤1321,根据特征提取模型确定与多个特征组和多个交叉特征组分别对应的第一样本特征表征,并根据特征提取模型确定与多个特征组和多个交叉特征组分别对应的第二样本特征表征。
134.例如,根据特征提取模型确定与多个特征组f
1a
、f
2a
、f
3a
和多个交叉特征组f
1a
f
2a
、f
1a
f
3a
、f
2a
f
3a
分别对应的第一样本特征表征r
1a
、r
2a
、r
3a
、r
4a
、r
5a
、r
6a
,并根据特征提取模型确定与多个特征组f
1b
、f
2b
、f
3b
和多个交叉特征组f
1b
f
2b
、f
1b
f
3b
、f
2b
f
3b
分别对应的第二样本特征表征r
1b
、r
2b
、r
3b
、r
4b
、r
5b
、r
6b

135.步骤1322,根据每个第一样本特征表征和每个第二样本特征表征以及分别对应的
领域区分模型,确定分别对应的领域区分损失值。
136.例如,根据每个第一样本特征表征r
1a
、r
2a
、r
3a
、r
4a
、r
5a
、r
6a
和每个第二样本特征表征r
1b
、r
2b
、r
3b
、r
4b
、r
5b
、r
6b
以及分别对应的领域区分模型d1、d2、d3、d4、d5、d6确定分别对应的领域区分损失值l
d,1
、l
d,2
、l
d,3
、l
d,4
、l
d,5
、l
d,6

137.在一些实施例中,参见图10,图10是本技术实施例提供的基于人工智能的分类方法的一个流程示意图,上述步骤1322可以通过图10示出的步骤132221至步骤13222实现,将结合各步骤进行说明。
138.步骤13221,基于每个第一样本特征表征调用与每个第一样本特征表征对应的领域区分模型,得到每个第一样本特征表征的第一样本预测领域标签,根据第一样本预测领域标签和第一样本真实领域标签,确定对应的领域区分损失值。
139.步骤13222,基于每个第二样本特征表征调用与每个第二样本特征表征对应的领域区分模型,得到每个第二样本特征的第二样本预测领域标签,根据第二样本预测领域标签和第二样本真实领域标签,确定对应的领域区分损失值,其中,具有相同样本属性的第一样本特征表征和第二样本特征表征对应的领域区分模型相同。
140.步骤1323,根据每个领域区分损失值更新特征提取模型的参数,基于更新的参数得到训练后的特征提取模型。
141.例如,根据每个领域区分损失值l
d,1
、l
d,2
、l
d,3
、l
d,4
、l
d,5
、l
d,6
更新特征提取模型的参数,基于更新的参数得到训练后的特征提取模型。
142.步骤14,根据第二业务场景下的单体特征和每个特征提取模型输出的第二样本特征表征训练类别预测模型,并继续训练至少一个特征提取模型。
143.类别预测模型可以是可微分的机器学习模型,可微分的机器学习模型可以是线性回归模型、逻辑回归模型等等,类别预测模型具有较高的可解释性,可以解释每个特征组对预测结果的贡献程度。
144.在一些实施例中,参见图9,图9是本技术实施例提供的基于人工智能的分类方法的一个流程示意图,上述步骤14可以通过图9示出的步骤141至步骤143实现,将结合各步骤进行说明。
145.步骤141,基于第一业务场景下的单体特征和第一样本特征表征调用类别预测模型,得到类别预测模型输出的第一样本预测类别标签。
146.例如,参见图14,基于第一业务场景下的单体特征f
1a
、f
2a
、f
3a
和第一样本特征表征r
1a
、r
2a
、r
3a
、r
4a
、r
5a
、r
6a
调用类别预测模型,得到类别预测模型输出的第一样本预测类别标签。
147.步骤142,根据第一样本预测类别标签和第一样本真实类别标签,确定类别预测损失值。
148.例如,参见图14,根据第一样本预测类别标签和第一样本真实类别标签,确定类别预测损失值l
clsa

149.步骤143,根据类别预测损失值更新类别预测模型的参数,基于更新的参数获得训练后的类别预测模型。
150.例如,参见图14,根据类别预测损失值l
clsa
更新类别预测模型的参数,基于更新的参数获得训练后的类别预测模型。可以理解是的,类别预测模型的参数可以是用于类别预
测模型进行预测的参数。
151.在一些实施例中,步骤14可以通过以下方式实现:根据类别预测损失值继续更新与多个特征组和多个交叉特征组分别对应的特征提取模型的参数,基于更新后的参数获得与多个特征组和多个交叉特征组分别对应的继续训练后的特征提取模型。
152.例如,参见图14,根据类别预测损失值继续更新与多个特征组f
1a
、f
2a
、f
3a
和多个交叉特征组f
1a
f
2a
、f
1a
f
3a
、f
2a
f
3a
分别对应的特征提取模型r1、r2、r3、r4、r5、r6的参数,基于更新后的参数获得与多个特征组和多个交叉特征组分别对应的继续训练后的特征提取模型r1、r2、r3、r4、r5、r6。
153.在一些实施例中,参见图11,图11是本技术实施例提供的基于人工智能的分类方法的一个流程示意图,上述步骤14可以通过图11示出的步骤144至步骤145实现,将结合各步骤进行说明。
154.步骤144,基于第一业务场景下的单体特征和第一样本特征表征调用类别预测模型,得到类别预测模型输出的第一样本预测类别标签,根据第一样本预测类别标签和第一样本真实类别标签,确定类别预测损失值。
155.例如,基于第一业务场景下的单体特征f
1a
、f
2a
、f
3a
和第一样本特征表征r
1a
、r
2a
、r
3a
、r
4a
、r
5a
、r
6a
调用类别预测模型,得到类别预测模型输出的第一样本预测类别标签,根据第一样本预测类别标签和第一样本真实类别标签,确定类别预测损失值l
clsa

156.步骤145,根据类别预测损失值更新类别预测模型的参数,基于更新的参数获得训练后的类别预测模型。
157.例如,根据类别预测损失值l
clsa
更新类别预测模型的参数,基于更新的参数获得训练后的类别预测模型。
158.在一些实施例中,步骤14可以通过以下方式实现:根据类别预测损失值继续更新特征提取模型的参数,基于更新后的参数获得训练后的特征提取模型。
159.在一些实施例中,根据类别预测损失值l
clsa
继续更新特征提取模型r的参数,基于更新后的参数获得训练后的特征提取模型。
160.步骤15,根据训练后的至少一个特征提取模型和训练后的类别预测模型,预测第二业务场景的待测样本的类别标签。
161.在一些实施例中,参见图12,图12是本技术实施例提供的基于人工智能的分类方法的一个流程示意图,上述步骤15可以通过图12示出的步骤151至步骤153实现,将结合各步骤进行说明。
162.步骤151,基于第二业务场景下的多个特征组调用与多个特征组分别对应的训练后的特征提取模型,得到与多个特征组分别对应的更新后的第二样本特征表征。
163.在一些实施例中,参见图15,图15是本技术实施例提供的迁移学习模型预测的一个原理示意图。
164.例如,参见图15,基于第二业务场景下的多个特征组f
1b
、f
2b
、f
3b
调用与多个特征组f
1b
、f
2b
、f
3b
分别对应的训练后的特征提取模型r1、r2、r3,得到与多个特征组f
1b
、f
2b
、f
3b
分别对应的更新后的第二样本特征表征r
1b
、r
2b
、r
3b

165.步骤152,基于第二业务场景下的多个交叉特征组调用与多个交叉特征组分别对应的训练后的特征提取模型,得到与多个交叉特征组分别对应的更新后的第二样本特征表
征。
166.例如,参见图15,基于第二业务场景下的多个交叉特征组f
1b
f
2b
、f
1b
f
3b
、f
2b
f
3b
调用与多个交叉特征组f
1b
f
2b
、f
1b
f
3b
、f
2b
f
3b
分别对应的训练后的特征提取模型r4、r5、r6,得到与多个交叉特征组f
1b
f
2b
、f
1b
f
3b
、f
2b
f
3b
分别对应的更新后的第二样本特征表征r
4b
、r
5b
、r
6b

167.步骤153,基于更新后的第二样本特征表征和第二业务场景下的单体特征调用训练后的类别预测模型,得到训练后的类别预测模型输出的第二业务场景的类别标签。
168.参见图15,基于更新后的第二样本特征表征r
1b
、r
2b
、r
3b
、r
4b
、r
5b
、r
6b
和第二业务场景下的单体特征f
1b
、f
2b
、f
3b
调用训练后的类别预测模型,得到训练后的类别预测模型输出的第二业务场景的类别标签。
169.参见图13,图13是本技术实施例提供的基于人工智能的分类方法的一个流程示意图,上述步骤15可以通过图13示出的步骤154至步骤155实现,将结合各步骤进行说明。
170.步骤154,基于第二业务场景下的多个特征组和多个交叉特征组调用特征提取模型,得到与多个特征组和多个交叉特征组分别对应的更新后的第二样本特征表征。
171.例如,基于第二业务场景下的多个特征组f
1b
、f
2b
、f
3b
和多个交叉特征组f
1b
f
2b
、f
1b
f
3b
、f
2b
f
3b
调用特征提取模型r,得到与多个特征组f
1b
、f
2b
、f
3b
和多个交叉特征组f
1b
f
2b
、f
1b
f
3b
、f
2b
f
3b
分别对应的更新后的第二样本特征表征r
1b
、r
2b
、r
3b
、r
4b
、r
5b
、r
6b

172.步骤155,基于更新后的第二样本特征表征和第二业务场景下的单体特征,调用训练后的类别预测模型,得到第二业务场景的类别标签。
173.例如,基于更新后的第二样本特征表征r
1b
、r
2b
、r
3b
、r
4b
、r
5b
、r
6b
和第二业务场景下的单体特征f
1b
、f
2b
、f
3b
,调用训练后的类别预测模型,得到第二业务场景的类别标签。
174.下面,将说明本技术实施例在一个实际的应用场景中的示例性应用。
175.例如,两个业务相似但不同的第一业务场景和第二业务场景(比如信用评分和欺诈评分两个业务场景)。
176.第一业务场景(例如,信用评分业务场景)中有大量的样本,每一个样本对应一个类别标签和一个领域标签。第二业务场景(例如,欺诈评分业务场景)中有一定数量的样本,每一个样本对应一个领域标签,但没有类别标签。
177.在信用评分和欺诈评分这两个实际应用场景中,可以通过信用评分场景和欺诈评分场景中的样本特征,对特征提取模型和类别预测模型进行训练,得到训练后的特征提取模型和类别预测模型。通过训练后的特征提取模型和类别预测模型对欺诈评分场景的类别标签进行预测。
178.由于特征提取模型和类别预测模型的训练用到了两个业务场景中的样本特征,从而使得训练后的特征提取模型和类别预测模型有较好的迁移学习能力。
179.第一业务场景(例如,信用评分业务场景)和第二业务场景例如,欺诈评分业务场景)具有相同的特征空间(即,特征相同)。在第一业务场景(例如,信用评分业务场景)和第二业务场景(例如,欺诈评分业务场景)两个业务领域中,根据专家知识选取完全相同的部分特征并且以完全相同的方式进行分组。每一组中的特征是对样本某个属性的描述。这样每个特征分组可以看着是对样本某一方面的比较抽象的描述。比如,可把婚恋交友,微博交友,微信交友等特征划为一组,这组特征是对样本的社交属性的描述。这样从每个特征分组学习到的高阶特征就具有可解释性。
180.但是基于专家知识的特征分组,忽略了属于不同特征分组的特征之间的交互。因此通过特征分组之间的两两交互达到对属于不同特征分组的特征之间的交叉。
181.对第一业务场景中的n个特征分组进行两两交叉,得到z个特征分组交叉。每个特征分组交叉其本质也是一个特征分组。我们将这z个特征分组交叉与第一业务场景中的n个特征分组进行合并得到扩展的特征分组集合。
182.以相同的方法对第二业务场景中的n个特征分组进行两两交叉,得到z个特征分组交叉。将这z个特征分组交叉与第二业务场景中的n个特征分组进行合并得到扩展的特征分组集合。
183.针对信用评分场景的特征分组集合和欺诈评分场景的特征分组集合中的每一对特征分组进行以下操作:
184.训练一个特征提取模型对特征分组进行表征学习,特征提取模型的输入是特征分组,对应的输出分别是学习到的特征表征。
185.训练一个领域区分模型来拉近特征分组之间的特征分布。
186.特征提取模型是深度神经网络模型,用来对特征进行表征学习,也就是学习可迁移的知识,以达到领域适配的目的。
187.领域区分模型,是任意的可微分的分类模型,用于判断特征提取模型学习得到的表征是来自第一业务场景(例如,信用评分场景)还是第二业务场景(例如,欺诈评分场景)。
188.基于第一业务场景的所有样本和类别标签,训练一个类别预测模型,和所有n+z个特征提取模型。其中类别预测模型具有较高可解释性的可微分的机器学习模型,比如线性回归模型和逻辑回归模型等等。基于类别预测模型的参数和模型结构,类别预测模型能够解释每个特征组对预测结果的贡献,从而可以解释得到预测结果的原因。
189.预先设定训练模型轮数,在每一轮模型训练中,基于第一业务场景和第二业务的样本和对应的类别标签和领域标签,可以使用梯度下降算法,通过以下步骤对模型进行训练。
190.将输入的第一业务场景样本的每一个特征分组和输入的第二业务场景的样本的每一个特征分组分别输入对应的特征提取模型,分别得到n+z个特征表征r
ia
和n+z个特征表征r
ib

191.对于每一个特征表征r
ia
将其输入对应的领域区分模型,得到预测的领域标签。通过领域区分损失函数l
d,i
,基于r
ia
的预测领域标签和真实领域标签,计算得到领域区分损失值。基于领域区分损失值,更新领域区分模型,并且基于领域区分损失值,通过领域对抗学习的方式,训练特征提取模型。
192.对于每一个特征表征r
ib
,将其输入对应的领域区分模型,得到预测的领域标签。通过领域区分损失函数l
d,i
,基于r
ib
的预测领域标签和真实领域标签,计算得到领域区分损失值。基于领域区分损失值,更新领域区分模型,并且基于领域区分损失值,通过领域对抗学习的方式,训练特征提取模型。
193.将输入的第一业务场景的第一样本的所有m个单体特征和特征提取模型得到的n+z个特征表征r
ia
输入类别预测模型,得到预测类别标签。通过类别预测损失函数基于预测类别标签和真实类别标签,计算得到类别预测损失值。基于类别预测损失值,更新类别预测模型和所有n+z个特征提取模型。
194.更新类别预测模型和所有n+z个特征提取模型可以是对类别预测模型和所有n+z个特征提取模型进行训练,得到训练后的类别预测模型和所有n+z个特征提取模型。
195.将第二业务场景的待预测的样本的每一个特征分组分别输入对应的训练后的n+z特征提取模型,得到特征表征n+z个特征表征r
ib

196.将第二业务场景的m个单体特征和n+z个特征表征r
ib
输入更新后的类别预测模型,得到预测的第二业务场景的类别标签。
197.通过第一业务场景样本和第二场景样本的单体特征和特征分组,对特征提取模型和类别预测模型进行训练,从而使得训练后的特征提取模型和类别预测模型能够很好的适应两个不同场景。在对第二业务场景的类别标签进行预测时,由于使用了训练后的特征提取模型和类别预测模型,进而可以准确的预测第二业务场景的类别标签。
198.下面继续结合图1说明本技术实施例提供的基于人工智能的分类装置455的实施为软件模块的示例性结构,在一些实施例中,如图1所示,存储在存储器450的基于人工智能的分类装置455中的软件模块可以包括:特征分组模块4551、交叉模块4552、第一训练模块4553、第二训练模块4554、预测模块4555。
199.特征分组模块4551,用于将第一业务场景的第一样本集合和第二业务场景的第二样本集合分别根据样本属性特征进行分组处理,得到每个业务场景下的多个特征组和单体特征;
200.交叉模块4552,用于将每个业务场景下的多个特征组进行交叉操作,得到多个交叉特征组;
201.第一训练模块4553,用于根据多个特征组和多个交叉特征组训练至少一个特征提取模型;
202.第二训练模块4554,用于根据第一业务场景下的单体特征和每个特征提取模型输出的第一样本特征表征训练类别预测模型,并继续训练至少一个特征提取模型;
203.预测模块4555,用于根据训练后的至少一个特征提取模型和训练后的类别预测模型,预测第二业务场景的待测样本的类别标签。
204.在一些实施例中,特征分组模块4551,还用于针对第一业务场景的第一样本集合中的每个样本执行以下处理:将每个样本中具有相同样本属性的多个单体特征进行分组处理,得到多个第一样本特征组,将每个样本中未被用于进行分组处理的单体特征作为第一样本单体特征;针对第二业务场景的第二样本集合中的每个样本执行以下处理:将每个样本具有相同样本属性的多个单体特征进行分组处理,得到多个第二样本特征组,将每个样本中未被用于进行分组处理的单体特征作为第二样本单体特征。
205.在一些实施例中,交叉模块4552,还用于根据交叉操作函数,将多个第一样本特征组中的任意两个进行交叉操作,得到多个第一样本交叉特征组;根据交叉操作函数,将多个第二样本特征组中的任意两个进行交叉操作,得到多个第二样本交叉特征组。
206.在一些实施例中,第一训练模块4553,还用于根据与多个第一样本特征组分别对应的特征提取模型,确定与多个第一样本特征组分别对应的第一样本特征表征;根据与多个第二样本特征组分别对应的特征提取模型,确定与多个第二样本特征组分别对应的第二样本特征表征,其中,具有相同样本属性的第一样本特征组和第二样本特征组对应的特征提取模型相同;根据与多个第一样本交叉特征组分别对应的特征提取模型,确定与多个第
一样本交叉特征组分别对应的第一样本特征表征;根据与多个第二样本交叉特征组分别对应的特征提取模型,确定与多个第二样本交叉特征组分别对应的第二样本特征表征,其中,具有相同样本属性的第一样本交叉特征组和第二样本交叉特征组对应的特征提取模型相同;根据每个具有相同样本属性的第一样本特征表征和第二样本特征表征对应的一个领域区分模型,确定领域区分模型的领域区分损失值,并根据领域区分模型的领域区分损失值更新与具有相同样本属性的第一样本特征表征和第二样本特征表征对应的特征提取模型的参数;基于每个特征提取模型的更新后的参数得到与多个特征组和多个交叉特征组分别对应的训练后的特征提取模型。
207.在一些实施例中,第二训练模块4554,还用于基于第一业务场景下的单体特征和第一样本特征表征调用类别预测模型,得到类别预测模型输出的第一样本预测类别标签;根据第一样本预测类别标签和第一样本真实类别标签,确定类别预测损失值;根据类别预测损失值更新类别预测模型的参数,基于更新的参数获得训练后的类别预测模型;继续训练至少一个特征提取模型,包括:根据类别预测损失值继续更新与多个特征组和多个交叉特征组分别对应的特征提取模型的参数,基于更新后的参数获得与多个特征组和多个交叉特征组分别对应的继续训练后的特征提取模型。
208.在一些实施例中,第一训练模块4553,还用于根据特征提取模型确定与多个特征组和多个交叉特征组分别对应的第一样本特征表征,并根据特征提取模型确定与多个特征组和多个交叉特征组分别对应的第二样本特征表征;根据每个第一样本特征表征和每个第二样本特征表征以及分别对应的领域区分模型,确定分别对应的领域区分损失值;根据每个领域区分损失值更新特征提取模型的参数,基于更新的参数得到训练后的特征提取模型。
209.在一些实施例中,第一训练模块4553,还用于基于每个第一样本特征表征调用与每个第一样本特征表征对应的领域区分模型,得到领域区分模型输出的每个第一样本特征表征的第一样本预测领域标签,根据第一样本预测领域标签和第一样本真实领域标签,确定对应的领域区分损失值;基于每个第二样本特征表征调用与每个第二样本特征表征对应的领域区分模型,得到领域区分模型输出的每个第二样本特征的第二样本预测领域标签,根据第二样本预测领域标签和第二样本真实领域标签,确定对应的领域区分损失值,其中,具有相同样本属性的第一样本特征表征和第二样本特征表征对应的领域区分模型相同。
210.在一些实施例中,第二训练模块4554,还用于基于第一业务场景下的单体特征和第一样本特征表征调用类别预测模型,得到类别预测模型输出的第一样本预测类别标签,根据第一样本预测类别标签和第一样本真实类别标签,确定类别预测损失值;根据类别预测损失值更新类别预测模型的参数,基于更新的参数获得训练后的类别预测模型;继续训练至少一个特征提取模型,包括:根据类别预测损失值继续更新特征提取模型的参数,基于更新后的参数获得训练后的特征提取模型。
211.在一些实施例中,预测模块4555,还用于基于第二业务场景下的多个特征组调用与多个特征组分别对应的训练后的特征提取模型,得到训练后的特征提取模型输出的与多个特征组分别对应的更新后的第二样本特征表征;基于第二业务场景下的多个交叉特征组调用与多个交叉特征组分别对应的训练后的特征提取模型,得到训练后的特征提取模型输出的与多个交叉特征组分别对应的更新后的第二样本特征表征;基于更新后的第二样本特
征表征和第二业务场景下的单体特征调用训练后的类别预测模型,得到训练后的类别预测模型输出的第二业务场景的类别标签。
212.在一些实施例中,预测模块4555,还用于基于第二业务场景下的多个特征组和多个交叉特征组调用特征提取模型,得到特征提取模型输出的与多个特征组和多个交叉特征组分别对应的更新后的第二样本特征表征;基于更新后的第二样本特征表征和第二业务场景下的单体特征,调用训练后的类别预测模型,得到训练后的类别预测模型输出的第二业务场景的类别标签。
213.本技术实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本技术实施例上述的基于人工智能的分类方法。
214.在一些实施例中,计算机可读存储介质可以是fram、rom、prom、ep rom、eeprom、闪存、磁表面存储器、光盘、或cd

rom等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
215.在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
216.作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(html,hyper text markup language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
217.作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
218.综上,本技术实施例具有以下有益效果:
219.(1)通过将第一业务场景的第一样本集合和第二业务场景的第二样本集合分别根据样本属性特征进行分组处理,得到每个业务场景下的多个特征组和单体特征,而每个特征组是对样本的一个特定特征的描述,从而使后续从每个特征组学习到的高阶特征具有可解释性;通过将多个特征组进行交叉操作,得到多个交叉特征组,可以进一步提高分组处理的准确性,从而使后续从每个特征组和交叉特征组学习到的高阶特征具有更高的可解释性。根据多个特征组和多个交叉特征组训练至少一个特征提取模型,根据第一业务场景下的单体特征和每个特征提取模型输出的第一样本特征表征训练类别预测模型,并继续训练所述至少一个特征提取模型。由于在训练类别预测模型的同时对特征提取模型进行持续训练,从而可以在提高训练效率的同时,有效提升特征提取模型的性能。进而根据训练后的至少一个特征提取模型和训练后的类别预测模型,预测第二业务场景的待测样本的类别标签,从而可以准确的预测待测样本的类别标签。由此,可以在提高迁移学习效率的同时达到目标性能。
220.(2)通过每个特征组的特征提取模型可以对每个特征组的知识进行迁移。
221.(3)通过可解释模型g的模型参数或模型结构,能够解释每个特征组对预测结果的贡献,从而可以解释得到预测结果的原因,同时达到了模型迁移和模型可解释的目的。
222.以上,仅为本技术的实施例而已,并非用于限定本技术的保护范围。凡在本技术的精神和范围之内所作的任何修改、等同替换和改进等,均包括在本技术的保护范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1