分类模型训练方法、分类预测方法、装置及电子设备与流程

文档序号:36266053发布日期:2023-12-06 10:19阅读:32来源:国知局
分类模型训练方法与流程

本发明实施例涉及模型训练,尤其涉及一种分类模型训练方法、分类预测方法、装置及电子设备。


背景技术:

1、针对业务场景的分类模型,不仅需要模型对正样本集具有较高精确和召回,而且需要模型对负样本集具有较低误检。(正样本指具有分类目标的数据集,负样本指没有分类目标的正常数据)为了满足模型高召回低误检的需求,在模型训练过程中往往需要加入负样本与正样本进行对抗训练。模型同时学习正样本特征和负样本特征,从而在不降低模型召回的前提下有效降低模型误检,实验证明负样本越充分模型误检越低。

2、正负样本的搜集只能通过数据标注获得。假如需要训练一个100分类模型。传统做法首先将100类进行1-100编号,分别对每个类别进行数据标注获取正样本,之后搜集不包含100类数据作为负样本,但是在进行负样本标注时只能对所有类别进行100分类,数据标注是一个重人力重时间重资金的过程,使得搜集有效负样本成本极大,往往导致模型训练不充分。


技术实现思路

1、鉴于此,本发明实施例提供一种分类模型训练方法、分类预测方法、装置及电子设备,层级间训练相互独立,将层级外所有训练正样本视为层级训练负样本与层级的训练正样本进行对抗训练,训练负样本数量以指数倍数增加,大幅度缓解对训练负样本搜集的需求,有效提升模型训练的准确性。

2、第一方面,本发明实施例提供一种分类模型训练方法,其中,该方法包括:

3、加载各个层级的训练正样本和训练负样本;其中,每个层级的训练负样本为除层级之外的其他层级的训练正样本;

4、将不同层级的训练正样本和训练负样本分别输入预设神经网络进行对抗训练,得到分类模型。

5、在一个可能的实施方式中,在加载各个层级的训练正样本和训练负样本之前,该方法还包括:

6、获取训练样本数据;

7、对训练样本数据进行各个层级的正样本标注,得到各个层级的训练正样本;

8、对训练样本数据进行各个层级的负样本标注,得到各个层级的训练负样本。

9、在一个可能的实施方式中,对训练样本数据进行各个层级的正样本标注,包括:

10、对训练样本数据按照各个层级进行层级分类,得到各个层级的层级训练样本数据;

11、针对每个层级,将层级对应的层级训练样本数据进行类别分类,得到各个类别的类别训练样本数据,对各个类别的类别训练样本数据进行正样本标注,得到各个类别的类别训练样本数据对应的正样本标签;其中,正样本标签用类别训练样本数据对应的层级的层级标识和类别的类别标识进行表示。

12、在一个可能的实施方式中,对训练样本数据进行各个层级的负样本标注,包括:

13、针对每个层级,获取除层级之外的其他层级的各个类别对应的类别训练样本数据,对其他层级的各个类别训练样本数据进行负样本标注,得到其他层级的各个类别训练样本数据对应的负样本标签;其中,负样本标签用层级的层级标识和预设标识进行表示。

14、在一个可能的实施方式中,加载各个层级的训练正样本和训练负样本,包括:

15、对各个层级的训练正样本的正样本标签和训练负样本的负样本标签进行加载编码;

16、加载完成后,对加载编码的正样本标签和负样本标签进行加载解码。

17、在一个可能的实施方式中,在加载各个层级的训练正样本和训练负样本之后,该方法还包括:

18、将各个层级的训练正样本的正样本标签和训练负样本的负样本标签进行标签张量转换。

19、在一个可能的实施方式中,将各个层级的训练正样本的正样本标签和训练负样本的负样本标签进行标签张量转换,包括:

20、初始化一个长度为层级数量长度,且元素全部为预设值的张量矩阵;

21、针对每个层级,基于训练正样本的正样本标签的层级标识从张量矩阵中确定元素替换位置,将元素替换位置处的预设值替换成正样本标签的类别标识,将元素替换位置处的预设值替换成负样本标签的预设标识。

22、在一个可能的实施方式中,基于训练正样本的正样本标签的层级标识从张量矩阵中确定元素替换位置,包括:

23、从元素位置查询表中查询与层级标识匹配的元素位置标识;其中,元素位置查询表中存储有各个预设值在张量矩阵中所处的元素位置,以及与每个元素位置对应的元素位置标识;

24、将元素位置标识对应的元素位置确定为元素替换位置。

25、在一个可能的实施方式中,将不同层级的训练正样本和训练负样本分别输入预设神经网络进行对抗训练,包括:

26、将不同层级的训练正样本和训练负样本分别输入预设神经网络,预设神经网络输出标签预测值;

27、从输出标签预测值中确定各个层级对应的层级标签预测值;

28、针对每个层级,基于层级对应的层级标签预测值与正样本标签确定层级的层级损失值;

29、将各个层级对应的层级损失值确定模型损失值;

30、如果模型损失值大于预设损失值,应用各个层级对应的层级损失值之和迭代更新预设神经网络的参数,直到模型损失值收敛至预设损失值或模型训练次数达到预设训练次数为止,得到分类模型。

31、第二方面,本发明实施例提供一种分类预测方法,其中,该方法包括:

32、获取待分类数据;

33、将待分类数据输入至训练好的分类模型中,输出待分类数据的分类结果;其中,分类模型通过上述的分类模型训练方法训练得到。

34、第三方面,本发明实施例提供一种分类模型训练装置,其中,该装置包括:

35、加载模块,用于加载各个层级的训练正样本和训练负样本;其中,每个层级的训练负样本为除层级之外的其他层级的训练正样本;

36、对抗训练模块,用于将不同层级的训练正样本和训练负样本分别输入预设神经网络进行对抗训练,得到分类模型。

37、第四方面,本发明实施例提供一种分类预测装置,其中,装置包括:

38、获取模块,用于获取待分类数据;

39、分类输出模块,用于将待分类数据输入至训练好的分类模型中,输出待分类数据的分类结果;其中,分类模型通过上述的分类模型训练方法训练得到。

40、第五方面,本发明实施例提供一种电子设备,其中,包括:处理器和存储器,处理器用于执行存储器中存储的分类模型训练和分类预测程序,以实现上述的方法的步骤。

41、第六方面,本发明实施例提供一种存储介质,其中,存储介质存储有一个或者多个程序,一个或者多个程序可被一个或者多个第一处理器执行,以实现上述的方法的步骤。

42、本发明实施例提供的分类模型训练方法、分类预测方法、装置及电子设备,包括,加载各个层级的训练正样本和训练负样本;其中,每个层级的训练负样本为除层级之外的其他层级的训练正样本;将不同层级的训练正样本和训练负样本分别输入预设神经网络进行对抗训练,得到分类模型。由于层级间训练相互独立,在发明中将层级外所有训练正样本视为层级训练负样本与层级的训练正样本进行对抗训练,训练负样本数量以指数倍数增加,大幅度缓解对训练负样本搜集的需求,有效提升模型训练的准确性。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1