分类模型训练和分类方法、装置、设备及存储介质与流程

文档序号:35959273发布日期:2023-11-08 21:32阅读:33来源:国知局
分类模型训练和分类方法、装置、设备及存储介质与流程

本申请实施例涉及计算机,尤其涉及一种分类模型训练和分类方法、装置、设备及存储介质。


背景技术:

1、随着神经网络技术的快速发展,以及各领域的分类需求的增长,各种分类模型随之产生。分类模型通过对大量数据的类别进行学习,可以实现准确的分类。

2、目前,分类模型的训练过程为,使用历史训练数据对分类模型进行训练,使得分类模型可以实现对预设类别的分类。但是,随着时间的推移,后期可能会出现新的类别,而已有的分类模型无法实现对新类别的分类。

3、为了解决上述技术问题,目前通过历史训练数据和新类别对应的训练数据,共同对分类模型进行重新训练,以使分类模型识别出更多类别。但是,这样将旧数据和新数据混合重新训练分类模型的方法,不仅耗时,且模型准确性也差。


技术实现思路

1、本申请提供一种分类模型训练和分类方法、装置、设备及存储介质,可以提高模型的训练速度和训练准确性。

2、第一方面,本申请提供一种分类模型训练方法,包括:

3、获取基础训练数据和新增类别的第一训练数据,并从所述基础训练数据中,选出原始类别的第二训练数据,所述基础训练数据用于训练基础分类模型,所述基础分类模型的预测类别中不包括所述新增类别;

4、获取训练后的基础分类模型的模型参数,并将所述模型参数,复制至增量分类模型中,所述增量分类模型的预测类别中包括所述新增类别;

5、通过所述增量分类模型对所述第一训练数据和所述第二训练数据的类别进行预测,得到所述增量分类模型预测的第一分类结果;

6、基于所述第一分类结果,对所述增量分类模型进行训练,得到训练后的增量分类模型。

7、第二方面,本申请提供一种分类方法,包括:

8、获取待分类的目标数据;

9、通过训练后的增量分类模型对所述目标数据的类别进行预测,得到所述目标数据的分类结果;

10、其中,所述训练后的增量分类模型是复制基础分类模型的模型参数后,基于第一分类结果训练得到的,所述第一分类结果为所述增量分类模型对第一训练数据和第二训练数据的类别进行预测得到,所述第一训练数据为新增类别的训练数据,所述第二训练数据为从基础训练数据中选出的训练数据,所述基础训练数据用于训练所述基础分类模型,所述基础分类模型的预测类别中不包括所述新增类别,所述增量分类模型的预测类别中包括所述新增类别。

11、第三方面,本申请提供一种分类模型训练装置,包括:

12、训练数据获取单元,用于获取基础训练数据和新增类别的第一训练数据,并从所述基础训练数据中,选出原始类别的第二训练数据,所述基础训练数据用于训练基础分类模型,所述基础分类模型的预测类别中不包括所述新增类别;

13、复制单元,用于获取训练后的基础分类模型的模型参数,并将所述模型参数,复制至增量分类模型中,所述增量分类模型的预测类别中包括所述新增类别;

14、预测单元,用于通过所述增量分类模型对所述第一训练数据和所述第二训练数据的类别进行预测,得到所述增量分类模型预测的第一分类结果;

15、训练单元,用于基于所述第一分类结果,对所述增量分类模型进行训练,得到训练后的增量分类模型。

16、第四方面,本申请提供一种分类装置,包括:

17、获取单元,用于获取待分类的目标数据;

18、预测单元,用于通过训练后的增量分类模型对所述目标数据的类别进行预测,得到所述目标数据的分类结果;

19、其中,所述训练后的增量分类模型是复制基础分类模型的模型参数后,基于第一分类结果训练得到的,所述第一分类结果为所述增量分类模型对第一训练数据和第二训练数据的类别进行预测得到,所述第一训练数据为新增类别的训练数据,所述第二训练数据为从基础训练数据中选出的训练数据,所述基础训练数据用于训练所述基础分类模型,所述基础分类模型的预测类别中不包括所述新增类别,所述增量分类模型的预测类别中包括所述新增类别。

20、第五方面,本申请提供了一种计算设备,包括处理器和存储器。所述存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,以执行上述第一方面至第四方面任一方面的方法。

21、第六方面,提供了一种芯片,用于实现上述第一方面至第四方面中任一方面或其各实现方式中的方法。具体地,所述芯片包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有所述芯片的设备执行如上述第一方面至第四方面的方法。

22、第七方面,提供了一种计算机可读存储介质,用于存储计算机程序,所述计算机程序使得计算机执行上述第一方面至第四方面的方法。

23、第八方面,提供了一种计算机程序产品,包括计算机程序指令,所述计算机程序指令使得计算机执行上述第一方面至第四方面的方法。

24、第九方面,提供了一种计算机程序,当其在计算机上运行时,使得计算机执行上述第一方面至第四方面的方法。

25、综上,本申请通过获取新增类别的第一训练数据,且从基础训练数据中筛选出原始类别的一部分数据,作为第二训练数据。同时,获取已训练后的基础分类模型的模型参数,且将基础分类模型的模型参数直接复制至新的增量分类模型中,使得增量分类模型具有了已有的基础分类模型的分类识别能力。接着,使用上述第一训练数据和第二训练数据对该增量分类模型进行训练,使得训练后的增量分类模型不仅可以准确识别出新类别,也维持对原始类别的准确识别,进而提高了增量分类模型的分类准确性。另外,本申请将训练后的基础分类模型的模型参数直接复制至新的增量分类模型中,在此基础上对增量分类模型进行训练时,可以提高增量分类模型的训练速度。



技术特征:

1.一种分类模型训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,若所述基础训练数据中包括n个原始类别分别对应的基础训练数据子集,所述原始类别的第二训练数据中包括所述n个原始类别分别对应的第二训练数据子集时,则所述从所述基础训练数据中,选出原类别的第二训练数据,包括:

3.根据权利要求2所述的方法,其特征在于,所述第i个原始类别的第二训练数据子集的数据量,小于所述新增类别的第一训练数据的数据量。

4.根据权利要求1所述的方法,其特征在于,所述基于所述第一分类结果,对所述增量分类模型进行训练,得到训练后的增量分类模型,包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述第二分类结果和所述第三分类结果中的至少一个,以及所述第一分类结果,对所述增量分类模型进行训练,得到训练后的增量分类模型,包括:

6.根据权利要求5所述的方法,其特征在于,基于所述第二分类结果和所述第三分类结果中的至少一个,以及第一分类结果,确定第一知识蒸馏损失,包括:

7.根据权利要求6所述的方法,其特征在于,所述基于所述第一分类结果和所述第二分类结果,确定所述第一知识蒸馏损失,包括:

8.根据权利要求5所述的方法,其特征在于,基于所述第二分类结果和所述第三分类结果中的至少一个,以及第一分类结果,确定第一标签纠正损失,包括:

9.根据权利要求8所述的方法,其特征在于,所述基于所述第一分类结果和所述第三分类结果,确定所述第一标签纠正损失,包括:

10.根据权利要求4-9任一项所述的方法,其特征在于,若所述至少一个分类模型中包括所述辅助分类模型时,则所述方法还包括:

11.根据权利要求10所述的方法,其特征在于,所述基于所述第三分类结果,对所述辅助分类模型进行训练,得到训练后的辅助分类模型,包括:

12.根据权利要求11所述的方法,其特征在于,所述基于所述第一分类结果和所述第三分类结果,对所述辅助分类模型进行训练,得到训练后的辅助分类模型,包括:

13.根据权利要求11所述的方法,其特征在于,所述基于所述第一分类结果、所述第二分类结果和所述第三分类结果,对所述辅助分类模型进行训练,得到训练后的辅助分类模型,包括:

14.根据权利要求13所述的方法,其特征在于,所述基于所述第三分类结果和所述第二分类结果,确定所述第二知识蒸馏损失,包括:

15.根据权利要求12或13所述的方法,其特征在于,所述基于所述第一分类结果和所述第三分类结果,确定所述第二标签纠正损失,包括:

16.一种分类方法,其特征在于,包括:

17.一种分类模型训练装置,其特征在于,包括:

18.一种分类装置,其特征在于,包括:

19.一种计算设备,其特征在于,包括处理器和存储器;

20.一种计算机可读存储介质,其特征在于,用于存储计算机程序,所述计算机程序使得计算机执行如上述权利要求1至15或16任一项所述的方法。


技术总结
本申请提供一种分类模型训练和分类方法、装置、设备及存储介质,可应用于分类、人工智能、故障检测等场景。该训练方法包括:获取基础训练数据和新增类别的第一训练数据,并从基础训练数据中,选出原始类别的第二训练数据;获取训练后的基础分类模型的模型参数,并将模型参数,复制至增量分类模型中;通过增量分类模型对第一训练数据和第二训练数据的类别进行预测,得到增量分类模型预测的第一分类结果;基于第一分类结果,对增量分类模型进行训练,得到训练后的增量分类模型。即本申请的模型训练方法,可以提高模型的训练速度和准确性。

技术研发人员:赖锦祥
受保护的技术使用者:腾讯科技(深圳)有限公司
技术研发日:
技术公布日:2024/1/16
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1