一种数据处理方法、电子设备及存储介质与流程

文档序号:36967106发布日期:2024-02-07 13:14阅读:15来源:国知局
一种数据处理方法、电子设备及存储介质与流程

本申请属于数据处理,具体涉及一种数据处理方法、电子设备及存储介质。


背景技术:

1、增量学习是在不忘记已经学习到的知识的基础上,不断地通过新的数据学习新的知识。在机器学习领域,如分类学习中,利用第一任务的数据训练得到第一分类模型,在利用该第一模型处理后续的第二任务(与第一任务类别不同)时,可能对第一分类模型进行调整,如删除节点或进行参数的更新,但调整后的第一分类模型无法再很好的处理原有第一任务的新增数据(待识别的第一任务数据),即模型在学习新的类别过程中无法保持对原有类别的识别精度。


技术实现思路

1、本申请实施例的目的是提供一种数据处理方法、电子设备及存储介质,解决了现有技术中模型在学习新类别的过程中保持对原有类别识别精度。

2、为了解决上述技术问题,本申请是这样实现的:

3、第一方面,本申请实施例提供了一种数据处理方法,该方法包括:将第三分类任务对应的数据输入第一分类模型,得到第一分类结果,所述第一分类模型是根据第一分类任务对应的数据对预设分类模型训练得到的;将所述第三分类任务对应的数据输入第二分类模型,得到第二分类结果,所述第二分类模型的节点和所述第一分类模型的节点在预设节点全集中互为补集;在所述第一分类结果优于所述第二分类结果的情况下,根据所述第三分类任务对应的数据和所述第一分类任务对应的数据,对所述第一分类模型进行调整,得到目标分类模型;将第一分类任务的待分类数据输入所述目标分类模型,得到所述第一分类任务的待分类数据的分类结果。

4、第二方面,本申请实施例提供了一种数据处理装置,该装置包括:第一确定模块,用于将第三分类任务对应的数据输入第一分类模型,得到第一分类结果,所述第一分类模型是根据第一分类任务对应的数据对预设分类模型训练得到的;第二确定模块,用于将所述第三分类任务对应的数据输入第二分类模型,得到第二分类结果,所述第二分类模型的节点和所述第一分类模型的节点在预设节点全集中互为补集;调整模块,用于在所述第一分类结果优于所述第二分类结果的情况下,根据所述第三分类任务对应的数据和所述第一分类任务对应的数据,对所述第一分类模型进行调整,得到目标分类模型;处理模块,用于将第一分类任务的待分类数据输入所述目标分类模型,得到所述第一分类任务的待分类数据的分类结果。

5、第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

6、第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

7、在本申请实施例中,通过将第三分类任务对应的数据输入第一分类模型,得到第一分类结果,所述第一分类模型是根据第一分类任务对应的数据对预设分类模型训练得到的;将所述第三分类任务对应的数据输入第二分类模型,得到第二分类结果,所述第二分类模型的节点和所述第一分类模型的节点在预设节点全集中互为补集;在所述第一分类结果优于所述第二分类结果的情况下,根据所述第三分类任务对应的数据和所述第一分类任务对应的数据,对所述第一分类模型进行调整,得到目标分类模型;将第一分类任务的待分类数据输入所述目标分类模型,得到所述第一分类任务的待分类数据的分类结果,通过对第一分类模型利用新的任务数据(第三分类任务对应的数据)以及原任务数据(第一分类任务对应的数据)来共同调整所述第一分类模型的模型参数,从而使得得到的目标分类模型不仅能对原有类别(第一任务对应的类别)具有较强的识别精度,而且能够对新类别(第三任务对应的类别)也能有较高的识别精度。



技术特征:

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述第一分类任务包括第一图像分类任务,所述第三分类任务包括第三图像分类任务,所述将第三分类任务对应的数据输入第一分类模型,得到第一分类结果,包括:

3.根据权利要求1所述的方法,其特征在于,所述第一分类任务包括第一文本分类任务,所述第三分类任务包括第三文本分类任务,所述将第三分类任务对应的数据输入第一分类模型,得到第一分类结果,包括:

4.根据权利要求1所述的方法,其特征在于,所述根据所述第三分类任务对应的数据和所述第一分类任务对应的数据,对所述第一分类模型进行调整,得到目标分类模型,包括:

5.根据权利要求4所述的方法,其特征在于,根据所述第三分类任务对应的数据和所述第一分类任务对应的数据,确定所述第一分类模型对应的目标损失函数,包括:

6.根据权利要求1所述的方法,其特征在于,在根据所述第三分类任务对应的数据和所述第一分类任务对应的数据,对所述第一分类模型进行调整,得到目标分类模型之前,还包括:

7.根据权利要求4所述的方法,其特征在于,在调整所述第一分类模型的参数,直至所述目标损失函数收敛之后,还包括:

8.根据权利要求4所述的方法,其特征在于,在根据所述第三分类任务对应的数据和所述第一分类任务对应的数据,对所述第一分类模型进行调整,得到目标分类模型之后,所述方法还包括:

9.根据权利要求1-8任一项所述的方法,其特征在于,所述方法还包括:

10.一种数据处理装置,其特征在于,包括:

11.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-9任一项所述的方法的步骤。

12.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-9任一项所述的方法的步骤。


技术总结
本申请公开了一种数据处理方法、电子设备及存储介质,其中,该方法包括:将第三分类任务对应的数据输入第一分类模型,得到第一分类结果,所述第一分类模型是根据第一分类任务对应的数据对预设分类模型训练得到的;将所述第三分类任务对应的数据输入第二分类模型,得到第二分类结果,所述第二分类模型的节点和所述第一分类模型的节点在预设节点全集中互为补集;在所述第一分类结果优于所述第二分类结果的情况下,根据所述第三分类任务对应的数据和所述第一分类任务对应的数据,对所述第一分类模型进行调整,得到目标分类模型;将第一分类任务的待分类数据输入所述目标分类模型,得到所述第一分类任务的待分类数据的分类结果。

技术研发人员:吕乐宾,蒋宁,陆全,夏粉,肖冰,丁隆耀
受保护的技术使用者:马上消费金融股份有限公司
技术研发日:
技术公布日:2024/2/6
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1