数据处理方法、电子设备和计算机程序产品与流程

文档序号:34311139发布日期:2023-05-31 21:21阅读:30来源:国知局
数据处理方法、电子设备和计算机程序产品与流程

本公开的实施例主要涉及计算机领域,并且更具体地,涉及数据处理方法、模型训练方法、电子设备、计算机可读存储介质和计算机程序产品。


背景技术:

1、受益于复杂的网络架构和大量人工标注的训练数据,模型、尤其是目标检测模型具有快速、准确的检测能力,在各种应用中表现出突出的性能。在对模型进行训练的过程中,需要多组标注准确的数据。然而,由于标签的不准确注释,被训练的模型通常会被拟合为错误的目标模型,导致模型精度降低。特别是,由于人类视觉疲劳或对象重叠等问题,在众包形式的人工标注过程中经常会发生对对象位置和/或类别的不精确标注。被错误地标注的数据通常可以被称为“噪声数据”或“噪声”。因此,需要降低数据中的噪声数据的比例。


技术实现思路

1、根据本公开的示例实施例,提供了一种数据处理方案。

2、在本公开的第一方面中,提供了一种数据处理方法。该方法可以包括确定数据的多个特征表示,多个特征表示分别对应于数据具有的预先标注的一组标签。该方法还可以包括获取多个特征表示的第一组检测结果。该方法可以进一步包括基于第一组检测结果与一组标签,从第一组检测结果中确定一组未命中结果以作为数据中的噪声,一组未命中结果的每个未命中结果是基于损失函数值从第一组检测结果中确定的。

3、在本公开的第二方面中,提供了一种电子设备,包括:至少一个处理单元;至少一个存储器,所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令,所述指令当由所述至少一个处理单元执行时使得所述设备执行动作,所述动作包括:确定数据的多个特征表示,所述多个特征表示分别对应于所述数据具有的预先标注的一组标签;获取所述多个特征表示的第一组检测结果;以及基于所述第一组检测结果与所述一组标签,从所述第一组检测结果中确定一组未命中结果以作为所述数据中的噪声,所述一组未命中结果的每个未命中结果是基于损失函数值从第二组检测结果中确定的。

4、本公开的第三方面,提供了一种电子设备,包括:存储器和处理器;其中所述存储器用于存储一条或多条计算机指令,其中所述一条或多条计算机指令被所述处理器执行以实现根据本公开的第一方面所描述的方法。

5、本公开的第四方面,提供了一种计算机可读存储介质,该计算机可读存储介质具有在其上存储的机器可执行指令,该机器可执行指令在由设备执行时使该设备执行根据本公开的第一方面所描述的方法。

6、本公开的第五方面,提供了一种计算机程序产品,包括计算机可执行指令,其中所述计算机可执行指令在被处理器执行时实现根据本公开的第一方面所描述的方法。

7、提供
技术实现要素:
部分是为了以简化的形式来介绍一系列概念,它们在下文的具体实施方式中将被进一步描述。发明内容部分不旨在标识本公开的关键特征或必要特征,也不旨在限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。



技术特征:

1.一种数据处理方法,包括:

2.根据权利要求1所述的方法,还包括:

3.根据权利要求2所述的方法,还包括:

4.根据权利要求1所述的方法,其中确定所述多个特征表示包括:

5.根据权利要求3所述的方法,还包括:

6.根据权利要求5所述的方法,其中确定所述模型的损失函数值包括:

7.根据权利要求5所述的方法,其中确定所述模型的损失函数值包括:

8.根据权利要求5所述的方法,其中所述部分数据以及所述另一部分数据的所述组合是加权组合。

9.一种电子设备,包括:

10.根据权利要求9所述的电子设备,所述至少一个处理单元还被配置为:

11.根据权利要求10所述的电子设备,所述至少一个处理单元还被配置为:

12.根据权利要求9所述的电子设备,其中确定所述多个特征表示包括:

13.根据权利要求11所述的电子设备,所述至少一个处理单元还被配置为:

14.根据权利要求13所述的电子设备,其中确定所述模型的损失函数值包括:

15.根据权利要求13所述的电子设备,其中确定所述模型的损失函数值包括:

16.根据权利要求13所述的电子设备,其中所述部分数据以及所述另一部分数据的所述组合是加权组合。

17.一种电子设备,包括:

18.一种计算机可读存储介质,具有存储在其上的计算机可读程序指令,所述计算机可读程序指令用于执行根据权利要求1-8中任一项所述的方法。

19.一种计算机程序产品,包括计算机可读程序指令,所述计算机可读程序指令用于执行根据权利要求1-8中任一项所述的方法。


技术总结
本公开的实施例涉及一种数据处理方法、电子设备和计算机程序产品。该方法可以包括确定数据的多个特征表示,多个特征表示分别对应于数据具有的预先标注的一组标签。该方法还可以包括获取多个特征表示的第一组检测结果。该方法可以进一步包括基于第一组检测结果与一组标签,从第一组检测结果中确定一组未命中结果以作为数据中的噪声,一组未命中结果的每个未命中结果是基于损失函数值从第一组检测结果中确定的。本公开的技术方案能够自动化地确定并修改训练数据中的噪声数据的真值标签,提升了用户体验。

技术研发人员:兰凯,张霓
受保护的技术使用者:日本电气株式会社
技术研发日:
技术公布日:2024/1/12
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1