数据标注方法、装置和电子设备与流程

文档序号:37457985发布日期:2024-03-28 18:41阅读:11来源:国知局
数据标注方法、装置和电子设备与流程

本技术涉及数据处理,尤其涉及一种数据标注方法、装置和电子设备。


背景技术:

1、在一些自动化标注场景,例如无人驾驶标注场景中,由于无人驾驶系统由于存在硬件算力限制,无法实时运行多个人工智能(artificial intelligence,ai)模型进行推理,因此,可以考虑训练一个“全能”ai模型,使其尽可能精确、高速执行全量的任务需求。

2、然而,一个“全能”ai模型,需要借助大量标注过的全场景数据进行训练。目前,通常是采用人工标注的方式,对无人驾驶场景中采集到的数据标进行标注,这样不仅会导致数据的标注效率较低,而且会导致数据标注的准确度较低。


技术实现思路

1、本技术提供一种数据标注方法、装置和电子设备,在对数据进行标注时,不仅可以提高数据的标注效率,而且可以提高数据标注的准确度。

2、第一方面,本技术实施例提供一种数据标注方法,该数据标注方法可以包括:

3、接收输入的标注任务信息,所述标注任务信息包括待标注数据涉及的目标场景信息和目标任务类型;

4、基于所述目标场景信息和所述目标任务类型,确定对应的目标模型;

5、基于所述目标模型对所述待标注数据进行标注,得到所述待标注数据的标注信息。

6、根据本技术提供的一种数据标注方法,所述基于所述目标场景信息和所述目标任务类型,确定对应的目标模型,包括:

7、基于所述目标场景信息和所述目标任务类型,生成对应的目标提示词;

8、将所述目标提示词输入至大语言模型中,通过所述大语言模型对所述目标提示词进行语义理解,将所述目标提示词转换为用于查询知识图谱的目标查询语句;其中,所述知识图谱用于表征场景信息、任务类型和对应模型之间的关联关系;

9、基于所述目标查询语句和所述知识图谱确定所述目标模型。

10、根据本技术提供的一种数据标注方法,所述基于所述目标场景信息和所述目标任务类型,生成对应的目标提示词,包括:

11、确定所述大语言模型可识别的提示词模板;

12、基于所述提示词模板对所述目标场景信息和所述目标任务类型进行处理,生成所述目标提示词。

13、根据本技术提供的一种数据标注方法,所述基于所述目标查询语句和所述知识图谱确定所述目标模型,包括:

14、从所述知识图谱中,确定所述目标查询语句中包括的所述目标场景信息和所述目标任务类型对应的模型标识;

15、将预设的模型库中,所述模型标识对应的模型确定为所述目标模型。

16、根据本技术提供的一种数据标注方法,所述接收输入的标注任务信息,包括:

17、输出标注任务信息模板,所述标注任务信息模板用于指示基于所述标注任务信息模板生成所述标注任务信息;

18、接收所述标注任务信息。

19、根据本技术提供的一种数据标注方法,所述数据标注方法还包括:

20、获取全量场景信息下不同任务类型各自对应的模型;

21、基于所述全量场景信息下不同任务类型各自对应的模型,构建所述知识图谱。

22、根据本技术提供的一种数据标注方法,所述基于所述目标模型对所述待标注数据进行标注,得到所述待标注数据的标注信息,包括:

23、将所述待标注数据输入至所述目标模型中,得到所述待标注数据对应的任务预测结果;

24、将所述任务预测结果,确定为所述标注信息。

25、第二方面,本技术还提供一种数据标注装置,该数据标注装置可以包括:

26、接收单元,用于接收输入的标注任务信息,所述标注任务信息包括待标注数据涉及的目标场景信息和目标任务类型;

27、第一处理单元,用于基于所述目标场景信息和所述目标任务类型,确定对应的目标模型;

28、第二处理单元,用于基于所述目标模型对所述待标注数据进行标注,得到所述待标注数据的标注信息。

29、根据本技术提供的一种数据标注装置,所述第一处理单元,用于基于所述目标场景信息和所述目标任务类型,确定对应的目标模型,包括:

30、基于所述目标场景信息和所述目标任务类型,生成对应的目标提示词;

31、将所述目标提示词输入至大语言模型中,通过所述大语言模型对所述目标提示词进行语义理解,将所述目标提示词转换为用于查询知识图谱的目标查询语句;其中,所述知识图谱用于表征场景信息、任务类型和对应模型之间的关联关系;

32、基于所述目标查询语句和所述知识图谱确定所述目标模型。

33、根据本技术提供的一种数据标注装置,所述第一处理单元,用于基于所述目标场景信息和所述目标任务类型,生成对应的目标提示词,包括:

34、确定所述大语言模型可识别的提示词模板;

35、基于所述提示词模板对所述目标场景信息和所述目标任务类型进行处理,生成所述目标提示词。

36、根据本技术提供的一种数据标注装置,所述第一处理单元,用于基于所述目标查询语句和所述知识图谱确定所述目标模型,包括:

37、从所述知识图谱中,确定所述目标查询语句中包括的所述目标场景信息和所述目标任务类型对应的模型标识;

38、将预设的模型库中,所述模型标识对应的模型确定为所述目标模型。

39、根据本技术提供的一种数据标注装置,所述接收单元,用于接收输入的标注任务信息,包括:

40、输出标注任务信息模板,所述标注任务信息模板用于指示基于所述标注任务信息模板生成所述标注任务信息;

41、接收所述标注任务信息。

42、根据本技术提供的一种数据标注装置,所述装置还包括获取单元和构建单元;

43、所述获取单元,用于获取全量场景信息下不同任务类型各自对应的模型;

44、所述构建单元,用于基于所述全量场景信息下不同任务类型各自对应的模型,构建所述知识图谱。

45、根据本技术提供的一种数据标注装置,所述第二处理单元,用于基于所述目标模型对所述待标注数据进行标注,得到所述待标注数据的标注信息,包括:

46、将所述待标注数据输入至所述目标模型中,得到所述待标注数据对应的任务预测结果;

47、将所述任务预测结果,确定为所述标注信息。

48、本技术还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述的数据标注方法。

49、本技术还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述的数据标注方法。

50、本技术还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述的数据标注方法。

51、本技术实施例提供的数据标注方法、装置和电子设备,接收输入的标注任务信息,标注任务信息包括待标注数据涉及的目标场景信息和目标任务类型;并基于目标场景信息和目标任务类型,确定对应的目标模型,该目标模型即为适用于目标场景信息和目标任务类型的模型;基于目标模型对待标注数据进行标注,这样不仅可以提高数据的标注效率,而且可以提高数据标注的准确度。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1