一种智能标注平台的方法、装置、电子设备和存储介质与流程

文档序号:26104040发布日期:2021-07-30 18:15阅读:来源:国知局

技术特征:

1.一种智能标注平台的方法,其特征在于,包括:

在学习阶段,标注平台接收工程师上传的待标注数据;

管理员在所述标注平台上将所述待标注数据分为第一学习数据和第一待标注数据;

标注专家在所述标注平台上对所述第一学习数据进行标注得到金标准数据;

标注人员在所述标注平台上对所述第一学习数据进行标注得到第一标注数据;

所述标注平台对所述金标准数据和所述第一标注数据进行对比打分;

根据打分结果确定标注人员是否具有标注其他待标注数据的能力。

2.根据权利要求1所述的智能标注平台的方法,其特征在于,所述根据打分结果确定标注人员是否具有具有标注其他待标注数据的能力,包括:

若所述打分结果大于预设阈值,则确定所述标注人员具有标注其他待标注数据的能力;

若所述打分结果小于所述预设阈值,则确定所述标注人员不具有标注其他待标注数据的能力。

3.根据权利要求2所述的智能标注平台的方法,其特征在于,所述方法还包括:

所述标注人员具有标注其他待标注数据的能力,则所述标注人员作为标注专家,对所述学习数据进行标注得到金标准数据;

所述标注人员不具有标注其他待标注数据的能力,则所述标注人员作为标注人员,对所述学习数据进行标注得到第一标注数据。

4.根据权利要求1所述的智能标注平台的方法,其特征在于,所述方法还包括:

在标注阶段,工程师在所述标注平台上采用模型回标的方法对所述待标注数据进行预标注得到预标注数据;

管理员在所述标注平台上将所述预标注数据分为第二学习数据和第二待标注数据;

标注人员在所述标注平台上对所述第二待标注数据进行标注得到第二标注数据;

所述标注平台采用标注不一致检测算法进行检测所述第二标注数据是否达标。

5.根据权利要求4所述的智能标注平台的方法,其特征在于,所述标注平台检测所述第二标注数据是否达标,包括:

若检测所述第二标注数据达标,则所述标注专家对所述第二标注数据进行质量抽检确定是否达标;

若检测所述第二标注数据不达标,则所述管理员在所述标注平台上重新确定第二待标注数据,标注人员在所述标注平台上对所述第二待标注数据进行标注得到第二标注数据,所述标注平台检测所述第二标注数据是否达标。

6.根据权利要求5所述的智能标注平台的方法,其特征在于,所述标注专家对标注人员标注的数据进行质量抽检确定是否达标,包括:

若抽检所述第二标注数据达标,采用所述第二标注数据进行模型训练,若所述模型指标满足条件,则标注结束;

若抽检所述第二标注数据不达标,则所述管理员在所述标注平台上重新确定所述第二待标注数据,标注人员在所述标注平台上对所述第二待标注数据进行标注得到所述第二标注数据,所述标注平台检测所述第二标注数据是否达标。

7.根据权利要求6所述的智能标注平台的方法,其特征在于,若所述模型指标不满足条件,则工程师采用主动学习算法确定所述预标注数据。

8.一种智能标注平台的装置,其特征在于,包括:

接收模块:用于在学习阶段,标注平台接收工程师上传的待标注数据;

分类模块:用于管理员在所述标注平台上将所述待标注数据分为第一学习数据和第一待标注数据;

第一标注模块:用于标注专家在所述标注平台上对所述第一学习数据进行标注得到金标准数据;

第二标注模块:用于标注人员在所述标注平台上对所述第一学习数据进行标注得到第一标注数据;

对比模块:所述标注平台对所述金标准数据和所述第一标注数据进行对比打分;

确定模块:用于根据打分结果确定标注人员是否具有标注其他待标注数据的能力。

9.一种电子设备,其特征在于,包括:处理器和存储器;

所述处理器通过调用所述存储器存储的程序或指令,用于执行如权利要求1至8任一项所述一种智能标注平台的方法。

10.一种计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储程序或指令,所述程序或指令使计算机执行如权利要求1至7任一项所述一种智能标注平台的方法。


技术总结
本发明涉及一种智能标注平台的方法、装置、电子设备和存储介质,该方法包括:在学习阶段,标注平台接收工程师上传的待标注数据;管理员在标注平台上将待标注数据分为第一学习数据和第一待标注数据;标注专家在标注平台上对第一学习数据进行标注得到金标准数据;标注人员在标注平台上对第一学习数据进行标注得到第一标注数据;标注平台对金标准数据和第一标注数据进行对比打分;根据打分结果确定标注人员是否具有标注其他待标注数据的能力。本申请实施例中通过加入学习阶段,评估标注人员和标注专家之间标注的差异,判断标注人员与标注专家之间标注水平的差异,减少因标注人员的标注水平不足,造成数据回标的情况,提高标注效率。

技术研发人员:史亚飞;李霄寒
受保护的技术使用者:云知声智能科技股份有限公司;厦门云知芯智能科技有限公司
技术研发日:2021.06.02
技术公布日:2021.07.30
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1