多智能体协作的标注方法

1.本发明涉及机器学习模型推理、人机交互、主动学习领域，特别涉及一种多智能体协作的标注方法。


背景技术：

2.为机器学习算法训练提供高质量的标注数据服务成为了决定人工智能应用高度的重要条件之一。然而，由于数据标注行业存在门槛较低、服务质量参差不齐等问题，需求方在选择数据服务时往往会遇到数据质量、服务效率、数据安全、管理能力、服务能力等痛点，这些痛点已成为阻碍行业发展的核心问题。随着人工智能应用场景的多样化，标注任务的门槛将逐渐提高，呈现专业化趋势，即，除了一般较为简单、可以通过培训掌握的标注，还有一些需要专业背景的标注，例如鸟类标注、车辆标注、植物标注等。此时，领域专家稀少，将数据集全部由专家标注成本很高。普通标注员虽然价格低廉，但是没有专业背景，无法直接进行标签标注。所以结合少量专家和大量业余者进行专业化数据标注将是未来数据标注行业面临的挑战。
3.现有的方法集中在自动标注、小样本学习、主动学习、众包学习等方面。但是现有方法仍存在如下局限性：
4.1.自动标注方法无法在没有训练数据的情况下启动、效果依赖于训练数据，移植性和通用性较差；
5.2.小样本学习方法假设一开始有少量标记数据，面对大量未标注数据样本，难以确定需标注的初始数据；
6.3.常规主动学习场景下依赖于对专家的问询，没有考虑人力成本；
7.4.现有的众包工作主要采用单一的标注方式，侧重于任务分配、标注结果融合，忽略了专家、业余者和机器学习模型的能力差异和成本差异，缺少让三方有效，低成本协作的方式。


技术实现要素：

8.有鉴于此，本发明的主要目的在于提供一种多智能体协作的标注方法，以期部分地解决上述技术问题中的至少之一。
9.为了实现上述目的，作为本发明的一方面，提供了一种多智能体协作的标注方法，通过主动学习样本点之间的相似性的过程，挑选适合专家和业余者标注的数据点，实现给定成本下最大化标注精度的目的，所述标注方法包括：
10.通过聚类发现样本点初始关系；
11.专家对每个聚类的中心点进行标签标注；
12.业余者比较每个聚类中离中心点最近的点与中心点是否为同一类；
13.用已标注样本训练度量学习模型，重新计算各样本点之间的距离；
14.用相应的专家数据选择策略和业余者选择策略选择标注数据。
15.其中，所述样本点初始关系指样本点之间的相似性，即聚类方法将相似样本点划分到同一个聚类中，将不相似的样本点划分到不同聚类中。
16.其中，所述聚类采用kmeans方法。
17.其中，所述专家对每个聚类的中心点进行标签标注的步骤还包括：记录已发现的类别以及所花费用。
18.其中，所述业余者比较每个聚类中离中心点最近的点与中心点是否为同一类的步骤还包括：判定为同一类的样本打上相同标签，判定为不同类的样本记录每个样本已排除的类别。
19.其中，所述度量学习模型学习一种距离衡量方法，得到的距离使得训练集中不同类别的图片相似度小而相同类别的图片相似度大。
20.其中，所述度量学习模型采用适应聚类算法的度量学习算法lmnn。
21.其中，所述用相应的专家数据选择策略和业余者选择策略选择标注数据的步骤中的数据选择策略与标注过程及标注者身份有关；标注按类别是否发现完全分为两个阶段，针对专家的数据选择策略在这两个阶段是不同的，针对业余者的数据选择策略在这两个阶段是相同的。
22.其中，若类别没有发现完全，对于未标注样本点，筛除最高置信度小于门槛值的点，在剩余的点上随机选择专家数目的点给专家标注；若类别已发现完全，则在非均匀数据集上，采取随机选择的方式选择样本点给专家标注，在均匀数据集上，优先选择在已标注样本数最少，类内方差最大的类别上具有最大置信度的点给专家标注。
23.其中，对于业余者，无论类别是否发现完全，选择在已标注样本数最少，类内方差最小的类别上具有最大置信度的点给业余者标注。
24.基于上述技术方案可知，本发明的多智能体协作的标注方法相对于现有技术至少具有如下有益效果的一部分：
25.针对领域专家少，业余者多的需要专业知识进行数据单分类的标注场景，设计一套基于多智能体(包含领域专家、业余者、机器学习模型)交互的数据标注机制，进行图片数据集单分类标注，以达到给定成本下最大化标注精度的目的。
附图说明
26.图1为本发明实施例提供的多智能体协作的标注方法流程示意图。
27.图2为本发明的操作流程图。
具体实施方式
28.本发明方法的创新点在于以下几点：(1)第一个结合了专家和业余者的众包标注系统；(2)我们的系统从头开始标注数据集，不需要任何预先标注任何数据；(3)由于度量学习的特性，我们的系统可以标注不同的目标数据集，并且保持节约成本的特性。
29.为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
30.如图1所示，本发明实施方式提供一种多智能体协作标注方法，通过学习样本点之间的相似性，主动学习过程，挑选适合专家和业余者标注的数据点，实现给定成本下最大化
标注精度的目的，方法包括：
31.通过聚类发现样本点初始关系；
32.专家对每个聚类的中心点进行标签标注；
33.业余者比较每个聚类中离中心点最近的点与中心点是否为同一类；
34.用已标注样本训练度量学习模型，重新计算各样本点之间的距离；
35.用相应的专家数据选择策略和业余者选择策略选择标注数据。
36.上述方法中，样本点初始关系指样本点之间的相似性，即聚类方法将相似样本点划分到同一个聚类中，将不相似的样本点划分到不同聚类中。
37.上述方法第二步骤和第三步骤为专家和业余者的标注方式，专家的标注方式是直接给出标签，而业余者的标注方式是进行点对比较，判断两个样本点是否属于同一类别。
38.上述方法中，度量学习模型学习一种距离衡量方法，该距离使得训练集中，不同类别的图片相似度小而相同类别的图片相似度大。
39.上述方法中的数据选择策略与标注过程及标注者身份(专家、业余者)有关。标注按类别是否发现完全分为两个阶段，针对专家的数据选择策略在这两个阶段是不同的，针对业余者的数据选择策略在这两个阶段是相同的。
40.本发明的方法，通过在原本孤立的异构模型的输出空间构建映射关系并融合多源、多域的知识，实现异构模型的自适应协作以提高在受限资源下获得的标签精度和范围。由于利用了异构模型的协作，本发明具有在受限计算资源下获得高精度、广范围输出标签的优点，适用于云端大规模数据分析、物联网边缘数据实时分析，端设备低功耗数据分析等场景。
41.本发明的方法，通过结合高成本和低成本的两种标注方式，并利用两种标注方式之间的相关性，利用机器学习模型的辅助，选择给不同类型标注者标注的数据，达到节省标注成本，提高标注精度的目的
42.如图2所示，为本发明的操作流程图。
43.下面对本发明实施例具体作进一步地详细描述。
44.本发明实施例提供的多智能协作标注方法，主要包括以下步骤：
45.步骤1，通过聚类发现样本点初始关系；
46.步骤2.1，专家对每个聚类的中心点进行标签标注；
47.步骤2.2，业余者比较每个聚类中离中心点最近的点与中心点是否为同一类；
48.步骤3，用已标注样本训练度量学习模型，重新计算各样本点之间的距离；
49.步骤4.1，统计上一轮中业余者正确率，计算这一轮里专家和业余者应标注的数目；
50.步骤4.2，用相应的专家数据选择策略和业余者选择策略选择标注数据；
51.步骤5，重复步骤3，步骤4.1，步骤4.2直到成本为0。
52.其中，各步骤具体如下：
53.步骤1，首先，用在imagenet上训练的网络提取图片特征，随后将所有特征用kmeans方法进行聚类，假设已知有k个类别，则得到k个聚类中心，随后用欧几里得距离判定离每个聚类中心点最近的样本点；
54.步骤2.1，专家对上一步得到的k个聚类中心点进行标注，给出这k个样本点的标
签。在此过程中，记录已发现的类别以及所花费用；
55.步骤2.2，业余者对比步骤一中k个中心点及其最近的样本点是否为同一类别。根据业余者判定结果，判定为同一类的样本打上相同标签，判定为不同类的样本记录每个样本已排除的类别；
56.步骤3，由于聚类方法选用kmeans，所以考虑使用适合kmeans的度量学习方法，即large margin nearest neighbor(以下简称lmnn)。基本思想是学习一个转换矩阵，对现有特征进行转换，使得转换后的特征的欧几里得距离拉近相同类别的样本点，推远不同类别的样本点。用已标注的样本点训练lmnn，使其更新距离度量。每个样本点在各类别上的置信度为此样本点与每个类别已知样本点的中心的距离的反比。
57.步骤4.2中，若类别没有发现完全，对于未标注样本点，筛除最高置信度小于门槛值的点，在剩余的点上随机选择专家数目的点给专家标注。若类别已发现完全，则在非均匀数据集上，采取随机选择的方式选择样本点给专家标注；若在均匀数据集上，优先选择在已标注样本数最少，类内方差最大的类别上具有最大置信度的点给专家标注。对于业余者，无论类别是否发现完全，选择在已标注样本数最少，类内方差最小的类别上具有最大置信度的点给业余者标注。
58.由于利用了多智能体协作，本发明具有节省标注成本的优点，适用于专家标注费用远高于业余者标注费用或业余者无法给出具体标签的图片单分类场景。
59.以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。