标注质量监控方法、装置、计算机设备和存储介质与流程

文档序号：17539833发布日期：2019-04-29 14:26阅读：187来源：国知局

本申请涉及数据标注技术领域，特别是涉及一种标注质量监控方法、装置、计算机设备和存储介质。

背景技术：

近些年来，随着高性能的图形处理器(graphicsprocessingunit，简称gpu)的发展以及深度学习技术的进一步研究，深度学习技术在无人驾驶的感知算法中的应用也是越来越多，同时，对于深度学习而言，高质量的标注数据在很大程度上决定了深度学习算法最终的准确率。

为了提高深度学习的样本数据，需要大量的标注员进行到标注工作中。为了提高标注质量，管理人员必须对标注员的标注任务质量进行监控，但是，标注员进行的标注任务，通常是没有标准值的，也就是说，管理人员在检查标注员的标注任务结果时，没有标准的标注答案供参考，只能是管理人员以及相关专业人员，根据经验人工对标注员的标注任务质量进行监控，在标注员和标注任务数量众多的情况下，人工监控标注员的标注质量的工作量太大，标注质量管理效率下降，容易出现标注质量监控不到位的情况。

因此，如何更好的量化标注员进行的标注任务质量，提高监控标注质量的效率，从而促进标注员提高标注质量成为亟待解决的技术问题。

技术实现要素：

基于此，有必要针对上述如何更好的量化标注员进行的标注任务质量，提高监控标注质量的效率，从而促进标注员提高标注质量成为亟待解决的技术问题，提供一种标注质量监控方法、装置、计算机设备和存储介质。

第一方面，本发明实施例提供一种标注质量监控方法，所述方法包括：

根据标准标注数据，采用预设的量化算法对标注员的标注任务质量进行量化，得到量化结果；

根据所述量化结果对所述标注任务质量进行监控。

在其中一个实施例中，所述根据标准标注数据，采用预设的量化算法对标注员的标注任务质量进行量化，得到量化结果，包括：

采用预设的量化算法，获取所述标注任务质量的准确率、召回率和跟踪率；

根据所述准确率、所述召回率和所述跟踪率确定所述量化结果。

在其中一个实施例中，所述采用预设的量化算法，获取所述标注任务质量的准确率、召回率和跟踪率，包括：

确定所述标注员标注任务中的标注框与所述标准标注数据中的标注框之间匹配框的数量；

将所述匹配框的数量和所述标准标注数据中标注框数量的比值确定为所述召回率；

将所述匹配框的数量和所述标注员标注任务中的标注框数量的比值确定为所述准确率；

根据相同编号匹配框的数量和所述标注员标注任务中相同编号标注框的数量确定所述跟踪率；所述相同编号表示所述标注任务中前后帧的标注框类型相同。

在其中一个实施例中，在根据相同编号匹配框的数量和所述标注员标注任务中相同编号标注框的数量确定所述跟踪率之前，所述方法包括：

获取各相同编号匹配框的数量和各所述标注员标注任务中相同编号标注框的数量；

所述根据相同编号匹配框的数量和所述标注员标注任务中相同编号标注框的数量确定所述跟踪率，包括：

将所述各相同编号匹配框的数量和所述标注员标注任务中各相同编号标注框的数量比值的平均值确定为所述跟踪率。

在其中一个实施例中，在所述确定所述标注员标注任务中的标注框与所述标准标注数据中的标注框之间匹配框的数量之前，所述方法还包括：

确定所述标注员标注任务中的第一标注框与所述标准标注数据中的第二标注框的交并比；

若所述交并比大于预设阈值，则确定所述第一标注框与所述第二标注框为匹配框。

在其中一个实施例中，所述根据所述准确率、所述召回率和所述跟踪率确定所述量化结果，包括：

分别获取准确率占比、召回率占比和跟踪率占比；所述准确率占比、所述召回率占比和所述跟踪率占比总和为1；

根据所述准确率占比、所述召回率占比、所述跟踪率占比和所述准确率、所述召回率、所述跟踪率确定所述量化结果。

在其中一个实施例中，在根据标准标注数据，采用预设的量化算法对标注员的标注任务质量进行量化，得到量化结果之前，所述方法还包括：

根据用户的操作指令，接收所述标准标注数据；

将所述标准标注数据随机分配在所述标注员的标注任务中。

第二方面，本发明实施例提供一种标注质量监控装置，所述装置包括：

量化模块，用于根据标准标注数据，采用预设的量化算法对标注员的标注任务质量进行量化，得到量化结果；

监控模块，用于根据所述量化结果对所述标注任务质量进行监控。

第三方面，本发明实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

根据标准标注数据，采用预设的量化算法对标注员的标注任务质量进行量化，得到量化结果；

根据所述量化结果对所述标注任务质量进行监控。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下步骤：

根据标准标注数据，采用预设的量化算法对标注员的标注任务质量进行量化，得到量化结果；

根据所述量化结果对所述标注任务质量进行监控。

本申请提供的一种标注质量监控方法、装置、计算机设备和存储介质，计算机设备根据标准标注数据，采用预设的量化算法对标注员的标注任务质量进行量化，并根据量化结果对标注员的标注任务质量进行监控，这样，通过计算机设备自动对标注员标注任务质量的量化，不仅使得标注任务审核自动化，还可以根据量化结果直观的观察各标注任务质量的好坏，方便对标注员的工作进行考核，大大提高了监控标注质量的效率。

附图说明

图1为一个实施例提供的一种标注质量监控方法的应用环境图；

图2为一个实施例提供的一种标注质量监控方法的流程示意图；

图3为一个实施例提供的一种标注质量监控方法的流程示意图；

图4为一个实施例提供的一种标注质量监控方法的流程示意图；

图5为一个实施例提供的一种标注质量监控方法的流程示意图；

图6为一个实施例提供的一种标注质量监控方法的流程示意图；

图7为一个实施例提供的一种标注质量监控方法的流程示意图；

图8为一个实施例提供的一种标注质量监控方法的流程图；

图9为一个实施例提供的一种标注质量监控装置的结构框图；

图10为一个实施例提供的一种标注质量监控装置的结构框图；

图11为一个实施例提供的一种标注质量监控装置的结构框图；

图12为一个实施例提供的一种标注质量监控装置的结构框图；

图13为一个实施例提供的一种标注质量监控装置的结构框图；

图14为一个实施例提供的一种标注质量监控装置的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的一种标注质量监控方法，可以应用于如图1所示的应用环境中，该计算机设备可以是服务器，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储标注质量监控方法的数据。该计算机设备的网络接口用于与外部的其他设备通过网络连接通信。该计算机程序被处理器执行时以实现一种标注质量监控方法。

本申请的实施例提供一种标注质量监控方法、装置、计算机设备和存储介质，旨在解决如何更好的量化标注员进行的标注任务质量，提高监控标注质量的效率，从而促进标注员提高标注质量成为亟待解决的技术问题。下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。需要说明的是，本发明提供的一种标注质量监控方法，其执行主体为计算机设备，其中，该执行主体还可以是标注质量监控装置，其中该装置可以通过软件、硬件或者软硬件结合的方式实现成为标注质量监控装置的部分或者全部。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在一个实施例中，如图2本申请实施例提供了一种标注质量监控方法，本实施例涉及的是计算机设备对标注员的标注任务质量进行量化，并根据量化的结果对标注任务质量进行监控的具体过程，如图2所示，该方法包括：

s101，根据标准标注数据，采用预设的量化算法对标注员的标注任务质量进行量化，得到量化结果。

其中，标准标注数据表示各标注任务的正确标注结果，用于在计算机设备对标注员的标注任务进行量化的参考标准，该标准标注数据可以是计算机设备在标注员的标注任务队列中，随机的把标准标注数据，插入到标注员的标注任务当中。其中，预设的量化算法表示计算机设备对标注员标注任务进行量化时所依照的规则和计算方法，其可以是比值算法或者其他算法，其中，该算法中的规则可以由用户根据实际情况而定，本实施例对该预设的量化算法的具体内容不做规定。

在实际应用中，计算机设备根据标准标注数据，采用该预设的量化算法对标注员的标注任务质量进行量化，示例地，计算机设备对标注任务质量进行量化方式可以是根据预设量化算法计算出各标注任务的分值，然后将该分值作为各标注任务的量化结果，其中本实施例对计算机设备根据预设量化算法计算各标注任务分值的方式不做限定。

s102，根据所述量化结果对所述标注任务质量进行监控。

基于上述s101步骤中，计算机设备对标注员的各标注任务量化的结果，计算机设备根据该量化结果对各标注任务质量进行监控，监控的方式可以示例地可以是，计算机设备将各标注任务的量化结果记录到标注员的日常考核得分中，在月度/季度考核时，计算机设备对相同考核任务的标注员按得分值进行排名，管理者可根据排名情况，对标注员进行合适的奖励或者惩罚，并在平时的质量检查中，加强对于排名靠后标注员的管理。

本实施例提供的一种标注质量监控方法，计算机设备根据标准标注数据，采用预设的量化算法对标注员的标注任务质量进行量化，并根据量化结果对标注员的标注任务质量进行监控，这样，通过计算机设备自动对标注员标注任务质量的量化，不仅使得标注任务审核自动化，还可以根据量化结果直观的观察各标注任务质量的好坏，方便对标注员的工作进行考核，大大提高了监控标注质量的效率。

在上述实施例的基础上，本申请实施例还提供了一种标注质量监控方法，该实施例涉及的是计算机设备根据预设的量化算法获取标注任务质量的准确率、召回率和跟踪率，从而确定量化结果的具体过程，如图3所示，上述s101步骤包括：

s201，采用预设的量化算法，获取所述标注任务质量的准确率、召回率和跟踪率。

本步骤中，计算机设备采用预设的量化算法获取标注任务质量的准确率、召回率和跟踪率，其中获取方式可以是计算机设备采用预设的量化算法直接计算标注员标注任务质量的准确率、召回率和跟踪率，还可以是其他方式，本实施例对此不做限定。其中，召回率表示标注员的标注任务中把符合规范标注都标注出来、标注框的大小位置合适、类型正确的概率。准确率表示标注员的标注任务中能在大量标注数据中过滤无效标注，只标注规则需要的数据的概率。跟踪率表示在标注员的一个标注任务中，标注员对前后关联的物体的判断是否准确的概率，通常一个标注任务包含多张图片或者点云帧，标注员在标注时候标注任务中前后帧如果是同一物体，需要标上相同编号。

s202，根据所述准确率、所述召回率和所述跟踪率确定所述量化结果。

基于上述s201步骤中，计算机设备获取的标注任务质量的准确率、召回率和跟踪率，计算机设备根据该准确率、召回率和跟踪率确定标注任务的量化结果，其中，计算机设备确定量化结果的方式可以是根据该准确率、召回率和跟踪率对标注任务进行得分值计算，并将得分值作为量化结果。

可选地，如图4所示，s202步骤中计算机设备确定量化结果的一种可实现方式还可以包括：

s301，分别获取准确率占比、召回率占比和跟踪率占比；所述准确率占比、所述召回率占比和所述跟踪率占比总和为1。

其中，计算机设备分别获取上述准确率、召回率和跟踪率各自的占比，其中，准确率、召回率和跟踪率各自的占比的总和为1，表示的是准确率、召回率和跟踪率分别在此次量化过程中所占的比重。例如：可以是准确率的占比为30％、召回率的占比为35％、跟踪率的占比为35％等，本实施例对各占比的具体数值不做限定。需要说明的是，准确率占比、召回率占比和跟踪率占比可以是用户预先设定好后，存储在计算机设备中，在需要使用时计算机设备直接获取即可。

s302，根据所述准确率占比、所述召回率占比、所述跟踪率占比和所述准确率、所述召回率、所述跟踪率确定所述量化结果。

基于上述s301步骤中，计算机设备确定的准确率占比、召回率占比和跟踪率占比，根据标注任务的准确率、召回率和跟踪率确定量化结果，示例地，设定召回率、准确率、跟踪率，分别标记为c，a，t，量化结果设定为s，则计算机设备确定量化结果的方式可以是依照公式s＝r1*c+r2*a+r3*t进行计算，其中该公式中r1表示召回率占比、r2表示准确率占比、r3表示跟踪率占比。例如：r1为35％、r2为30％、跟踪率为35％，c＝80％、a＝90％、t＝85％，则可以得量化结果s＝35％*80％+30％*90％+35％*85％＝0.8475。

本实施例提供的一种标注质量监控方法，计算机设备先采用预设的量化算法，获取所述标注任务质量的准确率、召回率和跟踪率，然后根据该准确率、召回率和跟踪率与准确率占比、召回率占比和跟踪率占比确定标注员标注任务的量化结果，这样，计算机设备按照算法自动对标注员标注任务质量进行量化，使得标注任务审核自动化，又可以根据量化结果直观的观察各标注任务质量的好坏，方便对标注员的工作进行考核，大大提高了监控标注质量的效率。

对于确定标注任务质量的召回率、准确率和跟踪率，本申请实施例提供了一种标注质量监控方法，该实施例涉及的是计算机设备根据标注员标注任务中的标注框与标准标注数据中的标注框之间匹配框的数量，计算标注任务质量的召回率、准确率和跟踪率的具体过程，如图5所示，上述s201步骤包括：

s401，确定所述标注员标注任务中的标注框与所述标准标注数据中的标注框之间匹配框的数量。

本实施例中，标注员标注任务中的标注框表示的是，标注员在实际标注任务中完成的标注框。标准标注数据中标注框表示的用户预先分配的各标注任务正确结果中的标注框。匹配框表示标注员实际完成的标注框与标准标注数据中的标注框相比，标注员实际完成的标注框的接近程度。

为了更好的表达匹配框的概念，在一个实施例中，本申请实施例提供了一张标注质量监控方法，该实施例涉及的是计算机设备判断标注员标注任务中的标注框与所述标准标注数据中的标注框是否匹配的具体过程，如图6所示，所述方法包括：

s501，确定所述标注员标注任务中的第一标注框与所述标准标注数据中的第二标注框的交并比。

其中，第一标注框表示标注员标注任务中完成的标注框。第二标注框表示标准标注数据中的标注框。交并比(intersection-over-union，iou)表示产生的候选框与原标记框的交叠率，即它们的交集与并集的比值。即：iou等于两个框的相交面积除以两个框的联合面积。当两个框重合面积越大，iou越大，当两个框完全重合时，iou为1。在实际应用中，计算机设备确定标注员标注任务中的第一标注框与标准标注数据中的第二标注框的交并比，其确定方式可以是根据预先设定的程序直接计算第一标注框与第二标注框之间的交并比。

s502，若所述交并比大于预设阈值，则确定所述第一标注框与所述第二标注框为匹配框。

基于上述s501步骤中，计算机设备确定的第一标注框与第二标注框的交并比，若该交并比大于预设阈值，则计算机设备确定该第一标注框与所述第二标注框为匹配框，即，当两个框的交并比大于某个阈值并且标注的类型相同的时候，我们可以认为这两个框匹配。其中，预设阈值为用户自行设置，本实施例对此不做限定。

本实施例提供的一种标注质量监控方法，引入交并比的概念，通过计算机设备计算标注员标注任务中的标注框与标准标注数据中的标注框之间的交并比，确定两个标注框是否匹配，从而确定出匹配框的数量，使得计算机设备确定匹配框的数量更加方便，快速。

s402，将所述匹配框的数量和所述标准标注数据中标注框数量的比值确定为所述召回率。

本步骤中，基于上述s401步骤中，计算机设备确定的标注员标注任务中的标注框与标准标注数据中的标注框之间匹配框的数量，计算机设备将该匹配框的数量和标准标注数据中标注框数量的比值确定为召回率。示例地，设定匹配框的数量为p,标准标注数据中标注框数量为a，则召回率＝p/a。

s403，将所述匹配框的数量和所述标注员标注任务中的标注框数量的比值确定为所述准确率。

本步骤中，同样基于上述s401步骤中，计算机设备确定的标注员标注任务中的标注框与标准标注数据中的标注框之间匹配框的数量，计算机设备将该匹配框的数量和标注员标注任务中的标注框数量的比值确定为准确率。示例地，设定匹配框的数量为p,标注员标注任务中的标注框数量为s，则召回率＝p/s。

s404，根据相同编号匹配框的数量和所述标注员标注任务中相同编号标注框的数量确定所述跟踪率；所述相同编号表示所述标注任务中前后帧的标注框类型相同。

本步骤中，计算机设备确定跟踪率可以根据相同编号匹配框的数量和所述标注员标注任务中相同编号标注框的数量确定，其中，相同编号表示所述标注任务中前后帧的标注框类型相同，可以理解的是，前面有描述跟踪率表示在标注员的一个标注任务中，标注员对前后关联的物体的判断是否准确的概率，通常一个标注任务包含多张图片或者点云帧，标注员在标注时候标注任务中前后帧如果是同一物体，需要标上相同编号，因此相同编号匹配框和相同编号标注框表示的均是同一物体的标注框。

可选地，计算机设备根据相同编号匹配框的数量和标注员标注任务中相同编号标注框的数量确定跟踪率的一种可实现方式包括：将所述各相同编号匹配框的数量和所述标注员标注任务中各相同编号标注框的数量比值的平均值确定为所述跟踪率。可选地，在根据相同编号匹配框的数量和所述标注员标注任务中相同编号标注框的数量确定所述跟踪率之前，所述方法包括：获取各相同编号匹配框的数量和各所述标注员标注任务中相同编号标注框的数量。

其中，相同编号匹配框的数量表示的标注员标注的同一物体匹配框的数量，则获取各相同编号匹配框的数量获取的是标注员标注任务中不同物体的匹配框的数量，例如：物体1匹配框数量为6、物体2匹配框数量为8、物体3匹配框数量为4。同样，相同编号标注框的数量表示标注员标注同一物体标注框(包括匹配和不匹配)的数量，则获取各标注员标注任务中相同编号标注框的数量获取的是标注员标注任务中不同物体的标注框的数量，例如：物体1标注框数量为12、物体2标注框数量为25、物体3标注框数量为16。

在实际应用中，计算机设备根据获取的各相同编号匹配框的数量和各标注员标注任务中相同编号标注框的数量，确定跟踪率，即，将各相同编号匹配框的数量和标注员标注任务中各相同编号标注框的数量比值的平均值确定跟踪率，例如：物体1比值为6/12、物体2比值为8/25、物体3比值为4/16，则，该跟踪率为(6/12+8/25+4/16)/3＝90％。

本实施例提供的一种标注质量监控方法，计算机设备先确定标注员标注任务中的标注框与标准标注数据中的标注框之间匹配框的数量，并根据该匹配框的数量、标注员标注任务中的标注框以及标准标注数据中的标注框的数量计算标注任务质量的召回率、准确率和跟踪率，这样，根据预设的规则计算标注任务质量的召回率、准确率和跟踪率，更加明确的反映标注员标注任务的质量，方便对标注员的工作进行考核，大大提高了监控标注质量的效率。

考虑到在根据标准标注数据，采用预设的量化算法对标注员的标注任务质量进行量化时，标准标注数据为用户随机分配在标注员的标注任务中，标注员在完成标注任务的过程中并不知道本次标注任务中哪些是携带标准标注数据的，因此，在一个实施例中，本申请实施例提供了一种标注质量监控方法，该实施例具体涉及的是计算机设备根据用户的操作指令将标准标注数据随机分配到标注员标注任务中的具体过程，如图7所示，所述方法还包括：

s601，根据用户的操作指令，接收所述标准标注数据。

本步骤中，根据用户的操作指令，计算机设备接收该标准标注数据，其中，用户的操作指令可以是用户通过外接设备，例如：键盘等输入的标准标注数据，还可以是用户通过别的设备传输到计算机设备中的标准标注数据。

s602，将所述标准标注数据随机分配在所述标注员的标注任务中。

基于上述s601步骤中，计算机设备接收的标准标注数据，计算机设备将该标准标注数据随机分配到标注员的标注任务中，示例地，计算机设备在标注员的标注任务队列中，随机的把标准标注数据，插入到标注员的标注任务当中，需要说明的是，标准标注数据中不同数据对应的是不同的标注任务，所以计算机设备插入标准标注数据时插入的肯定是该标准标注数据对应的标注任务中。另外，该标准标注数据可以是由人为制作的，制作时可以是让经验比较丰富的人员进行标注，并经过各专业人员的审核确定的数据。

本实施例提供的一种标注质量监控方法，计算机设备根据用户的操作指令，接收标准标注数据，然后将标准标注数据随机分配在标注员的标注任务中，由于计算机设备在分配后，标注员并不知道本次标注任务中哪些是携带标准标注数据的任务，因此使得后面计算机设备对标注员完成的标注任务质量进行的量化结果更加接近标注员的正常水平。

需要说明的是，本申请实施例提供的标注质量监控方法中的上述s101步骤“根据标准标注数据，采用预设的量化算法对标注员的标注任务质量进行量化，得到量化结果”还可以应用于对标注员新人考核结果进行量化，示例地，如图8所示，计算机对标注员新人考核结果进行量化过程为：

s701，获取标准标注数据。如上述s601-s602步骤中描述，计算机设备直接获取已经接收的标准标注数据。

s702，从标准标注数据对应的标注任务中选择适合新人考核的标注任务。计算机设备从获取的标准标注数据选择适合新人考核的标注任务，其中选择方式为：计算机设备对各标注任务的工作量进行排序，将工作量小的确定为最适合新人考核的标注任务。其中，标注任务的工作量反映在标注任务的规则和内容上，若标注任务的规则和内容多，则标注任务的工作量大。

s703，计算机设备对新人提交的标注任务，根据标准标注数据，采用预设的量化算法对标注员的标注任务质量进行量化，得到量化结果。如上述图2-图7所示的实施例中，计算机设备根据标准标注数据，采用预设的量化算法对标注员的标注任务质量进行量化的方法一样，计算机设备对新人提交的标注任务进行量化，其中具体量化过程不再赘述。

s704，计算机设备根据量化结果对确定新人的考核结果。根据计算机设备确定的新人提交的标注任务的量化结果，计算机设备将根据该量化结果对比设定的考核通过阈值(人为设定)，根据对比结果判断新人是否通过考核。如果新人量化值低于通过设定的考核通过阈值，则判定新人未通过考核，然后，计算机设备还可以根据召回率、准确率和跟踪率各项结果，给出改善建议，让用户做针对性改进。假若新人超过多次(比如3次)考核都未通过，则在计算机设备中直接为新人显示标准标注数据，供新人进行学习，后续还可以对该新人进行人工辅导。

最后，计算机设备将新手考核结果计入新手档案中，供后续标注审查质量过程中参考。本实施例中，可让新手在熟悉工具过程中进行考核，自动判断是否通过考核，显示基准结果，从而释放人力，降低二次培训成本。

应该理解的是，虽然图2-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图9所示，提供了一种标注质量监控装置，包括：量化模块10和监控模块11，其中：

量化模块10，用于根据标准标注数据，采用预设的量化算法对标注员的标注任务质量进行量化，得到量化结果；

监控模块11，用于根据所述量化结果对所述标注任务质量进行监控。