一种数据处理方法、装置、电子设备以及存储介质与流程

[0001]
本申请涉及人工智能技术领域，尤其涉及深度学习及自动驾驶技术，具体涉及一种数据处理方法、装置、电子设备以及存储介质。


背景技术：

[0002]
随着人工智能算法的逐步落地，算法研究称为当下热门。作为训练算法的燃料，数据质量对算法准确率起到至关重要的作用。然而，目前为保证产出数据的质量，主要采用人工对数据进行审核，效率低下，且人力成本高，亟需改进。


技术实现要素：

[0003]
本公开提供了一种数据处理方法、装置、电子设备以及存储介质。
[0004]
根据本公开的一方面，提供了一种数据处理方法，该方法包括：
[0005]
获取已标注数据和所述已标注数据的标准标注数据；
[0006]
根据标注元素位置和/或标注元素内容，以及所述标准标注数据，对所述已标注数据进行审核。
[0007]
根据本公开的另一方面，提供了一种数据处理装置，该装置包括：
[0008]
数据获取模块，用于获取已标注数据和所述已标注数据的标准标注数据；
[0009]
数据审核模块，用于根据标注元素位置和/或标注元素内容，以及所述标准标注数据，对所述已标注数据进行审核。
[0010]
根据本公开的另一方面，提供了一种电子设备，该电子设备包括：
[0011]
至少一个处理器；以及
[0012]
与所述至少一个处理器通信连接的存储器；其中，
[0013]
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任一实施例所述的数据处理方法。
[0014]
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本申请任一实施例所述的数据处理方法。
[0015]
根据本申请的技术在保证数据质量的情况下，提高了数据审核效率，降低了人力成本，为对数据进行审核提供了一种新思路。
[0016]
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0017]
附图用于更好地理解本方案，不构成对本申请的限定。其中：
[0018]
图1是根据本申请实施例提供的一种数据处理方法的流程图；
[0019]
图2是根据本申请实施例提供的另一种数据处理方法的流程图；
[0020]
图3是根据本申请实施例提供的又一种数据处理方法的流程图；
[0021]
图4是根据本申请实施例提供的一种数据处理装置的结构示意图；
[0022]
图5是用来实现本申请实施例的数据处理方法的电子设备的框图。
具体实施方式
[0023]
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0024]
图1是根据本申请实施例提供的一种数据处理方法的流程图。本申请实施例适用于如何对数据进行处理的情况，尤其适用于在为数据标注项目选择标注员的场景下，如何对标注员标注的已标注数据进行审核的情况。可选的，数据标注项目可以包括但不限于障碍物识别场景、目标(如车辆)追踪场景、人体关键点(如人脸)识别场景、ocr文本识别如命名实体识别场景等。该实施例可以由数据处理装置来执行，该装置可以采用软件和/或硬件来实现，并可集成于承载数据处理功能的电子设备中，如服务器设备中。如图1所示，该方法包括：
[0025]
s101，获取已标注数据和已标注数据的标准标注数据。
[0026]
本实施例中，已标注数据由对待标注数据进行标注得到。例如，对于车辆追踪场景，待标注数据可以包括连续多帧图像，对每一帧图像按照标注需求进行标注，即可得到已标注数据。可选的，已标注数据类型可以为图像，进一步的，不同标注场景下，数据类型可以不同；数据类型具体可以包括但不限于图像、语音、文本、视频以及网页等。进一步的，本实施例更适用于数据类型为图像的场景。
[0027]
已标注数据的标准标注数据可以为权威人员(例如标注水平很高的标注员)对待标注数据进行标注得到。为保证对已标注数据审核的准确度，进一步的，已标注数据的标准标注数据可以为采用多人拟合答题方式，对待标注数据进行标注得到。可选的，本实施例可以以标准标注数据为参考，对已标注数据进行审核。
[0028]
可选的，在选择标注员的场景下，待标注数据为考试题目，对应的，已标注数据为考试答案，标准标注数据为标准答案；一份考题可对应一个待标注数据，一份考题可以包括一个或多个考试题目，一个考试题目可以包括一帧图像或多帧图像。
[0029]
例如，参与本次标注员选择考试的人员，在完成数据标注后，可以将已标注数据提交到设定的数据库中，进而在确定本次考试审核方式为自动审核的情况下，可以获取已标注数据。同时，还可以获取已标注数据的标准标注数据。
[0030]
s102，根据标注元素位置和/或标注元素内容，以及标准标注数据，对已标注数据进行审核。
[0031]
本实施例中，标注元素为对待标注数据进行标注所采用的标注工具，例如可以包括但不限于点、直线、曲线、方框以及立体框等。标注元素位置为标注元素在标注数据中的位置，例如点在标注数据中的位置、线在标注数据中的位置等。标注元素内容包括采用标注元素所标注的物体的相关信息，例如可以包括但不限于物体类型(例如车类型)、以及是否
是前向障碍物等；标注元素内容还可以包括标注元素的编号、标注元素大小、以及标注元素是否遮挡等。
[0032]
在采用标准标注数据对已标注数据进行审核的情况下，为保证审核质量，可以结合标注元素位置、标注元素内容、以及标注元素数量等多维度数据。例如，可以将标准标注数据与已标注数据进行比对，查看两者的标注元素位置是否一致和/或标注元素内容是否相同；又如，可以将标准标注数据与已标注数据进行比对，查看两者的标注元素数量是否相同；或者，还可以将标准标注数据与已标注数据进行比对，查看两者的标注元素数量是否相同、标注元素位置是否一致、以及标注元素内容是否相同等。
[0033]
值得注意的是，现有技术对已标注数据的审核方式主要采用人工审核，人力成本高、且效率低下，同时审核员水平参差不齐，无法保证最终产出的数据质量；而本申请通过结合标注元素位置和标注元素内容，自动对已标注数据进行审核，节省了人力成本，且提高了审核效率，同时保证了数据质量。
[0034]
本申请实施例的技术方案，通过结合标注元素位置和标注元素内容，自动对已标注数据进行审核，相比于现有技术而言，在保证数据质量的情况下，提高了数据审核效率，降低了人力成本，为对数据进行审核提供了一种新思路。
[0035]
作为本申请实施例的一种可选方式，在对已标注数据进行审核之后，可以根据已标注数据的审核结果，确定已标注数据关联的标注员的审核结果。
[0036]
本实施例中，已标注数据的审核结果可以用数值来表示，还可以用等级来表示等，本实施例对已标注数据的审核结果的表示方式不做限定。
[0037]
具体的，可以将已标注数据的审核结果与设定录取阈值进行比较，若已标注数据的审核结果大于设定录取阈值，则可以确定已标注数据关联的标注员的审核结果为审核通过。进一步的，在已标注数据的数量为至少两个的情况下，可以按照已标注数据的审核结果，对参与本次考试的候选标注员进行降序排列，按照排序结果，从候选标注员中选择预设数据个作为目标标注员，其中目标标注员的审核结果为审核通过，而其他候选标注员的审核结果为审核未通过。
[0038]
需要说明的是，在选择标注员的场景下，目前标注员在完成数据标注后，由专门的审核员进行审核，人力成本高，且效率低下；同时因为审核员的标注水平参差不齐，进而无法保证录取标注员的能力水平，也就无法保证数据质量。而本申请通过结合标注元素位置和标注元素内容，自动对已标注数据进行审核，节省了人力成本，且提高了审核效率；同时，已标注数据的审核结果实质是标注员标注能力的量化，以已标注数据的审核结果作为选择标注员的依据，能够保证所选取的标注员的质量，进而保证数据质量。
[0039]
图2是根据本申请实施例提供的另一种数据处理方法的流程图。本申请实施例在上述实施例的基础上，提供了一种基于标注元素位置对已标注数据进行审核的方式。如图2所示，该方法包括：
[0040]
s201，获取已标注数据和已标注数据的标准标注数据。
[0041]
s202，根据标注元素类型，确定位置评价指标。
[0042]
本实施例中，标注元素类型可以包括但不限于点、线、框和区域；已标注数据中所涉及的标注元素类型可以包括点、线、框和区域中的至少一项；同理，标准标注数据中所涉及的标注元素也包括点、线、框和区域中的至少一项。可选的，若标准标注数据中所涉及的
标注元素类型，与已标注数据中所涉及的标注元素类型不同，则可以直接确定已标注数据的审核结果为0等。
[0043]
若标准标注数据中所涉及的标注元素类型，与已标注数据中所涉及的标注元素类型相同，则可以根据标注元素类型，确定位置评价指标。其中，位置评价指标为用于对标注元素位置进行说明的指标。可选的，不同标注元素类型，可对应不同的位置评价指标。例如，若标注元素类型为点，则位置评价指标可以包括点间距；若标注元素类型为线，则位置评价指标可以包括点间距(进一步为线上关键点的点间距)和/或交并比等；若标注元素类型为框，则位置评价指标可以包括线间距和/或交并比等；若标注元素类型为区域，则位置评价指标可以包括交并比和/或区域像素数等。
[0044]
s203，根据位置评价指标、标注元素位置和标准标注数据，对已标注数据进行审核。
[0045]
具体的，将标准标注数据与已标注数据进行比对，根据标准标注数据中标注元素位置和已标注数据中标注元素位置，确定对应的位置评价指标的数值，进而确定已标注数据的审核结果。
[0046]
作为本申请实施例的一种可选方式，s203具体可以是：根据标注元素位置、标准标注数据和已标注数据，确定位置评价指标的数值；根据位置评价指标的数据和设定阈值，确定已标注数据的审核结果。本实施例中，设定阈值可以是根据实际标注场景设定的，例如可以是默认数值；可选的，不同位置评价指标，对应不同的设定阈值。
[0047]
例如，标注元素类型为点，则位置评价指标包括点间距。具体的，对于已标注数据中的每一点，确定标准标注数据中与该点对应的点，以及点的位置；根据该点的位置，以及标准标注数据中与该点对应的点的位置，可以确定点间距的数值。进一步的，可以根据该点的位置，将该点映射于标准标注数据中，在标准标注数据中，计算该点在标准标注数据中对应的点，与该点映射于标准标注数据中的点之间的距离，即点间距的数值。之后可以将点间距的数值与第一设定阈值如3px进行比较，若点间距的数值大于第一设定阈值，则确定该点的审核结果为标注错误。进一步的，在标注元素类型只包括点，且点的数量为多个的情况下，可以将各点的审核结果聚合，得到已标注数据的审核结果。例如，有10个点，3个点的审核结果为标注错误，则已标注数据的审核结果为7/10。
[0048]
若标注元素类型为线，则位置评价指标包括点间距和/或交并比。具体的，对于已标注数据中的每一条线，确定标准标注数据中与该线对应的线，以及线的位置；根据该线上关键点(如线的中点)的位置，以及标准标注数据中与该线对应的线上关键点(如线的中点)的位置，可以确定点间距的数值。进一步的，可以根据该线上关键点的位置，将该线上关键点映射于标准标注数据中，在标准标注数据中，计算该线在标准标注数据中对应的线上关键点，与该线上关键点映射于标准标注数据中的点之间的距离，即点间距的数值。之后可以将点间距的数值与第二设定阈值如10px进行比较，若点间距大于第二设定阈值，则确定该线的审核结果为标注错误。
[0049]
或者，对于已标注数据中的每一条线，确定标准标注数据中与该线对应的线；根据该线上多个点构建一个区域；同时根据标准标注数据中与该线对应的线上多个点构建另一区域；根据所构建的两个区域的位置，可以确定所构建的两个区域之间的交并比的数值；之后可以将交并比的数值与设定第三设定阈值进行比较，若交并比的数值小于第三设定阈
值，则确定该线的审核结果为标注错误。
[0050]
或者，对于已标注数据中的每一条线，可以根据交并比和点间距，确定该线的审核结果。可选的，在同时审核交并比和点间距的情况下，只有根据交并比和点间距中任一项均可确定该线的审核结果为标注正确的情况下，该线最终的审核结果为标注正确。
[0051]
进一步的，在标注元素类型只包括线，且线的数量为多个的情况下，可以将各线的审核结果聚合，得到已标注数据的审核结果。
[0052]
若标注元素类型为框，则位置评价指标包括线间距和/或交并比。具体的，对于已标注数据中的每一框，确定标准标注数据中与该框对应的框，以及框的位置；根据该框的位置，以及标准标注数据中与该框对应的框的位置，可以确定线间距的数值和/或交并比的数值；之后，可以根据线间距的数值和/或交并比的数值，以及设定阈值，确定该框的审核结果。其中，线间距的数值为框的所有边的线间距中最大的线间距的数值。可选的，在同时考虑线间距和交并比的情况下，只有根据交并比和线间距中任一项均可确定该框的审核结果为标注正确的情况下，该框最终的审核结果为标注正确。
[0053]
若标注元素类型为区域，则位置评价指标包括交并比和/或区域像素数。具体的，对于已标注数据中的每一区域，确定标准标注数据中与该区域对应的区域，以及区域的位置；根据该区域的位置，以及标准标注数据中与该区域对应的区域的位置，可以确定交并比的数值和/或区域像素数的数值；之后，可以根据交并比的数值和/或区域像素数的数值，以及设定阈值，确定该区域的审核结果。可选的，在同时考虑交并比和区域像素数的情况下，只有根据交并比和区域像素数中任一项均可确定该区域的审核结果为标注正确的情况下，该区域最终的审核结果为标注正确。例如，交并比大于设定阈值(如80％)，且区域像素数大于设定阈值(如70px)，则该区域最终的审核结果为标注正确。
[0054]
需要说明的是，在不考虑标注元素内容的情况下，可默认标注元素内容的审核策略为完全豁免；进一步的，结合实际场景，标注元素内容的审核策略可以为部分豁免，例如编号豁免，即不审核编号等。进而，在考虑标注元素位置和标注元素内容的情况下，对于任一标注元素，两者中任一项不满足，则该标准元素的审核结果为标注错误。此外，也可以设置标注元素位置的审核策略为完全豁免，或者部分豁免等。例如，对于更关注标注元素内容的标注场景，对于标注元素位置的审核相对比较粗略。
[0055]
值得注意的是，本实施例对于不同标注元素类型，可引入不同位置评价指标，进而基于位置评价指标，对已标注数据进行审核，为对数据进行审核提供了一种可选方式。同时增加了方案的灵活度。
[0056]
本申请实施例的技术方案，通过引入位置评价指标，基于位置评价指标，对已标注数据进行审核，为对数据进行审核提供了一种可选方式。同时，不同标注元素类型，可采用不同位置评价指标，进一步增加了方案的灵活度。
[0057]
图3是根据本申请实施例提供的又一种数据处理方法的流程图。本申请实施例在上述实施例的基础上，提供了一种基于数据审核粒度对已标注数据进行审核的方式。如图3所示，该方法包括：
[0058]
s301，获取已标注数据和已标注数据的标准标注数据。
[0059]
s302，根据标注数据场景，确定数据审核粒度。
[0060]
本实施例中，标注数据场景可以包括但不限于：障碍物识别场景、目标(如车辆)追
踪场景、人体关键点(如人脸)识别场景和ocr文本识别场景等。数据审核粒度用于表征对已标注数据进行审核的粒度，可以包括但不限于元素维度、图像维度和题维度等，且题维度的审核粒度大于图像维度的审核粒度，图像维度的审核粒度大于元素维度的审核粒度。其中，元素维度以单个标注元素为审核粒度；图像维度以单帧图像为审核粒度；题维度为单个题目为审核粒度，主要适用于一个考试题目包括多帧图像的情况。
[0061]
可选的，不同标注数据场景可设置不同的数据审核粒度。进一步的，每一标注数据场景中，可具有默认的数据审核粒度，且同一标注数据场景下，也可设置不同的数据审核粒度。
[0062]
可选的，本实施例可以直接获取预先设定的数据审核粒度；在预先未设定数据审核粒度的情况下，可以根据标注数据场景，灵活设置数据审核粒度。
[0063]
s303，根据标注元素位置和/或标注元素内容，数据审核粒度，以及标准标注数据，对已标注数据进行审核。
[0064]
在选择标注员的场景下，将标准标注数据与已标注数据进行比对，若数据审核粒度为元素维度，则对于每一标注元素，根据标注元素位置和/或标准元素内容，确定该元素的审核结果。若已标注数据中包括至少两个考试题目，且每个考试题目包括一帧图像，在每帧图像包括一个标注元素的情况下，该标注元素的审核结果，即为该帧图像的审核结果，进而将各帧图像的审核结果聚合，可得到已标注数据的审核结果。
[0065]
进一步的，在每帧图像包括多个标注元素，且多个标注元素类型相同的情况下，可以将该帧图像中各标注元素的审核结果聚合，得到该帧图像的审核结果；之后，可以将各帧图像的审核结果聚合，可得到已标注数据的审核结果。此外，在每帧图像包括多个标注元素，且多个标注元素类型不同的情况下，对于每一类型的标注元素，可以将该帧图像中该类型的标注元素的审核结果聚合，得到该帧图像中该类型标注元素的审核结果；进而可以按照设定权重值，对该帧图像中各类型标注元素的审核结果进行聚合，得到该帧图像的审核结果；之后，可以将各帧图像的审核结果聚合，可得到已标注数据的审核结果；
[0066]
进一步的，在考试题目包括多帧图像的情况下，对于每一包括多帧图像的考试题目，可以将该考试题目中各帧图像的审核结果聚合得到该考试题目的审核结果；进而可以将所有考试题目的审核结果聚合，得到已标注数据的审核结果。
[0067]
若数据审核粒度为图像维度，则对于每一帧图像，根据标注元素位置和/或标准元素内容，确定该帧图像的审核结果。该帧图像中只要有一个标注元素的审核结果为标注错误，则该帧图像的审核结果为标注错误。进一步的，若已标注数据中包括至少两个考试题目，且每个考试题目包括一帧图像，进而将各帧图像的审核结果聚合，可得到已标注数据的审核结果。
[0068]
进一步的，在考试题目包括多帧图像的情况下，对于每一包括多帧图像的考试题目，可以将该考试题目中各帧图像的审核结果聚合得到该考试题目的审核结果；进而可以将所有考试题目的审核结果聚合，得到已标注数据的审核结果。
[0069]
此外，若数据审核粒度为题维度，则对于每一考试题目，根据标注元素位置和/或标准元素内容，确定该考试题目的审核结果。该考试题目中只要有一个标注元素的审核结果为标注错误，则该考试题目的审核结果为标注错误。进一步的，若已标注数据中包括至少两个考试题目，则将各帧考试题目的审核结果聚合，可得到已标注数据的审核结果。
[0070]
本申请实施例的技术方案，通过引入数据审核粒度，基于数据审核粒度，对已标注数据进行审核，为对数据进行审核提供了一种可选方式。同时，不同数据标注场景，可采用不同数据审核粒度，进一步增加了方案的灵活度，可满足不同场景的需求。
[0071]
图4是根据本申请实施例提供的一种数据处理装置的结构示意图。本申请实施例适用于如何对数据进行处理的情况，尤其适用于在为数据标注项目选择标注员的场景下，如何对标注员标注的已标注数据进行审核的情况。可选的，数据标注项目可以包括但不限于障碍物识别场景、目标(如车辆)追踪场景、人体关键点(如人脸)识别场景、ocr文本识别如命名实体识别场景等。该实施例可以由数据处理装置来执行，该装置可以采用软件和/或硬件来实现，并可集成于承载数据处理功能的电子设备中，如服务器设备中。该数据处理装置400具体包括：
[0072]
数据获取模块401，用于获取已标注数据和已标注数据的标准标注数据；
[0073]
数据审核模块402，用于根据标注元素位置和/或标注元素内容，以及标准标注数据，对已标注数据进行审核。
[0074]
本申请实施例的技术方案，通过结合标注元素位置和标注元素内容，自动对已标注数据进行审核，相比于现有技术而言，在保证数据质量的情况下，提高了数据审核效率，降低了人力成本，为对数据进行审核提供了一种新思路。
[0075]
示例性的，数据审核模块402包括：
[0076]
指标确定单元，用于根据标注元素类型，确定位置评价指标；
[0077]
数据审核单元，用于根据位置评价指标、标注元素位置和标准标注数据，对已标注数据进行审核。
[0078]
示例性的，数据审核单元具体用于：
[0079]
根据标注元素位置、标准标注数据和已标注数据，确定位置评价指标的数值；
[0080]
根据位置评价指标的数值和设定阈值，确定已标注数据的审核结果。
[0081]
示例性的，数据审核模块402具体用于：
[0082]
根据标注数据场景，确定数据审核粒度；
[0083]
根据标注元素位置和/或标注元素内容，数据审核粒度，以及标准标注数据，对已标注数据进行审核。
[0084]
示例性的，本实施例中的已标注数据类型为图像，标注元素类型包括点、线、框和区域中至少一项，位置评价指标包括点间距、线间距、交并比和区域像素数中至少一项。
[0085]
示例性的，上述装置还包括：
[0086]
审核结果确定模块，用于根据已标注数据的审核结果，确定已标注数据关联的标注员的审核结果。
[0087]
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
[0088]
如图5所示，是根据本申请实施例的数据处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
[0089]
如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示gui的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。
[0090]
存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的数据处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的数据处理方法。
[0091]
存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的数据处理方法对应的程序指令/模块(例如，附图4所示的数据获取模块401和数据审核模块402)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的数据处理方法。
[0092]
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据数据处理方法的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至数据处理方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0093]
数据处理方法的电子设备还可以包括：输入装置503和输出装置y04。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。
[0094]
输入装置503可接收输入的数字或字符信息，以及产生与数据处理方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，led)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(lcd)、发光二极管(led)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
[0095]
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用asic(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出
装置。
[0096]
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(pld))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
[0097]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0098]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、互联网和区块链网络。
[0099]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
[0100]
根据本申请实施例的技术方案，通过结合标注元素位置和标注元素内容，自动对已标注数据进行审核，相比于现有技术而言，在保证数据质量的情况下，提高了数据审核效率，降低了人力成本，为对数据进行审核提供了一种新思路。
[0101]
本申请可以应用于人工智能技术领域，人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术知识图谱技术等几大方向。
[0102]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
[0103]
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请
的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。