对图像数据进行标注的方法、装置及电子设备与流程

本发明涉及计算机技术领域，具体涉及一种对图像数据进行标注的方法、装置及电子设备。

背景技术：

单目摄像头3d感知算法正在成为各大车厂的高级驾驶辅助系统(advanceddrivingassistancesystem，adas)中不可或缺的一部分。主流的单目摄像头3d感知算法以深度学习为基础，和单目摄像头2d感知算法类似，都需要使用有标注的数据对模型进行训练。相比单目摄像头2d感知算法标注，单目摄像头3d感知算法标注更困难，更难获取3d感知算法标注数据。

技术实现要素：

为了解决上述技术问题，本申请实施例提供了一种对图像数据进行标注的方法、装置及电子设备。

根据本申请的一个方面，提供了一种对图像数据进行标注的方法，包括：确定需要被标注的图像数据集和与所述图像数据集在时间上同步的第一点云数据集，其中，所述第一点云数据集通过激光雷达采集得到；对所述图像数据集和所述第一点云数据集进行多传感器融合，得到融合后的第一点云数据集；对所述第二点云数据集进行稠密化，得到增强的第二点云数据集；对所述第三点云数据集第三点云数据集进行测试数据增强和目标框加权融合，得到所述同步点云数据集中的第一目标对象；基于所述第一目标对象，标注所述图像数据集中的第二目标对象。

根据本申请的另一个方面，提供了一种对图像数据进行标注的装置，包括：标注数据确定模块，用于确定需要被标注的图像数据集和与所述图像数据集在时间上同步的第一点云数据集，其中，所述第一点云数据集通过激光雷达采集得到；多传感器融合模块，用于对所述图像数据集和所述第一点云数据集进行多传感器融合，得到融合后的第二点云数据集；稠密化模块，用于对所述第二点云数据集进行稠密化，得到增强的第三点云数据集；数据增强加权融合模块，用于对所述第三点云数据集进行测试数据增强和目标框加权融合，得到所述第一点云数据集中的第一目标对象；目标对象确定模块，用于基于所述第一目标对象，确定所述图像数据集中的第二目标对象。

根据本申请的另一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一所述的方法。

根据本申请的另一个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述任一所述的方法。

本申请实施例提供的对图像数据进行标注的方法，通过需要被标注的图像数据集和第一点云数据集进行多传感器融合、稠密化、测试数据增强和目标框加权融合，来确定第一点云数据集中的第一目标对象，由于第一点云数据集是通过激光雷达采集得到的，基于第一点云数据集得到的第一目标对象确定图像数据集中的第二目标对象，大大提高了标注数据的准确度，通过第一点云数据集中的第一目标对象，确定图像数据集中的第二目标对象，可以自动确定图像数据集中的第二目标对象，得到自动标注数据，不需要人工参与，可以减少标注成本。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请一示例性实施例提供的一种对图像数据进行标注的方法的流程示意图。

图2是本申请一示例性实施例提供的一种确定需要被标注的图像数据集和与图像数据集在时间上同步的第一点云数据集的流程示意图。

图3-1是本申请一示例性实施例提供的一种对图像数据集和点云数据集进行多传感器融合，得到融合后的第二点云数据集的流程示意图。

图3-2是本申请一示例性实施例提供的一种融合过程示意图。

图4-1是本申请一示例性实施例提供的一种稠密化前的第二点云数据集的示意图。

图4-2是本申请一示例性实施例提供的一种稠密化后的第二点云数据集(即增强的第三点云数据集)的示意图。

图5-1是本申请一示例性实施例提供的一种对第三点云数据集进行测试数据增强和目标框加权融合，得到第一点云数据集中的第一目标对象的流程示意图。

图5-2是本申请一示例性实施例提供的一种同一目标物体的30份测试数据增强结果示意图。

图5-3是本申请一示例性实施例提供的一种测试数据增强的实际应用的效果图。

图5-4是本申请一示例性实施例提供的一种同一目标物体的目标框加权融合结果示意图。

图5-5是本申请一示例性实施例提供的一种目标框加权融合的实际应用的效果图。

图6-1是本申请一示例性实施例提供的另一种对图像数据进行标注的方法的流程示意图。

图6-2是本申请一示例性实施例提供的一种输出的优化的目标对象示意图。

图7是本申请一示例性实施例提供的又一种对图像数据进行标注的方法的流程示意图。

图8是本申请一示例性实施例提供的一种对图像数据进行标注的整体架构示意图。

图9是本申请一示例性实施例提供的一种对图像数据进行标注的自动标注过程示意图。

图10是本申请一示例性实施例提供的一种对图像数据进行标注的装置的结构示意图。

图11是本申请一示例性实施例提供的一种对图像数据进行标注的装置中标注数据确定模块的结构示意图。

图12是本申请一示例性实施例提供的一种对图像数据进行标注的装置中多传感器融合模块的结构示意图。

图13是本申请一示例性实施例提供的一种对图像数据进行标注的装置中数据增强加权融合模块的结构示意图。

图14是本申请一示例性实施例提供的另一种对图像数据进行标注的装置的结构示意图。

图15是本申请一示例性实施例提供的又一种对图像数据进行标注的装置的结构示意图。

图16是本申请一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

从单目摄像头中很难获得准确的3d空间信息，因此通过单目摄像头获取的单帧图片无法获得精度足够高的单目摄像头3d感知算法标注数据。目前主要通过单目摄像头与其它传感器结合由人工标注来获取单目摄像头3d感知算法标注数据，与其它传感器的结合涉及到多传感器同步，多传感器之间的映射关系，而且3d位置信息和语义信息都需要标注，所以现有获取单目摄像头3d感知算法标注数据往往需要消耗大量的人力与物力。

针对上述技术问题，本申请的基本构思是提出一种对图像数据进行标注的方法、装置及电子设备。

下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性方法

图1是本申请一示例性实施例提供的对图像数据进行标注的方法的流程示意图。本申请实施例提供的对图像数据进行标注的方法可应用到计算机视觉技术领域。如图1所示，本申请实施例提供的对图像数据进行标注的方法包括如下步骤：

步骤101，确定需要被标注的图像数据集和与图像数据集在时间上同步的第一点云数据集。

在一实施例中，需要被标注的图像数据集可以是通过摄像头camera采集得到的，与图像数据集在时间上同步的第一点云数据集可以是激光雷达采集得到的。

步骤102，对图像数据集和第一点云数据集进行多传感器融合，得到融合后的第二点云数据集。

其中，多传感器融合是利用计算机技术，将来自多传感器或多源的信息和数据以一定的准则进行分析和综合，以完成所需的决策和估计而进行的信息处理过程。

步骤103，对融合后的第二点云数据集进行稠密化(densify)，得到增强的第三点云数据集(augmentedpointcloud)。

其中，稠密化就是将当前帧之前的第二点云数据集通过投影变换到第二点云数据集的当前帧上。第二点云数据和图像数据不同，第二点云数据是三维空间中点的集合，可以直接把当前帧之前的第二点云数据在投影变换后与当前帧的第二点云数据结合在一起，实现对融合后的第二点云数据集进行稠密化。

步骤104，对第二点云数据集进行测试数据增强(testtimeaugmentation，tta)和目标框加权融合(weightedboxfusion)，得到第一点云数据集中的第一目标对象。

其中，测试数据增强是对第三点云数据集进行多次微扰变换，得到多组数据，其中，一次微扰对应一组数据，从而增加用来对目标对象进行标注的数据量，进而提高标注结果的稳定性和精准度；目标框加权融合是对多个版本的数据进行加权计算得到平均输出，作为最终的输出结果，加权时使用的权重可以根据经验进行设置，也可以通过调参手段gridsearch(网络搜索)方式确定。其中，gridsearch方式是针对每种可能参数(权重)的组合情况，进行模型训练，然后模型评价，根据评价结果，确定参数(权重)。

其中，第一点云数据集中的第一目标对象包括第一目标对象的中心点坐标、第一目标对象的长宽高、第一目标对象的偏航角等信息，第一目标对象可以是汽车、行人等。

步骤105，基于第一目标对象，标注图像数据集中的第二目标对象。

具体地，基于第一点云数据集中的第一目标对象的中心点坐标、第一目标对象的长宽高、第一目标对象的偏航角等信息，确定与第一点云数据集对应的图像数据集中的第二目标对象的中心点坐标、第二目标对象的长宽高、第二目标对象的偏航角等信息。并且确定图像数据集中的第二目标对象后，可以通过检测框的形式展示出来。

需要说明的是，优选地先执行步骤102再执行步骤103，也可以先执行步骤103再执行步骤102。

本申请实施例提供的对图像数据进行标注的方法，通过需要被标注的图像数据集和第一点云数据集进行多传感器融合、稠密化、测试数据增强和目标框加权融合，来确定第一点云数据集中的第一目标对象，由于第一点云数据集是通过激光雷达采集得到的，基于第一点云数据集得到的第一目标对象确定图像数据集中的第二目标对象，大大提高了标注数据的准确度，通过第一点云数据集中的第一目标对象，确定图像数据集中的第二目标对象，可以自动确定图像数据集中的第二目标对象，得到自动标注数据，不需要人工参与，可以减少标注成本。

图2是本申请一示例性实施例提供的一种确定需要被标注的图像数据集和与图像数据集在时间上同步的第一点云数据集的流程示意图。在本申请图1所示实施例的基础上延伸出本申请图2所示实施例，下面着重叙述图2所示实施例与图1所示实施例的不同之处，相同之处不再赘述。

如图2所示，在本申请实施例提供的对图像数据进行标注的方法中，确定需要被标注的图像数据集和与图像数据集在时间上同步的第一点云数据集(即步骤101)，包括：

步骤1011，控制摄像头和激光雷达时间同步。

具体地，将摄像头与激光雷达之间做好时间同步，并且做好两者间的校准，使能得到两者之间的几何映射。激光雷达在3d检测方面相比摄像头有先天优势，可以将高准确度的激光雷达的检测结果映射到摄像头所在的局部三维坐标系，作为摄像头3d检测的真值(groundtruth，gt)。

并且需要说明的是，在实际应用中可以是采用一个摄像头和一个激光雷达，也可以是采用多个摄像头和一个激光雷达、多个摄像头和多个激光雷达，采用多个摄像头和一个激光雷达、多个摄像头和多个激光雷达的具体实现过程与一个摄像头和一个激光雷达的过程类似。

步骤1012，确定摄像头采集的原始图像数据集，以及激光雷达采集的原始点云数据集。

在一实施例中，采集的原始图像数据集可以是后缀为.jpg的数，采集的原始点云数据集可以是后缀为.bin的数据。

步骤1013，按照预设的时间间隔，从原始图像数据集和原始点云数据集中抽帧，得到需要被标注的图像数据集和第一点云数据集。

具体地，预设的时间间隔可以根据实际应用进行设置，如预设的时间间隔为5秒，每间隔5秒，从原始图像数据集和原始点云数据集中抽一帧数据，得到需要被标注的图像数据集和第一点云数据集。

本申请实施例提供的对图像数据进行标注的方法，控制摄像头和激光雷达时间同步，确定摄像头采集的原始图像数据集，以及激光雷达采集的原始点云数据集，按照预设的时间间隔，从原始图像数据集和原始点云数据集中抽帧，得到需要被标注的图像数据集和第一点云数据集，可以按照预设的时间间隔从摄像头采集的原始图像数据集，以及激光雷达采集的原始点云数据集中抽帧，得到需要被标注的图像数据集和第一点云数据集，实现方式简单快捷，可以快速得到标注数据，提高标注效率。

图3-1是本申请一示例性实施例提供的一种对图像数据集和第一点云数据集进行多传感器融合，得到融合后的第二点云数据集的流程示意图。在本申请图1所示实施例的基础上延伸出本申请图3-1所示实施例，下面着重述本申请图3-1所示实施例与图1所示实施例的不同之处，相同之处不再赘述。

本申请图3-1所示实施例主要采用pointpainting的多传感器融合方法，本申请图3-1所示实施例提供的对图像数据集和第一点云数据集进行多传感器融合，得到融合后的第二点云数据集(即步骤102)，具体包括：

步骤1021，确定用于采集图像数据集的摄像头和用于采集第一点云数据集的激光雷达之间的投影矩阵。

在一实施例中，投影矩阵如下：

其中，u、v表示摄像头采集的图像数据集中的像素点的位置(像素点的横坐标、纵坐标)，xw、yw、zw表示激光雷达采集的三维空间中的点云数据集中的像素点的位置(x坐标、y坐标、z坐标)，zc表示系数，(u0，v0)代表u-v坐标系下的坐标原点，dx与dy分别表示每个像素点在横轴x和纵轴y上的物理尺寸，r表示3×3的正交单位矩阵(也成为旋转矩阵)，表示三维的平移向量、为3×1平移矩阵，f表示摄像机的焦距，ax＝f/dx为u轴上的尺度因子，ay＝f/dy为v轴上的尺度因子，m为3×4矩阵、称为投影矩阵；m1由ax、ay、u0、v0决定，与这四个参数相关的只有摄像机本身的参数，因此它们称为摄像机的内部参数，摄像机与世界坐标系之间的方位决定矩阵为m2，所以m2是摄像机的外部参数，

步骤1022，对图像数据集进行语义分割(semanticsegmentation)，得到图像数据集中每个点的独热编码(one-hotvector)。

其中，语义分割是计算机视觉中的基本任务，在语义分割中将视觉输入分为不同的语义可解释类别，语义的可解释性即分类类别在真实世界中是有意义的。例如，区分出图像数据集中属于汽车的所有像素。

步骤1023，基于投影矩阵，确定第一点云数据集与图像数据集之间的映射关系。

其中，根据步骤1021的投影矩阵，可以确定第一点云数据集(xw，yw，zw)与图像数据集(u，v)之间的映射关系。

步骤1024，基于第一点云数据集与图像数据集之间的映射关系，以及图像数据集中每个点的独热编码，确定第一点云数据集中每个点的独热编码。

其中，基于第一点云数据集与图像数据集之间的映射关系，将第一点云数据集从3d空间投影到图像数据集(图片)上，图像数据集上每个点所在像素的独热编码，即为第一点云数据集中对应的每个点的独热编码。

步骤1025，将第一点云数据集中每个点的原有属性与第一点云数据集中每个点的独热编码联结，得到融合后的第二点云数据集。

其中，第一点云数据集中每个点的原有属性表示每个点(xw，yw，zw)的空间位置与反射率(reflectance)。图3-2是本申请一示例性实施例提供的一种融合过程示意图，从图3-2可以看出，对比融合前的第一点云数据集，融合后的第二点云数据集的属性比融合前的第一点云数据集的属性更加丰富，融合前的第一点云数据集的属性只有4个维度，融合后的第二点云数据集的属性有14个维度。

本申请实施例所提及的对图像数据进行标注的方法，基于第一点云数据集与图像数据集之间的映射关系，以及图像数据集中每个点的独热编码，确定第一点云数据集中每个点的独热编码，将第一点云数据集中每个点的原有属性与第一点云数据集中每个点的独热编码联结，得到融合后的第二点云数据集，融合后的第二点云数据集的属性更加丰富，可以提高对图像数据进行标注的精度。

本申请一示例性实施例提供了对第二点云数据集进行稠密化，得到增强的第三点云数据集。在本申请图1所示实施例的基础上延伸出本申请所示实施例，下面着重叙述本申请所示实施例与图1所示实施例的不同之处，相同之处不再赘述。

在本申请实施例提供的对第二点云数据集进行稠密化，得到增强的第三点云数据集(即步骤103)，包括：

将当前帧之前的预设帧数的第二点云数据集投影到当前帧，得到增强的第三点云数据集。

在一实施例中，使用时间维度上的信息来稠密化第二点云数据集，将当前帧之前的n帧(可以根据实际应用选择n的取值)第二点云数据集用m2矩阵(同步骤1021中的m2)投影到当前帧中和当前帧的第二点云数据集结合，对当前帧的第二点云数据集进行稠密化。参见图4-1为稠密化前的第二点云数据集的示意图，参见图4-2为稠密化后的第二点云数据集(即增强的第三点云数据集)的示意图，从图4-1、图4-2可以看出，图4-2的数据量明显高于图4-1。

本申请实施例所提及的对图像数据进行标注的方法，将当前帧之前的预设帧数的第二点云数据集投影到当前帧，得到增强的第三点云数据集，增加了数据量，可以提高对图像数据进行标注的准确度。

图5-1是本申请一示例性实施例提供的对第三点云数据集进行测试数据增强和目标框加权融合，得到第一点云数据集中的第一目标对象的流程示意图。在本申请上述任一所示实施例的基础上延伸出本申请图5-1所示实施例，下面着重叙述图5-1所示实施例与上述任一所示实施例的不同之处，相同之处不再赘述。

如图5-1所示，在本申请实施例提供的对第三点云数据集进行测试数据增强和目标框加权融合，得到第一点云数据集中的第一目标对象(即步骤104)，包括：

步骤1041，对第三点云数据集进行预设程度的微扰，得到预设组微扰点云数据集。

在一实施例中，对第三点云数据集进行预设程度的微扰操作方法可以是将第三点云数据集绕z轴进行预设个角度的旋转，例如，第三点云数据集绕z轴进行10个角度的旋转(例如：10个角度分别为：-pi/4，-pi/8，0，pi/8，pi/4，pi*3/4，pi*7/8，pi，pi*9/8，pi*5/4)，每旋转一个角度得到一组的微扰点云数据集，从可以得到10组的微扰点云数据集。

步骤1042，基于预设激光雷达深度学习模型和预设组微扰点云数据集，对第一点云数据集中的第一目标对象进行预标注，得到预设组初始目标对象。

具体地，预设激光雷达深度学习模型可以采用cnn(convolutionalneuralnetworks，卷积神经网络)模型，cnn模型有时候是整个算法提取特征的骨架，因此又称为backbone(骨干网络)模型，在一实施例中，预设激光雷达深度学习模型可以采用3个backbone模型实现，记作backbone1、backbone2、backbone3。在使用预设激光雷达深度学习模型前，可以通过已有标注数据对预设激光雷达深度学习模型进行训练，以提高其精度。将10组的微扰点云数据集分别输入backbone1、backbone2、backbone3，每个backbone得到10组初始目标对象，3个backbone总共得到30组初始目标对象。参见图5-2，为同一目标物体的30份测试数据增强结果示意图，参见图5-3，为测试数据增强的实际应用的效果图。

步骤1043，对预设组初始目标对象进行匹配，并对预设组初始目标对象中匹配成功的初始目标对象进行加权融合，得到点云数据集中的目标对象。

在一实施例中，预设组初始目标对象匹配成功，就是预设组初始标注数据的相似率到达预设相似率，其中，预设相似率的取值可以根据实际应用进行设置，例如预设相似率设置为80％等。当预设组初始标注数据为初始检测框时，初始检测框到达预设重合度，则为匹配成功，其中，预设重合度的取值可以根据实际应用进行设置，例如预设重合度为80％等。

在一实施例中，将预设组初始目标对象中匹配成功的初始目标对象，按照预设的权重，进行加权融合，得到点云数据集中的目标对象，其中，预设的权重的取值可以根据实际应用进行设置，例如匹配成功的初始目标对象的权重一样，都设置为0.7。参见图5-4，为同一目标物体的目标框加权融合结果示意图，参见图5-5，为目标框加权融合的实际应用的效果图。

本申请实施例所提及的对图像数据进行标注的方法，对第三点云数据集进行预设程度的微扰，得到预设组微扰点云数据集，基于预设激光雷达深度学习模型和预设组微扰点云数据集，对点云数据集中的目标对象进行预标注，得到预设组初始目标对象，对第三点云数据集进行预设程度的微扰增加了数据量，可以进一步地提高对图像数据进行标注的精度；对预设组初始目标对象进行匹配，并对预设组初始目标对象中匹配成功的初始目标对象进行加权融合，得到点云数据集中的目标对象，通过匹配可以获取更准确的数据，进一步提高对图像数据进行标注的准确度。

图6-1是本申请一示例性实施例提供的另一种对图像数据进行标注的方法的流程示意图。在本申请上述任一所示实施例的基础上延伸出本申请图6-1所示实施例，下面着重叙述图6-1所示实施例与上述任一所示实施例的不同之处，相同之处不再赘述。

如图6-1所示，在对第三点云数据集进行测试数据增强和目标框加权融合，得到第一点云数据集中的第一目标对象(即步骤105)之后，还包括：

步骤106，确定第一点云数据集中的第一目标对象的遮挡关系。

具体地，将高准确度的激光雷达的检测结果映射到摄像头坐标系，作为摄像头3d检测的真值还存在一定缺陷，比如激光雷达没有考虑到图像中遮挡的问题。本实施例中利用光线投射法(raycasting)的原理，确定第一点云数据集中的第一目标对象的遮挡关系，具体过程：获取第一点云数据集的俯视图(第一点云数据集的z轴数据去掉即可得到)，从俯视图的原点计算遮挡关系，如果在第一目标对象和原点的连线上有其它物体，则第一目标对象被遮挡，如果在第一目标对象和原点的连线上没有其它物体，则第一目标对象没有被遮挡。遍历俯视图上的每个第一目标对象，得到第一点云数据集中所有的第一目标对象的遮挡关系。

步骤107，确定第一点云数据集中的第一目标对象的匹配关系。

在一实施例中，将需要被标注的图像数据集输入预设摄像头深度学习模型，通过预设摄像头深度学习模型对图像数据集进行标注，得到摄像头预测目标对象，其中，预设摄像头深度学习模型可以采用cnn模型实现，可以根据实际应用设置相应的模型，对此不作限定；将摄像头预测目标对象与图像数据集中的第二目标对象(即第一点云数据集中的第一目标对象在图片上的投影，具体投影可以通过步骤1021的投影矩阵得到)进行匹配，根据摄像头预测目标对象与图像数据集中的第二目标对象的匹配度，确定第一点云数据集中的第一目标对象的匹配关系，实际应用中可以根据实际应用情况设置匹配度阈值，当摄像头预测目标对象与图像数据集中的第二目标对象的匹配度大于等于匹配度阈值时，确定二者是匹配的，当摄像头预测目标对象与图像数据集中的第二目标对象的匹配度小于匹配度阈值时，确定二者是不匹配的。如果摄像头预测目标对象与图像数据集中的第二目标对象是通过检测框的形式进行显示，则可以通过检测框的重合度确定匹配度。

步骤108，基于遮挡关系和匹配关系，对第一点云数据集中的第一目标对象进行过滤，得到优化的目标对象。

具体地，如果第一目标对象被遮挡或第一目标对象不匹配，则将被遮挡的第一目标对象或不匹配的第一目标对象过滤掉。

需要说明的是，步骤106和步骤107没有先后顺序的限制，可以根据实际应用情况设置。

参见图6-2，为输出的优化的目标对象示意图，图中白色框内物体表示图像数据集中的第二目标对象(即第一点云数据集中的第一目标对象在图片上的投影)，黑色框内物体表示摄像头预测目标对象。

本申请实施例所提及的对图像数据进行标注的方法，确定第一点云数据集中的第一目标对象的遮挡关系、确定第一点云数据集中的第一目标对象的匹配关系，基于所述遮挡关系和所述匹配关系，对第一点云数据集中的第一目标对象进行过滤，得到优化的目标对象，可以将被遮挡的第一目标对象，或不匹配的第一目标对象过滤掉，可以进一步地提高对图像数据进行标注的准确度。

图7是本申请一示例性实施例提供的又一种对图像数据进行标注的方法的流程示意图。在本申请图6-1所示实施例的基础上延伸出本申请图7所示实施例，下面着重叙述图7所示实施例与图6-1所示实施例的不同之处，相同之处不再赘述。

如图7所示，基于遮挡关系和匹配关系，对第一点云数据集中的第一目标对象进行过滤，得到优化的目标对象(即步骤108)之后，还包括：

步骤109，利用优化的目标对象，训练预设摄像头深度学习模型。

其中，预设摄像头深度学习模型可以采用cnn模型，优选地，采用与步骤107中相同的模型。优化的目标对象准确性比较高，且是自动标注得到的数据，数据量比较大，将优化的目标对象用于训练预设摄像头深度学习模型，可以提高预设摄像头深度学习模型的鲁邦性和准确度。

步骤110，利用预设摄像头深度学习模型对图像数据进行标注，得到摄像头目标对象。

具体地，将需要被标注的图像数据集输入到训练过的预设摄像头深度学习模型中，通过预设摄像头深度学习模型对图像数据集进行标注，得到摄像头目标对象。

步骤111，基于摄像头目标对象与优化的目标对象，利用主动学习方法，选取困难场景的目标对象。

其中，困难场景是与正常场景比较不经常出现、比较特殊的场景，例如：警察检测车辆，出现车辆拥堵的场景等。基于采集图像数据集的摄像头和用于采集点云数据集的激光雷达之间的投影矩阵，建立摄像头目标对象与优化的目标对象之间的对应关系；利用主动学习方法(activelearning)，将摄像头目标对象与对应的优化的目标对象进行比较，如果某帧中的摄像头目标对象与优化的目标对象的差距大于预设差距阈值(可以根据实际应用状况设置取值)，则该帧中的目标对象为困难场景的目标对象，可以将困难场景的目标对象作为样本，对摄像头深度学习模型、激光雷达深度学习模型进行训练，提高模型的准确度。

本申请实施例所提及的对图像数据进行标注的方法，利用优化的目标对象，训练预设摄像头深度学习模型，利用预设摄像头深度学习模型对图像数据进行标注，得到摄像头目标对象，基于摄像头目标对象与优化的目标对象，利用主动学习方法，选取困难场景的目标对象，困难场景的目标对象可以用于后续对摄像头深度学习模型、激光雷达深度学习模型进行训练，提高模型的准确性。

需要说明的是，为了进一步地提高标注的精确度，可以通过人工对困难场景的目标对象的进行审查(review)，使用人工审查之后的标注数据对摄像头深度学习模型、激光雷达深度学习模型进行训练，可以进一步提升模型的精确度，做到数据闭环。参见图8，是本申请一示例性实施例提供的一种对图像数据进行标注的整体架构示意图，模块10表示训练预设激光雷达深度学习模型，模块11表示对图像数据进行自动标注(对应步骤101-105)，模块12表示对标注结果进行后处理(对应步骤106-108)，模块13表示训练预设摄像头深度学习模型(对应步骤109)，模块14表示数据筛选(对应步骤110-111)，模块15表示人工审查(可选)。从图8可以看出模块10训练预设激光雷达深度学习模型的输入初期可以使用人工标注数据，后续可以直接使用模块15人工审查后的标注数据，如果没有模块15这个模块，也可以直接使用模块14数据筛选后的标注数据，实现数据闭环。

参见图9，是本申请一示例性实施例提供的一种对图像数据进行标注的自动标注过程示意图(图8中模块11的细化)，模块20表示从原始图像数据集和原始点云数据集中抽帧得到图像数据集和第一点云数据集，模块21表示对图像数据集和第一点云数据集进行多传感器融合(采用pointpainting的方法)得到融合后的第二点云数据集，模块22表示对得到融合后的第二点云数据集进行稠密化，得到增强的第三点云数据集(模块23)，模块24表示测试数据增强(testtimeaugmentation，tta)过程，模块25表示目标框加权融合(weightedboxfusion)过程，模块26表示3d自动标注结果(第一点云数据集中的第一目标对象)。

示例性装置

图10是本申请一示例性实施例提供的一种对图像数据进行标注的装置的结构示意图。本申请实施例提供的对图像数据进行标注的装置可应用到计算机视觉技术领域，如图10所示，本申请实施例提供的对图像数据进行标注的装置，包括：

标注数据确定模块201，用于确定需要被标注的图像数据集和与图像数据集在时间上同步的第一点云数据集，其中，第一点云数据集通过激光雷达采集得到；

多传感器融合模块202，用于对图像数据集和第一点云数据集进行多传感器融合，得到融合后的第二点云数据集；

稠密化模块203，用于对第二点云数据集进行稠密化，得到增强的第三点云数据集；

数据增强加权融合模块204，用于对第三点云数据集进行测试数据增强和目标框加权融合，得到第一点云数据集中的第一目标对象；

目标对象确定模块205，用于基于第一目标对象，确定图像数据集中的第二目标对象。

图11是本申请一示例性实施例提供的一种对图像数据进行标注的装置中标注数据确定模块201的结构示意图。在本申请图10所示实施例的基础上延伸出本申请图11所示实施例，下面着重叙述图11所示实施例与图10所示实施例的不同之处，相同之处不再赘述。

如图11所示，在本申请实施例提供的对图像数据进行标注的装置中，标注数据确定模块201包括：

时间同步控制单元2011，用于控制摄像头和激光雷达时间同步；

原始数据集确定单元2012，用于确定摄像头采集的原始图像数据集，以及激光雷达采集的原始点云数据集；

数据集确定单元2013，用于按照预设的时间间隔，从原始图像数据集和原始点云数据集中抽帧，得到图像数据集和第一点云数据集。

图12是本申请一示例性实施例提供的一种对图像数据进行标注的装置中多传感器融合模块202的结构示意图。在本申请图10所示实施例的基础上延伸出本申请图12所示实施例，下面着重叙述图12所示实施例与图10所示实施例的不同之处，相同之处不再赘述。

如图12所示，在本申请实施例提供的对图像数据进行标注的装置中，多传感器融合模块202包括：

投影矩阵确定单元2021，用于确定用于采集图像数据集的摄像头和用于采集点云数据集的激光雷达之间的投影矩阵；

语义分割单元2022，用于对图像数据集进行语义分割，得到图像数据集中每个点的独热编码；

映射关系确定单元2023，用于确定第一点云数据集与图像数据集之间的映射关系；

独热编码确定单元2024，用于基于第一点云数据集与图像数据集之间的映射关系，以及图像数据集中每个点的独热编码，确定第一点云数据集中每个点的独热编码；

联结单元2025，用于将第一点云数据集中每个点的原有属性与第一点云数据中每个点的独热编码联结，得到融合后的第二点云数据集。

本申请一示例性实施例提供了一种对图像数据进行标注的装置中稠密化模块203的结构示意图。在本申请图10所示实施例的基础上延伸出本申请所示实施例，下面着重叙述本申请所示实施例与图10所示实施例的不同之处，相同之处不再赘述。

在本申请实施例提供的对图像数据进行标注的装置中，稠密化模块203，具体用于将当前帧之前的预设帧数的第二点云数据集投影到当前帧，得到增强的第三点云数据集。

图13是本申请一示例性实施例提供的一种对图像数据进行标注的装置中数据增强加权融合模块204的结构示意图。在本申请上述任一所示实施例的基础上延伸出本申请图13所示实施例，下面着重叙述图13所示实施例与上述任一所示实施例的不同之处，相同之处不再赘述。

如图13所示，在本申请实施例提供的对图像数据进行标注的装置中，数据增强加权融合模块204包括：

微扰单元2041，用于对第三点云数据集进行预设程度的微扰，得到预设组微扰点云数据集；

预标注单元2042，用于基于预设激光雷达深度学习模型和预设组微扰点云数据集，对第一点云数据集中的第一目标对象进行预标注，得到预设组初始目标对象；

加权融合单元2043，用于对预设组初始目标对象进行匹配，并对预设组初始目标对象中匹配成功的初始目标对象进行加权融合，得到第一点云数据集中的第一目标对象。

图14是本申请一示例性实施例提供的另一种对图像数据进行标注的装置的结构示意图。在本申请上述任一所示实施例的基础上延伸出本申请图14所示实施例，下面着重叙述图14所示实施例与上一所示实施例的不同之处，相同之处不再赘述。

如图14所示，在本申请实施例提供的对图像数据进行标注的装置中，还包括：

遮挡关系确定模块206，用于确定第一点云数据集中的第一目标对象的遮挡关系；

匹配关系确定模块207，用于确定第一点云数据集中的第一目标对象的匹配关系；

过滤模块208，用于基于遮挡关系和匹配关系，对第一点云数据集中的第一目标对象进行过滤，得到优化的目标对象。

图15是本申请一示例性实施例提供的又一种对图像数据进行标注的装置的结构示意图。在本申请图14所示实施例的基础上延伸出本申请图15所示实施例，下面着重叙述图15所示实施例与图14所示实施例的不同之处，相同之处不再赘述。

如图15所示，在本申请实施例提供的对图像数据进行标注的装置中，还包括：

训练模块209，用于利用优化的目标对象，训练预设摄像头深度学习模型；

标注模块210，用于利用预设摄像头深度学习模型对图像数据进行标注，得到摄像头目标对象；

选取模块211，用于基于摄像头目标对象与优化的目标对象，利用主动学习方法，选取困难场景的目标对象。

应当理解，图10至图15提供的对图像数据进行标注的装置中的标注数据确定模块201、多传感器融合模块202、稠密化模块203、数据增强加权融合模块204、目标对象确定模块205、遮挡关系确定模块206、匹配关系确定模块207、过滤模块208、训练模块209、标注模块210、选取模块211，标注数据确定模块201中的时间同步控制单元2011、原始数据集确定单元2012、数据集确定单元2013，多传感器融合模块202中的投影矩阵确定单元2021、语义分割单元2022、映射关系确定单元2023、独热编码确定单元2024、联结单元2025，以及数据增强加权融合模块204中的微扰单元2041、预标注单元2042、加权融合单元2043的操作和功能可以参考上述图1至图9提供的对图像数据进行标注的方法，为了避免重复，在此不再赘述。

示例性电子设备

图16图示了本申请实施例的电子设备的框图。

如图16所示，电子设备31包括一个或多个处理器311和存储器312。

处理器311可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备31中的其他组件以执行期望的功能。

存储器312可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器311可以运行所述程序指令，以实现上文所述的本申请的各个实施例的对图像数据进行标注的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、运行结果等各种内容。

在一个示例中，电子设备31还可以包括：输入装置313和输出装置314，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，该输入装置313可以是摄像头或麦克风、麦克风阵列等，用于捕捉图像的输入信号。在该电子设备是单机设备时，该输入装置313可以是通信网络连接器，用于从网络处理器接收所采集的输入信号。

此外，该输入设备313还可以包括例如键盘、鼠标等等。

该输出装置314可以向外部输出各种信息，包括确定出的输出电压、输出电流信息等。该输出设备314可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图16中仅示出了该电子设备31中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备31还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的对图像数据进行标注的方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的对图像数据进行标注的方法的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。