一种图像中物体位置的标注方法、装置及电子设备与流程

本发明涉及图像处理技术领域，特别是涉及一种图像中物体位置的标注方法、装置及电子设备。

背景技术：

随着计算机计算能力的不断提高，各种深度学习模型的应用越来越广泛。用于图像处理的深度学习模型是具有重要作用的深度学习模型之一，例如，在机械臂抓取物体、车牌识别、监控录像中的目标检测等领域，用于图像处理的深度学习模型具有非常重要的地位。

在训练这些深度学习模型时，需要采集大量的图像样本，即对目标物体进行各种角度、位置地拍摄，进而采集大量图像，其中，目标物体即为实际需要检测的物体，例如，机械臂需要抓取的物体、车辆的车牌等。而在这些图像中，需要标注出目标物体的位置，标注后的图像作为图像样本，用于训练深度学习模型。

标注目标物体位置的方式一般为人工标注，即在采集的图像中，通过人眼确定目标物体的位置，进而进行标注，获得图像本。可见，这种方式是非常浪费人力和时间的，标注效率很低。

技术实现要素：

本发明实施例的目的在于提供一种图像中物体位置的标注方法、装置及电子设备，以免去人工标注工作，提升标注效率。具体技术方案如下：

第一方面，本发明实施例提供了一种图像中物体位置的标注方法，所述方法包括：

获取预先构建的摄像机模型的当前位姿信息；

获取预先构建的待标注物体模型的当前位姿信息及物理参数，其中，所述物理参数为标识所述待标注物体模型大小的参数；

根据所述摄像机模型的当前位姿信息及所述待标注物体模型的当前位姿信息，通过坐标变换，得到所述待标注物体模型在所述摄像机模型坐标系中的目标位姿信息；

根据所述摄像机模型的内部参数矩阵、所述物理参数及所述目标位姿信息，确定所述待标注物体模型在所述摄像机模型当前采集图像中的像素位置；

在所述图像中标注所述像素位置。

可选的，在所述获取预先构建的摄像机模型的当前位姿信息的步骤之前，所述方法还包括：

获取预先构建的机械臂模型的当前位姿信息，其中，所述摄像机模型与所述机械臂模型的末端固定连接；

所述获取预先构建的摄像机模型的当前位姿信息的步骤，包括：

根据所述机械臂模型的当前位姿信息，确定摄像机模型的当前位姿信息。

可选的，所述物理参数包括：所述待标注物体模型的预设标注点的位置及所述待标注物体模型的体积参数；

所述根据所述摄像机模型的内部参数矩阵、所述物理参数及所述目标位姿信息，确定所述待标注物体模型在所述摄像机模型当前采集图像中的像素位置的步骤，包括：

根据所述摄像机模型的内部参数矩阵及所述目标位姿信息，确定所述预设标注点的位置在所述摄像机模型当前采集图像中的第一目标位置；

根据所述第一目标位置及所述体积参数，确定所述待标注物体模型在所述摄像机模型当前采集图像中的像素位置。

可选的，所述预设标注点为所述待标注物体模型的左下顶点；

所述根据所述第一目标位置及所述体积参数，确定所述待标注物体模型在所述摄像机模型当前采集图像中的像素位置的步骤，包括：

根据所述第一目标位置及所述体积参数，确定所述待标注物体模型的右上顶点在所述摄像机模型当前采集图像中的第二目标位置；

将以所述第一目标位置和所述第二目标位置为对角点的矩形框内的区域，确定为所述待标注物体模型在所述摄像机模型当前采集图像中的像素位置。

可选的，所述在所述图像中标注所述像素位置的步骤之后，所述方法还包括：

对应于所述摄像机模型当前采集图像，记录所述像素位置、所述摄像机模型的当前位姿信息及所述待标注物体模型的当前位姿信息。

可选的，所述方法还包括：

改变所述摄像机模型和/或所述待标注物体模型的位姿，并返回所述获取预先构建的摄像机模型的当前位姿信息的步骤。

第二方面，本发明实施例提供了一种图像中物体位置的标注装置，所述装置包括：

摄像机模型数据获取模块，用于获取预先构建的摄像机模型的当前位姿信息；

待标注物体模型数据获取模块，用于获取预先构建的待标注物体模型的当前位姿信息及物理参数，其中，所述物理参数为标识所述待标注物体模型大小的参数；

目标位姿信息确定模块，用于根据所述摄像机模型的当前位姿信息及所述待标注物体模型的当前位姿信息，通过坐标变换，得到所述待标注物体模型在所述摄像机模型坐标系中的目标位姿信息；

像素位置确定模块，用于根据所述摄像机模型的内部参数矩阵、所述物理参数及所述目标位姿信息，确定所述待标注物体模型在所述摄像机模型当前采集图像中的像素位置；

像素位置标注模块，用于在所述图像中标注所述像素位置。

可选的，所述装置还包括：

机械臂模型数据获取模块，用于在所述获取预先构建的摄像机模型的当前位姿信息之前，获取预先构建的机械臂模型的当前位姿信息，其中，所述摄像机模型与所述机械臂模型的末端固定连接；

所述摄像机模型数据获取模块包括：

当前位姿信息获取单元，用于根据所述机械臂模型的当前位姿信息，确定摄像机模型的当前位姿信息。

可选的，所述物理参数包括：所述待标注物体模型的预设标注点的位置及所述待标注物体模型的体积参数；

所述像素位置确定模块包括：

第一目标位置确定单元，用于根据所述摄像机模型的内部参数矩阵及所述目标位姿信息，确定所述预设标注点的位置在所述摄像机模型当前采集图像中的第一目标位置；

像素位置确定单元，用于根据所述第一目标位置及所述体积参数，确定所述待标注物体模型在所述摄像机模型当前采集图像中的像素位置。

可选的，所述预设标注点为所述待标注物体模型的左下顶点；

所述像素位置确定单元包括：

第二目标位置确定子单元，用于根据所述第一目标位置及所述体积参数，确定所述待标注物体模型的右上顶点在所述摄像机模型当前采集图像中的第二目标位置；

像素位置确定子单元，用于将以所述第一目标位置和所述第二目标位置为对角点的矩形框内的区域，确定为所述待标注物体模型在所述摄像机模型当前采集图像中的像素位置。

可选的，所述装置还包括：

信息记录模块，用于在所述在所述图像中标注所述像素位置之后，对应于所述摄像机模型当前采集图像，记录所述像素位置、所述摄像机模型的当前位姿信息及所述待标注物体模型的当前位姿信息。

可选的，所述装置还包括：

位姿改变模块，用于改变所述摄像机模型和/或所述待标注物体模型的位姿，并触发所述摄像机模型数据获取模块。

第三方面，本发明实施例还提供了一种电子设备，包括处理器、存储器和通信总线，其中，处理器、存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述的图像中物体位置的标注方法步骤。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述的图像中物体位置的标注方法步骤。

本发明实施例所提供的方案中，首先获取预先构建的摄像机模型的当前位姿信息，以及预先构建的待标注物体模型的当前位姿信息及物理参数，然后根据摄像机模型的当前位姿信息及待标注物体模型的当前位姿信息，通过坐标变换，得到待标注物体模型在摄像机模型坐标系中的目标位姿信息，再根据摄像机模型的内部参数矩阵、物理参数及目标位姿信息，确定待标注物体模型在摄像机模型当前采集图像中的像素位置，最后在图像中标注像素位置。可以在虚拟环境下，对摄像机采集的图像中待标注物体的像素位置进行标注，免去人工标注工作，且能够快速改变待标注物体的位姿，获得大量标注后的图像，极大地提升图像标注效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所提供的一种图像中物体位置的标注方法的流程图；

图2为一种摄像机模型安装于机械臂模型末端的示意图；

图3为图1所示实施例中步骤s104的具体流程图；

图4为图3所示实施例中步骤s302的具体流程图；

图5为标注后的摄像机模型采集图像的一种示意图；

图6为本发明实施例所提供的一种图像中物体位置的标注装置的结构示意图；

图7为本发明实施例所提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了在标注图像中物体位置时，免去人工标注工作，提升图像标注效率，本发明实施例提供了一种图像中物体位置的标注方法、装置、电子设备及计算机可读存储介质。

下面首先对本发明实施例所提供的一种图像中物体位置的标注方法进行介绍。

本发明实施例所提供的一种图像中物体位置的标注方法可以应用于需要进行图像中物体位置标注的任意电子设备，例如，可以为电脑、平板电脑、手机等电子设备，在此不做具体限定，以下简称电子设备。

为了更加方便地进行图像中物体位置的标注工作，电子设备可以通过gazebo、cad等应用程序，获得摄像机模型及待标注物体模型。摄像机模型及待标注物体模型可以根据实际需要预先构建，例如，如果标注后的图像用于训练机械臂抓取物体的深度学习模型，那么，一般待标注物体即为机械臂需要抓取的目标物体，待标注物体模型便可以根据机械臂需要抓取的目标物体的实际形状、大小等参数构建得到。同理的，在这种情况下，摄像机模型便可以根据安装于机械臂末端的摄像机的实际内部参数及外部参数构建得到。

如图1所示，一种图像中物体位置的标注方法，所述方法包括：

s101，获取预先构建的摄像机模型的当前位姿信息；

s102，获取预先构建的待标注物体模型的当前位姿信息及物理参数；

其中，所述物理参数为标识所述待标注物体模型大小的参数。

s103，根据所述摄像机模型的当前位姿信息及所述待标注物体模型的当前位姿信息，通过坐标变换，得到所述待标注物体模型在所述摄像机模型坐标系中的目标位姿信息；

s104，根据所述摄像机模型的内部参数矩阵、所述物理参数及所述目标位姿信息，确定所述待标注物体模型在所述摄像机模型当前采集图像中的像素位置；

s105，在所述图像中标注所述像素位置。

可见，本发明实施例所提供的方案中，电子设备首先获取预先构建的摄像机模型的当前位姿信息，以及预先构建的待标注物体模型的当前位姿信息及物理参数，然后根据摄像机模型的当前位姿信息及待标注物体模型的当前位姿信息，通过坐标变换，得到待标注物体模型在摄像机模型坐标系中的目标位姿信息，再根据内部参数矩阵、物理参数及目标位姿信息，确定待标注物体模型在摄像机模型当前采集图像中的像素位置，最后在图像中标注像素位置。可以在虚拟环境下，对摄像机采集的图像中待标注物体的像素位置进行标注，免去人工标注工作，且能够快速改变待标注物体的位姿，获得大量标注后的图像，极大地提升图像标注效率。

需要说明的是，上述步骤s101、步骤s102的执行顺序并没有先后的限制，可以先执行步骤s101，也可以先执行步骤s102，当然，二者也可以同时执行，这都是合理的，只要电子设备可以获取预先构建的摄像机模型的当前位姿信息以及预先构建的待标注物体模型的当前位姿信息及物理参数即可，步骤s101、步骤s102的执行顺序并不会对后续步骤造成任何影响。

其中，位姿信息可以包括在世界坐标系中的三维位置信息以及三维姿态信息。可以理解的是，在虚拟环境中，摄像机模型确定后，可以任意调整其位姿，例如，摄像机模型的旋转、平移等，进而，摄像机模型的位姿信息也就可以获取到，摄像机模型的三维姿态信息可以包括摄像机模型的光轴方向等信息。

而待标注物体模型的物理参数可以为能够标识待标注物体模型大小的参数。例如，待标注物体模型为一圆柱形杯子模型，那么待标注物体模型的物理参数可以为杯子模型底部圆形的直径、圆心坐标以及杯子模型的高度等信息。又例如，待标注物体模型为一长方体的盒子模型，那么待标注物体模型的物理参数可以为盒子模型的长、宽、高以及某顶点坐标或中心点坐标等信息。

进而，在上述步骤s103中，电子设备便可以根据摄像机模型的当前位姿信息及待标注物体模型的当前位姿信息，通过坐标变换，得到待标注物体模型在摄像机模型坐标系中的目标位姿信息。可以理解的是，摄像机模型确定后，摄像机模型坐标系便是已知的，那么摄像机模型的当前位姿信息及待标注物体模型的当前位姿信息确定后，通过坐标变换，即世界坐标系向摄像机模型坐标系的投影，也就是通过摄像机外部参数矩阵的坐标变换，便可以确定待标注物体模型在摄像机模型坐标系中的目标位姿信息。也就可以确定待标注物体模型在摄像机模型坐标系中的三维位置及三维姿态信息。

因此，在上述步骤s104中，电子设备可以根据摄像机模型的内部参数矩阵及目标位姿信息，确定待标注物体模型在摄像机模型当前采集图像中的位置。

可以理解的是，摄像机模型一旦确定，其内部参数矩阵便是已知的，摄像机模型的内部参数一般可以表示为：

其中，fx和fy分别为摄像机模型在摄像机模型坐标系的x方向和y方向上的焦距，cx和cy分别为摄像机模型在成像平面坐标系的x方向和y方向上的主点坐标，其中，摄像机模型光轴方向与成像平面的交点称为主点。摄像机模型确定后，其内部参数矩阵也就可以确定。

目标位姿信息用于表示待标注物体模型在摄像机模型坐标系中三维位姿，而图像坐标系用于表示待标注物体在摄像机模型采集的二维图像中的位置，摄像机模型的内部参数矩阵的作用就是在这两个坐标系之间进行线性的变化。

由于需要标注的待标注物体模型在摄像机模型当前采集图像中的像素位置一般是：可以包括待标注物体模型在摄像机模型当前采集图像中的所覆盖的像素范围的一个区域，因此，电子设备一般可以根据上述待标注物体模型的物理参数及确定待标注物体模型在摄像机模型当前采集图像中的位置，确定该区域，也就是待标注物体模型在摄像机模型当前采集图像中的像素位置。

进而，电子设备便可以在摄像机模型当前采集图像中标注该像素位置，获取标注后的图像，可以作为训练深度学习模型的样本等。对于像素位置的具体标注方式，可以根据后续深度学习模型的处理需要确定，本发明实施例在此不做具体限定，例如，可以采用高亮显示、数值标记等方式。

针对上述摄像机模型与预先构建的机械臂模型的末端固定连接的情况而言，作为本发明实施例的一种实施方式，在上述获取预先构建的摄像机模型的当前位姿信息的步骤之前，上述方法还可以包括：

获取预先构建的机械臂模型的当前位姿信息。

如图2所示，在这种情况下，摄像机模型21的位姿会随着机械臂模型22的位姿的改变而改变，机械臂模型22的关节的旋转、移动均会带动摄像机模型21的位姿信息发生改变，所以，电子设备可以获取预先构建的机械臂模型22的当前位姿信息，机械臂模型22确定后，其位姿信息也就可以确定，该位姿信息也是相对于世界坐标系的。其中，物体模型23和物体模型24中任意一个均可以作为待标注物体模型，或者二者也可以同时作为待标注物体模型。

相应的，上述获取预先构建的摄像机模型的当前位姿信息的步骤，可以包括：

根据所述机械臂模型的当前位姿信息，确定摄像机模型的当前位姿信息。

电子设备获取机械臂模型的当前位姿信息后，由于摄像机模型在机械臂模型末端的安装位置和角度均是已知的，电子设备便可以确定摄像机模型的当前位姿信息。

可见，在本实施例中，针对摄像机模型安装于机械臂模型末端的情况而言，可以根据机械臂模型的当前位姿信息，准确获取摄像机模型的当前位姿信息，进而可以快速获得大量用于训练机械臂抓取物体的深度学习模型的图像样本，可以大大提高训练机械臂抓取物体的深度学习模型的效率。

作为本发明实施例的一种实施方式，上述物理参数可以包括：待标注物体模型的预设标注点的位置及待标注物体模型的体积参数。其中，预设标注点可以根据待标注物体模型的实际形状及标注后图像的用途确定，例如可以为待标注物体模型外轮廓线上的一点。如果待标注物体模型为规则形状，例如立方体、圆柱体等，那么预设标注点可以为待标注物体模型的某一顶点。当然，为了方便处理，即使待标注物体模型为不规则形状，电子设备也可以将其近似为比较接近的规则形状，进而将该规则形状的某一顶点作为待标注物体模型的预设标注点，这都是合理的。

待标注物体模型的体积参数即为能够确定待标注物体模型体积的参数。当待标注物体模型为规则形状时，例如立方体、圆柱体等，那么体积参数可以为数学上可以确定这些待标注物体模型体积的参数，也就是长、宽、高等参数，在此不做具体限定。当待标注物体模型为不规则形状时，那么电子设备也可以将其近似为比较接近的规则形状，进而将该规则形状的数学上可以表示其体积的参数，例如长、宽、高等参数作为待标注物体模型的体积参数。

针对于待标注物体模型的物理参数包括待标注物体模型的预设标注点的位置及待标注物体模型的体积参数的情况而言，如图3所示，上述根据所述摄像机模型的内部参数矩阵、所述物理参数及所述目标位姿信息，确定所述待标注物体模型在所述摄像机模型当前采集图像中的像素位置的步骤，可以包括：

s301，根据所述摄像机模型的内部参数矩阵及所述目标位姿信息，确定所述预设标注点的位置在所述摄像机模型当前采集图像中的第一目标位置；

由于预设标注点的位置一般采用在世界坐标系中的位置，所以为了准确确定第一目标位置，电子设备可以首先根据待标注物体模型的目标位姿信息，将预设标注点的位置投影到摄像机模型坐标系中。在另一种实施方式中，电子设备可以首先根据摄像机模型的外部参数矩阵，将预设标注点的位置投影到摄像机模型坐标系中，这都是合理的。

如前述可知，摄像机模型的内部参数矩阵表示摄像机模型坐标系与图像坐标系之间的线性变化关系，因此，电子设备可以按照摄像机模型的内部参数矩阵，经过坐标变换，确定预设标注点的位置投影到摄像机模型坐标系中所对应的位置，在图像坐标系中的位置，也就是在摄像机模型当前采集图像中的第一目标位置。

s302，根据所述第一目标位置及所述体积参数，确定所述待标注物体模型在所述摄像机模型当前采集图像中的像素位置。

电子设备确定第一目标位置后，便可以根据待标注物体模型的体积参数，确定待标注物体模型在摄像机模型当前采集图像中所覆盖的像素范围，也就是待标注物体模型在摄像机模型当前采集图像中的像素位置。需要说明的是，为了更准确地确定该像素范围，上述体积参数一般为根据摄像机模型的成像原理确定的待标注物体在摄像机模型当前采集图像中的体积参数。对于其确定方式，可以采用摄像机成像处理技术领域中的任一方式，在此不做具体限定及说明。

举例而言，待标注物体模型为一立方体，预设标注点为待标注物体模型的中心点，电子设备确定第一目标位置为(25，42)，待标注物体在摄像机模型当前采集图像中的体积参数为边长为6的正方形，那么待标注物体模型在摄像机模型当前采集图像中的像素位置便为以(22，39)和(28，45)为对角点的正方形区域。

可见，在本实施例中，电子设备可以根据预设标注点和体积参数确定待标注物体模型在摄像机模型当前采集图像中的像素位置，可以快速且准确地确定待标注物体模型对应的像素位置，进一步提升图像标注的准确率和效率。

为了更加快速地确定待标注物体模型在摄像机模型当前采集图像中的像素位置，作为本发明实施例的一种实施方式，上述预设标注点可以为待标注物体模型的左下顶点。

相应的，如图4所示，上述根据所述第一目标位置及所述体积参数，确定所述待标注物体模型在所述摄像机模型当前采集图像中的像素位置的步骤，可以包括：

s401，根据所述第一目标位置及所述体积参数，确定所述待标注物体模型的右上顶点在所述摄像机模型当前采集图像中的第二目标位置；

需要说明的是，在本实施例中，对于预设标注点为待标注物体模型的左下顶点的情况而言，当待标注物体模型为规则形状时，待标注物体模型的左下顶点所指代的即是摄像机模型的成像平面中，待标注物体模型左下角的顶点，当待标注物体模型为不规则形状时，那么电子设备也可以将其近似为比较接近的规则形状，待标注物体模型的左下顶点所指代的即是摄像机模型的成像平面中，该比较接近的规则形状的左下角的顶点。

那么，电子设备便可以根据上述第一目标位置及体积参数，确定待标注物体模型的右上顶点在摄像机模型当前采集图像中的第二目标位置。示例性的，如图5所示，待标注物体模型51为一长方体，第一目标位置52为(15，20)，待标注物体在摄像机模型当前采集图像中的体积参数为长为12，宽为8，那么显然，电子设备可以非常容易地确定第二目标位置53为(27，28)。

s402，将以所述第一目标位置和所述第二目标位置为对角点的矩形框内的区域，确定为所述待标注物体模型在所述摄像机模型当前采集图像中的像素位置。

由于以第一目标位置和第二目标位置为对角点的矩形框内的区域，可以覆盖待标注物体模型在摄像机模型当前采集图像中所占的像素范围，采用矩形框作为标注方式也比较符合各深度学习模型的训练原理，因此，确定了第二目标位置后，电子设备便可以将以第一目标位置和第二目标位置为对角点的矩形框内的区域，确定为待标注物体模型在摄像机模型当前采集图像中的像素位置。如图5所示，矩形框54内的区域便为待标注物体模型51在摄像机模型当前采集图像中的像素位置。

可见，在本实施例中，电子设备可以根据第一目标位置确定第二目标位置，进而将以第一目标位置和第二目标位置为对角点的矩形框内的区域，确定为待标注物体模型在摄像机模型当前采集图像中的像素位置，可以更加快速方便地确定待标注物体模型的像素位置，进一步提升图像标注的效率。

作为本发明实施例的一种实施方式，在上述在所述图像中标注所述像素位置的步骤之后，上述方法还可以包括：

对应于所述摄像机模型当前采集图像，记录所述像素位置、所述摄像机模型的当前位姿信息及所述待标注物体模型的当前位姿信息。

为了适应各种深度学习模型的需要，电子设备在图像中标注像素位置之后，还可以对应于摄像机模型当前采集图像，记录待标注物体模型的像素位置、摄像机模型的当前位姿信息及待标注物体模型的当前位姿信息、种类等信息，这样，在后续训练深度学习模型时，可以根据实际需要获取所记录的各种信息。对于记录待标注物体模型的像素位置的方式，可以采用记录标注框的顶点、对角点、边长等方式，在此不做具体限定。

作为本发明实施例的一种实施方式，上述方法还可以包括：

改变所述摄像机模型和/或所述待标注物体模型的位姿，并返回所述获取预先构建的摄像机模型的当前位姿信息的步骤。

为了快速获取大量标注后的图像，在标注完成摄像机模型当前采集的图像后，电子设备可以改变摄像机模型和/或待标注物体模型的位姿，并返回上述获取预先构建的摄像机模型的当前位姿信息的步骤，循环执行上述图像中物体位置的标注方法步骤。

可以理解的是，摄像机模型和/或待标注物体模型的位姿改变后，摄像机模型所采集的图像中待标注物体模型的位置和/或姿态也就发生变化，进而，电子设备可以获取大量不同的标注后的图像，可以作为图像样本以用于各种深度学习模型的训练。

可见，在本实施例中，电子设备可以快速改变摄像机模型和/或待标注物体模型的位姿，由于改变后的摄像机模型和/或待标注物体模型的位姿是已知的，因此可以快速获得大量标注后的图像，极大地提高了图像标注的效率。

相应于上述一种图像中物体位置的标注方法，本发明实施例还提供了一种图像中物体位置的标注装置。

下面对本发明实施例所提供的一种图像中物体位置的标注装置进行介绍。

如图6所示，一种图像中物体位置的标注装置，所述装置包括：

摄像机模型数据获取模块610，用于获取预先构建的摄像机模型的当前位姿信息；

待标注物体模型数据获取模块620，用于获取预先构建的待标注物体模型的当前位姿信息及物理参数；

其中，所述物理参数为标识所述待标注物体模型大小的参数。

目标位姿信息确定模块630，用于根据所述摄像机模型的当前位姿信息及所述待标注物体模型的当前位姿信息，通过坐标变换，得到所述待标注物体模型在所述摄像机模型坐标系中的目标位姿信息；

像素位置确定模块640，用于根据所述摄像机模型的内部参数矩阵、所述物理参数及所述目标位姿信息，确定所述待标注物体模型在所述摄像机模型当前采集图像中的像素位置；

像素位置标注模块650，用于在所述图像中标注所述像素位置。

可见，本发明实施例所提供的方案中，电子设备首先获取预先构建的摄像机模型的当前位姿信息，以及预先构建的待标注物体模型的当前位姿信息及物理参数，然后根据摄像机模型的当前位姿信息及待标注物体模型的当前位姿信息，通过坐标变换，得到待标注物体模型在摄像机模型坐标系中的目标位姿信息，再根据内部参数矩阵、物理参数及目标位姿信息，确定待标注物体模型在摄像机模型当前采集图像中的像素位置，最后在图像中标注像素位置。可以在虚拟环境下，对摄像机采集的图像中待标注物体的像素位置进行标注，免去人工标注工作，且能够快速改变待标注物体的位姿，获得大量标注后的图像，极大地提升图像标注效率。

作为本发明实施例的一种实施方式，上述装置还可以包括：

机械臂模型数据获取模块(图6中未示出)，用于在所述获取预先构建的摄像机模型的当前位姿信息之前，获取预先构建的机械臂模型的当前位姿信息，其中，所述摄像机模型与所述机械臂模型的末端固定连接；

上述摄像机模型数据获取模块610可以包括：

当前位姿信息获取单元(图6中未示出)，用于根据所述机械臂模型的当前位姿信息，确定摄像机模型的当前位姿信息。

作为本发明实施例的一种实施方式，上述物理参数可以包括：所述待标注物体模型的预设标注点的位置及所述待标注物体模型的体积参数；

上述像素位置确定模块640可以包括：

第一目标位置确定单元(图6中未示出)，用于根据所述摄像机模型的内部参数矩阵及所述目标位姿信息，确定所述预设标注点的位置在所述摄像机模型当前采集图像中的第一目标位置；

像素位置确定单元(图6中未示出)，用于根据所述第一目标位置及所述体积参数，确定所述待标注物体模型在所述摄像机模型当前采集图像中的像素位置。

作为本发明实施例的一种实施方式，上述预设标注点可以为所述待标注物体模型的左下顶点；

上述像素位置确定单元可以包括：

第二目标位置确定子单元(图6中未示出)，用于根据所述第一目标位置及所述体积参数，确定所述待标注物体模型的右上顶点在所述摄像机模型当前采集图像中的第二目标位置；

像素位置确定子单元(图6中未示出)，用于将以所述第一目标位置和所述第二目标位置为对角点的矩形框内的区域，确定为所述待标注物体模型在所述摄像机模型当前采集图像中的像素位置。

作为本发明实施例的一种实施方式，上述装置还可以包括：

信息记录模块(图6中未示出)，用于在所述在所述图像中标注所述像素位置之后，对应于所述摄像机模型当前采集图像，记录所述像素位置、所述摄像机模型的当前位姿信息及所述待标注物体模型的当前位姿信息。

作为本发明实施例的一种实施方式，上述装置还可以包括：

位姿改变模块(图6中未示出)，用于改变所述摄像机模型和/或所述待标注物体模型的位姿，并触发所述摄像机模型数据获取模块610。

本发明实施例还提供了一种电子设备，如图7所示，包括处理器701、存储器702和通信总线703，其中，处理器701，存储器702通过通信总线703完成相互间的通信，

存储器702，用于存放计算机程序；

处理器701，用于执行存储器702上所存放的程序时，实现如下步骤：

获取预先构建的摄像机模型的当前位姿信息；

获取预先构建的待标注物体模型的当前位姿信息及物理参数，其中，所述物理参数为标识所述待标注物体模型大小的参数；

根据所述摄像机模型的当前位姿信息及所述待标注物体模型的当前位姿信息，通过坐标变换，得到所述待标注物体模型在所述摄像机模型坐标系中的目标位姿信息；

根据所述摄像机模型的内部参数矩阵、所述物理参数及所述目标位姿信息，确定所述待标注物体模型在所述摄像机模型当前采集图像中的像素位置；

在所述图像中标注所述像素位置。

可见，本发明实施例所提供的方案中，电子设备首先获取预先构建的摄像机模型的当前位姿信息，以及预先构建的待标注物体模型的当前位姿信息及物理参数，然后根据摄像机模型的当前位姿信息及待标注物体模型的当前位姿信息，通过坐标变换，得到待标注物体模型在摄像机模型坐标系中的目标位姿信息，再根据内部参数矩阵、物理参数及目标位姿信息，确定待标注物体模型在摄像机模型当前采集图像中的像素位置，最后在图像中标注像素位置。可以在虚拟环境下，对摄像机采集的图像中待标注物体的像素位置进行标注，免去人工标注工作，且能够快速改变待标注物体的位姿，获得大量标注后的图像，极大地提升图像标注效率。

上述电子设备提到的通信总线可以是外设部件互连标准(peripheralcomponentinterconnect，pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器可以包括随机存取存储器(randomaccessmemory，ram)，也可以包括非易失性存储器(non-volatilememory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(centralprocessingunit，cpu)、网络处理器(networkprocessor，np)等；还可以是数字信号处理器(digitalsignalprocessing，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

其中，在上述获取预先构建的摄像机模型的当前位姿信息的步骤之前，上述方法还可以包括：

获取预先构建的机械臂模型的当前位姿信息，其中，所述摄像机模型与所述机械臂模型的末端固定连接；

上述获取预先构建的摄像机模型的当前位姿信息的步骤，包括：

根据所述机械臂模型的当前位姿信息，确定摄像机模型的当前位姿信息。

其中，上述物理参数可以包括：所述待标注物体模型的预设标注点的位置及所述待标注物体模型的体积参数；

上述根据所述摄像机模型的内部参数矩阵、所述物理参数及所述目标位姿信息，确定所述待标注物体模型在所述摄像机模型当前采集图像中的像素位置的步骤，可以包括：

根据所述摄像机模型的内部参数矩阵及所述目标位姿信息，确定所述预设标注点的位置在所述摄像机模型当前采集图像中的第一目标位置；

根据所述第一目标位置及所述体积参数，确定所述待标注物体模型在所述摄像机模型当前采集图像中的像素位置。

其中，上述预设标注点可以为所述待标注物体模型的左下顶点；

上述根据所述第一目标位置及所述体积参数，确定所述待标注物体模型在所述摄像机模型当前采集图像中的像素位置的步骤，可以包括：

根据所述第一目标位置及所述体积参数，确定所述待标注物体模型的右上顶点在所述摄像机模型当前采集图像中的第二目标位置；

将以所述第一目标位置和所述第二目标位置为对角点的矩形框内的区域，确定为所述待标注物体模型在所述摄像机模型当前采集图像中的像素位置。

其中，上述在所述图像中标注所述像素位置的步骤之后，上述方法还可以包括：

对应于所述摄像机模型当前采集图像，记录所述像素位置、所述摄像机模型的当前位姿信息及所述待标注物体模型的当前位姿信息。

其中，上述方法还可以包括：

改变所述摄像机模型和/或所述待标注物体模型的位姿，并返回所述获取预先构建的摄像机模型的当前位姿信息的步骤。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取预先构建的摄像机模型的当前位姿信息；

获取预先构建的待标注物体模型的当前位姿信息及物理参数，其中，所述物理参数为标识所述待标注物体模型大小的参数；

根据所述摄像机模型的当前位姿信息及所述待标注物体模型的当前位姿信息，通过坐标变换，得到所述待标注物体模型在所述摄像机模型坐标系中的目标位姿信息；

根据所述摄像机模型的内部参数矩阵、所述物理参数及所述目标位姿信息，确定所述待标注物体模型在所述摄像机模型当前采集图像中的像素位置；

在所述图像中标注所述像素位置。

可见，本发明实施例所提供的方案中，计算机程序被处理器执行时，首先获取预先构建的摄像机模型的当前位姿信息，以及预先构建的待标注物体模型的当前位姿信息及物理参数，然后根据摄像机模型的当前位姿信息及待标注物体模型的当前位姿信息，通过坐标变换，得到待标注物体模型在摄像机模型坐标系中的目标位姿信息，再根据内部参数矩阵、物理参数及目标位姿信息，确定待标注物体模型在摄像机模型当前采集图像中的像素位置，最后在图像中标注像素位置。可以在虚拟环境下，对摄像机采集的图像中待标注物体的像素位置进行标注，免去人工标注工作，且能够快速改变待标注物体的位姿，获得大量标注后的图像，极大地提升图像标注效率。

其中，在上述获取预先构建的摄像机模型的当前位姿信息的步骤之前，上述方法还可以包括：

获取预先构建的机械臂模型的当前位姿信息，其中，所述摄像机模型与所述机械臂模型的末端固定连接；

上述获取预先构建的摄像机模型的当前位姿信息的步骤，包括：

根据所述机械臂模型的当前位姿信息，确定摄像机模型的当前位姿信息。

其中，上述物理参数可以包括：所述待标注物体模型的预设标注点的位置及所述待标注物体模型的体积参数；

上述根据所述摄像机模型的内部参数矩阵、所述物理参数及所述目标位姿信息，确定所述待标注物体模型在所述摄像机模型当前采集图像中的像素位置的步骤，可以包括：

根据所述摄像机模型的内部参数矩阵及所述目标位姿信息，确定所述预设标注点的位置在所述摄像机模型当前采集图像中的第一目标位置；

根据所述第一目标位置及所述体积参数，确定所述待标注物体模型在所述摄像机模型当前采集图像中的像素位置。

其中，上述预设标注点可以为所述待标注物体模型的左下顶点；

上述根据所述第一目标位置及所述体积参数，确定所述待标注物体模型在所述摄像机模型当前采集图像中的像素位置的步骤，可以包括：

根据所述第一目标位置及所述体积参数，确定所述待标注物体模型的右上顶点在所述摄像机模型当前采集图像中的第二目标位置；

将以所述第一目标位置和所述第二目标位置为对角点的矩形框内的区域，确定为所述待标注物体模型在所述摄像机模型当前采集图像中的像素位置。

其中，上述在所述图像中标注所述像素位置的步骤之后，上述方法还可以包括：

对应于所述摄像机模型当前采集图像，记录所述像素位置、所述摄像机模型的当前位姿信息及所述待标注物体模型的当前位姿信息。

其中，上述方法还可以包括：

改变所述摄像机模型和/或所述待标注物体模型的位姿，并返回所述获取预先构建的摄像机模型的当前位姿信息的步骤。

需要说明的是，对于上述装置、电子设备及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

进一步需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。