图像标注方法和装置及存储介质与流程

本公开涉及图像处理领域，特别涉及一种图像标注方法、图像标注装置及非瞬时性计算机可读存储介质。

背景技术：

1、图像分割标注是为图像分割视觉任务服务的。图像分割是一种非常常见的计算机视觉任务，为了使图像分割算法有高质量的学习数据，首先需要标注出一批图像分割结果，用这个标注标签来训练图像分割算法。图像分割标注方法大致可分为全人工标注、人机协同标注，都是通过人工或者算法手段，以点、线标注出物体的轮廓。

2、全人工标注完全由人用点、线标注出图片中物体的边界。对于一个形状不规则的物体，全人工标注是一个比较繁重的工作。由于人的主观性，标注质量未必能满足实际要求，需要人以更长时间的投入来换取标注质量的提升。一个案例是标注有弧度的边界，需要标注足够密的点位才能很好的拟合物体的边界，但是越密的点位需要越大的工作量。并且对于同一个物体在不同视角下的图片，人工标注很难保持边界的统一性。

3、人机协同标注在一定程度上减轻了人工的负担，首先通过人工指示出待标注物体的大致位置，比如点中物体或者圈画出物体等，然后通过算法计算出物体的轮廓，此轮廓仍然是粗糙的，需要人工精修，如此实现人机协同的标注工作。而实际上，人工精修工作并不轻松，工作量更然很大。

4、可见，上述相关技术的图像分割标注方法，在提升标注质量和提高标注效率方面都存在较大的难度。

技术实现思路

1、本公开实施例，基于对象的多视角图片集合，构建所述对象的三维模型，调整所述对象的三维模型的位姿，使得所述对象的三维模型在待标注图片上的投影与所述对象在所述待标注图片中的图像完全重合，将完全重合时的投影标注为所述对象在所述待标注图片中的图像的分割结果。通过对图片中对象位姿的调整来代替一张图片中对象边界密集点位(成百上千点位)的标注，提高了标注效率。通过构建对象三维模型，利用统一的三维模型在不同位姿的投影对图片中的对象进行标注，可以确保对象在不同视角下的边界的统一性，提高了标注质量。尤其在多视角图像分割场景，实现了更高的标注效率和标注质量。

2、本公开一些实施例提出一种图像标注方法，包括：

3、基于对象的多视角图片集合，构建所述对象的三维模型；

4、调整所述对象的三维模型的位姿，使得所述对象的三维模型在待标注图片上的投影与所述对象在所述待标注图片中的图像完全重合；

5、将完全重合时的投影标注为所述对象在所述待标注图片中的图像的分割结果。

6、在一些实施例中，基于对象的多视角图片集合，构建所述对象的三维模型包括：

7、确定所述对象的所述多视角图片集合中所述对象的每个图片对应的相机内参和相机外参；

8、根据所述对象的所述多视角图片集合中所述对象的各个图片以及对应的相机内参和相机外参，利用二维图片到三维模型的重建算法，构建所述对象的三维模型。

9、在一些实施例中，利用colmap算法，确定所述对象的所述多视角图片集合中所述对象的每个图片对应的相机内参和相机外参。

10、在一些实施例中，利用neus算法，构建所述对象的三维模型。

11、在一些实施例中，调整所述对象的三维模型的位姿，使得所述对象的三维模型在待标注图片上的投影与所述对象在所述待标注图片中的图像完全重合包括：

12、确定所述对象的三维模型在初始位姿下在所述待标注图片上的第一投影，所述初始位姿根据所述待标注图片的相机外参确定；

13、如果所述第一投影与所述对象在所述待标注图片中的图像不完全重合，调整所述对象的三维模型的位姿，确定所述对象的三维模型在调整位姿下在所述待标注图片上的第二投影，直至所述第二投影与所述对象在所述待标注图片中的图像完全重合。

14、在一些实施例中，确定所述对象的三维模型在初始位姿下在所述待标注图片上的第一投影包括：

15、根据所述对象的三维模型在世界坐标系下的第一坐标表示和所述初始位姿，确定所述对象的三维模型在所述初始位姿下在相机坐标系下的第二坐标表示；

16、根据所述对象的三维模型在所述初始位姿下在相机坐标系下的第二坐标表示，确定所述对象的三维模型在所述初始位姿下在屏幕坐标系下的第三坐标表示，作为所述第一投影。

17、在一些实施例中，确定所述对象的三维模型在调整位姿下在所述待标注图片上的第二投影包括：

18、根据所述对象的三维模型在世界坐标系下的第一坐标表示、所述初始位姿、所述对象的三维模型的中心相对坐标原点的偏移量、位姿调整量，确定所述对象的三维模型在所述调整位姿下在相机坐标系下的第四坐标表示；

19、根据所述对象的三维模型在所述调整位姿下在相机坐标系下的第四坐标表示，确定所述对象的三维模型在所述调整位姿下在屏幕坐标系下的第五坐标表示，作为所述第二投影。

20、在一些实施例中，所述对象的三维模型的中心相对坐标原点的偏移量包括：所述对象的三维模型的中心到坐标原点方向的第一偏移量、坐标原点到所述对象的三维模型的中心方向的第二偏移量。

21、在一些实施例中，所述位姿调整量包括：位姿旋转量和位姿偏移量。

22、在一些实施例中，确定所述对象的三维模型在所述调整位姿下在相机坐标系下的第四坐标表示包括：将所述位姿偏移量、所述第二偏移量、所述位姿旋转量、所述第一偏移量、所述初始位姿、所述第一坐标表示依次相乘，得到所述第四坐标表示。

23、在一些实施例中，采用如下方法确定位姿旋转量：

24、将包围所述对象的三维模型的最小球体在屏幕上投影为一个圆形；

25、根据所述圆形，确定位姿旋转在屏幕上的起始操作点在标注空间上的第一向量以及位姿旋转在屏幕上的终止操作点在标注空间上的第二向量；

26、确定从第一向量到第二向量的旋转轴和旋转角；

27、将所述旋转轴和所述旋转角变换为旋转矩阵，作为位姿旋转量。

28、在一些实施例中，采用如下方法确定位姿偏移量：将在屏幕各个方向上的位姿调整分量与相应方向的预设系数进行加权，得到在屏幕各个方向上的位姿偏移分量，在屏幕各个方向上的位姿偏移分量所形成的矩阵作为位姿偏移量。

29、在一些实施例中，确定所述对象的三维模型在所述调整位姿下在屏幕坐标系下的第五坐标表示包括：将预配置的屏幕转换矩阵、裁剪矩阵、投影矩阵依次与所述对象的三维模型在所述调整位姿下在相机坐标系下的第四坐标表示相乘，得到所述对象的三维模型在所述调整位姿下在屏幕坐标系下的第五坐标表示。

30、在一些实施例中，确定所述对象的三维模型在所述初始位姿下在屏幕坐标系下的第三坐标表示包括：将预配置的屏幕转换矩阵、裁剪矩阵、投影矩阵依次与所述对象的三维模型在所述初始位姿下在相机坐标系下的第二坐标表示相乘，得到所述对象的三维模型在所述初始位姿下在屏幕坐标系下的第三坐标表示。

31、本公开一些实施例提出一种图像标注装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行图像标注方法。

32、本公开一些实施例提出一种图像标注装置，包括：执行图像标注方法的模块。

33、本公开一些实施例提出一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现图像标注方法的步骤。