点云标注方法及装置、计算机可读存储介质、终端与流程

本发明涉及点云目标检测，尤其涉及一种点云标注方法及装置、计算机可读存储介质、终端。

背景技术：

1、在自动驾驶领域，常常需要对激光雷达采集的场景点云进行目标检测或标注。通过标注场景点云中的目标对象(例如，行人、车辆、建筑物、交通标志等障碍物)，自动驾驶系统可以精确地定位和感知周围行驶环境，并做出相应的决策，例如，规划合适的行驶路径、避让障碍物等。研究如何提高点云中目标标注的准确度，对于提升自动驾驶的安全性至关重要。

2、当前，在对点云数据进行标注时，受限于采集环境、传感器硬件配置、光成像特性等因素影响，所采集的场景点云可能会具有下述问题：(1)数据稀疏。这会导致无法准确地捕捉到目标的细节信息，特别是对于较小的物体或低反射率的表面；(2)噪声和离群点干扰。由于激光雷达可能会产生拖点、吸点、镜像反射等现象，产生异常的干扰数据；(3)物体遮挡或部分区域重叠问题。上述问题均会降低点云数据质量，进而影响后续基于点云的目标标注结果的准确度。

3、考虑到点云数据的上述局限性，而图像中包含丰富的纹理和色彩，容易对目标种类和边界进行判断，但其缺少深度信息；点云数据中则包含丰富的空间信息，在对物体的三维形状、姿态等判断上具有优势。因此，现有技术中已有相关研究提出图像与点云的联合标注方法。

4、但是现有的图像和点云联合标注方案，往往过分依赖于对单帧场景图像进行目标识别的结果。例如，直接基于单帧场景图像的目标检测框投影至点云中，以获得点云中的目标标注框。又如，基于单帧场景图像的目标检测框对点云初步标注的点云标注框进行修正。然而，由于场景图像本身的二维平面特性，其不包含现实场景中的深度信息，并且图像中目标识别(包括目标的类别和实际尺寸的确定)的准确度还很大程度受相机拍摄角度的影响。例如，如果建筑物上设有大型海报或大型屏幕，从相机正对建筑物拍摄获得的图像中将很难识别出建筑物这一目标。因此，上述这些因素都会影响到后续点云标注结果的准确度。

技术实现思路

1、本发明实施例解决的技术问题是如何提高对场景点云中的目标进行标注的准确度。

2、为解决上述技术问题，本发明实施例提供一种点云标注方法，包括以下步骤：确定同一时刻针对同一场景采集的场景点云和多帧场景图像，其中，每帧场景图像具有不同的拍摄角度；对所述场景点云进行目标检测，以确定至少一个初步检测框，然后将所述初步检测框分别投影至所述多帧场景图像，得到所述初步检测框在所述多帧场景图像的多个图像投影框；对于所述初步检测框的每个图像投影框，在所属场景图像中确定与所述图像投影框相匹配的图像标注框，以得到多对相匹配的图像标注框与图像投影框，其中，各个相匹配的图像标注框指示同一目标类别；确定所述初步检测框的每对相匹配的图像标注框与图像投影框之间的重叠度，并对所得到的多个重叠度进行加权运算；如果加权运算结果大于或等于第一预设阈值，则将各个相匹配的图像标注框指示的目标类别作为所述初步检测框指示的待标注目标的类别，并根据各个相匹配的图像标注框，在所述场景点云中确定所述待标注目标的实际标注框。

3、可选的，对于所述初步检测框的每个图像投影框，在所属场景图像中确定与所述图像投影框相匹配的图像标注框，以得到多对相匹配的图像标注框与图像投影框，包括：对每帧场景图像进行目标标注，以得到所述场景图像中的至少一个图像标注框及其指示的目标类别；对于所述初步检测框的每个图像投影框，在所属场景图像中确定与所述图像投影框距离最近的图像标注框；从与所述初步检测框的各个图像投影框距离最近的图像标注框中，确定多个指示同一目标类别的图像标注框；将每个指示同一目标类别的图像标注框及其距离最近的图像投影框，作为单对相匹配的图像标注框与图像投影框。

4、可选的，所述多帧场景图像采集自安装于自车车体的多个摄像机，每帧场景图像的拍摄角度用于指示采集该场景图像的摄像机的镜头朝向与自车车体朝向之间的夹角；其中，所述多帧场景图像中至少包含一对拍摄角度之和为90°的场景图像。

5、可选的，所述初步检测框的每对相匹配的图像标注框与图像投影框之间的重叠度的权重，是根据所属场景图像的拍摄角度确定的；其中，所属场景图像的拍摄角度越小，在该场景图像中的图像投影框与相匹配的图像标注框之间的重叠度的权重越大。

6、可选的，所述根据各个相匹配的图像标注框，在所述场景点云中确定所述待标注目标的实际标注框，包括：从各个相匹配的图像标注框中，选取与图像投影框之间的重叠度最大的图像标注框；将该重叠度最大的图像标注框投影至所述场景点云中，得到第一点云投影框，该第一点云投影框作为所述待标注目标的实际标注框。

7、可选的，所述根据各个相匹配的图像标注框，在所述场景点云中确定所述待标注目标的实际标注框，包括：从各个相匹配的图像标注框中，选取至少一部分图像标注框；将所述至少一部分图像标注框投影至所述场景点云中，得到每个图像标注框对应的第二点云投影框；对各个第二点云投影框的点云进行累加，并根据点云累加结果确定所述待标注目标的实际标注框。

8、可选的，所述从各个相匹配的图像标注框中，选取至少一部分图像标注框，包括：选取全部所述相匹配的图像标注框；或者，从各个相匹配的图像标注框中，选取与图像投影框之间的重叠度大于等于第二预设阈值的图像标注框。

9、可选的，所述方法还包括：如果所述加权运算结果小于所述第一预设阈值，则确认所述初步检测框指示的待标注目标的类别与各个相匹配的图像标注框指示的目标类别不同。

10、可选的，对所述场景点云进行目标检测，以确定至少一个初步检测框，包括：对所述场景点云进行kd树结构转换，以得到kd树结构；基于所述kd树结构进行目标检测，以确定至少一组检测参数，所述检测参数至少包含目标中心点位置、尺寸以及朝向；对于每组检测参数，根据所述目标中心点位置、尺寸以及朝向，确定多个顶点位置；基于所述多个顶点位置，确定该组检测参数对应的初步检测框。

11、可选的，将所述初步检测框分别投影至所述多帧场景图像，包括：将所述初步检测框从激光雷达坐标系投影至世界坐标系，以得到位于世界坐标系的第一投影检测框；将所述第一投影检测框从世界坐标系投影至自车坐标系，以得到位于自车坐标系的第二投影检测框；将所述第二投影检测框从自车坐标系投影至采集所述多帧场景图像的多个相机所在的相机坐标系，以得到位于每个相机坐标系的第三投影检测框；将每个第三投影检测框从所属的相机坐标系投影至对应场景图像所在的图像坐标系。

12、本发明实施例还提供一种点云标注装置，包括：点云和图像确定模块，用于确定同一时刻针对同一场景采集的场景点云和多帧场景图像，其中，每帧场景图像具有不同的拍摄角度；点云初步检测与投影模块，用于对所述场景点云进行目标检测，以确定至少一个初步检测框，然后将所述初步检测框分别投影至所述多帧场景图像，得到所述初步检测框在所述多帧场景图像的多个图像投影框；目标框匹配模块，用于对于所述初步检测框的每个图像投影框，在所属场景图像中确定与所述图像投影框相匹配的图像标注框，以得到多对相匹配的图像标注框与图像投影框，其中，各个相匹配的图像标注框指示同一目标类别；重叠度计算模块，用于确定所述初步检测框的每对相匹配的图像标注框与图像投影框之间的重叠度，并对所得到的多个重叠度进行加权运算；点云标注结果确定模块，用于如果加权运算结果大于或等于第一预设阈值，则将各个相匹配的图像标注框指示的目标类别作为所述初步检测框指示的待标注目标的类别，并根据各个相匹配的图像标注框，在所述场景点云中确定所述待标注目标的实际标注框。

13、本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述点云标注方法的步骤。

14、本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述点云标注方法的步骤。

15、与现有技术相比，本发明实施例的技术方案具有以下有益效果：

16、在本发明实施例中，先确定同一时刻针对同一场景采集的场景点云和多帧具有不同拍摄角度的场景图像；然后对所述场景点云进行目标检测，以确定至少一个初步检测框，并将所述初步检测框分别投影至所述多帧场景图像，得到所述初步检测框在所述多帧场景图像的多个图像投影框；接着执行“两轮的目标匹配方案”。

17、具体而言，在第一轮的目标匹配中，从所述多帧场景图像中筛选出与所述初步检测框对应的图像投影框相匹配的且指示同一目标类别的多个图像标注框(其中，每帧场景图像中的图像标注框可以是预先标注好的)，目的在于初步确定所述初步检测框可能指示的目标。在第二轮的目标匹配中，通过对第一轮中确定的每对相匹配图像投影框与图像标注框之间的重叠度，并进行加权运算，以验证第一轮确定的各个相匹配的图像标注框指示的目标，是否实际上就是场景点云的所述初步检测框指示的待标注目标。具体地，如果加权运算结果大于或等于第一预设阈值，则可以将各个相匹配的图像标注框指示的目标类别作为所述初步检测框指示的待标注目标的类别，并根据各个相匹配的图像标注框，在所述场景点云中确定所述待标注目标的实际标注框。

18、由上，在本发明实施例中，一方面，相较于现有技术往往依赖于单帧场景图像(仅具有单个拍摄角度)的目标检测结果无法准确获得点云目标标注结果，本实施方案考虑到场景图像本身的二维平面特性，可能无法准确识别出具有三维特性的目标。因此，通过联合具有多个不同拍摄角度的多帧场景图像，在场景图像中的图像标注框确定阶段，针对遮挡或重叠情形(例如，小型车被大型车遮挡、建筑物被大型屏幕或海报覆盖)，可以有效避免遮挡、重叠带来的漏检、误检问题。在后续联合场景点云和场景图像的目标匹配阶段，均有助于进行多方向、多角度的目标识别和匹配。由此，可以有效提高目标识别准确度和匹配的准确度。

19、另一方面，相较于单轮目标匹配方案，本实施方案通过两轮目标匹配方案，对场景点云的初步检测结果(即，所述初步检测框)对应的图像投影框与场景图像中的目标检测结果(即，所述图像标注框)进行匹配。由此，有助于更加准确地确定所述初步检测框指示的待标注目标的类别。进一步，可以获得更加准确的点云标注结果。

20、进一步，所述多帧场景图像采集自安装于自车车体的多个摄像机，每帧场景图像的拍摄角度用于指示采集该场景图像的摄像机的镜头朝向与自车车体朝向之间的夹角；其中，所述多帧场景图像中至少包含一对拍摄角度之和为90°的场景图像。在摄像机成像技术中，通过采用多角度拍摄方式，并设计至少一对摄像机的拍摄角度之和为90°，有助于获得拍摄目标的三维特征(或称为立体特征或深度特征)。而这种重要的物理特征正是单角度拍摄得到的单帧二维场景图像中所欠缺的信息。由此，可以进一步提高对场景图像进行目标标注确定图像标注框的准确度，以及后续在多个不同角度将场景点云中的图像投影框与图像标注框进行匹配的准确度。最终有助于提高点云标注结果的准确度。

21、进一步，所述初步检测框的每对相匹配的图像标注框与图像投影框之间的重叠度的权重，是根据所属场景图像的拍摄角度确定的；其中，所属场景图像的拍摄角度越小，在该场景图像中的图像投影框与相匹配的图像标注框之间的重叠度的权重越大。由于在实际应用中，拍摄角度越小，通常意味着摄像机镜头越接近与车头朝向一致，而车头朝向的目标与驾驶安全性的相关程度更高；或者，拍摄角度越小，意味着摄像机越可能朝向目标的正中位置，拍摄得到的场景图像中包含的目标特征相对更全面。因此，在本发明实施例中，对于拍摄角度越小的场景图像，在计算重叠度时可设置相对较大的权重，使其对后续重叠度加权运算结果及目标类别判定的作用更大。这既有助于提高目标类别判定及点云目标标注的准确度，也符合实际中自动驾驶的安全性需求。