一种激光点云标注方法及装置与流程

本发明涉及计算机领域，特别涉及一种激光点云标注方法和一种激光点云标注装置。

背景技术：

目前随着自动驾驶技术的发展，识别车辆周边目标物体(如车辆、行人、三轮车、自行车等)则尤为重要，目前一种比较常用的方式是通过激光雷达(如采用8线、16线、32线或64线激光雷达)探测车辆周围目标物体，激光雷达向周围发射激光束，当激光束遇到物体时则返回激光点云，通过该激光点云识别周围的目标物体以及该目标物体的大小、位置、运动速度等。

目前，通过激光点云识别目标物体主要的方式为：预先通过人工对接收到的激光点云进行逐点标注以得到目标物体对应的激光点云样本数据；采用该样本数据进行机器学习得到物体识别模型；通过该物体识别模型识别出激光点云对应的目标物体。

目前通过人工对接收到的激光点云进行逐点标注，而激光点云包含的激光点数据庞大，该种标注方式速度较慢，且激光点云中还包含有大量不是目标物体的激光点，该种方式可能还会对大量非目标物体的激光点进行处理，效率低。

技术实现要素：

鉴于上述问题，本发明提供一种激光点云标注方法，以提高激光点标注的速度和效率。

本发明实施例，一方面，提供一种激光点云标注方法，该方法包括：

接收激光点云数据；

构建三维场景，并建立与该三维场景对应的三维坐标系；

将激光点云中各激光点的坐标转换为所述三维坐标系中的三维坐标；

根据激光点的三维坐标将激光点放入到所述三维场景中；

在所述三维场景中对所述激光点进行标注。

相应地，本发明实施例还提供一种激光点云标注装置，该装置包括：

接收单元，用于接收激光点云数据；

构建单元，用于构建三维场景，并建立与该三维场景对应的三维坐标系；

转换单元，用于将激光点云中各激光点的坐标转换为所述三维坐标系中的三维坐标；

映射单元，用于根据激光点的三维坐标将激光点放入到所述三维场景中；

标注单元，用于在所述三维场景中对所述激光点进行标注。

本发明实施例中，在接收到激光点云数据时重新构建三维场景，并将激光点云中的各激光点放入该三维场景中，在该三维场景对激光点进行标注。采用本发明技术方案，将激光点云放入至三维场景中，由于属于同一目标物体反馈的激光点相对集中且能够显示该目标物体的大致轮廓，因此，标注人员能够更加直观、快速的判断出属于目标类型的激光点，从而能够快速的有针对性的将属于目标类型的激光点标注出来，无需对所有的激光点进行逐一处理后才标注出属于目标类型的激光点，从而提高了激光点标注的速度和效率。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明实施例中激光点云标注方法的流程图之一；

图2为本发明实施例中激光点云标注方法的流程图之二；

图3为本发明实施例中在三维场景中设置一个照相机的示意图；

图4为本发明实施例中在三维场景中设置两个照相机的示意图；

图5为本发明实施例中在三维场景中标注激光点云的示意图；

图6为本发明实施例中激光点云标注装置的结构示意图之一；

图7为本发明实施例中激光点云标注装置的结构示意图之二。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

实施例一

参见图1为本发明实施例提供的激光点云标注方法的流程图，该方法包括：

步骤101、接收激光点云数据。

步骤102、构建三维场景，并建立与该三维场景对应的三维坐标系。

优选地，本发明实施例中，可通过但不仅限于采用webgl技术、osg(openscenegraph)或stk(satellitetoolkit)构建三维场景，构建三维场景的方式本申请不做严格限定。

步骤103、将激光点云中各激光点的坐标转换为所述三维坐标系中的三维坐标。

步骤104、根据激光点的三维坐标将激光点放入到所述三维场景中。

步骤105、在所述三维场景中对所述激光点进行标注。

本发明技术方案，在接收到激光点云数据时重新构建三维场景，并将激光点云中的各激光点放入该三维场景中，在该三维场景对激光点进行标注。采用本发明技术方案，将激光点云放入至三维场景中，由于属于同一目标物体反馈的激光点相对集中且能够显示该目标物体的大致轮廓，因此，标注人员能够更加直观、快速的判断出属于目标类型的激光点，从而能够快速、有针对性的将属于目标类型的激光点标注出来，无需对所有的激光点进行逐一处理后才标注出属于目标类型的激光点，从而提高了激光点标注的速度和效率。

优选地，为更好的区分不同类型的激光点标注结果，前述步骤105中，针对不同类型的激光点采用不同的标注方式进行标注，因此，前述步骤105具体实现可通过以下步骤a1～步骤a2实现：

步骤a1、确定所述三维场景中激光点所属类型；

步骤a2、根据激光点所属类型对应的标注方式对所述激光点进行标注，不同类型对应不同的标注方式。

优选地，由于激光点云包含的激光点的数量较大，为避免漏标注，提高激光点标注的全面性和完整性，本发明技术方案在构建三维场景之后，在该三维场景中构建照相机，通过调整该照相机在三维场景中的位置和方向来查看三维场景中的激光点，以确保标注人员能够在三维场景中360度查看激光点。因此，可在前述图1所示方法的步骤103之前或之后，或者在步骤104之前或之后，还包括步骤106，如图2所示在步骤104与步骤105之间还包括步骤106：

步骤106、在所述三维场景中构建至少一个照相机，以在所述三维场景中对所述激光点进行标注过程中通过调整所述照相机在三维场景中的位置和方向来调整查看三维场景中激光点云的视角和范围。

优选地，本发明实施例中，激光点云标注方法适用于浏览器上，该浏览器在接收到服务器发送的激光点云数据时，采用前述激光点云标注方式对接收到的激光点云进行标注，并将标注结果反馈给服务器。

优选地，为进一步提高标注人员确定对三维场景中激光点所属类型的准确性，本发明技术方案中，在三维场景中构建至少两个照相机，在相同时刻，各照相机所在的位置和方向不同，以便标注人员能够通过不同的视角查看激光点，提高判断激光点所属类型的准确性。

优选地，前述至少两个照相机可根据用户的选择进行切换，当用户选择其中一个照相机时，以被选中的照相机的位置和方向为用户呈现三维场景的相应视角和范围，未被选中的照相机以缩略图的方式呈现三维场景的相应视角和范围。如图3所示为一个照相机的示意图，图4为两个照相机的示意图。

在实际应用中，属于同一个目标物体的激光点数量较多且相对集中，若标注人员在确定出属于同一个目标物体的多个激光点时，若采取逐一标注的方式标注各激光点则速度较慢，因此，本发明技术方案为进一步提高激光点标注的速度，将相同类型的多个激光点通过一次或多次进行统一标注，前述步骤a1～步骤a2通过但不仅限于以下2种方式实现。

方式1、通过具有一定立体空间的三维选定框来选取需要进行统一标注的多个激光点，标注人员在三维空间中移动该三维选定框，在确定需要选定时将此时落入三维选定框中的激光点进行统一标注。具体可通过以下步骤b1～步骤b3来实现前述步骤a1：

步骤b1、根据用户设置的第一尺寸信息生成三维选定框。

用户(例如标注人员)可在预先设置的标注页面的相应输入框中输入三维选定框的尺寸，或者在输入框的下拉选项中选择三维选定框的尺寸，或者在预先设置的尺寸条中设置三维选定框的尺寸，具体实现方式多种多样，本申请不做严格限定。

步骤b2、根据用户输入的第一移动指令移动三维选定框在所述三维场景中的位置。

本发明实施例中，用户可通过移动鼠标或点击特定按键的方式移动三维选定框，根据用户对鼠标或特定按键的操作行为生成第一移动指令。在实际操作中，标注人员通过移动鼠标或点击特定按键将三维选定框移动到需要进行标注的激光点所在的位置，例如当停止移动鼠标(停止移动鼠标的时长超过设定时长阈值)、停止点击特定按键(如停止点击特定按键的时长超过设定的时长阈值)，则确认落入该三维选定框中的激光点即为需要标注的激光点(后续称为目标激光点)。

步骤b3、当接收到携带有目标类型的标注指令时，将当前落入三维选定框中的激光点作为目标激光点，并将所述标注指令中的目标类型作为所述目标激光点所属的类型。

本发明实施例中，标注人员在确定目标激光点之后，设置该目标激光点的类型，设置的方式如：在预先设置的标注页面上相应输入框中输入目标激光点所属的类型，或者在输入框的下拉选项中选取目标激光点所属的类型。在标注人员设置目标激光点所属类型之后点击提交，根据设置的类型(后续称为目标类型)生成标注指令。

优选地，本发明实施例中三维选定框的尺寸可由标注人员实时调整。

方式2、用户在屏幕上选定需要进行标注的激光点所在的位置(后续称为屏幕位置点)，根据照相机的位置和屏幕位置点确定需要标注的多个激光点(即目标激光点)，并对目标激光点进行统一标注。具体地可通过以下步骤c1～步骤c3实现前述步骤a1：

步骤c1、以照相机所在位置为起点、以用户选定的屏幕位置点为终点，生成射线。

当三维场景中设置有多个照相机时，步骤c1中的起点为当前被选中的照相机所在位置。

本发明实施例中，用户选定的屏幕位置点可以是用户通过鼠标在屏幕上进行点击的位置点，在实际操作中，标注人员在确定出三维场景中某部分比较集中的激光点为同一类型时，在该部分激光点所在位置处选定屏幕位置点。

步骤c2、将满足以下条件的激光点作为目标激光点：激光点与所述起点的距离位于预置的第一距离阈值和第二距离阈值之间，所述激光点到所述射线的垂直距离小于等于第三距离阈值。

其中，所述第一距离阈值和第二距离阈值、第三距离阈值可以根据实际需要灵活设置，一般情况下，屏幕位置点周边的属于同一类型的激光点构成的立体空间越大则该第一距离阈值、第二距离阈值和第三距离阈值的取值相对大。

步骤c3、当接收到携带有目标类型的标注指令时，将标注指令中的目标类型作为所述目标激光点所属的类型。

当用户选定屏幕位置点之后，可以在预先设置的标注页面上相应输入框中输入目标激光点所属类型，或者在输入框的下拉选项中选取目标激光点所属类型，在设置目标激光点所属类型之后点击提交，再根据设置的类型(即目标类型)生成标注指令。

前述步骤a2具体实现可通过但不仅限于以下方式实现：

方式1、对所属类型不同的激光点采用的颜色区分，具体实现为：所述标注指令中还包含所述目标类型对应的标注颜色，步骤a2将目标激光点的颜色设置为所述标注指令中的标注颜色，其中不同目标类型对应的标注颜色不同。例如，目标类型为车辆则其对应的标注颜色为深蓝色，目标类型为地面则其对应的标注颜色为黑色，目标类型为数目择期对应的标注颜色为绿色，本申请不做严格限定。

该方式1中，标注指令中的标注颜色为标注人员在设置目标激光点的类型时，还设置该类型对应的标注颜色，设置标注颜色的方式可参见设置类型的方式，在此不再赘述。

优选地，该方式1中，将所述目标激光点的颜色设置为所述标注指令中的标注颜色，可以将目标激光点的rgb值设置为所述标注颜色对应的rgb值，也可以通过画笔工具将目标激光点的颜色涂成标注颜色。若通过画笔工具将目标激光点的颜色涂成标注颜色，则前述目标激光点的颜色设置为所述标注指令中的标注颜色具体可通过以下步骤d1～步骤d2实现：

步骤d1、根据用户输入的第二尺寸信息，生成三维涂色框；

该三维涂色框具有一定的空间体积，所述三维涂色框即为画笔工具。

步骤d2、根据用户输入的第二移动指令，移动所述三维涂色框，以将移动过程中落入该三维涂色框中的目标激光点的颜色涂成所述标注指令中的标注颜色。

用户输入第二尺寸信息和第二移动指令的方式可参见前述用户输入第一尺寸信息和第一移动指令的方式，在此不再赘述。

优选地，为实现对目标激光点的颜色进行修改，本发明实施例中所述三维涂色框具有画笔功能和橡皮功能，当三维涂色框的属性设置为画笔功能时，通过该三维涂色框将激光点的颜色涂成该激光点所属类型对应的颜色；当三维涂色框的属性设置为橡皮功能时，通过该三维涂色框将需要修改颜色的激光点的颜色擦除。本发明实施例中，可预先设置有画笔按钮和橡皮按钮，当用户点击画笔按钮时将三维涂色框设置为画笔功能，点击橡皮按钮时将三维涂色框设置为橡皮功能。

因此，前述实现目标激光点的颜色设置为所述标注指令中的标注颜色的方法还包括步骤d3～步骤d4：

步骤d3、根据用户输入的擦除指令，将所述三维涂色框设置为橡皮擦属性；

步骤d4、根据用户输入的第三移动指令，移动所述三维涂色框，以将移动过程中落入该三维涂色框中的激光点的颜色擦除。

方式2、所述标注指令中还包含所述目标类型对应的标注框样式，步骤a2具体实现如下：根据所述标注框样式生成三维标注框，并采用该三维标注框分别标注各个目标激光点，其中不同目标类型对应的标注框样式不同。例如，目标类型为车辆则其对应的标注框样式为深蓝色边框的透明长方体，目标类型为行人则其对应的标注框样式为红色边框的透明长方体，本申请不做严格限定。其中，长方体的尺寸与目标激光点在三维场景中构成的几何空间的体积相关，体积越大则对应的长方体尺寸越大。

该方式2中，标注指令中的标注框样式为标注人员在设置目标激光点的类型时，还设置该类型对应的标注框样式，设置标注框样式的方式可参见设置类型的方式，在此不再赘述。

方式3、从预置的类型与标注颜色的对应关系中确定激光点所属类型对应的标注颜色，并将激光点的颜色设置为该激光点所属类型对应的标注颜色。

该方式3中，预先设置有各个类型与标注颜色的对应关系，当接收到标注指令时，从该对应关系中获取标注指令中目标类型对应的标注颜色。

方式4、从预置的类型与标注框样式的对应关系中确定激光点所属类型对应的标注框样式，并根据激光点所属类型对应的标注框样式生成标注框，并利用该标注框标注该激光点。

该方式4中，预先设置有各个类型与标注框样式的对应关系，当接收到标注指令时，从该对应关系中获取标注指令中目标类型对应的标注框样式。

以一个具体实例为例，在该实例中，在三维场景中设置有2个照相机，对于不同类型的标注结果采用不同的颜色区分，设置有三维涂色框，如图5所示，在标注界面设置有目标类型选项框、三维涂色框的尺寸条和功能选择按钮、第一距离阈值和第二距离阈值的设置框。

优选地，为提高激光点标注结果的传输效率和速度，本发明实施例中，接收到的激光点云中的激光点设置有序号，不同的激光点序号不同；当对三维场景中需要标注的激光点进行标注完成后，将该激光点的序号以及标注结果进行打包传输，由于传输数据中不包含激光点的坐标信息，因此在一定程度上降低了数据传输数量，提高数据传输效率。例如，当对激光点进行标注采用不同的颜色标注，则将激光点的序号及其标注颜色的色值打包传输。

实施例二

基于前述实施例一提供的激光点云标注方法相同的构思，本发明实施例二提供一种激光点云标注装置，该装置的结构如图6所示，包括：

接收单元61，用于接收激光点云数据；

构建单元62，用于构建三维场景，并建立与该三维场景对应的三维坐标系；

转换单元63，用于将激光点云中各激光点的坐标转换为所述三维坐标系中的三维坐标；

映射单元64，用于根据激光点的三维坐标将激光点放入到所述三维场景中；

标注单元65，用于在所述三维场景中对所述激光点进行标注。

优选地，所述构建单元62，具体用于：采用webgl技术构建三维场景。

本发明实施例中，构建单元62具体还可以通过osg(openscenegraph)或stk(satellitetoolkit)构建三维场景，构建三维场景的方式本申请不做严格限定。

优选地，为更好的区分不同类型的激光点标注结果，所述标注单元65针对不同类型的激光点采用不同的标注方式进行标注。所述标注单元65具体包括：

确定子单元，用于确定所述三维场景中激光点所属类型；

标注子单元，用于根据激光点所属类型对应的标注方式对所述激光点进行标注，不同类型对应不同的标注方式。

优选地，优选地，由于激光点云包含的激光点的数量较大，为避免漏标注，提高激光点标注的全面性和完整性，本发明技术方案在构建三维场景之后，在该三维场景中构建照相机，通过调整该照相机在三维场景中的位置和方向来查看三维场景中的激光点，以确保标注人员能够在三维场景中360度查看激光点，在前述图6所示的装置还包括照相机构建单元66，如图7所示：

照相机构建单元66，用于在所述三维场景中构建至少一个照相机，以在所述三维场景中对所述激光点进行标注过程中通过调整所述照相机在三维场景中的位置和方向来调整查看三维场景中激光点云的视角和范围。

优选地，为进一步提高标注人员确定对三维场景中激光点所属类型的准确性，本发明技术方案中，照相机构建单元66在三维场景中构建至少两个照相机，在相同时刻，各照相机所在的位置和方向不同，以便标注人员能够通过不同的视角查看激光点，提高判断激光点所属类型的准确性。

优选地，前述至少两个照相机可根据用户的选择进行切换，当用户选择其中一个照相机时，以被选中的照相机的位置和方向为用户呈现三维场景的相应视角和范围，未被选中的照相机以缩略图的方式呈现三维场景的相应视角和范围。

优选地，在实际应用中，属于同一个目标物体的激光点数量较多且相对集中，若标注人员在确定出属于同一个目标物体的多个激光点时，若采取逐一标注的方式标注各激光点则速度较慢，因此，本发明技术方案为进一步提高激光点标注的速度，所述确定子单元可将相同类型的多个激光点通过一次或多次进行统一标注，因此，所述确定子单元具体实现方式可通过以下两种方式实现。

方式1，所述确定子单元具体用于：根据用户设置的第一尺寸信息生成三维选定框；根据用户输入的第一移动指令移动三维选定框在所述三维场景中的位置；当接收到携带有目标类型的标注指令时，将当前落入三维选定框中的激光点作为目标激光点，并将所述标注指令中的目标类型作为所述目标激光点所属的类型。

优选地，本发明实施例中三维选定框的尺寸可由标注人员实时调整。

方式2，所述确定子单元，具体用于：以照相机所在位置为起点、以用户选定的屏幕位置点为终点，生成射线；将满足以下条件的激光点作为目标激光点：激光点与所述起点的距离位于预置的第一距离阈值和第二距离阈值之间，所述激光点到所述射线的垂直距离小于等于第三距离阈值；当接收到携带有目标类型的标注指令时，将标注指令中的目标类型作为所述目标激光点所属的类型。

其中，所述第一距离阈值和第二距离阈值、第三距离阈值可以根据实际需要灵活设置，一般情况下，屏幕位置点周边的属于同一类型的激光点构成的立体空间越大则该第一距离阈值、第二距离阈值和第三距离阈值的取值相对大。

优选地，所述标注指令中还包含所述目标类型对应的标注颜色，所述标注子单元，具体用于：将所述目标激光点的颜色设置为所述标注指令中的标注颜色，其中不同目标类型对应的标注颜色不同；

或者，所述标注指令中还包含所述目标类型对应的标注框样式，所述标注子单元具体用于：根据所述标注框样式生成三维标注框，并采用该三维标注框分别标注各个目标激光点，其中不同目标类型对应的标注框样式不同。

优选地，所述标注子单元将所述目标激光点的颜色设置为所述标注指令中的标注颜色，具体用于：

根据用户输入的第二尺寸信息，生成三维涂色框；

根据用户输入的第二移动指令，移动所述三维涂色框，以将移动过程中落入该三维涂色框中的目标激光点的颜色涂成所述标注指令中的标注颜色。

优选地，为实现对目标激光点的颜色进行修改，本发明实施例中所述三维涂色框具有画笔功能和橡皮功能，当三维涂色框的属性设置为画笔功能时，通过该三维涂色框将激光点的颜色涂成该激光点所属类型对应的颜色；当三维涂色框的属性设置为橡皮功能时，通过该三维涂色框将需要修改颜色的激光点的颜色擦除。本发明实施例中，可预先设置有画笔按钮和橡皮按钮，当用户点击画笔按钮时将三维涂色框设置为画笔功能，点击橡皮按钮时将三维涂色框设置为橡皮功能。所述标注子单元进一步用于：根据用户输入的擦除指令，将所述三维涂色框设置为橡皮擦属性；根据用户输入的第三移动指令，移动所述三维涂色框，以将移动过程中落入该三维涂色框中的激光点的颜色擦除。

优选地，所述标注子单元，具体用于：从预置的类型与标注颜色的对应关系中确定激光点所属类型对应的标注颜色，并将激光点的颜色设置为该激光点所属类型对应的标注颜色；或者，从预置的类型与标注框样式的对应关系中确定激光点所属类型对应的标注框样式，并根据激光点所属类型对应的标注框样式生成标注框，并利用该标注框标注该激光点。

优选地，本发明实施例中，激光点云标注装置可设置在浏览器上，该浏览器在接收到服务器发送的激光点云数据时，通过所述激光点云标注装置对接收到的激光点云进行标注，并将标注结果反馈给服务器。

以上是本发明的核心思想，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。