点云的标注方法及装置、车辆与流程

1.本技术涉及自动驾驶的技术领域，具体而言，涉及一种点云的标注方法及装置、车辆。


背景技术：

2.深度学习模型是指把图像或者视频作为数据输入，并且预测或者返回预先学习的知识和标签。深度学习模型可以用于对象识别，动态分析，轨迹分析，对象追踪，行为预测，且在计算机视觉，自动驾驶领域中有广泛应用。另外，深度学习模型利用复杂多层的神经网络模拟人脑神经网络，在极短的时间里作出复杂，且对精准度要求极高的决策。因此，模型的训练集的质量显得尤为重要。
3.而且，模型的训练集的内容此处特指为出现在自动驾驶场景中的目标，通常包括道路(中心线、车道线，路面材质等)、交通元素(交通灯与交通标志牌)、交通参与者(机动车、非机动车与行人)、道路周边元素(包括路灯、车站、垃圾箱、绿化带、建筑物)等。
4.相关技术中，在构建模型训练集时，最常用的手段是利用采集到的点云数据，通过图形绘制的工具，将标注框绘制到所观察到的对象的外侧。具体为，首先采集点云、地理坐标信息，将点云绘制在以地理坐标信息为基础的画板上。最后按预先规定好的格式将类别，标注框的长，宽，高，x，y，z，坐标点导出。
5.目前，国内外大多数标注供应商采用相关技术中的以单独加载点云的标注工具，但是，由于点云的模糊场景的特性，采用这种实现方式会出现目标轮廓观察不精确，目标被遗漏的现象，也即，会导致标注的精准度较低。
6.针对相关技术中在点云上进行标注时，标注的精准度较低的问题，目前尚未提出存在效的解决方案。


技术实现要素：

7.本技术的主要目的在于提供一种点云的标注方法及装置、车辆，以解决相关技术中在点云上进行标注时，标注的精准度较低的问题。
8.为了实现上述目的，根据本技术的一个方面，提供了一种点云的标注方法。该方法包括：获取目标点云、所述目标点云中的多个初始标注框和目标图像，其中，所述目标点云为通过目标测量设备得到的点数据的集合，所述目标点云中的多个初始标注框用于标注所述目标点云中的目标内容，所述目标图像为所述目标点云对应的图像；将所述目标点云中的多个初始标注框投影至所述目标图像；依据所述目标图像中的多个初始标注框，对所述目标点云中的多个初始标注框进行处理，以得到所述目标点云中的多个目标标注框。
9.进一步地，在将所述目标点云中的多个初始标注框投影至所述目标图像之前，所述方法还包括：确定目标转换矩阵；依据所述目标转换矩阵和每个初始标注框在所述目标点云中的坐标，计算所述每个初始标注框在所述目标图像中的坐标；依据所述每个初始标注框在所述目标图像中的坐标，在所述目标图像中生成多个初始标注框。
10.进一步地，在确定目标转换矩阵之前，所述方法还包括：获取第一距离信息、第二距离信息、摄像设备的内部参数信息和外部参数信息，其中，所述摄像设备用于拍摄所述目标图像，所述第一距离信息用于表示所述目标测量设备与目标对象之间的距离，所述第二距离信息用于表示所述目标测量设备与所述摄像设备中的摄像头之间的距离；依据所述第一距离信息、所述第二距离信息、所述内部参数信息和所述外部参数信息，确定所述目标转换矩阵。
11.进一步地，依据所述目标图像中的多个初始标注框，对所述目标点云中的多个初始标注框进行处理，以得到所述目标点云中的多个目标标注框包括：依据所述目标图像中的多个初始标注框，调整所述多个初始标注框的大小和/或调整所述多个初始标注框的位置，得到多个调整后的初始标注框；将所述多个调整后的初始标注框作为所述多个目标标注框。
12.进一步地，在获取目标点云和目标图像之后，所述方法还包括：对所述目标点云中的坐标系、所述目标图像中的坐标系、所述多个初始标注框的绘制模块和所述多个初始标注框的控制模块都进行初始化处理。
13.进一步地，在获取目标图像之前，所述方法还包括：确定所述目标点云的生成时间和原始图像的生成时间，其中，所述原始图像为生成所述目标图像之前的图像；若所述目标点云的生成时间和所述原始图像的生成时间之间的差值小于预设时间值，则将所述原始图像作为所述目标图像。
14.进一步地，在得到所述目标点云中的多个目标标注框之后，所述方法还包括：获取所述多个目标标注框的属性信息，其中，所述属性信息至少包括：每个目标标注框的名称信息和大小信息；对所述多个目标标注框的属性信息进行打包，得到目标文件；对所述目标文件进行压缩，得到压缩后的目标文件，并保存所述压缩后的目标文件。
15.进一步地，在得到所述目标点云中的多个目标标注框之后，所述方法还包括：依据所述多个目标标注框中的数据，生成训练集；采用所述训练集，对所述目标对象对应的深度学习模型进行学习训练。
16.为了实现上述目的，根据本技术的另一方面，提供了一种点云的标注装置。该装置包括：第一获取单元，用于获取目标点云、所述目标点云中的多个初始标注框和目标图像，其中，所述目标点云为通过目标测量设备得到的点数据的集合，所述目标点云中的多个初始标注框用于标注所述目标点云中的目标内容，所述目标图像为所述目标点云对应的图像；第一投影单元，用于将所述目标点云中的多个初始标注框投影至所述目标图像；第一处理单元，用于依据所述目标图像中的多个初始标注框，对所述目标点云中的多个初始标注框进行处理，以得到所述目标点云中的多个目标标注框。
17.进一步地，所述装置还包括：第一确定单元，用于在将所述目标点云中的多个初始标注框投影至所述目标图像之前，确定目标转换矩阵；第一计算单元，用于依据所述目标转换矩阵和每个初始标注框在所述目标点云中的坐标，计算所述每个初始标注框在所述目标图像中的坐标；第一生成单元，用于依据所述每个初始标注框在所述目标图像中的坐标，在所述目标图像中生成多个初始标注框。
18.进一步地，所述装置还包括：第二获取单元，用于在确定目标转换矩阵之前，获取第一距离信息、第二距离信息、摄像设备的内部参数信息和外部参数信息，其中，所述摄像
设备用于拍摄所述目标图像，所述第一距离信息用于表示所述目标测量设备与目标对象之间的距离，所述第二距离信息用于表示所述目标测量设备与所述摄像设备中的摄像头之间的距离；第二确定单元，用于依据所述第一距离信息、所述第二距离信息、所述内部参数信息和所述外部参数信息，确定所述目标转换矩阵。
19.进一步地，所述第一处理单元包括：第一调整模块，用于依据所述目标图像中的多个初始标注框，调整所述多个初始标注框的大小和/或调整所述多个初始标注框的位置，得到多个调整后的初始标注框；第一处理模块，用于将所述多个调整后的初始标注框作为所述多个目标标注框。
20.进一步地，所述装置还包括：第一初始化单元，用于在获取目标点云和目标图像之后，对所述目标点云中的坐标系、所述目标图像中的坐标系、所述多个初始标注框的绘制模块和所述多个初始标注框的控制模块都进行初始化处理。
21.进一步地，所述装置还包括：第三确定单元，用于在获取目标图像之前，确定所述目标点云的生成时间和原始图像的生成时间，其中，所述原始图像为生成所述目标图像之前的图像；第二处理单元，用于若所述目标点云的生成时间和所述原始图像的生成时间之间的差值小于预设时间值，则将所述原始图像作为所述目标图像。
22.进一步地，所述装置还包括：第三获取单元，用于在得到所述目标点云中的多个目标标注框之后，获取所述多个目标标注框的属性信息，其中，所述属性信息至少包括：每个目标标注框的名称信息和大小信息；第一打包单元，用于对所述多个目标标注框的属性信息进行打包，得到目标文件；第三处理单元，用于对所述目标文件进行压缩，得到压缩后的目标文件，并保存所述压缩后的目标文件。
23.进一步地，所述装置还包括：第二生成单元，用于在得到所述目标点云中的多个目标标注框之后，依据所述多个目标标注框中的数据，生成训练集；第一训练单元，用于采用所述训练集，对所述目标对象对应的深度学习模型进行学习训练。
24.为了实现上述目的，根据本技术的另一方面，提供了一种车辆，所述车辆在自动驾驶时应用上述的任意一项所述的点云的标注方法。
25.通过本技术，采用以下步骤：获取目标点云、目标点云中的多个初始标注框和目标图像，其中，目标点云为通过目标测量设备得到的点数据的集合，目标点云中的多个初始标注框用于标注目标点云中的目标内容，目标图像为目标点云对应的图像；将目标点云中的多个初始标注框投影至目标图像；依据目标图像中的多个初始标注框，对目标点云中的多个初始标注框进行处理，以得到目标点云中的多个目标标注框，解决了相关技术中在点云上进行标注时，标注的精准度较低的问题。通过将点云中的初始标注框投影至点云所对应的图像中，并依据图像中的初始标注框，对点云中的初始标注框进行处理，可以得到点云中的最终的标注框，从而在点云上进行标注时，可以提升标注的精准度。
附图说明
26.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
27.图1是根据本技术实施例提供的点云的标注方法的流程图；
28.图2是根据本技术实施例提供的可选的点云的标注方法的流程图；
29.图3是根据本技术实施例提供的点云的标注装置的示意图。
具体实施方式
30.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
31.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没存在做出创造性劳动前提下所获得的所存在其他实施例，都应当属于本技术保护的范围。
32.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例。此外，术语“包括”和“具存在”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没存在清楚地列出的或对于这些过程、方法、产品或设备固存在的其它步骤或单元。
33.下面结合优选的实施步骤对本发明进行说明，图1是根据本技术实施例提供的点云的标注方法的流程图，如图1所示，该方法包括如下步骤：
34.步骤s101，获取目标点云、目标点云中的多个初始标注框和目标图像，其中，目标点云为通过目标测量设备得到的点数据的集合，目标点云中的多个初始标注框用于标注目标点云中的目标内容，目标图像为目标点云对应的图像。
35.例如，上述的目标测量设备可以为雷达设备。所以，上述的目标点云可以为通过雷达设备得到的点数据的集合。上述的目标点云中的多个初始标注框可以为在点云中标注感兴趣，或者重点关注的内容的框。而且，上述的目标图像可以为上述的初始标注框所在的点云对应的图像。
36.步骤s102，将目标点云中的多个初始标注框投影至目标图像。
37.例如，将点云中的初始标注框投影到点云所对应的图像上。
38.步骤s103，依据目标图像中的多个初始标注框，对目标点云中的多个初始标注框进行处理，以得到目标点云中的多个目标标注框。
39.例如，查看投影到图像上的初始标注框与图像上需要进行标注的内容是否对齐，如果没有对齐，则调整初始标注框的位置，直到将所有标注框都放置在正确的位置，最后将调整后的，即对齐的标注框作为点云中的最终的标注框。
40.通过上述的步骤s101至s103，通过将点云中的初始标注框投影至点云所对应的图像中，并依据图像中的初始标注框，对点云中的初始标注框进行处理，可以得到点云中的最终的标注框，从而在点云上进行标注时，可以提升标注的精准度。
41.为了提升点云标注的精准度，在本技术实施例提供的点云的标注方法中，还可以通过以下步骤提升点云标注的精准度：对目标点云中的坐标系、目标图像中的坐标系、多个初始标注框的绘制模块和多个初始标注框的控制模块都进行初始化处理。
42.例如，在对点云进行标注之前，首先进入初始化阶段，且初始化阶段包括：(1)初始
化坐标系，且采用右手坐标系，即下载点云和图片，并将下载的点云和图片加载到相应的位置，然后分别对点云和图片的坐标系进行初始化；(2)初始化用于绘制标注框的模块，具体方式可以为将绘制事件与鼠标时间绑定；(3)初始化用于控制标注框的模块，具体方式可以为将键盘快捷键与控制事件绑定。
43.综上所述，通过对坐标系、标注框的绘制模块和标注框的控制模块进行初始化处理，在后续对点云进行标注时，可以提升点云标注的精准度。
44.为了快速准确的获取目标图像，在本技术实施例提供的点云的标注方法中，还可以通过以下步骤获取目标图像：确定目标点云的生成时间和原始图像的生成时间，其中，原始图像为生成目标图像之前的图像；若目标点云的生成时间和原始图像的生成时间之间的差值小于预设时间值，则将原始图像作为目标图像。
45.例如，上述的预设时间值可以为50ms。所以，最终获取到的图像的生成时间和点云的生成时间之间的时间差需小于50ms。
46.通过上述的方案，可以快速准确的获取到点云对应的图像数据。
47.为了快速准确的获取转换矩阵，在本技术实施例提供的点云的标注方法中，还可以通过以下步骤获取转换矩阵：获取第一距离信息、第二距离信息、摄像设备的内部参数信息和外部参数信息，其中，摄像设备用于拍摄目标图像，第一距离信息用于表示目标测量设备与目标对象之间的距离，第二距离信息用于表示目标测量设备与摄像设备中的摄像头之间的距离；依据第一距离信息、第二距离信息、内部参数信息和外部参数信息，确定目标转换矩阵。
48.例如，上述的目标测量设备可以为雷达设备，上述的摄像设备可以为相机，上述的目标对象表示待通过深度学习模型进行处理(处理方式可以为对目标对象进行分析处理或识别处理等)的对象，且可以为车辆或者机器人等。
49.当目标对象为车辆时，首先获取雷达设备相对于主车的标定信息(可以为雷达设备与主车之间的距离)、摄像头对于雷达的标定信息(可以为相机的摄像头与雷达设备之间的距离)、相机的内参和外参。然后根据上述的标定信息、相机的内外参，计算出雷达设备与相机之间的转换矩阵(p＝rk)，其中，“p”表示转换矩阵，“r”表示相机的内参，“k”表示相机的外参。
50.通过上述的方案，可以快速准确的计算出雷达设备与相机之间的转换矩阵。
51.为了快速准确的将目标点云中的多个初始标注框投影至目标图像，在本技术实施例提供的点云的标注方法中，还可以通过以下步骤将目标点云中的多个初始标注框投影至目标图像：确定目标转换矩阵；依据目标转换矩阵和每个初始标注框在目标点云中的坐标，计算每个初始标注框在目标图像中的坐标；依据每个初始标注框在目标图像中的坐标，在目标图像中生成多个初始标注框。
52.例如，将标注员绘制在点云画板上的坐标通过转换矩阵(p)，进行计算(『x，y，z』p)在图像中八个点的位置，然后在图像中根据八个点的位置绘制出标注盒子(标注框)。其中，“x，y，z”表示标注框的坐标值。
53.综上所述，通过依据计算得到的转换矩阵，可以快速准确的将点云中的标注框投影到点云所对应的图像中。
54.为了获取点云中的多个目标标注框，在本技术实施例提供的点云的标注方法中，
还可以通过以下步骤获取点云中的多个目标标注框：依据目标图像中的多个初始标注框，调整多个初始标注框的大小和/或调整多个初始标注框的位置，得到多个调整后的初始标注框；将多个调整后的初始标注框作为多个目标标注框。
55.例如，投影函数根据标注员反复的调试标注盒子，可以调整图像上的标注盒子的位置或者调整图像上的标注盒子的大小，并将调整后的标注盒子作为点云中的最终的标注盒子。
56.综上所述，通过对初始标注框进行调整，在点云中可以得到精准度较高的标注框，即提升了点云标注的精准度。
57.为了便于后续查询使用多个目标标注框，在本技术实施例提供的点云的标注方法中，还可以通过以下步骤对目标标注框的属性信息进行压缩及打包：获取多个目标标注框的属性信息，其中，属性信息至少包括：每个目标标注框的名称信息和大小信息；对多个目标标注框的属性信息进行打包，得到目标文件；对目标文件进行压缩，得到压缩后的目标文件，并保存压缩后的目标文件。
58.例如，当所有标注盒子都被放置在了正确位置，并对标注盒子的属性信息进行打包，例如对标注盒子的名称和大小等属性信息进行打包。并将打包后的标注盒子的属性信息的文件进行压缩处理，然后标注员启动保存模块，保存此压缩包。后续如果需要用这些标注盒子的属性信息，则直接将此压缩包下载到本地即可。
59.通过上述的方案，可以对标注框的属性信息进行追溯，从而在后续查询使用这些标注框时，可以快速的查找到并进行使用。
60.为了对目标对象对应的深度学习模型进行学习训练，在本技术实施例提供的点云的标注方法中，还可以通过以下步骤对目标对象对应的深度学习模型进行学习训练：依据多个目标标注框中的数据，生成训练集；采用训练集，对目标对象对应的深度学习模型进行学习训练。
61.例如，根据最终调整好的点云中的标注盒子中的数据，生成训练集，然后利用生成的训练集，对车辆或者机器人对应的深度模型进行学习训练，以得到训练后的深度学习模型。比如，在车辆的自动驾驶场景中，可以将在点云中标注的一些目标进行组合，从而生成训练集。上述的目标可以为道路(中心线、车道线，路面材质等)、交通元素(交通灯与交通标志牌)、交通参与者(机动车、非机动车与行人)、道路周边元素(包括路灯、车站、垃圾箱、绿化带、建筑物)等。然后采用生成的训练集，对识别这些目标的深度学习模型进行训练，从而可以得到识别度更准确的深度学习模型来识别自动驾驶场景中的障碍物、车道线等。
62.通过上述的方案，可以准确的得到训练集，从而可以采用训练集准确的对深度学习模型进行训练，进而可以提升通过深度学习模型得到的处理结果的准确性。
63.例如，可选的点云的标注方法的流程图，如图2所示，可选的点云的标注方法包括如下步骤：下载点云、图片和之前已经标注好的标注盒子，并对点云和图片的坐标系进行初始化处理，并加载(渲染)点云、图片和标注盒子；下载相机的内参和外参，并计算出投影矩阵；对标注盒子的控制模块和绘制模块进行初始化处理；以上的初始化完成后，等待用户开始标注；然后创建标注盒子对象；并将创建好的标注盒子对象投影到图片中；然后在图片中查看标注盒子是否与图片中感兴趣的内容对齐；如果对齐，则完成标注；如果没有对齐，则修改和/或调整标注盒子对象；在完成标注后，对标注盒子文件进行压缩；然后保存或者下
载压缩后的标注盒子文件。
64.具体地，可以分为以下五个步骤：
65.步骤1，安装create-react项目构建工具，并引入threejs(一种用于画图的程序)，zip.js(一种用于打包盒压缩文件的程序)，dat.gui(一种用于调整标注框的位置的程序)等第三方依赖。从github(一种网站名称)上下载react(一种用于管理标注框的位置的代码)库文件拷贝至工程目录下。例如，可以在工程目录下，新建node_modules(文件名称)文件夹专门用于存放第三方依赖的相关内容。
66.步骤2，使用npm(一种编译工具)安装工具，将整个应用进行编译到本地。
67.步骤3，使用dat.gui定义一些全局变量，作为标注盒子的参数配置。例如，创建滚动条，以便标注员调整标注盒子的长，宽，高、创建差值模式的选项卡，并连接差值模块的函数到前端用户接口、创建保存压缩文件选项卡，以使标注员保存标注文件到本地。
68.步骤4，根据用户界面的模板，上传相机的内参，外参，本应用会保存计算出的投影矩阵。
69.步骤5，保存本地或者上传标注，即在标注盒子编辑完毕后，用户可以选择保存到本地或者上传到云端。
70.因此，通过点云和图像对比，提高标注的精准度以及退回率。另外，本产品编程十余个键盘的快捷键供进阶标注员使用，包括对图片的切换，提供差值标注，即在数据为连续的场景时，标注员利用差值模式，自动计算出标注盒子在首帧与尾帧之间的所有帧的位置，并细微地移动标注盒子的坐标，还可以进行视角的切换等，从而提高了点云标注的效率。
71.综上，本技术实施例提供的点云的标注方法，通过获取目标点云、目标点云中的多个初始标注框和目标图像，其中，目标点云为通过目标测量设备得到的点数据的集合，目标点云中的多个初始标注框用于标注目标点云中的目标内容，目标图像为目标点云对应的图像；将目标点云中的多个初始标注框投影至目标图像；依据目标图像中的多个初始标注框，对目标点云中的多个初始标注框进行处理，以得到目标点云中的多个目标标注框，解决了相关技术中在点云上进行标注时，标注的精准度较低的问题。通过将点云中的初始标注框投影至点云所对应的图像中，并依据图像中的初始标注框，对点云中的初始标注框进行处理，可以得到点云中的最终的标注框，从而在点云上进行标注时，可以提升标注的精准度。
72.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
73.本技术实施例还提供了一种点云的标注装置，需要说明的是，本技术实施例的点云的标注装置可以用于执行本技术实施例所提供的用于点云的标注方法。以下对本技术实施例提供的点云的标注装置进行介绍。
74.图3是根据本技术实施例的点云的标注装置的示意图。如图3所示，该装置包括：第一获取单元301、第一投影单元302和第一处理单元303。
75.具体地，第一获取单元301，用于获取目标点云、目标点云中的多个初始标注框和目标图像，其中，目标点云为通过目标测量设备得到的点数据的集合，目标点云中的多个初始标注框用于标注目标点云中的目标内容，目标图像为目标点云对应的图像；
76.第一投影单元302，用于将目标点云中的多个初始标注框投影至目标图像；
77.第一处理单元303，用于依据目标图像中的多个初始标注框，对目标点云中的多个初始标注框进行处理，以得到目标点云中的多个目标标注框。
78.综上，本技术实施例提供的点云的标注装置，通过第一获取单元301获取目标点云、目标点云中的多个初始标注框和目标图像，其中，目标点云为通过目标测量设备得到的点数据的集合，目标点云中的多个初始标注框用于标注目标点云中的目标内容，目标图像为目标点云对应的图像；第一投影单元302将目标点云中的多个初始标注框投影至目标图像；第一处理单元303依据目标图像中的多个初始标注框，对目标点云中的多个初始标注框进行处理，以得到目标点云中的多个目标标注框，解决了相关技术中在点云上进行标注时，标注的精准度较低的问题，通过将点云中的初始标注框投影至点云所对应的图像中，并依据图像中的初始标注框，对点云中的初始标注框进行处理，可以得到点云中的最终的标注框，从而在点云上进行标注时，可以提升标注的精准度。
79.可选地，在本技术实施例提供的点云的标注装置中，该装置还包括：第一确定单元，用于在将目标点云中的多个初始标注框投影至目标图像之前，确定目标转换矩阵；第一计算单元，用于依据目标转换矩阵和每个初始标注框在目标点云中的坐标，计算每个初始标注框在目标图像中的坐标；第一生成单元，用于依据每个初始标注框在目标图像中的坐标，在目标图像中生成多个初始标注框。
80.可选地，在本技术实施例提供的点云的标注装置中，该装置还包括：第二获取单元，用于在确定目标转换矩阵之前，获取第一距离信息、第二距离信息、摄像设备的内部参数信息和外部参数信息，其中，摄像设备用于拍摄目标图像，第一距离信息用于表示目标测量设备与目标对象之间的距离，第二距离信息用于表示目标测量设备与摄像设备中的摄像头之间的距离；第二确定单元，用于依据第一距离信息、第二距离信息、内部参数信息和外部参数信息，确定目标转换矩阵。
81.可选地，在本技术实施例提供的点云的标注装置中，第一处理单元包括：第一调整模块，用于依据目标图像中的多个初始标注框，调整多个初始标注框的大小和/或调整多个初始标注框的位置，得到多个调整后的初始标注框；第一处理模块，用于将多个调整后的初始标注框作为多个目标标注框。
82.可选地，在本技术实施例提供的点云的标注装置中，该装置还包括：第一初始化单元，用于在获取目标点云和目标图像之后，对目标点云中的坐标系、目标图像中的坐标系、多个初始标注框的绘制模块和多个初始标注框的控制模块都进行初始化处理。
83.可选地，在本技术实施例提供的点云的标注装置中，该装置还包括：第三确定单元，用于在获取目标图像之前，确定目标点云的生成时间和原始图像的生成时间，其中，原始图像为生成目标图像之前的图像；第二处理单元，用于若目标点云的生成时间和原始图像的生成时间之间的差值小于预设时间值，则将原始图像作为目标图像。
84.可选地，在本技术实施例提供的点云的标注装置中，该装置还包括：第三获取单元，用于在得到目标点云中的多个目标标注框之后，获取多个目标标注框的属性信息，其中，属性信息至少包括：每个目标标注框的名称信息和大小信息；第一打包单元，用于对多个目标标注框的属性信息进行打包，得到目标文件；第三处理单元，用于对目标文件进行压缩，得到压缩后的目标文件，并保存压缩后的目标文件。
85.可选地，在本技术实施例提供的点云的标注装置中，该装置还包括：第二生成单
元，用于在得到目标点云中的多个目标标注框之后，依据多个目标标注框中的数据，生成训练集；第一训练单元，用于采用训练集，对目标对象对应的深度学习模型进行学习训练。
86.例如，点云的标注工具的核心包括三部分，即图片标注模块、点云标注模块、应用统筹模块。图片标注模块的作用是图像编辑显示，计算并绘制图像上的标注框，将标注框分别投影至相应的摄像头图像，制作带有投影的标注框和图像的图片元素，对图像元素进行缩放，对标注进行文字绑定(设置每个标注框的名称)，达到作为点云标注框的参照的目的。点云标注模块的作用包括创造摄像机(创建函数)，可视化点云文件，构建轨道摄影机，并与鼠标键盘的动作绑定以达到对点云场景全方位可视；定位，构建激光对象(射线)，通过鼠标点击的数据构建激光对象，对鼠标在点云中的位置定位；绘制标注框，通过鼠标在点云中的真实位置，绘制标注框；构建编辑器，编辑器通过读取点云语境中的标注框尺寸，以及用户的输入，对标注框进行微调。应用统筹模块的作用包括对数据内容进行操作，提供人机交互接口，以及axios(一种用于发送网络请求的代码)网络框架，对数据内容进行变更，保存，回溯；将点云标注模块和图像标注模块进行桥接，数据互换，并在更新点云标注的时候，通知图片标注模块；对投影矩阵，数据集信息通过axios网络框架进行读取保存和更换。
87.另外，点云的标注工具采用javascript语言开发，支持静态网页，服务器端渲染，以事件为驱动的nodejs(一种用于发送网络请求的程序，从axios网络框架中提取得到的)后端，使用解析度速快。另外，效率高、支持多种语言的protobuf数据(压缩数据)协议，可以在本地进行轻量化标注。由threejs(一种用于画图的程序)负责所有模块的绘制以及投影，例如interpolate模块(一种用于自动推算标注框位置的代码)，projector模块(一种用于投影的模块)，raphael模块(一种用于画图的模块)，raycaster模块(一种用于画射线的模块)，raycaster模块的作用是根据鼠标点击的起始位置，角度发出的一条射线和点云面板穿过的点生成一个交集，取到第一个点，记录鼠标的行程，记录到鼠标松开的位置，取到射线和点云面板穿过的交集的第一个点，这两个点，以及鼠标行程会交给raphael模块，通过webgl(一种用于渲染云的程序)的接口绘制出点云的标注框，随后，会由应用统筹模块将成功绘制的标注框通知给图片标注模块，标注模块进行对投影矩阵的读取，以及点云标注和投影矩阵的计算，得到图像标注信息，图像标注信息再被交给raphael，对图像以及标注框进行绘制和整合。因此，在此基础上，通过对点云和图像的绘制，进行融合标注，以达到提高精准度的目地。
88.点云的标注装置包括处理器和存储器，上述第一获取单元301、第一投影单元302和第一处理单元303等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
89.处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来提升点云标注的精准度。
90.存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)，存储器包括至少一个存储芯片。
91.本发明实施例提供了一种车辆，所述车辆在自动驾驶时应用上述的任意一项所述的点云的标注方法。
92.本发明实施例提供了一种电子设备，设备包括处理器、存储器及存储在存储器上
并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取目标点云、所述目标点云中的多个初始标注框和目标图像，其中，所述目标点云为通过目标测量设备得到的点数据的集合，所述目标点云中的多个初始标注框用于标注所述目标点云中的目标内容，所述目标图像为所述目标点云对应的图像；将所述目标点云中的多个初始标注框投影至所述目标图像；依据所述目标图像中的多个初始标注框，对所述目标点云中的多个初始标注框进行处理，以得到所述目标点云中的多个目标标注框。
93.处理器执行程序时还实现以下步骤：在将所述目标点云中的多个初始标注框投影至所述目标图像之前，所述方法还包括：确定目标转换矩阵；依据所述目标转换矩阵和每个初始标注框在所述目标点云中的坐标，计算所述每个初始标注框在所述目标图像中的坐标；依据所述每个初始标注框在所述目标图像中的坐标，在所述目标图像中生成多个初始标注框。
94.处理器执行程序时还实现以下步骤：在确定目标转换矩阵之前，所述方法还包括：获取第一距离信息、第二距离信息、摄像设备的内部参数信息和外部参数信息，其中，所述摄像设备用于拍摄所述目标图像，所述第一距离信息用于表示所述目标测量设备与目标对象之间的距离，所述第二距离信息用于表示所述目标测量设备与所述摄像设备中的摄像头之间的距离；依据所述第一距离信息、所述第二距离信息、所述内部参数信息和所述外部参数信息，确定所述目标转换矩阵。
95.处理器执行程序时还实现以下步骤：依据所述目标图像中的多个初始标注框，对所述目标点云中的多个初始标注框进行处理，以得到所述目标点云中的多个目标标注框包括：依据所述目标图像中的多个初始标注框，调整所述多个初始标注框的大小和/或调整所述多个初始标注框的位置，得到多个调整后的初始标注框；将所述多个调整后的初始标注框作为所述多个目标标注框。
96.处理器执行程序时还实现以下步骤：在获取目标点云和目标图像之后，所述方法还包括：对所述目标点云中的坐标系、所述目标图像中的坐标系、所述多个初始标注框的绘制模块和所述多个初始标注框的控制模块都进行初始化处理。
97.处理器执行程序时还实现以下步骤：在获取目标图像之前，所述方法还包括：确定所述目标点云的生成时间和原始图像的生成时间，其中，所述原始图像为生成所述目标图像之前的图像；若所述目标点云的生成时间和所述原始图像的生成时间之间的差值小于预设时间值，则将所述原始图像作为所述目标图像。
98.处理器执行程序时还实现以下步骤：在得到所述目标点云中的多个目标标注框之后，所述方法还包括：获取所述多个目标标注框的属性信息，其中，所述属性信息至少包括：每个目标标注框的名称信息和大小信息；对所述多个目标标注框的属性信息进行打包，得到目标文件；对所述目标文件进行压缩，得到压缩后的目标文件，并保存所述压缩后的目标文件。
99.处理器执行程序时还实现以下步骤：在得到所述目标点云中的多个目标标注框之后，所述方法还包括：依据所述多个目标标注框中的数据，生成训练集；采用所述训练集，对所述目标对象对应的深度学习模型进行学习训练。
100.本文中的设备可以是服务器、pc、pad、手机等。
101.本技术还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初
始化存在如下方法步骤的程序：获取目标点云、所述目标点云中的多个初始标注框和目标图像，其中，所述目标点云为通过目标测量设备得到的点数据的集合，所述目标点云中的多个初始标注框用于标注所述目标点云中的目标内容，所述目标图像为所述目标点云对应的图像；将所述目标点云中的多个初始标注框投影至所述目标图像；依据所述目标图像中的多个初始标注框，对所述目标点云中的多个初始标注框进行处理，以得到所述目标点云中的多个目标标注框。
102.当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：在将所述目标点云中的多个初始标注框投影至所述目标图像之前，所述方法还包括：确定目标转换矩阵；依据所述目标转换矩阵和每个初始标注框在所述目标点云中的坐标，计算所述每个初始标注框在所述目标图像中的坐标；依据所述每个初始标注框在所述目标图像中的坐标，在所述目标图像中生成多个初始标注框。
103.当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：在确定目标转换矩阵之前，所述方法还包括：获取第一距离信息、第二距离信息、摄像设备的内部参数信息和外部参数信息，其中，所述摄像设备用于拍摄所述目标图像，所述第一距离信息用于表示所述目标测量设备与目标对象之间的距离，所述第二距离信息用于表示所述目标测量设备与所述摄像设备中的摄像头之间的距离；依据所述第一距离信息、所述第二距离信息、所述内部参数信息和所述外部参数信息，确定所述目标转换矩阵。
104.当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：依据所述目标图像中的多个初始标注框，对所述目标点云中的多个初始标注框进行处理，以得到所述目标点云中的多个目标标注框包括：依据所述目标图像中的多个初始标注框，调整所述多个初始标注框的大小和/或调整所述多个初始标注框的位置，得到多个调整后的初始标注框；将所述多个调整后的初始标注框作为所述多个目标标注框。
105.当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：在获取目标点云和目标图像之后，所述方法还包括：对所述目标点云中的坐标系、所述目标图像中的坐标系、所述多个初始标注框的绘制模块和所述多个初始标注框的控制模块都进行初始化处理。
106.当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：在获取目标图像之前，所述方法还包括：确定所述目标点云的生成时间和原始图像的生成时间，其中，所述原始图像为生成所述目标图像之前的图像；若所述目标点云的生成时间和所述原始图像的生成时间之间的差值小于预设时间值，则将所述原始图像作为所述目标图像。
107.当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：在得到所述目标点云中的多个目标标注框之后，所述方法还包括：获取所述多个目标标注框的属性信息，其中，所述属性信息至少包括：每个目标标注框的名称信息和大小信息；对所述多个目标标注框的属性信息进行打包，得到目标文件；对所述目标文件进行压缩，得到压缩后的目标文件，并保存所述压缩后的目标文件。
108.当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：在得到所述目标点云中的多个目标标注框之后，所述方法还包括：依据所述多个目标标注框中的数据，生成训练集；采用所述训练集，对所述目标对象对应的深度学习模型进行学习训练。
109.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序
产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含存在计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
110.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
111.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
112.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
113.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
114.存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。存储器是计算机可读介质的示例。
115.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
116.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没存在明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固存在的要素。在没存在更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
117.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含存在计算机可用程序代码的计算机可用
存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
118.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以存在各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。