交通灯标注方法、装置、计算机设备和存储介质与流程

1.本技术涉及自动驾驶领域，特别是涉及一种交通灯标注的方法、装置、计算机设备和存储介质。


背景技术：

2.自动驾驶高度依赖于语义地图，语义地图中具有道路、交通标志、车道线、交通灯等交通元素信息，用于控制车辆的转向、速度、路径规划等。
3.传统技术中，基于激光雷达等设备采集的三维点云标注语义地图中的交通灯，由于激光雷达等设备的采集角度问题或者障碍物阻挡的问题，经常出现交通灯标注缺失和错误的情况。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够提高交通灯标注精确度的交通灯标注方法、装置、计算机设备和计算机可读存储介质。
5.第一方面，本技术提供了一种交通灯标注方法。所述方法包括：
6.获取目标路段中的多帧三维点云和多帧图像中目标交通灯的二维包围框；每一帧所述图像的采集时刻分别与一帧所述三维点云的采集时刻相同；
7.将每一帧所述三维点云投影到与所述三维点云同一采集时刻对应的所述二维包围框所在的平面，对投影到各个所述二维包围框中的二维点对应的三维点进行聚类处理，得到三维点子集合；
8.计算任意两个所述二维包围框对应的位姿点之间的物理距离，基于所述物理距离符合预设条件的目标二维包围框组合对应的中心点，得到参考三维点；所述位姿点表征相机拍摄图像时的位置，所述图像用于提取所述二维包围框；
9.计算各个所述三维点子集合与所述参考三维点之间的间隔距离，基于所述间隔距离确定目标三维点子集合，采用所述目标三维点子集合中的目标点标注目标交通灯。
10.在一个实施例中，所述计算任意两个所述二维包围框对应的位姿点之间的物理距离，基于所述物理距离符合预设条件的目标二维包围框组合对应的中心点，得到参考三维点包括：
11.获取各个所述二维包围框对应的位姿点；
12.计算任意两个所述位姿点之间的物理距离，将符合预设条件的所述物理距离对应的两个二维包围框作为目标二维包围框组合；
13.基于所述物理距离确定所述目标二维包围框组合对应的权值，所述权值与所述物理距离成正比关系；
14.基于各个所述目标二维包围框组合对应的权值，以及所述目标二维包围框组合中两个目标二维包围框对应的中心点，计算得到参考三维点。
15.在一个实施例中，所述基于各个所述目标二维包围框组合对应的权值，以及所述
目标二维包围框组合中两个目标二维包围框对应的中心点，得到参考三维点包括：
16.基于所述目标二维包围框组合中两个目标二维包围框的中心坐标和对应的位姿点，得到两个所述目标二维包围框分别对应的中心点；
17.基于两个所述中心点，计算得到所述目标二维包围框组合对应的第一参考点；
18.统计各个所述目标二维包围框组合对应的第一参考点与权值，得到参考三维点。
19.在一个实施例中，所述计算各个所述三维点子集合与所述参考三维点之间的间隔距离，基于所述间隔距离确定目标三维点子集合包括：
20.对所述三维点子集合进行平面拟合，得到候选三维点子集合；
21.计算所述候选三维点子集合中候选三维点对应的子集合中心点；
22.计算各个所述子集合中心点与所述参考三维点之间的间隔距离，确定最小的间隔距离对应的候选三维点子集合为目标三维点子集合。
23.在一个实施例中，所述交通灯标注方法还包括：
24.若投影到各个所述二维包围框中的二维点对应的三维点经过聚类处理，得到一个三维点子集合，则基于所述三维点子集合中的目标点标注目标交通灯。
25.在一个实施例中，所述交通灯标注方法还包括：
26.若各个所述二维包围框中不存在投影的二维点，则计算任意两个所述二维包围框之间的物理距离，基于所述物理距离符合预设条件的目标二维包围框组合对应的中心点，得到参考三维点；
27.采用所述参考三维点标注目标交通灯。
28.第二方面，本技术还提供了一种交通灯标注装置。所述装置包括：
29.获取模块，用于获取目标路段中的多帧三维点云和多帧图像中目标交通灯的二维包围框；每一帧所述图像的采集时刻分别与一帧所述三维点云的采集时刻相同；
30.分割模块，用于将每一帧所述三维点云投影到与所述三维点云同一采集时刻对应的所述二维包围框所在的平面，对投影到各个所述二维包围框中的二维点对应的三维点进行聚类处理，得到三维点子集合；
31.计算模块，用于计算任意两个所述二维包围框对应的位姿点之间的物理距离，基于所述物理距离符合预设条件的目标二维包围框组合对应的中心点计算得到参考三维点；所述位姿点表征相机拍摄图像时的位置，所述图像用于提取所述二维包围框；
32.标注模块，用于计算各个所述三维点子集合与所述参考三维点之间的间隔距离，基于所述间隔距离确定目标三维点子集合，采用所述目标三维点子集合中的目标点标注目标交通灯。
33.第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
34.获取目标路段中的多帧三维点云和多帧图像中目标交通灯的二维包围框；每一帧所述图像的采集时刻分别与一帧所述三维点云的采集时刻相同；
35.将每一帧所述三维点云投影到与所述三维点云同一采集时刻对应的所述二维包围框所在的平面，对投影到各个所述二维包围框中的二维点对应的三维点进行聚类处理，得到三维点子集合；
36.计算任意两个所述二维包围框对应的位姿点之间的物理距离，基于所述物理距离
符合预设条件的目标二维包围框组合对应的中心点，得到参考三维点；所述位姿点表征相机拍摄图像时的位置，所述图像用于提取所述二维包围框；
37.计算各个所述三维点子集合与所述参考三维点之间的间隔距离，基于所述间隔距离确定目标三维点子集合，采用所述目标三维点子集合中的目标点标注目标交通灯。
38.第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
39.获取目标路段中的多帧三维点云和多帧图像中目标交通灯的二维包围框；每一帧所述图像的采集时刻分别与一帧所述三维点云的采集时刻相同；
40.将每一帧所述三维点云投影到与所述三维点云同一采集时刻对应的所述二维包围框所在的平面，对投影到各个所述二维包围框中的二维点对应的三维点进行聚类处理，得到三维点子集合；
41.计算任意两个所述二维包围框对应的位姿点之间的物理距离，基于所述物理距离符合预设条件的目标二维包围框组合对应的中心点，得到参考三维点；所述位姿点表征相机拍摄图像时的位置，所述图像用于提取所述二维包围框；
42.计算各个所述三维点子集合与所述参考三维点之间的间隔距离，基于所述间隔距离确定目标三维点子集合，采用所述目标三维点子集合中的目标点标注目标交通灯。
43.上述交通灯标注方法、装置、计算机设备和存储介质，获取目标路段中的多帧三维点云和多帧图像中目标交通灯的二维包围框，针对同一采集时刻的三维点云和图像对应的二维包围框，将三维点云投影到二维包围框所在的平面，对投影到各个二维包围框中的二维点对应的三维点进行聚类处理，将具有相同属性的三维点划分成为三维点子集合，计算任意两个二维包围框对应的位姿点之间的物理距离，判断物理距离是否符合预设条件，如果物理距离符合预设条件，则将物理距离对应的两个二维包围框作为目标二维包围框组合，使用目标二维包围框组合对应的中心点计算参考三维点，计算三维点子集合与参考三维点之间的间隔距离，根据间隔距离从三维点子集合中确定目标三维点子集合，基于目标三维点子集合中的目标点标注目标交通灯。通过对三维点进行聚类处理，将具有相同属性的三维点划分成三维点子集合，每个三维点子集合具有自己的特性，便于后续选择代表目标交通灯的目标三维点子集合，提高了目标三位点子集合确定的效率和精确度，通过计算各个三维点子集合与参考三维点之间的间隔距离，根据间隔距离选择出代表目标交通灯的目标三维点子集合，提高了目标三维点子集合的准确性，根据目标三维点子集合中的目标点标注目标交通灯，提高了目标交通灯标注的精确度。
附图说明
44.图1为一个实施例中交通灯标注方法的应用环境图；
45.图2为一个实施例中交通灯标注方法的流程示意图；
46.图3为一个实施例中参考三维点确定步骤的流程示意图；
47.图4为另一个实施例中参考三维点确定步骤的流程示意图；
48.图5为另一个实施例中交通灯标注方法的流程示意图；
49.图6为一个实施例中交通灯标注装置的结构框图；
50.图7为一个实施例中计算机设备的内部结构图。
具体实施方式
51.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
52.本技术实施例提供的交通灯标注方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端和服务器均可单独用于执行本技术实施例中提供的交通灯标注方法。终端和服务器也可协同用于执行本技术实施例中提供的交通灯标注方法。例如，终端102将交通灯标注请求发送给服务器104，服务器104接收交通灯标注请求，获取目标路段中的多帧三维点云和多帧图像中目标交通灯的二维包围框，针对同一采集时刻的三维点云和图像对应的二维包围框，将三维点云投影到二维包围框所在的平面，对投影到各个二维包围框中的二维点对应的三维点进行聚类处理，将具有相同属性的三维点划分成为三维点子集合，计算任意两个二维包围框对应的位姿点之间的物理距离，判断物理距离是否符合预设条件，如果物理距离符合预设条件，则将物理距离对应的两个二维包围框作为目标二维包围框组合，使用目标二维包围框组合对应的中心点计算参考三维点，计算三维点子集合与参考三维点之间的间隔距离，根据间隔距离从三维点子集合中确定目标三维点子集合，基于目标三维点子集合中的目标点标注目标交通灯。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑以及车端所部署的计算装置等中的至少一种。。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
53.在一个实施例中，如图2所示，提供了一种交通灯标注方法，该方法可应用于计算机设备，计算机设备可以是终端或服务器，由终端或服务器自身单独执行，也可以通过终端和服务器之间的交互来实现。本实施例以该方法应用于计算机设备为例进行说明，包括以下步骤：
54.步骤202，获取目标路段中的多帧三维点云和多帧图像中目标交通灯的二维包围框；每一帧图像的采集时刻分别与一帧三维点云的采集时刻相同。
55.其中，三维点云是指3d(three-dimensional，三维空间)工程中依据测量仪器对目标物体进行数据采集，得到目标物体表面特性的海量点集合。点云中每个点包含x、y、z几何坐标、强度值、分类值等信息。可以理解为，点云是一个包含多个点的集合，每个点具有对应的坐标、强度值和分类值等信息。三维点云可以通过车载激光雷达获取，也可以从云端服务器获取。交通灯是指指挥交通通行的信号灯，可以分为指挥机动车的机动车交通灯，通常由红、黄、绿三种颜色的灯组成，和指挥行人的人行横道交通灯，通常由红、绿二种颜色的灯组成。二维包围框是指用于代表图片中目标交通灯的二维点组成的包围框。二维包围框可以由目标交通灯四个顶点对应的二维坐标点表示，也可以由组成目标交通灯轮廓的多个二维坐标点表示。可以理解为，二维包围框是多个二维坐标点组成的集合。
56.具体的，计算机设备获取目标路段中的多帧三维点云和多帧图像，每一帧三维点云的采集时间与其中一张图像的采集时间相同，提取每一张图像中目标交通灯的二维包围框。
57.在一个实施例中，计算机设备获取在目标路段拍摄的多帧图像，给图像中的每一
个交通灯赋予标识，对不同图像中的相同交通灯赋予相同的标识，例如，一帧图像中具有两个交通灯，其中一个交通灯的标识为1号交通灯，另外一个交通灯的标识为2号交通灯，其他图像中的1号交通灯对应的标识也为1号交通灯，从目标路段拍摄的多帧图像中选择具有1号交通灯的目标图像，从多张目标图像中分别提取代表1号交通灯的二维包围框。
58.在一个实施例中，计算机设备根据目标路段交通灯的高度设置激光雷达传感器的俯仰角，在目标路段中采集到的每帧三维点云中不包含路面三维点。
59.步骤204，将每一帧三维点云投影到与三维点云同一采集时刻对应的二维包围框所在的平面，对投影到各个二维包围框中的二维点对应的三维点进行聚类处理，得到三维点子集合。
60.其中，投影是指投射对象通过点或其他物体向选定的投影面投射，并在该投影面上得到投射对象对应投影的方法。投影可分为正投影和斜投影，正投影是指投射线垂直于投影面的投影，斜投影是指投射线不垂直于投影面的投影。聚类处理是指将按照某个特定标准把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。聚类处理可以使用聚类方法进行聚类处理，比如统计学模型方法、神经网络模型方法、点聚类算法等。聚类处理也可以使用pcl(point cloud library，是在吸收了点云相关研究基础上建立起来的大型跨平台开源c++编程库，实现了大量点云相关的通用算法和高效数据结构，涉及到点云获取、滤波、分割、配准、检索、特征提取、识别、追踪、曲面重建、可视化等，支持多种操作系统平台)分割，比如平面模型分割、欧几里得簇提取、区域增长细分等等。
61.具体的，计算机设备针对同一采集时刻的三维点云和图像对应的二维包围框，将三维点云投影到二维包围框所在的平面，再获取投影到各个二维包围框中的二维点所对应的三维点，对获取的三维点进行聚类处理，得到多个三维点子集合。
62.在一个实施例中，计算机设备首先求解二维包围框所在平面的法线，然后将同一采集时刻的三维点云按照法线的方向投影到二维包围框所在平面，得到三维点云中三维点对应的二维点，判断二维点是否在二维包围框中，获取二维包围框中二维点对应的三维点，对获取的三维点进行聚类处理，得到多个三维点子集合。
63.步骤206，计算任意两个二维包围框对应的位姿点之间的物理距离，基于物理距离符合预设条件的目标二维包围框组合对应的中心点，得到参考三维点；所述位姿点表征相机拍摄图像时的位置，所述图像用于提取所述二维包围框。
64.其中，位姿点是指具有位置信息和姿态信息的点。可以理解为，代表相机在拍摄图像时的位置信息和朝向信息的点。位置信息可以用坐标表示，姿态信息可以用角度表示。物理距离是指两个对象之间的直线距离。可以根据代表对象位置的二维坐标点、三维坐标点等等进行计算。
65.具体的，计算机设备先计算任意两个二维包围框对应的位姿点之间的物理距离，再判断物理距离是否符合预设条件，如果物理距离符合预设条件，则将物理距离对应的任意两个二维包围框作为目标二维包围框组合，根据目标二维包围框组合对应的中心点计算得到三维参考点。
66.在一个实施例中，计算机设备根据二维包围框的四个顶点坐标计算得到二维包围框的中心点坐标，计算二维包围框的中心点坐标与另外一个二维包围框的中心点坐标之间
的直线距离，将直线距离作为上述两个二维包围框之间的物理距离。
67.步骤208，计算各个三维点子集合与参考三维点之间的间隔距离，基于间隔距离确定目标三维点子集合，采用目标三维点子集合中的目标点标注目标交通灯。
68.具体的，计算机设备先计算每一个三维点子集合与参考三维点之间的间隔距离，再对所有的间隔距离进行比较，根据比较的结果从三维点子集合中确定目标三维点子集合，根据三维点子集合中的目标点标注交通灯。
69.上述交通灯标注方法中，获取目标路段中的多帧三维点云和多帧图像中目标交通灯的二维包围框，针对同一采集时刻的三维点云和图像对应的二维包围框，将三维点云投影到二维包围框所在的平面，对投影到各个二维包围框中的二维点对应的三维点进行聚类处理，将具有相同属性的三维点划分成为三维点子集合，计算任意两个二维包围框对应的位姿点之间的物理距离，判断物理距离是否符合预设条件，如果物理距离符合预设条件，则将物理距离对应的两个二维包围框作为目标二维包围框组合，使用目标二维包围框组合对应的中心点计算参考三维点，计算三维点子集合与参考三维点之间的间隔距离，根据间隔距离从三维点子集合中确定目标三维点子集合，基于目标三维点子集合中的目标点标注目标交通灯。通过对三维点进行聚类处理，将具有相同属性的三维点划分成三维点子集合，每个三维点子集合具有自己的特性，便于后续选择代表目标交通灯的目标三维点子集合，提高了目标三位点子集合确定的效率和精确度，通过计算各个三维点子集合与参考三维点之间的间隔距离，根据间隔距离选择出代表目标交通灯的目标三维点子集合，提高了目标三维点子集合的准确性，根据目标三维点子集合中的目标点标注目标交通灯，提高了目标交通灯标注的精确度。
70.在一个实施例中，如图3所示，计算任意两个二维包围框之间的物理距离，基于物理距离符合预设条件的目标二维包围框组合的中心点计算得到参考三维点包括：
71.步骤302，获取各个二维包围框对应的位姿点。
72.具体的，计算机设备获取每帧图像的位姿点，将每帧图像的位姿点作为图像对应的二维包围框的位姿点。
73.步骤304，计算任意两个位姿点之间的物理距离，将符合预设条件的物理距离对应的两个二维包围框作为目标二维包围框组合。
74.其中，预设条件是指预先设定的判定条件。预设条件可以为条件阈值或者取值区间。例如，预设条件为物理距离大于等于10米并且小于等于20米。
75.具体的，计算机设备先从所有的代表目标交通灯的二维包围框中任意选取两个二维包围框，计算两个二维包围框对应的位姿点之间的物理距离，再将物理距离与预设条件进行比较，如果物理距离符合预设条件，则将物理距离的对应的两个二维包围框作为目标二维包围框组合，经过多次计算和比较得到多对目标二维包围框组合。
76.步骤306，基于物理距离确定目标二维包围框组合对应的权值，权值与物理距离成正比关系。
77.其中，权值是指求加权平均数中的每个数对应的频数，也可以称为权数或权重。权值与物理距离成正比关系，即物理距离越大，对应的权值越大。
78.具体的，计算机设备根据物理距离的大小确定目标二维包围框对应的权值的大小，物理距离越大，对应的权值越大。
79.在一个实施例中，目标二维包围框对应的权值，由目标二维包围框对应的物理距离在所有目标二维包围框对应的物理距离之和中所占的比例确定。例如，有三个目标二维包围框，每个二维包围框的物理距离为a、b、c，则三个二维包围框对应的权值为a/(a+b+c)、b/(a+b+c)、c/(a+b+c)，三个权值之和为1。
80.步骤308，基于各个目标二维包围框组合对应的权值，以及目标二维包围框组合中两个目标二维包围框对应的中心点，计算得到参考三维点。
81.具体的，计算机设备根据每个目标二维包围框组合对应的权值，以及目标二维包围框中两个目标二维包围框对应的中心点，计算得到一个参考三维点。
82.在本实施例中，将拍摄图像时相机的位姿点作为二维包围框对应的位姿点，计算两个二维包围框对应的位姿点之间的物理距离，将物理距离与预设条件进行比较，将符合预设条件的物理距离对应的两个二维包围框作为目标二维包围框组合，通过上述的物理距离的计算和比较过程，提高了确定目标二维包围框的精确度。根据物理距离的大小确定目标二维包围框对应的权值的大小，由于物理距离越远，通过目标二维包围框组合对应的中心点计算得到的参与参考三维点计算的三维点的准确度越高，准确度越高的三维点对应的权值越大，提高了参考三维点的精确度。
83.在一个实施例中，如图4所示，基于各个目标二维包围框组合对应的权值，以及目标二维包围框组合中两个目标二维包围框对应的中心点，计算得到参考三维点包括：
84.步骤402，基于目标二维包围框组合中两个目标二维包围框的中心坐标和对应的位姿点，得到两个目标二维包围框分别对应的中心点。
85.其中，中心坐标是指目标二维包围框的中心点坐标。中心坐标与组成二维包围框的二维点位于相同的平面。例如，二维包围框在x轴和y轴组成的平面中，二维包围框为四边形，四个顶点的坐标分别为(x1,y1)、(x2,y2)、(x3,y3)(x4,y4)，则中心点的位置坐标为((x
1+
x
2+
x
3+
x4)/4，(y
1+y2+y3+
y4)/4)。方向角是指目标二维包围框的中心点与参考三维点之间的直线，与目标二维包围框组合的两个中心点之间直线的夹角。中心点是包含中心坐标和方向角的点。方向角可以根据二维包围框对应的位姿点的姿态信息计算得到。
86.具体的，计算机设备将每一个目标二维包围框的中心坐标作为该目标二维包围框的中心点的中心坐标，根据每一个目标二维包围框对应位姿点的姿态信息，确定目标二维包围框的中心点的方向角，得到两个目标二维包围框分别对应的中心点。
87.步骤404，基于两个中心点，计算得到目标二维包围框组合对应的第一参考点。
88.其中，第一参考点是指根据目标二维包围框组合对应的两个中心点恢复的一个三维点。第一参考点可以根据三角测量等等方法计算得到。
89.具体的，计算机设备根据目标二维包围框组合对应的两个中心点的中心坐标和方向角，计算得到目标二维包围框对应的第一参考点。
90.步骤406，统计各个目标二维包围框组合对应的第一参考点与权值，得到参考三维点。
91.具体的，计算机设备先将每个目标二维包围框组合对应的第一参考点与权值进行相乘，再对各个目标二维包围框组合对应的相乘结果进行求和，将求和的结果为参考三维点。
92.在本实施例中，首先计算目标二维包围框组合中两个目标二维包围框分别对应的
中心点，在根据两个中心点恢复出目标二维包围框组合的第一参考点，将各个目标二维包围框组合对应的第一参考点与权值进行相乘，对相乘的结果进行求和，得到参考三维点。通过目标二维包围框组合对应的中心点计算得到第一参考点，将第一参考点与对应权值的乘积之和作为参考三维点，第一参考点的准确度越高，对应的权值越大，从而提高了精确度高的第一参考点在计算参考三维点中的占比，提高了参考三维点的精确度。
93.在一个实施例中，计算各个三维点子集合与参考三维点之间的间隔距离，基于间隔距离确定目标三维点子集合包括：
94.对三维点子集合进行平面拟合，得到候选三维点子集合；计算候选三维点子集合中候选三维点对应的子集合中心点；计算各个子集合中心点与参考三维点之间的间隔距离，确定最小的间隔距离对应的候选三维点子集合为目标三维点子集合。
95.其中，平面拟合是指将空间中的离散点通过优化拟合到一个平面的过程。空间平面拟合的方法具有多种，可以根据实际情况选取。空间平面方程是指表示空间中平面的表达式。可以理解为，经过空间平面拟合后的离散点所在空间平面的表达式。例如，三维空间的空间平面表达试为ax+by+cz+d＝0，其中a、b、c、d为空间平面表达式的参数。
96.具体的，计算机设备对三维点子集合进行平面拟合得到空间平面表达式，利用空间平面表达式求解得到三维点子集合对应候选三维点子集合，求解各个候选三维点子集合对应的子集合中心点，计算子集合中心点与参考三维点之间的间隔距离，将各个候选三维点子集合对应的间隔距离进行比较，确定最小的间隔距离对应的候选三维点子集合为目标三维点子集合。
97.在一个实施例中，计算机设备对三维点子集合进行平面拟合得到空间平面表达式，将满足空间平面表达式的三维点作为候选三维点，各个候选三维点组成候选三维点子集合，对候选三维点子集合中各个三维点相加后求平均，得到三维点子集合对应的子集合中心点。
98.在一个实施例中，计算机设备对三维点子集合进行平面拟合得到空间平面表达式，将满足空间平面表达式的三维点作为第一候选三维点，各个第一候选三维点赋予相同的第一权值，将不满足空间平面表达式的三维点，利用空间平面表达式求解得到满足空间平面表达式的第二候选三维点，各个第二候选三维点赋予相同的第二权值，第一候选三维点与第二候选三维点组成候选三维点子集合，且第一权值大于第二权值，各个候选三维点的权值之和为1，将候选三维点子集合中各个三维点与对应的权值相乘后求和，得到三维点子集合对应的子集合中心点。
99.在本实施例中，对三维点子集进行平面拟合得到候选三维点子集合，通过对三维点子集合进行平面拟合，消除三维点子集合中一个或者多个三维点由于采集导致的误差，提高三维点子集合中三维点的精确度。求解各个候选三维点子集合对应的子集合中心点，计算子集合中心点与参考三维点之间的间隔距离，通过间隔距离的比较，确定与参考三维点之间距离最小的候选三维点子集合为目标三维点子集合，与参考三维点之间的间隔距离越小，说明候选三维点子集合为目标三维点子集合的可能性越大，根据目标三维点子集合标注目标交通灯，提高目标交通灯标注的准确性。
100.在一个实施例中，交通灯标注的方法还包括：
101.若投影到各个二维包围框中的二维点对应的三维点经过聚类处理，得到一个三维
点子集合，则采用三维点子集合中的目标点标注目标交通灯。
102.具体的，计算机设备获取投影到各个二维包围框中的二维点，然后对二维点对应的三维点进行聚类处理，如果聚类处理之后仅得到一个三维点子集合，则根据得到的三维点子集合中的目标点标注目标交通灯。
103.在一个实施例中，计算机设备获取投影到二维包围框中的二维点对应的三维点，对三维点进行聚类处理之后仅得到一个三维点子集合，计算三维点子集合与参考三维点之间的间隔距离，将间隔距离与间隔阈值进行比较，如果间隔距离大于或者等于间隔阈值，则采用参考三维点构标注通灯，如果间隔距离小于间隔阈值，则采用三维点子集合中的目标点标注目标交通灯。
104.在本实施例中，如果投影到二维包围框中的二维点对应的三维点，经过聚类处理之后仅得到一个三维点子集合，则根据三维点子集合中的目标点标注目标交通灯，提高交通灯标注的效率。
105.在一个实施例中，交通灯标注的方法还包括：
106.若各个二维包围框中不存在投影的二维点，则计算任意两个二维包围框之间的物理距离，基于物理距离符合预设条件的目标二维包围框组合对应的中心点，得到参考三维点；采用参考三维点标注目标交通灯。
107.具体的，计算机设备若果没有获取到投影到各个二围包围框中的二维点，则计算任意两个二维包围框之间的物理距离，判断物理距离是否符合预设条件，将物理距离符合预设条件的任意两个二维包围框作为目标二维包围框组合，根据目标二维包围框组合对应的中心点计算得到三维参考点，采用参考三维点标注目标交通灯。
108.在本实施例中，由于各个二维包围框中不存在投影的二维点，但是存在二维包围框，说明三维点云中存在漏采集的情况，通过三维参考点标注目标交通灯，避免了交通灯标注的缺失，提高了交通灯标注的准确性。
109.在一个具体的实施例中，交通灯标注的方法如图5所示：
110.获取目标路段中的多帧三维点云和多帧图像中目标交通灯的二维包围框，建立每个二维包围框所在平面的法线，针对同一采集时刻的三维点云和图像对应的二维包围框，将三维点云按照对应法线的方向投影到二维包围框所在的平面，如果二维包围框具有投影的二维点，则获取二维点对应的三维点，对三维点进行聚类处理，如果聚类处理仅得到一个三维点云子集合，则从该三维点云中选择出目标点，基于目标点标注目标交通灯；如果聚类处理得到多个三维点云子集合，则对多个三维点云子集合进行平面分割滤波，如果平面分割滤波之后只剩下一个三维点云子集合，则从该三维点云中选择出目标点，基于目标点标注目标交通灯；如果平面分割滤波之后仍然具有多个三维点云子集合，则进行视觉辅助标注交通灯。
111.视觉辅助标注交通灯的方法如下所述，获取各个二维包框对应的位姿点，计算两个二维包围框对应的位姿点之间的物理距离，将物理距离与预设条件进行比对，如果物理距离符合预设条件，则将物理距离对应的两个二维包围框作为目标二维包围框组合，根据物理距离确定目标二维包围框组合对应的权值，对目标二维包围框组合对应的两个中心点采用三角测量算法计算得到第一参考点，将各个目标二维包围框组合对应的第一参考点与权值进行相乘，对相乘的结果进行求和，得到参考三维点。
112.对三维点子集合进行平面拟合得到空间平面表达式，利用空间平面表达式求解得到三维点子集合对应候选三维点子集合，求解各个候选三维点子集合对应的子集合中心点，计算子集合中心点与参考三维点之间的间隔距离，将各个候选三维点子集合对应的间隔距离进行比较，确定最小的间隔距离对应的候选三维点子集合为目标三维点子集合，从目标三维点子集合中选择目标点，根据三目标点标注交通灯。
113.在本实施例中，获取目标路段中的多帧三维点云和多帧图像中目标交通灯的二维包围框，针对同一采集时刻的三维点云和图像对应的二维包围框，将三维点云投影到二维包围框所在的平面，对投影到各个二维包围框中的二维点对应的三维点进行聚类处理，将具有相同属性的三维点划分成为三维点子集合，计算任意两个二维包围框对应的位姿点之间的物理距离，判断物理距离是否符合预设条件，如果物理距离符合预设条件，则将物理距离对应的两个二维包围框作为目标二维包围框组合，使用目标二维包围框组合对应的中心点计算参考三维点，计算三维点子集合与参考三维点之间的间隔距离，根据间隔距离从三维点子集合中确定目标三维点子集合，基于目标三维点子集合中的目标点标注目标交通灯。通过对三维点进行聚类处理，将具有相同属性的三维点划分成三维点子集合，每个三维点子集合具有自己的特性，便于后续选择代表目标交通灯的目标三维点子集合，提高了目标三位点子集合确定的效率和精确度，通过计算各个三维点子集合与参考三维点之间的间隔距离，根据间隔距离选择出代表目标交通灯的目标三维点子集合，提高了目标三维点子集合的准确性，根据目标三维点子集合中的目标点标注目标交通灯，提高了目标交通灯标注的精确度。
114.应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
115.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的交通灯标注方法的交通灯标注装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个交通灯标注装置实施例中的具体限定可以参见上文中对于交通灯标注方法的限定，在此不再赘述。
116.在一个实施例中，如图6所示，提供了一种交通灯标注装置，包括获取模块、分割模块、计算模块、标注模块，其中：
117.获取模块602，用于获取目标路段中的多帧三维点云和多帧图像中目标交通灯的二维包围框；每一帧图像的采集时刻分别与一帧三维点云的采集时刻相同；
118.分割模块604，用于将每一帧三维点云投影到与三维点云同一采集时刻对应的二维包围框所在的平面，对投影到各个二维包围框中的二维点对应的三维点进行聚类处理，得到三维点子集合；
119.计算模块606，用于计算任意两个二维包围框对应的位姿点之间的物理距离，基于物理距离符合预设条件的目标二维包围框组合对应的中心点，得到参考三维点；位姿点表
征相机拍摄图像时的位置，图像用于提取二维包围框；
120.标注模块608，用于计算各个三维点子集合与参考三维点之间的间隔距离，基于间隔距离确定目标三维点子集合，采用目标三维点子集合中的目标点标注目标交通灯。
121.在一个实施例中，计算模块606还用于：获取各个二维包围框对应的位姿点；计算任意两个位姿点之间的物理距离，将符合预设条件的物理距离对应的两个二维包围框作为目标二维包围框组合；基于物理距离确定目标二维包围框组合对应的权值，权值与物理距离成正比关系；基于各个目标二维包围框组合对应的权值，以及目标二维包围框组合中两个目标二维包围框对应的中心点，计算得到参考三维点。
122.在一个实施例中，计算模块606还用于：基于目标二维包围框组合中两个目标二维包围框的中心坐标和对应的位姿点，得到两个目标二维包围框分别对应的中心点；基于两个中心点，计算得到目标二维包围框组合对应的第一参考点；统计各个目标二维包围框组合对应的第一参考点与权值，得到参考三维点。
123.在一个实施例中，分割模块604还用于：对三维点子集合进行平面拟合，得到候选三维点子集合；计算候选三维点子集合中候选三维点对应的子集合中心点；计算各个子集合中心点与参考三维点之间的间隔距离，确定最小的间隔距离对应的候选三维点子集合为目标三维点子集合。
124.在一个实施例中，标注模块608还用于：若投影到各个二维包围框中的二维点对应的三维点经过聚类处理，得到一个三维点子集合，则基于三维点子集合中的目标点标注目标交通灯。
125.在一个实施例中，标注模块608还用于：若各个二维包围框中不存在投影的二维点，则计算任意两个二维包围框之间的物理距离，基于物理距离符合预设条件的目标二维包围框组合对应的中心点，得到参考三维点；采用参考三维点标注目标交通灯。
126.上述交通灯标注装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
127.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种交通灯标注方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
128.本领域技术人员可以理解，图7中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
129.在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储
有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
130.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
131.在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
132.需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
133.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
134.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
135.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。