技术特征：
1.一种自动在点云地图上标注红绿灯的系统，其特征在于：包括数据采集模块、点云地图生成模块、红绿灯定位模块；数据采集模块用于数据采集模块用于在车辆通过路口时，采集路口的环境信息和车辆行驶信息；环境信息包括图片信息和激光点云信息；数据采集模块包括摄像头、激光雷达和组合导航单元；所述摄像头用于采集图片信息，激光雷达用于采集激光点云信息，组合导航单元用于采集车辆行驶信息；点云地图生成模块根据数据采集模块采集到的集路口的环境信息和车辆行驶信息；得到包括了路口环境的高精度的点云地图；红绿灯定位模块包括红绿灯在图片中的位置识别子模块、红绿灯位置坐标转换子模块、激光雷达到摄像头的外参矩阵修正子模块；其中，红绿灯在图片中的位置识别子模块通过图片信息识别出每张图片中亮绿灯的红绿灯位置；红绿灯位置坐标转换子模块将亮绿灯的红绿灯位置转后到高精度的点云地图上的位置；激光雷达到摄像头的外参矩阵修正子模块根据红绿灯位置坐标转换子模块得到的亮绿灯的红绿灯在高精度的点云地图上的位置判断是否需要修正激光雷达到摄像头的外参矩阵；如果不需要修正，则将当前得到的亮绿灯的红绿灯在高精度的点云地图上的位置和指示通行方向进行标注；如果需要修正；则对激光雷达到摄像头的外参矩阵进行修正，修正后重复红绿灯位置坐标转换子模块和激光雷达到摄像头的外参矩阵修正子模块的工作，直到不需要修正激光雷达到摄像头的外参矩阵。2.根据权利要求1所述的自动在点云地图上标注红绿灯的系统，其特征在于：数据采集模块中还包括同步信号发生器；所述同步信号发生器用于同步摄像头、激光雷达和组合导航单元的采集时刻。3.根据权利要求1所述的自动在点云地图上标注红绿灯的系统，其特征在于：激光雷达为固态激光雷达；安装在车辆前挡风玻璃上端；摄像头为800万像素，设置在车辆前挡风玻璃内。4.根据权利要求1所述的自动在点云地图上标注红绿灯的系统，其特征在于：所述点云地图生成模块根据数据采集模块采集到的信息结合点云注册方法，得到包括了路口环境的高精度的点云地图。5.一种基于权利要求1所述的自动在点云地图上标注红绿灯的系统的自动在点云地图上标注红绿灯的方法，其特征在于：包括以下步骤：步骤1：车辆通过路口时，数据采集模块开始采集数据：得到车辆通过路口时间段内的车辆位姿序列position_queue_rtk、z轴角速度序列angle_rate_queue_rtk、点云序列pointcloud_queue_lidar和彩色图片序列image_queue_camera；步骤2：将位姿序列position_queue_rtk中对应采集时刻的3d位姿作为初始位置，结合点云注册方法依次对点云序列pointcloud_queue_lidar中相邻的点云帧进行拼接，得到包含红绿灯的路口环境的高精度的点云地图pointcloud_map_lidar和按照采集时刻排序的相邻点云帧的位姿变化矩阵序列matrix_odometry_lidar；步骤3：依次对彩色图片序列image_queue_camera中每一张彩色图片运行红绿灯识别
算法，将识别出的所有红绿灯的位置组成红绿灯位置序列boundingbox_camera；步骤4：在红绿灯位置序列boundingbox_camera中筛选出亮绿灯的红绿灯的位置，得到了亮绿灯的红绿灯的位置序列boundingbox_camera_green；步骤5：将步骤4中得到的亮绿灯的红绿灯的位置序列boundingbox_camera_green中每一个红绿灯的位置坐标值由图片像素坐标系转换到高精度的点云地图pointcloud_map_lidar中的坐标值，得到在高精度的点云地图pointcloud_map_lidar中亮绿灯的红绿灯轮廓框位置序列boundingbox_lidar_frame；步骤6：根据步骤5得到在高精度的点云地图pointcloud_map_lidar中的红绿灯轮廓框位置序列boundingbox_lidar_frame依次计算每个亮绿灯的红路灯的种子点坐标；步骤7：以步骤6得到的每一个种子点分别进行聚类，依次得到每一个亮绿灯的红路灯的聚类点云；并得到每一个聚类点云对应的质心；步骤8：分别计算每个聚类点云的质心与红绿灯轮廓框位置序列boundingbox_lidar_frame中每个红绿灯轮廓框的中心线之间的距离，将每个聚类点云的质心到红绿灯轮廓框位置序列boundingbox_lidar_frame中每个红绿灯轮廓框的中心线的距离中最短的距离保存到最短距离集合point_to_line_distance_set；步骤9：根据公式计算最短距离和，并将计算得到的最短距离和与设定的阈值进行比较，如果小于阈值，则执行步骤10；如果不小于阈值，则执行步骤11～步骤12；其中，m表示红绿灯轮廓框位置序列boundingbox_lidar_frame中红绿灯轮廓框的总数；i表示编号；point_to_line_distance_set[i]表示最短距离集合point_to_line_distance_set中第i个亮绿灯的红路灯的聚类点云的质心到红绿灯轮廓框位置的最短距离；步骤10：将步骤5中得到的在高精度的点云地图pointcloud_map_lidar中的红绿灯轮廓框位置序列boundingbox_lidar_frame标注在点云点云地图pointcloud_map_lidar上，并标注红绿灯的状态；步骤11：使用高斯牛顿法求解雷达到摄像头外参矩阵的误差矩阵使得步骤12：根据公式修正激光雷达到摄像头的外参矩阵；根据修正后的激光雷达到相机的外参矩阵，重复步骤5～步骤9；为激光雷达到摄像头的外参矩阵。6.根据权利要求5所述的自动在点云地图上标注红绿灯的方法，其特征在于：所述步骤7中的聚类方法包括以下步骤：步骤701：计算第i个在高精度的点云地图pointcloud_map_lidar中的红绿灯轮廓框boundingbox_lidar_frame
i
上所有点的z轴坐标值的平均值，得到height_boundingbox_lidar_frame
i
；步骤702：遍历第i个聚类范围pointcloud_map_lidar_cropped_i中的所有点，当一个点point_j与第i个聚类范围pointcloud_map_lidar_cropped_i中其他所有的点之间同时满足以下条件时，保留点point_j到聚类点云cluster_set_i：|ponit
j
.x-point
n
.x|＜0.1；
|ponit
j
.y-point
n
.y|＜0.1；|ponit
j
.z-point
n
.z|＞0.5*height_boundingbox_lidar_frame
i
；其中，第i个聚类范围pointcloud_map_lidar_cropped_i的设定方法为：以种子点坐标seed
i
为立方体中心，x轴半轴长为5米，y轴的半轴长为5米，z轴的半轴长为1.5米；cluster_set_i表示第i个亮绿灯的红路灯的聚类点云，ponit
j
.x、ponit
j
.y和ponit
j
.z分别表示第i个聚类范围pointcloud_map_lidar_cropped_i中第j个点的x轴、y轴和z轴的坐标值，j＝1、2、
…
、n；n表示第i个聚类范围pointcloud_map_lidar_cropped_i中点的总数；point
n
.x、point
n
.y和point
n
.z分别表示第i个聚类范围pointcloud_map_lidar_cropped_i中第n个点的x轴、y轴和z轴的坐标值，n＝1、2、
…
、n，且n≠j。7.根据权利要求5所述的自动在点云地图上标注红绿灯的方法，其特征在于：所述步骤10中标注红绿灯的状态包括红路灯指示方向，所述红路灯指示方向的识别方法为：遍历组合导航z轴角速度序列angle_rate_queue_rtk在车辆通过路口时对应的时间段内的值，得到车辆通过路口时绿灯的状态direction_traffic_light；1)若z轴角速度序列angle_rate_queue_rtk中所有的值中至少有一个大于0.2，则说明当前的红绿灯状态为左转绿灯；2)若z轴角速度序列angle_rate_queue_rtk中所有的值中至少有一个小于-0.2，则说明当前的红绿灯状态为右转绿灯；3)若z轴角速度序列angle_rate_queue_rtk中所有的值中均没有大于0.2且小于-0.2，则说明当前的红绿灯状态为直行绿灯。8.一种计算机系统，其特征在于，包括：一个或多个处理器；存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括如权利要求5-7中任意一项所述的自动在点云地图上标注红绿灯的方法的流程。9.一种存储软件的计算机可读介质，其特征在于，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，所述操作包括如权利要求5-7中任意一项所述的自动在点云地图上标注红绿灯的方法的流程。
技术总结
本发明公开一种自动在点云地图上标注红绿灯的系统，包括数据采集模块、点云地图生成模块、红绿灯定位模块；其中，数据采集模块用于采集数据，点云地图生成模块用于根据采集的数据生成点云地图；红绿灯定位模块根据采集数据在生成的点云地图上完成红绿灯的标注。本发明主要把视觉检测的红绿灯和激光检测的红绿灯在3D空间位置内的误差反向传播到摄像头和激光雷达之间的外参，修正摄像头和激光雷达之间的外参误差再进行红绿灯在点云地图上的标定。本发明还提供了一种自动在点云地图上标注红绿灯的方法。本发明能够完全实现全自动的标注红绿灯在高精度点云地图中的位置；有效提高标定的准确性；同时大大降低了采集成本，增加了数据标注来源的丰富性。数据标注来源的丰富性。数据标注来源的丰富性。
技术研发人员：请求不公布姓名
受保护的技术使用者：奥特酷智能科技（南京）有限公司
技术研发日：2022.08.22
技术公布日：2023/1/13