一种基于激光雷达和全景视觉的环境感知系统

本发明提供一种基于激光雷达和全景视觉的环境感知系统，属于光学测量。

背景技术：

1、目前已有的全景视觉系统实现方式有以下四种：一是单摄像头移动拼接全景视觉系统，此种方法感知成像实时性较差，一般用于低速场合；二是基于鱼眼镜头的光学全景视觉系统，此种方法成像分辨率较低、感知距离较近，一般在一公里以内；三是由一个曲面反射镜与一个摄像头组成的反射式全景视觉系统，此种方法成像效果一般，感知距离较近，一般在一公里以内；四是由折反射透镜组与摄像头组成的折反式全景视觉系统，此种方法成像效果一般，感知距离较近，一般在一公里以内。综合考虑上述五种系统实现的技术难度、光学加工水平、感知距离、分辨率、实时性等因素，选择多摄像头全景拼接视觉系统综合性能优势突出。

技术实现思路

1、本发明提供一种基于激光雷达和全景视觉的环境感知系统，感知成像能力强，性能稳定可靠，可对远距离快速移动的物体的结构和空间位置进行精确测量。

2、本发明提供一种基于激光雷达和全景视觉的环境感知系统，包括多线激光雷达、全景摄像模块和主控单元，所述多线激光雷达包括设置在驾驶室顶部的顶激光雷达和分别设置在左、右前轮外侧的左激光雷达、右激光雷达；所述全景摄像模块包括周向设置在驾驶室顶部的多个摄像头；所述主控单元包括数据融合模块、图像处理模块和数据处理模块；其工作流程为：

3、步骤1：所述数据融合模块获取顶激光雷达、左激光雷达和右激光雷达的顶点云数据、左点云数据和右点云数据，所述数据融合模块对顶点云数据、左点云数据和右点云数据进行融合，得到融合点云数据；所述数据融合模块根据融合点云数据构建环境地图；

4、步骤2：所述图像处理模块获取多个摄像头的图像信息，所述图像处理模块对获取到的图像信息进行增强、过滤处理，并将图像信息进行拼接，得到全景图像；

5、步骤3：所述数据处理模块获取环境地图的融合点云数据的当前点云帧和全景图像的当前帧；所述数据处理模块根据融合点云数据的当前点云帧和全景图像的当前帧构造环境感知系统。

6、所述融合点云数据的当前点云帧的激光物体和全景图像的当前帧中视觉物体对应。

7、所述数据处理模块根据融合点云数据的当前点云帧和全景图像的当前帧构造环境感知系统的流程为：

8、步骤1：所述数据处理模块对全景图像的当前帧进行扫描，并根据扫描结果计算全景图像的当前帧中视觉物体的近似深度；

9、步骤2：所述数据处理模块将融合点云数据的当前点云帧转换为深度图，所述数据处理模块根据全景图像的当前帧中视觉物体的近似深度提取深度图中对应的激光物体的深度；所述数据处理模块根据视觉物体的近似深度和激光物体的深度，构造当前点云帧中激光物体的点簇；

10、步骤3：所述数据处理模块根据全景图像的当前帧的扫描结果和当前点云帧的点簇构造环境感知系统。

11、所述顶激光雷达、左激光雷达和右激光雷达并联后电性连接数据融合模块；所述多个摄像头并联后电性连接图像处理模块。

12、所述数据融合模块和图像处理模块分别电性连接数据处理模块。

13、所述多个摄像头为定焦距的广角摄像头。

14、本发明有益效果：

15、本发明采用多线激光雷达，可同时获取顶云点数据、左云点数据和右云点数据，提高了点云数据的精确度；且本发明采用周向设置的多组摄像头，可实时获取图像，感知成像能力强，性能稳定可靠；本发明结合多线激光雷达和全景摄像模块通过主控单元将多线激光雷达获取的精确融合点云数据与多组摄像头获得的图像信息融合测量，实现了对远距离快速移动物体的结构和空间位置的精确测量。

技术特征：

1.一种基于激光雷达和全景视觉的环境感知系统，其特征在于：包括多线激光雷达、全景摄像模块和主控单元，所述多线激光雷达包括设置在驾驶室顶部的顶激光雷达和分别设置在左、右前轮外侧的左激光雷达、右激光雷达；所述全景摄像模块包括周向设置在驾驶室顶部的多个摄像头；所述主控单元包括数据融合模块、图像处理模块和数据处理模块；其工作流程为：

2.根据权利要求1所述的一种基于激光雷达和全景视觉的环境感知系统，其特征在于：所述融合点云数据的当前点云帧的激光物体和全景图像的当前帧中视觉物体对应。

3.根据权利要求1所述的一种基于激光雷达和全景视觉的环境感知系统，其特征在于：所述数据处理模块根据融合点云数据的当前点云帧和全景图像的当前帧构造环境感知系统的流程为：

4.根据权利要求1所述的一种基于激光雷达和全景视觉的环境感知系统，其特征在于：所述顶激光雷达、左激光雷达和右激光雷达并联后电性连接数据融合模块；所述多个摄像头并联后电性连接图像处理模块。

5.根据权利要求1所述的一种基于激光雷达和全景视觉的环境感知系统，其特征在于：所述数据融合模块和图像处理模块分别电性连接数据处理模块。

6.根据权利要求1所述的一种基于激光雷达和全景视觉的环境感知系统，其特征在于：所述多个摄像头为定焦距的广角摄像头。

技术总结
本发明涉及光学测量技术领域，尤其涉及一种基于激光雷达和全景视觉的环境感知系统。包括多线激光雷达、全景摄像模块和主控单元，所述多线激光雷达包括设置在驾驶室顶部的顶激光雷达和分别设置在左、右前轮外侧的左激光雷达、右激光雷达；所述全景摄像模块包括周向设置在驾驶室顶部的多个摄像头；所述主控单元包括数据融合模块、图像处理模块和数据处理模块。本发明提供一种基于激光雷达和全景视觉的环境感知系统，感知成像能力强，性能稳定可靠，可对远距离快速移动的物体的结构和空间位置进行精确测量。

技术研发人员：陈宁,岳鹏鑫,余顺年,邹朝圣,廖妮兰,陈汉腾,王棽
受保护的技术使用者：集美大学
技术研发日：
技术公布日：2024/1/13