一种基于激光雷达和摄像头的物体识别方法和装置与流程

文档序号:19741568发布日期:2020-01-18 05:18阅读:来源:国知局

技术特征:

1.一种基于激光雷达和摄像头的物体识别装置,其特征在于,包括:激光雷达,摄像头,软件系统;

所述激光雷达是通过发射激光来进行测距以获取点云数据的激光设备;

所述摄像头是固定在某个或某几个方向上的一个或多个摄像头;

所述软件系统是根据激光雷达的点云数据和摄像头的图像帧来识别出物体的系统。

2.一种基于激光雷达和摄像头的物体识别方法,其特征在于,包括:

步骤一:使用激光雷达对特定待识别的物体进行扫描得到点云数据,并根据此点云数据生成深度图像信息,并同时根据摄像头采集图像帧信息;

步骤二:使用所述深度图像信息来生成卷积神经网络经验库或神经网络经验库;

步骤三:使用所述图像帧信息来生成卷积神经网络经验库或神经网络经验库;

步骤四:实际操作时软件系统根据用户端激光雷达当前获得的点云数据生成深度图像信息;

步骤五:对生成的深度图像信息进行图像检索,使用深度信息生成的经验库,来找到满足匹配条件的图像信息;

步骤六:软件系统对摄像头捕捉到的图像帧信息在“步骤五”中找到的深度图像信息的满足匹配情况的位置的对应图像帧位置进行检索,再次确认满足匹配条件则认为是发现了目标物。

3.根据权利要求2所述的“步骤一”,其特征在于,使用激光雷达对特定待识别的物体进行扫描得到点云数据,并根据此点云数据生成深度图像信息,并同时根据摄像头采集图像帧信息,包括:

校准激光雷达和摄像头的朝向角度,使两者同步满足互相覆盖或部分覆盖,并满足一定相对成角,如果有必要则生成摄像头的配置信息(包含内容例如摄像头编号和角度偏移);

使用本发明装置对待识别物体进行采样时,可以对采样信息进行预处理以模拟较远的各种距离时的激光雷达获得的点云数据信息和摄像头捕捉到的图像帧信息,也可以进行多种距离的采样以省去部分对较远的各种距离的数据采样结果的模拟计算。

4.根据权利要求2所述的“步骤二”,其特征在于,使用所述深度图像信息来生成卷积神经网络经验库或神经网络经验库,包括:

作为一种可选的实施方式,在将待识别物体的点云数据转化成深度图像时,可以根据待识别物体点云数据的值域范围来调整深度信息到深度图像的转换域值(范围值),也可以根据激光雷达的探测范围来设置深度信息到深度图像的转换域值(范围值);

作为一种可选的实施方式,可以将采样得到的点云数据进行转化(例如每隔两个点取一个点)来模拟待识别物体在距离较远处的点云数据采样,以减少采样次数或增多样本数量,此时摄像头收集到的图像帧数据也要根据点云数据的转化情况来相应的缩放以模拟距离较远处的摄像头收集到的图像帧数据信息。

5.根据权利要求2所述的“步骤三”,其特征在于,使用所述图像帧信息来生成卷积神经网络经验库或神经网络经验库,包括:

所述“步骤三”生成的经验库是区别于“步骤二”生成的经验库的另一个经验库,此经验库是根据摄像头收集到的待识别物体的图像帧信息建立的,而“步骤二”生成的经验库是根据点云数据转换成的深度图像信息建立的。

6.根据权利要求2所述的“步骤四”,其特征在于,实际操作时软件系统根据用户端激光雷达当前获得的点云数据生成深度图像信息,包括:

作为一种可选的实施方式,这里可以根据具体实现方案来变换生成深度图像信息的转换域值(范围值),例如使用激光雷达的探测范围来设置深度信息到深度图像的转换域值(范围值),或使用待识别物体点云数据的值域范围来调整深度信息到深度图像的转换转换域值(范围值)。

7.根据权利要求2所述的“步骤五”,其特征在于,对生成的深度图像信息进行图像检索,使用深度信息生成的经验库,来找到满足条件的图像信息,包括:

作为一种可选的实施方式,对生成的深度信息图像进行卷积神经网络的检索,返回匹配率满足某一阈值或达到判定规则的图像信息;

进一步地,所述返回匹配率满足某一阈值的图像信息中包含相对于深度图像左上角的位置偏移的矩形信息。

8.根据权利要求2所述的“步骤六”,其特征在于,软件系统对摄像头捕捉到的图像帧信息在“步骤五”中找到的深度图像信息的满足匹配情况的位置的对应图像帧位置进行检索,再次确认满足匹配条件则认为是发现了目标物,包括:

根据“步骤五”中通过搜索获得的深度图像中检索出的图像信息的矩形信息,来搜索摄像头捕捉到的图像帧信息的对应位置,使用图像信息经验库进行卷积神经网络的检索;

如果图像帧信息的图像搜索也满足匹配率超过某阈值或达到判定规则,则认为是找到了待识别物体。

9.一种计算机可读写介质,其上存储有计算机程序和相关数据,其特征在于,所述程序被处理器执行时实现本发明的相关计算功能和内容。

10.一种电子设备,其特征在于,包括:

一个或多个处理器;

一个或多个显卡(可选);

存储装置,用于存储一个或多个程序。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1