环视障碍物检测方法、装置、介质、车载系统以及车辆与流程

文档序号:26051828发布日期:2021-07-27 15:27阅读:来源:国知局

技术特征:

1.一种环视障碍物检测方法,其特征在于,包括:

获取环视拼接图;

基于所述环视拼接图,提取环视障碍物的边缘语义特征、掩膜语义特征和底框语义特征,并基于所述边缘语义特征、所述掩膜语义特征和所述底框语义特征,确定融合特征;

基于所述融合特征,确定环视障碍物的三维检测框;

基于所述三维检测框,生成环视障碍物局部地图。

2.根据权利要求1所述的方法,其特征在于,所述获取环视拼接图,包括:

获取点云数据和多路二维图像数据;

基于所述多路二维图像数据,通过图像拼接生成环视俯视拼接图;

将所述点云数据投影到所述环视俯视拼接图上,生成投影关联;

基于所述投影关联,将所述点云数据赋值给所述环视俯视拼接图,生成图像三维框标注;

基于所述图像三维框标注,得到底框标注、mask标注和轮廓标注的完整真值,确定所述环视拼接图。

3.根据权利要求2所述的方法,其特征在于,所述点云数据采用激光雷达采集,所述二维图像数据采用鱼眼摄像头采集;

在图像拼接过程中,去掉所述二维图像数据中的畸变。

4.根据权利要求1所述的方法,其特征在于,所述基于所述环视拼接图,提取环视障碍物的边缘语义特征、掩膜语义特征和底框语义特征,并基于所述边缘语义特征、所述掩膜语义特征和所述底框语义特征,确定融合特征,包括:

将所述环视拼接图输入多层语义提取和融合模型,通过所述多层语义提取和融合模型的特征提取层检测环视障碍物特征,并输出用于描述环视障碍物特征的边缘语义特征、掩膜语义特征和底框语义特征;

将所述边缘语义特征、所述掩膜语义特征和所述底框语义特征继续输入所述多层语义提取和融合模型,通过所述多层语义提取和融合模型的特征融合层融合环视障碍物特征,输出所述融合特征。

5.根据权利要求4所述的方法,其特征在于,所述环视障碍物特征被所述多层语义提取和融合模型中各层处理的顺序依次为:第一特征提取层、第一下采样层、第二特征提取层、第二下采样层、第三特征提取层、第三下采样层以及特征融合层;

所述第一特征提取层用于提取所述边缘语义特征;所述第一下采样层用于对所述第一特征提取层处理后的数据进行采样,并输出至所述第二特征提取层;

所述第二特征提取层用于提取所述掩膜语义特征;所述第二下采样层用于对所述第二特征提取层处理后的数据进行采样,并输出至所述第三特征提取层;

所述第三特征提取层用于提取所述底框语义特征;所述第三下采样层用于对所述第三特征提取层处理后的数据进行采样,并输出至所述特征融合层;

所述特征融合层用于将所述边缘语义特征、所述掩膜语义特征和所述底框语义特征进行融合。

6.根据权利要求5所述的方法,其特征在于,所述第一特征提取层采用如下公式提取所述边缘语义特征:

其中,a1和a2表示选取的是模型前一层和后一层卷积特征进行融合,t1和t2表示选取的特征在融合前进行的变换函数,以将特征图变换到相同尺度以进行拼接融合;表示第一特征融合函数,af表示提取的边缘语义特征。

7.根据权利要求5所述的方法,其特征在于,所述第二特征提取层采用如下公式提取所述掩膜语义特征:

其中,b1和b2表示选取的是模型前一层和后一层卷积特征进行融合,t1和t2表示选取的特征在融合前进行的变换函数,以将特征图变换到相同尺度以进行拼接融合;表示第二特征融合函数,bf表示提取的掩膜语义特征。

8.根据权利要求5所述的方法,其特征在于,所述第三特征提取层采用如下公式提取所述底框语义特征:

其中,c1和c2表示选取的是模型前一层和后一层卷积特征进行融合,t1和t2表示选取的特征在融合前进行的变换函数,以将特征图变换到相同尺度以进行拼接融合;表示第三特征融合函数,cf表示提取的底框语义特征。

9.根据权利要求5所述的方法,其特征在于,所述特征融合层采用如下公式进行语义特征融合:

其中,conv()表示1×1的卷积层操作,add()表示对应像素相加的融合操作,multi()表示对应像素相乘的融合操作;xa、xb和xc分别表示边缘语义分支、掩膜语义分支和底框语义分支获得的信息;af表示边缘语义特征,bf表示掩膜语义特征,cf表示底框语义特征,xf表示最终得到的融合特征。

10.根据权利要求5所述的方法,其特征在于,所述多层语义提取和融合模型的损失函数为:

loss=l_3dbbox+l_mask+l_border+l_2d底框,

其中,loss表示整体模型loss总和,l_3dbbox表示特征融合的损失,l_2d底框表示底框语义特征的损失,l_mask表示掩膜语义特征的损失,l_border表示边缘语义特征的损失。

11.根据权利要求1所述的方法,其特征在于,所述基于所述三维检测框,生成环视障碍物局部地图包括:

基于多帧检测得到的所述三维检测框,生成多帧融合的俯视图;

网格化所述俯视图,生成障碍物栅格地图,即得到所述环视障碍物局部地图。

12.一种环视障碍物检测装置,其特征在于,包括:

图像获取模块,用于获取环视拼接图;

特征提取融合模块,用于基于所述环视拼接图,提取环视障碍物的边缘语义特征、掩膜语义特征和底框语义特征,并基于所述边缘语义特征、所述掩膜语义特征和所述底框语义特征,确定融合特征;

三维检测框确定模块,用于基于所述融合特征,确定环视障碍物的三维检测框;

地图生成模块,用于基于所述三维检测框,生成环视障碍物局部地图。

13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储程序或指令,所述程序或指令使计算机执行如权利要求1至11任一项所述的方法的步骤。

14.一种车载系统,其特征在于,包括处理器和存储器;

所述处理器通过调用所述存储器存储的程序或指令,用于执行如权利要求1至11任一项所述的方法的步骤。

15.一种车辆,其特征在于,包括权利要求14所述的车载系统。


技术总结
本公开涉及一种环视障碍物检测方法、装置、介质、车载系统以及车辆,该方法包括:获取环视拼接图;基于所述环视拼接图,提取环视障碍物的边缘语义特征、掩膜语义特征和底框语义特征,并基于所述边缘语义特征、所述掩膜语义特征和所述底框语义特征,确定融合特征;基于所述融合特征,确定环视障碍物的三维检测框;基于所述三维检测框,生成环视障碍物局部地图。本公开可以改善环视障碍物检测准确率较低的问题,并能够采用多层语义信息实现检测和表达,提升障碍区检测准确性。

技术研发人员:赵庆会;侯文博
受保护的技术使用者:北京罗克维尔斯科技有限公司
技术研发日:2021.05.13
技术公布日:2021.07.27
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1