基于BEV视角的目标识别方法、装置、存储介质及设备与流程

本申请涉及无人驾驶，特别涉及一种基于bev视角的目标识别方法、装置、存储介质及设备。

背景技术：

1、在自动驾驶领域里，主流的感知方案中，常用的传感器是激光雷达和摄像头。激光雷达具有可靠的三维检测能力，但基于多路环视的摄像机的感知方法因其成本较低，受到了很高的关注。并且，经过长期迭代，对于摄像头的使用已经有相对成熟的技术方案。如图1所示，感知任务将上述多路环视的图像作为输入，得到目标障碍物的信息，包括目标包围3d框的坐标、尺寸、朝向等信息。

2、常用的基于图像的三维目标识别算法有bevdet、bevdepth和bevformer等算法，这些算法都是将多路环视图像作为输入，提取多路环视图像中的特征向量以及深度信息，结合特征向量和深度信息在bev(bird's-eye view，鸟瞰)视角下进行统一的目标信息的识别。

3、然而，相关技术中是将多路环视图的特征向量直接拼接成bev视角下的特征向量，无法实现特征融合，导致目标识别精度较低。

技术实现思路

1、本申请提供了一种基于bev视角的目标识别方法、装置、存储介质及设备，用于解决相关技术中的目标识别精度较低的问题。所述技术方案如下：

2、根据本申请的第一方面，提供了一种基于bev视角的目标识别方法，所述方法包括：

3、获取多路环视图，所述多路环视图由具有不同水平拍摄视角的多个摄像头同时对同一场景进行拍摄得到的图像组成；

4、对所述多路环视图提取特征图，根据所述特征图生成特征向量；

5、根据所述特征向量和激活函数计算特征系数向量，并根据所述特征图和所述特征系数向量计算融合特征图，所述特征系数向量表示多视角的全局范围内对于所述特征图中不同通道的重要性；

6、根据所述深度信息和所述目标特征信息图创建bev视角下的bev特征图，根据所述bev特征图进行目标识别。

7、在一种可能的实现方式中，所述根据所述特征向量和激活函数计算特征系数向量，包括：

8、将所述多路环视图的特征向量进行融合，得到中间特征向量；

9、根据激活函数对所述中间特征向量进行计算，得到特征系数向量。

10、在一种可能的实现方式中，所述将所述多路环视图的特征向量进行融合，得到中间特征向量，包括：

11、对每路环视图的特征向量进行全局平均采样，得到第一特征向量；

12、将多路环视图的所有第一特征向量进行拼接，得到第二特征向量；

13、利用全线性链路对所述第二特征向量进行融合，得到中间特征向量。

14、在一种可能的实现方式中，所述根据激活函数对所述中间特征向量进行计算，得到特征系数向量，包括：

15、将所述中间特征向量作为参数输入所述激活函数中，将所述激活函数的输出确定为特征系数向量。

16、在一种可能的实现方式中，所述根据所述特征向量和所述特征系数向量计算融合特征图，包括：

17、将所述特征图与所述特征系数向量相乘；

18、将得到的乘积与所述特征图相加，得到融合特征图。

19、在一种可能的实现方式中，所述对所述多路环视图提取特征图，包括：

20、利用编码神经网络对所述多路环视图进行深层语义提取，得到特征图。

21、根据本申请的第二方面，提供了一种基于bev视角的目标识别装置，所述装置包括：

22、获取模块，用于获取多路环视图，所述多路环视图由具有不同水平拍摄视角的多个摄像头同时对同一场景进行拍摄得到的图像组成；

23、提取模块，用于对所述多路环视图提取特征图，根据所述特征图生成特征向量；

24、融合模块，用于根据所述特征向量和激活函数计算特征系数向量，并根据所述特征图和所述特征系数向量计算融合特征图，所述特征系数向量表示多视角的全局范围内对于所述特征图中不同通道的重要性；

25、识别模块，用于根据所述深度信息和所述目标特征信息图创建bev视角下的bev特征图，根据所述bev特征图进行目标识别。

26、在一种可能的实现方式中，所述融合模块，还用于：

27、将所述多路环视图的特征向量进行融合，得到中间特征向量；

28、根据激活函数对所述中间特征向量进行计算，得到特征系数向量。

29、根据本申请的第三方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的基于bev视角的目标识别方法。

30、根据本申请的第四方面，提供了一种计算机设备，所述计算机设备包括基于bev视角的目标识别上述基于bev视角的目标识别装置。

31、本申请提供的技术方案的有益效果至少包括：

32、在提取到多路环视图的特征图和特征向量，先根据特征向量和激活函数计算特征系数向量，并根据特征图和特征系数向量计算融合特征图，再根据融合特征图生成深度信息和目标特征信息图，最后，根据深度信息和目标特征信息图创建bev视角下的bev特征图，从而根据bev特征图进行目标识别。由于深度信息是根据融合特征图生成的，能够提高深度信息的准确性，且特征系数向量表示多视角的全局范围内对于特征图中不同通道的重要性，所以，对多路环视图的特征向量进行融合后可以提高目标识别精度。

技术特征：

1.一种基于bev视角的目标识别方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于bev视角的目标识别方法，其特征在于，所述根据所述特征向量和激活函数计算特征系数向量，包括：

3.根据权利要求2所述的基于bev视角的目标识别方法，其特征在于，所述将所述多路环视图的特征向量进行融合，得到中间特征向量，包括：

4.根据权利要求2所述的基于bev视角的目标识别方法，其特征在于，所述根据激活函数对所述中间特征向量进行计算，得到特征系数向量，包括：

5.根据权利要求1所述的基于bev视角的目标识别方法，其特征在于，所述根据所述特征向量和所述特征系数向量计算融合特征图，包括：

6.根据权利要求1至5任一所述的基于bev视角的目标识别方法，其特征在于，所述对所述多路环视图提取特征图，包括：

7.一种基于bev视角的目标识别装置，其特征在于，所述装置包括：

8.根据权利要求7所述的基于bev视角的目标识别装置，其特征在于，所述融合模块，还用于：

9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至6任一所述的基于bev视角的目标识别方法。

10.一种计算机设备，其特征在于，计算机设备包括：权利要求8所述的基于bev视角的目标识别装置。

技术总结
本申请公开了一种基于BEV视角的目标识别方法、装置、存储介质及设备，属于无人驾驶技术领域。方法包括：获取多路环视图，多路环视图由具有不同水平拍摄视角的多个摄像头同时对同一场景进行拍摄得到的图像组成；对多路环视图提取特征图，根据特征图生成特征向量；根据特征向量和激活函数计算特征系数向量，并根据特征图和特征系数向量计算融合特征图，特征系数向量表示多视角的全局范围内对于特征图中不同通道的重要性；根据融合特征图生成深度信息和目标特征信息图；根据深度信息和目标特征信息图创建BEV视角下的BEV特征图，根据BEV特征图进行目标识别。本申请对多路环视图的特征向量进行融合后可以提高目标识别精度。

技术研发人员：陈涛,陈忠涛
受保护的技术使用者：九识（苏州）智能科技有限公司
技术研发日：
技术公布日：2024/1/15