一种BEV视角环境感知方法、装置、设备及存储介质与流程

本申请涉及车辆控制，具体涉及一种bev视角环境感知方法、装置、设备及存储介质。

背景技术：

1、随着智能驾驶技术的不断发展，作为实现智能驾驶的第一环节，也是车辆与外界信息交互的必要条件，环境感知技术在快速的更新迭代。其中，基于transformer模型的bev技术成为当下的热门选择。

2、bev(bird's eye view)，是指一种鸟瞰式的视角或坐标系，可以立体描述感知到的现实世界，相当于在车辆正上方10-20米处向下俯视车辆及周围环境，也被叫做“上帝视角”。相对应的，bev也代指将视觉信息由图像空间端到端地转换到bev空间下的技术。目前流行的bev算法模型分为两种：一种是纯视觉感知模型，此类模型对所有周视图像中每一个像素特征的信息进行处理，得到bev鸟瞰图特征；另一种是将周视图像与其他传感器数据在模型内进行特征级融合，以达到更高的感知精度。

3、采用bev模型的智能驾驶感知算法具备以下优势：

4、1、能够将周视图像一次性进行处理，并生成bev鸟瞰图视角的360度实时环境特征图，该特征图能够和部分距离传感器的感知信息进行直接融合，能够提高智能驾驶感知系统的感知精度。其中，距离传感器的感知数据可以是激光雷达的点云数据、毫米波雷达的点云数据等。

5、2、bev模型所生成的bev图像特征可以应用到多种感知子任务中，例如3d目标检测、可行驶区域图像分割、车道线检测等。因此bev模型可以将360度实时环境内的所有感知重点信息，包括行车、车辆、交通标识、道路等，全部提取并输入。这些数据可以满足各智能驾驶系统子功能，例如自适应巡航(acc)，自主泊车(apa)等。

6、基于以上优点，各大主机厂相继使用bev模型作为智能驾驶感知系统一站式大模型，用以输出所有必要的感知信息。

7、但是，现有技术中的两类bev感知模型都有如下缺点：现有bev感知模型难以考虑输入周视图像中的冗余信息，因此模型需要更多的计算资源去处理这些冗余信息，使得模型的运行效率较低。

技术实现思路

1、本申请提供一种bev视角环境感知方法、装置、设备及存储介质，可以解决现有bev感知模型中，感知模型自身难以考虑输入周视图像中的冗余信息，模型需要更多的计算资源去处理冗余信息，使得模型的运行效率较低的缺陷。

2、第一方面，本申请实施例提供一种bev视角环境感知方法，包括：

3、根据周视图像获取周视图像特征图；获取使用重点区域提取网络对所述周视图像特征图进行重点区域提取得到的二元掩码；获取结合周视图像特征图和对应的二元掩码得到的输出特征图；根据所述输出特征图得到正确坐标系下的bev鸟瞰图视角特征图。

4、结合第一方面，在一种实施方式中，具体包括：通过图像特征提取网络对n张周视图像进行特征提取，获取周视图像特征图其中分别为特征图的宽、高和通道数；使用重点区域提取网络对特征图f1中的n张尺寸为特征图进行重点区域的提取，获取n张尺寸为的二元掩码将周视图像特征图f1与对应的二元掩码m结合后得到的重点区域特征图作为重点区域提取网络的输出特征图。

5、在上述方案的基础上，结合周视图像特征图和其对应的二元掩码获取输出特征图步骤具体包括：如下公式将周视图像特征图f1与其对应的二元掩码m结合：

6、f2＝f1⊙m+0⊙(1-m)

7、其中，表示周视图像特征图中的重点区域的二元掩码；⊙表示矩阵的元素相乘；0表示与特征图f1尺寸相同但值全为0的矩阵；1表示与特征图m尺寸相同但值全为1的矩阵。

8、结合第一方面，在一种实施方式中，使用所述输出特征图计算正确坐标系下的bev鸟瞰图视角特征图的步骤包括：对所述输出特征图进行特征深度的预估，获得深度预测图；将深度预测图与周视相机内外参融合后，传递到bev视角转换网络，得到正确坐标系下的bev鸟瞰图视角特征图。

9、在上述方案的基础上，对所述输出特征图进行特征深度的预估，获得深度预测图的步骤包括：

10、所述区域深度预测网络模块由多头自注意力网络组成，输出特征图f2首先进行特征重组得到序列其中将序列s1中每一个元素的位置进行编号后对重点区域特征进行提取并重组得到序列其中将序列s2输入到由多头自注意力网络组成的区域深度预测网络中，得到对应的深度预测序列将序列s3以序列s1中的编号重新组合，得到区域深度预测网络模块的输出深度预测图其中，分别为特征图的宽、高和通道数，n为提取特征的周视图像张数。

11、在上述方案的基础上，还包括：将序列s3以序列s1中的编号重新组合过程中，将非重点区域以0进行填充，得到序列将序列s4重组获得区域深度预测网络模块的输出深度预测图

12、第二方面，本申请实施例提供了一种bev视角环境感知装置，其包括：图像特征提取网络模块，其用于对n张周视图像进行特征提取，得到特征图；重点区域提取网络模块，其用于对所述特征图进行重点区域的提取，获得二元掩码；区域深度预测网络模块，其用于结合特征图和其对应的二元掩码获取输出特征图，传递至下一层；bev视角转换网络模块，其用于使用所述输出特征图计算正确坐标系下的bev鸟瞰图视角特征图。

13、结合第二方面，在一种实施方式中，所述区域深度预测网络模块还用于使用如下公式将特征图f1与其对应的二元掩码m结合：

14、f2＝f1☉m+0☉(1-m)

15、其中，表示特征图中的重点区域；⊙表示矩阵的元素相乘；0表示与特征图f1尺寸相同但值全为0的矩阵；1表示与特征图m尺寸相同但值全为1的矩阵；以及，对所述输出特征图进行特征深度的预估，获得深度预测图；随后将深度预测图与周视相机内外参融合，传递到bev视角转换网络模块，得到正确坐标系下的bev鸟瞰图视角特征图。

16、第三方面，本申请实施例提供了一种bev视角环境感知设备，所述bev视角环境感知设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的bev视角环境感知程序，其中所述bev视角环境感知程序被所述处理器执行时，实现如上任一方案所述的bev视角环境感知方法的步骤。

17、第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有bev视角环境感知程序，其中所述bev视角环境感知程序被处理器执行时，实现如上任一项所述的bev视角环境感知方法的步骤。

18、本申请实施例提供的技术方案带来的有益效果包括：

19、本方案中通过在bev大模型中对图像特征进行重点区域提取，并在后续计算模块中去除图像冗余信息的做法，降低了模型的计算负载，解决了现有bev感知模型中，感知模型自身难以考虑输入周视图像中的冗余信息，模型需要更多的计算资源去处理冗余信息、模型运行效率较低的问题，更有利于bev模型在实车环境下运行的实时性。

技术特征：

1.一种bev视角环境感知方法，其特征在于，包括：

2.如权利要求1所述的bev视角环境感知方法，其特征在于，还包括：

3.如权利要求2所述的bev视角环境感知方法，其特征在于，所述结合周视图像特征图和其对应的二元掩码获取输出特征图步骤具体包括：

4.如权利要求1所述的bev视角环境感知方法，其特征在于，所述根据所述输出特征图得到正确坐标系下的bev鸟瞰图视角特征图的步骤包括：

5.如权利要求4所述的bev视角环境感知方法，其特征在于，所述对所述输出特征图进行特征深度的预估，获得深度预测图的步骤包括：

6.如权利要求5所述的bev视角环境感知方法，其特征在于，

7.一种bev视角环境感知装置，其特征在于，所述bev视角环境感知装置包括：

8.如权利要求7所述的bev视角环境感知装置，其特征在于：

9.一种bev视角环境感知设备，其特征在于，所述bev视角环境感知设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的bev视角环境感知程序，其中所述bev视角环境感知程序被所述处理器执行时，实现如权利要求1至6中任一项所述的bev视角环境感知方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有bev视角环境感知程序，其中所述bev视角环境感知程序被处理器执行时，实现如权利要求1至6中任一项所述的bev视角环境感知方法的步骤。

技术总结
一种BEV视角环境感知方法、装置、设备及计算机可读存储介质，该方法包括：根据周视图像获取周视图像特征图；获取使用重点区域提取网络对所述周视图像特征图进行重点区域提取得到的二元掩码；获取结合周视图像特征图和对应的二元掩码得到的特征图；根据所述输出特征图得到正确坐标系下的BEV鸟瞰图视角特征图。本发明中的BEV视角环境感知方法、装置、设备及计算机可读存储介质，可以解决现有技术中存在的感知模型自身难以考虑输入周视图像中的冗余信息，导致模型需要更多的计算资源去处理冗余信息，使得模型的运行效率较低的缺陷。

技术研发人员：张澳,朱玟谦,刘会凯
受保护的技术使用者：岚图汽车科技有限公司
技术研发日：
技术公布日：2024/3/21