一种基于环绕视角表征的含时序栅格占据率估计方法

本发明涉及图像处理，特别是涉及一种基于环绕视角表征的含时序栅格占据率估计方法。

背景技术：

1、随着自动驾驶技术的发展和对驾驶体验需求的提高，更全面、更精确的3d环境感知算法变得越发重要。但是道路场景通常是复杂的，以物体为中心的技术在目标的形状或外观不明确的开放世界交通场景中可能会失效，尤其是面对形状可变的长尾障碍物、异形障碍物、未知类别的障碍物。栅格占据率预测侧重于使用细粒度体素去表示车辆周围环境信息。

2、栅格占据率预测任务的难点在于如何在合理地表征大范围的细粒度3d道路环境信息。有一些算法是直接使用三维的特征作为媒介通过一些系列的操作直接预测每一个体素的特征信息，这导致算法的计算量过大，难以部署；有些算法在鸟瞰视角的基础上对高度信息进行一个预测得到三维预测结果，然而这个方法缺失了对于形状可变的长尾障碍物的优化，无法获得预期的效果；tpv算法提出了使用三个正交视角特征还原三维特征，但是在侧视图和正视图中，车辆前方和后方数据不同且复杂，难以用同一个视角平面表达。在同一个视角坐标下包含不同物体的特征，导致这两个视角无法准确预测三维场景。

技术实现思路

1、本发明提供一种基于环绕视角表征的含时序栅格占据率估计方法，克服了正视图和侧视图在同一坐标包含多个特征的问题。

2、本发明解决其技术问题所采用的技术方案是：提供一种基于环绕视角表征的含时序栅格占据率估计方法，包括以下步骤：

3、接收车辆周围相机传感器获取的多视角相机图像；

4、将所述多视角相机图像输入至栅格占据率估计模型中，得到栅格占据率预测结果；其中，所述栅格占据率估计模型包括：

5、特征提取模块，用于从所述多视角相机图像中提取出图像特征；

6、环视视角注意力模块，用于将提取出的图像特征按照方向映射到环视视角，得到环视视角特征；

7、时序特征多重注意力模块，用于通过多重注意力机制对所述环视视角特征进行处理，得到包含历史信息的时序特征；

8、预测模块，用于根据包含历史信息的时序特征进行预测，得到栅格占据率预测结果。

9、所述时序特征多重注意力模块包括：

10、对齐单元，用于将所述环视视角特征与上一时刻的环视视角特征进行对齐，修正因自身位移带来的特征偏移，得到修正后的环视视角特征；

11、可变注意力单元，用于根据历史环视视角特征和当前时间得到当前时间的环视视角特征，并将所述历史环视视角特征与预测的当前时间的环视视角特征进行堆叠；

12、通道注意力单元，用于对堆叠后的环视视角特征进行时序增强处理，得到包含历史信息的环视视角特征；

13、融合单元，用于将修正后的环视视角特征与包含历史信息的环视视角特征进行融合，得到包含历史信息的时序特征。

14、所述对齐单元通过实现所述环视视角特征与上一时刻的环视视角特征的对齐，其中，表示t时刻环视视角特征v的自我坐标，表示t时刻环视视角特征v的全局坐标，表示t时刻由自我坐标系到全局坐标系的转换矩阵，表示由t时刻到t-1时刻的转换矩阵，表示t-1时刻由全局坐标系到自我坐标系的转换矩阵。

15、所述可变注意力单元通过得到当前时间的环视视角特征，其中，vtv表示得到的当前时间的环视视角特征，da()为可变注意力操作，表示当前时间，表示t-1时刻的环视视角特征，表示t时刻环视视角特征v的全局坐标。

16、所述通道注意力单元通过得到包含历史信息的环视视角特征，其中，表示包含历史信息的环视视角特征，ca()为通道注意力操作，表示t-i时刻的环视视角特征。

17、本发明解决其技术问题所采用的技术方案是：提供一种电子设备，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于环绕视角表征的含时序栅格占据率估计方法的步骤。

18、本发明解决其技术问题所采用的技术方案是：提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于环绕视角表征的含时序栅格占据率估计方法的步骤。

19、有益效果

20、由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明提出了一种环视表示，并构建了一个多注意力模块来融合长范围和宽空间视角帧的特征，其成功地将二维视角表征推广到细粒度的3d体素感知，避免了对密集体素信息的冗余计算。本发明融合了多帧是时序信息，充分利用了帧间的相关性，改善了目标之间的遮挡情况，并且提高了算法的精度。

技术特征：

1.一种基于环绕视角表征的含时序栅格占据率估计方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于环绕视角表征的含时序栅格占据率估计方法，其特征在于，

3.根据权利要求2所述的基于环绕视角表征的含时序栅格占据率估计方法，其特征在于，所述对齐单元通过实现所述环视视角特征与上一时刻的环视视角特征的对齐，其中，表示t时刻环视视角特征v的自我坐标，表示t时刻环视视角特征v的全局坐标，表示t时刻由自我坐标系到全局坐标系的转换矩阵，表示由t时刻到t-1时刻的转换矩阵，表示t-1时刻由全局坐标系到自我坐标系的转换矩阵。

4.根据权利要求2所述的基于环绕视角表征的含时序栅格占据率估计方法，其特征在于，所述可变注意力单元通过得到当前时间的环视视角特征，其中，vtv表示得到的当前时间的环视视角特征，da()为可变注意力操作，表示当前时间，表示t-1时刻的环视视角特征，表示t时刻环视视角特征v的全局坐标。

5.根据权利要求2所述的基于环绕视角表征的含时序栅格占据率估计方法，其特征在于，所述通道注意力单元通过得到包含历史信息的环视视角特征，其中，vt′v表示包含历史信息的环视视角特征，ca()为通道注意力操作，表示t-i时刻的环视视角特征。

6.一种电子设备，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5中任一所述基于环绕视角表征的含时序栅格占据率估计方法的步骤。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一所述基于环绕视角表征的含时序栅格占据率估计方法的步骤。

技术总结
本发明涉及一种基于环绕视角表征的含时序栅格占据率估计方法，包括：接收车辆周围相机传感器获取的多视角相机图像；将所述多视角相机图像输入至栅格占据率估计模型中，得到栅格占据率预测结果；其中，所述栅格占据率估计模型包括：特征提取模块，用于从所述多视角相机图像中提取出图像特征；环视角注意力模块，用于将提取出的图像特征按照方向映射到环视视角，得到环视视角特征；时序特征多重注意力模块，用于通过多重注意力机制对所述环视视角特征进行处理，得到包含历史信息的时序特征；预测模块，用于根据包含历史信息的时序特征进行预测，得到栅格占据率预测结果。本发明克服了正视图和侧视图在同一坐标包含多个特征的问题。

技术研发人员：李嘉茂,白正奇,朱冬晨,石文君,王磊
受保护的技术使用者：中国科学院上海微系统与信息技术研究所
技术研发日：
技术公布日：2024/3/4