一种视觉目标检测跟踪方法、电子设备和存储介质与流程

本申请的所公开实施例涉及自动驾驶，且更具体而言，涉及一种视觉目标检测跟踪方法、电子设备和存储介质。

背景技术：

1、基于视觉特征构建鸟瞰图(bird's-eye view，bev)表示是一种新兴的自动驾驶感知范式，它的核心挑战是使用多摄像头构建。目前，将特征从图像坐标系提升到3d笛卡尔坐标系中，再压缩到bev坐标系下，但这种方式忽略了相机成像近大远小的特征，使得特征采样在图像空间呈现不均匀的分布，将过多的不必要的计算量投入到了远处地平线上。

技术实现思路

1、根据本申请的实施例，本申请提出一种视觉目标检测跟踪方法、电子设备和存储介质，以解决上述问题。

2、本申请的第一方面公开了视觉目标检测跟踪方法，包括：获取当前帧环视图像以及相应的当前查询目标集；对所述当前帧环视图像进行特征提取，得到原始图像特征；利用车辆极坐标系，对所述原始图像特征进行位置编码，得到目标图像特征；对所述当前查询目标集进行自注意力处理，得到所述当前查询目标集中当前查询目标的当前查询目标特征；将所述目标图像特征与所述当前查询目标特征进行交叉自注意力处理，以得到所述当前查询目标的当前帧追踪目标特征，其中所述当前帧追踪目标特征用于所述当前查询目标的检测跟踪。

3、在一些实施例中，利用车辆极坐标系，对所述原始图像特征进行位置编码，得到目标图像特征，包括：利用所述车辆极坐标系获取极坐标鸟瞰特征；基于所述极坐标鸟瞰特征，对所述原始图像特征进行位置编码，得到所述目标图像特征。

4、在一些实施例中，所述利用车辆极坐标获取极坐标鸟瞰特征，包括：利用所述车辆极坐标系，基于预设角度与预设半径进行采样，获取极坐标鸟瞰点；利用所述极坐标鸟瞰点对所述原始图像特征进行采样，得到所述极坐标鸟瞰特征。

5、在一些实施例中，基于所述极坐标鸟瞰特征，对所述原始图像特征进行位置编码，包括：对所述极坐标鸟瞰特征进行转换，以与所述原始图像特征进行特征融合，得到所述目标图像特征。

6、在一些实施例中，所述当前查询目标集包括上一帧追踪目标和当前新增追踪目标；获得所述当前新增追踪目标，包括：对所述当前帧环视图像进行初始化，得到所述当前帧环视图像中相对于上一帧环视图像而新增的新增跟踪目标。

7、在一些实施例中，利用所述当前查询目标的当前帧追踪目标特征，更新所述当前查询目标集中的所述当前查询目标。

8、在一些实施例中，对所述当前查询目标集进行自注意力处理，得到所述当前查询目标集中当前查询目标的当前查询目标特征，包括：对所述当前查询目标集进行自注意力机制计算，以得到所述当前查询目标集中当前查询目标的查询目标特征与周围查询目标的查询特征之间的相似度；基于所述相似度，将所述周围查询目标的查询特征加入所述当前查询目标的查询目标特征中，进而得到所述当前查询目标集中当前查询目标的当前查询目标特征。

9、在一些实施例中，获取所述当前查询目标的当前帧追踪目标特征；利用所述当前查询目标的当前帧追踪目标特征与真值进行匹配；基于所述匹配结果，确定目标跟踪参数，以实现目标连续跟踪。

10、本申请第二方面公开了一种电子设备，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现第一方面中所述的视觉目标检测跟踪方法。

11、本申请第三方面公开了一种非易失性计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现第一方面中所述的视觉目标检测跟踪方法。

12、本申请的有益效果有：获取当前帧环视图像以及相应的当前查询目标集，对当前帧环视图像进行特征提取得到原始图像特征，利用车辆极坐标系对原始图像特征进行位置编码得到目标图像特征，通过对当前查询目标集进行自注意力处理得到当前查询目标集中当前查询目标的当前查询目标特征，并将目标图像特征与当前查询目标特征进行交叉自注意力处理，以得到当前查询目标的当前帧追踪目标特征，也就是说，通过利用极坐标bev空间的特性进行当前查询目标的检测跟踪，提高了目标检测跟踪方法的鲁棒性和准确性。

技术特征：

1.一种视觉目标检测跟踪方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，利用车辆极坐标系，对所述原始图像特征进行位置编码，得到目标图像特征，包括：

3.根据权利要求2所述的方法，其特征在于，所述利用车辆极坐标获取极坐标鸟瞰特征，包括：

4.根据权利要求2所述的方法，其特征在于，基于所述极坐标鸟瞰特征，对所述原始图像特征进行位置编码，包括：

5.根据权利要求1所述的方法，其特征在于，所述当前查询目标集包括上一帧追踪目标和当前新增追踪目标；

6.根据权利要求1所述的方法，其特征在于，进一步包括：

7.根据权利要求1所述的方法，其特征在于，对所述当前查询目标集进行自注意力处理，得到所述当前查询目标集中当前查询目标的当前查询目标特征，包括：

8.根据权利要求1所述的方法，其特征在于，还包括：

9.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至8任一项所述的视觉目标检测跟踪方法。

10.一种非易失性计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至8任一项所述的视觉目标检测跟踪方法。

技术总结
本申请公开了一种视觉目标检测跟踪。该方法包括：获取当前帧环视图像以及相应的当前查询目标集；对所述当前帧环视图像进行特征提取，得到原始图像特征；利用车辆极坐标系，对所述原始图像特征进行位置编码，得到目标图像特征；对所述当前查询目标集进行自注意力处理，得到所述当前查询目标集中当前查询目标的当前查询目标特征；将所述目标图像特征与所述当前查询目标特征进行交叉自注意力处理，以得到所述当前查询目标的当前帧追踪目标特征，其中所述当前帧追踪目标特征用于所述当前查询目标的检测跟踪。本申请还公开了电子设备和存储介质。本申请提高了目标检测跟踪方法的鲁棒性和准确性。

技术研发人员：张劲松,曹通易
受保护的技术使用者：深圳元戎启行科技有限公司
技术研发日：
技术公布日：2024/4/24