图像特征转换方法、装置、设备及存储介质与流程

本公开涉及智能感知，尤其涉及一种图像特征转换方法、装置、设备及存储介质。

背景技术：

1、近年来，三维(3d)感知任务在自动驾驶领域越来越重要，以配备多摄像头、纯视觉传感器的车辆来说，单单实现二维(2d)感知，如感知目标出现在图像上的位置，已经不能满足需求，系统更希望最终获得目标在3d空间中出现的真实位置，这样才能方便系统做避障决策。

2、针对纯视觉的3d感知任务，现有主流方法是将获取的投影视角下的2d图像特征，先转换到3d空间，形成基于待检测空间的特征图，这个特征图可以是3d特征图也可以是被压缩为鸟瞰图下的2d特征图，进而在待检测空间的特征图上进行任务预测。

3、现有的图像特征转换方法，例如利用深度网络学习的代表方法，如bevformer，可以收集参考点对应的像素附近的图像特征，这个过程对跨相机提取特征是不友好的，当参考点本身的3d坐标仅能投影到一个图像中而无法投影到其他图像中时，这种情况下该方法会完全提取不到其他图像中的特征，导致参考点提取的图像特征较少，具有局限性。

技术实现思路

1、为了解决上述技术问题，本公开提供了一种图像特征转换方法、装置、设备及存储介质。

2、本公开的第一方面提供了一种图像特征转换方法，包括：

3、获取车辆的至少一个相机采集的二维图像，对每个二维图像进行特征提取，得到每个二维图像的图像特征；

4、获取待测空间中的目标参考点以及目标参考点对应的视角微分平面，待测空间为车辆的车辆坐标系下的三维空间，视角微分平面基于目标参考点在车辆坐标系中的目标三维坐标构建得到；

5、在视角微分平面上确定目标参考点的至少一个目标偏移点；

6、将各目标偏移点投影到二维图像的像平面中，得到每个目标偏移点对应的二维图像中的目标像素点；

7、基于各目标像素点在图像特征中的目标图像特征，确定目标参考点的空间特征。

8、本公开的第二方面提供了一种图像特征转换装置，包括：

9、第一获取模块，用于获取车辆的至少一个相机采集的二维图像，对每个二维图像进行特征提取，得到每个二维图像的图像特征；

10、第二获取模块，用于获取待测空间中的目标参考点以及目标参考点对应的视角微分平面，待测空间为车辆的车辆坐标系下的三维空间，视角微分平面基于目标参考点在车辆坐标系中的目标三维坐标构建得到；

11、第一确定模块，用于在视角微分平面上确定目标参考点的至少一个目标偏移点；

12、投影模块，用于将各目标偏移点投影到二维图像的像平面中，得到每个目标偏移点对应的二维图像中的目标像素点；；

13、第二确定模块，用于基于各目标像素点在图像特征中的目标图像特征，确定目标参考点的空间特征。

14、本公开的第三方面提供了一种计算机设备，包括存储器和处理器，其中，存储器中存储有计算机程序，当计算机程序被处理器执行时，可以实现上述第一方面的图像特征转换方法。

15、本公开的第四方面提供了一种计算机可读存储介质，存储介质中存储有计算机程序，当计算机程序被处理器执行时，可以实现上述第一方面的图像特征转换方法。

16、本公开提供的技术方案与现有技术相比具有如下优点：

17、本公开通过获取车辆的至少一个相机采集的二维图像，对每个二维图像进行特征提取，得到每个二维图像的图像特征；获取待测空间中的目标参考点以及目标参考点对应的视角微分平面，待测空间为车辆的车辆坐标系下的三维空间，视角微分平面基于目标参考点在车辆坐标系中的目标三维坐标构建得到；在视角微分平面上确定目标参考点的至少一个目标偏移点；将各目标偏移点投影到二维图像的像平面中，得到每个目标偏移点对应的二维图像中的目标像素点；基于各目标像素点在图像特征中的目标图像特征，确定目标参考点的空间特征，可以在参考点所处的三维空间位置附近设置参考点对应的视角微分平面，在视角微分平面上确定参考点的偏移点，利用参考点的偏移点采集至少一个二维图像中的图像特征作为参考点的空间特征，只需少量偏移点即可使参考点高效提取到二维图像中的图像特征，而不依赖参考点本身是否能投影在二维图像内，可以提高图像特征到空间特征的转换效率和转换质量。

技术特征：

1.一种图像特征转换方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取所述待测空间中的目标参考点，包括：

3.根据权利要求1所述的方法，其特征在于，所述将各所述目标偏移点投影到所述二维图像的像平面中，得到每个所述目标偏移点对应的所述二维图像中的目标像素点，包括：

4.根据权利要求3所述的方法，其特征在于，所述基于所述目标参考点在所述车辆坐标系下的目标三维坐标以及各个所述相机的内参矩阵和各个所述相机相对于所述车辆坐标系的外参矩阵，确定每个所述目标偏移点对应的所述二维图像中的目标像素点，包括：

5.根据权利要求1所述的方法，其特征在于，所述基于各所述目标像素点在所述图像特征中的目标图像特征，确定所述目标参考点的空间特征，包括：

6.根据权利要求1所述的方法，其特征在于，所述基于各所述目标像素点在所述图像特征中的目标图像特征，确定所述目标参考点的空间特征，包括：

7.根据权利要求1所述的方法，其特征在于，所述获取待测空间中的目标参考点以及所述目标参考点对应的视角微分平面之前，所述方法还包括：

8.一种图像特征转换装置，其特征在于，包括：

9.一种计算机设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1-7中任一项所述的图像特征转换方法。

技术总结
本公开涉及一种图像特征转换方法、装置、设备及存储介质。本公开通过在参考点所处的三维空间位置附近设置参考点对应的视角微分平面，在视角微分平面上确定参考点的偏移点，利用参考点的偏移点采集至少一个二维图像中的图像特征作为参考点的空间特征，只需少量偏移点即可使参考点高效提取到二维图像中的图像特征，而不依赖参考点本身是否能投影在二维图像内，可以提高图像特征到空间特征的转换效率和转换质量。

技术研发人员：李金珂,张丹
受保护的技术使用者：驭势科技（北京）有限公司
技术研发日：
技术公布日：2024/3/4