通过执行图像匹配来实现的SAR图像中的速率估计和角度偏移校正的制作方法

背景技术：

1、本公开涉及通过执行图像匹配(特别地，将物体与来自照相机的图像进行匹配)来实现的合成孔径雷达(sar)图像中的速率估计和角度偏移校正。更特别地，本公开涉及通过使用照相机图像校正sar图像中的角度偏移通过考虑由于速率估计误差而导致的sar物体中的角度偏移来校正运动中的车辆的sar图像中的角度偏移。

2、本公开经由系统和方法估计运动，所述系统和方法相干地组合在扩展间隔上接收的信号，同时考虑车辆速率，以便实现增强的角分辨率。进而通过匹配同一物体的雷达图像和照相机图像来提供增强的角分辨率，以便更准确地估计车辆的运动。

3、通过使用由于运动而导致的扩展的雷达的孔径，目前的sar获得非常高的角分辨率。然而，由于估计的速率的误差导致目标物体的角度偏移，所以需要雷达单元或传感器的相对速率的准确估计。由于速率估计误差引起sar图像中的被测物体的角度偏移，所以对于某些应用而言，目前的sar的速率估计准确性可能是不足的，所述角度偏移不能被雷达检测到，由此导致与速率误差成比例的sar图像中的物体的严重的角度偏移。

技术实现思路

1、本公开解决通过提供用于检测并且校正sar图像中的角度偏移的系统和方法来改进现有技术。本公开使用雷达系统和照相机以通过匹配sar图像中的物体的角度与照相机图像中的物体的角度来确定被测物体的准确速率，由此减小sar图像中的物体的角度偏移。

2、用于校正第一车辆(主车辆)的sar图像中的角度偏移的方法在主车辆运动时被重复地执行，并且包括：经由主车辆的雷达单元获得第二车辆(目标车辆)的sar图像；经由主车辆的照相机单元获得目标车辆的照相机图像；确定sar图像中的至少一个物体和照相机图像中的对应至少一个物体之间的关联；基于确定的关联来校正主车辆的速率估计；并且基于校正的速率估计来调整sar图像。

3、在一个或多个实施例中，校正速率估计可包括执行相干组合反投影。确定关联包括确定sar图像中的所述至少一个物体中的每个物体和照相机图像中的所述至少一个物体中的对应每个物体之间的角度偏移。确定关联进一步包括将sar图像中的所述至少一个物体中的每个物体的第一角度与照相机图像中的所述至少一个物体中的对应每个物体的第二角度进行比较。

4、根据本公开的一个方面，提供一种用于校正第一车辆的合成孔径雷达(sar)图像的方法，所述方法在所述第一车辆运动时被重复地执行，并且所述方法包括：经由所述第一车辆的雷达单元获得第二车辆的sar图像；经由所述第一车辆的照相机单元获得所述第二车辆的照相机图像；确定所述sar图像中的物体和所述照相机图像中的物体之间的关联；基于确定的关联来校正所述第一车辆的速率估计；并且基于校正的速率估计来调整所述sar图像。

5、根据本公开的一个实施例，确定所述关联包括识别所述sar图像和所述照相机图像之间的匹配物体对。

6、根据本公开的一个实施例，调整所述sar图像包括根据校正的速率来执行相干组合反投影。

7、根据本公开的一个实施例，校正所述速率包括找到所述匹配物体对之间的角度偏移。

8、根据本公开的一个实施例，识别所述匹配对包括：从所述sar图像中的所述至少一个物体中的每个物体的粗略物体检测提取第一深度神经网络(dnn)特征以获得所述sar图像中的所述至少一个物体中的对应每个物体的雷达描述符向量；从所述照相机图像中的所述至少一个物体中的对应每个物体的物体检测提取第二dnn特征以获得所述照相机图像中的所述至少一个物体中的每个物体的照相机描述符向量；并且在所述sar图像中的所述至少一个物体中的每个物体的所述照相机描述符向量和所述照相机图像中的所述至少一个物体中的对应每个物体的所述照相机描述符向量之间执行二分匹配。

9、根据本公开的一个实施例，识别所述匹配对进一步包括通过调整所述第一dnn特征和所述第二dnn特征的dnn权重来确定所述sar图像中的所述至少一个物体中的每个物体和所述照相机图像中的所述对应至少一个物体，以使得在所述sar图像中的所述至少一个物体中的每个物体和所述照相机图像中的所述对应至少一个物体之间存在最小距离。

10、根据本公开的一个实施例，获得所述sar图像和获得所述照相机图像被同时执行。

11、根据本公开的另一方面，提供一种用于在第一车辆运动时重复地校正所述第一车辆的合成孔径雷达(sar)图像的系统，所述系统包括：所述第一车辆的雷达单元，获得第二车辆的sar图像；照相机单元，获得所述第二车辆的照相机图像；处理器，被配置为：确定所述sar图像中的至少一个物体和所述照相机图像中的对应至少一个物体之间的关联；基于确定的关联来校正所述第一车辆的速率估计；并且基于校正的速率估计来调整所述sar图像。

12、根据本公开的一个实施例，所述处理器进一步被配置为通过识别所述sar图像和所述照相机图像之间的匹配物体对来确定所述关联。

13、根据本公开的一个实施例，所述处理器进一步被配置为通过根据校正的速率执行相干组合反投影来调整所述sar图像。

14、根据本公开的一个实施例，所述处理器进一步被配置为通过找到所述匹配物体对之间的角度偏移来校正所述速率。

15、根据本公开的一个实施例，所述处理器被配置为通过下述步骤来识别所述匹配对：从所述sar图像中的所述至少一个物体中的每个物体的粗略物体检测提取第一深度神经网络(dnn)特征以获得所述sar图像中的所述至少一个物体中的对应每个物体的雷达描述符向量；从所述照相机图像中的所述至少一个物体中的对应每个物体的粗略物体检测提取第二dnn特征以获得所述照相机图像中的所述至少一个物体中的每个物体的照相机描述符向量；并且在所述sar图像中的所述至少一个物体中的每个物体的所述照相机描述符向量和所述照相机图像中的所述至少一个物体中的对应每个物体的所述照相机描述符向量之间执行二分匹配。

16、根据本公开的一个实施例，所述处理器进一步被配置为通过下述步骤来识别所述匹配对：通过调整所述第一dnn特征和所述第二dnn特征的dnn权重来确定所述sar图像中的所述至少一个物体中的每个物体和所述照相机图像中的所述对应至少一个物体，以使得在所述sar图像中的所述至少一个物体中的每个物体和所述照相机图像中的所述对应至少一个物体之间存在最小距离。

17、根据本公开的一个实施例，所述处理器进一步被配置为同时获得所述sar图像并且获得所述照相机图像。

18、根据本公开的另一方面，提供第一车辆，用于在所述第一车辆运动时重复地校正合成孔径雷达(sar)图像，所述第一车辆包括：车身；车轮，连接到所述车身；雷达单元，捕获合成孔径雷达(sar)图像；照相机，捕获图像；和控制系统，其中所述控制系统被配置为：经由所述雷达单元获得第二车辆的sar图像；经由所述照相机单元获得所述第二车辆的照相机图像；确定所述sar图像中的至少一个物体和所述照相机图像中的对应至少一个物体之间的关联；基于确定的关联来校正所述第一车辆的速率估计；并且基于校正的速率估计来调整所述sar图像。

19、根据本公开的一个实施例，所述控制系统进一步被配置为通过识别所述sar图像和所述照相机图像之间的匹配物体对来确定所述关联。

20、根据本公开的一个实施例，所述控制系统进一步被配置为通过根据校正的速率执行相干组合反投影来调整所述sar图像。

21、根据本公开的一个实施例，所述控制系统进一步被配置为通过找到所述匹配物体对之间的角度偏移来校正所述速率。

22、根据本公开的一个实施例，所述控制系统进一步被配置为通过下述步骤来识别所述匹配对：从所述sar图像中的所述至少一个物体中的每个物体的粗略物体检测提取第一深度神经网络(dnn)特征以获得所述sar图像中的所述至少一个物体中的对应每个物体的雷达描述符向量；从所述照相机图像中的所述至少一个物体中的对应每个物体的物体检测提取第二dnn特征以获得所述照相机图像中的所述至少一个物体中的每个物体的照相机描述符向量；并且在所述sar图像中的所述至少一个物体中的每个物体的所述照相机描述符向量和所述照相机图像中的所述至少一个物体中的对应每个物体的所述照相机描述符向量之间执行二分匹配。

23、根据本公开的一个实施例，所述控制系统进一步被配置为同时获得所述sar图像并且获得所述照相机图像。

24、以上
技术实现要素：
并不意图代表本公开的每个实施例或每个方面。相反地，前面的发明内容仅提供本文中阐述的新颖概念和特征中的一些的例示。通过当结合附图和所附权利要求进行时的对用于执行本公开的图示实施例和代表性模式的下面详细描述，以上特征和优点以及其它特征和优点将会容易地显而易见。此外，本公开明确地包括以上和以下呈现的元件和特征的任何和全部组合和子组合。