根据雷达数据对仰角信息的重建的制作方法

本发明涉及对测量数据的分析，这些测量数据是利用车载雷达装置、尤其是合成孔径雷达（synthetische-apertur-radar）来记录的。

背景技术：

为了车辆可以至少部分地自动化地在道路交通中运动，需要检测车辆的周围环境并且如果即将发生与车辆的周围环境中的对象的碰撞则引入应对措施。对于安全的自动化驾驶来说也需要创建周围环境呈现和定位。

借助于雷达来检测对象与照明条件无关并且例如即使在夜晚在较大的距离上也是可能的，而对向交通不被远光灯炫目。不过，类似于光学成像，位置和角度分辨率由于所使用的波长与雷达辐射从中射出的孔径的物理尺寸的相互作用自然受到衍射限制。

为了改善分辨率，gb2564648a提出：在借助于雷达来观测运动车辆的周围环境时，使基于车辆运动在不同的观测角度下所测量到的雷达信号彼此组合。雷达信号的组合具有类似于穿过长孔径观测周围环境的效果。因而，该技术也被称作合成孔径雷达、即sar。

技术实现要素：

在本发明的框架内，开发出一种用于根据测量数据来重建仰角信息的方法，这些测量数据是利用至少一个雷达装置来记录的。

雷达装置通过一根或多根天线的空间布置、例如以天线阵列的空间布置来限定平面，在该平面内，方位角说明了相对于利用该雷达装置所探测到的对象的横向方向。仰角说明了：该对象处在该平面上方怎样的高度，或延伸的对象在该平面内被提升得多高。车载雷达装置可以是通过天线的空间布置来限定的平面，例如车辆移动的平面。

测量数据包含至少一个物理测量参量的二维空间分布。这种测量参量的示例是被反射的雷达辐射的强度、在场景中的对象的雷达横截面以及对象沿雷达辐射的传播方向的速度分量。

例如当利用移动的合成孔径雷达装置来记录测量数据并且以常规方式来分析这些测量数据时，形成这种二维空间分布。由于陆地车辆只能在平面内移动，所以关于由雷达装置所观测的仰角的角度不会由于该陆地车辆的移动而发生变化。因而，在没有专门构造用于仰角测量的天线系统的情况下，在分析时只得到二维信息，而雷达辐射分别被反射到雷达装置的仰角被忽略。因此，诸如房屋、树木或载货车（lkw）的三维对象变形地被投影到平面中。这在该平面内导致在对象被识别出的方位角方面的附加误差。与此相应地，在根据这些测量数据所确定的以笛卡尔坐标对场景的三维呈现中，对象在空间内的距离也失真。

此处采用该方法。将这些测量数据作为输入参量输送给至少一个构造为神经网络的生成器模块。从生成器模块调取至少一个输出参量，该输出参量是雷达辐射被至少一个对象以多大仰角反射到雷达装置的量度。

从三维空间到二维平面的投影可以以数学方式描述。在这种情况下，常见做法是：将重建表达成与投影逆向的数学问题并且加以解决。由于只检测一个角度分量，所以对该逆向问题的解通常未知，而且存在数学上等效的多个解。只有在某些假设下才能找出唯一解，例如仰角等于零。然而，已经认识到：在对象在多个点处被测量的情况下，所寻找的仰角信息与所测量到的信息的可用的二维空间分布之间存在关联。机器学习能使用该关联。

也就是说，对其来说仰角信息附加地作为“地面实况（groundtruth）”已知的数量有限的训练测量数据可以十分普遍地使生成器模块能够基于存在的二维空间分布来确定对此合理的仰角信息。该方法相对于投影的数学求逆而言提供了不同的优点。

机器学习并没有被约束到投影的原则上始终包含简化的数学模型上。更确切地说，机器学习也可以自动掌握在这种模型中未包含且有可能根本难以建模的效应。

在通过机器学习所进行的方法中，也不存在在对数学问题求逆时已知的如下趋势：在输入的测量数据中的噪声显著被增强并且损害重建的质量。

最后，在精确地询问仰角信息方面也存在任意的灵活性。为了使生成器模块能够提供新型仰角信息，该模块仅须重新被机器训练。而数学模型必须由人来修改。

在一个特别有利的设计方案中，生成器模块的关于在二维空间分布中的位置的输出参量说明：对在相应位置处的物理测量参量的值做出了贡献的雷达辐射以多大仰角被反射到雷达装置。以这种方式，例如可以将二维雷达图像转换成仰角图像，在该仰角图像中，每个像素值都说明了关于在雷达图像中相对应的像素所表示的位置的仰角值（比如仰角）。生成器模块可以有关提供这种类型的输出参量特别好地被训练，因为例如可以将用数字表示的仰角与来自训练测量数据中的目标仰角特别明晰地进行比较。

在另一特别有利的设计方案中，输出参量包含至少一个所寻找的物理测量参量的三维空间分布。该分布例如可以是在任意坐标下、诸如在笛卡尔坐标(x,y,z)下或者在极坐标（距离、方位角和仰角）下的三维雷达图像。这种三维图像能在具体应用、诸如对车辆周围环境中的对象的分类方面特别明晰地被分析。为此，在训练时需要适当的度规，利用该度规可以用数字表示地评价一方面由生成器模块提供的图像与另一方面根据关于训练测量数据的“地面实况”所产生的目标图像之间的区别。

可以减少用于产生三维空间分布的存储器和计算能力方面的花费，其方式是将这些任务缩简成多个要并行或依次处理的子任务。为了该目的，将二维空间分布划分成多个分别相连的区域。例如，图像可以被划分成任意形状的“补丁”，其中这些“补丁”在边缘处是否重叠以及如果重叠的话重叠到什么程度是可选的。针对属于每个区域（“补丁”）的输入参量，利用生成器模块来确定所属的输出参量，即比如应该被分配给三维空间中的某些点的数值。生成器模块可以相对应地更小地被设计尺寸。该生成器模块只须能够一次处理一个“补丁”即可。

将所有被确定的输出参量聚集在一起，以便获得至少一个所寻找的物理测量参量的所寻找的三维空间分布。

这样，例如最初为空的三维图像可以在每次处理另一“补丁”时用所寻找的物理测量参量的其它数值来填充，其中由相连的“补丁”引起的录入项也完全无须处在三维图像中的相连的区域内。在此，通过新的录入项也可以对已经被分配给某个位置的数值进行事后更改。

尤其是，以“补丁”进行的处理例如可以在具有多个处理单元的图形处理器（gpus）上良好地并行化。

在另一特别有利的设计方案中，生成器模块包括：

•编码器，该编码器将输入参量转化成如下空间中的潜变量，该空间的维数小于输入参量的空间的维数并且小于输出参量的空间的维数；以及

•解码器，该解码器将这些潜变量转化成输出参量。

通过将输入参量压缩到低维空间中的潜变量，显著减少了表征生成器模块的特性的参数的数目。由此，也简化了训练。

使用编码器-解码器结构不应被误解为生成器模块是自动编码器。生成器模块所追求的目标并不是应该通过转化成潜变量并且转化回输出参量来使输入参量相同地重现。更确切地说，其中输入参量不包含仰角信息的第一空间中的这些输入参量应该被转化到其中也存在仰角信息的第二空间中。与自动编码器的共同点是该结构只具有潜变量形式的“瓶颈”。

编码器和解码器可以分别尤其是例如被组织成多个连续的层。于是，神经网络例如也可包括从编码器的层到解码器的层的直接连接，这些直接连接绕开了潜变量的空间以及可选地绕开了编码器和/或解码器的一个或多个其它层。以这种方式，可以保护在编码器的该直接连接所来自的层中的某些信息，以防在压缩成潜变量时被删掉。于是，该网络变成“u-net”。

有利地，生成器模块的输出参量包括至少一个物理测量参量的多个二维空间分布。接着，这些分布中的每个分布都对应于已经产生相应的分布的那个雷达辐射部分以其被反射到雷达装置的仰角范围。这些二维空间分布可以特别明晰地被组合成物理测量参量的三维空间分布。如果二维空间分布例如以坐标——距离和方位角来存在，则这些二维空间分布可以在坐标——仰角方面重叠地堆叠，使得获得三维张量。

特别有利地，为了进行所描述的分析而选择如下测量数据，这些测量数据是利用其天线阵列不能实现直接仰角测量的雷达装置来记录的。即，如果具体任务在于检测具有确定的详细程度的仰角信息的雷达数据，则开辟了利用结构上更简单且更便宜的天线阵列首先在没有仰角信息的情况下记录测量数据并且紧接着利用生成器模块来重建仰角信息的方法。尤其是当应该制造并销售该雷达装置的很多结构相同的副本时，这导致成本节约。对生成器模块的训练只须被执行一次并且接着对于所有结构相同的雷达装置来说都有效。

如之前所提及的那样，特别有利地选择如下测量数据，这些测量数据是利用移动的合成孔径雷达装置来记录的。那么，尤其是在只能在一个平面内移动的陆地车辆的情况下，不必通过具有仰角能力的雷达传感器来补偿所缺乏的通过该移动也改变关于仰角的角度的可能性。即，雷达传感器例如在限定方位角的平面之外不必具有附加的通道。

在另一特别有利的设计方案中，根据生成器模块的输出参量来分析

•对在车辆的周围环境中的交通指示牌、其它交通成员、车道标线、信号设备或其它交通相关的对象的预先给定的分类的至少一个类别；和/或

•这样的对象的至少位置、空间尺寸和/或速度。

这是至少部分自动化的车辆所需要以便尤其是能够加入与由人类驾驶员控制的车辆的混合交通的行列的最重要的信息。

本发明也涉及一种用于训练生成器模块以在之前所描述的方法中使用的方法。在该方法中，获取如下训练测量数据，这些训练测量数据是利用其天线阵列能够实现直接仰角测量的雷达装置来记录的。根据训练测量数据来确定作为针对生成器模块的输入参量的至少一个物理测量参量的二维空间分布。例如，该二维空间分布可以通过模拟之前所描述的到二维平面的投影来获得。

根据这些训练测量数据，还确定目标输出参量。这些目标输出参量是雷达辐射被至少一个对象以多大仰角反射到雷达装置的量度。视有仰角能力的雷达装置的结构类型而定，比如可以直接从这些训练测量数据中读取仰角。

利用所要训练的生成器模块将输入参量处理成输出参量。表征生成器模块的特性的生成器参数被优化，目标在于：输出参量按照预先给定的生成器成本函数良好地重现目标输出参量。

如之前所提及的那样，以这种方式，生成器模块不仅可以有关具体使用的雷达装置、尤其是有关所使用的天线阵列被定制，而且可以有关具体希望的输出参量被定制。

在一个特别有利的设计方案中，将输出参量附加地输送给构造为另一神经网络的鉴别器模块。与生成器参数交替地对鉴别器参数进行训练，这些鉴别器参数表征鉴别器模块的特性。该优化的目标是：鉴别器模块按照鉴别器成本函数将由生成器模块生成的输出参量与目标输出参量良好地区分开。

纳入鉴别器模块引起：由生成器模块产生的仰角信息更加逼真。即，抑制了如下趋势：生成器模块有可能产生如下输出参量，这些输出参量虽然就所使用的度规而言接近目标输出参量，但是为此例如受到可见伪影的困扰，这些可见伪影不会在真实的雷达图像中以这种形式出现。

为了对生成器模块和鉴别器模块进行组合训练，尤其是例如可以将生成器成本函数和鉴别器成本函数组合成总成本函数，使得总成本函数的值

•当输出参量接近目标输出参量时变得更好，但是

•当鉴别器模块可以将这些输出参量与真实的目标输出参量良好地区分开时变得更差。

即，在训练期间，在生成器模块与鉴别器模块之间存在持续不断的“竞争”。因而，由生成器模块和鉴别器模块构成的装置是生成对抗网络（generativeadversarialnetwork）gan。在此，生成器模块在如下边界条件下不管仰角信息的形式如何都产生该仰角信息，该边界条件是：该仰角信息涉及通过输入参量（比如变形的二维雷达图像）来表示的同一场景。即，不产生例如三维雷达图像，该三维雷达图像本身非常逼真，但是并不完全对应于目前所讨论的场景。因而，基于该边界条件，该装置是“条件gan（conditionalgan）”，即cgan。因此，在训练时应该向鉴别器模块同样提供生成器模块工作时所基于的那些输入参量。

有利地，为了记录训练测量数据，选择如下雷达装置，该雷达装置具有在限定其方位角的平面之外的多个通道。接着，训练测量数据可以以特别明晰的方式被分成即使在没有仰角能力的测量的情况下也会获得的类型的输入参量和只在训练期间供支配的关于仰角的附加信息。例如，可以根据雷达装置的仅仅一个通道的测量数据来形成输入参量，而所有通道的测量数据都加入对目标输出参量的形成。

在另一特别有利的设计方案中，针对每个通道，确定相应的训练测量数据的距离-相对速度谱。不仅针对生成器模块的输入参量而且目标输出参量都根据距离-相对速度谱来确定。为此，例如可以针对每个在这种谱中所包含的由距离和相对速度构成的对来确定电角度的角度估计，该电角度又取决于方位角和仰角。即，于是可以根据相对速度结合电角度来计算方位角和仰角。

本发明也涉及使直至操控车辆的行为链闭合的另一种方法。

在该方法中，首先利用之前所描述的训练方法来对生成器模块进行训练。利用至少一个安装在车辆上或安装在车辆中的雷达装置，记录来自车辆的周围环境中的测量数据。根据这些测量数据，利用最先描述的方法来重建仰角信息。在使用该仰角信息的情况下，形成操控信号。利用操控信号来操控车辆。

如前所述，对仰角信息的重建引起：关于车辆所处的交通情况方面的测量数据可以被解读得更准确。尤其是，对象的大小以及对象之间的距离被确定得更精确。即，雷达图像中的对象的由于不是零的仰角所引起的“阴影投射”不被误解为物理上存在的对象。因此，总体上提高了利用操控信号对车辆的操控导致车辆做出与该交通情况相称的反应的概率。

如前所述，对生成器模块的训练的结果体现在生成器参数中。拥有这些生成器参数的一方即使在没有事先训练的情况下也可以使生成器模块能够给具体的没有仰角能力的雷达装置的测量数据充实仰角信息。因而，这些生成器参数是具有客户利益的可独立销售的产品。因而，本发明也涉及一种具有生成器参数的参数集，这些生成器参数是通过利用之前所描述的训练方法对生成器模块进行训练来获得的。

这些方法尤其可以完全或部分地计算机实现。因而，本发明也涉及一种计算机程序，该计算机程序具有机器可读指令，当这些机器可读指令在一个或多个计算机上被实施时，这些机器可读指令促使所述一个或多个计算机实施所描述的方法之一。就此而言，同样能够实施机器可读指令的用于车辆的控制设备以及用于技术设备的嵌入式系统也应被视为计算机。

同样，本发明也涉及一种具有该参数集和/或具有该计算机程序的机器可读数据载体和/或下载产品。下载产品是能通过数据网络来传输的、也就是说能由该数据网络的用户来下载的数字产品，该数字产品例如可以在网上商店被出售以立即下载。

此外，计算机可以装备该参数集、计算机程序、该机器可读数据载体或该下载产品。

附图说明

在下文，其它改善本发明的措施共同利用依据附图对本发明的优选的实施例的描述进一步予以呈现。

其中：

图1示出了用于根据测量数据2来重建仰角信息2a的方法100的实施例；

图2示出了将被重建的参量的多个二维分布6g-6j聚集成三维分布6b的插图；

图3示出了对测量参量的二维分布3的按区域处理的插图；

图4示出了用于训练生成器4的方法200的实施例；

图5示出了具有完整行为链的方法300的实施例。

具体实施方式

图1是用于根据测量数据2来重建仰角信息2a的方法100的示意性流程图，这些测量数据是利用至少一个雷达装置1来记录的。在步骤110中，将包含至少一个物理测量参量的空间分布3的测量数据2作为输入参量5输送给至少一个生成器模块4。在步骤120中，从生成器模块4调取至少一个输出参量6，该输出参量是雷达辐射被至少一个对象以多大仰角6a反射到雷达装置1的量度。换言之，至少一个输出参量6包含仰角信息2a。按照方框121，生成器模块4的尤其是关于在空间分布3中的位置3a的输出参量6可以说明：对在相应位置3a处的物理测量参量的值做出了贡献的雷达辐射以多大具体仰角6a被反射到雷达装置1。

在步骤130中，对仰角信息2a进行进一步分析，以便

•确定对在车辆的周围环境中的交通指示牌、其它交通成员、车道标线、信号设备或其它交通相关的对象的预先给定的分类的至少一个类别7a；和/或

•确定这样的对象的至少位置7b、空间位置、尺寸7c和/或速度7d。

在此，可以按照步骤105来选择如下测量数据2，这些测量数据是利用其天线阵列不能实现直接仰角测量的雷达装置1来记录的。按照步骤106，可以选择如下测量数据2，这些测量数据是利用移动的合成孔径雷达装置来记录的。

按照方框111，生成器模块4可包括：编码器41，该编码器将输入参量5转化成低维潜变量5*；以及解码器42，该解码器将这些潜变量5*转化成维数再次增加的输出参量6。

按照方框112，用作输入参量5的物理测量参量的二维空间分布3可以被划分成多个分别相连的区域3c-3f。接着，按照方框123，输入参量5可以以按区域的划分份额5c-5f被处理成相应的输出参量6c-6f，这些输出参量接着可以按照方框124被聚集在一起。以这种方式来获得至少一个所寻找的物理测量参量的三维空间分布6b。

十分常见地，按照方框122，生成器模块4的输出参量可包含至少一个所寻找的物理测量参量的三维空间分布。在此，按照方框125，生成器模块4可输出多个二维空间分布6g-6j。接着，这些分布6g-6j中的每个分布都对应于已经产生相应的分布6g-6j的那个雷达辐射部分以其被反射到雷达装置1的仰角范围。

在图2中描绘了这种分布6g-6j可以如何被聚集成所寻找的测量参量的三维分布6b。输入参量5首先被输送给生成器4，该生成器由减少维数的编码器41和使维数再次增加的解码器42组成。数据在编码器41与解码器42之间的接口处作为潜变量5*存在。

解码器42针对不同的仰角分别以坐标——距离r和方位角来输出所寻找的物理测量参量的二维分布6g-6j。这些二维分布6g-6j可以以一定组织方式被组合成张量，于是该张量说明了所寻找的物理测量参量的三维分布6b。

图3阐明了对输入参量5的按区域的处理。应该用作输入参量5的通过测量数据2来体现的物理测量参量的二维空间分布3被划分成区域，在图3中示例性示出了这些区域中的四个区域3c-3f。按照方框123，将属于每个区域3c-3f的输入参量5c-5f转化成输出参量6c-6f。为此所使用的生成器模块4的尺寸可以被设计得比将所有现有的输入参量5一次性地转化成输出参量6的生成器模块更小。

按照方框124，输出参量6c-6f可以被聚集成所寻找的物理测量参量的三维分布6b。如在图3中所阐明的那样，输出参量6c-6f提供关于在该三维分布6b中的完全不同的位置的信息。所有位置不必都一次性处在一个相连的区域内，在所述所有位置处对输出参量6的单个部分6c-6f做出结论。

图4示出了用于训练生成器模块4的方法200的实施例的示意性流程图。在步骤210中，获取训练测量数据2*，这些训练测量数据是利用雷达装置1*来记录的。该雷达装置1*的天线阵列能够实现直接仰角测量。尤其可以在步骤205中选择如下雷达装置1*，该雷达装置具有在限定其方位角的平面之外的多个通道。

在步骤220中，根据训练测量数据2*来确定作为针对生成器模块4的输入参量5的至少一个物理测量参量的二维空间分布3。在步骤230中，还根据训练测量数据2*来确定目标输出参量6*，这些目标输出参量是雷达辐射被至少一个对象以多大仰角6a反射到雷达装置1*的量度。

利用生成器模块4将输入参量5处理成输出参量6。在步骤250中，表征生成器模块4的特性的生成器参数4a被优化，目标在于：输出参量5按照预先给定的生成器成本函数4b良好地重现目标输出参量6*。该训练的结果是生成器参数4a的训练完成状态4a*。

在图4中示出的示例中，生成器模块4的神经网络通过附加的鉴别器模块8被扩展成条件gan、即cgan。输出参量6、目标输出参量6*以及输入参量5附加地被输送给鉴别器模块8。在步骤270中，与生成器参数4a交替地对表征鉴别器模块8的特性的鉴别器参数8a进行优化，目标在于：鉴别器模块8按照鉴别器成本函数8b将由生成器模块4生成的输出参量6与目标输出参量6*良好地区分开。作为结果，该训练提供鉴别器参数8a的训练完成状态8a*和生成器参数4a的训练完成状态4a*。

然而，在该训练结束之后，为了分析真实的测量数据2，通常只还需要生成器4，其特性通过其训练完成的参数4a*来表征。

按照方框211，可以针对每个通道确定相应的训练测量数据2*的距离-相对速度谱211a。接着，按照方框221可以根据距离-相对速度谱来确定针对生成器模块4的输入参量5，而且按照方框231也可以根据距离-相对速度谱来确定目标输出参量6*。

图5是具有完整行为链的方法300的实施例的示意性流程图。在步骤310中，利用在图4中示出的方法200来对生成器模块4进行训练，结果是：该生成器模块的参数4a呈现它们的训练完成状态4a*。在步骤320中，利用至少一个安装在车辆50上或安装在车辆50中的雷达装置1，记录来自车辆50的周围环境中的测量数据2。

在步骤330中，利用在图1中示出的方法100，根据测量数据2来重建仰角信息2a，该仰角信息以所使用的生成器模块4的输出参量6为形式，例如以仰角6a和/或所寻找的物理测量参量的三维分布6b为形式。由此，在步骤340中形成操控信号9。在步骤350中，利用该操控信号9来操控车辆50。