用于在虚拟测试环境中对机动车辆传感器建模的方法与流程

本发明涉及一种用于在虚拟测试环境(特别是三维测试环境)中对机动车辆传感器建模的方法。

背景技术：

虚拟测试和虚拟开发已成为开发自动驾驶的设计特征的所需方法。这种虚拟仿真的一个关键要素是在虚拟测试环境中使用虚拟传感器的模型。有许多对虚拟传感器建模的方式(理想行为、统计模型、物理模型、现象学模型等)。

相关软件的设计和测试面临着对自动驾驶和自主驾驶机动车辆的设计特征的外观的新需求。由于用于实施自动驾驶的算法的性质，所以需要大量的测试来验证相应的软件。一方面，真实原型和测试环境的准备是耗时且昂贵的。另一方面，由于验证自动特征中实施的算法所需的高公里数，所以实施驾驶测试是繁琐的过程。由于这些原因，用于虚拟测试的方法已变得越来越普遍。它们使车辆级别上的软件能够在基于物理的虚拟环境和越来越多的现实环境中进行测试。

虚拟测试环境的一个关键方面是根据测试要求以不同的精确度对传感器建模的能力。传感器的建模是必不可少的，因为它们是自动驾驶的算法的眼睛和耳朵。已经开发了各种方法以通过向真实摄像机供应来自虚拟现实的图像来测试基于摄像机的传感器，该图像目前可以以非常高的真实度创建。对于“基于波的”传感器(超声波、雷达、激光雷达、激光等)，有不同的建模方法，例如理想模型、统计模型、直至物理模型。

由于这种传感器的复杂性，所以在虚拟测试环境中使用物理传感器模型非常苛刻。物理传感器模型需要大量的计算能力和存储器、大量的经验、和能够对与波传播相关的物理事件建模的虚拟测试环境，例如，取决于大气条件的不同的声速、由于雨、雪、树木、移动草的干扰等。此外，用于自动驾驶的设计特征通常需要大量的传感器信息项，这限制了将这种传感器模型用于虚拟测试。

de102016100416a1公开了通过虚拟传感器来将虚拟环境用于测试和训练真实传感器。提出了将在虚拟环境中处理的校准直接上传到真实传感器。提到了传感器模型的使用，但未提到如何以正式和系统性的方式创建这些模型的细节。虚拟传感器可以是基于图像的(包括“深度缓冲器”)或基于光线投射的。这些是目前用于在虚拟环境中对传感器建模的两种标准技术。然而，这并未提供这些技术用于对传感器建模的方式的指示。还提到了通过光线跟踪提供虚拟传感器的原始数据，例如，其中虚拟激光雷达传感器可以输出真实激光雷达传感器能够输出的完整点云，但未指示将如何在虚拟环境中对激光雷达传感器建模。

us20160236683a1提出了将参数化数学模型用于对传感器建模。

us20090300422a1提出了用于生成虚拟传感器数据的统计方法。

nist(国家标准与技术研究所)出版物'朝向标准测试方法的制造车辆的安全控制研究'，bostelman,r.等人，2012年6月7日，http://www.mhi.org/downloads/learning/cicmhe/colloquium/2012/bostelman.pdf，提出了一种通过光线投射对3d车辆模型建模以获得该3d模型的若干空间特征的方法。

出版物'用于自主车辆的仿真和回归测试框架'，c.k.miller等人，2007年8月，http://engr.case.edu/cavusoglu_cenk/papers/christianmillerms2007.pdf，描述了用于自主车辆的仿真和测试环境，该仿真和测试环境实现相应软件的回归测试，即，检查修改后的软件是否仍然像早期版本的软件在某些点处表现。

us8705792公开了使用光线投射技术的对象跟踪机构和方法。

us9176662描述了如何使用光线投射来对行为(例如，光反射)建模以便测试摄像机镜头。

在所引用的现有技术中，提出了虚拟仿真和测试环境并且提到了虚拟传感器的使用，但是在其中没有具体描述如何对虚拟传感器建模。

技术实现要素：

本发明基于提供一种用于在虚拟环境中对虚拟传感器建模的系统性且通常可用的方法的目的。

该目的通过具有权利要求1的特征的方法来实现。

在从属权利要求中具体说明了本发明的有利改进。

本发明提供一种在虚拟测试环境中对虚拟传感器建模的方法，该方法基于所谓的光线投射技术并且特别适合于对基于波传播的传感器(例如超声波、雷达、激光雷达、激光等)建模。

具体地，一种用于在虚拟测试环境中对机动车辆传感器建模的方法包含传感器支座、光线投射分布形状、一组光线投射属性、光线投射反射因子和光线投射回波的定义。

根据本发明的方法基于光线投射，该光线投射在计算机游戏中(和在计算机游戏开发环境，所谓的游戏引擎中)很普遍。它的核心思想是描述三维的传感器视线，并使用光线投射分布描述变量(例如空间分辨率、时间分辨率、速度等)。可以通过在虚拟测试环境中从头开始建模或者通过基于真实传感器的属性的自动生成方法来获得光线投射分布，这是本发明的优选实施方式。

本发明使虚拟传感器能够以形式化且通常可用的方式被建模为虚拟环境的对象并且使用光线投射技术作为构建块。

实施本发明的特征还意味着修改光线投射的性质，该光线投射本质上是虚拟环境中的瞬时对象，即，结果在任何处理阶段都是可用的。因此产生了一种新型的传感器光线投射，以及一种能够将真实传感器的数据分解为光线投射布局和光线投射参数的新算法。

例如，人们想象希望对停车辅助系统的超声波传感器建模。人们可以简单地将垂直于三维车辆模型的光线投射发送到虚拟环境中。如果使用最靠近障碍物的距离的算法将被评估，则这将是足够的。然而，如果使最靠近障碍物的距离能够基于声波的传播而确定的算法被评估，则简单的光线投射是不够的，并且人们将不仅是需要用于特定传感器的传感器模型，而是需要取决于测试案例的多个传感器模型。本发明使传感器模型能够适合于用户的个性化需求。

在上述de102016100416a1中，传感器行为模型将被实施为后处理算法的一部分，该后处理算法通过共用存储器来访问光线投射。

在本发明中，传感器模型本质上提供时间和空间上的完整数据谱，并且后处理算法不需要获得数据。

因此，发明人已经在三维环境中开发了lidar(激光雷达)传感器模型，该模型提供了很大的自由度。因此，例如，人们可以决定以高频率在现实中旋转的一束64个光线投射，或者人们可以决定覆盖车辆模型周围的360°的区域并且以较低的频率刷新的一束n个光线投射。使用光线投影对传感器建模的方式为开发者提供了不同的信息项和因此的结果。这表明了描述如何对传感器建模的重要性。

每个传感器具有其特定属性，并且项目的每个阶段需要不同的传感器模型。对每个传感器进行特定建模需要花费很长时间，并且会迫使开发者每次从开始就想知道他必须如何进行以便对传感器建模。相比之下，根据本发明的方法具有普遍性质并且可以是自动的。例如，人们可以想象电子辅助系统，该电子辅助系统通过传感器建模和创建的过程来指引人们。

在一个优选实施例中，传感器支座是用于虚拟传感器模型的虚拟传感器支座，该虚拟传感器支座在虚拟测试环境中形成传感器的三维或二维替身，并且具有传感器起始点或传感器起始表面，该传感器起始点或传感器起始表面被用作光线投射分布形状或其光线投射的起点。

光线投射分布形状可以是预定义的二维或三维形状，该预定义的二维或三维形状的起点是传感器支座的起始点或起始表面，其中光线投射分布形状具有多个均匀分布的光线投射，该多个均匀分布的光线投射的起点可以是传感器支座的起始点或者是传感器支座的起始平面中的点。

光线投射属性具体是光线投射的阻尼、传播速度和检测精度。

该方法特别适合于对基于电磁波或声波操作的传感器建模。

附图说明

下面基于附图对示例性实施例进行描述。在附图中：

图1示出了光线投射的图示；

图2示出了系统概述；以及

图3示出了传感器模型的示例。

具体实施方式

为了解释光线投射，首先参照图1。

在计算机游戏中(或在计算机游戏开发环境，游戏引擎中)，光线投射或“视觉光束”是由三维参考坐标系xyz中的至少一个三维矢量d表示的，其具有特定长度(高达无限)和放置在对象a上的应用点或起点c。光线投射提供了找到位于其轨迹上的所有对象b的可能性，这特别地使光线投射和这些对象之间的接触点e的坐标能够被找到。光线投射通常用于仿真瞬时抛射轨迹以确定对象的可见性等。

传感器模型由如图2所示的以下部分组成：

1.)传感器支座1的定义。

传感器支座1是虚拟测试环境中传感器的“替身”并且具有以下属性：

-用于光线投射分布形状2的起始点或起始表面(即，起点)；

-随时间变化的3d旋转运动，该3d旋转运动指示传感器是否可以例如以特定角速度旋转或者传感器是否被固定。

2.)光线投射分布形状2：

-光线投射分布形状2是三维形状(例如，圆锥体、圆柱体或常规体积)，该形状的起点是传感器支座1的起始点或起始表面。

-光线投射分布形状2的尺寸模拟在三维空间中传感器的最大范围。

-光线投射分布包含n个光线投射，该n个光线投射均匀地分布在光线投射分布形状2中。每个光线投射的起点是传感器支座1的起始点或传感器支座1的起始平面中的点。

-光线投射的数量导致传感器的空间分辨率。它们还可以用于模拟传感器信息项的离散化。

3.)光线投射阻尼3的定义：

-阻尼3对于光线投射分布形状2的所有光线投射而言可以是完全相同的或者对于每个光线投射而言可以是特定的。

-阻尼3可以是光线投射分布形状2内的系数或公式，该系数或公式指定将在对象在距起点的特定距离处被光线投射击打的情况下返回的原始信号的百分比。

4.)光线投射传播速度4的定义：

-传播速度4对于光线投射分布形状2的所有光线投射而言可以是完全相同的或者对于每个光线投射而言可以是特定的。

-传播速度4用于定义延迟，在该延迟之后，在光线投射击打对象的距离处，光线投射的回波值在传感器中可用。

-传播速度4可以用于模拟由传感器发射的波(声波、光波、电磁波等)的性质和环境影响(例如天气，温度等)。

5.)光线投射检测精度5的定义：

-检测精度5对于光线投射分布形状2的所有光线投射而言可以是完全相同的或者对于每个光线投射而言可以是特定的。

-检测精度5是使光线投射的回波值的误差能够被仿真的校正系数。它是光线投射发回不正确值(例如，主要由于缺少目标、可能的误报)的概率。

6.)反射因子6的定义：

-反射因子6的定义与存在于虚拟测试环境中的对象相关联。

-反射因子是表示对象反射由传感器发射的波的程度的百分比。

-反射因子使材料能够被模拟，该材料由于其形状、结构、性质等(例如，一些衣服)而仅弱地反射。

7.)光线投射回波7的定义：

-每个光线投射可以发回一批值，该值称为回波，即

a)3d坐标，该3d坐标对应于对象的入射点(或者如果没有击中则不对应)，以及

b)回波值，该回波值位于范围[0，...，1]内，该回波值取决于检测精度5、阻尼3的值、被击打对象的反射因子6、以及是否存在击中。它可以通过以下等式提供：

精度值＝(检测精度)×(阻尼)×(反射因子)×(击中为1，否则为0)

-光线投射回波7的每个值在传播时间之后可用，该传播时间通过为该光线投射定义的传播速度4和被击打对象距光线投射的起点的距离来确定。

如果必要的话，仅在二维中对传感器建模也是可能的。

图3示出了传感器模型的示例。在图3中，g是传感器支座1，该传感器支座1由圆柱体组成并且是传感器的3d替身，该3d替身被放置在虚拟环境中并且位于起始点h上，该起始点h是光线投射分布形状m的起点。光线投射分布形状m是圆锥体；该圆锥体的尺寸在三维空间中提供传感器的最大范围。该光线投射分布形状m包含四个光线投射r，这意味着该传感器可以检测穿过这些光线投射r的对象。对于每个光线投射r，可以定义阻尼3、传播速度4和检测精度5。

除了别的以外，基于以下内容自动地生成传感器模型是可能的：

-现实中传感器的测量值，这些测量值通过机器学习的算法进行分析，该算法被训练为提取对传感器建模所需的参数。

-测试案例或应用案例，测试案例或应用案例以机器可解释语言(例如，伪自然语言)进行指定并且通过算法进行分析，该算法在应用案例中提取传感器的特定应用。这对于测试错误场景或与安全相关的场景特别有用。

-传感器数据表，该传感器数据表以标准格式(例如，xml(可扩展标识语言))提供并且可以由传感器供应商提供。算法(例如，串行器)可以从这样的数字数据表中提取对传感器建模所需的参数。

总之，以下方法和/或算法是必不可少的：

一种方法，该方法用于通过定义和使用传感器支座1、光线投射分布形状2、光线投射属性(特别是其阻尼3、传播速度4和检测精度5)、光线投射反射因子6和光线投射回波7(其是光线投射的返回值)在三维虚拟环境中对虚拟机动车辆传感器建模。

一种用于定义虚拟传感器模型的虚拟传感器支座的方法，具有

-以单独图示的传感器的三维或二维替身；

-传感器起始点或传感器起始表面，该传感器起始点或传感器起始表面用作光线投射分布形状或其光线投射的起点；以及

-传感器支座运动的定义，该定义描述传感器支座是否是固定的支座或者在附接到虚拟对象之后是否可以移动(例如，是利用激光雷达或旋转雷达的情况)。如果传感器可以移动，则还描述了相关联的运动(例如，旋转速度等)。

一种用于定义虚拟传感器模型的光线投射分布形状的方法，其中：

-光线投射分布形状是三维(例如，圆锥体、圆柱体或常规体积)或二维形状，该形状的起点是传感器支座的起始点或起始表面；

-光线投射分布形状的尺寸模拟了三维或二维空间中传感器的最大范围；

-光线投射分布包含n个光线投射，该n个光线投射遵循光线投射分布形状中的特定分布，通常是均匀分布，其中每个光线投射的起点是传感器支座的起始点或传感器支座的起始平面中的点；以及

-光线投射的数量导致传感器的空间分辨率，并且还可以用于模拟传感器信息项的离散化。

一种用于定义光线投射分布形状的每个光线投射的阻尼的方法，其中：

-阻尼对于光线投射分布形状的所有光线投射而言是相同的或者对于每个光线投射而言是特定的，以便模拟边界或限制条件；

-阻尼通常表示为在[0，...，1]范围内的百分比；以及

-阻尼被定义为单个值或公式，该单个值或公式指定将在对象在距起点的特定距离处被在光线投射分布形状内的光线投射击打的情况下返回的原始信号的百分比。

一种用于定义光线投射传播速度的方法，其中：

-传播速度对于光线投射分布形状的所有光线投射而言是相同的或者对于每个光线投射而言是特定的；

-传播速度用于定义延迟，在该延迟之后，在光线投射击打对象的距离处，光线投射的回波值在传感器中可用；以及

-传播速度用于模拟由传感器发射的波(声波、光波、电磁波等)的性质并且用于模拟环境影响(例如天气，温度等)。

一种用于定义光线投射检测精度的方法，其中：

-检测精度对于光线投射分布形状的所有光线投射而言是完全相同的或者对于每个光线投射而言是特定的；以及

-检测精度是使光线投射的回波值的误差能够被仿真的校正系数。它是光线投射发回不正确值(例如，主要由于缺少目标、可能的误报)的概率。

一种用于定义光线投射检测精度的方法，其中：

-检测精度对于光线投射分布形状的所有光线投射而言是相同的或者对于每个光线投射而言是特定的；

-检测精度通常表示为范围[0，...，1]内的百分比；

-检测精度是使光线投射的回波值的误差能够被仿真的校正系数(例如，它可以表示光线投射发回不正确值(例如，主要由于缺少目标、可能的误报)的概率)；以及

-检测精度在项目的早期阶段用于仿真由嵌入传感器中的信号处理算法引起的误差。

一种用于为光线投射分布形状的每个光线投射定义激活时间模式的方法，其中激活时间模式用于指定传感器的每个光线投射何时被激活(例如，一起、以特定延迟一个接一个等等)。

一种用于定义虚拟传感器测试的虚拟对象的反射因子的方法，其中：

-反射因子的定义与特定材料相关联，该特定材料与虚拟测试环境中的每个对象相关联；

-反射因子通常表示为范围[0，...，1]内的百分比；

-反射因子是表示对象反射由传感器发射的波的程度的百分比；以及

-反射因子使材料能够被模拟，该材料由于其形状、结构、性质(例如，一些衣服)等而仅弱地反射。

一种用于为传感器模型的每个光线投射定义回波的方法，其中：

-处理用于传感器模型的每个光线投射的回波；

-回波是范围[0，...，1]内的值，该值是阻尼值、检测精度和由光线投射击打的对象的反射因子和击中的存在的函数；

-回波值在时间延迟之后可用，该时间延迟是光线投射传播速度和被击打对象的距离的函数；以及

-回波值与被击打对象的三维或二维坐标相关联。

一种用于自动地生成虚拟传感器模型的方法，其中：

-该方法是用于被训练为从现实中的传感器的测量值中提取对传感器建模所需的参数的机器学习的算法；

-该方法是分析以机器可解释语言(例如，伪自然语言)进行指定的测试案例或应用案例并且在测试案例或应用案例中提取传感器的特殊应用(对于测试错误场景或与安全相关的场景特别有用)的算法；以及

-该方法是从传感器数据表中提取对传感器建模所需的参数的算法，该传感器数据表以标准格式(例如，xml)提供并且由传感器供应商提供。