用于计算机视觉的设备、方法和计算机程序与流程

本公开总体上涉及计算机视觉的领域，具体而言涉及基于相机和雷达的测量系统。这样的技术可例如用于自动驾驶的应用中。

背景技术：

在自主驾驶和高级驾驶员辅助系统领域中，周围的风景通常被描述为少量未伸展的接触，每个接触都由至少具有表示运动的2d位置和2d速度的状态描述。

在设计自主驾驶汽车时，许多传感器，诸如相机、雷达和lidar，用于提供无需直接接触即可进行自动驾驶所需的信息。例如，现代自动驾驶汽车依靠诸如立体相机、多普勒雷达和/或lidar(光检测和测距)之类的技术来估计运动。

立体相机可提供高分辨率信息，并且它们可看到颜色，这使它们在对象分类和纹理解释方面非常有效。立体相机也可有效地用于运动估计。估计场景的密集非刚性三维运动场称为场景流估计(sceneflowestimation)。场景流估计(简称“场景流”)显示了两个帧之间每个表面点的三维位移矢量。但是，场景流估计通常提供的运动信息在径向方向上的准确性要比在角度方向上提供的准确性低。

多普勒雷达是一种使用无线电波确定对象的速度、范围和角度的传感器系统。雷达技术在运动测量中非常有效。雷达速度测量在径向方向上提供了良好的准确度，但在角度方向上提供了很少甚至没有的准确度。

因此，基于相机和雷达的测量系统以互补的精度和非常不同的数据表示形式提供有关环境中运动的信息。

已经存在用于不直接接触的远距离对象的运动测量的现有技术和方法，但是它们都存在不确定性并且彼此之间缺乏相似性。

技术实现要素：

根据第一方面，本公开内容提供了一种设备，该设备包括配置成将从多个不同或相似类型的传感器获得的运动信息传递到共同表示的电路。

根据另一方面，本公开提供了一种方法，该方法包括将从多个不同或相似类型的传感器获得的运动信息传递到共同表示。

根据又一方面，本公开内容提供了一种计算机程序，其包括指令，当在处理器上执行时，使得所述处理器将从多个不同或相似类型的传感器获得的运动信息传递到共同表示。

在从属权利要求、以下描述和附图中阐述了其他方面。

附图说明

参照附图通过实例的方式说明实施方式，其中：

图1示意性地描述了通过融合多普勒雷达的数据和基于立体相机的图像从场景流估计获得的数据来生成融合的运动图；

图2更详细地示出了来自多普勒雷达的处理后数据的对齐，以产生运动图；

图3更详细地示出了来自立体相机的处理后的数据的对齐，以生成运动图；

图4更详细地示出了融合从多普勒雷达的数据获得的运动图和从立体相机的数据获得的运动图以便获得融合的运动图的处理；

图5a示意性地示出了通过场景流分析(立体相机)看到的单次速度测量的不确定性；

图5b示意性地示出了由多普勒雷达看到的单次速度测量的不确定性；

图5c示出了通过融合多普勒雷达和立体相机的对齐数据而产生的融合运动图中的减小的速度测量不确定性；

图6示出了从多普勒雷达测量值导出的运动图的实例；

图7示出了基于立体相机捕获的图像从场景流测量值导出的运动图的实例；

图8示出了融合的运动图的实例，该融合运动图将多普勒雷达测量值导出的运动图与基于立体相机捕获的图像而从场景流测量值导出的运动图进行组合；

图9是表示车辆控制系统的示意配置的实例的框图；和

图10是辅助说明车外信息检测部和成像部的安装位置的实例的示图。

具体实施方式

在参考图1对实施方式进行详细描述之前，进行一些一般性的解释。

以下描述的实施方式公开了一种设备，该设备包括被配置为将从多个不同或相似类型的传感器获得的运动信息传递到共同表示的电路。多个传感器可以是不同类型或相似类型。

该设备例如可包括集成控制单元，该集成控制单元根据各种程序来控制车辆控制系统内的一般操作。集成控制单元可包括微计算机、通用目的通信i/f、专用通信、定位部、信标接收部、车载装置、声音/图像输出部、车载网络i/f、存储部等。

该设备例如可用在车辆控制系统、高级驾驶员辅助系统、用于自主驾驶的控制器等中。例如，该设备可被应用为诸如汽车、摩托车、卡车等的机动车辆中的车辆控制系统或高级驾驶员辅助系统。可替代地，该设备还可被应用为电动车辆或混合动力车辆中的车辆控制系统或高级驾驶员辅助系统。该设备在其他场景还可应用为例如，用于自主机器人或无人机产品的控制器，或者通常用于任何可移动设备的控制器。具体而言，在将所公开的技术应用于自动系统的情况下，非常需要在对象的测量中获得位置和速度信息的准确性的增加。

电路可包括处理器、存储器(ram、rom等)、存储设备、输入装置(鼠标、键盘、相机等)、输出装置(显示器(例如液晶(有机)发光二极管)等)、扬声器等、(无线)接口等)，这对于电子装置(计算机、智能手机等)通常是众所周知的。此外，它可包括传感器，用于感测静止图像或视频图像数据(图像传感器、相机传感器、视频传感器等)，用于感测指纹，用于感测环境参数(例如雷达、湿度、光、温度)等。

不同类型的传感器可例如是以下类型中的任何一种：立体相机、超声传感器、雷达装置或lidar装置(光检测和测距装置或激光成像检测和测距装置)。

该电路还可被配置为将从多个类似类型的传感器获得的运动信息传递到共同表示。例如，该电路可被配置为融合来自(例如由于视角不同)彼此互补的类似类型的几个相机或雷达的信息。

从多个传感器获得的运动信息被传送到的共同表示可例如是运动图。运动图也可被视为“动态占用图”。运动图可例如是2d数据阵列，以“鸟瞰图”的角度表示数据。运动图可例如是运动数据的2d网格表示。运动图的网格表示可基于规则或不规则网格，即，单元不一定必须是正方形，而是还可更改其尺寸、形状等。在实施方式中，网格的单元覆盖了整个图域(wholemapdomain)。运动图可例如根据通用的x，z坐标存储速度数据。

可通过将数据分配给运动图的单元来给出数据关联。每个单元可由特定的x，z坐标对来定义。

该电路可被配置为将多普勒雷达和立体相机的数据融合为共同表示。但是，该设备不仅可应用于多普勒雷达和场景流(立体相机)的组合，而且可应用于超声或lidar传感器和立体相机，或者其他组合，如果它们可配置为提供环境的运动信息的话。

该电路可被配置为将从多普勒雷达获得的运动信息传递到共同表示。

从多普勒雷达获得的运动信息可包括在极坐标空间中的单元的极坐标以及归因于该单元的速度的角和径向分量。

该电路可被配置为将通过立体相机捕获的图像上的场景流估计所获得的运动信息传递到共同表示。

从场景流估计获得的运动信息可包括图像位置、视差数据和位移数据。

该电路可被配置为从传感器数据重建位置和速度以获得传感器数据的运动图。

该电路可被配置为在处理后的数据上施加用于运动的误差模型以获得传感器数据的运动图。误差模型可例如确定传感器测量值的平均值和协方差。

所述电路可例如被配置为表示由x，z表示的运动图，其中，x，z是所述运动图中的2d笛卡尔坐标，是描述速度估计(vx，vz)，的正态分布的平均值，并且是表示从传感器特定的误差模型获得的运动测量的不确定性的协方差矩阵。

所述电路可被配置为通过为每个单元确定所述速度的联合概率来逐单元地融合传感器数据。

所述电路可被配置为为运动图的每个网格单元假设该单元中的接触(contacts)的速度v遵循正态分布。

所述电路被配置为将误差模型的参数转换为辅助表示。该辅助表示可例如在实现方式中被使用以加速或以其他方式简化处理。

通常，所述电路可被配置为融合来自传感器“a”和“b”的相同单元中给定速度分布的信息。传感器“a”和“b”可以是上面描述的传感器类型或下面更详细描述的实施方式中的任何一种。这可扩展到提供可转换为运动图的运动信息的任何种类的任何有限数量的传感器。

实施方式还公开了一种方法，包括将从多个传感器获得的运动信息传递到共同表示。该方法可包括上述或以下更详细描述的实施方式中的任何处理步骤。

实施方式还公开了一种计算机程序，该计算机程序包括指令，当在处理器上执行时，使得所述处理器将从多个传感器获得的运动信息传递到共同表示。该计算机程序可包括用于执行上述或在以下更详细地描述的实施方式中的任何一个处理步骤的指令。

实施方式还公开了存储计算机程序的有形计算机可读介质，该计算机程序包括指令，当在处理器上执行时，使得所述处理器将从多个传感器获得的运动信息传递到共同表示。有形的计算机可读介质可存储计算机程序，该计算机程序包括用于执行上述或者在以下更详细描述的实施方式中的任何一个处理步骤的指令。

现在参考附图更详细地描述实施方式。

图1示意性地描述了通过融合多普勒雷达的数据和从基于立体相机的图像的场景流估计获得的数据来生成运动图。在101，多普勒雷达生成原始数据111。在102，通过校准、fft、波束形成等对原始数据进行处理以产生诸如距离(range)、角度和速度数据之类的处理后的数据112。处理后的数据112可例如是极坐标为r,的二维阵列，或者是三维阵列，其坐标轴与极坐标r和以及径向速度vr有关。在103，将处理后的数据112与运动图113对齐。该对齐将包含在处理后的数据中的运动信息传递到共同表示。在201，立体相机产生原始图像211。在202，通过校准、立体和运动估计(场景流估计)等处理原始图像211，由此产生以3d点和3d速度形式的处理后的数据212。在203，对齐处理后的数据212以生成运动图204。该对齐将从相机图像获得的运动信息传递到共同表示。在301中将两个运动图104和204融合，以创建组合了两种数据的融合运动图302。数据关联是通过在103和203中的数据对齐期间将数据分配给运动图的单元而给出的。

图2更详细地示出了来自多普勒雷达的处理后的数据112的对齐103，以生成运动图104。处理后的数据112被表示为(vφ，vr；φ，r)，其中，φ，r表示极坐标空间(φ，r)中的单元的极坐标，并且vφ，vr是归结于单元的速度的角分量和径向分量。由于现有的雷达无法提供有关vφ的信息，因此可将该vφ分量建模为零并且具有无限的不确定性。可替代地，对于多普勒雷达，vφ也可从模型中删除。在对齐处理103中，将位置/速度重建和运动误差模型应用于处理后的数据112以获得运动图104。运动图空间由空间坐标(x，z)表示。运动图中的数据由表示，其中，x，z是运动图中的2d笛卡尔坐标，是描述速度估计值(vx，vz)的正态分布的平均值，并且是表示从传感器特定的误差模型获得的运动测量的不确定性的相应协方差矩阵。如图2中的105所示，对于多普勒雷达，速度空间(vx，vz)径向上的误差小于速度空间(vx，vz)的角度方向上的误差

图3更详细地示出了来自立体相机的处理后的数据212的对齐203，以生成运动图204。处理后的数据212被表示为(d，d’，ux，uy；px，py)，其中，px，py是图像空间(px，py)中的图像位置(像素坐标)，并且d表示在第一时间点的视差，d’表示在第二时间点的视差数据，并且ux，uy表示相机视图(例如，左相机)中某个点的位移。在对齐处理203中，将3d位置/速度重构，对运动图坐标的投影以及用于运动的误差模型应用于处理后的数据212以获得运动图204。运动图空间由空间坐标(x，z)表示。再次，运动图中的数据由表示，其中x，z是运动图中的2d笛卡尔坐标，是描述速度估计值(vx，vz)的正态分布的平均值，并且是表示从传感器特定的误差模型获得的运动测量值的不确定性的协方差矩阵。如图3中205所示，对于立体相机，速度的不确定性在速度空间中通常在角度方向上比径向方向小。

图4更详细地示出了融合从多普勒雷达的数据获得的运动图104和从立体相机图像的场景流分析的数据获得的运动图204以获得融合的运动图302的处理301。根据该实例，运动图104是处理后的数据212的对齐后的空间坐标(x，z)中的2d网格表示，并且运动图204是处理后的数据212的对齐后的空间坐标(x，z)中的2d网格表示。融合301通过为每个单元确定速度(vx，vz)的联合概率来逐单元合并信息。融合运动图302再次是空间坐标(x，z)中的2d网格表示。

图5a示意性地示出了通过场景流分析(立体相机)看到的单次速度测量值的不确定性。该图显示了在关联的运动图中观察到的立体相机速度的空间分辨率不确定性。运动图在单元214中存储2d平均值和z速度矢量的不确定性，由概率分布215表示。概率分布215表示传感器特定的误差模型，该模型将2d速度不确定性编码为协方差矩阵单元214中对象的实际速度由速度矢量211表示。立体相机的速度测量值表示为测得的径向速度分量212和测得的角速度分量213。基于立体相机的场景流分析在角度方向上的速度精度要比在径向方向上更好，因此径向的不确定性大于角度方向上的不确定性。因此，概率分布215在图5a中由椭圆形表示，该椭圆形在径向方向上比在角度方向上窄。

图5b示意性地示出了由多普勒雷达看到的单次速度测量值的不确定性。该图显示了相关运动图中多普勒雷达的空间分辨率不确定性。运动图在单元114中存储x-z速度矢量及其相应的不确定性，由概率分布115表示。概率分布115表示传感器特定的误差模型，该模型将2d速度不确定性编码为协方差矩阵速度矢量111指示了单元114中对象的实际速度。多普勒雷达的速度测量值表示为测得的径向速度分量112。多普勒雷达在径向方向上具有良好的速度分辨率，但角速度分量为通常无法观察到。因此，概率分布215在图5b中由椭圆形表示，该椭圆形在径向上较窄但是在角度方向上非常大。

图5c示出了通过融合多普勒雷达和立体相机的对齐数据而生成的融合运动图中的降低的速度测量不确定性。该图显示了融合运动图中融合数据的空间分辨率的不确定性。融合的运动图在单元314中存储x-z速度矢量及其不确定性，由概率分布315表示。单元314中对象的实际速度由速度矢量311表示。立体相机的融合速度测量值表示为径向速度分量312和角速度分量313。由于基于相机和雷达的测量以互补的精度提供有关运动的信息，因此融合后的数据在径向方向和轴向方向上具有良好的速度分辨率。因此，在图5c中，融合测量的概率分布315由椭圆表示，该椭圆在径向方向上狭窄并且在角度方向上狭窄。结果是(在理想条件下)在径向和角度方向上具有低不确定性的测量。

图6显示了从多普勒雷达测量值导出的运动图实例。在该可视化中，亮度表示速度值。在运动图的替代可视化中，为每个单元存储的信息可按如下方式进行颜色编码：颜色饱和度指示精度(不饱和＝零精度)，亮度和色相分别指示速度值(黑色＝零速度)和方向(蓝色＝向上，黄色＝向下，洋红色＝左，绿色＝右)。多普勒雷达在径向方向上具有良好的速度分辨率，但无法观察到角速度分量。

图7示出了基于立体相机捕获的图像从场景流测量值导出的运动图的实例。场景流分析在角度方向上的速度分辨率比在径向方向上的分辨率更好，因此，径向方向上的不确定性大于角度方向上的不确定性。

图8示出了融合运动图的实例，该融合运动图将多普勒雷达获得的图6的运动图与基于立体相机捕获的图像通过场景流分析获得的图7的运动图进行组合。结果是在径向和角度方向上具有低不确定性的测量。

运动图表示

对于每个网格单元，我们假定该单元中的接触速度v遵循正态分布：

也就是说，对于运动图的每个单元，我们从场景流和多普勒雷达(r)获得一个速度估计，均编码为2d正态分布：

p(v|s)＝n(μs，∑s)，和p(v|r)＝n(μr，∑r)

在此应当注意，如上所述的场景流速度估计值可能从多个场景流测量值融合，并且如上所述的多普勒雷达估计值可能从多个多普勒雷达测量值融合。

运动图的“辅助”表示

根据一种在实现方式中对融合更有效的替代表示(以下称为“辅助”表示形式)，正态分布的参数μ，∑表示如下：

p＝∑^-1，并且

b＝∑^-1μ＝pμ

因此，协方差矩阵由精度p：＝∑^-1∈r^2x2(其是正半定的)和b：＝∑^-1μ∈r²表示。

从“辅助”表示到正态表示的转换通过以下执行：

∑＝p^-1，μ＝∑b

运动图融合

假设两个运动图包含来自传感器“a”和“b”的信息，并在同一个单元中给出两个分布：

p(v|a)＝n(μa，∑a)和p(v|b)＝n(μb，∑b)

其中，μa，μb是正态分布n的相应的平均值，并且∑a，∑b是正态分布n的相应的协方差矩阵。

这些分布融合为

p(v|a，b)＝n(μc，∑c)∝p(v|a)p(v|b)＝n(μa，∑a)n(μb，∑b)

其中

在辅助表示中，这些分布表示为：

pa，ba和pb，pb

并使用辅助表示，将融合读取为：

pc＝pa+pb和bc＝ba+bb

将多普勒雷达信息转换为运动图

在下文中，将更详细地说明对齐(图1中的103)多普勒雷达的处理后的数据(图1中的112)以获得多普勒雷达数据的运动图(图1中的104)的处理。

对于极坐标中的给定雷达位置(r，φ)，所有考虑的径向速度都提供有从检测功率得出的权重q(vr)。此信息被编码在一个距离-角度-速度立方体中，并且在对齐处理中，对于每个距离-角度对，将径向速度vr计算为沿速度维度的q加权平均值，并将该信息的精度估计值计算为沿着速度信息的q的rms。

然后，对于运动图的每个x-z单元，对距离-角度图的径向速度和精度进行插值，并将速度信息编码为2d正态分布，其平均值为μv：径向方向速度为vr，角方向速度为0和协方差∑v：特征值：沿径向沿角度方向≈∞。

例如，运动模型可定义如下：

e：＝(sin(φ)，cos(φ))

μp：＝e*r

μv：＝e*vr

在此，和是定义位置测量值的精度的参数，是定义速度测量值的精度的参数，并且如上所述从q导出。这些精度可由模型根据传感器的能力来定义。在此，为简单起见，我们假设：

但是，实际上，可使用以更好的方式表示传感器能力的任何其他定义。

之后，确定运动图的坐标系中的位置(x，z)，并计算定义速度的正态分布的平均值和协方差，如下所示：

μp：＝aμp+b

μv：＝aμv+b

∑p：＝a∑pa^t

∑v：＝a∑va^t

在此，是预定义的校正矩阵，并且是校正相对传感器对齐的预定义的校正矢量。

接下来，将μv和∑v转换为辅助表示：

和bv＝pv·μv

最后，对于在运动图坐标系中具有中心位置(xi，zi)的每个单元i，计算权重

wi＝n(xi，zi；μp，∑vp)

为了迭代地累积来自每个单元的多个测量值的信息，通过用新信息(wipv，wibv)更新单元i中的速度估计值(pi，bi)来计算联合概率，该新信息是从当前考虑的与单元i相关联的测量值中导出的信息。这等于计算联合概率为

pi，new＝pi+wipv

bi，new＝bi+wibv

然后，将单元i中的信息替换为(pi，new，bi，new)。

在这里，bi和pi可初始化为(0，0)和

将场景流信息转换为运动图

在下文中，详细说明对齐(图1中的203)场景流(立体相机)测量值的处理后的数据(图1中的212)以获取场景流数据的运动图(图1中的204)的处理。

给定相机图像域中的图像位置(px，py)，该位置的测量值包括：

·3d位置

·3d速度

所有这些信息都是在相机坐标系中给出的，例如左相机。

基于此信息，从数据中删除了无关的接触(路面、足够的净空)。仅保留例如高于路面水平0至3m的测量值，并使用简单的道路模型(预定义的3d平面)。为此，确定街道上方的点的高度。如果该点在街道表面上或街道下面，则将忽略此测量。如果该点高于安全净空高度，则将忽略该测量。否则，将保持测量。

然后，使用简单的道路模型将3d位置和速度测量值投影到2d运动图。同样，相机和雷达之间的对齐也得到校正。例如，通过假设街道平面并将模型投影到2×3矩阵a，2×1矢量b来确定运动图的坐标系中的位置(x，z)为

μx：＝aμp+b

μv：＝aμv+b

在此，a，b也可校正相对传感器对齐。

结合位置和速度的3d误差模型(参见下面的“场景流的误差模型”)的测量还提供了∑p和∑v，两个3×3协方差矩阵，表示传感器特定的精度。例如，每个测量值都使用正态分布进行编码。平均值μ由测量值给出。协方差∑由误差模型给出，∑p和∑v，两个3×3协方差矩阵，表示传感器特定的精度：

∑x：＝a∑pa^t

∑v：＝a∑va^t

然后将μv和∑v转换为辅助表示：

和bv＝pvμv

最后，对于在运动图坐标系中具有中心位置(xi，zi)的每个单元i，计算权重

wi＝n(xi，zi，μx，∑x)

为了迭代地累积来自每个单元的多个测量值的信息，通过用新信息(wipv，wibv)更新单元i中的速度估计值(pi，bi)来计算联合概率，该新信息是从当前考虑的与单元i相关联的测量值中导出的信息。这等于计算联合概率为

pi，new＝pi+wipv

bi，new＝bi+wibv

然后，将单元i中的信息替换为(pi，new，bi，new)。在这里，bi和pi可初始化为(0，0)和

场景流的误差模型

对于如上所述在将场景流信息转换为运动图时使用的3d误差模型，针对3d位置(μp，∑p)和3d速度(μv，∑v)假设的正态分布的计算如下：

信息是从四个相机视图中记录的：在时间t，在它们的位置，图像从第一(例如，左)相机视图cl中获取，图像从第二(例如，右)相机视图cr中获取。更进一步，在它们的位置，在时间t+t，图像从第一相机视图c′l和第二相机视图c′r中获取，其中，t是相机视图之间的时间差。

然后，对来自相机对(cl，cr)和(c’l，c’r)的数据进行校准和校正，以使基线b(cl和cr之间)和b’(c’l和c’r之间)已知，并且固有校准k(对cl和cr有效)和k’(对c’l和c’r有效)是已知的。

给定相机图像域中的图像位置(px，py)和该位置中的测量值，就可为每个图像位置获得3d位置和3d速度

根据测量值，相机cl中每个位置(px，py)的像素给出以下信息：

·cl中点(px，py)与cr中对应位置(px+d，py)之间的视差d

·cl中点(px，py)与c′l的对应位置(px+ux，py+uy)之间的位移(ux，uy)

·c’l中的点(px+ux，py+uy)与c’r中对应的点(px+ux+d’，py+uy)之间的视差d’

更进一步地，根据例如实验测量值确定用于(d，px，py)和(d′，px+ux，py+uy)估计误差的协方差估计值∑m和∑’m。

基于该信息，执行以下计算：

计算(使用如下定义的f)并返回3d位置p的分布，由下式给出：

(μp，∑p)：＝f(d，px，py，k，b，∑m)，

其中，

更进一步，计算出p’的分布，由下式给出：

(μp′，∑p′)：＝f(d’，px+ux，py+uy，k′，b′，∑′m).

然后计算出3d速度v＝t^-1(p’-p)～n(μv，∑v)的分布，由(随机变量的线性组合)给出：

μv：＝t^-1(μp′-μp)

∑v：＝t^-2(∑p′+∑p)

·先前的计算利用辅助函数计算如下。给定：第一相机中的像素位置(px，py)，

·第一相机中的点(px，py)与第二相机中的对应位置(px+d，py)之间的视差d，

·3×3矩阵k，描述了第一和第二相机的固有相机参数，

·基线b描述了第一和第二相机的坐标系原点之间的距离，以及

·3×3协方差矩阵描述d，px和py中的误差估计值。

计算经由第一和第二相机之间的三角测量重建的点的近似正态分布的参数。

在第一相机的坐标系中重建点使得参数计算如下：

·我们引入了辅助函数：(经由三角测量的立体重建)

·然后假设(d，px，py)与呈正态分布，我们得到(误差传播)：μ：＝x(d，px，py)和∑：＝jx(d，px，py)∑d，x，y(jx(d，px，py))^t

其中，jx(d，px，py)是在位置(d，px，py)评估的3×3雅可比矩阵x(d，x，y)。

在此，雅可比矩阵jx(d，x，y)由(一阶按分量导数)给出

如此获得的由f返回的参数μ,∑现在可用于如上所述将场景流信息转换为运动图。

实施

根据本公开的实施方式的技术可应用于各种产品。例如，根据本公开的实施方式的技术可被实现为包括在移动体中的装置，该移动体是以下任何一种：汽车、电动车辆、混合动力电动车辆、摩托车、自行车、个人机动车辆、飞机、无人机、轮船、机器人、工程机械、农业机械(拖拉机)等。

图9是示出作为可应用根据本公开实施方式的技术的移动体控制系统的实例的车辆控制系统7000的示意性配置的实例的框图。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图9所示的实例中，车辆控制系统7000包括驾驶系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500和集成控制单元7600。例如，将多个控制单元彼此连接的通信网络7010可以是符合任意标准的车载通信网络，诸如控制器局域网(can)、本地互连网络(lin)、局域网(lan)、flexray(注册商标)等。

每个控制单元包括：微计算机，其根据各种程序执行运算处理；存储部，存储由微计算机执行的程序，用于各种操作的参数等；以及驱动电路，其驱动各种控制目标装置。每个控制单元还包括：网络接口(i/f)，用于经由通信网络7010与其他控制单元进行通信；以及通信i/f，用于通过有线通信或无线电通信与车辆内外的装置、传感器等进行通信。图9所示的集成控制单元7600的功能配置包括微计算机7610、通用目的通信i/f7620、专用通信i/f7630、定位部7640、信标接收部7650、车内装置i/f7660、声音/图像输出部7670、车载网络i/f7680和存储部7690。其他控制单元类似地包括微计算机、通信i/f、存储部等。

驾驶系统控制单元7100根据各种程序来控制与车辆的驾驶系统有关的装置的操作。例如，驾驶系统控制单元7100用作用于以下装置的控制装置：生成车辆的驱动力的驱动力生成装置，诸如内燃机、驱动马达等；用于将驱动力传递给车轮的驱动力传动机构；用于调节车辆的转向角的转向机构；用于产生车辆的制动力的制动装置等。驾驶系统控制单元7100可具有作为防抱死制动系统(abs)、电子稳定性控制(esc)等的控制装置的功能。

驾驶系统控制单元7100与车辆状态检测部7110连接。车辆状态检测部7110例如包括以下中的至少一个：检测车身的轴向旋转运动的角速度的陀螺传感器、检测车辆的加速度的加速度传感器以及检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机转速或车轮转速等的传感器。驾驶系统控制单元7100使用从车辆状态检测部7110输入的信号执行运算处理，并且控制内燃机、驱动马达、电动助力转向装置、制动装置等。

车身系统控制单元7200根据各种程序控制设置在车身上的各种装置的操作。例如，车身系统控制单元7200用作用于无钥匙进入系统、智能钥匙系统、电动车窗装置或诸如前照灯、倒车灯、制动灯、转向信号、雾灯等的各种灯的控制装置。在这种情况下，可将代替钥匙而从移动装置发送的无线电波或各种开关的信号输入到车身系统控制单元7200。车身系统控制单元7200接收这些输入的无线电波或信号，并且控制车辆的门锁装置、电动车窗装置、灯等。

电池控制单元7300根据各种程序控制作为驱动马达的电源的二次电池7310。例如，从包括二次电池7310的电池装置向电池控制单元7300提供关于电池温度、电池输出电压、电池中剩余的电荷量等的信息。电池控制单元7300使用这些信号进行运算处理，并执行用于调节二次电池7310的温度的控制或控制设置在电池装置等上的冷却装置。

车外信息检测单元7400检测关于包括车辆控制系统7000的车辆外部的信息。例如，车外信息检测单元7400与成像部7410和车外信息检测部7420中的至少一个连接。成像部7410包括飞行时间(tof)相机、立体相机、单眼相机、红外相机和其他相机中的至少一个。车外信息检测部7420例如包括以下的至少一个：用于检测当前的大气状况或天气状况的环境传感器以及用于检测包括车辆控制系统7000的车辆的周围的其他车辆、障碍物、行人等的周围信息检测传感器。

环境传感器例如可以是以下中的至少一种：检测雨的雨滴传感器、检测雾的雾传感器、检测日照程度的阳光传感器和检测降雪的雪传感器。周围信息检测传感器可以是以下中的至少一种：超声传感器、雷达装置和lidar装置(光检测和测距装置或激光成像检测和测距装置)。成像部7410和车外信息检测部7420中的每一个可被设置为独立的传感器或装置，或者可被设置为其中集成了多个传感器或装置的一个装置。

图10示出了成像部7410和车外信息检测部7420的安装位置的实例。成像部7910、7912、7914、7916和7918例如设置在车辆7900的以下至少一个位置上：车辆的前鼻、后视镜、后保险杠和后门以及车辆内部的挡风玻璃上部。设置在前鼻处的成像部7910和设置在车辆内部的挡风玻璃的上部处的成像部7918主要获得车辆7900的前部的图像。设置在后视镜的成像部7912和7914主要获得车辆7900的侧面的图像。设置在后保险杠或后门处的成像部7916主要获得车辆7900的后部的图像。设置在车辆内部的挡风玻璃的上部的成像部7918主要用于检测前面的车辆、行人、障碍物、信号、交通标志、车道等。

顺便提及，图10示出了各个成像部7910、7912、7914和7916的拍摄范围的实例。成像范围a表示设置在前鼻处的成像部7910的成像范围。成像范围b和c分别表示设置在侧视镜处的成像部7912和7914的成像范围。成像范围d表示设置在后保险杠或后门处的成像部7916的成像范围。例如，通过叠加由成像部7910、7912、7914和7916成像的图像数据，可获得从上方观看的车辆7900的鸟瞰图像。

设置在车辆7900的前、后、侧面和拐角以及车辆内部的挡风玻璃的上部的车外信息检测部7920、7922、7924、7926、7928和7930可以是，例如，超声传感器或雷达装置。设置在车辆7900的前鼻、后保险杠、车辆7900的后门以及车辆内部的挡风玻璃的上部的车外信息检测部7920、7926和7930可以是例如，lidar装置。这些车外信息检测部7920至7930主要用于检测前方车辆、行人、障碍物等。

返回图9，将继续描述。车外信息检测单元7400使成像部7410产生车辆外部的图像，并接收产生的图像数据。另外，车外信息检测单元7400从与车外信息检测单元7400连接的车外信息检测部7420接收检测信息。在车外信息检测部7420为超声传感器、雷达装置或lidar装置的情况下，车外信息检测单元7400发送超声波、电磁波等，并接收所接收到的反射波的信息。车外信息检测单元7400可基于接收到的信息，进行检测诸如人、车辆、障碍物、标志、道路上的人物等对象的处理，或者进行检测到它的距离的处理。车外信息检测单元7400可基于接收到的信息执行识别雨、雾、路面状况等的环境识别处理。车外信息检测单元7400可基于所接收的信息来计算到车辆外部的对象的距离。

另外，基于接收到的图像数据，车外信息检测单元7400可执行识别人、车辆、障碍物、标志、道路上的人物等的图像识别处理，或检测到其距离的处理。车外信息检测单元7400可对接收到的图像数据进行诸如失真校正、对齐等的处理，并且将由多个不同的成像部7410成像的图像数据进行组合，以生成鸟瞰图像或全景图像。车外信息检测单元7400可使用由包括不同成像部位的成像部7410成像的图像数据来执行视点转换处理。

车内信息检测单元7500检测关于车辆内部的信息。车载内信息检测单元7500例如与检测驾驶员的状态的驾驶员状态检测部7510连接。驾驶员状态检测部7510可包括对驾驶员进行成像的相机，检测驾驶员的生物信息的生物传感器，在车辆内部收集声音的麦克风等。生物传感器例如设置在座椅表面、方向盘等中，并且检测与坐在座椅上的乘员或握方向盘的驾驶员有关的生物信息。车内信息检测单元7500基于从驾驶员状态检测部7510输入的检测信息，可算出驾驶员的疲劳度或驾驶员的集中度，或者可判断驾驶员是否在打瞌睡。车内信息检测单元7500可对通过声音的收集获得的音频信号进行诸如噪声消除处理等的处理。

集成控制单元7600根据各种程序控制车辆控制系统7000内的一般操作。集成控制单元7600与输入部7800连接。输入部7800由能够由乘员进行输入操作的装置来实现，例如，触摸面板、按钮、麦克风、开关、杆等。可向集成控制单元7600提供通过对通过麦克风输入的语音进行语音识别而获得的数据。输入部7800例如可以是使用红外线或其他无线电波的遥控装置，或者是支持车辆控制系统7000的操作的外部连接装置，诸如移动电话、个人数字助理(pda)等。输入部7800可以是例如相机。在这种情况下，乘员可通过手势输入信息。可替代地，可输入通过检测乘员穿戴的可穿戴装置的运动而获得的数据。此外，输入部7800例如可包括输入控制电路等，其基于乘员等使用上述输入部7800输入的信息来生成输入信号，并将所生成的输入信号输出到集成控制单元7600。乘员等输入各种数据或通过操作输入部7800向车辆控制系统7000给出用于处理操作的指令。

存储部7690可包括：只读存储器(rom)，其存储由微计算机执行的各种程序；以及随机存取存储器(ram)，其存储各种参数、操作结果、传感器值等。另外，存储部7690可由诸如硬盘驱动器(hdd)等的磁存储装置、半导体存储装置、光学存储装置、磁光存储装置等来实现。

通用目的通信i/f7620是被广泛使用的通信i/f，该通信i/f传达与外部环境7750中存在的各种装置的通信。通用通信i/f7620可实现蜂窝通信协议，诸如全球移动通信系统(gsm(注册商标))、全球微波访问互操作性(wimax(注册商标))、长期演进(lte(注册商标))、高级lte(lte-a)等，或另一无线通信协议，诸如无线lan(也称为无线保真(wi-fi(注册商标))、蓝牙(注册商标)等。例如，通用目的通信i/f7620可经由基站或接入点连接到存在于外部网络(例如，因特网、云网络或公司专用网络)上的设备(例如，应用服务器或控制服务器)。此外，通用目的通信i/f7620可例如使用对等(p2p)技术连接到车辆附近存在的终端(该终端例如是驾驶员、行人或商店的终端，或者是机器类型的通信(mtc)终端)。

专用通信i/f7630是支持开发用于车辆的通信协议的通信i/f。专用通信i/f7630可实现标准协议，诸如例如作为下层的电气和电子工程师协会(ieee)802.11p与作为更高层的ieee1609的组合的车辆环境中的无线接入(wave)、专用短程通信(dsrc)或蜂窝通信协议。专用通信i/f7630通常执行v2x通信，其概念包括以下中的一种或多种：车辆与车辆之间的通信(车辆到车辆)、道路与车辆之间的通信(车辆到基础设施)、车辆与房屋之间的通信(车辆到房屋)以及行人与车辆之间的通信(车辆到行人)。

定位部7640例如通过从gnss卫星接收全球导航卫星系统(gnss)信号(例如，来自全球定位系统(gps)卫星的gps信号)来执行定位，并且生成包括车辆的纬度、经度和高度的位置信息。顺便提及，定位部7640可通过与无线接入点交换信号来识别当前位置，或者可从诸如具有定位功能的移动电话、个人手持电话系统(phs)或智能电话之类的终端获得位置信息。

信标接收部7650例如接收从安装在道路等上的无线电台发送的无线电波或电磁波，从而获得关于当前位置、拥堵、封闭道路、必要时间的信息。顺便提及，信标接收部7650的功能可包括在上述专用通信i/f7630中。

车内装置i/f7660是传达微计算机7610与车辆内存在的各种车内装置7760之间的连接的通信接口。车内装置i/f7660可使用诸如无线lan、蓝牙(注册商标)、近场通信(nfc)或无线通用串行总线(wusb)之类的无线通信协议来建立无线连接。另外，车内装置i/f7660可通过通用串行总线(usb)、高清多媒体接口(hdmi(注册商标))、移动高清链接(mhl)等经由图中未示出的连接端子(如有必要，电缆)来建立有线连接。车内装置7760可例如包括乘员拥有的移动装置和可穿戴装置以及车辆中携带或附接的信息装置中的至少一个。车内装置7760还可包括导航装置，该导航装置搜索到任意目的地的路径。车内装置i/f7660与这些车内装置7760交换控制信号或数据信号。

车载网络i/f7680是传达微计算机7610与通信网络7010之间的通信的接口。车载网络i/f7680根据由通信网络7010支持的预定协议来发送和接收信号等。

集成控制单元7600的微计算机7610基于经由通用目的通信i/f7620、专用通信i/f7630、定位部7640、信标接收部7650、车内装置i/f7660和车载网络i/f7680中的至少一个获得的信息，根据各种程序来控制车辆控制系统7000。例如，微计算机7610可基于所获得的关于车辆内部和外部的信息计算用于驱动力产生装置、转向机构或制动装置的控制目标值，并向驾驶系统控制单元7100输出控制命令。例如，微计算机7610可执行协作控制，该协作控制意图实施高级驾驶员辅助系统(adas)的功能，该功能包括避免车辆的碰撞或减震，基于之后距离的之后驾驶，保持驾驶的车辆速度，车辆碰撞的警告，车辆偏离车道的警告等。另外，微计算机7610可基于所获得的关于车辆周围环境的信息，通过控制驱动力产生装置、转向机构、制动装置等来执行旨在用于自动驾驶的协同控制，使得车辆不依赖于驾驶员的操作而自主地行驶。

微计算机7610可基于经由通用通信i/f7620、专用通信i/f7630、定位部7640、信标接收部7650、车内装置i/f7660和车载网络i/f7680的至少一个获得的信息，在车辆与诸如周围结构、人等之类的对象之间产生三维距离信息，并生成包括关于车辆当前位置的周围环境的信息的局部地图信息。此外，微计算机7610可基于获取的信息来预测危险，诸如车辆碰撞、行人等接近、进入封闭道路等，并产生警告信号。警告信号可例如是用于产生警告声音或点亮警告灯的信号。

声音/图像输出部7670将声音和图像中的至少一个的输出信号发送到能够视觉或听觉地通知车辆的乘员或车辆的外部的输出装置。在图9的实例中，音频扬声器7710、显示部7720和仪表板7730被示出为输出装置。显示部7720可例如包括车载显示器和平视显示器中的至少一个。显示部7720可具有增强现实(ar)显示功能。输出装置可以是这些装置以外的装置，并且可以是其他装置，诸如耳机、可穿戴装置，诸如由乘员等佩戴的眼镜型显示器、投影仪、灯等。在输出装置是显示制造的情况下，该显示装置以诸如文本、图像、表格、曲线图等各种形式可视地显示通过微计算机7610执行的各种处理获得的结果或从另一控制单元接收到的信息。另外，在输出装置是音频输出装置的情况下，音频输出装置将由再现的音频数据或声音数据等构成的音频信号转换为模拟信号，并以声学方式输出该模拟信号。

顺便提及，在图9所示的实例中，经由通信网络7010彼此连接的至少两个控制单元可被集成到一个控制单元中。可替代地，每个单独的控制单元可包括多个控制单元。此外，车辆控制系统7000可包括图中未示出的另一个控制单元。另外，可将以上描述中的一个控制单元执行的部分或全部功能分配给另一控制单元。即，只要经由通信网络7010发送和接收信息，就可由任何控制单元执行预定的运算处理。类似地，连接到一个控制单元的传感器或装置可连接到另一控制单元。并且，多个控制单元可经由通信网络7010相互发送和接收检测信息。

顺便提及，可在集成控制单元7600等中实现用于实现本公开中描述的功能的计算机程序。另外，还可提供存储这种计算机程序的计算机可读记录介质。记录介质是例如磁盘、光盘、磁光盘、闪存等。另外，例如，可在不使用记录介质的情况下经由网络来分发上述计算机程序。

另外，参考图9描述的集成控制单元7600的构成元件的至少一部分可在用于图9所描述的集成控制单元7600的模块(例如，由单个模具形成的集成电路模块)中实现。可替代地，参考图9描述的集成控制单元7600可由如图9所示的车辆控制系统的多个控制单元来实现。

***

如本文所述的方法在一些实施方式中还被实现为当在计算机和/或处理器和/或电路上执行时使计算机和/或处理器和/或电路执行该方法的计算机程序。在一些实施方式中，还提供了一种非暂时性计算机可读记录介质，其在其中存储了计算机程序产品，当该计算机程序产品由诸如上述处理器/电路的处理器/电路执行时，使得本文所述的方法被执行。

应当注意，实施方式以方法步骤的示例性顺序描述了方法。但是，方法步骤的特定顺序仅出于说明目的而给出，不应解释为具有约束力。

还应注意，仅出于说明目的将图9的控制或电路划分为单元931至940，并且本公开不限于特定单元中的任何特定功能划分。例如，电路的至少一部分可由相应的编程处理器、现场可编程门阵列(fpga)、专用电路等实现。

如果没有另外说明，则可将本说明书中描述的以及所附权利要求书中要求保护的所有单元和实体实现为集成电路逻辑，例如在芯片上，并且如果没有另外说明，则可将这些单元和实体提供的功能实现为由软件实现。

就上述本公开的实施方式而言，至少部分地使用软件控制的数据处理设备来实现，将理解的是，将提供这种软件控制以及传输、存储或由此提供计算机程序的其他介质的计算机程序设想为本公开的方面。

注意，本技术还可如下配置。

(1)一种设备，包括被配置为将从多个不同或相似类型的传感器获得的运动信息传递到共同表示的电路。

(2)根据(1)所述的设备，其中，所述共同表示是运动图。

(3)根据(1)或(2)所述的设备，其中，通过将数据分配给所述运动图的单元来给出数据关联。

(4)根据(1)至(3)中任一项所述的设备，其中，所述电路被配置为将多普勒雷达和立体相机的数据融合为共同表示。

(5)根据(1)至(4)中任一项所述的设备，其中，所述电路被配置为将从多普勒雷达获得的运动信息传递到所述共同表示。

(6)根据(4)或(5)所述的设备，其中，从所述多普勒雷达获得的运动信息包括在极坐标空间中的单元的极坐标以及归因于所述单元的速度的角度分量和径向分量。

(7)根据(1)至(6)中任一项所述的设备，其中，所述电路被配置为将通过对立体相机捕获的图像的场景流估计而获得的运动信息传递到所述共同表示。

(8)根据(4)或(7)所述的设备，其中，从场景流估计获得的运动信息包括图像位置、视差数据和位移数据。

(9)根据(1)至(6)中任一项所述的设备，其中，所述电路被配置为从传感器数据重建位置和速度以获得所述传感器数据的运动图。

(10)根据(1)至(9)中任一项所述的设备，其中，所述电路被配置为在处理后的数据上施加用于运动的误差模型，以获得所述传感器数据的运动图。

(11)根据(1)至(10)中任一项所述的设备，其中，所述电路被配置为表示由x，z表示的运动图，其中，x，z是所述运动图中的2d笛卡尔坐标，是描述速度估计(vx，vz)的正态分布的平均值，并且是表示所述关于从传感器特定的误差模型获得的运动测量的信息的协方差矩阵。

(12)根据(1)至(11)中任一项所述的设备，其中，所述电路被配置为通过为每个单元确定所述速度的联合概率来逐单元地融合传感器数据。

(13)根据(1)至(12)中任一项所述的设备，其中，所述电路被配置为为运动图的每个网格单元假设该单元中的接触速度v遵循正态分布。

(14)根据(1)至(13)中任一项所述的设备，其中，所述电路被配置为根据以下将误差模型的参数转换为辅助p，b：

p＝∑^-1，并且

b＝∑^-1μ＝pμ

其中，μ是平均值，并且∑是协方差矩阵。

(15)根据(1)至(14)中任一项所述的设备，其中，所述电路被配置为将来自传感器“a”和“b”的信息融合为

p(v|a，b)＝n(μc，∑c)∝p(v|a)p(v|b)＝n(μa，∑a)n(μb，∑b)

其中，p(v|a)＝n(μa，∑a)和p(v|b)＝n(μb，∑b)是同一单元中v的两个给定的分布，其中，μa,μb是正态分布n的相应的平均值，并且∑a,∑b是正态分布n的相应的协方差矩阵。

(16)车辆控制系统，包括(1)至(15)中任一项所述的设备。

(17)根据(16)所述的车辆控制系统，其中，所述车辆是机动车辆、电动车辆、混合动力车辆、机器人、自主机器人、无人机产品或自主无人机产品。

(18)包括(1)至(15)中任一项所述的设备的高级驾驶员辅助系统。

(19)一种方法，包括将从多个不同或相似类型的传感器获得的运动信息传递到共同表示。

(20)一种包括指令的计算机程序，当在处理器上执行时，使得所述处理器将从多个不同或相似类型的传感器获得的运动信息传递到共同表示

(21)一种存储计算机程序的有形且可读的存储介质，所述计算机程序包括指令，当在处理器上执行时，该指令使处理器将从多个不同或相似类型的传感器获得的运动信息传递到共同表示。