用于估计行驶中的车辆和对象之间的距离的方法和装置的制造方法
【专利说明】用于估计行驶中的车辆和对象之间的距离的方法和装置
[0001] 说明书
[0002] 本发明涉及用于估计行驶中的车辆和对象之间的距离的方法和装置。
[0003] 根据本发明距离的估计可以有利地特别是连同用于自动紧急制动的系统或者连 同用于自适应速度调节的系统一起使用。
[0004] 交通事故是致命伤害和财广损失的最常见的原因。系统如自动制动机动车辆以避 免或减小交通事故或碰撞的影响的自动紧急制动，原则上可以有助于减小交通事故率，并 且可能减少由事故造成的损害量。然而，这需要行驶中的机动车辆和各个对象或障碍物之 间的距离的实时测量。
[0005] 用于测量行驶中的机动车辆和对象或障碍物之间的距离的各种方法是已知的。因 此，例如，激光雷达（LIDAR)系统是已知的，其发射激光脉冲并检测从对象散射回的光，以 便确定与对象的距离。在此，所测量的距离是激光脉冲的发射和它们的检测之间经过的时 间间隔的函数。然而，这种方法不允许对象的形式和类型的确定。
[0006] 另一种方法是基于立体成像或录像，其中与相关对象的距离从相同场景的两个图 像之间的视差确定，其中这两个图像借助于相对于彼此对齐的两个摄影机记录。
[0007] 另一种方法是基于使用单目摄影机测量行驶中的车辆和对象之间的距离；然而， 这需要摄影机移动（涉及倾斜或倾斜角，俯仰角等）和车道倾斜度的完整且正确的补偿。
[0008] 关于现有技术，仅仅以示例性方式参考美国专利号6 873 912、美国专利号6 765 480、美国专利号5 515 448、美国专利号5 515 448和美国专利号2012/02000707 Al以及 美国专利号8 164 628 B2的专利文献。
[0009] 本发明的目的是提供一种用于估计行驶中的车辆和对象之间的距离的方法和装 置，该方法和装置使用简单且稳健的方法使得估计尽可能精确。
[0010] 这个目的是通过根据独立权利要求1的特征的方法和根据并列权利要求7的特征 的装置来实现。
[0011] -种用于估计行驶中的车辆和对象之间的距离的方法，其中车辆包括摄影机，该 方法包含以下步骤：
[0012] 使用摄影机在不同的时间产生至少两个单独的图像；以及
[0013] 用图像配准方法以及根据这些单独的图像之间的缩放（s(t))估计与对象的距 离；
[0014] 其中在单独的图像之间的缩放（s(t))使用频域分析法来估计。
[0015] 特别是，本发明是基于根据使用对象的两个连续的图像估计的缩放建立行驶中的 机动车辆和对象或障碍物之间的距离的构思。
[0016] 在此，来自缩放（s(t))的与对象的距离可以根据以下关系估计：
[0017] (1)
[0018] 其中，T2 (t)表示连续的单独的图像之间的平移矢量T的z分量。
[0019] 根据一个实施例，缩放值使用傅立叶-梅林变换（FMT)来估计。在下文中，此傅立 叶-梅林变换进行简要地讨论；它对应于在变换成对数坐标和变换成极坐标之后的二维傅 立叶变换。
[0020] 在傅立叶-梅林变换中，至对数坐标的变换将真实空间中的缩放变换为频域中的 平移。此外，由于至极坐标的变换，在真实空间中的旋转被变换成频域中的平移。在此，本 发明利用了以下事实，傅立叶-梅林变换不仅关于平移不变，而且此外，旋转和缩放的变化 也分别表现为纯相移增加和与缩放变化相称的振幅变化。
[0021] 函数f的傅立叶-梅林变换，其中该傅立叶-梅林变换随后被称为Mf，因此从角坐 标的傅立叶变换和径向分量的梅林变换得出：
[0022]
[0023] 其中u是梅林变换参数且V是傅立叶变换参数。
[0024] 当叠加两个或更多个图像时，图像配准（即在图像处理中确定对准两个图像的参 数）构成了图像处理中的基本方法。在图像配准方法中，确定参数t，S和R，其中，R表示以 下形式的旋转矩阵：
(3)[0026] S表示缩放矩阵，代表X和y方向的缩放，形式如下：
[0025]
[0027] (4)
[0028] 其在沿着轴向同等缩放的情况下简化为缩放因子，以及t表示位移或平移。
[0029] 位移或平移t、旋转r和缩放s在傅里叶空间中分别具有对等物。基于傅立叶的方 法不同于其他标准方法，这由于在频域中搜索理想的对应关系这一事实。在此，基于傅立叶 的方法利用了傅立叶变换的位移定理和旋转定理，因为这些提供了关于平移、旋转和缩放 的不变性。根据位移定理，在真实空间中发生的位置变化不会导致傅立叶变换的幅度的变 化。
[0030] 根据一个实施例，平滑缩放值的时间分布，其中，特别是可以使用卡尔曼滤波器进 行平滑。
[0031] 根据一个实施例，单目摄影机用作摄影机。
[0032] 在此，根据本发明，在至少两个连续的单独的图像（"帧"）中生成的摄影机图像中 代表相关对象的光强度和所有像素数的变化进行了直接或立即测量。在此，以这些代表所 生成的图像中的相应对象这样的方式选定适当的选定像素的组。测量的强度变化可以使用 合适的滤波器进行平滑。
[0033] 根据本发明距离的计算实时发生，其中在每个时间点使用一方面摄影机和对象之 间的距离以及在两个连续的单独的图像中的对象的缩放的变化之间的非线性关系。然后， 使用强度的变化和之前测量的像素数得到平滑的缩放值。
[0034] 在此，根据本发明，特别是不需要光源，因为根据本发明计算距离的构思是基于估 计相关对象的缩放，旨在从两个连续的单独的图像建立相关对象的距离。换句话说，仅从建 立的摄影机数据（以及根据缩放为绝对值）计算或估计与相关对象的距离。
[0035] 在此，根据本发明的方法在以下方面特别有利，不需要摄影机移动（涉及倾斜或 倾斜角，俯仰角等）的精确补偿，也不需要确定车道倾斜或车道下降。
[0036] 此外，本发明还涉及一种用于估计行驶中的车辆和对象之间的距离的装置，其中， 该装置配置用于执行包含以上描述的特征的方法。关于该装置的优选实施例和优点，参考 结合根据本发明的方法的前述说明。
[0037] 本发明的进一步实施例可以从说明书和从属权利要求中获得。
[0038] 以下根据在所附附图中描述的实施例更详细地解释本发明。
[0039] 唯一的图1示出了用于根据本发明的实施例说明用于估计距离的方法的进度的 流程图。
[0040] 根据本发明，装配在车辆上的单目摄像机用于估计行驶中的车辆和对象之间的距 离，其中摄影机的光轴对应于车辆的平移运动的方向。对象可以是如车辆（静止的同样行 驶中的）或站立或移动的行人、或另一个道路使用者。
[0041] 然后，距离的计算使用从对摄影机记录的多个单独的图像的"跟踪"建立的缩放 s (t)根据上述已经提到的等式（1)来进行：
[0042] (1)
[0043] 在此，T2(t)表示连续的单独的图像之间的平移矢量T的z分量，其借助于惯性传 感器建立。原则上，对应于处于三维空间的点X= (X，Y，Z)的投影的像素 X= (x，y)从以 下式子得出：
[0044] (5)
[0045] 其中，f表示摄影机的焦距。为了良好的近似，以下z坐标可以被认为是常数，因 为它在面向摄影机的对象或障碍物的表面上的变化相对于对象和摄影机之间的距离相对 较小。
[0046] 如果属于在时间t和时间t+ Λ t之间发生的摄影机和对象之间的相对运动的路 线表示为T (t，At)，以下得出：
[0047] X(t+At) = X(t)+T(t, At) (6)
[0048] 在仅考虑平移运动的情况下，得出像素的变换的以下结果：
[0049]
[0050]
[0051] 在此，s (t)表示在时间t连续的图像之间的缩放。
[0052] 从上述等式（7)继续根据本发明的方法，其中在给定情况下，表明可以仅根据估 计对象图像的缩放因子估计距离是可能的。两个连续的单独的图像之间的图像缩放s(t) 和平移图像变换使用频域分析法来估计。
[0053] 根据图1，在步骤Sll和S12中根据边缘分析法使用在时间t记录的第一图像("图 像1"）和在时间t+ Λ t记录的第二图像（"图像2"）记录对象或障碍物。这样获得的图 像（"区域图像"）被馈送到包含傅立叶-梅林变换（FMT)的算法，其中，计算缩放s(t)和 平移矢量的分量1；(〇和1；(〇。在连续的单独的图像之间的平移矢量1；的2分量Tz(t)借 助于惯性传感器来确定。
[0054] 在步骤S20进行的图像分区之后和在步骤S30的图像的预处理之后，在步骤S40 中使用傅立叶-梅林变换估计缩放和固有运动，根据这个估计，在步骤S50在距离计算模块 中计算距离，将来自步骤S40的结果和步骤Sll和S12根据边缘分析法的对象或障碍物的 记录馈送给距离计算模块。在此，卡尔曼滤波器可以用于平滑缩放s(t)的时间分布。
【主权项】
1. 一种用于估计行驶中的车辆和对象之间的距离的方法，其中车辆包括摄影机， 其中， 该方法包含以下步骤： 使用摄影机在不同的时间产生至少两个单独的图像；以及 用图像配准方法以及根据这些单独的图像之间的缩放（S(t))估计与对象的距离； 其中在单独的图像之间的缩放（S(t))使用频域分析法来估计。2. 根据权利要求1所述的方法， 其中， 缩放值使用傅立叶-梅林变换来估计。3. 根据权利要求1或2所述的方法， 其中， 与对象的距离从缩放（s(t))根据以下关系来估计：其中Tz(t)表示连续的单独的图像之间的平移矢量T的z分量。4. 根据权利要求1到3之一所述的方法， 其中， 平滑缩放值的时间分布。5. 根据权利要求4所述的方法， 其中， 缩放值的时间分布在此使用卡尔曼滤波器来平滑。6. 根据前述权利要求之一所述的方法， 其中， 单目摄影机用作摄影机。7. -种用于估计行驶中的车辆和对象之间的距离的装置，其中车辆包括摄影机， 其中， 该装置设计用于执行如前述权利要求之一所述的方法。
【专利摘要】本发明涉及一种用于估计行驶中的车辆和对象之间的距离的方法和装置，其中车辆包括照相机。根据本发明的方法包含以下步骤：使用摄影机在不同的时间产生至少两个单独的图像，以及用图像配准方法以及根据这些单独的图像之间的缩放(s(t))估计与对象的距离，其中在单独的图像之间的缩放(s(t))使用频域分析法来估计。
【IPC分类】G01C3/00
【公开号】CN104913762
【申请号】CN201510104341
【发明人】莫森·拉克哈尔·阿亚特, 吉腾德拉·沙阿, 艾哈迈德·本米蒙
【申请人】福特全球技术公司
【公开日】2015年9月16日
【申请日】2015年3月10日
【公告号】DE102014204360A1, US20150251655