借助伪随机图案序列的投射以及立体摄像模块的三维环境感测的制作方法

本发明涉及一种确保三维环境感测的车辆用摄像装置，以及一种借助所述摄像装置进行三维环境感测的方法。所述装置和方法尤其可用在驾驶员辅助系统领域。

背景技术：

为识别车辆周围环境中的目标，将立体摄像装置用于三维环境感测。为计算距离信息，使摄像图像之间的图像信息相关联。

在车辆周围环境中用于由立体图像之间的相关性确定距离信息的常用方法是半全局匹配(sgm)。

在此，可能会出现以下问题：

在有利的照明条件下(例如白天)，视频图像中大部分情况下存在足够的纹理信息来确定密集的(图像充填)深度信息。因此，对立体图像处理而言，大部分情况下仅凭日光便足以进行相关分析。

然而，在不良的照明条件下(例如夜间)，尽管车辆有照明，但所使用的立体相关法(sgm)会迅速达到其极限。由于所用成像器的有限的暗灵敏度，视频传感装置的图像中的结构在夜晚无法足够好地被相互关联。

长曝光时间在夜间会造成一额外的负面影响，因为相关分析所要求的结构由于视频数据中的运动模糊而不再能被识别。

从de19730414a1中已知一种用于提前判断机动车辆轮子在其上滚动的车道的状态的方法，其中，由激光光源发射的激光图案通过三角剖分方法分析评估。

de202015105376u1中描述了一种三维立体摄像装置，该装置从一监视区域拍摄三维立体图像并且具有一照明单元，所述照明单元用于在监视区域生成结构化照明图案。在三维立体摄像装置中，两个摄像模块以一已知的相距彼此的固定距离安装，分别拍摄监视区域的图像。一分析评估单元设置成用于，通过图像数据计算三维立体图像，并首先生成没有结构化照明图案的监控区域的预扫描，并以所述预扫描和监视区域中所需的结构化照明图案计算一要投射的结构化照明图案。照明单元设置成用于实时投射像素分辨的量化的结构化照明图案，并具有可切换的发光二极管(led)阵列或激光二极管阵列。

de102015008551a1涉及一种用于校准机动车辆摄像单元的方法。一可预定义的图案借助机动车的前照灯投射到机动车的周围环境中。被投射到机动车辆周围环境中的可预定图案借助摄像单元被光学地感测。在考虑到光学感测图案的情况下，摄像单元被自动校准。

技术实现要素：

下文中，提出了一种确保三维立体周围环境的改进型检测的解决方案。根据本发明所述的用于车辆的摄像装置包括至少两个摄像模块，这两个摄像模块具有至少部分重叠的感测区域；摄像装置控制单元；分析评估单元和点光源投射装置。点光源投射装置的设置和配置方式是，使点光源投射装置将具有测量点的光图案投射到车辆周围环境。至少两个摄像模块的设置和配置方法是，使所投射的光图案的至少一部分在重叠的感测区域中成像。分析评估单元配置成用于，根据由至少两个摄像模块拍摄的图像数据确定车辆周围环境中的测量点的三维位置。点光源投射装置配置成用于，生成一个“伪噪声图案”序列作为光图案，其中，“伪噪声图案”按时间顺序/在时间上先后地(t0、t1、......、tn)被投射到车辆周围环境中。

摄像装置控制单元优选配置成用于，借助至少两个摄像模块建立投射序列与图像序列拍摄之间的时间关系。为此，摄像装置控制单元可将数据发送到点光源投射装置和/或从点光源投射装置接收数据。作为选项，摄像装置控制单元可预先规定至少两个摄像模块的同步拍摄起始时间。

术语“点光源投射装置”和“测量点”不应理解为仅提供圆形光点作为光图案的基础/组成部分。相反，它意味着投射装置能以至少不同的强度照亮平面区域。光图案例如可由“孔”(在其他均匀照明中的负标记/测量点)组成。也可使用相交线、角或棋盘格图案的光图案。

所述摄像装置控制单元或分析评估单元尤其可包括微控制器或微处理器，数字信号处理器(dsp)，专用集成电路(asic)，现场可编程门阵列(fpga)等许多类似器件，以及用于执行相应控制或分析评估步骤的软件等。

因此，本发明可在数字电子电路、计算机硬件、固件或软件中实现。

本发明的主题还涉及一种用于借助具有至少部分重叠感测区域的至少两个摄像模块以及点光源投射装置对车辆周围环境进行空间感测的方法。点光源投射装置将具有测量点的光图案投射到车辆周围环境中。所投射光图案的至少一部分在至少两个摄像模块的重叠感测区域中成像。根据用至少两个摄像模块所拍摄的图像数据确定车辆周围环境中测量点的三维位置。生成一个“伪噪声图案”序列作为光图案，它们在时间上先后地(t0、t1、......、tn)被发射到车辆周围环境中。所述方法尤其能以软件的形式在摄像装置的一个控制单元或多个控制单元或分析评估单元上实现。

其他有益的方面是从属权利要求的主题。明确摘录的说明内容构成了权利要求的内容。下面给出其他有益的方面。

由伪噪声序列构成的光图案

-点光源图案在任何时间点都是不规则的。

-所投射的光图案由一“伪噪声图案”序列构成，它们在时间上先后地(t0、t1、......、tn)被发射到车辆周围环境中。

-由于在时间上相继的“伪噪声图案”，在n个时间步长内，每个周围环境位置被光图案的测量点占位至少一次。

-摄像系统可籍此确定在每个空间方向均匀分布的三维测量值。

-在由立体摄像装置或视频传感装置拍摄的图像之间，各点光源图案会发生变换。

变换的点光源投射的持续时间

-点光源图案发射期间的持续时间与视频传感装置曝光时间适配成使得，点光源图案在视频传感装置的曝光阶段内是可见的。

调整光点的距离和大小，使其适配视频传感装置的相关性掩模大小

-对“伪噪声图案”内测量点之间的空间距离进行调整，使其适配立体摄像传感器的三角剖分算法的相关性掩模大小。

-照射的光点之间的角度相当于视频图像中补丁相关器大小的大约两倍。

-测量点不大于补丁相关器大小的1/3。

摄像装置和点光源投射装置的校准/耦合

-在所介绍方法的情况下，不需要在摄像系统和点光源之间进行校准。

-通过立体摄像装置或多摄像装置已完全实现三维测量功能。

-在本方法中，投射装置和摄像装置之间无须像“经典”结构化光源那样进行三角剖分。

-因此，不需要在摄像装置和投射装置之间进行机械耦合或校准。

三维位置和相对速度的直接测量

-由于投射装置和摄像装置之间的“准静态”安装，即使在摄像装置运动的情况下，也可对光点进行捕捉而不产生运动模糊。

-但是，如果在曝光时间内到一测量点的距离改变了，则在视频图像中立体图像内各相应光点处会发生一线性失真。

-因此，在线性失真的光点中，直接根据线性元素的长度确定测量点的相对速度。

-因此，相对于经典立体系统和激光系统，它能实现“直接”的速度测量，不然这种速度测量只能通过依次测量和跟踪来测定。

独立于行驶方向的组装

-可在车辆任意方向进行光图案构建和测量点检测。

-这独立于相关行驶方向。该系统可安装在车辆尾部或侧面。

-点光源投射装置可安装在挡风玻璃后或前照灯区。

日/夜模式＝>改善眼睛安全性

-根据周围环境光的不同，该系统可在两种运行模式下使用。

-在白天，立体系统在没有投射光点的情况下工作。在存在足够周围环境光的情况下，立体系统根据视频图像中的可见结构测定三维测量值。

-在所介绍的方法中不需要通过测量点的“日光过度感光”。因此，在眼睛安全方面，这带来了优于“经典”激光系统的优势(可发射更少的激光束/更少的光)。

-点光源投射装置用在夜间或光线条件不良的情况。由于残留光较低(没有日光)，为达到相当的作用范围，只需要较低的激光功率。

像素光源、车辆前照灯

-车辆中现存的发光二极管(led)前照灯(像素灯)可用作点光源。

-在此，点光源以较快序列变换，使得为驾驶员生成常规前照灯的均匀光分布。

-光点随时间变化，使得分析评估区域的每个区域在24分之一秒内至少被照明一次。

使用不可见的红外光

-可见范围或不可见范围内的光可被使用以用于测量点的投射。

-在使用不可见红外范围内的点光源时，可通过摄像装置中的红外线带通滤波器抑制周围环境光。

由光点编制三维深度图

-所述系统通过由立体传感器或多摄像传感器依时间顺序拍摄的三维点云中的三维测量值的重叠测定一“完整”的三维周围环境图。

-测量的时间重叠例如借助迭代最近点(icp)算法进行。

任意光图案

-替代指定的光图案(圆形光点)，也可使用由“孔”(其他均匀照明中的负标记/测量点)构成的点图案。

-也可使用相交线、角或棋盘格图案的图案。

利用多个传感器的应用

-点光源投射装置的光点可同时由多个传感器分析评估。

-传感器彼此之间以及与点光源投射装置之间不需要实现时间上的同步。

-替代立体摄像装置，还可使用由多个摄像装置组成的摄像系统进行三维测量点的三角剖分。

利用多个点光源投射装置的应用

-光点图案可由多个点光源投射装置的光点组合而成。

-投射装置可安装在车辆的不同位置处。

组装位置校准

-通过将光点投射到一平坦表面上，摄像系统可执行组装位置校准。

-在车辆静止不动和行驶期间可通过光图案进行摄像装置校准。

-可连续测定相对于一平坦表面(例如车道表面)的组装位置。

干扰的识别

-由于对点图案的连续监控，可识别车辆周围环境或光路中的干扰(例如由脏污导致的干扰)。

-如果图案的光点在一空间方向不再被识别，则存在缺陷或干扰。

-存在性(所有光点的识别)的测试在每次车辆启动前作为自检来执行。

所提出的解决方案的优点

-相对于经典的“结构化光”的方法，所提出的方法不需要在点光源和摄像系统之间进行校准。

-由于点光源投射不会相对于摄像装置移动，因此视频数据中没有“运动模糊”效果。

-该方法能在无纹理表面上进行距离测量。也要在其他“均匀”表面上对到图案点的距离进行测量/三角剖分。

-由于“变换的”光图案，三维立体测量值可在每个空间方向上均匀分布。

-相对于经典的立体摄像系统、多摄像装置系统和激光系统，可进行“直接”速度测量。

-相对于“经典”系统，在所提出方法中具有增大的作用范围，因为可见结构在白天用于视频图像中的距离测量。

-对于眼睛安全，也同样具有优势，因为相对于“经典”系统，所发出的激光束/光更少。

-不需要“特殊”的点光源。可使用车辆中已有的发光二极管(led)前照灯(像素光源)。

其它使用可能性

-环绕视野摄像装置(环绕视野摄像系统)的可能应用，即置于车辆侧面或后面的多个环绕视野摄像装置可借助三角剖分测定光点的三维位置。

附图说明

本发明的其他特征、优点和效果可从以下对本发明优选示例实施例的描述中得出。其中：

图1示意性地示出了用摄像装置将测量点投射到车辆周围环境；

图2示意性地示出了空间中的测量点的三维立体三角剖分；

图3示意性地示出了独立于行驶方向的点光源投射装置和立体摄像装置的布置结构；

图4示意性地示出了摄像装置的图像平面中的测量点的距离；以及

图5示意性地示出了伪噪声图案的时间序列。

具体实施方式

为改善尤其是夜间的立体性能，根据一示例性实施例，将激光点光源投射装置(3)与立体摄像装置(2)一起使用。图1描述了车辆(1)，该车辆具有朝向行驶方向，例如在车辆(1)的挡风玻璃区域中的立体摄像装置(2)。点光源投射装置(3)固定在车辆(1)上，以使其光图案被投射到车辆周围环境中。点光源投射装置(3)将具有显示为黑色实心圆的被照亮的测量点(6)的图案投射到车辆(1)前方的周围环境中。所示车辆(1)前方的周围环境对应于一平面，例如平整的车道表面。各个被激活的、例如点光源投射装置(3)的发光二极管(led)或激光二极管等照明元件的投射光束(5)在此示意性地以虚线表示。点光源投射装置(3)当前未被照亮的点(7)以白色圆圈表示。立体摄像装置(2)的两个摄像模块具有重叠区域，其中两个摄像模块的感测区域重叠。该重叠区域中的测量点(6)由两个摄像模块检测。图1中以实线示意性表示针对一个测量点的两个摄像模块的检测方向(4)。

图2说明如何可通过三角剖分确定测量点(16；26)的三维位置。立体摄像装置(2)包括第一摄像模块(21)和第二摄像模块(22)，它们通过一个壳体牢固地相互连接，并具有限定的基部宽度(彼此之间的侧面距离)。点光源投射装置(3)将被照亮的测量点(16、26)的图案投射到周围环境(10、11)中。该周围环境包括平坦表面(10)和抬高的立方体物体(11)。在平坦表面区域中，点光源投射装置(3)以与图1中的情形相比拟的方式投射具有被照亮的第一测量点(16)和未被照亮的表面(白色圆圈)的图案。第二测量点(26)和未被照亮的区域投射到抬高物体(11)的朝向点光源投射装置(3)的一侧(12)上。第一测量点和第二测量点(16、26)由立体摄像装置(2)的两个摄像模块(21、22)成像。以本身已知的方式，可根据第一摄像模块(21)和第二摄像模块(2)同时拍摄的图像中的测量点(16；26)的位移(差异)确定或计算车辆周围环境(10、11)的、被照亮的测量点(16、26)的三维位置。由此可重建所述三维立体周围环境。

在图3中，示意性地说明车辆(1)上的立体摄像装置(22)和点光源投射装置(33)作为替代选择的一种设置。在此情况下，可检测或测定车辆(1)左侧和后方的周围环境。其工作原理对应于先前图1和2的解释。

图4示意性地说明光点的距离和大小如何能与一相关性掩模(40；41)(补丁相关器)的大小相匹配。这里指的是可被投射装置照亮的两个相邻点之间的距离。“伪噪声图案”内测量点之间的空间距离适配于立体摄像装置传感器(2)的三角剖分算法的相关性掩模(40；41)大小。所发射的光点之间的角度相当于视频图像中立体相关法(sgm)补丁相关器大小的大约2倍。测量点不大于立体相关法(sgm)补丁相关器大小的1/3。

图5示意性地示出了n个随时间变化的伪噪声点光源图案的一个序列。点光源图案——即由点光源投射装置(3)照亮(6)和未照亮(7)区域的总体——在任何时候都不是规则的，而是伪随机地逐渐褪去。投射光图案(6、7)由一个序列的“伪噪声图案”构成，这些伪噪声图案在前后连续的时间点t0、t1、......tn发射或被投射到车辆周围环境。

图5中通过示例示出的图案分别包括10x10个点，从编号a1(左上)到j10(右下)。在时间点t0，点a2、a10、b7、c4、e2、e8、g6、g10、h3、i7、j1和j5被照亮。在随后的时间t1，点a5、b2、b8、c10、d6、e3、g1、g5、h8、i2、j6和j10被照亮。在时间点tn，点a1、a8、b4、c7、d3、d10、f5、g2、g8、h10、i6、j3和j9被照亮。

由于在时间上相继的“伪噪声图案”，在n个时间步长中，每个周围环境位置被光图案的测量点所占据至少一次。摄像装置由此可确定在每个空间方向上均匀分布的三维测量值，即三维立体点云。各点光源图案在摄像模块拍摄的图像之间变换。点光源图案发射期间的持续时间与摄像模块的曝光时间适配的方法是，使点光源图案在摄像模块曝光阶段内是可见的。通过所述系统使立体摄像装置依先后时间所拍摄的三维立体点云中的三维测量重叠来测定一“完整”的三维立体周围环境图。测量的时间重叠例如借助迭代最近点(icp)算法进行。