用于环境表示的方法
【专利摘要】本发明涉及一种用于环境表示的方法，其中分别拍摄环境（U）的两个图像并借助立体图像处理获得视差图。根据本发明，在所述视差图中通过如下方式识别出无障碍的自由空间（F）：使视差图的每个像点根据相应像点的视差值或者被分派给无障碍的地面（B）或者被分派给多个显示组（S11至Snu）之一，其中相同宽度的显示组（S11至Snu）由与图像平面距离相同或相近的像点形成，其中借助一个显示组（S11至Snu）或多个显示组（S11至Snu）使所述环境（U）中位于自由空间（F）外的目标（O1至Ok）被模型化。
【专利说明】用于环境表示的方法
【技术领域】
[0001]本发明涉及一种用于环境表示的方法，其中分别拍摄环境的两个图像并且借助立体图像处理/体视图像处理获取视差图。
【背景技术】
[0002]由文献DE102009009047A1已知用于目标检测的方法，其中分别拍摄环境的两个图像并且借助立体图像处理获取视差图。视差图也称为距离图像(Entfernungsbild)。由获取的视差来确定环境的景深图/高度地图，其中识别自由空间边界线，其划定环境的无障碍的区域。在自由空间边界线之外并且沿着自由空间边界线分割景深图，其方法是适合宽度的显示组(组合成一组的图像元素，Segment)由与图像平面/层相同或相似距离的像素形成。每个显示组的高度被估计为位于在无障碍的区域之外的目标的显示组，从而使每个显示组通过其底点的二维位置(通过与车辆纵轴线的距离和角度给出)以及其高度得到表征。视差图和景深图三维地描述和表示环境。
【发明内容】
[0003]作为本发明的基础的任务在于，提出一种相对于现有技术得到改善的用于环境表示的方法。
[0004]该任务按照本发明以具有权利要求1中所给出特征的方法来完成。
[0005]本发明有利的设计方案是从属权利要求的主题。
[0006]在用于环境表示的方法中分别拍摄环境的两个图像并且借助立体图像处理获取视差图。
[0007]按照本发明，在视差图中通过如下方式识别出无障碍的自由空间:使视差图的每个像点根据相应像点的视差值或者被分派给无障碍的地面或者被分派给多个显示组之一。其中相同宽度的显示组由与图像平面距离相同或相近的像点形成，其中借助一个显示组或多个显示组使所述环境中位于自由空间外的目标被模型化。
[0008]通过视差图描述的三维环境通过无障碍的自由空间得以近似。该自由空间例如是可行驶的区域，然而其并非必须是绝对平面的。自由空间通过柱状显示组限制，该柱状显示组整体地使包围自由空间的目标模型化。这些显示组在最简单情况下位于地面上并对在相应显示组的区域中的目标的平均高度进行近似。具有变化高度的目标、例如侧面的骑自行车的人便通过分段恒定的高度函数来描述。
[0009]也称为“stixel (柱状物建模)”的显示组是对目标的紧凑和鲁棒/稳健的表示，仅需要有限的数据量。对于每个stixel都存储位置和高度。该表示以特别有利的方式适用于必要情况下的随后步骤，例如目标形成和场景解读。“Stixel”表示是在与应用相关的立体分析与应用专有的分析处理之间的理想接口。
[0010]与现有技术相比，直接来自于视差图的无障碍自由空间的按照本发明的识别以特别有利的方式实现了:不需要为获得自由空间而额外地获得景深图。由此降低了工作的复杂性并且可以节省处理相关的资源。此外，由于直接由视差图识别出自由空间，所以可以通过全局优化根据可灵活限定的误差范围来获得最优表示。
[0011]此外，通过将每个像点或者分派给无障碍的地面或者分派给一个显示组，使得能够在一个图像间隙或图像条中存在多个目标，从而完整地、无缺陷地实现了环境表示。因此也可能的是，“以第二顺序”表示目标。换句话说:因为不是仅仅搜索“最可能的”目标，而是考虑了所有目标，所以不存在大的背景目标遮盖在视差图中更小的和可能重要的目标。
[0012]另外，通过按照本发明的方法整体上显著降低了错误的Stixel的出现概率并且显著提高了立体分析也就是说立体图像处理的作用范围。该提高特别是在50%至100%的范围中。如果作用范围的提高是不需要的，那么以特别有利的方式可能的是，在获取两个图像的图像获取单元之间的基本宽度是可减小的，从而需要更小的安装空间并且可以实现设计上的优势。
【专利附图】
【附图说明】
[0013]在下文中根据附图进一步阐述本发明的实施例。其中:
[0014]图1示意地示出根据现有技术的车辆环境的二维示图，其具有无障碍的自由空间和用于使环境中的目标模型化的多个显示组；以及
[0015]图2示意地示出根据本发明方法的车辆环境的二维示图，其具有无障碍的自由空间和用于对环境中的目标进行模型化的多个显示组。
【具体实施方式】
[0016]彼此相应的部分在所有附图中设有相同的附图标记。
[0017]图1示出根据现有技术的、车辆(未示出)的环境U的二维示图，其具有无障碍的自由空间F和用于使环境U中的目标01至Ok模型化的多个显示组SI至Sm。
[0018]显示组SI至Sm—也称为“stixel”——使目标01至Ok模型化，所述目标限制了所规定的无障碍的自由空间F。为了建立所示示图而采用由文献DE102009009047A1已知的用于目标检测的方法。
[0019]在此，首先分别拍摄环境U的两个图像并且借助立体图像处理获取视差图。由获取的视差确定环境U的景深图。
[0020]识别未详细示出的自由空间边界线，该自由空间边界线划定了环境U的无障碍的自由空间F。在自由空间边界线之外并且沿着自由空间边界线以如下方式分割景深图:由与一个图像获取单元或多个图像获取单元的图像平面距离相同或相近的像点一也称为像素一来形成具有预定宽度的显示组SI至Sm。该图像获取单元是摄像机。
[0021]所发现的自由空间边界线向具有任意预定宽度的显示组SI至Sm的逼近提供了设计为柱状的所述显示组SI至Sm的距离。在图像获取单元到环境U的取向已知一例如在设有图像获取单元的车辆前方的道路的所示例子中——并且三维走向已知的情况下，在图像中得出显示组SI至Sm的相应的底点。
[0022]随后估计每个显示组SI至Sm的高度，从而使每个显示组SI至Sm通过底点的二维位置以及其高度得到表征。
[0023]高度的估计在动态编程中借助对在相应显示组SI至Sm的区域中所有三维点的基于直方图的分析处理实现。
[0024]不具有显示组SI至Sm的区域是这些其中由自由空间分析没有发现目标01至Ok的区域。
[0025]不利的是，如果在景深图的分析中没有获取到小的或更远的目标01至0k，则没有显示组SI至Sm生成。这由此导致:具有少量视差测量值的小的目标01至Ok仅仅覆盖由噪声提供的小的信号强度。因此对目标01至Ok的检测可能性随距离(增大)而下降并且在所述的stixel范围中产生“孔”，这是因为无法分派每个像点。
[0026]假如在景深图的间隙中在相应的视角下具有多个目标01至0k，则算法决定目标01至Ok中的最近的一个。为了实现对于干扰的鲁棒性，同时发生的单元的证据被一并分析处理。在此，最多可能是视差图的每个间隙有一个显示组SI至Sm，从而以不利的方式被限制到每个间隙一个平面。在罕见的、但是在实际中重要的情况下，可能例如房子掩盖一个位于在其前面的篱笆，从而该篱笆不能被检测到并且因此不再是可见的。因为仅仅表示出了最近的目标01至0k，所以不能表示显示组覆盖的目标01至0k，例如位于在车辆后面的行人。
[0027]此外，显示组SI至Sm必须站立在地面表面B上。这可能对于在一定高度上伸出的目标导致错误的解读。
[0028]再者，景深图中的干扰可能导致存在错误的显示组SI至Sm。
[0029]图2根据本发明方法示出了与图1相同的环境U的二维示图，该环境具有无障碍的自由空间F和用于使环境U中的目标01至Ok模型化的多个显示组S11至Snu。
[0030]与由现有技术已知的根据图1的按照文献DE102009009047A1的方法的不同之处在于，本发明方法不再需要借助景深图的步骤。
[0031]虽然，同样首先借助于图像获取单元分别拍摄环境U的两个图像并且借助于立体图像处理获取视差图。图像获取单元是摄像机，然而也可以设计为光混合检测器、三维摄像机、激光雷达和/或雷达。例如对于立体图像处理可以应用在“H.HirschmiilIer:Accurateand efficient stereo processing by sem1-global matching and mutual information.CVPR2005, San Diego, CA.Volume2.(June2005)，pp.807 - 814” 中描述的方法。
[0032]但是，以如下方式直接在视差图中识别无障碍的自由空间F:使视差图的每个像点根据相应像点的视差值或者被分配给无障碍的地面B或者分配给多个显示组S11至Sn11之一。所基于的几何上的假设是:通常在多个平面El至En中存在目标01至Ok的深度梯级。也就是说存在如下可能:在视差图的间隙中可以示出多个目标01至0k。为了能示出该深度梯级，根据在相应间隙中平面El至En的数量多个显示组S11至Sn11叠置地设置在视差图的相关间隙中。在此，符号η说明在视差图的相应间隙中的显示组号码，而符号U、所谓的图像间隙符号说明在视差图中的相应间隙的号码。在示出的实施例中，视差图分为三个平面El 至 Ε3。
[0033]自由空间F在此由使目标01至Ok模型化的显示组S11至Sn11界定。因为每个像点都被分派，所以在所谓的stixel范围中不产生“孔”。也就是说，如在示出的实施例中示出的那样，可以使环境U中的所有目标01至Ok都被表示出，其中显著提高了立体图像处理的有效的作用范围，从而也可以获取更远的目标01至0k。
[0034]在此，使相同宽度的显示组S11至Sn11由与图像获取单元的图像平面距离相同或相近的像点形成，借助该图像获取单元来获取图像。借助显示组S11至Sn11又在自由空间F外使目标Ol至Ok模型化。在此，每个显示组S11至Sn11通过底点的二维位置以及其高度得到表征。也可以替代或附加于所示的垂直设置，使显示组S11至Sn11以未详细示出的方式水平地设置。
[0035]在同一个间隙中叠置有多个显示组S11至Sn11的所示方案中，需要对相应显示组S11至Sn11的下棱边和上棱边作出特别精确的分析。也就是说，除了显示组S11至Sn11的竖直边界之外也确定其水平边界。
[0036]显示组S11至Sn11的水平和竖直边界借助能量函数的数学优化由像点的视差值确定。在此，优选使用二次能量函数。然而这不是必要的。
[0037]特别优选地，使用动态编程进行数学优化，其中在所述动态编程中相互独立地确定相邻的间隙。由于彼此独立地确定显示组S11至Sn11涉及一维问题，该问题借助于动态编程可以特别有效地得以解决。动态编程例如按照“David Gallup, Marc Pollefeys andJan-Michael Frahm: 3d reconstruction using an n-layer heightmap;In:Proc.DAGM,pagesl - 10, September2010，，实施。
[0038]为了产生环境U的有表现力的表示，给显示组S11至Sn11分派多种多样的属性。为此，在待优化的函数中考虑相应像点的运动信息、待确定目标级的对应关系、灰度值信息和/或颜色信息。此外，确定显示组S11至Sn11与一个或多个目标01至Ok的对应关系，并给所述显示组S11至Sn11设置关于其对应关系的信息。
[0039]描述在空间中的运动的运动信息优选通过对相应像点的光流(optischen Fluss)进行积分来获取，并被分派给每个显示组S11至Sn11作为运动向量，其中为此顺序地获取并且处理多个视差图并且光流由相继的视差图中的变化获取。因此，对于显示组S11至Sn11中的每一个估计出真实的运动。相应的方法例如由用于6D版本的工作已知，该工作在文献DE102005008131A1中公开。该运动信息进一步简化了对目标01至Ok的分组，因为可以检查出一致的/兼容的运动进行检查。
[0040]基于对运动信息处理的认识和可能性，也可以表示出运动的情景并且例如将其用于对目标01至Ok的预期运动进行预测。这种类型的运动跟踪也作为“tracking”是已知的。在此，为了确定显示组S11至Sn11的运动而获取车辆自身运动并且对其进行考虑以用于补偿。显示组SI至Sm的紧凑性和鲁棒性由在相应显示组S11至Sn11的范围中多个像点的积分以及-在使用tracking时-由在时间上的附加的积分引起。
[0041]相应显示组S11至Sn11的底点的位置、显示组S11至Sn11的高度和运动信息优选借助于所谓的场景流获取。场景流涉及如下种类的方法:由至少两个依次的立体图像对尝试尽可能对于每个像点获取在空间中正确的运动及其三维位置。
[0042]显示组S11至Sn11具有明确的相邻关系，由此可以将它们非常简单地分组到目标01至Ok。在最简单的情况下，对于每个显示组S11至Sn11可以仅仅传输距离和高度，在显示组S11至Sn11的已知宽度下由一个符号产生角度，也就是在图像中的间隙。
[0043]所示出的stixel范围——其也是所谓的多层stixel范围——代表在环境U中的几何情况并且以特别的方式也适用于另外的处理步骤。
[0044]在此，可以基于所识别出的显示组S11至Sn11在车辆中生成用于驾驶员辅助系统的信息，在所述车辆上设有用于拍摄图像的图像获取单元。[0045]例如，在自动运动的车辆中根据所确定的自由空间F能用于注意力控制或用于进行规划/计划。
[0046]另外，可以估计在车辆与通过显示组S11至Sn11表示的目标01至Ok相撞之前所剩余的时间。此外，可以将行驶通道设置到无障碍自由空间F中，该自由空间应该由车辆利用，其中获取目标01至Ok中至少一个与行驶通道的侧向间距。
[0047]同样地重要的是:识别出特别是运动的目标01至Ok从而为转弯辅助系统、自动行车灯电路、行人保护系统和紧急制动系统提供支持。
[0048]再者，另外的传感器的信息与被分派给显示组S11至Sn11的、用于支持驾驶员辅助系统的信息在同一个传感器组合系统中被组合。为此特别考虑有源传感器，例如激光雷达。
[0049]附图标记列表
[0050]B 地面
[0051]El 平面
[0052]E2 平面
[0053]E3 平面
[0054]F自由空间
[0055]01 至 Ok 目标
[0056]SI至Sm显示组
[0057]S11 至 Sn11 显示组
[0058]U 环境
【权利要求】
1.一种用于环境表示的方法，其中分别拍摄环境(U)的两个图像并且借助立体图像处理获得视差图， 其特征在于，在所述视差图中通过如下方式识别出无障碍的自由空间(F):使视差图的每个像点根据相应像点的视差值或者被分派给无障碍的地面(B)或者被分派给多个显示组(S11至Sn11)之一，其中相同宽度的显示组(S11至Sn11)由与图像平面距离相同或相近的像点形成，其中借助一个显示组(S11至Sn11)或多个显示组(S11至Sn11)使所述环境(U)中位于自由空间(F)外的目标(Ol至Ok)被模型化。
2.根据权利要求1所述的方法，其特征在于，如果在视差图的一个间隙中在不同平面(El至E3)内示出多个目标(01至0k)，则在视差图的该一个间隙中使多个显示组(S11至Sn11)叠置。
3.根据权利要求1或2所述的方法，其特征在于，作为显示组(S11至Sn11)的边界相应地确定出侧边界、下边界和上边界。
4.根据权利要求3所述的方法，其特征在于，显示组(S11至Sn11)的边界借助于能量函数的数学优化由像点的视差值来确定。
5.根据权利要求4所述的方法，其特征在于，使用二次能量函数。
6.根据权利要求4或5所述的方法，其特征在于，使用动态编程进行数学优化，其中在所述动态编程中相互独立地确定相邻的间隙。
7.根据权利要求3至6之一所述的方法，其特征在于，在确定显示组(S11至SnIi)的边界时考虑相应像点的运动信息、灰度值信息和/或颜色信息。
8.根据权利要求7所述的方法，其特征在于，依次获得多个视差图并对所述多个视差图进行处理，其中通过对相应像点的光流进行积分而由相继的视差图中的变化获得运动信息并将所述运动信息分派给每个显示组(S11至Sn11)作为运动向量。
9.根据上述权利要求之一所述的方法，其特征在于，确定出显示组(S11至Sn11)与一个或多个目标(01至Ok)的对应关系，给显示组(S11至Sn11)设置关于其对应关系的信息。
10.根据上述权利要求之一所述的方法，其特征在于，基于显示组(S11至Sn11)生成供拍摄图像的图像获取单元所在的车辆中的驾驶员辅助系统使用的信息。
【文档编号】G06T7/00GK103765439SQ201280042239
【公开日】2014年4月30日 申请日期:2012年7月21日 优先权日:2011年8月30日
【发明者】U·弗兰克, D·普法伊费尔 申请人:戴姆勒股份公司