专利名称：检测对象的方法
技术领域：
本发明涉及根据权利要求1的前序的检测对象的方法。
背景技术：
现代的立体方法以及距离测量传感器(例如PMD、激光雷达或高分辨率雷达)生成周围环境的三维图像。从这些数据，可提取相关对象，例如静态的或移动中的障碍物。在实践性应用中，从原始数据到对象的步骤很多，通常导致许多启发式特殊方案。因此，对于这样的进一步处理，期望涉及小数据量的紧凑提取。立体图像处理的已知方法操作于非密集的立体图片，并使用认为适合的启发法直接提取对象。通常，不存在支持这个步骤的非抽象水平。依据US2007/0274566A1，已知一种行人检测的方法，其中记录了在车辆前面的景象的图像。在这个图像中，随后计算表示特征点的像素的速度和方向。将这个处理中获得的像素的坐标转换成平面图。在这个处理中，确定特征点是代表二维还是三维对象。如果对象是三维的，则确定对象是否在移动中。基于对象移动的速度的改变，确定对象是否为行人。在提取特征点时，检测和弱化对象的边缘，因此确定边缘的中部。然后，再一次扩展弱化的边缘，使得边缘具有预定宽度，例如3个像素，从而对象的所有边缘具有等同宽度。
发明内容
本发明基于指定用于检测对象的改进方法的问题。根据本发明，这个问题通过具有权利要求1的特征的方法来解决。有利的进一步发展形成从属权利要求的主题。在根据本发明的检测对象的方法中，通过传感器系统获得水平和垂直角度上的距离图像，其中周围环境的深度图依据所述距离图像来确定。根据本发明，识别界定周围环境的无障碍区域的自由空间界定线，用距离一平面具有相等或类似距离的像素形成适当相等宽度的段，从而在自由空间界定线之外并沿着自由空间界定线将所述深度图分段，其中每个段的高度被估计为位于无障碍区域以外的对象的一部分，从而每个段通过基点的二维位置(例如通过相对于车辆的纵轴的距离和角度来确定)以及通过其高度来表征。通过距离图像和深度图描述的三维周围环境通过无障碍区域(还称为自由空间区域)来近似。无障碍区域例如可以是可通行区域，但不必是平坦的。无障碍区域通过类似杆状的段来界定，其作为整体模型化了围绕无障碍区域的对象。在最简单的情况下，这些段竖立在地面上，并接近各个段的区域中的对象的平均高度。可变高度的对象(例如从侧面观看的骑车人)在这里通过分段恒定高度功能来描述。这样获得的段(还称为stixel)形成对象的紧凑和粗略的表示，并且仅需要有限的数据量，而不管用于提供深度图的立体对应性分析的密度。对于每个stixel存储位置和高度。这个表示最佳地适合于任意随后步骤，例如对象形成和景象解释。Mixel表示提供了独立于应用的立体分析和应用专用的估计之间的理想接口。
以下参照附图更详细说明本发明的实施例。在附图中图1是周围环境的二维表示，其具有自由空间界定线和多个段，用于模型化周围环境中的对象。
具体实施例方式图1示出周围环境1的二维表示，其具有自由空间界定线2和多个段3，用于模型化周围环境1中的对象4. 1至4. 6。段3或stixel模型化了由自由空间界定线2界定的自由驾驶空间。为了生成附图中所示的表示，使用这样一种方法，其中记录两个图像，其每一个表示相应周围环境，并通过立体图像处理获得差异图像。对于立体图像处理，可使用例如 [H. Hirschmiiiiller ,Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information", CVPR2005, San Diego, CA, Volume 2 (June 2005), pp. 807-814]中所述的方法。从由此获得的差异，生成周围环境的深度图，例如[H. Badino, U. Franke, R. Mester :Free Space Computation using Stochastic Occupancy Grids and Dynamic Programming，，in Dynamic Programming Workshop for ICCV07,Rio de Janeiro,Brazil] 所述。识别界定周围环境1的无障碍区域的自由空间界定线2。在自由空间界定线2之外并沿着自由空间界定线2，通过用距离一个或多个相机的图像平面相等或类似距离的像素形成预定宽度的段3来将深度图分段。例如可通过[H. Badino, U. Franke, R. Mester :Free Space Computation using Stochastic Occupancy Grids and Dynamic Programming" in Dynamic Programming Workshop for ICCV07, Rio de Janeiro, Brazil]中所述的方法来执行分段。建立的自由空间界定线2到预定宽度(任意可能预设)的段3 (杆、stixel)的近似提供了段的距离；如果相机对于周围环境(例如在安装相机的车辆前方的道路)的方位和3D布局已知，则获得图像中段3的各个基点。然后，对于每个段3估计高度，从而每个段3由基点的二维位置以及由其高度来表征。在最简单的情况下，可通过段的区域中所有3D点的基于直方图的估计来估计高度。这个步骤可使用动态编程来实现。不包含任何段3的区域是通过自由空间分析没有发现对象的区域。可依次记录和处理若干图像，其中可从深度图和差异图像的改变提取移动信息， 并分配给段3。这样，也可表示移动景象，并且例如将其用于预测对象4. 1至4. 6的预期移动。这样类型的移动追踪还称为跟踪。为了确定段3的移动，可检测车辆本身的移动，并用于补偿。段3的紧凑和粗略源自在段3的区域中多个像素的整合，以及-在跟踪变形中-源自随时间的额外整合。
可将对象4. 1至4. 6之一的每个段3的分配与关于每个段的其他信息一起存储。 然而，并非绝对必要。移动信息例如可通过光流的整合来获得，从而可对于每个段3估计真实移动。适当方法例如从DE102005008131 Al公布的6D视觉的工作已知。这个移动信息还简化了对象的分组，因为他允许检查一致的移动。段3的基点的位置、高度和移动信息可通过景象流获得。景象流是一种方法，目标为从至少两个连续的立体图像对尽可能地确定出空间中的正确移动以及每个图像点的3D 位置-见[Sundar Vedulay, Simon BakeryiPeter Randeryz, Robert Collinsy and Takeo Kanade :"Three_Dimensional Scene Flow，，，appeared in 7th International Conference on Computer Vision, Corfu，Greece，Septemberl999]。基于识别的段3，可以为安装相机的车辆中的驾驶员辅助系统生成信息。例如，可估计在车辆与段3代表的对象4. 1至4. 6碰撞之前剩余的时间。此外，驾驶通道5可位于车辆要使用的无障碍区域，其中确定至少一个对象4. 1至 4. 6与驾驶通道5的横向距离。此外，可识别重要的，特别是移动中的，对象4. 1至4. 6，以支持转向辅助系统和/ 或自动驾驶照明电路和/或行人保护系统和/或紧急制动系统。可以将来自其他传感器的信息与向段3分配的支持驾驶员辅助系统的信息相结合(传感器融合)。这特别地应用于活动传感器，例如LIDAR。段3的宽度可设置为例如5个图像点。对于具有VGA分辨率的图像，这得到最大 640/5 = 1 个段，这通过距离和高度来清楚地描述。段3具有清楚的近似关系，并且可因此通过非常简单的方式对于对象4. 1至4. 6分组。在最简单的情况下，对于每个段3仅必须传送距离和高度；如果段3的宽度已知，则从索引获得角度(图片中的圆柱)。距离图像可在水平和垂直角度上通过任何传感器系统来确定，并且可以从距离图像确定周围环境的深度图。周围环境1的两个图像可具体地通过每个相机来记录，并且差异图像可通过立体图像处理来获得，距离图像和深度图依据差异来确定。此外，照片混合检测器和/或三维相机和/或激光雷达和/或雷达可用作传感器系统。附图标号列表1周围环境2自由空间界定线3 段4. 1 至 4. 6 对象5驾驶通道
权利要求
1.一种检测对象的设备，其中通过传感器系统获得水平和垂直角度上的距离图像，其中周围环境(1)的深度图依据所述距离图像来确定，其特征在于，在所述距离图像中识别界定周围环境(1)的无障碍区域的自由空间界定线O)，用距离一平面具有相等或类似距离的像素形成相等宽度的段(3)，从而在自由空间界定线(1)之外并沿着自由空间界定线 (1)将所述深度图分段，其中每个段(3)的高度被估计为位于无障碍区域以外的对象(4. 1 到4. 6)的一部分，从而每个段C3)通过基点的二维位置以及通过其高度来表征。
2.如权利要求1所述的方法，其特征在于，周围环境(1)的两个图像的每个通过每个相机来记录，并且差异图像通过立体图像处理来获得，距离图像和深度图依据检测的差异来确定。
3.如权利要求1所述的方法，其特征在于，照片混合检测器和/或三维相机和/或激光雷达和/或雷达用作传感器系统。
4.如权利要求1至3中任一项所述的方法，其特征在于，依次获得和处理若干距离图像，其中从深度图的改变提取移动信息，并将其分配给段(3)。
5.如权利要求4所述的方法，其特征在于，移动信息通过光流的整合来获得。
6.如权利要求1至5中任一项所述的方法，其特征在于，确定段(3)到对象(4.1至 4. 6)之一的分配，以及向段(3)提供关于他们到对象(4. 1至4. 6)之一的分配的信息。
7.如任一项权利要求所述的方法，其特征在于，段3的基点的位置、高度和移动信息通过景象流获得。
8.如任一项先前权利要求所述的方法，其特征在于，通过段(3)的区域中所有三维点的基于直方图的估计来确定段(3)的高度。
9.如任一项先前权利要求所述的方法，其特征在于，基于识别的段(3)，为安装有用于记录图像的相机的车辆中的驾驶员辅助系统生成信息。
10.如权利要求9所述的方法，其特征在于，估计在车辆与段(3)代表的对象(4.1至 4. 6)碰撞之前剩余的时间。
11.如权利要求9或10所述的方法，其特征在于，驾驶通道(5)位于无障碍区域，其中确定对象(4. 1至4. 6)中的至少一个与驾驶通道(5)的横向距离。
12.如权利要求9至11中任一项所述的方法，其特征在于，识别关键对象1至4.6)， 以支持转向辅助系统和/或自动驾驶照明电路和/或行人保护系统和/或紧急制动系统， 和/或当在车道上驾驶时支持驾驶员。
13.如权利要求9至12中任一项所述的方法，其特征在于，将来自其他传感器的信息与向段(3)分配的支持驾驶员辅助系统的信息相结合。
全文摘要
本发明涉及一种检测对象的方法，其中获取周围环境(1)的两个图像并通过立体图像处理确定差异图像，其中从确定的差异确定出周围环境(1)的深度图，其中识别自由空间界定线(2)，其界定周围环境(1)的无障碍区域，其中在自由空间界定线(1)之外并沿着自由空间界定线(1)，用距离一图像平面相等或类似距离的像素形成适当宽度的段(3)，从而将深度图分段，其中每个段(3)的高度被估计为位于无障碍区域以外的对象(4.1到4.6)的一部分，从而每个段(3)通过基点的二维位置(例如到车辆纵轴的距离和角度)以及通过其高度来表征。
文档编号G06K9/00GK102317954SQ201080007837
公开日2012年1月11日 申请日期2010年2月4日 优先权日2009年2月16日
发明者H·巴迪诺, U·弗兰克 申请人:戴姆勒股份公司