专利名称：用于机动车的驾驶辅助系统和方法
技术领域：
本发明涉及用于机动车的驾驶辅助系统，包括成像装置、处理装置和驾驶辅助装置，所述成像装置适应于记录来自机动车周围的图像，所述处理装置适应于执行由所述成像装置记录的图像的图像处理，所述驾驶辅助装置受控于所述图像处理的结果。本发明进一步涉及对应的驾驶辅助方法。
背景技术：
驾驶辅助系统的有效性和可靠性关键取决于至少在用于特定应用的关注的区域中记录的图像的足够的对比度。为了降低由于现场的亮度随时间的变化而引起的对比度恶化，已知不同的方法，基于记录的图像的图像处理，用以控制图像传感器的图像曝光/增益设定。这在例如EP1074430B1和DE10318499B4中描述。然而，存在对在不同条件下记录的图像进一步增强对比度的持续的需求。
发明内容
本发明的目标是提供驾驶辅助系统和方法，至少在关注的区域中，记录的图像有增强的对比度。本发明以独立权利要求的特征实现该目标。通过应用强度范围缩小算法，在随后的图像处理中可用的强度范围能够被集中到关注的强度范围。在该方式中，在关注的强度范围内的对比度能够被最大化，而信息损失实质上能够被限制在不太关注的强度区域。范围缩小包括截去记录的图像中的至少一个强度子范围，或者更普遍地，将记录的图像中的至少一个强度子范围压缩为更小的强度区间的步骤。优选地，强度范围缩小算法使用至少一个范围缩小参数，特别是强度阈值。优选地，记录的图像中落在强度阈值之外的强度被截去，即在进一步的图像处理中不再考虑。这是有利的，因为记录的图像中的极端强度区域对于多数应用通常是不太关注的，并且通常能够被截去，而在关注的强度区域中没有太多的信息损失。强度范围缩小算法可以应用低的强度阈值，所述低的强度阈值以下的强度被截去(即被设定为所述低的强度阈值)，以及 /或者高的强度阈值，所述高的强度阈值以上的强度被截去(即被设定为所述高的强度阈值)。在本发明的优选实施例中，范围缩小参数由从所述图像数据获取的特征量(特别是特征向量)得到的回归函数进行估计。通过回归函数动态生成用于强度范围缩小算法的优化的范围缩小参数，允许对于不同的应用使用相同的强度范围缩小算法，例如对于使用不同波长区间的照相机或不同的车辆模型。由此，设计用于各个特定应用的特定的强度范围缩小算法不再是必须的。优选地，回归函数通过训练算法从训练数据获得。训练算法优选地是基于非参数回归，例如支持向量回归或神经网络技术。训练数据便利地包括源于训练图像数据的多个特征量，特别是特征向量。此外，训练数据优选地包括至少一个对于各个训练图像预先确定的范围缩小参数，形成用于训练过程的地面真实的数据。在优选的实施例中，对于特定的训练图像，预先确定的范围缩小参数被自动选择， 使得即将被进一步处理的强度范围包括在所述训练图像数据中的至少一个选择的区域 (更普遍地是选择的数据)的强度。在对象探测应用中，该区域可以被特别地选择，以覆盖或对应即将被探测的对象，例如行人或其它车辆。例如，通过将用于训练的强度阈值选择为训练图像中标明的行人的最大的和/或最小的强度，能够保证行人的强度位于选择的范围之内。然而，本发明不限于自动确定用于训练的适宜的范围缩小参数。在其它实施例中，用于训练的至少一个范围缩小参数能够手动设定。源于图像数据并且由回归函数使用的特征量优选地包括图像数据的强度/亮度分布或谱，其可以具有柱状图的形式。此外，特征量优选地包括来自至少一个车载传感器 (特别是来自环境温度传感器)的数据。
下面将参照附图，以优选的实施例为基础描述本发明，其中图1示出了用于机动车的驾驶辅助系统的示意图；图2示出了描述强度范围缩小过程的流程图；图3示出了描述强度谱和映射函数的示意图；图4示出了描述用于获得回归函数的训练过程的流程图。
具体实施例方式驾驶辅助系统10安装在机动车中并且包括成像装置11，成像装置11用于记录机动车周围的区域(例如机动车前方的区域)的图像。优选地，成像装置11包括一个或多个可见光和/或红外成像设备12，特别是照相机，其中红外线包括具有5微米以下波长的近红外线和/或具有5微米以上波长的远红外线。优选地，成像装置11包括多个成像设备12， 特别地形成立体成像装置(stereo imaging means) 11 ；可选择地，能够仅仅使用一个成像设备形成单成像器装置(mono imaging means)。成像装置11优选地与图像预处理器13连接，图像预处理器13 (其本身是本领域中公知的)适应于控制由成像装置11获取的图像，从图像传感器21a、21b接收包含图像信息的电信号，将成对的左/右图像排列成直线并且/或者产生差异图像。图像预处理器13 可以由专门的硬件电路实现。可选择地，预处理器13或其部分功能，能够在电子处理装置 14中实现。预处理的图像数据接下来被提供至电子处理装置14，进一步的图像和数据处理由相应的软件在电子处理装置14中执行。特别地，处理装置14中的图像和数据处理包括以下功能对机动车周围可能存在的对象(例如行人、其它车辆、骑自行车的人或者大型动物)的识别和分类；随时间跟踪记录的图像中识别的候选对象的位置；根据对象探测和跟
踪处理的结果，启动或控制驾驶辅助装置18、19.......便利地，电子处理装置14具有对电
子存储装置25的存取。驾驶辅助装置18、19......可以特别地包括显示装置18，用于显
示与识别的对象相关的信息并且/或者向驾驶员提供视觉的碰撞预警。驾驶辅助装置18、 19......可以进一步包括预警装置19，预警装置19适应于通过适宜的光学、声学和/或触觉预警信号，向驾驶员提供碰撞预警；驾驶辅助装置18、19......可以进一步包括一个或
多个安全系统，特别是约束系统(例如乘客安全气囊或安全带张紧器、行人安全气囊、发动机罩升降器(hood lifter)等)和/或动态车辆控制系统(例如制动器)。电子处理装置14优选地被编程或者是可编程的，并且可以包括微处理器或微控制器。图像预处理器13、电子处理装置14和存储装置25优选地在车载电子控制单元(EOT) 中实现，并且可以经由单独的电缆或者可选择地，经由车辆数据总线与成像装置11连接。 在另一实施例中，ECU和成像设备12能够集成到单一单元中。从成像、图像预处理、图像处
理到驾驶辅助装置18、19......的启动或控制的所有步骤，实时地在驾驶过程中自动且连
续地执行。在处理装置14中，在对象识别过程之前，强度范围缩小过程被应用于成像装置11 记录的图像，如图2所示。可选择地，强度范围缩小过程可以在图像预处理器13中执行。下面通过实例，假设在进一步的图像处理中使用8比特处理，即0到255之间的值可用于表示即将进一步处理的强度范围。在简单的方式中，例如最低的强度值Imin可以指定为0，最大的强度值Imax可以指定为255，而Imin和Imax之间的强度值可以在0到255之间线性地按比例确定。这将对应由图3中的虚线41表示的整体是线性的映射函数fm。然而根据本发明，范围缩小算法31应用于成像装置11记录的原始图像数据30。 范围缩小算法31应用适宜将不太关注的区域从强度谱上截去的映射函数fm，从而向被认为包含了关注信息(如本发明中的被探测的对象)的剩余强度区域提供更高的对比度。在本实施例中，使用范围缩小映射函数42，其适应于截去强度谱的低于第一阈值Itl的强度(即 Imin和Itl之间的强度)部分和高于第二阈值I1的强度(即I1和Imax之间的强度)部分，并且将阈值Itl和I1之间的强度值线性映射为可用的值，在本实例中是0到255之间的值。对应的范围缩小的图像32在数据处理装置14中使用，用于进一步的图像处理。在可选择的实施例中，例如可以使用在Imin和1工之间或者、和Imax之间延续的线性映射函数。此外，本发明不限于线性映射；可以使用其它映射函数，例如对数映射函数。在强度范围缩小过程中，范围缩小参数(在该实例中是强度阈值I。I1)优选地不是预先设定的固定值，而是对于所考虑的图像数据，特别是对于每个记录的图像的最优选择，以便对不同条件允许范围缩小算法的动态调节。对于记录的图像，确定最优的范围缩小参数的优选方法包括从原始图像30中提取特征向量34，优选地还使用来自车载传感器20(见图1)的传感器数据33，特别是由车载环境温度传感器21测量的环境温度。特征向量34可以是例如图3中示出的图像柱状图， 其仅仅示意性地示出了记录的图像的强度谱柱状图40，给出了像素数n，对像素数n，强度I 具有特定值或者位于特定的强度区间ΔI之内。整个强度谱位于所考虑的图像中最小的强度Imin和最大的强度Imax之间。特征向量34用于回归函数35，回归函数35适应于从输入的特征向量34计算最优的范围缩小参数36，在此是强度阈值Itl和Ip最优的范围缩小参数36接下来被提供至范围缩小算法31，以允许所考虑的记录的图像的最优的范围缩小，即范围缩小使得从Itl到I1 的关注的强度范围中的对比度最大化，而使得截去在强度阈值I1之外的强度值引起的信息损失最小化。图4示出了通过训练而设计适宜用于上述范围缩小算法的回归函数35的优选方法。在此，以与图2中对于特征向量34描述的相同的方式，从训练图像数据50中提取特征向量52，在采用训练图像50时，进一步使用来自车载传感器的传感器数据51。该特征向量 52与地面真实的范围缩小参数53 —起被输入机器学习算法M。在本实例中，范围缩小参数是强度阈值Io、I1，其选择使得阈值Itl和I1之间的强度区域准确地限定了对于特定应用的关注的强度区域。例如在热感行人识别系统中，选择阈值Ip I1以形成尽可能窄，然而本质上覆盖行人表现出的所有温度的强度区域。用来自数量足够多的训练图像50的训练数据训练机器学习算法Μ，产生即将用于范围缩小算法的近似最优的回归函数35。
权利要求
1.一种用于机动车的驾驶辅助系统(10)，包括成像装置(11)、处理装置(14)和驾驶辅助装置(18、19)，所述成像装置(11)适应于记录来自机动车周围的图像，所述处理装置 (14)适应于执行由所述成像装置(11)记录的图像的图像处理，所述驾驶辅助装置(18、19) 受控于所述图像处理的结果，其特征在于，所述处理装置(14)适应于将强度范围缩小算法 (31)应用于由所述成像装置(11)记录的图像数据(30)。
2.根据权利要求1所述的驾驶辅助系统，其特征在于，所述强度范围缩小算法(31)使用从所述图像数据(30)估计的至少一个范围缩小参数(36)。
3.根据权利要求2所述的系统，其特征在于，所述至少一个范围缩小参数(36)包括至少一个强度阈值(I0^I1)o
4.根据权利要求2或3所述的系统，其特征在于，所述至少一个范围缩小参数(36)被通过从所述图像数据(30)获取的特征量(34)得到的回归函数(3 估计。
5.根据权利要求4所述的系统，其特征在于，源于所述图像数据(30)的所述特征量 (34)是特征向量。
6.根据权利要求4或5所述的系统，其特征在于，所述特征量(34)包括所述图像数据 (30)的强度谱(40)。
7.根据权利要求4-6中任意一项所述的系统，其特征在于，所述回归函数(35)通过训练算法(54)从训练数据获得。
8.根据权利要求7所述的系统，其特征在于，所述训练算法(54)基于非参数回归。
9.根据权利要求7或8所述的系统，其特征在于，所述训练数据包括源于所述训练图像数据(50)的多个特征向量(52)。
10.根据权利要求7-9中任意一项所述的系统，其特征在于，所述训练数据包括至少一个对于各个训练图像预先确定的范围缩小参数(53)。
11.根据权利要求4-10中任意一项所述的系统，其特征在于，所述特征量(34)被使用来自至少一个车载传感器的传感器数据(33)，从所述图像数据(30)确定。
12.根据权利要求11所述的系统，其特征在于，对于特定的训练图像(50)，所述预先确定的范围缩小参数(5 被自动选择，使得对应的强度范围包括在所述训练图像(50)中至少一个选择的区域的强度。
13.根据权利要求11所述的系统，其特征在于，所述预先确定的范围缩小参数能够手动设定。
14.一种用于机动车的驾驶辅助方法，包括记录来自机动车周围的图像，执行所述记录的图像的图像处理，以及根据所述图像处理的结果控制驾驶辅助装置，其特征在于，将强度范围缩小算法应用于所述记录的图像数据。
15.一种用于确定回归函数的方法，所述回归函数用于估计范围缩小参数，所述范围缩小参数用于权利要求14所述的驾驶辅助方法中的所述范围缩小算法，所述确定回归函数的方法包括通过源于训练图像数据的训练数据，训练机器学习算法。
全文摘要
本发明涉及用于机动车的驾驶辅助系统(10)，包括成像装置(11)、处理装置(14)和驾驶辅助装置(18、19)，所述成像装置(11)适应于记录来自机动车周围的图像，所述处理装置(14)适应于执行由所述成像装置(11)记录的图像的图像处理，所述驾驶辅助装置(18、19)受控于所述图像处理的结果。所述处理装置(14)适应于将强度范围缩小算法(31)应用于由所述成像装置(11)记录的图像数据(30)。
文档编号B60Q1/00GK102189954SQ20111005182
公开日2011年9月21日 申请日期2011年3月2日 优先权日2010年3月2日
发明者佩尔·克龙瓦尔, 帕特里克·奥尔松 申请人:奥托立夫开发公司