专利名称：用于处理从机动车内向外摄取到的图像信息的方法和装置的制作方法
技术领域：
本发明涉及用于处理从机动车内向外摄取到的图像信息的方法和装置。
背景技术：
对于机动车中很多不同驾驶员辅助系统而言，需要机动车环境的图像 数据，这些图像数据由摄像机提供。这些图像数据有助于车道的保持(LDW或 Lane-Departure-Warning 车道偏离报警)，以便警告驾驶员例如自身的过度疲劳；有助 于自动的车道控制(LKS或Lane-Keeping-Support 车道保持支持)，例如作为自动的机 动车转向的一部分；有助于识别道路交通指示牌(RSR、Road-Sign-Recognition 道路标 记识别)或者也有助于具有物体识别和警报功能的主动夜视支持。用于夜视支持的图像 数据由具有夜视功能的摄像机提供。具有基于摄像机的、基于机动车环境的图像数据的主动识别功能的所有系统的 共同之处在于这些系统对可供使用的图像质量非常敏感。对于道路标记或者分隔线的 识别，也如同在识别道路交通指示牌时，驾驶员视野中在质量方面高品质的图像是必需 的。因为为此而使用的摄像机大多位于风挡玻璃的上部中间或者位于机动车的特意设置 的凹槽中，所以摄像机透过风挡玻璃的视野不比驾驶员本身更好。因此，所述系统的性 能在下雨时显著下降，因为摄像机的光程被严重干扰并且由此完全不再识别分隔线或者 仅仅不稳定地识别分隔线并且根本检测不到道路指示牌。特别地，机动车环境的在下雨时由于被雨淋湿的风挡玻璃而部分严重畸变的图 像使得上述驾驶员辅助系统不能分析所摄取的图像或者仅仅不充分地分析所摄取的图 像，或者风挡玻璃上的雨滴具有如同局部透镜那样的作用并且使摄像机如此严重地炫光 (blenden),使得不再可以摄取到可用的图像。由DE 10219788公开了以下技术通过对比度的分析处理来分析处理图像信 息，从而可以确定有效的视野范围，以便整个单元可以将可用的图像信息与不可用的图 像信息分开。但是，通过所述技术不可以实现驾驶员辅助功能的真正改进。
发明内容
本发明提出一种用于改进特别是驾驶员辅助系统的驾驶员辅助功能的方法，所 述驾驶员辅助系统基于从机动车内向外摄取到的视频图像。在此，通过各个视频图像或 者各个图像的区域的加权或者选择将对于驾驶员辅助功能而言可供使用的图像数据划分 为在质量方面较好或者较差的图像数据。本发明利用刮水器的作用。可以在风挡玻璃被刮水器刮拭之后紧接着获得较好 质量的图像。成像刮水器阴影的图像已经具有较高质量的部分和较低质量的图像部分。 因此，在摄 取这些图像时重要的是将较高质量的图像或者图像部分与由于风挡玻璃上 的湿气而畸变或者甚至不能用的图像或者图像部分区分开。与此相应地，提出一种用于从机动车内向外摄取图像信息的装置，其具有至少一个摄像机和至少一个计算机单元，其中，所述计算机单元将来自摄像机的图像信息划 分为各个图像单元并且对每个单独的图像单元实施统计计算，其中，所述计算机单元使 用所述统计计算的数据来判断在所述图像单元中是否存在刮水器阴影以及图像信息的质 量是高还是低。因此优选检验图像信息的质量等级大于还是小于质量等级的一个预给 定的阈值。在从属权利要求中说明本发明的其它有利构型。 为了实施所述方法，在视频传感器的后面连接一个计算机单元，所述计算机单 元分析处理图像信息。所述分析处理导致对视频传感器的图像信息中的刮水器阴影的检 测，并且对图像信息中的刮水器阴影的位置和时刻的检测被用于将具有高质量的整个图 像或者各个图像区域与具有低质量的图像或者图像区域区分开。这优选通过以下方式进 行区分图像或者图像区域的质量等级大于还是小于一个预给定的阈值。如果质量等级 大于一个预给定的阈值，则存在具有高质量的图像或者图像部分。如果质量等级小于用 于质量的预给定的阈值，则存在具有低质量的图像或者图像部分。在单个图像中，所述区分通过刮水器阴影对所述单个图像的空间划分来实现， 其中，在质量方面高品质的图像区域刚刚才被刮水器刮拭过，而在质量方面低品质的图 像区域在较长时间以前被刮水器刮拭过或者甚至处于即将刮拭之前，其中，可供使用的 图像由于刮水器前波而特别差。在最简单的情况中，计算机单元将图像划分为各个图像 区域、优选划分为彼此接触的扇形(Kreissegment)，并且所述计算机单元确定每个单独 的图像区域的亮度直方图。由直方图可以求得，扇形的图像区域是否被刮水器以扇形遮
至
ΓΤΠ ο为了确定刮水器是否已经遮盖图像，分析处理每个图像区域的直方图，并且与 周围图像区域相比显著更多数量的暗的像点指示出所述图像区域中的刮水器或者刮水器 的一部分。为了由表示所有像点的亮度值分布的直方图来确定具有主要暗的像点或者 主要亮的像点，可以将所述直方图与另一直方图进行相关，其中，所述另一直方图表示 由刮水器遮蔽的图像区域的理想亮度分布。在刮水器或者其阴影被计算机单元肯定地 (positiv)检测到之后，计算机单元可以将具有低图像质量的图像区域进行分类，因为刚 刚被刮水器刮拭过的图像区域通常具有较好的并且未因为潮湿的风挡玻璃而发生畸变的 图像。在通过驾驶员辅助系统分析处理图像数据时，为了产生驾驶员辅助信号，使具 有较好质量的图像数据的图像区域比具有较差质量的图像数据的图像区域更强地加权。 驾驶员辅助系统中所使用的用于图像分析处理的算法确定这些不同质量的图像或者图像 区域的最佳加权方式，原则上可以在算法中在两个地方进行所述加权。不同质量的图像 或者图像区域可以共同借助一个相应于加权的数字进入用于分析的算法，或者在没有加 权信息的情况下通过算法分析处理这些图像并且借助于关于经分别分析的图像的品质的 信息自加权借助所选择的算法进行分析的结果。最后，也可以一起使用两个用于加权的 方法。通过以下详细解释的加权，能够以更高的可靠性实施道路指示牌的识别或者分隔 线的识别，因为驾驶员辅助信号在较大程度上受在质量方面高品质的图像影响而仅仅在 较小程度上受在质量方面较差的图像影响。在摄取彼此相继的图像时，可以通过使图像摄取与刮水器运动在时间上同步来改善图像数据的加权。对此，以有利的方式使用PLL方法，即软件实现的锁相环(Phase Locked Loop PLL),所述PLL方法使相位计数器与肯定的刮水器检测的结果彼此同步。 特别是在不可以提供关于刮水器位置的精确信息的机动车中，所述方法适用于与来自视 频传感器的各个图像并行地向用于图像分析处理的算法提供关于刮水器相对刮水器循环 中的图像摄取的相位的信息。对于很多在时间上跨越多个刮水器循环的图像的序列，如 此根据刮水器相位得出这些图像在时间上周期性的加权，其中，在时间上在刮水器刮拭 之后紧接着摄取到的图像通过相位计数器的相关以刮水器频率以比紧邻近地在刮水器刮 拭之前摄取到的图像更高的加权系数进入图像分析。
为了借助于PLL方法使各个图像的加权同步，将两个信号的相位进行相互比较 并且使一个信号匹配于另一个信号，直到在两个信号之间具有稳定的相位关系。第一个 在此应用的信号来自刮水器检测的算法，所述刮水器检测在一个完整的刮水器循环内两 次短时间地显示逻辑值“真”，即，当刮水器一次在第一次刮拭过去时刮拭视频传感器 的图像以及一次在第二次往回刮拭时刮拭所述图像的时候显示逻辑值“真”。相应地， 在逻辑值“真”之间，刮水器循环的检测信号显示逻辑值“假”，即，当刮水器没有成 像在图像中的时候显示逻辑值“假”。用于同步的第二信号是相位计数器，所述相位计 数器可以在一个刮水器循环内的任一点开始并且可以通过相位计数器的界限内的任一频 率来计数相位。因为刮水器通过它的机械设置对于刮水器相位的一个预先确定的份额位 于图像中，对于所述份额使相位计数器对应于逻辑值“真”而对于剩余的相位份额使相 位计数器对应于逻辑值“假”。此后，PLL算法改变相位计数器的相位以及频率，直到 可能随着刮水器通过雨水传感器控制装置在其频率方面发生改变的刮水器检测信号同步 运行为止。关于PLL算法的详细解释参阅专业文献。在图像信息的加权时，相位计数器 的由PLL算法产生的信号被用于加权图像信息。在此，通过表或者通过闭函数给相位计 数器的每个相位值分配一个加权值，使得对于每个图像首先存在关于刮水器运动的明确 的相位关系，即，以例如通过0至2π、0°至360°表达的相位的形式或者直接的数字的 形式，并且通过所述相位关系给图像分配一个例如0至1区间内的加权系数，这代表图像 信息的可用性，其中，在上述例子中0代表完全不可用而1代表完全可用。通过同步可以预测摄取到的图像的刮水器刮拭。通过获知何时发生下一次刮水 器刮拭，可以给刮水器刮拭之后的第一个图像分配高的质量度量并且借助时间上的衰减 函数在其质量标准方面评价时间上随后的图像，使得紧邻近另一次刮水器刮拭之前的图 像在其质量标准方面被评价为最小的。只要可以从机动车的电总线系统中得出关于车窗 风扇是否已接通的数据，则有利的是，不将刮水器检测之后的第一个图像在质量方面评 价为最高的，而将比刮水器刮拭之后的第一个图像在时间上更长摄取的图像在质量方面 评价为最高的。因为车窗风扇导致可能在刮拭之后残留的刮拭条纹蒸发。因此，相对于 刮水器刮拭在时间上向后推延在质量方面评价为最好的图像。在方法的构型中，除了用于产生用于检测刮水器的信号的直方图分析处理和接 着用于产生用于加权的系数的、刮水器位置与刮水器频率的同步，也可以通过确定噪声 系数在其质量方面评价各个图像区域。在此，具有高噪声系数的图像在质量方面比具有 低噪声系数的图像品质更低。可以与刮水器的检测无关地实施所述噪声系数的确定。为了进一步改进质量确定，还可以实施可信度检验，这些可信度检验例如利用由同步预期的两个刮水器过度(Scheibenwischeriibergang)之间的时间在内容上检验质量确
定。长时间未被刮水器刮拭的图像或者图像区域在质量方面肯定比在最后的刮水器刮拭 刚刚过去时摄取到的图像或者图像区域更差。对于可信度检验，同样可以考虑图像区域 的位置。相对刮水器的路径位于刮水器之前的图像区域肯定比紧挨着位于运动的刮水器 之后的图像区域更差。在本发明的特殊构型中，刮水器的角度传感器数据用于相位计数器与加权的同 步。在此，由与刮水器连接的角度传感器读出刮水器的当前定位角度(Stellwinkel)并且 使相位计数器与所述信号同步。为了进一步提高通过驾驶员辅助系统分析处理图像数据的质量，可以将调节刮 水器频率的、常规的雨水传感器与所述系统连接。为了相位计数器的同步，考虑所述信 号，以便在根据变化的下雨情况而发生改变的刮水器频率与相位计数器之间尽可能快地 建立稳定的相位关系。在此，与刮水器控制装置耦接的雨水传感器的作用在于，刮水器 不比所需更频繁地刮拭视频传感器的图像，因为在小雨时刮水器的过高频率可以导致摄 取到的图像的大量低评价，因为刮水器比所需更频繁地拭过摄像机图像并且由此使往往 大量图像部分不必要地恶化。另一改进实现了摄像机的曝光控制装置与刮水器的同步。未经同步的曝光控制 装置可以通过往复的刮水器阴影开始振荡，并且在刮水器通过时增强感兴趣的物体的曝 光而在两次遮盖之间将感兴趣的物体的曝光减小到经调节的程度上。但是，只要使曝光 控制装置同步，则位于刮拭的刮水器后面的、在质量方面高品质的图像部分可用于分析 处理，其中，所述图像部分接合到具有经调节的曝光的其它图像部分中并且由于欠曝光 或者过曝光造成的人为现象不接合到分析处理中。
根据附图详细解释本发明。附图示出图1 具有在其中成像的刮水器阴影的、用于驾驶员辅助系统的摄像机的简略 图像，图2:图像的扇形示例性划分，图3:图像加权功能的框图，图4:用于解释图像质量下降的示意图，图5 根据本发明的实施形式用于改进图像信息的装置的驾驶员辅助系统的框 图。
具体实施例方式图1中示出 了简略的摄像机图像1，所述摄像机图像用于驾驶员辅助系统，例如 RSR、LDW或者LKS。摄像机图像1具有图像区域2和图像区域3，所述图像区域2具 有非常差的质量而所述图像区域3具有较好质量。两个图像区域2和3通过刮水器阴影4 彼此分开，其中，刮水器阴影4从右向左滑过图像1。在较好质量的图像区域3中存在可 识别为机动车尾部和道路标记的各个图像组成部分5和6。在较差质量的图像区域2中同样可以看到图像组成部分7，所述图像组成部分7仅仅可隐约地识别为另一机动车尾部， 因为在透过其摄取图像1的风挡玻璃上的雨水使视野畸变到无法识别。除了畸变，在具 有较差质量的图像区域2中存在暂时的水滴8和9，这些水滴具有如同透镜那样的作用并 且聚焦在前行驶的机动车的光并且可能使摄像机的曝光控制装置炫光。对于通过图5中 的驾驶员辅助系统300进行的分析处理，具有较差质量的图像区域2几乎不可用，但至少 以非常小的加权进入到图像分析中。
为了检测刮水器阴影4的通过，在图2中示出了如何将图像1的部分区域划分为 扇形11、12、13、14、15、16、17、18、19、20、21和22，其中，如此选择大小，使得 宽度位于刮水器成像的数量级上。扇形11、12、13、14、15、16、17、18、19、20、21 和22以有利的方式如此布置，使得它们定向在刮拭摄像机图像的刮水器4的定向上。因 此，可以将这些扇形进行分组，只要刮水器阴影4刮拭过摄像机图像1，则图像区域11、 12、13、14、15、16、17、18、19、20、21和22的直方图大致具有直方图14'。相反， 由刮水器阴影4遮盖的图像区域大致具有直方图19'。通过每个直方图与由刮水器遮盖 的图像区域的理想直方图的相关，用于刮水器检测的功能产生其信号，其中，高的相关 度导致正的检测信号，低的相关度相反导致负的检测信号。在图3中示出了图像加权功能的框图30。来自视频传感器24的视频图像23直 接提供给驾驶员辅助功能25和刮水器检测功能26。刮水器检测功能26与视频图像23被 刮水器的实际刮拭直接耦接。来自刮水器检测功能26的信号进入到软件实现的PLL 27 中，所述PLL 27产生一个相位计数器信号并且使所述相位计数器信号与刮水器检测功能 26的信号同步。可选地，所述PLL 27包含雨水传感器的雨水潮湿检测的附加信号28， 用于改变雨水传感器的刮水器频率。经同步的相位计数器信号随后进入到驾驶员辅助功 能25中，在那里给所述信号分配一个加权系数。所述加权系数用于加权视频图像23以 进行分析处理并且由此用于改进驾驶员辅助功能的输出信号29。在图4中示出了图像质量的质量度量q的时间变化，其中，在横坐标上绘出在此 未详细定义的质量度量q而在纵坐标上绘出时间t或者视频传感器的各个图像的序列。在 跃变点40和41上，图像被刮水器刮拭。在图4中的示意图中，摄像机10每半个刮水器 周期摄取图像。每次刮水器刮拭之后的第一个图像具有最高的质量度量，所述质量度量 记录在点42a、42b和42c上。在图中向右，所记录的点42a、42b和42c后面是具有最 后一次刮水器刮拭之后随着增长的时间越来越差的质量的图像。质量的下降通常遵循典 型的衰减曲线，其中，精确的变化取决于很多不同的参数，如风挡玻璃的表面质量、刮 水器的老化、下雨的强度、雨滴的大小、落到风挡玻璃上的水的污染程度、风挡玻璃上 清洁剂的残留以及其他在此未列举出的参数。在此，0°至360°或者0至的刮水器 循环包括从第一跃变点、例如39直到再下一个跃变点、例如41的变化，因为刮水器在一 个循环中两次刮拭过图像。因为刮水器仅仅在一个确定的角度内往复振荡，所以0°至 360°的循环根据刮水器在机械上如何构造相应于刮水器相对水平线的、约0°至约90° 的实际位置。最后在图5中示出了风挡玻璃50的视图，具有绘出的刮水器51和在上部中间示 出的摄像机100。摄像机100透过风挡玻璃50摄取图像，以便摄取机动车环境中的细节， 所述机动车环境由驾驶员辅助系统300分析处理，并且在可光学地、声学地或者触觉地构造的人机界面(humimmachineinterface，HMI)400上向驾驶员示出分析处理的结果以进
行支持。为了改进用于驾驶员辅助系统300的图像信息，在驾驶员辅助系统与摄像机之 间接入计算机单元200，所述计算机单元分析以及如此组织摄像机100的摄像机图像，使 得在驾驶员辅 助系统中仅仅在质量方面高品质的图像被较高地加权。
权利要求
1.用于处理从一机动车内向外摄取到的图像信息(1)的方法，具有用于在所述图像信息(1)中检测一刮水器(4)的至少部分的步骤，以及用于将所述图像信息(1)相应地划分为在质量方面高品质的(3)图像信息和在质 量方面低品质的(2)图像信息的步骤，尤其是用于将所述图像信息(1)相应地划分为其质 量等级大于一预给定的阈值的图像信息和其质量等级小于所述预给定的阈值的图像信息 的步骤。
2.根据权利要求1所述的方法，其特征在于，使一相位计数器与一刮水器(4)的两次 彼此相继进行的检测之间的时间间隔同步，其中，借助于所述相位计数器将在一摄取到 的图像通过所述刮水器刮拭之后紧接着摄取到的图像信息(3)分级为在质量方面最高品 质的，将紧邻近地在一摄取到的图像通过所述刮水器刮拭之前摄取到的图像信息(2)分 级为在质量方面最低品质的。
3.根据权利要求1或2所述的方法，其特征在于，通过一检测到的刮水器阴影(4)将 一单个图像的图像信息(1)在空间上划分为在质量方面高品质的图像信息(3)和在质量方 面低品质的图像信息(4)。
4.根据权利要求2或3所述的方法，其特征在于，根据对一刮水器(4)的检测交替地 确定所述图像信息的质量，其中，在图像中检测到所述刮水器时实施所述空间上的划分 以及在图像中未检测到一刮水器时借助于所述经同步的相位计数器实施所述质量分级。
5.根据权利要求1至4中任一项所述的方法，其特征在于，通过确定各个图像部分 (2，3)的噪声系数来检测一刮水器，其中，将显示一高噪声系数(2)的图像部分(2，3) 分级为在质量方面较低品质的以及将显示一低噪声系数(3)的图像部分分级为在质量方 面较高品质的。
6.根据权利要求1至5中任一项所述的方法，其特征在于，通过将所述图像信息(1) 划分为各个图像部分(11，12，13，14，15，16，17)来检测一刮水器(4)，以及接着确 定每个单独的图像部分(11，12，13，14，15，16，17)的亮度直方图(18，19)，其中， 将与其它图像部分相比具有低曝光的图像部分评价为被所述刮水器(4)遮盖。
7.根据权利要求1至6中任一项所述的方法，其特征在于，附加地进行不同图像区域 (2，3)的质量分级的可信度检验，其中，使用所述图像区域(2，3)的位置、最后检测到 刮水器的时间和/或同步参数中的时间进行可信度评判。
8.根据权利要求2至7中任一项所述的方法，其特征在于，当存在关于一接通的车窗 风扇的数据时，推延被分级为在质量方面高品质的图像信息，这些图像信息在一比通过 所述刮水器(4)刮拭之后紧接着摄取更晚的时刻被摄取。
9.根据权利要求2至8中任一项所述的方法，其特征在于一软件实现的PLL同步， 在所述PLL同步中将图像中的所述刮水器的检测与一图像计数器的期满进行比较，其 中，如果所述相位计数器的期满与所述刮水器的检测在时间上不同时发生，则确定一相 位差，并且在此情况下通过改变待计数的图像的数量来改变所述图像计数器的期满，直 到图像中的所述刮水器的检测与所述图像计数器的期满在时间上同时发生为止。
10.根据权利要求2至9中任一项所述的方法，其特征在于所述质量分级与所述刮水 器(4)的角度传感器数据的同步。
11.根据权利要求2至10中任一项所述的方法，其特征在于曝光参数与所述刮水器(4)的检测的同步。
12.用于处理从一机动车内向外摄取到的图像信息的装置，具有 至少一个摄像机(24)和至少一个计算机单元(200)，其中，所述计算机单元(200)将来自所述摄像机的图像信息划分为各个图像部分以 及对于每个单独的图像单元实施一统计计算，其中，所述计算机单元(200)将所述统计计算的数据用于判断在相应的图像单元 中是否存在一刮水器的至少一部分以及图像信息的质量等级是高还是低，尤其是所述图 像信息的质量等级大于还是小于一预给定的阈值。
13.根据权利要求13的装置，其中，所述计算机单元附加地使用时间数据以进行所述 统计计算，并且使用同步形式的、优选PLL同步形式的所述时间数据以通过预测来改进 单独的图像部分中的所述刮水器的检测。
全文摘要
本发明涉及一种用于改进特别是驾驶员辅助系统的驾驶员辅助功能的方法以及由摄像机(24)和计算机单元构成的相应装置，所述驾驶员辅助系统基于从机动车内向外摄取到的视频图像(23)。根据本发明提出，为了改善下雨时的功能，刮水器(4)通过摄像机图像(1)被用于将各个图像和/或图像部分(2，3)分级为在质量方面高品质的或者在质量方面低品质的，以便改进来自摄像机(24)的图像(1)的质量。摄像机(24)的图像用于自动的驾驶员辅助系统(25)。
文档编号B60S1/08GK102016876SQ200880129104
公开日2011年4月13日 申请日期2008年11月19日 优先权日2008年5月9日
发明者K·奥格 申请人:罗伯特·博世有限公司