用于匹配自适应颜色滤波器的滤波器特性以及用于运行图像摄取装置的方法和设备的制作方法
【专利摘要】本发明涉及一种用于匹配摄像机（102）的图像摄取装置的像点（220）的自适应颜色滤波器（223）的滤波器特性的方法。所述方法包括求取（445）所述像点的所需检测特性的步骤、确定（447）所述颜色滤波器的所需滤波器特性以便实现所述像点的所需检测特性的步骤以及相应于所需滤波器特性提供（449）用于调节所述颜色滤波器的滤波器特性的调节信号的步骤。
【专利说明】用于匹配自适应颜色滤波器的滤波器特性以及用于运行图像摄取装直的方法和设备
【技术领域】
[0001]本发明涉及一种用于匹配摄像机的图像摄取装置的像点的自适应颜色滤波器的滤波器特性的方法、一种用于运行车辆的摄像机的图像摄取装置的方法、一种相应的设备以及一种相应的计算机程序。
【背景技术】
[0002]为了能够借助摄像机求取颜色信息，使摄像机的图像摄取装置的不同像素设有不同的颜色滤波器。然而，为了得到彩色图像，需要在各个像素之间进行插值。这再次导致摄像机图像的分析处理方面的测量精确度。
[0003]文件DE10254806B4示出一种用于机动车中的至少两个信息源的信息处理的方法。
【发明内容】
[0004]在这种背景下，借助本发明提出根据主权利要求的一种用于匹配摄像机的图像摄取装置的像点的自适应颜色滤波器的滤波器特性的方法、一种用于运行车辆的摄像机的图像摄取装置的方法、使用所述方法的设备以及一种相应的计算机程序产品。有利的构型由相应的从属权利要求和以下的说明书得到。
[0005]借助自适应颜色滤波器可以连续匹配摄像机的图像摄取装置的颜色敏感度。通过这种方式可以使图像摄取装置与待检测的场景上最优地协调。
[0006]有利地，也可以将自适应颜色滤波器用于防止:像点进入饱和中并且因此可能丢失重要信息。通过这种方式例如可以避免光系统的通过反射引起的误探测。
[0007]在车辆中的所有基于摄像机的测量算法中可以使用通过图像摄取装置检测的颜色信息。例如需要颜色信息用于尾灯识别、路牌识别或者用于黄色的车道信息的识别。
[0008]本发明涉及一种用于匹配摄像机的图像摄取装置的像点的自适应颜色滤波器的滤波器特性的方法，所述方法包括以下步骤:
[0009]求取像点的所需检测特性；
[0010]确定颜色滤波器的所需滤波器特性，以便实现像点的所需检测特性；
[0011]相应于所需滤波器特性提供用于调节颜色滤波器的滤波器特性的调节信号。
[0012]摄像机可以涉及车辆的摄像机。摄像机可以构造用于检测车辆的周围环境区域——例如车辆的前方区域——以及产生一个图像或多个对周围环境区域成像的连续地彼此相继的图像。图像摄取装置或者成像器构造用于将射到图像摄取装置上的光转换成电信号。对此，图像摄取装置具有多个像点或像素。每一个像点构造用于探测入射到所述像点上的光并且提供一个图像信号，所述图像信号包括入射到所述像点上的光的光信息。所述图像信号例如可以包括入射到所述像点上的光的亮度值或强度值。借助自适应颜色滤波器可以在入射到所述像点上的光射到所述像点的传感器面上之前对所述光滤波。颜色滤波器构造用于让一个确定的颜色或波长的光或者多个确定的颜色或波长的光通过或者将其滤除。可以将颜色滤波器调节到一个确定颜色或多个确定的颜色上。在运行图像摄取装置期间可以进行颜色滤波器的调节。附加地或替代地，颜色滤波器的穿透性可以是可标度的，以便例如可以针对所有颜色提高或降低颜色滤波器的穿透性。颜色滤波器可以在一个像点上或者在多个相邻设置的像点上延伸。自适应颜色滤波器可以是所谓的微透镜。例如可以使用液体的微透镜。也可以根据实施方式将这种液体的微透镜用于根据温度并且因此根据控制器来调节图像摄取装置的焦距。自适应颜色滤波器也可以基于颜色滤波器和微透镜的技术以单片式集成到CMOS图像传感器阵列中。像点的所需检测特性可以涉及所期望的颜色，所述颜色应通过像点来探测。所需检测特性例如可以取决于摄像机的当前运行方式、由摄像机当前所检测的场景或者分析处理摄像机图像的图像分析处理的要求。可以根据像点的哪种检测特性是当前所期望的来调节颜色滤波器的适合的滤波器特性。例如可以计算或者由查找表读取颜色滤波器的适合的滤波器特性。调节信号可以是电信号，所述电信号被输出给自适应颜色滤波器的接口。所述调节信号例如可以具有确定的电压值，所述电压值适合用于调节所需滤波器特性。
[0013]根据一种实施方式，可以在提供的步骤中提供调节信号以便调节实施为微透镜的自适应颜色滤波器的滤波器特性。由于其较小的尺寸，微透镜适合作为自适应颜色滤波器。
[0014]在求取的步骤中，可以求取确定的颜色的光检测作为像点的所需检测特性。在这种情形中，在确定的步骤中可以如此确定所需滤波器特性，使确定的颜色的光能够通过所述颜色滤波器。通过这种方式例如可以使用同一像点，以便探测白色的光或者根据所调节的滤波器特性探测不同颜色的光。有利地，可以由此减小固定地调节到一个确定的颜色的像点的数量或者可以完全放弃这种固定调节的像点。由此可以避免各个像点提供以下图像信息:所述图像信息对于图像的确定的区域不是重要相关的，因为例如由各个像点探测的确定的颜色不包含在图像的所述区域中或者对于后续的图像分析处理不感兴趣。
[0015]对此，所述方法例如可以包括检查像点是否设置在图像摄取装置的区域中的步骤，通过所述区域对颜色重要相关的对象成像。在这种情形中，在求取的步骤中可以求取对象的颜色的光检测作为所需检测特性。如果例如在检查的步骤中识别出在所述区域中对行车道标记成像，则可以如此调节像点的颜色滤波器，使得像点可以探测到颜色“黄色”。因此，可以首先检查，哪个图像信息是感兴趣的并且随后可以预处理像点以探测所述图像信息。通过这种方式，可以使图像摄取装置的像点连续地与当前的需求匹配。所述对象可以通过图像分析处理来求取。对此，例如可以分析处理光对象的位置或运动。基于图像分析处理也可以确定对象的可能的颜色。所述可能的颜色可以通过颜色滤波器的滤波器特性的调节来校验。对此例如可以如此调节颜色滤波器，使得可能的颜色能够通过颜色滤波器并且其他颜色被滤除。
[0016]在求取的步骤中也可以求取像点的所需测量灵敏度作为像点的所需检测特性。在这种情形下，在确定的步骤中可以相应于所需测量灵敏度确定颜色滤波器的穿透性作为所需滤波器特性。关于测量灵敏度可以定义如下:像点有多灵敏地对入射光作出反应。相比较高的测量灵敏度，在较小的测量灵敏度的情况下像点在较高的光强度时才响应。通过这种方式，可以使像点例如与通过图像摄取装置检测的场景中的不同的全局的或局部的亮度或者对比度相匹配。如果像点例如位于具有高光强度的反射的影响区域中，则可以降低所述像点的测量灵敏度。与此相反，没有位于反射的影响区域中的相邻像点的测量灵敏度可以保持不变。
[0017]在这种情形中，所述方法包括识别像点的即将到来的饱和的步骤。当识别出即将到来的饱和时，在求取的步骤中可以降低所需测量灵敏度。通过这种方式可以防止:由于像点的饱和而丢失图像信息。即将到来的饱和例如可以通过分析处理由像点输出的图像信号来识别。
[0018]本发明还涉及以一种用于运行车辆的摄像机的图像摄取装置的方法，所述方法包括以下步骤:
[0019]分析处理图像摄取装置的图像，以便求取图像的在颜色分析方面重要相关的图像区域；
[0020]调节至少一个像点的至少一个自适应颜色滤波器的滤波器特性，所述至少一个像点设置在图像摄取装置的分配给重要相关的图像区域的区域中。
[0021]所述方法能够实现，使图像摄取装置连续地与变化着的场景或者与车辆的辅助系统的变化着的要求相匹配。
[0022]本发明实现一种设备，所述设备被构造来在相应的装置中实施或实现根据本发明的方法的步骤。通过本发明的以设备形式的实施变型方案可以快速和高效地解决本发明所基于的任务。
[0023]设备在此可以理解为处理传感器信号并且据此输出控制信号的电设备。所述设备可以具有按硬件方式和/或按软件方式构造的接口。在按硬件方式的构造中，接口例如可以是所谓的系统ASIC的包括所述设备的最不同功能的一部分。然而，还可能的是，接口是单独的集成电路或至少部分地由分立部件组成。在按软件方式的构造中，接口可以是软件模块，其例如与其他软件模块共存在微控制器上。
[0024]具有程序代码的计算机程序产品也是有利的，所述程序代码可以存储在机器可读的载体，如半导体存储器、硬盘存储器或光学存储器上并且用于当在与计算机相应的设备上执行程序时根据先前描述的实施方式之一来实施所述方法。
【专利附图】
【附图说明】
[0025]以下借助附图示例性地进一步阐述本发明。附图示出:
[0026]图1:根据本发明的一个实施例的车辆的示意图；
[0027]图2:根据本发明的一个实施例的图像摄取装置的示意图；
[0028]图3:根据本发明的一个实施例的用于调节可调节的颜色滤波器的设备的框图；
[0029]图4:本发明的一个实施例的流程图。
[0030]在以下对本发明的优选实施例的描述中对于不同示图中所示出的并且相似作用的元素使用相同或相似的参考标记，其中，不再赘述这些元素。
【具体实施方式】
[0031]图1示出根据本发明的一个实施例的车辆100的示意图。车辆100具有摄像机102、图像分析处理装置104和驾驶辅助系统106。另一个车辆110位于车辆100的前方区域中。所述另一个车辆110具有红色的尾灯112。驾驶辅助系统106涉及一种系统，对于所述系统而言所述另一个车辆110的尾灯112的识别是重要相关的。在此，尾灯112应代表任何颜色的对象，其颜色对于车辆100的任何系统106是重要相关的。
[0032]如果所述另一个车辆110位于摄像机102的检测区域中，则摄像机102可以产生以下图像:在所述图像中成像有尾灯112。根据这个实施例，由摄像机102检测由尾灯112发射的光。图像分析处理装置104构造用于分析处理摄像机102的图像，以便用于确定以下图像区域:在所述图像区域中成像有尾灯112。如果在图像中示出各个不同的亮度等级或灰度等级，则图像分析处理装置104在某些情况下可能不能区分尾灯112涉及发射红色的光的尾灯还是发射白色的光的尾灯。如果在图像中对尾灯112的颜色成像，则尾灯112可能由于红色而由图像分析处理装置104明确地这样分类。为了能够在图像中示出尾灯112的红色，摄像机可以构造用于如此匹配摄像机102的图像摄取装置的对尾灯112成像的像点的检测特性，使得红色的光可以被探测到。
[0033]图2示出根据本发明的一个实施例的图像摄取装置的或者图像摄取装置的区段的示意图。图像摄取装置可以用在图1中所描述的摄像机中。图像摄取装置具有多个像点220或像素。在此示例性地示出九个像点220，其彼此相邻地设置成三行和三列。每一个像点220分配有一个自适应颜色滤波器223。颜色滤波器223分别设置在射到像点220的光束的光路中。因此，通过这些颜色滤波器223中的以下颜色滤波器滤波的光分别到达这些像点220中的一个上:该颜色滤波器分配给相应的像点220。
[0034]颜色滤波器223中的每一个具有接口，通过所述接口可以调节相应的颜色滤波器223的滤波器特性。通过滤波器特性的调节可以影响射到所分配的像点220上的光。
[0035]如果例如在第一时刻通过所示像点220的中间像点对车辆的尾灯成像，则可以如此调节分配给中间像点220的颜色滤波器223的滤波器特性，使得所述颜色滤波器223让红色的光通过。
[0036]如果例如在第二时刻通过所示像点220的中间像点对行车道标记的区段成像，则可以如此调节分配给中间像点220的颜色滤波器223的滤波器特性，使得所述颜色滤波器223让黄色的光通过，从而例如可以由分析处理像点220的图像信号的图像分析处理识别出，行车道标记涉及黄色标记的行车道标记，例如在建筑工地区域中。
[0037]根据所述实施例，自适应颜色滤波器223中的每一个实现为液体的微透镜。在此，借助电子润湿方法(所谓的Electrowetting-Verfahren:电子润湿方法)产生每个像点220的颜色滤波器223。
[0038]除液体的透镜以外，也可以机械地实现颜色滤波器。在此，可以机械地重叠放置多个滤波器。对于这些像点220中的所有或多个可以同时确定这种颜色滤波器。
[0039]图3示出根据本发明的一个实施例的用于匹配摄像机的图像摄取装置的像点220的自适应颜色滤波器223的滤波器特性的设备。摄像机可以涉及图1中所示出的摄像机。
[0040]所述设备构造用于基于像点220的所需检测特性来产生用于调节颜色滤波器223的滤波器特性的调节信号并且通过接口向颜色滤波器223或者用于控制颜色滤波器223的滤波器特性的控制装置输出所述调节信号。对此，所述设备具有求取装置331、确定装置333和提供装置335。
[0041]求取装置331构造用于求取像点220的所需检测特性。例如可以基于时间上事先由图像摄取装置产生的图像的分析处理来实现所需检测特性。求取装置331构造用于向确定装置333输出关于所需检测特性的信息。确定装置333构造用于基于所需检测特性确定颜色滤波器223的所需滤波器特性。通过所需滤波器特性可以如此运行像点220，使得所述像点具有所需检测特性。为了确定所需滤波器特性，确定装置333可以构造用于访问存储器，在所述存储器中存储有颜色滤波器223的针对像点220的不同检测特性分别分配的滤波器特性。确定装置333构造用于向提供装置335输出关于所需滤波器特性的信息。提供装置335构造用于，基于关于颜色滤波器223的所需滤波器特性的信息产生用于调节颜色滤波器223的滤波器特性的调节信号并且向至颜色滤波器223的接口输出所述调节信号。
[0042]滤波器特性223构造用于接收调节信号并且响应于所述调节信号改变其滤波器特性，以便实现所需滤波器特性。
[0043]对于图像摄取装置的每一个颜色滤波器223可以确定和提供自身的调节信号。也可以针对一组颜色滤波器223提供一个调节信号，所述一组颜色滤波器分配给具有相同的检测特性的像点。
[0044]根据一个实施例，用于匹配滤波器特性的设备实现为处理器单元或计算单元。借助处理器单元可以改变微透镜223的颜色穿透性。因此，还可能的是，在推测有彩色对象的区域中激活相应的透镜223。由此，可以在这些区域中实现更高的色彩分辨率。
[0045]处理器单元构造用于，接收具有经滤波的和未经滤波的像素作为输入信号。可以事先确定图像的滤波的程度。处理器单元还构造用于基于光对象在图像中的运动和位置实施以下估计:所述光对象是涉及红色对象还是白色对象。为了证实所述推测或者估计，处理器单元构造用于改变颜色穿透性，以便因此得到关于光对象的实际颜色的信息。为了改变颜色穿透性，可以相应调节图像摄取装置的颜色滤波器223。尤其可以改变分配给图像的以下区域的颜色滤波器223:所述光对象位于所述区域中，所述光对象的颜色当前被求取。
[0046]也可以控制相应的透镜223的穿透性。因此，可以控制像点220中的各个像点饱和的危险。因此，可以在基于摄像机的光系统中使用自适应滤波器223以避免饱和。在处理器单元中可以识别出饱和。对此，处理器单元构造用于，当像点220的亮度值达到确定的大小时，缓慢地改变颜色滤波器223的滤波器特性并且观察像素值的相应的行为或者像点220的亮度值。
[0047]图4示出根据本发明的一个实施例的用于运行车辆的摄像机的图像摄取装置的方法的流程图。摄像机可以涉及借助图1所描述的摄像机。在步骤441中分析处理摄像机的图像以便求取图像区域，所述图像区域应关于可能或肯定存在于图像区域中的颜色来分析处理。在步骤443中选择图像摄取装置的像点，所述像点位于图像区域中。随后，如此调节分配给在步骤443中所选择的像点的自适应颜色滤波器的滤波器特性，使得可以由所选择的像点探测待在所述图像区域中分析处理的颜色。对此，在步骤445中可以根据待分析处理的颜色求取所选择的像点的所需检测特性。在步骤447中可以确定所选择的像点的颜色滤波器的所需滤波器特性，以便实现所选择的像点的所需检测特性。在步骤449中，相应于所需滤波器特性输出用于调节所选择的像点的颜色滤波器的滤波器特性的调节信号。如果对于所述颜色滤波器需要不同的滤波器特性，则在步骤449中可以提供不同的调节信号。可以对于图像的一个或多个图像区域执行所述方法。
[0048]所描述的和在附图中示出的实施例仅仅是示例性地选择的。不同的实施例可以完整地或关于各个特征彼此组合。一个实施例也可以通过另一个实施例的特征来补充。此外，可以重复以及以不同于所描述的顺序的顺序执行根据本发明的方法步骤。
【权利要求】
1.一种用于匹配摄像机(102)的图像摄取装置的像点(220)的自适应颜色滤波器(223)的滤波器特性的方法，所述方法包括以下步骤: 求取(445)所述像点的所需检测特性； 确定(447)所述颜色滤波器的所需滤波器特性，以便实现所述像点的所需检测特性； 相应于所需滤波器特性提供(449)用于调节所述颜色滤波器的滤波器特性的调节信号。
2.根据权利要求1所述的方法，其中，在所述提供(449)的步骤中提供所述调节信号，以便调节实施为微透镜的自适应颜色滤波器(223)的滤波器特性。
3.根据以上权利要求中任一项所述的方法，其中，在所述求取(445)的步骤中求取确定的颜色的光检测作为所述像点(220)的所需检测特性，其中，在所述确定(447)的步骤中如此确定所需滤波器特性，使得所述确定的颜色的光能够通过所述颜色滤波器(223)。
4.根据权利要求3所述的方法，所述方法具有检查(443)所述像点(220)是否设置在所述图像摄取装置的区域中的步骤，通过所述区域对颜色重要相关的对象(112)成像，其中，在所述求取(445)的步骤中求取所述对象的颜色的光检测作为所需检测特性。
5.根据以上权利要求中任一项所述的方法，其中，在所述求取(445)的步骤中求取所述像点(220)的所需测量灵敏度作为所述像点的所需检测特性，其中，在所述确定(447)的步骤中相应于所需测量灵敏度确定所述颜色滤波器(223)的穿透性作为所需滤波器特性。
6.根据权利要求5所述的方法，所述方法具有识别所述像点(220)的即将到来的饱和的步骤，其中，当识别出即将到来的饱和时，在所述求取(445)的步骤中降低所需测量灵敏度。
7.一种用于运行车辆(100)的摄像机(102)的图像摄取装置的方法，所述方法包括以下步骤: 分析处理(441)所述图像摄取装置的图像，以便求取所述图像的在颜色分析方面重要相关的图像区域； 根据以上权利要求中任一项所述地调节(445，447，449)至少一个像点(220)的至少一个自适应颜色滤波器(223)的滤波器特性，所述至少一个像点设置在所述图像摄取装置的分配给所述重要相关的图像区域的区域中。
8.一种设备，其构造用于实施根据权利要求1至7中任一项所述的方法的步骤。
9.一种具有程序代码的计算机程序产品，其用于当在设备上执行程序时实施根据权利要求I至7中任一项所述的方法。
【文档编号】H04N9/07GK103891274SQ201280051337
【公开日】2014年6月25日 申请日期:2012年7月17日 优先权日:2011年8月23日
【发明者】T·埃尔根 申请人:罗伯特·博世有限公司