专利名称：用于车辆摄像机的图像传感器的颜色掩模的制作方法
用于车辆摄像机的图像传感器的颜色掩模
背景技术：
车辆摄像机尤其用于检测车辆前方的车辆周围环境并且用于在显示装置上显示图像，以及用于分析处理所检测的图像和用于使用在驾驶员辅助系统中，其中在所检测的图像中识别对象。因此，例如可以确定其他交通參与者、车道标记、交通标志以及交通照明。对于评价对象的重要性，尤其对象的颜色也是重要的。这样,例如在建筑エ地中同时出现黄色车道标记和白色车道标记时，通常黄色标记具有优先权。此外，可以根据其颜色值来分配光信号，其中例如区分具有红色颜色值的尾灯与具有白色颜色值或黄色颜色值的前大灯和具有黄色颜色值的后车灯；交通标志和交通照明一如交通信号灯和闪光灯根据其相应的顔色值也是重要相关的。为此已知的是实施所探测的对象的顔色分类。然而，所检测的图像中的顔色可能由于周围环境的色温而不同地显示，所述色温与照明的顔色或者平均颜色值有夫。所检测的图像的不同色温一方面可以通过不同的照明——例如根据日间时间、不同的道路照明以及通过车窗玻璃的色调来得到，在所述车窗玻璃后面通常安置有车辆摄像机。车窗玻璃的色调首先是未知的，因为其根据类型而非常不同并且部分地根据车窗玻璃上的位置而变 化。因此，通常关于整个图像的“灰色世界”假定是不正确的，其中彩色像素和強度像素的直方图(统计分布)是均匀。为此，在较复杂的系统中分别实施所检测的图像区域的色温确定，以便实施白平衡，其中计算出或者校正周围环境的色温，以便能够正确地分类对象的颜色。为了区分顔色，通常在敏感的传感器面前面施加顔色掩模，其在每ー个传感器像素前面的过滤器像素具有特定的顔色值，即光学波长范围中的特定透射特性。在此，顔色掩模通常具有特定的颜色图案或颜色模式，其通过特定的基本模式周期重复形成，即作为由具有特定颜色值——例如R (红)、G (绿)、B (蓝)的四个像素构成的块。JP 2004304706A和W02009/027134A1示出具有特定颜色图案的这种颜色掩模。然而通过使用这种颜色图案降低了空间分辨率，因为例如对于ー个像点使用由具有不同颜色值的四个像素构成的块。此夕卜，通过过滤降低入射光的强度并且因此降低灵敏度。在夜间应用中，例如在用于远光与近光之间的自动切换的灯光控制功能中，部分地必须探测远离的光源，为此需要高分辨率和高灵敏度。然而，尤其是在全色图案(例如RGGB)中降低了空间分辨率并且减弱了到达的光的強度。如在WO 2009/027134A1中描述的那样，部分颜色图案形成通过相应的颜色过滤器像素进行的顔色分类和通过透明的过滤器像素实现的分辨率或高敏感性的折衷。因此，除颜色确定的精度以外，空间分辨率和光敏感性以及颜色值或者色度的空间分辨率和亮度的空间分辨率也是车辆摄像机和驾驶员辅助系统的重要特征。
发明内容
根据本发明，顔色掩模构造在具有不同的颜色图案的不同区域中。在此，划分基本上在垂直方向上进行，具有中部区域和(优选更小的)上部区域和/或下部区域。在此，本发明基于以下认识在由例如设置在挡风玻璃后面的车辆摄像机检测到的典型图像中，下部图像区域检测车辆前面的道路或者车行道，其通常由浙青或(可能)混凝土构造并且因此显示没有较大着色的灰度值，所述灰度值根据车行道组成以及相应的照明情况可以从深灰色-黒色达到浅灰色。相反，上部图像区域通常反映天空，其尤其在白天情况中也表示重要的曝光源。在此，这些区域通常认为对于用于驾驶员辅助系统的分析处理而言是不重要的，其中下部图像区域往往反映在车辆紧前面的车行道区段，即使在进行立即的驾驶动态干预时也行驶所述车行道区段。因此，可以由上部图像区域和/或下部图像区域、尤其也由这些图像区域的组合确定周围环境温度或周围环境的色温。因此，根据本发明对于这些图像区域使用具有较小相对数量的透明的过滤器像素的颜色图案，尤其是使用不具透明的过滤器像素的全色图案，例如RGGB。根据本发明可以看到，空间分辨率在这些区域中通常不重要，因为在这里不经常预期较重要的对象或者不以非常高的空间分辨率来反映较重要的対象。因此，上部区域和/或下部区域中的顔色确定可以用于中部图像区域 的像素信号的白平衡或者顔色校正。对于所述中部图像区域，设有具有更高份额的透明的过滤器像素的颜色图案、即尤其是设有提供较高的分辨率与颜色确定之间的折衷的部分颜色图案，优选在色度的高空间分辨率和亮度的高空间分辨率下，即颜色差的空间分辨率和亮度差的空间分辨率。因此，根据本发明得到ー些优点。通过具有透明的过滤器像素的部分顔色图案确定具有高空间分辨率和良好的顔色确定或者高空间分辨的色度的对此重要的中部图像区域中的对象的检测，并且通过上部图像区域和/或下部图像区域能够实现中部图像区域的颜色值的校正或者白平衡。所述平衡可以分别动态地或者在相应的行驶情况和照明情况中进行，无需附加的传感器并且不存在图像处理的重要损害。所述白平衡或者校正基本上可以纯粹以软件方式在控制与分析处理装置中进行并且因此不需要附加的硬件开销。此外，所使用的控制与分析处理装置也可以将连续出现的色调和着色估计为持续的，即估计为车窗玻璃或缓慢污染的色调。因此，优选也不进行中部图像区域中的不同颜色图案或者颜色模式的更复杂的考虑，因为在那里尤其可以设置唯一的部分颜色图案，从而可以将用于摄像机调节的直方图建立或用于车道识别的边缘探测和对象的识别调节到所述部分颜色图案上。因此，根据本发明能够以相对较低的硬件开销实现数据的快速处理。基本上，上部区域的第二颜色图案也可以不同于下部区域的第二颜色图案。此外，顔色掩模的上部区域和下部区域的大小可以不同。它们可以分别在像素阵列的完整行上延伸，或者也可以在水平方向上分别仅仅包括中部像素，使得中部区域可以在侧面延伸至上部区域旁并且直至顔色掩模的上边缘，和/或可以在侧面延伸至下部区域旁直至顔色掩模的下边缘。所基于的认识是在上部图像区域和下部图像区域中在侧面区段中可能出现一方面对于检测和分类而言重要而另一方面也可能妨碍周围环境的色温的确定的对象。此外，可以将在中部图像区域中检测和分类的对象外推到上部图像区域或者下部图像区域中，例如车道标记或更大的对象一如建筑物和树木，使得上部区域和/或下部区域的这些部分不用于确定色温，其中它们在必要时可以一同考虑用于随后的算法。由下部图像区域和/或上部图像区域的第二像素信号也可以补充地表示摄像机的光传感机构功能并且用于车辆中的其他功能。
以下參照附图根据实施方式更详细地阐述本发明。附图示出图I :具有摄像机的车辆的街道场景的俯视图；图2:车辆的摄像机装置；图3:不同的颜色图案；图4 :由摄像机检测的图像以及具有根据本发明的划分的顔色掩模的像素阵列；图5 :根据本发明的方法的流程图。
具体实施例方式具有摄像机2的车辆I在车行道3上行驶。在摄像机2的检测区域4中检测在车行道3上或在车行道3外的不同对象10、11、12、13、14、15、16。根据图2，摄像机2安置在车辆I的车窗玻璃5、尤其是挡风玻璃5后面并且除在此未详细示出的成像光学器件6以外具有图像传感器7，所述图像传感器具有敏感的传感器面，在所述传感器面上构造有这里未详细示出的传感器像素(成像器像素)7a的矩阵布置。在具有传感器像素7a的敏感的传感器面上放置有顔色掩模(过滤器掩模)8，所述颜色掩模根据图4具有由过滤器像素Pij构成的矩形布置。每个过滤器像素Pij以本身已知的方式直接置于传感器像素7a前面并且根据其颜色值、即其光谱透射特性过滤入射光。图像传感器7接受穿过颜色掩模8入射的光井且向控制与分析处理装置9输出图像信号SI，所述控制与分析处理装置因此可以以相应的空间分辨率和顔色分辨率来进行分析处理，随后可以在车辆内部的显示装置上进行所检测的图像的显示和/或尤其可以通过图像处理进行定性的分析处理，以便例如向驾驶员输出报警消息，并且尤其也进行车辆管理的干预。图4在左侧示出所检测的行驶场景或者由图像信号SI建立的图像18。因此，例如用于调节与在前行驶的车辆10的恒定距离的距离调节系统可以进行通过车道标记11、12的辨识的车道识别、交通标志13和其他交通參与者15的识别。尤其是，可以确定所检测的对象10、11、12、13、15的顔色值并且用于辨识这些对象或者这些对象的部分区域。根据本发明的顔色掩模8根据图4划分成区域8a、8b、8c，其因此相应于图像18的图像区域18a、18b和18c。在此，中部区域8a包括顔色掩模8的大部分，从而尤其重要的对象10、11、12、13、15——尤其是其他交通參与者10、15、交通标识13和车道标记11、12落入相应的中部图像区域18a中。颜色掩模8的下部区域Sb相应于下部图像区域18b，车辆I前方的车行道3或者街道的一部分位于所述下部图像区域18b中。在所述下部区域Sb中因此首先不预期重要的对象；在必要时车道标记11、12的一部分可以延伸到下部区域Sb中。顔色掩模8的上部区域Sc在图像18中相应于上部图像区域18c，在所述上部图像区域18c中基本上成像天空。图4的示图能够实现图像18与顔色掩模8的直接对应，其中实际上在倒转的成像光学器件6中图像18也可以倒转地或镜像对称地成像到图像传感器7上，并且因此例如下部区域8b (以物理方式)设置在顔色掩模8上的上方。然而以下将相应于下部图像区域18b的区域理解为下部区域8b，对于上部区域8c也是相应的。区域8b和8c可以如所示的那样在颜色掩模8的多个完整的行上延伸，或者分别包括上部几行或者下部几行的中部部分，因为在所检测的图像18的侧面区域中以更高的概率出现其他对象,例如街道边缘处的建筑物14或树木16，其可以延伸至图像18的上边缘。根据本发明，下部区域Sb和/或上部区域Sc用于确定图像18的色温或者平均颜色值Fa。在此，根据本发明认识到，上部图像区域18c表示天空并且因此显示均匀亮的照明，而不显著影响其他对象，并且其亮度值和光谱组成影响整个图像18的亮度。在此，在上部图像区域18c中检测到的天空例如可以是白色的，或者在早上或者在晚上也是红色的，在夜间可能是黑色的。在下部图像区域18b中检测到的车道3通常呈现浙青或者路面的灰度值，其可以根据组成和整体亮度在淡灰与黒色之间变化。尤其是浙青在此是用于确定色温或者平均颜色值Fa的合适对象，其相应地也包含关于整体亮度的数据。在此，也一起检测挡风玻璃5的色调和挡风玻璃5上的污染和(可能)成像光学器件6中的污染。 根据本发明，顔色掩模8的中部区域8a包含不同于区域Sb和Sc的颜色图案。图3示例性地示出颜色图案20a至20f，其中相应的过滤器像素Pij根据颜色值表示。在此，透明的像素表示为值I，红色像素表示为R，青色像素表示为C，蓝色像素表示为B而绿色像素表示为G。图案20a是41图案，其因此用作灰色成像器并且仅仅允许确定灰度值。顔色图案20b、20c、20d和20f是既具有颜色值R、G、B、C也具有强度像素I的部分颜色图案，其中20b是R3I图案、20c是RC2I图案、20d是RGBl图案。在20e中示出了全色图案，在此作为RGGB或者拜耳(Bayer)图案。20f又是称作稀疏拜耳(Sparse Bayer)图案的部分颜色图案。中部区域8a包含比区域Sb和Sc更多的透明度值I并且尤其可以是部分颜色图案20b至20d或20f中的ー个。区域8b和/或8c例如是全色图案20f。在此，在区域8b和8c中也可以设有不同的全色图案，或者在区域8b或8c之一中设有图案20d，其包含较小份额的透明度值I。因此，通过所使用的部分颜色图案20b、C、d或f可以在区域18a中检测对象并且确定其颜色值。例如尾灯10a、15a可以确定为红色值、前大灯15b可以确定为白色值或黄色值，相应地用于转弯过程的闪光灯确定为时间上脉冲式的黄色值，此外也识别交通标志13的顔色并且必要时识别信号灯的顔色表示。此外，可以识别车道标记11和12的顔色值，以便例如能够区分白色色调与黄色色调。在暂时的车道改变时，黄色车道标记11部分地附加地施加在车行道3上，而不远离白色的车道标记,使得黄色的车道标记11应具有优先权。通过根据本发明在中部区域8a中施加部分颜色图案20b至20e中的ー个，这些颜色可以区分为白色或者基本上无色和黄色。这例如可以通过R3I颜色图案20b来实现。图像传感器7在中部区域8a后面的成像器像素7a输出第一像素信号Sla、在区域Sb和Sc后面的成像器像素7a相应地输出第二像素信号Slb和Slc，使得图像信号SI包含像素信号Sla、Slb和Slc，如在图2中在SI的信号箭头处表示的那样。控制与分析处理装置9使用像素信号Slb和Slc来确定平均的颜色值Fa和/或平均的亮度值Ha，用于白平衡，即用于所有图像信号SI以及像素信号Sla的校正。基于经校正的图像信号SI进行对象10、11、12、13、14、15的探测和识别。控制与分析处理装置9相应地输出输出信号S2，其可以用于驾驶管理干预并且此外还可以作为图像信号用于图像18在显示装置上的图形显
/Jn ο
在此，输出信号S2或者在中部图像区域18a中识别的对象补充地也可以用于分析处理图像区域18b和18c。尤其是，例如在探測中部图像区域18a中的车道标记11或12时，可以将其向下外推至图像区域18b中，使得在必要时可以将在图像区域18b中识别的轮廓分配给车道标记11和12。此外，在图4中可以看到，右侧树木16从中部图像区域18a向上延伸并且因此上部图像区域 18c的相应的右侧部分区域16-1可以与所述树木或者对象16相对应。因此，相关的部分区域16-1不用于确定平均颜色值Fa和/或平均亮度值Ha。此外，在所述部分区域中探測到的对象必要时也可以用于借助输出信号S2进行图像显示和车辆管理干预。因此，根据本发明的方法根据图5在步骤StO中开始，尤其是在接通摄像机2时开始，随后在步骤Stl中输出具有像素信号Sla、Sib、Slc的图像信号SI，在步骤St2中确定色温，即用于白平衡的平均颜色值Fa和/或平均亮度值，通过其在步骤St3中随后可以形成经校正的像素值或者图像信号并且可以辨识图像18中的对象10、11、12、13、14、15、16，从而在步骤St4中随后输出输出信号S2。根据另ー实施方式例如可以在成像光学器件6中引入漫射体，所述漫射体特定地更不清晰地成像上部图像区域18c和/或下部图像区域18b，使得这些图像区域中的结构不干扰颜色測量和平均颜色值Fa的确定。由第二像素信号Slb和Slc也可以补充地表示摄像机的光传感机构功能，即所述第二像素信号可以作为光学传感器用于车辆中的其他功能。控制与分析处理装置9可以如下设计其由较长的测量时段识别持续的颜色基本值或者着色，例如通过有色调的挡风玻璃5，因此也可以在没有当前的像素信号Sla和Slb的情况下例如在夜间行驶时借助暗的图像区域18b和18c进行相应的白平衡。
权利要求
1.用于车辆摄像机(2)的图像传感器(7)的顔色掩模(8)，其中，所述颜色掩模(8)具有由具有不同光谱透射特性的过滤器像素(Pij)构成的矩阵布置，其中，一些过滤器像素是透明的过滤器像素(I)，其对于光是至少基本上均匀透明的，而其他过滤器像素(R，G，B, C)是具有波长选择性透射特性的彩色像素(R，G，B, C)，其中，所述颜色掩模(8)具有作为由具有特定的透射特性的过滤器像素(Pij)构成的重复布置的颜色图案(20a，20b, 20c, 20d, 20e, 20f),其特征在干，所述颜色掩模(8)具有中部区域(8a)和下部区域(8b)和/或上部区域(8c)，所述中部区域具有第一颜色图案(20b，20c, 20d, 20f)，所述下部区域(8b)和/或上部区域(8c)具有第二颜色图案(20e)，其中，所述第一颜色图案(20b，20c，20d，20f)和所述第二颜色图案(20e)不同并且所述第一颜色图案包含透明的过滤器像素(I )。
2.根据权利要求I所述的颜色掩模，其特征在干，所述第一颜色图案(20b，20c,20d,20e)与所述第二颜色图案(20f)相比具有更大相对份额的透明的过滤器像素(I)。
3.根据权利要求I或2所述的颜色掩模，其特征在于，所述第二颜色图案(20f)被构造为不具有透明的过滤器像素的全色图案(20f)，例如RGGB图案(20f)。
4.根据以上权利要求中任一项所述的顔色掩模，其特征在于，所述下部区域(8b)和/或所述上部区域(8c)具有过滤器像素(Pij)的矩阵布置的多个完整的行，其中，所述中部区域(8a)与所述上部区域(8c)和/或所述下部区域(Sb)相比包含更多的行。
5.根据以上权利要求中任一项所述的顔色掩模，其特征在干，所述第一顔色图案是部分颜色图案(20b，20c, 20d, 20f )，所述部分颜色图案不仅具有透明的过滤器而且具有彩色的过滤器。
6.车辆摄像机(2)，其具有具有传感器像素(7a)的图像传感器(7)，设置在所述传感器像素(7a)前面的根据以上权利要求中任一项所述的顔色掩模(8)，以及控制与分析处理装置(9)，其中，所述图像传感器(7)向所述控制与分析处理装置(9)输出图像信号(SI)，所述图像信号包含所述图像传感器(7)的借助所述中部区域(8a)的过滤器像素(Pij)覆盖的传感器像素(7a)的第一像素信号(Sla)和所述图像传感器(7)的借助所述下部区域(Sb)和/或上部区域(8c)的过滤器像素(Pij)覆盖的过滤器像素(7a)的第二像素信号(Slb，Slc)，其中，所述控制与分析处理装置(9)由所述第二像素信号(Slb，Sic)确定平均颜色值(Fa)和/或色温和/或平均灰度值，用于所述第一像素信号(Sla)的白平衡或顔色校正。
7.根据权利要求6所述的车辆摄像机(2)，其特征在于，所述控制与分析处理装置(9)在通过所述图像信号(SI)传输的图像(18)的中部图像区域(18a)中由经校正的第一像素信号(Sla)确定对象(10，11，12，13，14，15，16)并且确定所述对象(10，11，12，13，14，15，16)的颜色值和所述对象(10，11，12，13，14，15，16)的部分区域(10a，15a，15b)的颜色值。
8.根据权利要求6或7所述的车辆摄像机(2)，其特征在于，所述控制与分析处理装置(9)检查对象(16)是否延伸到所述下部图像区域(18b)或所述上部图像区域(18c)中，并且所述下部图像区域/或上部图像区域(18b，18c)的存在所确定的对象的部分区域(16-1)不用于确定平均颜色值(Fa)和/或所述色温和/或所述平均灰度值。
9.根据权利要求6至8中任一项所述的车辆摄像机(2)，其特征在于，在所述图像传感器(7)前面设置有成像光学器件(6)、产生模糊的装置(7)——例如漫射体，其中，所述产生模糊的装置(17)在所述下部图像区域(18b)和/或上部图像区域(18c)中产生漫射的或不清晰的成像。
10.用于根据车辆摄像机(2)的图像信号(SI)建立图像(18)和确定所述图像(18)中的对象(10，11，12，13，14，15，16)的方法，所述方法至少具有如下步骤借助于摄像机(2 )检测车辆周围环境(4)，所述摄像机具有图像传感器(7 )和设置在所述图像传感器(7)前面的顔色掩模(8)，其中，所述颜色掩模具有中部区域(8a)和下部区域(8b)和/或上部区域(8c)，所述中部区域具有第一颜色图案(20b，20c, 20d, 20f)而所述下部区域和/或上部区域具有第二颜色图案(20e)，接收图像信号(SI)，所述图像信号包含设置在所述第一区域(8a)后面的传感器像素(7a)的第一像素信号(Sla)和设置在所述第二颜色图案(Slb，Slc)后面的传感器像素(7a)的第二像素信号(Slb，Slc)，以及确定平均颜色值(Fa)和/或色温和/或平均灰度值，以及实施至少所述第一像素信号(Sla)的白平衡或颜色校正。
全文摘要
本发明涉及一种用于车辆摄像机(2)的图像传感器(7)的颜色掩模(8)，其中颜色掩模(8)具有由具有不同光谱透射特性的过滤器像素(Pij)构成的矩阵布置，其中一些过滤器像素是透明的过滤器像素，其对于光是至少基本上均匀透明的，而其他过滤器像素是具有波长选择性透射特性的彩色像素，其中颜色掩模(8)具有作为由具有特定的透射特性的过滤器像素(Pij)构成的重复布置的颜色图案。根据本发明，颜色掩模(8)具有中部区域(8a)和下部区域(8b)和/或上部区域(8c)，中部区域具有第一颜色图案，下部区域(8b)和/或上部区域(8c)具有第二颜色图案，其中第一颜色图案和所述第二颜色图案不同并且第一颜色图案包含透明的过滤器像素。
文档编号H04N9/04GK102835115SQ201180016642
公开日2012年12月19日 申请日期2011年2月9日 优先权日2010年4月7日
发明者U·塞格, A·维尔茨-维塞尔, P·鲁瑙 申请人:罗伯特·博世有限公司