图像处理系统的制作方法
【技术领域】
[0001] 本发明涉及图像处理系统，并且尤其涉及一种处理包含偏振信息的图像的图像处 理系统。
【背景技术】
[0002] 已知偏振信息被用于图像处理（日本特开专利公开No. 2011-29903、日本专利 No. 4563513、日本特开专利公开No. 2012-185602、日本特开专利公开No. 2002-286862等）。
[0003] 例如，已知的是，在诸如照相机之类的图像捕获设备中，"被划分成区域的偏振滤 波器"被安排在图像捕获单元上，并且由像素获取的光的偏振方向被改变以拍摄图像。
[0004] 此外，已知一种用于通过将所获取的亮度信息使用为亮度图像以及将所获取的偏 振信息使用为颜色信息来输出"图片"的方法。
[0005] 例如，日本特开专利公开No. 2011-29903描述了一种方法，该方法包括通过使用 偏振滤波器获取"包含偏振信息的图像"以及通过将偏振信息的法向量当作箭头方向输出 图像。
[0006] 日本特开专利公开No. 2011-29903也描述了一种方法，其包括根据偏振角度确定 可见光谱以及根据偏振角度"通过颜色编码重构每一像素"。
[0007] 在日本特开专利公开No. 2011-29903中描述的方法中，利用"箭头和颜色"来表示 偏振信息。从而，当使用偏振信息时，"对亮度图像使用通用处理"是不可能的。
[0008] 例如，即使一个人意在使用包括用于"识别路面上的白线"的车载照相机的偏振信 息的图像，基于"用于使用亮度识别白线的算法"来执行处理也是不可能的。
[0009] 换句话说，新开发"用于表示成颜色的偏振信息的白线识别处理"是必需的。
【发明内容】
[0010] 技术问题
[0011] 在上文所描述的环境下，存在提供一种使得通过使用对亮度图像的处理来使用偏 振信息成为可能的新颖的图像处理系统的需要。
[0012] 问题的解决方案
[0013] -种根据本发明的图像处理系统，包括：亮度偏振叠加单元，其将包含偏振信息的 图像的偏振信息叠加到亮度图像上，作为每一像素的亮度方面的变化。图像处理系统具有 将由亮度偏振叠加单元通过叠加所获取的图像作为输出图像输出的功能。
[0014] 本发明的有益效果
[0015] 根据实施例的图像处理系统，偏振信息被叠加到亮度图像上作为每一像素的亮度 方面的变化，并且作为输出图像输出。
[0016] 从而，可以在要被输出的输出图像上执行关于亮度图像的通用图像处理。
【附图说明】
[0017] 图1是示出图像处理系统的实施例的图；
[0018] 图2是示出通过对象反射的模型的图；
[0019] 图3是示出图像处理系统的另一实施例的图；
[0020] 图4A和图4B是示出要被成像的相同对象的亮度图像和叠加了亮度偏振的图像的 示例的视图；
[0021] 图5A和图5B是示出要被成像的相同对象的亮度图像和叠加了亮度偏振的图像的 另一不例的视图；
[0022] 图6A和图6B是示出要成像的相同对象的亮度图像和叠加了亮度偏振的图像的又 一示例的图；
[0023] 图7是用于获取亮度图像的饱和度的流程图；
[0024] 图8是示出用于控制车辆的图像处理系统的图；以及
[0025] 图9是示出图像处理系统的硬件的示例的图。
【具体实施方式】
[0026] 下文将描述本发明的实施例。
[0027] 图1(a)是示出图像处理系统的实施例的概念图。
[0028] 在图1(a)中，参考标记10指示"图像捕获单元"，参考标记20指示"亮度偏振叠 加单元"，以及参考标记30指示"图像处理/图像识别单元"。
[0029] 在图像捕获单元10、亮度偏振叠加单元20和图像处理/图像识别单元30中，亮度 偏振叠加单元20对于本发明的图像处理系统而言是必要的。
[0030] 换句话说，亮度偏振叠加单元20独自可以构成本发明的图像处理系统。
[0031] 图像捕获单元10可以和与本发明的图像处理系统相分离的亮度偏振叠加单元20 组合，或可以构成该图像处理系统的一部分。
[0032] 类似地，图像处理/图像识别单元30还可以与本发明的图像处理系统相分离，或 可以构成图像处理系统的一部分。
[0033] 图像捕获单元10捕获"包括偏振信息的图像"到由亮度偏振叠加单元20执行的 叠加处理上。图1(a)中的符号頂P指示"包含偏振信息的图像"。
[0034] 图像IMP在下文被称为"偏振图像IMP"。
[0035] 图像捕获单元10可以使用独立于图像处理系统所提供的所谓的"偏振照相机"。 在该情况下，偏振图像頂P可以被获取为偏振照相机的"被捕获的图像"。
[0036] 图像捕获单元10的配置示例将参考图I (a)、图I (b)和图I (c)进行描述。
[0037] 如在图1(a)中所示出的，图像捕获单元10包括成像透镜11、图像捕获单元12、以 及光学滤波器13。
[0038] 图1(c)示出了图像捕获单元12和光学滤波器13在横向上看上去如何。
[0039] 在图像捕获单元12中，像素被二维地排列在基底ST上。在所描述的示例中，像素 根据方形矩阵排列。
[0040] 在光学滤波器13中，偏振滤波器132被夹在透明基底131和填充层133之间。
[0041] 图1(c)示出了如同光学滤波器13和图像捕获单元12彼此分离。但是，实际上， 光学滤波器13紧密地附接在图像捕获单元12上。
[0042] 特别地，在偏振滤波器132和图像捕获单元12之间的邻近部分被充当"粘结剂"的 填充层133填充。因此，光学滤波器13和图像捕获单元12是集成的。
[0043] 偏振滤波器132是所谓的"区域划分偏振滤波器"。特别地，各自具有不同的偏振 方向的不同类型的偏振滤波器单元是根据图像捕获单元12的像素二维排列的。
[0044] 在图I (b)中，四个相邻的像素 PC1、PC2、PC3和PC4分别与对应的偏振滤波器单元 P0L1、P0L2、P0L3、和 P0L4 重叠。
[0045] 两种类型的偏振滤波器单元用于偏振滤波器132。第一类型的偏振滤波器单元发 送P偏振。第二类型的偏振滤波器单兀发送S偏振。
[0046] 两种类型的偏振滤波器单元为矩形。偏振滤波器单元的长度方向与图1(b)中的 图像捕获单元12的像素阵列的长度方向（二维行列数组的列方向）对应。
[0047] 具有矩形的偏振滤波器单元在横向方向上（行方向）交替排列。
[0048] 如在图I (b)中所不出的，像素 PCl和PC2在长度方向上排列。发送S偏振的偏振 滤波器单元POLl和P0L2在长度方向上排列。从而，该偏振滤波器单元POLl和P0L2分别 与像素 PCl和PC2相对应。
[0049] 类似地，像素 PC3和PC4在长度方向上排列。发送P偏振的偏振滤波器单元P0L3 和P0L4在长度方向上排列。从而，偏振滤波器单元P0L3和P0L4分别与像素 PC3和PC4对 应。
[0050] 由图像捕获单元10捕获的主体的图像在偏振滤波器132上形成。该图像通过每 一偏振滤波器以成为P或S偏振，然后其由图像捕获单元12接收。
[0051] 以此方式，P偏振或S偏振的图像由图像捕获单元12针对每一像素捕获。
[0052] 从而，所捕获的图像是"包括偏振信息的图像"，并且如图1中所示出的被输出为 偏振图像頂P。
[0053] 作为图像上的信息，偏振图像IMP包括"亮度图像和偏振信息"。
[0054] 偏振图像IMP被输入到亮度偏振叠加单元20。
[0055] 亮度偏振叠加单元20在物理上包括CPU和微计算机。通过基于稍后描述的算法 的程序计算，亮度图像和偏振信息被叠加。
[0056] 如已经被描述的，作为图像上的信息，偏振图像頂P包括"亮度图像和偏振信息"， 并且从偏振图像MP提取"亮度图像"和"偏振信息"。
[0057] 从而所提取的偏振信息被叠加在亮度图像上。特别地，偏振图像IMP的偏振信息 被"叠加在亮度图像上，作为每一像素的亮度中的变化"。
[0058] 亮度图像和偏振信息以此方式进行叠加，且然后作为在图1(a)中示出的输出图 像頂〇被输出。
[0059] 通过叠加亮度图像和偏振信息获取的图像被称为"叠加了亮度偏振的图像"。
[0060] 对于输出图像頂0,诸如"对LDW和AHB的处理"之类的"现有技术中的通用亮度 图像处理"对于安装在车辆上是可能的。
[0061] 如上文所描述的，相关技术的亮度图像处理可以在输出图像頂0上执行。在图 I (a)的示例中，输出图像頂0被输入到图像处理/图像识别单元30。
[0062] 当接收输出图像頂0的输入，图像处理/图像识别单元30执行期望的图像处理和 图像识别处理。
[0063] 例如，如果在图1(a)中所示出的图像处理系统被安装"用于车辆控制的目的"，则 图像处理/图像识别单元30执行例如提取所识别的对象的处理。
[0064] 已经接收了上文处理的结果的车辆控制单元执行诸如辅助车辆的刹车和方向盘 操作之类的车辆控制。
[0065] 可以通过"相关技术的亮度图像处理"来处理输出图像頂0。从而，无需"针对偏 振图像新开发图像处理或图像识别处理"。
[0066] 通过使用图1中的图像处理系统，可以改进识别率且可以减小错误检测。
[0067] 针对图像捕获单元10稍微地进行了另外的描述。图1中示出的图像捕获单元10 包括偏振滤波器132。
[0068] 偏振滤波器132是通过二维排列"发送P偏振的偏振滤波器单元和发送S偏振的 偏振滤波器单元"获取的"区域划分偏振滤波器"。
[0069] "图像捕获单元"不限于具有上文所描述的结构的图像捕获单元。
[0070] 例如，图像捕获单元可以具有在日本专利申请特开No. 2011-29903中描述的结 构，其中"在成像透镜前提供通过组合多个偏振方向的偏振器获取的偏振器板，且当偏振器 板被旋转的同时捕获图像"。
[0071] 可供替换地，"发送S偏振的偏振滤波器"可以与两个成像捕获照相机中的一个组 合，且"发送P偏振的偏振滤波器"可以与其他的图像捕获照相机组合。
[0072] 特别地，照相机中的一个捕获"包含S偏振信息的图像信息"且另一照相机捕获 "包括P偏振信息的图像信息"。然后，每一照相机的图像信息被组合成获取偏振图像。
[0073] 如已经描述的，对于通过各种图像捕获单元获取的"偏振图像"，如在本发明中通 过"将偏振信息叠加在亮度图像上"来执行图像处理是可能的。
[0074] 要注意的是，上文所描述的偏振滤波器132可以具有例如"子波长结构（SWS) "。
[0075] 在上文的示例中，"黑白图像传感器"被假定为图像捕获单元12。可供替换地，也 可以采用彩色图像传感器。
[0076] 在利用偏振滤波器132形成的图像捕获单元12的区域中，区域P和S的P和S的 偏振图像分别成像。
[0077] 如稍后所描述的，P和S的偏振图像用于将各种类型的信息检测为"包括偏振信息 和亮度图像的图像"。
[0078] 下文将描述偏振信息的基础及其叠加在亮度图像上。
[0079] 利用双向反射分别函数（在下文中称为"BRDF"）表示对象表面的反射属性。
[0080] 对象表面上"某一点处的BRDF"取决于入射方向和反射方向两者，且其被定义为在 观察方向上反射的光强度与来自照明方向的入射光的强度的比率。
[0081] 已经提出了描述"偏振现象"的各种反射模型。
[0082] "托伦斯麻雀（Torrance Sparrow)模型"用作镜面反射组件且"朗伯模型"用作下 文的漫反射组件。
[0083] 图2示出了利用对象OB的反射模型。在图2中，"N"在对象OB的反射位置处指 示"外法向量"。
[0084] "L"指示了去往来自反射位置的光源的向量且被称为"光源向量"。"V"指示了去 往来自反射位置的观察位置的向量且被称为"视觉方向向量"。
[0085] "Η"指示了将在光源向量"L"与视觉方向向量" V"之间形成的角度二等分的方向 的向量。这样的向量简单地被称为"二等分方向向量"。
[0086] 向量N、L、V和H中的每一个位于"相同的平面"上。
[0087] 在相同的平面上，角度Φ、θρ a、Q1以及Θ如图2中所示出的被定义。
[0088] 对象OB的" S偏振BRDF : P s ( Φ，Θ ) "按如下给出。
[0089] P s ( Φ , Θ ) = ksRs (Si) D+kdcos Θ L (A)
[0090] 类似地，"P偏振BRDF : P P ( Φ，Θ ) "按如下给出。
[0091] P p ( Φ , Θ ) = kPRP (Si) D+kdcos Θ L (B)
[0092] 在公式（A)和（B)右侧的第一项是镜面反射模型项（特伦斯麻雀模型）且右侧的 第二项是漫反射模型项（雷伯特模型）。
[0093] 在公式㈧和⑶中，"ks"指示S偏振的镜面反射系数，"kP"指示P偏振的镜面 反射系数，且"k d"指示漫反射系数。
[0094] "Rs( Θ J和Rp ( Θ J "是分别相对于S偏振和P偏振的"菲涅尔反射率"，且其由以 下公式给出。
[0095] RsPi)
[0096] ={ Oi1Cos Θ ^n2Cos Θ Z )/ (Ii1Cos Θ Jn2Cos Θ Z )}2
[0097] RpPi)
[0098] = { Oi1Cos Θ Z -n2cos Θ J / (Ii1Cos Θ Z +n2cos Θ J }2
[0099] 其中，叫和η 2分别是空气和对象OB的折射指数。
[0100] 角度Θ/与角度Q1和折射指数η JPn2具有以下的关系。
[0101] sin θ Z = (η? sin Θ i
[0102] 从而，应用 θ / = arcsiniOVnJsin Θ J 0
[0103] 利用菲涅尔反射率的项，偏振依赖性被反射为反射模型的行为。
[0104]