图像处理装置、图像处理方法以及摄影装置的制作方法

专利名称：图像处理装置、图像处理方法以及摄影装置的制作方法
技术领域：
本发明涉及可以同时获取被摄体的彩色信息和偏振光信息的图像处理装置以及 方法。另外，本发明涉及可以很合适地应用于这种图像处理的拍摄装置。
背景技术：
近年来，数码摄像机的进步异常显著，可以预想到将来的便携式电话的照相机也 可以获得HDTV画质。但是，如果将光学系统或拍摄元件小型化，则由于灵敏度或透镜衍射 极限等原因，会产生图像拍摄的极限问题，因此，可以认为在将来高精细化也会达到极限。 在这种情况下，在不够满意的被摄体的图像信息中施加计算机图形化处理对于画质的提高 很有效。但是，为此需要获取被摄体的三维形状信息或照明被摄体的光源等图像生成过程 中的物理信息。为了获取形状信息，通常需要使用激光或LED(Light Emitting Diode)的 有源传感器或双视野立体摄影等的距离测量系统。这些系统不仅规模大，而且受到各种制 约。例如，该制约包括只能在照相机和被摄体的距离最多为数米左右的范围内进行拍摄， 或者作为拍摄对象的被摄体被限定为固定形状的、明亮的漫射物体等。这样一来，不能应用 于远距离的室外场景拍摄、或者头发或服装很重要的人物拍摄。以往，作为无源的(被动的)被摄体形状传感方式，有利用偏振光的技术。这是一 种利用来自被照射了非偏振光的自然光的被摄体的反射光(镜面反射光、或漫射反射光) 由于表面方向或视点这些几何学上的原因而呈现各种部分偏振光的现象的技术。为了获取 该信息，需要获取被摄体各像素的部分偏振光状态作为偏振光图像。专利文献1以及非专利文献1公开了 为了同时获取亮度图像和被摄体的部分 偏振光图像，在拍摄元件中空间上配置具有多个不同的偏振光主轴的图形化偏振器。作 为图形化偏振器，使用光子结晶或结构双折射微偏极延迟阵列(form birefringence microretarder array)。但是，在这些技术中仅仅能同时获取单色图像和偏振光图像。专利文献2公开了通过在贝尔彩色拼接中的G(绿色)像素的一部分中配置偏振 光滤光器，使拍摄元件的一部分具有偏振光特性，且同时获取彩色图像和偏振光信息的内 容。通过该技术可以从彩色图像中得到抑制了镜面反射分量的图像。在该技术中，由于进 行获取不同的2个偏振光像素之间的差分的这一简单操作，因此，不能完全获取被摄体的 部分偏振光的信息。专利文献1 JP特开2007-86720号公报专利文献2 JP特开2006-254331号公报非专利文献1 菊田、岩田“偏振光图像测量系统”Oplus E、Vol.25、No. 11、 P1241-1247、2003在以往的技术中，不能同时获取被摄体的彩色图像和被摄体的部分偏振光的偏振 光图像。因此，获取彩色动态图像和在时间上没有偏差的形状信息是不可能的。专利文献2公开了在彩色图像中加入一部分的偏振光信息来控制彩色图像，并控 制镜面反射的技术。在该技术中，如图24所示，像素被配置成拜耳拼接(Bayer Mosiac)形状。在图23中，Gl和G2都表示G像素，但是，在Gl的位置上配置有偏振器，而在Gl的位置上没有配置偏振器。另一方面，Rl和Bl分别表示R(红色)和B (蓝色)的像素，在这些 像素位置上没有设置偏振器。即，在这种像素配置中，只有G2像素作为偏振光像素发挥功 能。专利文献2的装置进行的处理将Gl以及G2的像素位置上的亮度差设为常数倍， 分别与R1、G1、Bl这些非偏振光像素相加。由此可控制色彩亮度值。通过该结构即使获得 彩色图像和偏振光信息，由于在G2的像素位置上设置了偏振器而与原来的G像素不同，因 此，如果就在该状态下进行彩色拼接内插，则会在彩色图像上产生色偏差。并且，由于只使用2种偏振光像素，因此，获取的部分偏振光的信息不完全。其结 果是，在各像素位置上，不清楚在哪个方向上产生了何种程度的部分偏振光。即，不能获取 完全的偏振光信息的图像。

发明内容
本发明是为了解决上述课题而完成的，其目的是提供一种能够获取彩色拼接被 正确地内插的全彩色图像，并且能同时获取表示偏振光的方向和程度的偏振光图像的图像 处理装置以及图像处理方法。另外，本发明的目的还在于提供一种可以很合适地应用于这种图像处理的拍摄装置。本发明的图像处理装置具有彩色偏振光获取部，其包括单板彩色拍摄元件，该单 板彩色拍摄元件具有彩色拼接滤波器、以及具有不同的至少3种角度的透射偏振面的多 个偏振器单位被设置在上述彩色拼接滤波器内的同一颜色的多个像素中的图形化偏振器； 偏振光信息处理部，其用正弦函数对在上述同一颜色的多个像素中透射过上述偏振器单位 的光的亮度与上述偏振器单位的透射偏振面的角度的关系进行近似；以及彩色拼接内插 部，其通过进行色彩亮度的内插，将透射偏振面的角度彼此不同、并且由相邻的3个偏振器 单位形成的三角形区域作为像素单位，来生成色彩亮度图像。在优选的实施方式中，上述图形化偏振器具有透射偏振面的角度彼此不同的3 种偏振器单位相邻配置的结构。在优选的实施方式中，上述彩色拼接滤波器具有单一特定颜色的像素排列成锯 齿状的结构，上述偏振器单位配置在上述排列成锯齿状的像素中。在优选的实施方式中，上述彩色拼接滤波器具有将单一特定颜色的像素被排列 成锯齿状的正方形晶格旋转45度的结构，上述偏振器单位配置在上述排列成锯齿状的像 素中。在优选实施方式中，各像素具有八角形的形状。在优选实施方式中，上述单一特定颜色为R (红色)、G (绿色)、B (蓝色)中的G (绿 色)。在优选实施方式中，上述彩色拼接滤波器具有各像素为六角形形状的六角形晶格 的结构，上述偏振器单位配置在上述排列的单一特定颜色的像素中。在优选实施方式中，上述彩色拼接内插部通过在应该内插色彩亮度的像素的旁 边，将在同一颜色的像素中观测到的亮度平均化，来消除偏振光的效果，并对色彩亮度进行内插，上述同一颜色的像素具有透射偏振面的角度彼此相差60度的3种偏振器单位。本发明的图像处理方法具有利用在彩色像素排列中的单一特定颜色的多个像素 中设置了透射偏振面的角度不同的3种偏振器单位的单板彩色拍摄元件，来观测各像素的 亮度的步骤；从在上述单一特定颜色的透射偏振面的角度不同的3种像素中观测到的亮 度，获取偏振光信息的步骤；以及将由上述单一特定颜色的透射偏振面的角度不同的3种 像素形成的三角形区域作为像素单位来进行色彩亮度的内插，从而生成色彩亮度图像的步 马聚ο本发明的拍摄装置具有彩色拼接滤波器；图形化偏振器，其中，具有不同的3种 角度的透射偏振面的多个偏振器单位被设置在上述彩色拼接滤波器内的同一颜色的多个 像素中；以及单板彩色拍摄元件，其以像素单位输出与透射上述彩色拼接滤波器以及图形 化偏振器的光的亮度相应的信号。在优选的实施方式中，上述彩色拼接滤波器具有单一特定颜色的像素排列成锯 齿状的结构，上述偏振器单位配置在上述排列成锯齿状的像素中。在优选的实施方式中，上述彩色拼接滤波器具有将单一特定颜色的像素被排列 成锯齿状的正方形晶格旋转45度的结构，上述偏振器单位配置在上述排列成锯齿状的像 素中。 在优选实施方式中，各像素具有八角形的形状。在优选实施方式中，上述彩色拼接滤波器具有各像素为六角形形状的六角形晶格 的结构，上述偏振器单位配置在上述排列的单一特定颜色的像素中。(发明效果)根据本发明，由于是将多种偏振器单位组合到彩色拼接滤波器的像素排列中使 用，因此，可同时获取、处理关于色彩亮度以及偏振光的信息。另外，在本发明中，透射偏振面的角度彼此不同，并且，将由相邻的3种偏振器单 位构成的三角形区域作为像素单位，因此，与将由透射偏振面的角度彼此不同的4种以上 的偏振器单位构成的区域作为像素单位的情况相比，能够从面积更小的像素单位获取局部 的、精度高的偏振光信息。


图1是表示本发明的图像处理装置的结构的框图。图2是表示本发明的彩色偏振光获取部的结构的图。图3是偏振器单位的3种偏振光主轴的说明图。图4(a)和(b)是第1实施方式的彩色滤波器以及图形化偏振光元件的排列状态 的说明图。图5(a)和(b)是第1实施方式的彩色滤波器以及图形化偏振光元件的排列状态 的其他例子的说明图。图6是说明第1实施方式中的正弦函数状亮度变动和观测亮度点的图。图7是说明第1实施方式中的正弦函数的3种未知参数的图。图8是表示第1实施方式中的三角形区域的集合与G色彩亮度的内插方法的图。图9是表示第1实施方式中的三角形区域的集合与B色彩亮度的内插方法的图。
图10是表示第1实施方式中的三角形区域的集合与R色彩亮度的内插方法的图。图11是说明第1实施方式中的彩色拼接内插部的操作的流程图。图12是说明第1实施方式中的偏振光信息处理部的操作的流程图。 图13(a)是作为球体的塑料制成的球的被摄体的输入图像；(b)以及(C)是分别 表示针对(a)的被摄体的偏光度图像P (x,y)以及偏振相位图像Ψ (x,y)的例子的图像。图14(a)以及(b)是表示偏光度图像P (x,y)以及偏振相位图像Ψ (x,y)的被摄 体上的数值变化的示意图。图15(a)到(C)是表示向镜面反射分量图像和漫射反射分量图像分离的例子的 图。图16是表示第2实施方式中的彩色滤波器和图形化偏振器的排列以及单位像素 的形状的图。图17是表示第2实施方式中的三角形区域的集合和内插方法的图。图18是说明第3实施方式中的彩色滤波器和图形化偏振器的排列以及单位像素 的形状的图。图19是表示第3实施方式中的三角形区域的集合的图。图20是说明第3实施方式中的三角形区域的集合和G色彩亮度的内插方法的图。图21是说明第3实施方式中的三角形区域的集合和B色彩亮度的内插方法的图。图22是说明第3实施方式中的三角形区域的集合和R色彩亮度的内插方法的图。图23是表示本发明的拍摄装置的实施方式的结构的框图。图24是现有技术的说明图。符号的说明100 透镜101彩色偏振光获取部102彩色拼接内插部103偏振光信息处理部104彩色图像帧存储器105偏光度图像帧存储器106偏振相位图像帧存储器107拼接图像帧存储器
具体实施例方式以下，参照附图对本发明的图像处理装置以及图像处理方法的实施方式进行说 明。以下要说明的本发明的优选实施方式大概地具有如下结构。实施方式1 只在贝尔彩色拼接中的G像素中配置不同的3种偏振器。实施方式2:在将贝尔彩色拼接旋转45度的结构中，只在G像素中配置不同的3种 偏振器。实施方式3 在六角晶格的彩色拼接排列中，只在G中配置不同的3种偏振器。(实施方式1)图1是表示与在本说明书中说明的本发明的所有实施方式共通的基本结构的框图。本实施方式的装置可以在从被摄体实时地获取彩色图像信息的同时，获取偏振光图像 信息，并作为2种偏振光图像(偏光度图像Ρ以及偏振相位图像φ)输出。偏光度图像Ρ 以及偏振相位图像φ可以是静止、动态图像中的任意一种情况。通过图1所示 的透镜100的入射光入射到彩色偏振光获取部101。彩色偏振光获 取部101从该入射光同时获取彩色动态图像图像和偏振光信息图像的数据。从彩色偏振光 获取部101输出的彩色拼接图像的数据存储在拼接图像帧存储器107中。从拼接图像帧存储器107按顺序读出拼接图像的数据，发送到彩色拼接内插部 102，进行内插处理。针对每个像素，内插处理的结果存储在由RGB的3位面结构形成的彩 色图像帧存储器104中，也适当地进行读出。从拼接图像帧存储器107中按顺序读出像素信号，发送到偏振光信息处理部103。 这些像素信号由偏振光信息处理部103进行处理，并被存储到偏光度图像帧存储器105以 及偏振相位图像帧存储器106中。偏光度图像(P)的数据被从偏光度图像帧存储器105 输出，偏振相位图像(Ψ )的数据被从偏振相位图像帧存储器106输出。图2是表示彩色偏振光获取部101的基本结构的示意图。在所图示的例子中，彩 色拼接滤波器201以及图形化偏振器202重叠设置在拍摄元件像素203的前面。图2为概 念性的图，彩色拼接滤波器201和图形化偏振器202的重叠顺序与图2相反，图形化偏振器 202可以重叠在彩色拼接滤波器201的前面，另外，在使用融合了彩色滤波器功能和偏振光 功能的光学元件的情况下，由于其自身可以实现2种功能，因此，重叠操作这一操作本身就 不需要。入射光204透射彩色拼接滤波器201以及图形化偏振器202到达拍摄元件，通过 拍摄元件像素203以像素单位观测亮度。根据本实施方式，可使用单板彩色拍摄元件，同时 获取彩色信息以及偏振光信息两者。并且，如后面将要详细说明的那样，图形化偏振器202 由包括透射偏振面的角度彼此不同的偏振器单位(节段)的多个偏振器单位构成。典型而 言，各个偏振器单位具有相当于1个像素的大小，但是，偏振器单位无需配置在彩色拼接滤 波器201的所有的像素中。图形化偏振器202配置为方格花纹形状。这种图形化偏振器202可使用例如非专利文献1记载的光子结晶来实现。在光 子结晶的情况下，具有与在其表面上形成的沟平行的电场矢量(振动面)的光为TE波 (Transverse Electricffave,电场分量相对于入射面为横向)，具有垂直的电场矢量(振动 面)的光为TM波(Transverse Magnetic Wave，磁场分量相对于入射面为横向)。另外，偏 振器单位表示在各波长频域中TM波透射而TE波反射(不透射)的偏振光特性。图3表示在图形化偏振器202的各偏振器单位中示意性地画出的斜线的含义。图 3所示的各像素内的斜线表示在各像素上设置的微小的偏振片(偏振器单位)的偏振光主 轴方向。在此，“偏振光主轴”是指与透射偏振器的光的偏振面(透射偏振面)平行的轴。偏振器单位在主轴方向上透射具有振动面的光，而且屏蔽具有垂直振动面的光。 在本说明书中，分别将角度Ψ =0°、60°、120°的偏振光主轴分配给偏振器编号1 3的 偏振器单位。偏振器单位的偏振光透射率取决于所利用的光的波长，因此，与彩色拼接滤波 器的透射波长域一起进行设计。例如，用符合“G1”限定的偏振器单位被设计为在“G”的 波长域内，主轴方向使“1” (即，角度Ψ = 0° )的方向的偏振光透射。图4表示本实施方式的彩色偏振光获取部101中的像素的配置。图4(a)表示只在贝尔彩色拼接滤波器中的G像素的位置上配置“G1” “G3”这3种偏振器单位。在该例 中，当关注G的排列的情况下，在纵向上排列了 Gl的列401、排列了 G2的列402和排列了 G3的列403按照该顺序周期性地排列。在行404中，在横向上Gl、G3、G2按照该顺序交替 排列。另外，在行405中，虽然与行404同样，G1、G3、G2按照该顺序交替排列，但是，相对于 行404，排列的相位向横向移位了 3个像素。并且，在R像素以及B像素的位置上没有配置 偏振器单位。虽然图4中只显示了 5X5 = 25个像素，但是，在实际的彩色偏振光获取部101中， 与此处所示的25个像素块相同的多个像素块在与拍摄面平行的面内周期性地排列。在图 4(b)中，描述了三角形G1-G2-G3的集合体。以相邻的3种G像素作为顶点的三角形区域实 际上很微小，在该三角形区域的内部，偏振光信息可认为是相同，因此，从以这3种偏振器 单位观测的亮度获取以下的偏振光信息。即，三角形成为获取偏振光信息的基本单位。因 此，在本说明书中，可认为三角形区域G1-G2-G3是与作为拍摄元件表面上的物理性受光单 位的像素不同的虚拟三角形像素。在本实施方式中，拍摄面上的像素排列本身为正方形的 晶格，因此，虚拟三角形像素成为等腰三角形。图5表示本实施方式的彩色偏振光获取部101中的像素配置的其他的例子。该配 置方式为在纵向上排列了 G2的列501、排列了 Gl的列502和排列G3的列503按照该顺 序周期性地排列。在行504中，在横向上G2、G3、Gl按照该顺序交替排列。另外，在行505 中，虽然与行504同样，G2、G3、G1按照该顺序交替排列，但是，相对于行504，排列的相位向 横向移位了 3个像素。三角形G1-G2-G3的结构与图4的排列的结构相同。
(偏振光信息)图6表示透射了具有方向不同的偏振光主轴(Ψ = 0°、60°、120° )的3种偏 振器的G光的亮度601 603。在此，将偏振光主轴的旋转角Ψ为Wi时的观测亮度设为 Ii0其中，“i”是1以上N以下的整数，“N”为样本数。在图6所示的例子中，由于N = 3， 所以i = l、2、3。图6中显示了与3个G像素的样本(Ψ^ Ii)对应的亮度601 603。偏 振光主轴的角度Ψ 与亮度601 603的关系通过周期=π (180° )的正弦函数来表示。 周期固定的正弦函数所具有的未知数只有振幅、相位以及平均值3种，通过观测不同的Ψ 的3个亮度601 603，可完全确定1条正弦函数曲线。相对于偏振器单位的偏振光主轴的角Ψ的观测亮度用以下的公式表示。公式1Ι(Ψ) = A · sin 2(Ψ-Β)+0 (式 1)在此，如图7所示，A、B、C为未知常数，分别表示偏振光亮度的变动曲线的振幅、相 位、平均值。根据3个点的观测(公式1)，成为以下的联立方程式。公式2
未知数C为具有均等的相位差的偏振光像素亮度的平均值，因此，如以下的(公式 3)所示被确定。公式3
(式 3)另外，A以及B通过(公式2)的联立方程式分别如(公式4)以及(公式5)所示
被确定。公式4
)(式 4)公式5
(式 5)并且，本说明书中的“偏振光信息”是指表示对于亮度的偏振光主轴角度的依存 性的正弦函数曲线上的振幅调制度P以及相位信息Φ。如果通过以上的处理，针对每个三 角形区域G1-G2-G3确定了正弦函数的A、B、C的3个参数，则可以求出表示各像素中的偏光 度P的偏光度图像和表示各像素中的偏振相位Φ的偏振相位图像。偏光度P表示该像 素的光偏振的程度，偏振相位Φ表示取正弦函数的最大值的角度位置。该角度是在图像面 内部表示当来自被摄体的反射光引起内部漫射反射的情况下的被摄体的表面法线存在的 面的角度。并且，偏振光主轴的角度0°和180° (π)相同。数值P、Φ (0彡Φ彡π )分别通过以下的(公式6)以及(公式7)计算出。公式6

式6)公式7
并且，针对每个三角形区域G1-G2-G3求得上述偏光度和偏振相位意味着偏光度 图像帧存储器105以及偏振相位帧存储器106的图像成为三角形像素的结构。(G的色彩亮度的内插)图9描述了图4(b)或图5(b)中的8个三角形像素的集合，三角形的各顶点(a) (i)对应于由G的偏振光像素Gl、G2、G3中的任意一个构成的9个像素。在本发明的优选实施方式中，如图9所示，色彩亮度内插也以三角形像素为单位实施。如果将各顶点像素的 观测亮度设为Ia Ie，则将由图中所示的(a) (b) (e) (d)构成的斜正方形进行上下分割后的 三角形(a) (b) (d)的G亮度即Gu以及三角形(b) (e) (d)的G亮度即Gd可通过以下的(公 式8)以及(公式9)求出。公式8
公式9
公式8、公式9中的常数2是在非偏振的光透射了直线偏振光的情况下光量变为 1/2的现象的校正项。另外，这些公式中的T表示偏振器的透射率，是T不为100%的修正 项。同样，图8的所有三角形区域中的G亮度Gl^PGd可以求出。并且，这些三角形像 素分别成为1个具有亮度的单位。(B的色彩亮度的内插)图9是表示为了获取图4(b)或图5(b)所示的三角形像素的B的色彩亮度所需的 像素的图。图9所示的9个顶点(a) (i)构成三角形像素的顶点，与G的偏振光像素1、 2、3中的任意一个对应。在图9，作为用于获取内插所需要的数据的像素位置，图示了通过 上述顶点(a) ⑴构成的三角形像素的外侧的4个顶点(α)(β)(Υ)(δ)以及外侧的 顶点(μ) (ν).在图9中，用虚线围起来的矩形区域901 904表示具有B色彩亮度的正方形像
οB像素位于矩形区域901 904内，B像素的面积占三角形像素的面积的50%。作 为上下的三角形像素也采用该值。如果基于该想法，则在图9中存在B值的是画了斜线的 区域。具体而言，为斜正方形(b) (c) (f) (e)、斜正方形(e) (h) (g) (d)、三角形(a)(b) (a)、 三角形(a) (d) ( β )、三角形(f) ( γ ) (i)、三角形(h)⑴⑷。欠缺B亮度的三角形区域是斜正方形(a) (b) (e) (d)以及斜正方形(e) (f)⑴(h) 中所分别包含的2个白色区域所示的三角形。这些三角形像素中的B色彩亮度必须通过内 插生成。而且，可通过将矩形区域901 904的B色彩亮度进行平均来实施内插。例如，如 果将矩形区域901的B亮度记载为B9tll，则可以通过以下的(公式10)计算出内插值。公式10
其中，需要将斜正方形的区域上下分割为2个三角形像素。利用B色彩亮度和G 色彩亮度的相关性，通过以下的(公式11)计算每个三角形像素的B色彩亮度Bu、Bd。公式11
(式11) 图10是表示为了获取图4(b)或图5(b)所示的三角形像素的R的色彩亮度所需 的像素的图。作为内插所需要的数据，也描述了由顶点(a) (i)构成的三角形像素的外 侧的G像素位置即4个顶点(ε ) ( ζ ) ( η) ( θ )。在此，根据与上述B像素相同的想法，存在 R像素的是画斜线的区域。具体而言是斜正方形(a) (b) (e) (d)、斜正方形(e) (f) (i) (h)的 位置、三角形(ε) (c) (b)、三角形(c) (ζ) (f)、三角形(d) (g)(n)、三角形(g) (h) ( θ ) 0(R的色彩亮度的内插)图10是表示为了获取图4(b)或图5(b)所示的三角形像素的R的色彩亮度所需 的像素的图。作为内插所需要的数据，也描述了由顶点(a) (i)构成的三角形像素的外 侧的G像素位置即4个顶点(ε ) ( ζ ) ( η) ( θ )。在此，根据与上述B像素相同的想法，存在 R像素的是画斜线的区域。具体而言是斜正方形(a) (b) (e) (d)、斜正方形(e) (f) (i) (h)的 位置、三角形(ε) (c) (b)、三角形(c) (ζ) (f)、三角形(d) (g)(n)、三角形(g) 0ι)(θ)。不 具有R像素的三角形像素的内插与B像素的内插相同，可根据以下的(公式12)和(公式 13)计算出。公式12
(式⑵公式13
(式13) 通过以上的处理，生成图4(b)或图5(b)所示的每个三角形像素的偏光度图像和 偏光相位图像以及(RGB)全色亮度图像。如果试着将彩色偏振光获取部的像素结构和在获得三角形像素图像的情况下的 像素结构重叠显示，则三角形像素和本来的正方形图像在面积上相等。但是，在不使用三角 形像素的情况下，偏振光信息或G色彩亮度的内插结果所处的中心坐标位置会偏离原来的 正方形晶格的坐标系。出于复杂化的担心而采用了该处理。接下来，参照图11对图1中的彩色拼接内插部102的操作进行说明。首先，将在彩色偏振光获取部101获取的彩色拼接图像的数据设为存储于拼接图 像帧存储器107中的数据。在步骤SllOl中，拼接图像的G亮度的像素组(G1-G2-G3)被作 为1个单位读出。在步骤S1102中，使用(公式8)或(公式9)将G亮度内插。在步骤S1103中，在彩色图像帧存储器104的G位面中存储G亮度作为三角形像 素。在步骤S1104中，判断所有的G亮度的像素组(G1-G2-G3)是否结束。在没有结束的情况下，反复进行步骤1101 1104的处理。当在步骤S1104中判断为“结束”的情况下，进 入步骤S1105。接下来，在步骤S1105中，从拼接图像帧存储器获取B亮度和R亮度的像素。该 获取可并列进行。在步骤S1106中，如果是B亮度则使用(公式10)；如果是R亮度则使用 (公式12)，计算出三角形像素中的B亮度和R基础。在步骤S1107中，如果是欠缺B亮度 的三角形像素则使用(公式11)；如果是欠缺R亮度的三角形像素则使用(公式13)进行 内插。在步骤S1108中，将上述内插后的B亮度的三角形像素和R亮度的三角形像素存储 在彩色图像帧存储器104的B、R位面中。在步骤S1109中，针对拼接图 像帧存储器中所包含的所有B亮度像素、R亮度像素， 判断上述处理是否结束。当判断为没有结束的情况下，重复进行步骤S1105 S1109的处理。作为上述处理的结果，各像素中(RGB)的具有亮度值的色彩亮度图像I (x、y)的数 据在彩色图像帧存储器104内生成。该I(x、y)的图像虽然是三角形像素结构，但是，具有 与使用通常的贝尔彩色拼接的单板彩色拍摄元件相同程度的颜色再现性的全色图像可内 插生成。接下来，参照图12对图1的偏振光信息处理部103的操作进行说明。首先，将由彩色偏振光获取部101获取的彩色拼接图像的数据设为拼接图像帧 存储器107中所存储的数据。在步骤S1201中，从拼接图像帧存储器读出G亮度像素 (G1-G2-G3)组。接下来，使用G1、G2、G3这些偏振光亮度，利用(公式2)到(公式5)确定 正弦函数参数A、B、C。在步骤S1203中，使用(公式6)、(公式7)生成偏光度P和偏振相位Φ。在步骤S1204中，将生成的值存储在偏振光图像帧存储器105和偏振相位图像帧 存储器106中的三角形像素的位置上。—直到由步骤S1205判断出拼接图像帧存储器的所有像素都结束为止，反复进行 以上的处理。这样，在偏光度图像帧存储器105内生成偏光度图像P (x, y)的数据；另外， 在偏振相位图像帧存储器106内生成偏振相位图像Φ (χ, y)的数据。由其形成过程可知， 这些图像的大小与彩色拼接图像的图像结构不同，成为三角形像素的结构。其结果是尽管 只在G像素中配置了图形化偏振器，但还是可通过与全色图像I(x、y)相同的像素结构以及 清晰度获得偏振光信息。并且，图11以及图12的处理相互独立，因此，也可以并列地进行这些处理。另外， 这些处理可以利用软件实施，也可以利用硬件实施。在本实施方式中，虽然使用由光子结晶形成的图形化偏振器，但是，也可以使用薄 膜型的偏振光元件、或者利用线栅型或其他原理的偏振光元件。图13(a)为球体即塑料制成的球的被摄体的输入图像。图13(b)以及(c)分别表 示相对于图13(a)的被摄体的偏光度图像P (x、y)以及偏振相位图像Φ (x、y)的例子。图 13(a)、(b)示出，各图像的偏光度P、偏振相位Φ越大，越表示明亮度高。图14(a)以及(b)是用于说明图13(b)以及(c)的图像的示意图。在偏光度图 像Ρ (x、y)中，像素位置越是从照相机的视线方向和球的表面法线相同的中心附近向方位 1401方向偏离，该像素的偏光度ρ越增加。另外，在球的表面法线相对于照相机的视线方向接近90°的球的遮蔽边缘(与背景的边界)附近，偏光度P成为最大。在图14(a)中， 用等高线示意性地表示了该偏光度P。由图14(b)的偏振相位图像Φ (χ、y)可知，相对于表示相位=0°的图像的上下 方向的垂线，偏振相位以180°的周期在球体周围逆时针旋转地向箭头1402、1403方向单 调增加。根据这些偏振光信息图像可知，偏光度P和偏振相位Φ相当于被摄体的表面法 线的2自由度的方向。即，偏振光信息可推断被摄体的形状。 并且，在本实施方式中，虽然将被摄体的反射光中的漫射反射分量的偏光度图像 和偏振相位图像作为输出，但是，其也可以是镜面反射分量，在该情况下，偏振相位Φ变成 相差90°。另外，作为偏振光信息，除了(P、Φ)这一组合，如果是从图7的正弦函数获得的 信息，则也可以是其他的信息组，也可以是由该信息生成的图像。例如，从偏振光信息将电 介质被摄体的漫射反射分量和镜面反射分量作为分量进行分离，这一操作从应用的方面来 讲是很重要的。为了在本发明中进行该操作，使用正弦函数参数的Α、C。图15(a)用与正弦函数变动的关系表示镜面反射分量和漫射反射分量的关系。因 此，如果假设将由菲涅耳反射公式确定的一定的折射率和具有照明入射角的镜面反射的部 分偏振光比率(Specular PFR)设为r，则偏振光信息可以从G彩色分量获得，公式14
Gs +A
(式 14)所以，可基于此，按照以下的方法求出色彩亮度镜面反射分量。公式I5

及(式 15) 如上所述生成的图像的例子如图15(b) (C)所示。(实施方式2)以下，对本发明的图像处理装置的第2实施方式进行说明。图1的框图中也表示过本实施方式的基本结构，因此，在此适当地参照图1。图16表示本实施方式的彩色偏振光获取部101中的像素的配置。本实施方式中的 像素处理装置的特点在于彩色滤波器的排列与实施方式1中的彩色滤波器的排列不同。 具体而言，与将图4或图5所示的贝尔型的正方形晶格排列旋转45度后的排列等效，相对 于2个G像素，R、B像素分别只配置1个的贝尔排列的性质得到维持。由于增大了受光面 积，所以各自的像素的形状可以不是正方形而是八角形。在图16中，作为具有八角形的形 状的像素的代表例，示意性地记载了扩大的3个像素G1、B、G3。通过采用图16所示的像素排列，内插后的彩色图像、偏光度图像、偏振相位图像的像素排列结构呈直立，因此，可以生成适于图像处理的图像。在图16的例子中，只在G像素配置了“G1” “G3”这3种偏振器单位而在R像素 以及B像素的位置上没有配置偏振器单位。虽然在图16中只表示了 32个像素，但是，在实 际的彩色偏振光获取部101中，与图中所示的32个像素块相同的多个像素块在与拍摄面平 行的面内被周期性地排列。图17描述 了三角形G1-G2-G3的集合体。可认为在该三角形内偏振光信息相同， 因此，从以这3种偏振器单位观测到的亮度获取上述偏振光信息。与实施方式1相同，该三 角形像素成为偏振光信息获取以及色彩亮度内插的基本单位。实际的内插处理或处理的流 程图也与实施方式1所说明的相同，因此省略其说明。最终得到的像素结构成为图17的正 方形晶格。在实施方式1中为斜的像素结构而在本实施方式中为直立状态，因此，优点是具 有便于处理的结构。(实施方式3)以下，对本发明的图像处理装置的第3实施方式进行说明。本实施方式的基本结构也在图1的框图中表示过，因此，在此适当地参照图1。图18表示本实施方式的彩色偏振光获取部101中的像素的配置。本实施方式的 图像处理装置的特点在于成为追加图形化偏振器的基础的彩色滤波器的排列与实施方式 1或2在以下方面不同。1)不是基于正方形晶格的排列，而是基于六角形晶格的排列。这表明是像素各错 开半个像素的排列。2) G像素、B像素、R像素的出现频率都相等。以这种彩色拼接滤波器为基础，只在G像素中设置了 3种偏振器G1、G2、G3。虽然 在图18中只显示了 9X5 = 45个像素，但是，在实际的彩色偏振光获取部101中，与图中所 示的45个像素块相同的多个像素块在与拍摄面平行的面内被周期性地排列。各像素单位的形状可以不是正方形，而是可更加有效利用受光面积的六角形。在 图18中，作为具有六角形的形状的像素的代表例，示意性地描述了扩大的3个像素B、G3、 R0在图18所示的排列中，成为信息获取单位的三角形的形状与第1、第2实施方式相 比，接近于正三角形，具有在从3种偏振光像素的信息获取中偏差少的优点。图19描述了三角形G1-G2-G3的集合体。该等腰三角形的3个边的长度如以下的 (公式16)所示。公式16
另一方面，第1、第2实施方式的三角形的3个边如以下的(公式17)所示。公式17
由于在该局部的三角形内可认为偏振光信息相同，所以，能够从以这3种偏光器 单位观测到的亮度获取以下的偏振光信息。即，该三角形成为偏振光信息获取以及色彩亮度内插的基本单位这一内容与第1、第2实施方式相同。(偏振光信息)由图19的结构可知，从具有仅G颜色的不同的3种偏振光信息的三角形区域可以 获得1个偏振光信息。如在其他的实施方式中所详细说明的那样，在本实施方式中也可以 将平面作为三角形区域的像素的集合体来获得偏光度图像和偏振相位图像信息。(G的色彩亮度的内插)图20所示的点(a) (i)表示图19的三角形的集合体的顶点。因此，可将各三 角形视为1个像素，将各三角形像素的G色彩亮度作为位于3个顶点的G1、G2、G3的平均值 进行内插。例如，将以点(b) (f) (e)作为顶点的三角形像素的G色彩亮度表示为Gb★的情 况下，亮度&+6可以通过以下的(公式18)计算。公式18
其中，Ib、If、Ie分别为在位于点(b)、(f)、(e)的G像素中观测的G色彩亮度。(B、R的色彩亮度的内插)图21、图22是描述图19中的三角形的集合的图。图21、图22中表示了顶点与G 的偏振光像素G1、G2、G3中的任意一个对应的点(a) (i)的9个像素。在此，欠缺B色彩 亮度或R色彩亮度的三角形区域由周围的三角形进行内插。在进行B色彩亮度的内插的情 况下，如图21的箭头所示，该内插利用周围的3种三角形区域进行。在内插R色彩亮度的 情况下，如图22的箭头所示，使用周围的3种三角形区域进行。例如，将以点(b) (f) (e)为顶点的三角形像素的B色彩亮度表示为Bb_f_e的情况下， 亮度Bb_f_e可以通过以下的(公式19)计算。公式19
另外，例如，将以点(e)(h)(d)为顶点的三角形像素的B色彩亮度表示为Bb_f_e的 情况下，亮度Re-h_d可以通过以下的(公式20)计算。公式20
通过以上处理，针对每个三角形区域，生成偏光度图像和显示各像素中的偏振相 位Φ的偏振相位图像以及(RGB)全色亮度图像。如图1所示，上述各实施方式不仅具有彩色偏振光获取部101，还具有彩色拼接内 插部102等的图像处理部，但是，本发明不是作为这种图像处理装置，而是作为拍摄装置也 可以实现。即，可作为具有图2中举例所示的彩色拼接滤波器201、图形化偏振器202以及 拍摄元件像素203的拍摄装置来实施本发明。图23是表示本发明的拍摄装置的实施方式的结构的框图。本实施方式的拍摄装置232具有实施方式1 3中的透镜100、彩色偏振光获取 部101、以及拼接图像帧存储器107，另外还具有用于将拼接图像帧存储器107的数据输出到外部的输出部108a。本实施方式中的透镜100、彩色偏振光获取部101以及拼接图像帧存储器107的结构以及操作如实施方式1 3所说明的那样，因此，在此不重复其说明。输出部108a具有 读出拼接图像帧存储器107中所记录的数据，并向外部输出的功能。从本实施方式中的拍摄装置232输出的信号被输入到图23所示的处理装置234 中。在图23所示的处理装置234中，输入部108b接收来自拍摄装置232的信号，并将数据 记录在帧存储器109中。拼接图像的数据被从帧存储器109按顺序读出，并被发送到彩色 拼接内插部102，进行内插处理。内插处理的结果是每个像素存储在由RGB的3位面结构 构成的彩色图像帧存储器104中，还适当地进行读出。另外，像素信号被从帧存储器109中 按顺序读出，并被发送到偏振光信息处理部103。这些像素信号由偏振光信息处理部103进 行处理，并被保存在偏光度图像帧存储器105以及偏振相位图像帧存储器106中。从偏光 度图像帧存储器105输出偏光度图像(P)的数据，从偏振相位图像帧存储器106输出偏振 相位图像(Φ)的数据。处理装置234可以是内置了执行例如图12所示的处理的软件程序的通用计算机， 也可以是为实施本发明而制造的处理装置。(产业上的可利用性)本发明的图像处理装置以及图像处理方法可以同时获取来自被摄体的彩色信息 和偏振光信息，因此，可以应用于各种数字静态照相机、数字摄像机、监控摄像机、车载摄像 机等。
权利要求
一种图像处理装置，具有彩色偏振光获取部，其包括单板彩色拍摄元件，该单板彩色拍摄元件具有彩色拼接滤波器、以及具有不同的至少3种角度的透射偏振面的多个偏振器单位被设置在上述彩色拼接滤波器内的同一颜色的多个像素中的图形化偏振器；偏振光信息处理部，其用正弦函数，对在上述同一颜色的多个像素中透射过上述偏振器单位的光的亮度与上述偏振器单位的透射偏振面的角度的关系进行近似；以及彩色拼接内插部，其通过进行色彩亮度的内插，将透射偏振面的角度彼此不同、并且由相邻的3个偏振器单位形成的三角形区域作为像素单位，来生成色彩亮度图像。
2.根据权利要求1所述的图像处理装置，其中，上述图形化偏振器具有透射偏振面的角度彼此不同的3种偏振器单位相邻配置的结构。
3.根据权利要求1所述的图像处理装置，其中，上述彩色拼接滤波器具有单一特定颜色的像素排列成锯齿状的结构， 上述偏振器单位配置在上述排列成锯齿状的像素中。
4.根据权利要求1所述的图像处理装置，其中，上述彩色拼接滤波器具有将单一特定颜色的像素被排列成锯齿状的正方形晶格旋转 45度的结构，上述偏振器单位配置在上述排列成锯齿状的像素中。
5.根据权利要求4所述的图像处理装置，其中， 各像素具有八角形的形状。
6.根据权利要求3所述的图像处理装置，其中，上述单一特定颜色为R、G、B中的G，其中R为红色，G为绿色，B为蓝色。
7.根据权利要求4所述的图像处理装置，其中，上述单一特定颜色为R、G、B中的G，其中R为红色，G为绿色，B为蓝色。
8.根据权利要求1所述的图像处理装置，其中，上述彩色拼接滤波器具有各像素为六角形形状的六角形晶格结构， 上述偏振器单位配置在上述排列的单一特定颜色的像素中。
9.根据权利要求1所述的图像处理装置，其中，上述彩色拼接内插部通过在应该内插色彩亮度的像素的旁边，将在同一颜色的像素中 观测到的亮度平均化，来消除偏振光的效果，并对色彩亮度进行内插，上述同一颜色的像素 具有透射偏振面的角度彼此相差60°的3种偏振器单位。
10.一种图像处理方法，具有利用在彩色像素排列中的单一特定颜色的多个像素中设置了透射偏振面的角度不同 的3种偏振器单位的单板彩色拍摄元件，来观测各像素的亮度的步骤；从在上述单一特定颜色的透射偏振面的角度不同的3种像素中观测到的亮度，获取偏 振光信息的步骤；以及将由上述单一特定颜色的透射偏振面的角度不同的3种像素形成的三角形区域作为 像素单位来进行色彩亮度的内插，从而生成色彩亮度图像的步骤。
11.一种拍摄装置，具有彩色拼接滤波器；图形化偏振器，其中，具有不同的3种角度的透射偏振面的多个偏振器单位被设置在 上述彩色拼接滤波器内的同一颜色的多个像素中；以及单板彩色拍摄元件，其以像素单位输出与透射过上述彩色拼接滤波器以及图形化偏振 器的光的亮度相应的信号。
12.根据权利要求11所述的拍摄装置，其中，上述彩色拼接滤波器具有单一特定颜色的像素排列成锯齿状的结构， 上述偏振器单位配置在上述排列成锯齿状的像素中。
13.根据权利要求11所述的拍摄装置，其中，上述彩色拼接滤波器具有将单一特定颜色的像素被排列成锯齿状的正方形晶格旋转 45度的结构，上述偏振器单位配置在上述排列成锯齿状的像素中。
14.根据权利要求13所述的拍摄装置，其中， 各像素具有八角形的形状。
15.根据权利要求11所述的拍摄装置，其中，上述彩色拼接滤波器具有各像素为六角形形状的六角形晶格结构， 上述偏振器单位配置在上述排列的单一特定颜色的像素中。
全文摘要
本发明提供一种图像处理装置、图像处理方法以及摄影装置。所述图像处理装置具有单板彩色拍摄元件，其具有彩色拼接滤波器(201)，以及具有不同的至少3种角度的透射偏振面的多个偏振器单位设置在彩色拼接滤波器(201)内的同一颜色(G)的多个像素中的图形化偏振器(202)。另外，该装置还包括具有上述结构的单板彩色拍摄元件的彩色偏振光获取部(101)；偏振光信息处理部(103)，其用正弦函数，对在G像素中透射了偏振器单位的光的亮度与偏振器单位的透射偏振面的角度的关系进行近似；彩色拼接内插部(102)，其通过进行色彩亮度的内插，获得用关注像素所得不到的色彩亮度，生成色彩亮度图像。
文档编号H01L27/14GK101868979SQ200880117230
公开日2010年10月20日 申请日期2008年11月28日 优先权日2007年12月7日
发明者佐藤智, 金森克洋 申请人:松下电器产业株式会社