图像处理方法、图像处理装置、图像处理程序、图像合成方法和图像合成装置的制作方法

专利名称：图像处理方法、图像处理装置、图像处理程序、图像合成方法和图像合成装置的制作方法
技术领域：
本发明涉及图像处理技术，尤其是涉及用于提高在被摄体的形状信息获取和图像 合成时所需要的图像分割的精度的技术。
背景技术：
已知物体的“外观”是由被摄体的表面所反射的入射光作为“虚像”(gloss)而被观 测的镜面反射分量，和由物体内部重复散射而被观测的漫反射分量等多种分量所构成。也 就是，我们所观测的被摄体的像，是由来自被摄体的通过多种不同过程而达到眼睛的各种 光分量的总和而形成的。这样的分量，例如“镜面反射分量”和“漫反射分量”。对于构成被 摄体图像的各个像素，可以将亮度分为例如“镜面反射分量”和“漫反射分量”。这样的情况 下，镜面反射分量占主导的像素作为构成“镜面反射区域”的像素而处理，漫反射分量占主 导的像素作为构成“漫反射区域”的像素而处理。近年来，为了获取以数字归档为目的的信息压缩和被摄体的形状、表面材质，广泛 进行着将图像分离为这样的各种分量的图像分量分离法(图像分离法)(例如，非专利文献 1、非专利文献2、非专利文献3)。这是为了通过对各个分离的分量进行处理，可达到更高精 度的处理。例如，在需要查明由被摄体的表面的反射所带来的影响的情况下，将从被摄体内 部透过的光，和在被摄体表面反射的光分离，是非常重要的。对图像中各个像素的各分量的 比例进行推定并分离的技术就是图像的分量分离法(图像分离法)。作为利用这样的图像分离的技术，尤其是所谓的将分离后的图像以个别的模型而 表示的基于模型(《一7)的图像处理技术广为所知。基于模型的图像合成，是指在CG(计算机图形，Computer Graphics)领域被广为 使用的技术。该技术中，通过将物体的外观作为视点位置和光源位置、和被摄体的法线方向 等的函数而模型化，从而可以实现用于获得与拍摄时不同的视点位置的图像(视点变换图 像)、与拍摄时不同的光源位置的图像(光源环境变化图像)等的各种图像处理。另外，由 于只用模型参数就可以表现图像，所以也可以进行高效的数据压缩。作为这样的一个例子， 已知将图像分离为镜面反射分量和漫反射分量，镜面反射分量被以Cook-Torrance模型而 使图像模型化、漫反射分量被以Lambertian模型而使图像模型化的方法。作为像这样的将图像分离为镜面反射分量和漫反射分量的方法，已知有各种方 法。特别是由于利用偏振信息的方法和利用颜色信息的方法，能以简单的装置分离镜面反 射和漫反射，因此广为研究。在利用偏振信息的分离法中，向被摄体投射直线偏振的光，通过使在照相机和被 摄体之间设置的偏振滤镜在与光轴垂直的面内旋转，将被摄体所反射的光分离为镜面反射 分量和漫反射分量(例如，专利文献1)。直线偏振滤镜的旋转角度(偏振主轴角度规定偏振主轴方向的角度)设定为Φ 时，可知被观测的各像素的亮度，相对于旋转角度Φ成sin函数形变化。通过将该sin函
5数的振幅分量作为“镜面反射分量”、偏离分量作为“漫反射分量”，就可以进行图像的分离。 也就是说，可以对于构成图像的多个像素的各自，定量求出镜面反射分量和漫反射分量。然而该方法如后所述，有着在出射角的很大的(遮蔽边沿附近)区域中会检测出 本来不该存在的镜面反射分量的问题。由此，利用偏振信息而分离漫反射分量和镜面反射 分量的方法不能达到充分的精度。另一方面，利用颜色信息的方法，作为二色性反射模型而广为所知(例如，非专利 文献4)。这是利用一方面镜面反射分量的颜色矢量是作为光源颜色矢量而被观测的，另一 方面漫反射分量的颜色矢量是成为物体颜色矢量的，而分离镜面反射分量和漫反射分量。 一般来说，光源颜色矢量由于是白色的，或是以其它方法可以观测，所以是已知的。然而， 该方法除非被摄体的物体颜色矢量已知，否则不能将镜面反射分量和漫反射分量明确地分 离。由此，对于正确分离镜面反射分量和漫反射分量是不能利用的。已知这样的镜面反射分量和漫反射分量的分离精度的不足，在数字归档和增强现 实的领域中进行使用基于模型的图像合成时，会成为很大的问题。现有技术文献专利文献专利文献1 日本特开平11-41514号公报非专利文献非专禾Ij 文献 1 :Y. Sato, M.D. Wheeler, and K. Ikeuchi, "Object shapeand reflectance modeling from observation，，，SIGGRAPH 97, pp. 379-387,1997非专利文献2 宫崎大輔，柴田卓司，池内克史，“Wavelet-Txture法=Daubechies 々工一 7·· >、;/卜i "，乂卜丨J 7夕反射毛r ^ i円偏振板d 6 BTF压缩，電子情報通信 学会論文誌，Vol. J90-D, No. 8，pp. 2081-2093，20073 :T. Shibata, Τ. Takahashi, D. Miyazaki, Y. Sato, and K. Ikeuchi, "Creating Photorealistic Virtual Model with Polarization Based VisionSystem",in Proceedings of SPIE(Polarization Science and Remote Sensing II,Part of SPIE' s International Symposium on Optics and Photonics 2005), Vol. 5888,pp.25-35,2005非专利文献 4 :S. K. Nayar, X. S. Fang, and T. Boult, "Separation ofReflection Components Using Color and Polarization，，，International Journal ofComputer Vision, Vol. 21，Iss. 3，pp.163-186，1997例如，在专利文献1中所记载的利用偏振信息的方法中，存在着在本来不应该观 测到镜面反射分量的遮蔽边沿附近，观测到镜面反射分量的技术问题。另外，非专利文献4 中所记载的利用颜色信息的方法中，由于物体颜色矢量原本就未知，如后所述，利用二色性 反射模型就无法明确分离镜面反射分量和漫反射分量。像这样的问题，随着近年来照相机的高动态范围化，今后其重要性会更加增大。由 于过去的照相机，亮度的动态范围不是很宽，所以观测到漫反射的偏振度很少。然而，近年 来由于照相机的高动态范围化在推进，所以造成了前面所述的分离精度的劣化。

发明内容
本发明为解决上述技术问题，目的在于提供一种图像处理技术，考虑到了漫反射分量的偏振分量的存在，执行比利用光源的颜色信息精度更高的分量分离。本发明的图像处理装置为通过拍摄被摄体，进行所述被摄体的图像的分量分离的 图像处理装置，包括投射部，向所述被摄体投射从光源发出的直线偏振光；彩色偏振获取 部，获取所述被摄体的彩色偏振图像；偏振信息处理部，对于各个构成所述彩色偏振图像的 单位像素，基于透过偏振主轴方向为3个以上的偏振片的光的亮度与所述偏振主轴方向的 对应关系，生成彩色偏振信息；光源颜色信息获取部，获取所述光源的颜色信息；和图像分 量分离部，基于所述彩色偏振信息和所述光源的颜色信息，进行所述图像的分量分离。优选的实施方式中，彩色信息处理部根据所述彩色偏振图像而生成彩色图像；所 述图像分量分离部，进行所述彩色图像的分量分离。优选的实施方式中，彩色偏振获取部包括偏振片，偏振主轴方向为不同的3个方 向以上；彩色滤镜，配置于与所述偏振片相对的位置；和拍摄元件，接收透过所述偏振片和 彩色滤镜而来的光。优选的实施方式中，所述的偏振信息处理部，至少生成偏振最小彩色分量和偏振 振幅彩色分量的其中之一，作为所述彩色偏振信息。优选的实施方式中，所述图像分量分离部，将构成所述被摄体的图像的各像素的 颜色矢量，分离为漫反射分量和镜面反射分量。优选的实施方式中，所述图像分量分离部，将构成所述被摄体的图像的各像素的 颜色矢量，分离为漫反射非偏振分量、漫反射偏振分量和镜面反射偏振分量。优选的实施方式中，所述图像分量分离部将所述被摄体的图像的至少一部分，分 离为阴影区域。优选的实施方式中，所述图像分量分离部，将所述彩色偏振信息分离为所述光源 颜色矢量和所述偏振最小彩色分量的颜色矢量。优选的实施方式中，所述图像分量分离部，将所述偏振振幅彩色分量分离为所述 光源颜色矢量和所述偏振最小彩色分量的颜色矢量。优选的实施方式中，所述图像分量分离部，将述彩色图像分离为所述光源颜色矢 量和所述偏振最小彩色分量的颜色矢量。优选的实施方式中，所述彩色偏振获取部与所述投射部进行同步处理。优选的实施方式中，其特征在于，投射部从彩色偏振获取部分开而配置。本发明的图像处理系统，为具有投射装置和图像处理装置的、通过拍摄被摄体，进 行所述被摄体的图像的分量分离的图像处理系统。所述投射装置具有投射部，向所述被摄 体投射从光源发出的直线偏振光。所述图像处理装置具有彩色偏振获取部，将透过偏振主 轴方向不同的3个以上的偏振片而来的光，通过彩色滤镜而接收，由此获取被摄体的彩色 偏振图像；彩色信息处理部，根据所述彩色偏振图像生成彩色图像；偏振信息处理部，对于 各个构成所述彩色偏振图像的单位像素，基于透过所述偏振片的光的亮度与所述偏振主轴 方向的对应关系，生成彩色偏振信息；光源颜色信息获取部，获取所述光源的颜色信息；和 图像分量分离部，基于所述彩色偏振信息和所述光源颜色信息，进行所述彩色图像的分量 分离。本发明的图像分离系统，为具有投射装置和图像处理装置的、通过拍摄被摄体，进 行所述被摄体的图像的分量分离的图像分离系统。所述投射装置具有投射部，向所述被
7摄体投射从光源发出的直线偏振光；和通信部，向所述图像处理装置发送通知投射的信号。 所述图像处理装置具有通信部，接收来自所述投射装置的通知所述投射的信号；彩色偏 振获取部，将透过偏振主轴方向不同的3个以上的偏振片而来的光，通过彩色滤镜而接收， 由此获取被摄体的彩色偏振图像；彩色信息处理部，根据所述彩色偏振图像生成彩色图像； 偏振信息处理部，对于各个构成所述彩色偏振图像的单位像素，基于透过所述偏振片的光 的亮度与所述偏振主轴方向的对应关系，生成彩色偏振信息；光源颜色信息获取部，获取所 述光源的颜色信息；和图像分量分离部，基于所述彩色偏振信息和所述光源颜色信息，进行 所述彩色图像的分量分离。优选的实施方式中，所述通信部，除了通知投射的信号之外，还收发所述光源的颜 色信息；所述光源颜色信息获取部，获取来自所述通信部的所述光源的颜色信息。本发明的图像处理方法，为通过拍摄被摄体，进行所述被摄体的图像的分量分离 的图像处理方法。包括投射步骤，向所述被摄体投射从光源发出的直线偏振光；彩色偏振 获取步骤，将透过偏振主轴方向不同的3个方向以上的偏振片而来的光，通过彩色滤镜而 接收，由此获取被摄体的彩色偏振图像；彩色信息处理步骤，根据所述彩色偏振图像生成彩 色图像；偏振信息处理步骤，对于各个构成所述彩色偏振图像的单位像素，基于透过所述偏 振片的光的亮度与所述偏振主轴方向的对应关系，生成与接受的偏振相关的彩色信息即彩 色偏振信息；光源颜色信息获取步骤，获取光源的颜色信息；和图像分量分离步骤，利用所 述彩色偏振信息和所述光源的颜色信息，进行所述彩色图像的分量分离。本发明的程序，是用于通过拍摄被摄体，分离所述被摄体的图像的分量的图像处 理装置的程序，使计算机执行上述图像处理方法中包括的步骤。本发明的基于模型的图像合成装置，为具有参数推定装置和图像合成装置的、合 成图像的基于模型的图像合成装置。所述参数推定装置具有图像拍摄部，拍摄被摄体；图 像分离部，根据所述的图像处理方法，进行对所述图像拍摄部所拍摄的图像的分量分离；光 源信息推定部，推定光源信息，该光源信息包括对被摄体照射的光源的方向、位置、亮度、颜 色、光谱信息等的至少一个；形状信息获取部，获取被摄体表面的法线信息或三维位置信息 作为形状信息；参数推定部，对由所述图像分离部从所拍摄的被摄体分割的各个分量，通过 对由所述光源信息推定部所推定出的光源信息，和由所述形状信息获取部所获取的形状信 息进行模型化，而推定反射模型参数；和参数数据库，保持所述参数推定部中推定的反射参 数。所述图像合成装置，具有视点/光源信息获取部，获取合成图像的视点和光源信息；和 渲染部，利用所述参数数据库中保持的反射参数，合成依据所述视点/光源信息获取部所 获取的视点和光源信息的图像。本发明的基于模型的图像合成方法，为具有参数推定步骤和图像合成步骤的、合 成图像的基于模型的图像合成方法。所述参数推定步骤具有图像拍摄步骤，拍摄被摄体； 图像分离步骤，根据权利要求16所述的图像处理方法，进行对所述图像拍摄部所拍摄的图 像的分量分离；光源信息推定步骤，推定光源信息；形状信息获取步骤，获取被摄体表面的 法线信息或三维位置信息作为形状信息；和参数推定步骤，对由所述图像分离部从所拍摄 的被摄体分割的各个分量，推定反射模型参数。所述图像合成步骤，具有视点/光源信息 获取步骤，获取合成图像的视点和光源信息；和渲染步骤，利用由所述形状信息获取步骤 所推定的反射参数，合成依据所述视点/光源信息获取步骤所获取的视点和光源信息的图像。发明效果根据本发明的图像处理，通过利用偏振信息和颜色信息这两个信息，可以对各个 像素正确分离并求出镜面反射分量和漫反射分量。另外，通过将利用偏振信息和颜色信息 这两个信息的图像的分量分离利用于对基于模型的图像合成方法的参数推定，可合成忠实 于被摄体的图像。


图1是本发明的第1实施方式所涉及的图像处理装置的模块图。图2是表示本发明的第1实施方式所涉及的图像分离方法的处理的流程的流程 图。图3是搭载本发明的第1实施方式所涉及的图像处理装置的照相机的结构例。图4是表示本发明的第1实施方式所涉及的彩色偏振获取部、彩色信息处理部和 偏振信息处理部Z的结构的模块图。图5是表示本发明的彩色偏振获取部的基本结构的示意图。图6是表示本发明的彩色偏振获取部的像素排列的例的示意图。图7是表示本发明的彩色偏振获取部的像素排列的其它的例的示意图。图8是示意性地表示本发明的B、G、R偏振像素的波长特性的示意图。图9是表示G色滤镜的透射范围和由偏振特性所决定的偏振分离范围之间波长相 互偏差的情况的示意图。图10是用于说明本发明的透过具有方向不同的偏振主轴的4种偏振片的光的亮 度的示意图。图11是表示根据本发明的第1实施方式所涉及的图像分离方法，进行了图像分量 分离的结果的图。图12是表示根据本发明的第1实施方式所涉及的图像分离方法，进行了图像分量 分离的结果的示意图。图13是将图11的图像根据亮度的高低分为多个区域的图。图14是表示本发明的彩色信息处理部103和偏振信息处理部104的处理的流程 的流程图。图15是用于说明利用了镜面球的光源推定方法的示意图。图16是表示被摄体的折射率η = 1. 1，η = 1. 3，η = 1. 5，η = 2. 0的情况下的相 对于镜面反射分量的入射角的偏振度的曲线图。图17是表示被摄体的折射率η = 1.1，η=1.3，η=1.5，η = 2.0的情况下的相
对于漫反射分量的出射角的偏振度的曲线图。图18是表示特定像素的颜色矢量I (X，y)的数值例的图。图19是表示本发明的第1实施方式所涉及的图像分量分离部的分量分离基准的 图。图20是表示本发明的第1实施方式所涉及的图像分量分离部的其它的分量分离 基准的图。
图21是表示本发明的第1实施方式所涉及的图像分离方法的处理的流程的其它 的流程图。图22是表示本发明的第1实施方式所涉及的图像分量分离部的其它的分量分离 基准的图。图23是表示本发明的第1实施方式所涉及的图像分离方法的处理的流程的其它 的流程图。图24是表示本发明的第1实施方式所涉及的图像分量分离部的其它的分量分离 基准的图。图25是表示本发明的第1实施方式所涉及的图像分离方法的处理的流程的其它 的流程图。图26是本发明的第1实施方式所涉及的图像处理装置的其它的模块图。图27是表示本发明的第1实施方式所涉及的图像分离方法的处理的流程的其它 的流程图。图28是搭载本实施方式所涉及的图像处理装置的照相机的结构例。图29是本发明的第2实施方式所涉及的图像处理装置的模块图。图30是表示本发明的第2实施方式所涉及的图像分离方法的处理的流程的流程 图。图31是表示搭载本发明的第2实施方式所涉及的图像处理装置的照相机的结构 例的图。图32是本发明的第2实施方式所涉及的图像处理装置的其它的模块图。图33是表示本发明的第2实施方式所涉及的图像分离方法的处理的流程的其它 的流程图。图34是搭载本发明的第2实施方式所涉及的图像处理装置的照相机的其它的结 构例。图35是表示本发明所涉及的图像合成装置的结构例的模块图。图36是表示本发明所涉及的图像合成方法的参数推定方法的处理的流程的例的 流程图。图37是表示本发明所涉及的图像合成方法的图像合成推定方法的处理的流程的 例的流程图。图38是表示搭载本发明的图像合成装置的照相机的结构例的图。图39是用于说明法线方向矢量、视线矢量、和光源方向矢量的关系的示意图。图40是用于说明用于表现漫反射分量和镜面反射分量的亮度的不同的常数Sr的 示意图。图41是表示本发明的一个实施方式所涉及的图像合成处理的镜面反射图像的参 数推定处理的流程的图。图42是用于说明表示入射照度的数学式的各参数的概念图。图43是表示根据单纯形(Simplex)法的参数推定处理的流程的流程图。图44是表示单纯形法的参数更新处理的流程的流程图。图45(a)是表示利用本发明的第1实施方式所涉及的图像处理装置所求出的镜面
10反射分量的亮度Is和中间矢量β的关系的曲线图；(b)是表示被摄体图像的图。图46是为了说明现有方法的问题点，利用现有的图像处理装置来求取镜面反射 分量的亮度Is和中间矢量β的关系的示意图。图47是利用利用了现有的偏振信息的图像分离方法而作成的合成图像。图48是表示本发明的一个实施方式所涉及的图像合成处理的参数数据库中保持 的模型参数的示意图。符号说明101投射部102彩色偏振获取部103彩色信息处理部104偏振信息处理部105光源颜色信息获取部106图像分量分离部107投射装置108图像处理装置109通信部110通信部
具体实施例方式以下参照

本发明的实施方式。(第1实施方式)首先说明本发明的第1实施方式的图像处理装置的概要。图1表示本实施方式的图像处理装置的模块图。该图像处理装置是通过拍摄被 摄体，进行所述被摄体的图像的分量分离的装置，包括投射部101，向所述被摄体投射直 线偏振光；彩色偏振获取部102，将透过偏振主轴角度不同的3个方向以上的偏振片而来的 光，通过彩色滤镜而接收，由此获取被摄体的彩色偏振图像；彩色信息处理部103，从彩色 偏振获取部102所获取的图像来生成彩色图像；偏振信息处理部104，从彩色偏振获取部 102所获取的图像中，对于各个构成该偏振图像的单位像素，利用与透过所述3个方向以上 的偏振片的光的亮度的对应关系，生成彩色偏振信息，该彩色偏振信息为与接收的偏振相 关的彩色信息；光源颜色信息获取部105，获取向被摄体投射的光源的颜色信息；和图像分 量分离部106，利用由偏振信息处理部104所生成的偏振信息和由光源颜色信息获取部105 所获取的光源颜色信息，进行由彩色信息处理部103所获取的彩色图像的分量分离；和输 出部，由输出图像分离部106所生成的信号。本说明书中，“偏振图像”是指透过具有特定的偏振主轴角度的偏振滤镜(偏振 片)而来的光所形成的图像。对于多个偏振主轴角度的各自，可以得到不同的“偏振图像”。 另外，“彩色偏振图像”是指透过具有特定的偏振主轴角度的偏振滤镜(偏振片)而来的光 的当中的主波长不同的多个颜色的光所形成的图像。基于透过具有某个偏振主轴角度的偏 振滤镜(偏振片)而来的光，典型地可以得到红(R)、绿(G)、蓝(B)的彩色偏振图像。得到了彩色偏振图像时，就确定了每个单位像素的由R、G、B的亮度所构成的颜色矢量。同样地， 得到了未透过偏振滤镜的光所形成的彩色图像时，也就确定了其彩色图像的颜色矢量。本 说明书的“分量分离”与将一个颜色矢量表现为为多个颜色矢量(分量)的和的情况相对应。接下来说明本实施方式的图像处理的动作。图2是表示本实施方式所涉及的图像 处理的动作的流程图。图2的步骤SlOl中，投射部101向被摄体投射偏振光。步骤S102 中，彩色偏振获取部102通过图案化偏振片和彩色滤镜，由拍摄元件接收被摄体的光，由此 获取含有彩色偏振信息的彩色偏振图像。图案化偏振片具有如后所述的3个方向以上的偏 振主轴角度(偏振透射轴的旋转角度)。步骤S103中，彩色信息处理部103利用从彩色偏振获取部102所输出的信息，获 取彩色图像信息。偏振信息处理部104利用从彩色偏振获取部102所输出的信息，生成后 述的偏振最小彩色分量Imin和偏振振幅彩色分量Iamp，作为偏振信息(步骤S104)。另外，光 源颜色信息获取部105获取照射被摄体的光源的颜色矢量Iught (步骤S105)。步骤S103、 步骤S104、步骤S105的顺序为任意的，可以并行执行，也可以依次执行。步骤S106中，图像分量分离部106将由偏振信息处理部104所生成的偏振振幅 颜色分量Iamp分离为偏振振幅光源颜色矢量分量Iampl和偏振振幅偏振最小彩色矢量分量 1_2。进一步地，步骤S107中，图像分量分离部106进行分量分离，将偏振信息处理部104 所生成的偏振振幅偏振最小彩色分量Imin作为漫反射非偏振分量，将偏振振幅偏振最小彩 色矢量分量Iamp2作为漫反射偏振分量，将偏振振幅光源颜色矢量分量Iampl作为镜面反射偏 振分量。此处，彩色偏振获取部102、彩色信息处理部103、偏振信息处理部104、光源颜色 信息获取部105和图像分量分离部106是由如图3所示的CPU205执行程序而实现的。然 而，这些功能也可以全部或部分由硬件实现。另外，如图3所示的存储器204保持由彩色偏 振获取部102所获取的信息、由彩色信息处理部103所获取的彩色图像信息、由偏振信息处 理部104所获取的偏振信息和由光源颜色信息获取部105所获取的光源颜色矢量信息。接下来参照图3，说明搭载了本实施方式所涉及的图像处理装置的照相机的结构 和动作。图3是表示这样的照相机的结构例的模块图。图3的照相机具有图案化偏振片 201、彩色拍摄装置208、存储器204、CPU205、发光装置206、和偏振片207。彩色拍摄装置 208具有彩色滤镜202和拍摄装置203。投射部101利用发光装置206和偏振片207，向被摄体投射偏振光。这在例如利用 照相机的闪光灯作为发光装置206的情况下，可以通过在闪光灯前设置偏振滤镜(偏振片 207)而实现。作为利用偏振光的手段，还可以利用液晶偏振片等。彩色偏振获取部102，透过图案化偏振片201和彩色滤镜202，由拍摄元件接收被 摄体的光，由此获取彩色偏振图像，该彩色偏振图像为含有彩色偏振信息的彩色图像。另 外，彩色信息处理部103利用从彩色偏振获取部102所输出的信息，计算彩色图像信息。进 一步地，偏振信息处理部104利用从彩色偏振获取部102所输出的信息，计算偏振信息。对 该处理进行详述。图4是表示彩色偏振获取部102、彩色信息处理部103和偏振信息处理部104的 结构的模块图。从被摄体实时获取彩色图像信息和偏振图像信息，输出为非偏振分量的偏振最小彩色信息，作为偏振信息。通过了镜头220和光圈221的入射光向彩色偏振获取部 102入射。彩色偏振获取部102能够从该入射光实时获取彩色图像信息和偏振图像信息两 者。从彩色偏振获取部102输出表示彩色图像信息和偏振信息的信号，将其分别给予彩色 信息处理部103和偏振信息处理部104。彩色信息处理部103和偏振信息处理部104对上 述信号实施各种处理，输出彩色图像Im、偏振最小彩色信息Imin。图5是表示彩色偏振获取部102的基本结构的示意图。图示的例中，在拍摄元件 像素203的前面，彩色滤镜202和图案化偏振片201重叠设置。另外，彩色滤镜和图案化偏 振片的设置顺序是任意的。入射光透过彩色滤镜202和图案化偏振片201，到达拍摄元件， 由拍摄元件像素203观测亮度。这样根据本实施方式，可以使用彩色马赛克型的单板彩色 拍摄元件，获取彩色信息和偏振信息两者。图6(a)是从光轴方向的正上方所见的彩色偏振获取部102的拍摄面的一部分。 图6(a)中，为简便起见，只图示了拍摄面当中的16个像素(4X4)。图示的4个矩形区域 301 304，分别是4个像素单元上所设置的拜尔(Bayer)型彩色马赛克滤波器的对应部 分。矩形区域301是B(蓝色，Blue)滤波器区域，覆盖像素单元Bl B4。像素Bl B4上 紧贴了具有各不相同的偏振主轴的B用图案化偏振片。此处，“偏振主轴”是指与穿过偏振 片的光的偏振面(偏振透射面)平行的轴。本实施方式中，同一种颜色的像素内的具有不 同角度的偏振透射面的偏振片单位(微小偏振板)被相邻地配置。更具体地，偏振透射面 的方向互不相同的4种偏振片单位被配置于各同为R、G或是B的颜色的像素内。一个偏振 片单位对应于一个细微的偏振像素。图6(a)中对每个偏振像素，给予一个Gl等的符号。图6 (b)表示了分配给B用图案化偏振片所紧贴的4个细微偏振像素的偏振主轴。 图6(b)中，在各细微偏振像素上所画的直线，示意性地表示了微偏振板的偏振主轴方向。 图6(b)的例中，4个细微偏振像素分别具有角度Oi = CT、45°、90°、135°的偏振主轴。分别在矩形区域302、304的像素，紧贴了 4个G(绿色，Green)用图案化偏振片； 在矩形区域303的像素，紧贴了 4个R(红色，Red)用图案化偏振片。图中参照符号“305” 所示位置表示统括了本拍摄系统的4个像素的假想的像素位置。各矩形区域302 304的 图案化偏振片，也如图6 (b)所示，分割为具有不同的4个偏振主轴的部分。图7(a)是表示彩色偏振获取部102的像素排列的其它的例子的图。本例中，45° 倾斜的3X3的模块内G像素配置为十字型，G像素的周围的4个像素中，R、B交替配置。图 7(b)表示各彩色像素的细微结构；各彩色像素由4种细微偏振像素所构成。这样，本实施方式中，具有如下特征对于每个彩色像素，都包括具有不同的偏振 主轴的多个细微偏振像素；而彩色马赛克排列自身是任意的。以下的说明中，将各个细微偏 振像素称为“偏振像素”。图8(a)至图8(c)分别是示意性地表示B、G、R偏振像素的波长特性的曲线图。各 曲线图的纵轴为透射光的强度，横轴为波长。B、G、R用的偏振像素，具有投射在B、G、R的 各波段的TM(横向磁波，TransverseMagnetic Wave)波，而反射(不透过)TE (横向电波， Transverse Electricffave)波的偏振特性。TM波是磁场分量相对于入射面为横向的波；TE 波是电场分量相对于入射面为横向的波。图8(a)中表示了 B偏振图像的偏振特性402、403，和B用彩色滤镜的透射特性 401。偏振特性402和403分别表示TM波和TE波的透射率。
13
图8(b)中表示了 G偏振图像的偏振特性405、406，和G用彩色滤镜的透射特性 404。偏振特性405和406分别表示TM波和TE波的透射率。图8(c)中表示了 R偏振图像的偏振特性408、409，和R用彩色滤镜的透射特性 407。偏振特性408和409分别表示TM波和TE波的透射率。从图8(a)至图8(c)所示的特性，可以通过例如“川嶋，佐藤，川上，長嶋，太田，青 木，“'义夕一 >化偏振子f用0亡偏振O —夕 > 夕‘r ^ i利用技術們開発，，，電子情 報通信学会2006年総合全国大会，No. 0-11-52，？52，2006”中所记载的光学晶体而实现。在 光学晶体的情况下，具有与在其表面上所形成的沟平行的电场矢量振动面的光为TE波，具 有垂直的电场矢量振动面的光为TM波。本实施方式的重点在于，使用如图8(a)至图8(c)所示的表示B、G、R的透射波段 的各自的偏振分离特性的图案化偏振片。图9表示G的彩色滤镜的透射范围和由偏振特性410、411所决定的偏振分离范围 之间波长偏差的情况。如果根据表示这样特性的偏振片，则不能进行作为本发明的目的的 动作。使用单色亮度和偏振滤镜的情况下，表示偏振分离特性的波段的优化是不必要 的；而对每个彩色像素获取偏振信息的情况下，需要对彩色的分离特性和偏振的分离特性 作匹配。本说明书中，使用表示偏置像素的偏振主轴的方位的4个数字“1、2、3、4”，和用于 区分颜色的三个符号“R、G、B”的组合(例如“R1”和“G1”等)，来表示偏振像素的特性。偏 振像素Rl和偏振像素G1，由于数字相同，所以偏振主轴方向一致；而由于RGB符号不同，相 当于透射光的波段不同的偏振像素。本实施方式中，这样的偏振像素的排列，由如图5所示 的彩色滤镜202和图案化偏振片201的组合而实现。为了可靠地获取被摄体的特别明亮的镜面反射部分所含的偏振分量，和被摄体的 阴影区域中所含的偏振分量等，优选为拍摄元件的亮度动态范围和位数尽可能地大(例如 16 位)。另外，优选为彩色偏振获取部102进行与投射控制部101的同步处理。这是例如 在利用照相机的闪光灯作为投射部101的情况下，紧接着投射部101的发光定时之后，彩色 偏振获取部102就可以进行拍摄。由图5所示结构对每个偏振像素获取的亮度信息，由图4的偏振信息处理部104 进行处理。以下说明该处理。图10表示透过具有方向不同的偏振主轴(C^i = 0°、45°、90°、135° )的4种 偏振片的光的亮度501 504。此处，偏振主轴的旋转角Φ为(^时的观测亮度为Ι(Φ》。 然而，“i”为1以上N以下的整数，“N”为采样数。图10所示的例中，由于N = 4，所以成了 i = 1、2、3、4。图10中表示了 4个像素的采样(φ。I(C^i))所对应的亮度501 504。偏振主轴的角度Cti与亮度501 504的关系，由正弦函数曲线所表示。图10中， 亮度501 504的4点画为置于一条正弦函数曲线上；而在基于更多的观测亮度而决定正 弦曲线的情况下，也有可能得出观测亮度的一部分从正弦曲线上多少偏离的情况。此外，本说明书的“偏振信息”，是指表示对于亮度的偏振主轴角度的依存性的正 弦函数曲线的振幅调制度和相位信息。
14
实际的处理中，以如图6(a)所示的每个同一彩色区域301 304的内部的4个像 素亮度为样本，如下近似相对于图案化偏振片的主轴角Φ的反射光亮度I。[数学式1]
权利要求
一种图像处理装置，通过拍摄被摄体，进行所述被摄体的图像的分量分离，包括投射部，其向所述被摄体投射从光源发出的直线偏振光；彩色偏振获取部，其获取所述被摄体的彩色偏振图像；偏振信息处理部，其对于各个构成所述彩色偏振图像的单位像素，基于透过偏振主轴方向为3个以上的偏振片的光的亮度与所述偏振主轴方向的对应关系，生成彩色偏振信息；光源颜色信息获取部，其获取所述光源的颜色信息；和图像分量分离部，其基于所述彩色偏振信息和所述光源的颜色信息，进行所述图像的分量分离。
2.根据权利要求1所述的图像处理装置，其特征在于，具有彩色信息处理部，其根据所述彩色偏振图像来生成彩色图像； 所述图像分量分离部进行所述彩色图像的分量分离。
3.根据权利要求1所述的图像处理装置，其特征在于， 所述彩色偏振获取部包括偏振片，其偏振主轴方向为不同的3个以上； 彩色滤镜，其配置于与所述偏振片相对的位置；和 拍摄元件，其接收透过所述偏振片和彩色滤镜而来的光。
4.根据权利要求3所述的图像处理装置，其特征在于，所述偏振信息处理部至少生成偏振最小彩色分量和偏振振幅彩色分量的其中之一，作 为所述彩色偏振信息。
5.根据权利要求4所述的图像处理装置，其特征在于，所述图像分量分离部将构成所述被摄体的图像的各像素的颜色矢量，分离为漫反射分 量和镜面反射分量。
6.根据权利要求4所述的图像处理装置，其特征在于，所述图像分量分离部将构成所述被摄体的图像的各像素的颜色矢量，分离为漫反射非 偏振分量、漫反射偏振分量和镜面反射偏振分量。
7.根据权利要求5或者权利要求6所述的图像处理装置，其特征在于， 所述图像分量分离部将所述被摄体的图像的至少一部分，分离为阴影区域。
8.根据权利要求5或者权利要求6所述的图像处理装置，其特征在于，所述图像分量分离部将所述彩色偏振信息分离为所述光源颜色矢量和所述偏振最小 彩色分量的颜色矢量。
9.根据权利要求8所述的图像处理装置，其特征在于，所述图像分量分离部将所述偏振振幅彩色分量分离为所述光源颜色矢量和所述偏振 最小彩色分量的颜色矢量。
10.根据权利要求5或者权利要求6所述的图像处理装置，其特征在于，所述图像分量分离部将所述彩色图像分离为所述光源颜色矢量和所述偏振最小彩色 分量的颜色矢量。
11.根据权利要求1所述的图像处理装置，其特征在于， 所述彩色偏振获取部，与所述投射部进行同步处理。
12.根据权利要求3所述的图像处理装置，其特征在于， 所述投射部从彩色偏振获取部分开而配置。
13.一种图像处理系统，具有投射装置和图像处理装置，通过拍摄被摄体，进行所述被 摄体的图像的分量分离，所述投射装置具有投射部，其向所述被摄体投射从光源发出的直线偏振光； 所述图像处理装置具有彩色偏振获取部，其将透过偏振主轴方向不同的3个方向以上的偏振片而来的光，通 过彩色滤镜而接收，由此获取被摄体的彩色偏振图像；彩色信息处理部，其根据所述彩色偏振图像来生成彩色图像； 偏振信息处理部，其对于各个构成所述彩色偏振图像的单位像素，基于透过所述偏振 片的光的亮度与所述偏振主轴方向的对应关系，生成彩色偏振信息； 光源颜色信息获取部，其获取所述光源的颜色信息；和图像分量分离部，其基于所述彩色偏振信息和所述光源的颜色信息，进行所述彩色图 像的分量分离。
14.一种图像处理系统，具有投射装置和图像处理装置，通过拍摄被摄体，进行所述被 摄体的图像的分量分离，所述投射装置具有投射部，其向所述被摄体投射从光源发出的直线偏振光；和 通信部，其向所述图像处理装置发送通知投射的信号； 所述图像处理装置具有通信部，其从所述投射装置的接收通知所述投射的信号；彩色偏振获取部，其将透过偏振主轴方向不同的3个以上的偏振片而来的光，通过彩 色滤镜而接收，由此获取被摄体的彩色偏振图像；彩色信息处理部，其根据所述彩色偏振图像来生成彩色图像； 偏振信息处理部，对于各个构成所述彩色偏振图像的单位像素，基于透过所述偏振片 的光的亮度与所述偏振主轴方向的对应关系，生成彩色偏振信息； 光源颜色信息获取部，其获取光源的颜色信息 光源颜色信息获取部，其获取所述光源的颜色信息；图像分量分离部，其基于所述彩色偏振信息和所述光源的颜色信息，进行所述彩色图 像的分量分离。
15.根据权利要求14所述的图像处理系统，其特征在于，所述通信部除了通知投射的信号之外，还收发所述光源的颜色信息； 所述光源颜色信息获取部从所述通信部获取所述光源的颜色信息。
16.一种图像处理方法，通过拍摄被摄体，进行所述被摄体的图像的分量分离，包括 投射步骤，向所述被摄体投射从光源发出的直线偏振光；彩色偏振获取步骤，将透过偏振主轴方向不同的3个方向以上的偏振片而来的光，通 过彩色滤镜而接收，由此获取被摄体的彩色偏振图像；彩色信息处理步骤，根据所述彩色偏振图像生成彩色图像；偏振信息处理步骤，对于各个构成所述彩色偏振图像的单位像素，使用透过所述偏振 片的光的亮度与所述偏振主轴方向的对应关系，生成与接受的偏振相关的彩色信息即彩色 偏振信息；光源颜色信息获取步骤，获取光源的颜色信息；和图像分量分离步骤，利用所述彩色偏振信息和所述光源的颜色信息，进行所述彩色图 像的分量分离。
17.一种程序，用于通过拍摄被摄体而对所述被摄体的图像进行分量分离的图像处理装置，该程序使计算机执行权利要求16中所述的图像处理方法中包括的步骤。
18.一种基于模型的图像合成装置，具有参数推定装置和图像合成装置，合成图像， 所述参数推定装置具有图像拍摄部，其拍摄被摄体；图像分离部，其根据权利要求16所述的图像处理方法，对所述图像拍摄部所拍摄的图 像进行分量分离；光源信息推定部，其推定光源信息，该光源信息包括对被摄体照射的光源的方向、位 置、亮度、颜色、光谱信息的至少一个；形状信息获取部，其获取被摄体表面的法线信息或三维位置信息，作为形状信息； 参数推定部，对于由所述图像分离部从所拍摄的被摄体分割的各个分量，通过对由所 述光源信息推定部所推定出的光源信息，和由所述形状信息获取部所获取的形状信息进行 模型化，由此推定反射模型参数；和参数数据库，其保持所述参数推定部中推定的反射参数； 所述图像合成装置，具有视点/光源信息获取部，其获取合成的图像的视点和光源信息；和 渲染部，其利用所述参数数据库中保持的反射参数，合成依据所述视点/光源信息获 取部所获取的视点和光源信息的图像。
19.一种基于模型的图像合成方法，具有参数推定步骤和图像合成步骤，合成图像， 所述参数推定步骤，具有图像拍摄步骤，拍摄被摄体；图像分离步骤，根据权利要求16所述的图像处理方法，对所述图像拍摄部所拍摄的图 像进行分量分离；光源信息推定步骤，推定光源的信息；形状信息获取步骤，获取被摄体的表面的法线信息或三维位置信息作为形状信息；和 参数推定步骤，对于由所述图像分离部从所拍摄的被摄体分割的各个分量，推定反射 模型参数；所述图像合成步骤，具有视点/光源信息获取步骤，获取合成的图像的视点和光源信息；和 渲染步骤，利用由所述形状信息获取步骤所推定的反射参数，合成依据所述视点/光 源信息获取步骤所获取的视点和光源信息的图像。
全文摘要
一种图像处理装置，通过拍摄被摄体，进行所述被摄体的图像的分量分离，包括投射部(101)，向被摄体投射从光源发出的光；彩色偏振获取部(102)，获取被摄体的彩色偏振图像；偏振信息处理部(104)，对于各个构成彩色偏振图像的单位像素，基于透过偏振主轴方向为3个以上的偏振片的光的亮度与偏振主轴方向的对应关系，生成彩色偏振信息；光源颜色信息获取部(105)，获取光源的颜色信息；和图像分量分离部(106)，基于偏振信息和光源的颜色信息，进行彩色图像的分量分离。
文档编号H04N9/07GK101960859SQ20098010641
公开日2011年1月26日 申请日期2009年5月15日 优先权日2008年7月8日
发明者佐藤智, 金森克洋 申请人:松下电器产业株式会社