图像处理系统、方法、装置、以及图像格式的制作方法

专利名称：图像处理系统、方法、装置、以及图像格式的制作方法
技术领域：
本发明涉及用于基于偏振光图像推定被拍摄体的表面形状的图像处 理方法以及装置，特别是涉及能够取得被拍摄体的形状、摄影场景的光源 信息的图像处理技术。
技术领域
期望将来的附带照相机的手机、数码照相机、数字视频(厶一tf一)
照相机等与HDTV —起高精细化。另外，虽然在寻求附加价值且小型化也 在进行中，但是若光学系统、摄像元件小型化，则会产生灵敏度、透镜衍 射极限等基本的图像摄像的极限的问题。为此，可以认为将来高精细化也 会达到极限。
在高精细化达到极限的情况下，计算机图形学(〕yt:。二一夕夕'，:7 < >乂夕7)中通过将与图像生成中所利用的各种物理特性相关的信息附加 于被拍摄体的图像信息而提高画质，较为有效。为此，必须超过以往的2 维图像处理的范围，取得被拍摄体的3维形状信息、对被拍摄体进行照明 的光源等图像生成过程中的物理信息。
以往，为了得到被拍摄体的形状信息，需要将激光、LED光源投光到 被拍摄体的有源传感器(7夕x^:/iry寸)和/或2眼立体视(2眼7x ^才)等距离测量系统。可是，这样的传感器、系统除了规模较大外，例 如，存在照相机和被拍摄体的距离充其量也只有大约数m这样的问题。另 外，也存在对象被拍摄体被局限于固形物且明亮的扩散物体等的制约。因 此，在运动会等远距离的室外场景摄影、毛发、衣服较为重要的人物摄影 中不能够利用。
为了得到室外场景、 一般的被拍摄体那样的完全被动的(受动的)的 被拍摄体的形状信息，存在利用偏振光的技术。专利文献1公开了在照相 机的透镜前安装的一边使偏振板旋转一边对镜面反射成分进行观测的方法。根据该方法，能够在被拍摄体照明中不进行特别的假定(随机偏振光 非偏振光照明)的情况下，取得被拍摄体的局部的法线信息。
被拍摄体的表面法线具有两个自由度。表面法线被包含在包括光的入 射以及反射的光线的入射面。以下，对该点进行说明。
如图31 ( a )所示，从光源入射到观测点位置的光线，在观测点位置 被反射，并入射到照相机焦点位置(摄像视点)。在入射光线和观测点的 表面法线之间形成的角度0S是入射角。由观测点反射，并从观测点出射 的光线(出射光线)和观测点的表面法线所形成的角度(出射角)，在镜 面反射的情况下，等于入射角es。另一方面，在扩散反射的情况下，如 图31 ( b )所示，能够不依赖于光源的位置、入射角度，将出射光线和观 测点的表面法线所形成的角度作为出射角而定义。
图31 ( a )所示的入射光线、表面法线、以及出射光线，包含在一个 的平面中。将该平面称作"入射面"。另一方面，图31 (b)所示的表面 法线以及出射光线，也被包含在一个的平面，将该平面称作"出射面"。
图32 ( a )以及图32 ( b )，分别示意性地示出了表面法线12的朝 向不同的两个入射面20。在入射面20，包含入射光线10 a 、出射光线10 b、以及表面法线12。在图示的两个的入射面20中，观测点中的表面法 线的朝向，处于以出射光线为中心轴而以角度W旋转后的关系。
若规定入射面20的角度W被特别指定，并且入射面20中的入射角 9s被特别指定，则能够决定表面法线12。 g卩，为了决定表面法线12，需 要求算两个的角度W、 es (自由度二2)。这在扩散反射的情况下也同样 成立，若对出射面进行规定的角度V被特别指定，且出射面内的出射角 9d被特别指定，则能够决定表面法线。
以下，针对产生镜面反射的区域，对决定其表面法线的顺序进行说明。 首先，在上述的两个自由度中，对入射面进行特别指定的角度W，能够从 随着偏振板的旋转而变化的辉度成为最小值的角度求出。另一方面，若被 拍摄体的材质是已知的，则从与使偏振板旋转时的辉度振幅相关的量即 PFR (Polarization Fresnel Ratio)值， 能够推定入射角6S。这是由于如后述那样在PFR值和入射角之间存在一 定的关系的缘故。可是，为了求算镜面反射的PFR值，需要在被拍摄体上的1点对扩散 反射成分和镜面反射成分正确地进行分离。另外，存在以下问题限于使 用l个的照相机，且由PFR值对于光的入射角0S求出了两个解，而不能 唯一地求得入射角9s。
专利文献1公开了，基于辉度的最大值Im a x以及最小值Im i n 的观测，同时地对PFR值和扩散反射辉度成分I d进行推定的技术。可是， 根据该技术，除非在具有同一镜面反射特性的像素组内汇集具有较大的辉 度灰度(階調)差的多个的像素而进行统计处理，否则就存在误差非常大 的问题。为此，不能将专利文献1所公开的技术，针对通常仅局部地存在 的镜面反射区域，通用性地使用。
专利文献2公开了通过对具有已知的折射率的透明物体的正反射成分
的偏振光成分进行测定而对表面法线进行求取的情况。具体来说，根据正 反射成分的偏振光成分的最小值确定入射面，接着对与PFR值相当的(I max— Imin) / (Imax+Imin)进行计算。并根据(Im ax— Imin) / (Imax+Imin)求算入射角W，藉此对表面 法线进行求取。
可是，在专利文献2中，将被拍摄体限制于仅仅产生镜面反射的透明 物体。另外，为了在被拍摄体上较大区域地产生镜面反射，而需要利用特 殊的扩散照明系统对被拍摄体进行环绕(i: 0囲t )。为此，专利文献2公 开的方法，不能够在通常的室外场景适用。
由与专利文献1的发明者等相同的作者做出的非专利文献1，不仅考 虑了镜面反射，还考虑了扩散反射的偏振现象，并公开了该理论的规定格 式化(定式化)。可是，非专利文献l，仅仅将此用于图像边缘分类，对于 能够在表面法线的决定中使用这一情形，没有给出教导和暗示。
非专利文献2公开了在不是使偏振板旋转的方式的情况下，用于同时 地取得辉度以及偏振光信息的特殊的图像传感器。在非专利文献2中，记 载了通过使用该图像传感器的实时处理，进行基于4方向的偏振光强度 而取得室外场景中的汽车的车体(求fV)的隆起部位(^〈 b^)等的 法线信息的实证实验。如果在照相机中搭载这样的图像传感器，也能够以 动态图像取得偏振光信息。其中，在非专利文献2中，关于从偏振光信息进行法线计算的实际的算法，并不详细明了。
专利文献1美国专利第5， 028， 138说明书专利文献2特开平11一211433号公报
非专利文献1Lawrence B.Wolff et. al: "Constraining Object Features Usi ng a Polarization Reflectance Mod e丄"，IEEE Transaction on pattern an alysis and machine intelligence, V o 1 . 13， No. 7， July 199非专利文献2川島，佐藤，川上，長嶋，太田，青木八。夕一y 化偏振体全用V、7t偏振光^乂一^y^fA^7i:利用技术的開発」電子
情報通信学会2006年総合全国大会，No. D — ll一52， P52， Mar c h 2006
以往，没有能够使用偏振光图像而取得被拍摄体的形状信息的通用性 高的方法。具体来说，存在以下的课题。
1) 在使用镜面反射(正反射)中的偏振光信息的以往技术中，在一 般的光源下产生正反射的区域是局部的，因此不能够在被拍摄体的较宽范 围内决定法线。
2) 在根据入射角求取被拍摄体的法线的情况下，为了对与辉度振幅 相关的PFR值进行正确地求取，需要将镜面反射和扩散反射分离，但是该 分离较为困难。另外，若根据在PFR值和入射角之间成立的理论性关系式 决定入射角，则存在该角度不能作为1个的解而被求取的问题。
本发明，为解决上述课题而提出，其主要目的，在于提供一种能够基 于偏振光图像对实场景内的被拍摄体的形状信息进行求取的图像处理方 法以及装置。
本发明的另一目的在于提供一种图像输入装置以及方法，其能够得到 在对摄影图像实施计算机图形学的处理时成为必要的信息，例如被分离为 镜面反射成分和扩散反射成分的辉度信息、光源信息等
发明内容
本发明的图像处理系统，备有摄像部，其用于取得偏振光图像；图 像处理部，其对由所述摄像部所取得的多个偏振光图像进行处理，并将被 拍摄体的镜面反射图像和扩散反射图像、所述被拍摄体的各像素位置中的 表面法线信息、以及在所述被拍摄体的位置所观测的光源信息作为数据而 备有，并生成图像格式；图像高分辨率再现部，其使用所述图像格式，对 所述被拍摄体的镜面反射图像和扩散反射图像进行处理，对镜面反射图像 和扩散反射图像进行合成而再现。
在优选的实施方式中，所述图像处理部通过执行如下步骤而基于所述 偏振光图像，对所述被拍摄体的表面形状进行推定即， 将所述偏振 光图像分割为包含镜面反射区域以及扩散反射区域的多个反射特性区域 的步骤；取得与所述被拍摄体的折射率相关的信息的步骤；基于从所述偏 振光图像得到的所述扩散反射区域的偏振光信息，对所述扩散反射区域的 表面法线进行推定的第1法线推定步骤；基于从所述偏振光图像得到的所 述镜面反射区域的偏振光信息，对所述镜面反射区域的表面法线进行推定 的第2法线推定步骤；以及通过对由所述第1法线推定步骤和所述第2法 线推定步骤中所求取的表面法线的连续性进行评价而排除表面法线的不 确定性的步骤。
在优选的实施方式中，所述摄像部，执行取得所述偏振光图像的摄像 步骤，所述摄像步骤中，包含如下步骤即在将对包含连结摄像视点和所 述被拍摄体上的观察点的直线以及所述观察点中的表面法线这双方的平 面进行规定的角度，即所述平面关于所述直线的旋转角度设为W，并且将
所述平面内所述表面法线和所述直线之间形成的角度设为e的情况下，
将相对于由角度W规定的所述平面平行而偏振的光的偏振强度，针对不 同的多个角度W进行测量。
一种图像处理方法，基于偏振光图像对被拍摄体的表面形状进行推 定，其中，包含将所述偏振光图像分割为包含镜面反射区域以及扩散反 射区域的多个反射特性区域的步骤；取得与所述被拍摄体的折射率相关的 信息的步骤；基于从所述偏振光图像得到的所述扩散反射区域的偏振光信 息，对所述扩散反射区域的表面法线进行推定的第1法线推定步骤；基于 从所述偏振光图像得到的所述镜面反射区域的偏振光信息，对所述镜面反
11射区域的表面法线进行推定的第2法线推定步骤；通过对在所述第1法线 推定步骤和所述第2法线推定步骤中求取的表面法线的连续性进行评价， 而对表面法线的不确定性进行排除的步骤，并且包含基于偏振光强度对 角度W的依存性，而用正弦波对与所述被拍摄体上的观察点相对应的像 素的偏振光辉度进行近似，而决定I (W)的步骤。
在优选的实施方式中，对所述被拍摄体的或与像素对应的偏振光辉度 I (W)的平均辉度进行求取，在所述平均辉度比阈值高的情况下，将其 像素分割为镜面反射区域。
优选的实施方式中，还包含将从所述镜面反射区域得到的偏振光辉度 分离为镜面反射成分和扩散反射成分的步骤。
优选的实施方式中，在所述第l法线推定步骤中，通过对使用菲涅耳 反射系数的垂直成分以及平行成分的比率进行计算而决定所述扩散反射 区域的扩散光的出射面中的出射角。
在优选的实施方式中，在所述第2法线推定步骤中，对使用菲涅耳反 射系数的垂直成分以及平行成分的比率进行计算而决定所述镜面反射区 域的光源光的入射面中的入射角。
在优选的实施方式中，还包含在包含于所述扩散反射区域第1部分 和包含于所述镜面反射区域的第2部分相近接的情况下，以所述第1部分 中的表面法线和所述2部分中的表面法线的差异縮小的方式对表面法线进 行更新的步骤。
在优选的实施方式中，还包含基于位于对所述偏振光图像进行摄像 时的摄像视点和所述镜面反射区域的表面法线之间的几何学的关系，对光 源的角度进行推定的步骤。
在优选的实施方式中，基于分离比的设定值，将从所述镜面反射区域 得到的摄像图像的辉度，分离为镜面反射辉度成分和扩散反射辉度成分。
在优选的实施方式中，按照在所述镜面反射区域和所述扩散反射区域 的边界附近，针对所述镜面反射区域内的扩散反射成分以及所述扩散反射 区域内的扩散反射成分提高图像辉度的空间连续性的方式，决定所述分离 比。
在优选的实施方式中，以提高彩色图像上的色信号的空间的连续性的方式决定扩散反射成分。
在优选的实施方式中，在将所述偏振光图像分割为所述多个反射特性 区域的步骤中，使用所述被拍摄体的偏振光辉度的变动量和平均辉度值而 进行分割。
本发明的图像处理装置，是基于偏振光图像而取得表示基于被拍摄体 的表面形状的信息的图像处理装置，其中，包括将所述偏振光图像分割 为包含镜面反射区域以及扩散反射区域的多个反射特性区域的反射区域 分割部；取得与所述被拍摄体的折射率相关的信息的折射率信息取得部； 基于从所述偏振光图像得到的所述扩散反射区域的偏振光信息，对所述扩 散反射区域的表面法线进行推定的第1法线推定部；基于从所述偏振光图 像得到的所述镜面反射区域的偏振光信息，对所述镜面反射区域的表面法 线进行推定的第2法线推定部；基于所推定的所述扩散反射区域的表面法 线，而对所述镜面反射区域的表面法线进行校正的法线更新部。
在优选的实施方式中，备有用于生成所述偏振光图像的摄像部，所述
摄像部，备有图案化偏振体，所述图案化偏振体将偏振轴的朝向至少在3
个方向上不同的、多个的偏振体单位有规则地排列。
在优选的实施方式中，所述图案化偏振体包含偏振轴的朝向相互不同
的9个的偏振体单位。
在优选的实施方式中，所述摄像部，具有与所述图案化偏振体中的多 个的偏振体单位对应的多个子像素，利用从所述多个的子像素选择的子像 素组形成像素单位。
本发明的图像处理装置，具备取得被拍摄体的反射光的彩色信息和 偏振光信息这两方的摄像部；使用所述彩色信息而在图像上分割为包含镜
面反射区域以及扩散反射区域的多个反射特性区域的反射区域分割部，所 述多个反射特性区域之间，以提高从各彩色信息得到的形状信息的匹配性 的方式而决定被拍摄体的表面法线信息。
本发明的图像处理系统，备有上述的图像处理装置；向所述图像处 理装置中的折射率信息取得部提供与被拍摄体的折射率相关的信息的模 块；从所述图像处理装置取得由所述图像处理装置决定的被拍摄体的表面 法线信息并存储的存储介质。在优选的实施方式中，所述图像处理装置内置于照相机。 本发明的图像格式，是用于对从摄像照相机取得的图像进行存储的格 式，其中，备有被拍摄体的镜面反射图像；扩散反射图像；所述被拍摄 体的各像素位置中的表面法线信息；由被拍摄体位置观测的光源信息。
根据本发明，能够使用被拍摄体的偏振光信息而取得一般的环境场景 中的被拍摄体形状。此外，能够对被拍摄体的镜面反射成分和扩散反射成 分进行分离，从而能够取得与照明光源相关的信息。


图1是表示本发明的第1实施方式中的图像输入装置的构成的方框图。
图2是对偏振光图像摄像部的1个的实施方式进行说明的示意图。
图3是对偏振光图像摄像部的其他实施方式进行说明的示意图。
图4是用于对偏振光辉度变动曲线的正弦函数近似进行说明的示意图。
图5是表示本发明的第1实施方式中的图像输入装置的动作的流程图 (流程图)。
图6是对反射区域分离的概念进行说明的示意图。
图7是对反射区域分离部的动作进行说明的流程图。
图8是表示S区域处的入射面、D区域处的出射面的角度W的决定
方法的图。
图9是对S区域中的入射面和入射角进行说明的图。
图IO是对D区域中的出射面和出射角进行说明的图。
图11是对入射角e s和SpecularPFR值的理论关系式进行说明的图。
图12是对出射角ed和DiffusePFR值的理论关系式进行说明的图。
图13的(a )以及(b )，是法线更新部中的重复处理的效果的示意图。
图14 ( a )以及(b )是表示入射角、出射角和表面法线的角度的关 系的示意图。
图15是表示4枚的偏振光图像(偏振轴旋转角W为0° ，45° ，90° ，135° )的图。
图16是表示表面法线形状图像的图。
图17是表示扩散反射图像以及镜面反射图像。
图18是本发明的第2实施方式所涉及的图像输入装置的方框图。
图19是光源输出部中的光源的角度推定的示意图。
图20 ( a )以及(b )是对连续性评价部中的光源推定的收敛效果进 行表示的示意图。
图21是表示镜面反射图像和扩散反射图像的分离的示意图。
图22 ( a )至(c )，是对扩散反射成分的连续性进行维持而进行最 适当分离的示意图。
图23是与本发明的第3实施方式相关的面向彩色图像的图像输入装 置的方框图。
图24是本发明的第3实施方式所涉及的Red处理部的方框图。 图25是本发明第3实施方式所涉及的彩色图像格式的示意图。 图26是本发明第4实施方式所涉及的彩色偏振光视景(If-3 >0 照相机的示意图。
图27是表示本发明第4实施方式所涉及的彩色偏振光图像摄像部的图。
图28是表示本发明第4的实施方式所涉及的彩色偏振光图像摄像部 的图案化偏振体的构成图。
图29是表示本发明第4实施方式所涉及的彩色偏振光图像摄像部的 图案化偏振体的其他的构成图。
图30是本发明第5实施方式所涉及的彩色图像高分辨率处理的方框图。
图31 ( a )是表示入射面的图，(b )是表示出射面的图。 图32 ( a )以及(b )是表示入射面的角度^的图。 图33是基于本发明的图像处理系统的概念图。
图中
101偏振光图像摄像部 102正弦函数近似部
15103反射区域分割部
104镜面扩散成分分离部
105被拍摄体折射率信息数据库
106 S区域法线推定部
107 D区域法线推定部 108法线更新部
109形状输出部 110法线推定部
具体实施例方式
本发明中，将被拍摄体空间分离为镜面反射区域(Specular 区域)和扩散反射区域(D i f f u s e区域)。以下，存在将镜面反射 区域称作"S区域"，将扩散反射区域称作"D区域"的情况。在本发明 中，分别通过不同的手法取得与S区域以及D区域的表面法线相关的信 息。在优选的实施方式中，以两个区域的边界附近中表面法线的匹配(整 合)性变高的方式决定S区域的表面法线。换言之，为了基于D区域的表 面法线而决定S区域的表面法线，与仅通过来自S区域的镜面反射(正反 射)而决定表面法线的以往技术相比，能够从被拍摄体的较宽范围取得表 面法线。另外，通过利用S区域中的偏振光信息，能够基于正反射的几何 约束，取得照明光源的信息。
以下， 一边参照附图， 一边对本发明的实施方式进行说明。
(第l实施方式)
首先，对基于本发明的图像输入装置的第1实施方式进行说明。 图1是表示本实施方式所涉及的图像输入装置的构成的方框图。该图 像输入装置，备有偏振光图像摄像部101、正弦函数近似部102、反射 区域分割部103、法线推定部110、法线更新部108、以及形状输出部109。 法线推定部110，具有镜面扩散成分分离部104、 S区域法线推定部106、 以及D区域法线推定部107。该图像输入装置，从被拍摄体折射率信息数 据库105取得折射率信息，但是该被拍摄体折射率信息数据库105，没有 必要是图像输入装置的构成要素。偏振光图像摄像部101，是对被拍摄体的偏振光图像多枚地进行摄像的装置，偏振光图像摄像部101的一例，如图2所示，备有照相机201、
可旋转地配置在照相机201的透镜前的偏振板202。照相机201，是公知的摄像装置，能够对由非偏振光或随机偏振光的光源203所照明的被拍摄体206进行摄像。能够在维持被拍摄体206、照相机201、以及光源203的几何学的关系的同时， 一边以每(刻^)适当的角度(例如5° )将偏振板202从0。到180°旋转一边摄像N枚的图像。由此，能够在被拍摄体206上的观察点205的位置，摄像N种辉度图像。
偏振光图像摄像部101的构成，不限于图2所示的结构。偏振光图像摄像部101，也可以备有图3所示的图案化偏振体(偏光子)照相机304。
在对动态图像实时进行摄像的情况下等，优选为，使用图案化偏振体照相机304。
图案化偏振体照相机304，是将备有图案化偏振体301的特殊的摄像传感器内置的照相机，能够同时地实时取得通常的辉度图像和偏振光图像。多个的像素302被以矩阵(7卜y夕7)(行以及列)状排列。图3中，记载于各像素302内的直线，示出了在其像素302上设置的微小偏振板的偏振光主轴方向。即，该摄像装置，备有具有偏振轴的旋转角^=0° 、45° 、 90° 、 135°这4种的偏振光方向的子(寸y)像素302。偏振轴的旋转角W不同的4个子像素302，以构成图3所示的拜尔(Bayer)排列的像素单位303的方式而配置，每个的像素单位303作为1像素而被处理。根据这种摄像装置，能够对偏振光方向不同的4种图像同时并列地进行摄像，因此能够在不使偏振板旋转的情况下，取得4种偏振光图像，其结果,能够对辉度变动进行正弦函数近似。另外，优选为，在取得偏振光信息时，辉度的动态范围(夕'一 于$ 、7夕^y-)以及比特(tfy卜)数较大(例如16b i t)，另夕卜，希望摄影伽码(力、乂7) =1。
再次参照图1。
在正弦函数近似部102中，对于所取得的每N枚的偏振光辉度图像的像素，利用正弦函数对辉度进行近似。在本实施方式中，用以下的(式l)对相对于偏振轴旋转角W的反射光辉度I进行近似。〔数学式1〕
17/(W)".sin2(^-￡) + C (式l)
图4是对式1所示的偏振光辉度变动曲线的近似曲线示意性地进行表示的图表。式1以及图4所示的A、 B、以及C，分别是对偏振光辉度变动曲线的振幅、相位、以及平均值进行表示的常数。
上述的(式l)，能够按照以下的(式2)所示的方式展开。〔数学式2〕
wsin2^ +Z>.cos2^ +C (式2〉
其中，a以及b，与A、 B、以及C之间具有由下述的(式3)所示
的关系。
(数学式3〕
乂 = V +62 、 sin(-2J5) = ~, & 、 cos(-2B) = ~ 。 (式3)
若对于N枚的偏振光辉度图像的各像素，求取将以下的(式4)所示的"评价式"最小化的a、 b、 c，则由于通过式(3)对A、 B、 C进行确定，因此能够实现基于(式l)的正弦函数的近似。数学式4
/(。,&，C) = ^(/l-fl-sin2^-&.cos2^,-C) (式4)
其中，Ii表示偏振轴旋转角W^Wi时的观测辉度。
未知的参数a、 b、 C是3个，因此为了决定这些的参数，需要准备偏振轴旋转角W不同的3枚以上(N^3)的偏振光辉度图像。
利用图1的正弦函数近似部102,能够对每个像素进行正弦函数近似，从而决定A、 B、以及C。
反射区域分割部103执行图5所示的步骤S402以及步骤S411的处理。镜面扩散成分分离部104，执行图5的步骤S404以及步骤S410的处理。被拍摄体折射率信息数据库105，进行图5的步骤S405的处理。
法线推定部110，执行步骤S403、步骤S406、以及步骤S407的处理。法线更新部108，执行步骤S408的处理，形状输出部109，执行步骤S409的处理。
以下， 一边参照图5的流程图， 一边对图1的装置的动作详细地进行说明。
首先，在步骤S400中对N枚的偏振光图进行摄像后，在步骤S400中，如上述的那样，通过求取(式l)的A、 B、 C的数值，而将N枚的偏振光图像间的辉度变动近似为正弦函数。并利用该处理，除去噪声，因此即使较少的枚数的变更图像(例如N二4)，也能够达到足够高的精度。歩骤S401的处理，在图1的正弦函数近似部102中进行。
步骤S402中，使用该结果，将图像空间分离为两个区域。BP,将各像素分离为D区域或S区域。D区域，是被拍摄体的扩散反射(Diffusereflection)占支配性的区域，S区域，是被拍摄体的镜面反射(Specularreflection)占支配性的区域。更确且而言，相对于在D区域中仅仅存在被拍摄体的扩散反射成分，在S区域中除了扩散反射成分还加算镜面反射成分。
以往，已知不仅在镜面反射区域而且在扩散反射区域中也产生偏振现象。偏振程度，除了遮蔽边缘，在镜面反射区域比扩散反射区域变得更大。对于镜面反射区域以及扩散反射区域的每个，物理现象不同，另外，偏振光信息和入射面的关系、偏振光信息和入射角的关系，完全不同，因此两区域必须分离而进行处理。
图6中示出了球那样的被拍摄体。该被拍摄体的表面被分离为D区域、S区域、以及非偏振区域这三个区域。
D区域的辉度仅仅是扩散反射成分。该扩散反射成分是偏振光，因此能够观测到基于偏振轴旋转角W的辉度变动。视线矢量和表面法线所成的角越大，该变动程度(偏振度)变得越大。为此，在被拍摄体的遮蔽边缘部中，偏振程度相对地变得较大。在图6中，被拍摄体周边部被分离为D区域。
另一方面，可以考虑S区域的辉度，成为将非常明亮的镜面反射成分和相对较暗的扩散反射成分合成后的辉度。由于S区域从遮蔽边缘远离，因此由扩散反射成分中的偏振引起的辉度变动不太大。为此，在图6中，将S区域的扩散反射成分，作为不依赖于偏振轴旋转角W的大致一
19定的值而表示的值而记载。
另外，在相位差为90°的D区域和S区域重合而消除偏振光的情况下，或者在原来的光处于非偏振的角度状态的情况下，产生非偏振区域。
将实际的被拍摄体作为16位的HDR (宽动态范围)照相机而观测，通过进行基于正弦函数的近似，能够求取对D区域以及S区域的各个中的偏振光旋转轴^进行变更时的辉度的最大(MAX)、最小(M I N)值。表1以及表2示出了这些结果。
表1以及表2的值，分别是通过变换照明光源的位置而对同一物体(塑料制球)进行摄影所得到的值。在表1的例中，S区域中的平均辉度以及偏振度，分别比D区域中的平均辉度以及偏振度大。在表2的例中，S区域的平均辉度比D区域的平均辉度大，但是至于偏振度，S区域比D区域小。在照明方向接近于照相机视点的情况下，由于镜面反射自身不怎么产生偏振光，因此产生该现象。
场所辉度MAX辉度MIN辉度平均= (MAX+MIN) /2偏振度== (MAX—MIN)/ (MAX+MIN)
D区域15600420049000. 158
D区域27200550063500. 137
S区域13100016000235000. 33
S区域21800013000155000. 177
场所辉度MAX辉度MIN辉度平均= (MAX+MIN) /2偏振度= (MAX—MN)/ (MAX+MIN)
D区域l8206007100. 153
D区域210008009000. 126
S区域12800265027500. 026
接下来，参照图7对具体的区域分离方法进行说明。首先着眼于在步骤S701中特别指定的像素，并取得将其辉度变动以正弦函数进行近似后曲线。具体来说，反射区域分割部103从正弦函数近似部102取得由图1所示的正弦函数近似部102所确定的A、 B、以及C
20(图4参照)的值。
在步骤S 702中，判断平均辉度是否超过一定的阈值T h 1。若是平均辉度〉Thl，则进入步骤S 703，将其像素分类为"S区域"。通常，镜面反射区域的平均辉度比扩散反射区域的平均辉度高，因此在本实施方式中基于平均辉度进行区域的判别。在表1的例中，设定为T h 1 = 10000，在表2的例子中，设定为Th 2 = 2000。
步骤S 702中，在判定为平均辉度〉Thl的关系不成立的情况下，进入步骤S 704。在步骤S704中，计算偏振度，若该偏振度超过阈值T h2,则进入步骤S 705，并将该像素分类为"D区域"。另一方面，若偏振度为阈值Th2以下，则进入步骤S 706，将该像素分类为"非偏振区域"。对以上的判定进行重复直至全像素结束(步骤S707)。另外，在表l以及表2的例中，设定为T h2=0. 1。
在以上的分类针对所有的像素完成以前重复上述的步骤而执行(步骤S 707)。上述的处理，由反射区域分割部103所执行。
再次，参照图5。利用上述的方法执行步骤S402后，进入步骤S403。在步骤S403中，使用辉度变动曲线，确定表示S区域中的入射面的角度W d和表示D区域中的出射面的角度W s ，而得到(Wd， Ws)。
在S区域中，由偏振光引起的辉度变动的原因中，镜面反射是支配性的。为此，Ws，如图8所示，是成为辉度变动曲线的最小值(Mi n)的角度。另一方面，在D区域中，仅仅产生了扩散反射，因此Wd是成为最大值(Max)的角度。
如此，在对表面法线进行特别指定的两个角度中，能够确定对入射面或出射面进行规定的1个角度。图8中，由角度W d 、 W s所特别指定的平面(入射面或出射面)，分别由1根的直线所表示。换言之，对于S区域即镜面反射占支配性区域的情况，如图9所示，角度W s与由照相机焦点位置、观测点位置和光源所决定的"入射面"相对应。另一方面，对于D区域即扩散反射占支配性区域的情况，如图10所示，角度Wd，与由照相机焦点位置、观测点位置、表面法线所决定的"出射面"相对应。图8中，由角度W s所特别指定的直线，表示从照相机焦点位置观察的"入射面"，由角度W d所特别指定的直线，表示从照相机焦点位置观察的"出射面"。连结照相机焦点位置和被拍摄体上的观测点位置的直线被包含在"入射面"或"出射面"的面内，因此，在通过摄像而得到的二维图像上，"入射面"以及"出射面"，分别是由直线所表现的。另外，观测点位置
的表面法线，被包含在"入射面"或"出射面"的面内。为了决定表面法
线，需要在特别指定"入射面"或"出射面"后，对各面内中的表面法线
的朝向进行决定。
返回图5。在利用上述的方法执行步骤S403后，进入步骤S404。在步骤S404中，对S区域中的镜面反射成分和扩散反射成分进行分离。该分离不是表示在步骤S402中进行的在图像空间中的像素单位的分离(空间的分离)，而是表示将辉度值自身分割为两个成分。具体来说，首先，针对每个像素假定分离比R (0<R<1)。接着，针对S区域的某像素，如(式5)所示将I (W)分离为两个的项(成分)，即依存于角度^的I s (W)项和几乎不依存于角度W的I d项。Is (W)，是镜面反射辉度成分，(式5)中的I a v e，是被观测的辉度变动曲线I (W)的l周期的平均辉度。I d以及I s (W)是其中一个偏振光滤光器透过后的观测值，因此相当于没有偏振光滤光器的情况下的辉度的1 / 2。数学式5
WO-"VO-L-"VO-/鹏xi (式5)
步骤S404的处理在图1的镜面扩散成分分离部104中执行。进行步骤S404的处理后，进入步骤S406、 S407，而执行法线推定。其中，在进行这些步骤S406、 S407的说明前，首先，对使用PFR值的法线的推定方式的原理进行说明。
首先，所谓PFR (Polarization Fresnel Ra t i o)值，如在专利文献1以及非专利文献1所定义的那样，是在折射率n的电介质的反射中的菲涅耳(7 k冬；"反射系数中，入射面不同的平行成分F p和垂直成分F s的比率。所谓F P R值，是表示光所偏振的程度的信息，若赋予被拍摄体的折射率，则PER值和角度的关系由理论式所赋予。其中，PFR值，因镜面反射和扩散反射而举动不同，因此将两者进行区别而处理。首先，对S区域的P E R值即SpecularPFR值的理论式和根据实测的计算方法进行说明。
将es作为入射角、将n作为折射率，假设n是对由真空的折射率
=1和被拍摄体表面的折射率n的比率所计算的相对折射率进行表达的参数，则SpecularPFR值的理论式，由以下的(式6)所表达。数学式6
<formula>formula see original document page 23</formula>
(式6)
若得到SpecularPFR值的实测值，则通过带入上述的(式6)，能够求取入射角e s。若求取入射角e s，则由于已知角度W S ，因此能够决定
表面法线。
图11表示从式6计算的SpecularPFR值(F s / F p )和入射角9 s的关系。这里，考虑被拍摄体由折射率n=l. 5的塑料(7。，7千:y夕)构成的情况。如图11所示，在入射角6s从0度增加到90度的情况下，SpecularPFR值，描绘出一度增大到~后再度减少的曲线。为此，若将实测值代入到理论式，对成为解的角度es进行求取，则得到两个通解，不能唯一地决定解。这即使在变更折射率n的情况下也是同样的。在本实施方式中，为了解决这种问题，采用后述的方法。这里，首先，对SpecularPFR值的实测方法进行说明。
SpecularPFR值，是根据镜面反射成分计算所得的值。S区域的辉度，如图6所示，假定为对与角度W相对应地而变动的镜面反射成分I s ( V)和不依存于角度W的扩散反射成分I d进行合成而观测。为此，在对SpecularPFR值进行实测时，需要从所测定的辉度分离镜面反射成分I s(W)。分离后的I s (W)，以正弦波状变动，该最大值和最小值的比率，与SpecularPFR值相当。即，SpecularPFR值，也由下述的(式7)所表达。<formula>formula see original document page 24</formula>
接下来，参照图10，对DiffusePFR值进行说明。所谓DiffusePFR 值，被定义为光通过扩散反射而从被拍摄体出去(出"T行〈)的情况下的 出射面中的菲涅耳(7k氺》)反射系数。如图10所示，来自光源的入 射光IIOI，入射到被拍摄体介质，在介质内如由方位1102所示的那样， 向各种方向散射，成为非偏振的散射光。该非偏振的散射光的一部从被拍 摄体介质再度出射(出T)到空中，成为进入到照相机的出射光1103。该 出射光1103是扩散反射光。
被拍摄体介质内的散射光1104的一部分，被分离为在被拍摄体介 质的内部进行反射的光1105;和折射出去的出射光1103。为此，出射光 的偏振程度，作为光从介质中向空中行进的情况下的折射率，而使用1/ n进行表达。这里，设被拍摄体介质处的入射角为角度4> d ，设观测点 中的出射角为6d。该情况下，首先，若将菲涅耳反射的(式6)适用于 角度小d ，则面向被拍摄体介质内部的菲涅耳反射系数F p ' 、 F s '的 关系，如以下的(式8)那样被表达。这里，小d和6d的关系，由斯涅 耳定律(7氺/P的法則)所规定。 <formula>formula see original document page 24</formula>在被拍摄体的表面进行折射并向空中出行的出射光1103，是在将总能量作为1的情况下，从总能量减去面向介质内部的反射光1105后的值。
因此，DiffusePFR值的理论式，能够由以下的(式9)所表达。数学式9
D,e柳=(式9 )
在对扩散光的偏振程度实际进行观测的情况下，假定D区域的反射光 全部是扩散光。因此，DiffusePFR值的理论式，能够如以下的(式10) 所规定的那样由实测值所表示。 〔数学式10〕
Z),e尸尸及=k (式1 0)
图12是表示由(式9)所表达的DiffusePFR值和出射角e d的关系 的图表。这里，假定被拍摄体是由11=1. 5的塑料形成的情况。如图12 所示，DiffusePFR值不依赖于出射角0d而单调地增加。若被拍摄体的折 射率n不同，则图12的曲线变化，但是单调増加的倾斜度(傾含)自身， 不依赖于折射率n而成立。为此，若被拍摄体的折射率ri是已知的，则 能够从DiffusePFR值唯一地求取出射角9d。
另外，如图6所示，在D区域中，视为反射光的全部是扩散反射成分， 因此DiffusePFR的计算中没有不确定性。因此，若赋予了被拍摄体的折 射率n，则根据DiffusePFR值的实测值(式IO)，能够以较高的信赖度 得到出射角6d的值。
返回图5。步骤S405中，若输入被拍摄体的折射率ri，则(式9) 的理论式确定，能够求取图12的曲线。这里，假定被拍摄体的折射率ri 在D区域以及S区域具有相同的大小。
歩骤S406中，执行D区域法线推定步骤。根据针对D区域所得到的 I m a x以及I m i n的实测值，能够求取基于(式10)的DiffusePFR 值(实测值)。若得到DiffusePFR值(实测值)，则根据图12的关系，能 够求取出射角9d。如从图10所明了的那样，若确定了该出射角6d，则 能够决定出射面内中的表面法线。对出射面进行特别指定的角度W d ，已 经在步骤S403被求取，因此能够将D区域的表面法线唯一地决定。该处理，在图1的D区域法线推定部107中被执行。
接下来，进入步骤S407 (S区域法线推定步骤)。这里，对S区域的 表面法线进行决定。具体来说，对于S区域，根据SpecularPFR值(实测 值)求取入射角0s。该处理，在图1的S区域法线推定部106实行。参 照图11而说明，若得到SpecularPFR值的实测值，通过代入上述的(式6)， 能够求取入射角es。其中，由于两个解均存在，需要限定于其中一方的 操作。在本发明中，为了进行该限定，利用与已经得到的D区域的表面法 线相关的信息。
首先，将折射率n设为已知，使用(式6)而得到入射角es和 SpecularPFR值的理论式。如图11所示，若求取与实测的SpecularPFR
值相当的入射角e s，则能够得到两个的解。这里，将该两个的解称作"e s
候补"。
若求取了 9s候补，则进入步骤S408。在步骤S408中，对由步骤S 406求取的9d和由步骤S407求取的9s的连续性进行评价。被拍摄体 的表面法线，依赖于表面的位置而变化，但是在表面形状的变化较为缓和 的情况下，位于近傍的多根的表面法线，向着大致等同的(等L")方向。 为此，在D区域和S区域相邻接的区域，表示D区域的表面法线和S区域 的表面法线存在连续性的倾向。因此，在由S区域的两个的"es候补" 所特别指定的两个表面法线的候补中，应该将与D区域的表面法线接近的 法线作为S区域的表面法线而选择。D区域和S区域中的表面法线的连续
性的程度，能够根据角度0s和角度ed的差异而进行评价。这里，利用
以下的(式ll)所示的评价式对连续性进行评价。数学式ll
if |《-A|<77j3
连续
工 (式11)
else
不连续
从由步骤S 407求取的2个的解(e s候补)中，利用上述的(式11)， 选择满足连续性的一个解。这里，在满足连续性的情况下，进入步骤S 409，
并结合按照各像素对在s区域求取的入射面和入射角对(w s ， es)进行存储的表格，与按照各像素对在D区域求取的出射角和出射角对(W d ，
ed)进行存储的表格，而得到具有图像的各像素中的表面法线(w， e)
即2成分的表面法线图像。
步骤S408中，在不满足连续性的情况下，可以认为其理由是以下的
其中之一。
1) 步骤S404中假定的镜面反射成分分离比R不适当，结果计算出了 错误的SpecularPFR值。
2) 在步骤S402中假定的D/S区域分离是不适当的，从而用错误的方 法对本来应该是S区域、D区域的法线进行了计算。
因此，在步骤S408中不满足连续性的情况下，再度，对这些值进行 更新，并进入法线更新的重复的歩骤。具体来说，在步骤S410中对 SpecularPFR值进行更新。g卩，使R值向+方向和一方向微小变动，结果， 沿边界线上的9s接近ed的方向使R以微小量更新。此时，通过考虑边 界上的I d的连续性，能够加速收敛。图13 ( a )、 ( b )，是示意性地表 示该收敛过程的图。如图13 ( a )所示，在初期状态，在D区域和S区域 得到完全不同的表面法线。收敛后，如图13 ( b )所示，S区域的范围变 化，并且S区域和D区域的法线连续地移行，在较大区域对被拍摄体的表 面法线进行求取。
参照图5。若步骤S410中的更新结束，则进入步骤S411，对D/S区 域边界进行更新。边界区域，由图7所示的两个的阈值Thl、 Th2所决 定。若提高阈值T hl，则S区域的面积减少。使阈值T hl向+方向和一 方向微小变动，而再次沿边界上的e s接近于0 d的方向对阈值T h 1以
微小量进行更新。
若结束图5所示步骤S411的更新处理，则再次返回步骤S403的处 理。在步骤S408中连续性得到满足之前，将步骤S403、 S404、 S406 S408、 S410、 S411的处理重复必要的次数。
在满足连续性的情况下，进入步骤S409。在步骤S409中，将在S区 域求取的入射面和入射角对(W s ， es)，以及在D区域求取的出射角和
出射角对(wd， ed)的角度信息，作为投影在照相机坐标系的平面上
的角度，而计算表面法线(W， e )。该变换，如图14 ( a )、 ( b )所示，
27相当于e的校正。并将作为法线和视线矢量之间的角度而被定义的e，
使用视线矢量而变换为照相机坐标系中的角度。
图14 ( a )中的图像上的像素位置(x ， y )(像素)和被称作图像 坐标系的摄像元件上的实际尺寸位置(xt'， yf') (mm)的关系式，使 用图像上透镜光轴位置(Cx， Cy)(像素)、摄像元件l像素的尺寸(d x ， d y )(mm)、以及表示透镜的畸变(歪^)的畸变参数k " k 2， 而由次式求取。
数学式12
';c, (ffww) = (a: — C工)' "卿)=备,)2+(々)2
(式l 2)
Z^(画)力(k,2 + x:/4)
这里，(d x， d y ) (mm)能够从目录(力夕口夕、')值等计算，另 外，(Cx， Cy)、 i^、 k2、 f通过进行所谓的照相机标定(标定)是已知 的(例如，Roger Y. Tsai，"An Efficient a nd Accurate Camera Calibration Te chnique for 3D Machine Vision", Pro ceedings of IEEE Conference on Com puter Vision and Pattern Recognit ion， Miami Beach ， FL， 1986，pp. 364 — 374)。 即使摄像装置的位置、姿势变化，这些参数也不变化。将这种参数称作照 相机内部参数。
在本实施方式中，在摄像前进行照相机标定，而对照相机内部参数(C x， Cy)、 (dx， dy)、 f、 Kl、"进行特别指定。这些值，即使利用 摄像装置购入时所附属的参数，也可以。另外，在照相机不是固定焦点，而可变焦的情况下，可以是对各变焦时的焦距f个别地进行求取并能够在 必要时选择。并且，也可以将焦距f与所摄像的图像一并进行保持。图12 所示的、与想要求取法线的像素位置(X ，y )相对应的照相机坐标系中
的预定(見込^)角a，可以使用摄像装置的焦距f而由以下的式13所表达。
<formula>formula see original document page 29</formula>数学式13
因此，像素坐标位置(x， y)中的表面法线，在照相机坐标系中使 用球面坐标系按照以下的方式进行求取，并被输出。数学式14
<formula>formula see original document page 29</formula>(式14)
式14所示的信息相当于被拍摄体表面法线信息，即相当于被拍摄体 形状输出。
图15 17是表示在实施方式中所使用的偏振光图像组以及最后输出 的被拍摄体表面法线形状的实例的照片。
被拍摄体是木制掩模。对该被拍摄体， 一边以非偏振光照明且使偏振 滤光器旋转一边进行摄影，而得到4枚的偏振光图像。在该例中，使用图 15所示的4枚的偏振光图像。偏振光图像的偏振轴旋转角^是11/=0° 、 45° 、 90° 、 135。。
上述的4枚的偏振光图像，由图1的偏振光图像摄像部101所得到， 并入射到正弦函数近似部102。其后的处理，按照参照图1以及图5而进 行说明的那样。如此最终生成具有与照相机坐标系中的极坐标相当的两个 的角度参数(W'， e')的表面法线图像。图16表示表面法线图像。图 16中的表面法线图像的形成时，将W， (_180° 180° )分割(割19当 T)为从0到255，并将e， (0° 180° )分割为0到128。
(实施方式2)
接下来，对基于本发明的图像输入装置的第2实施方式进行说明。 首先，参照图18。图18是本实施方式所涉及的图像输入装置的方框图。
本实施方式的图像输入装置，与实施方式l中的图像输入装置的不同
点，在于备有光源输出部1501和镜面扩散反射图像输出部1502。另外， 连续性评价部1503的动作也不同，但是其他的构成要素，基本是共通的。
根据本实施方式，不仅能够取得被拍摄体的形状信息，而且能够求取 对被拍摄体进行照明的光源的角度。另外，能够输出将被拍摄体的辉度成 分分离为镜面反射成分和扩散成分的图像。
照明光源的推定，己经形成了所谓的"反向照明"(OA—7 ， 一于,乂^)研究领域，使用特别的传感器而执行。相对于此，在本实施 方式中，能够不使用其他传感器而对被拍摄体形状以及光源这两方进行推 定，因此能够应用计算机图形学的处理。
图19是光源推定的示意图。在产生了镜面反射(正反射)的被拍摄 体的观测点(S区域)中，来自光源1601的平行光的方向矢量L、表面 法线矢量N、以及照相机201的视线矢量V之间，以下的式15的关系成 立。
数学式15
L-(Lj(x，y) ，L2(x,y)) = -V + 2(V.N)N (式15)
矢量N以及矢量V ，利用以同 一 的照相机焦点为坐标的原点的照相机 坐标系进行计算。通过使用式15，能够从矢量N、 V推定平行光源矢量L 。
S区域中的法线，如前述那样，当初存在2个的候补(解)，另外通 过重复计算而收敛于最佳解。为此，如图20 ( a )所示，起初，存在与多 个的对应的矢量N，并与此对应地推定多个光源。可是，如图20 ( b )所 示，随着矢量N的收敛，光源矢量也收敛于最佳解。
本实施方式的光源输出部1501，得到由S区域法线推定部106求取的 S区域的矢量N以及矢量V的信息，并根据上述的正反射的几何学的关系 对平行光进行假定而计算光源方向。
接下来参照图21，对镜面扩散反射图像输出部1502的动作进行说明。
镜面扩散反射图像输出部1502，利用反射区域分离部103以及镜面反 射成分分离部104的输出，将所被摄影的被拍摄体辉度图像分离为镜面反
30射成分的图像和扩散反射成分的图像。该处理，在将实被拍摄体作为计算 机图形学的模型(模型)的情况下是必要的，并能够得到表面反射特性。
在反射区域分离部103由D/S分离的区域分割结果1801，基本上，不 过是(卞害'f )2值信息，即使将此图像化，也不能够得到表面反射特性。 如图21所示，通过将所被加算的辉度进行最佳分离，需要从图像1801生 成镜面反射图像1802和扩散反射图像1803。为了该分离，在本实施方式 中，使用由镜面反射成分分离部104所推定的分离比R的信息。
以下，参照图22 ( a ) (c )，对分离的方法进行说明。图22 ( a ) (c)，示出了S区域和D区域中， 一边维持扩散反射成分的连续性一边 进行上述的最佳分离的方法。图22 ( b )、 ( c )的图表中，纵轴是将偏振 光图像中观测到的辉度利用偏振板角度平均化后的平均辉度。横轴表示图 像上的X轴等的坐标。
在S区域中针对每个像素决定前述的(式5)中的分离比R。 g卩，在 S区域的各像素中，根据式5，能够将图22( b )所示的镜面反射成分1901 和扩散反射成分1902进行分离。
在图22 ( b )所示的例子中，在S区域内，像素间镜面反射成分1901 和扩散反射成分1902也分别不连续。另外，在图22 (b)中，在D/S边 界线1903、 1904上，扩散反射成分1902等的成分不连续地变化。
本实施方式中，除了表面法线以外，由于不特别地满足扩散反射成分 1902的D/S边界线上的连续性，因此追加连续性评价部1503中的评价内 容。即，在本实施方式的连续性评价部1503中，除了图1的法线更新部 108中的处理步骤S408，对于D/S边界线上S区域内的扩散反射成分I 抓，必)和D区域内的扩散反射成分(辉度自身)Id#area(D)，进行以下的式16 所示的连续性评价。数学式16
錢 (式16) else
不连续
这里，在满足连续性的情况下，镜面扩散反射图像输出部1502，输出
31分离后的辉度图像。扩散反射成分I d (x， y)以及I s (x， y)， 使用与偏振光图像摄像部101中的图像坐标(x ， y )的观测辉度值的旋 转角W相关的平均值I a v e (x， y)，而分别在D、 S区域中按照以 下的式17那样进行变换。数学式17
fU(x,y)xR(x,y) s区域的情况
"[i,vc(x,y) d区域的情况
(式l 7)
! p,ve(x,y)x[l —R(x，y)] s区域的情况
'0 d区域的情况
在连续性评价部1503中不满足连续性的情况下，可以考虑以下的原因。
1) 所假定的镜面反射成分分离比R (x， y)不适当，其结果，算 出了错误的SpecularPFR值。
2) 所假定的D/S区域分离不适当，以错误的方法对本来应该是S区 域、D区域的法线进行了计算。
因此，如在实施方式1中进行的那样，可以对这些值进行更新而进入 重复的循环。本实施方式中的输出图像的例，除了针对实施方式l而表示 的图像，还从镜面扩散反射图像输出部1502得到如图17所示的扩散反射 图像I d (x， y)以及镜面反射图像I s (x， y)。另外，从光源输 出部1501，输出光源的位置信息。
另外，在图22所示的例子中，将D/S边界线1903、 1904上镜面反射 成分1901以及扩散反射成分1902分别连续的情况作为评价函数而决定最 佳的D/S分离比R，但是也可以将此扩展(拡張)为彩色图像。在该情况 下，能够成为更强力的约束条件，并能够实现高精度的分离。该情况下， 也可以按照S区域内的彩色扩散反射成分和D区域内的彩色扩散反射成 分满足连续性的方式决定最佳的分离比R。这也是本实施的方式中所包含 的。该情况下，评价式由以下的(式18)所示那样。数学式18<formula>formula see original document page 33</formula> 连续
不连续
(式l 8)
(实施方式3)
图23是表示基于本发明的图像输入装置的第3实施方式的方框图。
本实施方式的图像输入装置对应于彩色图像。在本实施方式中，与实 施方式2的装置同样，能够输出被拍摄体的形状信息、对被拍摄体进行照 明的光源的角度、被拍摄体的镜面反射图像以及扩散反射图像。
本实施方式的装置具有彩色偏振光图像摄像部2001、反射区域分割 匹配部2002、 Red处理部2003、 Green处理部2004、 Blue处理部2005、 Red镜面扩散反射图像输出部2006、Green镜面扩散反射图像输出部2007、 Blue镜面扩散反射图像输出部2008、法线匹配部2009、被拍摄体折射率 信息数据库105、光源输出部1501、形状图像输出部1502。
在各色的处理部，从彩色偏振光图像摄像部2001，输入Red偏振光图 像数据2011、Green偏振光图像数据2012、以及Blue偏振光图像数据2013。 另外，从被拍摄体折射率信息数据库105输入Red折射率数据2017、Green 折射率数据2018、以及Blue折射率数据2019。
本实施方式中的法线匹配部2009，赋予使由Red、 Green、 Blue的各 色(色別)所得到的法线相互一致的约束条件，重复必要的处理直到法线 相互一致。
彩色偏振光图像摄像部2001，是将图2或图3所示的照相机彩色化的 单元，对Red、 Green、 Blue的3原色图像的每个，摄像N枚的偏振光图像。
本实施方式中，Red处理部2003、 Green处理部2004、 Blue处理部 2005中，对每色执行另行(別個)的处理。与彩色相关的图像处理，独立 地进行，Red镜面扩散反射图像输出部2006、 Green镜面扩散反射图像输 出部2007、 Blue镜面扩散反射图像输出部2008，将不同色(色別)的镜 面反射图像以及扩散反射图像进行分离而输出。
33与被拍摄体的形状相关的处理、与光源相关的处理，在不同的色之间 共通，因此需要取得按照不同色而进行的处理结果的相互的匹配性。该作
用，由反射区域分割匹配部2002以及法线匹配部2009所执行。
图24是Red处理部2003的方框图。图24所示的构成，与图18所示 的构成大致相同。图24的构成中，输入Red偏振光图像数据2011以及Red 折射率数据2017，而进行反射区域分割。反射区域匹配信号2010，附加 由反射区域分割部103所设定的D/S区域边界在Red、 Green、 Blue的各 色中是同一的这一约束条件。另外，Red法线匹配信号2014，用于附加所 得到的法线对于Red、 Green、 Blue都是同一的这一约束条件信号。其他 的构成要素的动作，与参照图18而说明的动作相同，因此这里省略说明 的重复。从本实施方式的图像输入装置输出的图像的例子，是将针对实施 方式2而说明的图像彩色化后的图像，本质上是相同的。
图25是对从本实施方式所涉及的图像输入装置输出信息或数据进行 存储时的数据的形式或图像格式的一例进行表示的图。
从本实施方式中的图像输入装置输出的数据的图像格式2202，在静止 图像、动态图像的任何一方，均包含以下4种的信息。这里，(x ， y ) 表示图像上的像素位置。
1. 光源信息L: L (x， y )， L2 (x， y )
2. 镜面反射峰值色度信息 (R,k/Yp。ak， Bprak/YPMk)
3. 单色镜面反射图像Y s (x， y )
4. 彩色扩散反射图像Rd(x，y)，Gd(x，y)，Bd(x，
y )
5. 表面法线图像 W， (x， y)， e' (x， y)
这里，所谓镜面反射峰值色度图像，是镜面反射的最高辉度中的彩色 的比率。通过进行基于以下的式19的计算，能够从单色镜面反射图像生 成彩色镜面反射图像。如此，通过分离为上述1 5的信息而存储，数据 存储量和处理计算量减少。另外，项目2、 3中，也可以替代辉度Y使用 辉度G (Green )。数学式19<formula>formula see original document page 35</formula>
为了在能够适用于各种数字静物照相机、数字视频照相机、监视照相 机等中的图像处理中采用计算机图形学处理，包含这些图像格式是必不可 少的信息，也是非常有效的。
在本实施方式中，对于3原色执行同样的处理，但是，通常蓝色的偏 振光图像相对地变暗，因此也可以在红以及绿方面采用进行上述的处理的 结构。如此，装置的构成变得简单，并且处理速度也提高。 (实施方式4)
一边参照图26， 一边对基于本发明的彩色偏振光视景照相机系统的实 施方式进行说明。图26，是表示本实施方式的系统构成的图。
所图示的彩色偏振光视景照相机2301，是备有图23所示的彩色偏振 光图像摄像部2001和彩色偏振光处理部2000的装置。
彩色偏振光图像摄像部2001，是将图2或图3所示的照相机彩色化的 单元，针对Red、 Green、 Blue这3原色图像，摄像N枚偏振光图像。彩 色偏振光处理部2000，对3原色的偏振光图像进行处理，并输出光源信息 2202、镜面反射峰值色度信息2203、单色镜面反射图像2204、彩色扩散 反射图像2205、表面法线图像2206。若该图像格式包含图25所示的信息， 则也可以是与动态图像、静止图像的其中之一相关的信息。
与被拍摄体的折射率相关的信息2302，例如，在基于照相机2301的 摄影时，能够经由网络从被拍摄体折射率信息数据库105取得。或者，也 可以利用存储着与被拍摄体的折射率相关的信息2302的存储卡2303，输 入到照相机2301。被拍摄体的折射率信息，不必是折射率本身。也可以通 过对被拍摄体的材质进行特别指定，而根据特别指定的材质决定照相机 2301所适合的折射率。例如，从塑料制物体、玻璃制物体、陶器等的材质 候补由照相机2301的按钮进行被拍摄体材质的特别指定。这样的材质特 别指定，能够由照相机摄影者与被拍摄体相对应地适宜执行。
如此，在本实施方式所涉及的彩色偏振光视景照相机中，仅通过输入 被拍摄体表面的折射率信息，不仅能够从摄影场景得到被拍摄体的形状信 息，也能够得到将彩色图像分离为镜面反射和扩散反射的图像和/或光源方向信息。另外，不需要特殊的光源、传感器，因此易于对各种场景中的 被拍摄体进行摄影。
图27是表示彩色偏振光图像摄像部2001的一个例子的立体图。该彩 色偏振光图像摄像部2001备有图案化偏振体301和彩色摄像元件2504。 彩色摄像元件2504具有层积有Blue层2501、 Green层2502、 Red层2503
的层状构造。
图案化偏振体301中，具有偏振轴的旋转角^=0° 、 45° 、 90° 、 135°这4种的偏振光方向的像素以拜尔排列的方式，作为1个像素而发 挥功能。为此，能够同时地对偏振光方向每45。不同的4种的偏振光图像 进行摄像。
这种的图案化偏振体301，例如能够利用使用了光子晶体的偏振板阵 列(7k一)等而制作(例免K、佐藤尚他「7才卜二、;/夕結晶7k^
^用V、广c工y7。乂少卜u—^偏光,乂一-y夕、、」 光応用技術〉y求^
夕厶資料集 SenSpec2006 —透明膜O形状 膜質計測O最 近動向一2006年6月8日 9日精密工学会少力乂7才卜二夕 7専門委員会p. 4 5 — 5 2)(例如，佐藤尚他「使用光子晶体阵列 的椭圆对称(工!J 7°乂>卜U —)和偏振光成像」光应用技术专题讨论 会资料集SenSpec2006 —透明膜的形状"膜质测量的最近动向一 2006 年6月8日 9日精密工学会机械光子晶体学0力乂7才卜二夕7) 专门委员会 P. 45 — 52)。另外，与取得单色辉度图像的情况不同，为 了对像素进行彩色化，假定图案化后的偏振体301的偏振光透过反射的动 作主波长带，与前述的Blue层2501、 Green层2502、 Red层2503的波长 带的其中一色一致(合致)。
形成层状构造的彩色元件2501、 2502、 2503，能够采用使用了硅的波 长依存吸收特性的'F o v e o n元件，等而作成(R i c h a r d F. L yon and Paul M.Hubel:" Eyeing the Ca mera:Into the Next Century",IS&T/S ID Tenth Color Imaging Conference P P . 349 — 355， 2002)。
图28是表示图27的彩色偏振光图像摄像部2001 (图26)的图案化偏振体301中的子像素A、 B、 C、 D的排列例的俯视图。子像素A、 B、
C、 D，分别与偏振轴方向W=0° 、 45° 、 90° 、 135°的偏振体部分相 当。在图28，示出了规定正弦波的采样位置的角度和子像素A、 B、 C、 D的关系。该正弦波的辉度值，成为对在子像素A D中的前述的Blue 层2501、 Green层2502、 Red层2503的波长带域中与图案化偏振体301 的动作波长域一致的其中1色的辉度进行表示的值。
子像素A、 B、 C、 D中的偏振体，在按照图28的图案2601排列的 情况下，能够从由4个的子像素A、 B、 C、 D组成的像素单位的各自的 位置，取得4种不同的偏振光信息。为此，例如即使在位置2602，即使在 与此相邻接的位置2603，也能够取得不同的4种的偏振光信息，在各自的 位置中，能够构成由4种的子像素A、 B、 C、 D构成的l个的像素。因 此，能够利用将由4个的子像素A D构成的像素单位按照子像素单位移 动后的坐标(格子点)形成图像，因此存在偏振光图像的分辨率不降低的 优点。另外，彩色辉度通过对该子像素A， B、 C、 D中的偏振光观测所 得的辉度进行平均化而决定，但是这也同样能够一边按照子像素单位移动 一边进行处理，因此具有分辨率不降低的优点。
偏振轴不同的4个的子像素的辉度，分别与正弦曲线2604上的4点 中的抽样值相当，因此能够进行(式1)所示的近似。可是，根据本申请 发明者们的实验，可知在基于从子像素A D得到4点的信息对正弦函 数进行近似并决定最小值角度W的情况下，包含较多的噪声。为此，实 际希望进行更多的抽样。
图29示出了以增加抽样的点的方式进行改良后的彩色偏振光图像摄 像部2001 (图26)中的图案化偏振体301的平面图和正弦波的抽样位置 关系。
在图29的例中，将9种的偏振轴方向W=0° 、 20° 、 40° 、 60° 、 80° 、 100° 、 120° 、 140° 、 160°的各偏振体分别与子像素A、 B、 C、
D、 E、 F、 G、 H、 I附加对应。该正弦波的辉度值，表示子像素A I中的前述的Blue层2501、 Green层2502、 Red层2503的波长带域中， 与图案化偏振体301的动作波长域一致的其中1色的辉度。
若子像素A I的偏振体按照图案2701进行排列，则能够从像素单元位置2702取得9种不同的偏振光信息，同样能够从像素单元位置2703 取得9种不同的偏振光信息。如参照图28所说明的那样，能够得到使由9 个子像素构成的像素单元以子像素单位移动后的图像，因此偏振光图像的 分辨率不降低。在该例中，对于各像素单元，能够得到与9个不同的偏振 轴相对应的辉度信息，因此正弦曲线2604上的抽样点也增加到9个，近 似精度提高。另外，通过对该子图像A至I的偏振光观测后的辉度进行平 均化而进行决定彩色辉度，但是这同样也能够一边按照子像素单位进行移 动一边进行处理，因此存在分辨率不降低的优点。 (实施方式5)
图30是表示使用图25所示的图像格式而进行彩色图像的高分辨率化 的实施方式的方框图，示出了彩色图像高分辨率再现显示部3001的详细。
其后对摄像的图像放大到任意的大小的处理(了:7夕一X—^ y夕O， 在图像摄像后的各种编辑处理中是重要的。以往，能够通过插补处理等进 行后变焦(T7夕一X—^y夕0时的图像的高分辨率化。可是，根据这 种以往的方法，在对2X2倍以上的放大图像进行合成的情况下，存在放 大图像会模糊、画质劣化的问题。利用基于本发明的图像格式，能够实现 画质劣化较少、以及图像的高分辨率化。
被拍摄体信息分离为单色镜面反射图像2204和彩色扩散反射图像 2205，而输入。通常，在镜面反射图像中，由光源的反射引起的较细的形 状信息较为鲜明地显现，但是表面的纹理(亍夕7于卞)信息丢失。另一 方面，在扩散反射图像中，纹理信息变得鲜明，但是失去了由光的反射引 起的立体感。在本实施方式中，通过对单色镜面反射图像2204以及彩色 扩散反射图像2205这样的不同的2种图像信息分别进行处理，能够进行 更精细的高分辨率化处理。
单色镜面反射图像2204被输入到参数推定部2805，彩色扩散反射图 像2205，被输入到伪(擬似)反照率(7*《K)图像推定部2801。
伪反照率图像推定部2801，利用彩色扩散反射图像2205、光源信息 2202、表面法线图像2206，而对被拍摄体的伪反照率图像进行推定。伪反 照率图像，在将表面法线N和光源方向矢量L所形成的角度作为(L, N) 的情况下，是将彩色扩散反射图像2205除以cos (L， N)后的值。在绝对照度不明的情况下，伪反照率图像，视为将由被拍摄体形状引起的照度 差消除后的被拍摄体固有的反射率图像。
由伪反照率图像推定部2801得到的伪反照率图像，被提供到伪反照
率图像高分辨率化部2802。伪反照率图像，是反映(反映卞3)被拍摄体 固有的反射率特性的图像。因此，伪反照率图像，不依赖于实场景中的照 明等的变动。为此，能够使用与基于事前学习的被拍摄体的文本(图像的 纹理特征量)相关的数据库2803，而实现高分辨率化。对于使用文本(X 年7卜》的高分辨率化，记载于上村他「T e x t o n置換〖基d〈 图像的高解像度化手法」(基于T e x t o n置换的图像的高分辨率化方 法)映像信息^^V7学界誌(映像信息介质学术界杂志)Vol. 60， No. 10， pp. 1655 — 1657 (2006)。
扩散反射图像高分辨率化部2804，从由伪反照率图像高分辨率化部 2802得到的高分辨率伪反照率图像，对高分辨率彩色扩散反射图像进行逆 变换。具体来说，在伪反照率图像上乘算上述的c os (L， N)。 co s (L， N)，能够使用光源信息2202和后述的被拍摄体的高密度法线的 信息而进行求取。
接下来，对单色镜面反射图像2204的高分辨率化处理进行说明。 参数推定部2805，利用被拍摄体的法线信息以及镜面反射图像，对表 现被拍摄体的参数进行推定。在参数的推定中所使用的模型(模型)，例 如，能够使用Cook — Torrance模型、Torrance—S p a r r o w模型、Phong模型，简易Torrance—Spar r o w模型。这些模型，例如，记载于「K.Ikeuchi and K.Sato， "Determining reflectance properties of an object using rang e and brightness images",IEEE Tra nsactions on Pattern Analysis and Machine Intelligence,vol. 13，no. 11， p p. 1139 — 1153， 1991」。另外，参数的推定方法，不限于上述的方法， 例如，也可以使用梯度法(勾配法)、最小自乘法(最小自乗法)等那样 的一般的参数推定方法。
39在使用上述的C o o k — T o r r a n c e模型的情况下，参数为折 射率n、粗糙度系数m、作为照度和镜面反射比率的积的E i K s这三种。 这些参数，在彩色的情况下，能够分别针对Red、 Green、 Blue而求取， 但是这里由于使用单色镜面反射图像2204，因此基本上使用1种的参数。
为了进行彩色化，也可以通过使用镜面反射峰值色度信息2203，并在 单色镜面反射图像上乘以彩色比率，而生成Red、 Green、 Blue版面(版)。
法线信息高密化部2806，基于从法线数据库2807得到的W，图像以 及e '图像而对高密度的法线信息进行推定。具体来说，利用与在上述的 伪反照率图像高分辨率化部2802中进行的高分辨率图像化相同的手法， 能够对W'图像以及9'图像进行高分辨率化。在进行高密度度化处理
前进行学习处理，并将针对法线的， e，)成分的学习结果存储于 法线数据库2807。另外，该处理，能够不使用学习，而利用(w' ， e ，)
空间内的插补而进行。这样的插补，在具有平滑的形状的被拍摄体中特别有效。
镜面反射图像高分辨率化部2808，基于高密度化后的法线图像，进行 透视(1/乂夕、'yy7、)，并合成高分辨率的镜面反射图像。在透视中，能 够使用上述的参数推定中所使用的模型，即Cook — Torrance 模型、Torrance — Sparro w模型、Phong模型、简易 Torrance — Sparro w模型。
透视部2809对高分辨率化后的彩色扩散反射图像和彩色镜面反射图 像进行合成，而生成彩色高分辨率化图像。
在本实施方式中，使用基于表面法线图像而对伪反照率图像和镜面反 射图像进行合成的方法，但是本发明不限于这种的情况。如通常的计算机 图形学处理那样，也可以通过在表面法线图像上实施纹理映射(于夕7于 卞7、;/匕。y^)处理而对图像进行合成。该情况下，也可以在从输入图像 提取彩色扩散反射图像或伪反照率图像的阶段，从数据库探索对应的高分 辨率纹理(亍夕7于卞)，而对最佳的纹理进行映射。
另外，在本实施方式中，以彩色再现为例进行了说明，但是本发明也 包含单色图像再现的高分辨率化。在该情况下，不需要镜面反射图像的彩 色化所必需的镜面反射峰值色度信息2203。并且，彩色扩散反射图像2205
40当然也可以是单色扩散反射图像。 (实施方式6)
图33是基于本发明的图像处理系统的概念图。
所图示的图像处理系统，备有用于取得偏振光图像的摄像部；对由 该摄像部取得的多个的图像进行处理的彩色偏振光视景照相机2301;使用
彩色偏振光视景照相机所输出的图像格式2201而对被拍摄体的镜面反射
图像和该被拍摄体的扩散反射图像进行处理并合成、再现的彩色图像高分
辨率再现部3001以及显示器3301。
关于上述构成要素的各个的详细，已经叙述，因此这里省略说明重复。 根据这种的发明的图像处理系统，能够基于被拍摄体的偏振光图像，得到 高画质的合成图像。
产业上的利用可能性
本发明的图像输入方法以及装置中，若被拍摄体的折射率数据是己知 的，则能够使用偏振光信息利用完全被动(八。:y、乂:/)的方法取得一般的 环境场景中的被拍摄体的形状、摄影场景中的光源信息。为此，能够适用 于各种数字静物照相机、数字视频照相机、监视照相机等。
另夕卜，在今后的照相机的小型化之际，假想为图像辉度信息不足，但 是根据本发明的图像输入方法以及装置，能够利用高分辨率化处理而进行 信息量的赋予。
权利要求
1、一种图像处理系统，其特征在于，备有摄像部，其用于取得偏振光图像；图像处理部，其对由所述摄像部所取得的多个偏振光图像进行处理，并生成将被拍摄体的镜面反射图像和扩散反射图像、所述被拍摄体的各像素位置中的表面法线信息、以及在所述被拍摄体的位置所观测的光源信息作为数据而备有的图像格式；和图像高分辨率再现部，其使用所述图像格式，对所述被拍摄体的镜面反射图像以及扩散反射图像进行处理，并对镜面反射图像以及扩散反射图像进行合成而再现。
2、 根据权利要求l所述的图像处理系统，其特征在于， 所述图像处理部通过执行如下步骤而基于所述偏振光图像，对所述被拍摄体的表面形状进行推定即将所述偏振光图像分割为包含镜面反射区域以及扩散反射区域的多 个反射特性区域的步骤；取得与所述被拍摄体的折射率相关的信息的步骤；基于从所述偏振光图像得到的所述扩散反射区域的偏振光信息，对所 述扩散反射区域的表面法线进行推定的第1法线推定步骤；基于从所述偏振光图像得到的所述镜面反射区域的偏振光信息，对所 述镜面反射区域的表面法线进行推定的第2法线推定步骤；以及通过对由所述第1法线推定步骤和所述第2法线推定步骤中所求取的 表面法线的连续性进行评价而排除表面法线的不确定性的步骤。
3、 根据权利要求l所述的图像处理系统，其特征在于， 所述摄像部，执行取得所述偏振光图像的摄像步骤， 所述摄像步骤中，包含如下步骤即在将对包含连结摄像视点和所述被拍摄体上的观察点的直线以及所 述观察点中的表面法线这双方的平面进行规定的角度、即所述平面关于所 述直线的旋转角度设为W，并且将所述平面内所述表面法线和所述直线之间所形成的角度设为e的情况下，将相对于由角度W规定的所述平面平行而偏振的光的偏振强度，针 对不同的多个角度w进行测量。
4、 一种图像处理方法，基于偏振光图像对被拍摄体的表面形状进行 推定，其特征在于，包含将所述偏振光图像分割为包含镜面反射区域以及扩散反射区域的多 个反射特性区域的步骤；取得与所述被拍摄体的折射率相关的信息的步骤；基于从所述偏振光图像得到的所述扩散反射区域的偏振光信息，对所 述扩散反射区域的表面法线进行推定的第1法线推定步骤；基于从所述偏振光图像得到的所述镜面反射区域的偏振光信息，对所 述镜面反射区域的表面法线进行推定的第2法线推定步骤；通过对在所述第1法线推定步骤和所述第2法线推定步骤中求取的表 面法线的连续性进行评价，而对表面法线的不确定性进行排除的步骤，并且包含基于偏振光强度对角度W的依存性，而用正弦波对与所 述被拍摄体上的观察点相对应的像素的偏振光辉度进行近似，而决定I (W)的步骤。
5、 根据权利要求4所述的图像处理方法，其特征在于， 对与所述被拍摄体的某像素对应的偏振光辉度I (W)的平均辉度进行求取，在所述平均辉度比阈值高的情况下，将该像素分配为镜面反射区域。
6、 根据权利要求4所述的图像处理方法，其特征在于， 还包含将从所述镜面反射区域得到的偏振光辉度分离为镜面反射成分和扩散反射成分的步骤。
7、 根据权利要求4所述的图像处理方法，其特征在于， 在所述第l法线推定步骤中，通过对使用菲涅耳反射系数的垂直成分以及平行成分的比率进行计 算，而决定所述扩散反射区域的扩散光的出射面中的出射角。
8、 根据权利要求7所述的图像处理方法，其特征在于，在所述第2法线推定步骤中，通过对使用菲涅耳反射系数的垂直成分以及平行成分的比率进行计 算，而决定所述镜面反射区域的光源光的入射面中的入射角。
9、根据权利要求8所述的图像处理方法，其特征在于，还包含在包含于所述扩散反射区域的第1部分和包含于所述镜面反射区域的 第2部分相近接的情况下，对表面法线进行更新以使所述第1部分中的表面法线和所述2部分中的表面法线的差异縮小的步骤。
10、 根据权利要求4所述的图像处理方法，其特征在于，还包含基于对所述偏振光图像进行摄像时的摄像视点和所述镜面反射区域 的表面法线之间存在的几何学的关系，对光源的角度进行推定的步骤。
11、 根据权利要求4所述的图像处理方法，其特征在于，基于分离比的设定值，将从所述镜面反射区域得到的摄像图像的辉 度，分离为镜面反射辉度成分和扩散反射辉度成分。
12、 根据权利要求ll所述的图像处理方法，其特征在于，按照在所述镜面反射区域和所述扩散反射区域的边界附近，针对所述 镜面反射区域内的扩散反射成分以及所述扩散反射区域内的扩散反射成 分提高图像辉度的空间连续性的方式，决定所述分离比。
13、 根据权利要求12所述的图像处理方法，其特征在于， 以提高彩色图像上的色信号的空间的连续性的方式决定扩散反射成分。
14、 根据权利要求4所述的图像处理方法，其特征在于， 在将所述偏振光图像分割为所述多个反射特性区域的步骤中，使用所述被拍摄体的偏振光辉度的变动量和平均辉度值而进行分割。
15、 一种图像处理装置，是基于偏振光图像而取得表示被拍摄体的表 面形状的信息的图像处理装置，其特征在于，包括将所述偏振光图像分割为包含镜面反射区域以及扩散反射区域的多个反射特性区域的反射区域分割部；取得与所述被拍摄体的折射率相关的信息的折射率信息取得部；基于从所述偏振光图像得到的所述扩散反射区域的偏振光信息，对所 述扩散反射区域的表面法线进行推定的第1法线推定部；基于从所述偏振光图像得到的所述镜面反射区域的偏振光信息，对所 述镜面反射区域的表面法线进行推定的第2法线推定部；和基于所推定的所述扩散反射区域的表面法线，而对所述镜面反射区域 的表面法线进行校正的法线更新部。
16、 根据权利要求15所述的图像处理方法，其特征在于， 备有用于生成所述偏振光图像的摄像部，所述摄像部，备有图案化偏振体，所述图案化偏振体有规则地排列有 偏振轴朝向至少3个不同方向的、多个的偏振体单位。
17、 根据权利要求16所述的图像处理方法，其特征在于， 所述图案化偏振体包含偏振轴的朝向相互不同的9个偏振体单位。
18、 根据权利要求17所述的图像处理方法，其特征在于， 所述摄像部，具有与所述图案化偏振体中的多个的偏振体单位对应的多个子像素，利用从所述多个的子像素选择的子像素组形成像素单位。
19、 一种图像处理装置，其特征在于， 具备取得被拍摄体的反射光的彩色信息和偏振光信息这两方的摄像部； 使用所述彩色信息而在图像上分割为包含镜面反射区域以及扩散反射区域的多个反射特性区域的反射区域分割部，以在所述多个反射特性区域之间提高从各彩色信息得到的形状信息的匹配性的方式决定被拍摄体的表面法线信息。
20、 一种图像处理系统，其特征在于， 备有权利要求15中所记载的图像处理装置；向所述图像处理装置中的折射率信息取得部提供与被拍摄体的折射 率相关的信息的模块；以及从所述图像处理装置取得由所述图像处理装置决定的被拍摄体的表 面法线信息并存储的存储介质。
21、 根据权利要求20所述的图像处理系统，其特征在于， 所述图像处理装置内置于照相机。
22、 一种图像格式，是用于对从摄像照相机取得的图像进行存储的格 式，其特征在于，具有被拍摄体的镜面反射图像； 扩散反射图像；所述被拍摄体的各像素位置中的表面法线信息； 由被拍摄体位置观测的光源信息。
全文摘要
本发明公开一种图像处理系统、方法、装置、以及图像格式，其中对偏振光图像进行摄像并对辉度变动进行正弦函数近似后，在反射区域分离步骤(S402)中将被拍摄体空间分离为镜面反射(S)区域和扩散反射(D区)域。并通过在步骤(S405)中输入被拍摄体折射率信息，而在步骤(S406)以及步骤(S407)中，分别以相异的方法取得表面法线。最后，在步骤S410、步骤S411，在S区域以及D区域的边界附近取得两表面法线的匹配性。
文档编号G01B11/24GK101558282SQ200880001069
公开日2009年10月14日 申请日期2008年2月8日 优先权日2007年2月13日
发明者佐藤智, 金森克洋 申请人:松下电器产业株式会社