专利名称：图像处理装置以及图像处理方法
技术领域：
本发明涉及进行与被摄物的图像有关的处理的装置，尤其涉及进行与 影子有关的处理的装置。
背景技术：
近些年，利用影子("影"shadow)的图像处理方法不断被推广。例 如，在非专利文献1中提出了一种利用来自己知形状的被摄物的"影"也就是 利用被摄物的投影(cast shadow)的明暗分布来推定实际照明光源分布的方 法。该方法是由光源和被摄物以及影子的关系在几何学上和光学上被模型 化而得来的。通过将此想法利用于已知光源信息的环境中，从而可以根据 影子来推定被摄物的三维形状。
并且，在图像处理中也采用了影子的校正处理，即，在摄影图像的一 部分由于逆光或影子的影响而亮度降低的情况下，通过仅对影子这一区域 的亮度进行校正，来表现美丽的图像。
在此，"影子"是指立体物体被光照射时产生的"影(shadow)"，包括"阴 影(attached shadow)"和"投影(cast shadow)"。"阴影"是指因受光方式的不 同，而立体的被摄物本身所产生的"影"，"投影"是指由于立体的被摄物本身 将光遮住，而在其他的平面或其他的立体物体上产生的"影"。
由于非专利文献l中的方法是仅利用投影区域来推定光源分布的，而 当在将阴影区域判断为投影区域进行处理的情况下，则不能正确地推定光 源的分布。
并且，在进行影子校正处理的情况下，由于阴影区域是使被摄物产生 立体感的要素，因此所希望的是仅对投影区域进行校正，而不对阴影区域 进行处理。
为此，将影子区域分类为阴影区域和投影区域是非常重要的。 为了将影子区域分类为阴影区域和投影区域，在非专利文献2中，利
8用受到了各种方向的光源照射的被摄物的图像，合成不产生镜面反射的理 想状态的图像的线性化图像，并利用该线性化图像来对影子区域进行分类。 非专利文献l佐藤^主。、佐藤洋一、池内克史共著"物体O陰影 (二基力'<光源環境推定(根据物体的影子来推定光源环境)"，情報処理学 会論文誌- >匕。- 一夕匕'- 3 > t < 乂 一 、7' 乂于W T (信息处理学会论
文杂志计算机视觉和图像媒体)，VoL41，No.SIG10 (CVIMl)，pp.31-40，2000
非专利文献2石井育规、福井孝太郎、向川康博、尺长健"光学現象
O分類(基，'〈画像O線形化(根据光学现象分类的图像的线性化)"，情 报处理学会论文志- >匕'- 一夕K' '7' 3 > i 4 乂 一 ^ j于W 7 (信息处
理学会论文杂志计算机视觉和图像媒体)， Vol.44,No.SIG5(CV腦)，pp.ll-21，2003
然而，在上述非专利文献2中，由于需要受到各种方向的光源照射的 被摄物的图像，因此造成使装置的规模变大的问题。并且，能够进行影子 分类的影子仅为由移动光源产生的影子，而对于由不改变位置的光源产生 的影子则不能进行分类。为此，对于室外由太阳光产生的影子或室内照明 所利用的日光灯产生的影子区域就不能分类。
发明内容
因此，本发明的目的在于提供一种图像处理装置，其可以在一般的环 境中，不需要诸如使光源变动的大规模的系统，就能够从如拍摄快照这样 拍摄下来的图像中抽出阴影区域和投影区域。
为了达成上述的目的，涉及本发明的图像处理装置，该图像处理装置，
进行与被摄物的图像中的影子有关的处理，其中包括图像信息取得部， 取得与被摄物图像有关的包含亮度信息以及偏振光信息的信息，所述亮度 信息是指与来自所述被摄物的光的亮度有关的信息，所述偏振光信息是指
与来自所述被摄物的光的偏振光有关的信息；影子区域抽出部，根据在所
述图像信息取得部取得的亮度信息以及偏振光信息，从所述被摄物图像中 抽出阴影区域以及投影区域，所述阴影区域是指因光的照射方式而在被摄 物的表面产生的区域，所述投影区域是指因被摄物本身将光遮住而在其他
9的物体上产生的区域；以及输出部，输出确定在所述影子区域抽出部抽出 的阴影区域以及投影区域的信息。
更具体而言，在本发明着眼于阴影区域和投影区域的偏振光特性的不 同。在本发明通过关注作为偏振光信息的偏振度和偏振光推定误差等偏振 光特性的不同，从而抽出阴影区域和投影区域。并且，由于要想将黑色的 被摄物与影子分离是困难的，因此在本发明中，针对包含了影子区域和低 反射率区域的低亮度区域进行区域抽出。据此，通过利用偏振光信息，从 而可以针对包含影子区域的低亮度区域简单地抽出阴影区域以及投影区 域。
并且，本发明不仅可以作为图像处理装置来实现，也可以作为图像处 理方法来实现，还可以作为使计算机执行该方法中所包含的步骤的程序来 实现，还可以作为记录这些程序的DVD等计算机可读取的记录介质来实 现。
根据本发明，可以通过利用被摄物的偏振光信息来抽出阴影区域以及 投影区域。据此，可以在一般的环境中，不需要诸如使光源变动的大规模 的系统，就能够从如拍摄快照这样拍摄下来的图像中抽出阴影区域和投影 区域。
因此，通过本发明可以简单地抽出被摄物的阴影区域和投影区域，由 此可以使图像变得更清晰，尤其在因光学系统或摄像元件的小型化而带来 图像清晰度问题的带照相机的移动电话、数码相机、数码摄影机等移动型 摄像装置普及的今天，具有非常高的实用意义。
图1是本发明的实施例1中的光学系统上的区域划分装置的功能构成 方框图。
图2是搭载了本发明的实施例1、 2 、 4中的光学系统上的区域划分 装置的摄像机的构成图。
图3是示出图2所示的摄像机所具备的图案偏振器和摄像元件之间关 系的模式图。
图4是本发明的实施例1中的光学系统上的区域划分装置所进行的处
10理的流程图。
图5是用于说明图2所示的摄像机所具备的图案偏振器的排列状态的 模式图。
图6是用于说明正弦函数亮度变化和观测亮度点的模式图。 图7(a)示出了球体的被摄物，即示出了塑料球，(b) (d)分别示出了以
偏振度p、偏振光相位cp、偏振光推定误差E拍摄该被摄物时的图像。 图8(a) (d)分别是对图7(a) 图7(d)的浓淡明了化后的模式图。 图9中的图表示出了对于被摄物的折射率11=1.1， 1.3， 1.5， 2.0时的
镜面反射成分的入射角的偏振度。
图10中的图表示出了对于被摄物的折射率11=1.1， 1.3， 1.5， 2.0时的
漫反射成分的射出角的偏振度。
图11是用于说明被分类为阴影区域和投影区域的影子区域的模式图。
图12是用于说明阴影区域中的多次反射光的入射的模式图。
图13是用于说明投影区域中的多次反射光的入射的模式图。
图14是本发明的实施例1中的区域划分部的详细构成的功能方框图。
图15是本发明的实施例1中的区域划分部的处理流程图。
图16(a)、 (b)、 (c)示出了通过本发明的实施例l中的区域划分部，在
光学上的区域划分结果。
图17是本发明的实施例1中的漫反射镜面反射分类处理的流程图。 图18示出了通过本发明的实施例1中的区域划分部的区域划分的具体例子。
图19示出了由区域划分部进行区域划分时的判断基准的具体例子。 图20是本发明的实施例1的变形例所涉及的区域划分部的功能构成方 框图。
图21是图20所示的区域划分部进行漫反射镜面反射分类处理的流程图。
图22是本发明的实施例1的变形例所涉及的区域划分部的功能构成方 框图。
图23是图22所示的区域划分部进行的处理的流程图。 图24是本发明的实施例1的变形例所涉及的区域划分部的功能构成方
ii框图。
图25是图24所示的区域划分部进行的处理的流程图。 图26是在本发明所涉及的图像处理装置中附加了法线信息生成部的装
置的功能构成方框图。
图27是图26所示的光学上的区域划分装置以及法线信息生成部进行
的处理的流程图。
图28是图26所示的法线信息生成部的详细构成方框图。 图29是图26所示的法线信息生成部进行的处理的流程图。 图30是利用了闪光设备的实施例1的变形例中的光学上的区域划分装
置的功能构成方框图。
图31是图30所示的光学上的区域划分装置进行影子检测处理的流程图。
图32是本发明的实施例2所涉及的光学上的区域划分装置的功能构成 方框图。
图33是本发明的实施例2所涉及的光学上的区域划分装置以及法线信 息生成部进行的处理的流程图。
图34是本发明的实施例2中的区域划分部的详细的功能构成方框图。 图35是本发明的实施例2中的区域划分部进行的处理的流程图。 图36是本发明的实施例2中的法线信息生成部进行的处理流程图。 图37是本发明的实施例3中的光学上的区域划分装置的功能构成方框图。
图38是本发明的实施例3中的摄像条件判定部的详细的功能构成方框图。
图39示出了搭载了本发明的实施例3中的光学上的区域划分装置的摄 像机的一个例子。
图40是本发明的实施例3中的光学上的区域划分装置以及法线信息生
成部进行的处理的流程图。
图41是本发明的实施例3中的法线信息生成部进行的处理的流程图。 图42示出了搭载了利用了声纳的本发明实施例3的变形例中的光学上
的区域划分装置的摄像机的构成例子。
12图43是本发明的实施例3中的摄像条件判定部的详细的功能构成方框图。
图44是图42所示的光学上的区域划分装置以及法线信息生成部进行 的处理的流程图。
图45是本发明的实施例4中的光学上的区域划分装置的功能构成方框图。
图46是本发明的实施例4中的光学上的区域划分装置以及法线信息生 成部进行的处理的流程图。
图47是本发明的实施例4中的摄像条件判定部的详细的功能构成方框图。
图48是利用被摄物的形状信息来评价光学上的区域划分结果的可靠性 的本发明变形例所涉及的光学上的区域划分装置的功能构成方框图。
图49是具备图48所示的光学上的区域划分装置的可靠性判定部的详 细的功能构成方框图。
图50示出了搭载了图48所示的光学上的区域划分装置的摄像机的硬 件构成的例子。
图51是图48所示的光学上的区域划分装置进行的光学上的区域划分 处理的流程图。
图52是用于说明摄像机坐标系中的法向矢量的图。
图53(a)、(b)示出了内藏有本发明所涉及的图像处理装置的应用制品的 例子。
图54是本发明的变形例所涉及的光学上的区域划分装置进行的影子检 测处理的流程图。
图55(a)是被摄物的油画图像，(b)示出了与(a)所示出的图像相对应的 偏振度p (偏振信息)。
图56示出了由该光学上的区域划分装置抽出的投影区域。 符号说明
100、 100 a 100e光学上的区域划分装置 101偏振光图像撮像部 102偏振光信息生成部
13103、 103a 103c、 1031 区域划分部
104、 1041法线信息生成部 105发光部
106、 106 a 撮像条件判定部
107、 107 a 可靠性判定部 110图像信息取得部
120影子区域抽出部 130输出部
200、 200a 200c摄像机 201图案偏振器 202摄像元件 203存储器
204 CPU (中央处理单元)
205角度感应器
206撮像单位
207发光装置
208表示部
209扬声器
210 声纳
211形状信息生成部
301影子区域检测部
302数据库(DB)
303偏振度比较部
304偏振光推定误差比较部
305区域判断部
306蓄积部
307区域参照部
308漫反射假定法线信息生成部
309镜面反射假定法线信息生成部
310亮度比较部
14311低亮度像素检测部 312光轴方向检测部 313光轴方向比较部 314阴影区域存在判断部 315撮像环境检测部 316撮像环境识别部 317法线信息生成部 318相位信息比较部
具体实施例方式
以下，参照附图对本发明的实施例进行说明。并且，在本实施例中， 以光学上的区域划分装置作为本发明所涉及的图像处理装置的一个例子来 说明。
(实施例1 )
首先，对本发明的实施例l中的光学上的区域划分装置的概要进行说明。
图1是本实施例中的光学上的区域划分装置100的功能构成方框图。 该光学上的区域划分装置100是进行与被摄物的图像中的影子有关的处理
的图像处理装置，在此为通过对被摄物进行摄像，而对被摄物的表面进行
光学上的区域划分的装置，其中包括图像信息取得部iio、影子区域抽出
部120以及输出部130。
图像信息取得部no是取得与被摄物图像相关的信息的处理部，具有 偏振光图像摄像部101以及偏振光信息生成部102，所述与被摄物图像相
关的信息包括亮度信息和偏振光信息，所述亮度信息是指与来自被摄物的 光的亮度有关的信息，所述偏振光信息是指与来自被摄物的光的偏振有关
的信息。并且，该图像信息取得部110按照每个构成被摄物图像的单位图
像，取得亮度信息以及偏振光信息。
图像信息取得部110中的偏振光图像摄像部101是通过接受透过多个
偏振器的光，来取得被摄物的偏振光图像的处理部，所述多个偏振器的偏 振光主轴角度各不相同。
15图像信息取得部110中的偏振光信息生成部102是一处理部，其根据 由偏振光图像摄像部101取得的偏振光图像，利用多个偏振器的偏振光主 轴角度和透过多个偏振器的光的亮度的对应关系，针对构成所述偏振光图 像的各个图像区域生成偏振光信息，该偏振光信息是与接受的偏振光有关 的信息。
影子区域抽出部120是一处理部，其根据在图像信息取得部110取得 的亮度信息以及偏振光信息，按照每个单位图像，从被摄物图像中抽出阴 影区域以及投影区域，所述阴影区域是指因接受光的各种照射方式而在被 摄物表面产生的"影"的区域，所述投影区域是指因被摄物本身将光遮挡住而 在其他的物体上产生的"影"的区域，并且，在本实施例中，作为一个例子示 出了影子区域抽出部120具有进行区域划分的区域划分部103。
影子区域抽出部120中的区域划分部103是一处理部，其利用偏振光 图像的亮度信息和在偏振光信息生成部102生成的偏振光信息的类似性 (共通性)，将偏振光图像划分为由在光学上共通的图像区域的集合构成的 多个区域。此时，区域划分部103对图像区域的亮度和预先规定的阈值进 行比较，在亮度比阈值小的情况下，对该图像区域进行区域划分，划分为 包含影子区域(阴影区域以及投影区域)的低亮度区域(在本实施例中为 影子区域)。
并且，该区域划分部103虽然对图像(在此为偏振光图像)进行区域 划分，但是在本发明中作为影子区域抽出部的工作并非受区域划分所限， 也可以是区域抽出(即，确定图像的一部分区域的处理)。也就是说，在本 说明书中，为了便于对发明的理解，仅以区域抽出作为一个例子，对将图 像的全部区域划分为包含阴影区域和投影区域的多个种类的区域中的某一 个的区域划分进行说明，不过，作为本发明所涉及的图像处理装置并非限 于这种区域划分，也可以是对图像的一部分区域进行确定的区域抽出。因 此，在本说明书中的"区域划分(区域的划分)"也可以称为"区域抽出(区 域的抽出)"。并且，在本说明书中"区域检测(区域的检测)"与"区域抽出 (区域的抽出)"具有相同的意义。
输出部130是输出用于确定在影子区域抽出部120抽出的阴影区域以 及投影区域的信息的处理部，具有标识符附加部131以及影子区域输出部
16132。
在输出部130中的标识符附加部131针对构成在影子区域抽出部120 抽出的阴影区域以及投影区域的单位图像，分别附加表示阴影区域以及投 影区域的标识符，并输出附加的标识符。
输出部130中的影子区域输出部132输出被摄物图像中的阴影区域和 投影区域所分别对应的部分(图像)，以作为确定在影子区域抽出部120抽 出的阴影区域和影子区域的信息。
图2示出了搭载了本实施例中的光学上的区域划分装置100的摄像机 200的硬件构成的例子。图3是示出图2所示的图案偏振器201和摄像元 件202之间的关系的模式图。此摄像机200是具有对摄像图像进行光学上 区域划分功能的摄像装置，其包括图案偏振器201、摄像元件202、存储 器203、 CPU204以及发光装置207。
如图3所示，图案偏振器201是将偏光主轴角度^Pi二0。、 45°、 90°、 135。的四种偏振器编为一组，并排列成二维状的偏振器的集合。
如图3所示，摄像元件202是接受透过构成图案偏振器201的各个偏 振器的光的被排列成二维状的像素(受光元件)的集合，并且最好是被设 置成与摄像元件202的摄像面平行。并且，图案偏振器201中的四个(四 种)偏振器和摄像元件202中对应的四个像素(受光元件)构成摄像单位 206。通过此摄像单位206而得到的图像为偏振光信息生成部102以及区 域划分部103中的各个处理的单位("单位图像")。即，光学上的区域划分 装置100按照各个依据摄像单位206得到的单位图像(以下也称为"像素")， 进行偏振光信息的生成以及区域划分。
存储器203包括作为CPU204的工作区域的RAM以及存储程序等的 ROM。
CPU204是执行被存储在存储器203中的程序，并访问存储器203、 控制摄像元件202以及发光装置207的处理器。 发光装置207是照射被摄物的闪光设备。
并且，图1所示的偏振光图像摄像部101是由图2所示的图案偏振器 201以及摄像元件202实现的。图1所示的偏振光信息生成部102以及区 域划分部103是由图2所示的CPU204执行在存储器203中存储的程序来
17实现的。并且，存储器203也被作为存储由偏振光图像摄像部101取得的 偏振光图像、由偏振光信息生成部102生成的偏振光信息、以及临时产生 的各种参数等的工作区域来使用。
图4是本实施例中的光学上的区域划分装置100进行的处理的流程图。 首先，偏振光图像摄像部101通过图案偏振器201，以摄像元件拍摄被摄 物，从而摄像包含偏振光信息的偏振光图像(SIOI)。偏振光信息生成部 102利用在偏振光图像摄像部101拍摄的偏振光图像的亮度变化，生成偏 振光信息(S102)。区域划分部103利用在偏振光信息生成部102生成的 偏振光信息或在偏振光图像摄像部101取得的亮度信息，将图像划分为漫 反射区域、镜面反射区域以及低亮度区域(在本实施例中为阴影区域以及 投影区域)(S103)。
以下，对本实施例中的光学上的区域划分装置100的各个构成要素的 详细功能进行说明。
首先，对偏振光图像摄像部101的详细功能进行说明。偏振光图像摄 像部101使来自被摄物的光通过图案偏振器201在摄像元件202受光，从 而取得包含偏振光信息的偏振光图像。图5是从入射光方向看到的图3所 示的摄像单位206的模式图。在该图中各个偏振器(各个像素)中的直线 表示被设置在各个像素上的微小起偏板的偏振光主轴方向。即，此摄像单 位206是具有偏振光光轴的回转角为0^=0°、 45°、 90°、 135°)的四种偏振 光方向的像素。图案偏振器示出了使TM波透过、使TE波反射(不透过) 的偏振特性。
这种特性例如可以利用非专利文献3所记载的光子晶体作成(非专利 文献3 :『川岛、佐藤、川上、长岛、太田、青木、共著"八。夕一>化偏光 子奮用^t偏光^ 乂一">夕'7"、<》i利用技術o開発(利用图案化偏 振器的偏振光成像装置和利用技术的开发)"，電子情報通信学会2006年 総合全国大会(电子信息通信学会2006年综合全国大会)，No.D— 11一52， P52， 2006)。在光子晶体的情况下，在表面形成的沟槽，具有平行振动面 的光成为TE波，具有垂直振动面的光成为TM波。
在摄影该偏振光信息时，亮度的动态范围和位(bit)数最好是尽量大 (例如16位)。
18以下，对偏振光信息生成部102的详细功能进行说明。偏振光信息生 成部102是利用在偏振光图像摄像部101取得的偏振光图像来生成偏振光 信息的处理部。
透过偏振器的亮度是根据偏振器的偏振光主轴角度而发生变化的。图6 示出了透过不同的偏振光主轴角度为Wi=0°、 45°、 90°、 135。的四种偏振 器的亮度401、 402、 403、 404形成的一条正弦函数曲线。艮卩，该正弦函 数曲线示出了图5中的点501的偏振光特性。并且，偏振光主轴角度在O。 和108° (ii)是相同的。并且，在求此正弦函数曲线时，最好是使用摄影 伽马=1的摄像机，或通过校正线性来校正成摄影伽马=1。这四个点正好 被描画在一条正弦函数曲线上，其实，作为由多个观测点构成180度周期 的正弦函数的最佳值，最好是以一条正弦函数曲线来表示。
此偏振光信息生成部102生成此曲线的振幅和相位信息以作为偏振光 信息。具体而言，针对图案偏振器201的主轴角w的反射光亮度I如以下 这样近似。
/(^) = Isin2(y — B) + C (公式i )
在此，如图6所示，公式1中的A、 B、 C为常数，分别表示通过偏振
器的亮度的变动曲线的振幅、相位、平均值。不过，公式l可以如下展开。
/(y) = a sin+ 6 cos+ C
(公式2 )
另外，
爿=Va2 sin(,=T1LT C0S(-2丑)="
(公式3)
2
UJ (公式4) 艮P，在四个像素的采样(iyi 、 I i )中，只要求出使以下公式5成为 最小的A、 B、 C，就可以实现正弦函数(公式l )近似。不过，I i表示 起偏板回转角W i时的观测亮度。并且，N为采样数，在此为4。
19<formula>formula see original document page 20</formula>
'° (公式5) 通过以上的处理，确定正弦函数近似的A、 B、 C这三个参数。 利用这样求出的参数，偏振光信息生成部102生成以下所示的某个或 多个，以作为偏振光信息。 '偏振度p
/ _/ 爿 ^
p = i maxJ min — 二 "
(公式6 )
-偏振光相位<p(0°^^180°)
4
(公式7)
-偏振光推定误差E
w—i
, =0
(公式8)
在此，偏振度是表示光偏振了多少的指标，偏振光相位是指依存于偏 振光主轴角度并变化的亮度成为最大的角度，偏振光推定误差是指观测四 个像素的采样的亮度和通过近似而得到的由上述的正弦函数决定的亮度的 差的合计。
图7是将拍摄作为球体的塑料球的被摄物时的偏振度p、偏振光相位cp 以及偏振光推定误差E作为图像来表示的图。在该图中，图7(a)是作为被 摄物的塑料球的图像，图7(b)示出了针对图7(a)的被摄物的偏振度p，图 7(c)示出了针对图7(a)的被摄物的偏振光相位cp (0°为黑，180°为白)，图 7(d)示出了针对7(a)的被摄物的偏振光推定误差E。并且，图8是图7中 各个图的模式图(使浓淡明了化的图)。不论在图7还是在图8中，亮度高 的值就大，在球的被遮挡边缘附近偏振度大，在没有被被摄物的投影覆盖 的区域，偏振光相位以180。周期在球体的周围逆时针单调增加。此偏振光
20相位是成为回转并发生了变化的亮度的最大值的角度，也是被摄物漫反射 时的射出面的信息。
以下，对区域划分部103的详细功能进行说明。区域划分部103利用 在偏振光信息生成部102生成的偏振光信息和在偏振光图像摄像部101取 得的亮度信息，将图像划分为漫反射区域、镜面反射区域、阴影区域以及 投影区域。
在此，对漫反射和镜面反射进行说明。被摄物表面的反射特性是以作 为"光亮"的镜面反射成分和作为无光泽的反射成分的漫反射成分的和来表 现的。漫反射成分是不论照射被摄物的光源在哪个方向上都能够观测到的 成分，镜面反射成分是对于被摄物的法线方向和视线方向，几乎只有在光 源存在与正反射方向上时才能观测到的对方向依存性强的成分。在偏振光 特性中也是如此。
在被摄物是「光亮」的产生镜面反射的物体的情况下，当光从各个方 向照射时，被摄物会受到很强的来自作为正反射成分的镜面反射的影响(例 如，关于透明物体可参照非专利文献4 :齐藤灼〈"办、佐藤洋一、池内克 史、柏木宽，""^ ， <卜o偏光解析^ i i d <透明物体o表面形状測定 (根据光亮的偏振光分析的透明物体的表面形状测定)"電子情報通信学会 論文誌(电子信息通信学会论文杂志)D—II， Vol.J82—D—II， No.9， pp,1383—1390， 1999)。
图9和图lO的图表分别示出了被摄物的折射率为n-l.l、 1.3、 1.5、 2.0时的镜面反射成分以及漫反射成分的偏振度(例如，参照非专利文献 5 : "L. B. Wolff and T. E. Boult， "Constraining object features using a polarization reflectance model" 、 IEEE Transactions on Pattern Analysis and Machine Intelligence、 Vol.l3， No.7， pp.635 — 657, 1991")。在此，图9的横轴表示入射角，纵轴表示偏振度。并且，图10的 横轴表示射出角，纵轴表示偏振度。通过这些图可知，光在从各个方向入 射的情况下，与漫反射成分相比，镜面反射成分的偏振度高。据此，对于 偏振光特性而言，也可以推测出是镜面反射成分占优势。这在射出角接近 90。和遮挡边缘等除外的情况也适用。
以下，对阴影区域和投影区域进行说明。图ll是用于说明阴影区域和
21投影区域(影子区域的分类)的模式图。在此示出了，在某一个面1002上 放置有一个球状物体的被摄物1001，并且该被摄物1001由光源1003照 射。在该图中，区域1004和区域1005均表示影子区域。区域1004是由 于被摄物1001的法线没有朝向光源1003而产生的"阴影区域"，区域1005 是由作为遮挡物的被摄物1001将光遮挡后而在面1002上产生的"投影区 域"。
以下，对阴影区域和投影区域的偏振光特性的不同之处进行说明。首 先，假定在满足条件1的摄像场面进行摄影，该条件1是指在地上摄影的 几乎所有的摄像场面中都能成立的条件。
条件i :在被摄物所在的摄像场面中，存在有物体，在该物体的近旁
有宽广的面，且该宽广的面在该物体的一侧，在该物体的相反一侧存在有 光源。
上述的条件例如出现在以下的摄像场面。
1. 在室内场面中，在桌子上放置有作为被摄物的球。并且，该球被 设置在天花板上的萤光灯照射。
2. 在室内场面中，作为被摄物的人物坐在在地板上放置的椅子上。 并且，该人物被从窗户射入的太阳光照射。
3. 在室外场面中，作为被摄物的汽车行驶在道路上。并且，该被摄 物被太阳光照射。
并且，由于墙壁或建筑物也具有宽广面，因此上述条件在地上的摄影 的几乎所有的摄像场面中均成立。
在此条件l成立的情况下，首先对阴影区域进行说明。如图11所示， 阴影区域是被摄物的法线与光源的方向相反而产生的影子(影)区域。在 此，根据条件l可以考虑到，在与光源的相反的方向上存在宽广的面，并 且在影子区域中实际上存在多次绕过的光(多次反射光)，据此可以想到在 阴影区域中被入射有来自各个方向的多次反射光。也就是说可以考虑到对 于摄像机200和阴影区域所产生的像素的法线，存在成为正反射的多次反 射光。图12是示出上述状态的模式图。在该图中，摄像机1006是搭载了 本实施例中的光学上的区域划分装置100的摄像机，面1007是上述的宽广 的面。
22不过，如以前所述镜面反射成分的偏振度比漫反射成分高。为此，示 出镜面反射成分的反射特性的阴影区域的偏振度相对比较高。
以下，对投影区域进行说明。如图11所示，投影区域是因某种遮挡物 将光遮挡住而产生的影子(影)区域。在此若考虑条件l，则投影区域容 易形成在具有与宽广的面接近的法线方向的面上。为此，与阴影区域相比， 多次反射光仅从比较有限的方向入射。据此，可以考虑到在正反射方向上
存在光源的可能性比较低。图13是上述状态的模式图。
而且，如图10所示，漫反射成分的偏振度相对比较低。据此可知投影 区域的偏振光成分比较少。在影子区域，由于亮度本身比较小，因此推定 较小的偏振光成分是比较困难的。为此，投影区域的偏振光推定误差就会 变得非常大。
归纳以上所述，影子区域的偏振光特性可以分类为以下这样。 (1)阴影区域
-偏振度高，偏振光推定误差小。 -大多情况表示的是镜面反射特性。 (2 )投影区域
，偏振度低，偏振光推定误差大。 -大多情况表示的是漫反射特性。
通过利用此分类基准，从而可以将影子区域分类为阴影区域和投影区 域。例如，可以将偏振光信息为镜面反射的偏振光特性(偏振度高，或偏 振光推定误差小)的低亮度区域分类为阴影区域。以下，对利用这样的性 质进行区域划分的区域划分部103进行详细说明。
图14是图1所示的光学上的区域划分装置100的区域划分部103的 详细功能构成方框图。该区域划分部103是进行区域划分的处理部，其利 用在偏振光信息生成部102生成的偏振光信息和在偏振光图像摄像部101 取得的亮度信息，将图像划分为漫反射区域、镜面反射区域、阴影区域以 及投影区域，该区域划分部103包括影子区域检测部301、 DB (数据库) 302、偏振度比较部303、偏振光推定误差比较部304、区域判断部305、 以及蓄积部306。
影子区域检测部301是推定由偏振光图像摄像部101取得的图像中的
23像素是否为影子区域的处理部。
DB302是预先存储由偏振度比较部303参照的阈值Th—PDS以及由 偏振光推定误差比较部304参照的阈值Th_Eir的存储器等。
偏振度比较部303是一处理部，从DB302中读出阈值Th_PDS，对 于在影子区域检测部301被推定为不是影子区域的像素中的成为对象的像 素的偏振度和阈值Th_PDS进行比较。
偏振光推定误差比较部304是一处理部，从DB302中读出阈值 Th—Err，对于在影子区域检测部301被推定为是影子区域的像素，对成为 对象的像素的偏振光推定误差E和阈值Th_Err进行比较。
区域判断部305按照在偏振度比较部303以及偏振光推定误差比较部 304的比较结果，判断成为对象的像素是漫反射区域、镜面反射区域、投 影区域以及阴影区域中的哪一个，并将结果蓄积到蓄积部306。
蓄积部306是存储由区域判断部305判断的区域划分结果的存储器等。
图15是该区域划分部103进行处理的流程图。首先，影子区域检测部 301推定由偏振光像素摄像部101取得的图像中的像素是否为低亮度区域 (在本实施例中为影子区域)(S201)。这是因为，例如利用影子区域中的 亮度值低这一特性，可以将亮度值或通过偏振器的亮度的变动曲线的振幅 在阈值以下的像素推定为影子区域。像这种用于推定影子区域的阈值可以 通过实验来决定，例如对于16位的单色图像的亮度值可以设定为256。这 样的阈值可以保持在DB302。图16(a)是针对图7(a)的图像(其模式图为 图8(a))进行影子检测处理后的结果。图中的黑色区域是作为影而被检测 出的结果。
在像素不是影子区域的情况下(S201的"否")，偏振度比较部303判 断在该像素中是漫反射成分占优势还是镜面反射成分占优势(S202)。图 17是由该偏振度比较部303进行漫反射和镜面反射的分类处理(S202)的 流程图。在此，偏振度比较部303利用上述的"镜面反射的偏振度高"这一 特性，来判断像素是漫反射占优势还是镜面反射占优势。首先，偏振度比 较部303调查像素的偏振度比阈值Th一PDS小还是大(S211)。在像素的 偏振度比阈值Th—PDS小的情况下(S211的"是")，区域判断部305则判 断在该像素中是漫反射占优势(该像素是漫反射区域)(S212)。另外，在
24偏振度比阈值Th一PDS大的情况下(S211的"否")，区域判断部305则判 断在该像素中是镜面反射占优势(该像素是镜面反射区域)(S213)。区域 判断部305将区域划分的结果蓄积到蓄积部306。
并且，阈值Th—PDS可以根据被摄物的折射率或被摄物的法线方向、 光源方向、视线方向等来设定。如图9和图10所示，被摄物的镜面反射成 分偏振度或漫反射成分偏振度可以通过求折射率和入射角、射出角来决定。 因此，可以将在图9和图IO求出的镜面反射成分偏振度或漫反射成分偏振 度作为Th—PDS来利用。并且，在被摄物的折射率或被摄物的法线方向、 光源方向、视线方向等信息不能得到的情况下，可以根据漫反射成分偏振 度能够取得的最大值来决定阈值Th—PDS。例如，假设不存在折射率为2.0 以上的被摄物，根据图10，可以考虑到漫反射成分偏振度的最大值为0.6 左右，因此可以将阈值Th一PDS设定为0.7左右。像这样的阈值可以保持 在DB302中。
在漫反射和镜面反射的分类处理(S202)结束后，区域判断部305检 査所有的像素的光学上的分类是否结束(S203)。在存在还没有进行分类的 像素的情况下(S203的"否")，影子区域检测部301检测其他的像素是否 为影子区域(S201)。并且，在所有的像素在光学上的分类结束的情况下 (S203的"是，，)，区域划分部103结束处理。
另一方面，像素为影子区域的情况下(S201的"是")，偏振光推定误差 比较部304评价在上述公式8中定义的偏振光推定误差E的大小(S204)。 即，偏振光推定误差比较部304对偏振光推定误差E的大小和阈值Th_Err 进行比较。在比较结果为，偏振光推定误差E的大小比阈值Tl^EiT大的 情况下(S204的"是")，区域判断部305将该像素判断为是投影区域 (S205)，另外，在偏振光推定误差E的大小比阈值Th—Err小的情况下 (S204的"否")，区域判断部305则将该像素判断为是阴影区域(S206)。 区域判断部305将区域划分结果蓄积到蓄积部306。
此时的阈值Th—Err可以以摄影图像的亮度值或公式2中的振幅成分 A、偏离成分C为基准来决定。例如，在以振幅成分A为基准决定阈值 Th一Err的情况下，可以决定为以下这样。
257% _ &r = (T7z — E)2 (2 j)2 ^ (公式9 )
该公式示出偏振光推定误差E与振幅成分A有多大的不同。在此， Th—E是一个适当地正的常数，可以试行决定，例如决定为0.3。并且，N 是上述的采样数。像这样的阈值可以保持在DB302中。
图16(b)以及图16(C)分别示出了以上述的方法求出的投影区域以及阴 影区域。在该图中，黑色区域是被选择的区域。通过对于像这样求出的投 影区域和阴影区域进行在图像处理中被广泛使用的区域的收縮扩大处理， 从而可以将投影区域和阴影区域进行分离。
图18示出了由区域划分部103进行的区域划分的例子。在此，示出了 对于构成偏振光图像的各个像素的像素位置、振幅A、偏振度p、偏振光相 位(p、偏振光推定误差E的具体值以及区域划分结果。在此所示的区域划 分中的判断基准如图19所示。即，是漫反射区域还是镜面反射区域或是影 子区域是根据振幅A是否在256以上来判断的(图15的S201)，是漫反 射区域还是镜面反射区域是根据偏振度p是否比0.7小来判断的(图17的 S211)，是投影区域还是阴影区域是根据偏振光推定误差E是否比上述公 式9所示的阈值Th—Err大来判断的(图15的S204)。以这样的判断基准 判断的结果如图18所示，像素(141、 117)被判断为属于漫反射区域，像 素(151、 138)被判断为属于镜面反射区域，像素(111、 144)被判断为 属于阴影区域，像素(98、 151)被判断为属于投影区域，像素(165、 144) 被判断为属于漫反射区域。
并且，在图15所示的处理中，虽然对于在像素中是漫反射成分还是镜 面反射成分占优势的判断利用了偏振度(S202)，不过也可以利用亮度值。 图20是利用亮度值来判断是漫反射还是镜面反射的变形例所涉及的区域划 分部103a的详细功能构成方框图。该区域划分部103a包括影子区域检 测部301、 DB302、偏振光推定误差比较部304、区域判断部305、蓄积 部306以及亮度比较部310。并且，对于在该图20中与图14相同的构成 要素赋予相同的符号，在此省略详细说明。
亮度比较部310是一处理部，从DB302中读出阈值TH—IDS，并对 成为对象的像素的亮度值和阈值TH—IDS进行比较。
26图21是该区域划分部103a的处理流程图。并且对于图21中与图17 相同的步骤赋予相同的符号，在此省略详细说明。亮度比较部310调查像 素的亮度值比阈值TH—IDS大还是小(S214)。在像素的亮度值比阈值 TH—IDS小的情况下(S214的"是")，区域判断部305将该像素判断为是 漫反射占优势(S212)。另夕卜，在亮度值比阈值TH—IDS大的情况下(S214 的"否")，区域判断部305则判断该像素是镜面反射占优势(S213)。这样， 利用亮度值判断了在该像素中是漫反射占优势还是镜面反射占优势。
并且，在图15所示的处理中，虽然是利用偏振光推定误差来判断像素 是阴影区域还是投影区域的(S204)，不过也可以不利用偏振光推定误差， 而可以利用偏振度来进行判断。图22是利用偏振度来判断是阴影区域还是 投影区域的变形例所涉及的区域划分部103b的详细的功能构成方框图。该 区域划分部103b包括影子区域检测部301、DB302、偏振度比较部303、 区域判断部305以及蓄积部306。并且，对于在图22中与图14相同的构 成要素赋予相同的符号，在此省略详细说明。
图23是该区域划分部103b的处理流程图。并且，对于在图23中与 图15相同的步骤赋予相同的符号，在此省略详细说明。
在由影子区域检测部301判断像素是影子区域的情况下(S201的 "是")，偏振度比较部303对公式6所定义的偏振度p和阈值Th一P进行比 较，以判断该像素是阴影区域还是投影区域(S207)。当判断结果为，偏振 度p比阈值Th_P小的情况下(S207的"是")，区域判断部305判断该像 素为投影区域(S205),并且，在偏振度p比阈值T1UP大的情况下(S207 的"否")，则区域判断部305判断该像素为阴影区域(S206)。这样，利用 偏振度判断了像素是阴影区域还是投影区域。
并且，阈值Th一P可以根据被摄物的折射率或被摄物的法线方向、光 源方向、视线方向等来设定。如图9以及图10所示，被摄物的镜面反射成 分偏振度或漫反射成分偏振度可以通过求出折射率和入射角、射出角来决 定。因此，可以将在图9以及图10所求出的镜面反射成分偏振度或漫反射 成分偏振度作为Th—P来利用。并且，在不能得到被摄物的折射率或被摄 物的法线方向、光源方向、视线方向等信息的情况下，可以根据漫反射成 分偏振度能够取得的最大值来决定Th—P。例如，假设不存在折射率在2.0
27以上的被摄物的情况下，由于根据图io可以考虑到漫反射成分偏振度的最
大值为0.6左右，因此可以将阈值Th_P设定为0.7左右。
并且，在图15所示的处理中，在判断该像素是阴影区域还是投影区域 之时(S204)，可以不是利用偏振光推定误差和偏振度的某一个，而是可以 利用这两个。图24是既利用偏振光推定误差又利用偏振度来判断像素是阴 影区域还是投影区域的变形例所涉及的区域分割部103c的详细功能构成方 框图。该区域划分部103c包括影子区域检测部301、 DB302、偏振度比 较部303、偏振光推定误差比较部304、区域判断部305以及蓄积部306。 并且，对于图24中与图14相同的构成要素赋予相同的符号，在此省略详 细说明。该区域划分部103c虽然与图14所示的区域划分部103的构成要 素相同，但是区域判断部305的区域划分中的判断基准与区域划分部103 不同。
图25是该区域划分部103c的处理流程图。并且，对于图25中与图 15相同的步骤赋予相同的符号，在此省略详细说明。在由影子区域检测部 301判断为成为对象的像素是影子区域的情况下(S201的"是")，偏振光推 定误差比较部304以及偏振度比较部303分别评价在公式8定义的偏振光 推定误差E和在公式6定义的偏振度p，来判断该像素是阴影区域还是投 影区域。即，偏振光推定误差比较部304对偏振光推定误差E和阈值 Th_Err进行比较，偏振度比较部303对偏振度p和阈值Th_P进行比较。
在其结果为，偏振光推定误差E比阈值Th—Err大并且偏振度p的大 小比阈值Th_P小的情况下(S208的"是")，区域判断部305判断该像素 为投影区域(S205)，另外，在偏振光推定误差E的大小比阈值Th—Err 小且偏振度p的大小比阈值Th_P大的情况下(S208的"否")，则区域判断 部305判断该像素为阴影区域(S206)。这样，在判断像素是阴影区域还 是投影区域中，既利用了偏振光推定误差又利用了偏振度。
并且，偏振光推定误差E的阈值Th_Err可以取比仅以图15所示的处 理的偏振光推定误差判断的情况大的值，偏振度p的阈值Th_P可以取比 仅以图23所示的处理的偏振度判断的情况小的值。并且，在区域判断部 305进行的判断(S208)中，也可以在偏振光推定误差E的大小比阈值 Th_Err大且偏振度p的大小比阈值Th_P小的情况下，判断该像素为投影
28区域。
并且，在图15的处理中，虽然在判断像素是阴影区域还是投影区域中 利用了偏振光推定误差(S204)，不过也可以利用阴影区域的偏振光特性为 镜面反射这一特性来进行判断。例如，可以利用公式7所定义的偏振光相 位cp。偏振光相位cp示出了被摄物的法线的一个成分，偏振光相位cp和被 摄物的法线的一个成分的关系成为，根据被摄物是镜面反射成分占优势还 是漫反射成分占优势，相位将相差90度，对此将在以后叙述。例如，通过 图7(c)(其模式图为图8(c))可知，阴影区域的偏振光相位信息和旁边的偏 振光相位信息大不相同。这是因为，阴影区域示出的是镜面反射成分这一 偏振光特性，而其旁边区域示出的是漫反射成分这一偏振光特性。因此， 通过评价被摄物的偏振光相位的连续性，来检测示出镜面反射成分的偏振 光特性，从而检测阴影区域。
并且，本发明不仅可以作为图1所示的光学上的区域划分装置100单 体来实现，而且还可以作为将利用光学上的区域划分装置100的输出来生 成法线信息的处理部附加到光学上的区域划分装置100的构成来实现。
图26是将生成法线信息的处理部(法线信息生成部)附加到作为本发 明所涉及的图像处理装置的一个例子的光学上的区域划分装置100的装置 的功能构成方框图。法线信息生成部104是一处理部，利用在偏振光信息 生成部102生成的偏振光信息，并按照在区域划分部103划分的区域，来 生成用于确定对应的被摄物的表面的法线的法线信息。
图27是图26所示的光学上的区域划分装置以及法线信息生成部的处 理流程图。该图相当于，在图4所示的流程的步骤S103之后附加上法线信 息的处理步骤S104。在区域划分处理(S103)之后，法线信息生成部104 利用在偏振光信息生成部102生成的偏振光信息，并按照在区域划分部103 划分的区域，来生成用于确定对应的被摄物的表面的法线的法线信息 (Sl04)。
在此，对根据偏振光信息来生成法线信息的算法进行说明。已知的方 法是，根据偏振光相位cp，求出被摄物的法线信息中的包含光的入射和反射 的光线的射出面(入射角)的角度的一个自由度。但是，根据被摄物是镜 面反射占优势还是漫反射占优势，法线信息的求出方法是完全不同的(例如，
29参照非专利文献6 : "Ondfej Drbohlav and Sara Radim ， 'Using polarization to determine intrinsic surface properties', Proc. SPIE Vol.3826， pp.253—263， 1999")。在漫反射成分占优势的情况下，可以将 漫反射的射出面的信息作为起偏板回转后亮度变化成为亮度的最大值的角 度来求。并且，在镜面反射成分占优势的情况下，可以将漫反射的入射面 信息作为起偏板回转后亮度变化成为亮度的最小值的角度来求。在此，若 偏振光亮度的变动曲线为180。周期的正弦函数，则在不考虑是漫反射占优 势还是镜面反射占优势的情况下生成法线信息时，被推定的法线的一个自 由度具有90°的误差。因此，对漫反射和镜面反射进行分类在根据偏振光信 息生成法线信息的处理中是非常重要的。
图28是图26所示的法线信息生成部104的详细的功能构成方框图。 该法线信息生成部104是根据区域划分部103所进行的区域划分结果，从 偏振光信息生成法线信息的处理部，其包括蓄积部306、区域参照部307、 漫反射假定法线信息生成部308以及镜面反射假定法线信息生成部309。 并且，对于该图中与图14相同的构成要素赋予相同的符号，在此省略详细 说明。
区域参照图307是一处理部，通过参照被蓄积在蓄积部306中的区域 划分结果，判断在成为对象的像素中是漫反射成分占优势(是否为漫反射 区域)还是镜面反射成分占优势(是否为镜面反射区域)，或者判断该像素 是否为阴影区域。
漫反射假定法线信息生成部308是针对漫反射区域的像素以假定的漫 反射生成法线信息的处理部。具体而言，将通过上述的近似法而得到的正 弦函数中的亮度为最大的偏振光主轴角，作为与该像素相对应的被摄物的 射出面的法线信息来生成。
镜面反射假定法线信息生成部309是针对镜面反射区域以及阴影区域 的像素以假定的镜面反射生成法线信息。具体而言，将通过上述的近似法 而得到的正弦函数中的亮度为最小的偏振光主轴角，作为与该像素相对应 的被摄物的射出面的法线信息来生成。
图29是该法线信息生成部104的处理流程图。首先，区域参照部307 根据区域划分部103所检测出的光学上的区域划分的结果，判断像素是否
30为漫反射成分占优势(S301)。该处理可以是从蓄积了区域判断部305的 结果的蓄积部306中读出区域划分结果。在被判断为是漫反射成分占优势 的情况下(S301的"是")，漫反射假定法线信息生成部308以假定的漫反 射生成关于该像素的法线信息(S302)。具体而言，将射出面中的法线的一 个自由度作为起偏板回转亮度变化成为最大值的角度来求。即，将通过上 述的近似法而得到的正弦函数中的亮度为最大的偏振光主轴角，作为与该 像素相对应的被摄物的射出面的法线信息来生成。
并且，在被判断为像素是漫反射成分占优势的情况下(S301的"否")， 区域参照部307判断是否为镜面反射成分占优势(是否为镜面反射区域) 或者判断像素是否为阴影区域(S303)。在其结果为，在判断为是镜面反射 成分占优势或者在判断为像素是阴影区域的情况下(S303的"是")，镜面反 射假定法线信息生成部309针对该像素以假定的镜面反射生成法线信息 (S304)。具体而言，将入射面中的法线的一个自由度作为起偏板回转亮度 变化成为最小值的角度来求。g卩，将通过上述的近似法而得到的正弦函数 中的亮度为最小的偏振光主轴角，作为与该像素相对应的被摄物的入射面 的法线信息来生成。
另一方面，在判断为像素是投影区域的情况下，也就是说既不是漫反 射成分占优势也不是镜面反射成分占优势，更不是阴影区域的情况下(S303 的"否")，则判断为像素偏振光信息是误差占优势，不能生成正确的法线信 息，则该法线信息生成部104不进行法线信息生成处理(S305)。
如以上所述，通过将作为后处理部的法线信息生成部附加到本发明所 涉及的图像处理装置，从而实现了按照包含影子区域的光学上的区域来自 动生成法线信息的法线信息生成装置。
并且，图14等所示出的影子区域检测部301也可以利用被搭载在摄像 机200上的发光装置207 (闪光设备等)。
这是因为，像黑窗帘这种反射率非常小的被摄物存在的情况下，仅利 用上述的亮度值来进行判断是很难区别影子区域和黑窗帘的。以下利用附 图，对利用了这种闪光设备的本实施例的变形例所涉及的光学上的区域划 分装置进行详细说明。.
图30是上述的变形例所涉及的光学上的区域划分装置100a的功能构
31成方框图。在此，示出了光学上的区域划分装置100a以及利用光学上的区 域划分装置100a的处理结果的法线信息生成部104。该光学上的区域划分 装置100a在图1所示的光学上的区域划分装置100的基础上附加了发光 部105。并且，对于图30中与图26相同的构成要素赋予相同的符号，在 此省略详细说明。
发光部105是与光学上的区域划分装置100a的摄像工作连动的并将光 投到被摄物的闪光设备。此时，该发光部105控制闪光设备的点亮。偏振 光图像摄像部101与发光部105连动，拍摄两张闪光设备发光的状态和不 发光的状态的图像。此时，使被摄物与摄像机200的位置关系不发生变化， 而进行摄影。像这种摄影例如可以使用摄像机200的连拍功能等。
图31是本变形例所涉及的光学上的区域划分装置100a所进行影子检 测处理的流程图。即示出了与图15中的影子区域检测处理(S201)不同 的方法的流程图。首先，影子区域检测部301调查闪光设备不发光的状态 下的像素的亮度值(S401)。在像素的亮度值比阈值高的情况下(S401的 "否")，影子区域检测部301判断像素不是低亮度区域(在此为影子区域) (S402)，则结束处理。
另外，在像素的亮度值在阈值以下的情况下(S401的"是")，由于像素 为影子区域的可能性比较高，因此，影子区域检测部301制作使闪光设备 发光的状态下拍摄的使用闪光设备的摄影图像和不使闪光设备发光的状态 下拍摄的通常的摄影图像的差分图像(S403)。闪光设备的发光位置和摄像 元件的位置十分接近，几乎相同的情况下，由闪光设备所产生的影不会出 现在摄影图像上。这是因为视线方向和光源方向一致的缘故。为此，在没 有使闪光设备发光的状态下的影子区域，通过使闪光设备发光，从而存在 直接光。因此，影子区域的亮度值显著地增大。
另外，在像素不是影子区域而是反射率很小的黑窗帘的情况下，即使 使闪光设备发光反射率也很小，因此亮度值几乎不变化。也就是说，在通 过利用闪光设备差分图像的亮度值在阈值以上的情况下(S404的"是")，影 子区域检测部301判断该像素为影子区域(S405)，结束处理。并且，在 通过利用闪光设备差分图像的亮度值比阈值小的情况下，影子区域检测部 301判断该像素不是影子区域，而是低反射率区域(或低反射率像素)
32(S406)，结束处理。
这样，即使是存在像黑窗帘这样反射率很小的被摄物，也能够正确地 检测出影子区域，并能够将影子区域分类为阴影区域和投影区域。在此， 关于阴影区域，可以通过假定镜面反射来生成正确的法线信息。并且，关 于偏振光信息误差较多且即使是生成了法线信息精确度也非常低的投影区 域，可以通过不进行法线信息生成处理，在尽可能的广区域内生成高精确 度的法线信息。
如以上所述，根据本实施例所涉及的光学上的区域划分装置，可以在 一般的环境中，不需要诸如使光源变动的大规模的系统，就能够从如拍摄 快照这样拍摄下来的图像中，将影子区域分类为阴影区域和投影区域。
并且，在本实施例中，虽然在图案偏振器201采用了光子晶体，不过 也可以是薄膜型的偏振光元件，或导线栅格型或利用其他的原理的偏振光 元件。并且，也可以不利用图案偏振器，而使摄像机200的镜头前安装的 起偏器边回转边摄影，从而在时间序列上取得偏振光主轴不同的亮度。此 方法例如在专利文献1中公开。
专利文献l :日本特开平11 —211433号公报 (实施例2 )
以下，对本发明的实施例2所涉及的光学上的区域划分装置进行说明。 图32是本实施例中的光学上的区域划分装置100b的构成方框图。该 光学上的区域划分装置100b是通过摄像被摄物从而对被摄物的表面进行 光学上的区域划分的装置，所具有的特征是将低亮度区域分类为"阴影区域 或低反射率区域"和投影区域，与图1所示的光学上的区域划分装置100的 不同之处在于，以区域划分部1031取代了区域划分部103。在此，示出了 光学上的区域划分装置100b以及利用光学上的区域划分装置100b的处理 结果的法线信息生成部1041。该法线信息生成部1041虽然不是本发明所 涉及的图像处理装置中所必需的构成要素，但是作为利用本发明所涉及的 图像处理装置的处理结果的后处理的一个例子在此示出。并且，对于图32 中与图26相同的构成要素赋予相同的符号，在此省略详细说明。
区域划分部1031是一处理部，其利用偏振光图像的亮度信息和在偏振 光信息生成部102生成的偏振光信息的类似性(共通性)，将偏振光图像划
33分为由在光学上共通的图像区域的集合构成的多个区域。此时，区域划分
部1031对图像区域的亮度和预先规定的阈值进行比较，在亮度比阈值小的 情况下，对该图像区域进行区域划分，划分为包含影子区域(在本实施例 中为包含"阴影区域或低反射率区域"和投影区域的区域)的低亮度区域。在 本实施例中区域划分部1031将低亮度区域分类为"阴影区域或低反射率区 域"和投影区域，据此，将图像划分为漫反射区域、镜面反射区域、"阴影区 域或低反射率区域"以及投影区域。
法线信息生成部1041是按照在区域划分部1031划分的区域，从偏振 光信息中生成法线信息的处理部。该法线信息生成部1041与在实施例1说 明的法线信息生成部104不同之处在于，将阴影区域作为"阴影区域或低反 射率区域"来生成法线信息。
图33是本实施例中的光学上的区域划分装置100b以及法线信息生成 部1041进行处理的流程图。并且，对于图33中与实施例1中的图4的共 同的步骤赋予相同的符号，在此省略详细说明。
区域划分部1031利用在偏振光信息生成部102生成的偏振光信息或在 偏振光图像摄像部101取得的亮度信息，将图像划分为漫反射区域、镜面 反射区域以及低亮度区域(在本实施例中为"阴影区域或低反射率区域"以及 投影区域)(S1031)。
法线信息生成部1041如后述那样，根据区域划分部1031进行的区域 划分结果，从偏振光信息中生成法线信息(S104)。此时，关于投影区域， 由于偏振光信息中误差较多，因此不进行法线信息生成处理。
首先，对反射率小的被摄物的偏振光特性的不同之处进行说明。在表 面光滑且反射率小的被摄物，由于内部反射几乎为O，因此，漫反射成分变 得非常小。另外，在正反射条件中，对光进行反射，镜面反射变大。艮P, 在低反射率区域可以考虑到漫反射成分小，而镜面反射成分相对占优势。 这是因为，反射率小的物体具有与以下所示的阴影区域同样的偏振光特性。
(l)"阴影区域或低反射率区域"
偏振度高，偏振光推定误差小。
-大多情况表示的是镜面反射特性。 (2 )投影区域
34-偏振度低，偏振光推定误差大。 -大多情况表示的是漫反射特性。
通过利用该分类基准，可以将低亮度区域分类为"阴影区域或低反射率 区域"和投影区域。以下，利用附图对该处理进行详细说明。
图34是图32所示的光学上的区域划分装置100b的区域划分部1031 的详细功能构成方框图。该区域划分部1031包括DB302、偏振度比较部 303、偏振光推定误差比较部304、区域判断部305、蓄积部306以及低亮 度像素检测部311。并且，对于图34中与实施例1中的图14的共同的步 骤赋予相同的符号，在此省略详细说明。
低亮度像素检测部311是推定偏振光图像摄像部101所取得的图像中 的某像素是否为低亮度区域(包含"阴影区域或低反射率区域"以及投影区域 的区域)的处理部。
图35是该区域划分部1031进行处理的流程图。首先，低亮度像素检 测部311评价偏振光图像摄像部101所取得的图像中的某些像素的亮度值 (S501)。这与以前所述的步骤S201同样，评价亮度值是否在阈值以下。 像这种用于推定低亮度区域的阈值可以通过实验来决定，例如对于16位的 单色图像的亮度值可以设定为256。这样的阈值可以保持在DB302。在亮 度值比阈值大的情况下(S501的"否")，区域划分部1031与以前所述的步 骤S202采用同样的方法(偏振度比较部303所进行的比较)，判断该像素 中是漫反射成分占优势还是镜面反射成分占优势(S502)。在漫反射和镜面 反射的分类处理(S502)结束后，区域判断部305检査所有的像素的光学 上的分类是否结束(S203)。在存在还没有进行分类的像素的情况下(S503 的"否")，低亮度像素检测部311评价其他的像素的亮度值。(S501)。并且， 在所有的像素在光学上的分类结束的情况下(S503的"是")，区域划分部 1031结束处理。
另外，在像素的亮度值在阈值以下的情况下(S501的"是")，判断该像 素是"阴影区域或低反射率区域"还是投影区域(S504)。这与以前所述同样， 是通过偏振光推定误差比较部304对公式8所定义的偏振光推定误差E的 大小进行评价(对偏振光推定误差E和阈值Th—Err进行比较)而实现的。 在比较结果为，偏振光推定误差E的大小比阈值Th一Err大的情况下(S504
35的"是")，区域判断部305将该像素判断为是投影区域(S505),另外，在 偏振光推定误差E的大小比阈值Th—Err小的情况下(S504的"否")，区 域判断部305则将该像素判断为是"阴影区域或低反射率区域"(S506)。此 时的阈值Th一Err可以通过以前的方法来决定。进行了区域划分的结果被蓄 积到蓄积部306。
法线信息生成部1041根据区域划分部1031进行的区域划分结果，从 偏振光信息中生成法线信息。该法线信息生成部1041的构成要素与实施例 1中说明的法线信息生成部104相同，即如图26所示那样，包括蓄积部 306、区域参照部307、漫反射假定法线信息生成部308以及镜面反射假定 法线信息生成部309。不过，该法线信息生成部1041与在实施例1说明的 法线信息生成部104不同之处在于，将阴影区域作为"阴影区域或低反射率 区域"来生成法线信息。
图36是该法线信息生成部1041的处理流程图。并且对于图36中与 图29相同的步骤赋予相同的符号，在此省略详细说明。
首先，法线信息生成部1041的区域参照部307根据区域划分部1031 所检测出的光学上的区域划分的结果，判断像素是否为漫反射成分占优势 (S301)。该处理可以是从蓄积了区域判断部305的结果的蓄积部306中 读出区域划分结果。在被判断为是漫反射成分占优势的情况下(S301的 "是")，漫反射假定法线信息生成部308以假定的漫反射生成关于该像素的 法线信息(S302)。具体而言，将射出面中的法线的一个自由度作为起偏板 回转亮度变化成为最大值的角度来求。并且，在像素不是漫反射成分占优 势的情况下(S301的"否")，若在镜面反射成分占优势或为"阴影区域或低 反射率区域"的情况下(S306的"是")，镜面反射假定法线信息生成部309 以假定的镜面反射来生成该像素的法线信息(S304)。具体而言，将入射面 中的法线的一个自由度作为起偏板回转亮度变化成为最小值的角度来求。 另外，在像素是投影区域的情况下(S303的"否")，则判断为像素的偏振光 信息为误差占优势，不能生成正确的法线信息，法线信息生成部1041不进 行法线信息生成处理(S305)。
如以上所述，根据本实施例所涉及的光学上的区域划分装置，可以在 一般的环境中，不需要诸如使光源变动的大规模的系统，就能够从如拍摄
36快照这样拍摄下来的图像中，将低亮度区域分类为"阴影区域或低反射率区 域"和投影区域。并且，关于"阴影区域或低反射率区域"，可以通过假定镜 面反射，由法线信息生成部来生成正确的法线信息。并且，关于偏振光信 息误差较多且即使是生成了法线信息精确度也非常低的投影区域，可以通 过不进行法线信息生成处理，在尽可能的广区域内生成高精确度的法线信 息。
并且，在步骤S504为了判断该像素是"阴影区域或低反射率区域"还是 投影区域，可以不利用偏振光推定误差，而是与实施例1同样，利用偏振 度、偏振光推定误差和偏振度这双方、以及偏振光相位。 (实施例3)
以下对本发明的实施例3中的光学上的区域划分装置进行说明。
图37是本实施例中的光学上的区域划分装置lOOc的构成方框图。该 光学上的区域划分装置100c是通过摄像被摄物从而对被摄物的表面进行光 学上的区域划分的装置，所具有的特征是只有在能够正确地生成法线信息 的情况下才生成法线信息，除具有与图1所示的光学上的区域划分装置100 的构成以外，还包括摄像条件判断部106。在此，示出了光学上的区域划 分装置100c以及利用光学上的区域划分装置100c的处理结果的法线信息 生成部104。该法线信息生成部104虽然不是本发明所涉及的图像处理装 置中所必需的构成要素，但是作为利用本发明所涉及的图像处理装置的处 理结果的后处理的一个例子在此示出。并且，对于图37中与图26相同的 构成要素赋予相同的符号，在此省略详细说明。
摄像条件判定部106是一处理部，判断偏振光图像摄像部101将要拍 摄的成为摄像对象的摄像场面，是否满足作为区域划分部103能够正确进 行区域划分的摄像条件的预先规定的摄像条件。
图38是该摄像条件判定部106的详细的功能构成方框图。该摄像条件 判定部106包括DB302、光轴方向检测部312以及光轴方向比较部313。
光轴方向检测部312是检测光学上的区域划分装置100c的光轴方向的 角度感应器等。
光轴方向比较部313是判断光学上的区域划分装置100c是否朝向水平 面(地平面)上方的处理部。
37在此，本发明的实施例与实施例l中的说明一样，摄像场面需要满足 条件l。
条件i :在被摄物所在的摄像场面中，存在有物体，在该物体的近旁 有宽广的面，且该宽广的面在该物体的一侧，在该物体的相反一侧存在有 光源。但是，在被放置有光学上的区域划分装置100c的情况下，不限于满
足上述的条件l。于是，在本实施例中，摄像条件判定部106判定是否满
足上述的条件i。在此，若光源大多处于上方的情况下，条件i不满足以
下的条件2 。
条件2 :"摄像者拍摄上方"
此条件2例如出现在以下的摄像场面。
1. 在室外的场面中，拍摄天空或月亮、星辰等。
2. 在室内的场面中，拍摄具有正在发光的萤光灯的天花板方向。
以下探讨上述的摄像场面1的情况，例如拍摄新月。新月的影子区域 可以被视为是阴影区域。但是，该影子区域具有由被称为地球反射的来自 地球的多次反射的反射光而带来的亮度。为此，虽然是阴影区域，由于多 次反射光的入射方向仅限于地球，因此可以考虑到几乎不存在作为正反射
成分的镜面反射成分。为此，光学上的区域划分装置100c不能正确发挥功 能。于是，摄像条件判定部106判断光学上的区域划分装置100c是否能够 正确地发挥功能(能够正确地进行区域划分)，在能够正确发挥功能的情况 下，进行阴影区域和投影区域的划分处理，在不能正确地发挥功能的情况 下，中止影子区域的划分处理，并中止从影子区域中生成法线信息的处理。
图39示出了搭载了本实施例中的光学上的区域划分装置100c的摄像 机200a的硬件构成的例子。此摄像机200a是具有对摄像图像进行光学上 区域划分功能的摄像装置，其包括图案偏振器201、摄像元件202、存储 器203、 CPU204、角度感应器205、表示部208以及扬声器209。并且， 对于图39中与图2相同的构成要素赋予相同的符号，在此省略详细说明。
角度感应器205检测摄像机200a的光轴方向，并输出该信息。
表示部208在摄像场面由摄像条件判定部106判断为不满足上述的条 件1的情况下，将此消息显示在显示器上。
扬声器209在摄像场面由摄像条件判定部106判断为不满足上述的条
38件1的情况下，将此消息以声音输出。
并且，图38所示的光轴方向检测部312是通过图39所示的角度感应 器205而被实现的。图38所示的光轴方向比较部313是通过图39所示的 CPU204执行被存储在存储器203中的程序而被实现的。
图40是本实施例中的光学上的区域划分装置100c以及法线信息生成 部1041进行处理的流程图。并且对于图40中与图4相同的步骤赋予相同 的符号，在此省略详细说明。
在本实施例中，光轴方向检测部312 (角度感应器205)取得表示光学 上的区域划分装置100c(摄像机200a)的光轴方向的光轴方向信息(S106)。 利用这样求出的光轴方向信息，判断摄像场面是否为能够生成法线信息的 环境(S107)。这将由光轴方向比较部313判断光学上的区域划分装置100c (摄像机200a)的光轴方向是否朝向上方来进行。光轴方向比较部313例 如在光轴朝向水平方向以上45度的情况下，判断光轴方向为朝向上方。此 阈值45度可以通过实验来决定，并且这样的阈值可以保持在DB302。在 此，在光轴方向被判断为朝向上方的情况下，摄像条件判定部106判断摄 像场面是否满足条件l (S107的"否")，区域划分部103利用在偏振光信 息生成部102生成的偏振光信息或在偏振光图像摄像部101取得的亮度信 息，将图像分类为漫反射区域、镜面反射区域、影子区域(S108)。在此例 子中，由于不满足条件l，因此不将影子区域分类为阴影区域和投影区域。 接着，法线信息生成部104根据区域划分部103进行的区域划分结果，从 偏振光信息中生成法线信息。图41是该处理(S109)的详细流程图。并 且对于图41中与图29相同的步骤赋予相同的符号，在此省略详细说明。
首先，法线信息生成部104根据区域划分部103所检测出的光学上的 区域划分的结果，判断像素是否为漫反射成分占优势(S301)。在被判断为 是漫反射成分占优势的情况下(S301的"是")，法线信息生成部104以假 定的漫反射来生成该像素的法线信息(S302)。具体而言，将射出面中的法 线的一个自由度作为起偏板回转亮度变化成为最大值的角度来求。并且， 在像素不是漫反射成分占优势的情况下(S301的"否")，若在镜面反射成分 占优势的情况下(S307的"是")，法线信息生成部104以假定的镜面反射 来生成该像素的法线信息(S304)。具体而言，将入射面中的法线的一个自
39由度作为起偏板回转亮度变化成为最小值的角度来求。另一方面，在判断 为像素是影子区域的情况下，也就是说既不是漫反射成分占优势也不是镜
面反射成分占优势的情况下(S307的"否")；则判断为像素偏振光信息是误 差占优势，不能生成正确的法线信息，则该法线信息生成部104不进行法 线信息生成处理(S305)。
另外，在光轴方向被判断为不朝向上方的情况下(S107的"是")，摄像 条件判定部106判断摄像场面满足条件1 ，区域划分部103不进行光学上 的区域划分处理(S103)，接着，法线信息生成部104生成法线信息(S104)。
并且，在摄像场面由摄像条件判定部106判定为满足条件1的情况下， 表示部208将"不能进行区域划分"等在显示器上显示，扬声器209发出声 音信号，将同样的消息传达给摄像者。
不过，在摄像场面由摄像条件判定部106判定为不满足条件l的情况 下，不是不进行光学上的区域划分处理或法线信息生成处理，而是可以进 行以下的处理，即关于阴影区域，以假定的漫反射来生成法线信息，表 示部208将"区域划分处理不稳定"等显示在显示器，扬声器209以声音信 号将同样的消息传达给摄像者。
并且，在摄像场面由摄像条件判定部106判断为不满足条件1的情况 下，法线信息生成部104可以利用近旁的法线信息，通过内插处理等对影 子区域合成法线信息。关于内插处理可以利用以往的方法。
并且，摄像条件判定部106不仅限于利用光轴方向检测部312，例如 也可以利用具有能够识别安装了光学上的区域划分装置100c的环境的功能 的处理部。例如，可以通过利用声纳等来实现。以下，对具有这种环境识 别功能的本实施例的变形例所涉及的光学上的区域划分装置进行说明。
图2示出了搭载了这种变形例所涉及的光学上的区域划分装置的摄像 机200b的硬件构成的例子。该摄像机200b与图39所示的本实施例所涉 及的摄像机200a的构成的不同之处在于，不具备角度感应器205而具备声 纳210。并且，对于在图42中与图39相同的构成要素赋予相同的符号， 在此省略详细说明。
图43是具备本变形例所涉及的光学上的区域划分装置的摄像条件判定 部106a的详细的功能构成方框图。并且，此变形例所涉及的光学上的区域
40划分装置与图37所示的本实施例中的光学上区域划分装置100c的构成的 区别在于，不具备摄像条件判定部106而具备摄像条件判定部106a。该摄 像条件判定部106a具有声纳，该声纳通过发出声波并接收声波的反射波来 测定到周围的对象物的距离，且该摄像条件判定部106a的特点是，利用声 纳来判断该光学上的区域划分装置的近旁是否有物体，在判断为没有物体 的情况下，判定摄像场面不满足摄像条件，并且，该摄像条件判定部106a 在功能上具有DB302、摄像环境检测部315以及摄像环境识别部316。 并且，对于在图43中与图38相同的构成要素赋予相同的符号，在此省略 详细说明。
摄像环境检测部315是一处理部，测定到周围的对象物的距离，并将 该距离信息作为摄像环境信息来生成，相当于图42所示的声纳210。
摄像环境识别部316是利用来自摄像环境检测部315的摄像环境信息，
来判断摄像场面是否为能够实现光学上的区域划分的环境。
图44是本变形例所涉及的光学上的区域划分装置以及法线信息生成部 104进行处理的流程图。并且对于图44中与图40相同的步骤赋予相同的 符号，在此省略详细说明。
在本变形例所涉及的光学上的区域划分装置中，摄像环境检测部315 以声纳210来取得摄像环境信息(Slll)。该声纳210是主动声纳，发生 超音波或音波，并通过接受其反射波来测定到周围的对象物的距离的装置。 因此，通过利用声纳210，将摄像机200b的周围是否有物体以及在有物体 的情况下到该物体的距离信息作为摄像环境信息来取得。并且，声纳210 被广泛利用于鱼群探测器等，由于这是周知技术，因此省略详细说明。
这样，利用求出的摄像环境信息，判断摄像场面是否为能够实现光学 上的区域划分的环境(S107)。这可以通过摄像环境识别部316对摄像机 200b的近旁是否有物体的判断来实现。具体而言，摄像环境检测部315取 得到摄像机200b的周围(全方位)的物体的距离信息，只要评价距离比一 定的值TH_S短且立体角大即可。在这样的立体角的大小比阈值TH—SR 小的情况下，摄像条件判定部106判断摄像场面不满足条件l (S107的 "否")，区域划分部103利用偏振光信息生成部102生成的偏振光信息和偏 振光图像摄像部101所取得的亮度信息，将图像分类为漫反射区域、镜面
41反射区域、影子区域(S108)。由于没有满足条件l，因此不将影子区域分 类为阴影区域和投影区域。进而，法线信息生成部104根据区域划分部103 所进行的区域划分结果，从偏振光信息中生成法线信息(S109)。另外，在 这样的立体角的大小比阈值TH一SR大的情况下，摄像条件判定部106判 定摄像场面满足条件l (S108的"是")，由区域划分部103进行光学上的 区域划分处理，之后由法线信息生成部104生成法线信息。
并且，这样的阈值TH—S、 TH—SR可以通过实验求出，并且可以保持 在DB302。
如以上所述，根据本实施例所涉及的光学上的区域划分装置，可以在 一般的环境中，不需要诸如使光源变动的大规模的系统，就能够从如拍摄 快照这样拍摄下来的图像中，将低亮度像素分类为阴影区域和投影区域。 并且，在分类困难的情况下，不是求出精确度低的结果，而是将不能进行 处理之消息传达给摄像者，据此可以进行可靠性高的区域划分处理。 (实施例4)
以下，对本发明的实施例4中的光学上的区域划分装置进行说明。 图45是本实施例中的光学上的区域划分装置100d的构成方框图。该 光学上的区域划分装置100d是通过摄像被摄物从而对被摄物的表面进行 光学上的区域划分的装置，所具有的特征是不生成可靠性低的区域划分结 果以及法线信息，除具备图1所示的光学上的区域划分装置100以外，还 具备可靠性判定部107。在此，示出了光学上的区域划分装置100d以及利 用光学上的区域划分装置100d的处理结果的法线信息生成部104。该法线 信息生成部104虽然不是本发明所涉及的图像处理装置中所必需的构成要 素，但是作为利用本发明所涉及的图像处理装置的处理结果的后处理的一 个例子在此示出。并且，对于图45中与图26相同的构成要素赋予相同的 符号，在此省略详细说明。并且，搭载了本实施例中的光学上的区域划分 装置100d的摄像机具有与图2所示的实施例1中的摄像机200相同的硬 件。
可靠性判定部107利用由区域划分部103进行的光学上的区域划分结 果，评价光学上的区域划分结果的可靠性，在没有可靠性的情况下，废弃 光学上的区域划分结果以及法线信息。其结果是，没有可靠性的区域的区
42域划分结果以及法线信息被废弃。
图46是本实施例中的光学上的区域划分装置lOOd以及法线信息生成 部104进行处理的流程图。并且对于图46中与图4以及图40相同的步骤 赋予相同的符号，在此省略详细说明。可靠性判定部107利用区域划分部 103的光学上的区域划分结果，评价是否满足上述的条件1 ，即评价光学 上的区域划分结果的可靠性(S107)。在没有可靠性的情况下(S107的 "否")，可靠性判定部107废弃光学上的区域划分结果以及由法线信息生成 部104生成的法线信息(SllO)。
在此，为了判断是否满足条件l，可以判断是否存在阴影区域，该阴 影区域是由于受到影子区域内的正反射多次反射光的影响而成为镜面反射 成分占优势的区域。为此，说明利用被摄像的偏振光图像的偏振度和亮度 值评价可靠性的方法。在影子区域，示出镜面反射偏振光特性的图像不存 在的情况下，即被摄像的图像上不存在阴影区域的情况下，可以判断为不 满足条件1。
图47是可靠性判定部107的详细功能构成方框图。可靠性判定部107 包括DB302、蓄积部306以及阴影区域存在判断部314。 蓄积部306蓄积由区域划分部103进行的区域划分结果。 阴影区域存在判断部314是一处理部，其参照被蓄积在蓄积部306中 的区域划分结果，判断是否能够划分成具有充分大小(预先规定的阈值以 上)的阴影区域。
图46所示的可靠性判定部107的处理(S107、 S110)详细流程如以 下所示。
阴影区域存在判断部314参照被蓄积在蓄积部306中的区域划分结果， 判断是否可以划分成具有充分大小的阴影区域(S107)。其结果为，摄像图 像中不存在具有充分大小的阴影区域的情况下(S107的"否")，可靠性判定 部107判断摄像场面不满足条件1 ，废弃与影子区域有关的光学上的区域 划分结果以及法线信息(S110)，所述具有充分大小的阴影区域例如是VGA 图像中的100像素以上的区域。此时，表示部208将"不能实现区域划分" 等显示在显示器上，扬声器209通过发出声音信号将此消息传达给摄像者。 另夕卜，在摄像图像中存在阴影区域的情况下(S107的"是")，可靠性判定部
43107判断摄像场面满足条件l，并输出生成的法线信息。在此，阴影区域 的大小的阈值可以通过实验来决定，并且这样的阈值可以保持在DB302。
如以上所述，根据本发明的光学上的区域划分装置，可以在一般的环 境中，不需要诸如使光源变动的大规模的系统，就能够从如拍摄快照这样 拍摄下来的图像中，将低亮度像素分类为阴影区域和投影区域。并且，在 分类困难的情况下，不是求出精确度低的结果，而是将不能进行处理之消 息传达给摄像者，据此可以进行可靠性高的区域划分处理。
以上，虽然对本发明所涉及的图像处理装置，采用实施例l到实施例 4以及变形例进行了说明，但是本发明并非受这些实施例以及变形例所限。
将各个实施例以及变形例中的任意的构成要素组合而实现的其他的实 施方式，以及本领域技术人员所能够想到的对于本发明中的各个实施例以 及变形例的变形均属于本发明的范畴。
并且，在由可靠性判定部107判断为摄像场面不满足条件1的情况下， 不是不进行法线信息生成处理，而进行的处理是，表示部208将"区域划分 处理不稳定"等显示在显示器上，扬声器209通过发出声音信号将这一消息 传达给摄像者。
并且，在由可靠性判定部107判断为摄像场面不满足条件1的情况下， 不是仅废弃影子区域，而是废弃所有的光学上的区域划分结果以及法线信 息。
并且，在上述实施例以及变形例的一部分中，虽然示出了光学上的区 域划分装置以及法线信息生成部，本发明所涉及的图像处理装置可以具有 法线信息生成部也可以不具有法线信息生成部。法线信息生成部只不过是 利用由区域划分部进行的区域划分的处理结果的处理部的一个例子。作为 利用区域划分结果的其他的例子，可以考虑到的是，生成对被摄物的形状 进行模式化的各种形状信息，或者通过校正影子区域来生成具有立体感的 美丽图像的处理等。
并且，在实施例4中，是利用区域划分部103所进行的光学上的区域 划分结果来评价光学上的区域划分结果的可靠性的，不过并非受可靠性的 评价方法所限定，例如也可以是利用被摄物的形状信息来评价光学上的区 域划分结果的可靠性。
44图48是利用被摄物的形状信息来评价光学上的区域划分结果的可靠性 的本发明变形例所涉及的光学上的区域划分装置lOOe的功能构成方框图。 该光学上的区域划分装置100e是通过拍摄被摄物而将被摄物的表面进行 光学上的区域划分的装置，所具有的特征是不输出可靠性低的区域划分结 果，其除具有与图1所示的光学上的区域划分装置100相同的构成外，还 具有可靠性判定部107a。
可靠性判定部107a是一处理部，生成被摄物的形状信息，并利用生 成的形状信息来评价由区域划分部103进行的光学上的区域划分结果的可 靠性，在没有可靠性的情况下，废弃光学上的区域划分结果，并且如图49 所示，该可靠性判定部107 a包括DB302、法线信息生成部317以及相 位信息比较部318。
DB302是存储相位信息比较部318在进行比较时所使用的阈值的存储部。
法线信息生成部317是一处理部，通过利用在形状信息生成部211生 成的形状信息，将偏振光图像的各个像素所对应的法向矢量(nx、 ny、 nz) 作为法线信息来生成，并从生成的法向矢量中算出投射到图案偏振器表面 的法向矢量的一个自由度的信息cpN。
相位信息比较部318是一处理部，针对存在于影子区域中的所有像素， 对在偏振光信息生成部102生成的偏振光相位(p和在法线信息生成部317 算出的法向矢量的一个自由度信息cpN进行比较，并通过判断比较的差是否 比DB302中所存储的阈值小来判断这些值是否十分接近。
图50示出了搭载了这种光学上的区域划分装置100e的摄像机200c 的硬件构成的例子。此摄像机200c是具有对摄像图像进行光学上区域划分 功能的摄像装置，其包括图案偏振器201、摄像元件202、存储器203、 CPU204、角度感应器205、表示部208、扬声器209以及形状信息生成部 211。此构成相当于在图39所示的摄像机200a上附加了形状信息生成部 211。
形状信息生成部211生成被摄物的形状信息，例如是范围取景器或立 体摄影机等。并且，图49中所示的法线信息生成部317是由图50所示的 形状信息生成部211、 CPU204以及存储器203等来实现的，相位信息比
45较部318是由图50所示的CPU204以及存储器203等来实现的。
图51是这种光学上的区域划分装置100e所进行的光学上的区域划分 处理的流程图。并且，该流程图相当于在图27所示的流程图中附加了步骤 S120到S123。并且，在此示出了将图27中的步骤S103分成S103a以及 S103b。以下说明步骤S120到S123。
可靠性判定部107a的法线信息生成部317通过利用在形状信息生成部 211生成的形状信息，从而将偏振光图像的各个像素所对应的法向矢量(nx、 ny、 nz)作为法线信息来生成(S120)。在此，被生成的法向矢量被表现 为，以光轴方向的焦点位置作为原点，以摄像元件202的光轴方向作为Zc 方向的摄像机坐标系(Xc—Yc-Zc)。并且，图案偏振器201的主轴角ijr 和偏振光相位cp与iy=(P= 0 。中的摄像机坐标系的Xc轴一致，并且与w =cp=9 0。中的摄像机坐标系的Yc轴一致。图52是该坐标系的模式图。 法线信息生成部317进一步通过根据像以上这样生成的法向矢量并按照以 下的公式l 0进行计算，从而推定被投射到图案偏振器表面的法向矢量的 一个自由度信息cpN (S121)。
、^乂 (公式l0)
但是，像这样求出的法向矢量的一个自由度信息cpN在漫反射成分占优 势的情况下等于偏振光相位cp。 S卩，在影子区域中存在的所有的像素中，在 偏振光相位cp和根据形状信息生成部211的形状信息求出的法向矢量的一 个自由度信息(pN十分接近的情况下，则判断为影子区域内的像素全部为漫 反射成分占优势，并且不存在正反射多次反射光的影响。于是，相位信息 比较部318对在偏振光信息生成部102生成的偏振光相位(p和在法线信息 生成部317算出的法向矢量的一个自由度信息(pN进行比较，通过判断比 较的差是否比被存储在DB302中的阈值小，来判断这些值是否十分接近
(5122) 。在十分接近的情况下(S122的"是")，可靠性判定部107a判断 摄像场面不满足上述条件1，废弃关于影子区域的光学上的区域划分结果
(5123) 。另外，在摄像图像中存在阴影区域的情况下，可靠性判定部107a 判断摄像场面满足条件l (S122的"否")，输出有关影子区域的光学上的区 域划分结果。如以上所述，可以知道根据在被摄物中是镜面反射成分占优
46势还是漫反射成分占优势，偏振光相位将会相差90。，因此，将这种用于比 较相位信息的阈值设定为45°即可。当然，用于比较相位信息的阈值可以通 过实验来决定。这样的阈值可以保持在DB302。
并且，作为光学上的区域划分装置100e所具备的法线信息生成部317， 不仅限于利用在形状信息生成部211生成的形状信息来生成法线信息，也 可以根据偏振光信息来生成法线信息。即，该光学上的区域划分装置100e 可以不具备法线信息生成部317，而是具备实施例l中的法线信息生成部 104。
并且，本发明不仅可以作为图像处理装置来实现，而且可以像图53所 示那样，作为内藏本发明所涉及的图像处理装置的数字静态相机或数字摄 影机等应用制品来实现。
并且，图14等所示的影子区域检测部301为了检测投影区域，首先利 用亮度值对影子区域进行了判断(图15的S201等)，不过本发明并非受 此顺序所限，可以仅以在偏振光信息生成部102生成的偏振光信息来检测 投影区域。像这样的处理，对于像油画等知道存在投影区域而不存在阴影 区域的被摄物是有效的。这是因为，像黑色颜料这种反射率非常小的被摄 物存在的情况下，仅利用上述的亮度值来进行判断是很难区别影子区域和 黑色颜料的。以下利用附图，对本实施例的变形例所涉及的光学上的区域 划分装置进行详细说明。
表示这种变形例所涉及的光学上的区域划分装置的构成的功能方框图 由于与图26相同，因此省略构成说明。
图54是这样变形例所涉及的光学上的区域划分装置所进行的影子检测 处理的流程图。即示出了与图15所示的影子区域检测处理(S201、 S202、 S204 S206)不同的其他的方法的流程图。如图54所示，偏振光比较部 303调査像素的偏振度比阈值TILPS小还是大(S407)。在像素的偏振度 比阈值TH—PDS大的情况下(S407的"否")，影子区域检测部301判断该 像素不是投影区域(S402),判定该像素中是漫反射占优势还是镜面反射占 优势(S202)，结束处理。另夕卜，在偏振度比阈值TH一PS小的情况下(S407 的"是")，影子区域检测部301判断该像素为投影区域(S405)，结束处理。
图55示出了将拍摄油画这一被摄物时的偏振度p作为图像来表示的
47图。在该图中，图55(a)表示作为被摄物的油画的图像，图55(b)表示与图 55(a)所示的图像相对应的偏振度p (即由偏振光信息生成部102生成的偏 振光信息)。并且，在图56示出了，由这种变形例所涉及的光学上的区域 划分装置利用图55(b)所示的偏振度p，来针对图55(a)所示的图像抽出投 影区域。在该图中的黑色区域为被抽出的投影区域。并且，可以将像这样 抽出的投影区域作为最终的投影区域来输出，或者，可以通过针对像这样 被抽出的投影区域进行在图像处理中被广泛使用的区域的收縮扩大处理， 从而将重新再次定义的区域作为最终的投影区域来输出。
像这样的变形例所涉及的光学上的区域划分装置所进行的图像处理的 优点如以下所示。在图55和图56中，区域A表示投影区域，区域B表示 黑色颜料区域。在图55(a)所示的图像中，由于这些区域A和区域B的亮 度值几乎相同，因此很难分离区域A和区域B。但是，通过利用图55(b) 的偏振光信息，从而可以如图56所示那样，能够正确地抽出区域，即可以 知道区域A为投影区域，区域b不为投影区域。
本发明所涉及的图像处理装置作为进行与被摄物的图像中的影子有关 的处理的图像处理装置，例如作为生成被摄物的三维形状信息的装置或作 为利用这些信息使图像高清晰化的装置，在数字静态相机、数字摄影机、 监视器等中有用。
48
权利要求
1.一种图像处理装置，进行与被摄物的图像中的影子有关的处理，其特征在于，包括图像信息取得部，取得与被摄物图像有关的包含亮度信息以及偏振光信息的信息，所述亮度信息是指与来自所述被摄物的光的亮度有关的信息，所述偏振光信息是指与来自所述被摄物的光的偏振光有关的信息；影子区域抽出部，根据在所述图像信息取得部取得的亮度信息以及偏振光信息，从所述被摄物图像中抽出阴影区域以及投影区域，所述阴影区域是指因光的照射方式而在被摄物的表面产生的阴影区域，所述投影区域是指因被摄物本身将光遮住而在其他的物体上产生的投影区域；以及输出部，输出确定在所述影子区域抽出部抽出的阴影区域以及投影区域的信息。
2. 如权利要求l所述的图像处理装置，其特征在于， 所述被摄物图像由多个单位图像构成；所述图像信息取得部按照每个所述单位图像取得所述亮度信息以及所 述偏振光信息；所述影子区域抽出部以所述单位图像为单位，抽出所述阴影区域以及 所述投影区域；所述输出部针对构成在所述影子区域抽出部抽出的阴影区域以及投影 区域的单位图像，分别赋予表示阴影区域以及投影区域的标识符，并输出 赋予的标识符。
3. 如权利要求l所述的图像处理装置，其特征在于， 所述输出部分别输出与所述被摄物图像中的阴影区域以及投影区域对应的部分，以分别作为确定阴影区域以及投影区域的信息。
4. 如权利要求l所述的图像处理装置，其特征在于， 所述图像信息取得部具有偏振光图像摄像部，通过接受透过多个偏振器的光，来取得具有所述亮度信息的被摄物的偏振光图像，所述多个偏振器的偏振光主轴角度不同; 以及偏振光信息生成部，利用所述多个偏振器的偏振光主轴角度和透过所 述多个偏振器的光的亮度的对应关系，从取得的所述偏振光图像中生成针 对构成该偏振光图像的各个单位图像的所述偏振光信息；所述影子区域抽出部根据所述偏振光图像的亮度信息，按照每个所述 单位图像，对该单位图像的亮度与预先规定的阈值进行比较，在所述亮度 比所述阈值小的情况下，判断该单位图像属于包含阴影区域以及投影区域 的低亮度区域，并针对属于所述低亮度区域的单位图像，根据所述偏振光 信息生成部所生成的偏振光信息，来判断该单位图像是阴影区域还是投影 区域，从而抽出所述阴影区域以及所述投影区域。
5. 如权利要求4所述的图像处理装置，其特征在于， 所述偏振光图像摄像部由用于取得所述偏振光图像的多个摄像单位构成；所述多个摄像单位分别具有多个偏振器，具有不同的偏振光主轴角度； 多个像素，接受通过所述多个偏振器的每一个偏振器的光； 所述偏振光信息生成部将由所述摄像单位得到的图像作为所述单位图 像来生成偏振光信息。
6. 如权利要求4所述的图像处理装置，其特征在于， 所述影子区域抽出部针对属于所述低亮度区域的单位图像，判断所述偏振光信息是否表示镜面反射的偏振光特性，在所述偏振光信息表示镜面 反射的偏振光特性的情况下，将该单位图像作为阴影区域抽出。
7. 如权利要求4所述的图像处理装置，其特征在于， 所述偏振光信息生成部生成偏振度以作为所述偏振光信息，所述偏振度是示出光偏振了多少的指标；所述影子区域抽出部对属于所述低亮度区域的单位图像中的偏振度与 预先规定的阈值进行比较，在所述偏振度比所述阈值小的情况下，将该单 位图像作为投影区域抽出，在所述偏振度在所述阈值以上的情况下，将该 单位图像作为阴影区域抽出。
8. 如权利要求4所述的图像处理装置，其特征在于， 所述偏振光信息生成部生成偏振光推定误差以作为所述偏振光信息，所述偏振光推定误差是指，在所述变更图像摄像部得到的亮度与根据近似 了所述偏振光主轴角度和所述亮度的对应关系的正弦函数而决定的亮度的 差；所述影子区域抽出部进一步对属于低亮度区域的单位图像中的偏振光 推定误差和预先规定的阈值进行比较，在所述偏振光推定误差比所述阈值 大的情况下，将该单位图像作为投影区域抽出，在所述偏振光推定误差在 所述阈值以下的情况下，将该单位图像作为阴影区域抽出。
9. 如权利要求4所述的图像处理装置，其特征在于， 所述偏振光图像摄像部取得第一偏振光图像和第二偏振光图像，所述第一偏振光图像是闪光设备针对所述被摄物发光的情况下的偏振光图像，所述第二偏振光图像是闪光设备针对被摄物没有发光的情况下的偏振光图像；所述影子区域抽出部针对属于低亮度区域的单位图像算出所述第一偏 振光图像以及所述第二偏振光图像中的亮度的差分，并将算出的差分与预 先规定的阈值进行比较，在所述差分比所述阈值大的情况下，将该单位图 像作为阴影区域或作为投影区域抽出。
10.如权利要求4所述的图像处理装置，其特征在于， 所述影子区域抽出部针对属于所述低亮度区域的单位图像，判断所述 偏振光信息是否表示镜面反射的偏振光特性，在所述偏振光信息表示镜面 反射的偏振光特性的情况下，将该单位图像作为"阴影区域或低反射率区域" 抽出。
11.如权利要求4所述的图像处理装置，其特征在于， 所述偏振光信息生成部生成偏振度以作为所述偏振光信息，该偏振度是表示光偏振了多少的指标；所述影子区域抽出部进一步对属于低亮度区域的单位图像中的偏振度和预先规定的阈值进行比较，在所述偏振度比所述阈值小的情况下，将该单位图像作为投影区域抽出，在所述偏振度在所述阈值以上的情况下，将该单位图像作为"阴影区域或低反剁率区域"抽出。
12. 如权利要求4所述的图像处理装置，其特征在于， 所述偏振光信息生成部生成偏振光推定误差以作为所述偏振光信息，所述偏振光推定误差是指在所述变更图像摄像部得到的亮度与根据近似了 所述偏振光主轴角度和所述亮度的对应关系的正弦函数而决定的亮度的 差；所述影子区域抽出部进一步对属于低亮度区域的单位图像的偏振光推 定误差和预先规定的阔值进行比较，在所述偏振光推定误差比所述阈值大 的情况下，将该单位图像作为投影区域抽出，在所述偏振光推定误差在所 述阈值以下的情况下，将该单位图像作为"阴影区域或低反射率区域"抽出。
13. 如权利要求4所述的图像处理装置，其特征在于， 所述图像处理装置进一步具有摄像条件判定部，判定成为所述偏振光图像摄像部的拍摄对象的摄像场面是否满足预先规定的摄像条件，该预先 规定的摄像条件是指所述影子区域抽出部能够正确地进行区域抽出的摄像 条件；在由所述摄像条件判定部判定为不满足摄像条件的情况下，所述影子 区域抽出部停止对低亮度区域的区域抽出。
14. 如权利要求l 3所述的图像处理装置，其特征在于， 预先规定的所述摄像条件是在被摄物所在的摄像场面中，存在有物体，在该物体的近旁有宽广的面，且该宽广的面在该物体的一侧，在该物体的相反一侧存在有光源。
15.如权利要求l 3所述的图像处理装置，其特征在于， 所述摄像条件判定部具有检测所述偏振光图像摄像部的摄像方向的角 度感应器，在由所述角度感应器检测出所述偏振光图像摄像部朝向水平面 的上方的情况下，则判定所述摄像场面不满足所述摄像条件。
16.如权利要求l 3所述的图像处理装置，其特征在于， 所述摄像条件判定部具有声纳，该声纳通过发出声波并接收所述声波 的反射波，来测定到周围的对象物的距离，所述摄像条件判定部通过所述 声纳来判断该图像处理装置的近旁是否有物体存在，在判断为没有物体存 在的情况下，判定所述摄像场面不满足所述摄像条件。
17.如权利要求4所述的图像处理装置，其特征在于， 所述图像处理装置进一步具有可靠性判定部，该可靠性判定部通过评 价所述影子区域抽出部进行的区域抽出的结果，来判定区域抽出的可靠性， 在判定为没有可靠性的情况下，废弃所述影子区域抽出部进行的区域抽出 的结果。
18.如权利要求l 7所述的图像处理装置，其特征在于， 可靠性判定部根据所述影子区域抽出部进行的区域抽出的结果，判断在低亮度区域是否存在阴影区域，在低亮度区域不存在阴影区域的情况下，判定所述区域抽出没有可靠性。
19. 一种图像处理方法，进行与被摄物的图像中的影子有关的处理， 包括以下步骤图像信息取得步骤，取得与被摄物图像有关的包含亮度信息以及偏振 光信息的信息，所述亮度信息是指与来自所述被摄物的光的亮度有关的信 息，所述偏振光信息是指与来自所述被摄物的光的偏振光有关的信息；影子区域抽出步骤，根据在所述图像信息取得步骤取得的亮度信息以及偏振光信息，从所述被摄物图像中抽出阴影区域以及投影区域，所述阴 影区域是指因光的照射方式而在被摄物的表面产生的阴影区域，所述投影 区域是指因被摄物本身将光遮住而在其他的物体上产生的投影区域；以及 输出步骤，输出确定在所述影子区域抽出步骤抽出的阴影区域以及投 影区域的信息。
20.—种程序，是用于进行与被摄物的图像中的影子有关的处理的 程序，其特征在于，使计算机执行权利要求l 9所述的图像处理方法中所 包含的步骤。
全文摘要
提供一种图像处理装置等，不需要诸如使光源变动的大规模的系统，就能够从如拍摄快照这样拍摄下来的图像中，抽出阴影区域和投影区域。进行与被摄物的图像中的影子有关的处理的图像处理装置(100)包括图像信息取得部(110)，取得与被摄物图像有关的包含亮度信息和偏振光信息的信息，所述亮度信息是与来自被摄物的光的亮度有关的信息，所述偏振光信息是与来自被摄物的光的偏振光有关的信息；影子区域抽出部(120)，根据在图像信息取得部(110)取得的亮度信息和偏振光信息，从被摄物图像中抽出阴影区域和投影区域，所述阴影区域是因光的照射方式而在被摄物的表面产生的区域，所述投影区域是因被摄物本身将光遮住而在其他的物体上产生的区域；以及输出部(130)，输出用于确定在影子区域抽出部(120)抽出的阴影区域以及投影区域的信息。
文档编号G06T1/00GK101542233SQ200880000489
公开日2009年9月23日 申请日期2008年8月7日 优先权日2007年8月7日
发明者中田干也, 佐藤智, 金森克洋 申请人:松下电器产业株式会社