图像处理装置和图像处理方法与流程

本技术涉及图像处理装置和图像处理方法，并且使得能够进行以高精度获取对象的极化特征。

背景技术：

传统上，已公开了用于通过使用图像拾取部和极化滤波器来获取极化图像的方法。例如，专利文献1公开了用于在图像拾取部前面设置极化滤波器并且通过旋转极化滤波器来进行拍摄以获取沿多个极化方向的极化图像的方法。此外，还公开了用于通过在相应像素处提供沿不同极化方向的极化滤波器，来在一次图像拾取中获取沿多个不同的极化方向的极化图像的方法。

此外，从沿多个极化方向的极化图像获取关于对象的法线信息。例如，非专利文献1和非专利文献2描述了通过将沿多个极化方向的极化图像应用于模型等式来计算法线信息。

引用列表

专利文献

专利文献1：国际公开wo2008/099589

非专利文献

非专利文献1：lawrenceb.wolff和terrancee.boult:“constrainingobjectfeaturesusingapolarizationreflectancemodel(使用极化反射模型来约束对象特征)”,ieeetransactiononpatternanalysisandmachineintelligence,vol.13,no.7,1991年7月。

非专利文献2：garya.atkinson和edwinr.hancock:“recoveryofsurfaceorientationfromdiffusepolarization(表面定向从漫反射极化的恢复)”,ieeetransactionsofimageprocessing,vol.15,issue.6,pp.1653-1664,2006年

技术实现要素：

本发明要解决的问题

同时，为了获取关于对象的诸如高精度法线信息的信息，必须要从极化图像以高精度获取对象的极化特征。然而，当极化滤波器被设置在图像拾取设备的前面并且在顺序切换该极化滤波器的极化方向的同时进行拍摄以获取多个极化方向的图像时，极化图像变成时间序列图像，使得极化图像的时间分辨率降低。因此，例如，难以获取移动对象的极化特征。此外，当沿不同方向的极化滤波器被设置在成像元件的相应像素处以在一次拍摄中获取沿多个极化方向的极化图像时，被设置在成像元件的相应像素处的沿不同方向的极化滤波器会造成极化图像的空间分辨率的降低。因此，难以以高分辨率获取对象的极化特征。

因此，本技术的目的是为了提供能够以高精度获取对象的极化特征的图像处理装置和图像处理方法。

问题的解决方案

本发明的第一方面在于一种图像处理装置，该图像处理装置包括：对准单元，被配置成基于指示关于对象的距离信息的深度图，来对通过在多个视点位置处通过在不同的视点位置处沿不同极化方向的极化滤波器拾取对象而获得的极化图像进行对准；以及极化特征获取单元，被配置成通过使用由对准单元对准的极化图像来获取自期望视点位置的对象的极化特征。

在本技术中，对准单元基于指示关于对象的距离信息的深度图，来对通过在多个视点位置处通过在不同的视点位置处沿不同极化方向的极化滤波器拾取对象而获得的极化图像进行对准。深度图由深度图生成单元基于通过从不同的视点位置拾取对象而获得的图像来生成。例如，深度图生成单元基于图像之间的视差来生成深度图，所述图像来自通过在多个视点位置处通过在不同的视点位置处沿不同极化方向的极化滤波器拾取对象而获得的极化图像或者来自在不通过极化滤波器的情况下或通过沿相同极化方向的极化滤波器而拾取的图像中。此外，深度图生成单元生成针对在多个视点位置处的图像中的每个图像组合的深度图并且对深度图进行整合。例如，对准单元基于整合的深度图以及生成极化图像的图像拾取部之间的位置关系来确定视差，并且对极化图像进行对准以消除视差。极化特征获取单元通过使用所对准的极化图像来获取自期望视点位置的对象的极化特征。例如，极化特征获取单元基于多个对准的极化图像的亮度和极化方向以及极化图像的视点位置与期望视点位置之间的位置关系等来获取自期望视点位置的对象的极化特征。

此外，当设置法线图生成单元时，法线图生成单元基于由极化特征获取单元计算的极化特征来生成在期望视点位置处对象的法线图，或者在生成法线图时，法线图生成单元基于由对准单元使用的深度信息来消除在极化分析中的180度的不确定性。当设置高精度深度图生成单元时，高精度深度图生成单元对由对准单元使用的深度图和由法线图生成单元生成的法线图进行整合以生成空间分辨率比由对准单元使用的深度图更高的深度图。当设置极化特征使用单元时，极化特征使用单元使用由极化特征获取单元计算的极化特征来进行图像处理，如例如，调整在期望视点位置处的图像的反射分量，以及使用根据极化特征计算的图像特征量的匹配处理。

此外，当设置生成极化图像的图像拾取单元时，在图像拾取单元中，在多个视点位置处设置的图像拾取部被设置有沿不同极化方向的极化滤波器以在多个视点位置处生成极化图像。可替代地，在图像拾取单元中，多个透镜被沿与光轴方向垂直的方向布置在成像元件的光入射表面侧上，并且透镜设置有沿不同极化方向的极化滤波器以在不同的视点位置处生成极化图像。

本发明的第二方面在于一种图像处理方法，该图像处理方法包括以下步骤：由对准单元基于指示关于对象的距离信息的深度图，来对通过在多个视点位置处通过在不同的视点位置处沿不同极化方向的极化滤波器拾取对象而获得的极化图像进行对准；以及由极化特征获取单元通过使用所对准的极化图像来获取自期望视点位置的对象的极化特征。

发明效果

根据本技术，基于指示关于对象的距离信息的深度图，对通过在多个视点位置处通过在不同的视点位置处沿不同极化方向的极化滤波器拾取对象而获得的极化图像进行对准。此外，通过使用所对准的极化图像来获取自期望视点位置的对象的极化特征。因此，可以在时间分辨率和空间分辨率降低很小的情况下获得高精度极化特征。注意，本说明书中描述的效果仅是说明性的而不是限制性的，并且可以存在另外的效果。

附图说明

图1是示出第一实施方式的功能配置的图。

图2(a)至图2(e)均是示出图像拾取部的布置的图。

图3(a)至图3(b)均是示出图像拾取单元中的极化方向的图。

图4是示出第一实施方式的操作的流程图。

图5是示出深度图生成单元的操作的流程图。

图6是用于描述深度计算处理的图。

图7是示出深度图生成单元的另一操作的流程图。

图8是示出极化特征获取处理的流程图。

图9是示出图像拾取部的位置关系的图。

图10是用于描述对象表面形状和极化图像的图。

图11是示出亮度与极化角之间的关系的图。

图12是示出极化角与天顶角之间的关系的图。

图13是示出法线图生成处理的流程图。

图14(a)至图14(c)均是用于描述消除180度的不确定性的图。

图15是示出第二实施方式的功能配置的图。

图16是示出第二实施方式的操作的流程图。

图17(a)至图17(d)均是用于描述高精度深度图生成处理的图。

图18是示出第三实施方式的功能配置的图。

图19(a)至图19(e)均是示出图像拾取部的布置的图。

图20是示出第三实施方式的操作的流程图。

图21是示出第四实施方式的功能配置的图。

图22是示出第四实施方式的操作的流程图。

图23(a)至图23(b)均是示出使用极化特征的图像处理的第一示例的图。

图24(a)至图24(b)均是示出使用极化特征的图像处理的第二示例的图。

图25(a)至图25(b)均是示出使用极化特征的图像处理的第三示例的图。

图26(a)至图26(c)均是用于描述图像特征量的计算的图。

图27(a)至图27(b)均是示出在进行匹配处理的情况下的操作的图。

图28是示出另一实施方式的功能配置的图。

图29(a)至图29(b)均是示出检测光流的情况的图。

图30是示出车辆控制系统的示意性配置的框图。

图31是示出安装图像拾取单元的示例的图。

具体实施方式

以下将描述用于进行本技术的方式。注意，将以下述顺序提供描述。

1.第一实施方式

1-1.第一实施方式的配置

1-2.第一实施方式的操作

2.第二实施方式

2-1.第二实施方式的配置

2-2.第二实施方式的操作

3.第三实施方式

3-1.第三实施方式的配置

3-2.第三实施方式的操作

4.第四实施方式

4-1.第四实施方式的配置

4-2.第四实施方式的操作

5.另一实施方式

6.应用

<1.第一实施方式>

[1-1.第一实施方式的配置]

图1是示出本技术的第一实施方式的功能配置的图。图像处理装置10包括图像拾取单元21、深度图生成单元22、对准单元23、极化特征获取单元24以及法线图生成单元25。

图像拾取单元21在多个视点位置处通过在不同视点位置处沿不同极化方向的极化滤波器(例如，极化板)来拾取对象以生成极化图像。图像拾取单元21包括多个图像拾取部例如四个图像拾取部211-1至211-4，以获取沿三个或更多个不同的极化方向的极化图像。极化板210-1被设置在图像拾取部211-1的前面。类似地，极化板210-2至210-4分别被设置在图像拾取部211-2至211-4的前面。极化板210-1至210-4沿彼此不同的极化方向被设置。图像拾取部211-1至211-4生成沿彼此不同的极化方向的极化图像。图像拾取单元21将由图像拾取部211-1至211-4生成的极化图像的图像数据输出至深度图生成单元22和对准单元23。

图2(a)至图2(e)均是示出图像拾取单元21中的图像拾取部的布置的图。图像拾取单元21可以具有其中图像拾取部211-1至211-4被布置在如图2的(a)中所示的矩形的四个角处的配置，以及可以具有其中图像拾取部211-1至211-4如图2的(b)中所示沿直线布置的配置。此外，当图像拾取单元21包括三个图像拾取部211-1至211-3时，图像拾取单元21可以具有其中图像拾取部211-1至211-3被布置在如图2的(c)中所示的三角形的顶点处的配置，以及可以具有其中图像拾取部211-1至211-3如图2的(d)中所示沿直线布置的配置。注意，当图像拾取部被设置在较远的位置处并且视差为大时，对象中的在其处获取极化特征的位置在一些情况下不能被三个或更多个图像拾取部拾取。因此，图像拾取部被布置成使得对象中的在其处获取极化特征的位置能够被三个或更多个图像拾取部拾取。

此外，如图2的(e)中所示，图像拾取单元21可以具有使用多个透镜阵列来生成沿不同极化方向的多个极化图像的配置。例如，多个(在图中为四个)透镜222沿与光轴方向垂直的方向设置在图像传感器221的前面，并且对象的光学图像被相应透镜222形成在图像传感器221的成像表面上。此外，极化板223被设置在相应透镜222的前面，并且极化板223具有不同的极化方向。这样的配置使得图像传感器221能够生成沿不同极化方向的极化图像。注意，当相应透镜222将对象的光学图像形成在图像传感器221的成像表面上时，与由相应图像拾取部生成极化图像的情况相比，极化图像的空间分辨率降低。因此，在获取具有高空间分辨率的极化特征的情况下，由相应图像拾取部生成极化图像。此外，由于与由相应图像拾取部生成极化图像的情况相比视差为小，因此在获取具有较小视差影响的极化特征的情况下，通过使用多透镜阵列的配置来生成极化图像。

当以这种方式配置图像拾取单元21时，不必要如在将沿四个极化方向的子像素作为一个像素来生成沿不同极化方向的四个极化图像的情况下使用特殊的图像拾取部，因此可以以低成本容易地制作图像拾取单元21。

图像拾取单元21将例如线性极化板用作极化滤波器。此外，图像拾取单元21不仅可以使用线性极化板，而且可以使用线性极化板和由四分之一波长板制成的圆形极化板。此外，图像拾取单元21可以在线性极化板与图像拾取部之间设置有去极化板。例如，当基于通过图像拾取部中的半反射镜的光学图像进行曝光控制等时，在半反射镜中的反射率和透射率会因线性极化的方向而改变，这会阻碍正确的曝光控制等。此处，当设置去极化板时，线性极化的光学图像被转换成非极化光学图像并且指示线性极化之后的分量的非极化光学图像进入图像拾取部，这基于通过半反射镜的光学图像实现了正确的曝光控制等。

此外，在图像拾取单元21中，极化方向被设置成使得能够生成沿不同极化方向的多个极化图像。当线性极化板的极化方向被旋转180度时，穿过线性极化板的分量变成彼此相等。因此，极化方向被设置成在从0度至180度的范围中彼此不同。此处，如随后将描述的那样，图像处理装置10基于由多个图像拾取部生成的极化图像的亮度和极化方向来计算极化模型等式。因此，优选的是将极化方向设置为例如具有相同角度差以使得能够以高精度计算极化模型等式。图3(a)至图3(b)均示出图像拾取单元21中的极化方向。图3的(a)示出了当使用四个图像拾取部时的极化方向。在图像拾取单元21中，例如，假设极化方向为0度、45度、90度和135度，四个图像拾取部生成沿具有相同角度差(45度)的极化方向的四个极化图像。此外，图3的(b)示出了当使用三个图像拾取部时的极化方向。在图像拾取单元21中，例如，假设极化方向为0度、60度和120度，三个图像拾取部生成沿具有相同角度差(60度)的极化方向的三个极化图像。

深度图生成单元22根据由图像拾取单元21生成的在不同的视点位置处的图像来生成指示关于对象的距离信息的深度图。深度图生成单元22对在由图像拾取单元21生成的多个不同的视点位置处的极化图像中的每对极化图像进行立体匹配处理。此外，深度图生成单元22基于立体匹配处理结果以及预先获取的关于图像拾取部的校准信息，生成例如指示在每个像素处的深度的深度图。校准信息具有指示图像拾取部之间的位置关系的位置信息。此外，当校准信息包括关于在每个图像拾取部中出现的光学失真的参数等时，即使在由图像拾取部生成的图像中出现光学失真，也可以消除该光学失真并且以高精度进行立体匹配处理等。深度图生成单元22对针对每对极化图像生成的深度图进行整合以生成具有比整合之前的精度更高的精度的深度图。深度图生成单元22将整合的深度图输出至对准单元23和法线图生成单元25。

对准单元23基于由深度图生成单元22生成的深度图来对由图像拾取单元21生成的极化图像进行对准。对准单元23基于例如由深度图生成单元22生成的整合的深度图的深度以及在先前获取的校准信息中指示的图像拾取部之间的位置关系来确定视差，并且对针对每个像素的极化图像进行对准以使视差成为“0”，即，以使对象匹配。对准单元23将对准之后的极化图像输出至极化特征获取单元24。

极化特征获取单元24通过使用对准之后的极化图像来获取自期望视点位置的对象的极化特征。极化特征获取单元24基于在校准信息中指示的图像拾取部之间的位置关系和深度图，计算在将图像拾取部作为期望视点位置的情况下的旋转矩阵。此外，极化特征获取单元24根据诸如多个极化图像的极化方向和亮度的信息以及指示生成极化图像的图像拾取部与期望视点位置之间的位置关系的旋转矩阵，来计算指示自期望视点位置的对象的极化特征的极化模型等式。极化特征获取单元24将获取的作为极化特征的极化模型等式输出至法线图生成单元25。

法线图生成单元25基于由极化特征获取单元24获取的自期望视点位置的对象的极化特征来生成对象的法线图。法线图生成单元25根据由极化特征获取单元24获取的极化特征、即极化模型等式，基于在其处亮度变成最高的方位角以及极化度来计算针对每个像素的天顶角，并且生成存储指示法线方向的法线信息(方位角和天顶角)的法线图。注意，通过椭圆对称计算的法线图中的法线信息在极化板的0度与180度之间或45度与225度之间没有区别，因此，如随后将描述的，原理上具有180度的不确定性。因此，法线图生成单元25通过使用从深度图生成单元22输出至对准单元23和法线图生成单元25的深度图来消除法线图的180度的不确定性。

[1-2.第一实施方式的操作]

接下来，将描述第一实施方式的操作。图4是示出第一实施方式的操作的流程图，并且示出了图像拾取单元21包括四个图像拾取部211-1至211-4的情况。

在步骤st1至步骤st4中，图像拾取单元21生成极化图像。例如，在步骤st1中，图像拾取单元21的图像拾取部211-1生成第一极化图像。在步骤st2中，图像拾取部211-2生成第二极化图像。在步骤st3中，图像拾取部211-3生成第三极化图像。在步骤st4中，图像拾取部211-4生成第四极化图像。因此，图像拾取部211-1至211-4在不同视点位置处生成沿不同极化方向的极化图像，然后图像处理装置10进行至步骤st11至步骤st14。

在步骤st11至步骤st14中，深度图生成单元22生成深度图。例如，在步骤st11中，深度图生成单元22根据第一极化图像和第二极化图像生成深度图。

图5是示出深度图生成单元的操作的流程图。在步骤st101中，深度图生成单元22获取两个极化图像。深度图生成单元22获取由图像拾取部211-1生成的第一极化图像以及由图像拾取部211-2生成的第二极化图像，然后进行至步骤st102。

在步骤st102中，深度图生成单元22对每个极化图像进行边缘提取处理。当极化滤波器被设置在图像拾取部的前面并且同一对象被拾取时，由图像拾取部生成的图像将是因极化方向的不同而具有不同亮度的图像。因此，深度图生成单元22对极化图像进行边缘提取处理，以生成边缘图像从而以即使由极化方向的不同而造成亮度变化也能够进行立体匹配处理。深度图生成单元22进行边缘提取处理以根据第一极化图像生成第一边缘图像并且根据第二极化图像生成第二边缘图像，然后进行至步骤st103。

在步骤st103中，深度图生成单元22使用边缘图像进行立体匹配处理。深度图生成单元22对第一边缘图像和第二边缘图像进行立体匹配处理。在立体匹配处理中，深度图生成单元22检测第一边缘图像中的关注像素以及第二边缘图像的与该关注像素对应的相位差(基于视差的像素位置的差)。作为立体匹配处理，例如，模板匹配方法被用于检测与模板图像最相似的图像区域，该模板图像被设置成包括来自第二边缘图像的关注像素。此外，立体匹配处理不限于模板匹配方法，而可以使用其他方法(例如，图形切割方法等)。深度图生成单元22通过进行立体匹配处理来计算相位差，然后进行至步骤st105。

在步骤st105中，深度图生成单元22进行深度图生成处理。深度图生成单元22基于诸如通过立体匹配处理而检测的相位差的信息以及预先获取的校准信息，来计算作为从关注的像素到对象的距离的深度。此外，深度图生成单元22将计算的深度与极化图像的像素关联以生成深度图。

图6是用于描述深度计算处理的图。注意，图6示出了两个图像拾取部被以相同姿势左右布置的情况。此处，假设例如图像拾取部211-1是标准图像拾取部并且假设图像拾取部211-2是参考图像拾取部。此外，假设图像拾取部的参考位置之间的间隔(基准长度)为“lb”，并且假设图像拾取部的焦距为“f”。当立体匹配处理指示对象ob在参考图像拾取部中的位置xr被从对象ob在标准图像拾取部中的位置xl移动相位差“ld”时，可以由等式(1)来计算到对象的距离“zp”。

[数学公式1]

此外，深度图生成单元可以通过不仅使用边缘图像而且使用其他方法来生成深度图。图7是示出深度图生成单元的另一操作的流程图并且示出了使用了对于亮度变化鲁棒的立体匹配处理的情况。在步骤st101中，深度图生成单元22捕获两个极化图像。深度图生成单元22捕获由图像拾取部211-1生成的第一极化图像以及由图像拾取部211-2生成的第二极化图像，然后进行至步骤st104。

在步骤st104中，深度图生成单元22执行对亮度变化鲁棒的立体匹配处理。深度图生成单元22通过使用第一极化图像和第二极化图像来执行对亮度变化鲁棒的立体匹配处理，检测第一极化图像中的关注像素以及第二极化图像中与该关注像素对应的像素位置的移动量(视差图像之间的相位差)。在对亮度变化鲁棒的立体匹配处理中，例如，使用零均值归一化互相关(zncc)。等式(2)是零均值归一化互相关rzncc的公式。从用于归一化的亮度值减去亮度值的均值使得能够进行对亮度差鲁棒的匹配。在等式(2)中，“t(i,j)”表示在标准图像(模板)中的坐标(i,j)处的像素的亮度值，而“i(i,j)”表示在参考图像中的坐标(i,j)处的像素的亮度值。此外。“m”是指示模板的宽度的像素的数量，而“n”是指示模板的高度的像素的数量。注意，对亮度变化鲁棒的立体匹配处理不限于零均值归一化互相关，而可以使用其他方法。

[数学公式2]

深度图生成单元22执行对亮度变化鲁棒的立体匹配处理，计算相位差并且进行至步骤st105。

在步骤st105中，深度图生成单元22执行深度图生成处理。深度图生成单元22基于诸如通过立体匹配处理而检测的相位差的信息以及预先获取的校准信息，来计算作为从关注的像素到对象的距离的深度。此外，深度图生成单元22将计算的深度与极化图像的像素关联以生成深度图。

返回图4，在步骤st12中，深度图生成单元22根据第二极化图像和第三极化图像生成深度图。在步骤st13中，深度图生成单元22根据第三极化图像和第四极化图像生成深度图。在步骤st14中，深度图生成单元22根据第四极化图像和第一极化图像生成深度图。注意，当极化图像的数量为“j”时，深度图生成单元22可以生成最大数量的图像对“j(j-1)/2”的深度图。此外，极化图像的配对不限于图4所示的组合。例如，深度图生成单元22可以将极化图像中任一极化图像定义为参考并且生成针对该极化图像和另一极化图像的相应图像对的多个深度图。例如，通过将第一极化图像定义为参考，通过使用第一极化图像和第二极化图像、第一极化图像和第三极化图像以及第一极化图像和第四极化图像来针对第一极化图像生成三个深度图。

在步骤st20中，深度图生成单元22执行深度图整合处理。深度图生成单元22对针对极化图像的相应对生成的深度图进行整合以生成具有比整合之前的精度更高精度的深度图。深度图生成单元22例如通过与日本专利第5387856号“图像处理装置、图像处理方法、图像处理程序和图像拾取装置”类似的方法来对深度图进行整合。即，深度图生成单元22基于相关特征线的形状来进行可靠性确定处理，该相关特征线指示对在立体匹配处理中计算的相似度进行指示的相关值与像素位置之间的关系。在可靠性确定中，使用作为指示相关特征线的形状的锐度的程度的指标的峭度来进行确定。另外，在可靠性确定中，可以使用相关特征线中的顶点与周围点之间的相关值的差分值来进行确定，或者可以使用在每个像素位置处的相关值的差分值的整合值(积分值)来进行确定等。此外，深度图生成单元22基于在每个深度图中的可靠性确定结果，通过执行用于采用在指示对象的针对每个像素的同一位置的像素处具有最高可靠性的深度的处理来生成整合之后的深度图。注意，当基于极化图像中的任一个极化图像生成多个深度图时，在每个深度图中，同一像素位置指示对象的同一位置。因此，通过根据在每个像素位置处的每个深度图的可靠性而采取最可靠的深度，可以容易地整合深度图。深度图生成单元22进行深度图整合处理，生成整合之后的深度图，然后进行至步骤st30。

在步骤st30中，对准单元23进行极化图像对准处理。对准单元23基于隐喻(metaphor)整合之后的深度图和在校准信息中指示的图像拾取部之间的位置信息来确定相对于期望视点位置的视差，然后对多个极化图像进行对准以使视差为“0”，即，以使对象匹配。注意，期望视点位置不限于图像拾取部211-1至211-4中任一个，而例如当图像拾取部211-1至211-4被设置在矩形的四个角处时可以是矩形中的位置等。此外，当期望视点位置是当生成深度图时被用作参考的极化图像的视点位置时，由于在期望视点位置处的整合之后的深度图已生成，因此可以在每个像素处容易地对准极化图像。因此，对准单元23对极化图像进行对准然后进行至步骤st40。

在步骤st40中，极化特征获取单元24进行极化特征获取处理。极化特征获取单元24通过使用对准之后的极化图像来获取在期望视点位置处的极化特征。图8是示出极化特征获取处理的流程图。

在步骤st401中，极化特征获取单元24获取图像拾取部之间的位置信息。极化特征获取单元24获取包括在预先设置的校准信息中的图像拾取部之间的位置信息。在步骤st402中，极化特征获取单元24获取对准之后的极化图像。极化特征获取单元24获取在从对准单元23输出的对准之后的极化图像。在步骤st403中，极化特征获取单元24获取深度图。极化特征获取单元24获取由深度图生成单元22生成的深度图。

在步骤st404中，极化特征获取单元24计算到期望视点位置的旋转矩阵。极化特征获取单元24基于校准信息和深度图，在将生成极化图像的图像拾取部作为用户期望的视点位置等的情况下来计算旋转矩阵r，然后进行至步骤st405。注意，等式(3)示出了旋转矩阵r。

[数学公式3]

在步骤st405中，极化特征获取单元24计算相对于期望视点位置的极化模型等式。此处，假设例如相对于图像拾取部211-n，在期望视点位置处的图像拾取部211-p具有图9所示的位置关系。

图10是用于描述对象表面形状和极化图像的图。如图10所示，例如，对象ob被使用光源lt照射，并且图像拾取部211-n通过极化板210-n拾取对象ob。在这种情况下，假设在拾取的图像中，对象ob的亮度因极化板210-n的极化方向而变化，并且假设最高亮度为imax以及最低亮度为imin。此外，假设二维坐标中的x轴和y轴在极化板210-n的平面上，并且假设极化板210-n的极化方向是极化角υ，其是y轴方向相对于x轴方向的角度。极化板210-n具有180度的周期，并且当极化方向被旋转180度时，极化板210-n返回原始极化状态。此外，假设当观察到最高亮度imax时的极化角υ是方位角α。当进行了这样的定义时，如果极化板210-n的极化方向改变，则观察到的亮度i可以由等式(4)的极化模型等式来表示。注意，图11示出了亮度和极化角之间的关系。

[数学公式4]

在等式(4)中，极化角υ显然是在生成极化图像时的，并且最高亮度imax、最低亮度imin和方位角α是变量。

此外，假设对象表面法线由极坐标系表示，并且假设法线信息是方位角α和天顶角θ。注意，假设天顶角θ是从z轴到法线的角，并且假设方位角α是y轴方向相对于上述x轴的角。此处，如果极化板210-n的极化方向改变并且获得最低亮度imin和最高亮度imax，则可以通过等式(5)来计算极化度ρ。此外，如等式(5)所表示的那样，可以使用对象op的相对折射率n和方位角θ来计算极化度ρ。极化度与方位角之间的关系例如是图12所示的特征，并且通过使用该特征，基于极化度ρ来确定方位角θ。注意，根据等式(5)可以看出，图12所示的特征取决于相对折射率n，并且极化度随着相对折射率n的增大而增大。

[数学公式5]

以与图像拾取部211-n类似的方式，表示图9中所示的图像拾取部211-p中的亮度与极化角之间的关系的极化特征的模型等式是等式(6)。因此，当(imax+imin)＝(i'max+i'min)＝a时，等式(4)和(6)变成等式(7)和(8)。

[数学公式6]

此外，关于图像拾取部211-p，极化度ρ是等式(9)。因此，当(imax+imin)＝(i'max+i'min)＝a时，等式(5)和(9)变成等式(10)和(11)。

[数学公式7]

图像拾取部211-n的法线是方位角α和天顶角θ的方向，并且由图像拾取部211-n检测的法线n可以由等式(12)表示。此外，由图像拾取部211-p检测的法线n'可以通过使用由等式(3)表示的旋转矩阵r来由等式(13)表示，因此，等式(14)的关系成立。

[数学公式8]

因此，方位角α'可以由等式(15)来根据旋转矩阵r的分量、天顶角θ和方位角α计算。此外，天顶角θ'可以由等式(16)根据旋转矩阵r的分量、天顶角θ和方位角α来计算。

[数学公式9]

θ′＝cos^-1(gcosαsinθ+hsinαsinθ+icosθ)…(16)

此处，通过使用等式(11)、(15)和(16)，指示图像拾取部211-p的极化特征的极化模型等式(8)由作为使用亮度附加值a、天顶角θ和方位角α三个变量的函数的等式(17)来表示。

[数学公式10]

因此，关于三个或更多个图像拾取部进行类似的建模，并且通过使用旋转矩阵基于通过在三个或更多个视点位置处通过在不同的视点位置处沿不同极化方向的极化滤波器拾取对象而获得的极化图像的亮度以及校准信息(图像拾取部之间的位置信息)，计算作为三个变量的亮度附加值a、方位角α和天顶角θ。因此，当计算了三个变量的值时，基于诸如由图像拾取单元21生成的三个或更多个极化图像的信息以及校准信息，可以计算指示在期望视点位置处的极化特征的极化模型方程。

根据关于三个或更多个图像拾取部的亮度和极化模型等式(使用基于校准信息的图像拾取部之间的旋转矩阵的极化模型等式)来分析性地计算作为三个变量的亮度附加值a、方位角α和天顶角θ。此外，可以计算三个变量以通过使用最优化技术例如lm方法和最速下降法来使误差最小化。此外，可以在假设图像拾取部之间的间隔与深度相比为小和旋转矩阵可以被忽略的情况下近似地计算三个变量。

极化特征获取单元24进行上述处理，并且计算针对期望视点位置的极化模型方程，即，针对图像拾取部211-p的作为极化特征的极化模型方程。

返回图4，在步骤st50中，法线图生成单元25进行法线图生成处理。图13是示出法线图生成处理的流程图。在步骤st501中，法线图生成单元25计算法线。法线图生成单元25通过使用指示在期望视点位置处的极化特征的极化模型等式、即等式(17)来确定在其处亮度变成最高的方位角α'。注意，可以通过等式(11)来计算极化度ρ'。法线图生成单元25基于在其处亮度变成最高的方位角α'和极化度ρ'来计算针对每个像素的天顶角θ'，计算关于对象的法线信息(指示方位角α'和天顶角θ'的信息)，并且处理进行至步骤st502。

在步骤st502中，法线图生成单元25消除180度的不确定性。图14(a)至图14(c)均是用于描述消除180度的不确定性的图。如图14的(a)中所示，图像拾取部211拾取对象ob。此处，当极化板的极化方向旋转180度时，极化板返回原始极化状态，以及例如如图14的(b)中所示，在对象ob的上半区域ga中，法线方向(由箭头指示)是正确方向。另一方面，在下半区域gb中，存在法线方向可以相反的可能性，并且存在180度的不确定性。此处，当法线图生成单元25基于深度图确定对象ob的梯度方向时，法线图生成单元25可以确定出对象ob是沿图像拾取部的方向突出的形状。此外，由于对象ob具有沿图像拾取部的方向突出的形状，因此法线图生成单元25可以确定出图14的(b)中所示的下半区域gb的法线方向是相反方向。因此，通过逆转下半区域gb的法线方向，法线图生成单元25消除了180度的不确定性，如图14的(c)中所示。因此，法线图生成单元25基于深度图消除了来自步骤st501中计算的法线的180度的不确定性，并且生成了正确地指示对象的表面形状的法线图。

注意，图像处理装置不仅按步骤的顺序进行上述处理，而且还可以通过并行处理进行例如诸如获取图像和信息以及生成深度图的处理。此外，通过流水线处理进行上述处理使得可以计算在期望视点位置处的极化特征并且可以例如顺序地针对每帧生成法线图。

通过进行上述处理，第一实施方式使得能够获取在期望视点位置处的针对每个像素的极化特征而不引起时间分辨率和空间分辨率的降低。此外，第一实施方式使得能够根据在期望视点位置处的极化特征而生成关于对象的法线信息。此外，因为极化特征是通过对通过组合并且使用在不同视点位置处沿不同极化方向的极化图像而生成的深度图进行整合以及使用被使用整合的深度图对准的极化图像而获取的，因此第一实施方式使得能够以高精度获取极化特征。

此外，第一实施方式使得能够基于在期望位置处的极化特征生成法线图，从而使得能够根据期望视点位置生成法线图。由于该法线图对应于根据对象表面形状的特征量，因此可以通过使用该法线图来以高精度进行诸如对象识别和对象匹配处理的处理。

注意，在第一实施方式中，由于深度图通过使用极化图像而生成，因此并不一定要设置仅用于生成深度图的图像拾取部。

<2.第二实施方式>

接下来，将描述第二实施方式。第二实施方式描述通过使用生成的法线图来生成具有高空间分辨率的深度图的情况。

[2-1.第二实施方式的配置]

图15是示出本技术的第二实施方式的功能配置的图。以与第一实施方式类似的方式,图像处理装置10包括图像拾取单元21、深度图生成单元22、对准单元23、极化特征获取单元24以及法线图生成单元25。此外，第二实施方式的图像处理装置10还包括高精度深度图生成单元26。

图像拾取单元21在多个视点位置处通过在不同视点位置处沿不同极化方向的极化滤波器(例如，极化板)来拾取对象并且生成极化图像。图像拾取单元21包括多个图像拾取部例如四个图像拾取部211-1至211-4，以生成沿三个或更多个不同的极化方向的极化图像。极化板210-1被设置在图像拾取部211-1的前面。类似地，极化板210-2至210-4分别被设置在图像拾取部211-2至211-4的前面。极化板210-1至210-4沿彼此不同的极化方向被设置。图像拾取部211-1至211-4生成沿彼此不同的极化方向的极化图像。图像拾取单元21将由图像拾取部211-1至211-4生成的极化图像的图像数据输出至深度图生成单元22和对准单元23。图像拾取单元21将例如线性极化板等用作极化滤波器。注意，图像拾取单元21可以在另一配置的情况下以与上述第一实施方式类似的方式生成沿三个或更多个不同的极化方向的极化图像。

深度图生成单元22根据由图像拾取单元21生成的在不同的视点位置处的极化图像来生成指示关于对象的距离信息的深度图。深度图生成单元22通过使用在不同视点位置处的极化图像来进行立体匹配处理，以生成指示在每个像素处的深度的深度图。此外，深度图生成单元22生成针对在不同视点位置处的每对极化图像的深度图，并且对生成的深度图进行整合以生成具有比整合之前的精度更高的精度的深度图。深度图生成单元22将整合之后的深度图输出至对准单元23和法线图生成单元25。

对准单元23基于由深度图生成单元22生成的深度图来对由图像拾取单元21生成的极化图像进行对准。对准单元23基于由深度图生成单元22生成的深度图中的深度以及在先前获取的校准信息中指示的图像拾取部的位置关系来确定极化图像之间的视差，并且在每个像素处对极化图像进行对准。对准单元23将对准之后的极化图像输出至极化特征获取单元24。

极化特征获取单元24通过使用对准之后的极化图像来获取自期望视点位置的对象的极化特征。极化特征获取单元24基于在校准信息中指示的图像拾取部之间的位置关系和深度图，来计算在将图像拾取部作为期望视点位置的情况下的旋转矩阵。此外，极化特征获取单元24根据诸如多个极化图像的极化方向和亮度的信息以及指示生成极化图像的图像拾取部与期望视点位置之间的位置关系的旋转矩阵，来计算指示自期望视点位置的对象的极化特征的极化模型等式。极化特征获取单元24将获取的作为极化特征的极化模型等式输出至法线图生成单元25。

法线图生成单元25基于由极化特征获取单元24获取的自期望视点位置的对象的极化特征来生成对象的法线图。法线图生成单元25根据由极化特征获取单元24获取的极化模型等式基于在其处亮度变成最高的方位角以及极化度来计算在每个像素处的天顶角，并且生成存储指示法线方向的法线信息(方位角和天顶角)的法线图。此外，法线图生成单元25通过使用深度图来消除在法线图中的180度的不确定性，并且将消除了180度的不确定性的法线图输出至高精度深度图生成单元26。

高精度深度图生成单元26通过使用法线图来对深度图进行精度增强处理。高精度深度图生成单元26基于在由法线图生成单元25生成的法线图中指示的对象表面形状和在从深度图生成单元22输出的深度图中指示的深度，来追踪从在其处获得深度的像素开始的对象表面形状。因此，对象表面形状是从在其处获得深度的像素开始追踪的，并且法线图生成单元25估计与在其处未获得深度的像素对应的深度。此外，通过将估计深度包括在从深度图生成单元22输出的深度图中，高精度深度图生成单元26生成空间分辨率比从深度图生成单元22输出的深度图的空间分辨率更高的深度图。

[2-2.第二实施方式的操作]

接下来，将描述第二实施方式的操作。图16是示出第二实施方式的操作的流程图。以与第一实施方式类似的方式，在步骤st1至步骤st4中，图像拾取单元21生成极化图像。例如，在步骤st1中，图像拾取单元21的图像拾取部211-1生成第一极化图像。在步骤st2中，图像拾取部211-2生成第二极化图像。在步骤st3中，图像拾取部211-3生成第三极化图像。在步骤st4中，图像拾取部211-4生成第四极化图像。因此，图像拾取部211-1至211-4在不同视点位置处生成沿不同极化方向的极化图像，然后图像处理装置10进行至步骤st11至步骤st14。

在步骤st11至步骤st14中，深度图生成单元22生成深度图。深度图生成单元22根据在不同视点位置处的两个极化图像生成深度图，然后进行至步骤st20。注意，极化图像的对不限于图16所示的组合。

在步骤st20中，深度图生成单元22进行深度图整合处理。深度图生成单元22对在步骤st11至步骤st14中生成的深度图进行整合，然后进行至步骤st30。

在步骤st30中，对准单元23进行极化图像对准处理。对准单元23通过使用整合之后的深度图来对极化图像进行对准，然后进行至步骤st40。

在步骤st40中，极化特征获取单元24进行极化特征获取处理。极化特征获取单元24通过使用对准之后的极化图像来计算针对期望视点位置的极化模型等式，然后进行至步骤st50。

在步骤st50中，法线图生成单元25进行法线图生成处理。法线图生成单元25基于在期望视点位置处的极化特征来生成指示在每个像素处的对象的表面法线的法线图，然后进行至步骤st60。

在步骤st60中，高精度深度图生成单元26进行高精度深度图生成处理。高精度深度图生成单元26根据在步骤st20中生成的深度图和在步骤st50中生成的法线图来生成具有高空间分辨率的深度图。

图17(a)至图17(d)均是用于描述高精度深度图生成处理的图。注意，为了简化描述，例如将仅描述关于一条线的处理。如图17的(a)中所示，假设图像拾取部211拾取对象ob，假设图17的(b)中所示的深度图通过深度图生成单元22获得，并且假设图17的(c)中所示的法线图通过法线图生成单元25获得。此外，在深度图中，假设例如在左端像素处的深度为“2(米)”，并且假设深度未存储在用“x”标记的其他像素处。高精度深度图生成单元26基于法线图来估计对象ob的表面形状。此处，可以基于从左端开始的第二像素的法线方向确定该第二像素与从对应于左端像素的对象表面开始向图像拾取单元21的方向接近的倾斜表面对应。因此，高精度深度图生成单元26通过追踪对象ob的从左端像素开始的表面形状来估计从左端开始的第二像素的深度在例如“1.5(米)”处。此外，高精度深度图生成单元26将估计深度存储在深度图中。可以基于从左端开始的第三像素的法线方向来确定该第三像素与面向图像拾取单元21的表面对应。因此，高精度深度图生成单元26通过追踪对象ob的从左端像素开始的表面形状来估计从左端开始的第三像素的深度在例如“1(米)”处。此外，高精度深度图生成单元26将估计深度存储在深度图中。可以根据与从左端从始的第三像素对应的对象表面来确定从左端开始的第四像素与远离图像拾取单元21的方向的倾斜表面对应。因此，高精度深度图生成单元26通过追踪对象ob的从左端像素开始的表面形状来估计从左端开始的第四像素的深度在例如“1.5(米)”处。此外，高精度深度图生成单元26将估计深度存储在深度图中。类似地，从左端开始的第五像素的深度被估计为在例如“2(米)”处，并且被存储在深度图中。

因此，高精度深度图生成单元26通过使用深度图和法线图，并且基于法线图来追踪从在深度图中包括的深度开始的表面形状，从而估计深度来对深度图进行精度增强处理。因此，即使在由深度图生成单元22生成的图17的(b)中所示的深度图中一些深度缺失，高精度深度图生成单元26也可以弥补缺失的深度。因此，可以生成图17的(d)中所示的具有空间分辨率等于或高于图17的(b)中所示的深度图的空间分辨率的深度图。

如上所述，根据第二实施方式，不仅可以获得第一实施方式的操作效果，而且甚至在通过立体匹配处理难以获得深度的对象区域中，也可以通过使用基于多个极化图像生成的法线图来估计深度。因此，可以生成具有空间分辨率等于或高于由深度图生成单元22生成的深度图的空间分辨率的深度图。

<3.第三实施方式>

接下来，将描述第三实施方式。在第三实施方式中，通过使用在没有通过极化滤波器的情况下拾取的图像来生成深度图，深度图是在不受极化图像的亮度差影响的情况下生成的。

[3-1.第三实施方式的配置]

图18是示出第三实施方式的功能配置的图。图像处理装置10包括图像拾取单元21a、深度图生成单元22a、以及以与第一实施方式类似的方式，还包括对准单元23、极化特征获取单元24以及法线图生成单元25。

图像拾取单元21a在多个视点位置处通过在不同视点位置处沿不同极化方向的极化滤波器(极化板)来拾取对象并且生成极化图像。图像拾取单元21a包括多个图像拾取部例如四个图像拾取部211-1至211-4以生成沿三个或更多个不同的极化方向的极化图像。极化板210-1被设置在图像拾取部211-1的前面。类似地，极化板210-2至210-4分别被设置在图像拾取部211-2至211-4的前面。极化板210-1至210-4沿彼此不同的极化方向被设置。图像拾取部211-1至211-4生成沿彼此不同的极化方向的极化图像。图像拾取单元21a将由图像拾取部211-1至211-4生成的极化图像的图像数据输出至对准单元23。图像拾取单元21a将例如线性极化板等用作极化滤波器。注意，图像拾取单元21a可以在另一配置的情况下以与上述第一实施方式类似的方式生成沿三个或更多个不同的极化方向的极化图像。

此外，图像拾取单元21a还包括在不通过极化滤波器的情况下或通过沿相同极化方向的极化滤波器而进行图像拾取的图像拾取部。注意，图18示出了包括在不通过极化滤波器的情况下进行图像拾取的图像拾取部211-5和211-6的配置。极化滤波器未被设置在图像拾取部211-5和211-6的前面，并且图像拾取部211-5和211-6生成非极化图像。图像拾取单元21a将由图像拾取部211-5至211-6生成的非极化图像输出至深度图生成单元22a。

图19(a)至图19(e)均是示出图像拾取单元21a中的图像拾取部的布置的图。图像拾取单元21a具有以下配置，在该配置中，图像拾取部211-1至211-4被布置在如图19的(a)中所示的矩形的四个角处，以及图像拾取部211-5被布置在矩形中布置的图像拾取部211-1至211-4的左侧，以及图像拾取部211-6被布置在右侧。注意，图19(a)至图19(e)示出了没有指示极化方向的箭头的图像拾取部是生成非极化图像的图像拾取部。

此外，图像拾取单元21a可以具有以下配置，在该配置中，生成极化图像的图像拾取部被沿如图19的(b)和(c)中所示的直线布置，以及生成非极化图像的图像拾取部被布置在沿直线布置的图像拾取部的左侧和右侧。

此外，图像拾取单元21a可以具有以下配置，在该配置中，设置了生成非极化图像的更多个图像拾取部，对针对每对非极化图像生成的深度图进行整合，并且可以生成更高精度深度图。例如，使用以下配置，在该配置中，如图19的(d)中所示，生成非极化图像的两个图像拾取部被沿竖直方向设置在被布置在矩形中并且生成极化图像的图像拾取部的左边和右边，以及可以对针对每对非极化图像生成的多个深度图进行整合以生成高精度深度图。此外，可以使用以下配置，在该配置中，如图19的(e)中所示，生成非极化图像的图像拾取部被设置为围绕被布置在矩形中并且生成极化图像的图像拾取部，以及可以对针对每对非极化图像生成的多个深度图进行整合以生成高精度深度图。注意，可以以任何方式布置生成非极化图像的图像拾取部而不限于图19的(d)和(e)中所示的布置，只要可以对多个深度图进行整合以生成高精度深度图即可。

深度图生成单元22a根据由图像拾取单元21a生成的非极化图像来生成指示关于对象的距离信息的深度图。深度图生成单元22a通过使用在不同视点位置处的非极化图像来进行立体匹配处理并且生成指示在每个像素处的深度的深度图。深度图生成单元22a将生成的深度图输出至对准单元23和法线图生成单元25。此外，当存在多对非极化图像时，深度图生成单元22a可以生成针对各个对的深度图，进行如上所述的深度图整合处理，从而生成高精度深度图。

对准单元23基于由深度图生成单元22a生成的深度图来对由图像拾取单元21a生成的极化图像进行对准。对准单元23基于由深度图生成单元22a生成的深度图中的深度以及使用先前获取的校准信息指示的图像拾取部的位置关系，来确定极化图像之间的视差并且对极化图像进行对准。对准单元23将对准之后的极化图像输出至极化特征获取单元24。

极化特征获取单元24通过使用对准之后的极化图像来获取自期望视点位置的对象的极化特征。极化特征获取单元24基于使用校准信息指示的图像拾取部之间的位置关系和深度图，来计算在将图像拾取部作为期望视点位置的情况下的旋转矩阵。此外，极化特征获取单元24根据诸如多个极化图像的极化方向和亮度的信息以及指示生成这些极化图像的图像拾取部与期望视点位置之间的位置关系的旋转矩阵，来计算指示自期望视点位置的对象的极化特征的极化模型等式。极化特征获取单元24将获取的作为极化特征的极化模型等式输出至法线图生成单元25。

法线图生成单元25基于由极化特征获取单元24获取的自期望视点位置的对象的极化特征来生成对象的法线图。法线图生成单元25根据由极化特征获取单元24获取的极化模型等式基于在其处亮度变成最高的方位角以及极化度来计算针对每个像素的天顶角，并且生成存储指示法线方向的法线信息(方位角和天顶角)的法线图。此外，法线图生成单元25通过使用深度图来消除在法线图中的180度的不确定性，并且生成消除了180度的不确定性的法线图。

[3-2.第三实施方式的操作]

接下来，将描述第三实施方式的操作。图20是示出第三实施方式的操作的流程图。以与第一实施方式类似的方式，在步骤st1至步骤st4中，图像拾取单元21a生成极化图像。例如，在步骤st1中，图像拾取单元21a的图像拾取部211-1生成第一极化图像。在步骤st2中，图像拾取部211-2生成第二极化图像。在步骤st3中，图像拾取部211-3生成第三极化图像。在步骤st4中，图像拾取部211-4生成第四极化图像。此外，在步骤st5至步骤st6中，图像拾取单元21a在没有通过极化滤波器的情况下生成非极化图像。例如，在步骤st5中，图像拾取单元21a的图像拾取部211-5生成第一非极化图像。在步骤st6中，图像拾取部211-6生成第二非极化图像。因此，在图像处理装置10中，图像拾取部211-1至211-6在不同视点位置处生成沿不同极化方向的多个极化图像以及在不同视点位置处的非极化图像，然后图像处理装置10进行至步骤至st15。

在步骤st15中，深度图生成单元22a生成深度图。深度图生成单元22a通过使用在不同视点位置处的第一非极化图像和第二非极化图像来进行立体匹配处理，生成深度图，然后进行至步骤st30。

在步骤st30中，对准单元23进行极化图像对准处理。对准单元23通过使用在步骤st15中生成的深度图来对各个极化图像进行对准，然后进行至步骤st40。

在步骤st40中，极化特征获取单元24进行极化特征获取处理。极化特征获取单元24通过使用对准之后的极化图像来计算针对期望视点位置的极化模型等式，然后处理进行至步骤st50。

在步骤st50中，法线图生成单元25进行法线图生成处理。法线图生成单元25基于在期望视点位置处的极化特征，来针对每个像素生成指示对象的表面法线的法线图。

如上所述，根据第三实施方式，由于使用非极化图像生成深度图，因此，与使用可以产生取决于极化方向的亮度差的极化图像的情况相比，可以以高精度容易地生成深度图。此外，以与第一实施方式类似的方式，可以以高精度针对每个像素获取在期望视点位置处的极化特征，而不会造成时间分辨率和空间分辨率的降低。

<4.第四实施方式>

接下来，将描述第四实施方式。第四实施方式描述了使用获取的在期望视点位置处的极化特征来进行处理的情况。

[4-1.第四实施方式的配置]

图21是示出第四实施方式的功能配置的图。以与第一实施方式类似的方式,图像处理装置10包括图像拾取单元21、深度图生成单元22、对准单元23和极化特征获取单元24。此外，第四实施方式的图像处理装置10还包括极化特征使用单元27。

图像拾取单元21在多个视点位置处通过在不同视点位置处沿不同极化方向的极化滤波器(例如，极化板)来拾取对象并且生成极化图像。图像拾取单元21包括多个图像拾取部例如四个图像拾取部211-1至211-4，以生成沿三个或更多个不同的极化方向的极化图像。极化板210-1被设置在图像拾取部211-1的前面。类似地，极化板210-2至210-4分别被设置在图像拾取部211-2至211-4的前面。极化板210-1至210-4沿彼此不同的极化方向设置。图像拾取部211-1至211-4生成沿彼此不同的极化方向的极化图像。图像拾取单元21将由图像拾取部211-1至211-4生成的极化图像的图像数据输出至深度图生成单元22和对准单元23。图像拾取单元21将例如线性极化板等用作极化滤波器。注意，图像拾取单元21可以在另一配置的情况下以与上述第一实施方式类似的方式生成沿三个或更多个不同的极化方向的极化图像。

深度图生成单元22根据由图像拾取单元21生成的在不同的视点位置处的极化图像来生成指示关于对象的距离信息的深度图。深度图生成单元22通过使用在不同视点位置处的极化图像来进行立体匹配处理以生成在指示在每个像素处的深度的深度图。此外,深度图生成单元22生成针对在不同视点位置处的每对极化图像的深度图并且对生成的深度图进行整合以生成具有比整合之前的精度更高的精度的深度图。深度图生成单元22将整合之后的深度图输出至对准单元23和法线图生成单元25。

对准单元23基于由深度图生成单元22生成的深度图来对由图像拾取单元21生成的极化图像进行对准。对准单元23基于由深度图生成单元22生成的深度图中的深度以及在先前获取的校准信息中指示的图像拾取部的位置关系来确定极化图像之间的视差，并且在每个像素处对极化图像进行对准。对准单元23将对准之后的极化图像输出至极化特征获取单元24。

极化特征获取单元24通过使用对准之后的极化图像来获取自期望视点位置的对象的极化特征。极化特征获取单元24基于在校准信息中指示的图像拾取部之间的位置关系和深度图来计算在将图像拾取部作为期望视点位置的情况下的旋转矩阵。此外，极化特征获取单元24根据诸如多个极化图像的极化方向和亮度的信息以及指示生成极化图像的图像拾取部与期望视点位置之间的位置关系的旋转矩阵，来计算指示自期望视点位置的对象的极化特征的极化模型等式。极化特征获取单元24将获取的作为极化特征的极化模型等式输出至极化特征使用单元27。

极化特征使用单元27使用由极化特征获取单元24获取的极化特征来对由图像拾取单元21生成的图像进行修改处理，比如调整在期望视点位置处的图像的反射分量。具体地，进行诸如用于生成任意方位角的极化图像的处理、用于消除反射分量的处理以及用于调整镜面反射分量并且调整光泽度的处理的修改处理。此外，极化特征使用单元27可以根据对象的表面形状使用极化特征作为图像特征量来进行诸如在考虑对象的表面形状以及识别三维对象的情况下的处理的处理。

[4-2.第四实施方式的操作]

接下来，将描述第四实施方式的操作。图22是示出第四实施方式的操作的流程图。以与第一实施方式类似的方式，在步骤st1至步骤st4中，图像拾取单元21生成极化图像。例如，在步骤st1中，图像拾取单元21的图像拾取部211-1生成第一极化图像。在步骤st2中，图像拾取部211-2生成第二极化图像。在步骤st3中，图像拾取部211-3生成第三极化图像。在步骤st4中，图像拾取部211-4生成第四极化图像。因此，在图像处理装置10中，图像拾取部211-1至211-4在不同视点位置处生成沿不同极化方向的极化图像，然后图像处理装置10分别进行至步骤st11至步骤st14。

在步骤st11至步骤st14中，深度图生成单元22生成深度图。深度图生成单元22根据在不同视点位置处的两个极化图像生成深度图，然后进行至步骤st20。注意，极化图像的对不限于图22所示的组合。

在步骤st20中，深度图生成单元22进行深度图整合处理。深度图生成单元22对在步骤st11至步骤st14中生成的深度图进行整合，然后进行至步骤st30。

在步骤st30中，对准单元23进行极化图像对准处理。对准单元23通过使用整合之后的深度图来对极化图像进行对准，然后进行至步骤st40。

在步骤st40中，极化特征获取单元24进行极化特征获取处理。极化特征获取单元24通过使用对准之后的极化图像来计算针对期望视点位置的极化模型等式，然后处理进行至步骤st70。

在步骤st70中，极化特征使用单元27进行极化特性使用处理。极化特征使用单元27使用获取的极化特征来例如进行图像修改处理。图23(a)至图23(b)、图24(a)至图24(b)以及图25(a)至图25(b)均示出使用极化特征来调整图像的反射分量作为修改处理的情况。图23的(a)、图24的(a)和图25的(a)均示出基于在步骤st40中计算的极化模型等式的亮度与方位角之间的关系。此处，高达最低亮度imin的范围是不管极化状态如何亮度不改变的分量，而从最低亮度imin至最高亮度imax的亮度范围是亮度根据极化状态而改变的范围。因此，根据方位角控制亮度使得可以以伪方式获得与pl滤波器对应的滤波效果，并且如图23的(b)所示，通过沿期望极化方向的极化滤波器的极化图像可以是根据正常拾取的图像生成的。

此外，高达最低亮度imin的范围是不管极化状态如何亮度不改变的分量并且与非极化分量对应，而从最低亮度imin至最高亮度imax的亮度范围是亮度根据极化状态而改变的范围并且与极化分量对应。因此，如图24的(b)中所示，通过从正常拾取的图像消除与极化分量对应的亮度分量，可以生成消除了反射分量的拾取图像。

此外，高达最低亮度imin的范围是不管极化状态如何亮度不改变的分量并且与非极化分量对应，并且该范围可以主要地视为漫反射分量。此外，从最低亮度imin至最高亮度imax的亮度范围可以主要视为镜面反射分量。因此，如图25的(b)中所示，通过抑制镜面反射分量，可以生成抑制光泽度的拾取图像。可替代地，通过突出镜面反射分量，可以生成具有增强的光泽度的拾取图像。

此外，极化特征使用单元27可以通过使用由极化特征获取单元计算的极化特征来计算图像特征量，并且可以通过使用图像特征量来在考虑对象的表面形状的情况下进行处理，比如对三维对象的匹配处理以及对三维对象的识别处理。接下来，作为考虑对象的表面形状的处理，将描述对三维对象进行匹配处理的操作。

极化特征使用单元27根据在每个像素处极化图像中的对象的表面形状来使用极化特征例如以计算图像特征量。图26(a)至图26(c)均是用于描述计算图像特征量的图。图26的(a)和(b)示出了极化方向的角与在极化图像中的图像特征量的特征量计算对象像素(在下文简称为“对象像素”)中的亮度之间的关系。图26的(b)示出了例如照明光比图26的(a)的照明光更亮的情况。注意，图26(a)至图26(c)分别示出极化角为0度、45度、90度和135度的情况。此外，当在对象像素处的极化角为0度时的亮度为i0°和i'0°，当极化角为45度时的亮度为i45°和i'45°，当极化角为90度时的亮度为i90°和i'90°，以及当极化角为135度时的亮度为i135°和i'135°。因此，极化图像的亮度因照明等而改变。因此，极化特征使用单元27对亮度进行归一化，以使得可以确定即使亮度不同极化特征是否也具有相同的特征。极化特征使用单元27计算在每个极化角处的亮度的平均值，用在每个极化角处的亮度除以计算的平均亮度，并且计算归一化亮度。注意，图26的(c)示出归一化之后的亮度，并且归一化参考水平对应于平均亮度。

极化特征使用单元27将归一化之后的每个极化角的亮度设置为图像特征量。注意，等式(18)示出当具有0度、45度、90度和135度的极化角的极化图像被获取时的图像特征量。

[数学公式11]

以这种方式计算的图像特征量是指示在与对象像素对应的对象位置处的表面形状的信息。此外，极化特征使用单元27使用计算的图像特征量来对三维对象进行匹配处理。图27(a)至图27(b)均示出当极化特征使用单元进行匹配处理时的操作。

极化特征使用单元27通过使用图像特征量来确定在一个图像中检测到的哪个特征点与在另一图像中检测到的用于匹配的特征点(在下文称为“对象特征点”)匹配。特征点是例如基于图像特征量来检测的，图像特征量是基于在0度、45度、90度和135度的极化角υ处的亮度计算的。此处，对象特征点tp0的图像特征量是[f⁰0°,f⁰45°,f⁰90°,f⁰135°]。此外，另一特征点tqj的图像特征量是[f^j0°,f^j45°,f^j90°,f^j135°]。注意，“j”是表示在另一特征点中的第j特征点的变量。

极化特征使用单元27确定在其处图像特征量的矢量之间的距离最小的点为匹配点。例如，通过进行等式(19)的计算，极化特征使用单元27将在其处对象特征点与图像特征量之差的平方之和变成最小的特征点j与其他特征点区分，并且将该特征点设置为匹配点。

[数学公式12]

如上所述，根据第四实施方式，通过使用计算的极化特征，可以容易地进行诸如各种类型的修改处理以及在考虑对象的表面形状的情况下的处理的处理。此外，以与第一实施方式类似的方式，可以以高精度针对每个像素获取在期望视点位置处的极化特征而不会造成时间分辨率和空间分辨率的降低。

<5.另一实施方式>

接下来，将描述另一实施方式。另一实施方式示出在不生成深度图的情况下生成法线图的情况。

图28是示出另一实施方式的功能配置的图。图像处理装置10包括图像拾取单元21、对准单元23a以及法线图生成单元25a。

图像拾取单元21在多个视点位置处通过在不同视点位置处沿不同极化方向的极化滤波器来拾取对象并且生成极化图像。图像拾取单元21包括多个图像拾取部例如四个图像拾取部211-1至211-4，以生成沿三个或更多个不同的极化方向的极化图像。极化板210-1被设置在图像拾取部211-1的前面。类似地，极化板210-2至210-4分别被设置在图像拾取部211-2至211-4的前面。极化板210-1至210-4沿彼此不同的极化方向被设置。图像拾取部211-1至211-4生成沿彼此不同的极化方向的极化图像。图像拾取单元21将由图像拾取部211-1至211-4生成的极化图像的图像数据输出至深度图生成单元22和对准单元23a。

图像拾取单元21将例如线性极化板用作极化板。此外，图像拾取单元21不仅可以使用线性极化板而且可以使用线性极化板和由四分之一波长板制成的圆形极化板。此外，图像拾取单元21可以在线性极化板与图像拾取部之间设置有去极化板。注意，图像拾取单元21可以在另一配置的情况下以与上述第一实施方式类似的方式生成沿三个或更多个不同的极化方向的极化图像。

对准单元23a对由图像拾取单元21生成的极化图像进行对准。对准单元23a使用图像特征来对极化图像进行对准而不使用深度图。对准单元23a例如在整个屏幕上通过单应性来近似地对图像之间的移动等进行建模，并且基于该模型来对极化图像进行对准。此外，例如，当从不同的视点位置拾取了静态对象时，将获得其中对象将在拾取的图像之间移动的图像。因此，对准单元23a可以检测光流等，并且基于检测结果来对极化图像进行对准。例如，如图29(a)至图29(b)所示，在近处的对象(例如，汽车)和远处的对象(例如，树)被混合在同一屏幕上的情况下，如图29的(a)中所示，当在整个屏幕上检测光流时，难以以高精度检测光流。因此，如图29的(b)中所示，当屏幕被划分成多个块并且在每个块中检测光流时，可以针对近处的对象和远处的对象中的每个以高精度检测光流。因此，当使用在每个块中检测到的光流时，可以以高精度对极化图像进行对准。

基于对准之后的沿三个或更多个极化方向的极化图像，法线图生成单元25a从极化图像的极化方向和亮度获得亮度与极化角之间的关系，以确定在其处亮度变成最高的方位角α。此外，法线图生成单元25a通过使用从亮度与极化角之间的关系获得的最高亮度和最低亮度来计算极化度ρ，并且基于指示极化度与天顶角之间的关系的特征曲线来确定与计算的极化度ρ对应的天顶角。因此，基于对准之后的沿三个或更多个极化方向的极化图像，法线图生成单元25a获得对象在每个像素位置处的法线信息(方位角α和天顶角θ)以生成法线图。

在这样的另一实施方式中，由于不必生成深度图，因此可以容易地生成法线图。注意，由于未生成深度图，因此生成的法线图具有180度的不确定性。

<6.应用>

接下来，将描述图像处理装置(图像处理方法)的应用。图30是示出使用本技术的图像处理装置的车辆控制系统的示意性配置的框图。车辆控制系统90包括经由通信网络920连接的多个控制单元和检测单元。在图30所示的示例中，车辆控制系统90包括驱动系统控制单元931、车身系统控制单元932、电池控制单元933、车外信息检测单元934、无线通信单元935和集成控制单元940。通信网络920可以是例如符合任意标准的车载通信网络，例如控制器局域网(can)、局域互联网络(lin)、局域网(lan)和flexray(注册商标)。此外，输入单元951、音频输出单元952和显示单元953被连接至集成控制单元940。

每个控制单元包括根据各种程序进行算术处理的微型计算机、存储要由微型计算机执行的程序或要用于各种计算的参数等的存储单元以及驱动要被控制的各种装置的驱动电路。

驱动系统控制单元931根据各种程序来控制与车辆驱动系统相关的装置的操作。例如，驱动系统控制单元931用作：用于生成车辆的驱动力的驱动力生成设备，例如内燃机或驱动马达；用于将驱动力传送至车轮的驱动力传送机构；以及用于调节车辆的方向盘角度的转向机构。此外，驱动系统控制单元931可以具有如诸如用于生成车辆的制动力的制动设备的控制设备的功能，以及如诸如防抱死制动系统(abs)和电子稳定性控制(esc)的控制设备的功能。

车辆状态检测单元9311连接至驱动系统控制单元931。车辆状态检测单元9311包括例如检测车身的轴旋转运动的角速度的陀螺仪传感器、检测车辆的加速度的加速度传感器、或用于检测加速器踏板的操作量、制动踏板的操作量、转向轮的转向角、引擎速度或驱动速度的传感器。驱动系统控制单元931使用从车辆状态检测单元9311输入的信号来进行算术处理，并且控制内燃机、驱动电机、电动助力转向设备、制动设备等。

车身系统控制单元932根据各种程序来控制安装在车身中的各种设备的操作。例如，车身系统控制单元932用作无钥匙进入系统、智能钥匙系统、电动窗装置或诸如前照灯、后灯、刹车灯、闪光灯或雾灯的各种灯的控制装置。在这种情况下，从代替钥匙的便携式装置发送的电磁波或者各种开关的信号可以被输入到车身系统控制单元932。车身系统控制单元932接收电磁波或信号的输入，并且控制车辆的设备例如门锁设备、电动窗设备和灯。

电池控制单元933根据各种程序来控制作为用于驱动电机的电力供应源的二次电池9331。例如，从包括二次电池9331的电池装置向电池控制单元933输入诸如电池温度、电池输出电压或电池剩余容量的信息。电池控制单元933通过使用这些信号来进行算术处理，并且对二次电池9331进行温度调节控制或者对包括在电池装置中的冷却装置等进行控制。

车外信息检测单元934检测配备有车辆控制系统90的车辆的外部的信息。本技术的图像处理装置10用于车外信息监测单元934。

图31是示出安装图像拾取单元的示例的图。图像处理装置10的图像拾取单元21被设置在例如车辆80的前鼻部、侧视镜、后保险杠、后门和乘员舱内的挡风玻璃的上部中的至少一个位置处。设置在前鼻部中的图像拾取单元21-a和设置在乘员舱内的挡风玻璃的上部中的图像拾取单元21-b主要获取车辆80的前面的图像。设置在侧视镜中的图像拾取单元21-c和21-d主要获取车辆80的侧部的图像。设置在后保险杠或后门中的图像拾取单元21-e主要获取车辆80后面的图像。注意，图30示出图像拾取单元21-a至21-e中的每个的拍摄范围的一个示例。图像拾取范围ar-a指示设置在前鼻部中的图像拾取单元21-a的图像拾取范围。图像拾取范围ar-c和ar-d分别指示设置在侧视镜中的图像拾取单元21-c和21-d的图像拾取范围。图像拾取范围ar-e指示设置在后保险杠或后门中的图像拾取单元21-e的图像拾取范围。

返回图30，外部车辆信息检测单元934拾取车辆的周围区域并且获取极化图像。此外，外部车辆信息检测单元934从获取的极化图像获取对象的极化特征。此外，外部车辆信息检测单元934通过使用获取的极化特征来进行诸如生成可用于车辆控制的信息等的处理。

无线通信单元935经由诸如专用短程通信(dsrc)(注册商标)的无线通信网络与车辆的外部例如其他车辆以及管理道路状况的管理中心等通信。然后，无线通信单元935将接收到的信息输出至集成控制单元940。此外，无线通信单元935将由外部车辆信息检测单元934获取的诸如极化特征的信息传送至其他车辆、管理中心等。注意，无线通信单元935可以经由诸如无线lan的无线通信网络、用于移动电话的无线通信网络例如3g、lte和4g的无线通信网络来与管理中心通信。此外，无线通信单元935可以接收全球导航卫星系统(gnss)的信号或其他信号并且进行定位，并且将定位结果输出至集成控制单元940。

输入单元951、音频输出单元952和显示单元953被连接至集成控制单元940。输入单元951是例如由使用者可以对其进行输入操作的设备例如触摸面板、按钮、麦克风、开关或杆来实现。输入单元951基于由使用者输入的信息等来生成输入信号并且将输入信号输出至集成控制单元940。

音频输出单元952基于来自集成控制单元940的音频信号通过输出音频来向车辆使用者听觉上通知信息。显示单元953基于来自集成控制单元940的图像信号来显示图像并且向车辆使用者视觉上通知信息。

集成控制单元940具有中央处理单元(cpu)、只读存储器(rom)、随机存取存储器(ram)等。只读存储器(rom)存储要由中央处理单元(cpu)执行的各种程序。随机存取存储器(ram)存储诸如算数结果或传感器值的各种参数和信息。cpu执行存储在rom中的各种程序，并且根据来自输入单元951的输入信号、通过经由通信网络920、外部车辆信息检测单元和无线通信单元与每个控制单元通信而获取的信息、以及存储在ram中的信息来控制车辆控制系统90中的总体操作。此外，集成控制单元940生成对要被听觉上通知车辆使用者的信息进行指示的音频信号并且将音频信号输出至音频输出单元952，并且生成视觉上通知信息的图像信号并且将图像信号输出至显示单元953。此外，集成控制单元940通过使用无线通信单元935来与存在于车辆外部的各种设备例如其他车辆和管理中心通信。此外，集成控制单元940基于存储在rom或ram中的地图信息以及从无线通信单元935获取的定位结果来进行车辆驾驶支持。

注意，在图30所示的示例中，经由通信网络920连接的至少两个控制单元可以被集成为一个控制单元。可替代地，每个单独的控制单元可以包括多个控制单元。此外，车辆控制系统90可以包括其他未示出的控制单元。此外，在以上描述中，要被控制单元中的任何一个控制单元进行的功能中的一些功能或全部功能可以由另一控制单元进行。换言之，只要信息被经由通信网络920传送和接收，就可以由控制单元中的任何一个控制单元进行预定算术处理。

在这样的车辆控制系统中，当本技术的图像处理装置被应用于例如外部车辆信息检测单元时，外部车辆信息检测单元可以以高精度进行对象识别等，并且生成具有高空间分辨率和高精度的深度图。此外，通过进行各种类型的修改处理如例如与pl滤波器对应的滤波处理、消除反射分量以及调整光泽度，可以生成具有抑制了反射和炫光的拾取图像。这使得可以通过使用诸如由外部车辆信息检测单元生成的深度图和修改处理之后的图像的信息来以高精度检测障碍物、把握到障碍物的距离等，并且可以构造能够进行更安全的驾驶的车辆控制系统。

此外，上述图像处理装置可以是包括图像拾取设备或图像拾取功能的电子设备等。此外，说明书中描述的一系列处理可以通过硬件、软件或硬件和软件两者的组合配置来执行。在通过软件执行处理的情况下，记录处理序列的程序被安装在并入用于执行的专用硬件中的计算机中的存储器中。可替选地，可以在能够执行各种处理的通用计算机中安装并且执行用于执行上述处理的程序。

例如，程序可以被预先记录在作为记录介质的硬盘、固态驱动器(ssd)或只读存储器(rom)中。可替选地，程序可以被暂时或永久地存储(记录)在可移除记录介质例如软盘、光盘只读存储器(cd-rom)、磁光(mo)盘、数字多功能盘(dvd)、蓝光盘(bd)(注册商标)、磁盘和半导体存储器卡中。这样的可移除记录介质可以被设置为所谓的封装软件。

此外，除了将来自可移除介质的程序安装到计算机中，还可以经由诸如局域网(lan)和因特网的网络无线地或通过电线而将程序从下载站点传送至计算机。计算机可以接收以该方式传送的程序，并且将程序安装在记录介质例如内置硬盘上。

注意，本说明书中描述的效果仅是说明性的而不是限制性的，并且可以存在未被描述的另外的效果。此外，本技术不应当被理解为受限于上述实施方式，而例如上述实施方式可以被组合。本技术的实施方式以说明的形式公开了本技术，并且明显的是本领域的技术人员可以在不背离本技术的精神的情况下对实施方式进行修改和替换。即，为了确定本技术的精神，应当考虑权利要求。

此外，本技术的图像处理装置还可以具有以下配置。

(1)一种图像处理装置，包括：

对准单元，被配置成基于指示关于对象的距离信息的深度图，来对通过在多个视点位置处通过在不同的视点位置处沿不同极化方向的极化滤波器拾取对象而获得的极化图像进行对准；以及

极化特征获取单元，被配置成通过使用由所述对准单元对准的所述极化图像来获取自期望视点位置的所述对象的极化特征。

(2)根据(1)所述的图像处理装置，还包括深度图生成单元，被配置成根据通过在所述多个视点位置处拾取所述对象而获得的图像来生成所述深度图。

(3)根据(2)所述的图像处理装置，其中，

所述深度图生成单元生成针对在所述多个视点位置处的所述图像中的每个图像组合的所述深度图并且对所生成的深度图进行整合，以及

所述对准单元基于在由所述深度图生成单元获得的整合之后的所述深度图，来对所述极化图像进行对准。

(4)根据(2)或(3)所述的图像处理装置，其中，作为通过在所述多个视点位置处拾取所述对象而获得的所述图像，所述深度图生成单元使用所述极化图像。

(5)根据(2)或(3)所述的图像处理装置，其中，作为通过在所述多个视点位置处拾取所述对象而获得的所述图像，所述深度图生成单元使用在不通过所述极化滤波器或通过沿相同极化方向的极化滤波器的情况下而拾取的图像。

(6)根据(1)至(5)中的任意一项所述的图像处理装置，其中，所述极化特征获取单元基于所述多个对准的极化图像的极化方向和亮度，来获取自期望视点位置所述对象的极化特征。

(7)根据(1)至(6)中的任意一项所述的图像处理装置，还包括法线图生成单元，被配置成基于由所述极化特征获取单元计算的所述极化特征来生成在所述期望视点位置处所述对象的法线图。

(8)根据(7)所述的图像处理装置，其中，所述法线图生成单元基于由所述对准单元使用的所述深度图来生成消除了极化分析中的180度的不确定性的所述法线图。

(9)根据(7)或(8)所述的图像处理装置，还包括高精度深度图生成单元，被配置成对由所述对准单元使用的所述深度图和由所述法线图生成单元生成的所述法线图进行整合以生成具有比所述对准单元使用的所述深度图更高精度的深度图。

(10)根据(1)至(9)中的任意一项所述的图像处理装置，还包括图像拾取单元，被配置成通过在所述多个视点位置处通过在不同的视点位置处沿不同极化方向的极化滤波器拾取所述对象来生成所述极化图像。

(11)根据(10)所述的图像处理装置，其中，

在所述图像拾取单元中，图像拾取部被设置在所述多个视点位置处，以及

所述图像拾取部被设置有沿不同极化方向的所述极化滤波器以在所述多个视点位置处生成所述极化图像。

(12)根据(10)所述的图像处理装置，其中，

在所述图像拾取单元中，多个透镜被沿与光轴方向垂直的方向布置在成像元件的光入射表面侧上，以及

所述透镜被设置有沿不同极化方向的所述极化滤波器以在所述多个视点位置处生成所述极化图像。

(13)根据(10)所述的图像处理装置，其中，所述图像拾取单元还包括图像拾取部，所述图像拾取部被配置成在不通过所述极化滤波器或通过沿相同极化方向的极化滤波器的情况下而在所述多个视点位置处拾取所述对象以生成图像。

(14)根据(1)至(12)中的任意一项所述的图像处理装置，还包括极化特征使用单元，被配置成通过使用由所述极化特征获取单元计算的所述极化特征来进行图像处理。

(15)根据(14)所述的图像处理装置，其中，所述极化特征使用单元使用由所述极化特征获取单元计算的所述极化特征来生成调节了在期望视点位置处的图像的反射分量的图像。

(16)根据(14)或(15)所述的图像处理装置，其中，所述极化特征使用单元通过使用由所述极化特征获取单元计算的所述极化特征来计算图像特征量，并且使用所述图像特征量来进行在考虑所述对象的表面形状的情况下的处理。

工业实用性

在本技术的图像处理装置和图像处理方法中，基于指示关于对象的距离信息的深度图来对通过在多个视点位置处通过在不同的视点位置处沿不同极化方向的极化滤波器而拾取对象获得的极化图像进行对准。此外，通过使用对准的极化图像，获取自期望视点位置的对象的极化特征。因此，如果基于该极化特征计算法线，则可以以高精度从期望位置检测对象的表面形状。此外，通过使用获取的极化特征，可以在不拾取在期望视点位置处的图像的情况下在调整极化滤波器的极化方向的同时获取期望极化图像。因此，其适用于诸如获取对象的三维形状的设备以及对拾取的图像进行修改处理的设备等的设备。

附图标记列表

10图像处理装置

21、21a、21-a至21-e图像拾取单元

22、22a深度图生成单元

23、23a对准单元

24极化特征获取单元

25、25a法线图生成单元

26高精度深度图生成单元

27修改处理单元

90车辆控制系统

210-1至210-4、210-n、210-p、223极化板

211-1至211-6、211-n、211-p、211-p图像拾取部

221图像传感器

222透镜