拍摄装置以及图像处理装置的制作方法

以下的公开涉及对图像进行拍摄的拍摄装置等。

背景技术

近年，在便携式电话机或平板型pc(personalcomputer，个人电脑)等信息处理装置中，用户对安全的认识越来越高。与此相伴，开发了各种认证技术。近年，也开发了虹膜认证技术等可靠性非常高的认证技术，且具备该虹膜认证技术的便携式电话机也在出售。

在专利文献1中公开了具备上述那样的虹膜认证技术的本人认证装置的一个例子。在专利文献1中，公开了一种能够进行使用可见光图像的认证(例如，脸认证)和使用红外光图像的认证(例如，虹膜认证)的小型的本人认证装置。该本人认证装置具备检测可见光以及红外光并分别输出为可见光图像以及红外光图像的单一的拍摄部，并分别利用可见光图像以及红外线图像来进行本人的认证。具体地，拍摄部包含除了红颜色(r)、绿颜色(g)以及蓝颜色(b)之外还接收红外线(ir)的受光部。

[在先技术文献]

[专利文献]

[专利文献1]日本公开专利公报“日本特开2005-339425号公报(2005年12月8日公开)”

技术实现要素：

发明要解决的课题

在此，一般地，在拍摄的红外线图像中，对于形成成为图像处理的对象的像(例如，虹膜的像)的光来说，其绝大多数由漫反射成分构成。另一方面，对于形成成为在图像处理中应该去除的噪声的像(应该成为处理对象外的映入像。例如，映入到虹膜的影像)的光来说，其绝大多数由镜面反射成分构成。因此，在使用红外线图像来高精度地进行认证的情况下，需要从形成红外线图像的光中适当地去除镜面反射成分。

然而，在专利文献1中，完全没有关于镜面反射成分的去除的公开。因此，在专利文献1的本人认证装置中，在红外线图像中包含映入像的情况下，有可能映入像也被确定为处理对象的影像的一部分，从而进行误认证。

本公开的一个方式的目的在于，实现一种在进行对拍摄的红外光图像的图像处理的情况下，能够减少除红外光图像中包含的处理对象的影像之外的映入像的影响的拍摄装置。

用于解决课题的技术方案

为了解决上述课题，本公开的一个方式所涉及的拍摄装置是一种具备通过二维排列的多个像素来对图像进行拍摄的拍摄元件的拍摄装置，上述拍摄元件包含：可见光图像拍摄区域，通过接收可见光来对可见光图像进行拍摄；以及红外光图像拍摄区域，通过接收红外光来对红外光图像进行拍摄，上述拍摄装置还具备：偏振滤光器，所述偏振滤光器包含多个偏振单元，上述偏振单元包含主轴方向相互不同的多个偏振元件，该多个偏振单元与构成上述红外光图像拍摄区域的上述多个像素对应地二维排列。

发明效果

根据本公开的一个方式，在进行对拍摄的红外光图像的图像处理的情况下，能够减少除红外光图像中包含的处理对象的影像之外的映入像的影响。

附图说明

图1是示出实施方式1所涉及的拍摄部的红外光图像拍摄区域侧的结构的一个例子的图，(a)是示出拍摄元件的结构的概略的图，(b)是示出红外光图像拍摄区域的结构的概略的剖视图，(c)是示出偏振滤光器的结构的概略的平面图。

图2是示出实施方式1所涉及的便携式信息终端的结构的一个例子的图，(a)示出了便携式信息终端的外观的一个例子，(b)示出了便携式信息终端具备的拍摄部的外观的一个例子，(c)示出了由拍摄部拍摄的图像的一个例子。

图3是用于对虹膜认证进行说明的图。

图4是示出实施方式1所涉及的拍摄部的可见光图像拍摄区域侧的结构的一个例子的图，(a)是示出拍摄元件的结构的概略的图，(b)是示出可见光图像拍摄区域的结构的概略的剖视图，(c)是示出彩色滤光器的结构的概略的平面图。

图5是示出实施方式1所涉及的便携式信息终端的结构的功能框图。

图6是示出实施方式1所涉及的控制部进行的虹膜认证处理的流程图。

图7的(a)是示出实施方式1的变形例所涉及的偏振滤光器的结构的图，(b)是示出实施方式1的另一个变形例所涉及的偏振滤光器的结构的图。

图8是示出实施方式2所涉及的便携式信息终端的结构的一个例子的图，(a)示出了便携式信息终端的外观的一个例子，(b)是示出便携式信息终端具备的偏振滤光器的结构的概略的平面图。

图9是示出实施方式2所涉及的便携式信息终端的结构的功能框图。

图10是示出实施方式2所涉及的拍摄部的结构的概略的剖视图。

图11是示出实施方式2所涉及的控制部进行的虹膜认证处理的流程图。

图12是示出实施方式3所涉及的便携式信息终端的结构的功能框图。

图13是用于对像素的输出值的周期性的变化进行说明的图，(a)是示出对印刷有人物的图像的纸面进行连续拍摄的情况下的像素的输出值的图，(b)是示出对实际的人物进行连续拍摄的情况下的像素的输出值的图。

图14是示出实施方式3所涉及的控制部进行的虹膜认证处理的流程图。

具体实施方式

〔实施方式1〕

以下，基于图1～图7对本公开的实施方式1进行详细说明。

<便携式信息终端1的结构>

首先，使用图2对便携式信息终端1的结构进行说明。图2是示出便携式信息终端1的结构的一个例子的图，(a)示出了便携式信息终端1的外观的一个例子，(b)示出了便携式信息终端1具备的拍摄部20的外观的一个例子，(c)示出了由拍摄部20拍摄的图像的一个例子。

本实施方式的便携式信息终端1具备：拍摄功能，通过获取由被摄物反射的可见光以及红外光来对包含被摄物的图像进行拍摄；以及图像处理功能，进行对拍摄的图像的图像处理。

此外，本实施方式的便携式信息终端1具备：认证功能，接受图像处理的结果，并已拍摄的图像中包含的被摄物的认证。特别是，便携式信息终端1搭载了如下功能，即，通过对红外光图像进行图像处理，来进行虹膜认证，所述红外光图像是通过接收由作为被摄物的用户(人)的眼球反射的红外光来生成的。在该情况下，便携式信息终端1是一种能够在包含拍摄的用户的眼球的红外光图像中，对由眼球反射的红外光中包含的漫反射成分和镜面反射成分进行分离，并使用该分离的红外光图像来进行该用户的虹膜认证的终端。

如图2的(a)所示，便携式信息终端1具备拍摄部20(拍摄装置)、红外光源30以及显示部40。拍摄部20基于用户操作对包含被摄物的图像进行拍摄。红外光源30例如在拍摄部20通过接收红外光来对红外光图像进行拍摄时，射出红外光(特别是近红外光)。显示部40显示拍摄部20拍摄的图像等各种图像。

<拍摄部20的结构>

接下来，使用图1、图2以及图4对拍摄部20进行说明。图1是示出拍摄部20的红外光图像拍摄区域21a侧的结构的一个例子的图，(a)是示出拍摄元件21的结构的概略的图，(b)是示出红外光图像拍摄区域21a的结构的概略的剖视图，(c)是示出偏振滤光器25的结构的概略的平面图。此外，图4是示出拍摄部20的可见光图像拍摄区域21b侧的结构的一个例子的图，(a)是示出拍摄元件21的结构的概略的图，(b)是示出可见光图像拍摄区域21b的结构的概略的剖视图，(c)是示出彩色滤光器31的结构的概略的平面图。

(拍摄元件21)

拍摄部20具备图2的(b)所示的拍摄元件21。拍摄元件21通过二维排列的多个像素来对图像进行拍摄。作为拍摄元件21，例如，可列举ccd(chargecoupleddevice，电荷耦合器件)或cmos(complementarymetaloxidesemiconductor，互补金属氧化物半导体)。在本实施方式中，将拍摄元件21由ccd构成的情况作为例子来列举并进行说明。

具体地，拍摄元件21包含：红外光图像拍摄区域21a，通过接收红外光来对红外光图像进行拍摄；以及可见光图像拍摄区域21b，通过接收可见光来对可见光图像进行拍摄。换言之，在一个拍摄元件21，形成有红外光图像拍摄区域21a以及可见光图像拍摄区域21b。因此，通过在对红外光图像以及可见光图像进行拍摄的拍摄部20应用拍摄元件21，能够谋求拍摄部20的小型化。

在本实施方式中，如图2的(c)所示，红外光图像拍摄区域21a是在进行虹膜认证时，在以用户的眼球作为被摄物来对红外光图像进行拍摄的认证模式下使用的区域。人的瞳孔具有各种各样的颜色，在可见光图像的情况下，虹膜的影像可能由于该颜色而变得不清楚。另一方面，在红外光图像的情况下，因为能够获取去除了该颜色的成分的瞳孔的图像，所以能够获取清楚的虹膜的像。因此，在本实施方式的认证模式下，获取红外光图像。

此外，可见光图像拍摄区域21b是在对被摄物的可见光图像进行拍摄的通常模式下使用的区域。在本实施方式中，可见光图像拍摄区域21b拍摄的可见光图像不用于认证等。例如，如图2的(c)所示，可见光图像拍摄区域21b获取包含被摄物即用户的整个脸的可见光图像。

这样，在搭载了拍摄元件21的便携式信息终端1中，能够通过共用的拍摄部20来拍摄用于进行虹膜认证的红外光图像和不用于认证的可见光图像。因此，如图2的(a)所示，便携式信息终端1通过在显示部40侧设置拍摄部20，从而在不设置虹膜认证用的拍摄部(红外光相机)的情况下，能够对红外光图像进行拍摄。也就是说，如上所述那样，通过谋求拍摄部20的小型化，从而能够谋求能够对红外光图像以及可见光图像进行拍摄的便携式信息终端1的小型化。

此外，拍摄元件21至少包含红外光图像拍摄区域21a以及可见光图像拍摄区域21b即可。在本实施方式中，拍摄元件21的拍摄区域沿着便携式信息终端1(具体为拍摄元件21)的长度方向(y轴方向)分割为红外光图像拍摄区域21a以及可见光图像拍摄区域21b。在进行虹膜认证的情况下，一般地，用户握持便携式信息终端1来对用户的眼睛进行拍摄，使得便携式信息终端1的长度方向与连接用户的两个眼睛的线交叉。如果考虑虹膜认证时的一般的使用方式，则优选拍摄元件21的拍摄区域沿着上述长度方向分割为红外光图像拍摄区域21a以及可见光图像拍摄区域21b。

另外，在图2的(b)所示的拍摄元件21中，在将+y轴方向作为上的情况下，在上侧配置红外光图像拍摄区域21a，在下侧配置可见光图像拍摄区域21b，但也可以反过来。此外，拍摄元件21的拍摄区域也可以沿着便携式信息终端1的短边方向(x轴方向)分割为红外光图像拍摄区域21a以及可见光图像拍摄区域21b。上述那样的分割在虹膜认证时，在握持便携式信息终端1来对用户的眼睛进行拍摄，使得便携式信息终端1的长度方向与连接用户的两个眼睛的线大致平行的情况下是有效的。然而，如果在虹膜认证时能够对用户的眼睛进行拍摄，则可以在拍摄元件21中以任何方式配置红外光图像拍摄区域21a以及可见光图像拍摄区域21b。

此外，如图1的(b)以及图4的(b)所示，红外光图像拍摄区域21a以及可见光图像拍摄区域21b分别具备传输线22、23以及光电二极管24。

传输线22、23在红外光图像拍摄区域21a以及可见光图像拍摄区域21b的表面中分别在x轴方向以及y轴方向上延伸，并将来自光电二极管24的输出发送到控制部10(后述)。由此，能够将由红外光图像拍摄区域21a拍摄的红外光图像以及由可见光图像拍摄区域21b拍摄的可见光图像发送到进行图像处理的控制部10。

光电二极管24在红外光图像拍摄区域21a中接收红外光，在可见光图像拍摄区域21b中接收可见光。此外，各光电二极管24构成拍摄元件21的像素。换言之，拍摄元件21具有多个光电二极管24作为多个像素二维排列的结构。

(红外光图像拍摄区域21a侧的结构)

如图1的(b)所示，拍摄部20在图1的(a)所示的拍摄元件21的红外光图像拍摄区域21a侧具备偏振滤光器(集成偏振器)25以及可见光遮挡滤光器26。如图1的(b)所示，从光入射到拍摄部20的方向观察，按可见光遮挡滤光器26、偏振滤光器25以及拍摄元件21的顺序层叠。

偏振滤光器25包含多个偏振单元，并与构成红外光图像拍摄区域21a的多个像素对应地二维排列，所述多个偏振单元包含主轴方向相互不同的多个偏振元件。在本实施方式中，偏振滤光器25配置为一个偏振元件对应红外光图像拍摄区域21a的一个像素。此外，在本实施方式中，如图1的(c)所示，与相邻的四个像素分别对应的、相邻的四个偏振元件25a～25d形成一个偏振单元。具体地，形成一个偏振单元的四个偏振元件25a～25d分别具有0°、45°、90°以及135°的偏振角。

偏振滤光器25直接形成在多个像素(换言之，红外光图像拍摄区域21a)上。偏振滤光器25只要是能够像上述那样形成的偏振滤光器即可，例如，可列举包含由铝(al)等金属构成的线栅、或由折射率相互不同的材料层叠而成的光子晶体的偏振滤光器。

另外，有时也会将与一个偏振单元对应的像素组(在本实施方式中为四个像素)称为一个像素单元。

可见光遮挡滤光器26设置在红外光图像拍摄区域21a，并遮挡朝向红外光图像拍摄区域21a的可见光。虹膜的颜色因人而异，因此在红外光图像中包含可见光成分的情况下，虹膜的像可能变得不清楚。通过将可见光遮挡滤光器26设置在红外光图像拍摄区域21a，能够抑制虹膜的像变得不清楚，并能够抑制红外光图像的画质的恶化。

此外，可见光遮挡滤光器26相对于红外光图像拍摄区域21a的相对位置是固定的。一般地，在根据拍摄方式使可见光遮挡滤光器相对于拍摄元件移动的结构的情况下，需要具备使可见光遮挡滤光器移动的移动机构，但是拍摄部20不需要具备上述那样的移动机构。因此，能够谋求拍摄部20的小型化。此外，因为没有由该移动机构动作而引起的灰尘产生，所以减少了异物映入由红外光图像拍摄区域21a拍摄的红外光图像的可能性。

(关于虹膜认证)

在此，使用图3对虹膜认证进行说明。图3是用于对虹膜认证进行说明的图。另外，在图3的说明中，在上述认证模式下，对通过外部光(太阳光)或室内光中包含的红外光来对用户的眼球e进行拍摄进行说明。

如图3所示，若外部光或室内光照射到用户的眼球e，则该光在眼球e被反射，其红外光成分入射到拍摄部20的红外光图像拍摄区域21a。

对于红外光图像拍摄区域21a来说，外部光或室内光照射到用户的眼球e，通过获取在虹膜中该外部光或室内光漫反射的漫反射光lr的红外光成分，来获取包含用户的虹膜的图像的红外光图像。而且，便携式信息终端1通过解析该虹膜的像来进行用户认证。另一方面。在进行认证的用户的周围的环境光明亮，并且存在成为映入的影像的来源的物体o的情况下，在眼球e(更详细为角膜表面)上形成映入像ir。通过将环境光照射到物体o，来自物体o的反射光被眼球e(更详细为角膜表面)进一步镜面反射，从而生成映入像ir。而且，红外光图像拍摄区域21a通过提取来自虹膜的漫反射光lr和构成映入像ir的镜面反射光的红外光成分，从而获取红外光图像。

因此，在红外光图像拍摄区域21a中未设置偏振滤光器25的情况下，在便携式信息终端1不具有用于从包含获取的虹膜的像以及映入像ir的红外光图像中去除映入像ir的功能时，在虹膜的图像解析中受到映入像ir的影响。其结果，可能无法在便携式信息终端1中进行正确的虹膜认证。

特别是，在太阳光的照射下，对用户的眼球e产生强映入，因此难以进行在屋外的正确的虹膜认证。虽然通过对用户的眼球e照射具有比太阳光的强度高的强度的光，能够减少虹膜认证中的太阳光的影响，但在对眼球e或皮肤照射上述那样的强度高的光的情况下，眼球e或皮肤的状态可能恶化。此外，也有功耗增大这样的问题。

在此，一般地，对于形成图像处理中使用的影像的光(在此为表示认证处理中使用的虹膜的漫反射光lr)来说，其绝大多数由漫反射成分构成。在本实施方式中，该光被处理为表示表面信息，该表面信息表示认证处理中所需的眼球e(具体为虹膜)的表面。虹膜具有微细且复杂的构造，因此形成虹膜的像的漫反射光lr几乎不偏振。另一方面，对于形成成为在上述图像处理中应该去除的噪声的影像的光(在此为构成对认证处理产生不利影响的物体o的映入像ir的光)来说，其绝大多数由镜面反射成分构成。已知镜面反射光一般根据入射角度改变，但偏振度将变高。

在本实施方式的便携式信息终端1中，如上所述，拍摄部20具备对应于红外光图像拍摄区域21a而设置的偏振滤光器25。因此，在便携式信息终端1中，能够对红外光图像拍摄区域21a经由偏振滤光器25获取的红外光图像进行后述的控制部10进行的图像处理。而且，在便携式信息终端1中，通过该图像处理，在不向眼球e照射上述那样强度高的光的情况下，能够获取在虹膜的图像解析中减少了映入像ir的影响的、清楚的虹膜的像，并进行正确的虹膜认证。

也就是说，如上所述，拍摄部20通过设置偏振滤光器25，在进行对拍摄的红外光图像的图像处理的情况下，能够减少成为处理对象的影像(在本实施方式中为虹膜的像)之外的映入像ir的影响。

此外，如上所述，偏振滤光器25包含多个偏振单元，所述偏振单元包含主轴方向相互不同的多个偏振元件25a～25d。因此，能够应对构成映入像ir的镜面反射光，该镜面反射光根据眼球e上的反射的位置而具有不同的偏振方向。通过该应对，在控制部10进行的上述图像处理中，能够减少映入像ir的影响。

(可见光图像拍摄区域21b侧的结构)

如图4的(b)所示，拍摄部20在图4的(a)所示的拍摄元件21的可见光图像拍摄区域21b侧具备彩色滤光器31以及红外光遮挡滤光器32。如图4的(a)所示，从光入射到拍摄部20的方向观察，按红外光遮挡滤光器32、彩色滤光器31以及拍摄元件21的顺序层叠。

为了实现由可见光图像拍摄区域21b拍摄的可见光图像的多色彩色显示，彩色滤光器31由具有对于可见光图像拍摄区域21b的每个子像素不同的三原色(rgb)的滤光器构成。在彩色滤光器31中，例如，如图4的(c)所示，二维地配置有与三原色的每一个对应的滤光器。彩色滤光器31例如由有机材料构成。

红外光遮挡滤光器32设置在可见光图像拍摄区域21b，并遮挡朝向可见光图像拍摄区域21b的红外光。一般地，彩色滤光器透过红外光。因此，在可见光图像中包含红外光成分的情况下，可见光图像的画质可能恶化。通过将红外光遮挡滤光器32设置在可见光图像拍摄区域21b，能够抑制可见光图像的画质的恶化。

在本实施方式中，红外光遮挡滤光器32由与彩色滤光器31相同的有机材料构成。因此，能够用相同的制造工序制造彩色滤光器31以及红外光遮挡滤光器32。如果不考虑这点，则红外光遮挡滤光器32也可以由能够遮挡红外光的其他的材料构成。

此外，红外光遮挡滤光器32相对于可见光图像拍摄区域21b的相对位置是固定的。一般地，在根据拍摄方式使红外光遮挡滤光器相对于拍摄元件移动的结构的情况下(例如，专利文献1所涉及的发明)，需要具备使红外光遮挡滤光器移动的移动机构，但是拍摄部20不需要具备上述那样的移动机构。因此，能够谋求拍摄部20的小型化。此外，因为没有由该移动机构动作而引起的灰尘产生，所以减少了异物映入由可见光图像拍摄区域21b拍摄的可见光图像的可能性。

<控制部10的结构>

接下来，使用图5对便携式信息终端1具备的控制部10的结构进行说明。图5是示出便携式信息终端1的结构的功能框图。如图5所示，便携式信息终端1具备控制部10(图像处理装置)、拍摄部20、红外光源30、显示部40以及存储部50。

控制部10具备黑眼珠检测部11、图像处理部12以及认证部13。对于控制部具备的各部分的说明将在后面叙述。拍摄部20、红外光源30以及显示部40如上所述。存储部50是存储控制部10的控制所需的信息的存储介质，例如是闪速存储器等。

黑眼珠检测部11获取拍摄部20通过红外光图像拍摄区域21a拍摄的红外光图像，并确定该红外光图像中包含的、与用户的黑眼珠对应的区域。因为黑眼珠检测部11中的处理例如在虹膜的图像的认证的领域是公知的，所以在本说明书中省略说明。

图像处理部12对拍摄部20(具体为红外光图像拍摄区域21a)拍摄的红外光图像进行图像处理。具体地，图像处理部12对红外光图像拍摄区域21a拍摄的红外光图像进行图像处理，以减少红外光图像拍摄区域21a接受的红外光中包含的镜面反射成分。在本实施方式中，图像处理部12将在红外光图像拍摄区域21a内的各像素单元中包含的多个像素当中的、接受的红外光的受光强度最小的像素的输出值(换言之，为本例中的、进行图像处理而获得的结果)确定为该像素单元的输出值。在此，输出值表示表示红外光图像的各种值，如红外光的受光强度等。

如上所述，形成映入像ir的红外光的偏振度高。因此，通过偏振滤光器25去除的红外光的强度根据偏振元件25a～25d的偏振角而不同。在像素单元中包含的像素当中的、接受的红外光的受光强度最小的像素中，可考虑由与该像素对应的偏振元件，来最佳地去除形成映入像ir的红外光。因此，如上所述那样，图像处理部12通过确定输出值，能够获取减少了映入像ir的影响的红外光图像。

此外，图像处理部12对拍摄部20(具体为可见光图像拍摄区域21b)拍摄的可见光图像进行图像处理。在本实施方式中，可见光图像不用于认证处理。因此，图像处理部12对可见光图像进行给定的图像处理并显示于显示部40。此外，图像处理部12也可以将可见光图像存储在存储部50中。另外，图像处理部12也可以对红外光图像拍摄区域21a拍摄的红外光图像进行给定的图像处理并显示于显示部40。

认证部13使用由图像处理部12处理的各像素单元的输出值来进行用户的认证。即，认证部13使用最佳地去除了映入像ir的红外光图像来进行虹膜认证，因此能够进行高精度的认证。认证部13中的基于虹膜的认证是公知技术，因此本说明书中省略说明。

<控制部10的处理>

图6是示出控制部10进行的虹膜认证处理的流程图。在此，对在便携式信息终端1中设定有认证模式的情况下的虹膜认证处理进行说明。在控制部10进行的虹膜认证处理中，首先，黑眼珠检测部11获取由红外光图像拍摄区域21a拍摄的红外光图像(s1)，并检测该红外光图像中包含的用户的黑眼珠(s2)。接下来，如上所述那样，图像处理部12确定各像素单元的输出值(s3)。之后，认证部13基于各像素单元的输出值进行用户的认证(s4)。

<变形例>

图7的(a)是示出本实施方式的变形例所涉及的偏振滤光器25a的结构的图。偏振滤光器25a是能够与上述偏振滤光器25置换的滤光器。如图7的(a)所示，在偏振滤光器25a中，分别与相邻的九个像素对应的、相邻的九个偏振元件25e～25m形成一个偏振单元。具体地，形成一个偏振单元的九个偏振元件25e～25m分别具有0°、20°、40°、60°、80°、100°、120°、140°以及160°的偏振角。

这样，一个偏振单元中包含的偏振元件的数量可以是4也可以是9，此外，还可以是其他的数量。如果一个偏振单元中包含的偏振元件的角度的数量多，则能够更高精度地去除接收的红外光中包含的映入像ir的成分。然而，一个像素单元与一个偏振单元对应，如上所述，从一个像素单元输出一个输出值。因此，若针对一个偏振单元的像素数量变多，则进行图像处理部12的处理后的红外光图像的分辨率变低。因此，一个偏振单元中包含的偏振元件的数量需要考虑映入像ir的成分的去除精度和认证中使用的红外光图像的分辨率来设定。

此外，图7的(b)是示出本实施方式的另一个变形例所涉及的偏振滤光器25b的结构的图。偏振滤光器25b也是能够与上述偏振滤光器25置换的滤光器。如图7的(b)所示，在偏振滤光器25b中，分别与相邻的四个像素对应的、相邻的各两个的偏振元件25n/25o形成一个偏振单元。具体地，偏振元件25n/25o分别具有0°以及90°的偏振角。这样，也可以在一个偏振单元包含多个具有相同的偏振角的偏振元件。

此外，上述偏振元件25a～25o均是一个对应一个像素。但是，也可以一个偏振元件对应多个像素。然而，若针对一个偏振元件的像素数量(换言之，针对一个偏振单元的像素数量)变多，则基于与上述同样的理由，进行图像处理部12的处理后的红外光图像的分辨率变低。因此，与一个偏振元件对应的像素的数量需要考虑映入像ir的成分的去除精度、认证中使用的红外光图像的分辨率以及红外光图像中的各个像素的大小来设定。

<其他>

本公开的一个方式所涉及的被摄物不限于眼球，只要是可能发生映入的被摄物即可。此外，作为需要减少红外光图像中包含的映入像的影响的具体的实施方式，在上述中，列举虹膜认证来进行了说明。但不限于此，本公开的一个方式所涉及的拍摄部20以及控制部10中的图像处理能够在需要减少映入像的影响的技术中广泛应用。

此外，对于便携式信息终端1，将一体地具备控制部10、拍摄部20、红外光源30以及显示部40的便携式信息终端1作为例子来列举并进行了说明，但这些构件不需要一体设置。

〔实施方式2〕

如果基于图8～图11对于本公开的其他的实施方式进行说明，则如下所述。另外，为了便于说明，对于具有与所述实施方式中已说明的构件相同的功能的构件，标注相同的附图标记，并省略其说明。

<便携式信息终端1a的结构>

图8是示出本实施方式所涉及的便携式信息终端1a的结构的一个例子的图，(a)示出了便携式信息终端1a的外观的一个例子，(b)是示出便携式信息终端1a具备的偏振滤光器25c的结构的概略的平面图。

如图8的(a)所示，便携式信息终端1a在具备探测便携式信息终端1a的周围的照度的照度传感器60(照度探测部)，并且代替拍摄部20而具备拍摄部20a这一点上与便携式信息终端1不同。

<拍摄部20a的结构>

拍摄部20a(拍摄装置)在红外光图像拍摄区域21a代替偏振滤光器25而具备偏振滤光器25c。偏振滤光器25c具有存在八个偏振元件25p、25q、25r、25s、25t、25u、25v、25w的每一个的偏振区域25pa(参照图10)和不存在偏振元件的非偏振区域25npa。在偏振滤光器25c中，偏振区域25pa以及非偏振区域25npa形成一个偏振单元。偏振元件25p～25w分别具有0°、22.5°、45°、67.5°、90°、112.5°、135°以及157.5°的偏振角。

此外，在本实施方式中，与一个偏振单元对应的像素单元包含与八个偏振元件25p～25w以及非偏振区域25npa的每一个对应的、合计九个像素。然而，与非偏振区域25npa对应的像素也可以是多个。此外，与一个偏振单元对应的像素单元中包含的像素的数量也可以是不同于九个的数量。

<控制部10a的结构>

接下来，使用图9对便携式信息终端1a具备的控制部10a的结构进行说明。图9是示出便携式信息终端1a的结构的功能框图。如图9所示，便携式信息终端1a具备控制部10a(图像处理装置)、拍摄部20a、红外光源30、显示部40、存储部50以及照度传感器60。控制部10a具备黑眼珠检测部11、图像处理部12a以及认证部13。

在照度传感器60探测的照度为给定值以上的情况下，图像处理部12a对红外光图像拍摄区域21a拍摄的红外光图像进行图像处理，以减少红外光图像拍摄区域21a接受的红外光中包含的镜面反射成分。在本实施方式中，图像处理部12a将与偏振区域25pa对应的多个像素当中的、接受的红外光的受光强度最小的像素的输出值(换言之，本例中的进行图像处理而获得的结果)确定为像素单元的输出值。另一方面，在照度传感器60探测的照度为小于给定值的情况下，图像处理部12a将与非偏振区域25npa对应的像素的输出值确定为像素单元的输出值。

图10是示出拍摄部20a的结构的概略的剖视图。如图10所示，反射光lr0由可见光遮挡滤光器26去除可见光成分而成为仅红外光成分的反射光lr1。反射光lr0是仅由漫反射光lr、或由漫反射光lr以及镜面反射光构成的光。在偏振区域25pa中，反射光lr1进一步由偏振元件25p～25w(参照图8)的每一个去除特定方向的偏振光之外的光，成为反射光lr2并入射到光电二极管24。因此，反射光lr2的强度比反射光lr1的强度小。另一方面，在非偏振区域25npa中，反射光lr1保持原样入射到光电二极管24。

这样，与偏振区域25pa对应的光电二极管24接收的红外光的受光强度比与非偏振区域25npa对应的光电二极管24接收的红外光的受光强度小。具体地，由偏振元件25p～25w的每一个引起的衰减率一般为50％以上。此外，在便携式信息终端1a的周围的照度低的情况下，红外光的受光强度比周围的照度高的情况下小。因此，在红外光图像拍摄区域21a的所有的像素中设有偏振元件的拍摄部20(参照实施方式1)中，可能对在夜间或黑暗的屋内等周围的照度低的环境下的虹膜认证造成妨碍。另一方面，在周围的照度低的情况下，映入像几乎不出现在拍摄的红外光图像中。

因此，在便携式信息终端1a的周围的照度为小于给定值的情况下，图像处理部12a将与非偏振区域25npa对应的光电二极管24的输出值确定为包含该光电二极管24的像素单元的输出值。由此，在便携式信息终端1a中，即使在周围的照度低的情况下，也能够获得能够进行虹膜认证的红外光图像。

另一方面，在周围的照度为给定值以上的情况下，图像处理部12a进行与实施方式1同样的处理。因此，无论周围的环境如何，便携式信息终端1a都能够进行对减少或去除了映入像ir的影响的红外光图像的图像处理。

因此，在便携式信息终端1a中，无论周围的环境如何，都能够高精度地进行虹膜认证处理。

另外，在此所说的照度的“给定值”是指不能无视映入像ir对虹膜认证造成影响的照度的下限。

<控制部10a的处理>

图11是示出控制部10a进行的虹膜认证处理的流程图。在控制部10a进行的虹膜认证处理中，首先，黑眼珠检测部11获取由红外光图像拍摄区域21a拍摄的红外光图像(s11)，并检测该红外光图像中包含的用户的黑眼珠(s12)。接下来，图像处理部12a从照度传感器60获取便携式信息终端1a的周围的照度(s13)，并判断周围的照度是否为给定值以上(s14)。

在周围的照度为给定值以上的情况下(在s14中为是)，图像处理部12a基于与偏振区域25pa对应的像素的输出值，确定各像素单元的输出值(s15)。之后，认证部13基于各像素单元的输出值来进行用户的认证(s16)。

另一方面，在周围的照度为小于给定值的情况下(在s14中为否)，图像处理部12a将与非偏振区域25npa对应的像素的输出值确定为各像素单元的输出值(s17)。之后，认证部13基于各像素单元的输出值来进行用户的认证(s18)。

另外，在上述实施方式中，便携式信息终端1a具备照度传感器60。但是，不一定需要便携式信息终端1a本身具备照度传感器60。例如，便携式信息终端1a也可以构成为从具备照度传感器60的、与便携式信息终端1a不同的装置接收表示便携式信息终端1a的周围的照度的信号。

此外，便携式信息终端1a也可以不具备照度传感器60，而使用拍摄部20a来估计照度。具体地，控制部10a也可以在对虹膜图像进行拍摄前对与非偏振区域25npa对应的像素的输出值进行测量，基于该输出值来估计周围的照度。在该情况下，控制部10a也作为探测周围的照度的照度探测部来发挥作用。

〔实施方式3〕

如果基于图12～图14对于本公开的其他的实施方式进行说明，则如下所述。另外，为了便于说明，对于具有与所述实施方式中已说明的构件相同的功能的构件，标注相同的附图标记，并省略其说明。

<便携式信息终端1b的结构>

使用图12对本实施方式的便携式信息终端1b的结构进行说明。图12是示出便携式信息终端1b的结构的功能框图。如图12所示，便携式信息终端1b在代替控制部10而具备控制部10b这一点上与便携式信息终端1不同。具体地，在便携式信息终端1b中，与上述便携式信息终端1以及1a不同，在认证模式下，除了红外光图像拍摄区域21a拍摄的红外光图像之外，还使用可见光图像拍摄区域21b拍摄的可见光图像。

<控制部10b的结构>

除了控制部10的结构之外，控制部10b(图像处理装置)还具备像素有无判断部14。像素有无判断部14获取可见光图像拍摄区域21b拍摄的可见光图像，并判断在与该可见光图像对应的多个像素中，是否存在输出周期性变化的输出值的像素。

在像素有无判断部14判断为存在输出周期性变化的输出值的像素的情况下，图像处理部12进行对红外光图像的图像处理。也就是说，在如上所述那样进行了判断的情况下，如实施方式1所述，图像处理部12对红外光图像拍摄区域21a拍摄的红外光图像进行图像处理，以减少红外光图像拍摄区域21a接受的红外光中包含的镜面反射成分。在本实施方式中，针对每个像素单元，图像处理部12将接受的红外光的受光强度最小的像素的输出值(换言之，本例中的进行图像处理而获得的结果)确定为该像素单元的输出值。而且，认证部13基于该输出值进行虹膜认证。

另一方面，在像素有无判断部14判断为不存在输出周期性变化的输出值的像素的情况下，图像处理部12不进行对红外光图像的图像处理。在该情况下，控制部10b例如也可以在显示部40中显示使用户选择是否继续虹膜认证的选择画面、或进行表示不能进行虹膜认证的错误通知。在后者的情况下，控制部10b也可以解除设定的认证模式。

接下来，参照图13，对像素的输出值的周期性的变化进行说明。图13是用于对像素的输出值的周期性的变化进行说明的图，(a)是示出印刷有人物的图像的纸面100以及对纸面100进行连续拍摄的情况下的像素的输出值的图，(b)是示出实际的人物(用户)200以及对人物200进行连续拍摄的情况下的像素的输出值的图。

如图13的(a)以及(b)所示，在本实施方式中，拍摄部20在认证模式下通过红外光图像拍摄区域21a对被摄物(纸面100中描绘的人物或实际的人物200)的眼睛的周围进行拍摄，并通过可见光图像拍摄区域21b对被摄物的眼睛下方的区域进行拍摄。

此外，在进行虹膜认证情况下，例如，需要连续对红外光图像拍摄进行，直到进行对于红外光图像的黑眼珠检测。因此，也包括上述实施方式，认证模式下的拍摄部20进行的拍摄在黑眼珠检测部11检测黑眼珠所需的给定的时间内进行。在本实施方式中，特别是，如后所述，判断被摄物中的生命活动的有无，但能够在该给定的时间内进行该判断。此外，也可以从检测黑眼珠的处理的开始前的、开始用于对红外光图像进行拍摄的对位的时间点开始，进行用于判断被摄物中的生命活动的有无的处理。

因为纸面100不进行生命活动，所以在对纸面100进行连续拍摄的情况下，如图13的(a)所示，像素的输出值是大致恒定的，几乎不变化，或者不产生周期性的变化。与此相对，因为实际的人物200进行生命活动，所以与心脏的搏动联动地产生动胍的扩张以及收缩。在动胍扩张时，由动胍中流动的血液中包含的氧化血红蛋白导致的光的吸收变大，因此接收的红外光的受光强度变小。因此，像素的输出值变小。另一方面，在动胍收缩时，由氧化血红蛋白导致的光的吸收变小，因此上述受光强度变大。因此，像素的输出值变大。因此，在对用户(人物200)进行连续拍摄的情况下，如图13的(b)所示，像素的输出值与心脏的搏动联动地周期性变化。另外，像素的输出值的周期性的变化只要在与用户的脸对应区域内就能够在任意的位置观测，例如只要在与额头或脸颊等对应的区域观测即可。

虹膜认证是具有非常高的可靠性的个人认证方法。但是，在对纸面上高精细地印刷的虹膜进行拍摄的情况下，则存在可能将该纸面上的虹膜误认为真正的虹膜而进行认证这样的问题。作为该问题的解决方案，和虹膜认证一起，探测被摄物是否是生物体是有用的。

在本实施方式中，如上所述，拍摄部20的可见光图像拍摄区域21b对被摄物进行连续拍摄，通过像素有无判断部14判断像素的输出值的周期性的变化的有无，来探测被摄物是否是生物体(例如，实际的人物200)。而且，在像素的输出值中看到周期性的变化的情况下，控制部10b探测被摄物是生物体并进行虹膜认证处理。另一方面，在像素的输出值中没有看到周期性的变化的情况下，控制部10b探测被摄物不是生物体从而不进行虹膜认证处理。由此，控制部10b能够将高精细地印刷的纸面上的图像从认证处理的对象中排除。因此，能够防止使用了纸面等的由认证对象的伪造等导致的不正当访问。

另外，像素有无判断部14只要能够判断被摄物是否是生物体即可。具体地，像素有无判断部14只要能够进行在给定的时间内的能够判断被摄物是生物体程度的、像素的输出值的随时间变化的有无即可。

<控制部10b的处理>

图14是示出控制部10b进行的虹膜认证处理的流程图。在控制部10b进行的虹膜认证处理中，首先，像素有无判断部14从拍摄部20获取连续拍摄的可见光图像以及红外光图像(s21)，判断在可见光图像中是否存在输出值周期性变化的像素(s22)。在存在输出值周期性变化的像素的情况下(在s22中为是)，黑眼珠检测部11从红外光图像检测黑眼珠(s23)，图像处理部12确定各像素单元的输出值(s24)。之后，认证部13使用基于各像素单元的输出值进行了图像处理的红外光图像来进行用户的认证(s25)。

另一方面，在不存在输出值周期性变化的像素的情况下(在s22中为否)，不进行上述步骤s23～s25的处理。

<变形例>

在上述实施方式中，像素有无判断部14基于连续拍摄的可见光图像的像素的输出值的周期性的变化，来探测被摄物是否是生物体。进一步，在像素有无判断部14判断为被摄物是生物体的情况下，控制部10b也可以一并进行使用可见光图像的脸认证。

脸认证是使用从眼睛、鼻子、或嘴巴等形状以及位置提取的特征量来进行认证的。在图13的(b)所示例子中，在可见光图像拍摄区域21b拍摄的可见光图像中，包含了被摄物即人物200的鼻子以及嘴巴的图像。因此，通过图像处理部12提取该可见光图像中包含的鼻子或嘴巴的特征量，认证部13解析该特征量，从而控制部10b能够进行脸认证。

另外，人物200的眼睛的图像包含在可见光图像拍摄区域21b拍摄的红外光图像中。因此，也可以通过图像处理部12提取红外光图像中包含的眼睛的特征量，认证部13解析该眼睛的特征量，来进行脸认证。在该情况下，控制部10b能够使用眼睛、鼻子以及嘴巴的特征量来进行脸认证。

此外，脸认证的对象可以是可见光图像中包含的鼻子或嘴巴中的任意一个，也可以仅是红外光图像中包含的眼睛。在后者的情况下，能够仅用红外光图像来进行虹膜认证以及脸认证。然而，如果考虑高精度地进行脸认证，则脸认证的对象越多越优选。

这样，控制部10b电可以同时采用虹膜认证以及脸认证来进行混合的认证。由此，与只进行虹膜认证的情况相比，能够实现更可靠的安全性。

〔实施方式4：软件进行的实现例〕

便携式信息终端1、1a、1b的控制块(特别是控制部10、10a、10b的各部)也可以通过在集成电路(ic芯片)等上形成的逻辑电路(硬件)来实现，也可以使用cpu(centralprocessingunit，中央处理器)来通过软件实现。

在后者的情况下，便携式信息终端1、1a、1b具备：执行实现各功能的软件即程序的命令的cpu、记录了由能被计算机(或cpu)读取的上述程序以及各种数据的rom(readonlymemory，只读存储器)或存储装置(将这些称为“记录介质”)、展开上述程序的ram(randomaccessmemory，随机存取存储器)等。而且，计算机(或cpu)通过从上述记录介质读取上述程序并执行，来达到本公开的一个方式所涉及的目的。作为上述记录介质，能够使用“非暂时性的有形的介质”，例如，带、盘、卡、半导体存储器、可编程的逻辑电路等。此外，上述程序也可以经由能够传输该程序的任意的传输介质(通信网络、广播电波等)供给到上述计算机。另外，本公开的一个方式也能够以上述程序通过电子的传输来具体实现的埋入载波中的数据信号的方式来实现。

〔附录事项〕

本公开的一个方式不限于上述各实施方式，能够在权利要求所示的范围内进行各种变更，对分别在不同的实施方式中公开的技术手段进行适当组合而获得的实施方式也包含在本公开的一个方式的技术范围内。进而，通过将分别在各实施方式中公开的技术手段进行组合，能够形成新的技术特征。

(相关申请的相互参照)

本申请要求2017年1月31日申请的日本专利申请即特愿2017-015941优先权的权益，通过参照该优先权，其所有的内容包含在本文中。

附图标记说明

10、10b控制部(图像处理装置)

10a控制部(图像处理装置、照度探测部)

12、12a图像处理部

14像素有无判断部

20、20a拍摄部(拍摄装置)

21拍摄元件

21a红外光图像拍摄区域

21b可见光图像拍摄区域

25、25a、25b、25c偏振滤光器

25a～25w偏振元件

25pa偏振区域

25npa非偏振区域

26可见光遮挡滤光器

32红外光遮挡滤光器

60照度传感器(照度探测部)