本发明涉及摄像装置。
背景技术：
作为本技术领域的背景技术，有日本特开2011-203792号公报(专利文献1)。该公报记载了通过使用微透镜阵列而实现了小型、薄型化的摄像装置。
现有技术文献
专利文献
专利文献1：日本特开2011-203792号公报
技术实现要素：
发明要解决的技术问题
上述专利文献1记载的技术是这样一种摄像方式，其通过“使前级的微透镜阵列与光阑阵列相对，并将光阑阵列的光阑设置在前级的微透镜阵列的来自被摄体的光的焦点附近，进而还利用后级的微透镜阵列同时进行光的会聚”，从而“能够缩小光学系统，实现小型、薄型的指静脉认证装置”。在该摄像方式中，由于使用透镜而需要距离以使光会聚到图像传感器上，并且需要用于配置2个透镜阵列的空间，这两个方面是其薄型化的极限。
本发明的技术问题是，提供一种通过简单的信号处理而减少运算量，在近距离摄像下扩大视野的薄型的摄像装置的技术。
解决问题的技术手段
本申请包括多种解决上述问题之至少一部分的技术手段，举其一例如下。为了解决上述问题，本发明之一方面的摄像装置包括：调制器，其具有第一复眼光栅图样，使光从所述第一复眼光栅图样透射而对光的强度进行调制；图像传感器，其将从所述调制器透射的光转换为图像数据而输出；和图像处理部，其进行使用从所述图像传感器输出的图像数据来使像复原的图像处理，所述第一复眼光栅图样包含多个基本图样，各个所述基本图样为同心圆状。
发明效果
根据本发明，能够提供一种通过简单的信号处理而减少运算量，在近距离摄像下扩大视野的薄型的摄像装置的技术。上述以外的技术问题、技术特征和技术效果将通过以下实施方式的说明而明确。
附图说明
图1是表示本发明第一实施方式的摄像装置的结构的图。
图2是表示第一实施方式的调制器的结构的图。
图3是表示第一实施方式的调制器之另一结构的图。
图4是表示第一实施方式的摄像装置的拍摄状况之示例的图。
图5是表示第一实施方式的摄像处理流程之示例的图。
图6是表示由倾斜入射平行光从光栅基板正面投影到背面的投影像产生面内偏移之示例的图。
图7是表示光栅基板两面的光栅的轴对齐的情况下的莫尔条纹的生成和频谱之示例的图(入射角为零、+θ、-θ)。
图8是表示使正面光栅与背面光栅的轴错开配置之示例的图。
图9是表示使光栅基板两面的光栅错开配置的情况下的莫尔条纹的生成和频谱之示例的图(入射角为零、+θ、-θ)。
图10是表示光栅图样之示例的图。
图11是表示光栅图样之另一示例的图。
图12是表示光栅图样之再另一示例的图。
图13是说明来自构成物体的各点的光与传感器所成的角的图。
图14是表示物体位于无穷远处的情况下正面侧光栅图样被投影之示例的图。
图15是表示物体位于无穷远处的情况下生成的莫尔条纹之示例的图。
图16是表示物体位于有限距离处的情况下正面侧光栅图样被放大之示例的图。
图17是表示物体位于有限距离处的情况下生成的莫尔条纹之示例的图。
图18是表示物体位于有限距离处的情况下对背面侧光栅图样进行了校正后的莫尔条纹之示例的图。
图19是表示利用图像处理代替背面侧光栅图样的变形例的图。
图20是表示利用图像处理代替背面侧光栅图样的调制器的图。
图21是表示利用图像处理代替背面侧光栅图样的处理流程的图。
图22是表示时分条纹扫描的变形例的图。
图23是表示时分条纹扫描中的光栅图样之示例的图(φf、φ＝0，φf、φ＝π/2，φf、φ＝π，φf、φ＝3π/2)。
图24是表示时分条纹扫描中的调制器之示例的图(φf、φ＝0，φf、φ＝π/2，φf、φ＝π，φf、φ＝3π/2)。
图25是表示时分条纹扫描的处理流程之示例的图。
图26是表示空分条纹扫描的变形例的图。
图27是表示空分条纹扫描中的光栅图样之示例的图。
图28是表示物体位于近距离处的情况下的光栅图样与视野的关系的图。
图29是表示利用复眼光栅图样实现广视野化的结构例的图。
图30是表示复眼光栅图样之示例的图。
图31是表示复眼光栅图样中发生串扰的原理的图。
图32是表示降低串扰的结构之示例的图。
图33是表示使用复眼光栅图样时的处理流程的图。
图34是说明利用遮光板降低串扰的原理的图。
图35是表示利用遮光板降低串扰时的调制器的结构例的图。
图36是说明利用偏振片降低串扰的原理的图。
图37是表示利用偏振片降低串扰时的调制器的结构例的图。
图38是表示利用时分条纹扫描实现串扰消除的结构例的图。
图39是表示实现串扰消除的正面侧和背面侧的光栅图样的组合的图(φf＝0、π/2，φf＝π/2、π，φf＝π、3π/2，φf＝3π/2、0)。
图40是表示时分条纹扫描中的串扰消除的光栅图样之示例的图(φf＝0、π/2，φf＝π/2、π，φf＝π、3π/2，φf＝3π/2、0)。
图41是表示空分条纹扫描中实现串扰消除的光栅图样之示例的图。
图42是表示用于实现通过同时使用串扰消除和偏振片来降低串扰的结构之示例的图。
图43是表示用于实现通过同时使用串扰消除和偏振片来降低串扰的偏振片之示例的图。
图44是表示使用复眼光栅图样拍摄位于近距离处的物体时的视野之示例的图。
图45是表示使用复眼光栅图样拍摄指静脉的使用状况之示例的图。
具体实施方式
在以下实施方式中，为了方便起见而在需要时划分为多个章节或实施方式进行说明，但除特别声明的情况外，他们并不是相互无关的，而是存在一方为另一方的一部分或全部的变形例、详细说明、补充说明等的关系。
另外，以下实施方式中，在提及要素的数量等(包括个数、数值、量、范围等)的情况下，除特别声明的情况和原理上明显限定为特定数量等情况外，都不限定于该特定的数量，可以是特定数量以上或以下。
进而，以下实施方式中，其构成要素(也包括要素步骤等)，除特别声明的情况和原理上认为明显必要等情况外，都不是必须的。
同样地，以下实施方式中，在提及构成要素等的形状、位置关系等时，除特别声明的情况和原理上认为明显不可能等情况外，也包括实质上与其形状等近似或类似等情况。这一点对于上述数值和范围也是同样的。
另外，在用于说明实施方式的全部图中，对于相同的部件原则上标注相同的标记，省略其重复的说明。以下参考附图说明本发明的实施方式。
一般而言，对于搭载在车载相机、可穿戴设备、智能手机等信息设备中的数字相机，大多要求薄型化和低成本化。例如，人们提出了一种不使用透镜而获得物体像以实现薄型化和低成本化的摄像方式。该技术给出的是这样一种摄像方式，其中在图像传感器前贴合特殊的光栅图样，通过求解用于从该图像传感器接收到的投影图样进行像的显像的逆问题，来获得物体的像。该方式中，通过信号处理求解逆问题时的运算较为复杂，处理负荷很高，因此信息设备的硬件要求规格也变高。本发明的目的就在于将处理负荷抑制得较低，并且同时能够实现薄型化。
＜无穷远物体的拍摄原理＞
图1是表示本发明第一实施方式的摄像装置101的结构的图。摄像装置101获取外界物体的图像而不使用进行成像的透镜，如图1所示，由调制器102、图像传感器103和图像处理部106构成。另外，摄像装置101与图像显示部107连接，该图像显示部107包括用于显示图像的显示装置等，图像显示部107上的显示信息由图像处理部106控制。
图2表示调制器102之一例。调制器102被紧贴着固定在图像传感器103的受光面上，具有在光栅基板102a上分别形成了第一光栅图样104和第二光栅图样105的结构。光栅基板102a例如由玻璃或塑料等透明的材料构成。下文将光栅基板102a的图像传感器103一侧称为背面，将对向的面即拍摄对象一侧称为正面。该光栅图样104、105由光栅图样的间隔即间距与自中心起的半径成反比地随着向外侧去而变窄的同心圆状的光栅图样构成。光栅图样104、105例如通过半导体工艺中使用的溅射法等进行铝、铬等金属的蒸镀而形成。由蒸镀了金属的图样和未蒸镀的图样形成深浅。另外，光栅图样104、105的形成不限定于此，例如也可以通过喷墨打印机等进行印刷等方法而形成深浅。此外，此处以可见光为例进行了说明，但例如在进行远红外线拍摄时，光栅基板102a可以使用对拍摄对象的波长透明的材料——例如锗、硅、硫族化物等对远红外线透明的材料，而光栅图样104、105可以使用金属等遮光的材料。
另外，此处描述了为了实现调制器102而在光栅基板102a上形成光栅图样104、105的方法，不过，通过如图3所示在薄膜上形成光栅图样104、105，并利用支承部件102b对它们进行保持，这样的结构也能够实现调制器。
从光栅图样104、105透射的光的光强度被该光栅图样调制，透射的光由图像传感器103接收。图像传感器103例如由ccd(chargecoupleddevice)图像传感器或者cmos(complementarymetaloxidesemiconductor)图像传感器等构成。
在图像传感器103的正面，格子状规则地配置有作为受光元件的像素103a。该图像传感器103将像素103a接收到的光图像转换为作为电信号的图像信号。图像传感器103输出的图像信号经作为图像处理部的图像处理部106进行图像处理而输出到图像显示部107等。
图4是表示图1的摄像装置101进行拍摄之一例的说明图。该图4表示了利用摄像装置101拍摄被摄体401并在图像显示部107上显示的示例。如图所示，在拍摄被摄体401时，使调制器102的正面——具体而言为形成有第一光栅图样104的光栅基板102a的面——与被摄体401正对着进行拍摄。
接着说明图像处理部106进行的图像处理的概要。图5是表示图1的摄像装置101所具有的图像处理部106进行的图像处理的概要的流程图。
首先，对于从图像传感器103输出的莫尔条纹图像，按彩色的rgb(redgreenblue)各成分进行基于快速傅立叶变换(fft：fastfouriertransform)等二维傅立叶变换运算的显像处理，求出频谱(501)。接着，将步骤501的处理得到的频谱中必要频段的数据提取出来(502)，之后进行该频谱的强度计算(503)而获得图像。然后，对获得的图像进行去噪处理(504)，接着进行对比度增强处理(505)等。之后，调整图像的色彩平衡(506)，将其作为拍摄图像输出。通过以上过程，结束图像处理部106的图像处理。
接着说明摄像装置101的拍摄原理。首先，间距按照与自中心起的半径成反比的方式变小的同心圆状的光栅图样104、105定义如下。假定在激光干涉仪等中使接近于平面波的球面波与用作参考光的平面波干涉的情况。令自同心圆的中心也就是基准坐标起的半径为r，该处的球面波的相位为φ/(r)，则其使用系数β由下式给出，其中系数β决定波前的弯曲程度的大小。
[式1]
φ(r)＝βr2……式1
之所以虽然是球面波却用半径r的平方表示，是因为这是接近平面波的球面波，所以仅用展开项的最低次就能够近似。使具有该相位分布的光与平面波干涉，得到下式给出的干涉条纹的强度分布。
[式2]
这是在满足下式的半径位置上具有亮线的同心圆的条纹。
[式3]
φ(r)＝βr2＝2nπ(n＝0，1，２，…)……式3
令条纹的间距为p，得到下式，可知间距随半径成反比地变窄。将具有这样的条纹的片材，称作fresnel波带片或gabor波带片。将具有与用式2定义的强度分布成正比的透射率分布的光栅图样用作图1所示的光栅图样104、105。
[式4]
如图6所示，令平行光以角度θ0入射到在两面形成了这样的光栅图样的厚度t的调制器102上。令调制器102中的折射角为θ，在几何光学上，乘上了正面光栅的透射率的光带着δ＝d·tanθ的偏移而入射到背面，若令2个同心圆光栅的中心对齐，则背面光栅的透射率会在偏移δ后相乘。此时，得到下式所示的强度分布。
[式5]
由此可知，该展开式的第4项在发生重叠的区域的整个面上生成了在2个光栅的偏移方向上等间隔的笔直的条纹图案。将这样的因条纹与条纹重叠而以相对较低的空间频率产生的条纹称为莫尔条纹。这种笔直的等间隔的条纹在检测图像经二维傅立叶变换而得到的空间频率分布中会产生尖锐的峰。于是能够根据其频率的值求出δ的值即光线的入射角θ。由于同心圆状的光栅配置的对称性，这种在整个面上均匀、等间隔地得到的莫尔条纹是不依赖于偏移的方向而以相同的间距产生的。这里得到这样的条纹是因为使用fresnel波带片或gabor波带片形成了光栅图样，但只要能够在整个面上均匀地得到等间隔的莫尔条纹，就可以使用任意的光栅图样。
此处，从式5中如下式所示地仅提取具有尖锐的峰的成分，
[式6]
其傅立叶谱如下式所示。
[式7]
此处，f表示傅立叶变换的运算，u、v是x方向和y方向的空间频率坐标，带括号的δ是delta函数。根据该结果，可知在检测图像的空间频谱中，莫尔条纹的空间频率的峰在u＝±δβ/π的位置上产生。
图7表示其状态。图7中，从左到右分别给出了光线和调制器102的配置图、莫尔条纹、以及空间频谱的示意图。图7的(a)表示垂直入射，图7的(b)表示光线从左侧以角度θ入射的情况，图7的(c)表示光线从右侧以角度θ入射的情况。
形成在调制器102的正面侧的第一光栅图样104和形成在背面侧的第二光栅图样105彼此的轴是对齐的。在图7的(a)中，第一光栅图样104和第二光栅图样105的影子一致，所以不产生莫尔条纹。
在图7的(b)和图7的(c)中，第一光栅图样104与第二光栅图样105间的偏移相等，所以产生相同的莫尔条纹，空间频谱的峰位置也一致，根据空间频谱无法判断光线的入射角是图7的(b)的情况还是图7的(c)的情况。
为了避免这样的情况，例如如图8所示，需要预先使2个光栅图样104、105的光轴彼此错开，以使得即使对于垂直于调制器102入射的光线，2个光栅图样的影子也偏移(错开)着重叠。令2个光栅的影子在沿轴向的垂直入射平面波下的相对偏移为δ0，则因入射角θ的平面波而产生的偏移δ可由下式表示。
[式8]
δ＝δ0+ttanθ……式8
此时，入射角θ的光线产生的莫尔条纹的空间频谱中的峰在频率的正侧位于下式的位置。
[式9]
令图像传感器的大小为s，图像传感器的x方向和y方向的像素数同为n，则经二维傅立叶变换得到的离散图像的空间频谱在-n/(2s)到+n/(2s)的范围中得到。基于这一点，考虑到对正侧的入射角和负侧的入射角均匀地进行光接收，则垂直入射平面波(θ＝0)产生的莫尔条纹的谱峰位置优选在原点(dc：直流成分)位置与例如+侧端的频率位置之间的中央位置，即下式的空间频率位置。
[式10]
从而，2个光栅的相对的中心位置偏移优选为下式。
[式11]
图9是说明使第一光栅图样104与第二光栅图样105错开配置的情况下的莫尔条纹的生成和频谱的示意图。与图7同样，左侧表示光线和调制器102的配置图，中央列表示莫尔条纹，右侧表示空间频谱。另外，图9的(a)是光线垂直入射的情况，图9的(b)是光线从左侧以角度θ入射的情况，图9的(c)是光线从右侧以角度θ入射的情况。
第一光栅图样104和第二光栅图样105以预先错开δ0的方式配置。因此，在图9的(a)中也产生了莫尔条纹，在空间频谱中出现了峰。其偏移量δ0如上所述，设定为使峰位置出现在自原点起的单侧的频谱范围的中央。此时，在图9的(b)中，偏移δ为进一步增大的方向，而在图9的(c)中为减小的方向，所以不同于图7，图9的(b)与图9的(c)的差异能够根据谱峰位置判断。该峰的谱像是表示无穷远的光束的亮点，也就是图1的摄像装置101拍摄的像。
令能够接收的平行光的入射角的最大角度为θmax，满足下式。
[式12]
根据该式，摄像装置101能够接收到的最大视角由下式给出。
[式13]
基于使用通常的透镜进行成像的情况来类推，考虑使视角θmax的平行光聚焦在图像传感器的端部接收的情况，可认为不使用透镜的摄像装置101的有效焦距相当于下式。
[式14]
此处，根据式13可知，视角能够通过调制器102的厚度t、光栅图样104、105的系数β来变更。从而，若调制器102例如为图3的结构，具有能够改变支承部件102b的长度的功能，则也能够在拍摄时变更视角进行拍摄。
另外，作为根据莫尔条纹计算空间频谱的方法，以快速傅立叶变换为例进行了说明，但不限定于此，使用离散余弦变换(dct：discretecosinetransform)等也能够实现，还能够进一步削减运算量。
另外，关于光栅图样104、105的透射率分布，假定如式2所示具有正弦波特性进行了说明，但只要光栅图样的基频成分具有这样的成分即可，例如也能够如图10所示使光栅图样的透射率二值化，进而也可以考虑如图11所示改变透射率高的光栅区域与透射率低的区域的占空比，扩大透射率高的区域的宽度来提高透射率。由此，还能够得到抑制从光栅图样发生衍射等效果，能够减少拍摄像的劣化。
另外，光栅图样104、105也可以不采用透射率调制，而是利用相位调制实现。例如通过如图12所示使光栅基板102a为柱状透镜1201，能够在图像传感器103上产生如图所示的强度调制图样，所以能够与以上的讨论同样地进行拍摄。由此，能够减少由光栅图样104的遮光部导致的光量损失，能够提高光利用效率，并且也可以得到抑制从光栅图样发生衍射的效果。图12虽然是利用透镜实现的，但也能够使用具有同等效果的相位调制元件来实现。
以上说明中，都是入射光线同时仅有1个入射角度，但实际上由于摄像装置101作为相机工作，必须设想多个入射角度的光同时入射的情况。这样的多个入射角的光在入射到背面侧的光栅图样时，多个正面侧光栅的像已经发生了重叠。若它们相互产生莫尔条纹，则可能成为噪声，妨碍对信号成分即与第二光栅图样105的莫尔条纹的检测。但是，实际上第一光栅图样104的像之间的重叠不会产生莫尔条纹像的峰，会产生峰的仅为与背面侧的第二光栅图样105的重叠。在以下说明其理由。
首先，多个入射角的光线产生的正面侧的第一光栅图样104的影子之间的重叠不是积而是和，这是较大的不同。就1个入射角的光产生的第一光栅图样104的影子与第二光栅图样105的重叠来说，通过对第一光栅图样104的影子即光的强度分布乘以第二光栅图样105的透射率，可以得到从背面侧的第二光栅图样105透射后的光强度分布。
而相对的，入射到正面侧的第一光栅图样104的多束角度不同的光所产生的影子之间的重叠是光的叠加，所以不是积而是和。在为和的情况下，如下式所示，所得到的分布是对原本的fresnel波带片的光栅分布乘以莫尔条纹的分布而得到的分布。
[式15]
从而，其频谱由各频谱的重叠积分表示。因此，即使莫尔条纹的频谱单独具有尖锐的峰，实际上在其位置也仅会产生fresnel波带片的频谱的鬼影。即，在频谱中不产生尖锐的峰。从而，即使有多个入射角度的光入射，检测出的莫尔条纹像的频谱也始终仅为正面侧的第一光栅图样104与背面侧的第二光栅图样105的积的莫尔条纹，只要第二光栅图样105是单个，检测出的频谱的峰对于1个入射角就仅有1个。
此处，使用图13示意性地说明以上对于检测进行了说明的平行光与来自实际物体的光的对应。图13是说明来自构成物体的各点的光与图像传感器所成的角的说明图。来自构成被摄体401的各点的光，严格来说作为来自点光源的球面波对图1的摄像装置101的调制器102和图像传感器103(以下在图13中称为光栅传感器一体基板1301)入射。此时，在光栅传感器一体基板相对于被摄体401而言足够小的情况或足够远的情况下，能够视为从各点照射到光栅传感器一体基板上的光的入射角度相同。
由式9求出因微小角度变化δθ引起的莫尔条纹的空间频率变化δu，而根据该δu为图像传感器的空间频率的最小分辨率1/s以下这一关系，可以如下所示地表示可将δθ视为平行光的条件。
[式16]
只要在该条件下，就能够对无穷远处的物体用本发明的摄像装置进行摄像。
＜有限距离物体的拍摄原理＞
此处，在图14中给出以上描述的无穷远处的情况下的正面侧的第一光栅图样104投影到背面的状况。从构成无穷远处的物体的点1401发出的球面波，在足够长的距离中传播的期间成为平面波照射到正面侧的第一光栅图样104上，当其投影像1402投影到下方的面时，投影像是与第一光栅图样104大致相同的形状。其结果，通过对投影像1402乘以背面侧的光栅图样(相当于图2的第二光栅图样105)的透射率分布，能够得到等间隔的直线状的莫尔条纹(图15)。
另一方面，说明对有限距离处的物体进行摄像的情况。图16表示的是，在所拍摄的物体位于有限距离处的情况下，正面侧的第一光栅图样104在背面的投影相比第一光栅图样104被放大。如图16所示，在从构成物体的点1601发出的球面波照射正面侧的第一光栅图样104，其投影像1602投影到下方的面时，投影像被大致均匀地放大。其中，其放大率α能够使用从第一光栅图样104到点1601的距离f，通过下式计算。
[式17]
因此，如果直接乘以针对平行光设计的背面侧的光栅图样的透射率分布，将不能产生等间隔的直线状的莫尔条纹(图17)。但是，如果与均匀放大的正面侧的第一光栅图样104的影子相应地将第二光栅图样105放大，则能够对放大的投影像1602再次产生等间隔的直线状的莫尔条纹(图18)。因此，通过将第二光栅图样105的系数β变更为β/α2能够实现校正。
由此，能够有选择地对从不一定位于无穷远的距离处的点1601发出的光进行显像。从而能够对焦在任意的位置上进行拍摄。
＜简化结构＞
接着说明简化调制器102的结构的方法。在调制器102中，通过在光栅基板102a的正面和背面分别使同一形状的第一光栅图样104和第二光栅图样105相互偏移地形成，而根据莫尔条纹的空间频谱检测入射的平行光的角度来使像显像。该背面侧的第二光栅图样105是紧贴在图像传感器103上对入射的光的强度进行调制的光学元件，不依赖于入射光，为相同的光栅图样。于是，如图19所示，也可以使用除去了第二光栅图样105的调制器1901，通过图像处理部1902内的强度调制部1903执行相当于第二光栅图样105的处理。
图20表示此时的调制器1901的结构的细节。通过该结构，能够将形成在光栅基板102a上的光栅图样减少1个面。由此，能够降低调制器的制造成本，进而还能够提高光利用效率。
图21是表示图19的图像处理部1902进行的图像处理的概要的流程图。该图21的流程图与图5的流程图的不同之处在于步骤2101的处理。在步骤2101的处理中，利用上述强度调制部1903，对于从图像传感器103输出的图像，生成相当于使其从背面侧的光栅图样105透射而得到的莫尔条纹图像。具体而言，因为进行与式5对应的运算即可，所以可以在强度调制部1903中生成背面侧的光栅图样105，将其与图像传感器103的图像相乘。进而，如果背面侧的光栅图样105是如图10、图11所示的二值化的图样，则仅通过使与黑色部分对应的区域的图像传感器103的值为0就能够实现处理。由此，能够抑制乘法电路的规模。此后，图21的步骤501～506的处理与图5的处理相同，故此处省略说明。
另外，该情况下，图像传感器103所具有的像素103a的间距需要小到能够足够重现第一光栅图样104的间距的程度，或者第一光栅图样104的间距需要大到能够利用像素103a的间距重现的程度。而在光栅图样形成在光栅基板102a的两面的情况下，不一定需要使光栅图样的间距能够由图像传感器103的像素103a分辨，只要其莫尔条纹像能够分辨即可。不过，在利用图像处理重现光栅图样的情况下，光栅图样与图像传感器103的分辨率需要是同等的。
此外，以上利用强度调制部1903实现了相当于第二光栅图样105的处理，但因为第二光栅图样105是紧贴在传感器上对入射的光的强度进行调制的光学元件，所以通过在实质上考虑了第二光栅图样105的透射率的基础上设定传感器的灵敏度，也能够实现这样的处理。
＜噪声消除＞
以上说明中，着眼于从式5中仅提取出具有尖锐的峰的成分而得到的式6进行了描述，但实际上式5的第4项以外的项都为噪声。为此，基于条纹扫描进行噪声消除是较为有效的。
首先，在式2的干涉条纹强度分布中，令第一光栅图样104的初始相位为φf、第二光栅图样105的初始相位为φb，则式5可表示如下。
[式18]
此处，利用三角函数的正交性，如下式所示对式18关于φf、φb积分，噪声项被抵消，留下单一频率的常数倍的项。
[式19]
根据上述讨论，如果对其进行傅立叶变换，则在空间频率分布中将产生没有噪声的尖锐的峰。
此处，式19由积分的形式表示，但实际上通过计算φf、φb的各种组合的总和也可以得到同样的效果。φf、φb设定为将0～2π之间的角度等分即可，可以像{0，π/2，π，3π/2}这样四等分，也可以像{0，π/3，2π/3}这样三等分。
式19还能够简化。式19中，以φf、φb可独立改变的方式进行计算，但即使φf＝φb即对光栅图样104和105的初始相位应用相同的相位，也能够消除噪声项。如果在式19中令φf＝φb＝φ，则成为下式。
[式20]
其中噪声项被抵消，单一频率的常数倍的项得到保留。另外，φ设定为将0～2π之间的角度等分即可，可以像{0，π/2，π，3π/2}这样四等分。
另外，即使不等分，使用{0，π/2}这样的正交的相位也能够消除噪声项，能够进一步简化。首先，如图19的结构所示，利用图像处理部1902实施第二光栅图样105，则光栅图样105可以使用负值，所以式18成为下式(φf＝φb＝φ)。
[式21]
由于光栅图样105是已知的，所以从该式21中减去光栅图样105，对φ＝{0，π/2}的情况进行相加，则如下式所示，噪声项被抵消，单一频率的常数倍的项得以保留。
[式22]
另外，如上所述，通过使第一光栅图样104与第二光栅图样105预先错开δ0而将空间频率空间中产生的2个显像图像分离。不过，该方法存在显像图像的像素数变成一半的问题。为此，对即使不错开δ0也能够避免显像图像重复的方法进行说明。在式19的条纹扫描(fringescan)中，代替cos使用exp，如下式所示在复平面上运算。
[式23]
由此，噪声项被抵消，单一频率的常数倍的项得以保留。对式23中的exp(2iβδx)进行傅立叶变换，得到下式。
[式24]
由该式可知，不会像式7那样产生2个峰，可以得到单个显像图像。于是，不需要使光栅图样104、105错开(偏移)，能够有效地使用像素数。
利用图22～27说明用于执行以上基于条纹扫描(fringescan)的噪声消除方法的结构。在条纹扫描中，至少需要使用初始相位不同的多个图样作为光栅图样104。为了实现这一点，有以时分方式切换图样的方法和以空分方式切换图样的方法。
图22表示用于实现时分条纹扫描的结构。调制器2201例如是能够电气地切换显示图23所示的多个初始相位的液晶显示元件等。图23的(a)～(d)之图样中，初始相位φf或φ分别为{0，π/2，π，3π/2}。图24表示实现该功能的调制器2201的液晶显示元件中的电极配置的例子。以将光栅图样的1个周期4等分的方式构成同心圆状电极，从内侧起4根4根地铺设电极，并从外周部引出4根电极作为驱动端子。通过使施加在这4根电极上的电压状态随时间切换成“0”和“1”这2个状态，能够使光栅图样的初始相位φf或φ如图24的(a)～(d)所示地按{0，π/2，π，3π/2}切换。另外，在图24中，网点表示的施加了“1”的电极对应于遮光，白色表示的施加了“0”的电极对应于透光。
接着，图25表示图像处理部2203中的图像处理的概要的流程图。该图25中的流程图与图21的流程图的不同之处在于步骤2501～2504的处理。首先，在条纹扫描运算的最初使相加结果重置(2501)。接着，在对应于式20的情况下，设定为与拍摄时使用的光栅图样104相同的初始相位(2502)，生成具有该初始相位的光栅图样105，并与图像传感器103的图像相乘(2101)。将其结果按每一种初始相位的图样相加(2503)。按全部初始相位的图样数反复进行以上步骤2502～2503的处理(2504)。此后的处理与图21的处理相同，故此处省略说明。另外，上述流程以式20为例进行了说明，但也能够同样应用于式19、22、23。
相对地，图26表示用于实现空分条纹扫描的结构。调制器2601例如按照图27中的初始相位φf或φ分别为{0，π/2，π，3π/2}的图样那样，将多个初始相位的图样二维排列。图像分割部2602将图像传感器103的输出分割为与调制器2601的图样配置相应的区域，并依次传输给图像处理部。在图26的例子中，将图像传感器的输出分割为纵2×横2共4个区域。由于基于式20的条纹扫描需要4个相位，所以调制器2601采用纵2×横2，但基于式22的条纹扫描能够使用2个相位实现，所以调制器2601也能够采用纵1×横2的图样配置实现，并相应地将图像传感器的输出也分割为纵1×横2的区域。此后的图像处理部2203的处理与时分条纹扫描即图22的处理相同，故省略说明。
如果使用该空分条纹扫描，则不需要像时分条纹扫描的调制器2201那样电气地进行切换，能够廉价地制造调制器。但是，使用空分条纹扫描时会将图像分割，所以分辨率实质上将降低。因此，在需要提高分辨率的情况下优选时分条纹扫描。
＜近距离摄像中的问题＞
接着，说明对近距离的物体摄像时的问题。在来自某个光源的光照射到物体上，从近距离拍摄其散射光的情况下，来自该物体的散射角成为问题。图28是表示要拍摄的物体位于近距离处的情况下的来自物体的某个点的光的扩散角(散射角)θs的说明图。如图28所示，在来自构成物体的点2801的散射光照射到第一光栅图样104的情况下，第一光栅图样104中的照射区域的直径b使用散射角θs表示如下。
[式25]
b＝2ftanθs……式25
f是从点2801到第一光栅图样104的距离。这样，在近距离拍摄时在第一光栅图样104中仅能够使用被照射的区域。另外，现实中散射光强度随着散射角增大而逐渐衰减，但图28中为了简化而假设散射光仅到达照射区域。
第一光栅图样104由条纹的间距从中心向边缘去而变窄的同心圆状的光栅图样构成，所以例如点2803那样，越远离第一光栅图样104的中心，其照射区域中的条纹的间距越窄。间距窄的条纹的投影像由于衍射等的影响，图像传感器103上的对比度降低，所以容易淹没在噪声中难以进行显像。根据以上所述，虽然能够进行点2801、2802那样位于第一光栅图样104中心附近的点的摄像，但如点2803那样，越远离中心摄像变得越困难，能够摄像的范围(视野)受到限制。
通过实验可知，在散射光通过第一光栅图样104的中心的情况下能够进行摄像。因此，使用由式13给出的最大视角θmax，在θs≤θmax的情况下，视野角成为散射角θs，视野的直径as成为下式。
[式26]
as＝2ftanθs……式26
为了扩大该视野，有通过减小形成第一光栅图样104的同心圆状的光栅图样的系数β而使条纹的间距变宽的方法，但间距变宽会导致分辨率变差。
＜近距离摄像中的视野扩大方法＞
于是，说明在对近距离的物体的摄像中保持分辨率并同时扩大视野的方法。
图29是表示利用复眼光栅图样实现广视野化的结构例的图。图29表示能够扩大近距离摄像中的视野的结构。图29与图19的不同之处在于，使用由多个基本图样2903排列而成的第一复眼光栅图样2902作为第一光栅图样104，以及具有图像分割部2904和图像处理部2905。图30表示第一复眼光栅图样2902的例子。通过在与摄像元件平行的平面上以纵3×横3的不重叠的方式排列由同心圆状的光栅图样构成的基本图样2903，能够实现第一复眼光栅图样2902。通过采用这样配置多个基本图样的结构，能够配置多个基于单一光栅图样的视野as。利用这样结构，能够在不改变光栅图样的系数β的同时，抑制因照射区域的周边部分的条纹间距过度变窄而导致衍射等对分辨率降低的影响增强，从而使得视野受到限制的问题。
另外，图29的第一复眼光栅图样2902采用由排列成纵3×横3的基本图样构成的图样，但不限定于此，可以与拍摄对象的尺寸、与拍摄对象间的距离等相应地适当变更。
另外，图31表示复眼光栅图样的视野。令相邻的基本图样的同心圆的中心间距离为qm、基本图样的配置数为n，则复眼光栅图样的视野am如下。
[式27]
另外，构成各基本图样2903的同心圆状的光栅图样的初始相位φ可以是任意的。并且，图29的结构中使用了单个图像传感器103，但也可以排列多个图像传感器103使用。
＜串扰发生原理＞
因为使用复眼光栅图样，从相邻的基本图样发生的串扰就可能成为问题。利用图31说明使用第一复眼光栅图样2902进行摄像时的串扰。令基本图样3101的视野角为θs，在图像传感器103上，散射光入射到具有下式的直径的范围内。
[式28]
c＝2ttanθs……式28
该范围的信息对基本图样3101的视野角θs的范围内的摄像有贡献。
不过，例如来自点3103的光线会通过相邻的基本图样3102入射到c的范围内。在基本图样3101的显像中，相邻的基本图样3102的信息成为噪声。这样，会因通过不同的基本图样入射的光线而发生串扰。
(实施例1：调制器的形状)
对此，如图32所示，在c≤qm的情况下不会发生串扰。即，通过以t(调制器102的厚度)和qm(相邻的基本图样的同心圆的中心间距离)满足t≤qm/(2·tanθs)的方式构成调制器102，能够防止串扰。
接着，说明应用复眼光栅图样时的图像处理。图33的(a)和图33的(b)是表示图像处理部2905进行的图像处理的概要的流程图。图33的(a)中的流程图与图21的不同之处在于步骤3301和步骤3302的处理。
首先，在图像分割部2904中，按基本图样2903的排列将图像传感器103取得的传感器图像分割(3301)。之后进行与图21的处理同样的处理直到步骤504，接着在步骤3302中，按步骤3301中的分割来排列步骤504的输出图像并进行合成。此后的处理与图21的处理相同。另外，步骤2101的处理中使用的背面侧的光栅图样既可以是由单个基本图样2903构成的单眼的第一光栅图样，也可以是与复眼的第一复眼光栅图样2902同样的复眼图样。
图33的(b)的流程图与图33的(a)的不同之处在于输出图像的分割时机。在图33的(b)中，不进行图33的(a)的步骤3301，而是将步骤504的处理后的输出图像按基本图样2903的排列分割(3303)，进而在排列后合成(3302)。
另外，图29基于图19进行了说明，但通过同样地应用于图22等其他结构，也能够基于条纹扫描进行噪声消除。
根据以上结构，在近距离摄像中也能够在保持分辨率的同时扩大视野。
＜实施例2：利用遮光板降低串扰＞
本实施例中，说明利用遮光板减小第一复眼光栅图样2902中的从相邻的基本图样发生的串扰的方法。
如上所述，在实施例1中通过适当地设定t(调制器102的厚度)和qm(相邻的基本图样的同心圆的中心间距离)而降低串扰，但这样也存在调制器的设计自由度受到限制的情况。通过插入遮光板也能够降低串扰。图34表示利用遮光板降低串扰的原理。对基本图样3101的摄像而言成为噪声的来自点3103的光线，能够通过插入遮光板3401而除去。
图35是实现利用遮光板降低串扰的结构的说明图。图35在调制器3501中插入了遮光板3502。遮光板需要采用拍摄对象的波长不会透射的材质，对于可见光可以使用黑色的塑料板或金属板，对于远红外光可以使用丙烯酸树脂板或金属板等。另外，遮光板3502如图34所示，按每个以基本图样2903为单位的区域u划分配置。此时，视野角成为在式13中s＝u时的θmax，令视野角为θu则视野au为下式所示。
[式29]
根据以上结构，能够减小第一复眼光栅图样中的从相邻的基本图样发生的串扰，而不会限制设计自由度。
＜实施例3：利用偏振片降低串扰＞
本实施例中，说明利用偏振片减小第一复眼光栅图样中的从相邻的基本图样发生的串扰的方法。
图36表示利用偏振片降低串扰的原理。采用以偏振片3601至3604夹着调制器2901的结构。另外，以使偏振片3601与偏振片3602这样的相邻的偏振片的偏振轴正交，使偏振片3601与偏振片3603这样的相对的偏振片的偏振轴一致的方式配置。由此，从基本图样3101的拍摄对象的点3605发出的光线经过偏振片3601和偏振片3603，由于2个偏振片的偏振轴相互平行所以光会到达图像传感器103。而相对的，成为噪声的来自点3103的光线经过偏振片3602和偏振片3603，但由于2个偏振片的偏振轴相互正交所以光不会到达图像传感器103。由此，能够除去串扰。此时，视野角成为θu，视野au可以由式29得到。
图37是用于实现利用偏振片降低串扰的结构的说明图。如图37的(a)所示，以第一偏振片3701和第二偏振片3702夹着调制器2901。第一偏振片3701与第一复眼光栅图样2902接近配置，第二偏振片3702与图像传感器103接近配置。另外，图37的(a)将第一偏振片3701配置在调制器2901的正面侧，但也可以配置在第一复眼光栅图样2902的背面侧。
图37的(b)表示偏振片3701、3702的例子。偏振片3701由多个偏振片构成，以使偏振片3601与偏振片3602这样的相邻的偏振片的偏振轴正交的方式配置。另外，偏振片3601的大小为与第一复眼光栅图样2902的基本图样2903相同的尺寸，按基本图样2903的配置而相应配置。
根据以上结构，能够减少第一复眼光栅图样中的从相邻的基本图样发生的串扰。
另外，图37中使第一复眼光栅图样2902成为由纵3×横3的基本图样的配置构成的图样，但不限定于此，可以与拍摄对象的尺寸、与拍摄对象间的距离等相应地适当变更。
另外，在使用液晶显示元件实现第一复眼光栅图样的情况下，能够利用液晶显示元件的偏振片作为构成上述第一偏振片3601的偏振片3603。
另外，上述采用了使偏振片3601与偏振片3603这样的相对的偏振片的偏振轴一致的配置，但不限定于此，取决于调制器2901的材料，也存在偏振面旋转的可能，所以也可以按照使从相对的偏振片透射的光量最大的方式，或者使串扰光量最小的方式，设定偏振轴的倾斜量。
＜实施例4：串扰消除＞
本实施例中，说明基于条纹扫描消除第一复眼光栅图样中的从相邻的基本图样发生的串扰的方法。
在利用条纹扫描实现的串扰消除中，至少需要使用基本图样的初始相位不同的多个图样作为第一复眼光栅图样。为了实现这一点，有使用时分条纹扫描的方法和使用空分条纹扫描的方法。
首先，说明使用时分条纹扫描的串扰消除。图38表示用于使用时分条纹扫描实现串扰消除的结构。图38与图22的不同之处在于，使用第一复眼光栅图样3802作为第一光栅图样，以及具有图像分割部3806和图像处理部3805。第一复眼光栅图样3802以上下左右相邻的基本图样3803、3804的初始相位φ彼此相差π/2的方式配置。
此处，说明通过将初始相位差设为π/2而消除串扰的原理。图39表示图38中的基本图样3803、3804的组合。图40中使基本图样3803、3804分别为基本图样3901、3902。基本图样3901、3902以各自的初始相位φf1与φf2的相位差为π/2的方式，将φf1和φf2设为{0，π/2}、{π/2，π}、{π，3π/2}、{3π/2，2π}等组合。另外，构成背面侧的复眼光栅图样的基本图样3903、3904的初始相位φb1和φb2也同样地，以初始相位φb1与φb2的相位差为π/2的方式，设为{0，π/2}、{π/2，π}、{π，3π/2}、{3π/2，2π}等组合。本组合下，只要进行式19的条纹扫描运算就能够消除串扰。
例如，对基本图样3901的投影像利用基本图样3903进行显像处理，该图样的初始相位差(φf1-φf3)是0，式19中的cos项成为1。与此相对，在对成为串扰的基本图样3902的像利用基本图样3903进行显像处理的情况下，初始相位差(φf1-φf3)是π/2，式19中的cos项成为0，所以被消除。由此，通过正面侧的复眼光栅图样与背面侧的复眼光栅图样的初始相位的组合，能够消除串扰。
图40表示第一复眼光栅图样3802的例子。切换使用如图40的(a)～(b)所示的基本图样3803、3804的初始相位不同的第一复眼光栅图样3802。切换方法与实施例1中说明的时分条纹扫描的方法相同，故省略说明。
接着，说明使用空分条纹扫描的串扰消除。图41表示第一复眼光栅图样的例子。为了实现空分条纹扫描，第一复眼光栅图样4101的基本图样4102由4个初始相位的分割图样4103、4104构成。进而，为了实现串扰消除，如分割图样4103和相邻的分割图样4104那样，以上下左右相邻的分割图样的初始相位相差π/2的方式配置。本组合下，只要进行式19的条纹扫描运算，就能够如上所述消除串扰。
根据以上结构，能够减小第一复眼光栅图样中的从相邻的基本图样发生的串扰。
另外，实施例1至实施例3使构成第一复眼光栅图样的基本图样以相邻的基本图样之间不发生重叠的方式配置，但本实施例中相邻的基本图样也可以相互重叠。
＜实施例5：同时使用串扰消除和偏振片＞
本实施例说明的是，同时使用实施例4的串扰消除，和实施例3的利用偏振片降低串扰的方法，来减小第一复眼光栅图样中的从相邻图样发生的串扰的方法。
实施例4的串扰消除方法中，通过以上下左右相邻的基本图样的初始相位φ彼此相差π/2的方式配置，来消除串扰的影响。不过，该该方法存在不能完全消除来自斜向相邻的基本图样的串扰的情况。于是给出在实施例4中同时使用偏振片的例子。
图42是表示使用时分条纹扫描进行串扰消除，并同时使用偏振片来降低串扰的方法的说明图。图42与图38的不同之处在于，具有第一偏振片4201和第二偏振片4202这2片偏振片。第一偏振片4201与第一复眼光栅图样3802接近配置，第二偏振片4202与图像传感器103接近配置。此处，第二偏振片4202与第一偏振片4201相同，以偏振片的偏振方向一致的方式配置。另外，图42将第一偏振片4201配置在调制器3801的正面侧，但也可以配置在第一复眼光栅图样3802的背面侧。
图43表示偏振片4201和4202的例子。图43与图37中说明的偏振片3701和3702的不同之处在于，构成第一偏振片4201和第二偏振片4202的偏振片4203的尺寸为排成一列的基本图样3803的尺寸。图43中，例如采用由纵2×横2的基本图样构成的图样作为第一复眼光栅图样3802，所以偏振片4201、4202是与纵2片×横1片的基本图样相当的尺寸。另外，使相邻的偏振片4203的偏振轴与偏振片4201、4202的偏振轴正交。通过使偏振轴正交能够减小串扰。
另外，以将基本图样格子状配置的结构为例进行了说明，但不限定于此，也可以像蜂窝结构那样，以相邻的基本图样彼此成60度的位置关系的方式配置。这样的情况下，也能够通过将相邻的基本图样的初始相位差设为π/2，或者使相邻的偏振片的偏振轴正交配置而降低串扰。
根据以上结构，还能够减小第一复眼光栅图样中的从斜方向相邻的基本图样发生的串扰。
另外，在使用液晶显示元件实现第一复眼光栅图样的情况下，也能够使用液晶显示元件的偏振片作为构成上述第一偏振片4201的偏振片4203。
另外，也能够使用上述2片偏振片4201和4202，通过同时使用基于空分条纹扫描的串扰消除和偏振片而实现串扰的减小。
＜实施例6：静脉摄像中的应用例＞
本实施例中，给出用于应用到指静脉认证装置中的指静脉摄像方法。
在指静脉认证中，需要对足够用于认证的视野进行拍摄。图44是表示用于确保足够进行指静脉认证的视野的摄像装置的结构和光路的说明图。令qm为构成第一复眼光栅图样4401的基本图样的中心间距离，n为某个方向上的基本图样的数量，f为从被摄体4402到第一复眼光栅图样4401的距离。为了获得拍摄被摄体4402所需的视野am，对距离f与中心间距离qm的关系有一定要求，这里进行说明。
当距离f较短时，各基本图样的视野较小，合成的视野am中会产生间隙。为了不产生间隙，f必须为图44中的fmin以上。各基本图样的视野as由式26表示。式26中的散射角θs是光源对手指照射时产生的透射光或反射光的散射角，所以as＝2f·tanθs≥qm即可。即，手指可接近第一复眼光栅图样的极限距离fmin为下式。
[式30]
接着，说明为了获得视野am所需的图像传感器103的尺寸d。各基本图样4403的视野内的光线在图像传感器103上具有式27的关系。因此，只要具有下式的尺寸，就能够正确拍摄视野am内的信息。
[式31]
其中，即使图像传感器103不是单个传感器，也能够排列多个传感器而扩大传感器尺寸。
只要满足以上条件，就能够获得指静脉认证所需的视野。另外，以上方法虽然会发生串扰，但通过使用上述的串扰降低方法能够减小串扰。
接着，图45表示指静脉认证装置的例子。图45具有复眼光栅图样(正面侧)4501、光源4503和图像传感器4502。光源4503使用波长850nm附近的近红外光，利用图像传感器4502取得来自手指的反射光。另外，也可以采用由图像传感器4502取得透射光的配置。利用这样的装置能够实现指静脉摄像。
根据以上结构，能够实现确保指静脉认证所需的视野，并且实现薄型化的指静脉认证装置。
另外，本发明不限定于上述实施例，包括各种变形例。例如，上述实施例是为了易于理解地说明本发明而详细进行的说明，并不限定于必须具备说明的全部结构。
另外，能够将某个实施例的结构的一部分置换为其他实施例的结构，也能够在某个实施例的结构上添加其他实施例的结构。另外，上述各结构、功能、处理部、处理单元等的一部分或全部，例如可以通过集成电路设计等而用硬件实现。另外，上述各结构、功能等，也可以通过处理器解释、运行实现各功能的程序而用软件实现。实现各功能的程序、表、文件等信息，能够保存在存储器、硬盘、ssd(solidstatedrive)等记录装置，或者ic卡、sd卡、dvd等记录介质中，在执行时读取到ram(randomaccessmemory)等，由cpu(centralprocessingunit)等执行。
另外，控制线和信息线表示了认为说明上必要的，并不一定表示了产品上全部的控制线和信息线。实际上也可以认为几乎全部结构都相互连接。
另外，上述各结构、功能、处理部等的一部分或全部可以由分布式系统实现，即，例如通过在不同的装置中执行并经由网络进行汇总处理。
另外，上述实施方式的技术要素可以单独应用，也可以分为程序部件和硬件部件这样多个部分应用。
以上对于本发明以实施方式为中心进行了说明。
附图标记说明
101……摄像装置，102……调制器，102a……光栅基板，102b……支承部件，103……图像传感器，103a……像素，106……图像处理部，107……图像显示部，104……光栅图样(正面侧)，105……光栅图样(背面侧)，401……被摄体，1201……柱状透镜，1301……光栅传感器一体基板，1401……点，1402……投影像，1601……点，1602……投影像，1901……调制器，1902……图像处理部，1903……强度调制部，2201……调制器，2202……调制器控制部，2203……图像处理部，2601……调制器，2602……图像分割部，2801……点，2802……点，2803……点，2901……调制器，2902……复眼光栅图样(正面侧)，2903……光栅图样，2904……图像分割部，2905……图像处理部，3101……光栅图样，3102……光栅图样，3103……点，3401……遮光板，3501……调制器，3502……遮光板，3601……偏振片，3602……偏振片，3603……偏振片，3604……偏振片，3605……点，3701……偏振片，3702……偏振片，3801……调制器，3802……复眼光栅图样(正面侧)，3803……光栅图样，3804……光栅图样，3805……图像处理部，3806……图像分割部，3901……光栅图样，3902……光栅图样，3903……光栅图样，3904……光栅图样，4101……复眼光栅图样，4102……光栅图样，4103……光栅图样，4104……光栅图样，4201……偏振片，4202……偏振片，4203……偏振片，4401……复眼光栅图样(正面侧)，4402……被摄体，4403……光栅图样，4501……复眼光栅图样(正面侧)，4502……图像传感器，4503……光源。