摄像装置、摄像方法及图像处理程序与流程

本发明涉及一种摄像装置、摄像方法及图像处理程序，尤其涉及一种能够同时获取特性不同的多个图像的摄像装置、摄像方法及图像处理程序。

背景技术：

以往，提出有一种摄像装置，其具备：复杂镜头，包括具有第1特性的第1区域和具有与第1特性不同的第2特性的第2区域；及定向传感器，对透过复杂镜头的第1区域的光束和透过第2区域的光束进行光瞳分割并接收该光束，并能够同时获取具有第1特性的第1图像和具有第2特性的第2图像(专利文献1、2)。

在此，定向传感器构成为使光检测灵敏度中具有角特性，专利文献1、2中公开了下述定向传感器。

(1)一种定向传感器，通过对多个受光单元分配一个微透镜使光检测灵敏度中按每一个受光单元具有角特性。

(2)一种定向传感器，在受光单元附近配置遮光罩，并通过对透过复杂镜头的第1区域的光束或透过第2区域的光束进行遮光而使光检测灵敏度中具有角特性。

(3)一种定向传感器，按每一个受光单元设置作为棱镜而发挥功能的棱镜要件，并通过棱镜要件使光检测灵敏度中具有角特性。

专利文献1、2中所记载的摄像装置中，组合根据光瞳区域的部位而特性不同的复杂镜头与在光检测灵敏度中具有角特性的定向传感器，由此能够利用单一定向传感器和复杂镜头同时拍摄特性不同的各种图像。

并且，提出有一种摄像装置，其能够使用仅在一部分受光单元中设置有遮光罩的定向传感器，同时拍摄特性不同的各种图像(专利文献3)。

专利文献3中所记载的摄像装置具备：复杂镜头，复杂镜头的第1区域所占的比例a与第2区域所占的比例b(a＜b)不同；及定向传感器，该定向传感器包括以仅透过复杂镜头的第1区域的光束所入射的方式设置有遮光罩的第1受光单元和透过复杂镜头的第1区域及第2区域的光束所入射的第2受光单元。而且，从定向传感器的第1受光单元获取具有第1区域特性的第1图像，并从第2受光单元获取具有第1特性、第2特性的第2图像。在此，第2图像中混在复杂镜头的第1特性和第2特性，但由于第2区域所占的比例b比第1区域所占的比例a大，因此主要具有第2特性。

并且，专利文献1、2中所记载的定向传感器构成为在光检测灵敏度中具有角特性，但很难以高精度对透过复杂镜头的第1区域的光束和透过第2区域的光束进行光瞳分割，并分别使透过第1区域的光束仅入射于第1受光单元，使透过第2区域的光束仅入射于第2受光单元，第1图像中包含表示复杂镜头的第2区域特性的干扰成分，第2图像中包含表示第1区域特性的干扰成分。并且，专利文献3中所记载的定向传感器的第2受光单元在光检测灵敏度中原本就不具有角特性，因此从第2受光单元获取的第2图像中包含表示复杂镜头的第1特性的干扰成分。

另外，专利文献4中公开了一种分别从第1图像及第2图像通过图像处理去除/降低干扰成分的方法。并且，专利文献5中记载有一种排列成方格状(棋盘状)的第1受光单元和第2受光单元(受光部)的受光面积不同的彩色固态摄像装置。

以往技术文献

专利文献

专利文献1：日本特开2012-253670号公报

专利文献2：国际公开第2012/043212号

专利文献3：国际公开第2013/027507号

专利文献4：国际公开第2013/146506号

专利文献5：日本特开2005-286104号公报

技术实现要素：

发明要解决的技术课题

然而，对多个受光单元设置一个微透镜的定向传感器的结构本身与通常的图像传感器大为不同，并且，必须以高精度设置较大的微透镜，因此存在很难制造和调整的问题。

配设遮光罩或棱镜要件的定向传感器中，需要追加在通常的图像传感器中不需要的遮光罩或棱镜要件来作为各个受光单元的结构体，其中存在成本上升和妨碍受光单元尺寸(像素间距或厚度)的微细化的问题。

并且，专利文献3中所记载的摄像装置的情况下，虽在定向传感器的一部分受光单元中未设有遮光罩，但仍然需要在定向传感器的其他受光单元中嵌入结构体(遮光罩)，成本上升和妨碍受光单元尺寸(像素间距或厚度)的微细化的课题未得到解决。

另一方面，专利文献5中所记载的彩色固态摄像装置中，排列成方格状的第1受光单元和第2受光单元的受光面积不同，但这是为了同时拍摄高灵敏度的图像和低灵敏度的图像，并生成高动态范围的图像。即，专利文献5中没有对同时拍摄具有复杂镜头的第1区域特性及第2区域特性的第1图像及第2图像的构想。

本发明是鉴于上述内容而完成的，其目的在于提供一种能够使用结构与通常的图像传感器相同的图像传感器同时拍摄与具有多个特性的复杂镜头的各特性对应的图像，由此能够实现图像传感器的传感器像素的微细化和制造工时/成本的抑制的摄像装置、摄像方法及图像处理程序。

用于解决技术课题的手段

为了实现上述目的，本发明的一方式所涉及的摄像装置具备：复杂镜头，包括具有第1特性的第1区域和具有与第1特性不同的第2特性的第2区域；图像传感器，二维排列有具有第1微透镜的第1受光元件和具有对焦度与第1微透镜的对焦度不同的第2微透镜的第2受光元件，并具有使透过复杂镜头的第1区域的光束和透过第2区域的光束经由第1微透镜而干扰入射的第1受光元件、及使透过复杂镜头的第1区域的光束和透过第2区域的光束经由第2微透镜而干扰入射且干扰比率与第1受光元件的干扰比率不同的第2受光元件；及干扰去除处理部，分别从由图像传感器的第1受光元件得到的第1干扰图像及由第2受光元件得到的第2干扰图像去除干扰成分，并生成分别具有复杂镜头的第1特性及第2特性的第1图像及第2图像。

根据本发明的一方式，容许透过复杂镜头的第1区域的光束和透过第2区域的光束干扰入射于图像传感器的第1受光元件和第2受光元件，另一方面，使与图像传感器的第1受光元件对应设置的第1微透镜和与第2受光元件对应设置的第2微透镜的对焦度不同，其结果，使第1受光元件和第2受光元件的干扰比率不同。而且，分别从由图像传感器的第1受光元件得到的第1干扰图像及由第2受光元件得到的第2干扰图像去除干扰成分，并生成分别具有复杂镜头的第1特性及第2特性的第1图像及第2图像。本发明所涉及的图像传感器中，对第1受光元件设置的第1微透镜和对第2受光元件设置的第2微透镜的对焦度不同，但与通常的图像传感器相比无追加结构，从而能够实现传感器像素的微细化和制造工时/成本的抑制。另外，这里所说的“特性”这一用语为包含“光学特性”的意思的概念。

本发明的另一方式所涉及的摄像装置具备：复杂镜头，包括具有第1特性的第1区域和具有与第1特性不同的第2特性的第2区域；图像传感器，二维排列有具有微透镜的第1受光元件和不具有微透镜的第2受光元件，并具有使透过复杂镜头的第1区域的光束和透过第2区域的光束经由微透镜而干扰入射的第1受光元件、及使透过复杂镜头的第1区域的光束和透过第2区域的光束而干扰入射且干扰比率与第1受光元件的干扰比率不同的第2受光元件；及干扰去除处理部，分别从由图像传感器的第1受光元件得到的第1干扰图像及由第2受光元件得到的第2干扰图像去除干扰成分，并生成分别具有复杂镜头的第1特性及第2特性的第1图像及第2图像。

不具有微透镜的第2受光元件无针对透过复杂镜头的第1区域的光束及透过第2区域的光束的成像/聚光作用，因此具有微透镜的第1受光元件和不具有微透镜的第2受光元件在复杂镜头的光瞳像的受光面上的对焦度变得不同，其结果，入射于第1受光元件及第2受光元件的透过第1区域的光束与透过第2区域的光束的干扰比率也不同。从而，从由图像传感器的第1受光元件得到的第1干扰图像及由第2受光元件得到的第2干扰图像分别除去干扰成分，由此能够生成分别具有复杂镜头的第1特性及第2特性的第1图像及第2图像。

本发明的另一方式所涉及的摄像装置中，干扰去除处理部优选根据由第1干扰图像及第2干扰图像各自的检测增益分布及干扰增益分布构成的矩阵的逆矩阵和第1干扰图像及第2干扰图像计算第1图像及第2图像。另外，检测增益分布及干扰增益分布为与每个透过具有复杂镜头的第1特性的第1区域的摄像光及透过具有第2特性的第2区域光学系统的摄像光有关的分布信息。检测增益分布表示最初设想的通过受光元件正确地受光的摄像光的分布(信息数据)。例如，通过“通过与第1区域对应的第1受光元件受光的摄像光中的透过第1区域的摄像光的分布(信息数据)”及“通过与第2区域对应的第2受光元件受光的摄像光中的透过第2区域的摄像光的分布(信息数据)”表示检测增益分布。另一方面，干扰增益分布表示在第1受光元件及第2受光元件中，最初未设想的非正确地受光的摄像光的分布(信息数据)。例如，通过“通过与第1区域对应的第1受光元件受光的摄像光中的透过第2区域的摄像光的分布(信息数据)”及“通过与第2区域对应的第2受光元件受光的摄像光中的透过第1区域的摄像光的分布(信息数据)”表示干扰增益分布。

本发明的又一方式所涉及的摄像装置中，分别对每一个第1受光元件及每一个第2成像元件各设置一个第1微透镜及第2微透镜，第1微透镜使复杂镜头的光瞳像在第1受光元件的受光面上以第1对焦度成像，第2微透镜使复杂镜头的光瞳像在第2受光元件的受光面上以与第1对焦度不同的第2对焦度成像。第1微透镜和第2微透镜的对焦度不同，因此经由第1微透镜入射于第1受光元件的受光面的透过复杂镜头的第1区域的光束和透过第2区域的光束的干扰比率与经由第2微透镜入射于第2受光元件的受光面的透过复杂镜头的第1区域的光束和透过第2区域的光束的干扰比率不同。这是由于各受光元件的受光面上的复杂镜头的光瞳像的大小根据对焦度而改变。另外，对焦度越低，则各受光元件的受光面上的复杂镜头的光瞳像越模糊，并变大。

本发明的又一方式所涉及的摄像装置中，第1微透镜和第2微透镜分别在曲率半径及距第1受光元件的受光面及第2受光元件的受光面的距离中的至少一个方面不同。

本发明又一方式所涉及的摄像装置中，图像传感器优选为背面照射型图像传感器。背面照射型图像传感器不仅有利于像素尺寸的微细化，由于光利用效率较高，因此还有利于高灵敏度化。另外，背面照射型图像传感器中，在受光部的入射面侧无电路层，因此无法应用将电路层的一部分利用于遮光罩的以往技术中，但本发明所涉及的图像传感器不使用遮光罩，因此能够应用于背面照射型图像传感器。

本发明的又一实施方式所涉及的摄像装置中，复杂镜头优选包括与具有第1特性的第1区域对应的第1光学透镜和与具有第2特性的第2区域对应的第2光学系统。

本发明的又一方式所涉及的摄像装置中，优选第1光学系统与第2光学系统的光轴共用，更优选第1光学系统为圆形中央光学系统，第2光学系统为相对于中央光学系统配设成同心圆状的环状光学系统。分别将第1光学系统及第2光学系统设为旋转对称的光学系统，由此在第1图像与第2图像之间并不产生视差，且与非旋转对称的光学系统相比，能够获取画质优异的第1图像及第2图像。

本发明的又一方式所涉及的摄像装置中，优选第1光学系统和第2光学系统分别在焦距、对焦距离及调制传递函数特性中的至少一个方面不同。

又一方式所涉及的发明中，一种摄像装置的摄像方法，该摄像装置具备：复杂镜头，包括具有第1特性的第1区域和具有与第1特性不同的第2特性的第2区域；及图像传感器，二维排列有具有第1微透镜的第1受光元件和具有对焦度与第1微透镜的对焦度不同的第2微透镜的第2受光元件，并具有使透过复杂镜头的第1区域的光束和透过第2区域的光束经由第1微透镜而干扰入射的第1受光元件、及使透过复杂镜头的第1区域的光束和透过第2区域的光束经由第2微透镜而干扰入射且干扰比率与第1受光元件的干扰比率不同的第2受光元件；其中，该摄像方法包括如下步骤：获取通过摄像装置同时拍摄的第1干扰图像及第2干扰图像，第1干扰图像通过图像传感器的第1受光元件已被光电转换，第2干扰图像通过第2受光元件已被光电转换；及分别从所获取的第1干扰图像及第2干扰图像去除干扰成分，并生成分别具有复杂镜头的第1特性及第2特性的第1图像及第2图像。

本发明的又一方式所涉及的发明中，一种摄像装置的摄像方法，该摄像装置具备：复杂镜头，包括具有第1特性的第1区域和具有与第1特性不同的第2特性的第2区域；及图像传感器，二维排列有具有微透镜的第1受光元件和不具有微透镜的第2受光元件，并具有使透过复杂镜头的第1区域的光束和透过第2区域的光束经由微透镜而干扰入射的第1受光元件及使透过复杂镜头的第1区域的光束和透过第2区域的光束而干扰入射且干扰比率与第1受光元件的干扰比率不同的第2受光元件，其中，该摄像方法包括如下步骤：获取通过摄像装置同时拍摄的第1干扰图像及第2干扰图像，第1干扰图像通过图像传感器的第1受光元件已被光电转换，第2干扰图像通过第2受光元件已被光电转换；及分别从所获取的第1干扰图像及第2干扰图像去除干扰成分，并生成分别具有复杂镜头的第1特性及第2特性的第1图像及第2图像。

本发明的又一方式所涉及的摄像方法中，生成第1图像及第2图像的步骤中，优选根据由第1干扰图像及第2干扰图像各自的检测增益分布及干扰增益分布构成的矩阵的逆矩阵和第1干扰图像及第2干扰图像计算第1图像及第2图像。

又一方式所涉及的发明中，一种摄像装置的图像处理程序，该摄像装置具备：复杂镜头，包括具有第1特性的第1区域和具有与第1特性不同的第2特性的第2区域；及图像传感器，二维排列有具有第1微透镜的第1受光元件和具有对焦度与第1微透镜的对焦度不同的第2微透镜的第2受光元件，并具有使透过复杂镜头的第1区域的光束和透过第2区域的光束经由第1微透镜而干扰入射的第1受光元件、及使透过复杂镜头的第1区域的光束和透过第2区域的光束经由第2微透镜而干扰入射且干扰比率与第1受光元件的干扰比率不同的第2受光元件；其中，使计算机实现如下步骤：获取通过摄像装置同时拍摄的第1干扰图像及第2干扰图像，第1干扰图像通过图像传感器的第1受光元件已被光电转换，第2干扰图像通过第2受光元件已被光电转换；及分别从所获取的第1干扰图像及第2干扰图像去除干扰成分，并生成分别具有复杂镜头的第1特性及第2特性的第1图像及第2图像。

又一方式所涉及的发明中，一种摄像装置的图像处理程序，该摄像装置具备：复杂镜头，包括具有第1特性的第1区域和具有与第1特性不同的第2特性的第2区域；及图像传感器，二维排列有具有微透镜的第1受光元件和不具有微透镜的第2受光元件，并具有使透过复杂镜头的第1区域的光束和透过第2区域的光束经由微透镜而干扰入射的第1受光元件、及使透过复杂镜头的第1区域的光束和透过第2区域的光束而干扰入射且干扰比率与第1受光元件的干扰比率不同的第2受光元件，其中，使计算机实现如下步骤：获取通过摄像装置同时拍摄的第1干扰图像及第2干扰图像，第1干扰图像通过图像传感器的第1受光元件已被光电转换，第2干扰图像通过第2受光元件已被光电转换；及分别从所获取的第1干扰图像及第2干扰图像去除干扰成分，并生成分别具有复杂镜头的第1特性及第2特性的第1图像及第2图像。

本发明又一方式所涉及的图像处理程序中，生成第1图像及第2图像的步骤中，优选根据由第1干扰图像及第2干扰图像各自的检测增益分布及干扰增益分布构成的矩阵的逆矩阵和第1干扰图像及第2干扰图像计算第1图像及第2图像。

发明效果

根据本发明，能够使用单一图像传感器同时拍摄与具有多个特性的复杂镜头的各特性对应的图像，尤其由于能够将本发明所涉及的图像传感器设为结构与通常的图像传感器相同(由于无需追加结构)，因此能够实现传感器像素的微细化和制造工时/成本的抑制。

附图说明

图1为表示能够应用本发明的数码相机(摄像装置)的一例的立体图。

图2为表示能够应用本发明的自动跟踪摄像装置(摄像装置)的一例的立体图。

图3表示第1实施方式所涉及的复杂镜头的截面结构。

图4为放大本实施方式的图像传感器的主要部分的剖视图。

图5为表示图3所示的图像传感器的截面结构例的图。

图6为表示入射于图3所示的复杂镜头(尤其第1光学系统)及图像传感器的广角图像的光束的光路的图。

图7为表示入射于图3所示的复杂镜头(尤其第2光学系统)及图像传感器的长焦图像的光束的光路的图。

图8为在图4所示的图像传感器追记广角图像的光路和长焦图像的光路的图。

图9为表示标准广角图像、标准长焦图像、第1干扰图像、第2干扰图像及由检测增益分布及干扰增益分布构成的矩阵的关系的图。

图10为表示根据从图像传感器获取的第1干扰图像及第2干扰图像计算干扰去除图像(标准广角图像、标准长焦图像)的方法的示意图。

图11为表示使用本实施方式的图像传感器获取第1干扰图像及第2干扰图像，并通过干扰去除方法获取干扰去除图像(标准广角图像、标准长焦图像)的模拟结果的图。

图12为表示计算去除了干扰的第1图像(标准广角图像)及第2图像(标准长焦图像)的式(1)的图。

图13为表示构成图12所示的式(1)中的“w1”的元素w1_11～w1_mn的图。

图14为表示计算元素“w1_ij”的式(2)的图，该元素“w1_ij”与构成根据图12所示的式(1)导出的第1图像(标准广角图像)的像素成分(像素值)对应。

图15为表示计算元素“t1_ij”的式(3)的图，该元素“t1_ij”与构成根据图12所示的式(1)导出的第2图像(标准长焦图像)的像素成分(像素值)对应。

图16为表示图1及图2所示的摄像装置的主要部分的内部结构的框图。

图17为用于说明使用了第2实施方式所涉及的复杂镜头的拍摄机理的图。

图18为表示第3实施方式所涉及的复杂镜头的第1光学系统和第2光学系统的调制传递函数特性(mtf：modulationtransferfunction)的曲线图。

图19为放大另一实施方式的图像传感器的主要部分的剖视图。

图20为放大又一实施方式的图像传感器的主要部分的剖视图。

图21为表示本发明的摄像装置的一实施方式的智能手机的外观的图。

图22为表示图21所示的智能手机的结构的框图。

具体实施方式

以下，参考附图对本发明的实施方式进行说明。

本发明能够广泛应用于能够使用具有多种光学特性的复杂镜头拍摄多种图像的摄像装置、摄像方法及该些应用技术中，能够应用本发明的技术领域并无特别限定。例如，本发明不仅能够应用于根据用户操作进行拍摄的摄像装置，还能够应用于自动进行拍摄的摄像装置，并且，本发明不仅能够应用于拍摄静止图像的摄像装置，还能够应用于拍摄动态图像的摄像装置。

图1为表示能够应用本发明的数码相机10(摄像装置30)的一例的立体图。图1所示的例中，在数码相机10的相机主体的前面设置有复杂镜头11及闪光灯13等，且在相机主体的上面设置有释放按钮12等。图1的符号“l”表示复杂镜头11的光轴。

图2为表示能够应用本发明的自动跟踪摄像装置14(摄像装置30)的一例的立体图。图2所示的自动跟踪摄像装置14中，包含齿轮19的保持部18和安装在保持部18的复杂镜头11固定安装在设置于装置主体15上的底座16上。底座16被设置成围绕装置主体15的垂直方向z的轴旋转自如，并通过未图示的平摇驱动部进行围绕垂直方向z的轴的平摇动作。齿轮19设置在与水平方向x的轴相同的轴上，从未图示的俯仰驱动部经由齿轮19传递驱动力，由此使复杂镜头11向上下方向转动并进行俯仰动作。这些复杂镜头11、保持部18(齿轮19)及底座16被防尘及防水用球形罩17覆盖。

以下进行说明的本发明的各实施方式及各变形例例如可以应用于如图1所示的数码相机10，也可以应用于如图2所示的自动跟踪摄像装置14。

<第1实施方式>

图3为表示第1实施方式所涉及的复杂镜头11及图像传感器24的截面结构的图。

复杂镜头11包括具有第1特性的第1区域和具有与第1特性不同的第2特性的第2区域，本实施方式中，其由对应于第1区域的第1光学系统21和对应于第2区域的第2光学系统22构成。并且，第1光学系统21和第2光学系统22的焦距(光学特性)不同，且光轴l共用，第1光学系统21为广角透镜，第2光学系统22为长焦透镜。另外，如上述，第1实施方式所涉及的复杂镜头11中的不同的光学特性(第1特性和与第1特性不同的第2特性)为与焦距不同(长焦/广角)有关的光学特性，但本发明的结构并不限定于此，作为不同的光学特性的例，例如，包括对焦距离(对焦位置)不同的情况、透射波长区域不同(可见光和红外光等。此外，通过多层膜涂布使透射波长区域不同，或者通过以色素着色而使透射波长区域不同等)的情况等不同的光学特性。

图3所示的第1光学系统(广角透镜)21包括配置于相同的光轴l上的第1广角用透镜21a、第2广角用透镜21b、第3广角用透镜21c、第4广角用透镜21d及共用透镜23。另一方面，第2光学系统(长焦透镜)22包括第1长焦用透镜22a、设有第1长焦用反射镜22c的第1长焦用反射体22b、设有第2长焦用反射镜22e的第2长焦用反射体22d及共用透镜23。第1光学系统21(尤其第1广角用透镜21a、第2广角用透镜21b、第3广角用透镜21c及第4广角用透镜21d)形成圆形中央光学系统。另一方面，第2光学系统22(尤其第1长焦用透镜22a、第1长焦用反射体22b、第1长焦用反射镜22c、第2长焦用反射体22d及第2长焦用反射镜22e)设置于第1光学系统21所形成的中央光学系统的周边部，并形成相对于第1光学系统21所形成的中央光学系统配设成同心圆状的环状光学系统。另外，共用透镜23配置于光轴l上，且在第1光学系统21与第2光学系统22之间共用。

如此，第2光学系统22包括设置于构成第1光学系统21的透镜组(第1广角用透镜21a～第4广角用透镜21d及共用透镜23)的周边的透镜组(第1长焦用透镜22a及共用透镜23)及反射镜组(第1长焦用反射镜22c(第1长焦用反射体22b)及第2长焦用反射镜22e(第2长焦用反射体22d))，并具有与第1光学系统21相同的光轴l，具有与第1光学系统21不同的焦距。

图像传感器24以多个受光元件(还称为“受光单元”或“受光传感器”)25对于与光轴l呈垂直的方向二维配置的方式构成，尤其本实施方式的图像传感器24以如下方式构成，即作为多个受光元件25，如图4所示，通过第1微透镜29a与第2微透镜29b的曲率半径(对焦度)不同的第1受光元件25a和第2受光元件25b排列成方格状(棋盘状)而构成。

图4为放大图像传感器24的主要部分的剖视图，并示出第1受光元件25a和第2受光元件25b。

图4所示的图像传感器24为在第1光电二极管26a及第2光电二极管26b的受光面(表面)侧设置有配线层27的表面照射型图像传感器，该配线层27中形成有用于读取与蓄积在第1光电二极管26a及第2光电二极管26b的电荷对应的图像信号的配线等。并且，在配线层27的入射面侧设置有平滑化层28a、平滑化层28b，且在平滑化层28a、平滑化层28b的入射面侧形成有第1微透镜29a、第2微透镜29b片上微透镜)。

对每一个第1受光元件25a及每一个第2受光元件25b分别设置有一个第1微透镜29a及第2微透镜29b，使入射于第1微透镜29a及第2微透镜29b的广角图像的光及长焦图像的光(复杂镜头11的光瞳像)在第1光电二极管26a及第2光电二极管26b的受光面分别以不同的对焦度(第1对焦度及第2对焦度)成像(参考图8)。

另外，入射于第1微透镜29a及第2微透镜29b的入射光线根据距图像传感器24的中心的距离(像高)而其入射角发生变化，因此第1微透镜29a及第2微透镜29b优选根据图像传感器24上的位置(像高)相对于受光元件25偏移稍许而配置(缩放)。并且，图像传感器24可以构成为替代平滑化层28a、平滑化层28b形成例如红、绿、蓝各种颜色的滤色器作为彩色图像传感器，或者在平滑化层28a、平滑化层28b与第1微透镜29a、第2微透镜29b之间形成例如红、绿、蓝各种颜色的滤色器作为彩色图像传感器。

图5为表示图3所示的图像传感器24的截面结构例的图。

如图4所示，构成本例的图像传感器24的多个受光元件25包括具有第1微透镜29a的第1受光元件25a和具有第2微透镜29b的第2受光元件25b，这些第1受光元件25a及第2受光元件25b被交替配置成二维状。

从该图像传感器24区分读取第1受光元件25a组的像素信号和第2受光元件25b组的像素信号，第1受光元件25a组的像素信号及第2受光元件25b组的像素信号如后述作为第1干扰图像的传感器输出及第2干扰图像的传感器输出而获取。

图6为表示入射于图3所示的复杂镜头11(尤其第1光学系统21)及图像传感器24的广角图像w的光束的光路的图。本实施方式中，广角图像w依次透过第1光学系统21的第1广角用透镜21a、第2广角用透镜21b、第3广角用透镜21c、第4广角用透镜21d及共用透镜23，并在图像传感器24上成像。

图7为表示入射于图3所示的复杂镜头11(尤其第2光学系统22)及图像传感器24的长焦图像t的光束的光路的图。本实施方式中，长焦图像t透过(透射)第1长焦用透镜22a，通过第1长焦用反射镜22c及第2长焦用反射镜22e的每一个反射之后透过共用透镜23，并在图像传感器24上成像。如此，通过第1长焦用反射镜22c及第2长焦用反射镜22e的每一个反射而光路被折回，由此能够缩短焦距较长的长焦图像拍摄用第2光学系统22在光轴l的方向上的长度。

如图6及图7所示，广角图像w的光束和长焦图像t的光束的入射于图像传感器24的角度不同。

图8为在图4所示的图像传感器24追记广角图像w的光路pw和长焦图像t的光路pt的图。

关于第1受光元件25a和第2受光元件25b，如后述那样第1微透镜29a和第2微透镜29b的曲率半径(焦距)不同，其结果，在受光元件25的受光面上成像的复杂镜头11的光瞳像的对焦度不同，因此受光灵敏度特性也不同。本例中，相对于第1受光元件25a设置的第1微透镜29a使光瞳像在第1受光元件25a的受光面上以复杂镜头11的光瞳像对焦的方式成像，相对于此，相对于第2受光元件25b设置的第2微透镜29b使光瞳像在第2受光元件25b的受光面上以复杂镜头11的光瞳像失焦的方式成像。

图8所示的第1受光元件25a的第1光电二极管26a及第2受光元件25b的第2光电二极管26b中，光瞳像的中央部的光(即，广角图像w的光)分别比光瞳像周边部的光(长焦图像t的光)入射更多，但在第1受光元件25a中，复杂镜头11的光瞳像对焦于第1光电二极管26a，因此与第2受光元件25b相比，更多的光瞳像的中央部的光(即，广角图像w的光)入射于第1光电二极管26a。

即，图像传感器24的第1受光元件25a及第2受光元件25b中，广角图像w的光束和长焦图像t的光束分别干扰入射，但第1受光元件25a与第2受光元件25b的干扰比率不同，在第1受光元件25a中，长焦图像t相对于广角图像w的干扰比率较小，在第2受光元件25b中，长焦图像t相对于广角图像w干扰比率比第1受光元件25a大。

如图5所示，能够从图像传感器24中所包含的多个第1受光元件25a和多个第2受光元件25b获取表示如上述那样广角图像w和长焦图像t的干扰比率分别不同的第1干扰图像和第2干扰图像的传感器输出。

在此，将从图像传感器24中所包含的多个第1受光元件25a得到的第1干扰图像作为传感器输出w2，并将从图像传感器24中所包含的多个第2受光元件25b得到的第2干扰图像作为传感器输出t2时，进行从这些传感器输出w2、传感器输出t2(第1干扰图像、第2干扰图像)去除干扰成分的干扰去除处理，由此能够得到无干扰的所希望的第1图像(广角图像w1)及第2图像(长焦图像t1)。

[干扰去除方法]

接着，对能够应用于本发明的干扰去除方法进行说明。

图9为表示标准广角图像w1(w1ij)、标准长焦图像t1(t1ij)、传感器输出w2(w2ij)、传感器输出t2(t2ij)及由检测增益分布及干扰增益分布构成的矩阵m的关系的图。另外，下标i、j表示二维图像上的像素位置。

如图9所示，从图像传感器24(第1受光元件25a及第2受光元件25b)输出的传感器输出w2及传感器输出t2以“由广角标准信号的检测增益分布a(aij)、长焦标准信号的检测增益分布d(dij)、长焦图像相对于广角图像的干扰增益分布b(bij)及广角图像相对于长焦图像的干扰增益分布c(cij)构成的矩阵m”与“仅由透过第1光学系统21及第2光学系统22的每一个的广角图像w及仅由长焦图像t生成的标准广角图像w1及标准长焦图像t1”的积表不。

如图9所示，由检测增益分布a、检测增益分布d及干扰增益分布b、干扰增益分布c构成的矩阵m为2×2矩阵。

作为图像传感器，检测增益分布a、检测增益分布d分别为1，且干扰增益分布b、干扰增益分布c分别为0的情况较为理想，若为理想的图像传感器，则传感器输出w2与标准广角图像w1一致，传感器输出t2与标准长焦图像t1一致。

然而，即使为本实施方式的图像传感器24(不具有理想特性的图像传感器)，若存在矩阵m的逆矩阵m^-1，则能够从由图像传感器24获取的传感器输出w2(第1干扰图像)及传感器输出t2(第2干扰图像)去除干扰成分而得到标准广角图像w1(第1图像)、标准长焦图像t1(第2图像)。

假设，如c＝0.5、d＝0.5，即使在传感器输出t2中所包含的广角图像和长焦图像的成分均等的情况(即，第2受光元件25b中无广角图像与长焦图像的分离能力的情况)下，只要a≠b，则满足ad-bc≠0(存在矩阵m的逆矩阵m^-1的条件)，并能够从传感器输出w2及传感器输出t2去除干扰成分。

图10为表示根据从图像传感器24获取的传感器输出w2及传感器输出t2计算干扰去除图像(标准广角图像w1、标准长焦图像t1)的方法的示意图。

标准广角图像w1、标准长焦图像t1能够根据传感器输出w2、传感器输出t2及图9所示的矩阵m的逆矩阵m^-1，并通过图12所示的式(1)计算。

另外，式(1)中，构成逆矩阵m^-1的a、b、c、d如前述为广角标准信号的检测增益分布a、长焦图像相对于广角图像的干扰增益分布b、广角图像相对于长焦图像的干扰增益分布c及长焦标准信号的检测增益分布d，图10所示的例中，示出了a＝0.7、b＝0.3、c＝0.5、d＝0.5的情况。

图11为表示使用本实施方式的图像传感器24获取传感器输出w2(第1干扰图像)及传感器输出t2(第2干扰图像)，并通过上述干扰去除方法获取干扰去除图像(标准广角图像w1、标准长焦图像t1)的模拟结果的图。

本实施方式的图像传感器24的各部的尺寸等如下。

第1微透镜29a的曲率半径：3.7μm

第2微透镜29b的曲率半径：5.0μm

第1微透镜29a及第2微透镜29b的折射率：1.55

第1微透镜29a的顶点与第1光电二极管26a的入射面的距离：9.1μm

第2微透镜29b的顶点与第2光电二极管26b的入射面的距离：9.1μm

第1受光元件25a与第2受光元件25b的间隔(像素间距)：7μm

第1受光元件25a的第1光电二极管26a的开口尺寸/像素间距：32％

第2受光元件25b的第2光电二极管26b的开口尺寸/像素间距：32％

图11(a1)及图11(a2)表示通过第1受光元件25a的第1微透镜29a及第2受光元件25b的第2微透镜29b成像的复杂镜头11的光瞳像与第1受光元件25a的第1光电二极管26a及第2受光元件25b的第2光电二极管26b各自的开口0的关系。

如图11(a1)所示，通过第1受光元件25a的第1微透镜29a成像的复杂镜头11的光瞳像对焦，如图11(a2)所示，通过第2受光元件25b的第2微透镜29b成像的复杂镜头11的光瞳像失焦，且比图11(a1)所示的光瞳像模糊，并变大。

本例中，从第1受光元件25a得到的传感器输出w2的广角标准信号的检测增益分布a为a＝0.4029，长焦图像相对于广角图像的干扰增益分布b为b＝0.0654。并且，从第2受光元件25b得到的传感器输出t2的广角图像相对于长焦图像的干扰增益分布c为c＝0.3705，长焦图像标准信号的检测增益分布d为d＝0.1612。

图11(b1)及图11(b2)分别表示传感器输出w2(第1干扰图像)及传感器输出t2(第2干扰图像)。如图11(b1)及图11(b2)所示，基于第1受光元件25a的第1光电二极管26a及第2受光元件25b的第2光电二极管26b的复杂镜头11的光瞳像的对焦度不同，由此第1干扰图像和第2干扰图像的长焦图像t相对于广角图像w的干扰比率不同。

图11(c1)及图11(c2)分别表示去除了干扰的标准广角图像w1及标准长焦图像t1。

标准广角图像w1及标准长焦图像t1能够根据由传感器输出w2及传感器输出t2的各自的检测增益分布及干扰增益分布构成的矩阵的逆矩阵m^-1和传感器输出w2及传感器输出t2，并通过图12所示的式(1)计算。

图13表示构成图12所示的式(1)中的“w1”的元素w1_11～w1_mn。即“w1”由与标准广角图像w1的像素成分(像素值)对应的元素w1_11～w1_mn构成。

同样地，图12所示的“w2”、“t1”及“t2”也分别由与传感器输出w2、标准长焦图像t1及传感器输出t2的像素成分(像素值)对应的元素w2_11～w2_mn、t1_11～t1_mn及t2_11～t2_mn构成(省略图示)。

并且，图11所示的模拟中，将构成图12所示的式(1)中的逆矩阵m^-1的增益分布a～d设为a＝0.4029、b＝0.0654、c＝0.3705、d＝0.1612，但严格来讲，增益分布a～d按图像传感器24的部位而不同，因此优选使用各部位中的矩阵/逆矩阵(存在与像素数相当的量)求出标准图像。即，构成逆矩阵m^-1的增益分布a～d也优选分别由根据广角图像及长焦图像的各像素确定的元素a11～amn、b11～bmn、c11～cmn及d11～dmn构成(省略图示)。

图14表示计算元素“w1_ij”的式(2)，该元素“w1_ij”与构成根据图12所示的式(1)导出的标准广角图像w1的像素成分(像素值)对应。同样地，图15表示计算元素“t1_ij”的式(3)，该元素“t1_ij”与构成根据图12所示的式(1)导出的标准长焦图像t1的像素成分(像素值)对应。

<摄像装置的内部结构>

图16为表示图1及图2所示的摄像装置30的主要部分的内部结果的框图。

如图16所示，摄像装置30除了前述复杂镜头11及图像传感器24之外，主要还具备图像获取部32、干扰去除处理部34及数字信号处理部36等。图像获取部32、干扰去除处理部34及数字信号处理部36等例如通过位于图1所示的数码相机和图20所示的智能手机内部的一个或多个微处理器而实现。

通过复杂镜头11的第1光学系统21及第2光学系统22拍摄的广角图像及长焦图像在图像传感器24的受光面成像，并通过各光电二极管26a、光电二极管26b转换为对应于入射光量的电荷量的信号电压(或电荷)。

蓄积在图像传感器24的信号电压(或电荷)蓄积于各受光元件25本身或附设的电容器。所蓄积的信号电压(或电荷)利用使用了x-y地址方式的mos(metaloxidesemiconductor)型图像传感器(所谓的cmos(complementarymetaloxidesemiconductor)传感器)的方法，选择受光元件25的位置的同时被读取。

由此，能够从图像传感器24中所包含的多个第1受光元件25a读取表示第1干扰图像的图像信号(传感器输出w2)，从图像传感器24中所包含的多个第2受光元件25b读取表示第2干扰图像的图像信号(传感器输出t2)。

关于从图像传感器24读取的图像信号(电压信号)，通过相关双采样处理(以减轻传感器输出中所包含的噪声(尤其热噪声)等为目的，通过求出每一个受光元件的输出信号中所包含的馈通成分电平与信号成分电平之差而得到正确的像素数据的处理)，每一个受光元件的图像信号被采样保持，并在增幅之后施加于a/d(analog-to-digital)转换器20。a/d转换器20将依次输入的图像信号转换为数字信号而输出至图像获取部32。另外，有些mos型图像传感器中内置有a/d转换器，该情况下，从图像传感器24直接输出数字信号。

图像获取部32选择图像传感器24的受光元件的位置并读取图像信号，由此能够获取同时拍摄的表示第1干扰图像的图像信号和表示第2干扰图像的图像信号。

即，选择图像传感器24的多个第1受光元件25a，并从多个第1受光元件25a选择性地读取图像信号，由此能够获取表示第1干扰图像的图像信号，另一方面，选择图像传感器24的多个第2受光元件25b，并从多个第2受光元件25b选择性地读取图像信号，由此能够获取表示第2干扰图像的图像信号。

另外，可以从图像传感器24读取所有的图像信号并暂时存储在缓冲存储器，并从存储在缓冲存储器的图像信号对第1干扰图像和第2干扰图像这两个图像的图像信号进行分组。

通过图像获取部32获取的表示第1干扰图像及第2干扰图像的图像信号被输出至干扰去除处理部34。

干扰去除处理部34为从图像获取部32输入的表示第1干扰图像及第2干扰图像的图像信号去除干扰成分，生成表示分别具有复杂镜头11的第1光学系统的第1特性(广角)及第2光学系统22的第2特性(长焦)的第1图像(广角图像)及第2图像(长焦图像)的图像信号的部分，并根据图12所示的式(1)生成表示无干扰的广角图像及长焦图像的图像信号。

即，干扰去除处理部34具有存储构成式(1)所示的逆矩阵m^-1的增益分布a～d的rom(readonlymemory)等的存储部34a，通过对存储在存储部34a的逆矩阵m^-1和从图像获取部32输入的表示第1干扰图像及第2干扰图像的图像信号(传感器输出w2、传感器输出t2)进行乘法运算，生成表示无干扰的广角图像w1及长焦图像t1的图像信号。另外，构成逆矩阵m^-1的增益分布a～d能够唯一通过复杂镜头11及图像传感器24的特性确定，因此能够预先计算出并存储于存储部34a。

通过干扰去除处理部34生成的表示无干扰的广角图像w1及长焦图像t1的图像信号分别被输出至数字信号处理部36。

数字信号处理部36对所输入的数字图像信号进行偏移处理、伽马校正处理等规定的信号处理。

在数字信号处理部36进行处理的表示广角图像及长焦图像的图像信号分别被输出至记录部38及显示部40。记录部38将由数字信号处理部36进行处理的表示广角图像及长焦图像的静态图像记录用或动态图像记录用图像信号记录于记录介质(硬盘、存储卡等)。

显示部40通过由数字信号处理部36进行处理的表示广角图像及长焦图像的静态图像显示用或动态图像显示用图像信号，显示广角图像及长焦图像。另外，显示部40还能够根据记录在记录部38的图像信号播放广角图像及长焦图像。

<第2实施方式>

图17为用于说明使用了第2实施方式所涉及的复杂镜头11的拍摄机理的图。

图17所示的复杂镜头11由圆形第1光学系统21和相对于第1光学系统21配设成同心圆状的环状第2光学系统22构成，第1光学系统21和第2光学系统的光轴共用，但对焦距离不同。

图17中，各参考符号所表示的内容如下。

a1：第1光学系统21(远对焦区域60a)的透镜-受光面之间的距离

a2：第2光学系统22(近对焦区域60b)的透镜-受光面之间的距离

b1：第1光学系统21(远对焦区域60a)的透镜-被摄体之间的距离

b2：第2光学系统22(近对焦区域60b)的透镜-被摄体之间的距离

fdi：第1光学系统21(远对焦区域60a)的对焦距离

fd2：第2光学系统22(近对焦区域60b)的对焦距离

q1a、q1b及q2：被摄体

另外，本实施方式中，“对焦距离”是指，定向传感器24的受光元件25的受光面至处于与受光元件25对焦的关系的被摄体的距离，图17所示的例中，“fd1＝a1+b1”及“fd2＝a2+b2”的关系成立。并且，若将第1光学系统21(远对焦区域60a)的焦距设为“f1”，并将第2光学系统22(近对焦区域60b)的焦距设为“f2”，则“1/f1＝(1/a1)+(1/b1)”及“1/f2＝(1/a2)+(1/b2)”的关系成立。

具备这种“对焦距离不同的第1光学系统21及第2光学系统22”的摄像装置30中，也能够通过与第1实施方式相同的功能结构(参考图16)同时拍摄通过第1光学系统21对焦于远距离的被摄体q1a及被摄体q1b的第1图像和通过第2光学系统22对焦于近距离的被摄体q2的第2图像。

即，通过第1光学系统21对焦于远距离的被摄体q1b及被摄体q1b的第1对焦图像的光和通过第2光学系统22对焦于近距离的被摄体q2的第2对焦图像的光相干扰，并入射于图像传感器24的第1受光元件25a及第2受光元件25b。

由此，能够从图像传感器24的第1受光元件25a获取第1对焦图像和第2对焦图像相干扰的第1干扰图像，并能够从图像传感器24的第2受光元件25b获取干扰比率与第1受光元件25a不同且第1对焦图像和第2对焦图像相干扰的第2干扰图像。

干扰去除处理部34对逆矩阵m^-1(图12所示的式(1)中的m^-1)和从图像传感器24获取的第1干扰图像及第2干扰图像进行乘法运算，由此能够分别生成无干扰的对焦于远距离的被摄体q1b及被摄体q1b的第1图像和对焦于近距离的被摄体q2的第2图像。

另外，第2实施方式所涉及的复杂镜头11的特性与图3等所示的复杂镜头11不同，因此构成逆矩阵m^-1的增益分布a～d也不同是不言而喻的。

<第3实施方式>

图18为表示第3实施方式所涉及的复杂镜头(未图示)的第1光学系统和第2光学系统的调制传递函数特性(mtf：modulationtransferfunction)的曲线图。

第3实施方式所涉及的复杂镜头的第1光学系统和第2光学系统的焦距及对焦距离相同，但mtf不同，第1光学系统具有图18的mtf曲线a所示的第1mtf，第2光学系统具有图18的mtf曲线b所示的第2mtf。另外，第3实施方式所涉及的复杂镜头例如能够设为外观形状与图17所示的复杂镜头11大致相同。

根据图18所示的mtf曲线a，具有第1mtf的第1光学系统为与具有第2mtf的第2光学系统相比分辨率较高，但对比度较低的光学系统，另一方面，根据图18所示的mtf曲线b，具有第2mtf的第2光学系统为与具有第1mtf的第1光学系统相比分辨率较低，但对比度较高的光学系统。

具备这种“mtf不同的第1光学系统及第2光学系统”的摄像装置30中，也能通过与第1实施方式相同的功能结构(参考图16)同时拍摄与第1光学系统及第2光学系统各自的mtf对应的第1图像和第2图像。

即，与第1光学系统的第1mtf对应的第1图像的光和与第2光学系统的第2mtf对应的第2图像的光相干扰，并入射于图像传感器24的第1受光元件25a及第2受光元件25b。

由此，能够从图像传感器24的第1受光元件25a获取第1图像和第2图像相干扰的第1干扰图像，并能够从图像传感器24的第2受光元件25b获取干扰比率与第1受光元件25a不同且第1图像和第2图像相干扰的第2干扰图像。

干扰去除处理部34对逆矩阵m^-1(图12所示的式(1)中的m^-1)和从图像传感器24获取的第1干扰图像及第2干扰图像进行乘法运算，由此能够分别生成无干扰的具有第1mtf的第1图像和具有第2mtf的第2图像。

<图像传感器的另一实施方式>

图19为表示应用于本发明的图像传感器的另一实施方式的剖视图，并为放大图像传感器的主要部分的剖视图。

图19所示的图像传感器124为在第1光电二极管126a及第2光电二极管126b的受光面相反的一侧(背面侧)设置有配线层127的背面照射型图像传感器，该配线层127中形成有用于读取与蓄积在第1光电二极管126a及第2光电二极管126b的电荷对应的图像信号的配线等。并且，在第1光电二极管126a及第2光电二极管126b的受光面(表面)侧设置有防反射层、平滑化层、滤色器等的层128，且在层128的入射面侧形成有第1微透镜129a、第2微透镜129b(片上微透镜)，从而构成第1受光元件125a及第2受光元件125b。

对每一个第1受光元件125a及每一个第2受光元件125b分别设置有一个第1微透镜129a及第2微透镜129b，使入射于第1微透镜129a及第2微透镜129b的广角图像的光及长焦图像的光(复杂镜头11的光瞳像)在第1光电二极管126a及第2光电二极管126b的受光面分别以不同的对焦度成像。另外，与图4所示的图像传感器24的第1微透镜29a及第2微透镜29b相同，第1微透镜129a及第2微透镜129b的曲率半径不同。

该实施方式所涉及的图像传感器124为背面照射型图像传感器，因此在第1光电二极管126a及第2光电二极管126b的受光面(表面)侧无配线层，其结果，与图4所示的第1实施方式所涉及的图像传感器24(即，在第1光电二极管26a及第2光电二极管26b的受光面(表面)侧形成有配线层27的表面照射型图像传感器)相比，不仅有利于像素尺寸的微细化，由于光利用效率较高，因此还有利于高灵敏度化。

<图像传感器的又一实施方式>

图20为表示应用于本发明的图像传感器的又一实施方式的剖视图，且为放大图像传感器的主要部分的剖视图。另外，对与图4所示的图像传感器24共通的部分赋予相同的符号，并省略其详细说明。

与图4所示的图像传感器24相比，图20所示的图像传感器224的微透镜的结构不同，在第1受光元件225a侧的平滑化层28a的入射面测设置有微透镜29a，但在第2受光元件225b侧的平滑化层28b的入射面侧未设置有微透镜。

构成本例的图像传感器224的多个受光元件225中，二维交替配置有具有微透镜29a的第1受光元件225a和不具有微透镜的第2受光元件225b。

相对于第1受光元件225a设置的微透镜29a为与图4所示的图像传感器24的第1微透镜29a相同的微透镜，第1受光元件225a具有实质上与图4所示的第1受光元件25a相同的结构。

从而，在第1受光元件225a的受光面上，复杂镜头11的光瞳像通过微透镜29a以对焦的方式成像。

另一方面，在第2受光元件225b未设置有微透镜，因此入射于第2受光元件225b的广角图像w的光束和长焦图像t的光束不会成像/聚光，而以大致平行光的状态到达第2受光元件225b的受光面。

即，在第1受光元件225a的第1光电二极管26a的受光面上入射有通过微透镜29a对焦的广角图像的光及长焦图像的光(复杂镜头11的光瞳像)，但在第2受光元件225b的第2光电二极管26b的受光面上入射有非对焦的复杂镜头11的光瞳像。从而，第1受光元件225a和第2受光元件225b在受光面上的复杂镜头11的光瞳像的对焦度不同，从而受光灵敏度特性也不同。

能够通过本例的图像传感器224中所包含的多个第1受光元件225a和多个第2受光元件225b获取表示如上述那样对应于不同的对焦度而广角图像w与长焦图像t的干扰比率分别不同的第1干扰图像和第2干扰图像的传感器输出。

<其他变形例>

本发明并不限定于上述实施方式，在不脱离本发明的思想的范围内能够进行各种变形。

例如，可以将上述实施方式彼此适当组合，并能够将本发明应用于组合两个以上的第1实施方式所涉及的复杂镜头、第2实施方式所涉及的复杂镜头及第3实施方式所涉及的复杂镜头各自的特性的复杂镜头。

并且，上述实施方式中，对由两种光学系统(第1光学系统21及第2光学系统22)构成复杂镜头11的例进行了说明，但也可以由3种以上的光学系统构成复杂镜头11。

并且，本实施方式的图像传感器24通过第1受光元件25a和第2受光元件25b排列成方格状(棋盘状)而构成，但本发明所涉及的图像传感器并不限定于此，包括基于微透镜的对焦度不同的第1受光元件和第2受光元件相邻而成为一组，且该一对排列成二维状的传感器、第1受光元件与第2受光元件的数量的比率并非为1∶1，而是第1受光元件的数量比第2受光元件的数量多的传感器，相反第1受光元件的数量比第2受光元件的数量少的传感器等。另外，当第1受光元件的数量和第2受光元件的数量不同时，为了能够对图12所示的式(1)进行运算，优选对数量较少的受光元件的传感器输出进行插值处理而将图像尺寸设为与数量较多的受光元件的传感器输出相同。

并且，本实施方式中，使第1受光元件的第1微透镜和第2受光元件的微透镜的曲率半径不同，由此使在第1受光元件和第2受光元件的各受光面成像的复杂镜头的光瞳像的对焦度不同，但并不限定于此，可以使用具有相同的曲率半径的第1微透镜和第2微透镜，并且使从第1微透镜的顶点至第1光电二极管的距离和从第2微透镜的顶点至第2光电二极管的距离不同，由此使第1受光元件和第2受光元件中的复杂镜头的光瞳像的对焦度不同。

而且，本发明能够应用于摄像方法中，该摄像方法包括如下步骤：从图像传感器的多个第1受光元件获取第1干扰图像，并从多个第2受光元件获取第2干扰图像；分别从所获取的第1干扰图像及第2干扰图像去除干扰成分，并生成分别具有复杂镜头的第1特性及所述第2特性的第1图像及第2图像。

并且，上述各结构及各功能能够通过任意硬件、软件或组合两者来适当实现。例如，从具备复杂镜头11及图像传感器24(图3)的摄像装置直接或经由记录介质间接地将第1干扰图像及第2干扰图像输入于计算机，且本发明还能够应用于使计算机执行上述步骤的图像处理程序、记录有这种图像处理程序的计算机可读取记录介质(非暂时性记录介质)、或者能够安装这种图像处理程序的计算机。

并且，能够应用本发明的方式并不限定于图1所示的数码相机10及图2所示的自动跟踪摄像装置14，除了以拍摄为主要功能的相机类以外，本发明还能够应用于在摄像功能的基础上还具备摄像以外的其他功能(通话功能、通信功能或其他计算机功能)的移动设备类。作为能够应用本发明的另一方式，例如可举出具有相机功能的移动电话或智能手机、pda(personaldigitalassistants)及便携式游戏机。以下，对能够应用本发明的智能手机的一例进行说明。

<智能手机的结构>

图21为表示本发明的摄像装置的一实施方式的智能手机101的外观的图。图21所示的智能手机101具有平板状壳体102，并在壳体102的一个面上设置作为显示部的显示面板121和作为输入部的操作面板122形成为一体的显示输入部120。并且，该壳体102具备扬声器131、麦克风132、操作部140及相机部141。另外，壳体102的结构并不限定于此，例如还能够采用独立设置显示部和输入部的结构，或者采用具有折叠结构和滑动机构的结构。

图22为表示图21所示的智能手机101的结构的框图。如图22所示，作为智能手机101的主要构成要件，具备无线通信部110、显示输入部120、通话部130、操作部140、相机部141、存储部150、外部输入输出部160、gps(globalpositioningsystem)接收部170、动作传感器部180、电源部190及主控制部100。并且，作为智能手机101的主要功能，具备经由基站装置和移动通信网进行移动无线通信的无线通信功能。

无线通信部110根据主控制部100的命令，在与连接在移动通信网的基站装置之间进行无线通信。使用该无线通信，进行语音数据及图像数据等各种文件数据和电子邮件等的收发及web数据和流数据等的接收。

显示输入部120为具备显示面板121及操作面板122的所谓的触摸面板，通过主控制部100的控制，显示图像(静态图像及动态图像)和文字信息等而视觉性地向用户传递信息，并且检测针对所显示的信息的用户操作。

显示面板121将lcd(liquidcrystaldisplay)或oeld(organicelectro-luminescencedisplay)等用作显示设备。操作面板122为以能够辨识显示于显示面板121的显示面上图像的状态设置，并检测通过用户的手指或尖笔操作的一个或多个坐标的设备。若该设备通过用户的手指或尖笔而被操作，则操作面板122将因操作而产生的检测信号输出至主控制部100。接着，主控制部100根据所接收的检测信号检测显示面板121上的操作位置(坐标)。

作为本发明的摄像装置的一实施方式而图21中所例示的智能手机101的显示面板121与操作面板122成为一体而构成显示输入部120，并配置成操作面板122完全覆盖显示面板121。当采用该配置时，操作面板122可以在显示面板121以外的区域也具备检测用户操作的功能。换言之，操作面板122可以具备针对与显示面板121重叠的重叠部分的检测区域(以下，称为“显示区域”)和其以外的不与显示面板121重叠的外缘部分的检测区域(以下，称为“非显示区域”)。

另外，可以使显示区域的大小和显示面板121的大小完全一致，但无需使两者一定一致。并且，操作面板122可以具备外缘部分及其以外的内侧部分这两个感应区域。而且，该外缘部分的宽度可根据壳体102的大小等适当设计。此外，作为在操作面板122中采用的位置检测方式，可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，可以采用任意方式。

通话部130具备扬声器131及麦克风132，将通过麦克风132输入的用户的语音转换为能够通过主控制部100处理的语音数据而输出至主控制部100，或者对通过无线通信部110或外部输入输出部160接收的语音数据进行解码而从扬声器131输出。并且，如图21所示，例如能够将扬声器131及麦克风132搭载于与设置有显示输入部120面相同的面上。

操作部140为使用键开关等的硬件键，并接收来自用户的命令。例如，如图21所示，操作部140搭载于智能手机101的壳体102的侧面，且为通过手指等按压时成为开关打开的状态，将手指移开则通过弹簧等的复原力而成为开关关闭的状态的按钮式开关。

存储部150存储主控制部100的控制程序和控制数据、应用软件、与通信对象的名称和电话号码等建立对应关联的地址数据、收发的电子邮件的数据、通过web浏览器下载的web数据及已下载的内容数据等，并且暂时存储流数据等。并且，存储部150由内置于智能手机的内部存储部151和具有装卸自如的外部存储器插槽的外部存储部152构成。另外，构成存储部150的内部存储部151及外部存储部152各自可通过使用闪存类型(flashmemorytype)、硬盘类型(harddisktype)、微型多媒体卡类型(multimediacardmicrotype)、卡类型存储器(例如，microsd(注册商标)存储器等)、ram(randomaccessmemory)或rom(readonlymemory)等存储介质来实现。

外部输入输出部160起到与智能手机101连结的所有外部设备的接口的作用，用于通过通信等(例如，usb(universalserialbus)、ieee1394等)或网络(例如，互联网、无线lan、蓝牙(bluetooth)(注册商标)、rfid(radiofrequencyidentification)、红外线通信(infrareddataassociation：irda)(注册商标)、uwb(ultrawideband)(注册商标)、紫蜂(zigbee)(注册商标)等)直接或间接地与其他外部设备连接。

作为与智能手机101连结的外部设备，例如有：有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插槽而连接的存储卡(memorycard)或sim(subscriberidentitymodulecard)/uim(useridentitymodulecard)卡、经由音频/视频i/o(input/output)端子而连接的外部音频/视频设备、无线连接的外部音频/视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的pda及耳机等。外部输入输出部160可以构成为将从这种外部设备接收发送的数据传递至智能手机101的内部的各构成要件，或者将智能手机101的内部数据发送到外部设备。

gps接收部170根据主控制部100的命令接收从gps卫星st1、gps卫星st2～gps卫星stn发送的gps信号，执行基于所接收的多个gps信号的测位运算处理，并检测通过智能手机101的纬度、经度及高度而确定的位置。能够从当无线通信部110和/或外部输入输出部160(例如，无线lan)获取位置信息时，gps接收部170还能够利用该位置信息来检测位置。

动作传感器部180例如具备3轴加速传感器等，并根据主控制部100的命令检测智能手机101的物理运动。通过检测智能手机101的物理运动，可检测智能手机101的移动方向和加速。将该检测结果输出到主控制部100。

电源部190根据主控制部100的命令，向智能手机101的各部供给蓄积于电池(未图示)的电力。

主控制部100具备微处理器，根据存储部150所存储的控制程序或控制数据进行动作，从而统一控制智能手机101的各部。并且，主控制部100具备为了通过无线通信部110进行语音通信及数据通信而控制通信系统的各部的移动通信控制功能和应用处理功能。

应用处理功能通过主控制部100根据存储部150所存储的应用软件进行动作来实现。作为应用处理功能，例如有通过控制外部输入输出部160而与对象设备进行数据通信的红外线通信功能和进行电子邮件的收发的电子邮件功能及预览web页的web浏览器功能等。

并且，主控制部100具备根据接收数据、已下载的流数据等图像数据(静止图像或动态图像的数据)而将影像显示于显示输入部120等的图像处理功能。图像处理功能是指，主控制部100对上述图像数据进行解码，并对该解码结果实施图像处理，从而将经过该图像处理而得到的图像显示于显示输入部120的功能。

而且，主控制部100执行针对显示面板121的显示控制和检测通过操作部140或操作面板122进行的用户操作的操作检测控制。

通过执行显示控制，主控制部100显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指，用于针对无法容纳于显示面板121的显示区域的较大的图像等接收移动图像的显示部分的命令的软件键。

并且，通过执行操作检测控制，主控制部100检测通过操作部140进行的用户操作，或者通过操作面板122接收针对上述图标的操作、针对上述窗口的输入栏的文字列的输入，或者接收通过滚动条进行的显示图像的滚动请求。

而且，通过执行操作检测控制，主控制部100具备判定针对操作面板122的操作位置是否对应于与显示面板121重叠的重叠部分(显示区域)，或者是否对应于其以外的并不与显示面板121重叠的外缘部分(非显示区域)，并控制操作面板122的感应区域或软件键的显示位置的触摸面板控制功能。

并且，主控制部100还能够检测针对操作面板122的手势操作，并根据检测出的手势操作执行预先设定的功能。手势操作并非为以往的简单的触摸操作，而是利用手指等描绘轨迹、或者同时指定多个位置、或者将它们进行组合而从多个位置对至少一个位置描绘轨迹的操作。

相机部141能够应用前述摄像装置30。并且，相机部141能够通过主控制部100的控制，将通过拍摄而得到的图像数据例如转换成jpeg(jointphotographicexpertsgroup)等压缩的图像数据，并将该图像数据记录于存储部150，或者通过外部输入输出部160或无线通信部110进行输出。如图21所示，智能手机101中，相机部141搭载于与显示输入部120相同的面上，但相机部141的搭载位置并不限定于此，相机部141可以搭载于壳体102的背面而不是设置有显示输入部120的壳体102的表面，或者多个相机部141可以搭载于壳体102。另外，当搭载有多个相机部141时，可以切换供拍摄的相机部141而通过单独的相机部141进行拍摄，或者也可以同时使用多个相机部141进行拍摄。

并且，相机部141能够利用于智能手机101的各种功能。例如，通过相机部获取的图像可以显示于显示面板121，也可以作为操作面板122的操作输入方法之一而利用通过相机部141拍摄获取的图像。并且，在gps接收部170检测位置时，可以参考来自相机部141的图像而检测位置。并且，还能够参考来自相机部141的图像，且不使用3轴加速传感器或者并用3轴加速传感器来判断智能手机101的相机部141的光轴方向和当前的使用环境。当然，还能够在应用软件内利用来自相机部141的图像。

此外，还能够将通过gps接收部170获取的位置信息、通过麦克风132获取的声音信息(可以通过主控制部等进行声音文本变换而获取文本信息)及通过动作传感器部180获取的姿势信息等附加于静态图像数据和动态图像数据而得到的数据记录于存储部150，或者通过输入输出部160或无线通信部110进行输出。

另外，上述图像获取部32、干扰去除处理部34、数字信号处理部36等(参考图16)例如能够通过主控制部100实现。

符号说明

10-数码相机，11-复杂镜头，14-自动跟踪摄像装置，21-第1光学系统，22-第2光学系统，24、124、224-图像传感器，25、225-受光元件，25a、125a、225a-第1受光元件，25b、125b、225b-第2受光元件，26a-第1光电二极管，26b-第2光电二极管，27、127-配线层，29a、129a-第1微透镜，29b、129b-第2微透镜，30-摄像装置，32-图像获取部，34-干扰去除处理部，36-数字信号处理部，38-记录部，40-显示部，100-主控制部，101-智能手机，141-相机部。