专利名称：摄像装置、摄像方法、程序以及集成电路的制作方法
技术领域：
本发明涉及利用从单一的视点拍摄的多张图像，测量场景的进深的摄像装置。
背景技术：
以往，提出了用于非接触测量三维场景的进深、即从摄像装置到各个被摄体的距离(以下，“被摄体距离”)的各种方法。可以将它大致区别为，照射红外线、超声波、激光等，根据直到其反射波返回为止的时间、反射波的角度等计算被摄体距离的能动方法，以及根据被摄体的像计算被摄体距离的被动方法。特别是，对于相机等的摄像装置，不需要用于照射红外线等的装置的被动方法被广泛采用。对于被动方法，提出了多个方法，被动方法之一有被称为D印th from Defocus (以下，“DFD”)的方法。对于DFD，根据因被摄体距离而大小以及形状变化的模糊来测量被摄 体距离。DFD具有不需要多个相机、根据少数图像能够测量距离等的特征。以下，简单地说明DFD的原理。可以说，包含模糊的摄像图像(以下“模糊图像”。)是，针对表示没有由透镜的模糊的状态的全焦点图像，将作为被摄体距离的函数的点扩散函数(PSF =Point SpreadFunction)卷积后的图像。由于点扩散函数是被摄体距离的函数，因此，根据DFD，通过从模糊图像中检测模糊，从而能够求出被摄体距离。但是，此时，全焦点图像和被摄体距离，成为未知数。针对一张模糊图像，成立与模糊图像、全焦点图像、以及被摄体距离相关的一个算式，因此，重新拍摄聚焦位置不同的模糊图像，获得新的公式。也就是说，获得与聚焦位置不同的多个模糊图像相关的多个所述算式。通过解如此获得多个算式，从而计算出被摄体距离。对于算式的获得方法以及解算式的方法等，存在以专利文献I、非专利文献I为首的、对DFD的各种建议。DFD是指，通过对模糊图像中包含的模糊利用点扩散函数，从而求出被摄体距离的方法。然而，在DFD中存在的问题是，由于与被摄体距离对应的像点前后的点扩散函数所示的形状相似，因此，因图像中包含的噪声的影响而不明确，是通过像点后的点扩散函数，还是通过像点前的点扩散函数，其判别变得困难。针对该问题，例如，通过进一步增加聚焦位置不同的图像的张数，从而能够提高被摄体距离估计的准确率。并且，如非专利文献1，通过使用整体不是点对称的形状的开口，从而能够解决在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状的判别不明确的问题。(现有技术文献)(专利文献)专利文献I :日本专利第2963990号公报(非专利文献)非专利文献I :C. Zhou, S. Lin and S. Nayar, “Coded Aperture Pairs for Depthfrom Defocus，，In International Conference on Computer Vision,2009
非专利文献2 :“Flexible Depth of Field Photography”，H. Nagahara, S.Kuthirummal, C. Zhou, S. K. Nayer, Euro pean Conference on Computer Vision, 2008发明概要发明要解决的问题对于有关在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状的判别的暧昧性的问题的解决方法，举出了增加聚焦位置不同的图像的张数的方法、以及使用整体不是点对称的形状的开口的方法。但是，前者的问题是，由于增加图像张数，因此摄像时间增加。并且，后者的问题是，由于开口的一部分被遮光，因此光量减少，被摄体距离的估计精度降低。
发明内容
于是，鉴于所述的状况，本发明的目的在于提供一种摄像装置，不使曝光的光量降低，而解决在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状的判别的暧昧性，根据少的张数的摄像图像估计被摄体距离。用于解决问题的手段为了实现所述的目的，本发明的实施方案之一涉及的摄像装置具备摄像元件，拍摄图像；光学系统，用于使被摄体像成像于所述摄像元件；光学元件，具有双折射的效果；以及距离测量部，根据被拍摄的所述图像、和在与被摄体的被摄体距离对应的像点的前后因所述光学元件而发生了变化的点扩散函数，测量从所述摄像元件到所述被摄体的距离。根据本结构，由于具有双折射的效果的光学元件起作用，因此能够使在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状成为不同的形状。据此，能够解决在与被摄体的被摄体距离对应的像点前后的点扩散函数的判别的暧昧性，并且，根据少的张数的摄像图像能够进行被摄体距离的估计。并且，双折射物质，与利用不是点对称的开口的方法相比，由于不需要遮蔽光，因此能够抑制光量的降低。并且，具有双折射的效果的光学元件，(特别是，若双折射物质为平行板，光学系统为远心光学系统，)与其他的光学元件不同，主要仅影响到像散，因此，即使将在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状成为不同的形状，给其他的像差带来的影响也小。因此，不需要重新进行光学系统的设计。也就是说，仅进行向现有的装置的插入、以及执行点扩散函数的处理的装置的追加，就能够实现。在此，优选的是，所述光学元件的光学轴的方向和所述光学系统的光轴不平行。在此，优选的是，在所述光学系统的光轴上，所述光学元件被配置在所述摄像元件与所述光学系统之间，与所述光学系统的光轴相交的所述光学元件的平面，相对于所述光学系统的光轴垂直。在此，优选的是，还具备光学元件移动部，通过使所述光学元件相对于所述光学系统的光轴插入或退出，从而使所述双折射的效果在所述光学系统的光轴上生效或不生效，所述距离测量部，利用在没有基于所述光学元件的所述双折射的效果的状态下由所述摄像元件拍摄的图像、和在所述光学元件位于所述光学系统的光轴上的状态下被拍摄的图像，测量从所述摄像元件到所述被摄体的距离。在此，优选的是，所述光学元件，能够电性或磁性地使双折射的效果生效或不生效，所述距离测量部，利用在没有基于所述光学元件的所述双折射的效果的状态下由所述摄像元件拍摄的图像、和在所述光学元件位于所述光学系统的光轴上的状态下被拍摄的图像，测量与所述被摄体相距的距离。在此，优选的是，还具备参考图像生成部，根据在没有基于所述光学元件的所述双折射的效果的状态下由所述摄像元件拍摄的图像，生成参考图像，所述距离测量部，利用通过所述光学元件拍摄的图像、和所述参考图像，估计所述点扩散函数，测量与所述被摄体相距的距离。在此，优选的是，所述参考图像生成部，根据在没有基于所述光学元件的所述双折射的效果的状态下由所述摄像元件拍摄的图像，生成全焦点图像，以作为所述参考图像。在此，优选的是，所述光学系统，具有像方远心性的光学特性。在此，也可以是，还具备光线分离部，将光线分离为多个光路，所述摄像元件为多个，多个所述摄像元件分别对应于由所述光线分离部分离的多个光路，拍摄所述摄像对象， 所述光学元件被配置在由所述光线分离部分离的多个光路之中的至少一个光路上。而且，本发明，除了能够作为这样的摄像装置来实现以外，还能够作为将摄像装置具备的特征性的构成要素的工作作为步骤的摄像方法来实现。并且，也能够作为用于使计算机执行摄像方法的程序来实现。也能够通过CD-ROM等的存储介质或互联网等传输介质来分发这样的程序。并且，本发明，也能够作为进行各个处理部的处理的集成电路来实现。发明效果根据本发明的摄像装置，通过根据至少两张图像，计算图像中包含的点扩散函数所示的形状，从而能够稳定且高精度地求出被摄体距离。
图I是示出本发明的实施例I的摄像装置的结构的方框图。图2是示出透过双折射物质的光线的情况的图。图3是示出本发明的实施例I的摄像装置的构成要素的配置的图。图4是示出由双折射物质而在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状变化的情况的图。在图5中，(a — I)是示出利用双折射物质时的、在图4中的位置(a)的非常光线的点扩散函数所示的形状的图，(b - I)是示出利用双折射物质时的、在图4中的位置(b)的非常光线的点扩散函数的图，(a - 2)是示出不利用双折射物质时的、在图4中的位置(a)的点扩散函数的图，(b - 2)是示出不利用双折射物质时的、在图4中的位置(b)的点扩散函数的图。图6是示出利用双折射物质时的与不同的被摄体位置对应的点扩散函数的图。图7是示出不利用双折射物质时的与不同的被摄体位置对应的点扩散函数的图。图8是示出三次相位板的形状的图。图9是示出本发明的实施例I的摄像装置的工作的流程的图。图10是示出本发明的实施例2的摄像装置的结构的方框图。图11是示出本发明的实施例2的摄像装置的构成要素的配置的图。
具体实施例方式以下，参照
本实施例。而且，以下说明的实施例，都示出本发明的优选的一个具体例。以下的实施例所示的构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等，是一个例子，而不是限定本发明的宗旨。本发明，仅由权利要求书限定。因此，对于以下的实施例的构成要素中的、示出本发明的最上位概念的独立权利要求中没有记载的构成要素，为了实现本发明的问题而并不一定需要，但是，被说明为构成更优选的形态的要素。(实施例I)图I是示出本发明的实施例I的摄像装置的结构的方框图。摄像装置10具备，光学系统11、双折射物质12、执行器13、合焦范围控制部14、摄像元件15、图像获得部16、参考图像生成部17、以及距离测量部18。在图I中，光学系统11，使被摄体像成像于摄像元件15。在摄像元件15与光学系统11间的光路上，设置有作为具有双折射的效果的光学元件的双折射物质12。尤其使透过双折射物质12的光线中的非常光线的点扩散函数所示的形状变化，使在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状成为不同的形状。执行器13，使双折射物质12，相对于光路而插入以及退出。由于执行器13进行双折射物质12的相对于光路的插入以及退出，因此，摄像装置10能够得到透过双折射物质12的被摄体像的图像、没有透过双折射物质12的被摄体像的图像。合焦范围控制部14，使光学系统11以及摄像元件15的至少一方移动，控制合焦位置以及景深。具体而言，通过以特定的模式使光学系统11工作、或者切换特定的光学元件等，从而进行控制。摄像元件15，由CCD、CM0S等构成，将在摄像面受光的光，按每个像素转换为电信号，并输出。图像获得部16，从摄像元件15获得多个图像，保持各个图像。参考图像生成部17，根据由合焦范围控制部14的效果得到的、具有不同合焦位置以及景深的多张图像，生成估计了没有由光学系统的模糊的状态的参考图像(全焦点图像)。距离测量部18，利用合焦于任意的距离的模糊图像以及由参考图像生成部17得到的参考图像，根据DFD的方法进行距离测量。接着，说明由双折射物质12使在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状成为不同的形状的方法。双折射物质12是，具有光学异向性的物质，具有根据进入到物质的光线的偏振方向，将光线分离为寻常光线和非常光线的性质。寻常光线和非常光线，取决于双折射物质12固有的光学轴的方向。寻常光线是，具有相对于由光学轴和射入光线而成的平面垂直振动的电场的光线，非常光线是，具有在该平面内振动的电场的光线。而且，光学轴的方向和轴的条数，根据物质的种类而不同，在具有一条光学轴的情况下，表现为单轴，在具有二条的情况下，表现为双轴。在实施例I中，对于双折射物质12，利用作为单轴晶体的方解石(Calcite)。寻常光线和非常光线的不同是指，在通过双折射物质12中时，寻常光线，光的速度与光的转播方向无关而一定，对此，非常光线，光的速度因转播方向而不同。进而，对寻常光线的折射率no、和对非常光线的折射率ne不同。根据该对寻常光线的折射率no和对 非常光线的折射率ne的不同、以及非常光线的光的速度因转播方向而不同的性质，如图2，在光线射入到双折射物质12的情况下，在寻常光线与非常光线之间产生行进方向的差。因此，产生射入到双折射物质12的光线，在双折射物质12中分裂为寻常光线和非常光线的现象。在图2中，光从双折射物质12的左方，相对于双折射物质12的平面垂直射入。在本发明中，为了使在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状成为不同的形状，尤其利用非常光线。对于光学系统11、双折射物质12、以及摄像元件15的位置关系，如图3示出，成为在光学系统11(透镜)与摄像元件15之间配置双折射物质12的关系。也就是说，三者，按照光学系统11、双折射物质12、摄像元件15的顺序，被排列并配置在光轴上。双折射物质12是指，具有与光轴相交的双折射物质的平面的全部相对于光轴垂直的形状、配置的平行的板。而且，此时的“垂直”也可以，不是严格的垂直。并且，双折射物质 12为单轴，在图3中，光学轴的方向为y方向。而且，针对寻常光线和非常光线的折射率的关系为，no > ne。在此，说明了光学系统11、双折射物质12、以及摄像元件15的位置关系，但是，为了由所述的位置关系得到效果，优选的是，双折射物质12为平行板。若是平行板，则可以具有仅给予主要向像散的影响的性质。在此所述的平行板是指，作为光射入的一侧的第一面与作为光射出的一侧的第二面相互平行的物质。也就是说，第一面以及第二面以外的面的角度以及形状不受限制。在利用图3的结构的情况下，在与被摄体的被摄体距离对应的像点前后的非常光线的点扩散函数所示的形状产生差，在与被摄体的被摄体距离对应的像点的前方，成为向y方向长的形状，在与被摄体的被摄体距离对应的像点的后方，成为向X方向长的形状。图4是示出，图3的结构的y - z平面、X - z平面的寻常光线以及非常光线的动作的图。根据光的速度因光学轴的方向、和非常光线的转播方向而不同的性质，对于非常光线，在y —z平面，与寻常光线相比，折射更强，与寻常光线相比，与被摄体的被摄体距离对应的像点的位置更远。另一方面，在X — z平面，对于非常光线，与寻常光线相比，折射角更小，与寻常光线相比，与被摄体的被摄体距离对应的像点的位置更近。若仅考虑非常光线，X - z平面的光线和y — z平面的光线，与被摄体的被摄体距离对应的像点的位置不同。因此，对于非常光线的点扩散函数所示的形状，在图4的与被摄体的被摄体距离对应的像点的前方的
(a)的位置，由于y方向的模糊程度比X方向的模糊程度大，因此，成为图5(a — I)所示的向y方向长的形状。另一方面，对于非常光线的点扩散函数所示的形状，在图4的与被摄体的被摄体距离对应的像点的后方的(b)的位置，由于X方向的模糊程度比y方向的模糊程度大，因此，成为图5(b — I)所示的向X方向长的形状。并且，图5(a — 2)、(b-2)分别是，在图4(a)、(b)的位置的寻常光线的点扩散函数。也可以说，它们是没有双折射物质12时的光线的点扩散函数。也就是说，可以确认到在没有双折射物质12的情况下，在与被摄体的被摄体距离对应的像点的前后成为类似的形状(例如，此时为圆形)。由于在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状不同，因此，解决距离判别的暧昧性，能够唯一地估计被摄体距离。以下，根据图6以及图7说明，利用双折射物质时，有效于被摄体距离的估计。而且，图6是示出利用双折射物质12时的与不同的被摄体位置对应的点扩散函数的图。图7是示出不利用双折射物质时的与不同的被摄体位置对应的点扩散函数的图。并且，对于在此所谓的“被摄体距离”，在所述说明中，定义为从摄像装置到被摄体的距离，但可以是从光学系统11到被摄体的距离，也可以是从摄像元件15到被摄体的距离。
在如图6存在双折射物质12的情况下，在考虑与被摄体位置(a)、被摄体位置(b)对应的点扩散函数时，在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状不同，因此，成像于摄像元件15的与位置(a)对应的点扩散函数所示的形状、和与位置(b)对应的点扩散函数所示的形状互不相同。也就是说，根据由摄像元件15得到的点扩散函数，能够唯一地估计被摄体距离。对此，在图7中，由于没有双折射物质12，因此与位置(a)、
(b)对应的点扩散函数成为类似的形状，因噪声而不明确，得到的点扩散函数是与位置(a)对应的、还是与位置(b)对应的，难以唯一地估计被摄体距离。也就是说，在如图6存在双折射物质12的情况下，与如图7没有双折射物质12的情况相比，明确由摄像元件15获得的点扩散函数是与被摄体的被摄体距离对应的像点的前后的哪一方，据此，能够容易唯一地估计被摄体距离，因此是有效的。而且，对于图5至图7的点扩散函数的计算，利用ZEMAXDevelopment Corporation公司制的光学模拟软件“ZEMAX(产品名)”。
实际上，根据图3的结构，同时检测出寻常光线和非常光线。但是，由于包含非常光线，因此，在与被摄体的被摄体距离对应的像点前后的点扩散函数所示的形状仍然不同。接着，说明参考图像获得方法。对于实施例I的摄像装置10，利用没有由光学系统11的模糊的参考图像(全焦点图像)。没有由光学系统11的模糊的图像，可以说是景深深的图像。通过将光学系统的光圈变窄，从而能够容易实现将景深变深。但是，根据该方法，摄像元件15受光的光量降低，因此，对此，提出了不将光圈变窄而将景深变深的多个方法。该方法之一是，被称为景深扩展(Extended Depth of Field,以下记作为EDoF)的方法。以下，说明EDoF的具体方法。最单纯的EDoF方法是，一边逐渐将合焦位置稍微偏移，一边拍摄多个图像，从这样的图像中提取合焦的部分来合成的方法。对此，在非专利文献2中公开，在曝光中使合焦位置变化，生成不包含模糊的图像的方法。具体而言，若在曝光中将摄像元件或透镜向光轴方向移动，点扩散函数与被摄体距离无关而成为大致一定，能够得到均匀模糊的图像。针对得到的模糊图像，若利用不受被摄体距离的影响的不变的点扩散函数来进行反卷积，则能够得到以图像整体没有模糊的图像。另一方面，还提出了利用特殊的光学元件的EDoF的方法。例如，利用所谓三次相位板(Cubic Phase Mask)的光学元件的方法。对于三维相位板的一个例子，图8中示出该形状。若将这样的形状的光学元件安装在光学系统的光圈附近，则能够得到与被摄体距离无关而具有大致一定的模糊的图像。与非专利文献I同样，若利用不受被摄体距离的影响的不变的点扩散函数来进行反卷积，则能够得到以图像整体没有模糊的图像。除此以外，可以举出利用多焦点透镜的方法等。而且，在以下进行的说明中设想，对于将景深扩展来得到参考图像的方法，利用在曝光时间中使合焦位置变化的方法。接着，说明计算被摄体距离的处理的流程。图9是示出计算被摄体距离的处理的流程的一个例子的流程图。该处理是指，在预先决定的η阶段的被摄体距离dl、d2、……、dn中，根据成为对象的被摄体被拍摄的图像，计算被摄体距离与哪个距离最近的处理。首先，拍摄并获得透过双折射物质而得到的被摄体的图像I和参考图像Γ (步骤S101，S102)。而且，对于步骤SlOl和S102的顺序，也可以相反。但是，在此获得的参考图像是，拍摄没有透过双折射物质12的被摄体的图像。在此，在图像I和参考图像Γ间，成立以下的算式I所示的关系。算式I
权利要求
1.一种摄像装置，具备 摄像元件，拍摄图像； 光学系统，用于使被摄体像成像于所述摄像元件； 光学元件，具有双折射的效果；以及 距离测量部，根据被拍摄的所述图像、和在与被摄体的被摄体距离对应的像点的前后因所述光学元件而发生了变化的点扩散函数，测量从所述摄像元件到所述被摄体的距离。
2.如权利要求I所述的摄像装置， 所述光学元件的光学轴的方向和所述光学系统的光轴不平行。
3.如权利要求I或权利要求2所述的摄像装置， 在所述光学系统的光轴上，所述光学元件被配置在所述摄像元件与所述光学系统之间，与所述光学系统的光轴相交的所述光学元件的平面，相对于所述光学系统的光轴垂直。
4.如权利要求I至权利要求3的任一项所述的摄像装置， 还具备光学元件移动部，通过使所述光学元件相对于所述光学系统的光轴插入或退出，从而使所述双折射的效果在所述光学系统的光轴上生效或不生效， 所述距离测量部，利用在没有基于所述光学元件的所述双折射的效果的状态下由所述摄像元件拍摄的图像、和在所述光学元件位于所述光学系统的光轴上的状态下被拍摄的图像，测量从所述摄像元件到所述被摄体的距离。
5.如权利要求I至权利要求3的任一项所述的摄像装置， 所述光学元件，能够电性或磁性地使双折射的效果生效或不生效， 所述距离测量部，利用在没有基于所述光学元件的所述双折射的效果的状态下由所述摄像元件拍摄的图像、和在所述光学元件位于所述光学系统的光轴上的状态下被拍摄的图像，测量与所述被摄体相距的距离。
6.如权利要求I至权利要求5的任一项所述的摄像装置， 还具备参考图像生成部，根据在没有基于所述光学元件的所述双折射的效果的状态下由所述摄像元件拍摄的图像，生成参考图像， 所述距离测量部，利用通过所述光学元件拍摄的图像、和所述参考图像，估计所述点扩散函数，测量与所述被摄体相距的距离。
7.如权利要求6所述的摄像装置， 所述参考图像生成部，根据在没有基于所述光学元件的所述双折射的效果的状态下由所述摄像元件拍摄的图像，生成全焦点图像，以作为所述参考图像。
8.如权利要求I至权利要求7的任一项所述的摄像装置， 所述光学系统，具有像方远心性的光学特性。
9.如权利要求I至权利要求8的任一项所述的摄像装置， 还具备光线分离部，将光线分离为多个光路， 所述摄像元件为多个，多个所述摄像元件分别对应于由所述光线分离部分离的多个光路，拍摄所述摄像对象， 所述光学元件被配置在由所述光线分离部分离的多个光路之中的至少一个光路上。
10.如权利要求I至权利要求9的任一项所述的摄像装置， 所述光学元件为多个。
11.一种摄像方法，是摄像装置的摄像方法，所述摄像装置具备拍摄图像的摄像元件、以及用于使被摄体像成像于所述摄像元件的光学系统，所述摄像方法包括 双折射效果赋予步骤，将双折射的效果赋予在所述光学系统的光轴上，所述双折射的效果是指，使由因所述光学系统而决定的点扩散函数所示的形状，在与被摄体的被摄体距离对应的像点前后的位置上成为不同的形状的效果； 拍摄步骤，在所述光学系统的光轴上赋予了所述双折射的效果的状态下，由所述摄像兀件拍摄图像；以及 距离测量步骤，根据由所述摄像元件拍摄的图像、和所述点扩散函数，测量与所述被摄体相距的距离。
12.—种程序，使计算机执行权利要求11的摄像方法。
13.一种集成电路，是摄像装置的集成电路，所述摄像装置具备拍摄图像的摄像元件、以及用于使被摄体像成像于所述摄像元件的光学系统，所述集成电路具备 双折射效果赋予部，将双折射的效果赋予在所述光学系统的光轴上，所述双折射的效果是指，使由因所述光学系统而决定的点扩散函数所示的形状，在与被摄体的被摄体距离对应的像点前后的位置上成为不同的形状的效果； 摄像部，在所述光学系统的光轴上赋予了所述双折射的效果的状态下，由所述摄像元件拍摄图像；以及 距离测量部，根据由所述摄像元件拍摄的图像、和所述点扩散函数，测量与所述被摄体相距的距离。
全文摘要
不使曝光的光量降低，而解决在与被摄体的被摄体距离对应的像点前后的点扩散函数的判别的暧昧性，并且，根据少的张数的摄像图像进行被摄体距离的估计。摄像装置(10)具备摄像元件(15)，拍摄图像；光学系统(11)，用于使被摄体像成像于摄像元件(15)；双折射物质(12)，具有双折射的效果；以及距离测量部(18)，根据被拍摄的图像、和在与被摄体的被摄体距离对应的像点的前后因光学元件而发生了变化的点扩散函数，测量从摄像元件到被摄体的距离。
文档编号H04N5/232GK102713513SQ201180006620
公开日2012年10月3日 申请日期2011年11月18日 优先权日2010年11月24日
发明者安木俊介 申请人:松下电器产业株式会社