专利名称：立体摄像装置以及立体摄像方法
技术领域：
本公开涉及拍摄立体图像的立体摄像装置和立体摄像方法，更具体地涉及调节有效摄像机之间的距离与有效会聚的技术。
背景技术：
在相关领域的双目型立体摄像装置中，作为要拍摄的物体的对象的右图像和左图像通过布置在左右方向两个方向上的摄像机拍摄，从而得到双目立体图像。此时，左右摄像机之间的距离(摄像镜头之间的距离)(基线长度，IAD(轴间距离))和会聚对于所得到的双目立体图像的立体效果或者舒适的视差范围具有很大的影响。在相关领域的双目立体摄像装置中，通过实际地改变左右摄像机的布置来进行摄像机之间的距离的调节，并且也通过调节摄像机本身的布局或者通过各个摄像机的镜头控制来进行摄像机的会聚的调节。对于摄像机之间的距离，通过调节(缩小)安装在摄像机中的镜头或摄像元件的尺寸使距离缩短存在限制。因此，通过安装在叫做平台(rig)的架子上的半反射镜、分别利用左右摄像机来拍摄反射光和透射光，从而可以在不引起摄像机之间的物理干涉的情况下缩小摄像机之间的距离。此外，对于摄像机的会聚，可以以下面的方法作为示例，即其中左右摄像机的光轴相互平行地布置的平行方法，以及其中使左右摄像机的光轴与要拍摄的物体(其在显示是位于屏幕上)的深度(会聚点)相符地彼此交叉的方法。当调节立体图像从显示屏幕的前凸量或内陷量时，摄像机的会聚是必要的调节项目。当前，通过以物理的方式直接改变左右摄像机的方向、或者采用分别调节左右镜头中的光路的方式，或者以图像处理的方式使左右图像的像素位置彼此偏离的方式来调节会聚。这里，对于双目立体摄像装置，在图29中示出了其中在左右摄像机的前面布置一个目标光学系统的配置。在图29中，将目标光学系统201表不为一个凸透镜,其中目标光学系统能够使图像形成在位于摄像光学系统(image pickup optical system)内的像平面上。此外,将摄像光学系统202R和202L分别表示为左凸透镜和右凸透镜，并且指出目标光学系统201不是无焦光学系统。图29是从上侧观察的立体摄像装置的示图，并且图示了在拍摄从目标光学系统201的中心轴稍微向右侧偏移的对象211至216的情况下、成像到左摄像机(拍摄右眼图像的摄像元件(image pickup device) 203L)的对象图像的位置。对象211至216是包括位于前后方向上的四个对象、以及相对于位于中心附近的对象212分别在左侧和右侧并排布置的两个对象的六个对象。当以对象214作为示例进行描述时，连接对象214与目标光学系统201的中心的线、与平行于目标光学系统201的中心轴从对象214入射并被折射的光束的交叉点，是通过目标光学系统201得到的像位置214-1。在该像位置214-1处的图像通过摄像光学系统202L在像位置214i处成像。以这种方式，对象211至216的图像分别通过像位置211-1至216-1在像位置211i至216i处成像。由于成像后的对象图像的位置布置在与像平面204垂直的线上，因此考虑使透射通过对象211至216的光束透射通过瞳孔(由于对象相对于目标光学系统201的中心轴位于右侧，因此是右眼瞳孔)。虽然在图29中未示出，但是对于左眼图像的图像，可以考虑以同样的方式透射通过瞳孔的对象的布局。此时，根据目标光学系统201的后侧焦点位置为顶角的相似三角形的相似比、以物IAD的fl/(L-fl)倍得到作为有效IAD的距离ed。这里，L表示目标光学系统201与摄像光学系统202R和202L的主平面之间的距离，fl表示目标光学系统201的焦距。此外，在图29中，f3表示摄像光学系统202R和202L的焦距，并且d表示从目标光学系统201的主平面到对象212的距离。在图29的立体摄像装置中，其优势在于有效IAD距离ed可以小于物理IAD，但像平面204的倾斜度与焦平面205的倾斜度不同，从而存在整个平面上的聚焦不简单的问题。日本未审查专利申请公开No.2003-5313公开一种包括具有聚焦功能的目标光学系统和摄像光学系统的立体摄像装置，其中摄像光学系统使得从目标光学系统的不同路径发出的对象的多个光束成像、来作为视差图像。在摄像光学系统中，各个光学系统的光轴布置在相同的平面上并且在该平面中的各个光学系统的焦点位置处相互交叉，并且目标光学系统的光轴也布置在该平面中。
发明内容然而，在半反射镜方式的平台中，很难操作大尺度的装置，并且改善影响拍摄结果的半反射镜往往很昂贵。此外，左右摄像机的光轴彼此交叉的会聚点被设置为距离左右摄像机等距。因此，需要避免由于单独地调整左右摄像机而照常的左右摄像机在方向上的偏差，并且优选地通过一个机构来进行调节。因此，对于针对每个拍摄场景需要被调整的摄像机之间的距离或者会聚，优选地允许通过尽可能简单地调节来改变距离和会聚。此外，在双目立体摄像装置中，需要在左右图像之间不产生除了可以根据深度上的差别而得到的左右视差以外的差别，并且需要精确地设置左右摄像机的相对关系。为了进行该设置，在利用半反射镜的平台中在拍摄之前需要时间来进行调节操作。此外，在目前的立体摄像机中，摄像机之间的距离是固定的，这导致了对拍摄范围的一个限制。在包括作为摄像光学系统的多个摄像机的立体摄像装置中，期望在不改变多个摄像机的物理相对位置的情况下，容易地调节有效摄像机之间的距离和有效会聚。根据本公开的实施例，提供了一种立体摄像装置，包括无焦光学系统的目标光学系统，其包括将对象形成为真实图像或虚拟图像并且布置在相同光轴上的两个或更多个透镜组；多个摄像光学系统，其允许从目标光学系统的不同路径发出的多个对象光束通过多个单独的透镜组成像为单独的图像；以及多个摄像元件，其与多个摄像光学系统对应地设置，并且将通过多个摄像光学系统成像的图像转换为图像信号。此外，在目标光学系统由包括对象侧透镜组和摄像光学系统侧透镜组的两个透镜组等效地构成的情况下，可以使得摄像光学系统侧的透镜组、与摄像光学系统具有彼此相同的焦平面，并且然后可以改变目标光学系统中的两个透镜组之间在光轴上的距离。根据本公开的本实施例的立体摄像装置，无焦光学系统的目标光学系统与包括多个光学系统的摄像光学系统组合，从而可以在不改变摄像光学系统之间的物理位置的情况下调节会聚，以给出瞳孔之间的有效距离(有效IAD)和零的有效视差。在目标光学系统是无焦光学系统的情况下，目标光学系统和摄像光学系统(不倾斜)的布局与有效IAD的调节没有关系。另一方面，当假设目标光学系统由两个透镜组构成时，在使得摄像光学系统侧透镜组与摄像光学系统的透镜组具有彼此相同的焦平面的情况下，当改变目标光学系统的两个透镜组之间的距离时，目标光学系统不会变为无焦光学系统，但可以在不改变有效IAD的同时改变会聚。根据本公开的实施例，可以在不改变设置有多个摄像光学系统和摄像元件的多个摄像机之间的物理相对位置的情况下、容易地调节有效摄像机之间的距离和有效会聚。
图1A和IB是图示了当前的立体摄像装置的基本配置示例的说明图，其中图1A从上侧图示了利用左右摄像机拍摄多个对象的情形，并且图1B图示了对象的图像位置反转的左图像和右图像；图2是图示了通过图1A和IB所示的立体摄像装置拍摄的左右图像被显示并且人观看这些图像的情形的说明图；图3A和3B是图示了利用立体摄像装置的彼此间隔开的左右摄像机拍摄对象的情形的说明图，其中图3A从上侧图示了利用左右摄像机拍摄多个对象的情形，并且图3B图示了图像的像位置被反转的左图像和右图像；图4是图示了人通过使用由图3A和3B所示的立体摄像装置拍摄的左右图像来观看立体图像的情形的说明图；图5是图示了在摄像机方向上相互平行布置的多个对象与瞳孔之间的关系的说明图；图6是图示了在左右摄像机方向上相互平行布置的两个对象列与IAD之间的关系的说明图；图7是图示了在摄像机方向上相互平行布置的对象列与IAD转换时的IAD和瞳孔之间的关系的说明图；图8是图示了在立体摄像装置的方向与像平面的法线方向彼此不同的情况下、IAD转换前后的IAD与瞳孔之间的关系的说明图；图9是图示了在设置会聚位置的情况下、在摄像机方向上相互平行布置的对象列与IAD之间的关系的说明图；图10是图示了在设置会聚位置的情况下、在摄像机方向上相互平行布置的对象列与IAD转换前后的IAD和瞳孔之间的关系的说明图；图11是图示了根据本公开的第一实施例的立体摄像装置(目标光学系统的第一和第二透镜组是凸透镜并且是共焦关系)的整体的配置图；图12是图示了根据本公开的第二实施例的立体摄像装置(目标光学系统的第一和第二透镜组是凸透镜并且是共焦关系，并且目标光学系统的第二透镜组和摄像光学系统是共焦关系)的整体的配置图；[0034]图13是图示了根据本公开的第二实施例的立体摄像装置(目标光学系统的第二透镜组和摄像光学系统是共焦关系)的整体的配置图；图14是图示了在目标光学系统由凹透镜和凸透镜构成的情况下、在根据本公开的第一实施例的立体摄像装置中物理摄像机之间的距离(物理IAD)与有效摄像机之间的距离(有效IAD)之间的关系的说明图；图15是图示了在目标光学系统由凹透镜和凸透镜构成的情况下、在根据本公开的第一实施例的立体摄像装置中物理会聚点和有效会聚点之间的关系的说明图；图16是图示了在作为参考的立体摄像装置中对象和图像之间的关系的说明图；图17A和17B是图示了图16的各个距离之间的关系的说明图，其中图17A图示了相对于右眼的各个距离之间的关系，并且图17B图示了相对于左眼的各个距离之间的关系;图18是图示了在将凹透镜布置为目标光学系统的第一透镜组并且将凸透镜布置为第二透镜组的情况下、根据本公开的实施例的立体摄像装置中的对象和图像之间的关系的说明图；图19是图示了在将凸透镜布置为目标光学系统的第一透镜组并且将凸透镜设置为第二透镜组的情况下、根据本公开的实施例的立体摄像装置中的对象和图像之间的关系的说明图；图20是图示了在将凸透镜布置为目标光学系统的第一透镜组并且将凹透镜布置为第二透镜组的情况下、根据本公开的实施例的立体摄像装置中的对象和图像之间的关系的说明图；图21是图示了根据本公开的实施例的立体摄像装置的配置示例(对应于条件I)的框图；图22是图示了根据本公开的实施例的立体摄像装置的另一个配置示例(对应于条件2)的框图；图23是图示了在目标光学系统用作可拆卸转换镜头的情况下、根据本公开的实施例的立体摄像装置中的配置示例的框图；图24是图示了在目标光学系统用作焦距固定的转换镜头的情况下、根据本公开的实施例的立体摄像装置中的配置示例的框图；图25是图示了在目标光学系统由三个透镜组构成的情况下、根据本公开的实施例的立体摄像装置中的配置示例的框图；图26是图示了使得图25中的第一透镜组移动的情况的说明图；图27是图示了在图26的目标光学系统中、与像平面垂直的且通过物理摄像机的瞳孔的光束的入射方向的说明图；图28是图示了在根据本公开的实施例的立体摄像装置中的IAD控制的说明图；图29是图示了在相关领域中的立体摄像装置的说明图。
具体实施方式
在下文中，将参考附图描述用于实施公开的实施例(在下文中，称作“本示例”)。将以如下顺序进行描述。此外，在各个附图中，对具有大致相似的功能的共同部分给予相同的附图标记，并且将省略其多余的描述。1.对双目立体视觉显示的说明2.根据本公开的实施例的立体摄像装置的原理3.根据本公开的实施例的立体摄像装置的配置概述3-1.第一实施例(目标光学系统的第一和第二透镜组是共焦关系)3-2.第二实施例(目标光学系统的第一和第二透镜组是共焦关系，并且目标光学系统的第二透镜组和摄像光学系统是共焦关系)3-3.第三实施例(目标光学系统的第二透镜组和摄像光学系统是共焦光学)4.根据本公开的立体摄像装置的配置细节4-1.条件I的说明4-2.条件2的说明4-3.在双目立体摄像装置中的对象和图像之间的关系4-4.在将凹透镜布置为根据本公开的实施例的目标光学系统的第一透镜组并且将凸透镜布置为第二透镜组的情况下、对象和图像之间的关系4-5.在将凸透镜布置为根据本公开的实施例的目标光学系统的第一透镜组并且将凸透镜布置为第二透镜组的情况下、对象和图像之间的关系4-6.在将凸透镜布置为根据本公开的实施例的目标光学系统的第一透镜组并且将凹透镜布置为第二透镜组的情况下、对象和图像之间的关系4-7.在适用于交叉方法时的计算公式5.根据本公开的实施例的立体摄像装置的模块配置5-1.对应于条件I的配置示例5-2.对应于条件2的配置示例5-3.目标光学系统由可拆卸会聚透镜构成的配置示例5-4.目标光学系统由具有固定焦距的转换镜头构成的配置示例6.由三个透镜组构成的目标光学系统的配置示例1.对双目立体视觉的说明首先，将进行对立体视觉、视差和IAD的说明以及对瞳孔和有效瞳孔(pupil andan effective pupil)的说明。引入瞳孔和有效瞳孔以考虑双目视差。在当前立体视觉中，通过双目视差(在下文中称作“视差”)得到立体效果。因此，在立体图像拍摄中视差的控制非常重要。视差是当从彼此不同的左右两个视点(拍摄位置)拍摄时产生的、两个图像在水平方向上的偏离，并且诸如左右视点的位置距离多远等这样的事情对控制视差来说非常重要。图1A和IB示出了图示当前的立体摄像装置的基本配置示例的说明图。图1A从上侧图示了利用左右摄像机拍摄多个对象的情形，并且图1B图示了将对象的图像位置反转的图像。在图1A的示例中，通过包括摄像透镜(瞳孔4R)和摄像元件5R的右摄像机和包括摄像透镜(瞳孔4L)和摄像元件5L的左摄像机，对在平行于摄像机方向的直线上布置的三个对象I至3进行拍摄。关于左右摄像机，摄像透镜的各个中心用瞳孔示意性地表示，并且来自三个对象I至3的主光束头透过左右瞳孔4R和4L，并且在与摄像元件5R和5L的成像平面平行的像平面上成像。左右瞳孔4R和4L之间的距离是IAD，并且距离d是在立体图像的拍摄中的重要因素。在像平面上，对象的图像以水平反转的状态投影，使得在左右摄像元件中，图像的位置是反转的，从而输出右图像和左图像。在图1B的示例中，对象I至3的图像IaR至3aR在右摄像元件5R上成像，并且右摄像元件5R输出图像IaR至3aR反转的右图像6R。此外，对象I至3的图像IaL至3aL在左摄像元件5L上形成，并且左摄像元件5L输出图像IaL至3aL被反转的左图像6L。图2示出了图示由图1A和IB所示的立体摄像装置摄取的左右图像被显示并且人观看图像的情形的说明书。在显示屏幕上，呈现了右图像6R和左图像6L，但是通过诸如使用液态快门等任意方法，右图像仅呈现给右眼，并且左图像仅呈现给左眼。图2图示了为了便于说明、右图像6R和左图像6L在显示位置处并排显示，并且立体图像以左右图像的边界线设置为显示平面(屏幕)而再现的情形。对于三个对象当中的中间对象2，左右图像2aR和2aL在相同的位置处(交叉点2a)示出，使得视差为零。因此，在立体视觉中，看起来好像对象2精确地存在于显示屏幕上。此外，对于最靠近摄像机的对象3，通过右眼7R观看的位置和通过左眼7L观看的位置彼此不同，使得当对象3存在于深度方向上的位置时、人类的大脑判断对象3 (图像3aR和3aL)是否被认为是一个对象，并且判定3存在于左右视线的交叉点3a处。此外，类似地，对于距离摄像机最远的对象1，人类的大脑判定对象I存在于交叉点Ia处，其中在交叉点Ia处视线在显示屏幕的后侧处彼此交叉。以这样的方式，被投影为相同对象的左右图像的位置的偏差被称作视差(双目视差)，并且大脑由于视差的存在而执行立体认知，从而实现立体视觉。此外，诸如与对象2对应的交叉点2a等视差为零的深度位置(图1A及图1B中)称作会聚点，但该位置被识别为仿佛其存在于显示屏幕上，使得该位置被认为是人类最容易观看的位置。通过该改变使左右屏幕重叠的方式，可以将与最靠近摄像机的对象3相符的视差设置为零，或者可以将与距离摄像机最远的对象I相符的视差设置为零。然而，例如，在将与对象3相符的视差设置为零的情况下，关于对象I的视差变得宽阔到那种程度。因此，会聚点的最佳位置可以根据拍摄场景或拍摄意图而不同。图3A和3B是图示了利用立体摄像装置的相互远离的左右摄像机拍摄对象的情形的说明图，其中图3A从上侧图示了利用左右摄像机拍摄多个对象的情形，并且图3B图示了其中对象的图像位置被反转的左图像和右图像。在图3B的示例中，对象I至3的图像IbR至3bR形成在右摄像元件5R上，并且右摄像元件5R输出其中图像IbR至3bR被反转的右图像8R。此外，对象I至3的图像IbL至3bL形成在左摄像元件5L上，并且左摄像元件5L输出其中图像IbL至3bL被反转的右图像8L。在这样的情况下，以三个对象当中的中间对象2与会聚点重叠的方式来设置左右图像的各个的开始位置。与图1A和IB类似，所拍摄的图像成为以对象2的图像2bR和2bL位于图像的中心处的左右图像。图4示出了图示由图3A和3B所示的立体摄像装置摄取的左右图像被显示并且人观看图像的情形的说明图。与图2类似，看起来好像对象2存在于显示屏幕上的位置(交叉点2b)处，并且对象3的图像存在于显示屏幕的前侧的位置(交叉点3b)处，并且对象I的图像存在于显示屏幕的后侧的位置(交叉点Ib)处，但是对象3的图像伸出的感觉以及对象I的图像缩回的感觉变得强烈。即，视差的范围由于摄像机之间的距离(瞳孔4R和4L之间的距离)而变宽。这从被投影为右图像8R和左图像8L的三个对象I至3的图像的重叠状态与图2的情况不同也可以看出。如上所述，可以看出摄像机之间的距离(IAD :瞳孔之间的距离)的控制在控制立体效果时非常重要。2.根据本公开的实施例的立体摄像装置的原理下面，将描述怎样在考虑IAD时理解瞳孔的位置。在普通摄像机中，瞳孔的位置存在于与通过摄像透镜的中心的像平面正交的线上。这种情形在摄像透镜的中心轴是一个的情况下容易考虑，但这种情形在摄像透镜的中心轴是多个的情况下并不真实。这里，假设左右瞳孔位于相对于沿着摄像机方向的中心线对称的位置上，并且关于像平面，像平面的法线与位于相对于中心轴对称的位置处的摄像机的方向平行。图5图示了在摄像机方向上相互平行地布置的多个对象与瞳孔的关系。首先，对于设置有摄像透镜和摄像元件5的一个摄像机，将考虑对象、瞳孔和投影在像平面上的图像之间的关系。在普通摄像机中，瞳孔4的位置在摄像透镜的中心处，使得垂直于像平面的光束是在通过瞳孔4之前在与像平面垂直的方向上，并且在摄像机方向上。由此，如图5所示，在布置在与摄像机方向平行的线上的三个对象I至3的图像Ic至3c在像平面上相互重叠(图像的位置在与像平面垂直的线上)的情况下，可以看出瞳孔存在于直线上。此外，由于摄像机方向和垂直于像平面的光束不一定相互平行，因此利用“布置在与摄像机方向平行的线上的三个对象”的表达来进行描述。当考虑具有左右摄像机的上述情形时，如图6所示，当组成与左右摄像机方向平行的两个对象列的对象I至3和对象11至13的图像IdR至3dR和图像IldL至13dL分别在图形平面上重叠，此时左右瞳孔4R和4L之间的距离d(物理IAD)被认为是对象列之间的距离。在本公开的实施例中,对象列、图像和瞳孔之间的关系是很重要的。此外，图像13dR是对象11的图像，其在通过瞳孔4R的中心之后形成在摄像元件5R上，并且图像IdL是对象I的图像,其在通过瞳孔4L的中心之后在摄像元件5L上成像。这里，考虑通过转换原始存在的物理IAD来得到有效IAD的情况。在这种情况下，对于相对于物理IAD的瞳孔和相对于有效IAD的有效瞳孔进行考虑。基本上，如图6所示，当假设通过瞳孔4R和4L的光束没有发生变化时，如图7所示在组成与摄像机方向平行的两个对象列的对象I至3和对象11至13的图像IeR至3eR和图像IleL至13eL分别在像平面上相互重叠时，可以认为两个对象列之间的距离ed是有效IAD。在摄像元件5R上形成的图像lleR、12eR和13eR是在通过IAD转换部分14的光入射侧的有效瞳孔15R和光出射侧的内部瞳孔16R之后成像的、对象11至13的图像。此夕卜，在摄像元件5L上形成的图像leL、2eL和3eL是在通过IAD转换部分14的光入射侧的有效瞳孔15L和光出射侧的内部瞳孔16L的中心之后成像的、对象I至3的图像。IAD转换部分14具有转换物理IAD的距离d和有效IAD的距离ed的功能。通过逆向计算在内部瞳孔16R和16L的位置处聚集的光束，可以认为位于IAD转换部分14的入射侧的两个有效瞳孔15R和15L是相对于IAD转换部分14入射的光束实际或虚拟聚集的位置，其中内部瞳孔16R和16L位于当通过两个对象列的入射光垂直地进入各个像平面时、与摄像透镜的主平面的中心的交叉点的附近。有效瞳孔位于通过上述两个对象列的入射光束上或者其延长线上。在本说明书中，位于IAD转换部分14的光出射侧的两个内部瞳孔16R和16L之间的距离id叫做“内部IAD”。“内部瞳孔”和“内部IAD”是由于其不一定与设置IAD转换部分14之前的物理瞳孔和物理IAD具有相同的值，为了方便描述而给出的名称。例如，在后面所述的基于“条件2”设置会聚位置的情况下，内部瞳孔和内部IAD与转换之前的瞳孔和IAD不同。图8图示了在立体摄像装置的方向与像平面的法线方向不同的情况下、IAD转换前后的IAD与瞳孔之间的关系。通过两个对象列的光束入射到位于IAD转换部分24的输入侧的有效瞳孔25R和25L，并且从位于IAD转换部分24的输出侧的内部瞳孔26R和26L射出，并且然后由各个摄像元件5R和5L接收。在图8中，与图7类似，组成布置在与立体摄像装置的方向平行的线上的对象列的对象I至3与对象11至13的图像lfR、2fR和3fR以及图像llfL、12fL和13fL分别在像平面上相互重叠。形成在摄像元件5R上的图像llfL、12fL和13fL是对象11至13的图像，其在通过IAD转换部分24的入射侧有效瞳孔25R和出射侧内部瞳孔26R之后成像。此外，形成在摄像元件5L上的图像lfR、2fR和3fR是对象I至3的图像，其在通过IAD转换部分24的入射侧有效瞳孔25L和出射侧内部瞳孔26L之后成像。下面，将对于在会聚位置无限远的情况下(交叉法)的有效IAD和有效瞳孔进行说明。由于在图6和图7的上述示例中应用了平行法，与立体摄像装置而不是对象列平行的入射光在通过瞳孔之后垂直地投影到象素平面的中心。因此，瞳孔与考虑单个摄像机的情况类似、位于摄像透镜的中心轴上。然而，在会聚点CP的位置设置为如图9所示的情况下，通过像平面的中心并且与像平面垂直的线AxR和AxL不通过当考虑IAD时假设的瞳孔。该位置是在单个摄像机中通常不考虑的瞳孔位置。即，组成与左右摄像机的方向平行的两个对象列的对象I至3和对象11至13的图像lgR、2gR和3gR以及图像llgL、12gL和13gL，分别在像平面上相互重叠，但在通过各个瞳孔4R和4L之后未投影到像平面的中心。形成在摄像元件5R上的图像llgR、12gR和13gR是对象11至13的图像，其在通过瞳孔4R之后成像。此外，形成在摄像元件5L上的图像IgL、2gL和3gL是对象I至3的图像，其在通过瞳孔4L之后成像。在线AxR和AxL进入转换IAD的IAD转换部分的情况下也是这样。在利用交叉法执行立体拍摄的情况下，如图10所示，通过像平面的中心并且与像平面垂直的线AxR和AxL不通过内部瞳孔。图10图示了在设置了会聚点的情况下，与摄像机方向相互平行的对象列与IAD转换前后的IAD和瞳孔之间的关系。在图10的示例中，按照以对象I作为示例来设置会聚点CP。[0107]S卩，通过两个对象列的光束从位于IAD转换部分34的输入侧的有效瞳孔35R和35L入射，并且从位于IAD转换部分34的输出侧的内部瞳孔36R和36L射出，并且然后由各个摄像元件5R和5L接收。此时，组成布置在与立体摄像装置的方向平行的线上的对象列的对象I至3和对象11至13的图像lhR、2hR和3hR以及图像llhL、12hL和13hL，分别在像平面上相互重叠，但在通过各个内部瞳孔36R和36L之后未投影到像平面的中心。形成在摄像元件5R上的图像llhR、12hR和13hR是对象11至13的图像，其在通过IAD转换部分34的入射侧有效瞳孔35R和出射侧内部瞳孔36R之后成像。此外，形成在摄像元件5L上的图像lhL、2hL和3hL是对象I至3的图像，其在通过IAD转换部分34的入射侧有效瞳孔35L和出射侧内部瞳孔36L之后成像。根据本公开的实施例的立体摄像装置具有与上述IAD转换部分相同的功能，并且利用通过IAD转换部分调节的有效瞳孔和有效IAD来执行IAD的控制。3.根据本公开的实施例的立体摄像装置的配置概述在下文中，将描述根据本公开的实施例的立体摄像装置的配置概述。3-1.第一实施例(目标光学系统的第一和第二透镜组是共焦关系)图11是图示了根据本公开的第一实施例的示例的立体摄像装置的概述的结构图。关于第一实施例，在双目立体摄像装置中，在作为摄像光学系统42的左右摄像机(摄像部分)的前面布置了两个透镜组作为目标光学系统41。此外，目标光学系统41的第一透镜组41-1和第二透镜组41-2以共 焦关系布置，并且目标光学系统41设置为相对于平行光的入射而射出平行光的无焦光学系统。目标光学系统41和摄像光学系统42对应于上述IAD转换部分。需要使用至少两个透镜组来实现无焦光学系统，并且在该示例中，通过使用可以等效于凸透镜的第一透镜组41-1和第二透镜组41-2两组来实现无焦光学系统，使焦点位置相互吻合(条件I)。图11是从上侧看立体摄像装置的示图，并且图示了在拍摄从目标光学系统41的中心轴略微向右侧偏离的对象51至56的情况下、成像到左摄像机(拍摄右眼图像的摄像元件43L)的对象图像的位置。对象51至56包括布置在前后方向上的四个对象、以及相对于布置在中央附近的对象52分别在左侧和右侧并排布置的两个对象。此外，该示例的摄像元件43L被示出为好像摄像元件43L在光轴方向上较长，但摄像元件43L被布置为与光轴垂直，使得摄像元件43L基本上不长。摄像元件43L被表示为通过像位置55i和56i的直线(立体平面，这是因为图中厚度是垂直于纸面的方向)。在图11的示例中，摄像元件43L的位置由通过像位置55i和56i的直线(虚线)表示，并且图示了执行到像位置521、55i和56i的聚焦的情况。当对于作为示例的对象54进行描述时，连接对象54和目标光学系统41的第一透镜组41-1的线、与平行于第一透镜组41-1的光轴从对象54入射并被折射的光束的交点是经由第一透镜组41-1的像位置54-1。连接像位置54-1和第二透镜组41_2的中心的线、与平行于第二透镜组41-2的中心轴从像位置54-1入射并且被折射的光束的延长线的交点是经由第二透镜组41-2的像位置54-2。在该像位置54-2处的图像通过摄像光学系统42的摄像透镜组42L形成在像位置54i上。以这种方式，对象51至56的图像分别是经由像位置51-1至56-1和像位置51-2至56_2、在像位置51i至56i处的图像。在第一透镜组41-1和第二透镜组41-2是共焦关系的情况下，通过第二透镜组41-2观察的对象图像在横向方向上变为f2/fl倍，在深度方向上变为f2/fl的两倍。当通过摄像光学系统拍摄在像位置51i至56i处成像的图像时，可以以放大或缩小的方式拍摄实际的六个图像。当以放大或缩小的方式拍摄对象时，可以相对地减小或增大摄像光学系统的摄像机之间的距离。这是最简单的操作原理，但即使在第一透镜组和第二透镜组不是共焦关系的情况下，稍后将参考图13描述的结构也是有效的。在该示例中，平行于目标光学系统41的中心轴入射的光束由第一透镜组41-1朝向焦点位置折射，并且通过第二透镜组41-2恢复为平行，然后射出。因此，当考虑在射出之后精确地通过摄像光学系统42的摄像透镜组的中心(内部瞳孔IP)的光束时，有效瞳孔EP的位置在光束上(在图11中，考虑附图的可见性示出了左侧有效瞳孔)。此时，有效IAD是从以位于目标光学系统41的两个透镜组之间的共焦位置为顶角的相似三角形的相似比、作为物理IAD的fl/f2得到的。这里，fl是目标光学系统41的第一透镜组41-1(凸透镜)的焦距，并且f2是第二透镜组41-2(凸透镜)的焦距。此外，图11中的f3代表摄像透镜组42R和42L的焦距。此外，d代表从目标光学系统41的第一透镜组41-1的主平面到对象52的距离，L代表从第一透镜组41-1到第二透镜组41_2的距离，M代表目标光学系统41的第二透镜组41-2与摄像透镜组42R和42L的主平面之间的距离。在根据第一实施例的立体摄像装置中，可以使有效IAD的距离ed小于物理IAD的距离。此外，像平面的倾度和焦平面的倾度彼此相同，并且在整个屏幕上的聚焦变得简单。此外，在摄像透镜组42R和42L中，主要使用靠近光轴的位置、即透镜的中心，并且可以进行作为相关领域中的设计的延伸的光学设计。这相较于整个配置是专门设计的情况下在成本方面具有很大优势。此外，在上述第一实施例中，已经对于其中组成目标光学系统的第一透镜组和第二透镜组全部由凸透镜或者可视为凸透镜的透镜组构成的配置进行了描述，但不限于此。例如，第一透镜组和第二透镜组的组合可以是凹透镜和凸透镜的组合，或者凸透镜和凹透镜的组合。在第一透镜组由凹透镜构成的情况下，由于后侧焦点位置相对于凹透镜的后侧主平面位于对象侧，因此第二透镜组由凸透镜构成，以使得第二透镜组的后侧焦点位置和前侧焦点位置彼此基本相同。此外，在第二透镜组由凹透镜构成的情况下，第一透镜组由凸透镜构成。因此，第一透镜组或者第二透镜组、或者这两者由凸透镜构成。3-2.第二实施例(目标光学系统的第一和第二透镜组是共焦关系，并且目标光学系统的第二透镜组和摄像光学系统是共焦关系)下面，将描述通过将两个透镜组布置为目标光学系统的配置得到的另一个效果。在第二实施例中，目标光学系统由两个透镜组构成，并且目标光学系统和摄像光学系统之间的距离设定为“(目标光学系统的第二透镜组的焦距)+ (摄像光学系统的焦距)”，并且使得目标光学系统和摄像光学系统两者具有彼此相同的成像平面或焦点位置(条件2)。此外，使目标光学系统的两个透镜组之间的距离发生变化以控制会聚偏移量。图12是图示了根据本公开的第二实施例的立体图像摄取装置的概述的结构图。在第二实施例中，与图11所示第一实施例类似，对于双目立体摄像装置，在作为摄像光学系统42的左右摄像机(摄像部分)的前面布置了作为目标光学系统41的两个透镜组。除了第一实施例的条件I (目标光学系统的第一和第二透镜组是共焦关系)之夕卜，目标光学系统与摄像光学系统之间的距离设定为“(目标光学系统的第二透镜组的焦距)+ (摄像光学系统的焦距)”，并且可以使目标光学系统和摄像光学系统两者具有彼此系统的成像平面或焦距(条件2)。目标光学系统41和摄像光学系统42对应于上述IAD转换部分。当考虑与图11相同的对象51至56时，以与图11所示的第一实施例相似的方式，对象51至56的图像分别经由像位置51-1至56-1和像位置51_2至56_2在像位置对象51 至56 处成像。由于本实施例满足条件1，与图11所示的第一实施例类似，平行于目标光学系统41的中心轴入射的光束由第一透镜组41-1朝向焦点位置折射，并且通过第二透镜组41-2恢复为平行，然后射出。因此，当考虑在射出之后精确地通过摄像光学系统42的摄像透镜组的中心(内部瞳孔IP)的光束时，有效瞳孔EP的位置在光束上(在图12中，考虑附图的可见性示出了左侧有效瞳孔)。本实施例(图12)与第一实施例(图11)之间的区别是目标光学系统41与摄像光学系统42之间的距离增大，并且满足M = f2+f3的关系。因此，在图12中，最终成像位置与图11所示的位置不同。此外，在上述第二实施例中，已经对于组成目标光学系统的第一透镜组和第二透镜组全部由凸透镜或可视为凸透镜的透镜组构成的配置进行了描述，但不限于此。例如，第一透镜组和第二透镜组的组合可以是凹透镜和凸透镜的组合，或者凸透镜和凹透镜的组
口 ο3-3.第三实施例(目标光学系统的第二透镜组和摄像光学系统是共焦关系)
然而，当平行光束如上到一个透镜或者可等效地视为一个透镜的透镜组时，原则上光束在焦平面的一个点上会聚(或者从一个点发散)。这里，可以经由通过允许满足关系M = f2+f3而进行的会聚偏移量控制来利用该性质。图13是图示了根据本公开的第三实施例的立体摄像装置的概述的结构图。在本实施例中，增大了目标光学系统41的第一透镜组41-1与第二透镜组41-2之间的距离L，从而不满足在无焦光学系统中的条件I (L辛fl+f2)。目标光学系统41和摄像光学系统42对应于上述IAD转换部分。此外，在图13中，呈现了光束不通过的各个透镜组的部分，但是由于为了便于附图描述，并且对于该部分，以光束通过透镜组来处理。当考虑与图11相同的对象51至56时，以与图11所示的第一实施例相似的方式，对象51至56的图像分别经由像位置51-1至56-1和像位置51-2'至56-2'在像位置51iB至56iB处成像。在该实施例中，不满足条件I，使得原来平行于光轴射到摄像光学系统42的摄像透镜组42R和42L的透镜中心的光束变得与光轴不平行。然而，在第一透镜组41-1与第二透镜组41-2之间，该光束是与满足条件I的情况下的光束平行的光束，使得该实施例中的光束在第二透镜组41-2的焦点后侧、在焦点F处与满足条件I的情况下的射出光束相交。然而，当满足关系M = f2+f3 (条件2)时，可以将焦点F设置到摄像光学系统42的前侧焦点位置。通过前侧焦点的光线在摄像光学系统42中被折射为平行于光轴的光束，并且垂直地入射到像平面。在目标光学系统41的第一透镜组41-1和第二透镜组41-2是共焦关系的情况下，通过有效瞳孔EP并且平行于摄像元件43L的入射光在从目标光学系统41射出时、变得与摄像元件的方向平行，使得通过摄像光学系统42的中心的光束与成像平面垂直。因此，由于入射光总是通过摄像光学系统42的透镜组的中心位置，所以目标光学系统41与摄像光学系统42之间的距离与有效IAD无关。因此，有效瞳孔EP的位置不变。结果，可以在不改变有效IAD的情况下延长和缩短第一透镜组41-1与第二透镜组41-2之间的距离L。入射到摄像光学系统42的角度可由于距离L的延长和缩短来控制，因此可以在不改变有效IAD的同时、容易地控制会聚偏移量CO。此外，在上述第三实施例中，已经对于组成目标光学系统的第一透镜组和第二透镜组全部由凸透镜或者可视为凸透镜的透镜组构成的配置进行了描述，但不限于此。例如，第一透镜组和第二透镜组的组合可以是凹透镜和凸透镜的组合，或者凸透镜和凹透镜的组
口 ο如上所述，在根据本公开的实施例的立体摄像装置中，目标光学系统由两个透镜组构成，并且具有条件I和/或条件2的特性。当然，即使当目标光学系统由三个或更多的透镜组构成的目标光学系统时，也可以考虑条件2。首先，在目标光学系统设置为无焦光学系统(这对于通过有效瞳孔来说很重要)的情况下，考虑通过有效瞳孔并且平行于摄像机的方向的光束的情况。在将该光束看作目标光学系统的入射光的情况下，得到在当目标光学系统是无焦光学系统时射出的光束与当目标光学系统从无焦光学系统脱离时射出的光束之间的交点。该交点在摄像光学系统的焦平面上的情形对应于条件2。这是因为当交点在摄像光学系统的焦平面上时，目标光学系统的出射光经由摄像光学系统垂直地入射到成像平面上，并且通过有效瞳孔并且平行于摄像机的方向的光束变成与成像平面垂直的光束。这在目标光学系统等效地由两个透镜组构成时对应于条件2。4.根据本公开的实施例的立体摄像装置的配置细节4-1.条件I的说明在条件I中，对于包括多个摄像机(多个摄像部分)的立体摄像装置，在摄像光学系统的多个摄像机的前侧布置了一个目标光学系统。该目标光学系统由至少两个透镜组构成。此外，采用了如下配置(条件I)，其中设置了能够通过排列目标光学系统的两个透镜组以及对摄像光学系统的多个摄像机的各个设置的摄像透镜组来设置或控制三个透镜组(目标光学系统的第一透镜组、目标光学系统的第二透镜组和摄像透镜组)的焦距的单元来解决问题。其中设置有基本上成为无焦光学系统的目标光学系统表示(换句话说)如下配置，其中当假设目标光学系统包括物镜侧第一透镜组(焦距fl)和位于多个摄像机侧的第二透镜组(焦距f2)时，第一透镜组的后侧焦距与第二透镜组的前侧焦距基本上彼此相同。结果，对于有效摄像机之间的距离(左右摄像透镜组之间的距离)和有效的会聚之间、可发生如下操作。有效摄像机之间的距离[0150]当设置有基本上是无焦光学系统的目标光学系统时，目标光学系统的光轴和多个摄像机的光轴可以共同改变大致fl/f2倍。如图14所示，这意味着可以将摄像机之间的距离有效地改变大致fl/f2倍。即，在改变摄像机之间的距离时，不一定高精度地调节多个摄像机的各个的布置，并且可以通过目标光学系统或目标光学系统内的可变倍率的附加或拆除来调节摄像机之间的距离。图14图示了在目标光学系统由凹透镜和凸透镜构成的情况下、在根据本公开的第一实施例的立体摄像装置中的物理摄像机之间的距离(物理1AD)和有效摄像机之间的距离(有效IAD)。在该示例中，对于由凹透镜和凸透镜构成的目标光学系统进行了描述，但相同的观点可适用于其他组合。从对象侧(图14中的左侧)入射的光束通过由凹透镜构成的第一透镜组61-1和由凸透镜构成的第二透镜组61-2折射，并且入射到物理摄像机62R和62L。如图14所示，当使得目标光学系统61的第一透镜组61-1的后侧焦点(相对于凹透镜的对象侧)与第二透镜组61-2的前侧焦点彼此相同时，相对于由虚线指示的有效摄像机63R和63L聚集的光被输入到物理摄像机62R和62L。示出了平行于光轴的光束RlR和RlL以及朝向第一透镜组61_1 (相对于凹透镜的摄像机侧)的前侧焦点入射的的光束R2R和R2L，作为代表性的两种光束。光束RlR和RlL由第一透镜组61-1(凹透镜)折射为远离共同焦点位置的方向，并且入射到第二透镜组61-2，但由于光束RlR和RlL是来自凸透镜的焦点的光束，因此光束RlR和RlL被再次折射为平行光束。因此，光束RlR和RlL上的对象图像由第二透镜组61-2投影到物理摄像机62R和62L的摄像透镜中心的图像位置65R和65L。另一方面，光束R2R和R2L由第一透镜组61-1折射为平行光束，并且由第二透镜组61-2聚集为焦点方向。结果，聚焦到有效摄像机63R和63L的光被聚集到物理摄像机62R和62L。经由图14的目标光学系统61的有效IAD ed变为物理IAD pd的大致fl/f2倍。有效会聚当设置了基本上变为无焦光学系统的目标光学系统时，可以将原来应用在摄像光学系统中的会聚改变为非常适合的有效会聚(然而，在摄像光学系统的光轴与目标光学系统的光轴平行的情况下，有效会聚也是平行的)。对于会聚，由于摄像机的摄像透镜的物理限制导致对于使会聚较窄存在限制，但如图15所示，当目标光学系统设置在多个摄像机的前侧时，可以将会聚位置设定在物理约束之外的位置处。图15图示了在目标光学系统由凹透镜和凸透镜构成的情况下，在根据本公开的第一实施例的立体摄像装置中、物理会聚点和有效会聚点之间的关系。在该示例中，对于其中目标光学系统由凹透镜和凸透镜构成的配置进行了描述，但相同的观点也适用于其他组
口 ο对于摄像光学系统中的物理摄像机62R和62L的会聚角，当设置目标光学系统61时，会聚点CP改变并且转移到有效会聚点eCP，并且有效会聚角也被改变。来自物理摄像机62R和62L的各个的视线由目标光学系统61的第二透镜组61_2向目标光学系统61的光轴侧折射。此外，视线经由第二透镜组61-2朝向物理摄像机62R和62L的摄像透镜中心的像位置65R和65L前进，并且经由第一透镜组61-1在通过了有效摄像机73R和73L的摄像透镜中心的各个的视线的方向上前进。结果，如图15所示，与物理摄像机62R和62L所设定的会聚点CP相比，有效会聚点eCP被设定到较近位置。以这种方式，具有凹透镜+凸透镜配置的目标光学系统61具有用于近距离拍摄(其中还以广角拍摄图像本身)的特性，使得诸如会聚点可被调节到相对较近位置等与拍摄范围的扩大相关联，并且是有效的。此外，由于物理约束导致对于使会聚点靠近物理摄像机存在限制，并且特别地，这导致了近距离拍摄时的问题。然而，如图15所示，由于使用目标光学系统，可以将会聚点设定到相对较近位置。相反，在目标光学系统的第一透镜组由凸透镜构成，并且第二透镜组由凹透镜构成的情况下，有效会聚点相对于物理会聚点较远。4-2.条件2的说明在条件2中，目标光学系统被视为由包括目标侧的第一透镜组和多个摄像机侧的第二透镜组的两个组等效地构成，并且摄像光学系统的摄像透镜可视为第三透镜组。此外，在将第一透镜组、第二透镜组和第三透镜组的后侧焦距分别设定为H、f2和f3的情况下，将第一透镜组的后侧主平面与第二透镜组的前侧主平面之间的距离设定为L，并且将第二透镜组的后侧主平面与第三透镜组的前侧主平面之间的距离设定为M，fl、f2、f3、L和M设定为满足如下关系(条件2)。下面将详细描述。M-f3-f2 ^ O有效摄像机之间的距离由于条件2，目标光学系统的光轴和多个摄像机的光轴可以总体地变为大致fl/f2倍。此外，当设置调节fl和f 2的单元时，可以调节有效摄像机之间的距离。有效会聚可以通过改变第一透镜组的后侧主平面与第二透镜组的前侧主平面之间的距离来改变有效会聚点的位置。此时，在设置摄像光学系统的多个摄像机的会聚时，可以通过改变L来进一步设置会聚点。此外，由于摄像光学系统是单独地包括多个摄像机的多目立体摄像装置，因此可以在将目标光学系统从装置中拆除的情况下执行拍摄，从而可以使用与拍摄场景相符的目标光学系统或者不使用目标光学系统来执行拍摄。为了使目标光学系统可拆卸，优选地是由目标光学系统施加到摄像光学系统上的约束很小。在根据本公开的实施例的条件I中，由于约束存在于目标光学系统内部，因此在摄像光学系统上没有约束。此外，由于有效摄像机与有效会聚之间的距离响应于目标光学系统的第一透镜组的焦距fl与第二透镜组的f2之间的比例而变化，因此可以通过控制该比例来设置与拍摄场景相符的摄像机与会聚之间的距离。具体而言，在条件2中，即使在光学系统的全部光轴均相互平行并且在制造过程中可以进行高精度组装的设计中，也可以通过目标光学系统的第一透镜组与第二透镜组之间的距离来设置会聚。4-3.在双目立体摄像装置中对象和图像之间的关系下面，将描述在考虑会聚点的双目立体摄像装置中的对象和图像之间的关系。在下面的描述中，说明了考虑作为目标的参考的立体摄像装置，并且在根据本公开的实施例的立体摄像装置中可以得到相同的成像结果。图16示出了图示了在作为参考的立体摄像装置中的对象和图像之间的关系的说明图。在图16中，存在没有光束通过的部分，但由于这是为了方便附图的描述，并且对于该部分，看作光束通过透镜组来处理。当存在与上述部分对应的部分时，这种处理对于随后的附图同样适用。在双目立体摄像装置中，图示了由两个摄像透镜8IR和8IL生成的对象82的像位置83R和83L。即，该附图是当从上侧观看左右摄像机时的示图，并且图示了在拍摄位于前方右侧的对象82时、从对象(位于距离摄像透镜8IR和8IL的距离cT处)发出的光束通过摄像透镜81R和81L的中心(瞳孔85R和85L)相对于左右摄像机的各个成像的点。此外，在其中所拍摄的左右图像之间的视差变为零的屏幕上平面(包括屏幕上位置84的平面)设置在距离摄像透镜81R和81L的前侧主平面的距离c'处。偏移量oR和oL表示在设置屏幕上位置84时、与屏幕上位置84对应的像位置86R和86L与光轴偏离多远。在设定屏幕上位置84的情况下，像位置86R和86L变为左侧像及右侧像的原点的位置。此外，yR和yL表示在设置屏幕上位置84时、对象82的像位置83R和83L相对于原始点(像位置86R和86L)的偏移量。z3表示从摄像透镜8IR和8IL到像位置83R和83L的距离。此外，zO表示从摄像透镜81R和81L到像位置86R和86L的距离。图17A和17B是通过相对于各个左右摄像机以相似三角形来绘制这些距离关系而得到的。根据这些关系，成像坐标(yR，yL)用公式(1-1)和公式(1-2)来表示。
权利要求1.一种立体摄像装置，包括 无焦光学系统的目标光学系统，其包括将对象形成为真实图像或虚拟图像并且布置在相同光轴上的两个或更多个透镜组； 多个摄像光学系统，其允许从所述目标光学系统的不同路径发出的多个对象光束通过多个单独的透镜组成像为单独的图像；以及 多个摄像元件，其与所述多个摄像光学系统对应地设置，并且将通过所述多个摄像光学系统成像的图像转换为图像信号。
2.根据权利要求1所述的立体摄像装置， 其中在所述目标光学系统由两个透镜组等效地构成的情况下，使得所述目标光学系统的透镜组当中的位于所述摄像光学系统侧的透镜组、与所述摄像光学系统的各个透镜组具有彼此相同的焦平面，并且改变所述目标光学系统的对象侧透镜组与所述摄像光学系统侧透镜组之间的在光轴上的距离。
3.根据权利要求1所述的立体摄像装置， 其中在所述目标光学系统由两个透镜组等效地构成的情况下，第一透镜组和第二透镜组具有彼此相同的焦平面。
4.根据权利要求3所述的立体摄像装置， 其中在所述第一透镜组和所述第二透镜组具有彼此相同的焦平面的状态下，所述目标光学系统的透镜组当中的位于所述摄像光学系统侧的所述第二透镜组、与所述摄像光学系统的各个光学系统具有彼此相同的焦平面。
5.根据权利要求2所述的立体摄像装置， 其中当假设所述目标光学系统的第一透镜组和第二透镜组的各个是一个透镜时，所述第一透镜组和所述第二透镜组的组合包括凸透镜和凸透镜的组合、凸透镜和凹透镜的组合以及凹透镜和凸透镜的组合。
6.根据权利要求1所述的立体摄像装置， 其中所述目标光学系统被配置为相对于所述立体摄像装置是可拆卸的。
专利摘要本公开提供了一种立体摄像装置以及立体摄像方法，该立体摄像装置包括无焦光学系统的目标光学系统，其包括将对象形成为真实图像或虚拟图像并且布置在相同光轴上的两个或更多个透镜组；多个摄像光学系统，其允许从所述目标光学系统的不同路径发出的多个对象光束通过多个单独的透镜组成像为单独的图像；以及多个摄像元件，其与多个摄像光学系统对应地设置，并且将通过多个摄像光学系统成像的图像转换为图像信号。
文档编号G02B27/22GK202904216SQ20122012071
公开日2013年4月24日 申请日期2012年3月26日 优先权日2011年3月31日
发明者永野秀敏 申请人:索尼公司