立体全景图像合成装置、多眼成像装置和立体全景图像合成方法

专利名称：立体全景图像合成装置、多眼成像装置和立体全景图像合成方法
技术领域：
本发明涉及立体全景图像合成装置、多眼成像装置和立体全景图像合成方法，特别涉及基于通过摇动多眼成像装置而拍摄的多个立体图像来合成立体全景图像的技术。
背景技术：
传统上，已知这样的全景图像合成方法，其使 用固定到三脚架等上并旋转的摄影机成像一系列图像，组合根据这些连续捕获图像而被切割为狭缝形状的狭缝图像，并合成全景图像(PTL1)。该PTLl中描述的发明具有这样的特征，通过基于两个连续图像之间的光学流大小确定狭缝图像的宽度，切割出狭缝图像并对其进行合成，即使在摄影机的各速度不恒定的情况下，也能够可靠地再现全景图像。PTL2也描述了一种能够合成三维空间全景的范围成像系统。{引用列表}{专利文献}{PTL1}日本专利申请公开No. 11-164325{PTL2}日本专利申请公开 No. 2002-366948

发明内容
{技术问题}尽管PTLl的摘要描述了组合根据捕获的连续图像而被切割为狭缝形状的狭缝图像并且生成针对左右视点的全景图像，但是，PTLl的说明书不包含生成针对左右视点的全景图像的相关描述。 在PTL2描述的发明中，已调制的电磁辐射束照射到场景，其反射束(至少以三个图像形成的图像束)被作为激光雷达的摄像机捕获。这不同于普通摄像机，普通摄像机不发射已调制的电磁辐射束。本发明的目的是提供一种能够根据通过摇动(panning)多眼成像装置而拍摄到的多个图像来合成立体全景图像的立体全景图像合成装置、多眼成像装置和立体全景图像合成方法。{解决问题的方案}为了实现上述目的，本发明的第一方面提供一种立体全景图像合成装置，包括图像获取单元，其配置成获取包含由多眼成像装置拍摄的左图像和右图像的多个立体图像，左图像和右图像是通过摇动多眼成像装置而在每个成像方向上拍摄的；存储单元，其配置成从获取的多个立体图像分离左图像和右图像，并将左图像和右图像分开存储；投影变换单元，其配置成将存储的多个左图像和右图像分别投影变换到同一投影面上；对应点检测单元，其配置成检测经过投影变换的多个左图像之间的重叠区域中的对应点以及检测经过投影变换的多个右图像之间的重叠区域中的对应点；主对象检测单元，其配置成从由图像获取单元获取的多个立体图像中检测主对象；基准图像设置单元，其配置成在多个立体图像当中设置第一基准立体图像，并且将主对象检测单元在其中已检测到主对象的立体图像设置为第一基准立体图像；图像变形单元，其配置成以设置的第一基准立体图像中经过投影变换的左图像和右图像为基准，对相邻左图像进行几何变形以使得对应点检测单元检测到的基准左图像和与其相邻的相邻左图像之间的对应点相匹配，以及对相邻右图像进行几何变形以使得对应点检测单元检测到的基准右图像和与其相邻的相邻右图像之间的对应点相匹配，其中，当存在与经过几何变形的左图像和右图像相邻的经过投影变换的左图像和右图像时，将包含经过几何变形的左图像和右图像的立体图像设置为下一基准立体图像，并且如上所述对经过投影变换的左图像和右图像进行几何变形；以及全景合成单元，其配置成根据第一基准立体图像的左图像和经过几何变形的左图像来合成左全景图像，并且根据第一基准立体图像的右图像和经过几何变形的右图像来合成右全景图像。根据第一方面的立体全景图像合成装置获取通过摇动多眼成像装置而拍摄的多个立体图像，从所获取的多个立体图像分离左图像和右图像并且将左图像和右图像分开存 储。随后，根据第一方面的立体全景图像合成装置分别根据所存储的多个左图像和右图像生成左全景图像和右全景图像。根据第一方面的立体全景图像合成装置将所存储的多个左图像和右图像投影变换到同一投影面以很好地合成上述全景图像，检测经过投影变换的多个左图像之间的重叠区域中的对应点以及经过投影变换的多个右图像之间的重叠区域中的对应点，并且进行几何变形以使得相邻图像之间的对应点相匹配。此时，将多个立体图像当中已被检测到主对象的立体图像设置为第一基准立体图像，以及以所设置的第一基准立体图像的左图像和右图像为基准，对基准图像的相邻图像进行几何变形。即，不对基准立体图像的左图像和右图像进行几何变形，而对其相邻图像进行几何变形以使其与基准图像的对应点匹配。当存在与经过几何变形的图像相邻的图像时，使用经过几何变形的图像作为下一基准图像，并且对其相邻图像进行几何变形以使得该相邻图像的对应点与该基准图像的对应点匹配。由于如上所述以基准立体图像为基准来进行几何变形，因此能够很好地合成全景图像，并且能够防止右全景图像和左全景图像中相同距离处的对象的立体效果由于成像方向而改变。本发明的第二方面被配置为使得在根据第一方面的立体全景图像合成装置中，在主对象检测单元没有检测到主对象的情况下，基准图像设置单元将多个立体图像中按成像顺序最靠近中央的立体图像设置为第一基准立体图像。根据第二方面，能够减小对应于全景图像两端位置的图像的累积几何变形误差。本发明的第三方面被配置为使得根据第一或第二方面的立体全景图像合成装置还包括代表视差量获取单元，其配置成获取左全景图像和右全景图像的代表视差量；以及裁剪单元，其配置成从全景合成单元所合成的左全景图像和右全景图像中的每一个中裁剪具有相互重叠的有效像素的区域中的图像，其中裁剪单元确定并裁剪所合成的左全景图像和所合成的右全景图像的裁剪区域以使得代表视差量获取单元所获取的代表视差量为预设视差量。通过该方式，能够获得视差量被调整了的立体全景图像。根据本发明的第四方面的立体全景图像合成装置，在第一或第二方面中还包括裁剪单元，其配置成从全景合成单元所合成的左全景图像和右全景图像中的每一个中裁剪具有相互重叠的有效像素的区域中的图像。本发明的第五方面被配置为使得，在根据第一至第四方面中的任一方面的立体全景图像合成装置中，在合成左全景图像和右全景图像时，相邻图像之间的重叠区域中的图像被全景合成单元进行加权平均并合成。通过该方式，能够平滑地合成全景图像的连接点。根据本发明的第六方面的立体全景图像合成装置，在第三方面中还包括记录单元，其配置成将全景合成单元所生成的左全景图像和右全景图像彼此关联地记录到记录介质中。本发明的第七方面被配置为使得根据第六方面的立体全景图像合成装置还包括·代表视差量获取单元，其配置成获取左全景图像和右全景图像的代表视差量，其中记录单元将代表视差量获取单元所获取的代表视差量与左全景图像和右全景图像关联地记录到记录介质中。根据本发明的第八方面的立体全景图像合成装置，在第七方面中还包括输出单元，其配置成输出在记录介质中关联地记录的左全景图像和右全景图像，其中输出单元基于与左全景图像和右全景图像关联记录的代表视差量来相对地移位左全景图像和右全景图像的像素以使得代表视差量与预设视差量匹配，并且输出单元输出左全景图像和右全景图像。本发明的第九方面被配置为使得，在根据第三、第七或第八方面的立体全景图像合成装置中，代表视差量获取单元基于基准图像设置单元所设置的基准立体图像来获取代
表视差量。本发明的第十方面被配置为使得，在根据第三、第七或第八方面的立体全景图像合成装置中，代表视差量获取单元包括对应点检测单元，其配置成检测左全景图像和右全景图像的每个像素的对应点；视差量计算单元，其配置成计算检测到的对应点之间的视差量；直方图创建单元，其配置成创建逐像素计算的视差量的直方图；以及代表视差量确定单元，其配置成基于所创建的直方图来确定代表视差量。作为代表视差量的确定方法，存在这样一种方法，其中将直方图中的频率在最近侧达到峰值的视差量确定为代表视差量。这是因为认为该视差量的对象距离范围内具有主对象。也可以使用均值或中间值作为视差量频率分布的代表值(代表视差量)。本发明的第十一方面提供一种多眼成像装置，包括用作图像获取单元的多个成像单元；以及根据第一至第十方面中的任一方面的立体全景图像合成装置。根据本发明的第十二方面的多眼成像装置，在第i^一方面中还包括模式设置单元，其配置成设置立体全景成像模式；以及控制单元，其配置成在选择了立体全景成像模式将在每个成像方向上拍摄的立体图像的焦点位置、曝光条件和白平衡增益固定为拍摄第一图像时的值。通过该方式，能够固定用于全景图像合成的每个图像的焦点位置、曝光条件和白平衡增益。本发明的第十三方面提供一种立体全景图像合成方法，包括获取步骤，其获取包含由多眼成像装置拍摄的左图像和右图像的多个立体图像，左图像和右图像是通过摇动多眼成像装置而在每个成像方向上拍摄的；分离步骤，其从所获取的多个立体图像分离左图像和右图像，并且将左图像和右图像分开存储；投影变换步骤，其将所存储的多个左图像和右图像分别投影变换到同一投影面上；对应点检测步骤，其检测经过投影变换的多个左图像之间的重叠区域中的对应点以及检测经过投影变换的多个右图像之间的重叠区域中的对应点；主对象检测步骤，其从图像获取 单元所获取的多个立体图像中检测主对象；基准立体图像设置步骤，其设置多个立体图像中的第一基准立体图像，并且将检测到主对象的立体图像设置为第一基准立体图像；几何变形步骤，其以所设置的第一基准立体图像中的经过投影变换的左图像和右图像为基准，对相邻左图像进行几何变形以使得在对应点检测步骤中检测到的基准左图像和与其相邻的相邻左图像之间的对应点相匹配，以及对相邻右图像进行几何变形以使得在对应点检测步骤中检测到的基准右图像和与其相邻的相邻右图像之间的对应点相匹配，其中，当存在与经过几何变形的左图像和右图像相邻的经过投影变换的左图像和右图像时，将包含经过几何变形的左图像和右图像的立体图像设置为下一基准立体图像，以及如上所述对经过投影变换的左图像和右图像进行几何变形；以及全景合成步骤，其根据第一基准立体图像的左图像和经过几何变形的左图像来合成左全景图像，以及根据第一基准立体图像的右图像和经过几何变形的右图像来合成右全景图像。{本发明的有益效果}根据本发明，能够根据通过摇动多眼成像装置而拍摄的多个图像来合成立体全景图像，具体地，能够执行很好的全景图像合成以使得右全景图像和左全景图像中相同距离的对象的立体效果不会由于成像方向而改变。


图IA是根据本发明的立体成像装置的前透视图。图IB是根据本发明的立体成像装置的后透视图。图2是示出图I中的多眼成像装置的内部配置的框图。图3A是示出用于3D全景合成的3D图像的成像方法的示图。图3B是示出用于3D全景合成的3D图像的成像方法的示图。图4是用于说明用于3D全景合成的3D图像成像时的观察角度调节的示图。图5是示出3D全景图像合成的第一实施例的流程图。图6A是示出图5中的合成处理在每个处理步骤中的概况的示图。图6B是示出图5中的合成处理在每个处理步骤中的概况的示图。图6C是示出图5中的合成处理在每个处理步骤中的概况的示图。图6D是示出图5中的合成处理在每个处理步骤中的概况的示图。图6E是示出图5中的合成处理在每个处理步骤中的概况的示图。图6F是示出图5中的合成处理在每个处理步骤中的概况的示图。图6G是示出图5中的合成处理在每个处理步骤中的概况的示图。图6H是示出图5中的合成处理在每个处理步骤中的概况的示图。图61是示出图5中的合成处理在每个处理步骤中的概况的示图。图7是示出3D全景图像合成的第二实施例的流程图。图8A是示出图7中的合成处理在每个处理步骤中的概况的示图。
图8B是示出图7中的合成处理在每个处理步骤中的概况的示图。图8C是示出图7中的合成处理在每个处理步骤中的概况的示图。图8D是示出图7中的合成处理在每个处理步骤中的概况的示图。图8E是示出图7中的合成处理在每个处理步骤中的概况的示图。图8F是示出图7中的合成处理在每个处理步骤中的概况的示图。图8G是示出图7中的合成处理在每个处理步骤中的概况的示图。图8H是示出图7中的合成处理在每个处理步骤中的概况的示图。图81是示出图7中的合成处理在每个处理步骤中的概况的示图。 图8J是示出图7中的合成处理在每个处理步骤中的概况的示图。图9是示出视差量的频率分布示例的直方图。
具体实施例方式以下参照附图来说明根据本发明的立体全景图像合成装置、多眼成像装置和立体全景图像合成方法的实施例。[多眼成像装置外观]图I是根据本发明的多眼成像装置的外观图，图IA是从多眼成像装置I的前对角顶部看到的透视图，图IB是从多眼成像装置I的后方看到的透视图。如图IA所示，多眼成像装置I具有左成像单元L和右成像单元R。下文中，将这些成像单元分类描述为第一成像单元L和第二成像单元R。第一成像单元L和第二成像单元R相邻布置，以使其能够获取用于立体观察的图像信号。通过这些成像单元L和R，生成左图像信号和右图像信号。操作图IA和图IB中多眼成像装置I的上表面上的电源开关10A，当成像模式拨盘IOB被设置为例如所谓的立体模式并且快门按钮IOC被操作时，在成像单元L和R 二者中生成用于立体观察的图像数据。设置在根据该实施例的多眼成像装置I中的快门按钮IOC具有半按和全按两种操作。在多眼成像装置I中，当快门旋钮IOC被半按时，执行曝光调节和聚焦调节，当快门按钮IOC被全按时，进行成像。在成像单元L上方设置闪光发射窗口 WD，当视野亮度暗时，其向对象发射闪光。并且，如图IB所示，在多眼成像装置I的背面设置能够进行三维显示的液晶监视器DISP，该液晶监视器DISP显示通过成像单元L和R 二者捕获的同一对象的立体图像。可以将使用双凸透镜或视差屏障的液晶监视器以及能够通过佩戴诸如偏光眼镜和液晶快门眼镜之类的专用眼镜分别观看右图像和左图像的液晶监视器用作液晶监视器DISP。此外，布置诸如变焦开关10D、菜单/OK按钮IOE和箭头键IOF之类的操作部分。下文中，可以将电源开关10A、模式拨盘10B、快门按钮10C、变焦开关10D、菜单/OK按钮IOE和箭头键IOF统称为操作单元10。[多眼成像装置I的内部配置]图2是示出图I中的多眼成像装置I的内部配置的框图。参照图2，对多眼成像装置I的内部配置进行说明。多眼成像装置I的操作整体由主CPU (中央处理单元)100控制。ROM (只读存储器)101经由总线Bus连接至主CPU100，并且存储操作多眼成像装置I所需的程序。根据该程序步骤，主CPUlOO基于来自操作单元10的指令来整体控制多眼成像装置I的操作。操作单元10的模式拨盘IOB是用于选择自动成像模式、手动成像模式、场景位置(比如人物、风景和夜景)、捕获运动图像的运动图像模式、或根据本发明的立体(3D)全景成像模式的选择操作的操作部件。操作单元10的回放按钮(未示出)是将模式切换为回放模式以在液晶监视器DISP上显示所成像和记录的静态图像或运动图像的按钮。菜单/OK按钮IOE是具有如下功能的操作键，其用作菜单按钮来给出在液晶监视器DISP的屏幕上显示菜单的指令，以及用作OK按钮来给出确定和执行选择内容的指令。箭头键IOF是输入左、右、上和下四个方向指令的操作单元，其用作从菜单屏幕选择项目或指示从每个菜单选择各种设置项目的按钮(用于光标移动操作的操作部件)。箭头键IOF的上下键用作成像时的变焦开关或回放模式下的回放变焦开关，向左和向右键用作回放模式下的帧前进(前向/后向前进)按钮。首先，当图I所示的操作单元10中的电源开关IOA被操作时，主CPU100控制电源控制单元1001来从电池Bt经由电源控制单元1001向多眼成像装置I的每个单元供电，并将多眼成像装置I转换至操作状态。从而，主CPU100开始成像处理。可以由诸如DSP (数·字信号处理器)之类的处理器来配置AF检测单元120、AE/AWB检测单元130、成像输入控制器114A、数字信号处理单元116A和3D图像生成单元117，并且假设主CPU100与DSP协作执行处理。这里，参照图2来说明图I中上述第一成像单元L和第二成像单元R的内部配置。将术语“第一”附于第一成像单元L的每个配置部件以及将术语“第二”附于第二成像单元R的每个配置部件来进行说明。第一成像单元L设置有第一成像光学系统110A，其包括第一聚焦透镜FLA ;第一聚焦透镜驱动单元(下文中称其为第一 F透镜驱动单元)104A，其在光轴方向上移动第一聚焦透镜FLA ;以及第一成像元件111A，其接收通过在第一成像光学系统中形成对象而获取的对象光，并且生成表示对象的图像信号。此外，第一成像光学系统IlOA设置有第一光圈IA和改变第一光圈IA的开口大小的第一光圈驱动单元105A。第一成像光学系统100A是变焦透镜，其设置有Z透镜驱动单元103A，用来将变焦透镜控制为预定焦距。使用一个透镜ZL，图2简要示出为整个成像光学系统为变焦透镜。类似于上述第一成像单元L，第二成像单元R设置有成像光学系统，其包括第二聚焦透镜FLB ;第二聚焦透镜驱动单元(下文中称其为第二 F透镜驱动单元)104B，其在光轴方向上移动第二聚焦透镜FLB;以及第二成像元件111B，其接收通过在第二成像光学系统中形成对象而获取的对象光，并且生成表示对象的图像信号。在这些第一成像单元L和第二成像单元R中，在第一成像单元L中生成左图像信号以及在第二成像单元R中生成右图像信号，以作为用于立体观察的图像信号。除了第一成像单元L生成左图像信号而第二成像单元R生成右图像信号之外，第一成像单元L和第二成像单元R具有相同配置，并且第一成像单元L和第二成像单元R在两个成像单元的图像信号在第一 A/D转换单元113A和第二 A/D转换单元113B中被转换为数字信号并且被发送到总线Bus之后具有共同的信号处理。因此，以下沿第一成像单元L中的图像信号流来对配置进行说明。
首先，对将第一成像单元L捕获的对象显示在液晶监视器DISP上作为直通图像的操作进行说明。当操作单元10中的电源开关IOA被操作时，主CPU100控制电源控制单元1001来从电池Bt向每个单元供电，并且将多眼成像装置I转换为操作状态。首先，主CPU100控制F透镜驱动单元104A和光圈驱动单元105A来开始曝光和聚焦调节。此外，指示定时脉冲发生器(TG) 106A以使成像元件IllA通过电子快门来设置曝光时间，以使得图像信号例如每1/60秒从成像元件IllA输出到模拟信号处理单元112A —次。模拟信号处理单元112A接收TG106A提供的定时信号，每1/60秒接收一次成像元件IllA提供的图像信号，并且执行减噪处理等。经过减噪处理的模拟图像信号被提供给下 一级的A/D转换单元113A。与来自TG106A的定时信号同步，A/D转换单元113A每1/60秒执行一次将模拟图像信号转换为数字信号的处理。以此方式在A/D转换单元113A中转换并输出的数字图像每1/60秒通过图像输入控制器114A发送到总线Bus —次。发送到总线Bus的图像信号被存储在SDRAM (同步动态随机存取存储器)115中。由于图像信号每1/60秒从成像元件IllA输出一次，因此SDRAM115的内容每1/60秒被重写一次。存储在SDRAM115中的图像信号每1/60秒被AF检测单元120、AE/AWB检测单元130以及形成数字信号处理单元116A的DSP读取一次。在AF检测单元120中，在主CPU100控制F透镜驱动单元104A移动聚焦透镜FLA的同时，聚焦区域中图像信号的高频成分每1/60秒被提取并被积分一次，以计算表示图像对比度的AF评估值。主CPU100获取AF检测单元120计算出的AF评估值，并通过F透镜驱动单元104A将第一聚焦透镜FLA移动到AF评估值为最大时的透镜位置(聚焦位置)。因此，无论第一成像单元L面向哪个方向，焦距都能很快地被调节，并且液晶监视器DISP几乎总显示焦点对准的对象。AE/AWB检测单元130每1/60秒检测一次对象亮度，并在数字信号处理单元116A中计算设置给白平衡放大器的增益。主CPU100基于AE/AWB检测单元130中的亮度检测结果来控制光圈驱动单元105A并且改变光圈IA的开口大小。数字信号处理单元116A根据来自AE/AWB检测单元130的检测结果来设置白平衡放大器的增益。在数字信号处理单元116A中，执行使图像信号适于显示的处理，在数字信号处理单元116A中通过信号处理转换为适于显示的图像信号被提供给3D图像生成单元117，在3D图像生成单元117中生成用于显示的右图像信号，并且将所生成的右图像信号存储在VRAM (视频随机存取存储器)118中。同样，第二成像单元也执行上述相同操作。因此，VRAM118存储右图像信号和左图像信号两种图像信号。主CPU100将VRAMl 18中的右图像信号和左图像信号传送给显示控制单元119，以在液晶监视器DISP上显示这些图像。当右图像信号和左图像信号显示在图I中的液晶监视器DISP上时，液晶监视器DISP上的图像作为立体图像呈现给人眼。第一和第二成像元件11IA和IllB每1/60秒输出一次图像信号并且连续输出，从而VRAMl 18中的图像信号每1/60秒被重写一次，液晶监视器DISP上的立体图像每1/60秒被切换一次，从而立体图像被显示为运动图像。
这里，当关于液晶监视器DISP上的对象半按操作单元10中的快门按钮IOC时，主CPU100接收紧接快门按钮IOC被全按下之前在AE/AWB检测单元130中检测到的AE值，以便通过第一和第二光圈驱动单元105A和105B将第一和第二光圈IA和IB调节为基于AE值的光圈大小；通过第一 F透镜驱动单元104A和第二 F透镜驱动单元104B在预定搜索范围内移动第一聚焦透镜FLA和第二聚焦透镜FLB ；以及通过AF检测单元120计算AF评估值。
基于AF检测单元120计算出的AF评估值，主CPU100检测AF评估值为最大时第一聚焦透镜FLA和第二聚焦透镜FLB的透镜位置，并且分别将第一聚焦透镜FLA和第二聚焦透镜FLB移动到第一透镜位置和第二透镜位置。随后，当快门按钮IOC被全按下时，主CPU100使第一成像元件IllA和第二成像元件IllB基于第一和第二 TG106A和106B预定的快门速度曝光，以成像静态图像。当电子快门关闭时，主CPU100使图像信号从第一和第二成像元件11IA和11IB输出到第一和第二模拟信号处理单元112A和112B,并且使第一和第二模拟信号处理单元112A和112B执行减噪处理。之后，使第一和第二 A/D转换单元113A和113B将模拟图像信号转换为数字图像信号。这里，根据主CPU100的指令，第一和第二图像输入控制器114A经由总线Bus将第一和第二 A/D转换单元113A和113B转换了的数字图像信号暂时存储在SDRAM115中。之后，数字信号处理单元116A和116B读取SDRAMl 15中的图像信号，执行图像处理，并将图像信号馈送至3D图像生成单元117，其中图像处理包括白平衡校正、伽马校正、同步处理(颜色插值处理)、轮廓校正、以及亮度/色差信号(YC信号)的生成，同步处理用于基于单板CXD(电荷耦合器件)的滤色器阵列来校正诸如R (红色)、G (绿色)和B (蓝色)之类的颜色信号的空间间隙以匹配每个颜色信号的位置。随后，主CPU100使用总线Bus将3D图像生成单元117中的右图像信号和左图像信号提供给压缩/解压处理单元150。图像数据在压缩/解压处理单元150中被压缩之后，主CPU100在将与压缩或成像相关的头信息提供给媒体控制单元160的同时，使用总线Bus将压缩了的图像数据提供给媒体控制单元，使媒体控制单元160生成预定格式的图像文件(例如，在3D静止图像的情况下为MP (多图像)格式的图像文件)，并且将图像文件记录在存储卡161中。当通过操作单元10的模式拨盘IOB而选择了 3D全景成像模式时，主CPU100执行处理以成像3D全景图像合成所需的多个立体图像。3D图像生成单元117用作图像处理单元来根据3D全景成像模式下所拍摄的多个3D图像(多个左图像和右图像)生成3D全景图像。稍后描述3D全景成像模式下多眼成像装置I的操作细节。图2示出了闪光控制单元180、响应于来自闪光控制单元180的指令而从图I中的闪光发射窗口 W)发出闪光的闪光灯181、以及感测当前时间的时钟单元W。〈用于3D全景合成的3D图像的获取>在拍摄用于3D全景合成的3D图像的情况下，通过操作单元10的模式拨盘IOB来选择3D全景成像模式。之后，如图3 (图3A)中所示通过多眼成像装置I来拍摄第一 3D图像。在设置为3D全景成像模式的情况下，主(XD100执行控制以使得用于第一 3D图像的焦点位置、曝光条件和白平衡增益固定，直到拍摄完预定数量的随后3D图像为止。当完成拍摄第一 3D图像时，摄像师通过摇动多眼成像装置I来改变成像方向，并且拍摄第二 3D图像(图3B)。此时，摄像师调节多眼成像装置I的成像方向以使得第一 3D图像和第二 3D图像如图4所示彼此部分重叠，并且拍摄图像。在3D全景成像模式下，优选地，主(XD100使液晶监视器DISP显示事先拍摄的3D图像的部分，以帮助调节下一次成像时的成像方向。SP，摄像师可以在查看事先拍摄的并显示在液晶监视器DISP上的3D图像的部分和直通图像的同时确定成像方向。如上所述，当已完成拍摄预设数量或默认数量的3D图像时，主(XD100判定用于3D全景合成的3D图像已拍摄完毕，并且流程前进到随后的3D全景图像合成处理。 [第一实施例]接下来，对3D全景图像合成的第一实施例进行说明。图5是示出3D全景图像合成的第一实施例的流程图，图6A至图61是示出合成处理在每个处理步骤中的概况的示图。在图5中，当如上所述通过在3D全景成像模式下成像而获得了多个立体图像(3D图像)(步骤S10)时，将这些3D图像分类为左图像和右图像，并首先将其保存在SDRAM115中(步骤S12)。图6示出了所拍摄的3D图像的总数为三的情况，三个左图像L1、L2和L3以及三个右图像Rl、R2和R3均暂时保存在SDRAMl 15中(图6A)。对于先保存在SDRAM115中的三个左图像LI、L2和L3以及三个右图像Rl、R2和R3，3D图像生成单元117将这些图像投影变换到同一投影面(例如柱面)上，并且将经过投影变换的三个左图像L1、L2和L3以及三个右图像R1、R2和R3再次保存在SDRAMl 15中(步骤S14，图6B)。通过投影变换，能够对三个左图像LI、L2和L3以及三个右图像Rl、R2和R3执行全景合成。接下来，在经过投影变换的三个左图像LI、L2和L3中的相邻图像间的重叠区域中检测对应点，以及类似地，在三个右图像Rl、R2和R3中的相邻图像间的重叠区域中检测对应点(步骤S16，图6C)。这里，对应点检测方法的示例包括使用哈里斯(Harris)方法等提取特征点并且使用KLT (Kanade Lucas Tomasi)方法等跟踪特征点的方法。在检测不到对应点或者检测到的对应点的数量等于或小于稍后将描述的指定几何变形参数所需的数量的情况下，判定不能进行合成，并且停止合成处理。随后，从三个3D图像中检测出拍摄了主对象的3D图像，并且将拍摄了主对象的3D图像设置为基准3D图像(左图像和右图像)(步骤S18，图6D)。S卩，检测主对象(例如，脸)，并且将脸的数量最大的3D图像或者脸的大小最大的3D图像设置为基准3D图像。这里，在检测不到主对象的情况下，将最靠近多个3D图像的中央的图像设置为基准3D图像。例如，在拍摄的3D图像的总数为n的情况下，将第n/2(n为偶数)或第(n+l)/2个3D图像设置为基准3D图像。在图6A至图61所示的示例中，由于所拍摄的3D图像的总数为三，因此在从每个3D图像中都检测不到主对象的情况下，将成像顺序中的第二个3D图像(左图像L2和右图像R2)设置为基准3D图像(图6D)。接下来，参照步骤S18中设置的基准左图像和基准右图像(在图6A至图61的示例中为左图像L2和右图像R2)，基于在步骤S16中检测到的对应点对相邻左图像LI和L3以及相邻右图像Rl和R3进行仿射变换(步骤S20)。S卩，基于从基准左图像L2和左图像LI之间的重叠区域检测到的对应点，对左图像LI进行仿射变换以使得左图像LI的对应点与左图像L2的对应点匹配，以及基于从基准左图像L2和左图像L3之间的重叠区域检测到的对应点，对左图像L3进行仿射变换以使得左图像L3的对应点与左图像L2的对应点匹配(图6E)。类似地，基于从基准右图像R2和右图像Rl之间的重叠区域检测到的对应点，对右图像Rl进行仿射变换以使得右图像Rl的对应点与右图像R2的对应点匹配，以及基于从基准右图像R2和右图像R3之间的重叠区域检测到的对应点，对右图像R3进行仿射变换以使得右图像R3的对应点与右图像R2的对应点匹配(图6F)。通过上述仿射变换，执行图像的平行移位、旋转和缩放。并且，在图6A至图61所示的示例中，所拍摄的图像总数为三。但是，例如，在所拍摄的图像总数为四并且对第四左图像L4进行仿射变换的情况下，参照经过仿射变换的左 图像L3，基于从左图像L3和左图像L4之间的重叠区域检测到的对应点，对左图像L4进行仿射变换以使得左图像L4的对应点与经过仿射变换的左图像L3的对应点匹配。当对右图像Rl和R3进行仿射变换时，优选地，通过考虑关于已经过仿射变换的左图像LI和L3的视差量来执行仿射变换。即，在用于3D全景合成的原始3D图像中找到左图像LI和L3之间的视差量为0且右图像Rl和R3之间的视差量为0的特征点。随后，对左图像LI和L3进行仿射变换以使得经过仿射变换的左图像LI和L3的特征点(视差量为0的特征点)与右图像Rl和R3的对应特征点(视差量为0的特征点)匹配。如上所述，尽管根据基准左图像L2以及经过仿射变换的左图像LI和L2来合成左全景图像，但是，在合成之前，对相邻图像之间的重叠区域的图像进行加权平均和合成(步骤S22)。S卩，如图6E所示，当合成左图像LI和左图像L2时，将左图像LI的像素值的加权系数设置为au以及将左图像LI的像素值的加权系数设置为，使用加权系数Ciu和
对这些图像之间的重叠区域的图像进行加权平均。类似地，在根据基准右图像R2以及经过仿射变换的右图像Rl和R2合成右全景图像的情况下，也对相邻图像之间的重叠区域的图像进行加权平均和合成。接下来，确定裁剪区域以使其满足如下区域的AND条件，该区域包含如上所述而合成的左全景图像和右全景图像的有效像素，并且切出(裁剪)所确定的裁剪区域的图像(步骤S24，图6G)。并且在所确定的裁剪区域的大小等于或小于特定大小的情况下，判定成像失败，并且停止合成处理。如上所述裁剪的左全景图像和右全景图像被彼此关联以作为3D全景图像，并且被记录在记录介质(存储卡161)中(步骤S26)。例如，如图6H所不，左全景图像和右全景图像以并排格式(左全景图像和右全景图像相邻布置并存储的格式)存储在图像文件中，并且在图像文件的头部区域中，写入在步骤S18中设置的基准3D图像的代表视差量(例如，主对象的视差量)。如上所述创建的图像文件被记录在存储卡161中。如上所述创建的3D全景图像可以显示在外部3D显示器200上，如图61所示。多眼成像装置I还包括输出装置(诸如通信接口)，以将3D图像或上述3D全景图像显示在外部3D显示器上。显示3D全景图像时，在图像文件的头部区域记录n个像素作为代表视差量的情况下，通过将R全景图像的头地址关于左全景图像移位n个像素，能够显示经过视差调节而使代表视差量(主对象的视差量)变为O的3D全景图像。在执行滚动回放的情况下，进行部分地切出和放大。通过移动切出位置，能够滚动3D全景图像。[第二实施例]接下来，对3D全景图像合成的第二实施例进行说明。图7是示出3D全景图像合成的第二实施例的流程图，图8A至图8J是示出合成处理在每个处理步骤中的概况的示图。这里，用相同的步骤编号表示与图5所示第一实施例I相同的部分，并且省略其具体说明。相对于图6A至图61，除了添加了图8G之外，图8A至图8J类似于图6A至图61。 在添加的步骤S30和S32中的处理的方面，图7所示的第二实施例不同于第一实施例。在步骤S30中，在经过全景合成的左全景图像和右全景图像的整个图像中检测每个像素的对应点，以及计算检测到的对应点之间的视差量(图SG)。随后，创建逐像素计算的视差量的直方图，并且基于所创建的直方图来确定代表视差量(步骤S32)。图9示出了基于像素的视差量的直方图示例。在图9所示的直方图中，存在两个频率峰值。将最远端的视差量峰值看作背景视差量，以及将最近端的峰值看作主对象的视差量。因此，作为基于直方图确定代表视差量的方法，可以使用最近端峰值的视差量作为代表视差量。基于直方图确定代表视差量的方法不限于上述方法，例如，可以使用均值或中间值。随后的处理以与第一实施例相同的方式执行。这里，在步骤S26中，在记录于记录介质(存储卡161)中的图像文件的头部区域中，写入在步骤S32中确定的代表视差量。[其他]根据本发明的多眼成像装置包含3D全景图像合成功能，以拍摄和获取用于3D全景合成的多个3D图像，并且根据所获取的多个3D图像来合成3D全景图像。根据本发明的3D全景图像合成装置可以配置有没有成像功能的诸如个人计算机之类的外部装置。该情况下，通过一般多眼成像装置拍摄的用于3D全景合成的多个3D图像输入3D全景图像合成装置，并且合成3D全景图像。并且，在上述实施例中，尽管将3D全景图像的代表视差量记录在图像文件的头部区域中，但是本发明不限于此。在从经过全景合成的左全景图像和右全景图像中确定和裁剪裁剪区域时，可以确定和裁剪裁剪区域以使得代表视差量为预定视差量(例如，视差量为O)。并且，本发明还可以被提供为使个人计算机等执行上述3D全景图像合成处理的计算机可读程序和存储该程序的记录介质。此外，本发明不限于上述实施例，可以在不脱离本发明的思想的情况下进行各种改变。{参考符号列表}I多眼成像装置10操作单元
100 主 CPU101R0M102 闪存 ROMIlOA第一成像光学系统IlOB第二成像光学系统IllA第一成像元件IllB第二成像元件115SDRAM 1173D图像生成单元119显示控制单元160媒体控制单元161存储卡L第一成像单元R第二成像单元DISP液晶监视器
权利要求
1.一种立体全景图像合成装置，包括 图像获取单元，其配置成获取包含由多眼成像装置拍摄的左图像和右图像的多个立体图像，左图像和右图像是通过摇动所述多眼成像装置而在每个成像方向上拍摄的； 存储单元，其配置成从获取的所述多个立体图像分离左图像和右图像，并将左图像和右图像分开存储； 投影变换单元，其配置成将存储的多个左图像和右图像分别投影变换到同一投影面上； 对应点检测单元，其配置成检测经过投影变换的多个左图像之间的重叠区域中的对应点，并且检测经过投影变换的多个右图像之间的重叠区域中的对应点； 主对象检测单元，其配置成从所述图像获取单元获取的所述多个立体图像中检测主对象； 基准图像设置单元，其配置成在所述多个立体图像当中设置第一基准立体图像，并且将所述主对象检测单元已在其中检测到主对象的立体图像设置为所述第一基准立体图像； 图像变形单元，其配置成以设置的所述第一基准立体图像中经过投影变换的左图像和右图像为基准，对相邻左图像进行几何变形以使得所述对应点检测单元检测到的基准左图像和与其相邻的所述相邻左图像之间的对应点相匹配，并且对相邻右图像进行几何变形以使得所述对应点检测单元检测到的基准右图像和与其相邻的所述相邻右图像之间的对应点相匹配，其中，当存在与经过几何变形的左图像和右图像相邻的经过投影变换的左图像和右图像时，将包含经过几何变形的左图像和右图像的立体图像设置为下一基准立体图像，并且如上所述对经过投影变换的左图像和右图像进行几何变形；以及 全景合成单元，其配置成基于所述第一基准立体图像的左图像和经过几何变形的左图像来合成左全景图像，以及基于所述第一基准立体图像的右图像和经过几何变形的右图像来合成右全景图像。
2.根据权利要求I所述的立体全景图像合成装置， 其中，在所述主对象检测单元没有检测到主对象的情况下，所述基准图像设置单元将所述多个立体图像当中按成像顺序最靠近中央的立体图像设置为所述第一基准立体图像。
3.根据权利要求I或2所述的立体全景图像合成装置，还包括 代表视差量获取单元，其配置成获取所述左全景图像和所述右全景图像的代表视差量；以及 裁剪单元，其配置成从所述全景合成单元合成的所述左全景图像和所述右全景图像中的每一个中裁剪具有相互重叠的有效像素的区域中的图像， 其中所述裁剪单元确定并裁剪合成的左全景图像和合成的右全景图像的裁剪区域以使得所述代表视差量获取单元获取的代表视差量为预设视差量。
4.根据权利要求I或2所述的立体全景图像合成装置，还包括 裁剪单元，其配置成从所述全景合成单元合成的所述左全景图像和所述右全景图像中的每一个中裁剪具有相互重叠的有效像素的区域中的图像。
5.根据权利要求I至4中任一项所述的立体全景图像合成装置， 其中，在合成所述左全景图像和所述右全景图像时，相邻图像之间的重叠区域中的图像被所述全景合成单元进行加权平均并合成。
6.根据权利要求3所述的立体全景图像合成装置，还包括 记录单元，其配置成将所述全景合成单元生成的所述左全景图像和所述右全景图像彼此关联地记录到记录介质中。
7.根据权利要求6所述的立体全景图像合成装置，还包括 代表视差量获取单元，其配置成获取所述左全景图像和所述右全景图像的代表视差量， 其中所述记录单元将所述代表视差量获取单元获取的代表视差量与所述左全景图像和所述右全景图像关联地记录到记录介质中。
8.根据权利要求7所述的立体全景图像合成装置，还包括 输出单元，其配置成输出在所述记录介质中被关联地记录的所述左全景图像和所述右全景图像， 其中所述输出单元基于与所述左全景图像和所述右全景图像关联地记录的代表视差量来相对地移位所述左全景图像和所述右全景图像的像素，以使得所述代表视差量与预设视差量匹配，并且所述输出单元输出所述左全景图像和所述右全景图像。
9.根据权利要求3、7或8所述的立体全景图像合成装置， 其中所述代表视差量获取单元基于所述基准图像设置单元设置的基准立体图像来获取所述代表视差量。
10.根据权利要求3、7或8所述的立体全景图像合成装置， 其中所述代表视差量获取单元包括 对应点检测单元，其配置成检测所述左全景图像和所述右全景图像的每个像素的对应占. 视差量计算单元，其配置成计算检测到的对应点之间的视差量； 直方图创建单元，其配置成创建逐像素计算的视差量的直方图；以及 代表视差量确定单元，其配置成基于创建的直方图来确定代表视差量。
11.一种多眼成像装置，包括 用作图像获取单元的多个成像单元；以及 根据权利要求I至10中任一项所述的立体全景图像合成装置。
12.根据权利要求11所述的多眼成像装置，还包括 模式设置单元，其配置成设置立体全景成像模式；以及 控制单元，其配置成在选择了所述立体全景成像模式时将在每个成像方向上拍摄的立体图像的焦点位置、曝光条件和白平衡增益固定为拍摄第一图像时的值。
13.—种立体全景图像合成方法，包括 获取步骤，其获取包含由多眼成像装置拍摄的左图像和右图像的多个立体图像，左图像和右图像是通过摇动多眼成像装置而在每个成像方向上拍摄的； 分离步骤，其从获取的多个立体图像分离左图像和右图像，并且将左图像和右图像分开存储； 投影变换步骤，其将存储的多个左图像和右图像分别投影变换到同一投影面上； 对应点检测步骤，其检测经过投影变换的多个左图像之间的重叠区域中的对应点，并且检测经过投影变换的多个右图像之间的重叠区域中的对应点； 主对象检测步骤，其从图像获取单元获取的多个立体图像中检测主对象； 基准立体图像设置步骤，其在多个立体图像当中设置第一基准立体图像，并且将其中已检测到主对象的立体图像设置为第一基准立体图像； 几何变形步骤，其以设置的第一基准立体图像中的经过投影变换的左图像和右图像为基准，对相邻左图像进行几何变形以使得在所述对应点检测步骤中检测到的基准左图像和与其相邻的相邻左图像之间的对应点相匹配，并且对相邻右图像进行几何变形以使得在对应点检测步骤中检测到的基准右图像和与其相邻的相邻右图像之间的对应点相匹配，其中，当存在与经过几何变形的左图像和右图像相邻的经过投影变换的左图像和右图像时，将包含经过几何变形的左图像和右图像的立体图像设置为下一基准立体图像，以及如上所述对经过投影变换的左图像和右图像进行几何变形；以及全景合成步骤，其基于第一基准立体图像的左图像和经过几何变形的左图像来合成左全景图像，以及基于第一基准立体图像的右图像和经过几何变形的右图像来合成右全景图像。
全文摘要
公开了立体全景图像合成方法，根据本发明的一个方面该方法包括步骤将从多个立体图像获得的多个左图像和右图像分别投影变换到同一投影面上；检测左图像之间及右图像之间的重叠区域中的各对应点；从多个立体图像中检测主对象；将检测到主对象的立体图像设为第一基准立体图像；将从第一基准立体图像获得的经投影变换的左图像和右图像设为基准；为了在被设为基准的左图像和与其相邻的左图像之间检测到的对应点相匹配，对相邻左图像进行几何变形；为了在被设为基准的右图像和与其相邻的右图像之间检测到的对应点相匹配，对相邻右图像进行几何变形；以及根据第一基准立体图像的左图像和右图像以及经几何变形的左图像和右图像来合成右全景图像和左全景图像。
文档编号H04N5/225GK102972035SQ20118003297
公开日2013年3月13日 申请日期2011年5月12日 优先权日2010年6月30日
发明者大岛宗之 申请人:富士胶片株式会社