拍摄装置、方法以及程序及其使用的记录介质的制作方法

专利名称：拍摄装置、方法以及程序及其使用的记录介质的制作方法
技术领域：
本发明涉及多眼拍摄装置的抖动校正。
背景技术：
在专利文献1中，通过利用一对拍摄元件对经由数字双眼镜的一对物镜入射的光进行拍摄，从而取得产生相当于双眼视差的差异的一对图像(立体图像)，并经过各种校正而存储在存储器中，针对这一对图像，在对相当于双眼视差的像构造上的几何学差异进行识别后，进行使除了识别出的像构造上的几何学差异之外的差异(例如由于拍摄元件而分别重叠在一对图像上的随机噪声的差异)减少的噪声减少处理。并且，在显示装置上显示噪声减少处理后的图像。显示装置上显示的图像经由目镜而被用户观察(立体视觉)。在专利文献2中，公开了一种三维图像拍摄装置，其具有拍摄部，其对被拍摄体进行拍摄，利用立体图像适配器生成左眼拍摄区域以及右眼拍摄区域的图像数据；抖动校正部，其计算由抖动引起的位置校正量；变焦控制部，其进行拍摄部的变焦控制；尺寸确定部；位置确定部；切分部，其切分出用于生成适当的立体视觉的左右图像区域；放大/缩小部；结合部，其将用于根据左右图像生成立体视觉的左右图像区域结合；以及记录部。如专利文献3的记载所示，拍摄装置中的抖动校正方式存在电子式、光学式、传感器(拍摄元件)位移式。如专利文献4的记载所示，使用设置在不同位置的大于或等于2台照相机对被拍摄体进行拍摄，在由此取得的多个图像(利用基准照相机得到的基准图像以及利用参照照相机得到的参照图像)之间搜索作为对应像素的对应点(立体匹配)，对彼此对应的基准图像上的像素、和参照图像上的像素之间的位置差(视差)进行计算，通过针对视差应用三角测量原理，从而测量从基准照相机或者参照照相机至与该像素对应的被拍摄体上的点为止的距离，可以生成表示被拍摄体的立体形状的距离图像。在进行立体匹配时，由于基准图像上的影像于某个像素上的实际空间上的点存在多个，所以基于在作为实际空间上的点的影像的直线(极线)上，存在与该像素对应的参照图像上的像素'这一点，搜索与该像素对应的参照图像上的像素即对应点。在进行立体匹配时，在基准图像上设定包含作为对应点搜索对象的像素的相关窗，在参照图像上使与基准图像上设定的相关窗相同的相关窗沿极线上移动，在每个移动位置处计算针对各图像上的相关窗内的各像素的相关性，将参照图像上的位于相关性大于或等于规定阈值的相关窗的中央位置处的像素，作为像素的对应点而求出。如专利文献5的记载所示，作为不同视点图像之间的对应点检索方法，存在绝对值和法(Sum of Absolute Difference :SAD 法)、相位限定相关法(Phase-Only Correlation :P0C 法)等。如专利文献6的记载所示，对于该成对图像中的测定对象的像，只要不存在光学变形等，则即使距离及位置不同，也一定存在于成对图像中彼此对应的直线上。该直线被称为极线，是事先对光学变形等进行校正而成为直线的，在要获取相关性时取得该直线上的相关性，对利用左右照相机得到的像的位置关系进行运算。另外，如果照相机构成为使该极线在两个图像上成为彼此水平相同位置，则在图像处理方面运算量减少，因此处理效率提
日本特开2004-120600号公报日本特开2005-453 号公报日本特开2008-64863号公报日本特开2009-205193号公报日本特开2009-14445号公报日本特开2008-164338号公报
尚。
专利文献1
专利文献2
专利文献3
专利文献4
专利文献5
专利文献
发明内容
多眼照相机调整为使光轴中心沿水平方向一致，可以得到立体视觉。因此，如果利用各个照相机进行抖动校正而各个照相机中的校正量存在差异，则透镜的初始中心位置发生偏移而无法形成立体视觉。本发明使得即使利用多眼照相机的各个照相机进行抖动校正，也可以得到立体视觉。本发明提供一种拍摄装置，其具有多个拍摄部，其从不同的视点对被拍摄体像进行拍摄；抖动检测部，其对拍摄部各自的抖动进行检测；以及抖动校正部，其基于抖动检测部检测出的各拍摄部的抖动，对由各拍摄部拍摄的被拍摄体像的抖动进行校正，其中，该拍摄装置具有尺寸确定部，其确定用于从所述多个拍摄部分别取得的图像中切分出输出用图像的切分尺寸，该尺寸确定部基于候补区域的尺寸中最小尺寸的候补区域，确定使从所述多个拍摄部分别取得的多个图像具有共通规定高宽比的切分尺寸，其中，所述候补区域是包含在以所述多个拍摄部各自的抖动校正前的初始光轴中心为基准的规定拍摄区域和所述多个拍摄部各自的抖动校正后的拍摄区域之间的共通区域中的、以所述初始光轴中心为中心的区域；以及切分部，其以多个拍摄部各自的抖动校正前的初始光轴中心为基准，按照尺寸确定部所确定的共通的切分尺寸，从多个图像中分别切分出输出用图像。另外，本发明提供一种拍摄装置，其具有多个拍摄部，其从不同的视点对被拍摄体像进行拍摄；抖动检测部，其对拍摄部各自的抖动进行检测；以及抖动校正部，其基于抖动检测部检测出的各拍摄部的抖动，对由各拍摄部拍摄的被拍摄体像的抖动进行校正，其中，该拍摄装置具有尺寸确定部，其确定用于从所述多个拍摄部分别取得的图像中切分出输出用图像的切分尺寸，该尺寸确定部针对所述多个拍摄部中的每一个，确定切分候补区域，在此基础上，基于与所述多个拍摄部对应的切分候补区域的尺寸的最小值，确定使分别来自所述多个拍摄部的图像具有共通的规定高宽比的切分尺寸，其中，所述切分候补区域是包含在不变拍摄区域中的、以所述初始光轴中心为中心的区域，所述不变拍摄区域不依存于与所述多个拍摄部分别对应的所述抖动校正部的抖动校正；以及切分部，其以多个拍摄部各自的抖动校正前的初始光轴中心为基准，按照尺寸确定部所确定的共通的切分尺寸，从多个拍摄部分别切分出输出用图像。优选尺寸确定部基于利用与多个拍摄部分别对应的抖动校正部的抖动校正而得到的、沿铅垂方向和/或水平方向发生了最大限度位移的不同的2个拍摄区域之间的共通区域，针对多个拍摄部中的每一个确定不变拍摄区域。优选尺寸确定部针对多个拍摄部的每一个，确定抖动校正部对多个拍摄部分别至少实施2次抖动校正而得到的、沿铅垂方向和/或水平方向发生了最大限度位移的不同的 2个拍摄区域之间的共通区域，将针对多个拍摄部的每一个确定的共通区域，作为与各拍摄部对应的不变拍摄区域。优选尺寸确定部基于通过与多个拍摄部分别对应的抖动校正部的抖动校正，而沿铅垂方向和/或水平方向发生了最大限度位移的不同的2个拍摄区域之间的共通区域，针对多个拍摄部中的每一个确定不变拍摄区域。优选尺寸确定部针对多个拍摄部的每一个，确定抖动校正部对多个拍摄部分别至少实施2次抖动校正而得到的、沿铅垂方向和/或水平方向发生了最大限度位移的不同的 2个拍摄区域之间的共通区域，将针对多个拍摄部的每一个确定的共通区域，作为与各拍摄部对应的不变拍摄区域。优选该拍摄装置具有图像补充部，其在切分部所切分出的输出用图像具有超出规定的切分范围的补充对象区域的情况下，利用相当于补充对象区域的拍摄部的有效像素区域的图像，对补充对象区域进行补充。优选该拍摄装置具有颜色补充部，其在切分部所切分出的输出用图像具有超出拍摄部的规定的切分范围的补充对象区域的情况下，利用规定的颜色对补充对象区域进行补充。优选该拍摄装置具有全景图像生成部，其通过以切分部所切分出的各输出用图像的初始光轴中心为基准对各图像进行合成，从而生成全景图像。优选该拍摄装置具有立体匹配运算部，其以切分部所切分出的各输出用图像的初始光轴中心为基准而设定极线，通过沿极线对各输出用图像的相关性进行运算，从而进行立体匹配。优选该拍摄装置具有存储部，其将分别来自多个拍摄部的各图像、与各图像的初始光轴中心位置及切分尺寸进行关联而进行存储。优选该拍摄装置具有存储部，其将分别从多个拍摄部在相同的拍摄时刻取得的各图像所对应的各输出用图像，按照拍摄时间顺序相关联而进行存储。优选该拍摄装置具有存储部，其将输出用图像的补充对象区域的坐标和补充对象区域的面积最小的输出用图像的识别信息，与输出用图像相关联而进行存储。优选该拍摄装置具有视差调整部，其确定输出用图像的切分位置，以使得在保持输出用图像的切分尺寸的状态下，输出用图像之间的视差成为规定的视差量。优选该拍摄装置具有输出部，其基于切分部所切分出的图像，输出平面图像或者立体图像。优选该拍摄装置具有指定部，其接收放大位置的指定，切分部在指定部所接收到的放大位置到达从图像中切分出输出用图像的边界的情况下，与放大位置对应地变更切分出输出用图像的位置。优选该拍摄装置具有平面图像输出部，其基于存储在存储部中的识别信息，将补充对象区域的面积最小的图像作为平面图像而输出。优选该拍摄装置具有颜色补充部，其利用规定的颜色对存储在存储部中的补充对象区域进行补充；以及输出部，其基于利用颜色补充部补充了颜色的图像，输出平面图像或者立体图像。优选该拍摄装置具有全景图像生成部，其以存储在存储部中的各图像所对应的初始光轴中心位置及切分尺寸为基准，切分出各输出用图像，在此基础上，通过将各输出图像合成，从而生成全景图像。优选该拍摄装置具有立体匹配运算部，其以存储在存储部中的各图像所对应的初始光轴中心位置及切分尺寸为基准，切分出各输出图像，在此基础上，以初始光轴中心为基准在各输出用图像上设定极线，通过沿极线对各输出用图像的相关性进行运算，从而进行立体匹配。本发明提供一种拍摄方法，其由下述拍摄装置执行，即，该拍摄装置具有多个拍摄部，其从不同的视点对被拍摄体像进行拍摄；抖动检测部，其对拍摄部各自的抖动进行检测；以及抖动校正部，其基于抖动检测部检测出的各拍摄部的抖动，对由各拍摄部拍摄的被拍摄体像的抖动进行校正，其中，该拍摄方法包含下述步骤，即为了确定用于从所述多个拍摄部分别取得的图像中切分出输出用图像的切分尺寸，基于候补区域的尺寸中最小尺寸的候补区域，确定使从所述多个拍摄部分别取得的多个图像具有共通规定高宽比的切分尺寸，其中，所述候补区域是包含在以所述多个拍摄部各自的抖动校正前的初始光轴中心为基准的规定拍摄区域和所述多个拍摄部各自的抖动校正后的拍摄区域之间的共通区域中的、以所述初始光轴中心为中心的区域；以及以多个拍摄部各自的抖动校正前的初始光轴中心为基准，按照尺寸确定部所确定的共通的切分尺寸，从多个图像中分别切分出输出用图像。另外，本发明提供一种拍摄方法，其由下述拍摄装置执行，S卩，该拍摄装置具有多个拍摄部，其从不同的视点对被拍摄体像进行拍摄；抖动检测部，其对拍摄部各自的抖动进行检测；以及抖动校正部，其基于抖动检测部检测出的各拍摄部的抖动，对由各拍摄部拍摄的被拍摄体像的抖动进行校正，其中，该拍摄方法包含下述步骤，即为了确定用于从所述多个拍摄部分别取得的图像中切分出输出用图像的切分尺寸，而针对所述多个拍摄部中的每一个，确定切分候补区域，在此基础上，基于与所述多个拍摄部对应的切分候补区域的尺寸的最小值，确定使分别来自所述多个拍摄部的图像具有共通的规定高宽比的切分尺寸， 其中，所述切分候补区域是包含在不变拍摄区域中的、以所述初始光轴中心为中心的区域， 所述不变拍摄区域不依存于与所述多个拍摄部分别对应的所述抖动校正部的抖动校正；以及以多个拍摄部各自的抖动校正前的初始光轴中心为基准，按照尺寸确定部所确定的共通的切分尺寸，从多个拍摄部分别切分出输出用图像。用于使拍摄装置执行该拍摄方法的程序也包含在本发明中。另外，记录该程序的可由计算机读取的代码的记录介质也包含在本发明中。作为这样的记录介质，可以使用半导体存储器、硬盘、CD · DVD等各种光磁性记录介质。发明的效果根据本发明，基于以初始光轴中心为中心的候补区域的尺寸中的最小的尺寸，确定使从多个拍摄部分别取得的多个图像具有共通的规定的高宽比的切分尺寸，以多个拍摄部各自的抖动校正前的初始光轴中心为基准，按照尺寸确定部所确定的共通的切分尺寸， 从多个图像中分别切分出输出用图像。
或者，根据本发明，基于多个拍摄部所对应的不依存于抖动校正的切分候补区域的尺寸的最小值，确定使分别来自多个拍摄部的图像具有共通的规定的高宽比的切分尺寸，以多个拍摄部各自的抖动校正前的初始光轴中心为基准，按照尺寸确定部所确定的共通的切分尺寸，从多个拍摄部中分别切分出输出用图像。由此，可以在抖动校正前后得到保持光轴中心位置不变的输出图像，因此，使用该输出用图像可以实现立体视觉。


图IA是第1实施方式所涉及的拍摄装置的框图。图IB是第1实施方式所涉及的拍摄装置的其他框图。图2A是拍摄装置的正视图。图2B是拍摄装置的后视图。图3是第1实施方式所涉及的处理的流程图。图4是表示第1实施方式所涉及的第i图像数据和第i视点图像的一个例子的图。图5A是第2实施方式所涉及的拍摄装置的框图。图5B是第2实施方式所涉及的拍摄装置的其他框图。图6是第2实施方式所涉及的处理的流程图。图7是表示第2实施方式所涉及的第i图像数据和第i视点图像的一个例子的图。图8是表示从有效像素区域RA中取得适合处理的截取区域Rout的情况的图。图9A是第3实施方式所涉及的拍摄装置的框图。图9B是第3实施方式所涉及的拍摄装置的其他框图。图10是第3实施方式所涉及的处理的流程图。图IlA是表示第1 · 2视点图像的补充对象区域的一个例子的图。图IlB是表示第1 · 2视点图像的补充对象区域的其他例子的图。图12A是第4实施方式所涉及的拍摄装置的框图。图12B是第4实施方式所涉及的拍摄装置的其他框图。图13是第4实施方式所涉及的处理的流程图。图14是表示补充对象区域被填充的例子的图。图15A是第5实施方式所涉及的拍摄装置的框图。图15B是第5实施方式所涉及的拍摄装置的其他框图。图16是第5实施方式所涉及的处理的流程图。图17是表示全景图像的一个例子的图。图18A是第6实施方式所涉及的拍摄装置的框图。图18B是第6实施方式所涉及的拍摄装置的其他框图。图19是第6实施方式所涉及的处理的流程图。图20是示意地表示立体匹配运算的图。图21A是第7实施方式所涉及的拍摄装置的框图。图21B是第7实施方式所涉及的拍摄装置的其他框图。图22是第7实施方式所涉及的处理的流程图。
图23A是表示图像和各种信息之间的关联方法的一个例子的图。图2 是表示图像和各种信息之间的关联方法的其他例子的图。图24A是第8实施方式所涉及的拍摄装置的框图。图24B是第8实施方式所涉及的拍摄装置的框图。图25是第8实施方式所涉及的处理的流程图。图26A是表示图像和各种信息之间的关联方法的一个例子的图。图26B是表示图像和各种信息之间的关联方法的一个例子的图。图27是第9实施方式所涉及的处理的流程图。图2名k是表示图像之间的关联方法的一个例子的图。图^B是表示图像之间的关联方法的一个例子的图。图^A是第10实施方式所涉及的拍摄装置的框图。图^B是第10实施方式所涉及的拍摄装置的框图。图30是第10实施方式所涉及的处理的流程图。图31是表示视差校正按钮的一个例子的图。图32A是示意地表示立体图像的视差校正的情况的图。图32B是示意地表示立体图像的视差校正的情况的其他图。图32C是示意地表示立体图像的视差校正的情况的其他图。图32D是示意地表示立体图像的视差校正的情况的其他图。图33A是第11实施方式所涉及的拍摄装置的框图。图3 是第11实施方式所涉及的拍摄装置的其他框图。图34是第11实施方式所涉及的处理的流程图。图35A是表示3D图像的显示例的图。图35B是表示2D图像的显示例的图。图36A是表示视点图像的显示例的图。图36B是表示2D图像的显示例的图。图37A是第12实施方式所涉及的拍摄装置的框图。图37B是第12实施方式所涉及的拍摄装置的其他框图。图38是第12实施方式所涉及的处理的流程图。图39A是表示放大区域的切分位置的例子的图。图39B是表示放大区域的切分位置的例子的其他图。图39C是表示放大区域的切分位置的例子的其他图。图40A是表示放大区域的显示例的图。图40B是表示放大区域的显示例的其他图。图40C是表示放大区域的显示例的其他图。图41A是第13实施方式所涉及的拍摄装置的框图。图41B是第13实施方式所涉及的拍摄装置的其他框图。图42是第13实施方式所涉及的处理的流程图。图43A是表示补充对象区域的像素数最小的图像数据的其他例子的图。图4 是表示补充对象区域的像素数最小的图像数据的其他例子的图。
图43C是表示补充对象区域的像素数最小的图像数据的其他例子的图。图43D是表示补充对象区域的像素数最小的图像数据的其他例子的图。图44是第14实施方式所涉及的处理的流程图。图45A是表示无像素区域和填充的例子的图。图45B是表示无像素区域和填充的例子的其他图。图45C是表示无像素区域和填充的例子的其他图。图45D是表示无像素区域和填充的例子的其他图。图46是第15实施方式所涉及的处理的流程图。图47是表示搜索范围的校正的例子的图。图48是表示全景图像的例子的图。图49是第16实施方式所涉及的处理的流程图。图50A是示意地表示第16实施方式所涉及的立体匹配的图。图50B是示意地表示第16实施方式所涉及的立体匹配的其他图。图50C是示意地表示第16实施方式所涉及的立体匹配的其他图。符号的说明51 切分位置·尺寸确定部，52 初始光轴中心位置存储部，53 切分尺寸存储部， 70 补充对象区域计算部，56 填充部，57 全景合成运算部，58 立体匹配运算部，59 关联处理部，60 图像关联处理部，61 视差校正部，62 :3D · 2D切换图像选择部，63 显示框和切分框联动运算部，64 像素数计数·比较部
具体实施例方式〈第1实施方式〉图IA表示本发明的第1实施方式所涉及的具有拍摄元件移动式抖动校正控制部的拍摄装置IOa的概略框图，图IB表示本发明的第1实施方式所涉及的具有光学式抖动校正控制部的拍摄装置IOb的概略框图。对于在图1A、图IB的拍摄装置lOa/lOb之间相同的功能模块，除了分支标号a及b以外标注相同的标号，下面，集中对上述标注有相同标号的各个功能模块进行说明。照相机控制部40由CPU等构成，对拍摄装置IOa整体的动作统一进行控制。在照相机控制部40上，除了连接有η (η为大于或等于2的整数)个拍摄部3和抖动校正控制部 15、变焦按钮部16、操作部17、显示部18、记录控制部19、记录介质20、输入输出部21、切分位置·尺寸确定部51、初始光轴中心位置存储部52之外，还连接有RAM 42、ROM 41。ROM 41存储执行本发明所涉及的拍摄方法的程序等由照相机控制部40执行的各种程序，RAM 42成为程序执行时的缓存器。ROM 41也可以是闪存存储器这种可擦写的非易失性记录介质。此外，执行本发明所涉及的拍摄方法的程序，也可以预先记录在硬盘或CD *DVD等记录介质、或网络上的服务器中，由拍摄装置读取而使用。第i(i = 1 η的整数。η大于或等于2)拍摄部3a包含沿透镜光轴Li排列的透镜11-i、图像传感器12-i、A/D变换器13-i、以及图像信号处理部14-i。第1 η拍摄部11-1 η具有相同的结构。透镜11固定设置在镜筒内，包含变倍透镜和焦点透镜。照相机控制部40与对变焦按钮部16(但也可以不是按钮而是环状操作部件)进行的推远或拉近的变焦方向信息输入操作相对应，对照相机透镜电动机等驱动单元进行控制，使变倍透镜沿透镜光轴方向向推远侧(延伸侧)/拉近侧(缩回侧)移动，从而使焦距(拍摄倍率)变化。使透镜11的焦点透镜沿透镜光轴移动而进行焦点调整。焦点透镜伴随着变倍透镜的移动，自动地调整位置，以使得焦点不发生偏移。图像传感器12对利用透镜11成像的被拍摄体光进行受光，在受光元件中积蓄与受光量对应的光电荷。图像传感器12利用从定时发生器(未图示)输入的定时信号(时钟脉冲)，对光电荷积蓄 转送动作进行控制，在摄影模式时，在每个规定周期取得1个画面量的图像信号，依次向未图示的相关双取样电路(CDQ输入。此外，作为图像传感器12，使用CXD型或MOS型的固体拍摄装置。相关双取样电路(⑶幻接收从图像传感器12输入的1个画面量的拍摄信号，将与各受光元件的积蓄电荷量准确对应的R、G、B的图像数据向未图示的放大器(AMP)输入。AMP 将输入的图像数据放大并向A/D变换器13输入。A/D变换器13将输入的图像数据从模拟信号变换为数字信号。在η = 2的情况下，第1图像传感器23的拍摄信号可以经由⑶S、 AMP、A/D变换器13，成为第1图像数据(右眼用图像数据)。分别从A/D变换器13-i输出的图像数据即第i图像，向图像信号处理部14-i分别输入。图像信号处理部14-i对各图像数据实施灰度变换、白平衡校正、Y校正处理等各种图像处理。从图像信号处理部14-i输出的第i图像数据向帧存储器43输入。帧存储器 43是临时存储第i图像数据的作业用存储器。立体图像处理电路455将从存储在帧存储器43中的第i图像数据切分出的第i 视点图像，合成为用于由显示部18进行立体显示的立体图像数据。在摄影模式时，显示部 18将由立体图像处理电路455合成的立体图像数据，作为动态影像(持续更新的立体图像。 以下有时也称为动态立体图像)进行显示。记录控制部19针对存储在帧存储器43中的第i图像数据或者第i视点图像，利用JPEG方式等压缩形式实施压缩处理。记录控制部19将压缩处理后的各图像数据记录在存储卡等记录介质20中。在显示部18中播放显示按照上述方式记录于记录介质20中的第i图像数据的情况下，记录控制部19将记录在记录介质20中的第i图像数据读出，进行解压处理并存储在帧存储器43中。存储在帧存储器43中的第i图像数据，在利用立体图像处理电路455被变换为立体图像数据后，在显示部18中播放显示。虽然省略图示，但显示部18在其表面具有视差屏蔽显示层。显示部18通过使视差屏蔽显示层产生由光透过部和光遮挡部交替地以规定间距排列而成的图案构成的视差屏蔽，并且在其下层的图像显示面上交替排列地显示表示左右的像的长方形状的图像片段， 从而可以使观察者感受到图像的立体感。此外，显示部18也可以通过从期望的第i拍摄部11向帧存储器43输出所取得的相同的第i图像数据，从而向观察者显示二维图像。切分位置 尺寸确定部51可以由CPU等运算处理装置构成，初始光轴中心位置存储部52可以由ROM等存储介质构成。图IA所示的拍摄装置IOa的抖动校正控制部15_i_a，具有与图像传感器12_i对应的驱动部以及抖动检测部。驱动部可以由柱塞及压电元件等构成。另外，抖动检测部可以由对在三维方向上产生的抖动量和方向进行检测的陀螺仪传感器、加速度传感器、速度传感器等部分构成。抖动校正控制部15-i-a对驱动部进行控制，使图像传感器12-i分别在与图像传感器12-i的成像面平行的XY平面中摆动，以抵消利用抖动检测部检测出抖动量和方向的各拍摄部3-i的抖动，从而对抖动进行校正，其中，图像传感器12-i的成像面与透镜11-i-a的光轴正交。图IB所示的拍摄装置IOb的透镜11-i-b具有抖动检测部、用于对抖动进行校正的校正光学系统(防抖透镜)及其驱动部。防抖透镜可以在XY平面内自由移动地被支撑， 该XY平面与正交于对应的透镜11-i-b的拍摄光轴的图像传感器12的成像面平行。抖动校正控制部15-i-b具有与图像传感器12-i对应的抖动检测部。抖动校正控制部15-i-b 通过利用驱动部驱动校正光学系统，以抵消利用抖动检测部检测出抖动量和方向的各拍摄部3-i的抖动，从而防止图像传感器12-i的成像面上的抖动。图2A表示η = 2的情况下的拍摄装置IOa或IOb的正视图，图2Β表示η = 2的情况下的拍摄装置IOa或IOb的后视图。图3表示第1实施方式所涉及的拍摄装置IOa或IOb所执行的处理的流程图。用于使照相机控制部40a或40b执行该处理的第1实施方式所涉及的程序存储在ROM 41中。 为了简单，有时将照相机控制部40a或40b统一表示为照相机控制部40，但以下处理的执行主体，在拍摄装置IOa的情况下为照相机控制部40a，在拍摄装置IOb的情况下为照相机控制部40b。另外，照相机控制部40a以及照相机控制部40b的控制对象，分别是拍摄装置 IOa的功能模块以及拍摄装置IOb的功能模块。在STl中，照相机控制部40与从操作部17指示摄影模式设定的情况相对应，执行通常的抖动校正。所谓通常的抖动校正，是使图像传感器12-i或者防抖透镜摆动从而对抖动进行校正，以抵消利用抖动检测部检测出抖动量和方向的各拍摄部3-1 η的抖动。在ST2中，照相机控制部40将在通常的抖动校正期间从各拍摄部3-i同步输出的多视点的第i图像数据，向帧存储器43发送。在ST3中，照相机控制部40读出在初始光轴中心位置存储部52中存储的透镜 11-i的初始光轴中心位置。然后，照相机控制部40根据该初始光轴中心位置、驱动部的抖动校正量和校正方向，计算与抖动校正前的初始光轴中心位置对应的抖动校正后的第i图像数据内的像素的位置、即校正后位置。此外，照相机控制部40将驱动部的抖动校正量和校正方向，换算为图像传感器12-i的XY平面上的像素单位。在ST4中，照相机控制部40将下述区域作为候补区域，S卩，以校正后的光轴中心位置为中心，具有保存在ROM 41中的显示部18的高宽比(χ y)，并且在没有抖动的情况下的拍摄像素区域和抖动校正后的第i图像数据这两者中所包含的最大共通区域。然后，照相机控制部40计算从校正后的光轴中心位置至候补区域的外缘XY方向的各边为止的垂线长度，并计算直至该XY方向的各边为止的距离中的最小值即最短距离Li。在ST5中，照相机控制部40判断是否从各第i图像数据得到了最短距离Li，在判断为没有从各第i图像数据得到了最短距离Li的情况下，反复进行ST4。照相机控制部 40在判断从各第i图像数据得到了最短距离Li的情况下，从各最短距离Li中求出最小值 Lmin0
在ST6中，照相机控制部40从ROM 41读取显示部18的高宽比(x y)。在ST7中，照相机控制部40判断ST5中求出的最小值Lmin是从校正后位置至与X 方向平行的横边为止的距离，还是从校正后位置至与Y方向平行的纵边为止的距离。如果 Lmin为至横边为止的距离，则进入ST8，如果为至纵边为止的距离，则进入ST8. 1。在ST8中，照相机控制部40对切分位置 尺寸确定部51进行控制，以对立体显示用的图像的切分尺寸进行运算。即，切分位置·尺寸确定部51将χ方向的切分尺寸设为 2\1^化，将7方向的切分尺寸设为(y/x) X (2XLmin) 0在ST8. 1中，照相机控制部40对切分位置 尺寸确定部51进行控制，以对立体显示用的图像的切分尺寸进行运算。即，切分位置 尺寸确定部51将χ方向的切分尺寸设为 (x/y) X OXLmin)，将y方向的切分尺寸设为2XLmin。在ST9中，照相机控制部40将以初始光轴中心位置为中心且为在ST8或8. 1中计算出的尺寸的矩形区域，从各第i图像数据中切分出来，从而得到第i视点图像。在STlO中，立体图像处理电路455基于第i视点图像，向显示部18输出立体图像。 该STl 10的处理按照快门按钮的按下等拍摄指示而反复进行。通过在存在快门按钮按下动作的期间内反复进行该STl 10的处理而持续地向显示部18输出的图像，被称为动态图像(through images)或实时显示等。图4表示η = 2的情况下的各第i图像数据和第i视点图像的一个例子。Fi-I表示实际空间，Fi-2表示没有抖动的情况下的拍摄像素区域，Fi-3表示抖动校正后的拍摄像素区域，Fi-4表示基于初始光轴中心位置而切分出的第i视点图像。XY坐标系是以实际空间Fi-I为基准确定的，X表示水平方向，Y表示铅垂方向。例如，使Fl-I和F1-3之间的X方向的抖动校正量为χ，R像素，F1-1和F1-3之间的Y方向的抖动校正量为y’ R像素，使得|x’R| > |y’R|。另外，显示部18的高宽比为 3 4。在此情况下，由于Lmin= | y’ R|，所以第1 ·第2图像数据的χ方向的切分尺寸为 (8/3) X (2XLmin)，y方向的切分尺寸为2XLmin。通过以上处理，从各个抖动校正量不同的多个图像数据中，按照共通的尺寸以及高宽比切分出视点图像，以使得光轴中心的位置不偏移。因此，在抖动校正后也可以以与抖动校正前相同的品质，生成立体图像。〈第2实施方式〉图5A表示本发明的第2实施方式所涉及的具有拍摄元件移动式抖动校正控制部的拍摄装置IOa的概略框图，图5B表示本发明的第2实施方式所涉及的具有光学式抖动校正控制部的拍摄装置IOb的概略框图。对于在两图中的拍摄装置lOa/lOb之间或者已经说明的实施方式中具有相同功能的功能模块，除了分支标号以外标注相同的标号，下面，对标注有上述相同的标号之外的标号的功能模块进行说明。拍摄装置lOa/lOb具有切分尺寸存储部53，其由RAM等可擦写的存储介质构成。图6表示第2实施方式所涉及的拍摄装置IOa或IOb所执行的校正处理的流程图。用于使照相机控制部40a或40b执行该处理的第2实施方式所涉及的程序存储在ROM 41中。在STl中，照相机控制部40与从操作部17指示摄影模式设定的情况相对应而进入 ST2。
在ST2中，针对i = 1 n，循环进行以下的ST3 ST5。在ST3中，照相机控制部40a或40b进行控制，以执行2次(或者大于或等于2次) 由各自对应的抖动校正控制部15-i-a或b进行的抖动校正，并且将在该抖动校正期间从各拍摄部3-i同步输出的多视点的第i图像数据，向帧存储器43发送。该抖动校正与抖动检测部的抖动检测无关，在各驱动部的X方向及Y方向的最大驱动范围内进行。此外，该抖动校正的执行开始以及结束的定时是任意的。例如，可以在从拍摄装置10启动后至经过规定的时间为止等规定的时间内进行。照相机控制部40将初始光轴中心位置存储部52中存储的透镜11-i-a或b的初始光轴中心位置读出。另外，照相机控制部40从ROM 41读取显示部18的高宽比(x y)。然后，照相机控制部40根据2次的抖动校正后的第i图像数据、透镜11-i-a或b 的初始光轴中心位置、显示部18的高宽比，确定切分候补区域。S卩，照相机控制部40求出2次的抖动校正后的第i图像数据的外缘部的边之间的交点，针对第i图像数据确定共通区域Rc(i)，该共通区域Rc(i)是以该交点为对角点的矩形区域。照相机控制部40将包含在共通区域Rc (i)中且具有显示部18的高宽比的最大矩形区域，确定为第i图像数据的切分候补区域。由于共通区域Rc(i)是与不同的抖动校正对应的不同的最大驱动范围的共通部分，所以成为无论进行任何抖动校正，也一定可以得到图像数据的不变的拍摄区域。即，在共通区域Rc(i)中，无论如何进行抖动校正，都能得到图像数据。在ST4中，照相机控制部40a或40b将初始光轴中心位置存储部52中存储的透镜 11-i-a或b的初始光轴中心位置分别读出。然后，照相机控制部40a或40b计算从该初始光轴中心位置至切分候补区域的外缘XY方向的各边为止的距离，并根据这两者的距离计算最短距离Li。在ST5中，照相机控制部40判断是否从各切分候补区域得到了最短距离Li，在判断没有得到最短距离Li的情况下，反复进行ST3 · 4。照相机控制部40在判断得到了最短距离Li的情况下，从各最短距离Li中求出最小值Lmin。在ST6中，照相机控制部40从ROM 41读取显示部18的高宽比(x y)。在ST7中，照相机控制部40判断最小值Lmin是从初始光轴中心位置至与X方向平行的横边为止的距离，还是从初始光轴中心位置至与Y方向平行的纵边为止的距离。如果为至横边为止的距离，则进入ST8，如果为至纵边为止的距离，则进入ST8. 1。在ST8中，照相机控制部40对立体显示用的图像的切分尺寸进行运算。即，将χ 方向的切分尺寸设为2 X LminJf 1方向的切分尺寸设为(y/x) X (2 X Lmin)。在ST8. 1中，照相机控制部40对立体显示用的图像的切分尺寸进行运算。S卩，将 X方向的切分尺寸设为(x/y) χ OXLmin)，将y方向的切分尺寸设为2XLmin。在ST9中，照相机控制部40将以初始光轴中心位置为中心且在ST8或8. 1中计算出的尺寸的矩形区域，存储在切分尺寸存储部53中。在STlO S13中，首先，照相机控制部40针对第1 η拍摄部11_1 η进行抖动校正。这里所说的抖动校正是指通常的抖动校正，即，使图像传感器12-i或防抖透镜分别摆动，从而对抖动进行校正，以抵消利用抖动检测部检测出抖动量和方向的各拍摄部 3-1 η的抖动。照相机控制部40将校正后从各拍摄部3-1 η同步输出的多视点的第1 η图像数据，向帧存储器43发送。照相机控制部40通过将具有存储在切分尺寸存储部53中的中心位置及尺寸的矩形区域，分别从抖动校正后的第1 η图像数据中切分出来，从而得到第1 η视点图像。 然后，立体图像处理电路45基于第1 η视点图像，将立体图像向显示部18输出。STl 10的处理在存在拍摄指示或取消摄影模式之前被反复执行。由此，在显示部18中持续地显示基于依次摄影的图像数据的动态图像。图7表示η = 2的情况下的各第i图像数据和第i视点图像的一个例子。Fi-I表示实际空间，Fi-2表示没有抖动的情况下的拍摄像素区域，Fi-3-I表示第I (I = 1、2)次的抖动校正后的拍摄像素区域，Fi-4表示基于初始光轴中心位置而切分出的第i视点图像。 XY坐标系是以实际空间Fi-I为基准而确定的。例如，将第1次抖动校正后的拍摄像素区域F1-3-1和没有抖动的情况下的拍摄像素区域F1-2之间的X · Y方向的偏移量(单位为像素)设为(χ’ Rl,y' Rl)。另外，将第 2次抖动校正后的拍摄像素区域F1-3-2和没有抖动的情况下的拍摄像素区域F1-2之间的 X ·Υ方向的偏移量(单位为像素)设为(χ’ R2，y’ R2)。另外，将没有抖动的情况下的拍摄像素区域F1-2的右下对角点的X坐标设为xROjnax，将F1-2的左上对角点的Y坐标设为 YRO_max。另外，Lmin = |y，RO|。如果将以上内容作为前提，则F1-3-1和F1-3-2的左下交点坐标为(x’R2，y’Rl)， 右上交点坐标为(xROjnax-x，Rl, yRO.max-y' R2)。共通区域Rc(I)是将这2个交点作为对角点而确定的。另外，显示部18的高宽比为3 4。如果Lmin= | y’ RO |，则第1 ·第2 图像数据的χ方向的切分尺寸为(8/3) X (2 X Lmin)，y方向的切分尺寸为2XLmin。在第1实施方式中，由于Lmin依赖于STl中的各个抖动校正的大小而变化，所以与此相伴，可能使第i视点图像的切分尺寸在每次抖动校正时变化，使显示部18中的立体图像的显示像素变化。与此相对，在第2实施方式中，由于将基于通过预先实施的抖动校正确定的Lmin而计算出的切分尺寸，存储在尺寸存储部53中，将具有该存储的共通的中心位置及尺寸的第i视点图像向显示部18输出，所以无论利用任意的第i拍摄部3进行任何大小的抖动校正，均不会使动态图像的显示像素变化。另外，在上述中，进行控制以执行2次(或者大于或等于2次)抖动校正，并且将该抖动校正期间从各拍摄部3-i同步输出的多视点的第i图像数据，向帧存储器43发送， 但这只不过是为了取得与上下(Y方向)以及左右(X方向)相关的最大驱动范围(最大的抖动校正量)而进行的。S卩，如果作为已知的值，将各第i拍摄部3-1-i的X方向·Υ方向的最大驱动范围， 保存在EEPROM或闪存存储器这种可擦写的非易失性存储介质中，而不是保存在ROM 41或 ROM 41这种不可擦写的存储介质中，则可以基于该值确定各个第i拍摄部3-1-i的共通区域Rc (i)，且可以确定每个第i拍摄部3-1-i的切分候补区域。在此情况下，不必执行2次抖动校正。或者，也可以在拍摄装置10启动时等任意的定时及期间内，一次性地进行2次或大于或等于2次的抖动校正，将根据其结果得到的各拍摄部3-i的最大驱动范围，存储在可擦写的非易失性存储介质中。如果对其进行了存储，则以后可以按照该非易失性存储介质内的各拍摄部3-i的最大驱动范围，确定各个第i拍摄部3-1-i的共通区域Rc(i)，且确定第i拍摄部3-1-i的切分候补区域。或者，也可以作为已知的值，而将各第i拍摄部3-1-i的共通区域Rc (i)保存在 ROM 41或EEPROM等中，基于该值确定第i拍摄部3-1-i的切分候补区域。〈第3实施方式〉如图8的例示所示，如果在拍摄时从传感器12的整个有效像素区域RA读出最大尺寸的图像I，则为了生成用于向显示部18等依次输出所摄影的图像的影像信号，需要进行非常高速的信号处理，另外，电路规模也变大。因此，在通常的照相机中，预先在ROM 41 等中存储默认的截取范围信息TR，在拍摄时进行下述控制，S卩，根据默认的截取范围信息， 从有效像素区域RA中选择并读出适合处理的截取区域Rout。在这里，如果如第2实施方式所示将计算出的第i视点图像的切分尺寸 位置，存储在切分尺寸存储部53中，将具有该存储的共通的中心位置及尺寸的第i视点图像向显示部18输出，则会产生下述情况，即，第i视点图像包含没有落在默认的截取范围TR内的没有图像信息的区域。因此，在本实施方式中，从默认的截取范围TR之外的有效像素区域，读入第i视点图像中没有图像信息的部分而进行补充。图9A表示本发明的第3实施方式所涉及的具有拍摄元件移动式抖动校正控制部的拍摄装置IOa的概略框图，图9B表示本发明的第3实施方式所涉及的具有光学式抖动校正控制部的拍摄装置IOb的概略框图。对于在两图中的拍摄装置lOa/lOb之间或者已经说明的实施方式中具有相同功能的功能模块，除了分支标号以外标注相同的标号。拍摄装置lOa/lOb具有由CPU等运算装置构成的补充对象区域计算部70和区域补充部55。图10表示第3实施方式所涉及的拍摄装置IOa或IOb所执行的处理的流程图。用于使照相机控制部40a或40b执行该处理的第3实施方式所涉及的程序存储在ROM 41中。在STl中，照相机控制部40与从操作部17接收到拍摄开始的情况相对应而进入 ST2。在ST2中，照相机控制部40从操作部17接收是否由用户设定切分尺寸的选择。在接收到由用户设定切分尺寸的选择的情况下，进入ST3. 1，在接收到不由用户设定切分尺寸的选择的情况下，进入ST3。在ST3中，照相机控制部40将第2实施方式的ST9中存储在切分尺寸存储部53 中的切分尺寸，设定为第i视点图像的切分尺寸。在ST3. 1中，照相机控制部40从操作部17接收将初始光轴中心位置存储部52中存储的透镜11-i-a或b的初始光轴中心位置作为切分区域中心的、第i视点图像的期望的切分尺寸。在ST4中，照相机控制部40根据透镜11-i-a或b的初始光轴中心位置和ST3或者ST3. 1中设定的切分尺寸，确定切分候补区域，并将其坐标存储在切分尺寸存储部53中。ST5 ST7与第2实施方式的STlO ST12相同。S卩，照相机控制部40通过将具有存储在切分尺寸存储部53中的中心位置及尺寸的矩形区域，分别从抖动校正后的第1 η图像数据中切分出来，从而得到第1 η视点图像。但是，在本实施方式中，第1 η视点图像的切分源是第1 η图像数据中包含在默认截取范围内中的图像数据。S卩，在与第 1 η视点图像对应的切分区域中没有包含在默认截取范围内的部位处，可能产生像素信息的缺损。因此，照相机控制部40将从第i图像数据中切分出第i视点图像后剩余的图像数据、即第i残余数据，存储在帧存储器43或者RAM 42中。在ST8中，照相机控制部40针对各个第1 η视点图像，判断是否存在没有像素信息的区域即补充对象区域。这一点可以根据补充对象区域计算部70从各第i视点图像中是否提取到没有颜色信息的区域而进行判断。在对于某个第i视点图像存在补充对象区域的情况下，进入ST9，在不存在的情况下，不进入ST9而进入ST10。图IlA的BL-I · 2分别示出第1 · 2视点图像的补充对象区域的一个例子。在ST9中，照相机控制部40通过从第i残余数据中切分出相当于补充对象区域的图像区域，并将切分出的图像区域与各第i视点图像的补充对象区域重叠，从而控制区域补充部55，以补充没有像素信息的区域。图IlB的I-I ·2分别示出在补充对象区域上合成第1 · 2残余数据而得到的第1 · 2视点图像的一个例子。在STlO中，立体图像处理电路45、照相机控制部40基于对没有像素信息的区域进行补充后的第i视点图像，持续地向显示部18输出动态图像。根据以上的处理，即使由于抖动校正量较大、或者没有选择适合抖动校正量的切分尺寸，而在视点图像中产生没有像素信息的区域，也可以利用在现有技术中图像处理的中途被废弃的区域的像素信息，对该区域进行补充。因此，可以确保切分范围余量(边界)， 提高立体图像的显示分辨率，该切分范围余量能够应对大幅度的抖动校正所引起的切分范围偏移。而且，抖动校正前后的图像的光轴中心不变化，可以以与没有进行抖动校正时相同的品质输出立体图像。<第4实施方式>图12A表示本发明的第4实施方式所涉及的具有拍摄元件移动式抖动校正控制部的拍摄装置IOa的概略框图，图12B表示本发明的第4实施方式所涉及的具有光学式抖动校正控制部的拍摄装置IOb的概略框图。对于在两图中的拍摄装置lOa/lOb之间或者已经说明的实施方式中具有相同功能的功能模块，除了分支标号以外标注相同的标号。拍摄装置lOa/lOb具有由CPU等运算装置构成的补充对象区域计算部70和填充部56。图13表示第4实施方式所涉及的拍摄装置IOa或IOb所执行的校正处理的流程图。用于使照相机控制部40a或40b执行该处理的第4实施方式所涉及的程序存储在ROM 41中。在STl中，照相机控制部40与从操作部17接收到拍摄开始的情况相对应而进入 ST2。在ST2中，照相机控制部40从操作部17接收是否由用户设定切分尺寸和没有像素信息的部分的填充颜色的选择。在接收到由用户进行该设定的选择的情况下，进入 ST3. 1，在接收到不由用户进行该设定的选择的情况下，进入ST3。在ST3中，照相机控制部40将预先存储在ROM 41中的默认填充颜色，设定为第i 视点图像的填充颜色。在ST3. 1中，照相机控制部40从操作部17接收对补充对象区域的填充颜色的选择。也可以在显示部18中显示颜色样本的调色板，从其中指定期望的颜色。ST4 ST8与第3实施方式的SiM ST8相同。
在ST9中，照相机控制部40对填充部56进行控制，通过将ST3或者ST3. 1中设定的填充颜色与各第i视点图像的补充对象区域重叠，从而对没有像素信息的区域进行补充。在SlO中，照相机控制部40对立体图像处理电路455进行控制，以基于重叠了填充颜色的各第i视点图像，将动态图像持续地向显示部18输出。图14的(a)部分表示各第1 2视点图像的补充对象区域BL-I 2，图14的(b) 部分表示补充对象区域BL-I 2被默认颜色或者选择的颜色Cl填充的例子，图14的(c) 部分表示补充对象区域BL-I 2被颜色C2填充的例子。根据以上的处理，即使在视点图像中产生没有像素信息的区域，也将没有像素信息的区域利用默认颜色或者用户选择的任意颜色进行填充。因此，可以确保切分范围余量 (边界)，提高立体图像的显示分辨率，该切分范围余量能够应对大幅度的抖动校正所引起的切分范围偏移。另外，抖动校正前后的图像的光轴中心不变化，可以以与没有进行抖动校正时相同的品质输出立体图像。而且，通过在显示部18中显示填充区域，从而可以由用户识别出已经最大限度地进行了抖动校正这一情况。〈第5实施方式〉由于上述第1 4实施方式中切分出的第i视点图像的光轴中心位置、特别是Y 轴方向的光轴中心位置保持一致，所以如果以使该第i视点图像Y轴方向的光轴中心位置彼此一致的方式将第i视点图像接合，则可以容易地生成横长的全景图像。图15A表示本发明的第5实施方式所涉及的具有拍摄元件移动式抖动校正控制部的拍摄装置IOa的概略框图，图15B表示本发明的第5实施方式所涉及的具有光学式抖动校正控制部的拍摄装置IOb的概略框图。对于在两图中的拍摄装置lOa/lOb之间或者已经说明的实施方式中具有相同功能的功能模块，除了分支标号以外标注相同的标号。拍摄装置lOa/lOb具有由CPU等运算装置构成的全景合成运算部57。图16表示第5实施方式所涉及的拍摄装置IOa或IOb所执行的处理的流程图。用于使照相机控制部40a或40b执行该处理的第5实施方式所涉及的程序存储在ROM 41中。在STl中，照相机控制部40与从操作部17接收到动作开始的情况相对应而进入 ST2。在ST2中，照相机控制部40从操作部17接收是否根据切分出的第i视点图像生成全景图像的选择。在接收到根据切分出的第i视点图像生成全景图像的选择的情况下，进入ST3，在接收到根据没有切分的第i图像数据生成全景图像的选择的情况下，进入ST3. 1。在ST3及4中，照相机控制部40与第2 4实施方式相同地确定切分尺寸，并将其存储在切分尺寸存储部53中。在ST3. 1中，照相机控制部40与第2实施方式的STlO STll或者第3 4实施方式的ST5 6相同地，在进行抖动校正后，将抖动校正后的第i拍摄部3a的第i图像数据向帧存储器43输出。ST5 ST7与第2实施方式的ST12、或者第3实施方式或第4实施方式的ST5 ST7相同，从第i图像数据中切分出第i视点图像。图17的(a)部分表示第1 2图像数据的一个例子，图17的(b)部分表示从第 1 2图像数据中切分出的第1 2视点图像的一个例子。
在ST8中，照相机控制部40在ST2中接收到根据切分出的第i视点图像生成全景图像的选择的情况下，对全景合成运算部57进行控制，通过以使ST7中切分出的第i视点图像的Y轴方向的光轴中心位置彼此一致的方式将第i视点图像接合，从而合成全景图像。 另一方面，照相机控制部40在ST2中接收到根据没有切分的第i图像数据生成全景图像的选择的情况下，对全景合成运算部57进行控制，通过以使ST3. 1中取得的第i图像数据的被拍摄体彼此一致的方式将第i视点图像接合，从而合成全景图像。全景合成运算部57将合成的全景图像向显示部18输出。此外，在依次且持续地取得第i图像数据的情况下，全景图像也被持续地向显示部18输出(动态全景图像)。图17的(c)部分表示根据第1 · 2视点图像合成的全景图像的一个例子。此外，在与图2不同而将透镜11-i纵向排列的情况下，由于上述第1 4实施方式中切分出的第i视点图像的X轴方向的光轴中心位置也一致，所以如果以使该第i视点图像X轴方向的光轴中心位置彼此一致的方式将第i视点图像接合，则也可以容易地生成纵长的全景图像。在ST9中，照相机控制部40将基于依次取得的第i视点图像，由全景合成运算部 57合成的全景图像向显示部18持续地输出。通过以上的处理，以使得抖动校正后的图像之间的光轴中心一致的方式生成全景图像，因此，可以使得根据抖动校正后的第i视点图像得到的全景图像的合成精度，与根据没有进行抖动校正(即，原本光轴中心没有偏移)的第i图像数据得到的全景图像的合成精度为同等的程度。另外，由于仅通过使光轴中心一致而生成全景图像，所以可以使计算量较少。<第6实施方式>图18A表示本发明的第6实施方式所涉及的具有拍摄元件移动式抖动校正控制部的拍摄装置IOa的概略框图，图18B表示本发明的第6实施方式所涉及的具有光学式抖动校正控制部的拍摄装置IOb的概略框图。对于在两图中的拍摄装置lOa/lOb之间或者已经说明的实施方式中具有相同功能的功能模块，除了分支标号以外标注相同的标号。拍摄装置lOa/lOb具有由CPU等运算装置构成的立体匹配运算部58。立体匹配运算部58所实施的立体匹配与专利文献4 ·5相同。即，立体匹配运算部58在参照图像(例如第2视点图像及第2图像数据)上，使与针对基准图像(例如第1视点图像及第1图像数据)设定的相关窗相同的相关窗沿极线(Epipolar)上移动，在每个移动位置处，针对各图像上的相关窗内的各像素计算相关性，将参照图像上的相关性大于或等于规定阈值的相关窗的中央位置的像素，作为像素的对应点而求出。图19表示第6实施方式所涉及的拍摄装置IOa或IOb所执行的处理的流程图。用于使照相机控制部40a或40b执行该处理的第6实施方式所涉及的程序存储在ROM 41中。在STl中，照相机控制部40与从操作部17接收到立体匹配开始的情况相对应而进入ST2。在ST2中，照相机控制部40从操作部17接收是否根据切分出的第i视点图像实施立体匹配的选择。在接收到根据切分出的第i视点图像实施立体匹配的选择的情况下，进入ST3，在接收到根据没有切分的第i图像数据实施立体匹配的选择的情况下，进入ST3. 1。ST3 ST7分别与第5实施方式的ST3 ST7相同。
在ST8中，照相机控制部40对立体匹配运算部58进行控制，以根据切分出的第 i视点图像实施立体匹配。与该控制相对应，首先，立体匹配运算部58将水平地穿过作为基准图像的第ibaSe(ibaSe是1 η中任意固定的数)视点图像以及作为参照图像的第 iref(iref为1 η的整数，iref ^ ibase)视点图像的各个光轴中心坐标的线，设定为极线。然后，立体匹配运算部58在第iref视点图像上，使与第ibase视点图像上设定的相关窗相同的相关窗，沿上述设定的极线上移动，在每个移动位置处，针对各图像上的相关窗内的各像素计算相关性，将参照图像上的位于相关性大于或等于规定阈值的相关窗的中央位置的像素，作为像素的对应点而求出。在ST8. 1中，照相机控制部40对立体匹配运算部58进行控制，以根据第i图像数据实施立体匹配。由于没有对由抖动引起的第i视点图像之间的光轴位置偏移进行校正， 所以用于该立体匹配的极线并不限于沿光轴设定。在ST9中，照相机控制部40对立体图像处理电路455进行控制，针对根据立体匹配结果确定的彼此对应的基准图像上的像素和参照图像上的像素之间的位置差(视差)， 应用三角测量原理，从而测量从基准照相机或者参照照相机至与该像素对应的被拍摄体上的点为止的距离，生成表示被拍摄体的三维形状的距离图像。立体图像处理电路455将生成的距离图像向显示部18输出。图20示意地表示基准图像为第2视点图像(左图像)，参照图像为第1视点图像 (右图像)的情况下的立体匹配运算。其中，图20的(a)部分示意地表示实际空间的被拍摄体、照相机、光轴、图像的关系，图20的(b)部分示意地表示切分前的第1 · 2图像数据， 图20的(c)部分示意地表示切分后的第1 ·2视点图像，图20的(d)部分示意地表示水平通过第1 ·2视点图像的光轴中心坐标的极线L，图20的(e)部分示意地表示沿该极线L使相关窗移动而求出对应点的情况。根据本处理，将以光轴为中心切分出的视点图像作为立体匹配的运算对象。S卩，由于沿水平通过各切分图像的光轴的极线进行立体匹配，所以与以切分前的第i图像数据为对象进行立体匹配的情况相比，提高立体匹配的运算精度，使运算量减少。另外，可以确保在抖动校正前后立体匹配的运算精度为同等程度。<第7实施方式>图21A表示本发明的第7实施方式所涉及的具有拍摄元件移动式抖动校正控制部的拍摄装置IOa的概略框图，图21B表示本发明的第7实施方式所涉及的具有光学式抖动校正控制部的拍摄装置IOb的概略框图。对于在两图中的拍摄装置lOa/lOb之间或者已经说明的实施方式中具有相同功能的功能模块，除了分支标号以外标注相同的标号。拍摄装置lOa/lOb具有由CPU等运算装置构成的关联处理部59。关联处理部59 将抖动校正后的图像数据、各种关联信息(视点图像的最小切分尺寸、视点图像的切分位置坐标、初始光轴中心位置、校正后位置等)相关联，并保存在规定的记录介质20中。图22表示第7实施方式所涉及的拍摄装置IOa或IOb所执行的校正处理的流程图。用于使照相机控制部40a或40b执行该处理的第7实施方式所涉及的程序存储在ROM 41中。在STl中，照相机控制部40与从操作部17接收到拍摄动作开始的情况相对应而进入ST2。
ST2 6与第6实施方式(图19)的ST3 7相同。但是，ST2 6的处理与拍摄动作开始指示相对应而实施这一点，与第6实施方式不同。ST7与第1实施方式(图3)的STlO相同。但是，所显示的立体图像，是来自于与拍摄动作开始指示相对应而取得的第i视点图像的立体图像。在ST8中，照相机控制部40判断是否从操作部17接收到下述选择，即，用于选择是否将图像和各种信息相关联而保存。在接收到将图像和各种关联信息相关联而保存的选择的情况下，进入ST9，在接收到不将图像和各种关联信息相关联而保存的选择的情况下， 进入ST14。在ST9中，照相机控制部40判断ST3中保存的切分尺寸是否比过去保存在闪存存储器等记录介质20中的最小切分尺寸小。在“是”的情况下，进入ST10，在“否”的情况下，进入ST11。此外，在记录介质20中没有保存最小切分尺寸的情况下，视为“是”而进入 ST10。在STlO中，照相机控制部40将ST3中保存的切分尺寸，作为最小切分尺寸而保存在记录介质20中。在STll中，照相机控制部40对关联处理部59进行控制，以将包含各种关联信息的保存信息保存在RAM 42中。此外，也可以不仅保存最小切分尺寸，而且还将ST2中指定的各第i视点图像的切分尺寸一起保存。在ST12中，照相机控制部40判断是否从操作部17接收到结束摄影的选择。在接收到结束摄影的选择的情况下，进入ST13，在没有接收到结束摄影的选择的情况下，返回 ST4。在ST13中，照相机控制部40将由在从摄影开始指示至摄影结束指示为止的期间内持续且定期地取得的第1 η图像数据的彗形像差构成的图像群(在播放时可以作为动画处理，也可以作为连续静止画面处理)、与RAM 42的保存信息相关联，并保存在规定的记录介质20中。此外，在这里所保存的图像群，在播放时可以作为动画处理，也可以作为连续静止画面处理。在彗形像差为1个的情况下，保存静止画面。在ST14中，照相机控制部40将由在从拍摄开始指示至拍摄结束指示为止的期间内持续且定期地取得的第1 η图像数据构成的图像群，存储在RAM 42中。在ST15中，进行与ST12相同的判断，如果为“是”，则进入ST16，如果为“否”，则返回 ST4。在ST16中，将RAM 42的图像群记录在记录介质20中。其保存方式是任意的。图23A及图2 表示图像和各种信息之间的关联方法的一个例子。其中，图23A 表示在动画的文件头中写入各种信息的状态，图2 表示在动画的存储文件夹内将保存有各种信息的文件一起存储的状态。如图23A所示，在将相同的取得时刻的第i图像数据组(彗形像差)连结作为1 个图像的情况下，在该连结后的1个图像的文件附带信息(文件头、标签等)中，记录各彗形像差的第i图像数据所固有的关联信息(切分位置坐标 光轴中心位置坐标)。另外，在将相同的取得时刻的构成彗形像差的第i图像数据分别单独记录的情况下，在包含所有这些与各拍摄时间对应的第i图像数据组的记录单位(文件及文件夹等)的附带信息中，针对与各拍摄时间对应的所有第i图像数据，保存最小的切分尺寸信息。
如图2 所示，在将与相同的取得时间对应的第i图像数据组(彗形像差)一起存储于1个文件夹中的情况下，在该图像存储文件夹中，保存记录有各图像所固有的关联信息、以及针对与各拍摄时间对应的所有第i图像数据的最小切分尺寸信息的关联信息文件，例如文本文件。或者，也可以在其他文件夹中保存关联信息文件，但必须预先将表示与图像存储文件夹之间的关联性的信息，保存在关联信息文件中。或者，也可以在独立存储构成彗形像差的第i图像数据的文件夹中，分别保存关联信息文件。图像和各种信息之间进行关联的具体方法并不限于图示的方法。总之，各彗形像差与该彗形像差的取得时间或者其代替信息(彗形像差的取得时间顺序、即彗形像差编号等)相关联。根据以上的处理，由于将切分前的第i图像数据，与包含视点图像的最小切分尺寸、视点图像的切分位置坐标、光轴中心位置等的关联信息相关联，并保存在记录介质20 中，所以可以利用个人计算机等信息处理装置从该记录介质20中读出关联信息和第i图像数据，并基于它们进行立体图像的输出、三维测距、全景图像的输出、或者平面图像的输出寸。<第8实施方式>图24A表示本发明的第8实施方式所涉及的具有拍摄元件移动式抖动校正控制部的拍摄装置IOa的概略框图，图24B表示本发明的第8实施方式所涉及的具有光学式抖动校正控制部的拍摄装置IOb的概略框图。对于在两图中的拍摄装置lOa/lOb之间或者已经说明的实施方式中具有相同功能的功能模块，除了分支标号以外标注相同的标号。拍摄装置lOa/lOb具有由CPU等运算装置构成的图像关联处理部60。图像关联处理部60将抖动校正后的第i图像数据彼此相关联，并保存在规定的记录介质20 (硬盘或存储卡等)中。图25表示第8实施方式所涉及的拍摄装置IOa或IOb所执行的处理的流程图。用于使照相机控制部40a或40b执行该处理的第8实施方式所涉及的程序存储在ROM 41中。STl 7与第7实施方式(图22)的STl 7相同。在ST8中，照相机控制部40从操作部17接收是否将与相同的取得时间对应的第 i图像数据彼此相关联并保存的选择。在接收到进行上述保存的选择的情况下，进入ST9， 在没有接收到进行上述保存的选择的情况下，进入ST14。在ST9中，照相机控制部40对图像关联处理部60进行控制，以将相同的拍摄时刻的构成彗形像差的第i视点图像彼此的关联性、以及表示各彗形像差的拍摄时间顺序的图像关联信息，与彗形像差相关联，并保存在存储器中。在STlO中，进行与第7实施方式的ST12相同的判断，如果为“是”，则进入ST11， 如果为“否”，则进入ST12。ST12 ST14与第7实施方式的ST14 ST16相同。图26A及图26B表示图像群和各种信息之间的关联方法的一个例子。其中，图26A 表示在彗形像差的文件头中写入图像关联信息的状态，图26B表示在图像群的存储文件夹中、或者其他文件夹中将保存有图像关联信息的文件一起存储的状态。如图26A所示，在将相同的取得时刻的第i图像数据连结为1个图像的情况下，在该连结后的1个图像的文件附带信息(文件头、标签等)中，记录图像关联信息(表示文件内的各图像的视点的信息及彗形像差编号等)。另外，在将相同的取得时刻的构成彗形像差的第i图像数据分别单独记录的情况下，在表示与相同的取得时间对应的第i图像数据组的信息、以及包含所有这些组的记录单位(文件及文件夹等)的附带信息中，针对与各取得时间对应的所有第i图像数据，保存图像关联信息。如图26B所示，在将与相同的取得时间对应的第i图像数据组(彗形像差)一起存储于1个文件夹中的情况下，在该图像存储文件夹中，保存图像关联信息文件，例如文本文件。或者，也可以在其他文件夹中保存关联信息文件，但优选预先将表示与图像存储文件夹之间的关联性的信息，保存在关联信息文件中。或者，也可以在独立存储构成彗形像差的第i视点图像的文件夹中，分别保存图像关联信息文件。图像之间或者图像与图像关联信息之间进行关联的具体方法并不限于图示的方法。总之，各彗形像差与该彗形像差的取得时间或者其代替信息(彗形像差的取得时间顺序、即彗形像差编号等)相关联。根据以上的处理，由于将表示构成各彗形像差的相同取得时刻的第i视点图像的视点位置的图像关联信息，与彗形像差及各第i视点图像相关联而保存，所以不会产生视点位置的混乱，可以基于所保存的第i图像，容易地播放立体图像及全景图像，或者进行三维测距。〈第9实施方式〉图27表示第9实施方式所涉及的拍摄装置IOa或IOb所执行的校正处理的流程图。用于使照相机控制部40a或40b执行该处理的第9实施方式所涉及的程序存储在ROM 41中。该处理可以通过图21的拍摄装置IOa或IOb执行。STl ST7与第7实施方式(图22)相同。在ST8中，照相机控制部40从操作部17接收下述选择，即，选择是否将用于确定第i图像数据内的没有像素信息的无像素区域的无像素区域信息、与第i图像数据相关联并保存。在接收到进行上述保存的选择的情况下，进入ST9，在没有接收到进行上述保存的选择的情况下，进入ST13。例如，在无像素区域为多边形的情况下，无像素区域信息包含 该多边形顶点的编号、坐标、以及该区域的像素数最低的拍摄部3的编号(分支标号)。在ST9中，照相机控制部40针对每个拍摄部3对没有像素信息的无像素区域的总像素数进行运算。无像素区域的例子与图11的补充对象区域BL-I · BL-2相同。在STlO中，照相机控制部40对关联处理部59进行控制，以将第i图像数据及其无像素区域信息相关联，保存在记录介质20中。STll ST12、ST13 ST15分别与第7实施方式的ST12 ST13、ST14 ST16相同。图28A及图28B表示图像和各种信息之间的关联方法的一个例子。其中，图28A 表示在彗形像差的文件头中写入无像素区域信息的状态，图28B表示在动画的存储文件夹中、或者其他文件夹中将保存有无像素区域信息的文件一起存储的状态。如图28A所示，在将相同的取得时刻的第i视点图像连结作为1个图像的情况下， 在该连结后的1个图像的文件附带信息(文件头、标签等)中，记录无像素区域信息。另外， 在将相同的取得时刻构成彗形像差的第i视点图像分别记录于各个文件中的情况下，在包含所有与相同的取得时间对应的第i视点图像的组的记录单位(文件及文件夹等)的附带信息中，针对与各取得时间对应的所有第i视点图像，保存无像素区域信息。如图28B所示，在将与相同的取得时间对应的第i图像数据组(彗形像差)一起存储于1个文件夹的情况下，在该图像存储文件夹中，保存无像素区域信息文件，例如文本文件。或者，也可以在其他文件夹中保存无像素区域信息文件，但优选预先将表示与图像存储文件夹之间的关联性的信息，保存在关联信息文件中。或者，也可以在独立存储构成彗形像差的第i图像数据的文件夹中，分别保存无像素区域信息文件。第i图像数据与图像关联信息之间进行关联的具体方法并不限于图示的方法。照相机控制部40可以基于通过上述处理而保存在记录介质20中无像素区域信息、第i图像数据以及关联信息，将该区域填充为规定的颜色，显示立体图像及全景图像。 或者，照相机控制部40可以基于通过上述处理而保存在记录介质20中的无像素区域信息， 选择该区域的面积最小的第i图像数据，将所选择的第i图像数据作为品质最优的平面图像而显示。<第10实施方式>图29A表示本发明的第10实施方式所涉及的具有拍摄元件移动式抖动校正控制部的拍摄装置IOa的概略框图，图29B表示本发明的第8实施方式所涉及的具有光学式抖动校正控制部的拍摄装置IOb的概略框图。对于在两图中的拍摄装置lOa/lOb之间或者已经说明的实施方式中具有相同功能的功能模块，除了分支标号以外标注相同的标号。拍摄装置lOa/lOb具有由CPU等运算装置构成的视差校正部61。图30表示第10实施方式所涉及的拍摄装置IOa或IOb所执行的校正处理的流程图。用于使照相机控制部40a或40b执行该处理的第10实施方式所涉及的程序存储在ROM 41中。在STl中，照相机控制部40与从操作部17指示视差调整开始的情况相对应而进入ST2。例如，如图31所示，作为操作部17设置“视差校正按钮”，与按下该按钮相对应而进入ST2。在ST2中，照相机控制部40从操作部17接收下述指示，即，是否使用记录介质20 中记录的第i图像数据(包含通过上述已说明的实施方式保存的数据)，与视差校正联动地变更图像切分位置。在接收到该指示的情况下，进入ST10，在没有接收到该指示的情况下， 进入ST3。ST3 ST7与第9实施方式(图27)的ST2 ST6相同。在ST8中，确定来自第i视点图像的视差校正后的第i视点图像的切分位置，以使得ST7中切分出的第i视点图像之间的视差量成为存储在ROM 41中的规定的视差量。照相机控制部40从所确定的第i图像数据的切分位置切分出第i视点图像(参照图32A)。在ST9中，照相机控制部40将该切分出的第i视点图像向显示部18输出。由此， 在显示部18中显示被调整为规定的视差量的立体图像。但是，有时视差调整的结果使得立体图像的尺寸减小(参照图32B)。在STlO中，照相机控制部40从操作部17接收是否以全部帧中的最小切分尺寸进行显示的指示。在接收到该指示的情况下，进入ST11，在没有接收到该指示的情况下，进入 ST12。在STll中，照相机控制部40从记录介质20的图像文件的附带信息等中，读出光轴中心坐标和最小切分尺寸(包含第7实施方式的STlO中保存的内容)。在ST12中，照相机控制部40从记录介质20的图像文件的附带信息等中，读出光轴中心坐标和切分尺寸(第1实施方式的ST8或8. 1中计算出的结果)。在ST13中，照相机控制部40将STll或者ST12中读出的光轴中心坐标和切分尺寸，保存在切分尺寸存储部53中。在ST14中，照相机控制部40通过分别从抖动校正后的第1 η图像数据中，切分出具有切分尺寸存储部53中保存的中心位置及尺寸的矩形区域，从而得到第1 η视点图像。在ST15中，照相机控制部40将该切分出的第i视点图像向显示部18输出(参照图32C)。如果以第7实施方式的STlO中保存的最小切分尺寸进行切分，则第i视点图像以最小尺寸显示，即使抖动校正进行动作也可以防止视角变化。例如，在对静止画面进行影片拍摄时，抖动校正量始终变化，视角如反复进行数字变焦那样变化，但如果始终以最小尺寸显示，则不会如上述所示使视角变化。在ST16中，照相机控制部40对视差校正部61进行控制，以执行视差校正。视差校正部61与从照相机控制部40指示视差校正开始相对应，确定来自第i图像数据的第i 视点图像的切分位置，以使得在保持ST13中保存于RAM 42中的第i视点图像的χ-y方向的切分尺寸的状态下，使第i视点图像之间的视差成为存储在ROM 41中的规定的视差量。照相机控制部40从所确定的第i图像数据的切分位置切分出视差调整后的第i 视点图像(参照图32D)。然后，照相机控制部40将该切分出的视差调整后的第i视点图像向显示部18输出。由此，在显示部18中显示保持图像尺寸不变并被调整为规定的视差量的立体图像。通常，由于如图32B所示进行立体图像的视差校正，使得立体视觉范围变窄，但在本处理中，通过如图32D所示使各第i视点图像的切分范围与视差校正联动，从而可以防止立体视觉范围变窄。〈第11实施方式〉图33A表示本发明的第11实施方式所涉及的具有拍摄元件移动式抖动校正控制部的拍摄装置IOa的概略框图，图3 表示本发明的第11实施方式所涉及的具有光学式抖动校正控制部的拍摄装置IOb的概略框图。对于在两图中的拍摄装置lOa/lOb之间或者已经说明的实施方式中具有相同功能的功能模块，除了分支标号以外标注相同的标号。拍摄装置lOa/lOb具有由用户界面构成的3D · 2D切换图像选择部62。图34表示第11实施方式所涉及的拍摄装置IOa或IOb所执行的处理的流程图。 用于使照相机控制部40a或40b执行该处理的第11实施方式所涉及的程序存储在ROM 41 中。该处理可以通过图21的拍摄装置IOa或IOb执行。在STl中，照相机控制部40与从操作部17接收到显示动作开始的情况相对应而进入ST2。在ST2中，照相机控制部40从操作部17接收下述指示，即，是否使用记录介质20 中记录的第i图像数据(包含通过上述已说明的实施方式保存的图像数据)，显示立体图像 (3D图像)和平面图像QD图像)。在接收到该指示的情况下，进入ST14，在没有接收到该指示的情况下，进入ST3。图35A示意地表示3D图像的显示，图35B示意地表示2D图像的显示。ST3 ST8与第10实施方式(图30)相同。在ST9中，照相机控制部40判断是否从3D · 2D切换图像选择部62指示了 2D显示。在为“是”的情况下，进入ST10，在为“否”的情况下，返回ST5。在STlO中，照相机控制部40针对ST5 ST7的结果，即在从第i拍摄部3得到的图像中来自与ROM 41中保存的期望的编号ρ对应的第ρ拍摄部3、例如第1拍摄部3的图像数据，实施抖动校正。在STll中，照相机控制部40取得STlO中进行抖动校正后的图像数据。在ST12中，照相机控制部40从取得的图像数据中，切分出由ST4中保存的光轴中心和切分尺寸确定的区域、即2D图像。在ST13中，照相机控制部40将ST12中切分出的2D图像向显示部18输出。图 36A表示构成η = 2的情况下的3D图像的第1视点图像1_1 第2视点图像1_2，图36Β表示P = 1的情况下的2D图像I-I的显示例。此外，也可以之后返回ST9，基于从第i拍摄部3取得的其他图像，进行3D/2D图像的显示。ST14 ST19与第10实施方式(图30)的STlO 15相同。在ST20中进行与ST9相同的判断。如果为“是”则进入ST21，如果为“否”则返回 ST19。ST21 22与ST12 13相同。此外，也可以之后返回ST20，基于其他记录图像， 进行3D/2D图像的显示。如果将抖动校正后的第ρ图像数据直接作为2D图像显示，则在从3D图像向2D图像切换时会产生视角变化，但在本处理中，将从抖动校正后的第P图像数据中以初始光轴位置为中心切分出的第P视点图像，作为2D图像而进行显示。S卩，由于防止了因抖动校正而在3D图像和2D图像之间光轴偏移的情况，所以从抖动校正后的3D图像向2D图像切换时的视角变化较少，观看的容易性提高。<第12实施方式>图37A表示本发明的第12实施方式所涉及的具有拍摄元件移动式抖动校正控制部的拍摄装置IOa的概略框图，图37B表示本发明的第12实施方式所涉及的具有光学式抖动校正控制部的拍摄装置IOb的概略框图。对于在两图中的拍摄装置lOa/lOb之间或者已经说明的实施方式中具有相同功能的功能模块，除了分支标号以外标注相同的标号。拍摄装置IOa · b具有由CPU等构成的显示框和切分框联动运算部63。图38表示第12实施方式所涉及的拍摄装置IOa或IOb所执行的校正处理的流程图。用于使照相机控制部40a或40b执行该处理的第12实施方式所涉及的程序存储在ROM 41中。在STl中，照相机控制部40与从操作部17接收到显示动作开始的情况相对应而进入ST2。在ST2中，照相机控制部40从操作部17接收下述指示，即，是否使用记录介质20 中记录的第i图像数据(包含通过上述已说明的实施方式保存的数据)，显示立体图像，并且将该立体图像中由显示框指定的一部分切分出来而放大显示。在接收到该指示的情况下，进入ST18，在没有接收到该指示的情况下，进入ST3。ST3 ST8与第11实施方式(图34)相同。在ST9中，照相机控制部40从设置在操作部17上的放大显示按钮，接收开始3D 图像的一部分区域放大显示的指示。在接收到该指示的情况下，进入ST10，在没有接收到该指示的情况下，返回ST5。在STlO中，照相机控制部40经由设置在操作部17上的切分框指定按钮，接收对 3D图像中应放大显示的区域即放大区域的指定。照相机控制部40判断所指定的放大区域是否到达3D图像的外缘、即来自第i图像数据的第i视点图像的切分区域的边界。在为 “是”的情况下，进入ST11，在为“否”的情况下，反复进行放大区域的指定和该判断。在STll中，照相机控制部40对显示框和切分框联动运算部63进行控制，以基于所指定的放大区域的位置，对来自第P图像数据的放大区域的切分位置进行运算。在ST12中，照相机控制部40针对ST5 7的结果，即在从第i拍摄部3中的期望的1个第P拍摄部3得到的第ρ视点图像，例如对从第η拍摄部3开始的第η视点图像实施抖动校正。在ST13中，照相机控制部40取得ST12中进行抖动校正后的图像数据。在ST14中，照相机控制部40从所取得的图像数据中，切分出STll中确定的放大区域。在ST15中，照相机控制部40将ST14中切分出的放大区域向显示部18的规定位
置输出。在ST16中，进行与ST9相同的判断。在为“是”的情况下，返回ST5，在为“否”的情况下，返回ST10。ST17 ST22与第11实施方式的ST14 ST19相同。ST23 SD8与ST9 ST16相同。但是，在这里成为放大区域的切分源的图像为， 从记录介质20播放的第ρ视点图像。图39Α至39C表示任意指定的放大区域的切分位置 k的例子，图40A至40C 分别表示与图39A至39C对应的放大区域的显示例。Ip表示第ρ图像数据。根据以上的处理，可以将抖动校正后的视点图像中的任意的一部分区域放大显示。由于即使在放大区域的指定位置超出视点图像的情况下，也将与放大区域相当的图像从第P图像数据中切分出，所以不会在放大区域中产生图像的缺损。<第13实施方式>图41A表示本发明的第13实施方式所涉及的具有拍摄元件移动式抖动校正控制部的拍摄装置IOa的概略框图，图41B表示本发明的第13实施方式所涉及的具有光学式抖动校正控制部的拍摄装置IOb的概略框图。对于在两图中的拍摄装置lOa/lOb之间或者已经说明的实施方式中具有相同功能的功能模块，除了分支标号以外标注相同的标号。拍摄装置lOa/lOb具有由CPU等构成的像素数计数·比较部64。像素数计数·比较部64也可以与补充对象区域计算部70实现共通化。图42表示第13实施方式所涉及的拍摄装置IOa或IOb所执行的校正处理的流程图。用于使照相机控制部40a或40b执行该处理的第13实施方式所涉及的程序存储在ROM 41中。
在STl中，照相机控制部40与从操作部17接收到显示动作开始的情况相对应而进入ST2。 在ST2中，照相机控制部40从操作部17接收下述指示，即，是否在记录介质20所记录的第i视点图像中包含没有像素信息的无像素区域(或者补充对象区域)的情况下， 降低该第i图像视点图像的显示优先度。在接收到该指示的情况下，进入ST10，在没有接收到该指示的情况下，进入ST3。ST3 7与第12实施方式(图38)相同。在ST8中，照相机控制部40对像素数计数·比较部64进行控制，以针对S6中取得的第1 η视点图像，分别计算没有像素信息的区域即无像素区域及其像素数。另外，照相机控制部40对像素数计数·比较部64进行控制，以选择第1 η视点图像中补充对象区域的像素数最小的视点图像、即第ml视点图像。在ST9中，照相机控制部40将ST8中选择的第ml视点图像，作为2D图像向显示部18输出。STlO 12与第12实施方式相同。但是，在ST12中，如果在记录介质20中保存有第9实施方式中说明的无像素区域(或者补充对象区域)，则也将其进行读取。在ST13中，照相机控制部40判断在SlO或者S12中从记录介质20读取的各种信息中，是否包含无像素区域信息。在为“是”的情况下，进入ST14，在为“否”的情况下，进入 ST15。在ST14中，照相机控制部40对像素数计数·比较部64进行控制，以基于第1 η视点图像的无像素区域信息，选择第1 η视点图像中无像素区域(或者补充对象区域) 的像素数最小的图像数据、即第m2图像数据。在ST15中，照相机控制部40基于STlO或者12中读出的光轴中心坐标以及切分尺寸，从第m2图像数据中切分出第m2视点图像。在ST16中，照相机控制部40将切分出的第m2视点图像，作为2D图像向显示部18输出。图43A至图43D表示第i (i = 1，2)视点图像和补充对象区域的像素数最小的图像数据的一个例子。其中，在图43A中，例示出由于左右图像均不存在无像素区域BL，所以将其中任意一个作为2D图像输出的情况。在图43B中，例示出由于在左图像中存在无像素区域BL，所以将右图像作为2D图像输出的情况。图43C例示出由于右图像的无像素区域 BL-I比左图像的无像素区域BL-2小，所以将右图像作为2D图像输出的情况。在图43D中， 例示出由于左右图像均存在相同面积的无像素区域BL，所以将其中任意一个作为2D图像输出的情况。根据以上的处理，由于基于无像素区域较小的图像数据，而输出2D图像，所以2D 图像的品质不会降低。<第14实施方式>图44表示第14实施方式所涉及的拍摄装置IOa或IOb所执行的校正处理的流程图。用于使照相机控制部40a或40b执行该处理的第14实施方式所涉及的程序存储在ROM 41中。该处理可以通过第4实施方式(图12)的拍摄装置IOa或IOb而执行。在STl中，照相机控制部40与从操作部17接收到显示动作开始的情况相对应而进入ST2。ST2 3. 1与第4实施方式(图13)相同。但是，不需要选择切分尺寸。在ST4中，照相机控制部40从操作部17接收下述指示，即，在记录介质20所记录的第i视点图像中包含没有像素信息的区域的情况下，是否将该第i视点图像的无像素区域填充。在接收到该指示的情况下，进入ST12，在没有接收到该指示的情况下，进入ST3。ST5 9与第13实施方式的ST3 7相同。STlO 11与第4实施方式(图13)的ST9 10相同。但是，填充是针对从来自第i拍摄部3的第i图像数据中切分出的第i视点图像(或者第1 η图像数据)的无像素区域进行的。ST12 15与第13实施方式(图42)的STlO 13相同。在ST16中，照相机控制部40对填充部56进行控制，以将第1 η图像数据的无像素区域填充为ST3或3. 1中设定的颜色。图45Α至45D表示η = 2的情况下(第1 · 2 图像数据)的无像素区域和填充的例子。S17与第13实施方式(图42)的ST15相同。但是，第i视点图像的截取源是无像素区域被填充的第1 η图像数据。S18与第13实施方式(图42)的ST16相同。根据以上的处理，在从记录的第i图像数据中切分出第i视点图像而进行播放时， 通过将其无像素区域填充，从而与无像素区域仅为空白的情况相比，可以不引人注目。另外，可以将无像素区域及其之外的区域进行区别。<第15实施方式>图46表示第15实施方式所涉及的拍摄装置IOa或IOb所执行的校正处理的流程图。用于使照相机控制部40a或40b执行该处理的第15实施方式所涉及的程序存储在ROM 41中。该处理可以通过第5实施方式(图15)的拍摄装置IOa或IOb而执行。在STl中，照相机控制部40与从操作部17接收到显示动作开始的情况相对应而进入ST2。在ST2中，照相机控制部40从操作部17接收下述指示，即，是否基于记录介质20 所保存的图像的保存信息中包含的切分范围，合成全景图像。在接收到该指示的情况下，进入ST3，在没有接收到该指示的情况下，进入ST9。在ST3中，照相机控制部40从操作部17接收是否以全部帧中的最小切分尺寸进行显示的指示。在接收到该指示的情况下，进入ST4，在没有接收到该指示的情况下，进入 ST5。在ST4中，照相机控制部40将记录介质20中保存的图像及其保存信息读出。该保存信息是第7实施方式中所保存的信息，包含光轴中心坐标、最小切分尺寸、图像切分坐标。在ST5中，照相机控制部40将记录介质20中保存的图像及其附带的保存信息读出。该保存信息是第7实施方式(图22)中保存的信息，包含光轴中心坐标、各第i视点图像的切分尺寸、图像切分坐标。 在ST6中，照相机控制部40将从记录介质20读出的保存信息保存在RAM 42中。
在ST7中，照相机控制部40对全景合成运算部57进行控制，以基于ST5或6中向RAM 42中保存的保存信息，搜索作为全景图像的合成位置的基准的类似点。即，全景合成运算部57将以不同的第i图像数据之间的图像切分坐标间的偏移量进行校正的范围，作为不同的第i图像数据之间的类似点的搜索范围，在该搜索范围内搜索类似点。图47表示η = 2(第1 · 2图像数据)的情况下的搜索范围的校正的例子。全景合成运算部57将第1图像数据内具有相同的X坐标的纵向排列的像素群G作为基准像素， 一边在第1图像数据内使像素群G沿X方向进行扫描(一边使像素群G的X坐标移动)，一边从第2图像数据中搜索与像素群G类似的类似点。在此情况下，全景合成运算部57将从构成像素群G的各像素Yi的Y坐标中，减去第1图像数据的切分范围C-I和第2图像数据的切分范围C-2之间的Y方向偏移量Δ Y而得到的值，作为为了搜索与像素群G的各像素 Yi对应的类似点Y’ i而使用的Y坐标。全景合成运算部57在确定了与具有相同的坐标XO 的像素群G的各像素Yi对应的类似点Y’ i的X坐标、即V 0的情况下，将像素群G’确定为与像素群G对应的类似点。全景合成运算部57将第1图像数据和第2图像数据结合，以使第1图像数据的像素群G和第2图像数据的像素群G’一致，从而合成全景图像(参照图 48)。根据以上的处理，即使从进行抖动校正后保存的图像中合成出全景图像，也可以得到与从没有进行抖动校正的图像中合成出全景图像同等的精度。<第16实施方式>图49表示第16实施方式所涉及的拍摄装置IOa或IOb所执行的校正处理的流程图。用于使照相机控制部40a或40b执行该处理的第16实施方式所涉及的程序存储在ROM 41中。该处理可以通过第6实施方式(图18)的拍摄装置IOa或IOb而执行。在STl中，照相机控制部40与从操作部17接收到显示动作开始的情况相对应而进入ST2。在ST2中，照相机控制部40从操作部17接收下述指示，即，是否基于记录介质20 所保存的图像的附带信息中包含的切分范围，进行立体匹配。在接收到该指示的情况下，进入ST3，在没有接收到该指示的情况下，进入ST9。ST3 6与第15实施方式相同。ST7 8与第6实施方式(图19)的ST8 9相同。但是，这里的立体匹配以及显示输出的对象是在ST5中从记录介质20读出的第i图像数据中切分出的第i视点图像。 图50A示意地表示从记录介质20读出的第i图像数据的一个例子，图50B示意地表示针对第i视点图像设定的极线L的一个例子，图50C示意地表示与该第i视点图像对应的立体匹配。在ST9中，照相机控制部40将记录介质20中保存的图像，向帧存储器43读出。在STlO中，照相机控制部40将帧存储器43的图像向显示部18输出。该图像可以是3D图像，也可以是2D图像。<第17实施方式>在上述实施方式中，可以将记录介质20中记录的动画的彗形像差视为静止画面。 即，本发明可以应用于动画以及静止画面这两者的记录。此外，在以连续播放的方式记录多个静止画面时，也可以如动画那样按照拍摄时间顺序记录各彗形像差，也可以不这样处理。<第18实施方式>
拍摄部3的排列方向可以不是横⑴方向，而是纵⑴方向。在此情况下，例如， 在第5 · 15实施方式中，可以得到纵长的全景图像。或者在第6 · 16实施方式中，可以将极线沿Y方向设定而进行对应点检索。拍摄部3的排列方向也可以是倾斜方向。总之，只要沿拍摄部3的透镜光轴Li的排列方向设定极线，沿与该极线平行的方向进行对应点检索即可。
权利要求
1.一种拍摄装置，其具有多个拍摄部，其从不同的视点对被拍摄体像进行拍摄；抖动检测部，其对所述拍摄部各自的抖动进行检测；以及抖动校正部，其基于所述抖动检测部检测出的各拍摄部的抖动，对由各拍摄部拍摄的被拍摄体像的抖动进行校正，其中，该拍摄装置具有尺寸确定部，其确定用于从所述多个拍摄部分别取得的图像中切分出输出用图像的切分尺寸，该尺寸确定部基于候补区域的尺寸中最小尺寸的候补区域，确定使从所述多个拍摄部分别取得的多个图像具有共通规定高宽比的切分尺寸，其中，所述候补区域是包含在以所述多个拍摄部各自的抖动校正前的初始光轴中心为基准的规定拍摄区域和所述多个拍摄部各自的抖动校正后的拍摄区域之间的共通区域中的、以所述初始光轴中心为中心的区域；以及切分部，其以所述多个拍摄部各自的抖动校正前的初始光轴中心为基准，按照所述尺寸确定部所确定的共通的切分尺寸，从所述多个图像中分别切分出输出用图像。
2.一种拍摄装置，其具有多个拍摄部，其从不同的视点对被拍摄体像进行拍摄；抖动检测部，其对所述拍摄部各自的抖动进行检测；以及抖动校正部，其基于所述抖动检测部检测出的各拍摄部的抖动，对由各拍摄部拍摄的被拍摄体像的抖动进行校正，其中，该拍摄装置具有尺寸确定部，其确定用于从所述多个拍摄部分别取得的图像中切分出输出用图像的切分尺寸，该尺寸确定部针对所述多个拍摄部中的每一个，确定切分候补区域，在此基础上， 基于与所述多个拍摄部对应的切分候补区域的尺寸的最小值，确定使分别来自所述多个拍摄部的图像具有共通的规定高宽比的切分尺寸，其中，所述切分候补区域是包含在不变拍摄区域中的、以所述初始光轴中心为中心的区域，所述不变拍摄区域不依存于与所述多个拍摄部分别对应的所述抖动校正部的抖动校正；以及切分部，其以所述多个拍摄部各自的抖动校正前的初始光轴中心为基准，按照所述尺寸确定部所确定的共通的切分尺寸，从所述多个拍摄部分别切分出输出用图像。
3.根据权利要求2所述的拍摄装置，其中，所述尺寸确定部基于利用与所述多个拍摄部分别对应的所述抖动校正部的抖动校正而得到的、沿铅垂方向和/或水平方向发生了最大限度位移的不同的2个拍摄区域之间的共通区域，针对所述多个拍摄部中的每一个确定所述不变拍摄区域。
4.根据权利要求3所述的拍摄装置，其中，所述尺寸确定部针对所述多个拍摄部的每一个，确定所述抖动校正部对所述多个拍摄部分别至少实施2次抖动校正而得到的、沿所述铅垂方向和/或水平方向发生了最大限度位移的不同的2个拍摄区域之间的共通区域，将针对所述多个拍摄部的每一个确定的共通区域，作为与各拍摄部对应的不变拍摄区域。
5.根据权利要求1至4中任一项所述的拍摄装置，其中，具有图像补充部，其在所述切分部所切分出的输出用图像具有超出规定的切分范围的补充对象区域的情况下，利用相当于所述补充对象区域的所述拍摄部的有效像素区域的图像，对所述补充对象区域进行补充。
6.根据权利要求1至4中任一项所述的拍摄装置，其中，具有颜色补充部，其在所述切分部所切分出的输出用图像具有超出所述拍摄部的规定的切分范围的补充对象区域的情况下，利用规定的颜色对所述补充对象区域进行补充。
7.根据权利要求1至6中任一项所述的拍摄装置，其中，具有全景图像生成部，其通过以所述切分部所切分出的各输出用图像的初始光轴中心为基准对各图像进行合成，从而生成全景图像。
8.根据权利要求1至7中任一项所述的拍摄装置，其中，具有立体匹配运算部，其以所述切分部所切分出的各输出用图像的初始光轴中心为基准而设定极线，通过沿所述极线对各输出用图像的相关性进行运算，从而进行立体匹配。
9.根据权利要求1至8中任一项所述的拍摄装置，其中，具有存储部，其将分别来自所述多个拍摄部的各图像、与各图像的初始光轴中心位置及切分尺寸进行关联而进行存储。
10.根据权利要求1至8中任一项所述的拍摄装置，其中，具有存储部，其将分别从所述多个拍摄部在相同的拍摄时刻取得的各图像所对应的各输出用图像相关联而进行存储。
11.根据权利要求5或6所述的拍摄装置，其中，具有存储部，其将所述输出用图像的补充对象区域的坐标和所述补充对象区域的面积最小的输出用图像的识别信息，与所述输出用图像相关联而进行存储。
12.根据权利要求1至11中任一项所述的拍摄装置，其中，具有视差调整部，其确定所述输出用图像的切分位置，以使得在保持所述输出用图像的切分尺寸的状态下，所述输出用图像之间的视差成为规定的视差量。
13.根据权利要求1至12中任一项所述的拍摄装置，其中，具有输出部，其基于所述切分部所切分出的图像，输出平面图像或者立体图像。
14.根据权利要求1至13中任一项所述的拍摄装置，其中， 具有指定部，其接收放大位置的指定，所述切分部在所述指定部所接收到的放大位置到达从所述图像中切分出所述输出用图像的边界的情况下，与所述放大位置对应地变更切分出所述输出用图像的位置。
15.根据权利要求11所述的拍摄装置，其中，具有平面图像输出部，其基于存储在所述存储部中的识别信息，将所述补充对象区域的面积最小的图像作为平面图像而输出。
16.根据权利要求11或15所述的拍摄装置，其中， 具有颜色补充部，其利用规定的颜色对存储在所述存储部中的补充对象区域进行补充；以及输出部，其基于利用所述颜色补充部补充了颜色的图像，输出平面图像或者立体图像。
17.根据权利要求9所述的拍摄装置，其中，具有全景图像生成部，其以存储在所述存储部中的各图像所对应的初始光轴中心位置及切分尺寸为基准，切分出各输出用图像，在此基础上，通过将各输出图像合成，从而生成全景图像。
18.根据权利要求9所述的拍摄装置，其中，具有立体匹配运算部，其以存储在所述存储部中的各图像所对应的初始光轴中心位置及切分尺寸为基准，切分出各输出图像，在此基础上，以所述初始光轴中心为基准在各输出用图像上设定极线，通过沿所述极线对各输出用图像的相关性进行运算，从而进行立体匹配。
19.一种拍摄方法，其由下述拍摄装置执行，即，该拍摄装置具有多个拍摄部，其从不同的视点对被拍摄体像进行拍摄；抖动检测部，其对所述拍摄部各自的抖动进行检测；以及抖动校正部，其基于所述抖动检测部检测出的各拍摄部的抖动，对由各拍摄部拍摄的被拍摄体像的抖动进行校正，其中，该拍摄方法包含下述步骤，即为了确定用于从所述多个拍摄部分别取得的图像中切分出输出用图像的切分尺寸，基于候补区域的尺寸中最小尺寸的候补区域，确定使从所述多个拍摄部分别取得的多个图像具有共通规定高宽比的切分尺寸，其中，所述候补区域是包含在以所述多个拍摄部各自的抖动校正前的初始光轴中心为基准的规定拍摄区域和所述多个拍摄部各自的抖动校正后的拍摄区域之间的共通区域中的、以所述初始光轴中心为中心的区域；以及以所述多个拍摄部各自的抖动校正前的初始光轴中心为基准，按照所述尺寸确定部所确定的共通的切分尺寸，从所述多个图像中分别切分出输出用图像。
20.一种拍摄方法，其由下述拍摄装置执行，即，该拍摄装置具有多个拍摄部，其从不同的视点对被拍摄体像进行拍摄；抖动检测部，其对所述拍摄部各自的抖动进行检测；以及抖动校正部，其基于所述抖动检测部检测出的各拍摄部的抖动，对由各拍摄部拍摄的被拍摄体像的抖动进行校正，其中，该拍摄方法包含下述步骤，即为了确定用于从所述多个拍摄部分别取得的图像中切分出输出用图像的切分尺寸，而针对所述多个拍摄部中的每一个，确定切分候补区域，在此基础上，基于与所述多个拍摄部对应的切分候补区域的尺寸的最小值，确定使分别来自所述多个拍摄部的图像具有共通的规定高宽比的切分尺寸，其中，所述切分候补区域是包含在不变拍摄区域中的、以所述初始光轴中心为中心的区域，所述不变拍摄区域不依存于与所述多个拍摄部分别对应的所述抖动校正部的抖动校正；以及以所述多个拍摄部各自的抖动校正前的初始光轴中心为基准，按照所述尺寸确定部所确定的共通的切分尺寸，从所述多个拍摄部分别切分出输出用图像。
21.一种程序，其用于使拍摄装置执行权利要求19或20所述的拍摄方法。
22.—种记录介质，其记录权利要求21所述的程序的可由计算机读取的代码。
全文摘要
根据本发明，基于以初始光轴中心为中心的候补区域的尺寸中最小的尺寸，确定使从多个拍摄部分别取得的多个图像具有共通的规定的高宽比的切分尺寸，以多个拍摄部各自的抖动校正前的初始光轴中心为基准，按照尺寸确定部所确定的共通的切分尺寸，从多个图像中分别切分出输出用图像。或者，根据本发明，基于多个拍摄部所对应的不依存于抖动校正的切分候补区域的尺寸的最小值，确定使分别来自多个拍摄部的图像具有共通的规定的高宽比的切分尺寸，以多个拍摄部各自的抖动校正前的初始光轴中心为基准，按照尺寸确定部所确定的共通的切分尺寸，从多个拍摄部中分别切分出输出用图像。由此，可以在抖动校正前后得到保持光轴中心位置不变的输出图像，因此，使用该输出用图像可以实现立体视觉。
文档编号G03B5/00GK102282857SQ201080004735
公开日2011年12月14日 申请日期2010年11月2日 优先权日2010年3月19日
发明者柳田聪司 申请人:富士胶片株式会社