单眼立体摄影装置、摄影方法及程序的制作方法
【专利摘要】本发明能够以适当的立体感进行摄影。在AE/AF/AWB动作之后，对应各像素算出被摄体距离，据此生成表示距离分布的直方图（步骤S12）。基于直方图搜索在对焦距离近侧成为峰值的频率最高的级别（步骤S13），设定包括具有搜索的范围内的被摄体距离的像素的矩形区域（Ln）（步骤S14）。算出矩形区域Ln内含有的平均视差量（Pn）（步骤S15），确认（Pn）是否在视差量（a）和（a－t1）的范围内（步骤S16）。当Pn不在预先设定的视差量（a）和（a－t1）的范围内时，调节光圈值以使（Pn）在视差量（a）和（a－t1）的范围内（步骤S17～19）。同样地，对于远侧也调节光圈值以使平均视差量（Pf）在视差量（b）以下（步骤S20～S25）。
【专利说明】单眼立体摄影装置、摄影方法及程序
【技术领域】
[0001]本发明涉及单眼立体摄影装置、摄影方法及程序，尤其涉及使通过了单一的摄影光学系统的不同区域的被摄体图像分别成像于摄像元件而获取左眼用图像及右眼用图像的单眼立体摄影装置、摄影方法及程序。
【背景技术】
[0002]专利文献I公开了一种单眼立体摄影装置。在该单眼立体摄影装置中，将通过了主镜头及中继透镜的左右方向的不同区域的被摄体图像通过反光镜进行光瞳分割，分别经由成像镜头成像于摄像元件。
[0003]光瞳分割的图像中的对焦的图像在摄像元件上的同一位置成像(一致)，但成为前焦及后焦的图像在摄像元件上的不同位置成像(分离)。因此，通过经由摄像元件获取在左右方向上被光瞳分割的被摄体图像，能够根据被摄体距离获取视差不同的左视点图像及右视点图像，并使用获取的左视点图像及右视点图像显示三维图像。
[0004]专利文献1:日本特表2009-527007号公报
【发明内容】
[0005]发明要解决的问题
[0006]但是，专利文献I所记载的单眼立体摄影装置存在以下问题:有时根据被摄体的距离自动决定立体感而无法成为适当的立体感。
[0007]本发明鉴于这一情况而作出，其目的在于提供能够以适当的立体感进行摄影的单眼立体摄影装置、摄影方法及程序。
[0008]用于解决问题的方法
[0009]为了实现上述目的，本发明的一个方式涉及的单眼立体摄影装置的特征在于具有:单一的摄影光学系统；摄像元件，分别接收通过了摄影光学系统的不同区域的光束而获取多个图像；光圈值能够变更的光圈；距离信息获取单元，基于多个图像，求出多个图像所含的被摄体的距离信息的分布；及控制单元，基于距离信息的分布来控制光圈值，使得成为视差调节对象的图像区域的视差量为预定范围内的视差量。此外，视差量存在个体差异，儿童的情况下，显示器上的视差不超过50mm的视差是预定范围内的视差量。并且，在此所说的“基于多个图像而多个图像所含的被摄体的距离信息”也包括与视差相关的信息。
[0010]根据本发明的一个方式涉及的单眼立体摄影装置，求出分别接收通过了单一的摄影光学系统的不同区域的光束而获得的多个图像所含的被摄体的距离信息的分布，基于距离信息的分布来控制光圈值，使得成为视差调节对象的图像区域的视差量为预定范围内的视差量。由此，能够拍摄适当的视差量的视差图像。
[0011]在本发明的其他方式涉及的单眼立体摄影装置中，也可以是，距离信息获取单元对应基准图像的每个像素算出距离信息，该基准图像为多个图像中的预定的一个图像，并生成直方图，该直方图是第一轴为距离信息、第二轴为像素数的直方图，将距离信息对应每个距离范围分割为多个级别，将算出的距离信息进入各级别范围的像素数作为频数。由此，能够明确哪个被摄体距离的被摄体占有多大程度的比例。
[0012]在本发明的其他方式涉及的单眼立体摄影装置中，也可以是，距离信息获取单元将多个图像中的预定的一个图像即基准图像分割为多个区域，对应分割出的每个区域算出距离信息，并生成直方图，该直方图是第一轴为距离信息、第二轴为区域数的直方图，将距离信息对应每个距离范围分割为多个级别，将算出的距离信息进入各级别范围的区域数作为频数。由此，能够明确哪个被摄体距离的被摄体占有多大程度的比例。
[0013]在本发明的其他方式涉及的单眼立体摄影装置中，也可以是，距离信息获取单元对应基准图像的每个像素算出距离信息，并对应被分割出的每个区域算出区域所含的像素的距离信息的平均值，从而算出多个区域中的每个区域的距离信息。
[0014]在本发明的其他方式涉及的单眼立体摄影装置中，也可以是，距离信息获取单元通过在基准图像与多个图像中的除基准图像以外的图像之间进行模式匹配处理，从而算出距离信息。
[0015]在本发明的其他方式涉及的单眼立体摄影装置中，也可以是，控制单元将直方图中对焦的被摄体的被摄体距离与近侧(靠近相机的方向)的具有峰值的被摄体距离之间和对焦的被摄体的被摄体距离与在远侧(远离相机的方向)具有直方图的峰值的被摄体距离之间中的至少一个作为成为视差调节对象的图像区域来控制光圈值。由此，能够在直方图中适当地调节对焦的被摄体的被摄体距离与近侧的具有峰值的被摄体距离之间和对焦的被摄体的被摄体距离与在远侧具有直方图的峰值的被摄体距离之间中的至少一个。
[0016]在本发明的其他方式涉及的单眼立体摄影装置中，也可以是，控制单元将对焦的被摄体和在对焦的被摄体近侧面积最大的被摄体及对焦的被摄体和在对焦的被摄体远侧面积最大的被摄体的至少一个作为成为视差调节对象的图像区域来控制光圈值。由此，能够适当地调节在对焦的被摄体近侧面积最大的被摄体和在对焦的被摄体远侧面积最大的被摄体、或者对焦的被摄体和在对焦的被摄体近侧面积最大的被摄体的视差量与对焦的被摄体和在对焦的被摄体远侧面积最大的被摄体的视差量中的至少一个。
[0017]在本发明的其他方式涉及的单眼立体摄影装置中，也可以是，控制单元将分割出的多个区域中的直方图的频数为阈值以上的级别所含的区域作为对象来决定成为视差调节对象的图像区域。由此，能够将在图像内仅占有预定范围的被摄体作为对象来决定成为视差调节对象的被摄体。
[0018]在本发明的其他方式涉及的单眼立体摄影装置中，也可以是，控制单元控制光圈值，使对焦的被摄体与成为视差调节对象的图像区域的视差量处于一定值的范围内。由此，能够使飞出方向的视差量、进深方向的视差量中的至少一个适当。
[0019]在本发明的其他方式涉及的单眼立体摄影装置中，也可以是，距离信息获取单元根据图像的位置赋予不同的权重而算出距离信息。由此，能够拍摄更符合摄影者意图的立体感的视差图像。
[0020]在本发明的其他方式涉及的单眼立体摄影装置中，也可以是，摄影光学系统包括聚焦镜头，控制单元使聚焦镜头移动，使得成为视差调节对象的图像区域的视差为预定范围内的视差量。由此，即使在仅通过光圈值无法彻底调节的情况下，也能够调节视差量。
[0021]在本发明的其他方式涉及的单眼立体摄影方法中，其特征在于包括以下步骤:分别接收通过了单一的摄影光学系统的不同区域的光束而获取多个图像；基于多个图像，求出多个图像所含的被摄体的距离信息的分布；及基于距离信息的分布来控制光圈的光圈值，使得成为视差调节对象的图像区域的视差量为预定范围内的视差量。
[0022]在本发明的其他方式涉及的程序中，其特征在于，使运算装置执行以下步骤:分别接收通过了单一的摄影光学系统的不同区域的光束而获取多个图像；基于多个图像，求出多个图像所含的被摄体的距离信息的分布；及基于距离信息的分布来控制光圈的光圈值，使得成为视差调节对象的图像区域的视差量为预定范围内的视差量。
[0023]发明效果
[0024]根据本发明，能够以适当的立体感进行摄影。
【专利附图】
【附图说明】
[0025]图1是立体摄影装置的框图。
[0026]图2是表示相位差图像传感器的构成例的图。
[0027]图3主要是表示第二像素的逐个像素的图。
[0028]图4A及图4B是图3的要部放大图。
[0029]图5是表示被摄体距离和视差量的关系的图。
[0030]图6是表示第一实施方式中的视差量调节处理的流程的流程图。
[0031 ] 图7是摄影对象的一例。
[0032]图8是区域分割的一例。
[0033]图9是表示拍摄了图7的被摄体时的距离分布的直方图。
[0034]图10是基准图像数据的一例。
[0035]图11是表示第二实施方式中的视差量调节处理的流程的流程图。
[0036]图12是表示第二实施方式中的距离信息的分布的直方图。
[0037]图13是表示第三实施方式中的视差量调节处理的流程的流程图。
[0038]图14是加权的一例。
[0039]图15是表示第三实施方式中的距离信息的分布的直方图。
[0040]图16是表示第四实施方式中的视差量调节处理的流程的流程图。
[0041]图17是表示被摄体距离和视差量的关系的图。
[0042]图18是表示第五实施方式中的视差量调节处理的流程的流程图。
[0043]图19是表示对焦位置变更时的被摄体距离和视差量的关系的图。
【具体实施方式】
[0044]以下，参照附图详细说明用于实施本发明涉及的摄影装置的最佳方式。
[0045](第一实施方式)
[0046](摄影装置的构成说明)
[0047]图1是表示本发明涉及的单眼立体摄影装置10的实施方式的框图。该单眼立体摄影装置10是通过摄像元件接收通过了镜头的光、将其转换为数字信号并记录到存储介质的数字相机，装置整体的动作由中央处理装置(CPU) 40统一控制。
[0048]在单眼立体摄影装置10设有快门按钮、模式转盘、重放按钮、菜单/OK键、十字键、返回键等操作部38。来自该操作部38的信号输入到CPU40，CPU40基于输入信号控制单眼立体摄影装置10的各电路，例如进行镜头驱动控制、光圈驱动控制、摄影动作控制、图像处理控制、图像数据的记录/重放控制、立体显示用的液晶监视器30的显示控制等。
[0049]快门按钮是输入开始摄影的指示的操作按钮，由具有半按时接通的SI开关、全按时接通的S2开关的两段行程式开关构成。模式转盘是选择以下模式的选择单元:二维摄影模式、三维摄影模式、自动摄影模式、手动摄影模式、人物、风景、夜景等场景定位、微距模式、动画模式、本发明涉及的视差优先摄影模式。
[0050]重放按钮是用于切换到使拍摄记录的三维图像、二维图像的静止图像或动画显示于液晶监视器30的重放模式的按钮。菜单/OK键是兼具以下功能的操作键:作为用于进行在液晶监视器30的画面上显示菜单的指令的菜单按钮的功能；及作为指示选择内容的确定及执行等的OK按钮的功能。十字键是输入上下左右4个方向的指示的操作部，作为从菜单画面选择项目或从各菜单指示各种设定项目的选择的按钮(光标移动操作单元)而发挥功能。并且，十字键的上/下键作为摄影时的变焦开关或者重放模式时的重放变焦开关而发挥功能，左/右键作为重放模式时的逐帧播放(正向/反向播放)按钮而发挥功能。返回键在选择项目等所需对象的删除、指示内容的取消或返回到前一操作状态时等使用。
[0051]在摄影模式时，表示被摄体的图像光经由包括聚焦镜头、变焦镜头的摄影光学系统、光圈14，成像于作为固体摄像元件的相位差(XD16的受光面。
[0052]摄影光学系统12由CPU40所控制的镜头驱动部36驱动，进行聚焦控制、变焦控制
坐寸ο
[0053]光圈14例如由5个光圈叶片构成，由CPU40所控制的光圈控制部34驱动，例如，光圈值Fl.4~Fll以IAV刻度六级地进行光圈控制。并且，CPU40经由CXD控制部32进行相位差CCD16中的电荷蓄积时间(快门速度)、来自相位差CCD16的图像信号的读出控制
坐寸ο
[0054]图2是表示相位差(XD16 (单眼三维图像元件)的构成例的图。
[0055]相位差(XD16分别具有排列成矩阵状的奇数行像素(第一像素)和偶数行像素(第二像素)，能够将在主要是第二像素中分别进行光电转换后的2个面的图像信号独立地读出。
[0056]如图2所示，在相位差(XD16的奇数行(1、3、5……)中，在具有R (红)、G (绿)、B(蓝)的滤色器的像素中，GRGR……的像素排列的行和BGBG……的像素排列的行交替设置，
另一方面，偶数行(2、4、6......)的像素和奇数行一样，GRGR......的像素排列的行和BGBG......的像素排列的行交替设置，并且相对于偶数行的像素，像素彼此以二分之一的间距在行方向上错开配置。
[0057]图3是表不摄影光学系统12、光圈14及相位差(XD16的第一像素F*Da、第二像素PDb的逐个像素的图，图4A及图4B是图3的要部放大图。
[0058]如图4A所示，在普通的(XD像素(光电二极管H))中，通过射出光瞳的光束经由微透镜不受限制地入射。
[0059] 与之相对，如图4B所示，在相位差CXD的第一像素PDa及第二像素TOb中形成遮光部件16A，通过该遮光部件16A，第一像素H)a、第二像素I3Db的受光面的右半部分或左半部分被遮光。即，遮光部件16A具有作为光瞳分割部件的功能。[0060]此外，上述构成的相位差(XD16在第一像素PDa和第二像素PDb中，以因遮光部件16A而限制了光束的区域(右半部分、左半部分)不同的方式构成，但不限于此，也可以不设置遮光部件16A，使微透镜L和光电二极管H) (PDa, PDb)相对地沿左右方向错开，通过该错开的方向来限制入射到光电二极管H)的光束，并且也可以通过相对于两个像素(第一像素和第二像素)设置一个微透镜来限制入射到各像素的光束。
[0061]返回到图1，相位差CCD16中蓄积的信号电荷基于从CCD控制部32施加的读出信号，作为与信号电荷对应的电压信号被读出。从相位差CCD16读出的电压信号施加到模拟信号处理部18，在此各像素的R、G、B信号被采样保持，由从CPU40指定的增益(相当于ISO感光度)放大后，施加到A/D转换器20。A/D转换器20将依次输入的R、G、B信号转换为数字的R、G、B信号，输出到图像输入控制器22。
[0062]数字信号处理部24对经由图像输入控制器22输入的数字的图像信号进行偏移处理、包括白平衡校正及感光度校正在内的增益/控制处理、伽玛校正处理、去马赛克算法处理、YC处理、锐度校正等预定的信号处理。
[0063]并且，EEPR0M56是存储有相机控制程序、相位差(XD16的缺陷信息、图像处理等中使用的各种参数、表格、程序线图、本发明涉及的多个视差优先程序线图等的非易失性存储器。
[0064]在此，如图2 (B)及(C)所示，从相位差(XD16的奇数行的第一像素读出的基准图像数据作为左视点图像被处理，从偶数行的第二像素读出的参照图像数据作为右视点图像数据被处理。
[0065]由数字信号处理部24处理的左视点图像数据及右视点图像数据(三维图像数据)输入到VRAM50。VRAM50中含有分别存储表示I帧三维图像的三维图像数据的A区域和B区域。在VRAM50中，表示I帧三维图像的三维图像数据在A区域和B区域中被交替改写。VRAM50的A区域及B区域中，从三维图像数据被改写的区域以外的区域读出写入的三维图像数据。从VRAM50读出的三维图像数据在视频编码器28中被编码，输出到设于相机背面的立体显示用的液晶监视器30 (IXD)，由此，三维的被摄体图像显示于液晶监视器30的显示画面上。
[0066]该液晶监视器30是能够将立体图像(左视点图像及右视点图像)通过视差屏障分别作为具有预定的指向性的指向性图像显示的立体显示单元，但不限于此，也可以是使用柱面透镜的装置，或通过使用偏光眼镜、液晶快门眼镜等专用眼镜而能够分别观察左视点图像和右视点图像的装置。
[0067]并且，当存在操作部38的快门按钮2的第一阶段的按下(半按)时，相位差(XD16开始AF动作及AE动作，以经由镜头驱动部36使摄影光学系统12内的聚焦镜头移动到对焦位置的方式进行控制。并且，在快门按钮半按时，从A/D转换器20输出的图像数据被取入到AE/AWB检测部44。
[0068]AE/AWB检测部44累计画面整体的G信号，或者累计在画面中央部和周边部进行了不同加权的G信号，将该累计值输出到CPU40。CPU40根据从AE/AWB检测部44输入的累计值算出被摄体的亮度(摄影EV值)，基于该摄影EV值，按照预定的程序线图决定光圈14的光圈值及相位差CCD16的电子快门(快门速度)，基于该决定的光圈值，经由光圈驱动部34控制光圈14，并且基于决定的快门速度，经由CCD控制部32控制相位差CCD16中的电荷蓄积时间。
[0069]并且，AE/AWB检测部44将I个画面分割为多个区域(例如16 X 16)，对应分割出的每个区域算出R、G、B图像信号的各颜色的平均累计值作为AWB控制所需的物理量。CPU40根据获得的R的累计值、B的累计值、G的累计值，对应每个分割区域求出R/G及B/G的比，基于求出的R/G、B/G的值在R/B、B/G的颜色空间中的分布等，进行光源种类判别。按照适于判别出的光源种类的白平衡调节值，决定相对于白平衡调节电路的R、G、B信号的增益值(白平衡校正值)，使得例如各比值大约为1(即，在I个画面中RGB的累计比率为R:G:B=1:1:1)。
[0070]AF控制部42是进行对比度AF处理或相位差AF处理的部分。在进行对比度AF处理时，提取左视点图像数据及右视点图像数据中的至少一个图像数据中的预定的聚焦区域(以下称为AF区域)内的图像数据的高频成分，通过对该高频成分进行积分，算出表示对焦状态的AF评价值。通过控制摄影光学系统12内的聚焦镜头来进行AF控制，使得该AF评价值变得极大。此外，AF评价值的运算可以利用G信号，也可以利用亮度信号(Y信号)等其他图像信号。并且，在进行相位差AF处理时，检测出左视点图像数据及右视点图像数据中的与预定的AF区域内的第一像素、第二像素对应的图像数据的相位差，基于表示该相位差的信息求出离焦量。通过控制摄影光学系统12内的聚焦镜头来进行AF控制，使得该离焦量变为O。AF区域例如设定于画面中央部，但也可以将画面整体作为AF区域，还可以将所需的被摄体(例如脸部)的附近区域作为AF区域。此外，检测脸部的方法是公知的，因此省略说明。
[0071]在单眼立体摄影装置10中，对焦的图像成像于相位差(XD16上的同一位置(一致)，因此视差量为0，但未对焦的图像成像于相位差CXD上的不同位置，因此产生与被摄体的距离对应的视差量。图5是表示到被摄体的距离(以下称为被摄体距离)和视差的关系的图表，是位于Im位置的被摄体对焦时的不同的F值的图表。当F值相同时，若比较位于3m位置的被摄体的视差量和位于IOm的被摄体的视差量，则与位于3m位置的被摄体的视差量a相比，位于IOm的被摄体的视差量b较大。因此，根据被摄体距离，会产生视差量不适当的情况。当视差量为一定量以上时，变得难以观察，当视差量为一定量以下时，难以获得立体感，因此通过改变F值来进行控制使得成为最佳的视差量。
[0072]此外，在图5中，视差量O是指没有视差，即显示于液晶监视器30表面的位置上。并且，视差量+是指从液晶监视器30表面向进深方向的视差，视差量一是指从液晶监视器30表面向飞出方向(近前侧)的视差。
[0073]即使是相同的被摄体距离，根据F值，视差量也会不同。当减少入射到相位差CCD16的光束、即增大F值时，对焦的被摄体距离的范围变大。与之相对，当增加入射到相位差CCD16的光束、即减小F值时，对焦的被摄体距离的范围变小。因此，如图5所示，F值越大，则图形形状越平滑，即基准图像和参照图像的视差量变小。并且，F值越小，则图形形状越陡峭，即基准图像和参照图像的视差量变大。
[0074]此外，图5中是位于Im位置的被摄体对焦的情况，但例如在位于3m位置的被摄体对焦时，将图5的图形向右平行移动使得在3m处使横轴交叉。
[0075]当AE动作及AF动作结束、存在快门按钮的第二阶段的按下(全按)时，与该按下响应，从A/D转换器20输出的第一像素及第二像素所对应的左眼用图像(基准图像)及右眼用图像(参照图像)的2张图像数据从图像输入控制器22输入到存储器(SDRAM)，被暂时存储。[0076]被暂时存储于存储器48中的两张量的图像数据由数字信号处理部24适当读出，在此进行包括图像数据的亮度数据及色差数度的生成处理(YC处理)在内的预定的信号处理。被YC处理后的图像数据(YC数据)再次存储于存储器48中。接着，2张YC数据分别输出到压缩扩展处理部26,在执行了 JPEG (joint photographic experts group:联合图像专家组)等预定的压缩处理后，再次存储于存储器48中。
[0077]根据存储器48中存储的两张量的YC数据(压缩数据)生成多图像文件(MP文件:将多个图像连接的形式的文件)，该MP文件由媒体控制器52读出，记录到存储卡54中。
[0078]此外，AF动作不仅在存在快门按钮2的第一阶段的按下(半按)时进行，而且也在连续拍摄左眼用图像及右眼用图像2张图像数据、即右眼用图像数据、左眼用图像数据时进行。连续拍摄右眼用图像数据、左眼用图像数据的情况列举例如拍摄实时取景图像(实时取景图像)的情况或拍摄动画的情况。在这种情况下，AF处理部42进行下述连续性AF:在连续拍摄右眼用图像数据、左眼用图像数据的期间，反复进行AF评价值的运算或相位差的检测，连续控制聚焦镜头位置。
[0079](摄影装置的动作说明)
[0080]接着，说明单眼立体摄影装置10的动作。该摄像处理由CPU40控制。用于使CPU40执行该摄像处理的程序存储于CPU40内的程序存储部中。
[0081]通过了摄影光学系统12的被摄体光经由光圈14成像于相位差(XD16的受光面。通过CXD控制部32，相位差(XD16的第一像素及第二像素中蓄积的信号电荷作为与信号电荷对应的电压信号(图像信号)，以预定的帧率被依次读出，经由模拟信号处理部18、A/D转换器20、图像输入控制器22依次输入到数字信号处理部24，依次生成左眼用图像数据及右眼用图像数据。生成的左眼用图像数据及右眼用图像数据依次输入到VRAM50。
[0082]CPU40基于左眼用图像数据及右眼用图像数据，经由光圈驱动部34变更作为光圈14的开口量的光圈值(F值)。并且，CPU40根据来自操作部38的输入，经由镜头驱动部36进行变焦。
[0083]摄影者通过观察该液晶监视器30上实时显示的图像(实时取景图像)，能够确认摄影视角。
[0084]当快门按钮被半按时，SI接通信号输入到CPU40，CPU40经由AF处理部42及AE/AffB检测部44实施AE/AF/AWB动作。
[0085]图6是表示在AE/AF/AWB动作后控制光圈值(F值)使得距摄影者最近的被摄体和距摄影者最远的被摄体的视差量变得适当的视差量调节处理的流程的流程图。该处理主要由CPU40进行。
[0086]CPU40判断AF处理是否结束(步骤S10)。当未结束时(步骤SlO中“否”)，再次进行步骤SlO。
[0087]当AF处理结束时(步骤SlO中“是”)，求出对焦的被摄体的被摄体距离(步骤S11)。对焦的被摄体的被摄体距离能够根据聚焦镜头的位置算出。由此，确定了图5所示的表示距离和视差量的关系的图表。
[0088]CPU40生成距离频率的直方图(步骤S12)。以拍摄图7所示的被摄体的情况为例来说明步骤S12的处理。
[0089]首先，CPU40对应基准图像数据(或者参照图像数据，下同)的各像素算出被摄体距离。被摄体距离能够根据在基准图像和参照图像之间进行模式匹配处理而获得的相位差来求出。并且，也能够通过对应各像素进行分割测距来求出。
[0090]CPU40也作为距离信息获取单元而发挥功能，使用生成的数据来生成直方图。图9
(8)是拍摄了图7所示的被摄体时的直方图。横轴是被摄体距离，被分为多个级别。并且，纵轴是算出的每个像素的被摄体距离进入各级别范围的像素数。由此，能够获得被摄体距离的偏差、哪个被摄体距离的被摄体占有多大程度的比例即被摄体的距离信息的分布。在图7所示的被摄体的情况下，可知主要由对焦位置(人A)、近距离的被摄体(花B)、远距离的被摄体(背景C)这三个构成。
[0091]此外，直方图的生成方法不限于此。例如也可以是，如图8 (9)所示，将基准图像数据分割为多个区域，将对应每个像素算出的被摄体距离的平均值对应每个区域算出，从而生成作为直方图的基础的数据，基于该数据生成直方图。在这种情况下，纵轴是算出的平均值进入各级别范围的区域数。横轴是被摄体距离。并且，区域的被摄体距离可以基于对应每个像素算出的被摄体距离计算，也可以基于区域的相位差计算。区域的相位差能够通过在基准图像数据、参照图像数据之间进行模式匹配来计算。
[0092]CPU40基于直方图搜索在对焦距离(对焦的被摄体的被摄体距离)近侧(靠近相机的方向)成为峰值的频率最高的级别(步骤S13)。在图9所示的情况下是α。CPU40从基准图像数据及参照图像数据中选择具有在步骤S13中搜索的范围内的被摄体距离的像素，设定包括该像素的矩形区域Ln (步骤S14)。由此，作为视差调节的对象，设定最近的被摄体。当将拍摄了图7所示的被摄体的第一像素数据作为图10时，在图10中，设定包括图9的α的被摄体距离范围内的像素的矩形区域La。通过设定矩形区域并将运算的区域限定于特定范围内，能够缩短运算时间。
[0093]CPU40计算在步骤S14中设定的矩形区域Ln所含的各像素的视差量的平均值(平均视差量)Pn (步骤S15)。视差量是第一像素数据和第二像素数据的对象像素的偏移量，以像素数表示。例如，在第一像素数据中的花的中心和第二像素数据中的花的中心偏移了5个像素时，视差量是5个像素。此外，Pn通过视差量的绝对值求出。
[0094]CPU40确认在步骤S15中算出的Pn是否在预先设定的视差量a和a — tl的范围内(步骤S16)。即，确认对焦的被摄体和最近的被摄体的视差量是否在一定的视差量a和a — tl的范围内。该视差量a设定为立体视图融合范围内的预定值。立体视图融合范围内是指图像视听者能够舒适地立体观察的视差量，处于不会变为过大视差、离散视差的范围。它们主要根据立体显示装置的画面尺寸、视听距离等条件设定。
[0095]在Pn不在预先设定的视差量a和a — tl的范围内的情况下(步骤S16中“否”)，当Pn小于视差量a — tl时，处于视差量过小、无法获得适当的立体感的情况，因此CPU40经由光圈驱动部34将光圈14开大一级，增大视差量(步骤S17)。并且，在Pn不在预先设定的视差量a和a — tl的范围内的情况下(步骤S16中“否”)，当Pn大于视差量a时，处于立体感过强的情况，因此CPU40经由光圈驱动部34将光圈14关小一级，减小视差量(步骤S18)。
[0096]其结果为，判断光圈14是否为临界光圈值(步骤S19)。当不是临界光圈值时(步骤S19中“否”)，能够进行视差量的调节，因此返回到步骤S15，再次进行视差量的确认。
[0097]当Pn在预先设定的视差量a和a — tl的范围内时(步骤S16中“是”)及是临界光圈值时(步骤S19中“是”)，CPU40基于直方图搜索在对焦距离远侧(离开相机的方向)成为峰值的频率最高的级别(步骤S20)。在图9所示的情况下是β。CPU40从基准图像数据及参照图像数据中选择具有在步骤S20中搜索的范围内的被摄体距离的像素，设定包括该像素的矩形区域Lf (步骤S21)。由此，作为视差调节的对象设定最远的被摄体。当将拍摄了图7所示的被摄体的第一像素数据作为图10时，在图10中，设定了包括图9 β的被摄体距离范围内的像素的矩形区域Lβ。
[0098]CPU40计算在步骤S21中设定的矩形区域Lf所含的各像素的视差量的平均值(平均视差量)Pf (步骤S22)。视差量的计算与步骤S15相同。此外，Pf通过视差量的绝对值求出。CPU40确认在步骤S22中算出的Pf是否为预先设定的视差量b以下(步骤S23)。SP，确认对焦的被摄体和最远被摄体的视差量是否为视差量b以下。该视差量b设定为立体视图融合范围内的预定值。
[0099]当Pf不为预先设定的视差量b以下时(步骤S23中“否”)，处于立体感过强的情况，因此为了减小视差量，经由光圈驱动部34将光圈14的光圈值关小一级(步骤S24)。其结果为，判断光圈14是否为临界光圈值(步骤S25)。当不是临界光圈值时(步骤S25中“否”)，能够进行视差量的调节，因此返回到步骤S22，再次进行视差量的确认。
[0100]当Pf为预先设定的视差量b以下时(步骤S23中“是”)及是临界光圈值时(步骤S25中“是”)，结束视差量调节处理。
[0101]由此，能够使图9的α和β的视差量、即最近的被摄体和最远的被摄体的视差量在预定范围内。此外，视差量的光圈的变化量在距离越近时变动越大，因此在本实施方式中，优先调节近距离侧的视差。
[0102]之后，当快门按钮被全按时，向CPU40输入S2接通信号，CPU40开始摄影、记录处理。g卩，以基于测光结果决定的快门速度、光圈值来曝光相位差CCD16。
[0103]从相位差(XD16的第一像素、第二像素分别输出的两张量的图像数据经由模拟处理部60、A/D转换器20、图像输入控制器22被取入到VRAM50，在图像信号处理部64中转换为亮度/色差信号后，存储于VRAM50中。VRAM50中存储的左眼用图像数据施加到压缩扩展处理部26，在按照预定的压缩格式(例如JPEG格式)压缩后，存储于VRAM50中。
[0104]根据VRAM50中存储的两张量的压缩数据生成MP文件，该MP文件经由媒体控制器2记录到存储卡54中。由此,立体图像被拍摄、记录。
[0105]此外，在本实施方式中，以拍摄立体图像的情况为例进行了说明，但单眼立体摄影装置10能够拍摄二维图像、立体图像两者。在拍摄二维图像时，仅使用相位差(XD16的第一像素进行摄影即可。关于摄影处理的详情与拍摄立体图像时一样，因此省略说明。
[0106]如上所述，存储卡54中记录的图像通过重放按钮将单眼立体摄影装置10的模式设定为重放模式，从而能够在液晶监视器30中重放显示。
[0107]当设定为重放模式时，CPU40向媒体控制器52输出命令，读出存储卡54中最后记录的图像文件。
[0108]读出的图像文件的压缩图像数据被提供给压缩扩展处理部26，在被扩展为非压缩的亮度/色差信号后，经由视频编码器28输出到液晶监视器30。
[0109]图像的逐帧播放通过十字键的左右键操作来进行，当十字键的右键被按下时，下一图像文件从存储卡54中读出，重放显示于液晶监视器30。并且，当十字键的左键被按下时，前一个图像文件从存储卡54读出，重放显示于液晶监视器30。
[0110]基于本实施方式，能够使距摄影者最远的被摄体和最近的被摄体的视差量适当。
[0111]此外，在本实施方式中，先调节近的被摄体的视差量Pn，之后调节远的被摄体的视差量Pf.，但也可以先调节远的被摄体的视差量，之后调节近的被摄体的视差量。
[0112](第二实施方式)
[0113]在本发明的第一实施方式中，使距摄影者最远的被摄体和最近的被摄体的视差量适当，但作为使视差量适当的对象的被摄体(成为视差调节对象的被摄体)不限于此。
[0114]本发明的第二实施方式是以下方式:在基准图像、参照图像各自的图像内，仅以占有预定范围的被摄体为对象来决定成为视差调节对象的被摄体。以下，说明第二实施方式涉及的单眼立体摄影装置10-1。此外，对与第一实施方式相同的部分省略说明。
[0115]图11是表示在AE/AF/AWB动作后在基准图像、参照图像各自的图像内在占有预定范围的被摄体中控制F值使得距摄影者最近的被摄体和距摄影者最远的被摄体的视差量变得适当的视差量调节处理的流程的流程图。该处理主要通过CPU40进行。
[0116]CPU40判断AF处理是否结束(步骤S10)。在未结束时(步骤SlO中“否”)，再次进行步骤S10。在AF处理结束时(步骤SlO中“是”)，求出对焦的被摄体的被摄体距离(步骤Sn)。
[0117]CPU40生成作为距离信息的分布的距离频率的直方图(步骤S12)。也作为基于距离信息的分布通过光圈值控制成为视差调节对象的图像区域的视差量的控制单元而发挥功能的CPU40从直方图的频数为阈值以上的级别中，搜索在对焦距离及其近侧(靠近相机的方向)成为峰值的频率最高的级别(步骤S30)。当在步骤S12中生成的直方图是图12时，对焦的被摄体(人A)为阈值以上，但在对焦距离近侧不存在直方图的阈值以上的等级。因此，CPU40将人A的等级Y作为搜索结果。直方图的频数为阈值以上的等级是指在基准图像、参照图像各自的图像内占有预定的范围。因此，通过限定为直方图的频数是阈值以上的等级，能够将拍摄到的范围小的被摄体从成为视差调节对象的被摄体中排除。在图12所示的例子中，判断为花B的区域作为拍摄的范围较小，从成为视差调节对象的被摄体中排除。此外，阈值可以使用预先设定的值，也可以由摄影者经由操作部38变更，还可以由CPU40自动设定成例如使3个级别超过阈值。
[0118]CPU40从基准图像数据及参照图像数据中选择具有在步骤S30中搜索的范围内的被摄体距离的像素，设定包括该像素的矩形区域Ln (步骤S31)。CPU40算出在步骤S14中设定的矩形区域Ln中含有的各像素的视差量的平均值(平均视差量)Pn (步骤S15)。
[0119]CPU40确认在步骤S15中算出的Pn是否在预先设定的视差量a和a — tl的范围内(步骤S16)。该视差量a设定为立体视图融合范围内的预定值。
[0120]在Pn不在预先设定的视差量a和a — tl的范围内的情况下(步骤S16中“否”)，当Pn小于视差量a — tl时，处于视差量过小、无法获得适当的立体感的情况，因此CPU40经由光圈驱动部34将光圈14开大一级，增大视差量(步骤S17)。并且，在Pn不在预先设定的视差量a和a — tl的范围内的情况下(步骤S16中“否”)，当Pn大于视差量a时，处于立体感过强的情况，因此CPU40经由光圈驱动部34将光圈14关小一级，减小视差量(步骤S18)。
[0121]其结果为，判断光圈14是否为临界光圈值(步骤S19)。当不是临界光圈值时(步骤S19中“否”)，能够进行视差量的调节，因此返回到步骤S15，再次进行视差量的确认。
[0122]当Pn在预先设定的视差量a和a — tl的范围内时(步骤S16中“是”)及是临界光圈值时(步骤S19中“是”)，CPU40从直方图的频数在阈值以上的频数中，搜索在对焦距离及其远侧(离开相机的方向)成为峰值的频率最高的级别(步骤S32)。在图12所示的情况下是β。
[0123]CPU40从基准图像数据及参照图像数据中选择具有在步骤S31中搜索的范围内的被摄体距离的像素，设定包括该像素的矩形区域Lf (步骤S33)。
[0124]CPU40计算在步骤S21中设定的矩形区域Lf中包含的各像素的视差量的平均值(平均视差量)Pf (步骤S22)。视差量的计算和与骤S15相同。CPU40确认在步骤S22中算出的Pf是否为预先设定的视差量b以下(步骤S23)。该视差量b设定为立体视图融合范围内的预定值。
[0125]当Pf不为预先设定的视差量b以下时(步骤S23中“否”)，处于立体感过强的情况，因此为了减小视差量，经由光圈驱动部34将光圈14的光圈值关小一级(步骤S24)。其结果为，判断光圈14是否为临界光圈值(步骤S25)。当不是临界光圈值时(步骤S25中“否”)，能够进行视差量的调节，因此返回到步骤S22，再次进行视差量的确认。
[0126]当Pf为预先设定的视差量b以下时(步骤S23中“是”)及是临界光圈值时(步骤S25中“是”)，结束视差量调节处理。由此，能够使图12的Y和β的视差量在预定的范围内。
[0127]根据本实施方式，将拍摄到的范围小的被摄体从成为视差调节对象的被摄体中排除，从而能够在拍摄到的图像内从一定比例以上的被摄体中设定成为视差调节对象的被摄体，使这些被摄体间的视差量是适当的视差量。因此，能够拍摄更适当的立体感的视差图像。
[0128]此外，在本实施方式中，在处理的途中阈值不变更，但也可以在阈值过高、视差调节对象难以观察等情况下调整阈值。阈值的调整可以由CPU40自动进行，也可以由摄影者指示。
[0129]并且，在本实施方式中，在步骤S30、S32中，从直方图的频数为阈值以上的等级中，搜索在对焦距离及其近侧或远侧成为峰值的频率最高的等级，作为成为视差调节对象的被摄体，但成为视差调节对象的被摄体不限于此。例如，也可以从直方图的频数为阈值以上的等级中搜索最近侧或最远侧的级别，作为视差对象的被摄体。在图12中，位于等级β右一处的级别成为视差对象的被摄体。
[0130](第三实施方式)
[0131]在本发明的第一实施方式中，使距摄影者最远的被摄体和最近的被摄体的视差量适当，但作为使视差量适当的对象的被摄体(成为视差调节对象的被摄体)不限于此。
[0132]本发明的第三实施方式是方式。以下，说明第三实施方式涉及的单眼立体摄影装置10-2。此外,对与第一实施方式相同的部分省略说明。
[0133]图13是表示在AE/AF/AWB动作后控制F值使得成为视差调节对象的被摄体间的视差量变得适当的视差量调节处理的流程的流程图。该处理主要通过CPU40进行。
[0134]CPU40判断AF处理是否结束(步骤S10)。在未结束时(步骤SlO中“否”)，再次进行步骤S10。在AF处理结束时(步骤SlO中“是”)，求出对焦的被摄体的被摄体距离(步骤sii)。
[0135]CPU40进行与像素位置对应的加权，生成距离频率的直方图(步骤S40)。以下，说明步骤S40的处理。
[0136]首先，CPU40与步骤S12 —样，对应基准图像数据的每个像素算出被摄体距离。接着，CPU40与步骤S12 —样，如图8所示将基准图像数据分割为多个区域，对应每个区域算出对应每个像素算出的被摄体距离的合计值。最后，CPU40根据各区域的位置赋予权重，生成作为直方图的基础的数据。在本实施方式中，如图14所示，图像的上侧加大权重，随着向下侧移动而减小权重。例如进行以下处理:通常频率是1，当加大权重例如为2倍时频率为2，当减小权重例如为一半时频率是0.5。在被摄体距离比对焦距离近的一侧，视差量易于变大，因此当存在被摄体距离近的被摄体时，立即进行减小视差量的控制。因此，通过加大认为远距离被摄体较多的图像的上侧的权重，生成对远距离的被摄体进行加权的数据。
[0137]CPU40使用加权后的数据生成直方图。图15表示生成的直方图。横轴是被摄体距离，纵轴是被摄体距离的合计值包含于各被摄体距离范围内的的区域的频数。与对相同的被摄体不进行加权而生成的直方图即图9相比，可知与人A及背景C相当的级别的频数变多。
[0138]CPU40基于直方图搜索在对焦距离(对焦的被摄体的被摄体距离)近侧(靠近相机的方向)成为峰值的频率最高的级别(步骤S13)。CPU40从基准图像数据及参照图像数据中选择具有在步骤S13中搜索的范围内的被摄体距离的像素，设定包括该像素的矩形区域Ln(步骤S14)。CPU40计算在步骤S14中设定的矩形区域Ln中包含的各像素的视差量的平均值(平均视差量)Pn (步骤S15)。
[0139]CPU40确认在步骤S15中算出的Pn是否在预先设定的视差量a和a — tl的范围内(步骤S16)。该视差量a设定为立体视图融合范围内的预定值。
[0140]在Pn不在预先设定的视差量a和a — tl的范围内的情况下(步骤S16中“否”)，当Pn小于视差量a — tl时，处于视差量过小、无法获得适当的立体感的情况，因此CPU40经由光圈驱动部34将光圈14开大一级，增大视差量(步骤S17)。并且，在Pn不在预先设定的视差量a和a — tl的范围内的情况下(步骤S16中“否”)，当Pn大于视差量a时，处于立体感过强的情况，因此CPU40经由光圈驱动部34将光圈14关小一级，减小视差量(步骤S18)。
[0141]其结果为，判断光圈14是否为临界光圈值(步骤S19)。当不是临界光圈值时(步骤S19中“否”)，能够进行视差量的调节，因此返回到步骤S15，再次进行视差量的确认。
[0142]当Pn在预先设定的视差量a和a — tl的范围内时(步骤S16中“是”)及是临界光圈值时(步骤S19中“是”)，CPU40基于直方图搜索在对焦距离远侧(离开相机的方向)成为峰值的频率最高的级别(步骤S20)。CPU40从基准图像数据及参照图像数据中选择具有在步骤S20中搜索的范围内的被摄体距离的像素，设定包括该像素的矩形区域Lf (步骤S21)。
[0143]CPU40计算在步骤S21中设定的矩形区域Lf中包含的各像素的视差量的平均值(平均视差量)Pf (步骤S22)。视差量的计算与步骤S15相同。CPU40确认在步骤S22中算出的Pf是否为预先设定的视差量b以下(步骤S23)。该视差量b设定为立体视图融合范围内的预定值。
[0144]当Pf不为预先设定的视差量b以下时(步骤S23中“否”)，处于立体感过强的情况，因此为了减小视差量，经由光圈驱动部34将光圈14的光圈值关小一级(步骤S24)。其结果为，判断光圈14是否为临界光圈值(步骤S25)。当不是临界光圈值时(步骤S25中“否”)，能够进行视差量的调节，因此返回到步骤S22，再次进行视差量的确认。
[0145]当Pf为预先设定的视差量b以下时(步骤S23中“是”)及是临界光圈值时(步骤S25中“是”)，结束视差量调节处理。由此，能够使图12的Y和β的视差量处于预定的范围内。
[0146]根据本实施方式，根据像素位置赋予权重并生成距离信息的分布，从而能够拍摄更符合摄影者意图的立体感的视差图像。
[0147]此外，在本实施方式中，通过加大认为是远距离的被摄体较多的图像上侧的权重，生成对远距离的被摄体赋予了权重的数据并生成直方图，但加权方法不限于此，摄影者能够经由操作部38等任意设定。例如，可以加大认为是重要的被摄体正被拍摄的图像的中央的权重。
[0148]并且，在本实施方式中，根据位置赋予权重并生成直方图，并控制光圈值以使最近的被摄体和最远的被摄体的视差量变得适当，但也可以是，根据位置赋予权重，对直方图限定频数为阈值以上的等级，设定成为视差调节对象的被摄体并控制光圈值。
[0149](第四实施方式)
[0150]在本发明的第一实施方式中，使距摄影者最远的被摄体和最近的被摄体的视差量适当，但作为使视差量适当的对象的被摄体(成为视差调节对象的被摄体)不限于此。
[0151]本发明的第四实施方式是以下方式:以对焦的被摄体为基准，基于到距摄影者远的被摄体的视差量和到距摄影者近的被摄体的视差量这两个信息，将视差量控制为最佳。以下，说明第四实施方式涉及的单眼立体摄影装置10-3。此外，对与第一实施方式相同的部分省略说明。
[0152]图16是表示在AE/AF/AWB动作后控制F值使得成为视差调节对象的被摄体间的视差量变得适当的视差量调节处理的流程的流程图。该处理主要通过CPU40进行。
[0153]CPU40判断AF处理是否结束(步骤S10)。在未结束时(步骤SlO中“否”)，再次进行步骤S10。在AF处理结束时(步骤SlO中“是”)，求出对焦的被摄体的被摄体距离(步骤Sn)。
[0154]CPU40生成距离频率的直方图(步骤S12)。CPU40基于直方图，搜索在对焦距离(对焦的被摄体的被摄体距离)近侧(靠近相机的方向)成为峰值的频率最高的级别(步骤S13)。CPU40从基准图像数据及参照图像数据中选择具有在步骤S13中搜索的范围内的被摄体距离的像素，设定包括该像素的矩形区域Ln (步骤S14)。CPU40计算在步骤S14中设定的矩形区域Ln中包含的各像素的视差量的平均值(平均视差量)Pn (步骤S15)。
[0155]并且，CPU40基于直方图搜索在对焦距离远侧(离开相机的方向)成为峰值的频率最高的级别(步骤S20)。CPU40从基准图像数据及参照图像数据中选择具有在步骤S20中搜索的范围内的被摄体距离的像素，设定包括该像素的矩形区域Lf (步骤S21)。CPU40计算在步骤S21中设定的矩形区域Lf中包含的各像素的视差量的平均值(平均视差量)Pf (步骤 S22)。
[0156]CPU比较Pn和Pf，判断哪个大(步骤S50)。在图17所示的例子中，作为对焦的被摄体的人B和花A的视差量Pn大于人B和背景C的视差量Pf。在步骤S50中判断为Pn和Pf相同或Pn较大时，CPU40确认在步骤S15中算出的Pn是否在预先设定的视差量a和a - tl的范围内(步骤S16)。
[0157]在Pn不在预先设定的视差量a和a — tl的范围内的情况下(步骤S16中“否”)，当Pn小于视差量a — tl时，处于视差量过小、无法获得适当的立体感的情况，因此CPU40经由光圈驱动部34将光圈14开大一级，增大视差量(步骤S17)。并且，在Pn不在预先设定的视差量a和a — tl的范围内的情况下(步骤S16中“否”)，当Pn大于视差量a时，处于立体感过强的情况，因此CPU40经由光圈驱动部34将光圈14关小一级，减小视差量(步骤S18)。
[0158]其结果为，判断光圈14是否为临界光圈值(步骤S19)。当不是临界光圈值时(步骤S19中“否”)，能够进行视差量的调节，因此返回到步骤S16，再次进行视差量的确认。
[0159]在步骤S50中判断为Pn较大时，CPU40确认在步骤S22中算出的Pf是否为预先设定的视差量b以下(步骤S23)。该视差量b设定为立体视差融合范围内的预定值。
[0160]当Pf不为预先设定的视差量b以下时(步骤S23中“否”)，处于立体感过强的情况，因此为了减小视差量，经由光圈驱动部34将光圈14的光圈值关小一级(步骤S24)。其结果为，判断光圈14是否为临界光圈值(步骤S25)。当不是临界光圈值时(步骤S25中“否”)，能够进行视差量的调节，因此返回到步骤S23，再次进行视差量的确认。
[0161]在Pn在预先设定的视差量a和a — tl的范围内的情况下(步骤S16中“是”)，当Pf为预先设定的视差量b以下时(步骤S23中“是”)及是临界光圈值时(步骤S19、S25中“是”)，结束视差量调节处理。
[0162]根据本实施方式，能够以对焦的被摄体为基准，适当地控制对焦的被摄体与最近的被摄体的视差量、即飞出方向的视差量，或者对焦的被摄体与最远的被摄体的视差量、即进深方向的视差量。
[0163]此外，在本实施方式中，由于使近距离侧优先，所以当Pn和Pf相同时，使用Pn进行视差量的调节，但当Pn和Pf相同时，也可以使用Pf进行视差量的调节。
[0164]并且，在本实施方式中，比较Pn和Pf，以较大的一个为基准进行视差量的调节，但也可以由摄影者设定基准。在图17所示的例子中，在由摄影者借助操作部38设定为使较远侧的被摄体优先的情况下，CPU40控制光圈14的光圈值使得人B和背景C的视差量变得适当。在这种情况下，进行光圈值控制的结果是，即使人A和花B的视差量大于视差量a，CPU40也控制光圈值使得作为较远被摄体的背景C和人B的视差量变得适当。由此，能够拍摄摄影者所期望的立体感的视差图像。
[0165](第五实施方式)
[0166]本发明的第四实施方式是以对焦的被摄体为基准而将到距摄影者远的被摄体的视差量和到距摄影者近的被摄体的视差量中的任一个视差量控制为最佳的方式，但也可以将两者控制为最佳。
[0167]本发明的第五实施方式是以下方式:使距对焦下被摄体远的被摄体的视差量和距对焦下被摄体近的被摄体的视差量这两者最佳。以下，说明第五实施方式涉及的单眼立体摄影装置10-4。此外，对与第一实施方式相同的部分省略说明。
[0168]图18是表示在AE/AF/AWB动作后控制F值使得成为视差调节对象的被摄体间的视差量变得适当的视差量调节处理的流程的流程图。该处理主要通过CPU40进行。[0169]CPU40判断AF处理是否结束(步骤S10)。在未结束时(步骤SlO中“否”)，再次进行步骤S10。在AF处理结束时(步骤SlO中“是”)，求出对焦的被摄体的被摄体距离(步骤Sn)。
[0170]CPU40生成距离频率的直方图(步骤S12)。CPU40基于直方图搜索在对焦距离(对焦的被摄体的被摄体距离)近侧(靠近相机的方向)成为峰值的频率最高的级别(步骤S13)。CPU40从右图像数据及左图像数据(将基准图像称为右图像、将参照图像称为左图像)中选择具有在步骤S13中搜索的范围内的被摄体距离的像素，设定包括该像素的矩形区域Ln(步骤S14)。CPU40计算在步骤S14中设定的矩形区域Ln中包含的各像素的视差量的平均值(平均视差量)Pn (步骤S15)。
[0171]并且，CPU40基于直方图搜索在对焦距离远侧(离开相机的方向)成为峰值的频率最高的级别(步骤S20XCPU40从基准图像数据及参照图像数据中选择具有在步骤S20中搜索的范围内的被摄体距离的像素，设定包括该像素的矩形区域Lf (步骤S21)。CPU40计算在步骤S21中设定的矩形区域Lf中包含的各像素的视差量的平均值(平均视差量)Pf (步骤 S22)。
[0172]CPU40确认在步骤S22中算出的Pf是否为预先设定的视差量b以下(步骤S23)。该视差量b设定为立体视图融合范围内的预定值。
[0173]当Pf不为预先设定的视差量b以下时(步骤S23中“否”)，处于立体感过强的情况，因此为了减小视差量，经由光圈驱动部34将光圈14的光圈值关小一级(步骤S24)。其结果为，判断光圈14是否为临界光圈值(步骤S25)。当不是临界光圈值时(步骤S25中“否”)，能够进行视差量的调节，因此返回到步骤S23，再次进行视差量的确认。由此，调整成处于对焦位置的被摄体和较远被摄体的视差量变得适当。
[0174]当Pf为预先设定的视差量b以下时(步骤S23中“是”)及是临界光圈值时(步骤S25中“是”)，CPU40确认在步骤S15中算出的Pn是否在预先设定的视差量a和a — I的范围内(步骤S16)。
[0175]当Pn不在预先设定的视差量a和a —tl的范围内时(步骤S16中“否”)，CPU40经由镜头驱动部36使聚焦镜头移动，使得Pn收纳于预先设定的视差量a和a — tl的范围内(步骤S60)。例如，在图17中，当视差量Pn大于视差量a时，CPU40使聚焦镜头移动，以使视差量Pn在视差量a和a — tl的范围内。其结果如图19所示，视差量Pn变为视差量a和a — tl的范围内的视差量Pn’，作为处于对焦位置的被摄体的人A向对焦距离远侧移动，在进深方向上具有视差量X，视差量Pf变为比Pf小的视差量Pf ’。
[0176]当Pn在预先设定的视差量a和a — tl的范围内时(步骤S16中“是”)，结束视差量调节处理。
[0177]根据本实施方式，除了控制光圈值外，还控制对焦位置，从而在对焦的被摄体和较近的被摄体的视差量、对焦的被摄体和较远的被摄体的视差量中的任一个过大或过小时，能够更细致地进行视差量的调节。
[0178]此外，在本实施方式中，首先对远侧的被摄体的视差量通过光圈的控制进行调节，对近侧的被摄体的视差量通过对焦位置的控制进行调节，但也可以对近侧的被摄体的视差量通过光圈的控制进行调节，对远侧的被摄体的视差量通过对焦位置的控制进行调节。
[0179]并且，在第一实施方式的图6所示的流程中，在不能通过临界光圈值调节光圈值下的视差量(步骤S19、S25中“否”)的情况下，也可以通过控制对焦位置来进行视差量的调节。例如，在图6的步骤S19中是临界光圈值时(步骤S19中“是”)，若CPU40经由镜头驱动部36使聚焦镜头移动(图19的步骤S60)，使得Pn收容于预先设定的视差量a和a — tl的范围内，而再次返回到图6的步骤S15即可。
[0180]此外，在本实施方式中，以摄像元件使用CCD的例子进行了说明，但并不限定为(XD。本发明也能够适用于CMOS等其他图像传感器。并且要留意，也能够通过上述程序由运算装置执行以下步骤:分别接收通过了单一的摄影光学系统的不同区域的光束并获取多个图像；基于多个图像，求出上述多个图像中含有的被摄体的距离信息的分布；及基于距离信息的分布，通过上述光圈值控制成为视差调节对象的图像区域的视差量。
[0181]以上，使用实施方式说明了本发明，但本发明的技术范围不限于上述实施方式所记载的范围。能够对上述实施方式施加多种变更或改良对于本领域技术人员来说不言而喻。根据权利要求的记载可知，施加了这种变更或改良的方式也可包含于本发明的技术范围内。
[0182]例如，也能够替代图2所示的左右方向的相位差摄像元件，而使用左右方向及上下方向的相位差摄像元件。在这种情况下，左右方向两个、上下方向两个共计4个像素包含于一个像素，一次可获得4张图像信号。在获得了 4张图像信号的情况下，也能够通过作为基准图像选择左上的图像、作为参照图像选择剩余的3张图像中的所期望的一张图像并多次进行对所选择的两张图像的处理来获得同样的结果。即，本发明并不因权利要求所记载的以两张图像为对象而限定为获取两张图像的情况，也能够适用于获取两张以上的多个图像的所有情况。
[0183]应当留意，权利要求书、说明书及附图中所示的装置、系统、程序及方法中的动作、顺序、步骤及阶段等各处理的执行顺序并没有特别明确为“更前”、“之前”等，并且，只要不是将前一处理的输出用于后一处理，则可通过任意的顺序来实现。对于权利要求书、说明书及附图中的动作流程，即使为了便于说明而使用“首先”、“其次”等进行了说明，也并不意味必须以这一顺序来实施。
[0184]附图标记说明
[0185]10、10-1、10-2、10-3、10-4 单眼立体摄影装置
[0186]12摄影光学系统
[0187]14 光圈
[0188]16相位差CXD (摄像元件)
[0189]16A遮光部件
[0190]16B遮光部件的开口
[0191]24数字信号处理部
[0192]40 CPU
[0193]48存储器
[0194]52媒体控制器
[0195]54存储卡
[0196]56 EEPROM
[0197]L 微透镜
[0198]PD光电二极管(像素)
【权利要求】
1.一种单眼立体摄影装置，其特征在于具备: 单一的摄影光学系统； 摄像元件，分别接收通过了上述摄影光学系统的不同区域的光束而获取多个图像； 光圈值能够变更的光圈； 距离信息获取单元，基于上述多个图像而求出上述多个图像所含的被摄体的距离信息的分布；及 控制单元，基于上述距离信息的分布，通过上述光圈值来控制成为视差调节对象的图像区域的视差量。
2.根据权利要求1所述的单眼立体摄影装置，其中， 上述距离信息获取单元对基准图像对应每个像素算出距离信息，该基准图像为上述多个图像中的一个图像， 并生成将上述距离信息对应每个距离范围分割为多个级别并以上述算出的距离信息进入各级别范围的像素数为频数的直方图。
3.根据权利要求1所述的单眼立体摄影装置，其中， 上述距离信息获取单元将上述基准图像分割为多个区域，对应上述分割出的每个区域算出距离信息， 并生成将上述距离信息对应每个距离范围分割为多个级别并以上述算出的距离信息进入各级别范围的区域数为频数的直方图。
4.根据权利要求3所述的单眼`立体摄影装置，其中， 上述距离信息获取单元对应上述基准图像的每个像素算出距离信息， 并对应每个区域算出上述分割出的各区域所含的像素的距离信息的平均值，从而算出上述多个区域的每个区域的距离信息。
5.根据权利要求2或3所述的单眼立体摄影装置，其中， 上述距离信息获取单元在上述基准图像与上述多个图像中的除基准图像以外的图像之间进行模式匹配处理，从而算出上述距离信息。
6.根据权利要求2~5中任一项所述的单眼立体摄影装置，其中， 上述控制单元将上述直方图中对焦的被摄体的被摄体距离与在近侧具有直方图的峰值的被摄体距离之间和对焦的被摄体的被摄体距离与在远侧具有直方图的峰值的被摄体距离之间中的至少一个作为成为上述视差调节对象的图像区域来控制上述光圈值。
7.根据权利要求2~6中任一项所述的单眼立体摄影装置，其中， 上述控制单元将上述分割出的多个区域中的上述直方图的频数为阈值以上的级别所含的区域作为对象来决定成为上述视差调节对象的图像区域。
8.根据权利要求6或7所述的单眼立体摄影装置，其中， 上述控制单元控制上述光圈值，使上述对焦的被摄体与成为上述视差调节对象的图像区域之间的视差量处于一定值的范围内。
9.根据权利要求2~8中任一项所述的单眼立体摄影装置，其特征在于， 上述距离信息获取单元根据上述多个图像中的任一个图像内的位置而赋予不同的权重来算出上述距离信息。
10.根据权利要求1~9中任一项所述的单眼立体摄影装置，其中，上述摄影光学系统包括聚焦镜头， 上述控制单元在成为上述视差调节对象的图像区域的视差为预定范围内的视差量的范围内使上述聚焦镜头移动。
11.一种单眼立体摄影方法，其特征在于包括以下步骤: 分别接收通过了单一的摄影光学系统的不同区域的光束而获取多个图像； 基于上述多个图像，求出上述多个图像所含的被摄体的距离信息的分布；及基于上述距离信息的分布，通过上述光圈值来控制成为视差调节对象的图像区域的视差量。
12.—种程序，其特征在于，使运算装置执行以下步骤: 分别接收通过了单一的摄影光学系统的不同区域的光束而获取多个图像； 基于上述多个图像，求出上述多个图像所含的被摄体的距离信息的分布；及 基于上述距离信息的分布，通过上述光圈值来控制成为视差调节对象的图像区域的视差量。`
【文档编号】G03B7/095GK103874960SQ201280044391
【公开日】2014年6月18日 申请日期:2012年8月15日 优先权日:2011年9月13日
【发明者】青木贵嗣, 泽地洋一 申请人:富士胶片株式会社