摄影装置、方法及程序的制作方法

专利名称：摄影装置、方法及程序的制作方法
技术领域：
本发明涉及一种摄影装置、方法及程序。
背景技术：
现有技术中，提出了下述双眼视差检测方法:将被摄体及背景或距相机的距离不同的多个被摄体所对应的双眼视差变异量，作为左右图像上的像素位置的变异而求出(例如参照特开平2 — 100589号公报)。在该公报公开的方法中，在求出双眼视差时，将左右图像进行二维傅里叶变换，通过其相位项的移位匹配来算出几个视差位移量的候选后，对左右图像分别进行被摄体的轮廓提取及区域确定，在它们的边界点的内侧的点和外侧的多点上，取得与利用二维傅里叶变换所求出的位移量候选的对应，并求出具有不同视差量的被摄体和背景混合存在的体视图像的双眼视差量。并且，提出了下述多视点图像显示方法:改变收敛角与最远距离、最近距离的位置关系，例如以抵消图像间的视差的平均值的方式错开图像，从而使图像整体均匀地易见(例如参照特开平10 - 32840号公报)。现有技术文献专利文献专利文献1:日本特开平2 - 100589号公报专利文献2:日本特开平10 - 32840号公报

发明内容
发明要解决的问题但是，将特开平2 - 100589号公报的方法适用于体视用的动画并对于每一帧求出双眼视差量时，当帧间的双眼视差量的变化增大时，会变为难以立体视的动画。并且，在特开平10 - 32840号公报的方法中，为获得易于立体视的图像，需要用于使收敛角变化的机构。本发明提供一种不具有复杂的机构而能够降低帧间的视差量的变化并获得易于视听的体视动画的摄影装置、方法及程序。用于解决问题的方法本发明的摄影装置被构成为包括:多个摄影单元，从不同的多个视点的各个视点逐帧地连续拍摄同一摄影对象；检测单元，从由上述摄影单元的任一个所拍摄的帧的各图像中检测被摄体；范围计算单元，在由上述检测单元检测出多个被摄体的情况下算出和所检测出的各被摄体与上述摄影单元之间的距离有关的值，并算出该值的最大值和最小值之差所表示的范围；调整单元，在上述范围计算单元所算出的特定帧的范围与特定帧的前一个或后一个所拍摄的帧的范围之差超过预定的阈值的情况下调整特定帧的范围以使该差变小；视差量计算单元，基于范围和与该范围对应的视差量之间的预定的关系，算出与上述范围计算单元所算出的范围或上述调整单元所调整 的范围对应的视差量；记录控制单元，进行控制以将上述各摄影单元所拍摄的帧的各图像与上述视差量计算单元所算出的视差量建立对应地记录于记录单元。根据本发明的摄影装置，由摄影单元从不同的多个视点的各个视点逐帧地连续拍摄同一摄影对象。这样一来，可拍摄体视动画。并且，检测单元从由摄影单元的任一个所拍摄的帧的各图像中检测被摄体，范围计算单元在由检测单元检测出多个被摄体时算出和所检测出的各被摄体与摄影单元之间的距离有关的值，并算出该值的最大值和最小值之差所表示的范围。基于该范围，通过视差量计算单元算出各帧的视差量，但当帧间的范围的变动较大时，帧间的视差量的变动也变大，成为难以视听的体视动画。因此，调整单元在范围计算单元所算出的特定帧的范围与特定帧的前一个或后一个所拍摄的帧的范围之差超过预定的阈值时调整特定帧的范围以使该差变小，视差量计算单元基于范围和与该范围对应的视差量之间的预定的关系，算出与范围计算单元所算出的范围或调整单元所调整的范围对应的视差量。并且，记录控制单元进行控制以将各摄影单元所拍摄的帧的各图像与视差量计算单元所算出的视差量建立对应地记录于记录单元。这样一来，在基于和从特定帧检测出的各被摄体与摄影单元之间的距离有关的值的范围与特定帧的前一个或后一 个帧的范围之差较大时，调整特定帧的范围以使该差变小，并根据范围计算出适当的视差量，因此可降低帧间的视差量的变化并获得易于视听的体视动画而无需具备用于调整收敛角的复杂的机构。上述距离有关的值可以是所检测出的各被摄体与上述摄影单元之间的距离，或者可以是所检测出的被摄体的各自的视差。被摄体的各自的视差在被摄体与摄影单元之间的距离越远时越小，越近时越大，因此可以称为和各被摄体与摄影单元之间的距离有关的值。在范围计算单元中，在算出了各被摄体与摄影单元之间的距离时，算出该距离的最大值和最小值之差所表示的被摄体距离范围，当算出了被摄体的各自的视差时，算出该视差的最大值和最小值之差所表示的视差范围。并且，在未从特定帧中检测出用于计算上述前一个或后一个所拍摄的帧的范围的被摄体时，上述调整单元可以视为特定帧的范围与前一个或后一个所拍摄的帧的范围之差超过上述预定的阈值，并调整特定帧的范围。未从特定帧中检测出用于计算前一个或后一个所拍摄的帧的范围的被摄体时，范围大幅变动的可能性较大，因此通过调整特定帧的范围，可降低帧间的视差量的变化。并且，上述范围计算单元可以算出上述检测单元所检测出的被摄体的帧间的移动量，并排除该移动量超过预定的规定移动量的被摄体来算出上述范围。这样一来，将导致帧间的范围较大变动的可能性大的移动量较大的被摄体预先排除而不用于范围的计算，从而可降低帧间的视差量的变化。并且，上述范围计算单元可以排除被摄体的移动方向是上述摄影单元的光轴方向且上述移动量超过预定的规定移动量的被摄体。范围是和被摄体与摄影单元之间的距离有关的值的最大值和最小值之差，因此将被摄体与摄影单元之间的距离大幅变动且在光轴方向上移动的被摄体作为对象。并且，本发明的摄影装置可构成为包括登记单元，预先登记由上述检测单元检测的被摄体，上述范围计算单元可以在上述登记单元所登记的被摄体由上述检测单元检测出时使用该登记的被摄体来算出上述范围。这样一来，预先登记特别想注视的被摄体，对想注视的被摄体降低帧间的视差量的变化，可获得易于视听的体视动画。并且，本发明的摄影装置可构成为包括登记单元，预先登记由上述检测单元检测的被摄体，上述范围计算单元可以排除上述移动量超过预定的规定移动量且上述登记单元未登记的被摄体来算出上述范围，或者若是上述登记单元所登记的被摄体，则即使在上述移动量超过预定的规定移动量的情况下，也可以不将该被摄体从上述范围的计算中排除。并且，上述视差量计算单元可以在上述检测单元所检测出的被摄体是一个时将该被摄体作为交叉点来算出视差量，可以在上述检测单元未检测出被摄体时将预定的规定点作为交叉点来算出视差量。并且，本发明的摄影方法是以下方法:由多个摄影单元从不同的多个视点的各个视点逐帧地连续拍摄同一摄影对象；从由上述摄影单元的任一个所拍摄的帧的各图像中检测被摄体；当检测出多个被摄体时算出和所检测出的各被摄体与上述摄影单元之间的距离有关的值，并算出该值的最大值和最小值之差所表示的范围；当所算出的特定帧的范围与特定帧的前一个或后一个所拍摄的帧的范围之差超过预定的阈值时调整特定帧的范围以使该差变小；基于范围和与该范围对应的视差量之间的预定的关系，算出与所算出的范围或所调整的范围对应的视差量；将上述各摄影单元所拍摄的帧的各图像与所算出的视差量建立对应地记录于记录单元。并且，本发明的摄影程序使计算机作为下述单元发挥作用:摄影控制单元，控制多个摄影单元的每一个，以从不同的多个视点的各个视点逐帧地连续拍摄同一摄影对象；检测单元，从由上述摄影单元的任一个所拍摄的帧的各图像中检测被摄体；范围计算单元，在上述检测单元检测出多个被摄体的情况下，算出和所检测出的各被摄体与上述摄影单元之间的距离有关的值，并算出该值的最大值和最小值之差所表示的范围；调整单元，在上述范围计算单元所算出的特定帧的范围与特定帧的前一个或后一个所拍摄的帧的范围之差超过预定的阈值时，调整特定帧的范围以使该差变小；视差量计算单元，基于范围和与该范围对应的视差量之间的预定的关系，算出与上述范围计算单元所算出的范围或上述调整单元所调整的范围对应的视差量；记录控制单元，进行控制以将上述各摄影单元所拍摄的帧的各图像与上述视差量计算单元所算 出的视差量建立对应地记录于记录单元。发明效果如上所述，根据本发明的摄影装置、方法及程序，在基于和从特定帧中检测出的各被摄体与摄影单元之间的距离有关的值的范围与特定帧的前一个或后一个帧的范围之差较大时，调整特定帧的范围以使该差变小，并根据范围计算出适当的视差量，因此可降低帧间的视差量的变化并获得易于视听的体视动画而无需具备用于调整收敛角的复杂的机构。


图1是本实施方式的复眼数字相机的正面侧立体图。图2是本实施方式的复眼数字相机的背面侧立体图。图3是表示本实施方式的复眼数字相机的内部构成的概要框图。图4A是用于说明算出被摄体距离范围的示意图。图4B是用于说明算出被摄体距离范围的示意图。图5A是表示用于说明视差量的被摄体与摄影部之间的位置关系的示意图。
图5B是表示用于说明视差量的左图像及右图像的示意图。图6是表示用于说明视差量的体视图像的示意图。图7是表示视差量与被摄体距离范围的关系的图表的一例。图8是表示视差量与被摄体距离范围的关系的表格的一例。图9是表示第一实施方式中的动画摄影处理程序的内容的流程图。图10是表示第二实施方式中的动画摄影处理程序的内容的流程图。图11是表示第三实施方式中的动画摄影处理程序的内容的流程图。图12是表示第四实施方式中的动画摄影处理程序的内容的流程图。
具体实施例方式以下参照附图详细说明本发明的实施方式。此外，在本实施方式中，说明将本发明的摄影装置适用于具有动画摄影模式的复眼数字相机的情况。图1是第一实施方式的复眼数字相机I的正面侧立体图，图2是背面侧立体图。如图1所示，在复眼数字相机I的上部具有:释放按钮2、电源按钮3、及变焦杆4。并且，复眼数字相机I的正面配置有闪光灯5及两个摄影部21A、21B的镜头。并且，复眼数字相机I的背面配置有进行各种显示的液晶监视器7、及各种操作按钮8。图3是表示复眼数字相机I的内部构成的概要框图。如图3所示，复眼数字相机I具有:两个摄影部21A、21B、摄影控制部22、图像处理部23、压缩/解压缩处理部24、帧存储器25、介质控制部26、内部存储器27、显示控制部28、三维处理部30、对象检测部41、被摄体距离范围计算部42、被摄体距离范围调整部43、及视差量计算部44。此外，摄影部21A、21B具有估算被摄体的收敛角并配置成预定`的基线长度。此外，收敛角及基线长度的信息存储在内部存储器27中。摄影控制部22由未图示的AF处理部及AE处理部构成。当选择了静态图像摄影模式时，AF处理部通过释放按钮2的半按操作，基于摄影部21A、21B所取得的预图像来确定对焦区域，并且确定镜头的焦点位置，并将它们输出到摄影部21A、21B。AE处理部基于预图像确定光圈值和快门速度，并将它们输出到摄影部21A、21B。并且，通过释放按钮2的全按操作，进行真摄影的指示，以使摄影部21A取得左图像、摄影部21B取得右图像的真实图像。并且，在选择了动画摄影模式时，摄影控制部22通过释放按钮2的全按操作，指示摄影部21A及摄影部21B连续地进行上述静态图像摄影模式中的处理。此外，静态图像摄影模式及动画摄影模式的任意一种模式下，在对释放按钮2进行操作前，摄影控制部22对摄影部21A、21B进行指示，以规定的时间间隔(例如1/30秒间隔)依次取得与用于确认摄影范围的真实图像相比像素数少的实时取景图像。图像处理部23对摄影部21A、21B取得的左图像及右图像的数字图像数据实施:调整白平衡的处理、灰度校正、锐度校正、及颜色校正等图像处理。压缩/解压缩处理部24对表示被图像处理部23实施了处理的左图像及右图像的图像数据，例如以JPEG等压缩格式进行压缩处理，生成体视用的图像文件。该体视用的图像文件中包括左图像及右图像的图像数据，并基于Exif格式等储存基线长度、收敛角及摄影时间等附带信息、和表示视点位置的视点信息。
帧存储器25是:对表示摄影部21A、21B取得的左图像及右图像的图像数据，进行包括上述图像处理部23所进行的处理在内的各种处理时所使用的作业用存储器。介质控制部26访问记录介质29并进行图像文件等的写入及读入的控制。内部存储器27存储复眼数字相机I中设定的各种常数、及CPU35执行的程序等。显示控制部28使摄影时帧存储器25中储存的左图像及右图像所生成的体视用图像显示于液晶监视器27上，或使记录介质29中记录的左图像及右图像、或体视用图像显示于液晶监视器7上。为了将左图像及右图像在监视器7上进行体视显示，三维处理部30对左图像及右图像进行三维处理，生成体视用图像。对象检测部41从取得的左图像及右图像检测出适当的对象。对象是表示摄影对象区域中存在的被摄体的图像。“适当的”对象可以是，在左图像或右图像内，边沿立起的对象等。并且，也可从左图像及右图像分别检测出对应的对象，并检测该对象的视差的值处于规定范围内这一情况。并且，对象检测部41从第2帧或之后帧的图像中检测对象时，利用从过去的帧图像中检测出的对象的位置信息等来追踪对应的对象，从而从当前帧中检测出对象。被摄体距离范围计算部42对从左图像或右图像检测出的对象的每一个，通过三角测量等方法算出表示对象的被摄体与本装置(摄影部21A、21B)之间的距离，将该距离的最大值与最小值之差，作为被摄体距离范围而算出。例如，假设如图4A所示从左图像或右图像检测出对象Op 02、O3,且对象Op 02、O3分别对应的被摄体Sp S2, S3与复眼数字相机I处于图4B所示的位置 关系。复眼数字相机I与被摄体S1之间的距离为L1、与被摄体S2之间的距离为L2、与被摄体S3之间的距离为L3时，复眼数字相机I与被摄体之间的距离的最大值为L1、最小值为L2,因此被摄体距离范围R计算为R = L1 — L2。被摄体距离范围调整部43判定对前一帧图像所算出的被摄体距离范围与对当前帧图像所算出的被摄体距离范围之差是否超过预定的阈值，当超过时，调整当前帧的被摄体距离范围以使前一帧的被摄体距离范围与当前帧的被摄体距离范围之差变小。如后所述，各帧的视差量基于被摄体距离范围来算出，因此帧间被摄体距离范围的大幅变动，成为帧间的视差量的大幅变动。帧间视差量大幅变动时，变为难以视听的动画，因此为使视差量的变动不大而调整被摄体距离范围。例如，设当前帧的被摄体距离范围为&、前一帧的被摄体距离范围为Rn^1时，调整后的当前帧的被摄体距离范围Rn/可以作为Rn/ = a XRm +(1- a )XRm-! (0〈α〈1)求出。此外，调整后的当前帧的被摄体距离范围的Rn/的求出方法不限于此，只要是对Rm加减规定值等使Rm与Rm —工之差变小的调整方法即可。视差量计算部44基于被摄体距离范围和与被摄体距离范围对应的适当的视差量之间的预定的关系，根据算出的被摄体距离范围或调整后的被摄体距离范围来算出当前帧的视差量。在此说明视差量。例如，假设拍摄与复眼数字相机1(摄影部21A及21B)的位置关系是图5A所示那样的被摄体S1及被摄体S2并获得图5B所示的左图像50L及右图像50R。从左图像50L检测出与被摄体S1对应的对象(V、及与被摄体S2对应的对象0a，从右图像50R检测出与被摄体S1对应的对象Oik、及与被摄体S2对应的对象02K。如图6所示，通过将左图像50L和右图像50R重叠而成为体视图像50。在图6中，将左图像50L和右图像50R重叠，使得左图像50L中含有的对象O1L与右图像50R中含有的对象Oik —致，即，使得对象O1变为交叉点。对象Oa和对象O2k以距离P错开。该P是视差量，通过变更视差量P，可增强或缓和体视图像的立体感。接着说明视差量与被摄体距离范围的关系。被摄体距离范围较小时，距复眼数字相机I最远的最远被摄体和距复眼数字相机I最近的最近被摄体的相对视差变小。另一方面，当被摄体距离范围较大时，最远的被摄体和最近的被摄体的相对视差变大。因此，为获得具有适当的立体感的体视图像，在被摄体距离范围较小时，增大视差量，在被摄体距离范围较大时，减小视差量。基于该关系，根据被摄体距离范围来确定适于以规定大小的显示画面显示体视图像的视差量。例如，如图7所示，作为横轴为被摄体距离范围、纵轴为视差量的图表，可按照显示画面的各尺寸确定视差量与被摄体距离范围的关系。并且，如图8所示，作为使以像素为单位的视差量与被摄体距离范围对应的表格，也可确定视差量与被摄体距尚范围的关系。在视差量计算部44中，基于图7、图8所示的、视差量与被摄体距离范围之间的预定的关系，算出与由 被摄体距离范围计算部42所算出的被摄体距离范围或由被摄体距离范围调整部43调整的被摄体距离范围对应的视差量。例如，在图7及图8中，显示画面尺寸为3英寸、所算出或所调整的被摄体距离范围为0.3m时，视差量为40像素。在本实施方式中，由视差量计算部44算出的视差量是针对表示最近的被摄体的对象的视差量。S卩，如图6所示，在重叠左图像和右图像时，以表示左图像的最近的被摄体的对象与表示右图像的最近的被摄体的对象之间的距离错开所算出的视差量的方式进行重叠。并且，在对象检测部41仅检测出一个对象时，视差量计算部44将检测出的对象作为交叉点并算出视差量。并且，对象检测部41未检测出对象时，将预定的规定点作为交叉点来算出视差量。接着，参照图9说明在第一实施方式的复眼数字相机I中执行的动画摄影处理程序。本程序由用户操作操作按钮8并选择动画摄影模式而开始。在步骤100中，由摄影部21A及21B拍摄的实时取景图像的取入开始。接着，在步骤102中，判定是否存在释放按钮2被按下等指示动画记录开始的摄影操作。当有摄影操作时，转到步骤104，当不存在摄影操作时，重复本步骤的判定直到有摄影操作为止。在步骤104中，取入I帧由摄影部21A及21B在真摄影状态下取得的左图像及右图像。接着在步骤106中，从上述步骤104中取入的左图像或右图像检测出适当的对象。接着，在步骤108中，判定在上述步骤106中是否检测出了多个对象。当检测出了多个对象时，转到步骤110。当只检测出一个对象时，或者未检测出对象时，转到步骤118。在步骤110中，对从左图像或右图像检测出的对象的每一个，通过三角测量等方法算出表示对象的被摄体与复眼数字相机I之间的距离，将该距离的最大值和最小值之差作为被摄体距离范围而算出。接着，在步骤112中，判定前一帧的被摄体距离范围与当前帧的被摄体距离范围之差是否超过预定的阈值，从而判定帧间的被摄体距离范围的变化是否较大。当帧间的被摄体距离范围的变化较大时，转到步骤114，调整当前帧的被摄体距离范围使得前一帧的被摄体距离范围与当前帧的被摄体距离范围之差变小，并转到步骤116。
在上述步骤112中，当判定为帧间的被摄体距离范围的变化不大时，跳过步骤114而转到步骤116。并且，即使当前帧是第I帧而不存在前一帧的情况下，本步骤中也作出否定判定并转到步骤116。 在步骤116中，基于例如图7、图8所示的、被摄体距离范围和与被摄体距离范围对应的适当的视差量之间的预定的关系，算出与上述步骤110中所算出的被摄体距离范围或上述步骤114中所调整的被摄体距离范围对应的当前帧的视差量，并转到步骤120。另一方面，在上述步骤108中作出否定判定并转到步骤118的情况下，基于交叉点算出视差量。当只检测出了一个对象时，将该对象作为交叉点，当未检测出对象时，将规定点作为交叉点，来算出视差量，并转到步骤120。在步骤120中，判定是否存在释放按钮2再次被按下等指示动画记录停止的摄影结束操作。不存在摄影结束操作时，返回到步骤104，取入下一帧，并重复进行处理。当存在摄影结束操作时，转到步骤122，将拍摄到的帧数的各帧的左图像、右图像及视差量的数据作为一个文件，并作为对该文件附加了标头信息的动画文件记录于记录介质29，结束处理。如上所述，根据第一实施方式的复眼数字相机，按照每帧算出被摄体距离范围，所算出的当前帧的被摄体距离范围与前一帧的被摄体距离范围之差较大时，调整当前帧的被摄体距离范围使得前一帧的被摄体距离范围与当前帧的被摄体距离范围之差变小，并根据被摄体距离范围算出适当的视差量。这样一来，可降低帧间的视差量的变化并获得易于视听的立体动画而无需具有用于调整收敛角的复杂的机构。接着说明第二实施方式。在第二实施方式中，说明以下情况:从当前帧未检测出前一帧的被摄体距离范围的计算所使用的对象时，视为前一帧的被摄体距离范围与当前帧的被摄体距离范围之差较大，调整当前帧的被摄体距离范围。此外，第二实施方式的复眼数字相机的构成和第一实施方式的复眼数字相机I的构成相同，因此附加同样的附图标记并省略说明。
·
在此参照图10说明在第二实施方式的复眼数字相机I中执行的动画摄影处理程序。本程序通过用户操作操作按钮8并选择动画摄影模式而开始。此外，对和第一实施方式的动画摄影处理相同的处理，附加同样的附图标记，省略详细说明。经过步骤100至步骤104，取入I帧量的左图像及右图像。接着在步骤200中，从上述步骤104中取入的左图像或右图像检测出适当的对象。并且，使用对象的位置信息等在当前帧的左图像或右图像中追踪从前一帧的左图像或右图像检测出的对象。接着，在步骤108中，判定为在上述步骤106中检测出了多个对象时，转到步骤110，将表示对象的被摄体与复眼数字相机I之间的距离的最大值和最小值之差作为被摄体距离范围而算出。接着，在步骤202中，基于上述步骤200的对象的追踪结果，判定前一帧中算出被摄体距离范围所使用的对象的追踪是否失败。从前一帧检测出的对象因脱帧或被其他对象造成的遮挡等而未从当前帧检测出时，判定为对象的追踪失败。前一帧中算出被摄体距离范围所使用的对象的追踪失败时，上述步骤110中所算出的被摄体距离范围相对前一帧中所算出的被摄体距离范围大幅变动的可能性较大。因此，在前一帧的被摄体距离范围的算出所使用的对象的追踪失败时，转到步骤114，调整当前帧的被摄体距离范围使得前一帧的被摄体距离范围与当前帧的被摄体距离范围之差变小。另一方面，前一帧的被摄体距离范围的算出所使用的对象的追踪未失败时，跳过步骤114，不进行被摄体距离范围的调整，转到步骤116，根据被摄体距离范围算出视差量。之后和第一实施方式一样，执行步骤116至步骤122的处理，并结束处理。如上所述，根据第二实施方式的复眼数字相机，前一帧的被摄体距离范围的算出所使用的对象的追踪失败时，视为当前帧的被摄体距离范围与前一帧的被摄体距离范围之差较大，并可调整当前帧的被摄体距离范围使得前一帧的被摄体距离范围与当前帧的被摄体距离范围之差变小。接着说明第三实施方式。在第三实施方式中，说明以下情况:将移动量大的对象排除而不用于被摄体距离范围的计算。此外，第三实施方式的复眼数字相机的构成和第一实施方式的复眼数字相机I的构成相同，因此附加同样的附图标记并省略说明。在此参照图11说明在第三实施方式的复眼数字相机I中执行的动画摄影处理程序。本程序通过用户操作操作按钮8并选择动画摄影模式而开始。此外，对与第一及第二实施方式的动画摄影处理相同的处理，附加同样的附图标记，省略详细说明。经过步骤100至步骤104，取入I帧量的左图像及右图像。接着在步骤200中，从上述步骤104中所取入的左图像或右图像检测出适当的对象。并且，使用对象的位置信息等在当前帧的左图像或右图像中追踪从前一帧的左图像或右图像检测出的对象。接着，在步骤300中，基于上述步骤200的对象的追踪结果，判定所追踪的对象的移动方向是否是摄影部的光轴方向。对象的检测及追踪所使用的图像是左图像时，摄影部的光轴方向是摄影部21A的光轴方向，对象的检测及追踪所使用的图像是右图像时，摄影部的光轴方向是摄影部2IB的光轴方向。并且，对于移动方向是光轴方向的对象，算出巾贞间的移动量，并将该移动量与预定的规定移动量相比较，从而判定是否存在移动量大的对象。当存在时，转到步骤30·2，将移动量大的对象从上述步骤200中检测出及所追踪的对象中排除，并转到步骤108。与移动量大的对象对应的被摄体由于移动速度较快，因此被摄体与复眼数字相机I的距离在帧间大幅变动。将这种表示被摄体的对象用于被摄体距离范围的计算时，因被摄体距离范围大幅变动，所以将其排除而不用于被摄体距离范围的计算。另一方面，当不存在移动量大的对象时，跳过步骤302，转到步骤108。在步骤108中，除了上述步骤302中所排除的对象外，判定是否检测出了多个对象，之后和第一实施方式一样，执行步骤110至步骤122的处理，并结束处理。如上所述，根据第三实施方式的复眼数字相机，将导致帧间的被摄体距离范围大幅变动的可能性大的移动量大的对象排除而不用于被摄体距离范围的计算。这样一来，可降低帧间的被摄体距离范围的变动。接着说明第四实施方式。在第四实施方式中，说明以下情况:预先选择并登记用户特别想注视的对象。此外，第四实施方式的复眼数字相机的构成和第一实施方式的复眼数字相机I的构成相同，因此附加同样的附图标记并省略说明。在此参照图12说明在第四实施方式的复眼数字相机I中执行的动画摄影处理程序。本程序通过用户操作操作按钮8并选择动画摄影模式而开始。此外，对与第一实施方式的动画摄影处理相同的处理，附加同样的附图标记，省略详细说明。在步骤100中，取入实时取景图像，接着在步骤400中，判定用户是否进行了选择特别注视的对象(以下称为“选择对象”)的操作。选择对象可如下选择:在显示于液晶监视器7的图像上对操作按钮8进行操作并移动光标，在对应的对象上按下确定按钮等。接着，在步骤402中，对上述步骤400中所选择的选择对象，提取轮廓、特征量等信息，并登记到规定的存储区域。选择对象可登记多个。接着，经过步骤102至步骤108并判定为检测出了多个对象时，转到步骤404。比较检测出的对象和在上述步骤402中所登记的选择对象的信息，并判定检测出的对象中是否含有选择对象。当含有选择对象时，转到步骤406，当不含选择对象时，转到步骤110。
在步骤406中，使用选择对象来算出被摄体距离范围。选择对象登记有多个且检测出了多个选择对象时，可将表示检测出的各个选择对象的被摄体与复眼数字相机I之间的距离的最大值和最小值之差作为被摄体距离范围而算出。并且，检测出的多个对象中只含有一个选择对象时，使用选择对象和选择对象以外的对象中的一个对象来算出被摄体距离范围。作为选择对象以外的对象，可使用对象所示的被摄体与复眼数字相机I之间的距离为最大或最小的对象、或者与表示选择对象的被摄体之间的距离为最大或最小的被摄体所对应的对象等。之后和第一实施方式一样，执行步骤112至步骤122的处理，结束处理。此外，检测出的对象只有选择对象一个时，在步骤108中作出否定判定，转到步骤118，并算出将该选择对象作为交叉点的视差量。如上所述，根据第四实施方式的复眼数字相机，使用尤其想注视的对象来算出被摄体距离范围，并且进行调整以使帧间的被摄体距离范围的变动不变大。这样一来，在注视特定的对象并进行视听时，可获得易于视听的体视动画。此外，在上述第一至第四实施方式中，作为与被摄体和摄影单元的距离相关的值，说明了算出各被摄体和摄影单元的距离、并算出以该距离的最大值和最小值之差表示的被摄体距离范围的情况，但作为与被摄体和摄影单元的距离相关的值，也可算出各被摄体的视差、并算出该视差的最大值和最小值之差所示的视差范围。此时，可以替换图3所示的被摄体距离范围计算部42及被摄体距离范围调整部43，设置视差范围计算部及视差范围调整部。在视差范围计算部中，生成视差映射，求出由对象检测部41检测出的各对象的视差，根据视差的最大值和最小值之差，算出视差范围。此外，当登记了选择对象时，使用选择对象的视差来算出视差范围。视差映射的生成中，首先对左图像和右图像进行体视匹配，例如以左图像为基准，提取与左图像上的像素(xl，yl)对应的右图像上的对应像素(x2, y2)。左图像上的像素(xl，yl)与右图像上的对应像素(x2，y2)的视差d可以作为d = x2 — xl来计算，并将该视差d储存于作为基准的左图像的像素位置(xl，yl)来生成。并且，使检测出的对象与视差映射对应，将与对象的位置对应的视差映射上的像素位置处所储存的视差作为该对象的视差而求出。与对象的位置对应的区域内的多个像素位置上储存有不同的视差时，可将该区域内的视差的平均值或最频值等作为该对象的视差而求出。视差范围调整部通过和被摄体距离范围调整部43中的处理相同的处理，判定对前一帧的图像所算出的视差范围与对当前帧的图像所算出的视差范围之差是否超过预定的阈值，当差超过阈值时，调整当前帧的视差范围使得前一帧的视差范围与当前帧的视差范围之差变小。视差量计算部44基于视差范围和与视差范围对应的适当的视差量之间的预定的关系，根据所算出的视差范围或所调整的视差范围来算出当前帧的视差量。如上所述，视差量和被摄体距离范围的关系为，在被摄体距离范围较小时，距复眼数字相机I最远的最远被摄体与最近的最近被摄体的相对视差变小，在被摄体距离范围较大时，最远的被摄体与最近的被摄体的相对视差变大。因此，为获得具有适当的立体感的体视图像，在被摄体距离范围较小时增大视差量，在被摄体距离范围较大时减小视差量。在此，被摄体距离范围较小时视差范围也较小，被摄体距离较大时视差范围也较大。因此，视差范围和视差量的关系可与被摄体距离范围和视差量的关系同样地确定。例如，如图7所示，当确定视差范围和视差量的关系时，只要将横轴设为视差范围(像素)即可。并且，上述第一至第四实施方式可适当组合地实施。当组合第三实施方式和第四实施方式时，即使是移动量大的对象，若是选择对象也可以不排除，即使是选择对象，若是移动量大的对象则也可排除。并且，在上述实施方式中，说明了判定前一帧的被摄体距离范围与当前帧的被摄体距离范围之差是否较大并调整当前帧的被摄体距离范围的情况，但不限于此。也可是:取得规定帧量的图像并算出各帧的被摄体距离范围后，将特定帧的被摄体距离范围和该特定帧的后一个拍摄到的帧的被摄体距离范围进行比较，从而判断特定帧的被摄体距离范围可否调整。并且，在上 述实施方式中，说明了求出最近的被摄体的视差量的情况，但在如第四实施方式那样对选择对象进行选择的情况下，也可是求出选择对象的视差量。并且，在本实施方式中，说明了具有两个摄影部的构成的复眼数字相机，但在具有三个以上摄影部的构成中，取得三个以上图像时也同样可适用。这种情况下，只要从多个图像中任意组合两个图像来进行和上述实施方式一样的处理即可。并且，图3所示的各个块可由硬件构成，各个块的功能可构成为通过软件来实现，也可由硬件和软件的组合构成。由软件构成时，可以将本实施方式的动画摄影处理程序编程化并由CPU执行该程序。程序也可以存储于存储介质中来提供，也可存储于服务器等的存储装置中并经由网络通过下载来提供。附图标记说明I复眼数字相机7液晶监视器8操作按钮2IA摄影部2IB摄影部22摄影控制部26介质控制部27内部存储器29记录介质41对象检测部42被摄体距离范围计算部43被摄体距离范围调整部44视差量计算部
权利要求
1.一种摄影装置，包括: 多个摄影单元，从不同的多个视点的各个视点逐帧地连续拍摄同一摄影对象； 检测单元，从由上述摄影单元的任一个所拍摄的帧的各图像中检测被摄体； 范围计算单元，在由上述检测单元检测出多个被摄体的情况下算出和所检测出的各被摄体与上述摄影单元之间的距离有关的值，并算出该值的最大值和最小值之差所表示的范围； 调整单元，在上述范围计算单元所算出的特定帧的范围与特定帧的前一个或后一个所拍摄的帧的范围之差超过预定的阈值的情况下调整特定帧的范围以使该差变小； 视差量计算单元，基于范围和与该范围对应的视差量之间的预定的关系来算出与上述范围计算单元所算出的范围或上述调整单元所调整的范围对应的视差量； 记录控制单元，进行控制以将上述各摄影单元所拍摄的帧的各图像与上述视差量计算单元所算出的视差量建立对应地记录于记录单元。
2.根据权利要求1所述的摄影装置，其中， 上述距离有关的值是所检测出的各被摄体与上述摄影单元之间的距离，或者是所检测出的被摄体的各自的视差。
3.根据权利要求1或2所述的摄影装置，其中， 在未从特定帧中检测出用于计算上述前一个或后一个所拍摄的帧的范围的被摄体时，上述调整单元视为特定帧的范围与前一个或后一个所拍摄的帧的范围之差超过上述预定的阈值，并调整特定帧的范围。
4.根据权利要求1至3中任一项所述的摄影装置，其中， 上述范围计算单元算出上述检测单元所检测出的被摄体的帧间的移动量，并排除该移动量超过预定的规定移动量的被摄体来算出上述范围。
5.根据权利要求4所述的摄影装置，其中， 上述范围计算单元排除被摄体的移动方向是上述摄影单元的光轴方向且上述移动量超过预定的规定移动量的被摄体。
6.根据权利要求1至3中任一项所述的摄影装置，其中， 包括登记单元，预先登记由上述检测单元检测的被摄体， 在上述登记单元所登记的被摄体由上述检测单元检测出的情况下,上述范围计算单元使用该登记的被摄体来算出上述范围。
7.根据权利要求4或5所述的摄影装置，其中， 包括登记单元，预先登记由上述检测单元检测的被摄体， 上述范围计算单元排除上述移动量超过预定的规定移动量且上述登记单元未登记的被摄体来算出上述范围。
8.根据权利要求4或5所述的摄影装置，其中， 包括登记单元，预先登记由上述检测单元检测的被摄体， 若是上述登记单元所登记的被摄体，则即使在上述移动量超过预定的规定移动量的情况下，上述范围计算单元也不将该被摄体从上述范围的计算中排除。
9.根据权利要求1至8中任一项所述的摄影装置，其中， 在上述检测单元所检测出的被摄体是一个的情况下，上述视差量计算单元将该被摄体作为交叉点来算出视差量，在上述检测单元未检测出被摄体的情况下，上述视差量计算单元将预定的规定点作为交叉点来算出视差量。
10.一种摄影方法，包括: 由多个摄影单元从不同的多个视点的各个视点逐帧地连续拍摄同一摄影对象； 从由上述摄影单元的任一个所拍摄的帧的各图像中检测被摄体； 在检测出多个被摄体的情况下，算出和所检测出的各被摄体与上述摄影单元之间的距离有关的值，并算出该值的最大值和最小值之差所表示的范围； 在所算出的特定帧的范围与特定帧的前一个或后一个所拍摄的帧的范围之差超过预定的阈值的情况下，调整特定帧的范围以使该差变小； 基于范围和与该范围对应的视差量之间的预定的关系，算出与所算出的范围或所调整的范围对应的视差量； 将上述各摄影单元所拍摄的帧的各图像与所算出的视差量建立对应地记录于记录单J Li ο
11.一种摄影程序，使计算机作为下述单元发挥作用: 摄影控制单元，控制多个摄影单元的每一个，以从不同的多个视点的各个视点逐帧地连续拍摄同一摄影对象； 检测单元，从由上述摄影单元的任一个所拍摄的帧的各图像中检测被摄体； 范围计算单元，在由 上述检测单元检测出多个被摄体的情况下算出和所检测出的各被摄体与上述摄影单元之间的距离有关的值，并算出该值的最大值和最小值之差所表示的范围； 调整单元，在上述范围计算单元所算出的特定帧的范围与特定帧的前一个或后一个所拍摄的帧的范围之差超过预定的阈值的情况下调整特定帧的范围以使该差变小； 视差量计算单元，基于范围和与该范围对应的视差量之间的预定的关系，算出与上述范围计算单元所算出的范围或上述调整单元所调整的范围对应的视差量； 记录控制单元，进行控制以将上述各摄影单元所拍摄的帧的各图像与上述视差量计算单元所算出的视差量建立对应地记录于记录单元。
全文摘要
由摄影单元从多个视点逐帧地连续拍摄同一摄影对象，从所拍摄的帧的各图像中检测被摄体，检测出多个被摄体时，算出各被摄体与摄影单元之间的距离的最大值和最小值之差所表示的范围。在特定帧的范围与前一个或后一个帧的范围之差超过预定的阈值时，调整特定帧的范围以使该差变小，基于范围和与范围对应的视差量之间的预定的关系，算出与所算出的范围或所调整的范围对应的视差量，并与帧的各图像建立对应地记录于记录单元。
文档编号G03B35/10GK103238340SQ20118005794
公开日2013年8月7日 申请日期2011年10月17日 优先权日2010年12月24日
发明者江乡俊太 申请人:富士胶片株式会社