重放装置、复眼摄像装置、重放方法及程序的制作方法

专利名称：重放装置、复眼摄像装置、重放方法及程序的制作方法
技术领域：
本发明涉及重放装置、复眼摄像装置、重放方法及程序。
背景技术：
以往，提案有具备多个摄像部而生成体视图像的复眼摄像装置。复眼摄像装置基于由多个摄像部分别生成的多个视点图像生成体视图像，将该体视图像显示于体视显示用监视器。 由复眼摄像装置拍摄到的体视图像的立体感受用户两眼的距离及体视显示用监视器到用户的距离所左右，因此，对于复眼摄像装置的体视功能存在个人差异大的问题。因此，在复眼摄像装置中，根据用户的操作可调整多个视点图像的视差，由此，调整体视图像的立体感。因此，特开2005 - 73012号公报(以下称作专利文献I)中，公开有与显示体视图像的显示器的种类无关地进行与最先进行了视差量调整的用户的意图相吻合的视差量调整的技术。专利文献I的技术中，基于视差量的变更请求制作与视差量的调整相关的信息，将其变换为不依赖于显示器的种类的单位信息进行记录。而且，当读出所记录的信息时，基于该信息制作与视差量的调整有关的信息，基于该信息生成立体显示用的图像。另外，特开2004 - 221700号公报(以下称作专利文献2)中公开有在显示体视图像的期间特定与用户的意图相吻合的视差的技术。专利文献2的技术中，根据用户的指示特定显示于显示装置的体视图像的界限视差，以在显示体视图像之前实现适当的视差的方式进行图像处理。

发明内容
但是，在最初的阶段存在问题的情况下，例如根据由摄像部得到的多个视点图像求出的视差量自体存在问题的情况下、不能检测视差调整对象的情况下，存在即使使用专利文献I及2的技术也不能适宜地进行视差调整的问题。本发明是鉴于这种情况而创立的，其目的在于，提供一种即使在根据多个视点图像求出的视差量自身存在问题的情况下或不能检测视差调整对象的情况下也能够适宜进行视差调整的重放装置、复眼摄像装置、重放方法及程序。本发明第一方面的重放装置，包括输入部，输入从多个视点以连续帧拍摄同一被摄体而得到的多个视点的连续帧图像；视差量取得部，基于构成由所述输入部输入的连续帧图像的帧图像取得视差量；异常判定部，在由所述视差量取得部取得的视差量的一定期间的变动大于规定值的情况、所述视差量达到预先决定的容许界限值的情况、及未能检测到所述视差量的取得对象的情况中的至少一种情况下，判定为所述视差量有异常；视差调整部，在由所述异常判定部判定为所述视差量无异常的情况下，进行第一视差调整，在由所述异常判定部判定为所述视差量有异常的情况下，切换为与所述第一视差调整的控制不同的第二视差调整的控制而进行视差调整；以及输出部，输出由所述视差调整部进行了所述视差调整的所述连续帧图像。本发明的第二方面在第一方面的基础上，在由所述异常判定部判定为所述视差量有异常的情况下，所述视差调整部在预先决定的视差量最大变化量的范围内进行视差调本发明的第三方面在第一方面或第二方面的基础上，在由所述异常判定部判定为所述视差量有异常的情况下，所述视差调整部使用前帧的视差量进行视差调整。本发明的第四方面在第一方面至第三方面的任一项的基础上，在由所述异常判定部判定为所述视差量有异常的情况下，所述视差调整部降低视差调整频度。本发明第五方面在第一方面至第四方面的任一项的基础上，所述视差量取得部基于在所述帧图像内作为视差量的取得对象的被摄体像而被预先决定的被摄体像取得视差量。本发明第六方面在第五方面的基础上，将所述被预先决定的被摄体像设为基于所述帧图像内的以规定值的空间频率所规定的闭曲线区域的被摄体像。本发明第七方面的重放装置，包括输入部，输入从多个视点以连续帧拍摄同一被摄体而得到的多个视点的连续帧图像；视差量取得部，基于构成由所述输入部输入的连续帧图像的帧图像取得规定物体的视差量；异常判定部，在由所述视差量取得部取得的视差量的一定期间的变动大于规定值的情况、所述视差量达到预先决定的容许界限值的情况、及未能检测到所述视差量的取得对象的情况中的至少一种情况下，判定为所述视差量有异常；视差调整部，在由所述异常判定部判定为所述视差量无异常的情况下，进行所述规定物体的视差调整，在由所述异常判定部判定为所述视差量有异常的情况下，以与所述规定物体不同的其它物体为对象，进行视差调整；以及输出部，在由所述异常判定部判定为所述视差量无异常的情况下，输出包含由所述视差调整部进行了视差调整的所述规定物体在内的所述帧图像，在由所述异常判定部判定为所述视差量有异常的情况下，输出包含由所述视差调整部进行了视差调整的所述其它物体在内的所述帧图像。本发明第八方面在第七方面的基础上，所述视差调整部将在与所述帧图像的图像面垂直的方向上与所述规定物体距离最近的物体设为所述其它物体。本发明第九方面在第七方面的基础上，所述视差调整部将在所述帧图像的图像面上与所述规定物体距离最近的物体设为所述其它物体。本发明第十方面在第七方面至第九方面的任一项的基础上，将所述规定物体及所述其它物体的至少一方设为基于所述帧图像内的以规定值的空间频率所规定的闭曲线区域的被摄体像。本发明第十一方面在第一方面至第十方面的任一项的基础上，还包括显示部，将由所述输出部输出的所述帧图像以作为体视图像而被视觉确认的方式进行显示。本发明第十二方面提供一种复眼摄像装置，包括第一方面至第十一方面的任一项的重放装置；以及摄像部，通过从多个视点以连续帧拍摄同一被摄体而生成所述连续帧图像。本发明第十三方面提供一种重放方法，其中，输入从多个视点以连续帧拍摄同一被摄体而得到的多个视点的连续帧图像；基于构成所输入的连续帧图像的帧图像取得视差量；在所述取得的所述视差量的一定期间的变动大于规定值的情况、所述视差量达到预先决定的容许界限值的情况、及未能检测到所述视差量的取得对象的情况中的至少一种情况下，判定为所述视差量有异常；在判定为所述视差量无异常的情况下，进行第一视差调整，在判定为所述视差量有异常的情况下，切换为与所述第一视差调整的控制不同的第二视差调整的控制而进行视差调整；输出进行了所述视差调整的所述连续帧图像。
本发明第十四方面提供一种重放方法，其中，输入从多个视点以连续帧拍摄同一被摄体而得到的多个视点的连续帧图像；基于构成所输入的连续帧图像的帧图像取得规定物体的视差量；在所述取得的所述视差量的一定期间的变动大于规定值的情况、所述视差量达到预先决定的容许界限值的情况、及未能检测到所述视差量的取得对象的情况中的至少一种情况下，判定为所述视差量有异常；在判定为所述视差量无异常的情况下，进行所述规定物体的第一视差调整，在判定为所述视差量有异常的情况下，以与所述规定物体不同的其它物体为对象，进行视差调整；在判定为所述视差量无异常的情况下，输出包含进行了所述视差调整的所述规定物体在内的所述帧图像，在判定为所述视差量有异常的情况下，输出包含进行了所述视差调整的所述其它物体在内的所述帧图像。本发明第十五方面提供一种程序，用于使计算机作为以下部分而起作用输入部，输入从多个视点以连续帧拍摄同一被摄体而得到的多个视点的连续帧图像；视差量取得部，基于构成由所述输入部输入的连续帧图像的帧图像取得视差量；异常判定部，在由所述视差量取得部取得的视差量的一定期间的变动大于规定值的情况、所述视差量达到预先决定的容许界限值的情况、及未能检测到所述视差量的取得对象的情况中的至少一种情况下，判定为所述视差量有异常；视差调整部，在由所述异常判定部判定为所述视差量无异常的情况下，进行第一视差调整，在由所述异常判定部判定为所述视差量有异常的情况下，切换为与所述第一视差调整的控制不同的第二视差调整的控制而进行视差调整；以及输出部，输出由所述视差调整部进行了所述视差调整的所述连续帧图像。本发明第十六方面提供一种程序，用于使计算机作为以下部分而起作用输入部，输入从多个视点以连续帧拍摄同一被摄体而得到的多个视点的连续帧图像；视差量取得部，基于构成由所述输入部输入的连续帧图像的帧图像取得规定物体的视差量；异常判定部，在由所述视差量取得部取得的视差量的一定期间的变动大于规定值的情况、所述视差量达到预先决定的容许界限值的情况、及未能检测到所述视差量的取得对象的情况中的至少一种情况下，判定为所述视差量有异常；视差调整部，在由所述异常判定部判定为所述视差量无异常的情况下，进行所述规定物体的视差调整，在由所述异常判定部判定为所述视差量有异常的情况下，以与所述规定物体不同的其它物体为对象，进行视差调整；输出部，在由所述异常判定部判定为所述视差量无异常的情况下，输出包含由所述视差调整部进行了视差调整的所述规定物体在内的所述帧图像，在由所述异常判定部判定为所述视差量有异常的情况下，输出包含由所述视差调整部进行了视差调整的所述其它物体在内的所述帧图像。根据本发明，即使在根据多个视点图像求出的视差量自身存在问题的情况下或不能检测到视差调整对象的情况下，也能够适宜地进行视差调整。


图I是表示体视图像重放装置的概略立体图；图2是表示体视图像重放装置的显示装置侧的概略构成的框图；图3是表示体视用的图像文件的文件格式的图；图4是表示体视图像重放装置的液晶快门眼镜侧的概略构成的框图；图5是表示第一视差调整例程的流程图；图6是表示第一视差量取得例程的流程图；图7是表示第二视差量取得例程的流程图；图8是表示第一波动有无判定例程的流程图；图9是表示第二波动有无判定例程的流程图；图10是表示第二视差调整例程的流程图；
图11是表不第二视差调整例程的流程图；图12A是表示以⑶I标记了视差调整对象的状态的图；图12B是表示以⑶I标记了视差调整对象的状态的图；图12C是表示以⑶I标记了视差调整对象的状态的图；图13是复眼照相机的正面侧立体图；图14是复眼照相机的背面侧立体图；图15是表示复眼照相机的内部构成的概略框图；图16是表示拍摄部的构成的图；图17是表示监视器的构成的图；图18是表示双凸透镜片的构成的图；图19是用于说明对左眼用及右眼用图像的三维处理的图；图20是表不视差关联彳目息的一例的图；图21A是用于说明视差关联信息的图；图21B是用于说明视差关联信息的图。符号说明12A、307 监视器321A、321B 拍摄部322拍摄控制部330三维处理部32、335 CPU34、329记录媒体
具体实施例方式[第一实施方式]图I是表示本发明第一实施方式的体视图像重放装置10的概略的图。如同图所示，本第一实施方式的体视图像重放装置10具备显示体视图像的显示装置12及液晶快门眼镜14。另外，显示装置12具备进行各种显示的监视器12A、电源按钮12B、重放开始按钮12C、及重放停止按钮12D。此外，在本第一实施方式中以如下方式为例进行说明，S卩，将左眼用图像Gl和右眼用图像G2交替地显示于显示装置12，并且以交替驱动液晶快门以使得显示了左眼用图像Gl时液晶快门眼镜14的右眼的液晶快门为透射状态、显示了右眼用图像G2时液晶快门眼镜14的左眼的液晶快门为透射状态的方式作为体视图像进行视觉确认，由此重放三维立体影像。此外，在本第一实施方式中，以使用液晶快门眼镜14重放三维立体影像的体视图像重放装置为一例进行说明，但不限于此，例如也可以应用使用偏振滤光镜眼镜来重放三维立体影像的装置，也可以是应用以不使用眼镜的方式重放三维立体影像的方式的体视图像重放装置。图2是表示本第一实施方式的体视图像重放装置10的显示装置12侧的概略构成的框图。显示装置12具备同步通信部16、图像处理部18、压缩/解压缩处理部20、帧存储器22、媒体控制部24、内部存储器26、三维处理部28、显示控制部30、及CPU32，它们经由总线BUS相互连接。另外，在媒体控制部24连接有记录媒体34，在显示控制部30连接有监视器12A。而且，在CPU32连接有包含电源按钮12B、重放开始按钮12C、及重放停止按钮12D 而构成的输入部35。同步通信部16进行信号的发送及接收，该信号用于使液晶快门眼镜14的左右的液晶快门的驱动与显示于显示装置12的左眼用及右眼用的各自的图像同步。图像处理部18对表示应显示的图像的图像数据实施白平衡调整、灰度补正、清晰度补正、色补正等各种图像处理。压缩/解压缩处理部20对由图像处理部18实施了处理的图像数据例如以JPEG或MPEG等压缩形式进行压缩处理，生成体视用的图像文件H)、或在重放时进行解压缩被压缩的图像数据的处理。图像文件具有左眼用图像Gl及右眼用图像G2的图像数据，而且，包含基于例如Exif格式的基线长、会聚角及拍摄日期等附带信息、及表示视点位置的视点信息。图3是表示体视用的图像文件的文件格式的图。体视用的图像文件存储有左眼用图像Gl的附带信息H1、左眼用图像Gl的视点信息SI、左眼用图像Gl的图像数据、右眼用图像G2的附带信息H2、右眼用图像G2的视点信息S2、及右眼用图像G2的图像数据而构成。另外，图中未图示，在有关左眼用及右眼用图像G1、G2的附带信息、视点信息及图像数据的前后还包含表示数据的开始位置及结束位置的信息。附带信息Hl、H2中包含左眼用及右眼用图像Gl、G2的拍摄日、基线长、及会聚角的信息。附带信息H1、H2中还包含左眼用及右眼用图像G1、G2的略缩图像。此外，作为视点信息，例如可以使用从左侧的拍摄部依次赋予的视点位置的序号。帧存储器22是对图像数据进行图像处理部18进行的处理的各种处理时使用的作业用存储器。媒体控制部24对记录媒体34进行访问，例如进行图像文件的写入和读入的控制。内部存储器26例如存储表示显示装置12的各种设定的信息、及CPU32执行的程序。三维处理部28读出存储于记录媒体34的图像数据，控制显示控制部30，使得与通过同步通信部16进行的与液晶快门眼镜14的通信而得到的同步信号同步地交替显示用于显示体视图像的左眼用图像Gl和右眼用图像G2，由此显示体视图像GR。另外，三维处理部28在图像数据中未存储每帧的视差信息的情况下，检测主要被摄体，进行计算出每帧的视差的处理。另外，三维处理部28也可以调整左眼用图像Gl及右眼用图像G2的视差。在此，视差是指包含于左眼用图像Gl及右眼用图像G2双方的被摄体的、左眼用图像Gl及右眼用图像G2的横向、即沿着基线的方向上的像素位置的错位量。通过调整视差，能够使包含于体视图像GR中的被摄体的立体感适当。在立体视的情况下，显示控制部30通过三维处理部28的控制，使左眼用图像Gl和、右眼用图像G2交替显示于监视器12A。图4是表示第一实施方式的体 视图像重放装置10的液晶快门眼镜14侧的概略构成的框图。液晶快门眼镜14具备同步通信部36、液晶快门驱动部38、右眼用液晶快门40、及左眼用液晶快门42。同步通信部36进行信号通信，该信号用于使左右的液晶快门的驱动与显示于显示装置12的左右各自的图像同步。液晶快门驱动部38与通过同步通信部36与显示装置12进行的通信而得到的同步信号同步地控制右眼用液晶快门40及左眼用液晶快门42的驱动。由此，在显示装置12的监视器12A显示左眼用图像Gl时，右眼用液晶快门40成为透射状态，左眼用液晶快门42成为遮蔽状态，在显示装置12的监视器12A显示右眼用图像G2时，左眼用液晶快门42成为透射状态，右眼用液晶快门40成为遮蔽状态，重放体视图像。在如上构成的显示装置12中，执行以下的第一或第二视差调整例程。此外，第一及第二视差调整例程的程序被预先存储于内部存储器26。(第一视差调整例程)图5是表示第一视差调整例程的流程图。在步骤100中，CPU32在经由重放开始按钮12C输入了动画重放开始的指示时，开始三维动画重放，而移向步骤102。在步骤102中，CPU32使三维处理部28取得基于存储于记录媒体34的图像文件FO的左眼用及右眼用图像Gl、G2的视差量。在此，第一或第二视差量取得例程被执行，三维处理部30进行下一处理。(视差量的取得)图6是表示第一视差量取得例程的流程图。三维处理部28首先分别检测多个图像、即存储于记录媒体34的图像文件的左眼用及右眼用图像Gl、G2中的同一人物的脸区域，取得表示这些脸区域的坐标的脸检测坐标(步骤200)，算出取得的脸检测坐标的坐标差值(步骤202)，根据坐标差值算出视差量(步骤204)。图7是表示第二视差量取得例程的流程图。三维处理部30首先分别检测多个图像、即存储于记录媒体34的图像文件R)的左眼用及右眼用图像G1、G2中的同一物体，取得特定这些物体的特征点的坐标即特征点坐标(步骤210 ),算出取得的特征点坐标的坐标差值(步骤212)，根据坐标差值算出视差量(步骤214)。而且，当第一或第二视差量取得例程结束时，移向图5所示的步骤104。(视差量的异常判定)在步骤104中，CPU32判定在三维处理部28取得的视差量是否存在异常，在判定为存在异常的情况下，移向步骤106，在判定为无异常的情况下，移向步骤108。在此，基于
(I)视差量存在波动吗、(2)视差量有容许界限吗、(3)看丢视差调整对象而不能检测到了吗的任一个来判定视差量的异常。(I)波动有无的判定CPU32在步骤104中执行如下所示的第一或第二波动有无判定例程。此外，左眼用及第二波动有无判定例程的程序被预先存储于内部存储器26。
图8是表示第一波动有无判定例程的流程图。CPU32取得在三维处理部28得到的一定期间的视差量(步骤220)，算出取得的视差量的偏差S (步骤222)。而且，CPU35判定偏差S是否比波动阈值T小(S < T)(步骤224)。在S < T的情况下，判定为无波动(视差量无异常)，移向图5的步骤108，在不是S < T的情况下，判定为有波动(视差量存在异常)，移向图5的步骤106。图9是表示第二波动有无判定例程的流程图。CPU32取得在三维处理部28得到的现帧和前帧的视差量的变化量D (步骤230)。而且，CPU32判定变化量D是否比波动阈值T小(S < T)(步骤232)。在D < T的情况下判定为无波动(视差量无异常)，移向图5的步骤108，在不是D < T的情况下判定为有波动(视差量存在异常)，移向图5的步骤106。(2)视差量的容许界限判定CPU32在步骤104中也可以判定视差量是否达到了预先决定的容许界限值。在此，容许界限是指表示体视图像所表现的物体的过凸或过凹的视差量的阈值。在视差量达到容许界限值的情况下，移向步骤106，在视差量未达到容许界限的情况下，移向步骤108。(3)视差调整对象的判定CPU32在步骤104中也可以判定是否看丢视差调整对象而不能检测到。视差调整对象是指例如处于人物的脸等的画面的中心位置附近的物体、多个特征点等。在此，CPU32在视差调整对象未被检测到例如10帧的情况下，判定为看丢了视差调整对象，移向步骤106，在视差调整对象未被检测10帧的情况下，移向步骤108。此外，“10帧”只不过是一例，也可以是其它帧数。由此，在看丢了视差调整对象的情况下，切换视差调整控制，因此，能够使三维动画重放的视差调整稳定化。(视差调整控制的切换)在步骤106中，CPU32将视差调整控制切换为其它控制。在此，执行第一 第三切换处理中的任一处理。作为第一切换处理，CPU32定义每帧的视差量最大变化量并设定于三维处理部28，由此对每帧的视差量的变化量进行限制。由此，可以在视差量最大变化量的范围内进行视差调整，可以抑制视差量的急激的变化，因此，能够使三维动画重放的视差调整稳定化。另外，作为第二切换处理，CPU32跳过该帧的视差调整(禁止该帧的视差调整)，而使前帧的视差调整原封不动地继续。即，使用前帧的视差量。由此，即使在视差量存在异常的情况下，也能够跳过视差调整，因此，能够使三维动画重放的视差调整稳定化。另外，作为第三切换处理，CPU32减少实施视差调整的频度。在此，代替图5所示的视差调整例程，执行以下图10所示的第二视差调整例程。此外，在对与图5的步骤相同的步骤标注同一符号，省略重复的说明。图10的视差调整例程中，接着步骤100设定索引编号i = 0 (步骤101)，接着步骤102使i增加I (i + + )(步骤103)，这一点上与图5不同。另外，在进行第三切换处理的步骤106中，进行以下处理。CPU32首先判定索引编号i是否为视差调整频度N以上(i ^ N)(步骤240)。而且，在i兰N的情况下，设定为i = 0(步骤242)，移向步骤108，在不是i兰N的情况下，跳过步骤108而移向步骤110。因此，在索引编号i不足N的情况下，重复执行步骤102、103、104、106(步骤240)、110，不进行视差调整(步骤108)。另外，当索引编号i达到N时，经过步骤104、106 (步骤240、242)移向步骤108，实施视差调整。因此，在视差存在异常的情况下，不每帧调整视差，而对N帧 仅进行I次视差调整，因此，可以减少视差调整的频度，可以减缓视差调整的变化。在步骤108中，CPU32使三维处理部28实施视差调整，将进行了视差调整的左眼用及右眼用图像G1、G2向显示控制部30输出，移向步骤110。在步骤110中，CPU32判定通过重放停止按钮12D是否输入了动画重放停止的指示，在为肯定判定的情况下，结束本例程，在为否定判定的情况下移至下一帧的处理，再次返回步骤102。如上，本第一实施方式的体视图像重放装置10即使在视差量存在异常的情况下或看丢了视差对象的情况下，也能够在切换了视差调整控制后进行视差调整，因此，能够使三维动画重放的视差调整稳定化。此外，CPU32也可以在检测到波动的情况下，在实施了视差调整后(步骤108结束后)将表示波动有无的波动信息记录于记录媒体34。由此，由于对动画信息附加波动的有无，所以在再次的动画重放时可以利用波动信息，可以使再次的三维动画重放时的视差调整稳定化。另外，在步骤104中，对执行(I)波动有无的判定、(2)视差量的容许界限判定、(3 )视差调整对象的判定的任一种的情况进行了说明，但只要是执行(I) (3 )的至少之一即可。另外，在步骤106中，对执行第一 第三切换处理中的任一处理的情况进行了说明，但只要执行第一 第三切换处理中的至少一种处理即可。[第二实施方式]接着，说明本发明的第二实施方式。此外，对与第一实施方式相同的部位标注同一符号，省略其详细的说明。在第一实施方式中，执行了第一或第二视差调整例程，但在第二实施方式中代替第一或第二视差调整例程而执行以下第三视差调整例程。(第三视差调整例程)图11是表不第二视差调整例程的流程图。在步骤130中，CPU32在经由重放开始按钮12C输入了动画重放开始的指示时，开始三维动画重放，移向步骤132。在步骤132中，CPU32使三维处理部28取得基于存储于记录媒体34的图像文件FO的左眼用及右眼用图像G1、G2的基本视差量，移向步骤134。在此，基本视差量是指默认物体的视差量，例如是指最接近画面中心的物体的视差量。在步骤134中，CPU32判定在三维处理部28取得的基本视差量是否存在异常。在此，执行与图5所示的步骤104相同的处理。而且，在基本视差量存在异常的情况下，移向步骤138，在无异常的情况下移向步骤136。
在步骤136中，CPU32以使用基本视差量实施视差调整的方式控制三维处理部28，移向步骤142。根据本步骤136的处理，三维处理部28使用左眼用及右眼用图像G1、G2的基本视差量进行视差调整，将进行了视差调整的左眼用及右眼用图像Gl、G2向显示控制部30输出。另一方面，在步骤138中，CPU32使三维处理部28取得其它物体的视差量，移向步骤138。作为其它物体，例如相应有默认物体以外的人物的脸等。在步骤140中，以使用其它物体的视差量实施视差调整的方式控制三维处理部28。此时，三维处理部28作为“其它物体”选择“在Z方向最接近默认物体的物体”或“在二维坐标中接近默认物体的物体”，使用所选择的物体的视差量进行视差调整，将进行了视差调整的物体向显示控制部30输出。在此，用二维坐标(X、Y)表示与存储于记录媒体34的图像文件的左眼用及右眼用图像G1、G2相同的平面，将与该面(基线)垂直的方向设为Z方向。 因此，“在Z方向接近默认物体的物体”不管在二维坐标中是否接近，都是和默认物体立体感最接近的物体。因此，三维处理部28通过使用该物体的视差量进行视差调整，能够抑制视差量的急剧的变化，其结果能够稳定地进行视差调整。另外，“在二维坐标中接近默认物体的物体”是指不管是否接近默认物体的立体感，都是在二维坐标上最接近默认物体的物体。因此，三维处理部28通过使用该物体的视差量进行视差调整，可以用到目前为止的接近视差调整对象的物体进行视差调整，其结果能够稳定地进行视差调整。而且，经以上的处理而移向步骤142。在步骤142 中，CPU32 用 GUI (Graphical User Interface)标记视差调整对象，使其显示于监视器7，移向步骤144。在此，对于作为视差调整对象的人物的脸，例如图12A所示可以由四角包围，如图12B所示也可以由圆包围，如图12C所示也可以标注星号。在步骤144中，CPU32判定通过重放停止按钮12D是否输入了动画重放停止的指示，在为肯定判定的情况下，结束本例程，在为否定判定的情况下，移至下一帧的处理，再次返回步骤132。如上，第二实施方式的重放装置中，即使在默认物体的基本视差量存在异常的情况或看丢了默认物体的情况下，也能够在将视差调整对象切换为其它物体后进行视差调整，因此，能够使三维动画重放的视差调整稳定化。[第三实施方式]接着，参照

本发明的第三实施方式。图13是本发明实施方式的复眼照相机301的正面侧立体图，图14是背面侧立体图。在复眼照相机301的上部具备释放按钮302、电源按钮303及变焦距杆304。在复眼照相机301的正面配置有闪光灯305及两个拍摄部321A、321B的透镜。另外，在复眼照相机301的背面配置有进行各种显示的液晶监视器(以下简称为“监视器”。)307及包含作为第一及第二实施方式中说明的重放开始按钮12C及重放停止按钮12D而起作用的按钮在内的各种操作按钮308。图15是表示复眼照相机301的内部构成的概略框图。复眼照相机301具备两个拍摄部321A、321B、拍摄控制部322、图像处理部323、压缩/解压缩处理部324、帧存储器325、媒体控制部326、内部存储器327、显示控制部328、及CPU335，它们经由总线BUS相互连接。另外，在媒体控制部326连接有记录媒体329，在显示控制部328连接有监视器307。而且，在CPU32连接有包含释放按钮302、电源按钮303、变焦距杆304及操作按钮308而构成的输入部334。此外，拍摄部321A、321B具有将被摄体视入的会聚角，以成为预先决定的基线长的方式进行配置。另外，会聚角及基线长的信息被存储于内部存储器327。图16是表示拍摄部321A、321B的构成的图。如图16所示，拍摄部321A、321B分别具备透镜310A、310B、光圈311A、311B、快门312A、312B、拍摄元件313A、313B、模拟前端(AFE) 314A、314B 及 A/D 变换部 315A、315B。透镜310A、310B具有用于使焦点与被摄体一致的聚焦透镜、用于实现变焦功能的变焦透镜等多个功能类别透镜。透镜310A、310B的位置基于由拍摄控制部322的AF处理部322a得到的合焦数据及操作了图13及图14所示的变焦距杆304的情况下得到的变焦数据，通过未图示的透镜驱动部进行调整。光圈311A、311B基于由拍摄控制部322的AE处理部322b得到的光圈值数据，利 用未图示的光圈驱动部进行光圈径的调整。快门312A、312B为机械快门，通过未图示的快门驱动部，根据由AE处理部322b得到的快门速度进行驱动。拍摄元件313A、313B具有二维状排列众多的受光元件而成的光电面，将被摄体光在该光电面成像并进行光电变换，取得模拟拍摄信号。另外，在拍摄元件313A、313B的前面配置有R、G、B各色过滤器规则性排列而成的滤色片。AFE314A、314B对从拍摄元件313A、313B输出的模拟拍摄信号实施除去模拟拍摄信号的噪声的处理、及调节模拟拍摄信号的增益的处理(以下称作“模拟处理”。)。A/D变换部315A、315B将由AFE314A、314B实施了模拟处理的模拟拍摄信号变换成数字信号。此外，将利用由拍摄部321A取得的数字的图像数据表示的图像设为左眼用图像G1，将利用由拍摄部321B取得的图像数据表示的图像设为右眼用图像G2。拍摄控制部322如上述具有AF处理部322a及AE处理部322b。AF处理部322a在释放按钮302被半按操作时，从测距传感器取得测距信息，决定透镜10AU0B的焦点位置，且将其向拍摄部321A、321B输出。AE处理部322b基于预图像决定光圈值和快门速度，将其向拍摄部321A、321B输出。此外，作为AF处理部322a进行的焦点位置的检测方式，不限于使用了测距信息的主动方式，也可以使用利用图像的对比度检测合焦位置的被动方式。拍摄控制部322以在释放按钮302未被操作的状态下，以规定时间间隔(例如1/30秒间隔)依次生成用于确认拍摄范围的、比左眼用及右眼用图像Gl、G2的本图像的像素数少的全图像的方式控制拍摄部321A、321B。而且，拍摄控制部322在释放按钮302被全按操作时，以为了开始本拍摄而生成左眼用及右眼用图像Gl、G2的本图像的方式控制拍摄部321A、321B。以上的说明为静止画面模式的情况，但在本第三实施方式中，也可以设定为动画拍摄模式，在动画拍摄模式的情况下，当按压释放按钮302时，开始动画拍摄，按每帧生成左眼用及右眼用图像Gl、G2，当再次按压释放按钮302时，动画拍摄停止。图像处理部323对拍摄部321A、321B取得的左眼用及右眼用图像G1、G2的数字的图像数据实施白平衡调整、灰度补正、清晰度补正、及色补正等图像处理。
压缩/解压缩处理部324对表示由图像处理部323实施了处理的左眼用及右眼用图像Gl、G2的本图像的图像数据以例如JPEG等压缩形式进行压缩处理，生成体视用的图像文件H)。该体视用的图像文件具有左眼用及右眼用图像G1、G2的图像数据，而且还包含基于Exif 格式等的基线长、会聚角及拍摄日期等的附带信息、及表示视点位置的视点信
肩、O帧存储器325是对表示拍摄部321A、321B取得的左眼用及右眼用图像G1、G2的图像数据进行包含上述图像处理部323进行的处理在内的各种处理时使用的作业用存储器。媒体控制部326对记录媒体329进行访问，进行图像文件等的写入和读入的控制。内部存储器327存储在复眼照相机301设定的各种常数、及CPU335执行的程序
坐寸。
·
在立体视的情况下，显示控制部328使存储于帧存储器325或记录媒体329的体视图像GR显示于监视器307。图17是表示监视器307的构成的分解立体图。如图17所示，监视器307如下构成，即，将由LED发光的背光单元340及用于进行各种显示的液晶面板341层叠，在液晶面板341的表面安装双凸透镜片342。图18是表示双凸透镜片的构成的图。如图18所示，双凸透镜片342通过将多个圆柱体透镜343在沿着基线的方向使并排排列而构成。另外，复眼照相机301具备三维处理部330。三维处理部330为了使左眼用及右眼用图像G1、G2体视显示于监视器307，而对左眼用及右眼用图像G1、G2进行三维处理，生成体视图像GR。图19是用于说明对左眼用及右眼用图像Gl、G2的三维处理的图。如图19所示，三维处理部330以如下方式进行三维处理而生成体视图像GR，即，将左眼用及右眼用图像GU G2分别在相对于基线垂直方向上切成短片状，在双凸透镜片342的圆柱体透镜343分别交替配置位置对应的切成短片状的左眼用及右眼用图像Gl、G2。构成体视图像GR的左眼用及右眼用图像G1、G2的图像对分别与一个圆柱体透镜对应配置。另外，三维处理部330也可以调整左眼用及右眼用图像G1、G2的视差。在此，视差是指左眼用及右眼用图像G1、G2双方包含的被摄体的、左眼用及右眼用图像G1、G2的横向、即沿着基线的方向的像素位置的偏差量。通过调整视差，能够使体视图像GR中包含的被摄体的立体感适宜。另外，三维处理部330也可以实时调整由拍摄部321A、321B得到的左眼用及右眼用图像Gl、G2的视差，也可以调整预先存储于记录媒体329的左眼用及右眼用图像Gl、G2的视差。在如上构成的复眼照相机301中，执行第一实施方式中说明的第一或第二视差调整例程或第二实施方式中说明的第三视差调整例程。此外，左眼用及第二视差调整例程的程序被预先存储于内部存储器327。此外，本发明不限于上述的实施方式，在权利要求范围所记载的事项的范围内可以进行设计变更。例如，在上述的第一及第二实施方式中，代替直接取得视差量，作为一例也可以取得图20所示那样的视差关联信息。
图21A及图21B是用于说明视差关联信息的图。视差关联信息对于每帧的左眼图像(左眼用图像Gl)及右眼图像(右眼用图像G2)，相应的是特征点A的坐标群、特征脸A的坐标群、特征脸B的坐标群、波动有无等信息。而且，也可以使用这些视差关联信息进行视
差调整。另外，在上述第一及第二实施方式中，使用液晶快门眼镜14使用户视觉确认体视图像，在上述第三实施方式中，例举通过使用双凸透镜片42使用户视觉确认体视图像的情况的方式例作了说明，但不限于此，例如，也可以对上述第一及第二实施方式中说明的显示装置12的监视器12A应用双凸透镜片42，并且如上述第三实施方式中所说明那样通过生成体视图像GR并显示于监视器12A，使用户不使用液晶快门眼镜14而视觉确认体视图像。另外，代替在上述第三实施方式中说明的在复眼照相机301的监视器307设置双凸透镜片42，也可以将左眼用图像Gl和右眼用图像G2交替显示于监视器307，并且如上述第一及第二实施方式中所说明那样通过使用液晶快门眼镜14使用户视觉确认体视图像。
另外，在上述各实施方式中，例举基于同一人物的脸区域取得视差量的方式例进行了说明，但不限于此，例如也可以将狗或猫等头的脸区域、或特定的动物或植物的特征部分的轮廓、或生物以外的物(例如汽车、电车、及建筑物等)的特征部分的轮廓作为视差量的取得对象而应用。该情况下，例举以下方式例预先准备存储有表示取得对象的图像的特征的特征量数据的模式匹配用的图像词典，使用该图像词典特定取得对象，算出该特定了的取得对象的视差量。此外，图像词典优选由用户自定义的方式。该情况下，可以示例以下的图像词典用户能够进行特征量数据向图像词典的追加注册及从图像词典的删除，其中该特征量数据表示作为视差量的取得对象而指定了的事物的图像的特征。另外，也可以将视差量的取得对象设为基于在每帧以规定值的空间频率(边缘成分)规定的闭曲线包围的区域(闭曲线区域)的被摄体像，也可以将视差量的取得对象设为基于在每帧以超过规定空间频率的空间频率(规定值)的空间频率规定的闭曲线区域的被摄体像。此外,该被摄体像也可以是以帧内的规定空间频率以上的空间频率规定的闭曲线区域本身，也可以是将以规定值的空间频率规定的闭曲线区域包围的最小矩形或最小圆形等几何学形状内的区域，也可以是使闭曲线区域根据规定的算法变形而得到的区域。这样，视差量的取得对象只要是每帧被预先决定了的被摄体像，则可以是任意的。此外，日本专利申请第2010 — 149859号的公开其整体通过参照被并入本说明书。另外，就本说明书中记载的所有的文献、专利申请及技术规格而言，与各文献、专利申请及技术规格通过参照而并入的部分被具体且各自记载情况下相同程度地通过参照被并入本说明书中。
权利要求
1.一种重放装置，包括 输入部，输入从多个视点以连续帧拍摄同一被摄体而得到的多个视点的连续帧图像； 视差量取得部，基于构成由所述输入部输入的连续帧图像的帧图像取得视差量； 异常判定部，在由所述视差量取得部取得的视差量的一定期间的变动大于规定值的情况、所述视差量达到预先决定的容许界限值的情况、及未能检测到所述视差量的取得对象的情况中的至少一种情况下，判定为所述视差量有异常； 视差调整部，在由所述异常判定部判定为所述视差量无异常的情况下，进行第一视差调整，在由所述异常判定部判定为所述视差量有异常的情况下，切换为与所述第一视差调整的控制不同的第二视差调整的控制而进行视差调整；以及 输出部，输出由所述视差调整部进行了所述视差调整的所述连续帧图像。
2.如权利要求I所述的重放装置，其中， 在由所述异常判定部判定为所述视差量有异常的情况下，所述视差调整部在预先决定的视差量最大变化量的范围内进行视差调整。
3.如权利要求I或2所述的重放装置，其中， 在由所述异常判定部判定为所述视差量有异常的情况下，所述视差调整部使用前帧的视差量进行视差调整。
4.如权利要求I 3中任一项所述的重放装置，其中， 在由所述异常判定部判定为所述视差量有异常的情况下，所述视差调整部降低视差调整频度。
5.如权利要求I 4中任一项所述的重放装置，其中， 所述视差量取得部基于在所述帧图像内作为视差量的取得对象的被摄体像而被预先决定的被摄体像取得视差量。
6.如权利要求5所述的重放装置，其中， 将所述被预先决定的被摄体像设为基于所述帧图像内的以规定值的空间频率所规定的闭曲线区域的被摄体像。
7.一种重放装置，包括 输入部，输入从多个视点以连续帧拍摄同一被摄体而得到的多个视点的连续帧图像； 视差量取得部，基于构成由所述输入部输入的连续帧图像的帧图像取得规定物体的视差量; 异常判定部，在由所述视差量取得部取得的视差量的一定期间的变动大于规定值的情况、所述视差量达到预先决定的容许界限值的情况、及未能检测到所述视差量的取得对象的情况中的至少一种情况下，判定为所述视差量有异常； 视差调整部，在由所述异常判定部判定为所述视差量无异常的情况下，进行所述规定物体的视差调整，在由所述异常判定部判定为所述视差量有异常的情况下，以与所述规定物体不同的其它物体为对象，进行视差调整；以及 输出部，在由所述异常判定部判定为所述视差量无异常的情况下，输出包含由所述视差调整部进行了视差调整的所述规定物体在内的所述帧图像，在由所述异常判定部判定为所述视差量有异常的情况下，输出包含由所述视差调整部进行了视差调整的所述其它物体在内的所述帧图像。
8.如权利要求7所述的重放装置，其中， 所述视差调整部将在与所述帧图像的图像面垂直的方向上与所述规定物体距离最近的物体设为所述其它物体。
9.如权利要求7所述的重放装置，其中， 所述视差调整部将在所述帧图像的图像面上与所述规定物体距离最近的物体设为所述其它物体。
10.如权利要求7 9中任一项所述的重放装置，其中， 将所述规定物体及所述其它物体的至少一方设为基于所述帧图像内的以规定值的空间频率所规定的闭曲线区域的被摄体像。
11.如权利要求I 10中任一项所述的重放装置，其中， 还包括显示部，将由所述输出部输出的所述帧图像以作为体视图像而被视觉确认的方式进行显示。
12.—种复眼摄像装置，包括 权利要求I 11中任一项所述的重放装置；以及 摄像部，通过从多个视点以连续帧拍摄同一被摄体而生成所述连续帧图像。
13.—种重放方法，其中， 输入从多个视点以连续帧拍摄同一被摄体而得到的多个视点的连续帧图像， 基于构成所输入的连续帧图像的帧图像取得视差量， 在所述取得的所述视差量的一定期间的变动大于规定值的情况、所述视差量达到预先决定的容许界限值的情况、及未能检测到所述视差量的取得对象的情况中的至少一种情况下，判定为所述视差量有异常， 在判定为所述视差量无异常的情况下，进行第一视差调整，在判定为所述视差量有异常的情况下，切换为与所述第一视差调整的控制不同的第二视差调整的控制而进行视差调整， 输出进行了所述视差调整的所述连续帧图像。
14.一种重放方法，其中， 输入从多个视点以连续帧拍摄同一被摄体而得到的多个视点的连续帧图像， 基于构成所输入的连续帧图像的帧图像取得规定物体的视差量， 在所述取得的所述视差量的一定期间的变动大于规定值的情况、所述视差量达到预先决定的容许界限值的情况、及未能检测到所述视差量的取得对象的情况中的至少一种情况下，判定为所述视差量有异常， 在判定为所述视差量无异常的情况下，进行所述规定物体的第一视差调整，在判定为所述视差量有异常的情况下，以与所述规定物体不同的其它物体为对象，进行视差调整， 在判定为所述视差量无异常的情况下，输出包含进行了所述视差调整的所述规定物体在内的所述帧图像，在判定为所述视差量有异常的情况下，输出包含进行了所述视差调整的所述其它物体在内的所述帧图像。
15.一种程序，用于使计算机作为以下部分而起作用 输入部，输入从多个视点以连续帧拍摄同一被摄体而得到的多个视点的连续帧图像； 视差量取得部，基于构成由所述输入部输入的连续帧图像的帧图像取得视差量；异常判定部，在由所述视差量取得部取得的视差量的一定期间的变动大于规定值的情况、所述视差量达到预先决定的容许界限值的情况、及未能检测到所述视差量的取得对象的情况中的至少一种情况下，判定为所述视差量有异常； 视差调整部，在由所述异常判定部判定为所述视差量无异常的情况下，进行第一视差调整，在由所述异常判定部判定为所述视差量有异常的情况下，切换为与所述第一视差调整的控制不同的第二视差调整的控制而进行视差调整；以及 输出部，输出由所述视差调整部进行了所述视差调整的所述连续帧图像。
16.一种程序，用于使计算机作为以下部分而起作用 输入部，输入从多个视点以连续帧拍摄同一被摄体而得到的多个视点的连续帧图像； 视差量取得部，基于构成由所述输入部输入的连续帧图像的帧图像取得规定物体的视差量; 异常判定部，在由所述视差量取得部取得的视差量的一定期间的变动大于规定值的情况、所述视差量达到预先决定的容许界限值的情况、及未能检测到所述视差量的取得对象的情况中的至少一种情况下，判定为所述视差量有异常； 视差调整部，在由所述异常判定部判定为所述视差量无异常的情况下，进行所述规定物体的视差调整，在由所述异常判定部判定为所述视差量有异常的情况下，以与所述规定物体不同的其它物体为对象，进行视差调整； 输出部，在由所述异常判定部判定为所述视差量无异常的情况下，输出包含由所述视差调整部进行了视差调整的所述规定物体在内的所述帧图像，在由所述异常判定部判定为所述视差量有异常的情况下，输出包含由所述视差调整部进行了视差调整的所述其它物体在内的所述帧图像。
全文摘要
即使在根据多个视点图像求出的视差量自身存在问题的情况下或不能检测到视差调整对象的情况下也能够适宜地进行视差调整。具备三维处理部(28)，基于多个视点图像取得视差量；CPU(32)，在取得的视差量的一定期间的变动大于规定值的情况、视差量到达规定容许界限值的情况、及不能检测视差量的取得对象的情况中的至少一种情况下，判定为视差量有异常，在这些情况的任一种均不存在的情况下，判定为视差量无异常，在判定为视差量无异常的情况下，进行第一视差调整，在判定为视差量有异常的情况下，切换为与所述第一视差调整的控制不同的第二视差调整的控制而进行视差调整；监视器(12A)，显示基于进行了视差调整的多个视点图像的体视图像。
文档编号G03B35/24GK102972036SQ20118003176
公开日2013年3月13日 申请日期2011年4月12日 优先权日2010年6月30日
发明者森光司 申请人:富士胶片株式会社