专利名称：图像处理装置、方法及程序的制作方法
技术领域：
本发明涉及图像处理，特别地，涉及立体动画的各立体图像帧的双眼视差调整。
背景技术：
专利文献I公开的立体图像处理装置，具有ニ维图像生成部及对于向用户显示的立体图像的立体感进行调整的立体感调整部。该立体图像处理装置中，如果所显示的被摄体达到极限视差，则立体感调整部做出响应，按照所获取的适当视差信息，以由视差控制部在以后的立体显示中实现该适当视差的方式生成视差图像。这时，通过按照三维数据将照相机參数设为最优而实现视差控制。另外，ニ维图像生成部计算满足适当视差的景深Fxy0在将景深范围设为Kl至K2，将各像素的景深值设为Gxy吋，该Fxy通过Fxy = Jl+(Gxy-Kl)X (J2 — Jl)/ (K2 — Kl)求出。此外，在Fxy非整数的情况下，实施四舍五入或使近置视差变小的处理。
专利文献I :日本特开2004 — 221699号公报
发明内容
但是，使用视差的立体动画，如果未以适当的视差量显示，则可能会引起观看者的疲劳。由于适当的视差量随着进行显示的显示器的尺寸或观看者的立体融合极限变化，因此必须进行与该变化相对应的视差调整。视差调整的结果，如果以与拍摄时的视差不同的视差再生立体图像，则可能会给观看者造成不适感。因此，优选按照尽量保持立体动画拍摄时的原本的视差的方式进行视
差调整。在专利文献I中，由于计算满足适当视差的景深Fxy并进行四舍五入，因此，在帧之间视差相同，而感觉不到随帧切换的立体感变化，反之，在帧之间出现过大的视差变化，则可能会造成观看者疲劳。本发明目的在于，通过立体动画的视差调整而防止较大损失原视差。本发明提供ー种图像处理装置，具有代表视差获取部，其获取构成立体动画的全部或规定的一部分范围的多个立体图像帧各自的代表视差；场景分离部，其在由代表视差获取部获取的各立体图像帧的代表视差的最大值及最小值规定的视差宽度，不适合由预先设定的最大容许视差及最小容许视差规定的容许视差宽度的情况下，将立体动画分为多个场景；视差调整部，其针对由场景分离部分离的每个场景，判断由构成场景的立体图像帧的代表视差的最大值及最小值规定的场景视差宽度是否适合容许视差宽度，并对应于判断结果统一进行调整，以使得构成场景的各立体图像帧的代表视差适合容许视差宽度；以及输出部，其输出由视差调整部调整了代表视差后的立体图像帧。此外，这里所说的“代表视差”，例如是指立体图像帧内的关注被摄体等的代表性视差，即立体动画帧内的代表性视差。另外，视差调整部在任意场景的场景视差宽度适合容许视差宽度，但构成任意场景的立体图像帧的代表视差的最大值超过预先设定的代表视差的上限的情况下，对构成任意场景的各立体图像帧的代表视差小于或等于代表视差进行调整，以使得代表视差的上限。此外，视差调整部在与连续的大于或等于2个的场景相对应的各场景视差宽度适合容许视差宽度，但构成连续的大于或等于2个场景的立体图像帧的代表视差的最大值超过代表视差的上限的情况下，对构成连续的大于或等于2个的场景的各立体图像帧的代表视差进行统ー调整，以使得代表视差小于或等于代表视差的上限。此外，优选视差调整部在任意场景的场景视差宽度适合容许视差宽度，但构成任意场景的立体图像帧的代表视差的最小值低于预先设定的代表视差的下限的情况下，对构成任意场景的各立体图像帧的代表视差进行调整，以使得代表视差大于或等于代表视差的下限。而且，优选视差调整部在与连续的大于或等于2个的场景相对应的各场景视差宽 度适合容许视差宽度，但构成连续的大于或等于2个的场景的立体图像帧的代表视差的最 小值低于代表视差的下限的情况下，统一地对构成连续的大于或等于2个的场景的各立体图像帧的代表视差进行调整，以使得代表视差大于或等于代表视差的下限。另外，优选场景分离部在按照规定的第I基准分离的场景的场景视差宽度不适合容许视差宽度的情况下，按照规定的第I基准及与规定的第I基准不同的第2基准，对立体动画进行分离。另外，优选第2基准与第I基准相比，场景变化的推定可靠度较低。此外，优选视差调整部针对由场景分离部按照第I基准及第2基准分离的各场景，判断场景的场景视差宽度是否适合容许视差宽度，在判断场景的场景视差宽度不适合容许视差宽度的情况下进行调整，以使得构成场景的各立体图像帧的代表视差适合容许视差宽度。而且，优选视差调整部在相邻的2个场景之间的代表视差的调整量之差超过规定的阈值的情况下，对相邻的2个场景间的代表视差的调整量进行平滑化。另外，本发明提供一种使图像处理装置执行以下步骤的图像处理方法，即获取构成立体动画的全部或规定的一部分范围的多个立体图像帧各自的代表视差；在由获取的各立体图像帧的代表视差的最大值及最小值规定的视差宽度不适合由预先设定的最大容许视差及最小容许视差规定的容许视差宽度的情况下，将立体动画分离为多个场景；针对分离的每一个场景，判断由构成场景的立体图像帧的代表视差的最大值及最小值规定的场景视差宽度是否适合容许视差宽度，对应于判断结果进行统ー调整，以使得构成场景的各立体图像帧的代表视差适合容许视差宽度；以及输出调整了代表视差后的立体图像帧。此外，本发明提供ー种用于使图像处理装置执行下述步骤的图像处理程序，即在由获取的各立体图像帧的代表视差的最大值及最小值规定的视差宽度不适合由预先设定的最大容许视差及最小容许视差规定的容许视差宽度的情况下，将立体动画分离为多个场景；针对分离的每一个场景，判断由构成场景的立体图像帧的代表视差的最大值及最小值规定的场景视差宽度是否适合容许视差宽度，对应于判断结果进行统ー调整，以使得构成场景的各立体图像帧的代表视差适合容许视差宽度；以及输出调整了代表视差后的立体图像帧。
发明的效果根据本发明，在立体动画的视差宽度不适合输出容许视差宽度的情况下，将立体动画分离为多个场景，判断每个场景的场景视差宽度是否适合输出容许视差宽度，对应于其判断結果，对场景的代表视差进行调整。由此，由于并不是统一地对立体动画的视差宽度整体进行调整，而是针对场景进行视差宽度调整，因此可以防止立体动画的立体感整体地消失。
图I是数字照相机的正面斜视图。图2是数字照相机的背面斜视图。
图3是数字照相机的框图。图4是发散方向的视差极限的示意图。图5是视差调整处理的流程图。图6是表不立体动画视差一输出视差变换表的一个例子的图。图7是第I实施方式涉及的视差平移的示意图。图8是第2实施方式涉及的视差平移的示意图。图9是显示再生装置的框图。
具体实施例方式图I是表示本发明的一个实施方式的数字照相机10的外观结构的正面斜视图。图2是表示该数字照相机的一个例子的外观结构的背面斜视图。数字照相机10具有多个摄像単元(在图I中例示两个)，可以从多个视点(在图I中例示左右两个视点)对同一个被摄体进行拍摄。此外，在本例中，为了说明方便，以具有两个摄像単元的情况为例进行说明，但本发明并不限定于此，具有大于或等于三个摄像单元的情况也同样适用。本例的数字照相机10的照相机机体112形成为矩形箱状，如图I所示，在其正面设有ー对拍摄光学系统11R、11L和闪光灯116。另外，在照相机机体112的上表面设有快门按钮14、电源/摸式开关120、模式旋钮122等。另外，如图2所示，在照相机机体112的背面设有由液晶显示装置(IXD)等构成的监视器13、变焦按钮126、十字键128、MENU/0K按钮130、DISP按钮132、BACK按钮134等。监视器13可以内置在数字照相机10中，也可以是外部设备。左右一对拍摄光学系统IlRUlL各自包含伸缩式的变焦透镜(图3的18R、18L)而构成，如果将数字照相机10的电源接通，则它们从照相机机体112伸出。此外，对于拍摄光学系统中的变焦机构或伸缩机构，由于是公知的技术，所以此处省略其具体说明。监视器13是将具有半圆筒状透镜组的所谓双凸透镜配置在前面的彩色液晶屏等显示装置。该监视器13作为用于显示已拍摄的图像的图像显示部使用，并在各种设定时作为⑶I使用。另外，在拍摄时作为电子取景器使用，透视显示由摄像元件捕捉的图像。此外，监视器13的立体图像的显示方式不限定于视差屏障方式。例如，也可以是立体影片方式、偏光滤镜方式、液晶快门方式等使用眼镜的立体图像显示方式。
快门按钮14由所谓的“半按”和“全按”组成的两段式开关构成。数字照相机10在静止图像拍摄时(例如，由模式旋钮122或菜单选择静止图像拍摄模式吋)，如果半按该快门按钮14,则进行拍摄准备处理即AE (Automatic Exposure 自动曝光)、AF (Auto Focus 自动对焦)、AWB (Automatic White Balance :自动白平衡)各种处理,如果全按则进行图像拍摄、记录处理。另外，在立体动画拍摄时(例如，由模式旋钮122或菜单选择立体动画拍摄模式时)，如果全按该快门按钮14，则开始拍摄立体动画，如果再一次全按，则结束拍摄。此夕卜，根据设定，也可以在将快门按钮14全按的期间内进行立体动画拍摄，而在全按松开时结束拍摄。此外，也可以设置静止图像拍摄专用的快门按钮及立体动画拍摄专用的快门按钮。电源/摸式开关120 (电源开关及模式开关)作为数字照相机10的电源开关起作用，并且作为数字照相机10的切換再生模式和拍摄模式的切换单元起作用。模式旋钮122、用于拍摄模式设定。数字照相机10通过将该模式旋钮122设置在“2D静止图像位置”而设定为拍摄2D静止图像的2D静止图像拍摄模式，通过设置在“3D静止图像位置”而设定为拍摄3D静止图像的3D静止图像拍摄模式。此外，通过设置在“3D动画位置”而设定为拍摄3D动画的3D动画拍摄模式。变焦按钮126用于拍摄光学系统IlRUlL的变焦操作，由指示向望远侧变焦的远摄变焦按钮和指示向广角侧变焦的广角变焦按钮构成。十字键128设为可在上下左右4个方向进行按压操作，对应于各方向的按压操作，分配与照相机的设定状态相对应的功能。MENU/ΟΚ按钮130用于调出菜单画面(MENU功能)，并且，用于选择内容确定、处理执行指示等(0K功能)。DISP按钮132用于监视器13的显示内容的切换指令等的输入，BACK按钮134用于输入操作的取消等指令的输入。图3是表示数字照相机10的要部的框图。数字照相机10具有右视点用摄像单元，其具有右视点用拍摄光学系统IlR及摄像元件29R ;以及左视点用摄像单元，其具有左视点用拍摄光学系统IlL及摄像元件29し2个拍摄光学系统11 (IlRUlL)分别具有变焦透镜18 (18R、18L)、聚焦透镜19(19R、19L)、以及光圈20 (20R、20L)。这些变焦透镜18、聚焦透镜19、及光圈20分别由变焦透镜控制部22 (22R、22L)、聚焦透镜控制部23 (23R、23L)、光圈控制部24 (24R、24L)驱动。各控制部22、23、24由步进电动机构成，通过由与CPU 26连接的未图示的电动机驱动器提供的驱动脉冲控制。在2个光学系统11 (IlRUlL)的背后分别配置CXD图像传感器(以下简称为“CCD，，)29 (29R、29L)。此外，也可以取代CCD 29，使用MOS型的图像传感器。CCD 29如公知所示，具有排列有多个光电变换元件的光电变换面，通过经由拍摄光学系统11使被摄体光入射到该光电变换面，从而使被摄体成像。在CCD 29上连接由CPU 26控制的定时脉冲发生器TG 31(31R、31L)，根据从该TG 31输入的定时信号(时钟脉冲)，确定电子快门的快门速度(即各光电变换元件的电荷蓄积时间)。从CXD 29输出的摄像信号被输入模拟信号处理电路33 (33R、33L)。模拟信号处理电路33具有相关双采样电路(⑶S)、放大器(AMP)等。⑶S从摄像信号生成与各像素的蓄积电荷时间相对应的R、G、B图像数据。AMP将所生成的图像数据放大。AMP作为对CXD 29的感光度进行调节的感光度调节单元起作用。CXD 29的ISO感光度由AMP増益确定。A/D变换器36 (36R、36L)将放大后的图像数据从模拟信号变换为数字信号。从A/D变换器36 (36R、36L)输出的数字图像数据经由图像输入控制器38(38R、38L)，分别作为右视点图像数据、左视点图像数据而由作业用的存储器SDRAM 39暂时存储。数字信号处理部41从SDRAM 39读取图像数据，实施灰度变换、白平衡校正、Y校正处理、YC变换处理等各种图像处理，将该图像数据再次存储在SDRAM 39中。由数字信号处理部41进行过图像处理的图像数据在由VRAM 65作为透视图像获取后，由显示控制部42变换为影像输出用的模拟信号，并显示在监视器13上。另外，随着快门按钮14全按而获取的完成了图像处理的图像数据，在由压缩展开处理部43以规定的压缩格式(例如JPEG格式)压缩后，经由媒体控制部15，作为记录用图像记录在存储卡16中。操作部25是用于进行数字照相机10的各种操作的装置，由图I及图2所示的各种按钮、开关120至134构成。 CPU 26设置为，用于对数字照相机10进行集中控制。CPU 26基于存储在闪存ROM60或ROM 61中的各种控制用的程序或设定信息、来自姿态检测传感器73或操作部25的输入信号等，对电池70、电源控制部71、时钟部72等各部分进行控制。另夕卜，在数字照相机10上设有进行AE (Auto Exposure) /AffB (Auto WhiteBalance)控制的AE/AWB控制部47、对多个立体图像帧各自的代表视差进行检测的视差检测部49。另外，数字照相机10具有闪光灯控制部23，其对闪光灯5的发光定时和发光量进行控制。AE/AWB控制部47在半按快门按钮14时，对由CXD 29得到的图像(摄像图像)进行解析，基于被摄体的亮度信息等，计算光圈20的光圈值及CCD 29的电子快门的快门速度。并且，AE/AWB控制部47基于这些计算結果，经由光圈控制部24对光圈值进行控制，经由TG31对快门速度进行控制。例如，基于由两个拍摄光学系统I IR、IIL中的一个拍摄光学系统的CXD 29R或29L得到的摄像图像(右视点图像或左视点图像)，计算两个拍摄光学系统IlRUlL的光圈值及快门速度。也可以基于由两个拍摄光学系统IlR及IlL得到的摄像图像(右视点图像及左视点图像)，计算各个拍摄光学系统IlRUlL的光圈值及快门速度。AF控制部45在半按快门按钮14时，进行使聚焦透镜19R、19L沿光轴方向移动而计算对比度的AF搜索控制、以及使聚焦透镜19R、19L移动至基于对比度的合焦透镜位置的合焦控制。其中，“对比度”基于由CXD 29R、29L得到的摄像图像的规定的合焦评价值计算区域内的图像信号计算。“合焦透镜位置”是聚焦透镜19R、19L至少与主要被摄体合焦的聚焦透镜19R、19L的位置。例如，一边通过电动机驱动器27R或27L的驱动使两个拍摄光学系统11R、11L的聚焦透镜19R、19L中的至少ー个移动，一边根据一个拍摄光学系统IlR或IlL的摄像图像(右视点图像或左视点图像)计算对比度。基于该对比度，分别确定两个拍摄光学系统11R、IlL的聚焦透镜19R、19L的合焦透镜位置，分别驱动电动机驱动器27R及27L，使各聚焦透镜19R、19L移动至各自的合焦透镜位置。也可以对两个拍摄光学系统I IR、IIL分别进行AF搜索，确定各自的合焦透镜位置。姿态检测传感器73检测拍摄光学系统IlRUlL相对于预先确定的姿态而旋转的方向及角度。防抖控制部62通过由电动·机对设置在拍摄光学系统IlRUlL中的未图示的校正透镜进行驱动，从而校正由姿态检测传感器73检测到的光轴偏离，防止抖动。CPU 26对脸部识别部64进行控制，以根据与拍摄光学系统11R、IlL的被摄体像相对应的左右图像数据进行脸部识别。脸部识别部64对应于CPU 26的控制开始脸部识别，并根据左右图像数据分别进行脸部识别。脸部识别部64的脸部识别结果，将包含根据左右图像数据而分别识别的脸部区域位置信息的脸部区域信息存储在SDRAM 39中。脸部识别部64可以利用模板匹配等公知的方法，从存储在SDRAM 39中的图像识别脸部区域。此外，所谓被摄体的脸部区域，可以列举摄像图像中的人物或动物的脸部区域。脸部对应判断部66判断根据右图像数据识别的脸部区域与根据左图像数据识别的脸部区域的对应关系。即，脸部对应判断部66确定根据左右图像数据分别识别的脸部区域的位置信息之间最接近的脸部区域的组。并且。脸部对应判断部66对构成该组的脸部区域之间的图像信息进行匹配，在两者同一性的可靠度超过规定阈值的情况下，判断构成该组的脸部区域之间为对应关系。视差检测部49计算左右图像数据的规定区域间的代表视差。例如，代表视差计算如下进行。首先，视差检测部49计算在构成组的脸部区域之间对应的特定点(对应点)之间的位置差(对应点间距离)。并且，视差检测部49计算该组的脸部区域中包含的点的视差的平均值，将其作为该组的代表视差。视差检测部49在存在多个判断为处于对应关系的脸部区域的情况下，仅对这些脸部区域中的主要脸部区域进行代表视差计算，并将该主要脸部区域的代表视差存储在SDRAM 39中。所谓主要脸部区域是指最靠近画面中央的脸部区域、最靠近合焦评价值计算区域的脸部区域、尺寸最大的脸部区域等。或者，视差检测部49计算左右图像中处于对应关系的规定区域，例如，图像中央区域或合焦评价值计算区域内的对应点之间的视差平均值，将其作为该组的代表视差。处于对应关系的规定区域的位置信息和其代表视差，与左右图像数据相关联而存储在SDRAM 39中。例如，处于对应关系的脸部区域的位置信息和其代表视差作为图像数据的附帯信息(数据头、标签、元信息等)而存储。在图像数据作为记录用图像压缩记录在存储卡16中时，例如，作为Exif等标签信息，将该脸部区域的位置信息和代表视差组合而记录在记录用图像的附帯信息中。显示容许视差宽度获取部204获取显示容许最小视差Dmin及显示容许最大视差Dmax，并输入视差调整部202中。获取的方式是任意的，可以从操作部25输入，可以从ROM61或立体动画数据的附帯信息等输入，也可以从监视器13作为控制信息输入。显示容许最大视差Dmax规定发散方向的视差(监视器13上的立体图像凹入的方向)的极限。如图4A例示，由于人眼看不到外侧，所以具有超过瞳距的视差的左右图像不会融合，观看者无法识别其为I幅图像，因此会引起眼睛疲劳。如果考虑儿童观看者，瞳距约为5cm，因此，与该距离相当的监视器13的像素数为显示容许最大视差Dmax。例如，如果监视器13是16:9英制尺寸的高清电视，分辨率设为1920X1080，则与监视器13的尺寸对应的显示容许最小视差Dmin如图4B所示。如果是数字照相机或移动电话的内置画面这种监视器13尺寸较小，则发散方向的视差不易成为问题，但在电视机这种显示画面尺寸很大的监视器13的情况下，发散方向的视差会成为问题。作为显示容许最小视差Dmin，规定过大视差(监视器13上的立体图像跳出的方向)的极限。显示容许最小视差Dmin与显示容许最大视差Dmax不同，无法由瞳距唯一地确定。例如，作为确定显示容许最小视差Dmin的输出条件，有(I)监视器13的尺寸、(2)监视器13的分辨率、(3)观看距离(从观看者到监视器13的距离)、(4)观看者个人的立体融合极限。作为标准的例子，(2)高清电视的监视器13的分辨率为1920X1080，(3)观看距离是监视器13的画面高度的3倍。如果以这些条件为前提，则(4)通常的立体融合极限是57像素(视差角为I度左右)。阈值设定部205也可以基于用户操作或监视器13的设定信息等，将(I)至(4)的信息从外部输入。例如，用户可以经由操作部25，输入自己正在观看的监视器13的分辨率、观看距离、立体融合极限。但是，在没有特别从外部输入(2)至(4)的
信息的情况下，阈值设定部205从ROM 61等读取上述标准例，并将其输入视差调整部202。视差调整部202进行调整，以使左右图像数据的代表视差宽度处于由从显示容许最小视差Dmin至显示容许最大视差Dmax的范围构成的显示容许视差宽度范围内。图5是表示视差调整处理的流程图。该处理通过CPU 26控制。使CPU 26执行该处理的程序记录在ROM 61等计算机可读取的记录媒体中。该处理在将上述区域的位置信息和代表视差存储在图像数据的附帯信息中之后执行。在SI中，视差调整部202尝试存储在SDRAM 39或存储卡16中的构成立体动画的全部或规定的一部分范围的各立体图像帧的左右图像数据，并且尝试从该立体动画的附帯信息读取各立体图像帧的代表视差。立体动画的规定的一部分范围可以由操作部25指定，也可以在ROM 61等中規定。该范围的位置和长度的单位是任意的，可以利用帧编号、拍摄时亥IJ、时间间隔、帧数等指定。在S2中，显示容许视差宽度获取部204将显示容许视差宽度获取在SDRAM 39中。显示容许视差宽度是指从显示容许最小视差Dmin至显示容许最大视差Dmax的范围。显示容许视差宽度的获取单元包含操作部25、内置的ROM 61、外部监视器13或电子设备等。在S3中，视差调整部202根据各立体图像帧的代表视差确定代表视差的最大值pmax与代表视差的最小值pmin,计算立体动画视差宽度=pmax 一 pmin。并且,视差调整部202判断是否是立体动画视差宽度〈显示容许视差宽度。在“是”的情况下进入S4，在“否”的情况下进入S7。在S4中，视差调整部202判断是否是代表视差的最大值pmax>显不容许最大视差Dmax0在“是”的情况下进入S6，在“否”的情况下进入S5。在S5中，视差调整部202判断是否是代表视差的最小值pminく显示容许最小视差Dmin。在“是”的情况下进入S6，在“否”的情况下进入S16。在S6中，视差调整部202对各立体图像帧的代表视差进行平移，以使得立体动画视差宽度处于显示容许视差宽度范围内。即，在S4中判断为“是”的情况下，将各代表视差向负(下)方向平移，使得各代表视差处于Dmax至Dmin的范围内。在S5中判断为“是”的情况下，将各代表视差向正(上)方向平移，以使得各代表视差处于Dmax至Dmin的范围内。在S7中,场景分离部206进行各立体图像巾贞的场景变化检测。场景分离部206的场景检测等级是可变的。在这里，场景检测等级在等级I至3之间分段可变。初始的S7执行时的初始检测等级为I级，在通过后述的S13进行等级变更之前，以初始检测等级进行场景变化检测。另外，按照I级>2级>3级的顺序，使得场景变化检测的推定可靠度降低。场景变化的检测方法对应于等级而不同。在场景变化检测推定可靠度最高的I级吋，以用户从操作部25输入的明确的场景分割指定操作为基准检测场景变化，例如，将通过编辑操作指定为场景分割的立体图像帧检测作为有场景变化的立体图像帧。编辑操作包含立体动画中的立体图像帧的切取位置的指定或不同的立体动画的接合位置的指定等。也可以将存在快门按钮14开关的立体图像帧检测为有场景变化的立体图像帧。在检测的推定可靠度比I级低的2级时，将在变焦按钮126进行变焦透镜18的变焦操作的时刻获取的立体图像帧检测为有场景变化的立体图像帧。在检测的推定可靠度比2级低的3级时，在相邻的2个立体图像帧a、b间的图像信息的差异超过规定阈值的情况下，将立体图像帧b检测为有场景变化的立体图像帧。在该图像信息中包含亮度信息、顔色信息、或对这些信息进行统计处理的信息(柱状图等)等。 与各等级相对应的场景检测方法可以由用户经由场景分离信息输入部207自由输入。场景分离信息输入部207和操作部25也可以是共用的单元。场景分离部206以检测到场景变化的立体图像帧为基准，将立体动画分为η个(η=2、3、· ·)个部分。通过以检测到场景变化的立体图像帧为边界对立体动画进行分割，从而使得分离得到的立体动画的各部分分别构成不同的场景。场景分离部206将表示各场景S (k)的初始立体图像帧与最后立体图像帧的场景信息输入视差调整部202。在这里，k=I至n，k的初始值为1，每重复I次S7至S15的循环，k值递增I。在S8中，视差调整部202根据按照场景信息识别的场景S (k)内的各立体图像帧的代表视差，确定代表视差的最大值pmax (k)与代表视差的最小值pmin (k),计算场景S(k)的立体动画视差宽度=pmax (k) 一 pmin (k)。并且，视差调整部202判断是否是场景S (k)的立体动画视差宽度〈显示容许视差宽度。在“是”的情况下进入S9，在“否”的情况下进入S12。在S9中，视差调整部202判断是否是场景S (k)的代表视差的最大值pmax (k)>显示容许最大视差Dmax。在“是”的情况下进入S11，在“否”的情况下进入S10。在SlO中，视差调整部202判断是否是场景S (k)的代表视差的最小值pmin (k)<显示容许最小视差Dmin。在“是”的情况下进入S11，在“否”的情况下进入S15。在Sll中，视差调整部202将场景S (k)的各立体图像帧的代表视差向正或负方向平移，以使得场景S (k)的代表视差处于Dmax至Dmin的范围内。在S12中，场景分离部206判断是否可以设定比当前设定的场景分离等级低的分离等级的场景检测方法。例如，在上述场景检测等级在等级I至3之间可变的情况下，如果当前设定的等级是I级或2级则判断为“是”，如果当前的设定等级为3级则判断为“否”。在S13中，场景分离部206对场景的分离等级进行变更。例如，场景分离部206将推定可靠度比当前等级低I级的等级设定为新的检测等级。然后返回S7，以新的检测等级进行立体动画的场景变化检测。或者，也可以以之前设定的等级和本次设定的等级这2个等级进行场景变化检测。在S14中，视差调整部202对场景S (k)的各立体图像帧的代表视差进行调整，以使得场景S (k)的立体动画视差宽度处于显示容许视差宽度范围内。例如，在场景S (k)的立体动画视差宽度为X、显示容许视差宽度为Y且x>Y的情况下，以相同的缩减率(X — Y)/X缩减场景S (k)的各立体图像帧的代表视差。在S15中，CPU 206判断是否为k = n，g卩，是否对全部的场景S (I)至S (η)执行了 S7至S15的循环。在“是”的情况下进入S16，在“否”的情况下，将k值加1，返回S8。在S16中，视差调整部202将存储在ROM 61等中的立体动画视差一输出视差变换表读取至SDRAM 39中。图6表示立体动画视差一输出视差变换表的ー个例子。该表规定与各立体图像帧的任意值的代表视差相对应的整数输出视差。例如，根据该表，M至M+t的代表视差与输出视差N相对应，M+t至M+2t的代表视差与输出视差N + I相对应。此外，图像最小显示单位是I个像素，因此，如果以像素単位表示输出视差，则为整数。视差调整部202按照存储在ROM 61等中的立体动画视差一输出视差变换表，确定与各立体图像帧的代表视差(也包含平移后或缩减后的代表视差)相对应的输出视差。显示控制部42通过以所确定的输出视差将各立体图像帧依次显示在监视器13上，进行立体动画再生。图7例示本处理进行的视差宽度调整的方式。例如，如图7A所示，某个立体动画的动画视差宽度超过显示容许视差宽度。在这种情况下，在S3中为“否”，通过S7进行该动画的场景分离。图7B例示分离后的场景。在该图中，I个立体动画被分离为3个场景SNl至SN3。场景分离后，通过S8将各场景的动画视差宽度与显示容许视差宽度进行比较。在场景的动画视差宽度超过显示容许视差宽度的情况下，在S8中为“否”，通过S13变更场景变化的检测等级，以变更后的等级重新进行场景变化检测。在场景的动画视差宽度未超过显示容许视差宽度的情况下，在S8中为“是”，通过S9和/或SlO判断是否需要对该场景进行代表视差平移。在通过S9判断该场景的最大视差超过显示容许最大视差或通过SlO判断该场景的最小视差低于显示容许最小视差的情况下，通过Sll进行平移，使得该场景中包含的各立体图像帧的代表视差处于显示容许视差的最小值至最大值的范围内。图7C例示了各分离场景的代表视差的平移。在该图中，场景SNl的各代表视差全部向下侧平移Λ 1，场景SN2的各代表视差全部向下侧平移Λ2，场景SN3的各代表视差全部向下侧平移Λ 3。执行上述处理所需的模块，也可以设置在除了数字照相机以外的电子设备中。例如，也可以由具有如图8所示的CPU 26、VRAM 65、SDRAM 39、闪存ROM 60、ROM 61、压缩展开处理部43、媒体控制部15、视差检测部49、视差调整部202、图像输入部201 (例如图像输入控制器38、媒体控制部15等)、显示容许视差宽度获取部204、场景分离部206、场景分离信息输入部207、图像输出部208 (例如监视器13、媒体控制部15等)等显示平面或立体图像的模块的图像输出装置执行该处理。图像输入部201输入的立体动画并不限定于从摄像単元直接输出。例如，也可以由媒体控制部15从存储卡16等媒体读取或经由网络接收。图像输出部208输出完成了视差调整的图像的目标，不限定于显示控制部42及监视器13，图像也可以不在视差调整后立即显示。例如，媒体控制部15也可以将各立体图像帧的调整后的代表视差即输出视差作为与各立体图像帧相关联的立体动画数据，存储在存储卡16等媒体中。或者，也可以将该立体动画数据经由网络发送。或者，可以将各立体图像帧通过立体光栅印刷等制成印刷品。另外，是否使视差调整处理动作的模式设定或定时也是任意的。例如，拍摄模式开始时不进行视差调整处理，而从快门按钮14全按时开始进行视差调整处理。或者，在将存储卡16的立体动画数据显示在电视机等外部监视器13上吋，开始进行视差调整处理。通过上述处理，可以在各立体图像帧的代表视差超过显示容许视差宽度的情况下，针对每个场景判断可否进行视差宽度压縮，以场景为单位进行视差宽度调整。由此，可以确保拍摄时的立体动画的代表视差而输出。く第2实施方式>如果针对场景进行视差量调整，则伴随场景变化的输出视差变动会与拍摄时的原 始视差变动不同，从而可能给观看者造成不适感。因此，在SI I中，视差调整部202进ー步对于前ー个场景S (k — I)和当前的场景S (k)(其中，2〈k兰η)判断任意场景S (k — 1)*S(k)的视差宽度是否均未超过显示容许视差宽度，在判断为任意场景S (k — I) · S (k)的视差宽度均未超过显示容许视差宽度的情况下，可以以与场景S (k — I)相同的平移量将场景S (k)平移至显示容许视差宽度内。随着k的递增而重复进行该处理，如果连续大于或等于2个的场景的动画视差宽度均未超过显示容许视差宽度，则使大于或等于2个的场景以相同的平移量向上或下平移，以使它们处于显示容许视差的范围内。例如，如图9A所示，某个立体动画的立体图像帧的代表视差产生推移。图9B例示从该立体动画分离得到的场景。在该图中，I个立体动画被分离为3个场景SNl至SN3。2个场景SNl -SN2的视差宽度Wl超过显示容许视差宽度WO。另ー方面，2个场景SN2 -SN3的视差宽度W2未超过显示容许视差宽度W0。在这种情况下，通过S9和/或S10，对于2个场景SN2 -SN3判断是否需要进行代表视差平移。在通过S9判断为该场景的最大视差超过显示容许最大视差或通过SlO判断为该场景的最小视差低于显示容许最小视差的情况下，通过Sll进行平移，以使得2个场景SN2 · SN3包含的各立体图像帧的代表视差处于显示容许视差宽度内。图9C例示分离的各场景的代表视差的平移。在该图中，场景SNl的各代表视差全部向下侧平移Λ 1，场景SN2 · SN3的各代表视差一起向下侧平移Δ2。由此，在连续的场景的代表视差的视差宽度处于显示容许视差宽度内的情况下，如果使这些场景的代表视差的平移量为相同的值，则场景变化前后的视差切換与拍摄时的情况相同，得到对于观看者来说适于观看的立体图像。〈第3实施方式〉在第I或第2实施方式中，如果相邻的场景间的代表视差的调整量(由视差宽度缩减引起的代表视差的变动量和/或由代表视差平移引起的变化量)的差异较大，则在该场景间的场景变化时，被摄体的距离急剧变化的可能性很高。因此，在该场景间的代表视差的调整量的差异大于或等于规定阈值的情况下，可以对该场景间的代表视差的调整量进行平滑化。具体地说，场景A与场景B在时间上连续，场景A的代表视差的调整量为a，场景B的代表视差的调整量为b。视差调整部202判断是否是|a — b|〈规定阈值(例如5个像素)。在“否”的情况下，视差调整部202在规定的范围内对场景A的代表视差的调整量a和场景B的代表视差的调整量b进行平滑化。例如，视差调整部202在从场景B的第I个立体图像帧至100帧左右后的立体图像帧的范围内，使视差调整量从a逐渐变化为b。或者，视差调整部202在从场景A的末尾倒数50帧左右的立体图像帧至场景B前50帧左右的立体图像帧范围内，使视差调整量从a逐渐变化为b。由此，可以缓和伴随场景变化的视差调整量的急剧变化。此外，场景间的视差调整量的变化，按照以时间轴为參数的规定函数例如I次函数进行即可。标号的说明49:视差检测部[O川]202:视差调整部204 :显示容许视差宽度获取部
206:场景分离部207 :场景分离信息输入部
权利要求
1.一种图像处理装置，其具有 代表视差获取部，其获取构成立体动画的全部或规定的一部分范围的多个立体图像帧各自的代表视差； 场景分离部，其在由所述代表视差获取部获取的各立体图像帧的代表视差的最大值及最小值规定的视差宽度，不适合由预先设定的最大容许视差及最小容许视差规定的容许视差宽度的情况下，将所述立体动画分离为多个场景； 视差调整部，其针对由所述场景分离部分离的每个场景，判断由构成所述场景的立体图像帧的代表视差的最大值及最小值规定的场景视差宽度是否适合所述容许视差宽度，并对应于所述判断结果统一进行调整，以使得构成所述场景的各立体图像帧的代表视差适合所述容许视差宽度；以及 输出部，其输出由所述视差调整部调整了代表视差后的立体图像帧。
2.根据权利要求I所述的图像处理装置，其中， 所述视差调整部，在任意场景的场景视差宽度适合所述容许视差宽度，但构成所述任意场景的立体图像帧的代表视差的最大值超过预先设定的代表视差的上限的情况下，对构成所述任意场景的各立体图像帧的代表视差进行调整，以使得所述代表视差小于或等于所述代表视差的上限。
3.根据权利要求2所述的图像处理装置，其中， 所述视差调整部，在与连续的大于或等于2个的场景相对应的各场景视差宽度适合所述容许视差宽度，但构成所述连续的大于或等于2个的场景的立体图像帧的代表视差的最大值超过所述代表视差的上限的情况下，对构成所述连续的大于或等于2个的场景的各立体图像帧的代表视差进行统一调整，以使得所述代表视差小于或等于所述代表视差的上限。
4.根据权利要求I至3中任意一项所述的图像处理装置，其中， 所述视差调整部，在任意场景的场景视差宽度适合所述容许视差宽度，但构成所述任意场景的立体图像帧的代表视差的最小值低于预先设定的代表视差的下限的情况下，对构成所述任意场景的各立体图像帧的代表视差进行调整，以使得所述代表视差大于或等于所述代表视差的下限。
5.根据权利要求4所述的图像处理装置，其中， 所述视差调整部，在与连续的大于或等于2个的场景相对应的各场景视差宽度适合所述容许视差宽度，但构成所述连续的大于或等于2个的场景的立体图像帧的代表视差的最小值低于所述代表视差的下限的情况下，对构成所述连续的大于或等于2个的场景的各立体图像帧的代表视差进行统一调整，以使得所述代表视差大于或等于所述代表视差的下限。
6.根据权利要求I至5中任一项所述的图像处理装置，其中， 所述场景分离部，在按照规定的第I基准分离的场景的场景视差宽度不适合所述容许视差宽度的情况下，按照所述规定的第I基准及与所述规定的第I基准不同的第2基准，对所述立体动画进行分离。
7.根据权利要求6所述的图像处理装置，其中， 所述第2基准与所述第I基准相比，所述场景变化的推定可靠性较低。
8.根据权利要求6或7所述的图像处理装置，其中， 所述视差调整部，针对由所述场景分离部按照所述第I基准及所述第2基准分离的各场景，判断所述场景的场景视差宽度是否适合所述容许视差宽度，在判断所述场景的场景视差宽度不适合所述容许视差宽度的情况下进行调整，以使得构成所述场景的各立体图像帧的代表视差适合所述容许视差宽度。
9.根据权利要求I至8中任一项所述的图像处理装置，其中， 所述视差调整部在相邻的2个场景之间的代表视差的调整量之差超过规定的阈值的情况下，对所述相邻的2个场景间的代表视差的调整量进行平滑化。
10.一种图像处理方法，其使图像处理装置执行以下步骤 获取构成立体动画的全部或规定的一部分范围的多个立体图像帧各自的代表视差； 在由所述获取的各立体图像帧的代表视差的最大值及最小值规定的视差宽度，不适合由预先设定的最大容许视差及最小容许视差规定的容许视差宽度的情况下，将所述立体动画分离为多个场景； 针对所述分离的每一个场景，判断由构成所述场景的立体图像帧的代表视差的最大值及最小值规定的场景视差宽度是否适合所述容许视差宽度，对应于所述判断结果进行统一调整，以使得构成所述场景的各立体图像帧的代表视差适合所述容许视差宽度；以及 输出调整了所述代表视差后的立体图像帧。
11.一种图像处理程序，其用于使图像处理装置执行以下步骤 获取构成立体动画的全部或规定的一部分范围的多个立体图像帧各自的代表视差； 在由所述获取的各立体图像帧的代表视差的最大值及最小值规定的视差宽度不适合由预先设定的最大容许视差及最小容许视差规定的容许视差宽度的情况下，将所述立体动画分离为多个场景； 针对所述分离的每一个场景，判断由构成所述场景的立体图像帧的代表视差的最大值及最小值规定的场景视差宽度是否适合所述容许视差宽度，对应于所述判断结果进行统一调整，以使得构成所述场景的各立体图像帧的代表视差适合所述容许视差宽度；以及 输出调整了所述代表视差后的立体图像帧。
全文摘要
通过立体动画的视差调整，防止原视差损失较大。本发明在立体动画的视差宽度不适合输入容许视差宽度的情况下，将立体动画分离为多个场景，判断各场景的场景视差宽度是否适合输出容许视差宽度，对应于其判断结果调整场景的代表视差。由于并不是统一地对立体动画的视差宽度进行调整，而是针对各场景调整视差宽度，因此可以防止整体地损失立体动画的立体感。
文档编号H04N13/02GK102986232SQ20118003362
公开日2013年3月20日 申请日期2011年7月19日 优先权日2010年7月26日
发明者增田智纪 申请人:富士胶片株式会社