专利名称：立体图像显示设备、立体图像显示方法、立体图像显示程序、及记录介质的制作方法
技术领域：
本发明涉及立体图像的显示，特别是涉及包含多个面部的立体图像的显示。
背景技术：
根据专利文献1，面部检测部件30从第一图像Gl中检测存在对象的参考对象区域，并从第二图像G2中检测与参考对象区域相对应的相应对象区域，这些图像是由图像拍摄部件21A和21B获得的。区域配置部件31在第一图像Gl上配置一个位于预定范围内的包括参考对象区域在内的参考裁剪区域；以及在第二图像G2上配置一个位于预定范围内的包括相应对象区域的临时裁剪区域。随后，通过在第二图像G2上移动临时裁剪区域，检测出包含于参考裁剪区域中的对象的预定结构与包含于临时裁剪区域中的对象的预定结 构之间的位移量，处于位移量最小的位置的临时裁剪区域被配置为针对参考裁剪区域的相应裁剪区域。修剪部件32对第一图像Gl的参考裁剪区域和第二图像G2的相应裁剪区域进行修剪。根据专利文献2，对象的图像拍摄是在多个成像单元的光轴变为平行的情况下执行的，并将图像数据存储在帧存储器12中。CPU 10对从成像单元Il和12获得的多个拍摄图像中的某个面部的位置进行检测，并指示电机驱动器11移动螺母NI和N2，从而调整会聚角。成像单元Il和12分别生成用于右视点和左视点的图像数据。引用文献专利文献专利文献I :日本专利申请公开No. 2009-129420专利文献2 :日本专利申请公开No. 2008-22150
发明内容
{技术问题}立体图像的回放需要与视点图像中的某个点匹配的视差。因此，立体图像包含视差匹配的部分和视差不匹配的部分。通常，在视角的中心附近(图像中心部分)调整视差。因此，当拍摄某个人等的图像的情况下面部为主要对象时，如果此人位于屏幕中心外，则对中心的视差匹配将导致该面部的视差的不匹配(图IlA至图HE)。图IlA是示意性地示出了立体图像拍摄设备的右和左图像拍摄部件与拍摄对象(人和塔)之间的位置关系的视图，图IlB示出了利用处于图IlA中的位置关系的右和左图像拍摄部件拍摄对象所获得的图像(分别为右图像拍摄部件图像和左图像拍摄部件图像)。图IlC是示意性地示出了拍摄对象的位置与从右图像拍摄部件图像和左图像拍摄部件图像所获得的拍摄对象的图像之间的关系的视图。图IlD示出了在右图像拍摄部件图像和左图像拍摄部件图像中心部分设置一个交叉点时的两个图像。图IlE示出了对进行过面部识别的拍摄对象设置一个交叉点时的右图像拍摄部件图像和左图像拍摄部件图像。此外，在图IlB至图IlE中，实线指示的是从左图像拍摄部件获得的图像，虚线指示的是从右图像拍摄部件获得的图像。如图IlC中所示，当拍摄对象的位置处于和邻近交叉点设置位置(中等距离)时，右图像拍摄部件图像和左图像拍摄部件图像的回放图像大体上重叠。在另一方面，当拍摄对象的位置处在比交叉点设置位置更近的距离或更远的距离时，拍摄对象的回放图像导致了重像。为此，对于图IlA中的位置关系，将交叉点设置在图像的中心部分导致了与处于图像中心部分的拍摄对象(塔)相比处于更近的距离的拍摄对象(人)的面部的重像,如图IlD中所示。因此，如专利文献I中一样，考虑了执行面部识别，并对通过面部识别获得的位置进行视差的匹配，而不是对视角的中心进行视差的匹配(图HE)。但是，当多个面部存在于视角范围内时，对于某些面部视差可能不匹配。本发明基于除了主要面部以外的其余所有面部的相应视差信息，通过控制视差以使得即使在存在多个人而任何面部能看到的情况下适当地匹配视差，来实现自然的立体图·像的显示。{技术手段}根据本发明的一个方面的一种立体图像显示设备包括视差信息获取部件，其获取出现在不同视点图像中的多个面部区域的每个面部区域的视差信息；显示方法选择部件，其选择该多个面部区域的显示方法；面部区域选择部件，其基于显示方法选择部件所选择的显示方法，从该多个面部区域中选择一个特定面部区域；视差调整部件，其基于面部区域选择部件所选择的特定面部区域的视差信息，调整视点图像中的特定面部区域的视差量；以及显示控制器，其基于通过视差调整部件调整了其中的特定面部区域的视差量的视点图像将立体图像显示在预定的显示设备上。优选地，显示方法选择部件从该多个面部区域中选择出任意一个面部区域并选择显示所选面部区域的显示方法，面部区域选择部件基于选择操作从该多个面部区域中选择出任意一个面部区域，以及视差调整部件基于所选择的面部区域的视差信息，调整视点图像中的所选择的面部区域的视差量。优选地，面部区域选择部件从显示在显示设备上的列表中的多个面部区域中选择出任意一个面部区域。优选地，显示方法选择部件顺序地从多个面部区域中选择出任意一个面部区域，并顺序地且分别地选择用于显示顺序选择的面部区域的显示方法，面部区域选择部件顺序地从多个面部区域中选择出任意一个面部区域，视差调整部件基于顺序选择的面部区域的视差信息，对顺序选择的面部区域的视差量进行调整，以及显示控制器顺序地显示调整了视差量的面部区域。优选地，显示方法选择部件选择用于将各个面部区域分别显示在各个分割屏幕中的显示方法，面部区域选择部件从该多个面部区域中选择显示在各个分割屏幕中的面部区域，并且包括，该裁剪部件从视点图像中裁剪出面部区域选择部件所选择的各个面部区域，视差调整部件基于显示在各个分割屏幕中的各个面部区域的视差信息，对裁剪部件所裁剪出的各个面部区域的视差量进行调整，并且显示控制器将调整了视差量的各个面部区域显示在各个分割屏幕中。
优选地，显示方法选择部件从该多个面部区域中选择出任意一个面部区域并选择显示面部区域的显示方法，使得这些面部区域全部包含在一个预定的视角范围内，并将所选择的面部区域设置为基准，面部区域选择部件从多个面部区域中选择任意一个面部区域，并且包括裁剪部件，裁剪部件在视点图像中配置其中多个面部区域全部包含在一个预定的视角范围内的裁剪范围、将所选择的面部区域设置为基准、以及裁剪视点图像中的裁剪范围内的图像，视差调整部件基于所选面部区域的视差信息调整视点图像中用于裁剪部件裁剪的所选面部区域的视差量，以及显示控制器对调整了视差量的裁剪图像进行显示。优选地，显示方法选择部件选择用于将各个面部区域分别显示在各个分割屏幕中的显示方法，面部区域选择部件从该多个面部区域中选择显示在各个分割屏幕中的面部区域，视差调整部件基于显示在各个分割屏幕中的各个面部区域的视差信息，对显示在各个分割屏幕中的各个面部区域的视差量进行调整，并且包括裁剪部件，该裁剪部件从调整了各个面部区域的视差量的视点图像中裁剪出面部区域选择部件所选择的各面部区域，以及显示控制器将裁剪部件所裁剪的各个面部区域的视点图像显示在各个分割屏幕中。
优选地，显示方法选择部件从该多个面部区域中选择出任意一个面部区域并选择显示该多个面部区域的显示方法，使得这些面部区域全部包含在一个预定的视角范围内，并将所选择的面部区域设置为基准，面部区域选择部件从该多个面部区域中选择任意一个面部区域，视差调整部件基于所选择的面部区域的视差信息来调整视点图像中的面部区域选择部件所选择的所选面部区域的视差量，并且视差调整部件包括裁剪部件，该裁剪部件在视点图像中配置其中多个面部区域全部包含在一个预定的视角范围内的裁剪范围、将所选择的面部区域设置为基准、以及裁剪视点图像中的裁剪范围内的图像，以及显示控制器对裁剪部件从视点图像中裁剪出的裁剪图像进行显示。根据本发明的一个方面的一种立体图像显示方法包括通过计算机执行的如下步骤获取出现在不同视点图像中的多个面部区域的每个面部区域的视差信息；选择该多个面部区域的显示方法；根据所选的显示方法，从该多个面部区域中选择一个特定面部区域；基于所选择的特定面部区域的视差信息，调整视点图像中的特定面部区域的视差量；以及基于调整了其中的特定面部区域的视差量的视点图像将立体图像显示在预定的显示设备上。根据本发明的一个方面的一种立体图像显示程序，其使得计算机实现如下功能获取出现在不同视点图像中的多个面部区域的每个面部区域的视差信息；选择该多个面部区域的显示方法；根据所选的显示方法，从该多个面部区域中选择一个特定面部区域；基于所选择的特定面部区域的视差信息，调整视点图像中的特定面部区域的视差量；以及基于调整了其中的特定面部区域的视差量的视点图像将立体图像显示在预定的显示设备上。根据本发明的一个方面的一种计算机可读介质，当处理器读取并执行存储于该记录介质中的命令时，处理器执行如下步骤获取出现在不同视点图像中的多个面部区域的每个面部区域的视差信息；选择该多个面部区域的显示方法；根据所选的显示方法，从该多个面部区域中选择一个特定面部区域；基于所选择的特定面部区域的视差信息，调整视点图像中的特定面部区域的视差量；以及基于调整了其中的特定面部区域的视差量的视点图像将立体图像显示在预定的显示设备上。{本发明的有益效果}
根据本发明，视点图像之间具有对应关系的面部区域的信息以及它们的视差信息是随着图像一起获得的，根据显示方法来选择某个面部，根据该面部的视差执行视差调整以显示立体图像。相应地，对于包含多个面部的立体图像，可显示其中对于目标面部的视差最优化的、自然并且对眼睛负荷最小的立体图像。
图I是包括根据本发明的一个实施例的立体图像显示设备的图像拍摄设备(数码相机)的正面透视图。图2是包括根据本发明的一个实施例的立体图像显示设备的图像拍摄设备(数码相机)的背面透视图。图3A是包括根据本发明的一个实施例的立体图像显示设备的图像拍摄设备(数码相机)的框图。
图3B是包括根据本发明的一个实施例的立体图像显示设备的图像拍摄设备(数码相机)的框图。图4是根据第一实施例的显示处理的流程图。图5是显示重放设备的主要部分的框图。图6A是示出了根据第一实施例的立体图像的显示实例的视图。图6B是示出了根据第一实施例的立体图像的显示实例的视图。图6C是示出了根据第一实施例的立体图像的显示实例的视图。图7是根据第二实施例的显示处理的流程图。图8A是示出了根据第二实施例的立体图像的显示实例的视图。图8B是示出了根据第二实施例的立体图像的显示实例的视图。图8C是示出了根据第二实施例的立体图像的显示实例的视图。图8D是示出了根据第二实施例的立体图像的显示实例的视图。图9是根据第三实施例的显示处理的流程图。图IOA是示出了根据第三实施例的立体图像的显示实例的视图。图IOB是示出了根据第三实施例的立体图像的显示实例的视图。图IOC是示出了根据第三实施例的立体图像的显示实例的视图。图IlA是示意性地示出了立体图像拍摄设备的右和左图像拍摄部件与拍摄对象(人和塔)之间的位置关系的视图。图IlB是示出了利用处于图IlA中的位置关系的右和左图像拍摄部件拍摄对象所获得的图像(分别为右图像拍摄部件图像和左图像拍摄部件图像)的视图。图IlC是示意性地示出了拍摄对象的位置与从右图像拍摄部件图像和左图像拍摄部件图像所获得的拍摄对象的图像之间的关系的视图。图IlD示出了将交叉点设置在右图像拍摄部件图像和左图像拍摄部件图像的中心部分时的两个图像。图IlE示出了将交叉点配置于进行过面部识别的拍摄对象时的右图像拍摄部件图像和左图像拍摄部件图像。
具体实施例方式图I是示出了根据本发明的立体图像拍摄设备的一个实施例的数码相机10的外观结构的正面透视图。图2是示出了该数码相机的一个实例的外观结构的背面透视图。数码相机10包括多个图像拍摄部件(图I中示例性地示出了两个部件)，数码相机10可从多个视点拍摄同一对象的图像(图I中示例性地示出了右和左两个视点)。此外，在该实例中，包括两个图像拍摄部件的情况是为了便于说明而进行的示例性描述，但是本发明并不局限于这种情况，而是适用于包括三个或更多个类似的图像拍摄部件的情况。该实例的数码相机10的相机主体112被制作成矩形盒子形状，其正面上具有一对图像拍摄光学系统IlR和IlL以及闪光灯116，如图I所示。此外，在相机主体112的顶面上具有释放按钮14、电源/模式开关120、模式转盘122等等。此外，在相机主体112的背面上具有由液晶显示设备(IXD :液晶显示器)等等构成的监视器13、变焦按钮126、十字按钮128、菜单/确定按钮130、DISP按钮132、后退按钮134等等，如图2中所示。 成对的右和左图像拍摄光学系统IlR和IlL分别被构造为具有可伸缩的筒形变焦透镜(图3中的18R和18L)，并且当数码相机10的电源打开时滑出相机主体112。此外，由于图像拍摄光学系统中的变焦机构、可伸缩透镜筒装置等等是已知的技术，这里不再对它们详细描述。监视器13为显示设备，如彩色液晶面板，其正面布置有具有半圆柱形透镜的所谓双凸透镜。监视器13被用作图像显示部件来显示已拍摄的图像，此外，还被用作配置各种设置中的GUI (图形用户界面)，此外，在图像拍摄、实施通过图像传感器所获得的图像的直通显示中还被用作电子取景器。此外，监视器13上的立体图像的显示方法不局限于使用双凸透镜的方法。例如，可采用视差屏障方法，或可采用使用眼镜的立体图像显示方法(例如，立体影像方法、偏振滤光镜方法、液晶快门方法等等)。释放按钮14配置了被称为“半按”和“全按”的二行程开关。在释放按钮14处于半按时，数码相机10执行图像拍摄准备处理，即拍摄(例如，使用模式转盘122或通过菜单选择静止图像拍摄模式时)静止图像拍摄的AE (自动曝光)、AF (自动对焦)、AWB (自动白平衡)的处理，以及在全按时，执行图像拍摄和记录处理。此外，在释放按钮14处于全按时，开始视频图像拍摄，当再次处于全按时，停止视频图像拍摄中(例如，使用模式转盘122或通过菜单选择视频图像拍摄模式中)的图像拍摄。另外，也可将设置配置为在释放按钮14处于全按时执行视频图像拍摄并在全按释放时结束图像拍摄。此外，可提供一个专门用于静止图像拍摄的释放按钮以及一个专门用于视频图像拍摄的释放按钮。电源/模式开关120 (电源开关和模式开关)起到了数码相机10的电源开关的功能，并且，还起到了选择器开关的功能，用于在回放模式和图像拍摄模式之间切换数码相机
10。模式转盘122用于配置图像拍摄模式。通过将该模式转盘122设置为“2D静止图像位置”，数码相机10被设置为用于拍摄2D静止图像的2D静止图像拍摄模式，通过将该模式转盘122设置为“3D静止图像位置”，数码相机10被设置为用于拍摄3D静止图像的3D静止图像拍摄模式。此外，通过将该模式转盘122设置为“3D视频图像位置”，数码相机10被设置为用于拍摄3D视频图像的3D视频图像拍摄模式。变焦按钮126用于图像拍摄光学系统IlR和IlL的变焦操作，其由变焦远摄按钮(用于指示变焦到远距离侧)和变焦广角按钮(用于指示变焦到广角侧)。十字按钮128能够推向上、下、右、左四个方向，依据设置相机状态的功能被分配给推向各个方向的操作。菜单/确定按钮130用于调用菜单屏幕(菜单功能)，并且还用于确认所选择的内容、指示执行处理等等(确定功能)。DI SP按钮132用于输入切换监视器13上所显示的内容等等的指令。后退按钮134用于输入取消输入操作等等的指令。图3A和图3B为示出了数码相机10的主要部分的框图。数码相机10包括用于右视点的图像拍摄部件(其具有用于右视点的图像拍摄光学系统IlR及图像传感器29R)，以及用于左视点的图像拍摄部件(其具有用于左视点的图像拍摄光学系统IlL及图像传感器29L)。两个图像拍摄光学系统11 (IlR和11L)分别包括变焦透镜18 (18R和18L)、聚焦透镜19 (19R和19L)、孔径光阑20 (20R和20L)。变焦透镜18、聚焦透镜19、孔径光阑20分别由变焦透镜控制器22 (22R和22L)、聚焦透镜控制器23 (23R和23L)、孔径光阑控制器24 (24R和24L)控制。各个控制器22、23、24由步进电机构成并且由驱动脉冲控制，该 驱动脉冲是由与CPU 26连接的电机驱动器(未示出)发出的。CCD (电荷耦合器件)图像传感器(在后文中，简称为“CCD”)29 (29R和29L)分别置于两个图像拍摄光学系统11 (11R和11L)后面。此外，可使用MOS (金属氧化物半导体)类型的图像传感器替代CCD 29。众所周知，CCD 29具有光电转换平面，该平面上配置了若干光电转换元件，拍摄对象的光线通过图像拍摄光学系统11入射在光电转换平面上，从而将拍摄对象的图像成像。定时发生器TG 31 (31R和31L)，由CPU 26控制并与CXD 29连接，根据自这些TG 31输入的定时信号(时钟脉冲)，确定电子快门的快门速度(每个光电转换元件的电荷积聚时间)。CXD 29输出的成像信号被输入到模拟信号处理电路33 (33R和33L)。模拟信号处理电路33具有相关双取样电路(CDS)、放大器(AMP)、模数转换器等等。CDS根据图像信号生成各个像素的与电荷积聚时间相对应的R(红)、G (绿)、B (蓝)的图像数据。AMP将生成的图像数据放大。模数转换器对放大的图像数据执行模数转换。AMP起到调节CXD 29的灵敏度的灵敏度调节装置的作用。CXD 29的ISO灵敏度(国际标准化组织)根据AMP的增益确定。随后，通过图像输入控制器38 (38R和38L)分别将模数转换器36 (36R和36L)输出的数字图像数据作为右视点图像数据和左视点图像数据临时存储在作为工作存储器的SDRAM (同步动态随机存取存储器)39中。数字信号处理部件41从SDRAM 39读取图像数据，并执行各种类型的图像处理，如灰度转换、白平衡校正、伽玛校正处理以及随后的YC转换处理，并将图像数据再次存储在SDRAM 39中。经过数字信号处理部件41进行的图像处理的图像数据被获取到VRAM (视频随机存取存储器)65中作为直通图像，并随后被转换为用于通过显示控制器42的可视输出的模拟信号，以显示在监视器13上。此外，通过压缩/解压缩处理部件43，将经过图像处理的(当释放按钮14被全按时所获得的)图像数据以指定压缩格式(例如，JPEG (联合图像专家组)格式)进行压缩，并随后由介质控制器15记录在记忆卡16中，作为用于记录的图像。操纵部件25用于数码相机10的各种操作，包括图I和图2中所示的各种按钮和开关120至134。提供CPU 26用于数码相机10的整体控制。CPU 26根据存储在快闪ROM (只读存储器)60及ROM 61等等中的各类控制程序和设置信息、来自姿态检测传感器73及操纵部件25等等的输入信号等，控制各个部件，如电池70、电源控制器71和时钟部件72。此外，数码相机10具有用于执行AE (自动曝光)/AWB (自动白平衡)控制的AE/AffB控制器47、用于对面部区域执行视差检测的视差检测部件49。此外，数码相机10包括闪光灯控制器23，用于控制闪光灯5的闪光时间、闪光量等等。AE/AWB控制器47对CXD 29在释放按钮14处于半按时所获得的图像(拍摄图像)进行分析，并根据拍摄对象的亮度信息等计算孔径光阑20的光圈值和CCD 29的电子快门的快门速度。随后，根据这些计算结果 ，AE/AWB控制器47通过孔径光阑控制器24控制光圈值，并通过TG31控制快门速度。例如，图像拍摄光学系统IlR和IlL 二者的光圈值和快门速度都是根据由两个图像拍摄光学系统IlR和IlL中的一个图像拍摄光学系统的CXD 29R或29L获得的拍摄图像(右视点图像或左视点图像)计算的。图像拍摄光学系统IlR和IlL各自的光圈值和快门速度也可根据图像拍摄光学系统IlR和IlL 二者所获得的拍摄图像(右视点图像或左视点图像)计算。AF控制器45执行通过将聚焦透镜19R和19L沿着光轴方向移动来计算对比度值的AF搜索控制，并且执行根据释放按钮14处于半按时的对比度值将聚焦透镜19R和19L移动到焦距对准透镜位置的聚焦控制。这里，“对比度值”是根据CXD 29R或29L所获得的拍摄图像计算的。“焦距对准透镜位置”是聚焦透镜19R和19L至少在主要拍摄对象上聚焦时聚焦透镜19R和19L的位置。例如，对比度值是通过驱动电机驱动器27R或27L来移动两个图像拍摄光学系统IlR或IlL的聚焦透镜19R和19L中的至少一个时，根据图像拍摄光学系统IlR或IlL中任一个的拍摄图像(右视点图像或左视点图像)计算的。根据对比度值，可分别确定两个图像拍摄光学系统IlR和IlL的聚焦透镜19R和19L的焦距对准透镜位置，并且分别通过驱动电机驱动器27R和27L将聚焦透镜19R和19L分别移动至各自的焦距对准位置。此外，可对两个图像拍摄光学系统IlR和IlL执行AF搜索，从而分别确定各自的焦距对准透镜位置。姿态检测传感器73检测图像拍摄光学系统I IR和IlL相对于预先确定的姿态进行旋转的方向和角度。相机抖动控制器62通过使用电机驱动未示出的安装在图像拍摄光学系统IlR和IlL中的纠正透镜，对姿态检测传感器73检测到的光轴偏离进行纠正，从而防止相机抖动。CPU 26控制面部识别部件64，从而根据与图像拍摄光学系统I IR和IlL的拍摄对象相对应的右和左图像数据执行面部识别。面部识别部件64按照CPU 26的控制开始面部识别，以根据右和左图像数据执行面部识别。面部识别部件64将从右和左图像数据分别识别出的面部区域信息(包括各个面部区域的位置信息)作为面部识别的结果存储在SDRAM39中。面部识别部件64可利用已知的方法(如模板匹配法)从存储在SDRAM 39中的图像识别面部区域。此外，拍摄对象的面部区域可包括拍摄图像中的人或动物的面部区域。面部对应确定部件66确定识别自右图像数据的面部区域与识别自左图像数据的面部区域之间的对应关系。即，面部对应确定部件66识别出一组面部区域，其中在该组面部区域中分别识别自右和左图像数据的面部区域的位置信息相互最接近。随后，面部对应确定部件66将构成相关组的各面部区域的图像信息进行匹配。当二者之间一致的可靠性超出了预定的阈值时，可确定构成该相关组的各面部区域为相互对应关系。视差检测部件49根据被确定为处于对应关系的全部面部区域的位置信息，计算相关面部区域之间的视差。视差检测部件49对各组被确定为对应关系的面部区域重复计算视差，并将各组面部区域的视差存储在SDRAM 39中。例如，处于对应关系的面部区域之间的视差的计算如下执行。首先，视差检测部件49计算在构成所述组的面部区域之间对应的多个特定点(对应点)之间的位置差(对应点之间的距离)。随后，视差检测部件49计算包含于该相关面部区域组中的各点之间的视差的平均值，并将其设置为该相关组的视差。将具有对应关系的面部区域的位置信息及其视差与右和左图像数据相关联地存储在SDRAM 39中。例如，将具有对应关系的面部区域的位置信息及其视差作为图像数据的附加信息(报头、标签、元信息等等)存储。例如，当图像数据被压缩并作为用于记录的图像存储在记忆卡16中时，具有对应关系的面部区域的位置信息及有关其视差的信息被以用于记录的图像的附加信息的形式被存储，将面部区域的位置信息及其视差信息集成为Exif (可交换图像文件格式)的标签信息等等。毫无疑问，在图 像数据中不存在任何面部区域时，或者即使存在面部区域，但它们不具有对应关系时，不存储这种信息。图4示出了根据第一实施例的显示处理的流程图。该处理由CPU26控制。使得CPU 26执行该处理的程序存储在计算机可读记录介质中，如ROM 61中。该处理是在上述的面部区域的位置信息和视差存储在以图像数据的附加信息的形式被存储之后执行的。此外，执行该处理所需的功能块可存储在数码相机以外的电子设备中。例如，包括用于显示平面或立体图像的程序块的显示回放设备可执行该处理，这些功能块包括CPU26,VRAM 65,SDRAM 39、快闪ROM 60,ROM 61、压缩/解压缩处理部件43、介质控制器15、视差检测部件49、视差调整部件63、显示控制器42、监视器13等等，如图5中所示。在SI，CPU 26尝试从存储在SDRAM 39或记忆卡16中的右和左图像数据和相关图像数据的附加信息中读出具有对应关系的面部区域的位置信息和视差。在S2，CPU 26确定面部区域的位置信息是否成功读出。如果是，流程进入S3，如果不是，流程进入S5。在S3，CPU 26确定与该组面部区域的位置信息相对应的视差信息是否成功读出。如果是，流程进入S4，如果不是，流程进入S5。在S4，CPU 26接受图像的回放方法，如“标准回放”、“面部选择回放”、“面部扩展回放”、“幻灯片”。当选择“面部选择回放”或“面部扩展回放”作为面部扩展回放的回放方法时，CPU26允许操纵部件25进一步选择期望进行视差调整的面部。CPU 26将指示从操纵部件25选择的面部的信息作为面部选择信息存储在SDRAM 39中。CPU 26可接受通过操纵部件25从以列表显示的面部信息中对期望的面部信息的选择。例如，选择图像的回放方法后，CPU26将右和左任一图像数据显示为平面图像，并从相关图像的面部区域中，将列表中的右和左图像数据中的具有对应关系的面部区域显示为平面部图像或立体图像。当选择“幻灯片”作为面部扩展回放的回放方法时，CPU 26对各条面部信息给出不重叠的显示顺序来作为面部选择信息，各个面部的显示顺序将被作为面部选择信息存储在SDRAM 39中。显示顺序可自动或手动给出。例如，CPU 26以存储在图像数据的附加信息中的图像拍摄时间和日期的升序或降序给出显示顺序。否则，CPU 26根据操纵部件25的显示顺序指令给出显示顺序。当选择“面部扩展回放”或“幻灯片”作为面部扩展回放的回放方法时，流程进入S6，否则进入S7。在S5，CPU 26指示视差调整部件63执行视差调整，将屏幕中心设置为基准。视差调整部件63调整右和左图像数据的视差量，使得在屏幕中心形成一个交叉点，并通过显示控制器42在监视器13上显示立体图像。图6A为该立体图像的一个显示实例。在S6，CPU 26指示视差调整部件63执行右和左图像数据的视差调整，将面部选择信息表示的所选面部区域设置为基准。视差调整部件63调整右和左图像数据的视差量，使得在所选择的面部区域上形成一个交叉点，并通过显示控制器42在监视器13上显示立体图像。当选择了 “面部选择回放”时，CPU 26指示视差调整部件63执行右和左图像数据·的视差调整，将与所选面部区域相对应的视差信息设置为基准。视差调整部件63调整右和左图像数据的视差量，使得在所选择的面部区域上形成一个交叉点，并通过显示控制器42在监视器13上执行完成了相关的视差调整的右和左图像数据的立体显示。图6B为该立体图像的一个显示实例，交叉点形成于面部D上。当选择“面部扩展回放”时，CPU 26从右和左图像数据中裁剪出面部选择信息表示的所选择的面部区域。随后，CPU 26指示视差调整部件63执行相关的裁剪出的面部区域的视差调整，将与所选择的面部区域相对应的视差信息设置为基准。视差调整部件63调整相关的裁剪出的面部区域的视差量，使得在所选择的面部区域上形成一个交叉点，并通过显示控制器42将相关的裁剪出的面部区域的立体图像显示在监视器13上。在该阶段，显示控制器42扩展面部区域，直到其达到监视器13的显示区域的边缘。图6C示出了分别选择了面部A至D的面部区域情况下的立体图像的显示实例。此外，存在这样的可能，S卩，从右和左图像数据中裁剪出面部区域后执行视差调整时，由于裁剪出的图像数据之间的公共区域的减少导致立体显示区域的减少。因此，优选的是，首先，视差调整部件63调整视差量，使得在所选择的面部区域上形成一个交叉点。随后，优选的是视差调整后，CPU 26从右和左图像数据中裁剪出面部区域，并且显示控制器42将来自进行过视差调整的右和左图像数据的相关裁剪出的面部区域显示在监视器13上。当选择“幻灯片”时，CPU 26根据面部选择信息所指定的显示顺序，顺序地从右和左图像数据中一个接一个地裁剪出各个面部区域。随后，CPU 26指示视差调整部件63对相关的裁剪出的面部区域执行视差调整，将与相关的裁剪出的面部区域相对应的视差信息设置为基准。视差调整部件63调整相关的裁剪出的面部区域的视差量，使得在所选择的面部区域上形成一个交叉点，并通过显示控制器42将相关的裁剪出的面部区域的立体图像显示在监视器13上。通过根据显示顺序对所有单独的面部区域重复上述操作，执行幻灯显示，从而顺序地切换进行立体显示的面部区域。在该阶段，显示控制器42可扩展并显示各个面部区域直到其达到了监视器13的显示区域的边缘。在S7，CPU 26指示视差调整部件63执行视差调整，将主要面部区域设置为基准。视差调整部件63调整右和左图像数据的视差量，使得在所选择的面部区域上形成一个交叉点，并通过显示控制器42将立体图像显示在监视器13上。例如，主要面部区域为位于最接近屏幕中心的位置上的面部区域，或者尺寸最大的面部区域，或者排序最高的面部区域。根据上面的处理，将预先存储的具有对应关系的面部区域的信息及其视差信息随图像一起读出，并且随后根据回放中的面部选择信息和所选择的面部的视差执行视差调整，并且根据所选择的回放方法显示立体图像。相应地，关于包含多个面部的立体图像，可显示对于目标面部的视差最优化的、以及自然的并且对眼睛负荷最小的立体图像。<第二实施例>图7示出了根据第二实施例的显示处理的流程图。该处理由CPU26控制。使得CPU 26执行该处理的程序存储在计算机可读记录介质中，如ROM 61中。该处理是在上述的面部区域的位置信息和视差以图像数据的附加信息的形式存储之后执行的。该处理还可通过图5中的显示回放设备执行。Sll至S13分别与SI至S3相同。 在S14，CPU 26确定用户是否通过操纵部件25选择了“索引显示”或“分割显示”的显示方法。“索引显示”方法是这样的方法以列表显示图像数据中的所有面部，并且随后除了在列表中之外，还在监视器13的显示区域中显示从多个面部中任意选择的一个面部。“分割显示”方法是这样的回放方法将监视器13的显示区域分割为面部区域的数量并在相应的分割屏幕中执行图像数据中的每个单独面部区域的立体显示。当选择“索引显示”时，流程进入S15，当选择“分割显示”时，流程进入S22。在S15，假定具有对应关系的面部区域的总数量为N，CPU 26确定屏幕分区的数量为N+l。CPU 26接受期望面部区域的选择。该选择可根据用户操作等等手动完成或者根据面部区域的顺序自动完成。这种预定顺序如由面部识别部件64执行的面部识别顺序。在用户操作的情况下，优选的是，将列表中所有的图像数据中的面部显示在监视器13中的各个分割屏幕的显示区域中，并允许从它们中选择面部区域。CPU 26可将从列表中选择的面部区域显示为立体图像，并将没有从该列表中选择的面部区域显示为平面图像。这样，可有效地显示高度关注的面部区域。该列表可包括平面图像或立体图像。但是，当显示为立体图像时，对每个面部区域单独地执行视差调整。CPU 26根据Sll中读取的面部区域的位置信息，从各个右和左图像数据中裁剪出所选择的面部区域。在S16，CPU 26指示视差调整部件63对相关的裁剪出的面部区域执行视差调整，将与相关的裁剪出的面部区域相对应的视差信息设置为基准。视差调整部件63调整相关的裁剪出的面部区域的视差量，使得在所选择的面部区域上形成一个交叉点。在S17，CPU 26通过显示控制器42将相关的裁剪出的面部区域的立体图像显示在监视器13上。该面部区域的立体图像显示在与显示上述面部区域列表的N个分割屏幕不同的分割屏幕上的位置上。作为结果，如图8D中的屏幕显示在监视器13上。在S18，CPU 26确定是否对于所有的面部区域都已经执行了 S15至S18中的处理，并且对于所有的面部区域都进行了立体显示。例如，该确定是根据S15至S18中的处理的循环次数是否等于或大于识别出的面部区域的数量。如果是，流程进入S19，如果不是，流程返回S15。在S19，CPU 26指示视差调整部件63调整右和左图像数据的视差量，将主要面部区域设置为基准。例如，主要面部区域为位于最接近屏幕中心央位置上的面部区域，或者尺寸最大的面部区域，或者面部识别过程中面部可能性评定值排序最高的面部区域。在S20，视差调整部件63调整右和左图像数据的视差量，使得在主要面部区域上形成一个交叉点，并通过显示控制器42将立体图像显示在监视器13上。作为结果，如图SC中所示，相关的立体图像除了显示在面部区域列表中之外还显示在分割屏幕中。否则，如图8A中的屏幕可能会显示在监视器13上。在S21，CPU 26指示视差调整部件63执行视差调整，将屏幕中心设置为基准。视差调整部件63调整右和左图像数据的视差量，使得在屏幕中心形成一个交叉点，并通过显示控制器42将立体图像显示在监视器13上。在S22，CPU 26判断屏幕分割的数量为具有对应关系的面部区域的总数N。CPU 26指示将具有对应关系的各个面部区域从右和左图像数据中裁剪出，然后，对各个裁剪出的面部区域进行视差调整后将其显示在上述数量的相互独立的分割屏幕中。视差调整部件63调整右和左图像数据的视差量，使得各分割屏幕中的各个面部区域形成一个交叉点，并通过显示控制器42将各个分割屏幕中的各个面部区域的立体图像显示在监视器13上。作为结果，如图SB中的屏幕显示在监视器13上。在S23，CPU 26通过操纵部件接受是否结束处理的选择。如果是，处理结束，如果不是，流程返回SI I。此外，如上面所描述，存在这样的可能，从右和左图像数据中裁剪出面部区域后执行视差调整时，由于裁剪出的图像数据之间的公共区域的减少导致立体显示区域的减少。因此，在S22，优选的是，对右和左图像数据的每个面部区域执行视差调整，并且将视差调整后的各个面部区域从右和左图像数据中裁剪出，用于显示在各个分割屏幕上。图8A至图8D示出了根据该处理的显示实例。如图8A中所示，当整个图像显示在监视器13的整个显示区域中时，执行视差调整，将主要面部区域设置为基准(S19)。此外，当没有从列表中选择任何面部区域时，也可以执行与此类似的显示。此外，如图8B中所示，当各个面部区域都被裁剪出并且各个面部区域都被显示在分割屏幕中时，调整各个分割屏幕的视差，将各个面部区域的视差设置为基准(S22)。此外，如图SC中所示，当多个单独面部以列表显示在分割屏幕中时，整个图像显示在监视器13的整个的一个剩余分割屏幕中(S20)。该列表的视差调整的执行可类似于分割屏幕的情况。此外，如图8D中所示，当从列表中选择了某个特定面部区域时，进行了视差调整从而将从列表中所选择的面部区域设置为基准的面部区域除了在列表中显示之外还在剩余分割屏幕中显示(S15至S17)。当上面的处理中选择了“分割显示”时，对从屏幕分割获得的各单独显示平面中的每个面部进行视差调整。可显示没有任何面部具有重像以及自然的并且对眼睛负荷较小的立体图像，并改善了多屏幕中的可视性。当在上面的处理中选择了 “索引显示”时，如图SC或图8D中，一个大屏幕和多个小屏幕组合显示。这里，2D和3D显示选择性地用于各个分割屏幕。这样，可更有效地展示高度关注的屏幕。〈第三实施例〉图9示出了根据本发明的第三实施例的显示处理的流程图。该处理由CPU 26控制。使得CPU 26执行该处理的程序存储在计算机可读记录介质中，如ROM 61中。该处理是在上述的面部区域的位置信息和视差以图像数据的附加信息的形式存储之后执行的。该处理还可通过图5中的显示回放设备执行。S31至S37分别与SI至S7相同。在S38，CPU 26确定用户选择的面部区域是否出现在右和左图像数据的中心附近。如果是，流程进入S40,如果不是,进入S39。在S39，CPU 26确定图像中是否存在两个或更多个面部区域。如果是，流程进入S42，如果不是，进入S41。S40 与 S35 相同。在S41，CPU 26从右和左图像数据中裁剪出一个与监视器13的显示区域的外观相对应的区域，使得用户所选择的面部区域出现在图像中心附近。随后，CPU 26控制视差调·整部件63调整视差量，将裁剪区域中心设置为基准，并控制显示控制器42以将相关的裁剪区域作为立体图像显示在监视器13上。在S42，CPU 26将右和左图像中的裁剪框配置为具有预定的尺寸和长宽，使得用户所选择的面部区域以及其它面部区域出现在图像中心附近。此外，CPU 26配置裁剪框的位置，使得用户所选择的面部区域包含在裁剪框内。CPU 26裁剪出裁剪框中的图像的部分区域。随后，CPU 26调整视差量，将裁剪区域中心设置为基准，并将相关裁剪区域作为立体图像显示在监视器13上。裁剪区域的尺寸小于监视器13的显示区域的尺寸，例如，为监视器13的显示区域的尺寸的70-50%。裁剪区域的纵横比与监视器13的显示区域的纵横比相同。此外，如上面所描述，存在这样的可能，即从右和左图像数据中裁剪图像后执行视差调整时，由于裁剪图像数据之间的公共区域的减少导致立体显示区域的减少。因此，在S42，优选的是，对右和左图像数据执行视差调整，将裁剪框的中心设置为基准，并且视差调整后将裁剪框中的区域从右和左图像数据中裁剪出来，以用于显示。图IOA至图IOC示出了根据该处理的显示实例。如图IOA中所示，当显示整个图像时，执行视差调整，将主要面部区域设置为基准(S37)。如图IOB中所示，当所选择的面部区域(这里为面部D)未出现在屏幕的中心附近时，如图IOC所示，则调整裁剪框的位置，使得用户所选择的面部区域D和其它面部区域A、B、D出现在图像中心附近，S卩，使得面部区域D包含在图中的虚线所包围的区域内。通常，图像在图像拍摄时以构图(composition)形式回放，但是，如果图像包含面部信息，有时需要不改变整体环境的情况下的特定面部的特写。在这种情况中，视差和视角可自动调整，使得所选择的面部和其它多个面部在一定程度上出现在视角的中心附近，并且所选择的面部包含在视角内。由此，用户可容易地识别所显示的面部区域中的哪个是视差匹配的面部区域，并且所选择的面部和其它多个面部的可视性都得到提高。根据上述各实施例的立体图像显示设备和立体图像显示方法适用于具有显示立体图像功能的立体图像显示设备或图像拍摄设备，并可作为引发上述处理的计算机可读程序、存储该程序的记录介质等等来提供。{参考符号列表}42 :显示控制器，49 :视差检测部件，63 :视差调整部件，64 :面部识别部件，66 :面部对应确定部件
权利要求
1.一种立体图像显示设备，包括 视差信息获取部件，其获取出现在不同视点图像中的多个面部区域的每个面部区域的视差息; 显示方法选择部件，其选择所述多个面部区域的显示方法； 面部区域选择部件，其基于显示方法选择部件所选择的显示方法，从所述多个面部区域中选择一个特定面部区域； 视差调整部件，其基于面部区域选择部件所选择的特定面部区域的视差信息，调整视点图像中的该特定面部区域的视差量；以及 显示控制器，其基于其中通过视差调整部件调整了特定面部区域的视差量的视点图像来将立体图像显示在预定的显示设备上。
2.如权利要求I的立体图像显示设备，其中 显示方法选择部件从所述多个面部区域中选择出任意一个面部区域并选择显示所选择的面部区域的显示方法， 面部区域选择部件基于选择操作从所述多个面部区域中选择出任意一个面部区域，以及 视差调整部件基于所选择的面部区域的视差信息，调整视点图像中的所选择的面部区域的视差量。
3.如权利要求2的立体图像显示设备，其中 面部区域选择部件从以列表显示在显示设备上的多个面部区域中选择出任意一个面部区域。
4.如权利要求I至3中任一项的立体图像显示设备，其中 显示方法选择部件顺序地从所述多个面部区域中选择出任意一个面部区域，并顺序地且分别地选择用于显示顺序选择的面部区域的显示方法， 面部区域选择部件顺序地从所述多个面部区域中选择出任意一个面部区域， 视差调整部件基于顺序选择的面部区域的视差信息，对顺序选择的面部区域的视差量进行调整，以及 显示控制器顺序地显示调整了视差量的面部区域。
5.如权利要求I至3中任一项的立体图像显示设备，其中 显示方法选择部件选择用于将各个面部区域分别显示在各个分割屏幕中的显示方法，面部区域选择部件从所述多个面部区域中选择显示在各个分割屏幕中的面部区域，并且包括裁剪部件，该裁剪部件从视点图像中裁剪出面部区域选择部件所选择的各个面部区域， 视差调整部件基于显示在各个分割屏幕中的各个面部区域的视差信息，对裁剪部件所裁剪的各个面部区域的视差量进行调整，并且 显示控制器将调整了视差量的各个面部区域显示在各个分割屏幕中。
6.如权利要求I至3中任一项的立体图像显示设备，其中 显示方法选择部件从所述多个面部区域中选择出任意一个面部区域并选择显示所述多个面部区域的显示方法，使得这些面部区域全部包含在一个预定的视角范围内，并将所选择的面部区域设置为基准，面部区域选择部件从所述多个面部区域中选择任意一个面部区域，并且包括裁剪部件，该裁剪部件用于在视点图像中配置其中所述多个面部区域全部包含在一个预定的视角范围内的裁剪范围、将所选择的面部区域设置为基准、以及从视点图像中裁剪出裁剪范围内的图像， 视差调整部件基于所选面部区域的视差信息调整视点图像中通过裁剪部件裁剪出的所选面部区域的视差量，以及 显示控制器对调整了视差量的裁剪图像进行显示。
7.如权利要求I至3中的任一项的立体图像显示设备，其中显示方法选择部件选择用于将各个面部区域分别显示在各个分割屏幕中的显示方法，面部区域选择部件从所述多个面部区域中选择显示在各个分割屏幕中的面部区域，视差调整部件基于显示在各个分割屏幕中的各个面部区域的视差信息，对显示在各个分割屏幕中的各个面部区域的视差量进行调整，并且包括裁剪部件，该裁剪部件从调整了各个面部区域的视差量的视点图像中裁剪出面部区域选择部件所选择的各面部区域，以及显示控制器将裁剪部件所裁剪出的各个面部区域的视点图像显示在各个分割屏幕中。
8.如权利要求I至3中的任一项的立体图像显示设备，其中 显示方法选择部件从所述多个面部区域中选择出任意一个面部区域并选择显示面部区域的显示方法，使得这些面部区域全部包含在一个预定的视角范围内，并将所选择的面部区域设置为基准， 面部区域选择部件从所述多个面部区域中选择任意一个面部区域， 视差调整部件基于所选面部区域的视差信息来调整视点图像中的由面部区域选择部件所选择的所选面部区域的视差量，并且包括裁剪部件，该裁剪部件在视点图像中配置其中所述多个面部区域全部包含在一个预定的视角范围内的裁剪范围、将所选面部区域设置为基准、以及从视点图像中裁剪出裁剪范围内的图像，以及 显示控制器对裁剪部件从视点图像中裁剪出的裁剪图像进行显示。
9.一种立体图像显示方法，包括通过计算机执行的如下步骤 获取出现在不同视点图像中的多个面部区域的每个面部区域的视差信息； 选择所述多个面部区域的显示方法； 根据所选的显示方法，从所述多个面部区域中选择一个特定面部区域； 基于所选择的特定面部区域的视差信息，调整视点图像中的特定面部区域的视差量；以及 基于调整了其中的特定面部区域的视差量的视点图像将立体图像显示在预定的显示设备上。
10.一种立体图像显示程序，其使计算机实现如下功能 获取出现在不同视点图像中的多个面部区域的每个面部区域的视差信息； 选择所述多个面部区域的显示方法； 根据所选的显示方法，从所述多个面部区域中选择一个特定面部区域； 基于所选择的特定面部区域的视差信息，调整视点图像中的特定面部区域的视差量；以及 基于调整了其中的特定面部区域的视差量的视点图像将立体图像显示在预定的显示设备上。
11.一种计算机可读记录介质，当处理器读取并执行存储于记录介质中的命令时，处理器执行如下步骤 获取出现在不同视点图像中的多个面部区域的每个面部区域的视差信息； 选择所述多个面部区域的显示方法； 根据所选的显示方法，从所述多个面部区域中选择一个特定面部区域； 基于所选择的特定面部区域的视差信息，调整视点图像中的特定面部区域的视差量；以及 基于调整了其中的特定面部区域的视差量的视点图像将立体图像显示在预定的显示设备上。
全文摘要
公开了一种立体图像显示方法，其包括以下步骤通过计算机获取出现在不同视点图像中的多个面部区域的每个面部区域的视差信息；选择多个面部区域的显示方法；根据所选的显示方法，从多个面部区域中选择一个特定面部区域；基于所选择的特定面部区域的视差信息，调整视点图像中的特定面部区域的视差量；基于调整了其中的特定面部区域的视差量的视点图像将立体图像显示在预定的显示设备上。
文档编号H04N13/02GK102948157SQ20118003111
公开日2013年2月27日 申请日期2011年5月24日 优先权日2010年6月22日
发明者樱武仁史 申请人:富士胶片株式会社