三维图像显示装置、三维图像显示方法、三维图像显示程序及记录介质的制作方法

专利名称：三维图像显示装置、三维图像显示方法、三维图像显示程序及记录介质的制作方法
技术领域：
本发明涉及三维图像显示装置、 三维图像显示方法、三维图像显示程序、以及记录介质，更具体地说，涉及能够考虑用户的眼睛的疲劳来显示三维图像的三维图像显示装置、三维图像显示方法、三维图像显示程序、以及记录介质。
背景技术：
再现三维图像的再现方案示例包括采用了视差屏障系统的三维显示装置。左眼用图像和右眼用图像分别在图像的垂直于扫描方向上被分解成带状的，所分解的带状图像交替排列以产生单一的图像，如果利用设置在所生成的图像前面的垂直延伸的狭缝来重叠显示所生成的图像，则左眼用带状图像可被用户的左眼可视地识别，右眼用带状图像可被用户的右眼可视地识别。图13A示出了在使用具有两个成像系统的复眼相机来三维拍摄图像时对象A、对象B、对象C相对该复眼相机的位置关系右成像系统拾取右眼用图像，左成像系统拾取左眼用图像。交叉点是右成像系统的光轴与左成像系统的光轴相交的位置。对象A和对象B均比交叉点更接近复眼相机(下文中简称为“更靠前”)，对象C比交叉点更远离复眼相机(下文中简称为“更靠后”)。如果以这样的方式拾取的图像被显示在三维装置上，则位于交叉点上的对象看起来好像是显示在显示平面上(视差量是0)，位于比交叉点更靠前的对象看起来好像是位于显示平面之前，而位于比交叉点更靠后的对象看起来好像是位于显示平面之后。具体而言，如图13B所示，对象C呈现在显示面的后面，对象A呈现在显示平面略靠前，对象B呈现为从显示平面凸出。在使用了前述系统的三维显示装置中，特别是针对小型便携式三维显示装置，三维显示装置和用户(用户的眼睛)之间的距离变得小于大三维显示装置情况下的距离。因此，图13B中的对象B呈现为显著凸出于显示平面，从而造成用户眼睛的疲劳，因为用户可能内斜视过度。为了解决这个缺点，在专利文献I中描述了一种技术，其中在再现拍摄的三维图像期间，使用其他显示方案(如两维显示、使用较小的视差进行校正以降低三维效果的三维显示)来显示不适于进行三维显示的所拍摄的三维图像。引用列表专利文献专利文献I日本专利申请公开第2005-167310号

发明内容
技术问题然而，专利文献I中仍然存在失去立体感或者三维图像的整体立体感降低的缺点。除了专利文献I所公开的方法以外的其它能够防止用户内斜视过度的方法可以包括这样一种方法，其中调节左眼用图像和右眼用图像之间的视差，使得最靠前的对象显示在显示平面上。但是，将最靠前的对象显示在显示平面上需要进行调节每一个对象的显示以使其看起来比显示平面靠后，这导致了观看远景(即位于靠后侧的对象)时的困难。用于解决现有技术问题而提出的本发明的一个目的是提供这样的三维图像显示装置、三维图像显示方法、三维图像显示程序、和记录介质其能够防止用户内斜视过度，防止难以看到远景，以及防止用户眼睛的疲劳。解决问题的技术方案
为了实现上述目的，根据本发明的第一方面的三维图像显示装置包括获取单元，用于获取左眼用图像和右眼用图像；显示单元，用于可识别地将左眼用图像和右眼用图像 显示为三维图像；目标对象提取单元，用于当左眼用图像和右眼用图像被显示在显示单元 上时，从左眼用图像和右眼用图像中的每一个中提取在从显示单元的显示平面凸出的方向上具有视差的至少一个对象(下文中称为目标对象)；图像处理单元，用于基于目标对象提取单元所提取的目标对象图像对左眼用图像和右眼用图像进行图像处理，其中在左眼用图像和右眼用图像之一(下文中称为第一图像)上，该图像处理单元执行在两个位置处显示目标对象的图像(下文中称为目标对象图像)的处理(下文中称作重叠显示目标对象图像的处理)，其中一个位置是目标对象在左眼用图像中的位置，另一个位置是目标对象在右眼用图像中的位置，并且该图像处理单元执行从左眼用图像和右眼用图像中除第一图像之外的图像(在下文中称为第二图像)中删除目标对象图像的处理，或者执行重叠显示左眼用图像和右眼用图像中的目标对象图像的处理；和显示控制单元，用于显示通过图像处理单元进行了图像处理的左眼用图像和右眼用图像。根据本发明的第一方面的三维图像显示装置执行以下处理当左眼用图像和右眼用图像被显示在显示单元上时，从左眼用图像和右眼用图像中的每一个中提取在从显示单元的显示平面凸出的方向上具有视差的至少一个对象(下文中称为目标对象)；在左眼用图像和右眼用图像之一(下文中称为第一图像)上，在两个位置处显示目标对象的图像(下文中称为目标对象图像)，其中一个位置是目标对象在左眼用图像中的位置，另一个位置是目标对象在右眼用图像中的位置；和从左眼用图像和右眼用图像中除第一图像之外的图像(在下文中称为第二图像)中删除目标对象图像，从而三维显示处理后的左眼用图像和右眼用图像。因此可以避免目标对象被视为三维图像。根据本发明的第一方面的三维图像显示装置从左眼用图像和右眼用图像的每一个中提取至少一个对象，应用在左眼用图像和右眼用图像上重叠显示目标对象图像的处理，从而三维显示处理后的右眼用图像和左眼用图像。因此，可以避免目标对象被视为三维图像。因为用户是不太可能内斜视过度，于是可以防止用户的眼睛疲劳。由于没有对目标对象以外的图像施加处理，因此消除了观看远景的困难。根据本发明的第二方面，在根据第一方面的三维图像显示装置中，目标对象提取单元提取在从显示单元的显示平面凸出的方向上视差等于或大于预定幅值的对象来作为目标对象。
在根据第二方面的三维图像显示装置中，由于在从所述显示单元的显示平面凸出的方向上视差等于或超过预定幅值的对象被提取为目标对象，因此能够防止其凸出量不会引起用户眼睛疲劳的对象被提取作为目标对象。根据本发明的第三方面，第一和第二方面的三维图像显示装置进一步包括主要对象提取单元，用于从左眼用图像和右左眼用图像的每一个中提取至少一个主要对象；和视差偏移单元，用于在水平方向上偏移左眼用图像和右眼用图像中的一个，以使得主要对象在左眼用图像中的位置对应于主要对象在右眼用图像中的位置，并且目标对象提取单元从通过视差偏移单元执行视差偏移之后的左眼用图像和右眼用图像之一中提取目标对象，该图像处理单元在两个位置处显示目标对象图像以重叠显示目标对象图像，其中一个位置是目标对象在通过视差偏移单元执行视差偏移之后的左眼用图像中的位置，另一个位置是目标对象在通过视差偏移单元执行视差偏移之后的右眼用图像中的位置。根据本发明第三方面的三维图像显示装置从执行了通过在水平方向上偏移左眼用图像和右眼用图像中的一个以使得主要对象在左眼用图像中的位置对应于主要对象在·右眼用图像中的位置的视差偏移之后的左眼用图像和右眼用图像的每一个中提取目标对象。此外，三维图像显示装置在两个位置处显示目标对象图像，其中一个位置是目标对象在执行视差偏移之后的左眼用图像中的位置，另一个位置是目标对象在通过视差偏移单元执行视差偏移之后的右眼用图像中的位置，从而在两个位置重叠显示目标对象图像。在这种配置中，在显示平面上显示了主要对象，并且可以处理比主要对象更靠前的对象。由于主要对象被显示在显示平面上，因此当用户关注主要对象时用户的眼睛集中在显示平面上。因此，可以进一步减小用户眼睛的疲劳。根据本发明的第四方面，第一至第三方面中任一项的三维图像显示装置还包括视差矢量计算单元，其从左眼用图像和右眼用图像的每一个中提取预定的对象，计算指示了预定对象在所述第二图像中的位置相对于预定对象在第一图像中的位置的偏差的视差矢量，来作为预定对象的视差矢量；并且针对左眼用图像和右眼用图像中包括的每一个对象执行视差矢量计算，所述目标对象提取单元基于所述视差矢量计算单元计算出的视差矢量来提取目标对象。在根据本发明第四方面的三维图像显示装置中，针对左眼用图像和右眼用图像中包括的每一个对象计算指示了在第二图像中的位置相对于在第一图像中的位置的偏差的视差矢量，并基于视差矢量来提取目标对象。通过这种配置，能够容易地提取目标对象。根据本发明的第五方面，在第四方面的三维图像显示装置中，所述图像处理单元包括一个装置，用于从所述第一图像中提取目标对象图像，并且在从第一图像提取的目标对象图像偏移了视差矢量计算单元针对目标对象计算的视差矢量的位置处合成该目标对象图像，以在第一图像中重叠显示目标对象图像；和一个装置，用于从第二图像提取目标对象图像和目标对象图像的周围图像，基于从第二图像提取的周围图像从第一图像提取第二图像的目标对象的背景(下文中称作背景图像)，并将从第一图像提取的背景图像合成在从第二图像提取的目标对象图像上，从而从所述第二图像中删除目标对象图像。在根据本发明的第五方面的三维图像显示装置中，从所述第一图像中提取目标对象图像，并在从目标对象的第一图像偏移了目标对象的视差矢量的位置处合成目标对象图像，由此在第一图像中重叠地显示了目标对象图像。此外，从第二图像中提取目标对象图像和目标对象图像的周围图像，基于从第二图像提取的周围图像从第一图像提取第二图像的背景图像，并将从第一图像提取的背景图像合成在从第二图像提取的目标对象图像上，从而从第二图像中删除了目标对象图像。通过这种配置，可以避免目标对象被视为三维图像。根据本发明的第六方面，在第五方面的三维图像显示装置中，图像处理单元从所述第一图像中提取目标对象图像，将目标对象图像处理为半透明，并在从第一图像提取的目标对象图像偏移了视差矢量计算单元针对目标对象计算的视差矢量的位置处合成该半透明目标对象图像，以在第一图像中重叠显示目标对象图像。根据本发明第六方面的三维图像显示装置从所述第一图像中提取目标对象图像，将目标对象图像处理为半透明，并在从第一图像提取的目标对象图像偏移了目标对象的视差矢量的位置处合成该半透明目标对象图像，以在第一图像中重叠显示目标对象图像。通过这种配置可以避免主要对象吸引用户的注意。根据本发明的第七方面，在第四方面的三维图像显示装置中，图像处理单元从所述第一图像中提取目标对象图像，将目标对象图像处理为半透明，并在从第一图像提取的目标对象图像偏移了视差矢量计算单元针对目标对象计算的视差矢量(下文中称为目标对 象的视差矢量)的位置处合成该半透明目标对象图像；从第二图像中提取目标对象图像，将目标对象图像处理为半透明，并在从第二图像提取的目标对象图像在目标对象的视差矢量的反方向上偏移了目标对象的视差矢量的幅值的位置处合成该半透明目标对象图像，以在第一图像和第二图像的每一个中重叠显示目标对象图像。根据本发明的第七方面的三维图像显示装置，从所述第一图像中提取目标对象图像，将目标对象图像处理为半透明，并在从第一图像的目标对象图像偏移了目标对象的视差矢量的位置处合成该半透明目标对象图像，从而在第一图像中重叠显示目标对象图像；另外，从第二图像中提取目标对象图像，将目标对象图像处理为半透明，并在从第二图像的目标对象图像在目标对象的视差矢量的反方向上偏移了目标对象的视差矢量的幅值的位置处合成该半透明目标对象图像，以在第二图像中重叠显示目标对象图像。 通过这种配置，可以避免目标对象被视为三维图像。根据本发明的第八方面，在第四方面的三维图像显示装置中，所述图像处理单元包括一个装置，用于从所述第一图像中提取目标对象图像，将目标对象图像处理为半透明，并在从第一图像提取的目标对象图像偏移了视差矢量计算单元针对目标对象计算的视差矢量(下文中称为目标对象的视差矢量)的位置处合成该半透明目标对象图像，从第二图像中提取目标对象图像，将目标对象图像处理为半透明，并在从第二图像提取的目标对象图像在目标对象的视差矢量的反方向上偏移了目标对象的视差矢量的幅值的位置处合成该半透明目标对象图像；以及一个装置，用于从第二图像提取目标对象图像和目标对象图像的周围图像，基于从第二图像提取的周围图像从第一图像提取第二图像的目标对象的背景(下文中称作背景图像)，将从第一图像提取的背景图像处理为半透明，将该半透明图像重叠地合成在从第二图像提取的目标对象图像上，以及从第一图像中提取目标对象图像和目标对象图像周围的图像，基于从第一图像提取的周围图像从第二图像提取第一图像的背景图像，将从第二图像提取的背景图像处理为半透明，并将该半透明背景图像重叠地合成在从第一图像提取的目标对象图像上。根据本发明的第八方面，从所述第一图像中提取目标对象图像，将目标对象图像处理为半透明，并在从第一图像提取的目标对象图像偏移了目标对象的视差矢量的位置处合成该半透明目标对象图像，从而在第一图像中重叠地显示该目标对象图像；从第二图像中提取目标对象图像，将目标对象图像处理为半透明，并在从第二图像提取的目标对象图像在目标对象的视差矢量的反方向上偏移了目标对象的视差矢量的幅值的位置处合成该半透明目标对象图像，以在第一图像中重叠地显示该目标对象图像。根据第八方面的三维图像显示装置从第二图像提取目标对象图像和目标对象图像的周围图像，基于从第二图像提取的周围图像从第一图像提取第二图像的背景图像，将从第一图像提取的背景图像处理为半透明，将该半透明图像重叠地合成在第二图像的目标对象图像上，以及从第一图像中提取目标对象图像和目标对象图像的周围图像，基于从第一图像提取的周围图像从第二图像提取第一图像的背景图像，将从第二图像提取的背景图像处理为半透明，并将该半透明图像重叠地合成在第一图像的目标对象图像上。通过这种配置，可以避免目标对象被视为三维图像。根据本发明的第九方面，在第六至第八方面中任一项的三维图像显示装置中，所述图像处理单元基于目标对象的尺寸改变半透明的程度。根据本发明的第九方面的三维图像显示装置基于目标对象的尺寸来改变半透明 的程度。通过这种配置，能够增强避免目标对象被视为三维图像的效果。根据本发明的第十方面的三维图像显示方法包括获取左眼用图像和右眼用图像的步骤；用于当左眼用图像和右眼用图像被显示在显示单元上以将左眼用图像和右眼用图像可识别地显示为三维图像时，从左眼用图像和右眼用图像中的每一个中提取在从显示单元的显示平面凸出的方向上具有视差的至少一个对象(下文中称为目标对象)的步骤；用于基于提取的目标对象图像对左眼用图像和右眼用图像进行图像处理的步骤，其中在左眼用图像和右眼用图像之一(下文中称为第一图像)上，所述进行图像处理的步骤执行在两个位置处显示目标对象的图像(下文中称为目标对象图像)的处理(下文中称作重叠显示目标对象图像的处理)，其中一个位置是目标对象在左眼用图像中的位置，另一个位置是目标对象在右眼用图像中的位置，并且执行从左眼用图像和右眼用图像中除第一图像之外的图像(在下文中称为第二图像)中删除目标对象图像的处理，或者执行在左眼用图像和右眼用图像中重叠显示目标对象图像的处理；和显示通过图像处理单元进行了图像处理的左眼用图像和右眼用图像的步骤。通过允许计算机执行包括了可以在计算机上执行的能够实现根据本发明第十方面的三维图像显示方法中每个步骤的计算机程序，也可以实现上述目的。通过记录介质将计算机程序安装在计算机中以允许计算机执行该程序，存储了计算机程序的计算机可读记录介质也可以实现上述目的。本发明的有益效果根据本发明，能够避免用户变得内斜视过度，并避免了观看远景时的困难，从而防止用户眼睛的疲劳。


图IA是根据本发明第一实施例的复眼数码相机I的示意性主视图。图IB是根据本发明第一实施例的复眼数码相机I的示意性背面视图。
图2是示出复眼数码相机I的电气构造的框图。图3是示出复眼数码相机I的3D/2D转换器135的内部结构的框图。图4是复眼数码相机I的2D处理的流程图。图5A是说明复眼数码相机I的2D处理的示图(其I)。 图5B是说明复眼数码相机I的2D处理的示图(其2)。图5C是说明复眼数码相机I的2D处理的示图(其3)。图是说明复眼数码相机I的2D处理的示图(其4)。图5E是说明复眼数码相机I的2D处理的示图(其5)。图5F是说明复眼数码相机I的2D处理的示图(其6)。图5G是说明复眼数码相机I的2D处理的示图(其7)。图5H是说明复眼数码相机I的2D处理的示图(其8)。图51是说明复眼数码相机I的2D处理的示图(其9)。图5J是说明复眼数码相机I的2D处理的示图(其10)。图6是示出根据本发明第二实施例的复眼数码相机2的3D/2D转换器135的内部构造的框图。图7是复眼数码相机2的2D处理的流程图。图8A是说明复眼数码相机2的2D处理的示图(其I)。图SB是说明复眼数码相机2的2D处理的示图(其2)。图SC是说明复眼数码相机2的2D处理的示图(其3)。图8D是说明复眼数码相机2的2D处理的示图(其4)。图SE是说明复眼数码相机2的2D处理的示图(其5)。图9是示出根据本发明第三实施例的复眼数码相机3的3D/2D转换器135的内部构造的框图。图10是复眼数码相机3的2D处理的流程图。图IIA是说明复眼数码相机3的2D处理的示图(其I)。图IlB是说明复眼数码相机3的2D处理的示图(其2)。图IlC是说明复眼数码相机3的2D处理的示图(其3)。图IlD是说明复眼数码相机3的2D处理的示图(其4)。图IlE是说明复眼数码相机3的2D处理的示图(其5)。图IlF是说明复眼数码相机3的2D处理的示图(其6)。图IG是说明复眼数码相机3的2D处理的示图(其7)。图IlH是说明复眼数码相机3的2D处理的示图(其8)。图IlI是说明复眼数码相机3的2D处理的示图(其9)。图IlJ是说明复眼数码相机3的2D处理的示图(其10)。图IlK是说明复眼数码相机3的2D处理的示图(其11)。图12是示出复眼数码相机3的2D处理的变型例的示图。图13A是示出相机和对象之间的位置关系的示图。图13B是按照图13A的位置关系中右眼用图像、左眼用图像和拍摄的三维图像的示图。
具体实施例方式在下文中，将参照附图对实现根据本发明的三维图像显示装置、三维图像显示方法、三维图像显示程序以及记录介质的最佳模式进行描述。<第一实施例>图IA和图IB是配备了根据本发明的三维图像装置的复眼数码相机I的示意图。图IA是其正视图而图IB是其后视图。复眼数码相机I配置有多个(在图IA和图IB的不例中为两个)成像系统，并且可以拍摄表示从多个视点(在图IA和IB的示例中为左右两个视点)观察到的同一对象的三维图像(立体图像)，以及可以拍摄单一视点图像(二维图像)。复眼数码相机I不仅可以记录和再现静止图像，还可以记录和再现运动图像和声音。
复眼数码相机I的相机主体10具有基本上矩形平行六面体的形状，并且如图IA中所示，镜头盖11、右成像系统12、左成像系统13、闪光灯14、和麦克风15主要设置在相机主体10的前表面上。释放开关20和变焦按钮21主要设置在相机主体10的顶面上。在相机主体10的背面上，设置有监视器16、模式按钮22、视差调节按钮23、2D_3D的切换按钮24、菜单-确认按钮25、十字按钮26和显示-返回按钮27，如在图IB中所示。镜头盖11可滑动地安装在相机主体10的前表面上，并且镜头盖11在垂直方向上滑动以便在打开状态和闭合状态之间切换。通常情况下，如图IA中虚线所示，镜头盖11位于上端(即，处在闭合状态下)，使物镜12a、13a等被镜头盖11覆盖。因此，可以防止镜头被损坏。当镜头盖滑动为位于下端(即，处在打开的状态下(见图IA中的实线))，露出位于相机主体10正面的镜头和其它组件。如果传感器(图中未示出)识别出镜头盖11处在打开状态下，则CPUllO (参见图2)接通电源以便把复眼数码相机I置于可拍摄状态。用于拾取右眼用图像的右成像系统12和用于拾取左眼用图像的左成像系统13是包括具有折叠光学系统的拍摄透镜组、光圈机械快门12d、13d和图像传感器122、123的光学单元(参见图2)。右成像系统12和左成像系统13的各拍摄透镜组主要包括用于从对象拾取光线的物镜12a、13a，用于基本以直角使得从每个物镜进入的光路弯曲的棱镜(未示出)，变焦透镜12c、13c (参见图2)，和聚焦透镜12b、13b、(参见图2)等。闪光灯14包括氙管，在拍摄较暗对象或者背光拍摄对象时按需启用。监视器16是具有典型的4:3宽高比和彩色显示功能的液晶显示器，可以显示三维图像以及平面图像。图中未示出监视器16的详细结构，但监视器16是在其表面上配备有视差屏障显示层的视差屏障3D监视器。当用户操作各种设置时将监视器16用作用户界面显示面板，并且在拍摄图像时也被用作电子取景器。监视器16可以在三维图像显示模式(3D模式)和平面图像显示模式(2D模式)之间切换。在3D模式下，在监视器16的视差屏障层上生成通过以预定间隔交替排列透光部分和遮光部分的图案构成的视差屏障，并且在该视差屏障层下面的显示平面上显示示出交替排列的右图像和左图像的带状图像片段。在2D模式中或作为用户接口显示面板时，没有在视差屏障显示层上进行显示，而是图像原样显示在视差屏障显示层下面的图像显示平面上。除了在监视器16中采用视差屏障系统，还可以在监视器16中采用双凸透镜系统、使用微透镜阵列板的整体成像系统、和利用干涉现象的全息系统。监视器16并不限于液晶显示器，也可以采用有机EL等作为监视器16。释放开关20是包括所谓的“半按”和“全按”的两行程开关。当拍摄静止图像时(通过模式按钮22或通过例如选择菜单选择了静止图像拍摄模式时)，复眼数码相机I通过半按下释放开关20执行摄影准备的各种操作，即AE (自动曝光)、AF (自动聚焦)和AWB (自动白平衡)，并且复眼数码相机I通过全按开关20执行图像的拍摄和记录操作。当拍摄运动图像时(通过模式按钮22或通过例如选择菜单选择了运动图像拍摄模式时)，如果释放开关20被完全按下，则数码相机I开始拍摄运动图像，以及如果释放开关20被再次完全按下时，拍摄结束。变焦按钮21用在右成像系统12和左成像系统13的变焦操作中，并且包括用于指示放大的长焦变焦按钮21T和用于指示变宽的广角变焦按钮21W。模式按钮22用作设置数码相机I的拍摄模式的拍摄模式设置单元，可以根据设置的模式按钮22的位置来将数码相机I的拍摄模式设置为各种模式。拍摄模式分为用于拍 摄运动图像的“运动图像拍摄模式”和用于拍摄静止图像的“静止图像拍摄模式”。该“静止图像摄影模式”包括例如由数码相机I自动设置光圈值、快门速度等的“自动摄影模式”，用于提取和拍摄人脸的“面部提取摄影模式”，适合拍摄移动体的“运动摄影模式”，适合于拍摄风景的“风景摄影模式”，适合拍摄日落和夜景的“夜间视图拍摄模式”，由用户设置光圈值(scale)并由数码相机I自动设置快门速度的“光圈优先拍摄模式”，以及由用户设置快门速度并由数码相机I自动设置光圈值的“快门速度优先拍摄模式”，以及用户设置光圈、快门速度等的“手动拍摄模式”。视差调节按钮23是用于在拍摄三维图像时调节视差的按钮。按下视差调节按钮23的右侧以预定距离增加了右成像系统12拍摄到的图像与左成像系统13拍摄到的图像之间的视差，并且按下视差调节按钮23的左侧以预定的距离减小右成像系统12拍摄的图像的和左成像系统13拍摄的图像之间的视差。2D-3D切换按钮24是用于指示在用于拍摄单视点图像的2D拍摄模式和用于拍摄多视点图像的3D拍摄模式之间进行切换的开关。菜单-确认按钮25不仅用于调用拍摄和再现功能(菜单功能)的各种设置屏幕(菜单屏幕)，还用于决定选择，并指示执行所选的操作(0K功能)；从而可以通过菜单-确认按钮25设置复眼数码相机I中的每一个调节项。在拍摄过程中按下菜单-确认按钮25时，允许显示器16显示用于设置图像质量调节(如曝光值，对比度，ISO感光度和记录像素数)的设置屏幕，并且在再现过程中按下菜单-确认按钮25允许显示器16显示删除图像等的设置屏幕。复眼数码相机I按照这个菜单屏幕上设置的条件进行操作。十字按钮26被用于执行各种菜单的设置或选择，或用于缩放，十字按钮26可以在左右方向上按压，也在向上和向下的方向上(即在四个方向上)按压，根据相机的设定条件的功能被分配给每个方向上的每个键。例如，在拍摄操作期间，将宏功能的ON-OFF切换功能分配给左键，将改变闪光模式的功能分配给右键。改变监视器16的亮度的功能被分配到上键，而改变自拍定时器的ON-OFF和时间的功能被分配给下键。在再现操作期间，将帧前进功能分配给右键，将帧回看功能分配给左键。再现时删除图像的功能被分配给上键。在各种设置操作中，还提供在每个键方向上移动在监视器16上显示的光标的功能。显示-返回按钮27用作指示切换监视器16的显示的按钮，如果在拍摄操作期间按下显示-返回按钮27，则监视器16上的显示以下列顺序切换0N—取景引导显示一OFF。在再现操作期间按下显示-返回按钮27时，监视器16上的显示以下列顺序切换正常播放—无字幕播放一多重播放。显示-返回按钮27用于指示取消输入操作或返回到先前的操作状态。图2是示出复眼数码相机I的主要内部构造的框图。复眼数码相机I主要包括CPU (中央处理单元)110 ;操作单元(释放开关20、菜单-确定按钮25、十字按钮26等)112 ；SDRAM (同步动态随机存取存储器)114 ；VRAM (视频随机存取存储器)116 ;AF检测单元118 ；AE-AffB检测单元120 ;图像传感器122、123 fDS-AMP (相关双采样器放大器)124、125 ；AD转换器126、127 ;图像输入控制器128 ;图像信号处理单元130 ;压缩-解压缩单元132 ;三维图像生成单元133 ;视频编码器134 ;3D/2D转换器135 ;介质控制器136 ;声音输入处理单元138 ;记录介质140 ;聚焦透镜驱动单元142、143 ;变焦透镜驱动单元144、145 ;光圈驱动单元146、147和定时发生器(TG) 148、149。 CPUllO全面控制复眼数码相机I的整体操作。CPUllO控制右成像系统12和左成像系统13的操作。右成像系统12和左成像系统13基本上彼此相关联地操作，并且它们也可以单独操作。CPUllO通过将右成像系统12和左成像系统13获取的两个图像数据分割成带状图像片段来产生显示图像数据，并将针对右眼和左眼的这些带状图像片段显示为在监视器16上交替地排列。当在3D模式下执行显示时，CPUllO在视差屏障显示层上生成通过以预定间隔交替排列透光部分和遮光部分的图案所构成的视差屏障，并且在该视差屏障层下面的图像显示平面上显示交替排列的针对右眼和左眼的带状图像片段；由此能够实现立体视景。SDRAMl 14存储作为由CPUllO执行的控制程序的固件、控制所需的各种数据、相机的设定值、拍摄图像有关的图像数据等。VRAMl 16被用作CPUllO的操作区域以及图像数据的临时存储区域。AF检测单元118根据来自CPUllO的指令基于输入的图像信号计算出AF控制所需的物理量。AF检测单元118包括右成像系统AF控制电路，用于基于从右成像系统12输入的图像信号执行AF控制；和左成像系统AF控制电路，用于基于从左成像系统13输入的图像信号执行AF控制。在本实施例的数码相机I中，基于从图像传感器122、123获取的图像的对比度执行AF控制(所谓的对比度AF)，并且AF检测单元118基于输入的图像信号计算指示图像的锐度的聚焦评估值。CPUllO检测由AF检测单元118计算出的聚焦评估值中具有局部最大值的聚焦评估值所处的位置，并将聚焦透镜组移动到该位置。具体地说，CPUllO按照预定的步长将聚焦透镜组从最近的距离移动到无限远的距离，获得每一点上的聚焦评估值，并确定所得的聚焦评估值中最大的聚焦评估值所处的位置来作为聚焦位置，然后将聚焦透镜组移动到该位置。AE-AffB检测单元120根据来自CPUllO的指令基于输入的图像信号计算出AF控制和AWB控制所需的物理量。例如，作为AE控制所需的物理量，屏幕被划分成多个区域(例如16X16个)，并针对每个划分区域计算R、G、B图像信号的积分值。基于AE-AWB检测单元120获得的积分值，CPUllO检测对象的亮度(对象亮度)，并且计算适用于拍摄的曝光值(拍摄EV值)。CPUllO还基于计算出的拍摄EV值和预定的程序图确定光圈值和快门速度。作为AWB控制所需的物理量，屏幕被划分成多个区域(例如16 X 16个)，并针对每个划分区域计算R、G、B每个颜色的图像信号的平均积分值。基于所获得的R积分值、G积分值、B积分值，CPUllO计算每个划分区域的R/G和B/G比率，并基于所得的R/G值和B/G值在R/G和B/G颜色空间中的分布来确定光源的类型。根据适合于所确定的光源类型的白平衡调整值，CPUllO确定白平衡调整电路的R、G、B信号的增益值(白平衡校正值)，以使得每个比值约为I (即一个屏幕上的RGB的积分比例为R:G:B ^ 1:1:1)。图像传感器122、123中的每一个包括配备有以预定的滤色器阵列(如蜂窝阵列和Bayer阵列)排列的R、G、B滤色器的彩色(XD。图像传感器122、123中的每一个接收通过聚焦透镜12b、13b、变焦透镜12c、13c等成像的对象的光，并且光接收面上的入射光被每个光电二极管根据入射光量转换成信号电荷。关于光电荷的累积操作和图像传感器122、123的传输操作，基于从各个TG148、149输入的电荷排出脉冲(charge drain pulse)来确定电子快门速度(光电荷累积时间)。具体而言，在光排出脉冲输入到图像传感器122、123时，电荷被排出而没有被存储在所述图像传感器122、123中。另一方面，如果没有光排出脉冲输入到图像传感器122、 123，则不泄露电荷，从而在图像传感器122、123上开始电荷累积(S卩，开始曝光)。在图像传感器122、123上获取的摄像信号基于从各个TG148、149给出的驱动脉冲输出至⑶S-AMP124和 125。对从图像传感器122、123输出的图像信号进行相关双采样处理(通过获取针对每个图像传感器的每个像素的输出信号中包含的整体(field through)分量电平和像素信号分量电平之间的差值来获得精确像素数据的处理，来降低每个图像传感器的输出信号中包含的噪声(特别是热噪声))，并且所得的信号被⑶S-AMP124、125放大，以便产生R、G、B模拟图像信号。AD转换器126、127将CDS-AMP124、125生成的R、G、B模拟图像信号转换成数字图
像信号。图像输入控制器128包括具有预定容量的行缓冲器，并累积从⑶S-AMP-AD转换器输出的单个图像的图像信号，并根据来自CPUllO的指令将信号记录在VRAM116上。图像信号处理单元130包括同步电路(对由于单板CCD的滤色器阵列导致的彩色信号的特定偏差进行内插，并将彩色信号转换成同步信号的处理电路)、白平衡校正电路、伽马校正电路、轮廓校正电路、亮度色差产生电路等，并且图像信号处理单元130根据来自CPUllO的指令对输入的图像信号进行适当的信号处理，以产生包括亮度数据(Y数据)和色差数据(Cr、Cb数据)的图像数据(YUV数据)。在下文中，根据从图像传感器122输出的图像信号生成的图像数据被称为右眼用图像数据(下文中称为右眼用图像)，根据从图像传感器123输出的图像信号生成的图像数据被称为左眼用图像数据(下文中称为左眼用图像)。压缩-解压缩单元132根据来自CPUllO的指令使用预定的格式对输入图像数据进行压缩处理以产生压缩的图像数据。压缩-解压缩单元132根据来自CPUllO的指令使用预定的格式对输入的压缩图像数据执行解压缩处理，以便产生未压缩的图像数据。三维图像生成部分133对右眼用图像和左眼用图像进行处理，以使得这些图像可以以三维方式显示在监视器16上。例如，如果显示器采用视差屏障系统，则三维图像生成单元133通过将要再现的右眼用图像和左眼用图像分割成带状图像片段来生成显示图像数据，并针对右眼和左眼交替排列这些带状图像片段。显示图像数据从三维图像生成单元133通过视频编码器134输出至监视器16。视频编码器134控制监视器16上的显示。具体地说，视频编码器134将在三维图像生成单元133上生成的显示图像数据等转换成视频信号(如NTSC (国家电视系统委员会)信号，PAL (逐行相位转换)信号，SECAM (顺序传送彩色与存贮)信号)，并且将这些信号输出到显示器16，以便在监视器16上显示显示图像数 据，并且如果必要的话还将关于预定的字符和数字的信息输出至监视器16。因此，右眼用图像和左眼用图像以三维方式显示在监视器16上。在该实施例中，当在显示器上显示右眼用图像和左眼用图像时，基于对象的凸出量来提取不适于进行立体观看的对象(下文中称作目标对象)，并且对右眼用图像和左眼用图像进行处理以避免目标对象被三维观看或者阻止目标对象被三维观看(下文中称作2D处理)。这种图像处理在3D/2D转换器135上执行。3D/2D转换器135将在下文描述。图3是示出3D/2D转换器135的内部结构的框图。3D/2D转换器135主要包括视差计算单元151、视差矢量计算单元152、3D不适合对象确定/提取单元153、背景提取单元154和图像合成单元155。视差计算单元151从右眼用图像和左眼用图像提取主要对象，并且计算每个所提取的主要对象的视差量(即，所感兴趣的主要对象的当前视差与0视差之差)。可以通过各种方法来定义主要对象，基于面部检测单元(未示出)中识别的人，基于聚焦的对象，或基于由用户选择的对象。每个视差量具有幅度和方向，并且该方向有两个方向，其中一个方向用于向后偏移主要对象(在本实施例中是用于向右偏移右眼用图像的方向)，另一个方向用于向前偏移主要对象(在本实施例中是用于向左偏移右眼用图像的方向)。向后偏移主要对象的方向也可以是向左偏移左眼用图像的方向，并且向前偏移主要图像的方向可以是向右偏移左眼用图像的方向；然而，在本实施例中将左眼用图像定义为基准图像(如后文所述)，因此对右眼用图像进行向右或向左偏移。视差计算单元151计算出的视差量输入到视差矢量(位移矢量)计算单元152和图像合成单元155。基于视差计算单元151计算的视差量，视差矢量计算单元152对右眼用图像执行偏移该视差量的视差偏移，以使得右眼用图像中的主要对象的位置与左眼用图像中的主要对象的位置相对应。然后，视差矢量计算单元152基于执行了视差偏移后的右眼用图像和左眼用图像，针对每个对象计算视差矢量。在视差矢量计算单元152上如下所述计算视差矢量。(I)从执行了视差偏移后的右眼用图像和左眼用图像中提取所有对象。(2)从右眼用图像和左眼用图像之一(在下文中称为基准图像)中提取感兴趣的对象的特征点，并在右眼用图像和左眼用图像中除了基准图像之外的图像(下文称为辅助图像)中检测与特征点对应的点。(3)计算辅助图像的对应点与基准图像的特征点之间的偏差程度来作为感兴趣的对象的具有大小和方向的视差矢量。在本实施例中，假定左眼用图像是基准图像。(4)对每个提取对象重复执行步骤(2)和
(3)直至(I)中提取的全部对象。通过这些步骤，针对每个对象计算了视差矢量。在视差矢量计算单元152计算出的视差矢量输入3D不适合对象确定/提取单元153和图像合成单元 155。
3D不适合对象确定/提取单元153基于从视差矢量计算单元152输入的视差矢量提取目标对象。在本实施例中，具有方向向左的视差矢量(即比交叉点更靠前(具有在从屏幕平面凸出的方向上的视差))、并且其视差矢量等于或超过阈值的对象被提取为目标对象。通过这种方式，其视差在从屏幕平面凸出的方向上等于或大于预定阈值的对象可被提取为目标对象。该阈值取决于监视器16的尺寸、用户和监视器16之间的距离等而变化。因此，该阈值是根据监视器16的规格而预定义的，并且该值被存储在3D不适合对象确定/提取单元153的存储区域(未示出)中。该阈值可以由用户通过操作单元112设置。通过3D不适合对象确定/提取单元153提取的目标对象的有关信息输入到背景提取单元154和图像合成单元155中。该预定的阈值可以基于目标对象的大小而改变。目标对象的大小和阈值之间的对应关系可以被存储在3D不适合对象确定/提取单元153的存储区域(未示出)中，并且要使用的阈值是根据视差矢量计算单元152提取的目标对象的大小来确定的。
·
背景提取单元154从左眼用图像提取右眼用图像中的目标对象的背景(下文中称作右眼用图像的背景图像)。从左眼用图像提取的右眼用图像的背景图像被输入到图像合成单元155中。背景提取单元154上的处理将在后文详细描述。基于从视差矢量计算单元152输入的视差矢量和有关从3D不适合对象确定/提取单元153输入的目标对象的信息，图像合成单元155将目标对象的图像(下文中称为目标物体图像)合成在左眼用图像中，以在左眼用图像中重叠显示目标对象图像。在左眼用图像中的合成位置是(对应于)目标对象在右眼用图像中的位置。基于从3D不适合对象确定/提取单元153输入的目标对象的有关信息和从背景提取单元154输入的右眼用图像的背景图像，图像合成单元155将右眼用图像的背景图像合成在右眼用图像中，以便从右眼用图像删除目标对象图像。后文将对图像合成单元155的处理进行详细说明。以这种方式产生的右眼用图像和左眼用图像作为3D/2D转换器135的输出被输出至适当的模块(如三维图像生成单元133)。使用上述相同的方法，从3D/2D转换器135输出的右眼用图像和左眼用图像通过三维图像生成单元133进行处理，以便能够以三维方式显示在监视器16上，并且通过视频编码器134输出到监视器16。因此，在3D/2D转换器135上处理过的右眼用图像和左眼用图像三维地显示在监视器16上。再次参照图2，介质控制器136将在压缩-解压缩单元132中压缩的每个图像数据记录到记录介质140上。声音输入处理单元138接收输入到麦克风15中并在立体声麦克风放大器中(图中未示出)放大的音频信号，并对输入音频信号进行编码。记录介质140可以包括各种记录介质，如可拆卸地安装在复眼数码相机I中的xDPicture Card (注册商标)、以Smart Media (注册商标)为代表的半导体存储卡、便携式紧
凑硬盘、磁盘、光盘和磁光盘等。根据来自CPUllO的指令，聚焦透镜驱动单元142、143在其光轴方向上移动各聚焦透镜12b、13b，以改变其焦点。根据来自CPUllO的指令，变焦透镜驱动单元144、145在其光轴方向上移动各变焦透镜12c、13c，以便改变其焦距。
光圈机械快门12d、13d由各个光圈驱动单元146、147的各个光阑(iris)电机来驱动以改变其光圈，从而调节入射到图像传感器123的光量。根据来自CPUllO的指令，光圈驱动单元146、147改变各个光圈机械快门12d、13d的光圈，从而调节入射到图像传感器123的光。另外，根据来自CPUllO的指令，光圈驱动单元146、147打开或关闭各光圈机械快门12d、13d，从而对各个图像传感器122、123执行曝光和遮光操作。现在对具有上述结构的复眼数码相机I的操作进行描述。(A)拍摄模式如果镜头盖11从闭合状态滑动到打开状态，则复眼数码相机I上电，使数码相机I激活为拍摄模式。拍摄模式在2D模式和用于拍摄从两个视点观看同一对象的三维图像的 3D拍摄模式之间切换。3D模式可以设置为在同一时间使用右成像系统12和左成像系统13以预定的视差拍摄三维图像的3D拍摄模式。通过在复眼数码相机I处于拍摄模式时按下菜单-确认按钮25来设置拍摄模式，并在所显示的菜单屏幕中利用十字按钮26选择“拍摄模式”，从而能够通过显示在监视器16上的拍摄模式菜单屏幕来设置拍摄模式。(I) 2D拍摄模式CPUllO选择右成像系统12或左成像系统13(在本实施方式中为左成像系统13)，并开始在所选的左成像系统13的图像传感器123上拍摄拍摄确认图像。具体而言，在图像传感器123上连续拍摄图像，并且对其图像信号进行连续处理，从而生成拍摄确认图像的图像数据。CPUllO将监视器16设置为2D模式，将所生成的图像数据依次输入到视频编码器134，以便将图像数据转换成用于显示的信号形式，然后将这些信号输出至监视器16。通过这种操作，在图像传感器123上拾取的图像以三维方式显示在监视器16上。如果监视器16可以接受数字信号，则视频编码器134是不必要的，并且该数据应被转换成与监视器16的输入规格兼容的信号形式。用户进行取景，确认要被拍摄的对象，确认拍摄之后的图像，或在查看三维地显示在监视器16上的拍摄确认图像的同时定义拍摄条件。如果在拍摄等待状态释放开关20被半按，则SlON信号被输入到CPU110。CPUllO检测到该信号，然后执行AE测光和AF控制。在执行AE测光过程中，基于通过图像传感器123拾取的图像信号的积分值等来测量该对象的亮度。测量到的光的值(测光值)被用于确定光圈机械快门13d的光圈值和快门速度。同时基于检测到的对象亮度确定是否应使用闪光灯14。如果确定应使用闪光灯14,则闪光灯14发射预闪光,然后基于该预闪光的反射光确定实际拍摄的闪光强度。如果释放开关20被完全按下，S20N信号被输入到CPUllO中。响应于该S20N信号，CPUllO执行拍摄和记录处理。CPUllO根据基于测光值定义的光圈值来通过光圈驱动单元147驱动光圈机械快门13d，并且还调整图像传感器123的电荷累积时间(所谓的电子快门)，从而实现根据测光值定义的快门速度。CPUllO在执行AF控制的过程中将聚焦透镜从对应于最近距离的透镜位置逐步平移到对应无限远距离的透镜位置，从AF检测单元118获取基于图像传感器123在每一个透镜位置拾取的图像的AF区域图像信号来对图像信号的高频分量进行积分所得到的评估值，找到存在最大评估值的透镜位置，并将聚焦透镜平移至该透镜位置以执行对比度AF。此时，如果使用闪光灯14，则基于根据预闪定义的闪光灯14的闪光强度使闪光灯14闪光。对象的光通过聚焦透镜13b、变焦透镜13c、光圈机械快门13d、红外截止滤波器46、光学低通滤波器48等进入图像传感器123的光接收表面。根据TG149提供的定时信号读出累积在图像传感器123的每个光电二极管上的信号电荷，将其作为电压信号(图像信号)从图像传感器123逐个输出数，然后将其输入到CDS-AMPI25。⑶S-AMP125基于⑶S脉冲对CXD输出信号进行相关双采样处理，并根据从CPUllO提供的摄影感光度设置增益放大从CDS电路输出的图像信号。 从CDS-AMP125输出的模拟图像信号被AD转换器127转换成数字图像信号，转换的数字信号(R、G、B RAff数据)被传送到SDRAM114并临时存储。从SDRAM114读出的R、G、B图像信号被输入到图像信号处理单元130。图像信号处理单元130通过白平衡调整电路对R、G、B的每个图像信号施加数字增益来执行白平衡调节，通过伽马校正电路根据伽马特性对R、G、B的每个图像信号执行灰度转换处理，并通过同步电路执行同步处理以对由于单板CCD的滤色器阵列导致的每个颜色信号的特定偏差进行插值，从而使得每个颜色信号的相位与其他颜色信号的相位相匹配。通过亮度色差数据生成电路将R、G、B颜色的同步图像信号转换成亮信号Y和色差信号Cr、Cb (YC信号)，其中对图像信号应用诸如边缘增强的信号处理。通过图像信号处理单元130处理的YC信号累积在SDRAMl 14上。通过上述方式累积在SDRAM114上的YC信号在压缩解压缩单元132中被压缩，并且通过介质控制器136以预定的格式存储在记录介质140中作为图像文件。静止图像数据作为符合Exif标准(可交换图像文件格式规格由日本电子工业发展协会标准化的图像元数据的格式)的图像文件存储在记录介质140中。Exif文件包括用于存储主图像的数据的区域，和用于存储缩小图像(缩略像)数据的区域。通过对拍摄获得的主图像的数据应用像素稀疏化处理和其它必须的数据处理来生成指定尺寸的缩略像(例如，160X120像素，80X60像素等)。通过这种方式产生的缩略像与主图像一起被写入Exif文件中。诸如拍摄日期、拍摄条件、面部检测信息等标签信息附加到Exif文件。如果复眼数码相机I的模式被设置为再现模式，则CPUllO将命令输出到介质控制器136,以指示记录介质140读出最新记录的图像文件。读出的图像文件的压缩图像数据被提供至压缩-解压缩单元132，以解压缩成未压缩的亮度色差信号，并在三维图像生成单元133中处理成三维图像，此后通过视频编码器134输出到监视器16。再现记录在记录介质140上的图像，并将其显示在监视器16上(再现为单个图像)。在2D模式下拍摄的图像显示在监视器16的整个屏幕上，作为2D模式的平面图像。通过使用交叉按钮26的右键和左键执行图像的帧前进，如果十字按钮26的右键被按下，则从记录介质140中读出下一个图像文件，并且将其再现和显示在监视器16上。如果十字按钮26的左键被按下，则从记录介质140读出前一图像文件，并且将其再现和显示在监视器16上。在监测在监视器16上再现和显示的图像的同时，可以按需擦除记录媒体140上记录的图像。在图像被再现和显示监视器16上的同时，通过按下菜单-确认按钮25来执行图像擦除。(2)在3D拍摄模式期间在图像传感器122和图像传感器123上开始拍摄拍摄确认图像。具体而言，在图像传感器122和图像传感器123上连续拍摄同一对象，并且对其图像信号进行连续处理，从而生成用于拍摄确认图像的三维图像数据。CPUllO将监视器16设置为3D模式，在视频编码器134将所生成的图像数据依次转换成用于显示的信号形式的数据，然后将这些信号输出至监视器16。通过这种方式，用于拍摄确认图像的三维图像数据以三维方式显示在监视器16上。
在监视三维地显示在监视器16上的拍摄确认图像的同时，用户进行取景，确认要被拍摄的对象，确认拍摄之后的图像，或设置拍摄条件。如果在拍摄等待状态释放开关20被半按，则SlON信号被输入到CPU110。CPUllO检测到该信号，然后执行AE测光和AF控制。对右成像系统12和左成像系统13之一(本实施例中为左成像系统13)执行AE测光。对右成像系统12和左成像系统13中的每一个执行AF控制。AE测光和AF控制与2D模式中的相同；因此省去对其的具体描述。如果释放开关20被完全按下，S20N信号输入到CPUllO中。响应于该S20N信号，CPUllO执行拍摄和记录处理。生成在右成像系统12和左成像系统13上分别拍摄的图像数据的处理与2D模式中的相同；因此省去对其的具体描述。根据在⑶S_AMP124、125分别产生的两个图像数据，通过与2D拍摄模式相同的方式产生两个压缩图像数据。这两个压缩图像数据彼此相关联来作为一个单独的文件，该文件被存储在存储介质137中。MP格式可被用作存储格式。(B)再现模式如果复眼数码相机I被设置在再现模式下，则CPUllO将命令输出到介质控制器136，以指示记录介质140读出最新记录的图像文件。被读出的图像文件的压缩图像数据被提供至压缩-解压缩单元132，以解压缩成未压缩的亮度色差信号，并在3D/2D转换器135中对目标对象应用2D处理。图4是示出了 3D/2D转换器135对目标对象进行的2D处理流程的流程图。在步骤SlO中，在压缩-解压缩单元132中解压缩成未压缩的亮度/色差信号的图像数据(即，右眼用图像和左眼用图像)输入至3D/2D转换器135。在步骤SI I中，视差计算单元151获取右眼用图像和左眼用图像，并且从右眼用图像和从左眼用图像中提取主要对象，然后计算主要对象的视差量。如图5A所示，如果对象A是主要对象，则视差计算单元151对对象A在左眼用图像中的位置与对象A在右眼用图像中的位置进行比较，以计算对象A的视差量。在图5A的情况下，对象A在右眼用图像中的位置相对对象A在左眼用图像中的位置向左偏离(偏移)“a”，因此计算出该视差量具有幅值“a”以及将右眼用图像向右偏移的方向。在图5A到图5J中，为了便于说明，左眼用图像中的对象B和对象C以阴影表示，从而使得左眼用图像中的对象B和对象C能够与右眼用图像中的对象B和对象C相区分。这并不表示左眼用图像中的对象B和对象C与右眼用图像中的对象B和对象C不同。在步骤S12中，将在步骤Sll中计算出的视差量输入到视差矢量计算单元152。如图5B中所示，视差矢量计算单元152执行视差偏移以将右眼用图像偏移该视差量(在图5B的情况下，在向右方向上的“a”幅值)，并且视差矢量计算单元152基于视差偏移后的右眼用图像和基于左眼用图像针对每个对象计算视差矢量。在图5A至图5J的示例中，对象A在视差偏移后的视差矢量为0 ;因此视差矢量是针对对象B和C计算的。图5C是对图5B所示的左眼用图像与右眼用图像进行重叠的示图。通过该视差偏移，位于比主要对象更靠前的对象具有与位于比主要对象更靠后的对象的视差矢量的方向相反的方向。如图5C所示，由于对象B比对象A更靠前，并且对象C比对象A更靠后，因此对象B的视差矢量(以下简称为视差矢量B)的方向是向左，对象C的视差矢量(下文称为视差矢量C)的方向是向右。在步骤S13，在步骤S12中计算出的视差矢量B与视差矢量C输入到3D不适合对象确定/提取单元153。由于可以基于视差矢量的方向确定感兴趣的对象是否比主要对象位于更靠前的位置，因此3D不适合对象确定/提取单元153基于视差矢量B的方向和视差·矢量C的方向提取目标对象的候选。目标对象是比交叉点更靠前的对象，因此3D不适合对象确定/提取单元153提取具有向左方向的视差矢量的对象(在图5A至图5J的示例中为对象B)作为目标对象的候选。在步骤S14中，3D不适合对象确定/提取单元153确定在步骤S13中提取的目标对象候选的视差矢量是否具有等于或超过阈值的幅度。在步骤S15中，如果目标对象候选具有幅值等于或超过阈值的视差矢量(在步骤S14中为“是”)，则3D不适合对象确定/提取单元153确定该目标对象候选是目标对象。在图5A到图5J的示例中，对象B被确定为目标对象。3D不适合对象确定/提取单元153确定对象B是将要三维显示的不适合对象，并对对象B执行以下步骤S18和步骤S19的处理。如果目标对象候选的视差矢量的幅值小于预定的阈值(在步骤S14中为“否”)，则3D不适合对象确定/提取单元153省略步骤15并转移到步骤16。在步骤S16中，3D不适合对象确定/提取单元153确定是否对每一个目标对象候选执行了步骤S14和步骤S15的处理。如果尚未对每一个目标对象候选执行步骤S14和步骤S15的处理(步骤S16中的“否”)，则3D不适合对象确定/提取单元153再次执行步骤S14和步骤S15的处理。在步骤S17中，如果对每一个目标对象候选执行了步骤S14和步骤S15的处理(步骤S16中为“是”)，则3D不适合对象确定/提取单元153判断在步骤S14到步骤S16的处理中是否确定了目标对象存在与否。如果不存在目标对象(步骤S17中的“否”)，3D不适合对象确定/提取单元153转移到步骤S20。在步骤S18中，如果存在任何目标对象(步骤S17中的“是”)，则背景提取单元154从左眼用图像提取右眼用图像的背景图像，并且图像合成单元155将右眼用图像的背景图像重叠合成在右眼用图像的目标对象图像上，从而从右眼用图像删除目标对象图像。现在将参照图到图5G描述步骤S18。对如图5B所示执行了使得主要对象的位置彼此对应(视差量设置为0)的视差偏移处理后的右眼用图像和左眼用图像执行步骤S18的处理。
如图所示，背景提取单元154从右眼用图像提取目标对象图像(在本示例中为对象B的图像)及其周围图像。可通过以包括对象B (图中的虚线所指示的)的矩形、圆形或椭圆形等形状来执行周围图像的提取。如图5E所示，背景提取单元154通过模式匹配方法在左眼用图像中搜索包括与从右眼用图像提取的对象B的周围图像相同的图像的区域。在此步骤中搜索的区域具有与所提取的周边图像的区域大致相同的大小和形状。由背景提取单元154所使用的方法不限于模式匹配，其他各种公知的方法也可以使用。如图5F所示，背景提取单元154从在图5E中搜索的区域提取右眼用图像的背景图像。通过从图5E中的左眼用图像中搜出的区域(5F中的虚线包围的区域)中提取包括在图中提取出的区域中的对象B的部分(对应于图5F中斜线阴影的部分)，可以实现这种处理。背景提取单元154将所提取的背景图像输出至图像合成单元155。如图5G所示，图像合成单元155将右眼用图像的背景图像与右眼用图像中对象B的图像重叠，以组合(合成)它们。左眼用图像和右眼用图像之间具有视差，并且如果所提取 的背景图像直接覆盖在右眼用图像上，则会在背景图像的边界处导致偏差(断开)。因此，应用会模糊背景图像的边界、或使用变形技术使得背景图像变形的技术。因此，对象B的图像(即，目标对象图像)被从右眼用图像删除。在步骤S19中，与步骤S18中一致，图像合成单元155对目标对象图像与左眼用图像进行组合(合成)，从而在左眼用图像中重叠显示目标对象图像。左眼用图像中的合成位置是(对应于)目标对象在右眼用图像中的位置。现在将参照图5H和图51描述步骤S19。与步骤S18类似，对如图5B所示执行了用于将主要对象的视差量设置为0的视差偏移处理后的右眼用图像和左眼用图像执行步骤S19的处理。如图5H所示，图像合成单元155从右眼用图像提取对象B的图像。图像合成单元155还按照对象B的位置从左眼用图像提取对象B的图像。在步骤S12中计算的视差矢量已经输入图像合成单元155，因此，图像合成单元155对左眼用图像应用合成处理，以使得从右眼用图像提取的对象B的图像在从对象B的图像在左眼用图像中的位置偏移该视差矢量B的位置处与左眼用图像组合(合成)，如图51所示。通过这种方式，在左眼用图像中的两个位置处显示对象B :对象B在左眼用图像中的位置，以及从对象B在左眼用图像中的位置偏移视差矢量B的位置(即与对象B在右眼用图像中的位置相对应的位置)。因此对象B的图像(S卩，目标对象图像)重叠显示在左眼用图像上。在步骤S20，图像合成单元155将在步骤S18中删除了对象B的图像的右眼用图像和在步骤S19中重叠显示了对象B的图像的左眼用图像输出至三维图像生成单元133。三维图像生成单元133对在步骤S18中删除了对象B的图像的右眼用图像和在步骤S19中重叠显示了对象B的图像的左眼用图像进行处理，以便能够以三维方式显示在监视器16上，并将处理后的图像数据通过视频编码器134输出至监视器16。通过该处理，如图5J所示，删除了对象B的图像的右眼用图像和重叠显示了对象B的图像的左眼用图像在监视器16被显示为三维图像(作为单一的图像再现)。由于显示在监视器16上的右眼用图像不包括对象B，因此图5J示例中的对象B未被三维显示。因此，可以防止对象B被过于凸出地显示。
通过使用十字按钮26的右键和左键执行图像的帧前进和返回，以及如果十字按钮26的右键被按下，则从记录介质140读出下一个图像文件，并且再现和显示在监视器16上。如果十字按钮26的左键被按下，则从记录介质140读出前一图像文件，并且再现和显示在监视器16上。对下一个图像文件和前一图像文件执行图4所示的相同处理，并在监视器16上三维显示2D处理后的图像。在监视再现和显示在监视器16上的图像的同时，用户可以按需擦除记录媒体140上记录的图像。在图像被再现和显示在监视器16上的同时，通过按下菜单-确认按钮25来执行图像擦除。根据本实施例，有可能实现在从显示平面凸出的方向上具有过大视差的对象被作为三维图像观看的显示(避免了立体感)。由此可以避免过于凸出的感觉，从而减少用户眼睛的疲劳。此外，因为2D处理没有被施加到图像中目标对象以外的其余部分，所以能够防 止观看远景的困难。在本实施例中，基于视差矢量的大小和方向提取目标对象。然而，提取目标对象并不必需使用视差矢量的幅度，也可以仅基于视差矢量的方向进行目标对象的提取。在这种情况下，提取比交叉点更靠前并且看起来从监视器16的显示平面凸出(即具有在从显示屏幕凸出的方向上的视差)的对象来作为目标对象。在某些情况下，根据从监视器16的显示屏幕凸出的量，对象不会导致用户眼睛的疲劳，因此，优选基于视差矢量的方向和幅值来执行目标对象的提取。本实施例执行以下处理执行使右眼用图像偏移其视差量的视差偏移，从而使主要对象具有0视差(使主要对象的位置与交叉点匹配)，基于视差偏移后的右眼用图像以及基于左眼用图像计算每个对象的视差矢量，删除目标对象，并重叠显示目标对象的图像；但并不必需要将主要对象的视差设置为O。在这种情况下，基于根据从图像传感器122、123输出的图像信号产生的右眼用图像和左眼用图像，为每个对象目标计算视差矢量，然后删除目标对象，并且重叠显示目标对象的图像。应当指出的是，如果主对象的视差被设置为0，则在显示平面的位置处显示主要对象；因此，当用户关注主要对象时，用户的眼睛被集中到显示平面上。因此，优选将主要对象的视差量设置为0以减少用户眼睛的疲劳。另外，在本实施例中，执行使右眼用图像偏移其视差量的视差偏移，从而将主要对象的视差设置为0，但是上述视差偏移的幅值(下文中称作视差偏移量)可以根据目标对象的大小而变化。例如，如果重叠显示的目标对象所占的区域(下文中称作重叠显示区域)的比例超出了阈值，则视差偏移量在降低凸出量的方向上变化，即在将主要对象向后偏移的方向上(在本实施例中是将右眼用图像向右偏移的方向上)变化。在图5A到图5J的示例中，使用具有幅值“a”(视差偏移量为+a)以及将右眼用图像向右偏移的方向的视差量对右眼用图像执行视差偏移，但如果重叠显示区域所占据的比率超过阈值，则右眼用图像被进一步向右移，以便将右眼用图像的视差偏移量增大为超过“a”。通过这种方式，在一般来说减少了从显示平面凸出的量的方向上偏移右眼用图像，从而降低了重叠显示区域所占据的比率。由于通过改变视差偏移量可以计算具有较小值的视差矢量，因此2D处理的阈值被乱真地增加，从而增加了用于三维显示的区域。此外，如果在特定的时间段内重叠显示区域所占据的比率持续超过阈值，则通过在降低凸出量的方向上(即在使主要对象向后偏移的方向上)偏移主要对象可以随时间逐渐改变视差偏移量。例如在图5A至图5J中，如果在特定的时间段内重叠显示区域所占据的比率持续超过阈值，则在该特定时间段经过之后，随时间将右眼用图像进一步向右偏移，以从幅值“a”逐渐增加右眼用图像的视差偏移量。通过这种处理，重叠显示区域所占据的比率可以随时间逐渐降低。另外，用于三维显示的区域也可以随时间逐渐扩大。在本实施例中，在左眼用图像上执行目标对象图像的重叠显示，并且在右眼用图像上删除目标对象，但此处理也可以互换左眼用图像和右眼用图像来执行。
〈第二实施例〉在本发明的第一实施例中，通过在左眼用图像中重叠显示目标对象的图像以及从右眼用图像删除目标对象来执行2D处理，但2D处理不限于此。本发明的第二实施例重叠显示左眼用图像和右眼用图像中的目标对象的图像，来作为2D处理。在下文中，将对第二实施例的复眼数码相机2进行描述。那些与第一实施例相同的兀件由相同的参考标号表不，并省略其描述。现在将对复眼数码相机2的主要内部结构进行说明。3D/2D转换器135A是复眼数码相机2与复眼数码相机I唯一不同的特征，因此仅对3D/2D转换器135A进行说明。图6是示出3D/2D转换器135A的内部结构的框图。3D/2D转换器135A主要包括视差计算单元151、视差矢量计算单元152、3D不适合对象确定/提取单元153和图像合成单元155A。基于从视差矢量计算单元152输入的视差矢量和从3D不适合对象确定/提取单元153输入的目标对象的有关信息，图像合成单元155A将目标对象的图像处理为半透明，并将此半透明图像与左眼用图像组合(合成)，以在左眼用图像中重叠显示目标对象图像。在左眼用图像中的合成位置是(对应于)目标对象在右眼用图像中的位置。基于从视差矢量计算单元152输入的视差矢量和从3D不适合对象确定/提取单元153输入的目标对象的有关信息，图像合成单元155A将目标对象图像处理为半透明，将此半透明图像与右眼用图像组合(合成)，以在右眼用图像中重叠显示目标对象图像。在右眼用图像中的合成位置是(对应于)目标对象在左眼用图像中的位置。后文将对图像合成单元155A的处理进行详细说明。下面对复眼数码相机2的操作进行说明。2D处理是复眼数码相机2与复眼数码相机I唯一不同的特征；因此，下面针对复眼数码相机2的操作描述2D处理。图7是示出了 3D/2D转换器135A对目标对象进行的2D处理流程的流程图。与图4相同的步骤将不再给出说明。在步骤SlO中，在压缩-解压缩单元132解压缩成未压缩的亮度/色差信号的图像数据(即右眼用图像和左眼用图像)输入至3D/2D转换器135。 在步骤SI I中，视差计算单元151获取右眼用图像和左眼用图像，并且从右眼用图像和从左眼用图像中提取主要对象，然后计算主要对象的视差量。如图8A所示，如果对象A是主要对象，则视差计算单元151对对象A在左眼用图像中的位置与对象A在右眼用图像中的位置进行比较，以计算对象A的视差量。在图8A到图SE中，为了便于说明，左眼用图像中的对象B和对象C以阴影表示，从而使得左眼用图像中的对象B和对象C能够与右眼用图像中的对象B和对象C相区分。这并不表示左眼用图像中的对象B和对象C与右眼用图像中的对象B和对象C不同。
在步骤S12中，将在步骤Sll中计算出的视差量输入到视差矢量计算单元152。如图8B所示，视差矢量计算单元152执行将右眼用图像偏移视差量的视差偏移，并且视差矢量计算单元152基于视差偏移后的右眼用图像和左眼用图像针对每个对象计算视差矢量。在图8A至图SE的示例中，对象A在视差偏移后的视差矢量为0 ;因此针对对象B和C计算了视差矢量。在步骤S13，在步骤S12中计算出的视差矢量B与视差矢量C输入到3D不适合对象确定/提取单元153。3D不适合对象确定/提取单元153基于视差矢量的方向提取目标对象的候选。在步骤S14中，3D不适合对象确定/提取单元153确定在步骤S13中提取的目标对象候选的视差矢量是否具有等于或超过阈值的幅度。在步骤S15中，如果目标对象候选具有幅值等于或超过阈值的视差矢量(在步骤S14中为“是”)，则3D不适合对象确定/提取单元153确定该目标对象候选是目标对象。在图8A到图8E的示例中，对象B被确定为目标对象。3D不适合对象确定/提取单元153确定对象B是将要三维显示的不适合对象，并对对象B执行以下步骤S21和步骤S22的处理。·如果目标对象候选的视差矢量的幅值小于预定的阈值(在步骤S14中为“否”)，则3D不适合对象确定/提取单元153省略步骤15并转移到步骤16。在步骤S16中，3D不适合对象确定/提取单元153确定是否对每一个目标对象候选执行了步骤S14和步骤S15的处理。如果尚未对每一个目标对象候选执行步骤S14和步骤S15的处理(步骤S16中的“否”)，则3D不适合对象确定/提取单元153再次执行步骤S14和步骤S15的处理。在步骤S17中，如果对每一个目标对象候选执行了步骤S14和步骤S15的处理(步骤S16中为“是”)，则3D不适合对象确定/提取单元153判断在步骤S14到步骤S16的处理中是否进行了目标对象存在的确定。如果不存在目标对象(步骤S17中的“否”)，3D不适合对象确定/提取单元153转移到步骤S23。在步骤S21中，如果存在任何目标对象(步骤S17中的“是”)，则图像合成单元155A将目标对象的图像处理为半透明，并将此半透明图像合成在左眼用图像中，以在左眼用图像中重叠显示目标对象图像。在左眼用图像中的合成位置是(对应于)目标对象在右眼用图像中的位置。现在将参照图8C到图8D描述步骤S21。对经过如图SB所示的视差偏移处理以将主要对象的视差量设置为0的右眼用图像以及左眼用图像执行步骤S21的处理。如图SC所示，图像合成单元155A从右眼用图像提取对象B的图像。图像合成单元155A还根据对象B的位置从左眼用图像提取对象B的图像。在步骤S12中计算出的视差矢量已经输入图像合成单元155A，因此，图像合成单元155A应用如下组合处理(合成处理)，其中使得从右眼用图像提取的对象B的图像变得半透明，将此半透明图像与左眼用图像在从对象B的图像在左眼用图像中的位置偏移该视差矢量B的位置处组合,如图8D所示。使得图像半透明并且组合(合成)半透明图像的处理是通过在从右眼用图像作为合成目标提取的对象B的像素以及左眼用图像的作为非合成目标的像素之间定义加权值、并使用该加权将从右眼用图像提取的对象B叠加到左眼用图像上而实现的。该加权值可以定义为任何值，并且可以通过改变加权值来适当定义半透明的程度。通过这种方式，在左眼用图像中的两个位置处显示对象B :对象B在左眼用图像中的位置，以及从对象B在左眼用图像中的位置偏移视差矢量B的位置(即与对象B在右眼用图像中的位置相对应的位置)。这意味着目标对象图像重叠地显示在左眼用图像上。在步骤S22，与步骤S21类似，图像合成单元155A将目标对象的图像处理为半透明，并将此半透明图像与右眼用图像组合(合成)，以在右眼用图像中重叠显示目标对象图像。在右眼用图像中的合成位置是(对应于)目标对象在左眼用图像中的位置。图像合成单元155A从左眼用图像提取对象B的图像，还根据对象B的位置从右眼用图像提取对象B的图像。然后，图像合成单元155A应用如下处理，其中使得从左眼用图像提取的对象B的图像变得半透明，将此半透明图像与右眼用图像在从对象B的图像在右眼用图像中的位置在与视差矢量B的方向相反的方向上偏移该视差矢量B的位置处组合(合成)。通过这种方 式，在右眼用图像中的两个位置处显示对象B :对象B在右眼用图像中的位置，以及从对象B在右眼用图像中的位置在与视差矢量B的方向相反的方向上偏移视差矢量B的位置(即与对象B在左眼用图像中的位置相对应的位置)。这意味着该目标对象图像重叠地显示在右眼用图像上。与步骤S21类似，对进行了如图SB所示的用于将主要对象的视差量设置为0的视差偏移处理的右眼用图像以及左眼用图像执行步骤S22的处理。在步骤S23，图像合成单元155A向三维图像生成部133输出右眼用图像和左眼用图像，其中在步骤S21和步骤S22中重叠显示了对象B的图像。三维图像生成单元133对右眼用图像和左眼用图像进行处理，在眼用图像和左眼用图像每一个中，在步骤S21和步骤S22中重叠显示了对象B的图像，以使其三维显示在监视器16上，并通过视频编码器134将处理后的图像数据输出到监视器16。通过该处理，如SE，右眼用图像和左眼用图像(其每一个中重叠显示了对象B的图像)在监视器16上显示为三维图像(再现为单个图像)。由于在监视器16上显示的右眼用图像和左眼用图像中的每一个均包括对象B，因此对象B被三维显示。三维显示中未使用的对象B的半透明图像位于三维显示中使用的对象B的图像旁边，从而打断了用户的注意并减少了对象B的三维效果。根据本实施例，避免了目标对象作为三维图像被观看，从而降低了具有过于凸出感觉的对象的三维效果。因此能够减少用户眼睛的疲劳。〈第三实施例〉在本发明的第二实施例中，处理为半透明的目标对象被合成为重叠显示在左眼用图像和右眼用图像中，但2D处理不限于此。在本发明的第三实施例的2D处理中，拍摄的目标对象被处理为半透明并对此半透明图像进行合成，从而在左眼用图像和右眼用图像上重叠显示目标对象的半透明图像。在下文中，将对第三实施例的复眼数码相机3进行描述。那些与第一实施例和第二实施例相同的兀件由相同的参考标号表不，并省略其描述。现在将对复眼数码相机3的主要内部结构进行说明。3D/2D转换器135B是复眼数码相机3与复眼数码相机I唯一不同的特征，因此仅对3D/2D转换器135B进行说明。图9是示出3D/2D转换器135B的内部结构的框图。3D/2D转换器135B主要包括视差计算单元151、视差矢量计算单元152、3D不适合对象确定/提取单元153、背景提取单元154A和图像合成单元155A。背景提取单元154A从左眼用图像提取右眼用图像的背景图像。背景提取单元154A从右眼用图像提取左眼用图像中的目标对象的背景(下文中称作左眼用图像的背景图像)。通过背景提取单元154提取的右眼用图像的背景图像被输入到图像合成单元155A中。背景提取单元154A将在后文详细描述。下面对复眼数码相机3的操作进行说明。2D处理是复眼数码相机3与复眼数码相机I唯一不同的特征；因此，下面针对复眼数码相机3的操作描述2D处理。图10是示出了 3D/2D转换器135B对目标对象进行的2D处理流程的流程图。与图4和图7相同的步骤将不再给出说明。在步骤SlO中，在压缩-解压缩单元132被解压缩成未压缩的亮度-色差信号的图像数据(即右眼用图像和左眼用图像)输入至3D/2D转换器135。 在步骤SI I中，视差计算单元151获取右眼用图像和左眼用图像，并且从右眼用图像和从左眼用图像中提取主要对象，然后计算主要对象的视差量。如图IlA所示，如果对象A是主要对象，则视差计算单元151对对象A在左眼用图像中的位置与对象A在右眼用图像中的位置进行比较，以计算对象A的视差量。在图IlA到图IlK中，为了便于说明，左眼用图像中的对象B和对象C以阴影表示，从而使得左眼用图像中的对象B和对象C能够与右眼用图像中的对象B和对象C相区分。这并不表示左眼用图像中的对象B和对象C与右眼用图像中的对象B和对象C不同。在步骤S12中，将在步骤Sll中计算出的视差量输入到视差矢量计算单元152。如图IlB所示，视差矢量计算单元152执行以视差量将右眼用图像偏移的视差偏移，并且视差矢量计算单元152基于执行视差偏移后的右眼用图像和左眼用图像针对每个对象计算视差矢量。在图IlA至图IlK的示例中，对象A在视差偏移后的视差矢量为0 ;因此视差矢量是针对对象B和C计算的。在步骤S13，在步骤S12中计算出的视差矢量B与视差矢量C输入到3D不适合对象确定/提取单元153。3D不适合对象确定/提取单元153基于视差矢量的方向提取目标对象的候选。在步骤S14中，3D不适合对象确定/提取单元153确定在步骤S13中提取的目标对象候选的视差矢量是否具有等于或超过阈值的幅值。在步骤S15中，如果目标对象候选具有幅值等于或超过阈值的视差矢量(在步骤S14中为“是”)，则3D不适合对象确定/提取单元153确定该目标对象候选是目标对象。在图IlA到图IIK的示例中，对象B被确定为目标对象。3D不适合对象确定/提取单元153确定对象B是将要三维显示的不适合对象，并对对象B执行以下步骤S21、步骤S22、步骤S24和步骤S25的处理。如果目标对象候选的视差矢量的幅值小于预定的阈值(在步骤S14中为“否”)，则3D不适合对象确定/提取单元153省略步骤15并转移到步骤16。在步骤S16中，3D不适合对象确定/提取单元153确定是否对每一个目标对象候选执行了步骤S14和步骤S15的处理。如果尚未对每一个目标对象候选执行步骤S14和步骤S15的处理(步骤S16中的“否”)，则3D不适合对象确定/提取单元153再次执行步骤S14和步骤S15的处理。
在步骤S17中，如果对每一个目标对象候选执行了步骤S14和步骤S15的处理(步骤S16中为“是”)，则3D不适合对象确定/提取单元153判断在步骤S14到步骤S16的处理中是否执行了目标对象存在与否的确定。如果不存在目标对象(步骤S17中的“否”)，3D不适合对象确定/提取单元153转移到步骤S20。在步骤S24中，如果存在任何目标对象(步骤S17中的“是”)，则背景提取单元154A从左眼用图像提取右眼用图像的背景图像，图像合成单元155A将右眼用图像的背景图像处理为半透明，并将此半透明图像与右眼用图像组合(合成)。现在将参照图IlC到图IlF描述步骤S24。对执行了如图IlB所示的用于将主要对象的视差量设置为0的视差偏移处理的右眼用图像以及左眼用图像执行步骤S24的处理。如图IlC所示，背景提取单元154A从右眼用图像提取目标对象图像(在本示例中为对象B的图像)及其周围图像。可通过提取包括对象B (图IlC中的虚线所指示的)的矩形、圆形或椭圆形等形状的区域来执行周围图像的提取。
·
如图IlD所示，背景提取单元154A通过模式匹配方法在左眼用图像中搜索包括与从右眼用图像提取的对象B的周围图像相同的图像的区域。在此步骤中搜索的区域具有与所提取的周围图像的区域大致相同的大小和形状。如图IlE所示，背景提取单元154A从图IlD中搜索的区域提取右眼用图像的背景图像。通过从图IlD中的左眼用图像搜出的区域中提取包括在图IlC中提取出的对象B的部分(对应于图IlE中斜线阴影的部分)，可以实现这种处理。背景提取单元154A将所提取的背景图像输出至图像合成单元155A。如图IlF所示，图像合成单元155A将右眼用图像的背景图像处理为半透明，将此半透明背景图像与右眼用图像中对象B的图像重叠以组合(合成)它们。左眼用图像和右眼用图像之间具有视差，从而如果所提取的背景图像直接覆盖在右眼用图像上，则会在背景图像的边界处导致偏差。因此，应用会模糊背景图像的边界、或使用变形技术使得背景图像变形的处理。使得图像半透明并且合成该半透明图像的处理是通过在作为合成目标的右眼用图像的背景图像的像素以及右眼用图像的作为非合成目标的右眼用图像的对象B的像素之间定义加权值、并使用该加权将右眼用图像的背景图像叠加到右眼用图像的对象B上而实现的。该加权值可以定义为任何值，并且可以通过改变加权值来适当定义半透明的程度(下文中称作透光率)。因此可以将背景图像处理为半透明并合成在右眼用图像中。在步骤S25中，与步骤S24类似，背景提取单元154A从右眼用图像提取左眼用图像的背景图像，并且图像合成单元155将左眼用图像的背景图像处理为半透明，并将此半透明图像与左眼用图像组合(合成)。对进行了如图IlB所示的用于使得主要对象的视差量设置为0的视差偏移处理的右眼用图像以及左眼用图像执行步骤S25的处理。背景提取单元154A从左眼用图像提取目标对象图像(在本示例中为对象B的图像)及其周围图像，并通过模式匹配方法在右眼用图像中搜索包括与提取的对象B的周围图像相同的图像的区域，并从右眼用图像中搜出的区域中提取左眼用图像的背景图像。图像合成单元155A将左眼用图像的背景图像重叠在左眼用图像中对象B的图像上以组合(合成)它们。因此，背景图像被处理为半透明，并合成在左眼用图像中，如图IlG所示。
在步骤S21中，与步骤S18和步骤S24 —致，则图像合成单元155A将目标对象图像处理为半透明，并将此半透明目标对象图像与左眼用图像组合(合成)，以在左眼用图像中重叠显示目标对象图像，如图IlH和IlI (与图8C和图8D相同)所示。在左眼用图像中的合成位置是(对应于)目标对象在右眼用图像中的位置。通过这种方式，对象B的图像重叠显示在右眼用图像中。对经过了如图IlB所示的用于主要对象的视差量设置为0的视差偏移处理的右眼用图像以及左眼用图像执行步骤S21的处理。在步骤S22，与步骤S21类似，图像合成单元155A将目标对象的图像处理为半透明，并将此半透明图像与右眼用图像组合(合成)，以在右眼用图像中重叠显示目标对象图像，如图IlJ (与图8E相同)所示。在右眼用图像中的合成位置是(对应于)目标对象在左眼用图像中的位置。通过这种方式，对象B的图像重叠显示在右眼用图像中。与步骤S21类似，对经过了如图IlB所示的用于将主要对象的视差量设置为0的视差偏移处理的右眼用图像以及左眼用图像执行步骤S22的处理。在步骤S26中，图像合成单元155A将在步骤S24和步骤S25中将背景图像处理为 半透明并且被合成的右眼用图像和左眼用图像输出至三维图像生成单元133，并且还输出其目标对象图像在步骤S21和步骤S22中被重叠显示的右眼用图像和左眼用图像。三维图像生成单元133将在步骤S21重叠显示了对象B的图像的左眼用图像与在步骤S25将背景图像处理为半透明并被合成的左眼用图像组合(合成)。于是，如图IlK所示，左眼用图像中显示的对象B的两个图像分别被处理为半透明。三维图像生成单元133将在步骤S22重叠显示了对象B的图像的右眼用图像与在步骤S24将背景图像处理为半透明并被合成的右眼用图像组合(合成)。于是，如图IlK所示，右眼用图像中显示的对象B的两个图像分别被处理为半透明。三维图像生成单元133对左眼用图像和右眼用图像进行处理，其中并排显示的目标对象图像(在此情况下为对象B的图像)分别被处理为半透明，从而可以三维显示在监视器16上，并通过视频编码器134将处理后的图像数据输出至监视器16。通过这种处理，如图IlK所示，其中对象B的图像被处理为半透明并且重叠显示的左眼用图像和右眼用图像在监视器16上显示为三维图像(再现为单个图像)。由于显示在监视器16上的左眼用图像和右眼用图像中的每一个都包括拍摄的对象B，因此对象B被三维显示。不过，用于三维显示的对象B的图像是半透明的，于是用户不太可能观看对象B。另外，不用于三维显示的对象B的图像也是半透明的，并显示在用于三维显示的对象B的旁边，于是打断了用户的注意。因此可以降低对象B的三维效果。根据本实施例，避免了目标对象作为三维图像被观看，从而降低了具有过于凸出感觉的对象的三维效果。因此能够减少用户眼睛的疲劳。在本实施例中，在左眼用图像和右眼用图像的每一个中，都将目标对象的图像变得半透明并且并排显示以执行2D处理。然而，可以仅对左眼用图像和右眼用图像之一执行将目标对象的图像变得半透明并且并排显示的处理。例如，如图12所示，可以将目标对象的图像处理为半透明，并且仅在左眼用图像中并排显示，可以从右眼用图像中删除目标对象的图像。在这种情况下，代替图10的从步骤S24到步骤S22执行的处理，可以从右眼用图像提取背景图像以删除目标对象(步骤S18)，将背景图像处理为半透明，并与左眼用图像组合(合成)，从而使目标对象的图像半透明(步骤S25)，并且目标对象图像可被处理为半透明并被合成在左眼用图像中，以在左眼用图像中重叠显示目标对象的图像(步骤S21)。或者，代替执行图10中的步骤S26的处理，对如下左眼用图像和右眼用图像进行处理以便三维地显示在监视器16上，并且这些处理后的图像数据通过视频编码器134输出到监视器16 :通过将在步骤S21中将目标对象图像与左眼用图像重叠显示的左眼用图像与在步骤S25中使背景图像变得半透明并被合成的左眼用图像组合(合成)所生成的左眼用图像，即并排显示的两个目标对象图像为半透明的左眼用图像，以及在步骤S18中删除了目标对象图像的右眼用图像。在图12所示的变型中，可以仅使并排显示在左眼用图像中的目标对象图像中位于与其在右眼用图像中的位置相对应的位置处的图像为半透明。在这种情况下，代替执行从步骤S24到步骤S22的处理，可以从右眼用图像提取背景图像以删除目标对象(步骤S18)，将背景图像处理为半透明，并与左眼用图像结合(合成)，从而重叠显示目标对象的图像(步骤S21)，并且这些图像数据可以处理为三维地显示在监视 器16上，并且通过视频编码器134输出到监视器16。在本实施例中，将目标对象图像处理为半透明以及合成半透明图像的传输速率可以根据目标对象的尺寸而改变。例如，传输速率可以随着目标对象的尺寸变大而增大。在这种情况下，图像合成单元155A可以获取从视差矢量计算单元152提取的提取目标对象的尺寸，并基于目标对象的尺寸与透光度之间的关系来定义传输速率，并存储在图像合成单元155A的存储区域(未示出)中。这种构造不仅可以应用于第三实施例的变形例，还可以应用于第二实施例和第三实施例的变形例。第一至第三实施例已经使用进行处理来在复眼数码相机的监视器16上显示图像的示例进行了说明，但本发明也可以适用于其他情况，如将通过复眼数码相机拍摄的图像输出至具有三维显示功能的诸如便携式个人计算机或监视器的显示装置，并且在具有三维显示功能的诸如便携式个人计算机或监视器上三维观看图像。具体而言，本发明可以适用于诸如复眼数码相机和显示装置的装置，还适用于安装在这种装置中并通过此装置运行的程序。已经使用紧凑便携式显示装置的示例(即复眼数码相机的监视器16)对第一至第三实施例进行说明，但本发明还适用于诸如电视机和投影屏幕的大型显示装置。当然本发明在应用于紧凑显示装置时更有效。已经使用拍摄静止图像的示例对第一至第三实施例进行说明，但本发明还适用于拍摄直通图像(through image)和运动图像的情况。在使用直通图像和运动图像的情况下，可以按照与使用静止图像时相同的方式选择主要对象，或者可以选择追逐的运动对象(用户选择)作为主要对象。在拍摄静止图像之前拍摄直通图像期间可以将追逐的运动对象选择为拍摄静止图像时的主要对象。在拍摄运动图像时，代替将具有幅值等于或超过阈值的视差矢量的目标对象候选确定为目标对象(步骤S15)的确定处理，可以确定在特定时间段内视差矢量等于或超过预定阈值的目标对象候选作为目标对象。这种配置避免了由于目标对象候选的视差矢量的幅值在预定阈值附近波动所导致的不稳定重叠显示的摆动问题。本发明也可以通过使用程序来实现。在这种情况下，该程序配置为允许计算机执行根据本发明的三维显示处理，并且该程序被安装在计算机中，然后在计算机上执行该程序。允许所述计算机执行根据本发明的三维显示处理的程序可以存储在记录介质上，并且该程序可以通过记录介质安装到计算机。记录介质的示例包括磁光磁盘、软盘以及存储器芯片等。参考标号列表I复眼数码相机10相机主体11镜头盖12右成像系统
13左成像系统14闪光灯15麦克风16监视器20释放开关21变焦按钮22模式按钮23视差调节按钮24 2D-3D 切换按钮25菜单-确认按钮26十字按钮27显示-返回按钮110 CPU112操作单元114 SDRAM116 VRAM118 AF检测装置120 AE-AffB 检测单元122、123图像传感器124， 125 CDS—AMP126、127 AD 转换器128图像输入控制器130图像信号处理单元133三维图像生成单元132压缩-解压缩单元134视频编码器135 3D/2D 转换器136介质控制器140记录介质138声音输入处理单兀142、143聚焦透镜驱动单元
144、145变焦透镜驱动单元146、147光圈驱动单元148、149 定时发生器(TG)151视差计算单元152视差矢量计算单元
1533D不适合对象确定/提取单元154U54A背景提取单元155U55A 图像合成单元
权利要求
1.一种三维图像显示装置，包括 获取单元，用于获取左眼用图像和右眼用图像； 显示单元，用于可识别地将左眼用图像和右眼用图像显示为三维图像； 目标对象提取单元，用于当左眼用图像和右眼用图像被显示在显示单元上时，从左眼用图像和右眼用图像中的每一个中提取在从显示单元的显示平面凸出的方向上具有视差的对象(下文中称为目标对象); 图像处理单元，用于基于目标对象提取单元所提取的目标对象对左眼用图像和右眼用图像进行图像处理，其中在左眼用图像和右眼用图像之一(下文中称为第一图像)上，该图像处理单元执行在两个位置处显示目标对象的图像(下文中称为目标对象图像)的处理(下文中称作重叠显示目标对象图像的处理)，其中一个位置是目标对象在左眼用图像中的位置，另一个位置是目标对象在右眼用图像中的位置，并且该图像处理单元执行从左眼用图像和右眼用图像中除第一图像之外的图像(在下文中称为第二图像)中删除目标对象图像的处理，或者执行重叠显示左眼用图像和右眼用图像中的目标对象图像的处理；和 显示控制单元，用于显示通过图像处理单元进行了图像处理的左眼用图像和右眼用图像。
2.根据权利要求I的三维图像显示装置，其中 目标对象提取单元提取在从显示单元的显示平面凸出的方向上视差等于或大于预定幅值的对象来作为目标对象。
3.根据权利要求I或权利要求2的三维图像显示装置，还包括 主要对象提取单元，用于从左眼用图像和右眼用图像的每一个中提取至少一个主要对象；和 视差偏移单元，用于在水平方向上偏移左眼用图像和右眼用图像中的一个，以使得主要对象在左眼用图像中的位置对应于主要对象在右眼用图像中的位置，其中 所述目标对象提取单元从通过视差偏移单元执行视差偏移之后的左眼用图像和右眼用图像之一中提取目标对象，并且 所述图像处理单元在两个位置处显示目标对象图像以重叠显示这些目标对象图像，其中一个位置是目标对象在通过视差偏移单元执行了视差偏移之后的左眼用图像中的位置，另一个位置是目标对象在通过视差偏移单元执行了视差偏移之后的右眼用图像中的位置。
4.根据权利要求I至3中任一项的三维图像显示装置，还包括 视差矢量计算单元，其从左眼用图像和右眼用图像的每一个中提取预定的对象，计算指示了预定对象在所述第二图像中的位置相对于该预定对象在第一图像中的位置的偏差的视差矢量，来作为该预定对象的视差矢量，并且针对左眼用图像和右眼用图像中包括的每一个对象执行视差矢量计算，其中 所述目标对象提取单元基于所述视差矢量计算单元计算出的视差矢量来提取目标对象。
5.根据权利要求4的三维图像显示装置，其中 所述图像处理单元包括 用于从所述第一图像中提取目标对象图像，并且在从第一图像提取的目标对象图像偏移了视差矢量计算单元针对目标对象计算的视差矢量的位置处合成该目标对象图像，以在第一图像中重叠显示目标对象图像的装置；和 用于从第二图像提取目标对象图像和目标对象图像的周围图像，基于从第二图像提取的周围图像从第一图像提取第二图像的目标对象的背景(下文中称作背景图像)，并将从第一图像提取的背景图像合成在从第二图像提取的目标对象图像上，从而从所述第二图像中删除目标对象图像的装置。
6.根据权利要求5的三维图像显示装置，其中 图像处理单元从所述第一图像中提取目标对象图像，将目标对象图像处理为半透明，并在从第一图像提取的目标对象图像偏移了视差矢量计算单元针对目标对象计算的视差矢量的位置处合成该半透明目标对象图像，以在第一图像中重叠显示目标对象图像。
7.根据权利要求4的三维图像显示装置，其中 图像处理单元从所述第一图像中提取目标对象图像，将目标对象图像处理为半透明， 并在从第一图像提取的目标对象图像偏移了视差矢量计算单元针对目标对象计算的视差矢量(下文中称为目标对象的视差矢量)的位置处合成该半透明目标对象图像；从第二图像中提取目标对象图像，将目标对象图像处理为半透明，并在从第二图像提取的目标对象图像在目标对象的视差矢量的反方向上偏移了目标对象的视差矢量的幅值的位置处合成该半透明目标对象图像，以在第一图像和第二图像的每一个中重叠显示目标对象图像。
8.根据权利要求4的三维图像显示装置，其中 所述图像处理单元包括 用于从所述第一图像中提取目标对象图像，将目标对象图像处理为半透明，并在从第一图像提取的目标对象图像偏移了视差矢量计算单元针对目标对象计算的视差矢量(下文中称为目标对象的视差矢量)的位置处合成该半透明目标对象图像；从第二图像中提取目标对象图像，将目标对象图像处理为半透明，并在从第二图像提取的目标对象图像在目标对象的视差矢量的反方向上偏移了目标对象的视差矢量的幅值的位置处合成该半透明目标对象图像的装置；以及 用于从第二图像提取目标对象图像和目标对象图像的周围图像，基于从第二图像提取的周围图像从第一图像提取第二图像的目标对象的背景(下文中称作背景图像)，将从第一图像提取的背景图像处理为半透明，将该半透明图像重叠地合成在从第二图像提取的目标对象图像上，以及从第一图像中提取目标对象图像和目标对象图像周围的图像，基于从第一图像提取的周围图像从第二图像提取第一图像的背景图像，将从第二图像提取的背景图像处理为半透明，并将该半透明背景图像重叠地合成在从第一图像提取的目标对象图像上的装置。
9.根据权利要求6至8中任一项的三维图像显示装置，其中 所述图像处理单元基于目标对象的尺寸改变半透明的程度。
10.一种三维图像显示方法，包括 获取左眼用图像和右眼用图像的步骤； 当左眼用图像和右眼用图像被显示在显示单元上以将左眼用图像和右眼用图像可识别地显示为三维图像时，从左眼用图像和右眼用图像中的每一个中提取在从显示单元的显示平面凸出的方向上具有视差的至少一个对象(下文中称为目标对象)的步骤； 基于提取的目标对象图像对左眼用图像和右眼用图像进行图像处理的步骤；在左眼用图像和右眼用图像之一(下文中称为第一图像)上，执行在两个位置处显示目标对象的图像(下文中称为目标对象图像)的处理(下文中称作重叠显示目标对象图像的处理)，其中一个位置是目标对象在左眼用图像中的位置，另一个位置是目标对象在右眼用图像中的位置，并且执行从左眼用图像和右眼用图像中除第一图像之外的图像(在下文中称为第二图像)中删除目标对象图像的处理，或者执行在左眼用图像和右眼用图像中重叠显示目标对象图像的处理的步骤；和 显示通过图像处理单元进行了图像处理的左眼用图像和右眼用图像的步骤。
11.一种包括能够通过计算机运行的指令的计算机程序， 所述计算机程序在一个或多个计算机上实现如下功能 获取左眼用图像和右眼用图像的功能； 当左眼用图像和右眼用图像被显示在显示单元上以将左眼用图像和右眼用图像可识别地显示为三维图像时，从左眼用图像和右眼用图像中的每一个中提取在从显示单元的显示平面凸出的方向上具有视差的至少一个对象(下文中称为目标对象)的功能； 基于提取的目标对象图像对左眼用图像和右眼用图像进行图像处理的功能； 在左眼用图像和右眼用图像之一(下文中称为第一图像)上，执行在两个位置处显示目标对象的图像(下文中称为目标对象图像)的处理(下文中称作重叠显示目标对象图像的处理)，其中一个位置是目标对象在左眼用图像中的位置，另一个位置是目标对象在右眼用图像中的位置，并且执行从左眼用图像和右眼用图像中除第一图像之外的图像(在下文中称为第二图像)中删除目标对象图像的处理，或者执行在左眼用图像和右眼用图像中重叠显示目标对象图像的处理的功能；和 显示进行了图像处理的左眼用图像和右眼用图像的功能。
12.—种存储了包括能够通过计算机运行的指令的计算机程序的计算机可读记录介质， 所述计算机程序在一个或多个计算机上实现如下功能 获取左眼用图像和右眼用图像的功能； 当左眼用图像和右眼用图像被显示在显示单元上以将左眼用图像和右眼用图像可识别地显示为三维图像时，从左眼用图像和右眼用图像中的每一个中提取在从显示单元的显示平面凸出的方向上具有视差的至少一个对象(下文中称为目标对象)的功能； 基于提取的目标对象图像对左眼用图像和右眼用图像进行图像处理的功能； 在左眼用图像和右眼用图像之一(下文中称为第一图像)上，执行在两个位置处显示目标对象的图像(下文中称为目标对象图像)的处理(下文中称作重叠显示目标对象图像的处理)，其中一个位置是目标对象在左眼用图像中的位置，另一个位置是目标对象在右眼用图像中的位置，并且执行从左眼用图像和右眼用图像中除第一图像之外的图像(在下文中称为第二图像)中删除目标对象图像的处理，或者执行在左眼用图像和右眼用图像中重叠显示目标对象图像的处理的功能；和 显示进行了图像处理的左眼用图像和右眼用图像的功能。
全文摘要
在主题之前的对象中，将幅值等于或大于预定阈值的偏移矢量的对象确定为目标对象。从左眼图像中提取右眼图像的背景图像，并与右眼图像组合，以从右眼图像中移除目标对象。此外，目标对象在左眼图像中与目标对象在右眼图像中的位置相对应的位置处组合，以在左眼图像中双重显示目标对象。移除了目标对象的右眼图像和双重显示了目标对象的左眼图像三维显示在监视器(16)上。这使得目标对象不被看作三维图像。此外能考虑到用户眼睛的疲劳而显示三维图像。
文档编号H04N13/00GK102972032SQ20118003303
公开日2013年3月13日 申请日期2011年6月6日 优先权日2010年6月30日
发明者中丸文雄 申请人:富士胶片株式会社