立体图像记录装置和方法、立体图像输出装置和方法、以及立体图像记录输出系统的制作方法

专利名称：立体图像记录装置和方法、立体图像输出装置和方法、以及立体图像记录输出系统的制作方法
技术领域：
本发明涉及一种装置和一种方法，其中，从不同的视点捕捉同一对象的多个图像， 以便产生该对象的立体图像。更具体而言，本发明涉及一种立体图像记录装置及其方法， 所述立体图像记录装置用于记录同时从不同视点捕捉的同一对象的多个图像，并且本发明 还涉及一种立体图像输出装置及其方法，所述立体图像输出装置用于基于由所述立体图像 记录装置记录的同一对象的多个图像来输出立体图像。本发明还涉及用于记录此类多个图 像，以基于所记录的多个图像输出立体图像的一种立体图像记录输出系统。
背景技术：
已知一种称为3D(三维)数字图片系统的成像系统，其包括双目镜数字照相机， 其通过成像设备对同时从不同的视点来对对象进行捕捉，以产生同一对象的一对图像；数 字相框，其使用这两个图像来显示立体图像；以及立体打印机，其基于这两个图像进行立体 图像的照片打印。在因特网上的富士胶片公司的主页上公开了此类立体数字图片系统例如对应于(http //www. fujifilm. cojp/corporate/news/article/ffnr0226. html)的(http://www. fujifilm. com/photokina2008/pdf/release/finepix_real3d_ e. pdf)由双目镜数字照相机同时从不同视点进行拍摄而获得的图像对在其间具有视差， 因此在下文中将这些图像称为视差图像。数字相框在立体显示屏幕上一个覆盖一个地显示 每对视差图像，使得注视屏幕的观看者将用其右眼看到一个图像并用其左眼看到另一个 图像，由于其视差而将所显示的图像感知为立体图像。在本领域中已知的是此类立体图像与正常二维(2D)图像相比对观看者的眼睛施 加更重的负荷，因为当观看者将视差图像感知为一个立体图像时，在从观看者的眼睛到视 差图像的图像平面的观看距离与从观看者的眼睛到来自右眼的视线和来自左眼的视线交 叉的交叉点的会聚距离之间存在差异。眼睛上的负荷经证明随着观看距离与会聚距离之间 的差的增大而变重。会聚距离根据两个图像之间的视差量而变。例如，在美国专利No. 6，614，927 (对应于JPA 1998-355808)中已经提出一种旨在 减轻立体图像对观看者的眼睛的负荷的数字图片系统，其中，在从这些视差图像产生立体 图像之前，检测视差图像对之间的视差量，以基于该视差量来评估立体图像将对观看者的 眼睛产生多少负荷。如果评估结果显示立体图像将给眼睛施加的压力程度是不可接受的， 则自动修改视差图像以便产生简单的2D(二维)图像。在此现有技术中，可以根据通过视差评估的压力程度而自动地将立体图像切换成 2D图像。也就是说，可能在显示屏上的立体图像之间意外地并入2D图像。在这种情况下， 期待立体图像的观看者可能感觉奇怪或不舒服。另外，观看与2D图像混合的立体图像与仅 仅观看立体图像相比，可能会给观看者带来更大的负荷。

发明内容
本发明的目在于仅使用适合于立体地显示图像的那些视差图像来显示立体图像。根据本发明的立体图像记录装置包括视差量测量设备，其在从不同视点捕捉的 同一场景的一组图像中提取对应点以用于显示立体图像，检测每组对应点之间的视差量， 并对所检测的视差量的发生频率进行统计；立体合适性评估设备，其根据所述统计来计 算不小于阈值的那些视差量的累计频率，基于该累计频率来评估图像用于立体显示的合适 性，并根据所评估的合适性按至少两个等级的尺度(scale)来判定图像用于立体显示的可 推荐性的水平；以及图像存储设备，其用于与可推荐性信息相关联地存储图像，其中，所述 可推荐性信息与由所述立体合适性评估设备判定的可推荐性水平有关。所述立体合适性评估设备将所计算的累计频率至少与累计频率阈值水平相比较， 以判定可推荐性水平。所述立体合适性评估设备优选地在累计频率低于累计频率阈值水平 时将可推荐性水平判定为较高等级，并在累计频率高于累计频率阈值水平时将可推荐性水 平判定为较低等级。当图像是将连续地输出以组成立体运动图像的图像帧时，所述视差量测量设备优 选地检测视差量，并相对于每组图像帧对视差量的发生频率进行统计，并且所述立体合适 性评估设备判定每组图像帧的可推荐性水平。所述图像存储设备优选地将图像和可推荐性信息存储为图像文件。根据本发明的立体图像记录方法包括视差量测量步骤，包括在从不同视点捕捉 的同一场景的一组图像中提取对应点以用于显示立体图像，检测每组对应点之间的视差 量，并对所检测的视差量的发生频率进行统计的步骤；立体合适性评估步骤，包括根据所述 统计来计算不小于阈值的那些视差量的累计频率，基于该累计频率来评估图像用于立体显 示的合适性，并根据所评估的合适性按至少两个等级的尺度来判定图像用于立体显示的可 推荐性的水平的步骤；以及图像存储步骤，存储所述图像及与由所述立体合适性评估设备 判定的可推荐性水平有关的信息。根据本发明的立体图像输出装置包括输出设备，其用于使用从不同视点捕捉的 同一场景的一组图像来输出立体图像；以及输出控制设备，其读取表示图像用于立体显示 的合适性的可推荐性信息，并根据用于立体显示的合适性来改变所述输出设备的输出条 件。所述输出控制设备优选地基于可推荐性信息来判定是否使用图像输出立体图像， 并控制所述输出设备在所述输出控制设备判定输出立体图像时使用图像将其输出。所述输 出控制设备还可以基于可推荐性信息来控制输出设备，以改变用于使用图像来再现立体图 像的大小或持续时间。当图像是将连续地输出以组成立体运动图像的图像帧时，所述输出控制设备优选 地根据附着于每组图像帧的可推荐性信息来判定是否输出每组的图像帧，并且当所述输出 控制设备判定不输出一组图像帧时，所述输出控制设备控制所述输出设备继续输出之前刚 刚已输出的另一组图像帧。优选地，将每组图像连同可推荐性信息一起存储在图像文件中，并且所述输出控 制设备读出多个图像文件以显示图表，该图表示出属于由可推荐性信息所表示的用于立体 显示的各个合适性水平的图像文件的数目。
根据本发明的立体图像输出方法包括步骤读取表示从不同视点捕捉的同一场景 的一组图像的合适性的可推荐性信息以供显示立体图像使用；以及根据图像用于立体显示 的合适性来改变用于使用图像输出立体图像的设备的输出条件。根据本发明的立体图像记录输出系统包括视差量测量设备，其在从不同视点捕 捉的同一场景的一组图像中提取对应点以用于显示立体图像，检测每组对应点之间的视 差量，并对所检测的视差量的发生频率进行统计；立体合适性评估设备，其根据所述统计来 计算不小于阈值的那些视差量的累计频率，基于该累计频率来评估图像用于立体显示的合 适性，并根据所评估的合适性按至少两个等级的尺度来判定图像用于立体显示的可推荐性 的水平；图像存储设备，其用于与可推荐性信息相关联地存储图像，所述可推荐性信息与由 所述立体合适性评估设备判定的可推荐性水平有关；输出设备，其用于使用从不同视点捕 捉的同一场景的一组图像来输出立体图像；以及输出控制设备，其读取与由所述图像存储 设备存储的图像相关的可推荐性信息，并根据该可推荐性信息所表示的图像用于立体显示 的合适性来改变所述输出设备的输出条件。根据本发明，考虑用于立体显示的合适性来客观地评估从不同视点捕捉的每对视 差图像，并与这些视差图像相关联地记录可推荐性水平，以指示这些图像用于立体显示的 客观合适性。当使用视差图像来显示立体图像时，根据可推荐性水平来改变输出条件，从而 使立体显示最优化。


当结合附图进行阅读时，从优选实施例的以下详细说明中，本发明的以上及其他 目的和优点将变得更加显而易见，在附图中，相同的附图标记在多个视图中自始至终指示 相同或相应部分，并且在附图中图1是图示根据本发明的实施例的立体图像捕捉再现系统的透视图；图2是图示使用其间具有视差的一对视差图像来显示立体图像的原理的说明图；图3是图示双目镜数字照相机的结构的方框图；图4是图示由双目镜数字照相机捕捉的一对视差图像的图，其示出这些图像的对 应点和对应点之间的视差量；图5是图示用于通过双目镜数字照相机来捕捉一对视差图像的流程的流程图；图6是图示用于在3D静止图像捕捉期间评估每对视差图像用于立体显示的可推 荐性的流程的流程图；图7图示用于计算视差图像之间的视差量的直方图的流程的流程图；图8是在场景的背景上有风景的情况下从包含人物对象的场景拍摄的视差图像 的视差量直方图；图9是从具有均勻纹理背景的包含建筑物的场景拍摄的视差图像的视差量直方 图；图10是从整体地包含复杂图案的场景拍摄的视差图像的视差量直方图；图11是示出了从具有均勻纹理背景的包含人对象的场景拍摄的视差图像的直方 图；图12是图示通过3D静止图像捕捉产生的3D静止图像文件的结构的方框图13是用于在3D运动图像捕捉期间评估图像帧用于立体显示的可推荐性的流程 的流程图；图14是图示通过3D运动图像捕捉产生的3D运动图像文件的结构的方框图；图15图示数字相框的内部结构的方框图；图16是图示用于对可推荐图像的列表上的3D静止图像文件进行分类和登记的数 字相框中的流程的流程图；图17是图示用于对可推荐图像的列表上的3D运动图像文件进行分类和登记的数 字相框中的流程的流程图；图18是图示根据第一实施例的用于在数字相框上的立体显示的流程的流程图；图19是图示根据第二实施例的用于在数字相框上的立体显示的流程的流程图；图20是图示在第二实施例中使用的不同图像显示尺寸的说明图，其可根据可推 荐水平而进行切换；图21是图示根据第三实施例的用于在数字相框上的立体显示的流程的流程图； 以及图22是示出可推荐性水平与图像文件数目之间的相关性的图表，该图表被显示 在数字相框上。
具体实施例方式在图1中图示的是根据本发明的实施例的立体图像捕捉再现系统10。系统10由 体现本发明的立体图像记录装置的双目镜数字照相机11，和体现本发明的立体图像输出装 置的数字相框12组成。在下文中简称为照相机11的双目镜数字照相机11具有相互水平地间隔开的第一 成像单元15L和第二成像单元15R，因此，照相机11可以同时从不同的视点拍摄同一对象， 以捕捉对象的在其之间具有视差一对图像。数字相框12可以在IXD面板17上再现由照相 机11捕捉的图像，使得每对中的一个图像被观看者的右眼感觉到，同时另一图像被观看者 的左眼感觉到，因此，所显示的图像可以被感知为立体图像。在下文中，将由第一成像单元 15L捕捉且被左眼感觉到的图像称为左图像，并将由第二成像单元15R捕捉且被右眼感觉 到的图像称为右图像。在图2中图示在数字相框12上显示立体图像的原理，其中，图2A示出用于显示立 体图像的右和左视差图像20R和20L的示例，并且图2B图示当这些图像20R和20L被相互 一个叠一个地显示在IXD面板17的屏幕22上时，观看者如何将其感知为立体图像。在图 2中，附图标记21L和21R分别表示观看者的左眼和右眼，并且附图标记23L和23R分别表 示包含在左眼和右眼20L和20R中的同一对象的图像。如图2B所示，右图像20R内的对象23R的位置由于这些图像20R和20L之间的视 差而相对地与左图像20L内的同一对象23L的位置发生移位。在下文中，将左右图像之间 的同一对象的相对移位量称为视差量。当观看者观看屏幕22上的该对象时，在远离屏幕22 而接近观看者的点处，来自右眼21R的视线与来自左眼21L的视线交叉，使得对象的图像 看起来是三维的，并且观看者感觉对象好像从屏幕22突出。在下文中，将来自左右眼睛的 视线交叉的角称为会聚角，并将两个视线的相交点称为视线会聚点，而将从眼睛到视线会聚点的距离称为会聚距离。在观看者观看屏幕22的同时，眼睛单独地对焦在屏幕22上。如果屏幕22显示简 单的2D图像，则会聚距离通常等于观看距离，所述观看距离是从观看者的眼睛到屏幕22的 距离。然而，由于对于立体显示而言会聚距离短于观看距离，所以每个眼睛的焦点不自然地 不同于视线会聚点。因此，立体显示可能对眼睛施加一定的负荷，并且对眼睛的压力将随着 观看距离与会聚距离之间的差的增大而增大。鉴于观看距离与会聚距离之间的差根据视差量而变这一事实，本发明基于这两个 图像之间的视差量来评估左右图像用于立体显示的合适性。参考回图1，第一和第二成像单元15L和15R被安装在照相机11的前上部分上。 照相机11在其顶侧具有电源/模式开关27和快门释放按钮28。照相机11还在其左侧具 有用于加载存储卡29作为图像记录介质的卡槽30。虽然未详细地示出，但在照相机11的 背面提供有操作部31 (参见图3)和图像显示部32 (参见图3)。图像显示部32充当用于图 像捕捉的电子取景器，但是也充当用于再现捕捉的图像的监视器。参照图3，主CPU 35响应于来自操作部31的输入，根据某个控制程序来监督照相 机11的总体操作。CPU 35经由系统总线36连接到R0M37、EEPROM 38、和工作存储器39。 ROM 37存储控制程序和CPU 35执行控制程序所需的多种数据。EEPROM 38存储关于照相 机11的操作的许多种设置信息，包括用户设置的信息。工作存储器39包括操作工作存储 段和用于临时存储图像数据的临时存储段。由用户来操纵操作部31以在照相机11中输入各种信号，并且操作部31包括上述 电源/模式开关27、释放按钮28和未示出的模式盘。电源/模式开关27将开启和关闭照 相机11的电源，并且在再现模式与图像捕捉模式之间切换照相机11。在电源/模式开关 27被开启时，电源电路42开始向照相机11的各组件供电，以驱动照相机11的各组件。在 电源/模式开关27被关闭时，电源电路42停止向照相机的各组件供电。图像捕捉模式可以包括例如用于捕捉二维静止图像的2D静止图像捕捉模式、用 于捕捉二维运动图像的2D运动图像捕捉模式、用于捕捉三维静止图像的3D静止图像捕捉 模式、以及用于捕捉三维运动图像的3D运动图像捕捉模式。操纵模式盘以在这些图像捕捉 模式之间切换。照相机11被配置为每当响应于释放按钮28上的操作通过成像单元15R和15L捕 捉到左右图像时，在3D静止图像捕捉模式中记录一对左右视差图像作为3D静止图像文件。 照相机11还可以在3D运动图像捕捉模式中以3D运动图像文件的形式记录多对左右图像 作为用于显示3运动图像的一系列连续帧。当照相机11被设置为2D静止图像捕捉模式或2D运动图像捕捉模式时，在图像捕 捉模式管理标记寄存器45中设置指示照相机11处于用于捕捉2D图像的2D模式的标记。 当照相机11被设置为3D静止图像捕捉模式或3D运动图像捕捉模式时，在图像捕捉模式管 理标记寄存器45中设置指示照相机11处于用于捕捉3D图像的3D模式的标记。CPU 35参 照图像捕捉模式管理标记45来在2D模式和3D模式之间区别图像捕捉模式。释放按钮28是具有半按位置和全按下位置的双行程(two-stoke)开关。当释放 按钮28在静止图像捕捉模式下被按至半按位置时，执行用于成像的初步处理，诸如自动曝 光(AE)控制处理、自动对焦(AF)处理和自动白平衡(AWB)控制处理。当在静止图像捕捉
8模式下释放按钮28被按至全按下位置时，捕捉静止图像以将其记录在记录介质中。在运 动图像捕捉模式下，在释放按钮28被完全按下时开始记录运动图像。其后，当释放按钮28 被再次按下时，运动图像的记录停止。在另一实施例中，照相机11可以具有特定用于静止 图像捕捉的释放按钮，和特定用于运动图像捕捉的第二释放按钮。图像显示部32包括视差屏障式或双凸透镜式的3D监视器，其能够使用在图像捕 捉期间由第一和第二成像单元15L和15R捕捉的视差图像来显示立体图像。图像显示部32 还可以基于所记录的视差图像来显示立体图像。照相机姿势检测电路48包括用于检测照相机11的姿势的传感器，并将所检测的 照相机11的姿势输出到CPU 35。CPU 35基于所检测的照相机姿势来确定是否将捕捉的左 右图像作为垂直或水平图像来处理。现在，将参照图3来描述照相机11的成像操作。第一和第二成像单元15L和15R 基本上具有相同的结构，因此，用相同的附图标记来表示第一和第二成像单元15L和15R的 相同组件，而通过添加作为左侧和右侧的缩写的“L”和“R”来加以区别。在以下说明中，将 在不向附图标记添加“L”和“R”的情况下以单数形式来描述成像单元15L和15R的每个组 件，除非需要参考两个相同的组件来进行说明。拍摄透镜(taking lens) 51包括变焦透镜、对焦透镜和光阑(stop)。变焦透镜和 对焦透镜可沿着光轴(图中的LL和LR)前后移动。CPU 35控制经由AE-AF CPU 52来驱动 未示出的变焦致动器，以控制变焦透镜的位置以进行变焦。CPU 35还控制经由AE-AF CPU 52来驱动未示出的对焦致动器，以控制对焦透镜的位置以进行对焦。CPU 35经由AE-AFCPU 52来驱动光阑控制器53，以控制光阑的孔径(曝光量)以控制图像传感器54上的入射光 的量。在3D模式下，CPU 35相互同步地驱动成像单元15L和15R的拍摄透镜51L和51R， 以捕捉多个图像。也就是说，拍摄透镜51L和51R始终被设置在彼此相等的焦距(变焦比) 处。在3D模式下，控制拍摄透镜51L和51R的光阑，以提供彼此相等的入射光量(曝光值)， 并且拍摄透镜51L和51R始终对焦在同一对象上。闪光投射器(flash projector) 57包括例如朝着暗对象或在背光场景中投射闪光 的放电管(氙气管)。充电/发射控制器58包括用于向闪光投射器57供应电流以进行光发 射的主电容器。CPU 35向AE-AF CPU52输出闪光命令以便控制主电容器的充电和放电，以 及来自闪光投射器57的发射的持续时间。或者，闪光投射器57可以是发光二极管(LED)。成像单元15包括例如LED的测距发光器61，和用于捕捉被测距发光器61照亮的 对象的图像的测距图像传感器62。由测距图像传感器62捕捉的图像充当用于测量到对象 的距离的测距图像。公共测距驱动控制电路63驱动测距发光器61在预定定时发光，并控 制测距图像传感器62来捕捉测距图像。测距图像通过A/D转换器66被转换成数字数据，并被馈送到距离信息处理器电路 67。基于测距图像，距离信息处理器电路67根据三角测量的原理来计算从照相机11到对 象的距离，即对象距离。由距离信息处理器电路67计算的对象距离被存储在距离信息存储 电路68中。距离信息处理器电路67可以使用TOF (渡越时间)法，其中，基于光束从测距发光 器61发射开始到在测距图像传感器62处接收到从对象反射的光束的时间和光速来计算对象距离。成像单元15还包括透镜间距和角度驱动电路71，和透镜间距和角度检测电路72。 CPU 35经由公共透镜间距和角度控制电路73来控制透镜间距和角度驱动电路71，以调整 拍摄透镜51L和51R之间的间距和会聚角。透镜间距和角度检测电路72包括电波发送接收设备。CPU 35经由透镜间距和角 度控制电路73来激励透镜间距和角度检测电路72L和72R，以电波进行相互通信从而检测 拍摄透镜51L和51R之间的间距和会聚角。所检测的拍摄透镜51L和51R之间的间距和会 聚角被存储在透镜间距和角度存储电路74中。在示例中，图像传感器54由CXD组成。大量的光电二极管在图像传感器54的感 光表面上被布置成二维阵列，并且三原色(R、G、B)的滤色器被以预定排列方式而布置在光 电二极管的前面。在图像传感器54的感光表面上通过拍摄透镜51形成的对象的光学图像 通过这些光电二极管被转换成对应于入射光量的量的信号电荷。积聚在各光电二极管中的 信号电荷被基于响应于来自CPU 35的命令从定时发生器(TG)77生成的驱动脉冲，连续地 从图像传感器54读出，输出对应于信号电荷的电压的RGB信号。图像传感器54可以充当 控制光电二极管中的电荷存储时间的电子快门，以控制曝光时间(快门速度)。请注意，图像传感器54不限于CXD型，而是可以是CMOS图像传感器或其他类型的 图像传感器。模拟信号处理器80包括用于从来自图像传感器54的RGB信号消除复位噪声(低 频噪声)的相关双采样电路(CDS)，和用于将RGB信号放大至恒定幅值水平的AGS电路。图 像传感器54的输出端处的模拟RGB信号在模拟信号处理器80中经受相关双采样处理并被 放大，随后通过A/D转换器81被转换成数字RGB信号，并且在图像输入控制器(缓冲存储 器)82中输入。数字信号处理器85包括同步处理电路(通过对彩色信号进行内插以便使不同的 彩色信号同步，补偿由于在单个CCD上的滤色器布置而引起的来自单个CCD的不同颜色的 输出信号之中的特殊滞后的处理电路)、白平衡调整电路、灰度转换电路(伽玛校正电路)、 边缘校正电路、以及亮度_色度信号产生电路。当在图像输入控制器82中输入时，由数字 信号处理器85来处理数字RGB信号以进行同步、白平衡调整、灰度转换、边缘校正及其他必 要处理，并将其转换成由亮度信号(Y信号)和色度信号(Cr和Cb信号)组成的YC信号。 该YC信号被存储在工作存储器39中。在图像显示部32充当电子取景器的同时，从数字信号处理器85产生的YC信号被 连续地馈送到缓冲存储器88。显示控制器89从缓冲存储器88读取YC信号并将其传输到 YC/RGB转换器90。YC/RGB转换器90将YC信号转换成原始RGB信号，并经由驱动器91将 RGB信号输出到图像显示部32。因此，图像显示部32显示存在于照相机11的视场中的对 象的直通图像或活动图像。在再现模式下，存储器控制器94经由接口(I/F)95来访问存储卡29以将压缩图 像数据从记录的图像文件读出到缓冲存储器96。然后，图像数据被压缩/解压缩处理器97 解压成YC信号，并且未压缩YC信号被馈送到缓冲存储器88。显示控制器89从缓冲存储器 88读出YC信号并将其传输到YC/RGB转换器90。YC/RGB转换器90将YC信号转换成原始 RGB信号，并经由驱动器91将RGB信号输出到图像显示部32。因此，图像显示部32显示被
10记录在存储卡29上的图像。接下来，将描述用于图像捕捉和记录的过程。在2D模式下，将由成像单元之一、例 如第一成像单元15L来捕捉要记录的图像。由第一成像单元15L捕捉的图像的图像数据被 压缩/解压缩处理器97L压缩，并且通过存储器控制器94和接口 95而被作为预定格式的 图像文件记录在存储卡29上。例如，2D静止图像被记录为JPEG (联合图像专家组)格式的 压缩图像文件，而2D运动图像被记录为符合H. 264标准的MPEG2或MPEG4格式的压缩图像 文件。参照图示3D静止图像捕捉模式下的操作序列的图5，当释放按钮28被全按下时 (SlO)，成像单元15L和15R分别同时捕捉左右视差图像(Sll)。请注意，基于来自成像单元 15L和15R的任一个的图像信号来执行AF和AE过程。在数字信号处理器85L和85R中处 理由成像单元15L和15R捕捉的视差图像，并随后将其写入工作存储器39。视差测量电路100和立体合适性评估电路101 (参见图3)基于由成像单元15L和 15R同时捕捉的视差图像之间的视差量，相对于这两个图像来评估用于立体显示的合适性。 根据所评估的用于立体显示的合适性，立体合适性评估电路101判定这些视差图像用于立 体显示的可推荐性水平(S12)。将参照示出由成像单元15L和15R捕捉的一对视差图像103L和103R的示例的图 4、以及图6的流程图来描述立体合适性评估电路101中的可推荐性评估(S12)的顺序。视 差测量电路100从工作存储器39读出图像103L和103R，以计算这些图像103L和103R之 间的视差量的直方图F(AP) (S16)。具体而言，如图7所示，视差测量电路100使用诸如区块(block)匹配法的适当方 法来作为示例，提取图像103L和103R之间的对应点(S24)。视差测量电路100将图像103L 和103R之一定义为参考图像，并将另一个定义为搜索图像。接下来，从参考图像提取诸如 边缘的多个特征点，并将参考图像划分成多个区块。然后，使用相应区块的图像作为模板图 像，根据诸如方差和(SSD)或绝对差和(SAD)的任何适当方法来确定与模板图像匹配的搜 索图像的那些区块，其中，计算像素值之间的方差和或像素值之间的绝对差和。视差测量电 路100从搜索图像的匹配区块中提取参考图像的特征点的对应点。在图4中，图像103被提供为参考图像，并且图像103R被提供为搜索图像，以便 从搜索图像103R提取对应点P_R(xR，y)作为对应于参考图像103L的特征点P_R(xL，y)的 点。视差测量电路100测量特征点P_R(xL，y)与对应点P_R(xR，y)之间的距离，例如xL_xR 的绝对值，以使该距离充当视差量AP(S25)。请注意，虽然图4仅仅示出了一个特征点和一 个对应点，但实际上提取了多个特征点和对应点，以测量各个特征点与对应点之间的多个 视差量。接下来，视差测量电路100计算示出所测量的视差量Δ P，以及每个视差量ΔΡ的 发生次数或者频率F的直方图F(AP)。例如，通过每当测量到相同视差量时将相同视差量 ΔΡ的频率F增加“1”来计算直方图F(AP)。重复测量视差量(S24)至计算直方图(S26) 的步骤，直至相对于所有区块检测了参考图像103的特征点的所有对应点为止(S27、S28)。在图8至11中示出由视差测量电路100计算的视差量直方图的多个示例。图8 所示的直方图是根据在场景的背景上有风景的情况下对包含人物对象的场景拍摄的视差 图像的直方图。对于此类场景，从主要人物对象以及背景提取大量的特征点和对应点，并且
11在许多视差量处出现频率F的峰值。另一方面，图9所示的直方图是从具有无特征的均勻 纹理的背景的、包含建筑物的场景拍摄的视差图像的直方图。对于此类场景，从主对象，即 建筑物提取较大数目的特征点和对应点，并从背景提取较少的特征点和对应点。结果，在有 限的视差量处出现发生频率F的峰值。图10所示的视差量直方图是从在整个区域中包含复杂图案并因此包含大量信息 的场景拍摄的视差图像的直方图。对于此类场景，从整个图像区域提取大量的特征点和对 应点，并且在许多视差量处出现频率F的峰值。图11所示的直方图是从具有无特征的均勻 纹理的背景的、包含人物对象的场景拍摄的视差图像的直方图。对于此类场景，从主要人物 对象提取较大数目的特征点和对应点，并从背景提取较少数目的特征点和对应点，因此， 在视差量的有限范围内出现发生频率F的峰值。基于所计算的视差量直方图，如图6所示，立体合适性评估电路101相对于不小于 阈值Th的那些视差量来计算发生频率的累计总数，S卩，累计频率Σ Th(S17)。例如，当在图 10的视差量直方图上计算累计频率Σ Th时，立体合适性评估电路101将对应于频率F的最 高峰值的视差量ΔΡ判定为阈值Th，并计算不小于阈值Th的那些视差量的累计频率Σ Th。 请注意，阈值Th可以不限于对应于频率F的最高峰值的视差量ΔP。例如，在如图8和10 的视差量直方图所示存在频率F的多个峰值的情况下，可以将对应于频率F的最低峰值的 视差量ΔΡ判定为阈值Th。或者，首先计算频率F的平均值，然后从视差量直方图获得对应 于该平均值的视差量ΔΡ，并将其判定为阈值Th。立体合适性评估电路101将累计频率Σ Th与其阈值水平Thl和Th2相比较，阈值 水平Thl和Th2被存储在ROM 37中，并被预置为Thl < Th2。例如，可以根据在感官地检验 在视差量的累计频率与观看者的眼睛的疲劳程度之间的关系的感官检验方法来预定用于 累计频率的阈值Thl和Th2。设置两个阈值Thl和Th2使得根据用于立体显示的合适性，对 视差图像的可推荐性进行三级评估。也就是说，可以根据在用于评估可推荐性的尺度应提 供多少等级来改变累计频率的阈值的数目。立体合适性评估电路101首先将累计频率Σ Th与下阈值水平Thl相比较(S18)。 当累计频率Σ Th不大于阈值水平Thl时，这意味着视差图像之间的视差量整体上是小的， 因此认为观看者的眼睛的疲劳是小的。然后，将这些视差图像的可推荐性水平评定为最高 等级，即，本实施例中的“2” (S19)。当累计频率Σ Th大于阈电平Thl时，立体合适性评估电路101将累计频率Σ Th 与上阈值水平Th2相比较(S20)。当累计频率Σ Th不大于阈值水平Th2时，这意味着视差 量总体上是中间值，因此将这些视差图像的可推荐性水平评定为中间等级“1” (S21)。当累计频率Σ Th大于阈值水平Th2时，这意味着视差量总体上是大的，因此将这 些视差图像的可推荐性水平评定为最低等级“0” (S22)。在可推荐性评估之后，图像103L和103R分别被压缩/解压缩处理器电路97L和 97R压缩，并随后在被写入存储卡29上时被以3D静止图像文件编译。连同视差图像的压缩 数据一起，3D图像文件还存储关于所评估的可推荐性水平的信息，及关于视差图像的其他 信息，包括对象距离，以及拍摄透镜51L和51R之间的参考长度(间距)和会聚角(S 13)。参照示出可以通过3D静止图像捕捉产生的3D静止图像文件110的结构的图12， 3D静止图像文件110包括用于左图像103L的图像数据111L、用于右图像103R的图像数据
12111R、和分别作为图像数据IllL和IllR的开头的第一和第二报头112L和112R。第一报头112L记录从数据头到第二报头112R的开头的末端的偏移量，和左图像 数据IllL的属性。请注意，“0R-1”是加给在被存储在3D静止图像文件110中的左图像数 据IllL上的标题的示例。左图像数据IllL的属性包括视点的顺序、3D成像条件、2D成像条件、以及可推荐 性水平。视点的顺序指示存储的图像是左图像还是右图像；对左图像赋予序号“1”，并且对 右图像赋予序号“2”。3D图像条件表示用于立体显示所需的信息，其可以包括第一和第二 成像单元15L和15R之间的参考长度和会聚角，以及对象距离信息。2D成像条件包括快门 速度、曝光值、以及在再现或打印图像时调整图像质量所需的其他信息。用由立体合适性评 估电路101评定的等级来表示可推荐性水平；所述可推荐性水平涉及通过数字相框12等， 基于图像IllL和IllR来显示立体图像。第二报头112R记录右图像数据IllR的属性。右图像数据IllR的属性包括视点 顺序和2D成像条件来作为其项目，其具有与第一报头112L的那些相同的内容。接下来，将参照图13来描述用于在3D运动图像捕捉模式下评估运动图像用于立 体显示的可推荐性的流程。将参照图14来描述可以产生以记录在3D运动图像捕捉模式下 捕捉的图像帧的3D运动图像文件的结构。在3D运动图像捕捉中，由第一和第二成像单元15L和15R捕捉的两个运动图像将 被存储在工作存储器39中，但在这里将省略此处理的细节。视差测量电路100从存储在工 作存储器39中的两个运动图像读出第一图像帧(S30)。视差测量电路100计算所读取的两个图像帧之间的视差量的直方图F(AP) (S31)。基于所计算的直方图，视差测量电路100相对于不小于阈值Th的那些视差量来计 算累计频率Σ Th(S32)。然后，立体合适性评估电路101将累计频率Σ Th与阈值水平Thl 和Th2相比较，以评估这些图像帧用于立体显示的可推荐性(S33至S37)。请注意，3D运动 图像捕捉模式下的步骤S33至S37根本上等同于在图6中描绘的3D静止图像捕捉模式下 的步骤S18至S22，因此将省略这些步骤的细节。接下来，视差测量电路100检查在工作存储器39中，在第一图像帧之后是否存在 任何图像帧(S38)，并读出随后的图像帧(S39)以与上述相同的方式评估这些帧的可推荐 性(S31至S39)。因此，针对3D运动图像的每对图像帧，评定可推荐性水平。参照图14，3D运动图像文件115大致上可以分成表示与文件115的结构及和其他 信息有关的报头部116，以及表示运动图像的数据的图像数据部117。报头部116由流信 息118和成像条件119组成。图像数据部117由多个数据块(chunk) 120a至120η组成，其 中的每个结合三个数据流#1至#3。流信息118包括相对于数据流的定义123和属性124。流定义123定义数据块 120a至120η中的各个数据流的内容。例如，流定义123定义数据流#1和#2分别包含3D 运动图像的左和右图像帧，并且定义用于图像再现的每个块的数据量、以及报头地址。流定 义123还定义数据流#3将表示左右图像帧用于立体显示的可推荐性水平。流属性124表示整个3D运动图像文件115的属性。例如，在3D运动图像文件的 再现期间对其给定的流ID、用于成像的分辨率、压缩格式、2D和3D显示之间的区别、每个块 的帧数、或其他数据被记录为流属性124。
13
成像条件119记录在3D运动图像捕捉模式下设置的成像条件。例如，成像条件包 括视点的数目、成像单元15L和15R的参考长度和会聚角。关于本实施例的照相机11，视点 的数目是“ 2 ”，而参考长度和会聚角是在3D运动图像捕捉模式下使用的那些值。在每个数据块120a至120η中，数据流#1 121a和数据流#2 121b分别包含关于 左右图像帧的信息，其包括例如与包括在流属性ID 124中的流ID相同的流ID、每个数据 块内的数据长度、以及用于一个帧的图像数据。除可推荐性水平之外，类似于数据流#1和 #2，数据流#3121c还包含流ID和每个数据块内的数据长度。接下来，将参照图15来描述数字相框12。数字相框12包括基于来自操作部130 的输入，根据预定控制程序来监督照相机11的总体操作的CPU 131。CPU 131连接到ROM 132、EEPROM 122、和工作存储器134。ROM 132存储用于CPU 131的控制程序，和控制所需 的各种数据。EEPROM 133存储各种设置信息和关于数字相框12的操作的其他信息，包括 由用户设置的信息。工作存储器134包括操作工作存储段和用于临时存储图像文件的临时 存储段。CPU 131在根据存储在ROM 132中的控制程序进行操作时，充当本发明的输出控制 设备。CPU 131连接到存储器控制器137，以便从存储卡29读出图像文件。存储器控制 器137被提供在数字相框12的卡槽139中(参见图1)。存储器控制器137经由接口(I/ F) 140来访问存储卡29，以读出要再现的设计的图像文件，并将读取的图像文件临时存储 在工作存储器134中。存储在工作存储器134中的图像文件被压缩/解压缩处理器141解 压成未压缩YC信号。显示控制器144从工作存储器134读出YC信号并将其传输到YC/RGB转换器145。 YC/RGB转换器145将YC信号转换成RGB信号，并经由驱动器146将RGB信号输出到LCD面 板17。因此，在IXD面板17上再现并显示由照相机11捕捉的图像。IXD面板17可以是例如视差屏障式或双凸透镜式3D监视器。虽然在图中未详细 描述IXD面板17，但IXD面板17在其正面上具有视差屏障表面层。当显示立体图像时，IXD 面板17在视差屏障表面层上生成视差屏障图案，或者称为狭缝阵列板。视差屏障图案具有 以预定间隔交替的垂直可透光片段和垂直光屏蔽片段。IXD面板17在视差屏障表面层下面 的层上同时显示左右视差图像的图像条，图像条被以对应于视差屏障图案的交替方式来布 置，使得所显示的图像可以被感知为立体图像。允许立体显示的显示设备的结构不限于使用狭缝阵列片的视差屏障式，其他类型 也可以是可适用的，诸如使用双凸透镜板的双凸透镜式、使用微透镜阵列的集成摄影式、以 及利用干涉的全息摄影式。现在，将相对于第一实施例来描述在数字相框12上显示3D静止图像和3D运动图 像的操作。如图16所示，CPU 131控制存储器控制器137从存储卡29读出第一 3D静止图 像文件110 (S45)。CPU 131检查读取的3D静止图像文件110的可推荐性水平(S46)，以在 可推荐性水平为1或以上时将3D静止图像文件110登记在存储在EEPROM 133中的可推荐 图像列表上(S47、S48)。当3D静止图像文件的可推荐性水平小于1时，CPU 131读出下一个3D静止图像 文件110 (S47、S49)，以执行步骤S46和S47。CPU 131对写在存储卡29上的所有3D静止 图像文件110重复步骤S46至S49 (S50)。
14
如图17所示，关于3D运动图像文件115，CPU 131读出第一对图像帧(S52)并检 查可推荐性水平(S53)。当存在下一对图像帧时(S54)，CPU 131读出下一对图像帧并检查 其可推荐性水平(S55、S53)。在读取3D运动图像文件115的所有图像帧并检查其可推荐 性水平之后，CPU131对可推荐性水平求平均值(S56)，以在平均值不小于1时将3D运动图 像文件115登记在可推荐图像的列表上(S57、S58)。请注意，CPU131相对于写在存储卡19 上的所有3D运动图像文件115检查可推荐性水平。在检查写在存储卡29上的所有3D运动图像文件115的可推荐性水平之后，CPU 131从EEPROM 133读取可推荐图像的列表(S60)并控制IXD面板17显示登记在可推荐图 像列表上的那些图像文件的缩略图阵列(S61)。因此，CPU 131使得能够通过操纵操作部 130来选择IXD面板17上的任何缩略图(S62)，以对应于所选缩略图连续地显示3D静止图 像文件110或3D运动图像文件115 (S63)。因此，在屏幕上仅显示具有1或以上的可推荐性水平，即，中间和高可推荐性水平 的那些立体图像。由于在屏幕上不显示具有低可推荐性水平的立体图像，所以观看者的眼 睛的负荷减小。可以优选的是用户可以适当地选择用于将图像登记在可推荐图像列表上 的可推荐性的阈值水平。接下来，将描述显示立体图像的第二实施例，其中，以根据可推荐性水平确定的不 同尺寸来显示所有图像。如图19所示，CPU 131从存储卡29读出第一 3D静止图像文件 110 (S65)并检查所读取的3D静止图像文件110的可推荐性水平(S66至S68)。当3D静止图像文件110的可推荐性水平是“0”时，如图20所示，CPU 131控制 IXD面板17以小尺寸150显示3D静止图像文件110的立体图像(S67、S69)。当3D静止图 像文件110的可推荐性水平是“1”时，如图20所示，CPU 131控制IXD面板17以中等尺寸 151显示3D静止图像文件110的立体图像(S68、S70)。此外，当3D静止图像文件110的可 推荐性水平是“2”时，如图20中的实线所示，CPU 131控制IXD面板17以全屏尺寸显示3D 静止图像文件110的立体图像(S71)。CPU 131相对于写在存储卡29上的所有3D静止图 像文件110重复步骤S66至S71 (S72、S73)。关于3D运动图像文件115，CPU 131检查所有图像帧的可推荐性水平，以根据可推 荐性水平的平均值来修改显示尺寸。根据本实施例，以较小尺寸显示具有较低可推荐性水平的那些图像，这减少对观 看者的眼睛的压力。另一方面，由于以全尺寸显示最高可推荐性水平的图像，所以观看者可 以以最大尺寸欣赏高质量的立体图像。虽然在第二实施例中，显示尺寸根据可推荐性水平而变，但可以根据单独图像的 可推荐性水平来改变显示该单独图像的持续时间。在本示例中，将最短显示持续时间分配 给具有最低可推荐性水平的那些图像，并优选地将较长的持续时间分配给具有较高的可推 荐性水平的图像。接下来，将描述再现3D运动图像文件115的第三实施例。由于由连续地显示的多 个视差图像帧来表示3D运动图像，所以如果在这些视差图像帧之间存在一定的视差量的 差，则将迫使观看者的眼睛相对于不同的视差量来调整会聚距离，这将对观看者的眼睛施 加更重的负荷。为了减轻眼睛的负荷，本实施例跳过再现具有较低可推荐性水平的那些图 像帧，并取代所跳过的图像帧来继续显示在前面的图像帧。
15
如图21所示，在再现3D运动图像文件115时，CPU 131读出第一对图像帧(S75)， 并检查读取的图像帧的可推荐性水平(S76、S77)。当可推荐性水平不小于1时，CPU 131控 制IXD面板17显示读取的图像帧(S78)。当可推荐性水平小于1时，CPU 131读出下一对 图像帧(S79)，以执行步骤S76和S77，而不显示小于1的可推荐性水平的图像帧。在这种 情况下，CPU 131控制IXD面板17继续显示紧接在具有小于1的可推荐性水平的图像帧之 前已被显示的前一图像帧。CPU 131相对于写在存储卡29上的所有3D运动图像文件115 执行步骤S76至S78 (S80)。在以上实施例中，每当读出图像帧时，进行关于是否显示图像帧的判定。然而，在 另一实施例中，可以首先检查3D运动图像文件115的所有图像帧的可推荐性水平，然后基 于所检查的可推荐性水平来编辑3D运动图像文件115，以产生仅用于再现的临时运动图像 文件。因此，即使3D运动图像文件115连续地包含低可推荐性水平的图像帧，也可以根据 内容来编辑运动图像以减轻3D运动图像对观看者的眼睛的负荷。在所有以上实施例中，期望的是用户可以基于可推荐性水平来可选地设置用于立 体显示的内容。为了使得能够进行显示内容的可选设置，优选的是用户可以检查写在存储 卡29上的所有图像文件的可推荐性水平的分布。根据本发明的第四实施例，如例如图22所示，在数字相框12的IXD面板17上显 示示出写在存储卡29上的所有图像文件的可推荐性水平的分布曲线的图表。由于图表115 在其竖轴上描绘可推荐性水平，并在其横轴上描绘图像文件的数目，所以用户可以立即看 到图像文件的数目与可推荐性水平之间的相关性。因此，用户可以在考虑图像文件的数目 与可推荐性水平之间的相关性的同时，基于可推荐性水平来设置显示内容。可以优选地在图表155上显示两个条156等，以限制要显示的图像文件的可推荐 性水平的范围。在这种情况下，仅显示在所限制的可推荐性范围内的那些图像文件。在通 过使用图表155上的条156限制可推荐性水平的范围来指定显示内容的情况下，可以提供 更多的分级级数，以更细地评估图像用于立体显示的可推荐性或合适性。在基于可推荐性 水平来指定显示内容的情况下，提供数目增加的可推荐性水平可能使第一至第三实施例中 的可推荐性评估处理复杂化。然而，通过使用条156变得可以在平衡可推荐性水平和图像 文件数目的同时，定义显示内容。因此，数目增加的可推荐性水平将不会妨碍操作。虽然已将数字相框12描述为本发明的立体图像输出设备，但本发明可适用于任 何种类的监视器、电视等，只要其能够显示立体图像即可。本发明还可以应用于利用双凸透 镜产生立体打印照片的打印机。此外，已相对于在数字相框12上的立体显示而描述的第一 至第四实施例还可以应用于照相机11的图像显示部32。虽然已出于说明的目的公开了本发明的优选实施例，但本领域的技术人员应认识 到，在不脱离随附权利要求所公开的本发明的范围和精神的情况下，可以进行各种修改、添 加和替换。
1权利要求
一种立体图像记录装置，包括视差量测量设备，所述视差量检测设备在从不同视点捕捉的同一场景的一组图像中提取对应点以用于显示立体图像，检测每组所述对应点之间的视差量，并对所检测的视差量的发生频率进行统计；立体合适性评估设备，所述立体合适性评估设备根据所述统计来计算不小于阈值的那些视差量的累计频率，基于所述累计频率来评估所述图像用于立体显示的合适性，并根据所评估的合适性按至少两个等级的尺度来判定所述图像用于立体显示的可推荐性的水平；以及图像存储设备，所述图像存储设备用于与可推荐性信息相关联地存储所述图像，所述可推荐性信息与由所述立体合适性评估设备判定的可推荐性水平有关。
2.如权利要求1所述的立体图像记录装置，其中，所述立体合适性评估设备将所计算 的累计频率至少与累计频率阈值水平相比较，以判定可推荐性水平。
3.如权利要求2所述的立体图像记录装置，其中，所述立体合适性评估设备在所述累 计频率低于所述累计频率阈值水平时将所述可推荐性水平判定为较高等级，并在所述累计 频率高于所述累计频率阈值水平时将所述可推荐性水平判定为较低等级。
4.如权利要求1所述的立体图像记录装置，其中，当所述图像是连续地输出以组成立 体运动图像的图像帧时，所述视差量测量设备检测视差量并相对于每组所述图像帧对视差 量的发生频率进行统计，并且所述立体合适性评估设备判定每组所述图像帧的可推荐性水 平。
5.如权利要求1所述的立体图像记录装置，其中，所述图像存储设备将所述图像和所 述可推荐性信息存储为图像文件。
6.一种立体图像记录方法，包括 视差量测量步骤在从不同视点捕捉的同一场景的一组图像中提取对应点，以用于显示立体图像； 检测每组所述对应点之间的视差量；以及 对所检测的视差量的频率进行统计； 立体合适性评估步骤根据所述统计来计算不小于阈值的那些视差量的累计频率； 基于所述累计频率来评估所述图像用于立体显示的合适性；以及 根据所评估的合适性按至少两个等级的尺度来判定所述图像用于立体显示的可推荐 性的水平；以及图像存储步骤存储所述图像及与由所述立体合适性评估设备判定的可推荐性水平有 关的信息。
7.一种立体图像输出装置，包括输出设备，所述输出设备用于使用从不同视点捕捉的同一场景的一组图像来输出立体 图像；以及输出控制设备，所述输出控制设备读取表示所述图像用于立体显示的合适性的可推荐 性信息，并根据用于立体显示的合适性来改变所述输出设备的输出条件。
8.如权利要求7所述的立体图像输出装置，其中，所述输出控制设备基于所述可推荐性信息来判定是否使用所述图像输出立体图像，并控制所述输出设备在所述输出控制设备 判定输出立体图像时使用所述图像来输出所述立体图像。
9.如权利要求7所述的立体图像输出装置，其中，所述输出控制设备基于所述可推荐 性信息来控制所述输出设备，以改变用于使用所述图像再现立体图像的大小或持续时间。
10.如权利要求7所述的立体图像输出装置，其中，当所述图像是连续地输出以组成立 体运动图像的图像帧时，所述输出控制设备根据附着于每组所述图像帧的所述可推荐性信 息来判定是否输出每组的所述图像帧，并且当所述输出控制设备判定不输出一组所述图像 帧时，所述输出控制设备控制所述输出设备继续输出之前刚刚已输出的另一组图像帧。
11.如权利要求7所述的立体图像输出装置，其中，将每组所述图像连同所述可推荐性 信息一起存储在图像文件中，并且所述输出控制设备读出多个所述图像文件以显示图表， 所述图表示出属于由所述可推荐性信息所表示的用于立体显示的各个合适性水平的图像 文件的数目。
12.—种立体图像输出方法，包括步骤读取表示从不同视点捕捉的同一场景的一组图像的合适性的可推荐性信息，以供显示 立体图像使用；以及根据所述图像用于立体显示的合适性来改变用于使用所述图像输出立体图像的设备 的输出条件。
13.一种立体图像记录输出系统，包括视差量测量设备，所述视差量测量设备在从不同视点捕捉的同一场景的一组图像中提 取对应点以用于显示立体图像，检测每组所述对应点之间的视差量，并对所检测的视差量 的发生频率进行统计；立体合适性评估设备，所述立体合适性评估设备根据所述统计来计算不小于阈值的 那些视差量的累计频率，基于所述累计频率来评估所述图像用于立体显示的合适性，并根 据所评估的合适性按至少两个等级的尺度来判定所述图像用于立体显示的可推荐性的水 平；图像存储设备，所述图像存储设备用于与可推荐性信息相关联地存储所述图像，所述 可推荐性信息与由所述立体合适性评估设备判定的可推荐性水平有关；输出设备，所述输出设备用于使用从不同视点捕捉的同一场景的一组图像来输出立体 图像；以及输出控制设备，所述输出控制设备读取与由所述图像存储设备存储的所述图像有关的 所述可推荐性信息，并根据所述可推荐性信息所表示的所述图像用于立体显示的合适性来 改变所述输出设备的输出条件。
全文摘要
本发明提供立体图像记录装置和方法、立体图像输出装置和方法、以及立体图像记录输出系统。一种具有两个成像单元的数字照相机，所述成像单元用于从不同的视点来捕捉同一对象的一对视差图像，以供在显示立体图像时使用。在这些视差图像的各个对应点之间的视差量被检测，以计算视差量的累计频率。基于该累计频率，评估这些视差图像用于立体显示的合适性，并与关于所评估的合适性的信息相关联地存储这些图像。在使用视差图像来显示立体图像之前，数字相框参考关于这些图像的立体合适性的信息，并根据立体合适性来修改其输出条件。
文档编号H04N13/00GK101959075SQ201010231448
公开日2011年1月26日 申请日期2010年7月15日 优先权日2009年7月17日
发明者中村敏, 渡边干夫, 金森信乃 申请人:富士胶片株式会社