在立体显示成像期间确定成像范围内障碍物的装置、方法和程序的制作方法

专利名称：在立体显示成像期间确定成像范围内障碍物的装置、方法和程序的制作方法
技术领域：
本发明涉及用于在拍摄用以立体显示对象的视差图像的成像期间确定成像装置的成像范围内是否存在障碍物的技术。
背景技术：
已提出了具有用于实现立体显示成像的两个或更多个成像装置的立体照相机，其利用了通过从不同视点拍摄同一对象所获得的两个或更多个视差图像。关于这样的立体照相机，日本未审查专利公开No. 2010-114760 (下文中称其为专
利文献I)指出一个问题，即，当使用从立体照相机的各个成像装置所获得的视差图像进行立体显示时，不易从视觉上识别出成像透镜中的一个被手指覆盖的这种情况，因为通过成像透镜所拍摄的视差图像的被手指覆盖的部分被通过成像透镜中未被手指覆盖的另一个所拍摄的视差图像的相应部分补偿。专利文献I还指出一个问题，即，在从立体照相机的各个成像装置所获得的视差图像中的一个视差图像在立体照相机的显示监视器上显示为即时预览图像的情况下，观察即时预览图像的操作者不能识别出这样的情况拍摄视差图像中不显示为即时预览图像的另一个视差图像的成像透镜被手指覆盖。为了解决这些问题，专利文献I已提出确定用立体照相机拍摄的每个视差图像中是否存在被手指覆盖的区域，以及如果存在被手指覆盖的区域，则突出显示所识别的被手指覆盖的区域。专利文献I教导下面三种方法作为用于确定被手指覆盖的区域的具体方法。在第一种方法中，将测光器件的光度测定结果与每个视差图像的图像拾取器件的光度测定结果进行比较，以及如果差等于或大于预定值，则确定光度测定单元或成像单元中存在被手指覆盖的区域。在第二种方法中，对于多个视差图像，如果在每个图像的AF评估值、AE评估值和/或白平衡中存在局部异常，则确定存在被手指覆盖的区域。第三种方法使用立体匹配技术，其中从视差图像中的一个中提取特征点，并且从视差图像中的另一个中提取与特征点相对应的相应点，于是，没有找到相应点的区域被确定为被手指覆盖的区域。日本未审查专利公开No. 2004-040712 (下文中称其为专利文献2)教导了一种用于单透镜照相机的确定被手指覆盖的区域的方法。具体地，按照时间序列获得多个即时预览图像，并且拍摄低亮度区域的位置的时间变化，使得不移动的低亮度区域被确定为被手指覆盖的区域(下文中将称其为“第四种方法”)。专利文献2还教导了用于确定被手指覆盖的区域的另一种方法，其中，基于在移动聚焦透镜的位置的同时按照时间序列获得的用于AF控制的图像的预定区域中的对比度的时间变化，如果该预定区域的对比度值随着透镜位置接近近端而持续增大，则该预定区域被确定为被手指覆盖的区域(下文中将称其为“第五种方法”)。然而，上述第一种确定方法仅适用于包括独立于图像拾取器件的测光器件的照相机。上述第二、第四和第五种确定方法仅基于视差图像中的一个对是否存在被手指覆盖的区域进行确定。因此，取决于待拍摄物体(例如对象)的状态，例如在成像范围的边缘区域处的前景内存在物体并且比该物体更远离照相机的主对象处于该成像范围的中心区域处的情况下，则可能难以正确确定被手指覆盖的区域。此外，用于上述第三种确定方法中的立体匹配技术需要大量的计算，导致很大的处理时间。另外，上述第四种确定方法需要按照时间序列连续地分析即时预览图像并且对是否存在被手指覆盖的区域进行确定，导致很大的计算成本和功耗。

发明内容
鉴于上述情况，本发明旨在允许以较高准确度以及较低的计算成本和功耗确定在立体成像设备的成像装置的成像范围内是否存在诸如手指之类的障碍物。根据本发明的立体成像设备的一个方面是这样一种立体成像设备，其包括多个成像装置，其用于拍摄对象并且输出拍摄图像，成像装置包括成像光学系统，成像光学系统定位成允许使用从成像装置输出的拍摄图像立体地显示对象；指标值获得装置，其用于获 得每个成像装置的每个成像范围的多个子范围中的每个子范围的预定指标值；以及障碍物确定装置，其用于将多个不同成像装置的各成像范围中相互对应位置处的每组子范围的指标值彼此进行比较，并且在多个不同成像装置的成像范围的指标值之间的差大得足以满足预定标准的情况下，确定至少一个成像装置的成像范围包含靠近该至少一个成像装置的成像光学系统的障碍物。根据本发明的障碍物确定方法的一个方面是一种用于立体成像设备的障碍物确定方法，立体成像设备包括用于拍摄对象并且输出拍摄图像的多个成像装置，成像装置包括定位成允许使用从成像装置输出的拍摄图像立体地显示对象的成像光学系统，该方法被用于确定至少一个成像装置的成像范围中是否包含障碍物，并且该方法包括以下步骤获得每个成像装置的每个成像范围的多个子范围中每个子范围的预定指标值；以及将多个不同成像装置的成像范围中相互对应位置处的每组子范围的指标值彼此进行比较，并且在多个不同成像装置的成像范围的指标值之间的差大得足以满足预定标准的情况下，确定至少一个成像装置的成像范围包含靠近该至少一个成像装置的成像光学系统的障碍物。根据本发明的障碍物确定程序的一个方面是一种能够结合到立体成像设备中的障碍物确定程序，立体成像设备包括用于拍摄对象并且输出拍摄图像的多个成像装置，成像装置包括定位成允许使用从成像装置输出的拍摄图像立体地显示对象的成像光学系统，该程序使立体成像设备执行以下步骤获得每个成像装置的每个成像范围的多个子范围中每个子范围的指标值；以及将多个不同成像装置的成像范围中相互对应位置处的每组子范围的指标值彼此进行比较，并且在多个不同成像装置的成像范围的指标值之间的差大得足以满足预定标准的情况下，确定至少一个成像装置的成像范围包含靠近该至少一个成像装置的成像光学系统的障碍物。进一步地，本发明的障碍物确定装置的一个方面包括指标值获得装置，其用于从通过使用成像装置从不同位置拍摄主对象所获得的用于立体地显示主对象的多个拍摄图像、或者从拍摄图像的随附信息获得用于拍摄每个拍摄图像的每个成像范围的每个子范围的预定指标值；以及确定装置，其用于将多个不同拍摄图像的成像范围中相互对应位置处的每组子范围的指标值彼此进行比较，并且在多个不同拍摄图像的成像范围的指标值之间的差大得足以满足预定标准的情况下，确定至少一个拍摄图像的成像范围包含靠近该成像装置的成像光学系统的障碍物。本发明的障碍物确定装置可以结合到用于进行立体显示或输出的图像显示设备、照片打印机等中。本文中，“障碍物”的具体示 例包括意外地包含在拍摄图像中的物体(例如操作者的手指或手)、在成像操作期间操作者持有的意外进入成像单元视角的物体(例如移动电话的吊饰)、等等。“子范围”的大小可以基于成像光学系统之间的距离等从理论上和/或实验上和/或经验上得出。用于获得“预定指标值”的方法的具体示例包括下面的方法(I)每个成像装置被配置成在其成像范围中的多个点或多个区域处进行光度测定，以利用通过光度测定所获得的光度值来确定用于拍摄图像的曝光，并且获得每个子范围的光度值作为指标值。(2)根据每个拍摄图像计算每个子范围的亮度值，并且获得计算出的亮度值作为指标值。(3)每个成像装置被配置成基于其成像范围中的多个点或多个区域处的AF评估值进行成像装置的成像光学系统的聚焦控制，并且获得每个子范围的AF评估值作为指标值。(4)从拍摄图像中的每一个提取高得足以满足预定标准的高空间频率分量，并且获得每个子范围的高频分量的量作为指标值。(5)每个成像装置被配置成基于其成像范围中的多个点或多个区域处的颜色信息值进行成像装置的自动白平衡控制，并且获得每个子范围的颜色信息值作为指标值。(6)根据每个拍摄图像计算出每个子范围的颜色信息值，并且获得该颜色信息值作为指标值。颜色信息值可以是各种颜色空间中的任一个。关于上述方法(I)、(3)或(5)，每个子范围可以包括成像范围中的多个点或多个区域中的两个或更多个，在所述多个点或多个区域处获得光度值、AF评估值或颜色信息值，并且可以基于子范围中的这些点或区域处的指标值计算出每个子范围的指标值。具体地，每个子范围的指标值可以是子范围中的点或区域处的指标值的代表值，例如平均值或中间值。进一步地，成像装置可以输出通过实际成像所拍摄的图像和输出通过初步成像所拍摄的图像，其中初步成像在实际成像之前进行以确定实际成像的成像条件，并且可以响应于初步成像获得指标值。例如，在使用上述方法(I)、(3)或(5)的情况下，成像装置可以响应于操作者的操作进行光度测定或计算出AF评估值或颜色信息值，以进行初步成像。另一方面，在上述方法(2)、(4)或(6)的情况下，可以基于通过初步成像所拍摄的图像来获得指标值。关于“将多个不同成像装置的成像范围中的相互对应位置处的每组子范围的指标值彼此进行比较”的描述，待比较的子范围属于多个不同成像装置的成像范围，并且待比较的子范围处于成像范围中的相互对应位置处。“成像范围中的相互对应位置处”的描述指的是当为每个成像范围提供坐标系时子范围具有彼此一致的位置坐标，在该坐标系中，例如，范围的左上角是原点、向右方向是X轴正方向且向下方向是y轴正方向。在进行视差控制以将从成像装置输出的拍摄图像中的主对象的视差提供为基本为O之后(在成像范围中的位置之间的对应关系受到控制之后)，可以如上所述找到成像范围中的子范围的位置之间的对应关系。“如果多个不同成像装置的成像范围中的指标值之间的差大得足以满足预定标准”的描述指的是整体上多个不同成像装置的成像范围的指标值之间存在显著差异。即，“预定标准”指的是对于整个成像范围以综合方式判断每组子范围的指标值之间的差的标准。“多个不同成像装置的成像范围的指标值之间的差大得足以满足预定标准”的情况的具体示例为多个不同成像装置的成像范围中的相互对应子范围的组数等于或大于一个预定阈值，其中每组子范围具有大于另一个预定阈值的指标值之间的差或比值的绝对值。在本发明中，在上述获得指标值和/或确定是否含有障碍物的操作期间，可以不对每个成像范围的中心区域进行处理。在本发明中，可以获得两个或更多类型的指标值。在这种情况下，可以基于两个或更多类型的指标值中的每一个进行上述比较，以及如果基于指标值中的至少一个的差大得足以满足预定标准，则可以确定成像装置中的至少一个的成像范围含有障碍物。或者，如果基于指标值中的两个或更多个的差大得足以满足预定标准，则可以确定成像装置中的至少一个的成像范围含有障碍物。在本发明中，如果确定在成像范围中含有障碍物，则可以发出关于该结果的通知。根据本发明，针对立体成像设备的每个成像装置的成像范围的每个子范围，获得预定指标值，并且将多个不同成像装置的成像范围中的相互对应位置处的每组子范围的指标值彼此进行比较。之后，如果成像范围的指标值之间的差大得足以满足预定标准，则确定成像装置中的至少一个的成像范围含有障碍物。由于基于多个不同成像装置的成像范围之间的指标值的比较而确定是否存在障碍物，因此不必提供独立于图像拾取器件的测光器件(在上面背景技术所述的第一种确定方法中需要提供独立于图像拾取器件的测光器件)，这在硬件设计方面提供了更高的自由度。进一步地，含有障碍物的区域的存在更显著地显示为由多个不同成像装置拍摄的图像之间的差，并且由于成像装置之间的视差，该差比图像中显现的误差大。因此，如在本发明中，通过比较多个不同成像装置的成像范围之间的指标值，与仅使用一个拍摄图像进行确定的情况(例如使用上述第二、第四或第五种确定方法的情况)相比可以以更高准确度确定含有障碍物的区域。更进一步地，在本发明中，将成像范围中的相互对应位置处的每组子范围的指标值彼此进行比较。因此，相对于如上述第三种确定方法中基于图像中内容的特征进行拍摄图像之间的匹配的情况，可以减少计算成本和功耗。如上所述，根据本发明，提供了一种立体成像设备，其能够以较高准确度以及较低的计算成本和功耗确定在成像装置的成像范围内是否存在诸如手指之类的障碍物。本发明的障碍物确定装置(即，包括本发明的障碍物确定装置的立体图像输出设备)提供了相同的有益效果。 在由成像装置所获得的光度值、AF评估值或颜色信息值被用作指标值的情况下，将通常在成像操作期间由成像装置获得的数值用作指标值。因此，不需要计算新指标值，这有益于处理效率。在光度值或亮度值被用作指标值的情况下，即使当成像范围中的障碍物和其背景具有相似纹理或相同颜色时，也可以基于成像范围中的障碍物和背景之间的亮度差异做出含有障碍物的可靠确定。在AF评估值或高频分量的量被用作指标值的情况下，即使当成像范围中的障碍物和其背景具有相同亮度水平或相同颜色时，也可以基于成像范围中的障碍物和背景之间的纹理差异做出含有障碍物的可靠确定。在颜色信息值被用作指标值的情况下，即使当成像范围中的障碍物和其背景具有相同亮度水平或相似纹理时，也可以基于成像范围中的障碍物和背景之间的颜色差异做出含有障碍物的可靠确定。
在使用两个或更多类型的指标值的情况下，通过用一种类型的指标值的优势来补偿另一种指标值的特性的劣势，可以在成像范围中的障碍物和背景的各种条件下以较高和更稳定的精度确定是否包含障碍物。在每个子范围的大小大到某种程度以使得每个子范围包括多个点或区域的情况下，因成像单元之间的视差而产生的误差在子范围中分散，因此允许以较高精度确定是否含有障碍物，其中由成像装置获得子范围中多个点或区域处的光度值或AF评估值，并且基于子范围中的这些点或区域处的光度值或AF评估值来计算每个子范围的指标值。在成像范围中的位置之间的对应受到控制以将从成像装置输出的拍摄图像中的主对象的视差提供为基本为O之后将多个不同成像装置的成像范围中的相互对应位置处的每组子范围的指标值彼此进行比较的情况下，减小了因视差而引起的拍摄图像之间的对象的位置偏移。因此，增大了拍摄图像的指标值之间的差表示障碍物存在的可能性，从而允许以更高的精度确定是否存在障碍物。在获得指标值和/或确定是否含有障碍物的操作期间不对每个成像范围的中心区域进行处理的情况下，通过不对不太可能含有障碍物的中心区域进行处理而提高了确定的精度，因为如果存在靠近成像装置的成像光学系统的障碍物，那么至少成像范围的毗连区域含有障碍物。在响应于用于确定实际成像的成像条件的初步成像(在实际成像之前进行)来获得指标值的情况下，可以在实际成像之前确定障碍物的存在。因此，例如，通过通知该结果，可以在实际成像进行之前避免实际成像的失败。即使在响应于实际成像获得指标值的情况下，例如也可以通知操作者含有障碍物的事实，使得操作者能够立即意识到实际成像的失败并且能够快速地重拍另一张照片。


图I是根据本发明的实施例的立体照相机的前侧透视图。图2是立体照相机的后侧透视图。图3是示出立体照相机的内部配置的示意性框图。图4是示出立体照相机的每个成像单元的配置的示图。图5是示出立体图像文件的文件格式的示图。
图6是示出监视器的结构的示图。图7是示出柱状透镜板的结构的示图。图8是用于说明三维处理的示图。图9A是示出含有障碍物的视差图像的示图。图9B是示出不含有障碍物的视差图像的示图。图10是示出所显示的警告消息的示例的示图。图11是示出根据本发明的第一、第三、第四和第六实施例的障碍物确定单元的细节的框图。 图12A是示出含有障碍物的成像范围中的区域的光度值的一个示例的示图。图12B是示出不含有障碍物的成像范围中的区域的光度值的一个示例的示图。图13是示出相互对应区域的光度值之间的差值的一个示例的示图。图14是示出相互对应区域的光度值之间的差值的绝对值的一个示例的示图。图15是示出根据本发明的第一、第三、第四和第六实施例的成像过程流程的流程图。图16是示出根据本发明的第二和第五实施例的障碍物确定单元的细节的框图。图17A是示出算出含有障碍物的成像范围中的每组四个相邻区域的光度值的平均值的结果的一个示例的示图。图17B是示出算出不含有障碍物的成像范围中的每组四个相邻区域的光度值的平均值的结果的一个示例的示图。图18是示出相互对应组合区域的平均光度值之间的差值的一个示例的示图。图19是示出相互对应组合区域的平均光度值之间的差值的绝对值的一个示例的示图。图20是示出根据本发明的第二和第五实施例的成像过程流程的流程图。图21是示出未被计数的中心区域的一个示例的示图。图22A是示出含有障碍物的成像范围中的区域的AF评估值的一个示例的示图。图22B是示出不含有障碍物的成像范围中的区域的AF评估值的一个示例的示图。图23是示出相互对应区域的AF评估值之间的差值的一个示例的示图。图24是示出相互对应区域的AF评估值之间的差值的绝对值的一个示例的示图。图25A是示出算出含有障碍物的成像范围中的每组四个相邻区域的AF评估值的平均值的结果的一个示例的示图。图25B是示出算出不含有障碍物的成像范围中的每组四个相邻区域的AF评估值的平均值的结果的一个示例的示图。图26是示出相互对应组合区域的平均AF评估值之间的差值的一个示例的示图。图27是示出相互对应组合区域的平均AF评估值之间的差值的绝对值的一个示例的示图。图28是示出未被计数的中心区域的另一个示例的示图。图29是示出根据本发明的第七和第九实施例的障碍物确定单元的细节的框图。图30A是示出在成像单元的成像光学系统的下部包含障碍物的情况下成像范围中的区域的第一颜色信息值的一个示例的示图。
图30B是示出不含有障碍物的成像范围中的区域的第一颜色信息值的一个示例的示图。图30C是示出在成像单元的成像光学系统的下部包含障碍物的情况下成像范围中的区域的第二颜色信息值的一个示例的示图。图30D是示出不包含障碍物的成像范围中的区域的第二颜色信息值的一个示例的示图。图31是示出相互对应区域的颜色信息值之间的距离的一个示例的示图。图32是示出根据本发明的第七和第九实施例的成像过程流程的流程图。图33是示出根据本发明的第八实施例的障碍物确定单元的细节的框图。
图34A是示出在成像单元的成像光学系统的下部包含障碍物的情况下算出成像范围中的每组四个相邻区域的第一颜色信息值的平均值的结果的示例的示图。图34B是示出算出不包含障碍物的成像范围中的每组四个相邻区域的第一颜色信息值的平均值的结果的示例的示图。图34C是示出在成像单元的成像光学系统的下部包含障碍物的情况下算出成像范围中的每组四个相邻区域的第二颜色信息值的平均值的结果的示例的示图。图34D是示出算出不包含障碍物的成像范围中的每组四个相邻区域的第二颜色信息值的平均值的结果的示例的示图。图35是示出相互对应组合区域的颜色信息值之间的距离的一个示例的示图。图36是示出根据本发明的第八实施例的成像过程流程的流程图。图37是示出未被计数的中心区域的另一个示例的示图。图38是示出根据本发明的第十和第十一实施例的障碍物确定单元的细节的框图。图39A是示出根据本发明的第十实施例的成像过程流程的流程图(前一半)。图39B是示出根据本发明的第十实施例的成像过程流程的流程图(后一半)。图40A是示出根据本发明的第十一实施例的成像过程流程的流程图(前一半)。图40B是示出根据本发明的第十一实施例的成像过程流程的流程图(后一半)。
具体实施例方式下面，将参照附图描述本发明的实施例。图I是根据本发明的实施例的立体照相机的前侧透视图，以及图2是立体照相机的后侧透视图。如图I所示，立体照相机I在其上部包括释放按钮2、电源按钮3和变焦杆4。数字照相机I在其前侧包括闪光灯5以及两个成像单元21A和21B的镜头，并且在其后侧还包括用于显示各个屏幕的液晶监视器(下文将简称其为“监视器”)7、以及各种操作按钮8。图3是示出立体照相机I的内部配置的示意性框图。如图3所示，与已知立体照相机一样，根据本发明的实施例的立体照相机I包括两个成像单元21A和21B、帧存储器22、成像控制单元23、AF处理单元24、AE处理单元25、AWB处理单元26、数字信号处理单元27、三维处理单元28、显示控制单元29、压缩/解压处理单元30、介质控制单元31、输入单元33、CPU34、内部存储器35和数据总线36。成像单元2IA和2IB定位成具有针对对象的会聚角以及具有预定基线长度。会聚角和基线长度的信息存储在内部存储器27中。
图4是示出每个成像单元21A、21B的配置的示图。如图4所示，与已知立体照相机一样，每个成像单元21A、21B包括透镜10A、10B、光圈11A、11B、快门12A、12B、图像拾取器件 13A、13B、模拟前端(AFE) 14A、14B 和 A/D 转换器 15A、15B。每个透镜10AU0B由具有不同功能的多个透镜形成，例如用来聚焦于对象的聚焦透镜和用来实现变焦功能的变焦透镜。透镜驱动单元(未示出)基于成像控制单元22执行AF处理所获得的焦点数据和经变焦杆(未示出)的操作而获得的变焦数据控制每个透镜的位置。光圈驱动单元(未示出)基于成像控制单元22执行AE处理所获得的光圈值数据控制光圈IlA和IlB的光圈直径。快门12A和12B是机械快门，并且由快门驱动单元(未示出)根据通过AE处理所获得的快门速度进行驱动。 每个图像拾取器件13A、13B包括光电表面，大量光接收元件二维地布置在该光电表面上。来自对象的光聚焦于每个光电表面上并且经光电转换以提供模拟成像信号。进一步地，由有规律地布置的R、G和B滤色镜形成的滤色镜布置在每个图像拾取器件13A、13B的前侧。AFE14A和14B对从图像拾取器件13A和13B馈送的模拟成像信号进行处理(该操作在下文中被称为“模拟处理”)，以从模拟成像信号中除噪以及调节模拟成像信号的增益。A/D转换单元15A和15B将模拟成像信号转换成数字信号，其中该模拟成像信号已由AFE14A和14B进行了模拟处理。应注意的是，由成像单元21A所获得的数字图像数据表示的图像被称为第一图像G1，以及由成像单元21B所获得的数字图像数据表示的图像被称为第二图像G2。帧存储器22是用于进行各种类型的处理的工作存储器，并且表示成像单元21A和21B所获得的第一图像Gl和第二图像G2的图像数据经由图像输入控制器(未示出)输入至帧存储器22中。成像控制单元23控制各个单元所执行的操作的时序。具体地，当释放按钮2被完全按下时，成像控制单元23指示成像单元21A和21B执行实际成像，以获得第一图像Gl和第二图像G2的实际图像。应注意的是，在操作释放按钮2之前，成像控制单元23指示成像单元21A和21B以预定时间间隔(例如，以1/30秒的间隔)相继获得即时预览图像以便检查成像范围，其中即时预览图像比第一图像Gl和第二图像G2的实际图像具有更少的像素。当半按下释放按钮2时，成像单元21A和21B获得初步图像。之后，AF处理单元24基于初步图像的图像信号计算出AF评估值，基于AF评估值确定每个透镜10A、10B的聚焦区域和焦点位置，并且将它们输出至成像单元21A和21B。作为用于通过AF处理检测焦点位置的方法，使用被动方法，其中基于包含期望聚焦的对象的图像具有较高对比度值的特性检测焦点位置。例如，AF评估值可以是来自预定高通滤光镜的输出值。在这种情况下，较大的值表示较高的对比度。在该示例中，AE处理单元25使用多分区测光模式，其中成像范围被分成多个区域，并且利用每个初步图像的图像信号对每个区域进行光度测定以基于区域的光度值来确定曝光(光圈值和快门速度)。所确定的曝光输出至成像单元21A和21B。AffB处理单元26利用各初步图像的R、G和B图像信号计算出用于成像范围的每一个分区的自动白平衡控制的颜色信息值。AF处理单元24、AE处理单元25和AWB处理单元26可以针对每个成像单元相继地执行它们的操作，或者可以针对每个成像单元来设置这些处理单元以并行地执行操作。数字信号处理单元27对由成像单元21A和21B获得的第一图像Gl和第二图像G2的数字图像数据实施图像处理(例如白平衡控制、色调校正、清晰度校正和颜色校正)。在该说明书中，如同未被处理的第一和第二图像一样，已被数字信号处理单元27处理了的第一和第二图像也由相同附图标记Gl和G2表示。压缩/解压单元28根据特定压缩格式(例如JPEG)对表示由数字信号处理单元27处理了的第一图像Gl和第二图像G2的 实际图像的图像数据实施压缩处理，并且生成立体图像文件H)。立体图像文件H)包含第一图像Gl和第二图像G2的图像数据，并且存储诸如基线长度、会聚角以及成像时间和日期之类的随附信息、以及基于Exif格式表示视点位置的视点彳目息、等等。图5是示出立体图像文件的文件格式的示图。如图5所示，立体图像文件H)存储第一图像Gl的随附信息H1、第一图像Gl的视点信息SI、第一图像Gl的图像数据(该图像数据还是由附图标记Gl表示)、第二图像G2的随附信息H1、第二图像G2的视点信息S2和第二图像G2的图像数据。尽管在图中未示出，但是表示数据的起点位置和终点位置的多条信息包括在第一图像Gl和第二图像G2的随附信息、视点信息和图像数据中每一者之前和之后。随附信息HI、H2中的每一者均包含第一图像Gl和第二图像G2的成像日期、基线长度和会聚角的信息。随附信息H1、H2中的每一者还包含第一图像Gl和第二图像G2中的每一者的缩略像。作为视点信息，可以使用例如从最左侧成像单元的视点位置开始为每个视点位置分配的编号。介质控制单元29访问记录介质30并且控制图像文件的写入和读取等等。显示控制单元31在成像期间使存储在帧存储器22中的第一图像Gl和第二图像G2以及根据第一图像Gl和第二图像G2生成的立体图像GR显示在监视器7上，或者使记录在记录介质30中的第一图像Gl和第二图像G2以及立体图像GR显示在监视器7上。图6是示出监视器7的结构的示图。如图6所示，通过在包括用于发光的LED的背光单元40上堆叠用于显示各种屏幕的液晶板41并且将柱状透镜板42附接至液晶板41上来形成监视器7。图7是示出透镜板的结构的示图。如图7所示，通过并排布置多个柱状透镜43形成柱状透镜板42。为了在监视器7上立体地显示第一图像Gl和第二图像G2，三维处理单元32对第一图像Gl和第二图像G2实施三维处理以生成立体图像GR。图8是用于说明三维处理的示图。如图8所示，三维处理单元30通过将第一图像Gl和第二图像G2切割成竖直条带并且在与柱状透镜板42的各个柱状透镜43相对应的位置处交替地布置第一图像Gl和第二图像G2的条带进行三维处理，以生成立体图像GR。为了提供立体图像GR的适当立体效果，三维处理单元30可以校正第一图像Gl和第二图像G2之间的视差。可以计算出视差作为沿图像的水平方向的包含在第一图像Gl和第二图像G2中的对象的像素位置之间的差。通过控制视差，可以为包含在立体图像GR中的对象提供适当立体效果。输入单元33是操作者操作立体照相机I时使用的接口。释放按钮2、变焦杆4、各种操作按钮8等等与输入单元33相对应。CPU34根据从上述各种处理单元输入的信号控制数字照相机I的主体的部件。内部存储器35存储将在立体照相机I中设置的各种常数、由CPU34执行的程序等
坐寸ο数据总线36连接至形成立体照相机I的单元和CPU35，并且与立体照相机I进行各种数据和信息的通信。除了上述配置之外，根据本发明实施例的立体照相机I还包括用于执行本发明的障碍物确定处理的障碍物确定单元37和警告信息生成单元38。
当操作者使用根据该实施例的立体照相机I拍摄图像时，操作者在查看显示于在监视器7上的立体即时预览图像的同时进行取景。此时，例如，操作者持有立体照相机I的左手手指可能会进入成像单元21A的视角并且覆盖成像单元21A的视角的一部分。在这样的情况下，如作为示例的图9A所示，手指作为障碍物包含在由成像单元21A获得的第一图像Gl的下部处，从而看不见该部分处的背景。另一方面，如作为示例的图9B所示，由成像单元21B获得的第二图像G2不包含障碍物。在这样的情况下，如果立体照相机I配置成在监视器7上二维地显示第一图像Gl，则操作者通过查看监视器7上的即时预览图像能够识别出覆盖成像单元21A的手指等。然而，如果立体照相机I配置成在监视器7上二维地显示第二图像G2，则操作者通过查看监视器7上的即时预览图像不能识别出覆盖成像单元21A的手指等。进一步地，在立体照相机I配置成在监视器 上立体地显示由第一图像Gl和第二图像G2生成的立体图像GR的情况下，第一图像中被手指等覆盖的区域的背景信息通过第二图像G2得以补偿，操作者通过查看监视器7上的即时预览图像不能容易地识别出手指等正覆盖着成像单元21A。因此，障碍物确定单元37确定诸如手指之类的障碍物是否包含在第一图像Gl和第二图像G2中的一者内。如果障碍物确定单元37确定包含障碍物，则警告信息生成单元38生成关于该结果的警告消息，例如生成“发现障碍物”的文本消息。如作为示例的图9所示，生成的警告消息叠加在第一图像Gl或第二图像G2上以便显示在监视器7上。呈现给操作者的警告消息可以是如上所述的文本信息的形式，或者可以经由立体照相机I的诸如扬声器之类的声音输出接口(未示出)向操作者呈现声音形式的警告。图11是示意性示出根据本发明的第一实施例的障碍物确定单元37和警告信息生成单元38的配置的框图。如图中所示，在本发明的第一实施例中，障碍物确定单元37包括指标值获得单元37A、区域间差值计算单元37B、区域间绝对差值计算单元37C、区域计数单元37D和确定单元37E。障碍物确定单元37的这些处理单元可以通过内置程序(其由CPU34或用于障碍物确定单元37的通用处理器执行)实施为软件，或者可以以用于障碍物确定单元37的专用处理器的形式实施为硬件。在障碍物确定单元37的处理单元实施为软件的情况下，可以通过更新现有立体照相机中的固件来提供上述程序。指标值获得单元37A获取每个成像单元21A、21B的成像范围中由AE处理单元25获得的各区域的光度值。图12A示出在成像单元21A的成像光学系统的下部处包含障碍物的情况下成像范围中的各个区域的光度值的一个示例，以及图12B示出不包含障碍物的成像范围中的各个区域的光度值的一个示例。在这些示例中，这些值是7 X 7个区域(通过划分每个成像单元21A、21B的成像范围的中心70%区域而提供)的100倍精度的光度值。如图12A所示，含有障碍物的区域往往较暗并且具有较小的光度值。区域间差值计算单元37B计算出成像范围中相互对应位置处的每组区域的光度值之间的差。即，假设成像单元21A的成像范围中第i行且第j列处的区域的光度值为IVl (i，j)，以及成像单元21B的成像范围中第i行且第j列处的区域的光度值为IV2(i，j)，则通过下列等式计算出相互对应区域的光度值之间的差值Λ να，j)AIV(i, j) =IVl(i, j)-IV2(i, j)。图13示出了在假设图12A所示的每个光度值为IVl(i，j)且图12B所示的每个光度值为IV2(i，j)的情况下针对相互对应区域计算出的差值Λ να，j)的示例。
区域间绝对差值计算单元37C计算每个差值Λ IV(i，j)的绝对值| Λ IV(i，j) |。图14示出了所计算出的图13所示差值的绝对值的示例。如图中所示，在障碍物覆盖成像单元的成像光学系统中的一个的情况下，成像范围中被障碍物覆盖的区域具有较大的绝对值 I Λ να，j) |。区域计数单元37D将绝对值I AIV(i，j) |与预定的第一阈值进行比较，并且对具有大于第一阈值的绝对值I Λ να，j) I的区域的数量CNT进行计数。例如，在图14所示的情况下，假设阈值为100，则49个区域中的13个区域具有大于100的绝对值I Λ IV(i，j)。确定单元37E将由区域计数单元37D获得的计数CNT与预定的第二阈值进行比较。如果计数CNT大于第二阈值，确定单元37E则输出信号ALM，以请求输出警告消息。例如，在图14所示的情况中，假设第二阈值为5，为13的计数CNT大于第二阈值，因此输出信号 ALM。警告信息生成单元38响应于从确定单元37E输出的信号ALM而生成并输出警告消息MSG。应注意的是，上文描述中的第一和第二阈值可以是预先通过实验或者经验确定的固定值，或者可以由操作者通过输入单元33进行设置和改变。图15是示出本发明第一实施例中实施的处理流程的流程图。首先，当检测到释放按钮2的半按下状态时(#1 :是)，分别由成像单元21A和21B获得用于确定成像条件的初步图像Gl和G2 (#2)。然后，AF处理单元24、AE处理单元25和AWB处理单元26执行操作以确定各种成像条件，并且根据确定的成像条件控制成像单元21A和21B的部件(#3)。此时，AE处理单元25获得成像单元21A和21B的成像范围中各个区域的光度值IVl (i，j)、IV2(i, j)。然后，在障碍物确定单元37处，指标值获得单元37A获得各个区域的光度值IVl (i，j), IV2(i，j) (#4)，区域间差值计算单元37B计算出成像范围之间的相互对应位置处的每组区域的光度值IVl (i，j )与IV2 (i，j )之间的差值Λ IV (i，j ) (#5),并且区域间绝对差值计算单元37C计算出每个差值Λ να，j)的绝对值I Λ να，j) I (#6)。然后，区域计数单元37D对具有大于第一阈值的绝对值I Λ να，j) I的区域的数量CNT进行计数(#7)。如果计数CNT大于第二阈值(#8 :是)，确定单元37E输出信号ALM，以请求输出警告消息，并且警告信息生成单元38响应于信号ALM生成警告消息MSG。生成的警告消息MSG叠加于当前显示在监视器7上的即时预览图像上而显示(#9)。相比之下，如果计数CNT的值不大于第二阈值(#8 :否)，则跳过上述步骤#9。其后，当检测到释放按钮2的完全按下状态时(#10 :完全按下)，成像单元21A和21B进行实际成像，并且获得实际图像Gl和G2 (#11)。实际图像Gl和G2由数字信号处理单元27进行处理，然后，三维处理单元30根据第一图像Gl和第二图像G2生成立体图像GR，并且输出立体图像GR (#12)。然后，一系列操作结束。应注意的是，如果在步骤#10中释放按钮2保持半按下(#10 :半按下)，则维持步骤#3中设置的成像条件以等待释放按钮2的进一步操作，以及当取消半按下状态时(#10 :取消)，该处理返回至步骤#1以等待释放按钮2被半按下。如上所述，在本发明的第一实施例中，AE处理单元25获得立体照相机I的成像单元21A和21B的成像范围中的区域的光度值。利用这些光度值，障碍物确定单元 37计算出成像单元的成像范围中相互对应位置处的每组区域的光度值之间的差值的绝对值。然后，对具有大于预定第一阈值的差值绝对值的区域的数量进行计数。如果区域的计数数量大于预定第二阈值，则确定在成像单元21A和21B的成像范围的至少一个中包含障碍物。这消除了设置独立于图像拾取器件的用于障碍物确定处理的测光器件的需要，由此在硬件设计中提供了更高的自由度。进一步地，相比于仅根据一个图像确定含有障碍物的区域的情况，通过比较不同成像单元的成像范围之间的光度值，能够以更高准确度实现关于是否存在障碍物的确定。更进一步地，由于针对成像范围中相互对应位置处的每组区域执行光度值的比较，因此相对于基于图像内容的特征进行拍摄图像之间的匹配的情况，能够减小计算成本和功耗。再进一步地，由于障碍物确定单元37利用通常成像操作期间所获得的光度值执行关于是否存在障碍物的确定，因此无需计算新指标值，这有益于处理效率。进一步地，光度值被用作确定是否存在障碍物的指标值。因此，即使当成像范围中的障碍物和其背景具有相似纹理或相同颜色，也可以基于成像范围中障碍物和背景之间的亮度差做出含有障碍物的可靠确定。每个划分区域具有的大小比对应于一个像素的大小足够大。因此，因成像单元之间的视差引起的误差在该区域中被分散，这允许更准确的包含障碍物的确定。应注意的是，划分区域的数量不限于7X7个。由于障碍物确定单元37响应于在实际成像之前进行的初步成像而获得光度值，因此可以在实际成像之前执行关于覆盖成像单元的障碍物的确定。然后，如果存在覆盖成像单元的障碍物，则向操作者呈现由警告信息生成单元38生成的消息，由此允许在进行实际成像之前避免实际成像的失败。应注意的是，尽管在上述实施例中障碍物确定单元37利用由AE处理单元25获得的光度值实现关于是否存在障碍物的确定，但是可能存在这样的情况不能获得成像范围中每个区域的光度值，例如当使用不同曝光系统时。在这样的情况下，可以以如上所述的相同方式将由每个成像单元21A、21B获得的每个图像Gl、G2划分成多个区域，并且可以计算出每个区域的亮度值的代表值(例如平均值或中间值)。以这种方式，除了用于计算亮度值的代表值的附加处理负荷之外，可以提供如上所述的相同效果。图16是示意性地示出根据本发明第二实施例的障碍物确定单元37和警告信息生成单元38的配置的框图。如图中所示，除了第一实施例的配置之外，本发明的第二实施例还包括平均指标值计算单元37F。关于由指标值获得单元37A获得的各个区域的指标值IVl (i，j)、IV2(i，j)，平均指标值计算单元37F计算出每组四个相邻区域的光度值的平均值IVl’ (m, η)和平均值IV2’(m，n)，其中“m，n”指的是输出时的区域数量(行数和列数)与输入时的区域数量不同，这是通过计算减少了数量。图17A和图17B示出了这样的示例，其中，关于图12A和图12B所示7X7个区域的光度值，计算出每组四个相邻区域(例如图12A所示封闭在Rl中的四个区域)的光度值的平均值，并且获得6X6个区域的平均光度值(包围在Rl中的四个区域的值的平均光度值是图17A所示包围在R2中的区域的值)。应注意的是，用于计算平均值的输入时包括在每组中的区域的数量不限于四个。在下文的描述中，输出时的每个区域被称为“组合区域”。·除了用组合区域替换第一实施例中的区域之外，第二实施例中处理单元的下面操作与第一实施例中的那些相同。即，在该实施例中，区域间差值计算单元37B计算出成像范围中相互对应位置处的每组组合区域的平均光度值之间的差值AIV’(m，n)。图18示出了计算出的图17A和图17B所示的相互对应组合区域的平均光度值之间的差值的示例。区域间绝对差值计算单元37C计算光度值之间的每个差值Λ IV’(m，η)的绝对值Λ IV’ (m, η) |。图19示出了计算出的图18所示的平均光度值之间的差值的绝对值的示例。区域计数单元37D对平均光度值之间的差值的绝对值I Λ IV’(m，n) |大于第一阈值的组合区域的数量CNT进行计数。在图19所示的示例中，假设阈值为100，则36个区域中8个区域具有大于100的绝对值I AIV(i，j)|。由于在区域计数单元37D对数量CNT进行计数时成像范围中的区域的数量不同于第一实施例的区域的数量，因此第一阈值可以具有与第一实施例的第一阈值不同的值。如果计数值CNT大于第二阈值，确定单元37E则输出信号ALM,以请求输出警告消息。类似于第一阈值，第二阈值也可以具有与第一实施例的第二阈值不同的值。图20是示出在本发明的第二实施例中执行的处理流程的流程图。如图中所示，在步骤#4中指标值获得单元37A获得各个区域的光度值IVl (i，j)、IV2(i，j)之后，平均指标值计算单元37F关于各个区域的指标值IVl (i，j)、IV2(i，j)计算出每组四个相邻区域的光度值的平均值IVl’(m，n)和IV2’(m，n) (#4.1)。除了用组合区域替换第一实施例中的区域之外，下面操作的流程与第一实施例的相同。如上所述，在本发明的第二实施例中，平均指标值计算单元37F组合在光度测定时所划分的区域，并且计算出每个组合区域的平均光度值。因此，因成像单元之间的视差而产生的误差通过对区域进行组合而得以分散，由此减少了错误的确定。应注意的是，在该实施例中，组合区域的指标值(光度值)不限于组合之前的区域的指标值的平均值，而可以是任何其它代表值，例如中间值。在本发明的第三实施例中，不对第一实施例中光度测定时的区域IVl (i，j)、IV2(i, j)当中围绕中心的区域进行计数。具体地，在图15所示的流程图的步骤#7中，区域计数单元37D对除围绕中心的区域之外的相互对应区域的光度值之间的差值的绝对值I Λ να，j> I大于第一预定阈值的区域的数量CNT进行计数。图21示出了这样的示例，其中，未对图14所示的7X7个区域当中围绕中心的3X3个区域进行计数。在这种情况下，假设阈值为100，则毗连的40个区域中的11个区域具有大于100的绝对值I Λ να，j) |。然后，确定单元37E将该值(11)与第二阈值进行比较以确定是否存在障碍物。作为选择，指标值获得单元37A可以不获取围绕中心的3X3个区域的光度值，或者区域间差值计算单元37B或区域间绝对差值计算单元37C不针对围绕中心的3X3个区域进行计算，并且可以设置在围绕中心的3X3个区域处不被区域计数单元37D计数的值。应注意的是，围绕中心的区域的数量不限于3X3。如上所述，本发明的第三实施例利用了障碍物总是从其毗连区域进入成像范围的事实。在获得光度值且进行关于是否存在障碍物的确定时，通过不对每个成像范围的中心区域(不太可能包含障碍物)进行计数，能够以更高准确度实现该确定。
在本发明的第四实施例中，AF评估值取代用于第一实施例中的光度值而被用作指标值。即，除了在图15所示流程图的步骤#4中图11所示框图中的指标值获得单元37A获取成像单元21A和21B的成像范围中各个区域的由AF处理单元24获得的AF评估值之外，第四实施例中的操作与第一实施例中的那些相同。图22A示出了在成像单元21A的成像光学系统的下部处包含障碍物的情况下其成像范围中各个区域的AF评估值的一个示例，以及图22B示出了不包含障碍物的成像范围中的各个区域的AF评估值的一个示例。在该示例中，每个成像单元21A、21B的成像范围被划分成7X7个区域，并且在焦点所处的位置比障碍物距照相机更远的状态下计算出每个区域的AF评估值。因此，如图22A所示，包含障碍物的区域具有低AF评估值和低对比度。图23示出了在假设图22A所示的每个AF评估值为IVl (i，j)且图22B所示的每个AF评估值为IV2(i，j)的情况下计算出的相互对应区域之间的差值Λ να，j)的示例。图24示出了计算出的差值Λ να，j)的绝对值I Λ να，j) I的示例。如图中所示，在该示例中，当成像单元的成像光学系统中的一个被障碍物覆盖时，成像范围中被障碍物覆盖的区域具有大绝对值I AIV(i，j) |。因此，对具有大于预定的第一阈值的绝对值I Λ να，j) I的区域的数量CNT进行计数，并且确定计数CNT是否大于预定的第二阈值，从而确定被障碍物覆盖的区域。应注意的是，由于指标值的数值意义与第一实施例中的不同，因此第一阈值的值与第一实施例中的不同。第二阈值可以与第一实施例中的相同或不同。如上所述，在本发明的第四实施例中，AF评估值被用作确定关于是否存在障碍物的指标值。因此，即使在成像范围中的障碍物和背景具有相同亮度水平或相同颜色的情况下，也可以基于成像范围中的障碍物和背景之间的不同纹理而做出包含障碍物的可靠确定。尽管上述实施例中障碍物确定单元37利用了由AF处理单元24获得的AF评估值对是否存在障碍物进行确定，然而还可能存在这样的情况不能获得成像范围中每个区域的AF评估值，例如当使用不同聚焦系统时。在这种情况下，可以以如上所述相同的方式将每个成像单元21A、21B获得的每个图像Gl、G2划分成多个区域，并且可以针对每个区域计算出表示高频分量的量的来自高通滤波器的输出值。以这种方式，除了用于高通滤波的额外负荷之外，可以提供与上文描述相同的效果。在本发明的第五实施例中，AF评估值取代用于第二实施例中的光度值而被用作指标值，并且提供了与第二实施例中相同的效果。除了指标值不同之外，障碍物确定单元37的配置与图16的框图中所示的相同，并且处理流程与图20的流程图中所示的相同。图25A和25B示出了这样的示例，其中，关于图22A和图22B所示的7X7个区域的AF评估值，计算出每组四个相邻区域的AF评估值的平均值，以提供6X6个区域的平均AF评估值。图26示出了计算出的相互对应组合区域的平均AF评估值之间的差值的示例，以及图27示出了计算出的图26所示差值的绝对值的示例。在本发明的第六实施例中，AF评估值取代用于第三实施例中的光度值而用作指标值，并且提供了与第三实施例中相同的效果。图28示出了这样的示例，其中，不对图24所示的7X7个区域当中的围绕中心的3X3个区域进行计数。 在本发明的第七实施例中，AWB颜色信息值取代用于第一实施例中的光度值而用作指标值。当颜色信息值用作指标值时，简单地计算出相互对应区域之间的差(例如在光度值和AF评估值的情况下)的效果不好。因此，使用相互对应区域的颜色信息值之间的距离。图29是示意性地示出根据该实施例的障碍物确定单元37和警告信息生成单元38的配置的框图。如图中所示，设置区域间颜色距离计算单元37G以取代第一实施例中的区域间差值计算单元37B和区域间绝对差值计算单元37C。在该实施例中，指标值获得单元37A获取成像单元21A和21B的成像范围中各个区域的由AWB处理单元26获得的颜色信息值。图30A和图30C示出了在成像单元21A的成像光学系统的下部中含有障碍物的情况下其成像范围中各个区域的颜色信息值的示例，以及图30B和图30D示出了不含有障碍物的成像范围中各个区域的颜色信息值的示例。在图30A和图30B所示的示例中，R/G被用作颜色信息值，而在图30C和图30D所示的示例中，B/G被用作颜色信息值(其中R、G和B分别指的是RGB颜色空间中的红色信号、绿色信号和蓝色信号的信号值，并且表示每个区域的平均信号值)。在障碍物出现在靠近成像光学系统的位置处的情况下，障碍物的颜色信息值接近表示黑色的颜色信息值。因此，当成像单元21A和21B的成像范围中的一个包含障碍物时，成像范围的各区域的颜色信息值之间距离大。应注意的是，用于计算颜色信息值的方法不限于上述方法。颜色空间不限于RGB颜色空间，而是可以使用任何其它颜色空间，例如Lab。区域间颜色距离计算单元37G计算出成像范围中相互对应位置处的区域的颜色信息值之间的距离。具体地，在每个颜色信息值由两个元素形成的情况下，计算出颜色信息值之间的距离，例如，作为各个区域内的元素的值在坐标平面中绘图的两点之间的距离，其中第一元素和第二元素是坐标的两个垂直轴。例如，假设成像单元21A的成像范围中处于第i行且第j列的区域的颜色信息值的元素的值是RGl和BG1，并且成像单元21B的成像范围中处于第i行且第j列的区域的颜色信息值的元素的值是RG2和BG2，则根据下面等式计算出相互对应区域的颜色信息值之间的距离D D = ^(RG1-RG2)2 + (BG1-BG2)2图31示出了基于图30A至图30D所示的颜色信息值计算的相互对应区域的颜色信息值之间的距离的示例。区域计数单元37D将颜色信息值之间的距离D的值与预定的第一阈值进行比较，并且对具有大于第一阈值的距离D的值的区域的数量CNT进行计数。例如，在图31所示的示例中，假设阈值是30，则49个区域中25个区域具有大于30的距离D的值。类似于第一实施例，如果由区域计数单元37D获得的计数CNT大于第二阈值，确定单元37E则输出信号ALM,以请求输出警告消息。应注意的是，由于指标值的数值含义不同于第一实施例中的指标值的数值含义，因此第一阈值的值与第一实施例中的不同。第二阈值可以与第一实施例中的相同或者不同。图32是示出本发明的第七实施例中实施的处理流程的流程图。首先，类似于第一实施例，当检测到释放按钮2的半按下状态时(#1 :是)，由成像单元21A和21B分别获得用于确定成像条件的初步图像Gl和G2 (#2)。然后，AF处理单元24、AE处理单元25和AWB处理单元26执行操作以确定各种成像条件，并且根据确定的成像条件控制成像单元21A和 2IB的部件(#3)。此时，AffB处理单元26获得成像单元2IA和2IB的成像范围中各个区域的颜色信息值IVl (i，j)、IV2(i，j)。然后，在障碍物确定单元37处，在指标值获得单元37A获取各个区域的颜色信息值IVl(i，j)、IV2(i，j) (#4)之后，区域间颜色距离计算单元37G计算出各成像范围中相互对应位置处的每组区域的颜色信息值之间的距离D(i，j)(#5. I)。然后，区域计数单元37D对颜色信息值之间的距离D(i，j)的值大于第一阈值的区域的数量CNT进行计数(#7. I)。后续操作的流程与第一实施例中的步骤#8以及后续步骤的相同。如上所述，在本发明的第七实施例中，颜色信息值被用作指标值以便确定是否存在障碍物。因此，即使当成像范围中的障碍物和其背景具有相同亮度水平或相似纹理时，也可以基于成像范围中的障碍物和背景之间的颜色差而做出包含障碍物的可靠确定。应注意的是，尽管在上述实施例中障碍物确定单元37利用由AWB处理单元26获得的颜色信息值实现关于是否存在障碍物的确定，然而也可能存在这样的情况不能获得成像范围中每个区域的颜色信息值，例如使用不同自动白平衡控制方法的情况。在这种情况下，可以按照如上所述相同的方式将由每个成像单元21A、21B获得的每个图像Gl、G2划分成多个区域，并且可以针对每个区域计算出颜色信息值。以该方式，除了计算颜色信息值的额外负荷之外，可以提供与上文描述相同的效果。图33是示意性地示出根据本发明的第八实施例的障碍物确定单元37和警告信息生成单元38的配置的框图。如图中所示，除了第七实施例的配置之外，本发明的第八实施例还包括平均指标值计算单元37F。平均指标值计算单元37F关于由指标值获得单元37A获得的各个区域的颜色信息值IVl(i，j)、IV2(i，j)的元素计算出每组四个相邻区域的颜色信息值IVl(i，j)和IV2(i，j)的元素值的平均值IVl’(m，n)和平均值IV2’(m，n)。此处“m，η”具有与第二实施例中相同的含义。图34Α至图34D示出了这样的示例，其中通过计算图30Α至图30D所示的7X7个区域的每组四个相邻区域的颜色信息值的元素的平均值，获得6 X 6个区域(组合区域)的平均颜色信息元素。应注意的是，输入时每组中包括的用于计算平均值的区域的数量不限于四个。除了用组合区域替换第七实施例中的区域之外，第八实施例中的处理单元的后续操作与第七实施例中的那些相同。图35示出了计算出的图34Α至图34D所示的相互对应组合区域的颜色信息值之间的距离的示例。如图36的流程图所示，该实施例中的操作流程是第二和第七实施例的处理的组合。即，在该实施例中，类似于第二实施例，在指标值获得单元37A在步骤#4中获得各个区域的颜色信息值IVl (i，j)、IV2(i，j)之后，平均指标值计算单元37F关于各个区域的指标值IVl (i，j)、IV2(i，j)计算出每组四个相邻区域的颜色信息值的平均值IVl’ (m, η)、IV2’(m，n) (#4.1)。除了用组合区域替换第七实施例中的区域之外，其它操作流程与第七实施例中的相同。以该方式，颜色信息值被用作指标值的本发明的第八实施例提供了与第二和第五实施例中相同的效果。在本发明的第九实施例中，不对第七实施例中的自动白平衡控制时所划分的区域IVl(i, j)和IV2(i，j)当中围绕中心的区域进行计数，并且提供了与第三实施例中相同的效果。图37示出了这样的示例，其中，在自动白平衡控制时所划分的7X7个区域当中，区域计数单元37D不对围绕中心的3X3个区域进行计数。可以使用上述实施例中作为示例所描述的两个或更多个不同类型的指标值进行关于是否存在障碍物的确定。具体地，可以根据第一至第三实施例中的任一个基于光度值进行关于是否存在障碍物的确定，然后，可以根据第四至第六实施例中的任一个基于AF评估值进行确定，之后，可以根据第七至第九实施例中的任一个基于颜色信息值进行确定。然后，如果在至少一个确定过程中确定了包含障碍物，则可以确定至少一个成像单元被障碍物覆盖。图38是示意性地示出根据本发明的第十实施例的障碍物确定单元37和警告信息生成单元38的配置的框图。如图中所示，该实施例的障碍物确定单元37的配置是第一、第四和第七实施例的配置的组合。即，该实施例的障碍物确定单元37由下面所列单元形成用于光度值、AF评估值和AWB颜色信息值的指标值获得单元37A ;用于光度值和AF评估值的区域间差值计算单元37B ;用于光度值和AF评估值的区域间绝对差值计算单元37C ；区域间颜色距离计算单元37G ;用于光度值、AF评估值和AWB颜色信息值的区域计数单元37D ；以及用于光度值、AF评估值和AWB颜色信息值的确定单元37E。这些处理单元的具体内容与第一、第四和第七实施例中的那些相同。图39A和图39B示出了在本发明的第十实施例中实施的处理流程的流程图。如图中所示，类似于各个实施例，当检测到释放按钮2的半按下状态时(#21 :是)，分别由成像单元21A和21B获得初步图像Gl和G2以便确定成像条件(#22)。然后，AF处理单元24、AE处理单元25和AWB处理单元26执行操作以确定各种成像条件，并且根据确定的成像条件控制成像单元2IA和2IB的部件(#32)。步骤#24至#28中的操作与第一实施例中的步骤#4至#8中的那些相同，其中基于光度值进行障碍物确定过程。步骤#29至#33中的操作与第四实施例中的步骤#4至#8中的那些相同，其中基于AF评估值进行障碍物确定过程。步骤#34至#37中的操作与第七实施例中的步骤#4至#8中的那些相同，其中基于AWB颜色信息值进行障碍物确定过程。然后，如果在确定过程的任一个中确定了包含障碍物(#28、#33、#37 :是)，则类似于上述实施例，与所使用的指标值的类型相对应的确定单元37E输出信号ALM以请求输出 警告消息，并且警告信息生成单元38响应于信号ALM生成警告消息MSG (#38)。后续步骤#39至#41与上述实施例中的步骤#10至#12相同。如上所述，根据本发明的第十实施例，如果利用不同类型的指标值在至少一个确定过程中确定了包含障碍物，则确定至少一个成像单元被障碍物覆盖。这允许通过其它类型指标值的优势来补偿基于一种类型指标值的特性的劣势，由此在成像范围中障碍物和背景的各种条件下以更高且更稳定的准确度实现是否包含障碍物的确定。例如，在成像范围中障碍物和其背景具有相同亮度水平的情况下，仅基于光度值难以正确地确定包含障碍物，因此还可以基于AF评估值或颜色信息值进行确定，由此实现正确的确定。另一方面，在本发明的第十一实施例中，如果利用不同类型的指标值在所有的确定过程中都确定了包含障碍物，则确定至少一个成像单元被障碍物覆盖。根据该实施例的障碍物确定单元37和警告信息生成单元38的配置与第十实施例中的相同。图40A和图40B示出了在本发明的第^^一实施例中实施的处理流程的流程图。如图中所示，步骤#51至#57中的操作与第十实施例中的步骤#21至#27中的操作相同。在 步骤#58中，如果光度值的绝对值大于阈值ThlAE的区域的数量小于或者等于阈值Th2AE，则跳过基于其它类型指标值的确定过程(#58 :否)。相反，如果光度值的绝对值大于阈值ThlAE的区域的数量大于阈值Th2AE，即，如果基于光度值确定了包含障碍物，则按照与第十实施例中的步骤#29至#32中相同的方式进行基于AF评估值的确定过程(#59至#62 )。然后，在步骤#63中，如果AF评估值的绝对值大于阈值ThlAF的区域的数量小于或者等于阈值Th2AF，则跳过基于其它类型指标值的确定过程(#63 :否)。相反，如果AF评估值的绝对值大于阈值ThlAJ^区域的数量大于阈值Th2AF，即，如果基于AF评估值确定了包含障碍物，则按照与第十实施例中的步骤#34至#36中相同的方式进行基于AWB颜色信息值的确定过程(#64至#66)。然后，在步骤#67中，如果基于AWB颜色信息值的颜色距离大于阈值ThlATO的区域的数量小于或等于阈值Th2ATO，则跳过步骤#68中生成和显示警告消息的操作(#67 :否)。相反，如果基于AWB颜色信息值的颜色距离大于阈值ThlATO的区域的数量大于阈值Th2ATO，SP，如果基于AWB颜色信息值确定了包含障碍物(#67 :是)，此时，则基于光度值、AF评估值和颜色信息值的全部来确定包含障碍物。因此，类似于上述实施例，输出信号ALM以请求输出警告消息，并且警告信息生成单元38响应于信号ALM生成警告消息MSG (#68)。后续步骤#69至#71与第十实施例中的步骤#39至#41相同。如上所述，根据本发明的第十一实施例，仅当基于所有类型的指标值做出相同确定时，包含障碍物的确定才是有效的。以此方式，减少了错误的确定(错误的确定是即使在实际上不包含障碍物时也做出了包含障碍物的确定)。作为第十一实施例的变型，仅当基于三种类型指标值当中的两个或更多个类型指标值做出相同确定时，包含障碍物的确定才被认为有效。具体地，例如，在图40A和图40B所示的步骤#58、#63和#67中，可以在每个步骤中设置表示确定结果的标记，并且在步骤#67之后，如果两个或更多个标记具有表示含有障碍物的值，则可以执行步骤#68中生成并显示警告消息的操作。或者，在上述第十和第十一实施例中，可以仅使用三种类型指标值当中的两种类型的指标值。上述实施例仅作为示例呈现，并且所有上述说明不应解释为限制本发明的技术范围。进一步地，在不脱离本发明的思想和范围的情况下，对上述实施例中立体成像设备的配置、处理流程、模块配置、用户接口以及处理的具体内容做出的变化和修改也落入本发明的技术范围内。例如，尽管在上述实施例中当半按下释放按钮时进行上述确定，然而例如也可以在完全按下释放按钮时进行确定。即使在这种情况下，也可以在实际成像之后立即通知操作者所拍下的照片是包含障碍物的不成功照片的事实，并且可以重新拍摄另一张照片。以该方式，不成功的照片得以充分减少。进一步地，尽管上述实施例中将包括两个成像单元的立体照相机作为示例进行描述，然而本发明还适用于包括三个或更多个成像单元的立体照相机。假设成像单元的数量为N，则可以通过针对成像单元的 NC2组合重复确定过程或并行地执行确定过程来实现关于至少一个成像光学系统是否被障碍物覆盖的确定。更进一步地，在上述实施例中，障碍物确定单元37还可以包括视差控制单元，其可以通过指标值获得单元37A进行操作并且在经过视差控制的成像范围上进行后续操作。具体地，视差控制单元使用已知技术从第一图像Gl和第二图像G2检测主对象(例如人的脸部)，找出在图像之间提供O视差的视差控制量(图像中主对象的位置之间的差)(详情例如参见日本未审查专利公布No. 2010-278878和No. 2010-288253)，并且利用视差控制量变换(例如，平移)成像范围中至少一个的坐标系。这减小了图像中对象的视差对来自区域间差值计算单元37B或区域间颜色距离计算单元37G的输出值的影响，由此提高了由确定单元37E执行的障碍物确定的准确度。在立体照相机具有微距(近摄)成像模式(提供适于拍摄位于靠近照相机的位置处的对象的成像条件)的情况下，在设置成微距成像模式时，应该是要拍摄靠近照相机的对象。在这种情况下，可能将对象自身错误地确定为障碍物。因此，在上述障碍物确定过程之前，可以获得成像模式的信息，并且如果设置的成像模式为微距成像模式，则可以不执行障碍物确定过程，即，不执行获得指标值和/或确定是否包含障碍物的操作。或者，可以执行障碍物确定过程，并且即使在确定包含障碍物时也可以不呈现通知。或者，即使在未设置微距成像模式时，如果从成像单元21A和21B至对象的距离(对象距离)小于预定阈值，则可以不执行障碍物确定过程，或者可以执行障碍物确定过程但即使在确定包含障碍物时也不呈现通知。为了计算对象距离，可以使用成像单元21A和21B的聚焦透镜的位置和AF评估值，或者可以使用三角测量以及第一图像Gl和第二图像G2之间的立体匹配。在上述实施例中，当立体显示第一图像Gl和第二图像G2(其中图像之一包含障碍物而另一个图像不包含障碍物)时，难以识别出障碍物出现在立体显示图像中的什么地方。因此，当障碍物确定单元37确定包含障碍物时，可以对第一图像Gl和第二图像G2中不包含障碍物的一个进行处理，以使得不包含障碍物的图像的与另一个图像的包含障碍物的区域相对应的区域也呈现包含障碍物。具体地，首先，使用指标值识别每个图像中的包含障碍物的区域(障碍物区域)或对应于障碍物区域的区域(障碍物对应区域)。障碍物区域是指标值之间的差值的绝对值大于上述预定阈值的区域。然后，识别出第一图像Gl和第二图像G2中包含障碍物的那一个。在指标值为光度值或亮度值的情况下通过识别图像中包括较暗障碍物区域的那一个，或者在指标值为AF评估值的情况下通过识别图像中包括具有较低对比度的障碍物区域的那一个，或者在指标值为颜色信息值的情况下通过识别图像中包括具有接近黑色的颜色的障碍物区域的那一个，可以实现对实际上包含障碍物的图像的识别。然后，对第一图像Gl和第二图像G2中实际上不包含障碍物的另一个进行处理，以将障碍物对应区域的像素值改变成实际上包含障碍物的图像的障碍物区域的像素值。以此方式，障碍物对应区域具有与障碍物区域相同的黑暗度、对比度和颜色，即，它们都显示了包含障碍物的状态。通过以即时预览图像等形式立体地显示如此处理了的第一图像Gl和第二图像G2，有利于障碍物存在的视觉识别。应注意的是，当如上所述改变像素值时，可以不改变黑暗度、对比度和颜色中的全部而仅仅改变其中的一些。上述实施例中的障碍物确定单元37和警告信息生成单元38可以结合到立体显示设备(例如数码相框)或数字照片打印机中，所述立体显示设备根据含有多个视差图像的图像文件(例如，上述实施例中的第一图像Gl和第二图像G2的图像文件(参见图5))生成立体图像GR，并将该立体图像GR输入到该立体显示设备以进行立体显示，所述数字照片打印机打印用于立体观察的图像。在这种情况下，上述实施例中各个区域的光度值、AF评估值、AWB颜色信息值等可以被记录为图像文件的随附信息，从而使用所记录的信息。进一步地， 关于上述微距成像模式的问题，如果将成像设备控制成在微距成像模式期间不执行障碍物确定过程，则可以将指示确定不执行障碍物确定过程的信息记录为每个拍摄图像的随附信息。在这种情况下，设有障碍物确定单元37的设备可以确定随附信息是否包括指示确定不执行障碍物确定过程的信息，并且如果随附信息包括指示确定不执行障碍物确定过程的信息，则可以不执行障碍物确定过程。或者，如果成像模式被记录为随附信息，则在成像模式为微距成像模式的情况下可以不执行障碍物确定过程。
权利要求
1.一种立体成像设备，包括 多个成像装置，其用于拍摄对象并且输出多个拍摄图像，所述成像装置包括成像光学系统，所述成像光学系统定位成允许使用从所述成像装置输出的所述拍摄图像立体地显示所述对象，其中每个成像装置在其成像范围中的多个点或多个区域处进行光度测定，从而利用通过所述光度测定所获得的光度值确定用于拍摄图像的曝光； 指标值获得装置，其用于针对每个成像装置的成像范围的多个子范围中的每个子范围获得光度值作为指标值；以及 障碍物确定装置，其用于将多个不同成像装置的成像范围中相互对应位置处的每组子范围的指标值彼此进行比较，并且在所述多个不同成像装置的成像范围的指标值之间的差大得足以满足预定标准的情况下，确定至少一个成像装置的成像范围包含靠近所述至少一个成像装置的所述成像光学系统的障碍物。
2.如权利要求I所述的立体成像设备，其中，所述成像装置输出通过实际成像所拍摄的图像并且输出通过初步成像所拍摄的图像，所述初步成像在所述实际成像之前进行以便确定用于所述实际成像的成像条件，并且所述指标值获得装置响应于所述初步成像获得所述指标值。
3.如权利要求I或2所述的立体成像设备，其中，每个成像装置基于其成像范围中所述多个点或多个区域处的AF评估值执行所述成像装置的所述成像光学系统的聚焦控制，以及 所述指标值获得装置针对每个成像装置的成像范围的每个子范围获得所述AF评估值作为附加指标值。
4.如权利要求I或2所述的立体成像设备，其中，所述指标值获得装置从每个所述拍摄图像中提取高得足以满足预定标准的高空间频率分量的量，并且获得所述高空间频率分量的每个子范围的量作为附加指标值。
5.如权利要求I至4中任一项所述的立体成像设备，其中，每个成像装置基于其成像范围中所述多个点或多个区域处的颜色信息值执行所述成像装置的自动白平衡控制，以及 所述指标值获得装置针对每个成像装置的成像范围的每个子范围获得所述颜色信息值作为附加指标值。
6.如权利要求I至4中任一项所述的立体成像设备，其中，所述指标值获得装置根据每个拍摄图像计算出每个子范围的颜色信息值，并且获得所述颜色信息值作为附加指标值。
7.如权利要求1、3或5所述的立体成像设备，其中，每个子范围中包括所述多个点或多个区域中的两个或更多个，以及 所述指标值获得装置基于每个子范围中的所述多个点或多个区域处的指标值计算出所述子范围的指标值。
8.如权利要求I至7中任一项所述的立体成像设备，其中，所述指标值获得装置和/或所述障碍物确定装置不对每个成像范围的中心区域进行处理。
9.如权利要求3、4、5和6中任一项或从属于权利要求3、4、5和6中任一项的权利要求7或8所述的立体成像设备，其中所述障碍物确定装置基于两个或更多类型的指标值进行所述比较，并且在基于至少一个指标值的差大得足以满足预定标准的情况下，确定至少一个成像装置的成像范围包含靠近所述至少一个成像装置的所述成像光学系统的障碍物。
10.如权利要求I至9中任一项所述的立体成像设备，还包括通知装置，其中，如果确定所述成像范围中包含障碍物，所述通知装置则通知该结果。
11.如权利要求I至10中任一项所述的立体成像设备，其中所述障碍物确定装置控制各成像范围中各位置之间的对应关系，以提供从所述成像装置输出的各所述拍摄图像中主对象的视差基本为0，之后，将所述多个不同成像装置的所述成像范围中的相互对应位置处的每组子范围的指标值彼此进行比较。
12.如权利要求I至11中任一项所述的立体成像设备，还包括 微距成像模式设置装置，其用于设置微距成像模式，所述微距成像模式提供适于拍摄位于靠近所述立体成像设备的位置处的对象的成像条件；以及 用于执行控制以使得当设置成所述微距成像模式时不进行所述确定的装置。
13.如权利要求I至12中任一项所述的立体成像设备，还包括 用于计算对象距离的装置，所述对象距离是从所述成像装置至所述对象的距离；以及 用于执行控制以使得在所述对象距离小于预定阈值的情况下不进行所述确定的装置。
14.如权利要求I至13中任一项所述的立体成像设备，还包括 用于在所述障碍物确定装置确定包含障碍物的情况下基于所述指标值识别所述拍摄图像中包含障碍物的任何一个图像并且识别所识别出的拍摄图像中包含所述障碍物的区域的装置；以及 用于改变未被识别为包含障碍物的拍摄图像的与所识别出的拍摄图像的所识别出的区域相对应的区域以使得与所识别出的区域相对应的区域具有与所识别出的区域相同的像素值的装置。
15.一种障碍物确定装置，包括 指标值获得装置，其用于从通过使用成像装置从不同位置拍摄主对象所获得的用于立体地显示所述主对象的多个拍摄图像、或者从所述拍摄图像的随附信息，获得用于拍摄每个拍摄图像的每个成像范围中的多个点或多个区域处的光度值作为所述成像范围的每个子范围的指标值，所述光度值通过光度测定而获得，用于确定用于拍摄图像的曝光；以及 确定装置，其用于将多个不同拍摄图像的各成像范围中相互对应位置处的每组子范围的指标值彼此进行比较，并且在所述多个不同拍摄图像的成像范围的指标值之间的差大得足以满足预定标准的情况下，确定至少一个拍摄图像的成像范围包含靠近所述成像装置的成像光学系统的障碍物。
16.一种用于立体成像设备的障碍物确定方法，所述立体成像设备包括用于拍摄对象并且输出拍摄图像的多个成像装置，所述成像装置包括定位成允许使用从所述成像装置输出的所述拍摄图像立体地显示所述对象的成像光学系统，所述方法被用于确定至少一个成像装置的成像范围中是否包含障碍物， 其中每个成像装置在其成像范围中的多个点或多个区域处执行光度测定，以利用通过所述光度测定所获得的光度值确定用于拍摄图像的曝光，以及 所述方法包括以下步骤 针对每个成像装置的成像范围的多个子范围中每个子范围获得所述光度值作为指标值；以及 将多个不同成像装置的成像范围中的相互对应位置处的每组子范围的指标值彼此进行比较，并且在所述多个不同成像装置的各成像范围的指标值之间的差大得足以满足预定标准的情况下，确定至少一个成像装置的成像范围包含靠近所述至少一个成像装置的所述成像光学系统的障碍物。
17.—种能够结合到立体成像设备中的障碍物确定程序，所述立体成像设备包括用于拍摄对象并且输出拍摄图像的多个成像装置，所述成像装置包括定位成允许使用从所述成像装置输出的所述拍摄图像立体地显示所述对象的成像光学系统， 其中每个成像装置在其成像范围中的多个点或多个区域处进行光度测定，以利用通过所述光度测定所获得的光度值确定用于拍摄图像的曝光，以及 所述程序使所述立体成像设备执行以下步骤 针对每个成像装置的成像范围的多个子范围中每个子范围获得所述光度值作为指标值；以及 将多个不同成像装置的成像范围中的相互对应位置处的每组子范围的指标值彼此进行比较，并且在所述多个不同成像装置的各成像范围的指标值之间的差大得足以满足预定标准的情况下，确定至少一个成像装置的成像范围包含靠近所述至少一个成像装置的所述成像光学系统的障碍物。
全文摘要
在复眼成像设备中，能够以较高准确度以及较低的计算成本和功耗确定在成像装置的成像范围内是否存在诸如手指之类的障碍物。在障碍物确定单元(37)中，针对每个成像装置的每个成像范围内的多个小范围中的每个小范围获取预定指标值。对不同成像装置的成像范围中的相互对应位置处的小范围的指标值进行比较。在不同成像装置的成像范围的指标值之间的差大得足以满足预定标准的情况下，确定至少一个成像装置的成像范围包含靠近该至少一个成像装置的成像光学系统的障碍物。
文档编号G03B35/08GK102959970SQ20118003293
公开日2013年3月6日 申请日期2011年6月29日 优先权日2010年6月30日
发明者河口武弘 申请人:富士胶片株式会社