立体图像再生装置及方法、立体摄像装置、立体显示器装置的制作方法

专利名称：立体图像再生装置及方法、立体摄像装置、立体显示器装置的制作方法
技术领域：
本发明涉及立体图像再生装置及方法、立体摄像装置、立体显示器装置，特别地，涉及对记录在3维图像文件中的立体图像适当地进行再生显示的技木。
背景技术：
立体摄像装置使用左右具有视差而排列的2个摄像部(摄像单元)，从左右视点对同一拍摄对象进行拍摄，分别获取左眼用的图像和右眼用的图像，将其记录在记录介质中。通过从记录介质读取该获取的左右图像，输入可进行3维(3D)显示的3D显示器，显示为可以分别用左眼和右眼识别左眼用的图像和右眼用的图像，从而可以作为立体图像识别。3D显示器具有多种画面尺寸，存在所记录的左右图像的视差量不适合于要再生显示该左右图像的3D显示器的尺寸的情況。在这种情况下，从画面伸出或拉入的量过大，发生无法识别为自然的立体图像的问题。 针对上述课题，在再生装置中进行由左眼用图像和右眼用图像生成可在任意视点观看的中间视点图像。为此，为了从视点不同的多张图像生成中间视点图像，必须求出图像之间像素的对应关系而推定进深。但是，要在显示时进行不易视觉疲劳的显示(例如视差控制)时，存在不清楚可以针对多大进深范围进行显示的课题。要进行这种显示，必须根据拍摄时的可视角或摄像面的尺寸、透镜中心与摄像面的距离等条件适当地确定观看距离。为了解决上述问题，在专利文献I中公示了ー种在大于或等于2个视点的图像传输中，传输拍摄图像的照相机的摄像尺寸及透镜中心与摄像面的距离的信息的技木。根据该技术，可以在显示侧获取摄像时的可视角的信息。专利文献I :日本特开2003-333621号公报

发明内容
但是，在专利文献I的技术中，存在显示装置侧的处理繁杂的缺点。另外，作为涉及数据传输的技术，并未公示在将立体图像记录在记录介质上的情况下，如何记录这些信
o本发明是鉴于上述情况提出的，其目的在于提供ー种立体图像再生装置及方法、立体摄像装置、立体显示器装置，该立体图像再生装置根据记录在3维图像文件中的附属信息，以适当的视差量显示立体图像。为了实现上述目的，第一发明的立体图像再生装置的特征在于，具有第I获取单元，其读取记录有立体观看用的多张视点图像、和针对该多张视点图像的附属信息的3维图像文件，从该3维图像文件获取上述多张视点图像及附属信息，上述附属信息包含在将上述多张视点图像显示在立体显示器上时可双眼融合的最大显示器尺寸；第2获取单元，其获取输出目标的立体显示器的显示器尺寸；判断単元，其对上述获取的上述立体显示器的显示器尺寸和上述最大显示器尺寸进行比较，判断上述立体显示器的显示器尺寸是否大于上述最大显示器尺寸；图像处理单元，其在判断上述立体显示器的显示器尺寸大于上述最大显示器尺寸的情况下，根据通过上述第I获取单元获取的多张视点图像，生成该多张视点图像间的至少远景侧视差减小的多张视点图像；以及输出単元，其在通过上述判断单元判断上述立体显示器的显示器尺寸大于上述最大显示器尺寸的情况下，将通过上述图像处理单元生成的视点图像输出至上述立体显示器，在判断上述立体显示器的显示器尺寸小于或等于上述最大显示器尺寸的情况下，将通过上述第I获取单元获取的视点图像输出至上述立体显示器。此外，这里所说的“远景侧”是指从摄像単元向拍摄对象侧远离的远位侧，反之，“近景侧”是指与远景侧相反的，从拍摄对象向摄像单元侧靠近的近位侧。根据上述第一发明，因为对立体显示器的显示器尺寸和从3维图像文件获取的最大显示器尺寸进行比较，如果判断立体显示器的显示器尺寸较大，则生成至少远景侧视差减小的多张视点图像并输出至立体显示器，所以可以以适当的视差量显示立体图像。另外，为了实现上述目的，第二发明的立体图像再生装置的特征在于，具有 第I获取单元，其读取记录有立体观看用的多张视点图像、和附属信息的3维图像文件，从 该3维图像文件获取上述多张视点图像及附属信息，上述附属信息包含该多张视点图像中远景侧的最大视差量;第2获取单元，其获取输出目标的立体显示器的显示器尺寸；判断単元，其根据上述获取的远景侧的最大视差量、上述立体显示器的显示器尺寸、和表示人的双眼间距的规定值，判断在将上述多张视点图像显示在立体显示器上时是否可双眼融合；图像处理单元，其在通过上述判断単元判断无法双眼融合的情况下，根据通过该第I获取单元获取的多张视点图像，生成使该多张视点图像中远景侧的视差减小的多张视点图像；以及输出单元，其在通过上述判断単元判断无法双眼融合的情况下，将通过上述图像处理单元生成的视点图像输出至上述立体显示器，在判断可实现上述双眼融合的情况下，将通过上述第I获取单元获取的视点图像输出至上述立体显示器。根据上述第二发明，因为可以根据从3维图像文件获取的至少远景侧的最大视差量、立体显示器的显示器尺寸、和表示人的双眼间距的规定值，判断在将从3维图像文件获取的多张视点图像显示在立体显示器上时双眼可否融合，在判断为双眼无法融合的情况下，生成至少远景侧的视差减小的多张视点图像，并将其输出至立体显示器，所以可以以适当的视差量显示立体图像。另外，在第二发明的立体图像再生装置中，优选上述判断単元具有图像偏移量计算单元，其根据上述获取的远景侧的最大视差量和上述立体显示器的显示器尺寸，计算在将上述多张视点图像显示在上述立体显示器上的情况下的与上述最大视差量相对应的立体显示器上的图像偏移量，该判断単元根据上述计算出的图像偏移量是否超过表示人的双眼间距的规定值，判断是否可双眼融合。由此，可以判断双眼可否适当地融合。此外，在第一发明及第ニ发明的立体图像再生装置中，优选上述图像处理单元实施上述多张视点图像间的视差移动，以使得上述立体显示器上的上述多张视点图像的远景侧的最大视差量小于或等于表示人的双眼间距的规定值，并生成进行该视差移动后的视点移动图像。由此，可以适当地生成视点图像。此外，在第一发明及第ニ发明的立体图像再生装置中，优选上述3维图像文件的附属信息包含上述多张视点图像中的近景侧的最大视差量，该立体图像再生装置具有カロ法计算单元，其将上述立体显示器上的上述多张视点图像的近景侧的最大视差量与上述视点移动图像在上述立体显示器上的偏移量相加；以及判断単元，其判断在显示在上述立体显示器上时，与上述相加后的近景侧的最大视差量相对应的图像偏移量是否超过双眼融合界限，上述输出单元在通过上述判断単元判断图像偏移量超过双眼融合界限的情况下，将通过上述第I获取单元获取的多张视点图像中的任一张输出至上述立体显示器而显示2维图像。由此，可以显示适当的图像。而且，在第一发明及第ニ发明的立体图像再生装置中，优选上述图像处理单元具有视差量计算单元，其根据通过上述第I获取单元获取的多张视点图像，计算表示特征ー致的特征点间的偏移量的视差量；以及假想视点图像生成単元，其根据通过上述第I获取单元获取的多张视点图像中的至少I张视点图像、和通过上述视差量计算单元计算出的视差量，生成与任意假想视点相对应的I张或多张假想视点图像。
由此，可以生成适当的视点图像。这时，在第一发明及第ニ发明的立体图像再生装置中，优选上述输出单元，在通过上述判断単元判断上述立体显示器的显示器尺寸大于上述最大显示器尺寸，或上述计算出的图像偏移量超过表示人的双眼间距的规定值的情况下，将通过上述第I获取单元获取的多张视点图像中的任I张输出至上述立体显示器，显示2维图像，然后，如果通过上述图像处理单元生成上述假想视点图像，则取代上述2维图像而输出上述假想视点图像。由此，在假想视点图像生成需要时间的情况下，也可以在立体显示器上显示图像。另外，在第一发明及第ニ发明的立体图像再生装置中，优选具有显示用图像生成単元，其根据上述多张视点图像生成图像尺寸比该视点图像小的多张显示用图像，上述图像处理单元取代通过上述第I获取单元获取的多张视点图像而使用上述生成的多张显示用图像，生成该多张显示用图像间的至少远景侧的视差减小的多张显示用图像，上述输出単元将通过上述显示用图像生成単元生成的显示用图像或通过上述图像处理单元生成的显示用图像输出至上述立体显示器。由此，可以将适当尺寸的图像输出至立体显示器。此外，在第一发明及第ニ发明的立体图像再生装置中，优选具有记录单元，其将通过上述图像处理单元生成的视点图像及通过上述显示用图像生成単元生成的显示用图像中的至少I个，追加或覆盖在上述3维图像文件中。由此，可以在下一次显示时不进行图像处理而显示适当的视差量的图像。另外，为了实现上述目的，第三发明的立体摄像装置的特征在于，具有摄像单元，其获取从多个视点拍摄同一拍摄对象的多张视点图像；视差量计算单元，其从上述获取的多张视点图像计算出视差量，该视差量表示特征一致的特征点间的偏移量；最大视差量获取単元，其获取上述计算出的各特征点的视差量中远景侧的最大视差量；最大显示器尺寸获取单元，其根据上述获取的远景侧的最大视差量，获取在将由上述多张视点图像形成的立体图像显示在立体显示器上时可双眼融合的最大显示器尺寸；记录单元，其生成记录上述多张视点图像的3维图像文件，将该3维图像文件记录在记录介质上，该记录单元将上述多张视点图像记录在上述3维图像文件中，并且，将上述远景侧的最大视差量及最大显示器尺寸作为附属信息记录在上述3维图像文件中；以及技术方案I至9中任意一项记载的立体图像再生装置。由此，可以以适当的视差量显示立体图像。此外，为了实现上述目的，第四发明的立体显示装置的特征在于，具有上述输出目标的立体显示器；以及技术方案I至9中任意一项所述的立体图像再生装置。由此，可以以适当的视差量显示立体图像。为了实现上述目的，第五发明的立体图像再生方法的特征在于，具有第I获取エ序，在该エ序中，读取记录有立体观看用的多张视点图像和针对该多张视点图像的附属信息的3维图像文件，从该3维图像文件获取上述多张视点图像及附属信息，上述附属信息 包含在将上述多张视点图像显示在立体显示器上时可双眼融合的最大显示器尺寸；第2获取エ序，在该エ序中获取输出目标的立体显示器的显示器尺寸；判断エ序，在该エ序中，对上述获取的上述立体显示器的显示器尺寸和上述最大显示器尺寸进行比较，判断上述立体显示器的显示器尺寸是否大于上述最大显示器尺寸；图像处理工序，在该エ序中，在判断为上述立体显示器的显示器尺寸大于上述最大显示器尺寸的情况下，根据通过上述第I获取エ序获取的多张视点图像，生成该多张视点图像间的至少远景侧的视差减小的多张视点图像；以及输出エ序，在该エ序中，在通过上述判断エ序判断上述立体显示器的显示器尺寸大于上述最大显示器尺寸的情况下，将通过上述图像处理工序生成的视点图像输出至上述立体显示器，在判断上述立体显示器的显示器尺寸小于或等于上述最大显示器尺寸的情况下，将通过上述第I获取エ序获取的视点图像输出至上述立体显示器。为了实现上述目的，第六发明的立体图像再生方法的特征在于，具有第I获取エ序，在该エ序中，读取记录有立体观看用的多张视点图像和针对该多张视点图像的附属信息的3维图像文件，从该3维图像文件获取上述多张视点图像及附属信息，上述附属信息包含该多张视点图像中远景侧的最大视差量；第2获取エ序，在该エ序中获取输出目标的立体显示器的显示器尺寸；判断エ序，在该エ序中，根据上述获取的远景侧最大视差量、上述立体显示器的显示器尺寸、和表示人的双眼间距的规定值，判断在将上述多张视点图像显示在立体显示器上时是否可双眼融合；图像处理工序，在该エ序中，在通过上述判断エ序判断无法双眼融合的情况下，根据通过上述第I获取エ序获取的多张视点图像，生成该多张视点图像间的至少远景侧的视差减小的多张视点图像；以及输出エ序，在该エ序中，在通过上述判断エ序判断为无法双眼融合的情况下，将通过上述图像处理工序生成的视点图像输出至上述立体显示器，在判断为可以实现上述双眼融合的情况下，将通过上述第I获取エ序获取的视点图像输出至上述立体显示器。发明的效果根据本发明，可以根据记录在3维图像文件中的附属信息，以适当的视差量显示立体图像。


图I是表示拍摄2张视点图像的情况的图。图2是示意地表示3D图像文件的数据结构的图。图3是表示拍摄、记录处理的流程图。
图4是表示2张视点图像的一例的图。图5是表示拍摄4张视点图像的情况的图。图6是示意地表示3D图像文件的数据结构的图。图7是示意地表示3D图像文件的数据结构的其他形式的图。图8是用于对假想视点进行说明的图。图9是示意地表示3D图像文件的数据结构的图。图10是用于说明视差移动原通的图。图11是表示左右视点图像与视差移动的图。
图12是表示拍摄、记录处理的流程图。图13是示意地表示3D图像文件的数据结构的图。图14是表示再生显示处理的流程图。图15是表示基于最大视差量的再生显示处理的流程图。图16是表示3D图像文件中记录的处理的流程图。图17是示意地表示3D图像文件的数据结构的图。图18是表示进行2D显示的处理的流程图。图19是表示考虑最大视差量(近景)的处理的流程图。图20是表示立体摄像装置的外观的图。图21是表示立体摄像装置的内部结构的框图。图22是表示立体图像再生装置和3D显示器的整体结构的图。图23是表示立体图像再生装置的内部结构的框图。
具体实施例方式本发明的立体图像再生装置具有第I获取单元、第2获取单元、判断単元、图像处理单元及输出单元。首先，通过第I获取单元读取记录有立体观看用的多张视点图像、和针对该多张视点图像的附属信息的3维图像文件，从该3维图像文件获取多张视点图像及附属信息，该附属信息包含在将多张视点图像显示在立体显示器上时可双眼融合的最大显示器尺寸(第I获取エ序)。另外，通过第2获取单元获取输出目标的立体显示器的显示器尺寸(第2获取エ序)。然后，通过判断単元对获取的立体显示器的显示器尺寸和最大显示器尺寸进行比较，判断立体显示器的显示器尺寸是否大于最大显示器尺寸(判断エ序)。并且，如果判断立体显示器的显示器尺寸大于最大显示器尺寸，则图像处理单元根据通过第I获取单元获取的多张视点图像，生成该多张视点图像间的至少远景侧的视差减小的多张视点图像(图像处理工序)。最后，输出单元将通过图像处理单元生成的视点图像输出至立体显示器，在判断立体显示器的显示器尺寸小于或等于最大显示器尺寸的情况下，将通过第I获取单元获取的视点图像输出至立体显示器(输出エ序)。通过使用上述结构，对立体显示器的显示器尺寸和从3维图像文件获取的最大显示器尺寸进行比较，在判断立体显示器的最大显示器尺寸较大的情况下，可以生成至少远景侧的视差减小的多张视点图像，并输出至立体显示器。其结果，可以以适当的视差量显示立体图像。或者，在通过第I获取单元获取多张视点图像及附属信息，通过第2获取单元获取输出目标的立体显示器的显示器尺寸之后，根据通过判断单元获取的远景侧的最大视差量、立体显示器的显示器尺寸和表示人的双眼间距的规定值，判断在将多张视点图像显示在立体显示器上时是否可双眼融合。并且，如果通过判断単元判断为无法双眼融合，则使用图像处理单元根据通过第I获取单元获取的多张视点图像，生成该多张视点图像间的远景侧的视差减小的多张视点图像。然后，如果通过判断単元判断无法双眼融合，则使用输出单元将通过图像处理单元生成的视点图像输出至立体显示器，如果判断为可双眼融合，则将通过第I获取单元获取的视点图像输出至立体显示器。通过上述处理，可以根据从3维图像文件获取的至少远景侧的最大视差量、立体显示器的显示器尺寸、和表示人的双眼间距的规定值，判断在将从3维图像文件获取的多张视点图像显示在立体显示器上时是否可双眼融合，在判断为无法双眼融合的情况下，生成至少远景侧的视差减小的多张视点图像，并输出至立体显示器。其结果，可以以适当的视差量显示立体图像。这时，优选判断単元具有偏移量计算单元，该偏移量计算单元根据获取的远景侧的最大视差量和立体显示器的显示器尺寸，计算将多张视点图像显示在立体显示器上的情况下的与最大视差量相对应的立体显示器上的图像偏移量，该判断単元根据计算出的图像偏移量是否超过表示人的双眼间距的规定值，判断可否双眼融合。由此可以适当地判断可否双眼融合。此外，在上述各种立体图像再生装置中，图像处理单元优选实施多张视点图像间 的视差移动，以使得立体显示器上的多张视点图像的远景侧的最大视差量小于或等于表示的人的双眼间距的规定值，并生成进行该视差移动后的视点移动图像。由此可以适当地生成视点图像。此外，优选3维图像文件的附属信息包含多张视点图像中的近景侧的最大视差量，上述立体图像装置具有加法计算单元和判断単元，该加法计算单元将立体显示器上的多张视点图像的近景侧最大视差量与视点移动图像在立体显示器上的偏移量相加，该判断単元判断在立体显示器上显示时，与加法计算获取的近景侧的最大视差量相对应的图像偏移量是否超过双眼融合界限，如果通过判断単元判断图像偏移量超过双眼融合界限，则输出单元将通过第I获取单元获取的多张视点图像中的任I张输出至立体显示器上，显示2维图像。而且，优选图像处理单元具有视差量计算单元，其根据通过第I获取单元获取的多张视点图像，计算表示特征一致的特征点间的偏移量的视差量；以及假想视点图像生成単元，其根据通过第I获取单元获取的多张视点图像中的至少I张视点图像和通过视差量计算单元计算出的视差量，生成与任意假想视点相对应的I张或多张假想视点图像。这是为了可以生成适当的视点图像。这时，如果通过判断単元判断立体显示器的显示器尺寸大于最大显示器尺寸，或者，计算出的图像偏移量超过表示人的双眼间距的规定值，则优选输出単元将通过第I获取单元获取的多张视点图像中的任I张输出至立体显示器，显示2维图像，在之后通过图像处理单元生成假想视点图像时，取代2维图像输出假想视点图像。这是为了即使在生成假想视点图像需要时间的情况下，也可以在立体显示器上显示图像。另夕卜，优选具有显示用图像生成単元，其根据多张视点图像生成图像尺寸比该视点图像小的多张显示用图像，图像处理单元取代通过第I获取单元获取的多张视点图像而使用生成的多张显示图像，生成该多张显示用图像间的至少远景侧的视差减小的多张显示用图像，输出单元将通过显示用图像生成単元生成的显示用图像、或通过图像处理单元生成的显示用图像输出至立体显示器。这是为了可以将适当尺寸的图像输出至立体显示器。此外，优选具有记录单元，其将通过图像处理单元生成的视点图像及通过显示用图像生成単元生成的显示用图像中的至少一方，追加或覆盖在3维图像文件中。这是为了在下一次显示时不进行图像处理即可显示适当的图像处理。下面，按照附图，对于本发明的实施方式的一部分进行详细说明。[第I实施方式]对于第I实施方式涉及的3D图像文件进行说明。图I是表示利用2个摄像装置101-2、101-3的各自的摄像单元，从不同的视点对拍摄对象100拍摄2张视点图像(摄像エ序)的情况的图，图2是不意地表不记录通过图I所示的摄像单元101-2、102-3的各摄像单元拍摄的2张视点图像201-2、201-3的3D图像文件的数据结构的图。图2所示的3D图像文件是基于MP格式的MP文件，将同一拍摄对象的多张视点图像连结而收容在I个文件中。对于相连结的各视点图像，在其数据前端记录SOKStart o fImage)标记，并且,在末端记录EOI (End of Image)标记。由此,可以识别各图像的读入开始位置和结束位置。此外，各视点图像数据由图像区域和附属信息区域构成。在附属信息区域中，除了由拍摄装置信息及拍摄模式信息等构成的Exif附属信息之外，在本实施方式中，还记录下述附属信息，其包含图像记录时获取的最大显示器尺寸(宽度、高度)(単位_)、图像记录时假定的视距(观察立体图像时的观看者与显示器间的距离)(単位mm)、最大视差量(近景)(％)、最大视差量(远景)(％)、拍摄各视点图像的装置的辐辏角、基线长度、摄像部配置(视点编号)、获取各视点图像时的拍摄次数。使用图3的流程图，对于用于记录这种3D图像文件的拍摄、记录处理进行说明。首先，获取多张视点图像(步骤S11)。在这里，如图I所示，利用2个摄像装置101-2、101-3对拍摄对象100分别拍摄I张图像，获取2张视点图像20ト2、20ト3。此外，在这里，将摄像装置101-2设为2号视点，将摄像装置101-3设为3号视点。然后，使用视差量计算单元从2张视点图像201-2、201_3中提取多个特征点(步骤S12)，计算每个特征点的视差量(步骤S13)。在这里，所谓视差量，是指在视点图像间的对应特征点距离各视点图像的左端的距离的差，单位是像素。根据按照这种方式计算出的各特征点的视差量，使用最大视差量获取单元获取近景侧的最大视差量和远景侧的最大视差量(步骤S14)。图4是表不2张视点图像的一例的图，图4A表不左视点图像201-2,图4B表不右视点图像201-3。在图4的例子中，近景侧的最大视差量是213N，具有该视差量的特征点(最大视差量位置(近景))，分别是211N、212N。另外，远景侧的最大视差量是213F，具有该视差量的特征点(最大视差量位置(远景))分别是211F、212F。S卩，在立体观看基于这2张视点图像201-2,201-3的立体图像的情况下，在最近处可看到最大视差量位置(近景)，在最远处可看到最大视差量位置(远景)。该近景侧的最大视差量213N及远景侧的最大视差量213F与图像宽度的比值(％)即为最大视差量(近景)(°/。)、最大视差量(远景)(％)。根据按照上述方式计算出的最大视差量，使用最大显示器尺寸获取单元获取最大显示器尺寸(步骤S15)。如果远景侧的视差量超过人的双眼间距，则图像本身的位置无法双眼融合，从而无法进行立体观看。因此，根据在步骤S14中计算出的最大视差量(远景)与图像宽度的比值(％)，获取视差不超过人的双眼间距的最大显示器尺寸。例如，假定人的双眼间距为50mm，如果最大视差量(远景)与图像宽度的比值是10%，则立体观看所容许的最大显示器宽度为500mm。即，如果是宽度小于或等于500mm的显示器，最大视差位置(远景)的视差量未超过两眼间距50mm，可显示，其結果，观看者可以进行立体观看。在这里，在假定长宽比为16:9的显示器的情况下，最大显示器高度为281. 25mm。此外，人的双眼间距可以对应于作为对象的观看者而适当确定。例如，在仅以成人为对象的情况下，可以设定为65mm等较宽的值。例如，假定人的双眼间距为65mm，如果最大视差量(远景)相对于图像宽度的比值是15%，则立体观看可容许的最大显示器宽度约为433mm。另外，在假定长宽比为16:9的显不器的情况下，最大显不器的闻度约为244mm。另外，也可以不根据人的双眼间距计算，而是预先准备记录有与最大视差量相对 应的最大显示器尺寸的表格，通过參照该表格，获取最大显示器尺寸。最后，如图2所示，使用记录单元将2张视点图像201-2、201_3和附属信息，作为I个3D图像文件进行记录(步骤S 16)。S卩，在视点图像201-2的SOI标记之后，在附属信息中包含并记录在步骤S15中获取的最大显示器尺寸、假想的视距、在步骤S 14中获取的最大视差量(近景)(％)、最大视差量(远景)(％)、步骤Sll中的摄像装置101-2、101-3的辐辏角、基线长度、视点编号、及拍摄次数，然后，记录视点图像201-2的图像信息、EOI标记。此外，记录视点图像201-3的SOI标记、附属信息、图像信息、EOI标记。可以在视点图像201-3的附属信息区域仅记录Exif附属信息。如上所述，可以记录图2所示的3D图像文件。按照上述方式记录的3D图像文件，在要显示在3D显示器上时通过立体图像再生装置读取。这时，在立体图像再生装置中，通过对3D图像文件的附属信息中记录的最大显示器尺寸与将要显示的3D显示器的显示尺寸进行比较，可以容易地判断是否可立体观看。因此，在判断为可立体观看的情况下，直接显示所记录的图像的即可，从而可以减少立体图像再生装置对应于图像尺寸而调整视差量的处理。另外，在必须由立体图像再生装置调整视差量的情况下，通过使用附属信息中记录的假想视距或拍摄次数的信息，可以适当地调整视差量。此外，在本实施方式中，仅根据远景侧的最大视差量确定最大显示器尺寸，但也可以考虑近景侧的最大视差量而决定。通过考虑近景侧的最大视差量，则不仅是远景侧，也可以适当地确定对于近景侧可立体观看的最大显示器尺寸。例如，可以将近景侧的视差量小于或等于50mm的显示器尺寸作为最大显示器尺寸。如果近景侧的视差量増大，则因为观看者进行立体观看会感到疲劳，所以优选小于或等
于规定量。[第2实施方式]在第I实施方式中，以从2个视点拍摄的2张视点图像为例进行了说明，但本发明涉及的立体图像的视点个数并不限定于2个点，也可以是多视点的视点图像。图5是利用4个摄像装置101-1至101-4，从不同的视点对拍摄对象100拍摄4张视点图像的情况的图。在这里，使摄像装置101-1至101-4的视点编号依次为I至4。图6是示意地表示记录由这4个摄像装置101-1至101-4拍摄的4张视点图像的3D图像文件的数据结构的图。在该3D图像文件中，除了 4张视点图像之外，还记录有将通过显示用图像生成単元生成的各视点图像的尺寸縮小后的显示用图像。作为显示用图像，可以使用分辨率为1920X1080的全HD尺寸图像。如图6所示，这些图像按照下述顺序记录，即1号视点的视点图像(以下称为视点图像(1))、1号视点的显示用图像(以下称为缩略图(1))、2号视点的视点图像(以下称为视点图像(2))、2号视点的显示用图像(以下称为缩略图(2))、3号视点的视点图像(以下称为视点图像(3))、3号视点的显示用图像(以下称为缩略图(3))、4号视点的视点图像(以下称为视点图像(4))、4号视点的显示用图像(以下称为缩略图(4))。首先，作为前端图像，记录在作为基准视点的I号视点拍摄的视点图像(1)，该记录区域含有SOI标记、附属信息区域、图像信息区域、及EOI标记。 在附属信息区域中，与第I实施方式同样地，除了摄像设备信息或摄像模式信息等Exif 附属信息之外，还包含并记录最大显示器尺寸、假想视距、最大视差量(近景)、最大视差量(远景)、拍摄各视点图像的装置的辐辏角、基线长度、摄像部配置(视点编号)、获取各视点图像时的拍摄次数等附属信息。此外，作为该最大显示器尺寸、最大视差量等记录使用该3D图像文件整体的情况下的值。具体地说，根据以在基准视点拍摄的视点图像(I)为基准而视差量最大的视点图像(在这里是视点图像(4))，计算出最大视差量，井根据该最大视差量获取最大显示器尺寸，记录这些最大视差量及最大显示器尺寸。关于辐辏角、基线长度等，可以记录与拍摄同一视点图像(在这里是视点图像(4))的装置之间的辐辏角、基线长度。此外，在图像信息区域中记录视点图像(I)的图像信息，然后记录EOI标记。在视点图像(I)之后，记录由视点图像(I)生成的缩略图(1)，该记录区域与前述同样地，具有SOI标记、附属信息区域、图像信息区域、及EOI标记。在附属信息区域中记录通常的Exif附属信息。在缩略图(I)之后记录视点图像(2)。在视点图像(2)的记录区域，也具有SOI标记、附属信息区域、图像信息区域、及EOI标记。在附属信息区域中，除了通常的Exif附属信息之外，包含并记录根据该视点图像
(2)和在基准视点拍摄的视点图像(I)计算出的最大显示器尺寸、假想视距、最大视差量(近景)、最大视差量(远景)、拍摄2张视点图像的装置的辐辏角、基线长度、视点编号、拍摄2张视点图像时的拍摄次数等附属信息。在视点图像(2)之后，记录根据视点图像(2)生成的缩略图(2)，然后记录视点图像(3)。对于视点图像(3)的记录区域也同样地，具有SOI标记、附属信息区域、图像信息区域、及EOI标记，在附属信息区域中，除了通常的Exif附属信息之外，记录由该视点图像
(3)和在基准视点拍摄的视点图像(I)计算出的最大显示器尺寸等。然后，对于视点图像(4)也同样地进行记录。如上所述，在记录多视点的视点图像的情况下，作为各视点图像的附属信息，优选记录与前端图像相关的最大显示器尺寸。
按照这种方式记录的3D图像文件，在显示在3D显示器上时，可通过立体图像再生装置读取。这时，在立体图像再生装置中，通过对记录在3D图像文件的附属信息中的每张视点图像的最大显示器尺寸，与将要进行显示的3D显示器的显示尺寸进行比较，从而可以容易地判断是否可以适当地立体观看。此外，多视点图像的记录顺序并不限定于图6所示的顺序。例如，如图7A所示，也可以按照视点图像(I)、缩略图(I)至缩略图(4)、视点图像(2)至视点图像(4)的顺序记录。通过预先在前面记录显示用的缩略图，可以加快进行显示时的文件读取时的图像读入，缩短在3D显示器上显示图像为止所需的时间。另外，各视点图像主要用于打印，因为打印需要规定的时间，所以即使将缩略图记录在文件的后半部，也不会有问题。此外，各缩略图的记录顺序，也可以是先记录在3D显示器上显示时的推荐图像。例如，如果推荐由缩略图(2)和缩略图(3)进行立体显示，则如图7B所示，也可以在前端图像的视点图像(I)之后记录缩略图(2)、缩略图(3)，然后，记录缩略图(I)、缩略图(4)。 2张图像视差量较小时，即使显示器很大也可以立体显示。另外，使用靠近中央部的视点的图像时，适合于立体观看。因此，在这种情况下，推荐2号视点和3号视点处的图像，从而优选预先将缩略图(2)和缩略图(3)记录在前面。同样地，如果推荐由缩略图(I)和缩略图(3)进行的立体显示，则如图7C所示，也可以在前端图像的视点图像(I)之后，记录缩略图(I)、缩略图(3)，然后记录缩略图(2)、缩略图(4)。在存在立体显示中的推荐图像的情况下，也可以在作为前端图像的视点图像(I)的附属信息中记录推荐图像相关的最大显示器尺寸、假定视距、最大视差量。[第3实施方式]第2实施方式这种多视点图像，不一定全部是实际拍摄的图像，也可以包含与假想视点相对应的假想视点图像。例如，如图8所示，利用2个摄像装置101-1、101-4，对拍摄对象100从不同的视点(I号视点、4号视点)拍摄2张视点图像。此外，也可以使用假想视点图像生成単元，在与I号视点和4号视点不同的视点，生成实际不存在的假想视点处的2号视点、3号视点的视点图像2、视点图像3。为了生成假想视点图像，存在对多张拍摄图像的各像素进行内分的方法，或使用由多个拍摄图像生成的视差对应图和I张拍摄图像生成的方法等，但并不特别限定。图9A是示意地表示记录按照上述方式获取的各视点图像的3D图像文件的数据结构的图。在该图的例子中，记录实际拍摄的2张视点图像(I)、视点图像(4)、和作为它们的显示用图像的缩略图(I)、缩略图(4)、及作为假想视点图像的显示用图像的缩略图(2)、缩略图(3)。首先，作为前端图像而记录视点图像(1)，在其后记录缩略图(2)、缩略图(3)、缩略图(I)、缩略图(4)，然后，记录视点图像(4)。在这里，缩略图的顺序按照推荐顺序记录，但是，也可以按照视点的排列顺序记录，或按照向中央视点接近的顺序记录。另外，缩略图
(2)、缩略图(3)可以由缩略图(I)及缩略图(4)生成，也可以由视点图像(I)及视点图像(4)生成。
与前述同样地，各图像的记录区域具有SOI标记、附属信息区域、图像信息区域、及EOI标记。另外，在视点图像(I)的附属信息区域，除了最大显示器尺寸、假想距离、最大视差量之外，还记录表示各视点编号是实际进行拍摄的视点(实际视点)还是假想视点的视点信息。另外，也可以不具有显不用图像，而仅记录打印用的视点图像。在图9B所不的例子中，记录实际拍摄的2张视点图像(I)、视点图像(4)、和作为假想视点图像的视点图像(2)、视点图像(3)。另外，作为记录顺序，使用打印或显示的推荐顺序，具体地说，作为前端图像记录视点图像(2)，在其后记录视点图像(3)、视点图像(I)、视点图像(4)。与前述同样地，也可以按照视点顺序进行记录。由此，通过生成并记录假想视点图像，作为实际视点图像只要有2张图像即可，从而可以实现摄像装置的摄像光学系统的简单化、轻量化。
[第4实施方式]在判断如果显示在假定尺寸的显示器上，则远景侧的视差量超过人的双眼间距的情况下，也可以进行图像的视差量调整以使得显示在该尺寸的显示器上也可以立体观看，然后再记录。 在本实施方式中，作为视差量调整，进行视差移动。图10是用于说明视差移动的原通的图。另外，图IlA是表不左视点图像的图，图IlB是表示右视点图像的图。在这里，观看者的左眼位于坐标(0，D)，观看者的右眼位于坐标(Xb，D)。对于在Z = O处的左右视点图像中左视点图像的坐标为(XyO)及右视点图像的坐标为(XK，0)的拍摄对象，看到其位于坐标(XP，Yp)处。在该状态下，如图IIB所示，如果将右视点图像向左移动至Xk-X/，则如图10所示，拍摄对象的右视点图像的坐标成为(Xk’，0)，其结果，看到拍摄对象位于坐标(Xp’，Yp’)处。由此，可以通过进行视差移动，进行视差量调整。因此，在远景侧的视差量超过人的双眼间距的情况下，可以通过进行视差移动，使其位于人的双眼间距之内，从而可以适当地进行立体观看。图12是表示用于记录本实施方式涉及的3D图像的拍摄、记录处理的流程图。首先，获取多张视点图像(步骤S21)。在这里，拍摄2张视点图像。然后，分别从2张视点图像提取多个特征点(步骤S22)，计算每个特征点的视差量(步骤S23)。根据按照这种方式计算出的每个特征点，获取近景侧的最大视差量和远景侧的最大视差量(步骤S24 )。在这里，对于进行显示的假想显示器，获取其显示宽度。假想显示器的显示宽度可以预先确定并存储，在通过HDMI端子等外部连接端子连接3D显示器的情况下，也可以通过与该连接相对应的通信，读取3D显示器的尺寸。判断在将该立体图像显示在该显示宽度的显示器上的情况下，是否可以立体观看远景侧的最大视差位置(步骤S25)。具体地说，计算出显示宽度与远景侧的最大视差量(％)的乘积，判断计算出的乘积是否大于或等于人的双眼间距即50mm。在计算出的乘积低于50mm的情况下,直接记录拍摄的2张视点图像(步骤S27)。例如，可以记录作为图2所示的数据结构的3D图像文件，也可以生成显示用缩略图或假想视点图像记录。
在计算出的乘积大于或等于50mm的情况下，进行视差移动，以使得该乘积低于50mm,从而可以立体观看远景侧的最大视差位置(步骤S26)。如图11所示，视差移动可以通过使右视点图像向左方移动而进行，也可以通过使左视点图像向右方移动而进行。另外，也可以使左右视点图像向彼此接近的方向移动。在视差移动处理结束后,进行记录(步骤S27)。图13是示意地表示这时记录的3D图像文件的数据结构的图。在该3D图像文件中，除了拍摄的2张原图之外，还记录有縮小各原图尺寸而获取的视差移动后的显示用图像及缩略图。在这里，显示用图像是全HD尺寸图像，缩略图是VGA尺寸图像。缩略图例如在显示在设置于摄像装置背面的小型液晶显示器上而进行图像检索时等使用。如图13所示，上述图像按照I号视点的显示用图像、2号视点的显示图像、I号视点的缩略图、2号视点的缩略图、I号视点的原图、2号视点的原图的顺序记录，各记 录区域具有SOI标记(图中省略)、附属信息区域、图像信息区域、及EOI标记(图中省略)。首先，作为前端图像，记录作为基准视点的I号视点的显示用图像，在其附属信息区域记录最大视差量。接下来记录的是2号视点的显示用图像，该图像是进行上述视差移动后的图像。在2号视点的显示用图像的附属信息区域记录视点移动处理完成的信息和其移动量(单位像素)。然后，记录I号视点的缩略图，在该附属信息区域中还记录最大视差量。此外，记录2号视点的缩略图。该缩略图可以是视差移动后的图像，也可以是由2号视点的原图生成的图像。然后，记录I号视点的原图及2号视点的原图。在I号视点的原图的附属信息区域中还记录最大视差量。通过生成这种3D图像文件，从而在显示在假定尺寸的显示器上时，可以始终观看远景侧的最大视差位置，从而适合于观看者进行立体观看。另外，因为还记录有VGA尺寸的缩略图，所以也可以用于图像检索时的显示。此外，可以将假想的显示器尺寸记录在前端图像的附属信息区域中。通过预先记录假定显示器尺寸，可以在立体图像再生装置中，通过对所读取的假定显示器尺寸和将要显示的3D显示器的显示尺寸进行比较，容易地判断是否可以适当地立体观看。[第5实施方式]下面，使用图14的流程图，对于读取按照上述方式记录的3D图像文件并进行再生显示的处理进行说明。首先，读取3D图像文件(步骤S31)。同时，获取之后进行3D图像显示的显示器的尺寸(步骤S32)。另外，根据读入的3D图像文件的附属信息，获取可以适当地对要进行3D显示的各视点图像进行3D显示的最大显示器尺寸(步骤S33)。然后，对之后要进行3D图像显示的显示器的横向宽度和最大显示器尺寸的宽度进行比较(步骤S34)。在最大显示器的宽度较大的情况下，即使直接显示记录在3D图像文件中的各视点图像，也不会妨碍立体观看，所以直接显示读取的视点图像(步骤S36)。但是，在实际的显示器宽度较大的情况下，如果直接显示读取的图像，则远位侧的最大视差位置的视差量会超过人的双眼间距，使得该部分无法进行立体观看。因此，必须对左右视点图像的视差量进行调整。视差量调整通过视差移动或视差压缩进行(步骤S35)。视差移动如使用图11说明所示，通过使左右视点图像中的ー个或两个移动而调整视差量。另外，视差压缩如使用图8说明所示，生成视差量比左右视点图像小的假想视点的图像，通过显示所生成的假想视点的图像，对视差量进行调整。可以预先决定通过那种方式调整视差量，也可以构成为由用户选择。无论进行哪ー种视差量调整，都可以减小至少远景侧的视差。通过视差移动或视差压缩，调整为适合于要使用的显示器的宽度的视差量，3D显示调整后的图像(步骤S36)。由此，读取作为附属信息记录的最大显示器尺寸，与实际进行显示的显示器尺寸进行比较，在最大显示器尺寸较大的情况下，直接显示记录为立体观看没有问题的3D图像，在实际进行显示的显示器尺寸较大的情况下，判断为存在无法进行立体观看的区域，在调整为所记录的3D图像的视差量之后进行显示，从而可以始终显示适当的3D图像。
此外，上述处理可以通过读取3D图像文件的附属信息中记录的最大视差量进行。图15是根据最大视差量进行再生显示处理的情况下的流程图。此外，对与图14表示的流程图共通的部分标记相同的标号，省略其详细说明。根据读入的3D图像文件的附属信息，获取最大视差量(远景)(步骤S41)。该最大视差量(远景)使用与图像宽度的比值(％)记录。然后，判定在步骤S32中获取的显示器宽度与最大视差量(远景)的乘积是否大于或等于50mm (步骤S42)。显示器宽度与最大视差量(远景)的乘积，成为所显示的图像上的最大视差位置(远景)处的实际视差量。在该视差量大于或等于人的双眼间距即50mm的情况下，因为该部分无法进行立体观看，所以对于所读取的视点图像进行视差移动或视差压缩的视差量调整(步骤S35)，然后进行3D显示(步骤S36)。在低于50mm的情况下，因为可以直接显示所记录的各视点图像，所以直接显示所读取的视点图像(步骤S36)。由此，可以根据从3D图像文件读取的最大视差量(远景)，对再生显示进行控制。特别地，对于3D图像文件的附属信息中未记录最大显示器尺寸，而仅记录最大视差量的情况有效。此外，在本实施方式中，在判断为无法适当地进行3D显示时，通过视差移动或视差压缩调整视差量，使显示器整体进行3D显示，但也可以以成为适当视差量的图像尺寸、即与最大显示器尺寸相当的图像尺寸，进行3D显示。[第6实施方式]另外，也可以将按照上述方式进行视差移动或视差压缩而生成的图像记录在3D图像文件中。图16表示进行3D图像文件中记录的处理的情况下的流程图。在这里，将在步骤S35中通过视差移动或视差压缩生成的图像，在步骤S43中作为显示用缩略图追加或改写在3D图像文件中。此外，3D图像文件的追加、改写也可以在步骤S36的3D显示之后进行。图17是示意地表示记录4张视点图像及由视点图像生成的4张显示用缩略图的3D图像文件的数据结构的图，图17A表示在图16的步骤S31中读取时的3D图像文件，图17B表示在步骤S43中改写后的3D图像文件。在作为前端图像的视点图像(I)的附属信息中，记录视点图像(I)和视点图像(4)的最大视差量(远景)。在步骤S41中读取该最大视差量，在步骤S42中，如果判断显示器的宽度与最大视差量(远景)的乘积大于或等于50_，则在步骤S35中进行视差移动或视差压缩。例如，在进行过缩略图(4)的视差移动的情况下，在步骤S43中，取代缩略图(4)，记录进行视差移动后的缩略图(4)。另外，在视差移动后的缩略图(4)的附属信息中记录表示视差移动处理已完成的信息和其移动量(单位像素)。另外，如果是步骤S35中进行视差压缩的情況，则取代缩略图(4)，记录视差压缩后的缩略图(4)。在这种情况下，作为附属信息，也可以记录视差压缩后的最大视差量(远景)。在这里，取代缩略图(4)，记录视差量调整后的缩略图(4)，但是，也可以追加视差量调整后的缩略图(4)而进行记录。 另外，即使在图16的步骤S31中读入时的3D图像文件中不存在显示用缩略图的情况下，也可以生成显示用缩略图，记录作为图17B所示的3D图像文件。此外，进行视差调整的不限定于缩略图，也可以进行视点图像的视差调整。例如，如果是进行视差图像(4)的视差调整，则可以覆盖或追加记录视差图像(4)和根据该视差图像(4)生成的缩略图(4)。此外，还存在下述方式将在步骤S42中计算出的显示器宽度与最大视差量(远景)的乘积作为最大显示器尺寸，记录在3D图像文件的前端图像的附属信息中。[第7实施方式]因为视差压缩处理(生成假想视点图像)需要一定的时间，所以无法立即显示视差压缩后的图像，可能会使观看者感到不耐烦。在本实施方式中，在进行视差压缩处理的期间，使3D显示器进行2D显示。图18是表示进行2D显示的处理的流程图。此外，对于与图16所示的流程图共通的部分标记相同的标号，省略其详细说明。在步骤S42中，如果判断显示器的宽度与最大视差量(远景)的乘积大于或等于人的双眼间距即50mm，则将记录在该3D图像文件中的视点图像或显示用缩略图中的任ー个2D显示在显示器上(步骤S51)。然后，进行视差压缩处理(步骤S35)。如果视差压缩处理结束，则进行3D图像文件的显示用缩略图的追加或改写(步骤S43)，将视差压缩图像3D显示在显示器上(步骤S36)。也可以在进行过3D显示之后，记录在3D图像文件中。由此，通过进行2D显示，可以弥补在进行视差压缩处理的期间内无法显示图像的缺点。在这里，以进行视差压缩的情况为例进行了说明，但在视差移动处理需要时间的情况下，也可以在进行视差移动处理的期间内进行2D显示。另外，也可以在2D显示的同吋，显示正在进行视差量调整处理的情況。通过按照方式显示，观看者可以了解在3D显示器上进行2D显示的原因。[第8实施方式]在之前的实施方式中，根据最大视差量(远景)进行视差量调整，进行3D显示，但作为视差量调整如果进行视差移动，则存在近景侧的视差量増大的缺点。因此，在进行视差移动的情况下，也可以考虑最大视差量(近景)进行显示。图19是考虑最大视差量(近景)而进行视差移动处理的情况下的流程图。此外，对于与图16所示的流程图共通的部分标记相同的标号，省略其详细说明。在步骤S42中，判断用于显示的显示器宽度与最大视差量(远景)的乘积，是否大于或等于人的双眼间距即50mm。在乘积小于50mm的情况下，因为可以直接显示记录在3D图像文件中的3D图像，所以直接显示所读取的3D图像(步骤S64)。在乘积大于或等于50mm的情况下，因为如果直接显示则无法实现远位侧的最大视差位置的立体观看，所以必须进行视差量调整。因此，计算乘积低于50mm时的视差移动量(必要移动量)(步骤S61)。然后，判断在对应计算出的必要移动量进行视差移动后的情况下，可否适当地立体观看近景侧的最大视差量位置。具体地说，判断在用于显示的显示器宽度与最大视差量 (近景)的乘积上加上必要移动量后的值是否小于或等于50mm (步骤S62)。在这里，将近景视差量小于或等于50mm的情况判断为可适当地立体观看，但此50mm的值可以适当确定。在小于或等于50mm的情况下，实施视差移动(步骤S63)，将进行视差移动后的图像显示在3D显示器上(步骤S64)。此外，也可以将进行视差移动后的图像追加或改写在3D图像中。与此相对，在大于50mm的情况下，因为存在如果不进行视差移动则无法对远景侧进行立体观看的部分，而如果进行视差移动使得远景侧的最大视差量合适则无法适当地立体观看近景侧，所以不进行3D显示，而在3D显示器上进行2D显示(步骤S65)。2D显示显示记录在3D图像文件中的视点图像或显示用缩略图中的任ー个。也可以在2D显示的同时显示警告，说明因为显示器尺寸过大所以该图像不进行3D显示。如上所述，通过不仅考虑最大视差量(远景)，也考虑最大视差量(近景)而进行视差量调整，可以显示适当的3D图像。[立体摄像装置的外观]下面，对于用于实现上述实施方式的装置进行说明。图20是表示本发明涉及的立体摄像装置的外观的图，图20A是从前面侧观察立体摄像装置的斜视图，图20B是背视图。该立体摄像装置(复眼照相机)10是可以记录再生2D/3D静止画面、及2D/3D动画的数字照相机，如图20所示，在薄型长方体状的照相机主体的上表面配置快门按钮11、变焦按钮12。在照相机主体的前表面配置镜头盖13，其具有与照相机主体的左右方向的宽度大致相同的宽度，且可以在照相机主体的上下方向自由移动，通过使该镜头盖13在由双点划线表示的位置和由实线表示的位置之间在上下方向移动，可以使左右一对的摄像光学系统14-1,14-2的前表面同时开闭。另外，作为摄像光学系统14-1、14-2，可以使用屈光系统的变焦透镜。另外，可以与镜头盖13进行的透镜前表面的开闭动作联动，使照相机电源接通/断开。如图20B所示，在照相机主体14的背面，在其中央部配置3D用的液晶监视器16。液晶监视器16可以利用视差屏障将多个视差图像(右视点图像、左视点图像)作为分别具有规定指向性的指向性图像而显示。另外，作为3D用液晶监视器16，可以使用双凸透镜，或通过戴上偏光眼镜、液晶快门眼镜等专用眼镜而单独观看右视点图像和左视点图像的装置
坐寸o在上述液晶监视器16的左右两侧配置各种操作开关。操作开关18A是切换静止图像拍摄和动画拍摄的切换开关，操作开关18B是调整右视点图像与左视点图像的视差量的视差调整开关，操作开关18C是切换2D拍摄和3D拍摄的切換开关。另外，操作开关18D是兼做MENU/0K按钮和再生按钮的前后键，操作开关18E是多功能十字键，操作开关18F是DISP/BACK 键。MENU/0K按钮是兼有作为菜单按钮的功能和作为OK按钮的功能的操作 开关，该菜单按钮用于进行在液晶监视器16的画面上显示菜单的指示，该OK按钮用于指示选择内容的确定及执行等。再生按钮是从拍摄模式切换为再生模式的切換按钮。十字键是输入上下左右4个方向的指示的操作开关，分配用于微调按钮、闪光按钮、自拍按钮等，另外，在选择菜单的情况下，作为从该菜单画面选择项目或从各菜单指示各种设定项目选择的开关(光标移动操作単元)起作用。另外，十字键的左/右键作为再生模式时的场景进给(正向/反向进给)按钮起作用。DISP/BACK键在切換液晶监视器16的显示方式，或取消菜单画面上的指示内容或返回前I个操作状态时等使用。另外，在图20A中，15是立体麦克风。[立体摄像装置的内部结构]图21是表示上述立体摄像装置10内部结构的框图。如图21所示，该立体摄像装置10主要由多个摄像部20-1、20_2、中央处理器(CPU) 32、包含上述快门按钮11、变焦按钮12、及各种操作开关在内的操作部34、显示控制部36、液晶监视器16、记录控制部38、压缩/展开处理部42、数字信号处理部44、AE(Automatic Exposure :自动曝光)检测部 46、AF (Auto Focus :自动对焦)检测部 48、AWB(Automatic White Balance :自动白平衡)检测部 50、VRAM 52、RAM 54、ROM 56、及 EEPROM58等构成。另外，摄像部20-1、20-2拍摄彼此具有视差的左眼用图像和右眼用图像这2张视差图像，但摄像部20也可以是大于或等于3个。拍摄左眼用图像的摄像部20-1具有光学単元，其由拍摄光学系统14-1 (图21)，光圈22及机械快门23构成，该拍摄光学系统14-1由棱镜(未图示)、聚焦透镜及变焦透镜21构成；固体摄像元件(CXD) 24、模拟信号处理部25、A/D变换器26、图像输入控制器27、驱动上述光学单元的透镜驱动部28、光圈驱动部29及快门控制部30、控制CXD 24的CXD控制部31。另外，拍摄右眼用图像的摄像部20-2因为具有与拍摄上述左眼用图像的摄像部20-1相同的结构，所以省略其具体的结构说明。CPU 32根据来自操作部34的输入，按照规定的控制程序综合控制照相机整体的动作。最大显示器尺寸的计算、视差移动、假想视点图像的生成等，均可以通过CPU 32进行。此外，在ROM 56中存储CPU 32所执行的控制程序及控制所需的各种数据等，在EEPROM 58中存储表示产品出厂前的调整时的调整结果的各种信息，例如CXD 24的像素缺陷信息、图像处理等使用的校正參数、或最大视差量与最大显示器尺寸的对应表格等。另外，VRAM 52是暂时存储显示在液晶监视器16上的显示用的图像数据的存储器，RAM 54包含CPU 32的运算作业用区域及图像数据的暂时存储区域。包含在拍摄光学系统中的聚焦透镜及变焦透镜21，由透镜驱动部28驱动而沿光轴前后移动。CPU 32通过控制透镜驱动部28的驱动，从而进行调焦，以将聚焦透镜的位置控制为使得焦点与拍摄对象对准，并且，对应于来自操作部34中的变焦按钮12的变焦指令，控制变焦透镜的变焦位置，变更变焦倍率。光圈22例如由可变光圈构成，由光圈驱动部29驱动而动作。CPU 32经由光圈驱动部29控制光圈22的打开量(光圈值)，控制向CXD 24的入射光量。机械快门23通过使光路开闭而确定CXD 24的曝光时间，并且，在来自CXD 24的图像信号读取时，使不需要的光不入射到C⑶24，从而防止产生斑点。CPU 32将与对应于快门速度的曝光结束时刻同步的快门关闭信号输出至快门控制部30，对机械快门23进行控制。CXD 24由2维彩色CXD固体摄像元件构成。在CXD 24的受光面2维排列多个光 电ニ极管，对各光电ニ极管以规定的排列配置滤光片。经由上述结构的光学単元，在C⑶受光面上成像的拍摄对象的光学像，通过该光电ニ极管变换为与入射光量相对应的信号电荷。蓄积在各光电ニ极管中的信号电荷，按照CPU 32的指令，根据由CCD控制部31施加的驱动脉冲，依次从CCD 24读取作为与信号电荷相对应的电压信号(图像信号)。CCD 24具有电子快门功能，通过控制向光电ニ极管的电荷蓄积时间，对曝光时间(快门速度)进行控制。另外，通过电子快门控制与快门速度相对应的电荷蓄积开始时刻，通过关闭上述机械快门23控制曝光结束时刻(电荷蓄积结束时刻)。在该实施方式中，使用CCD 24作为摄像元件，但也可以使用CMOS传感器等其他结构的摄像元件。从CXD 24读取的R、G、B的模拟信号，通过模拟信号处理部25进行相关二重采样(⑶S)或放大后，通过A/D变换器26变换为R、G、B的数字信号。图像输入控制器27内置有规定容量的线性缓冲器，暂时蓄积通过A/D变换器26进行A/D变换后的R、G、B的图像信号(CXDRAW数据)，然后经由总线60存储在RAM 54中。在3D摄像模式时，CPU 32与控制拍摄左视点图像的摄像部20_1同样地，对拍摄右视点图像的摄像部20-2进行控制。AE检测部46根据在快门按钮11半压入时读取的图像信号，计算AE控制所需的拍摄对象亮度，将表示拍摄对象亮度(拍摄EV值)的信号输出至CPU 32。CPU 32根据输入的拍摄EV值，按照规定的程序曲线图设定多个摄像部20-1、20-2中的快门速度(曝光时间)、光圈值、摄像感光度。AF检测部48使快门按钮11半压入时读取的AF区域的图像信号的高频成分的绝对值相乘，将该相乘得到的值(AF评价值)输出至CPU 32。CPU 32通过使聚焦透镜从最近处向无限远侧移动，捜索由AF检测部48检测到的AF评价值最大的合焦位置，使聚焦透镜移动至该合焦位置，从而进行针对拍摄对象(主要拍摄对象)的调焦。此外，在动画拍摄时，使聚焦透镜移动，以使得上述AF评价值始终为最大值，即，进行所谓的爬山法控制。AffB检测部50根据在本次拍摄时得到的R、G、B图像信号，自动求出光源种类(被拍摄体的色温)，从预先存储针对光源种类设定的R、G、B的白平衡系数(白平衡校正值)的表格读取对应的白平衡系数。
数字信号处理部44包含白平衡校正电路、灰度变换处理电路(例如，Y校正电路)、同步化电路、轮廓校正电路、亮度/色差信号生成电路等，对于存储在RAM 54中的R、G、B的图像信号(CCDRAW数据)进行图像处理，上述同步化电路对伴随单板CCD的滤光片排列的R、G、B等色信号的空间偏移进行插补，从而使各色信号位置对齐。即，R、G、B的CXDRAW数据在数字信号处理部44中，乘以通过AWB检测部50检测到的白平衡系数，进行白平衡校正，并实施灰度变换处理(例如Y校正)等规定的处理，然后，变换为由亮度信号(Y信号)及色差信号(Cr、Cb)构成的YC信号。通过数字处理信号部44处理过的YC信号存储在RAM54中。另外，数字信号处理部44包含失真校正电路和图像切出处理电路而构成，该失真校正电路对多个摄像部20-1、20-2摄像光学系统的透镜畸变进行校正，该图像切出处理电路通过从左右视点图像中切出各规定切出区域的图像，而对多个摄像部20-1、20-2的拍摄光学系统的光轴偏移进行校正。压缩/展开处理部42在向存储卡40记录时，根据来自CPU 32的指令，对存储在 RAM 54中的YC信号进行压缩处理，另外，对记录在存储卡40中的压缩后的数据进行展开处理，得到YC信号。记录控制部38将通过压缩/展开处理部42压缩得到的压缩数据制成规定格式的图像文件(例如，3D静止图像为MP文件，3D动画为动态JPEG、H. 264、MPEG4、MPEG4-MVC动画文件)，记录在存储卡40中，或从存储卡40进行图像文件读取。另外，记录控制部38在记录本发明涉及的MP文件吋，除了 Exif附属信息之外，还在存储卡40中记录最大显示器尺寸、假定视距、最大视差量(近景)(％)、最大视差量(远景)(%)等，作为附属信息。液晶监视器16作为用于显示拍摄到的图像的图像显示部使用，并且，在各种设定时作为GUI (可视化用户界面)使用。另外，液晶监视器16作为显示用于在拍摄模式时确认画面的实时取景图像(以下称为“实时取景图像”)的电子取景器使用。显示控制部36在使液晶监视器16显示3D图像的情况下，一个像素ー个像素地交互显示VRAM 52中保存的左视点图像和右视点图像。利用设置在液晶监视器16上的视差屏蔽，可分别由从规定距离观看的用户的左右眼睛中识别ー个像素ー个像素地交互排列的左右图像。由此，可以进行立体观看。利用按照上述方式的立体摄像装置10，可以实现上述实施方式。此外，这里说明的立体摄像装置10具有2个摄像部，以用于拍摄左右2张视点图像，但是，也可以构成为设有大于或等于3个摄像部，拍摄大于或等于3张视点图像。例如，如图5所示，也可以构成为，通过设置4个摄像装置101-1至101-4即4个摄像部，拍摄4张视点图像。[立体图像再生装置]此外，对于第5至第8实施方式，也可以在未设置摄像部的立体图像再生装置中实现。图22是表示本发明涉及的立体图像再生装置300和3D显示器320的整体结构的图。如该图所示，立体图像再生装置300和3D显示器320是单独构成的装置，通过通信电缆310可通信连接。3D显示器320是视差屏障方式或双凸透镜方式的显示器，每隔I条线交互地显示从立体图像再生装置300输入3D显示器320的左视点图像及右视点图像。另外，3D显示器320也可以时间上交互地切换显示左视点图像及右视点图像。在这种情况下，观看者可以使用特殊的眼镜识别3D显示器320。图23是表示立体图像再生装置300的内部结构的框图。如该图所示，立体图像再生装置300构成为，具有CPU 301、记录控制部305、存储卡306、显示控制部307、通信接ロ308 等。CPU 301根据记录在ROM 302中的控制程序，对立体图像再生装置300整体的动作进行综合控制。RAM 303作为CPU 301的运算作业用区域使用。记录控制部305、显示控制部307经由总线304与CPU 301连接。记录控制部305控制3D图像文件向存储卡306的数据读写。存储卡306例如与图21所示的立体摄像装置10的存储卡40相同，在立体摄像装置10中记录包含拍摄到的各视点图像和附属信息的3D 图像文件。通信接ロ 308是连接通信电缆310的连接器部，显示控制部307经由通信电缆310和通信接ロ 308在3D立体显示器320上显示立体图像。作为通信接ロ 308、通信线缆310，考虑使用HDMI规格的产品。根据HDMI规格，立体图像再生装置300可以获取经由通信线缆310连接的3D显示器320的显示器尺寸。此外，也可以在立体图像再生装置300中设置用于拍摄各视点图像的多眼的摄像単元，将拍摄到的视点图像记录在存储卡306中。另外，也可以作为一体的装置构成立体图像再生装置300和3D显示器320。标号说明10…立体摄像装置16…液晶监视器20-1、20_2 …摄像部40…存储卡44…数字信号处理部100…拍摄对象101-1至10ト4…摄像装置211N、212N…最大视差量位置(近景)211F、212F…最大视差量位置(远景)213N…近景侧的视差量213F…远景侧的最大视差量300…立体图像再生装置320…3D显示器
权利要求
1.ー种立体图像再生装置，其特征在于，具有 第I获取单元，其读取记录有立体观看用的多张视点图像、和针对该多张视点图像的附属信息的3维图像文件，从该3维图像文件获取上述多张视点图像及附属信息，上述附属信息包含在将上述多张视点图像显示在立体显示器上时可双眼融合的最大显示器尺寸； 第2获取单元，其获取输出目标的立体显示器的显示器尺寸； 判断単元，其对上述获取的上述立体显示器的显示器尺寸和上述最大显示器尺寸进行比较，判断上述立体显示器的显示器尺寸是否大于上述最大显示器尺寸； 图像处理单元，其在判断上述立体显示器的显示器尺寸大于上述最大显示器尺寸的情况下，根据通过上述第I获取单元获取的多张视点图像，生成该多张视点图像间的至少远景侧视差减小的多张视点图像；以及 输出单元，其在通过上述判断単元判断上述立体显示器的显示器尺寸大于上述最大显 示器尺寸的情况下，将通过上述图像处理单元生成的视点图像输出至上述立体显示器，在判断上述立体显示器的显示器尺寸小于或等于上述最大显示器尺寸的情况下，将通过上述第I获取单元获取的视点图像输出至上述立体显示器。
2.ー种立体图像再生装置，其特征在于，具有 第I获取单元，其读取记录有立体观看用的多张视点图像、和附属信息的3维图像文件，从该3维图像文件获取上述多张视点图像及附属信息，上述附属信息包含该多张视点图像中远景侧的最大视差量； 第2获取单元，其获取输出目标的立体显示器的显示器尺寸； 判断単元，其根据上述获取的远景侧的最大视差量、上述立体显示器的显示器尺寸、和表示人的双眼间距的规定值，判断在将上述多张视点图像显示在立体显示器上时是否可双眼融合； 图像处理单元，其在通过上述判断単元判断无法双眼融合的情况下，根据通过该第I获取单元获取的多张视点图像，生成使该多张视点图像中远景侧的视差减小的多张视点图像；以及 输出单元，其在通过上述判断単元判断无法双眼融合的情况下，将通过上述图像处理単元生成的视点图像输出至上述立体显示器，在判断可实现上述双眼融合的情况下，将通过上述第I获取单元获取的视点图像输出至上述立体显示器。
3.如权利要求2所述的立体图像再生装置，其特征在干， 上述判断単元具有图像偏移量计算单元，其根据上述获取的远景侧的最大视差量和上述立体显示器的显示器尺寸，计算在将上述多张视点图像显示在上述立体显示器上的情况下的与上述最大视差量相对应的立体显示器上的图像偏移量，该判断単元根据上述计算出的图像偏移量是否超过表示人的双眼间距的规定值，判断是否可双眼融合。
4.如权利要求I至3中任意一项所述的立体图像再生装置，其特征在干， 上述图像处理单元实施上述多张视点图像间的视差移动，以使得上述立体显示器上的上述多张视点图像的远景侧的最大视差量小于或等于表示人的双眼间距的规定值，并生成进行该视差移动后的视点移动图像。
5.如权利要求4所述的立体图像再生装置，其特征在干， 上述3维图像文件的附属信息包含上述多张视点图像中的近景侧的最大视差量，该立体图像再生装置具有 加法计算单元，其将上述立体显示器上的上述多张视点图像的近景侧的最大视差量与上述视点移动图像在上述立体显示器上的偏移量相加；以及 判断単元，其判断在显示在上述立体显示器上时，与上述相加后的近景侧的最大视差量相对应的图像偏移量是否超过双眼融合界限， 上述输出单元在通过上述判断単元判断图像偏移量超过双眼融合界限的情况下，将通过上述第I获取单元获取的多张视点图像中的任一张输出至上述立体显示器而显示2维图像。
6.如权利要求I或2所述的立体图像再生装置，其特征在干， 上述图像处理单元具有 视差量计算单元，其根据通过上述第I获取单元获取的多张视点图像，计算表示特征一致的特征点间的偏移量的视差量；以及 假想视点图像生成単元，其根据通过上述第I获取单元获取的多张视点图像中的至少I张视点图像、和通过上述视差量计算单元计算出的视差量，生成与任意假想视点相对应的I张或多张假想视点图像。
7.如权利要求6所述的立体图像再生装置，其特征在干， 上述输出单元，在通过上述判断単元判断上述立体显示器的显示器尺寸大于上述最大显示器尺寸，或上述计算出的图像偏移量超过表示人的双眼间距的规定值的情况下，将通过上述第I获取单元获取的多张视点图像中的任I张输出至上述立体显示器，显示2维图像，然后，如果通过上述图像处理单元生成上述假想视点图像，则取代上述2维图像而输出上述假想视点图像。
8.如权利要求I至7中任意一项所述的立体图像再生装置，其特征在干， 具有显示用图像生成単元，其根据上述多张视点图像生成图像尺寸比该视点图像小的多张显示用图像， 上述图像处理单元取代通过上述第I获取单元获取的多张视点图像而使用上述生成的多张显示用图像，生成该多张显示用图像间的至少远景侧的视差减小的多张显示用图像， 上述输出单元将通过上述显示用图像生成単元生成的显示用图像或通过上述图像处理单元生成的显示用图像输出至上述立体显示器。
9.如权利要求I至8中任意一项所述的立体图像再生装置，其特征在干， 具有记录单元，其将通过上述图像处理单元生成的视点图像及通过上述显示用图像生成単元生成的显示用图像中的至少I个，追加或覆盖在上述3维图像文件中。
10.ー种立体摄像装置，其特征在于，具有 摄像单元，其获取从多个视点拍摄同一拍摄对象的多张视点图像； 视差量计算单元，其从上述获取的多张视点图像计算出视差量，该视差量表示特征ー致的特征点间的偏移量； 最大视差量获取单元，其获取上述计算出的各特征点的视差量中远景侧的最大视差量; 最大显示器尺寸获取单元，其根据上述获取的远景侧的最大视差量，获取在将由上述多张视点图像形成的立体图像显示在立体显示器上时可双眼融合的最大显示器尺寸； 记录单元，其生成记录上述多张视点图像的3维图像文件，将该3维图像文件记录在记录介质上，该记录单元将上述多张视点图像记录在上述3维图像文件中，并且，将上述远景侧的最大视差量及最大显示器尺寸作为附属信息记录在上述3维图像文件中；以及权利要求I至9中任意一项所述的立体图像再生装置。
11.一种立体显示装置，其特征在于，具有 上述输出目标的立体显示器；以及 权利要求I至9中任意一项所述的立体图像再生装置。
12.—种立体图像再生方法，其特征在于，具有 第I获取工序，在该工序中，读取记录有立体观看用的多张视点图像和针对该多张视 点图像的附属信息的3维图像文件，从该3维图像文件获取上述多张视点图像及附属信息，上述附属信息包含在将上述多张视点图像显示在立体显示器上时可双眼融合的最大显示器尺寸； 第2获取工序，在该工序中获取输出目标的立体显示器的显示器尺寸； 判断工序，在该工序中，对上述获取的上述立体显示器的显示器尺寸和上述最大显示器尺寸进行比较，判断上述立体显示器的显示器尺寸是否大于上述最大显示器尺寸； 图像处理工序，在该工序中，在判断为上述立体显示器的显示器尺寸大于上述最大显示器尺寸的情况下，根据通过上述第I获取工序获取的多张视点图像，生成该多张视点图像间的至少远景侧的视差减小的多张视点图像；以及 输出工序，在该工序中，在通过上述判断工序判断上述立体显示器的显示器尺寸大于上述最大显示器尺寸的情况下，将通过上述图像处理工序生成的视点图像输出至上述立体显示器，在判断上述立体显示器的显示器尺寸小于或等于上述最大显示器尺寸的情况下，将通过上述第I获取工序获取的视点图像输出至上述立体显示器。
13.—种立体图像再生方法，其特征在于，具有 第I获取工序，在该工序中，读取记录有立体观看用的多张视点图像和针对该多张视点图像的附属信息的3维图像文件，从该3维图像文件获取上述多张视点图像及附属信息，上述附属信息包含该多张视点图像中远景侧的最大视差量； 第2获取工序，在该工序中获取输出目标的立体显示器的显示器尺寸； 判断工序，在该工序中，根据上述获取的远景侧最大视差量、上述立体显示器的显示器尺寸、和表示人的双眼间距的规定值，判断在将上述多张视点图像显示在立体显示器上时是否可双眼融合； 图像处理工序，在该工序中，在通过上述判断工序判断无法双眼融合的情况下，根据通过上述第I获取工序获取的多张视点图像，生成该多张视点图像间的至少远景侧的视差减小的多张视点图像；以及 输出工序，在该工序中，在通过上述判断工序判断为无法双眼融合的情况下，将通过上述图像处理工序生成的视点图像输出至上述立体显示器，在判断为可以实现上述双眼融合的情况下，将通过上述第I获取工序获取的视点图像输出至上述立体显示器。
全文摘要
根据记录在3维图像文件中的附属信息，以适当的视差量显示立体图像。读取3D图像文件(步骤S31)，获取进行3D显示的显示器的尺寸(步骤S32)。另外，根据读取的3D图像文件的元数据，获取可适当地3D显示视点图像的最大显示器尺寸(步骤S33)。对在步骤S32中获取的尺寸与在步骤S33中获取的最大显示器尺寸进行比较(步骤S34)，在最大显示器尺寸较小的情况下，进行视差移动或视差压缩(步骤S35)，然后进行3D显示(步骤S36)。由此，可以根据最大显示器尺寸适当地进行显示。
文档编号G09G5/36GK102860019SQ201180020899
公开日2013年1月2日 申请日期2011年4月25日 优先权日2010年4月28日
发明者中村敏 申请人:富士胶片株式会社