立体图像数据生成装置、立体图像数据重放装置、以及文件管理方法

专利名称：立体图像数据生成装置、立体图像数据重放装置、以及文件管理方法
技术领域：
本发明涉及一种立体图像数据生成装置、立体图像数据重放装置、及文件管理方法，在生成用于三维显示的图像数据时，对图像数据添加属性信息。
背景技术：
以往已提出有各种用于显示三维图像的方法。其中，一般所用的是利用双眼视差、被称为“双眼式”的方法。该方法准备带有双眼视差的左眼用图像及右眼用图像，并分别独立地向左右眼进行投射，由此能进行立体观看。以下说明中，上述记载的各个图像被称为左眼用图像、右眼用图像。另外，分别使用3D来表示三维或立体，而使用2D来表示二维，用于立体观看的图像数据被称作为3D图像数据，而通常的二维图像数据被称作为2D图像数据。
此外，在非专利文献I中记载有一种用于生成利用双眼视差的3D图像的安全指南。利用双眼视差的3D图像中，立体的突出感、缩入感能通过调整视差来控制，然而即使对于同一视差，瞳孔间间距较窄的人或儿童所感受到的立体感也会较强。另外，在显示器的后方进行显示的情况下，由于双眼无法向左右撑开，因此需要尽可能地避免在显示器上产生超过双眼瞳孔间间距的视差。因此，在安全指南中，根据瞳孔间距的研究结果，6岁儿童的瞳孔间间距为5cm左右，为安全起见，将该值作为儿童的代表值。
这里，作为双眼式的代表方法，提出有帧序列方式(Frame Sequential)、视差屏障方式(Parallax Barrier)等，下面基于其概念图进行详述。
图19是用于说明帧序列方式的概念图。一般地，帧序列方式由显示器及主动式快门眼镜构成，该显示器高速地对图像帧进行切换并显示，而该主动式快门眼镜可以与显示器的显示同步地对眼镜的镜片快门进行控制，以使左右镜片交替开闭。图19中，显示器上，时间上高速交替地显示左眼用图像400及右眼用图像401。与该定时相配合，在显示左眼用图像400时，主动式快门眼镜402进行控制分别使左眼用的镜片快门403将光透过，而使右眼用的镜片快门404将光阻挡。相反，在显示右眼用图像401时，进行控制分别使右眼用的镜片快门404将光透过，而使左眼用的镜片快门403将光阻挡。由此，通过以时分方式将与各眼的视差相配合的影像显示到左右眼中，从而使观众能够观看到立体影像。
另外，图20是用于说明视差屏障方式的概念图。图20 (a)是表示产生视差的原理的图。另一方面，图20 (b)是表示以视差屏障方式进行显示的画面的示例的图。在图20 (a)所示的结构中，图20 (b)所示的左眼用图像与右眼用图像以I个像素为间隔交替地排列于水平方向上，采用该结构进行配置的图像被显示到图像显示面板410上，通过将带有狭窄间隔的缝隙的视差屏障411设置到图像显示面板410前方的视点一侧，该缝隙的间隔比同一视点上的像素的间隔要窄，从而能够使左眼用图像仅被左眼412观察到，而使右眼用图像仅被右眼413观察到，由此实现立体观看。
另外，如图21所示，专利文献I中公开有如下方法:在该方法中，发送装置侧记录有2张原图像以及作为视差范围的拍 摄机构的最大视差和最小视差，该2张原图像由拍摄装置501及拍摄装置502拍摄到、且构成立体像对，该拍摄机构的最大视差是拍摄时处于距离拍摄装置最近的位置505处的物体503的视差，而该拍摄机构的最小视差是拍摄时处于距离拍摄装置最远的位置506处的物体504所具有的视差，发送装置将上述原图像与视差范围一并发送至接收装置，在接收装置一侧，对这些视差再次进行缩放，并在立体显示器上显示，由此，将对所发送的三维图像进行立体显示的位置、重新映射到观众能舒服地观看立体影像的视觉空间中。另外，还揭示了:与原图像一并从发送装置侧发送来的视差范围也可以使用在发送装置侧根据上述原图像并利用对应点检索求得的最大视差值及最小视差值。现有技术文献专利文献
专利文献1:日本公开专利特表2009 - 516447号公报 非专利文献
非专利文献1:“3DC安全指南”、[网络]、平成22年4月20日、3D联盟安全指南会议、[平成22年9月15日检索]、网址
(URL:http://www.3dc.gr.jp/jp/scmt_wg_rep/3dc_guidej_20100420.pdf)

发明内容
发明所要解决的技术问题
然而，在上述专利文献I的方法中，以视差范围内的最大视差值与最小视差值为一组，并将其与原图像数据一并从发送装置侧发送到接收装置侧，在接收装置侧，根据所接收到的视差范围内的一组最大视差值与最小视差值，重新进行映射，由此来生成显示图像。在上述方法中，由于所发送的最大视差与最小视差的值分别只有一种，因此在接收装置仅接收到通过对应点检索而得到的最大视差与最小视差的情况下，若这些值中含有误差，则在基于该视差范围来调整视差时，会产生以不适当的视差来进行显示的可能性，存在问题。
另外，相反地，在仅接收拍摄机构信息，并基于根据接收到的拍摄机构信息计算出的最大视差及最小视差来进行视差调整时，由于在机构方面收敛于该范围以上的视差范围内，因此是安全的，然而存在如下问题:可调整的视差范围变窄，使得对于进行立体显示的立体影像的呈现位置进行的改变没有自由度。
并且，还存在如下问题:视差可能会因为所拍摄到的立体影像的实际视差值而朝向与希望调整的方向相反的方向变化，从而会进行与所希望的视差调整相反的调整。
本发明为了解决上述问题而得以完成，其目的在于，提供一种立体图像数据生成装置、立体图像数据重放装置、及文件管理方法，使用于进行三维显示的图像数据具有通用性，并能够在重放装置一侧呈现带有安全且舒适的视差的立体影像。
解决技术问题所采用的技术方案
本发明所涉及的立体图像数据生成装置根据分别与多个视点相对应的多个图像数据，来生成规定文件格式的图像数据，其特征在于，将第I最大视差、第I最小视差、第2最大视差、及第2最小视差作为输入，该第I最大视差是从拍摄单元的机构在几何学上求出的视差的最大值，该第I最小视差是从拍摄单元的机构落入规定视差范围内、且处于距离拍摄单元最近的位置上的视差，该第2最大视差是立体图像的左眼图像与右眼图像的视差最大值，该第2最小视差是立体图像的左眼图像与右眼图像的视差最小值，上述立体图像数据生成装置包括:3D信息生成单元，该3D信息生成单元使用所输入的上述第I最大视差、上述第2最大视差、上述第I最小视差、及上述第2最小视差中的至少一个以上的最大视差或最小视差来生成并输出3D信息；以及多路复用单元，该多路复用单元对上述3D信息及上述图像数据进行多路复用，并生成规定文件格式的立体图像数据。
另外，本发明所涉及的立体图像数据生成装置根据分别与多个视点相对应的多个图像数据，来生成规定文件格式的图像数据，其特征在于，将第I最大视差、第I最小视差、第2最大视差、及第2最小视差作为输入，该第I最大视差是从拍摄单元的机构在几何学上求出的视差的最大值，该第I最小视差是从拍摄单元的机构落入规定视差范围内、且处于距离拍摄单元最近的位置上的视差，该第2最大视差是立体图像的左眼图像与右眼图像的视差最大值，该第2最小视差是立体图像的左眼图像与右眼图像的视差最小值，上述立体图像数据生成装置包括:3D信息生成单元，该3D信息生成单元使用所输入的上述第I最大视差、上述第2最大视差、上述第I最小视差、及上述第2最小视差中的至少一个以上的最大视差或最小视差来生成并输出3D信息；图像压缩编码单元，该图像压缩编码单元对所输入的上述多个图像数据进行压缩编码，并将压缩图像数据输出；以及多路复用单元，该多路复用单元对上述3D信息及上述压缩图像数据进行多路复用，并生成规定文件格式的立体图像数据。
并且，其特征在于，上述规定文件格式的立体图像数据中包含3个以上的η个视点的上述图像数据，以作为上述多个视点。
并且，其特征在于，在根据上述第I最大视差、上述第2最大视差、上述第I最小视差、及上述第2最小视差来生成3D /[目息时,上述3D彳目息生成单兀生成视差单位彳目息，该视差单位信息表示对于上述第I最大视差、上述第2最大视差、上述第I最小视差、及上述第2最小视差的单位，并且上述规定文件格式的立体图像数据包含上述视差单位信息。
另外，其特征在于，上述视差单位信息中，上述第I最大视差、上述第2最大视差、上述第I最小视差、及上述第2最小视差的单位为如下的某一个:像素单位、子像素单位、长度、距离单位、或相对于整个图像的横宽的百分比。
并且，其特征在于，在根据上述第I最大视差、上述第2最大视差、上述第I最小视差、及上述第2最小视差来生成3D信息时，上述3D信息生成单元生成视差对象图像信息，该视差对象图像 目息表不上述第I最大视差、上述第2最大视差、上述第I最小视差、及上述第2最小视差是通过上述多个图像数据中的哪2个视点图像数据的组合而求得的，并且上述规定文件格式的立体图像数据包含上述视差对象图像信息。
另外，本发明所涉及的立体图像数据生成装置中，根据规定文件格式的图像数据，来重放分别与多个视点相对应的多个图像数据的立体图像数据重放装置包括:逆多路复用单元，该逆多路复用单元根据上述文件格式将3D信息与图像数据进行分离，该3D信息表示第I最大视差、第2最大视差、第I最小视差、及第2最小视差中的至少一个以上的最大视差或最小视差，该第I最大视差是从拍摄单元的机构在几何学上求出的视差的最大值，该第2最大视差是立体图像的左眼图像与右眼图像的视差最大值，该第I最小视差是从拍摄单元的机构落入规定视差范围内、且处于距离拍摄单元最近的位置上的视差，该第2最小视差是立体图像的左眼图像与右眼图像的视差最小值；3D信息分析单元，该3D信息分析单元分析上述3D信息；以及立体强度转换单元，该立体强度转换单元对上述图像数据进行视差调整，上述3D信息分析单元分析上述3D信息，上述立体强度转换单元使用上述第I最大视差、上述第2最大视差、上述第I最小视差、及上述第2最小视差中的至少一个以上的最大视差或最小视差，来调整并重放上述图像数据的视差。
另外，本发明所涉及的立体图像数据重放装置根据规定文件格式的图像数据，来重放分别与多个视点相对应的多个图像数据，包括:逆多路复用单元，该逆多路复用单元根据上述文件格式将3D信息与压缩图像数据进行分离，该3D信息表示第I最大视差、第2最大视差、第I最小视差、及第2最小视差中的至少一个以上的最大视差或最小视差，该第I最大视差是从拍摄单元的机构在几何学上求出的视差的最大值，该第2最大视差是立体图像的左眼图像与右眼图像的视差最大值，该第I最小视差是从拍摄单元的机构落入规定视差范围内、且处于距离拍摄单元最近的位置上的视差，该第2最小视差是立体图像的左眼图像与右眼图像的视差最小值；3D信息分析单元，该3D信息分析单元分析上述3D信息；图像解码单元，该图像解码单元对上述压缩图像数据进行解码；以及立体强度转换单元，该立体强度转换单元对将上述压缩图像数据解码后的图像数据进行视差调整，上述3D信息分析单元分析上述3D信息，上述立体强度转换单元使用上述第I最大视差、上述第2最大视差、上述第I最小视差、及上述第2最小视差中的至少一个以上的最大视差或最小视差，来调整并重放上述图像数据的视差。
并且，其特征在于，在对表示上述第I最大视差、上述第2最大视差、上述第I最小视差、及上述第2最小视差的信息进行分析时，上述3D信息分析单元对视差单位信息进行分析，该视差单位信息表示对于上述第I最大视差、上述第2最大视差、上述第I最小视差、及上述第2最小视差的单位，并使用经分析后的上述视差单位信息来对表示上述第I最大视差、上述第2最大视差、上述第I最小视差、及上述第2最小视差的信息进行分析。
另外，其特征在于，上述3D信息中包含视差对象图像信息，该视差对象图像信息表示上述第I最大视差、上述第2最大视差、上述第I最小视差、及上述第2最小视差是通过上述多个图像数据中的哪2个视点图像数据的组合而求得的，上述3D信息分析单元对上述视差对象图像信息进行分析，上述立体强度转换单元对上述视差对象图像信息所示出的上述图像数据进行视差调整。
另外，其特征在于，在对上述图像数据进行视差调整时，上述立体强度转换单元将上述第I最大视差与上述第2最大视差的大小进行比较，在上述第2最大视差大于上述第I最大视差的情况下，判断为上述第2最大视差值不适当，并基于上述第I最大视差来进行视差调整。
优选为，其特征在于，在对上述图像数据进行视差调整时，上述立体强度转换单元将上述第I最小视差与上述第2最小视差的大小进行比较，在上述第2最小视差小于上述第I最小视差的情况下，进行视差调整，使得上述第I最小视差变为上述第2最小视差的值。
优选为，其特征在于，在对上述图像数据进行视差调整时，上述立体强度转换单元将上述第I最小视差与上述第2最小视差的大小进行比较，在上述第2最小视差小于上述第I最小视差的情况下，将上述图像数据进行缩小显示，使得上述第I最小视差变为上述第2最小视差的值。
优选为，其特征在于，在对上述图像数据进行视差调整时，上述立体强度转换单元将上述第I最小视差与上述第2最小视差的大小进行比较，在上述第2最小视差小于上述第I最小视差的情况下，判断为上述第2最小视差的值不适当，并放弃立体显示而进行2D显示，或者，对I个视点的图像数据进行2D-3D转换，由此进行3D显示。
优选为，其特征在于，在对上述图像数据进行视差调整时，上述立体强度转换单元将上述第I最小视差与上述第2最小视差的大小进行比较，在上述第2最小视差小于上述第I最小视差的情况下，判断为上述第2最小视差的值不适当，并对上述图像数据中的某I个视点的图像数据进行2D-3D转换，由此进行3D显示。
优选为，其特征在于，在对上述图像数据进行视差调整时，上述立体强度转换单元将上述第I最大视差与上述第2最大视差的大小进行比较，在上述第2最大视差小于上述第I最大视差的情况下，基于上述第2最大视差的值来调整视差。
优选为，其特征在于，在对上述图像数据进行视差调整时，上述立体强度转换单元将上述第I最小视差与上述第2最小视差的大小进行比较，在上述第2最小视差大于上述第I最小视差的情况下，基于上述第2最小视差的值来调整视差。
优选为，其特征在于，上述3D信息分析单元对上述视差对象图像信息进行分析，上述立体强度转换单元对上述视差对象图像信息所示出的上述图像数据进行视差调整。
本发明所涉及的立体图像文件管理方法对用于进行立体显示的属性信息即3D信息与图像数据一并进行管理，其特征在于，上述3D信息由如下信息构成:视差对象图像信息，该视差对象图像信息表示视点图像的组合；视差单位信息，该视差单位信息表示第I及第2最大视差、和第I及第2最小视差的单位；第I最大视差；第2最大视差；第I最小视差；第2最小视差；以及假定显示器尺寸，该假定显示器尺寸表示对上述图像数据进行立体显示的显示器的尺寸。
并且，其特征在于，上述3D信息包含可否记录视差标记，该可否记录视差标记表示是否将第I及第2最大视差和第I及第2最小视差的各个视差信息记录于上述3D信息。
另外，其特征在于，所管理的I个文件由文件头、上述3D信息、记录与三维图像无直接关系的信息时使用的管理信息、以及上述图像数据构成，上述文件头、上述3D信息、上述管理信息、上述图像数据从上述文件的开头以上述文件头、上述3D信息、上述管理信息、上述图像数据的顺序进行配置。
另外，其特征在于，所管理的I个文件由上述3D信息、记录与三维图像无直接关系的信息时使用的管理信息、文件头、以及上述图像数据构成，上述3D信息、上述管理信息、上述文件头、上述图像数据从上述文件的开头以上述3D信息、上述管理信息、上述文件头、上述图像数据的顺序进行配置。
另外，其特征在于，上述图像数据由左眼用图像数据及右眼用图像数据这两种图像数据构成。
优选为，其特征在于，所管理的第I文件的上述图像数据是左眼用图像数据，所管理的第2文件的上述图像数据是右眼用图像数据，上述第I文件和上述第2文件是形成3D图像的左眼用及右眼用的图像数据组，并且被管理在同一专用文件夹中。
优选为，其特征在于，所管理的第I文件的上述图像数据是左眼用图像数据，所管理的第2文件的上述图像数据是右眼用图像数据，上述第I文件和上述第2文件是形成3D图像的左眼用及右眼用的图像数据组，为了区别于其他图像数据组，对文件名设置标识来进行管理。
优选为，其特征在于，所管理的第I文件的上述图像数据是左眼用图像数据，所管理的第2文件的上述图像数据是右眼用图像数据，所管理的第3文件是保存3D管理信息的3D管理信息文件，该3D管理信息表示上述第I文件和上述第2文件是形成3D图像的左眼及右眼用的图像数据组。
优选为，其特征在于，上述3D管理信息文件是元文件，在上述元文件中记载并管理上述第I文件名及上述第2文件名，该上述第I文件名及上述第2文件名表示形成3D图像的左眼及右眼用的图像数据组。
优选为，其特征在于，所管理的I个文件由第I文件头、第13D信息、第I管理信息、第I图像数据、第2文件头、第23D信息、第2管理信息、第2图像数据构成，上述第I文件头、上述第13D信息、上述第I管理信息、上述第I图像数据、上述第2文件头、上述第23D信息、上述第2管理信息、上述第2图像数据从上述文件的开头以上述第I文件头、上述第13D信息、上述第I管理信息、上述第I图像数据、上述第2文件头、上述第23D信息、上述第2管理信息、上述第2图像数据的顺序进行配置，上述第I图像数据和上述第2图像数据是形成3D图像的左眼及右眼用的图像数据组。
优选为，其特征在于，所管理的I个文件由文件头、第13D信息、第I管理信息、第I图像数据、第23D信息、第2管理信息、第2图像数据构成，上述文件头、上述第13D信息、上述第I管理信息、上述第I图像数据、上述第23D信息、上述第2管理信息、上述第2图像数据从上述文件的开头以上述文件头、上述第13D信息、上述第I管理信息、上述第I图像数据、上述第23D信息、上述第2管理信息、上述第2图像数据的顺序进行配置，上述第I图像数据和上述第2图像数据是形成3D图像的左眼及右眼用的图像数据组。
优选为，其特征在于，所管理的I个文件由第33D信息、第3管理信息、第I文件头、第13D信息、第I管理信息、第I图像数据、第2文件头、第23D信息、第2管理信息、第2图像数据构成，上述第33D信息、上述第3管理信息、上述第I文件头、上述第13D信息、上述第I管理信息、上述第I图像数据、上述第2文件头、上述第23D信息、上述第2管理信息、上述第2图像数据从上述文件的开头以上述第33D信息、上述第3管理信息、上述第I文件头、上述第13D信息、上述第I管理信息、上述第I图像数据、上述第2文件头、上述第23D信息、上述第2管理信息、上述第2图像数据的顺序进行配置，上述第I图像数据和上述第2图像数据是形成3D图像的左眼及右眼用的图像数据组，上述第33D信息包含上述第I及第2图像数据的公用部分的3D信息，上述第13D信息包含上述第I图像数据的个别的3D信息，而上述第23D信息包含上述第2图像数据的个别的3D信息。
优选为，其特征在于，所管理的I个文件由第33D信息、第3管理信息、文件头、第13D信息、第I管理信息、第I图像数据、第23D信息、第2管理信息、第2图像数据构成，上述第33D信息、上述第3管理信息、上述文件头、上述第13D信息、上述第I管理信息、上述第I图像数据、上述第23D信息、上述第2管理信息、上述第2图像数据从上述文件的开头以上述第33D信息、上述第3管理信息、上述文件头、上述第13D信息、上述第I管理信息、上述第I图像数据、上述第23D信息、上述第2管理信息、上述第2图像数据的顺序进行配置，上述第I图像数据和上述第2图像数据是形成3D图像的左眼及右眼用的图像数据组，上述第33D信息包含上述第I及第2图像数据的公用部分的3D信息，上述第13D信息包含上述第I图像数据的个别的3D信息，而上述第23D信息包含上述第2图像数据的个别的3D信息。
优选为，其特征在于，所管理的I个文件包含多个视点图像信息，该视点图像信息由按照不同视点图像数据的每个数据所生成的文件头、3D信息、管理信息、及视点图像数据构成，多个不同的上述视点图像数据配置为从上述文件的开头以上述文件头、上述3D信息、上述管理信息、上述视点图像数据的顺序重复多个。
优选为，其特征在于，所管理的I个文件保存有按照多个视点图像数据的每个数据所生成的多个上述视点图像信息的3D信息的公用信息、整个文件的管理信息、以及按照多个视点图像数据的每个数据所生成的多个上述视点图像信息，上述3D信息的公用信息、整个上述文件的管理信息、上述多个视点图像信息从上述文件的开头以上述3D信息的公用信息、整个上述文件的管理信息、上述多个视点图像信息的顺序进行配置，按照多个视点图像数据的每个数据所生成的上述视点图像信息的3D信息中包含按照各视点图像数据的每个数据所生成的个别的3D信息。
发明效果
根据本发明的立体图像数据生成装置、立体图像数据重放装置、及文件管理方法，能够以更高的自由度、安全且适当地进行与所显示的显示器尺寸相配合的视差调整。


图1是表示本发明的实施方式I的立体图像数据生成装置的简要结构的框图。
图2是说明立体图像的视差的图。
图3是说明利用平行法的立体拍摄的图。
图4是利用平行法的立体拍摄图像的一个示例。
图5是说明利用交叉法的立体拍摄的图。
图6是关于本发明的实施方式I的立体图像数据生成装置的动作的流程图。
图7是表示本发明的实施方式I的立体图像数据生成装置的视差计算单元的简要结构的框图。
图8是进行视差移位前的左眼用图像数据及右眼用图像数据的一个示例。
图9是进行视差移位后的左眼用图像数据及右眼用图像数据的一个示例。
图10是表不3D信息的一个不例的图。
图11是表示记录多路复用数据的文件格式的一个示例的图。
图12是表示在记录多路复用数据时，使用既有文件格式时的一个示例的图。
图13是表示在记录多路复用数据时，使用新的文件格式时的一个示例的图。
图14是表示本发明的实施方式I的立体图像数据重放装置的简要结构的框图。
图15是表示本发明的实施方式2的立体图像数据生成装置的简要结构的框图。
图16是表示本发明的实施方式2的立体图像数据生成装置的视差计算单元的简要结构的框图。
图17是表示记录多路复用数据的文件格式的一个示例的图。
图18是表示本发明的实施方式2的立体图像数据重放装置的简要结构的框图。
图19是用于说明现有的帧序列方式的概念图。
图20是用于说明现有的视差屏障方式的概念图。
图21是示例现有的拍摄处于近处的被摄体和处于远处的被摄体的拍摄机构的图。
具体实施例方式 下面，参照附图对本发明所涉及的立体图像数据生成装置、立体图像数据重放装置、及文件管理方法的优选实施方式进行详细说明。另外，在如下说明中，不同附图中赋予相同标记的结构为相同结构，省略其说明。
实施例1
参照附图对实施方式I所涉及的立体图像数据生成装置进行说明。
图1是表示本发明的实施方式I的立体图像数据生成装置的简要结构的框图。图1中，立体图像数据生成装置I具有视差计算单元2、3D信息生成单元3、图像压缩编码单元4、及多路复用单元5而构成。视差计算单元2将摄像机机构信息、左眼用图像数据、及右眼用图像数据作为输入，并输出第I视差信息、第2视差信息、视差计算视点信息、及左眼用图像数据和右眼用图像数据，该第I视差信息根据上述摄像机机构信息并在几何学上计算而求得，该第2视差信息通过使用左眼用图像数据和右眼用图像数据的对应点检索来求得，该视差计算视点信息表示是根据哪个视点的图像来计算视差的。3D信息生成单元3将视差计算视点信息、第I视差信息、及第2视差信息作为输入，根据所输入的视差计算视点信息、第I视差信息、及第2视差信息来生成并输出3D信息。图像压缩编码单元4将左眼用图像数据和右眼用图像数据作为输入，对所输入的图像数据进行压缩编码，生成并输出压缩图像数据。多路复用单元5将3D信息和压缩图像数据作为输入，对所输入的3D信息及压缩图像数据进行多路复用，生成并输出多路复用数据。这里，第I视差信息及第2视差信息分别由最大视差及最小视差构成。接下来，对最大视差及最小视差进行说明。
图2是说明立体图像的视差的图。图2(a)表示左眼用图像数据6，在进行立体显示时，将最远处能看到的部分设为最远点7，将最近处能看到的部分设为最近点8。另外，图2(b)表示右眼用图像数据9，其中，在进行立体显示时，将最远处能看到的部分设为最远点10，将最近处能看到的点设为最近点11。此时，将从左眼用图像数据6的左端到最远点7为止的距离设为dfL、到最近点8为止的距离设为dnL，将从右眼用图像数据9的左端到最远点10为止的距离设为dfR、到最近点11为止的距离设为dnR，在使用左眼用图像数据6和右眼用图像数据9来进行立体显示时，若将距离观众最远处能看到的部分上的视差定义为最大视差，则其值为dfR-dfL。相同地，在使用左眼用图像数据6和右眼用图像数据9来进行立体显示时，若将距离观众最近处能看到的部分上的视差定义为最小视差，则其值为dnR-dnL。
接下来，对上述第I视差信息进行说明。根据拍摄所使用的摄像机的方向或配置、镜头的视角信息等摄像机机构信息并通过几何学计算来求出第I视差信息，其值取决于摄像机的拍摄方法是平行法还是交叉法，在交叉法的情况下还取决于摄像机的视角。这里，上述第I视差 目息由第I最大视差及第I最小视差构成，该第I最大视差是物理上视差最大且背景处于无限远处情况下的对于背景的视差，另外，同样地，第I最小视差基于摄像机机构信息，是将被摄体设置到如下位置的情况下的视差，该位置是可在物理上靠近摄像机的位置，且其视差值能进行舒适的立体观看，其距离是摄像机固有的推荐拍摄距离。
首先，对平行法拍摄时的第I视差信息的计算方法进行说明。
图3是说明利用平行法的立体拍摄的图。图3中，利用摄像机12及摄像机13拍摄作为近景的被摄体14及作为远景的背景15，该摄像机12及摄像机13设置成其光轴在垂直方向及水平方向上平行。这里，摄像机12及摄像机13是规格相同的摄像机。将摄像机12的光轴16与摄像机13的光轴17之间的距离即摄像机的基线长设为Τ，将摄像机12与摄像机13的视角设为Θ。另外，将摄像机12的拍摄范围设为拍摄范围18，将摄像机13的拍摄范围设为拍摄范围19。摄像机12与摄像机13分别拍摄拍摄图像20与拍摄图像21。这里，拍摄图像20与拍摄图像21的背景15的视差Df的大小与基线长T的大小相等。然而，将背景15的位置设为足够远的位置、即可以近似为距离摄像机12与13无限远的情况下，摄像机的拍摄范围变得非常大，因此能将视差Df的大小近似为O。由此，在进行平行法拍摄时，构成第I视差息的 第I最大视差为O。
另外，对进行平行法拍摄时的构成第I视差信息的第I最小视差的计算方法进行说明。在进行平行法拍摄的情况下，可被拍摄成立体影像的被摄体距离摄像机的位置由基线长T及摄像机视角Θ所限定。如图3所示,摄像机视角Θ对拍摄范围18及拍摄范围19的范围有影响，而基线长T对拍摄范围18与拍摄范围19相交的区域的大小有影响。对于从摄像机12与摄像机13的基线长的位置到被摄体14为止的距离的、被摄体14的视差的值由从摄像机的基线长到被摄体为止的距离、作为摄像机机构的基线长的大小、及视角Θ唯一确定。
例如，若将从摄像机12与摄像机13的基线长到被摄体14为止的距离设为Ln，到背景15的距离设为Lf，将拍摄图像中的被摄体14的视差设为Dn，则得到式(I)的相似关系。
(L f — Ln):Ln = Dn:T...(I)
可根据式(I)并利用式(2 )求出视差Dn
Dn = TX (Lf-Ln) / Ln*..(2)
图4是在图3的平行法的配置下利用摄像机12及摄像机13进行拍摄时的、拍摄图像的一个示例。图4 (a)是由摄像机12拍摄到的左眼用图像数据20，而图4 (b)是由摄像机13拍摄到的右眼用图像数据21。这里，将从左眼用图像数据20的左端到被摄体14为止的距离设为d 2 n L，将从右眼用图像数据21的左端到被摄体14为止的距离设为d 2 n R，在该情况下，此时的最小视差为d2nR—d2nL，该d2nR—d2nL的绝对值与式(2)的Dn的值相同。若该视差的绝对值变大，则进行立体观看时，将产生眼部疲劳，或观看到重影使得无法进行立体观看。
另外，图3中，例如，在将被摄体14移动到被摄体22的位置时，过于靠近摄像机，使得被摄体22超出拍摄范围18及拍摄范围19，从而无法显示呈现给左右眼的图像中所对应的点，其结果是无法进行立体观看。为了避免该情况，一般在摄像机的使用说明书等中记载有摄像机固有的推荐拍摄距离，在将被摄体设置到该使用说明书等中记载的摄像机固有的推荐拍摄距离时的视差的值设为是最小视差。
另外，可进行立体观察的视差的大小因人而异，因此用户可预先将与自身相符的推荐拍摄距离输入到摄像机中。摄像机一侧可预先将该值存储到摄像机的存储区域中，使得能够始终作为第I最小视差进行输出以作为用户特有的第I最小视差。
接下来，对进行交叉法拍摄时的第I视差信息的计算方法进行说明。
图5是说明利用交叉法的立体拍摄的图。图5的摄像机的结构是相对于图3所说明的结构、仅使摄像机13水平地倾斜的结构。与图3相同，摄像机12与摄像机13的光轴在垂直方向上平行，而与图3的情况不同的 是在水平方向上设置成使得光轴16与光轴17相交。将光轴16与光轴17的交点设为会聚点23。接下来，对特征点24上的视差的计算方法进行说明。这里，特征点24处于光轴16上，将穿过该特征点24、且与光轴17垂直并相交的线段设为线段25，将该摄像机13的拍摄范围的长度设为W。另外，将线段25与光轴17相交的点设为点26。并且，如图5所图示，线段25上的特征点24位于从点26离开WdO的位置。这里，WdO与线段25的长度W的比率的值等于右眼用图像中从右眼用图像的中心点到特征点24为止的距离Hd与显示右眼用图像的显示器的水平方向的显示尺寸H的比率的值，如式(3)所示。
Wdo/ W = H d / H...(3)
由于特征点24位于光轴16上，因此左眼用图像中的特征点24的位置为左眼用图像的中心位置。由此，特征点24的视差为Hd。这里，将从摄像机12到特征点24为止的距离设为L，将从摄像机12到会聚点23为止的距离设为Lo，将从摄像机13到线段25为止的距离设为A，将从会聚点23到点26为止的距离设为Al，将从会聚点23到摄像机13为止的距离设为A2。另外，若将摄像机12的中心设为点27，将摄像机13的中心设为点28，将线段25右端的点设为点29，则观察点26、点28、点29所形成的三角形，可得到式(4)的关系。
t a η ( θ / 2) =W / (2X A)...(4)
可根据式(4)并利用式(5)求出线段25的长度W。W= 2X A X t a η ( θ / 2)...(5)
若将光轴16与光轴17相交的角度设为阿尔法(α )，则观察会聚点23与特征点24、点26所形成的三角形，可得到式(6)的关系。
Al=(L-Lo)X cos α...(6)
Wd O=(L-Lo)X s in α...(7)
另外，观察会聚点23与点27、点28所形成的三角形，可得到式(8)及式(9)的关系。
A 2 = T / s in α...(8)
Lo = T/ tana***(9)
这里，根据A = A I +A 2及式(5)、式(6)、式(8)、式(9)，则线段25的长度W成为式(10)那样。
W=2X((L — T/tana)Xcos a + T / s i η a ) X t a η ( θ /2)...(10)
根据式(3)及式(10)，则视差Hd成为式(11)。
Hd=HX(L — T / t an a )X s in α / { L X cos α X 2 X t a η ( θ /2) }...(11)
这里，交叉法中，特征点24距离会聚点越远则视差Hd越大，因此若将L设为无限大，则可求出视差Hd的最大值Hdmax。根据式(11 )，若将L近似为无限大，则与L相比，T / t aη α可忽略，因此Hdmax成为式(12)。
Hdmax=HX tan α / {2Χ tan ( θ /2)}...(12)
如上所述，交叉法中，视差的最大值能近似为式(12)的值，该值由进行显示的显示器尺寸、摄像机的视角、及光轴相交的角度确定，将此时的视差的最大值输出作为第I视差信息中的最大视差。
另外，与最大视差相同地构成第I视差信息的最小视差在平行法和交叉法中均相同，即为将被摄体设置到摄像机的使用说明书等所记载的摄像机固有的推荐拍摄距离时的视差值。
另外，与平行法的情况相同，可进行立体观察的视差的大小因人而异，因此用户可以预先将与自身相符的推荐拍摄距离输入到摄像机中。摄像机一侧预先将该值存储到摄像机的存储区域中，使得能够始终作为第I最小视差进行输出，以作为用户特有的第I最小视差。
接下来，对上述第2视差信息进行说明。第2视差信息由第2最小视差及第2最大视差构成，该第2最小视差是处于最靠近摄像机的位置即最近点上的视差，该第2最大视差是处于最远离摄像机的位置即最远点上的视差。该第2最小视差及最大视差分别通过使用立体匹配法并检索对应点而求得，并将画面中、处于最靠近摄像机的位置上的最近点的被摄体的视差作为第2最小视差，将处于最远离摄像机的位置上的最远点的被摄体的视差作为第2最大视差。
这里，立体匹配法是指进行如下动作的方法:使用由配置于左右侧的2台摄像机拍摄到的I组2张的图像，并根据面积相关的计算来求出由左侧的摄像机拍摄到的图像对应于由右侧的摄像机拍摄到的图像的哪部分，并通过使用该对应关系的三角测量来推测出各点的三维位置。另外，作为立体匹配以外的方法，用户还可以在图像内寻找对应点，并输入最近点和最远点处的被摄体的视差。
如上所述，通过计算、输出并记录或传输作为物理性视差范围的第I视差信息及作为实际视差范围的第2视差信息，从而在进行大画面显示时，即使在立体匹配等发生误差的情况下，也能进行舒适且安全的视差范围内的显示，其中，该第I视差信息是根据拍摄所用的摄像机固有的方向或配置、镜头的视角信息等摄像机机构信息并通过几何学计算而求得的，该第2视差信息是通过立体匹配或由用户手工输入等计算出的。
图6是关于本发明的实施方式I的立体图像数据生成装置I的动作的流程图，根据该流程图对其动作进行说明。这里，图1的立体图像数据生成装置I在其前级包括未图示的拍摄单元。作为拍摄单元的一个示例，可列举出至少2台以上的多台摄像机、或者带有立体适配器、大口径镜头、能拍摄全景的特殊镜头的I台摄像机、或者将I台摄像机在水平方向上滑动的方式等。
在图6的步骤SI中，立体图像数据生成装置I的电源被接通，则进入到步骤S2。步骤S2中，摄像机机构信息从与立体图像数据生成装置I的外部相连接的未图示的摄像机被输入到视差计算单元2，该摄像机机构信息包含:由上述摄像机拍摄到的左眼用图像数据、右眼用图像数据、摄像机的基线长、视角、会聚角的信息。这里，左眼用图像数据与右眼用图像数据按每一帧被输入到视差计算单元2，以作为由连续帧构成的图像数据。
图7是表示本发明的实施方式I的立体图像数据生成装置的视差计算单元的简要结构的框图。图7中，视差计算单元2由如下部分构成:机构视差计算单元30，该机构视差计算单元30根据所输入的摄像机机构信息来生成第I视差信息；立体匹配单元31，该立体匹配单元31根据所输入的左眼用图像数据和右眼用图像数据来生成第2视差信息；视差修正单元32，该视差修正单元32在对图像整体进行视差移位时，修正相当于对第I视差信息与第2视差信息的视差进行移位的量的大小；以及图像剪切单元33，该图像剪切单元33在视差移位后的位置分别对左眼用图像数据及右眼用图像数据进行剪切。这里，立体匹配单元31中也可以设置从外部接收用户输入的未图示的用户输入单元。用户输入单元例如也可以通过向用户呈现左眼用图像数据及右眼用图像数据，从而使用户在图像内寻找最近点及最远点的对应点，并将此时的视差作为第2最小视差及第2最大视差进行输入。
步骤S3中，根据所输入的摄像机机构信息并通过视差计算单元2内部的机构视差计算单元30，利用以图3至图5所说明的第I视差信息的计算方法为基准的方法来生成第I视差/[目息。
判定步骤S4中，判定用户是否通过用户输入单元以手动输入方式将第2视差信息输入到视差计算单元2内部的立体匹配单元31中，在输入的情况下，进入步骤S6，若没有输入则进入步骤S5。
步骤S5中，利用输入到立体匹配单元31中的左眼用图像数据及右眼用图像数据，并通过上述立体匹配法来生成第2视差信息。
步骤S6中，从机构视差计算单元30输出的第I视差信息与从立体匹配单元31输出的第2视差信息被输入至视差修正单元32。
判定步骤S7中，参照输入到视差修正单元32中的第I视差信息与第2视差信息，来判定是否进行视差移位，若进行视差移位，则进入步骤S8，若不进行视差移位，则进入步骤S10。
这里，对视差移位进行说明。在进行立体显示的情况下，通常，若采用帧序列的方式，则将相同大小的左眼用图像数据与右眼用图像数据显示到同一位置上，若采用视差屏障，则在纵向上以像素为单位或子像素为单位并以左右图像交替排列的方式进行显示。此时，通过在整个画面上分别统一将左右图像中的至少一个相对于原来的显示位置向左或向右移位，从而使左右图像的对应点的视差发生变化，这被称为视差移位。是否进行视差移位可由用户选择。例如，可在没有视差移位的状态下立体显示图像，用户也可以将图像移位以使其成为所希望的视差。
另外，也可以从第I视差信息的第I最大视差信息与第I最小视差信息、和第2视差信息的第2最大视差信息与第2最小视差信息这四个视差信息中，选择出至少一个视差信息，并在判断为所选出的视差信息的绝对值大于规定值的情况下，进行视差移位，使得所选出的视差信息的绝对值变得小于规定值。
另外，也可以在上述四个视差信息中，对是否所有被摄体均从显示面向前方突出，或者均向里侧缩入进行判定，在所有被摄体均突出或缩入的情况下，进行视差移位使得图像包含突出被摄体及向里侧缩入被摄体这两种被摄体。例如，在利用平行法进行拍摄时，处于无限远处的背景显示于显示面上，而处于背景前方的所有被摄体显示为从显示面向前方突出。此时，可以统一将整个画面向处于背景前方的所有被摄体的视差变小的方向移位。
步骤S8中，通过图7的视差修正单元32，使第I视差信息与第2视差信息分别减去移位视差量，由此对于所输入的第I视差信息与第2视差信息进行修正，并将所生成的第I视差信息与第2视差信息修正作为新的第I视差信息与第2视差信息，将第I视差信息与第2视差信息和视点信息输出至图1的3D信息生成单元3，并将经修正的视差量输出至图像剪切单元33。
步骤S9中，利用图7的图像剪切单元33，并使用来自视差修正单元32的经修正后的视差量，对左眼用图像数据或右眼用图像数据的位置进行移位，切去左眼用图像数据与右眼用图像数值的左右端上各自的对应点不存在的区域，从而对图像进行剪切。利用图8及图9对此时的视差移位的情况进行详细说明。
图8是进行视差移位前的左眼用图像数据及右眼用图像数据的一个示例。图8 (a)是左眼用图像数据的示例。左眼用图像数据34中，在进行立体显示时，具有向显示面最前方突出的被摄体35、以及向显示面最里侧缩入的被摄体36。另一方面，图8 (b)是右眼用图像数据的示例。右眼用图像数据37中，与被摄体35相对应的被摄体成为被摄体38、而与被摄体36相对应的被摄体成为被摄体39。这里，将被摄体35与被摄体38之间的视差设为Dnl，将被摄体36与被摄体39之间的视差设为Dfl。
接下来，对统一将左眼用图像数据或右眼用图像数据中的一个在整个画面上移位，由此来改变视差的方式进行说明。此外，一般地，在相对于右图像用数据，将左眼用图像数据的显示位置向左侧移位，来进行立体显示时，所有被摄体较进行视差移位前、整体向里侧缩进显示，而在将左眼用图像数据的显示位置向右侧移位，来进行立体显示时，所有被摄体较进行视差移位前、整体向前方突出显示。
图9是进行视差移位后的左眼用图像数据及右眼用图像数据的一个示例。这里，例如，为了使左眼用图像数据34的被摄体35的视差为0，将左眼用图像数据34向左侧移位D ηI，在该情况下，被摄体35与被摄体38之间的视差D η 2变为0，被摄体36与被摄体39之间的视差Df 2变为D f I +D η 1，被摄体35显示于显示面上，而被摄体36显示于较进行视差移位前更向里侧缩入的位置。
这里，通过使左眼用图像数据向左移位D η 1，从而由左眼用图像数据34中的粗框包围的区域40及由右眼用图像数据37中的粗框包围的区域41分别产生没有对应点的区域。此时，由于分别露出的区域40及区域41中的图像没有对应点，因此将其切去。显示时，使水平方向上的显示区域变窄所切除的量，来进行显示。通过这样进行视差移位来进行视差调整的方法较为普通，但在调整视差时，将第I视差信息或第2视差信息的值修正相当于视差移位的量。
上述中，对经剪切后的左右图像比进行立体显示的显示器的显示尺寸小的情况进行了说明，但也可以预先使摄像机的CXD比实际显示的图像大，由此，即使进行视差调整，也不会小于进行立体显示的显示器的显示尺寸。在该情况下，也可以不对画面进行移位，而通过分别使左右图像的位置进行移位并进行剪切，从而进行视差移位。
步骤SlO中，将由图7的图像剪切单元33剪切出的左眼用图像数据及右眼用图像数据向图1的3D信息生成单元3输出，并进入步骤S11。这里，上述中，对图像剪切单元33分别输出左右眼用图像的情况进行了阐述，然而也可以生成并输出一般被称作为并排(side-by-side)方式的、左右眼用图像水平排列的一张图像；或被称作为上下(top-and-bottom)方式的、左右眼用图像上下排列的一张图像。
步骤Sll中，利用图1的3D信息生成单元3，并使用从视差计算单元2输出的第I视差信息及第2视差信息、和视点信息等来生成3D信息。该3D信息被输出到多路复用单元5。这里，对上述3D信息进行说明。
图10是表不3D彳目息的一个不例的图。3D /[目息包含第I最大视差、第2最大视差、第I最小视差、以及第2最小视差。另外，作为3D信息所包含的其他信息，还可以包含:视差对象图像 目息；该视差对象图像彳目息表不作为第I最大视差、第2最大视差、第I最小视差、及第2最小视差的对象的视点图像的组合；视差单位信息，该视差单位信息表示第I最大视差、第2最大视差、第I最小视差、及第2最小视差的单位；以及假定显示器尺寸等，该假定显示器尺寸表示进行立体显示时，以多大尺寸的显示器来进行立体显示。此时，关于视差单位/[目息，可以对于第I最大视差、第2最大视差、第I最小视差、以及第2最小视差各自视差的每个视差使用不同的视差单位信息，也可以所有都统一为相同的单位信息，来生成3D信肩、O
另外，假定显示器尺寸可以另行从外部由用户输入至3D信息生成单元3，也可以作为摄像机机构信息的一部分，从摄像机输入至3D信息生成单元3。这里，在记录左右2个视点的图像时，不需要视差对象图像信息，而在处理3视点以上的图像时，变为需要该信息。由于视差是根据2个视点的图像来求得的，因此需要指定是根据3视点以上的图像中的哪2个视点图像来计算出的视差。
另外，这里，对视差单位信息进行说明。视差单位信息是表示在记录第I及第2最大视差、第I及第2最小视差的大小时所使用的单位的信息。可以以像素为单位来处理第I及第2最大视差、第I及第2最小视差的大小，也可以以“mm”或“cm”等绝对单位来处理，也可以以相对于画面的水平宽度的百分比来处理。例如，可以在视差单位信息为O的情况下，以像素为单位，在视差单位信息为I的情况下，使用“mm”或“cm”等绝对单位，在视差单位信息为2的情况下，使用相对于画面的水平宽度的百分比。
图10中，将视差单位信息、第I及第2最大视差、第I及第2最小视差作为一个组来插入到3D信息中，然而也可以是包含多个这样的组在内的3D信息。
如上所述，在采用包含多个组的结构的情况下，能够根据使用情况，来区分使用视差单位信息组。例如，在像素间距不明的情况、或不进行缩小放大显示等点对点(dot-by-dot)显示的情况等情况下，使用由相对于画面的水平宽度的百分比来表现的视差信息。另外，在显示侧进行视差移位时等、以像素为单位对视差进行处理的简单情况下，使用以像素为单位的视差信息。另外，在确定了缩入方向上进行立体显示的视差未超过人类的两眼瞳孔间间距的宽度的情况等情况下，优选以绝对值来处理视差。
如上所述，在采用3D信息中包含多组视差单位信息的结构的情况下，无需在重放侧变换视差单位，就能获得所希望的单位的视差信息，因此十分方便。
步骤S12中，利用图像压缩编码单元4并使用从图1的视差计算单元2输入的左眼用图像数据和右眼用图像数据，对上述图像进行压缩及编码，从而生成压缩图像数据。这里，可以从视差计算单元2分别输入左右图像，也可以输入被称作为并排方式的、左右眼用图像水平排列的一张图像；或被称作为上下方式的、左右眼用图像上下排列的一张图像。另外，这里，作为图像压缩编码方法，对于静态图像，采用J PEG, J PEG 2000等国际标准方法，对于动态图像，使用MP EG — 1、M P EG —2、M P EG —4 A VC等国际标准方法。作为动态图像的编码，在仅使用帧内编码的情况下，也可以使用M o t i ο n J P E G等方法。作为图像压缩编码方法，不局限于上述，也可以使用非标准的方法。
步骤S13中，通过图1的多路复用单元5来生成多路复用数据。多路复用单元5中，使用所输入的由3D信息生成单元3生成的3D信息及由图像压缩单元4生成的压缩图像数据，转换成规定格式，从而生成并输出多路复用数据。另外，虽未图示，但在对声音或音乐进行多路复用时，这些数据也是通过多路复用单元5来进行多路复用的。另外，这里，多路复用单元5的输出端连接有IC存储器或光盘、磁带、硬盘等记录设备、LAN或调制调解器等通信设备。这里，IC存储器与多路复用单元5相连。
下面，对在IC存储器中记录多路复用数据时的记录格式进行说明。一般在将IC存储器用作记录介质时，在IC存储器上构建有FAT (F ileAllocationTab
Ie:文件配置表)等文件系统，数据被记录成文件。这里所使用的文件格式可以使用既有的格式，也可以使用新定的独有格式。
图11是表示记录多路复用数据的文件格式的图。图11中，数据按附图的上方至下方的顺序被记录到文件中。图11 (a)是使用既有的格式的情况，而图11 (b)是使用新的格式的情况。在使用图11 (a)的既有格式的情况下，3D信息被记录于扩展头的区域，该扩展头为扩展文件头而设置。扩展名被记录为既有的文件头的一部分，在该情况下，原样使用一般所使用的扩展名。例如，在JPEG文件的情况下，一般使用扩展名.jpg。由此，即使是未带有三维图像显示功能的现有的重放装置也能作为既有格式的文件进行识别，并作为二维图像进行显示。
另一方面，在如图11 (b)那样使用新的格式的情况下，将3D信息记录于文件的开头。并且，为了获知新格式的文件，对其附加能与既有格式的文件相区别的独特的扩展名。此夕卜，图11 (a)、(b)中记载的管理信息用于记录生成日或生成者等、与三维图像无直接关系的信息。
图12是表示在记录多路复用数据时，使用既有文件格式时的一个示例的图。作为既有文件格式，对使用图11 (a)所示的既有格式时的左右图像的保存方法进行说明。
图12 (a)中，示出了作为左眼用图像数据与右眼用图像数据在图11 (a)的图像数据的区域中合二为一的图像数据进行记录的示例。另外，图12 (b)中，示出了左右两个图像数据被记录成为不同文件的示例。
并且，图12 (c)中，示出了将图12 (b)的2个文件记录成为I个文件的示例。此时，文件头对于左右图像分别存在。此外，也可以像图12 (d)那样，公用一个文件头，即成为图
11(a)中的既有文件格式的变形。
此外，如图12 (b)所示那样，左右两个图像数据被记录为不同的文件时，为了表示这2个文件是形成同一 3D图像的左右眼用图像数据组，可以生成这些文件专用的文件夹，并将
2个文件保存于该文件夹中进行管理。另外，为了表示这2个文件是形成同一 3D图像的左右眼用图像数据组，也可以对各个文件名使用规定的命名规则。例如，可以将某个3D图像I的左眼用和右眼用图像数据的文件名分别设为“3D图像I左.jpg”、“3D图像I右.jpg”，并将另一个3D图像2的左眼用和右眼用图像数据的文件名分别设为“3D图像2左.jpg”、“3D图像2右.jpg”，由此通过文件名来区别用于3D图像I与3D图像2的文件组。并且，也可以将用于表示这2个文件是形成同一 3D图像的左右侧的图像数据组的管理信息生成为另一个文件。例如，可以将记述这2个文件名的文件生成为3D管理信息文件。另外，可以在像PC上使用的“RAM”或“ASX”等元文件内，对这2个文件名进行记述来生成该3D管理信息文件。另外，也可以使左右侧图像的2个文件、上述所说明的公用3D信息文件、或3D管理信息文件中的至少I个在作为这些文件的专用文件夹所生成的文件夹中进行处理。
图13是表示在记录多路复用数据时，使用新的文件格式时的一个示例的图。如图12(c)及图12 (d)所示，在将形成3D图像的左右眼用图像数据组形成为I个文件时，将各个图像数据的3D信息分成能公用的信息、以及无法公用的个别信息，仅将能公用的部分保存于公用3D信息的保存区域中，将个别信息保存于左右眼用图像数据的3D信息的保存区域中。图13 (a)是将图12 (c)的3D信息的公用信息和个别信息保存到不同区域时的文件格式。另外，图13 (b)是将图12 (d)的3D信息的公用信息和个别信息保存到不同区域时的文件格式。
另外，作为以静态图像进行记录时的文件格式，可以将3D信息插入到CIPA标准“CIPADC-006数字相机用立体静态图像格式”、或“CIPA DC-007多图像格式”。
此外，虽然对左右图像的配置顺序或保存到文件中的顺序固定的情况进行了说明，但也可以使这些顺序可变。在可变的情况下，可以将顺序信息记录到3D信息中。
在图6的判定步骤S14中，判定输入到立体图像数据生成装置I中的左眼用图像数据和右眼用图像数据是否为最后一帧的数据，若是最后一帧，则进入步骤S15，若不是，则返回到步骤S2。
在步骤S15中，由于没有图像数据被输入到立体图像数据生成装置1，因此处理结束。
如上所述，立体图像数据生成装置I生成包含3D信息及压缩图像数据在内的多路复用数据以作为立体图像数据，该3D信息包含由第I最大视差及第I最小视差组成的第I视差信息、和由第2最大视差及第2最小视差组成的第2视差信息，由此，能够生成包含根据摄像机的机构性信息求出的作为界限最大视差信息的第I视差信息、以及实际产生的第2视差信息在内的多路复用数据。
另外，上述中，示出了对3D信息和由图像压缩编码单元4生成的压缩图像数据进行多路复用的示例，然而也可以省略图像压缩编码单元4，不对所输入的左眼用图像数据及右眼用图像数据进行压缩，而对原样使用的未压缩的图像数据、和3D信息进行多路复用。另外，上述中，对将第I最大视差、第2最大视差、第I最小视差、第2最小视差全部进行记录的情况进行了说明，然而也可以仅记录这些视差中的、至少一个以上的最大视差或最小视差。
另外，上述中，也可以在3D信息内记录可否记录视差标记，该可否记录视差标记表示3D信息内是否分别记录有第I最大视差、第2最大视差、第I最小视差、及第2最小视差的值。此时，通过上述可否记录视差标记的值，使得在3D信息内仅记录第I最大视差、第2最大视差、第I最小视差、及第2最小视差中、设定为其值被记录于3D信息内的视差。
接下来，对用于将由立体图像数据生成装置I生成的图像数据作为三维图像来进行立体显示的重放装置进行说明。
图14是表示本发明的实施方式I的立体图像数据重放装置的简要结构的框图。图14中，立体图像数据重放装置100由如下部分构成:逆多路复用单元101，该逆多路复用单元101分离多路复用数据；3D信息分析单元102，该3D信息分析单元102分析3D信息；图像解码单元103，该图像解码单元103对经压缩编码后的压缩图像数据进行解码；以及立体强度转换单元104，该立体强度转换单元104利用来自3D信息分析单元102及图像解码单元103的输入数据来生成三维影像。对上述那样构成的立体图像数据重放装置100的动作进行说明。
逆多路复用单元101从记录设备或通信设备读取多路复用成规定格式的多路复用数据，并将其分离成压缩图像数据与3D信息。虽未图示于图14，但在对声音或音乐进行多路复用时，这些数据也是通过逆多路复用单元101来进行分离的。这里，IC存储器与逆多路复用单元101相连。如上所述，IC存储器中，图像文件以既有格式或新的格式进行记录。能够通过文件的扩展名来区分既有格式与新的格式，在重放的文件为图11 (a)所示的既有格式的文件的情况下，从文件头的扩展区域读取3D信息。另外，在图11 (b)所示的新的格式的情况下，从文件的开头读取出3D信息。
3D信息分析单元102分析3D信息，并提取出视差对象图像信息、视差单位信息、第I最大视差、第2最大视差、第I最小视差、第2最小视差、假定显示器尺寸的设定值，并输出至立体强度转换单元104。
图像解码单元103对所输入的压缩图像数据进行解码，并将解码后的图像数据输出至立体强度转换单元104。
立体强度转换单元104将如下数据作为输入:视差对象图像信息、视差单位信息、第I最大视差、第2最大视差、第I最小视差、第2最小视差、假定显示器尺寸、以及解码后的图像数据，并使用视差对象图像信息、视差单位信息、第I最大视差、第2最大视差、第I最小视差、第2最小视差、假定显示器尺寸，来生成对解码后的图像数据进行视差调整后的三维影像，并输出给外部的显示装置。
对此时的立体强度转换单元104中的视差调整进行详细说明。
也可以使用根据摄像机的机构性信息求出的第I视差信息、以及通过立体匹配等实际广生的第2视差/[目息来调整视差。
例如，将第I最大视差与第2最大视差进行比较，若第2最大视差下的立体影像的呈现位置比第I最大视差的还处于更里侧，则判断为第2最大视差不适当，不使用第2最大视差，而使用第I最大视差。根据该第I最大视差、及假定显示器尺寸和视差单位信息，来求出第I最大视差的大小，并对视差进行调整，使得该值不超过人眼的宽度。如非专利文献I中所记载的那样，此时的人眼宽度将儿童的眼宽考虑在内，设为5cm。
另外，将第I最小视差与第2最小视差进行比较，若第2最小视差下的立体影像的显呈现位置比第I最小视差的还处于更前方，则表示被摄体的位置处于比摄像机的使用说明书等中的摄像机固有的推荐拍摄距离更前方处，因此立体强度转换单元104判定为不适于立体观看该图像，可以通过将整个画面向左右侧进行视差移位来进行视差调整，使得第2最小视差大于第I最小视差，也可以通过缩小显示立体影像，来进行视差调整，也可以放弃立体显示，而进行2D显示，也可以使用单眼图像进行2D - 3D转换，来进行立体显示。
另外，将上述第I最大视差与上述第2最大视差的大小进行比较，在上述第2最大视差小于上述第I最大视差的情况下，也可以基于上述第2最大视差的值来进行视差调整。
另外，将上述第I最小视差与上述第2最小视差的大小进行比较，在上述第2最小视差大于上述第I最小视差的情况下，也可以基于上述第2最小视差的值来进行视差调整。
另外，在进行上述视差调整时，利用假定显示器尺寸来进行计算，但在进行显示的显示器尺寸与假定显示器尺寸不同的情况下，可以通过用户手工输入、或设备间进行通信等，从外部将进行显示的显示器的尺寸输入至立体图像数据重放装置100，并利用所输入的进行显示的显示器的尺寸来求出视差。此外，此时的观看距离假设为在假定显示器尺寸或实际显示的显示器尺寸的高度的3倍处观看。
另外，上述中，对将第I最大视差、第2最大视差、第I最小视差、第2最小视差全部用于调整视差的情况进行了说明，然而也可以使用这些视差中、至少一个以上的最大视差或最小视差来调整视差。另外，在3D信息内未记录有第I最大视差、第2最大视差、第I最小视差、第2最小视差的所有视差的情况下，也可以使用所记录的视差中、至少一个以上的最大视差或最小视差来调整视差。
此外，上述中，在输入到逆多路复用单元101的多路复用数据由3D信息及未经压缩的图像数据构成时，图像解码单元103可以不特别进行解码处理，而只要将所输入的未经压缩的图像数据原样替换经解码后的图像数据并将其输出即可。如上所述，能够通过由本发明实施方式I中的立体图像数据生成装置1、及立体图像数据重放装置100构成的系统，并使用第I视差信息及第2视差信息来进行适当的视差调整，从而实现更安全、更舒适的立体显示。另外，在上述实施方式中，对视点数为2的情况进行了阐述，而本发明也可以适用于视点数为3以上的所谓多视点的情况。
实施例2
接下来，作为本发明的实施方式2，对输入到立体图像数据生成装置中的图像数为η视点以上(η为3以上的整数)的情况进行说明。
图15是表示本发明的实施方式2的立体图像数据生成装置的简要结构的框图。图15中，立体图像数据生成装置200具有视差计算单元201、3D信息生成单元3、图像压缩编码单元4、及多路复用单元202而构成。视差计算单元201将摄像机机构信息、η视点的图像数据作为输入，并输出第I视差信息、第2视差信息、视差计算视点信息、及η视点的图像数据，该第I视差信息是根据上述摄像机机构信息并通过在几何学上计算而求得的，该第2视差信息是从η视点的图像数据中选出2视点的图像数据，并使用所选出的2视点的图像数据来进行对应点检索而计算出的，该视差计算视点信息表示是根据哪个视点的图像来计算视差的。3D彳目息生成单兀3将视差计算视点彳目息、第I视差/[目息、及第2视差彳目息作为输入，根据所输入的视差计算视点信息、第I视差信息、及第2视差信息来生成并输出3D信息。图像压缩编码单元4将η视点的图像数据作为输入，对所输入的η视点的图像数据进行压缩编码，生成并输出压缩图像数据。多路复用单元202中，将由3D信息生成单元3生成的3D信息及由图像压缩编码单元4生成的压缩图像数据作为输入，对所输入的3D信息及压缩图像数据进行多路复用，从而生成并输出多路复用数据。
由于构成立体图像数据生成装置200的各个单元中的、3D信息生成单元3及图像压缩编码单元4与实施方式I相同，因此，在这里省略说明，分别对视差计算单元201及多路复用单元202的动作进行说明。
首先，对视差计算单元201进行说明。
图16是表示本发明的实施方式2的立体图像数据生成装置的视差计算单元的简要结构的框图。图16中，视差计算单元201具有机构视差计算单元30、图像选择单元204、立体匹配单元31、视差修正单元32、及图像剪切单元205而构成。图16的视差计算单元201是将图7的视差计算单元2扩展成η视点图像输入的单元。构成视差计算单元201的各单元中的、机构视差计算单元30、立体匹配单元31、视差修正单元32与实施方式I相同，因此，这里省略说明。
首先，η视点的图像数据被输入到图像选择单元204，图像选择单元204从所输入的η视点的图像数据中选择出2视点的图像数据并输出。此时，所选出的2视点的图像数据对作为与摄像机机构信息相匹配的视点组合的图像进行选择。例如，如果摄像机机构信息是相邻视点的摄像机的信息，则可以从与该信息相对应的视点的摄像机组合中的某一组合选出。此时，视差计算单元201将所选出的视点图像数据的信息输出至3D生成信息单元3，以作为视差计算视点信息。另外，这里，在与上述摄像机机构信息相匹配的视点组合存在多组的情况下，图像选择单元204也可以选择多组。在该情况下，立体匹配单元31可以对多个组合的每个组合求出视差，并输出其中最大的视差。
接下来，对图像剪切单元205进行说明。η视点的图像数据被输入到图像剪切单元205，图像剪切单元205对所输入的η视点的图像数据进行视差移位，移位量为视差修正单元32所指定的视差量，之后，将经剪切后的各个图像作为η视点的图像数据进行输出。此时，进行视差移位时，为了使η视点的视点图像数据的相邻组合的各个组合间的移位量相同，可以对所有η视点的视点图像数据进行图像剪切，以使得视差变化相同的量；也可以仅对由视差计算视点信息表示的2个视点图像数据的组合进行视差移位。
图17是表示记录多路复用数据的文件格式的一个示例的图，该多路复用数据根据由立体图像数据生成装置200生成的η视点的视点图像数据而生成。这里，视点图像信息是与I个视点图像数据相关的信息，由如下数据构成:文件头、从各视点图像数据提取出的3D信息、与各视点图像数据相关的管理信息、以及视点图像数据。图17 (a)中，示出了从文件的开头将η个视点图像信息连结起来并保存为单个文件的示例。另外，图17 (b)中示出了如下示例:从η个视点图像信息中均含有的3D信息中，将公用信息另行合并为一个以作为公用的3D信息，并保存到文件的开头，接下来，将整个文件的管理信息、以及相连结的η个视点图像信息进行保存。
如上所述，立体图像数据生成装置200生成包含3D信息及压缩图像数据在内的多路复用数据以作为立体图像数据，该3D信息包含由第I最大视差及第I最小视差组成的第I视差 目息、由第2最大视差及第2最小视差组成的第2视差彳目息、以及视差计算视点彳目息，该压缩图像数据对η视点的视点图像数据进行了压缩，由此，能够生成包含根据摄像机的机构性信息求出的作为界限最大视差信息的第I视差信息、以及实际产生的第2视差信息在内的、与η视点的视点图像数据相对应的多路复用数据。
接下来，对用于将由立体图像数据生成装置200生成的图像数据作为三维图像来进行立体显示的立体图像数据重放装置300进行说明。
图18是表示本发明的实施方式2的立体图像数据重放装置的简要结构的框图。图18中，立体图像数据重放装置300由如下部分构成:逆多路复用单元101，该逆多路复用单元101分离多路复用数据；3D信息分析单元102，该3D信息分析单元102分析3D信息；图像解码单元103，该图像解码单元103对经压缩编码后的压缩图像数据进行解码；以及立体强度转换单元301，该立体强度转换单元301利用来自3D信息分析单元102及图像解码单元103的输入数据来生成三维影像。构成图18的立体图像数据重放装置300的各单元中的、逆多路复用单元101、3D信息分析单元102、图像解码单元103与实施方式I相同，因此，这里省略说明，对立体强度转换单元301的动作进行如下说明。
立体强度转换单元301中输入有视差对象图像信息、视差单位信息、第I最大视差、第2最大视差、第I最小视差、第2最小视差、假定显示器尺寸以作为由3D信息分析单元102进行分析、并提取出的3D信息；以及经图像解码单元103进行解码后的η视点的视点图像数据。立体强度转换单元301中，从所输入的η视点的视点图像中选择出视差对象图像信息所示出的2视点的图像数据，并与立体强度转换单`元104相同，使用视差单位信息、第I最大视差、第2最大视差、第I最小视差、第2最小视差、以及假定显示器尺寸对所选出的图像数据进行视差调整，从而生成并输出三维影像。此时，立体强度转换单元301也可以对未在上述中选出的其他相邻视点图像进行视差移位，且移位相同的量。
如上所述，能够通过利用本发明实施方式2中的立体图像数据生成装置200、及立体图像数据重放装置300构成的系统，并使用第I视差信息及第2视差信息来进行适当的视差调整，从而即使在处理η视点图像数据的情况下，也能与2视点的情况相同地实现更安全的立体显示。
另外，在上述实施方式中，对有多个图像输入的情况进行了阐述，而本发明也可以适用于将立体拍摄用适配器安装到单眼式拍摄装置的情况。立体拍摄用的适配器中存在有用于将左右眼用的图像拍摄在一个画面上的立体适配器、或在一个画面上拍摄多个视点图像的适配器。在该情况下，上述视差计算单元2或视差计算单元201中，对计算视差所需的2张图像进行分离并计算出视差，并对原样作为一张图像进行输出、还是分离成各个视点来进行输出进行选择，从而以与所希望的压缩图像数据的格式相配合的形式，输出至图像压缩编码单元4。这里，除了上述视差计算单元2或视差计算单元201的动作以外，进行相同的动作，因此省略说明。如上所述，根据本发明的立体图像数据生成装置、立体图像数据重放装置以及文件管理方法，上述立体图像数据生成装置使用第I最大视差、第I最小视差、第2最大视差、及第2最小视差来生成为3D信息，该第I最大视差是从拍摄单元的机构在几何学上求出的视差的最大值，该第I最小视差是从拍摄单元的机构落入规定视差范围内、且处于距离拍摄单元最近的位置上的视差，该第2最大视差是立体图像的视差的最大值，该第2最小视差是立体图像的视差的最小值，并且上述立体图像数据生成装置生成并发送对所生成的3D信息、及构成立体图像数据的多个图像数据进行多路复用后的多路复用数据，上述立体图像数据重放装置接收上述多路复用数据并进行逆多路复用，并通过使用根据3D信息进行解码后的上述第I最大视差、上述第I最小视差、上述第2最大视差、及上述第2最小视差，从而能够以更高的自由度、安全且适当地进行与所显示的显示器尺寸相配合的视差调整。
另外，根据本发明，通过将第I视差信息及第2视差信息记录成为3D信息并进行重放，从而能够使用由摄像机的机构得到的视差的界限值、及实际视差值来调整视差，另外，还能够得到如下积极效果:能够通过第I最大视差与第2最大视差的大小的比较、或第I最小视差与第2最小视差的大小的比较，来判断第2最大视差或最小视差的值是否适合。
另外，根据本发明，能够得到如下积极效果:在大画面上对立体图像数据进行显示时等情况下，使用由摄像机的机构得到的视差的界限值，来进行视差移位等，从而调节立体感强度，由此能进行更安全的立体感调整。
另外，根据本发明，能够得到如下积极效果:通过对第I最大视差、第2最大视差、第I最小视差、以及第2最小视差进行元数据化，能够使用于进行三维显示的图像数据具有通用性。
上述中，实施例所有内容均为举例表示，而不是限制性的。例如，本实施方式中，示例出了立体图像数据生成装置、立体图像数据重放装置、以及文件管理方法，然而只要能够生成或重放3D影像信号即可，并未局限于立体图像数据生成装置、立体图像数据重放装置。除立体图像数据生成装置、立体图像数据重放装置、以及文件管理方法以外，本发明还能广泛应用于3D数字摄像机、3D数字电影、3D电视、数字视频录像机、便携式电影播放器、便携式电话、导航系统、便携式DVD播放器、PC等可以输出或显示3D影像信号的设备。
工业上的实用性
本发明所涉及的立体图像数据生成装置、立体图像数据重放装置、以及文件管理方法在显示立体图像时，能够根据由摄像机机构得到的视差的界限值及立体图像的视差的界限值，来进行与显示器尺寸相配合的视差调整，从而进行更安全、更可靠、且自由度较高的视差调整。
标号说明
1，200...立体图像数据生成装置、2，201...视差计算单元、3…3 D信息生成单元、4…图像压缩编码单元、5，202…多路复用单元、6，34...左眼用图像数据、7，10...最远点、8，11...最近点、9，37...右眼用图像数据、12，13…摄像机、14，22，35，36，38，39…被摄体、15...背景、16，17…光轴、18，19…拍摄范围、20，21…拍摄图像、23…会聚点、24...特征点、25…线段、26，27，28，29…点、30…机构视差计算单元、31…立体匹配单元、32…视差修正单元、33，205…图像剪切单元、40，41…区域、100，300...立体图像数据重放装置、10L...逆多路复用单元、102...3D信息分析单元、103…图像解码单元、104，301...立体强度转换单元、204…图像选择单元、400…左眼用图像、401…右眼用图像、402…主动式快门眼镜、403…左眼用的镜片快门、404…右眼用的镜片快门、410…图像显示面板、411…视差屏障、412…左眼、413…右眼、S 1，S 2，S 3，S 5，S 6，S 8，S 9，S 10，S 11，S 12，S 13，S 15…步骤、S 4，S7，S 14…判 定步骤
权利要求
1.一种立体图像数据生成装置，根据分别与多个视点相对应的多个图像数据，来生成规定文件格式的图像数据，其特征在于， 将第I最大视差、第I最小视差、第2最大视差、及第2最小视差作为输入，该第I最大视差是从拍摄单元的机构在几何学上求出的视差的最大值，该第I最小视差是从拍摄单元的机构落入规定视差范围内、且处于距离拍摄单元最近的位置上的视差，该第2最大视差是立体图像的左眼图像与右眼图像的视差最大值，该第2最小视差是立体图像的左眼图像与右眼图像的视差最小值， 所述立体图像数据生成装置包括: 3D信息生成单元，该3D信息生成单元使用所输入的所述第I最大视差、所述第2最大视差、所述第I最小视差、及所述第2最小视差中的至少一个以上的最大视差或最小视差来生成并输出3D信息；以及 多路复用单元，该多路复用单元对所述3D信息及所述图像数据进行多路复用，并生成规定文件格式的立体图像数据。
2.一种立体图像数据生成装置，根据分别与多个视点相对应的多个图像数据，来生成规定文件格式的图像数据，其特征在于， 将第I最大视差、第I最小视差、第2最大视差、及第2最小视差作为输入，该第I最大视差是从拍摄单元的机构在几何学上求出的视差的最大值，该第I最小视差是从拍摄单元的机构落入规定视差范围内、且处于距离拍摄单元最近的位置上的视差，该第2最大视差是立体图像的左眼图像与右眼图像的视差最大值，该第2最小视差是立体图像的左眼图像与右眼图像的视差最小值， 所述立体图像数据生成装置包括: 3D信息生成单元，该3D信息生成单元使用所输入的所述第I最大视差、所述第2最大视差、所述第I最小视差、及所述第2最小视差中的至少一个以上的最大视差或最小视差来生成并输出3D信息； 图像压缩编码单元，该图像压缩编码单元对所输入的所述多个图像数据进行压缩编码，并输出压缩图像数据；以及 多路复用单元，该多路复用单元对所述3D信息及所述压缩图像数据进行多路复用，并生成规定文件格式的立体图像数据。
3.如权利要求1或2所述的立体图像数据生成装置，其特征在于， 所述规定文件格式的立体图像数据中包含3个以上的η个视点的所述图像数据，以作为所述多个视点。
4.如权利要求1至3中的任一项所述的立体图像数据生成装置，其特征在于， 在根据所述第I最大视差、所述第2最大视差、所述第I最小视差、及所述第2最小视差来生成3D信息的情况下，所述3D信息生成单元生成视差单位信息，该视差单位信息表示对于所述第I最大视差、所述第2最大视差、所述第I最小视差、及所述第2最小视差的单位，所述规定文件格式的立体图像数据包含所述视差单位信息。
5.如权利要求4所述的立体图像数据生成装置，其特征在于， 所述第I最大视差、所述第2最大视差、所述第I最小视差、及所述第2最小视差的单位为如下的某一个:像素单位、子像素单位、长度、距离单位、或相对于整个图像的横宽的百分比。
6.如权利要求1至3中的任一项所述的立体图像数据生成装置，其特征在于 在根据所述第I最大视差、所述第2最大视差、所述第I最小视差、及所述第2最小视差来生成3D信息的情况下，所述3D信息生成单元生成视差对象图像信息，该视差对象图像信息表示所述第I最大视差、所述第2最大视差、所述第I最小视差、及所述第2最小视差是通过所述多个图像数据中的哪2个视点图像数据的组合而求得的，并且所述规定文件格式的立体图像数据包含所述视差对象图像信息。
7.一种立体图像数据重放装置，根据规定文件格式的图像数据，对分别与多个视点相对应的多个图像数据进行重放，其特征在于，所述立体图像数据重放装置包括: 逆多路复用单元，该逆多路复用单元根据所述文件格式将3D信息与图像数据进行分尚，该3D /[目息表不第I最大视差、第2最大视差、第I最小视差、及第2最小视差中的至少一个以上的最大视差或最小视差，该第I最大视差是从拍摄单元的机构在几何学上求出的视差的最大值，该第2最大视差是立体图像的左眼图像与右眼图像的视差最大值，该第I最小视差是从拍摄单元的机构落入规定视差范围内、且处于距离拍摄单元最近的位置上的视差，该第2最小视差是立体图像的左眼图像与右眼图像的视差最小值； 3D信息分析单元，该3D信息分析单元分析所述3D信息；以及 立体强度转换单元，该立体强度转换单元对所述图像数据进行视差调整， 所述3D信息分析单元分析所述3D信息， 所述立体强度转换单元使用所述第I最大视差、所述第2最大视差、所述第I最小视差、及所述第2最小视差中的 至少一个以上的最大视差或最小视差，来调整并重放所述图像数据的视差。
8.一种立体图像数据重放装置，根据规定文件格式的图像数据，对分别与多个视点相对应的多个图像数据进行重放，其特征在于，所述立体图像数据重放装置包括: 逆多路复用单元，该逆多路复用单元根据所述文件格式将3D信息与压缩图像数据进行分离，该3D信息表示第I最大视差、第2最大视差、第I最小视差、及第2最小视差中的至少一个以上的最大视差或最小视差，该第I最大视差是从拍摄单元的机构在几何学上求出的视差的最大值，该第2最大视差是立体图像的左眼图像与右眼图像的视差最大值，该第I最小视差是从拍摄单元的机构落入规定视差范围内、且处于距离拍摄单元最近的位置上的视差，该第2最小视差是立体图像的左眼图像与右眼图像的视差最小值； 3D信息分析单兀，该3D信息分析单兀分析所述3D信息； 图像解码单元，该图像解码单元对所述压缩图像数据进行解码；以及立体强度转换单元，该立体强度转换单元对将所述压缩图像数据解码后的图像数据进行视差调整， 所述3D信息分析单元分析所述3D信息， 所述立体强度转换单元使用所述第I最大视差、所述第2最大视差、所述第I最小视差、及所述第2最小视差中的至少一个以上的最大视差或最小视差来调整所述图像数据的视差，并对其进行重放。
9.如权利要求7或8所述的立体图像数据重放装置，其特征在于， 在对表示所述第I最大视差、所述第2最大视差、所述第I最小视差、及所述第2最小视差的信息进行分析的情况下，所述3D信息分析单元对视差单位信息进行分析，该视差单位信息表示对于所述第I最大视差、所述第2最大视差、所述第I最小视差、及所述第2最小视差的单位，并且所述3D信息分析单元使用经分析后的所述视差单位信息，对表示所述第I最大视差、所述第2最大视差、所述第I最小视差、及所述第2最小视差的信息进行分析。
10.如权利要求7或8所述的立体图像数据重放装置，其特征在于， 所述3D信息中包含视差对象图像信息，该视差对象图像信息表示所述第I最大视差、所述第2最大视 差、所述第I最小视差、及所述第2最小视差是通过所述多个图像数据中的哪2个视点图像数据的组合而求得的， 所述3D信息分析单元对所述视差对象图像信息进行分析，所述立体强度转换单元对所述视差对象图像信息所示出的所述图像数据进行视差调整。
11.如权利要求7或8所述的立体图像数据重放装置，其特征在于， 在对所述图像数据进行视差调整的情况下，所述立体强度转换单元将所述第I最大视差与所述第2最大视差的大小进行比较，在所述第2最大视差大于所述第I最大视差的情况下，判断为所述第2最大视差值不适当，并基于所述第I最大视差来进行视差调整。
12.—种文件管理方法，将用于进行立体显示的属性信息即3D信息与图像数据一并进行管理，其特征在于， 所述3D信息由如下信息构成:视差对象图像信息，该视差对象图像信息表示视点图像的组合；视差单位信息，该视差单位信息表示第I及第2最大视差、和第I及第2最小视差的单位;第I最大视差;第2最大视差；第I最小视差；第2最小视差；以及假定显示器尺寸，该假定显示器尺寸表示对所述图像数据进行立体显示的显示器尺寸。
13.如权利要求12所述的文件管理方法，其特征在于， 所述3D信息包含可否记录视差标记，该可否记录视差标记表示是否将第I及第2最大视差和第I及第2最小视差的各个视差彳目息记录于所述3D /[目息。
14.如权利要求12或13所述的文件管理方法，其特征在于， 所管理的I个文件由文件头、所述3D信息、记录与三维图像无直接关系的信息时使用的管理信息、以及所述图像数据构成， 所述文件头、所述3D信息、所述管理信息、及所述图像数据从所述文件的开头以所述文件头、所述3D信息、所述管理信息、所述图像数据的顺序进行配置。
15.如权利要求12或13所述的文件管理方法，其特征在于， 所管理的I个文件由所述3D信息、记录与三维图像无直接关系的信息时使用的管理信息、文件头、以及所述图像数据构成， 所述3D信息、所述管理信息、所述文件头、及所述图像数据从所述文件的开头以所述3D信息、所述管理信息、所述文件头、所述图像数据的顺序进行配置。
16.如权利要求12至15中的任一项所述的文件管理方法，其特征在于， 所述图像数据由左眼用图像数据及右眼用图像数据这两种图像数据构成。
全文摘要
在现有的方法中，由于与三维图像一同传输的最大视差及最小视差分别只有一种，因此无法进行安全且自由度较高的立体显示。本发明所涉及的立体图像数据生成装置、立体图像数据重放装置、及文件管理方法对分别与多个视点相对应的多个图像数据及3D信息进行多路复用，从而作为1个立体图像数据来进行处理，并通过利用上述3D信息，来判断能否进行视差调整或立体显示，从而进行更安全且更舒适的立体显示，其中，该3D信息包含第1最大视差，该第1最大视差是从拍摄单元的机构在几何学上求出的视差的最大值；第1最小视差，该第1最小视差表示与拍摄单元的机构距离适当的视差范围的界限、即与拍摄单元距离最近的被摄体位置上的视差；第2最大视差，该第2最大视差是立体图像的实际产生的视差的最大值；以及第2最小视差，该第2最小视差是立体图像的实际产生的视差的最小值。
文档编号H04N13/04GK103190154SQ20118005219
公开日2013年7月3日 申请日期2011年11月2日 优先权日2010年11月5日
发明者北浦龙二 申请人:夏普株式会社