专利名称：图像数据生成装置和再生该数据的图像数据再生装置的制作方法
技术领域：
本发明涉及在生成用于进行3维显示的图像数据时，在图像数据中附带属性信息的图像数据生成装置、以及再生该数据的图像数据再生装置。
背景技术：
目前，已经提出了各种各样的3维图像的显示方法。其中，通常使用的是利用双眼视差的所谓“双眼式”的方法。即，通过准备具有双眼视差的左眼图像和右眼图像，并分别独立地投影于左右眼而产生立体视觉。
图22为用于说明作为该双眼式的一个典型方式的“时间分割方式”的概念图。
如图22所示，该时间分割方式为左眼图像和右眼图像在垂直方向上每隔1个像素交替排列，并且左眼图像和右眼图像交替切换进行显示。左眼图像和右眼图像的垂直分辨率为一般的2维显示时的垂直分辨率的1/2。观察者须佩戴与显示器的切换周期同步开闭的快门式眼镜。在此使用的快门为当显示左眼图像时左眼侧开启，右眼侧关闭；当显示右眼图像时右眼侧开启，左眼侧关闭。据此，左眼图像只用左眼观察，右眼图像只用右眼观察，从而产生立体视觉。
图23为用于说明作为该双眼式的另一个典型方式的“视差栅方式(parallax barrier scheme)”的概念图。
图23(a)所示为视差的产生原理。图23(b)所示为以视差栅方式所显示的图像。
如图23(b)所示，在图23(a)中，图像显示面板401显示左眼图像和右眼图像在水平方向上按每隔1个像素交替排列的方式配置的图像，通过在图像显示面板401的前面设置具有间隔小于同一视点的像素间隔的缝隙的视差栅402，从而左眼图像只由左眼403观察、右眼图像只由右眼404观察，从而实现立体视觉。
另外，与视差栅方式相同，如图23(b)所示那样将图像进行3维显示的方式还有“透镜方式”。用于透镜方式的记录数据形式的一例公开于特开平11-41627号公报中。
图24为表示该透镜方式的记录数据形式的一例的概念图。分别将图24(a)所示的左眼图像501和图24(b)所示的右眼图像502在水平方向上变薄到一半，制作出如图24(c)所示的1幅混合图像503并记录。当再生时，将该混合图像503进行重新排列生成如图23(b)所示的合成图像。
如上所述，在现有的3维显示系统中，是以固定的记录数据形式进行记录的，以适合于再生装置侧所确定的显示方式，而并未考虑记录数据的通用性。
虽然除显示方式以外，3维显示所必需的信息还包括视点数、细化法等各种信息，但在单一显示方式的情况下，不必将这些信息作为记录数据进行记录。虽然如果任何时候都使用同样的显示方式，则并不需要专门记录这些信息，但记录数据的通用性会因此而被显著地损害。例如，即使限于对视差栅方式(或者透镜方式)用的数据进行记录的情况，也可以将左眼图像和右眼图像作为单独的序列进行记录，或如图24(c)所示，既可以对左眼图像和右眼图像各占画面一半地左右并排的混合图像进行记录，又可以如图23(b)所示，对左眼图像和右眼图像在水平方向上每隔1个像素排列的合成图像进行记录。当然，如果记录形式不同，则显示处理方法也会不同，但由于无法由所记录的数据获知记录的形式，因此具有当第三者获得该数据时，无法知道如何处理才能进行显示的问题。
本发明是为了解决上述问题而提出的，其目的在于提供一种可保持用于进行3维显示的图像数据的通用性的图像数据生成装置、以及再生该数据的图像数据再生装置。
发明内容
为达成上述目的，本发明涉及由分别对应于多个视点的多个图像生成规定的数据形式的图像数据的图像数据生成装置，其特征为，包括生成表示不同视点的图像合并与否的合并信息和表示在图像合并的情况下上述不同视点的图像的配置方法的图像配置信息的信息生成装置，上述数据形式包含上述合并信息和上述图像配置信息。
其特征还在于，上述图像配置信息是使视点图像按照规定的角度旋转配置的方法的信息。
其特征还在于，上述规定的角度包括0度、右旋90度、右旋180度、和右旋270度中的1个或多个角度。
其特征还在于，上述图像配置信息由表示图像是按垂直方向配置还是按水平方向配置的配置方向信息、和表示图像是按视点顺序进行配置还是按视点顺序的相反顺序进行配置的配置顺序信息构成。
其特征还在于，上述图像配置信息是下述2种方法中的任意一种方法、或者二者的组合方法的信息，该2种方法为将图像配置在使视点图像的配置按照规定的角度旋转后的位置的方法、以及将图像配置在根据视点的配置位置关系而使位置关系按照规定的方向翻转后的位置的方法。
其特征还在于，上述规定的角度包括0度、右旋90度、右旋180度、和右旋270度中的1个或多个角度，上述规定的方向包括左右方向、上下方向中的一个或多个方向。
由规定的数据形式的图像数据对分别对应于多个视点的多个图像进行再生的通信数据再生装置，其特征为包括分析上述数据形式的分析装置，上述分析装置分析表示不同视点的图像合并与否的合并信息和表示合并图像的配置方法的图像配置信息，并利用上述合并信息和图像配置信息再生上述多个图像。
其特征还在于，上述图像配置信息是使视点图像按照规定的角度旋转配置的方法的信息。
其特征还在于，上述规定的角度包括0度、右旋90度、右旋180度、和右旋270度中的1个或多个角度。
其特征还在于，上述图像配置信息由表示图像是按垂直方向配置还是按水平方向配置的配置方向信息、和表示图像是按视点顺序进行配置还是按视点顺序的相反顺序进行配置的配置顺序信息构成。
其特征还在于，上述图像配置信息是下述2种方法中的任意一种方法、或者二者的组合方法的信息，该2种方法为将图像配置在使视点图像的配置按照规定的角度旋转后的位置的方法、以及根据视点的配置位置关系将图像配置在使位置关系按照规定的方向翻转后的位置的方法。
其特征还在于，上述规定的角度包括0度、右旋90度、右旋180度、和右旋270度中的1个或多个角度，上述规定的方向包括左右方向、上下方向中的一个或多个方向。
根据上述结构，本发明可达成以下效果。
根据本发明，一种由分别对应于多个视点的多个图像生成规定的数据形式的图像数据的图像数据生成装置，包括生成表示不同视点的图像合并与否的合并信息和表示在图像合并的情况下上述不同视点的图像的配置方法的图像配置信息的信息生成装置，上述数据形式包含上述合并信息和上述图像配置信息，从而可获得使用于进行3维显示的图像数据具有通用性的有益效果。
另外，由于上述图像配置信息是将图像配置在使视点图像的配置按照规定的角度旋转后的位置的方法的信息，故可获得使用于进行3维显示的图像数据具有通用性的有益效果。
另外，由于上述规定的角度包括0度、右旋90度、右旋180度、和右旋270度中的1个或多个角度，故可获得使用于3维显示的图像数据具有通用性的有益效果。
另外，根据上述图像配置信息由表示图像是按垂直方向配置还是按水平方向配置的配置方向信息、和表示图像是按视点顺序进行配置还是按视点顺序的相反顺序进行配置的配置顺序信息构成，故可获得使用于3维显示的图像数据具有通用性的有益效果。
另外，上述图像配置信息是下述2种方法中的任意一种方法、或者二者的组合方法的信息，该2种方法为将图像配置在使视点图像的配置按照规定的角度旋转后的位置的方法、以及根据视点的配置位置关系将图像配置在使位置关系按照规定的方向翻转后的位置的方法，故可获得使用于3维显示的图像数据具有通用性的有益效果。
另外，由于上述规定的角度包括0度、右旋90度、右旋180度、和右旋270度中的1个或多个角度，上述规定的方向包括左右方向、上下方向中的一个或多个方向，故可获得使用于进行3维显示的图像数据具有通用性的有益效果。
一种由规定数据形式的图像数据对分别对应于多个视点的多个图像进行再生的图像数据再生装置，包括分析上述数据形式的分析装置，上述分析装置分析表示不同视点的图像合并与否的合并信息和表示合并图像的配置方法的图像配置信息，并利用上述合并信息和图像配置方法再生上述多个图像，从而可获得将具有通用性的图像数据按显示装置进行显示的有益效果。
另外，由于上述图像配置信息是将图像配置在使视点图像的配置按照规定的角度旋转后的位置的方法的信息，故可获得使用于进行3维显示的图像数据具有通用性的有益效果。
另外，由于上述规定的角度包括0度、右旋90度、右旋180度、和右旋270度中的1个或多个角度，故可获得将具有通用性的图像数据按显示装置进行显示的有益效果。
另外，上述图像配置信息由表示图像是按垂直方向配置还是按水平方向配置的配置方向信息、和表示图像是按视点顺序进行配置还是按视点顺序的相反顺序进行配置的配置顺序信息构成，故可获得将具有通用性的图像信息按显示装置进行显示的有益效果。
另外，上述图像配置信息是下述2种方法中的任意一种方法、或者二者的组合方法的信息，该2种方法为将图像配置在使视点图像的配置按照规定的角度旋转后的位置的方法、以及根据视点的配置位置关系将图像配置在使位置关系按照规定的方向翻转后的位置的方法，故可获得将具有通用性的图像信息按显示装置进行显示的有益效果。
另外，由于上述规定的角度包括0度、右旋90度、右旋180度、和右旋270度中的1个或多个角度，上述规定的方向包括左右方向、上下方向中的一个或多个方向，故可获得将具有通用性的图像数据按显示装置进行显示的有益效果。
图1为表示本发明的第1实施方式的图像数据生成装置结构的方框图。
图2为利用了旋转配置的左右图像的合并例的示意图。
图3为利用了合并图像的旋转的左右图像的合并例。
图4为利用了各视点图像的旋转的左右图像的合并例。
图5为图像配置方法信息的结构例的示意图。
图6为图像配置方法信息的结构例的示意图。
图7为图像配置方法信息的结构例的示意图。
图8为图像配置方法信息的结构例的示意图。
图9为图像配置方法信息的结构例的示意图。
图10为图像配置方法信息的结构例的示意图。
图11为表示本发明的第1实施方式的图像数据再生装置结构的方框图。
图12为表示本发明的第2实施方式的图像数据生成装置结构的方框图。
图13所示为视点编号的分配方法的举例。
图14所示为利用了旋转配置的多视点图像的合并例。
图15所示为利用了合并图像旋转的多视点图像的合并例。
图16所示为利用了各视点图像的旋转的多视点图像的合并例。
图17为图像配置方法信息的结构例的示意图。
图18为图像配置方法信息的结构例的示意图。
图19为图像配置方式信息的结构例的示意图。
图20为图像配置方法信息的结构例的示意图。
图21为表示本发明的第2实施方式的图像数据再生装置的结构的方框图。
图22为时间分割方式的图像的显示形式的示意图。
图23为用于说明视差栅方式的概念的图。
图24为表示透镜方式的记录数据形式的一例的概念图。
具体实施例方式
以下，参照
本发明的实施方式。
第1实施方式图1为表示本发明的第1实施方式的图像数据生成装置的结构的方框图。在图1中，图像数据生成装置100包括指定左眼图像和右眼图像是否合并以及合并时的配置方式的控制部101；根据控制部101的指定，将左眼图像和右眼图像配置于适当位置并生成合并为1幅图像的图像合并部102；将是否合并以及合并时的图像配置方法格式化并生成3D信息的3D信息生成部103；将图像数据进行编码的编码部104；和具有对记录介质或通信线路进行访问的装置、并将图像数据和3D信息进行多路复用后输出的多路复用部105。
下面就上述结构的图像数据生成装置100的动作进行说明。
由连续的帧构成的图像信号逐帧地输入到图像数据生成装置。
控制部101指定是否合并以及合并时图像的配置方法。图像合并部102生成由上述是否合并以及配置方法所指定的形式的图像数据。这里，配置方法的具体例示于图2。左上角标有L的图像为左眼图像，左上角标有R的图像为右眼图像。下面将其称为视点图像。
图2(a)为将左眼图像配置于左侧、右眼图像配置于右侧并合并为1幅图像的图像。图2(b)为将左眼图像配置于上侧、右眼图像配置于下侧并合并为1幅图像的图像。图2(c)为将左眼图像配置于右侧、右眼图像配置于左侧并合并为1幅图像的图像。图2(d)为将左眼图像配置于下侧、右眼图像配置于上侧并合并为1幅图像的图像。此处的图2(a)～(d)的4幅图像为不旋转各视点图像本身、而使各视点图像的配置各旋转90度后的图像。因此，引入表示如何配置视点图像的“旋转配置”这一概念，以统一地进行表达。
即，图2(a)为使图像的配置方法与视点的配置位置相一致而合并为1幅图像的图像，该图像表达为普通图像或0度旋转配置图像。图2(b)表达为右旋90度旋转配置图像，图2(c)表达为右旋180度旋转配置图像，图2(d)表达为右旋270度旋转配置图像。
右旋180度旋转配置图像，即，将左眼图像配置于右侧、右眼图像配置于左侧的图像的优点在于，如果保持该配置显示于普通的显示器上，以所谓交叉法，即内斜视观察图像的方法来观察该图像，则可观察到立体图像。另外，现有例所述的以时间分割方式生成立体图像的设备中，与通过逐行地将左眼图像的数据和右眼图像的数据按照普通配置图像或右旋180度旋转配置图像那样并列的方式相比，按照右旋90度旋转配置图像和右旋270度旋转配置图像那样，紧接在一幅左眼图像数据之后将一幅右眼图像数据与之相连接的方式具有更易于安装的优点。
除旋转配置外，通过引入所谓“合并图像的旋转”和“各视点图像的旋转”的其它旋转方式的概念，从而可生成其它的合并图像。
图3(a)为普通配置的合并图像，且与图2(a)为同一图像。将合并图像自身由此右旋90度得到图3(b)。将合并图像自身由图3(a)右旋180度得到图3(c)。将合并图像自身由图3(a)右旋270度得到图3(d)。
图4(a)为普通配置的合并图像，且与图2(a)为同一图像。将各视点图像由此分别右旋90度并合并得到图4(b)。将各视点图像由图4(a)分别右旋180度并合并得到图4(c)。将各视点图像由图4(a)分别右旋270度并合并得到图4(d)。
虽然图像的旋转配置、合并图像的旋转、以及各视点图像的旋转是完全独立的事件，但也可以通过2种旋转方式的组合来定义另外一种旋转方式，而不必定义3种旋转方式。
具体地，各视点图像右旋90度后的图像与将合并图像右旋270度旋转配置，再将该图像自身右旋90度后的图像为同一图像。与此顺序相反，首先，将合并图像自身右旋90度后，再进行右旋270度旋转配置也可获得同一图像。即，各视点图像右旋90度后的图像可表达为右旋270度旋转配置与将合并图像右旋90度后的组合图像。同样地，各视点图像右旋180度后的图像可表达为右旋180度旋转配置与将合并图像右旋180度后的组合图像，各视点图像右旋270度的图像可表达为右旋90度旋转配置与将合并图像右旋270度后的组合图像。即，用旋转配置的信息和合并图像的旋转信息可以表达各视点图像的旋转信息。
基于同样的思路，将合并图像右旋90度后的图像可表达为右旋90度旋转配置与各视点图像的右旋90度的组合图像，将合并图像右旋180度后的图像可表达为右旋180度旋转配置与各视点图像的右旋180度的组合图像，将合并图像右旋270度的图像可表达为右旋270度旋转配置与各视点图像的右旋270度的组合图像。即，用旋转配置的信息和各视点图像的旋转信息可以表达合并图像的旋转信息。
同样地，右旋90度旋转配置可表达为合并图像的右旋90度与各视点图像的右旋270度的组合图像，右旋180度旋转配置可表达为合并图像的右旋180度与各视点图像的右旋180度的组合图像，右旋270度旋转配置可表达为合并图像的右旋270度与各视点图像的右旋90度的组合图像。即，用合并图像的旋转信息和各视点图像的旋转信息可以表达旋转配置的信息。
3D信息生成部103将是否合并和配置方式格式化并生成将图像进行3维显示所必需的3D信息。如图5所示，配置方法信息可以定义识别上述4种配置方法的索引，并原样记录该索引。在是否合并为“无合并”的情况下，配置方法的信息没有意义，所以，在此情况下，既可以省略配置方法信息的自身，也可以定义为即使存在配置方法信息，信息自身也定义为无效。或者，如图6所示，也可以将是否合并的信息与配置方法的信息组合为1个信息来定义索引。另外，还可以仅定义使用可能性高的配置方法，而不完全定义4种配置方法。例如，既可以仅定义普通配置、右旋90度旋转配置、和右旋270度配置的3种旋转配置，也可以仅定义普通配置、和右旋180度配置的2种旋转配置。
配置方法也可以用表示图像的配置方向是左右配置或上下配置的配置方向信息、与表示图像的配置顺序是视点顺序还是其相反顺序的配置顺序信息的组合来定义，而不利用旋转配置的概念。即，配置方向为左右配置、配置顺序为视点顺序的情况表示普通配置，而配置方向为左右配置、配置顺序为视点顺序的相反顺序的情况表示右旋180度旋转配置，配置方向为上下配置、配置顺序为视点顺序的情况表示右旋90度旋转配置，配置方向为上下配置、配置顺序为视点顺序的相反顺序的情况表示右旋270度旋转配置。此时，也可以如图7(a)、(b)所示，另外定义识别配置方向的索引和识别配置顺序的索引，并分别原样记录该索引。另外，还可以如图7(c)所示，在表示配置方法的信息中，将某比特分配给配置方向的信息，将另外的某比特分配给配置顺序信息，共同作为表示配置方法的信息进行记录。
由于旋转配置信息、合并图像的旋转信息、和各视点图像的旋转信息是完全独立的，因此也可以如图8(a)、(b)、(c)所示，对3种信息分别定义识别上述4种配置方法和旋转方法的索引，并原样记录该索引。另外，如上所述，由于即使不定义3种信息也可以通过定义任意2种信息来表示另外一种信息，因此，例如也可以仅定义识别图8(a)和(b)的索引。再有，由于普通的配置方法和不旋转的图像可以表达为完全相同的普通图像的图像，因此，也可以如图9所示，将3种信息归纳为1种，并定义识别配置方法和旋转方法的索引。还可以如图10(a)、(b)所示，划分为下述2个域，并对识别该2个域的索引进行定义，该2个域为合并图像是旋转配置的图像、还是将合并图像旋转的图像、或是将各视点图像旋转的图像的旋转方式进行定义的域；以及对上述旋转方式的角度进行定义的域。而且，在图10中，为了表示普通图像，在识别旋转方法的域中设置了“无旋转”的索引项，但也可以通过在定义角度的域中定义其含义为“旋转角度为0度”的索引项，以识别普通图像。
而且，3D信息既可以原样使用设置值，也可以利用定长编码或可变长度编码进行编码。
编码部104将图像合并部102所生成的图像数据进行编码，并生成编码数据。对于静止图像，编码方法使用JPEG、JPEG2000等国际标准方式。对于动态图像，则使用MPEG-1、MPEG-2、MPEG-4等国际标准方式。关于动态图像的编码，在仅使用帧内编码的情况下，也可以使用Motion JPEG等方式。图像编码方式并不限于上述方式，也可以使用非标准方式，还可以不进行压缩。虽然在图1中记述了使用1个编码部的情况，但考虑到不进行图像合并的情况，也可以存在与视点数相同数量的编码部。
多路复用部105将编码部104所生成的编码数据、和3D信息生成部所生成的3D信息转换为规定的格式并向外部输出。虽然未在图1中表示，但在将声音或文本进行多路复用的情况下，也通过多路复用部105对这些数据进行多路复用。
多路复用部105的输出连接于IC存储器及光磁盘、磁带、硬盘等记录设备、LAN或调制解调器等通信设备。在此，多路复用部105与IC存储器相连接。下面，就该情况的记录格式进行说明。
通常在将IC存储器作为记录介质使用的情况下，是在IC存储器上创建FAT(File Allocation Table；文件分配表)等文件系统，并将数据作为文件记录的。此处所使用的文件格式既可以使用现有格式，也可以使用新定义的特有的格式。在使用现有格式的情况下，3D信息利用对通常用于现有格式的标题(Header)进行扩展的结构(在此，所扩展的标题称为扩展标题)，作为现有文件标题的一部分进行记录。在此情况下，原样使用通常所使用的扩展名(例如，在JPEG文件的情况下，通常使用jpg作为扩展名)。据此，即使不具有3维图像显示功能的现有的再生装置也可以将文件识别为现有格式的文件，并作为2维图像进行显示。另一方面，在使用新格式的情况下，将3D信息记录于文件的规定位置。此外，为了表示文件是新格式文件，应附加可区别现有格式的文件的唯一的扩展名。
下面，就将图像数据生成装置100所生成的图像数据作为3维图像进行显示的再生装置进行说明。
图11为表示本发明的第1实施方式的图像数据再生装置的结构的方框图。在图11中，图像数据再生装置200包括分离多路复用数据的多路复用分离部201；分析3D信息的3D信息分析部202；对编码数据进行解码的解码部203；和将图像数据转换为显示形式的图像转换部204。
下面就上述结构的图像数据再生装置200的动作进行说明。
多路复用分离部201从记录设备或通信设备读入多路复用为规定格式的多路复用数据，并分离为编码数据和3D信息。虽然未在图11中表示，但在将声音以及文本进行多路复用的情况下，也通过多路复用分离部201对这些数据进行分离。在此，多路复用分离部201与IC存储器相连接。如上所述，图像文件以现有格式或者新格式记录于IC存储器中。现有格式与新格式可通过文件的扩展名进行区分，当再生的文件为现有格式的文件时，可从文件标题的扩展区域读取3D信息。在新格式的情况下，可从文件的规定位置读出3D信息。
3D信息分析部202分析3D信息，提取是否合并以及配置方法的信息。
解码部203根据多路复用分离部201所分离出的编码数据对图像数据进行解码。
图像转换部204可与使用普通显像管或液晶显示面板的2维显示装置、使用了透镜方式、视差栅方式、时间分割方式等的立体显示装置等各种显示方式不同的显示装置相连接。图像转换部204根据是否合并和配置方法将分离的图像数据转换为显示形式。
如上所述，通过在含有3维图像数据的多媒体信息文件中附加表示是否合并了该3维图像数据、或者在合并的情况下各视点图像如何配置的3D信息，并在3维图像再生装置中，根据获得自该3D信息的数据属性进行适当的转换处理并进行显示，使所记录的3维图像数据具有通用性，即使对于不同的3维显示方式也可以使用同一3维图像数据。
第2实施方式图12为表示本发明的第2实施方式的图像数据生成装置的结构的方框图。在第1实施方式中，说明了视点数为2的情况，但本发明也适用于视点数大于等于3的多视点的情况，本实施方式就多视点的情况进行说明。在图12中，与图1相同的部分用同一符号表示。图像数据生成装置110包括控制部101；根据控制部101的指定，将多视点(视点数K，K为大于等于2的整数)的图像1至图像K配置于适当的位置并生成合并为1幅图像后的图像的图像合并部111；将是否合并以及合并时图像的配置方法以及视点数的信息格式化并生成3D信息的3D信息生成部112；编码部104；和多路复用部105。
下面就上述结构的图像数据生成装置110的动作进行说明。
图像生成装置110与2个或2个以上的用于输入图像数据的摄像装置相连接，该摄像装置呈水平方向M个、垂直方向N个的点阵状排列，对各摄像装置分别进行编号(视点编号)(M、N为大于等于1的整数，M×N＝K)。图13为呈水平方向4个、垂直方向3个的点阵状排列且合计视点数为12的情况的设置例(从后方向斜下方俯视所设置的摄像装置的图)。在此，视点编号是按照从左至右、从上至下的顺序分配的。也就是说，摄像装置301为1，摄像装置302为2，摄像装置303为3，摄像装置304为4，同样地，摄像装置305～312为5～12。
控制部101指定是否合并、图像的配置方式、以及水平方向的视点数M及垂直方向的视点数N。其指定的方法与第1实施方式相同，说明从略。
当由控制部101输入的是否合并表示“有合并”时，图像合并部111对所输入的图像1至图像K的配置方法进行选择。可有8种配置方法，具体例如图14所示。该图为配置为沿水平方向4视点(M＝4)、垂直方向3视点(N＝3)的例子，各图像右下角的编号为视点编号。
图14(a)为使图像的配置方法与摄像装置的配置位置相一致地合并于1幅图像的图像。当图像的配置位置用g(x，y)表示，摄像装置的配置位置用f(x，y)表示时，两者的关系如下。此处的(x，y)利用以水平方向的配置位置为x轴，垂直方向的配置位置为y轴，以左上角为原点，右方向和下方向为正值的坐标系表示。
g(x，y)＝f(x，y)(x＝0，1，...，M-1；y＝0，1，...，N-1)图14(b)为将对应的图像配置于从摄像装置的配置位置右旋90度的位置并合并为1幅图像的1例。该图像的配置位置与摄像装置的配置位置的关系定义如下，该图像配置方法称为“右旋90度旋转配置”。
g(x，y)＝f(y，N-1-x)(x＝0，1，...，N-1；y＝0，1，...，M-1)该配置方法是将第1实施方式所述的右旋90度旋转配置方法扩展为多眼用的方法。在该配置方法中，最上段从左开始按摄像装置1、摄像装置2、摄像装置3、摄像装置4排列的位置关系对应于最右列从上开始排列的图像1、图像2、图像3、图像4，最左列从上开始按摄像装置1、摄像装置5、摄像装置9排列的位置关系对应于最上段从右开始排列的图像1、图像5、图像9。即，仅改变配置位置关系，而不改变各图像的相邻关系。
图14(c)为将对应的图像配置于从摄像装置的配置位置右旋180度的位置并合并为1幅图像的1例。该图像的配置位置与摄像装置的配置位置的关系定义如下，该图像配置方法称为“右旋180度旋转配置”。
g(x，y)＝f(M-1-x，N-1-y)(x＝0，1，...，M-1；y＝0，1，...，N-1)在该配置方法中，最上段从左开始按摄像装置1、摄像装置2、摄像装置3、摄像装置4排列的位置关系对应于最下段从右开始排列的图像1、图像2、图像3、图像4，最左列从上开始按摄像装置1、摄像装置5、摄像装置9排列的位置关系对应于最右列从下开始排列的图像1、图像5、图像9。
图14(d)为将对应的图像配置于从摄像装置的配置位置右旋270度的位置并合并为1幅图像的1例。该图像的配置位置与摄像装置的配置位置的关系定义如下，该图像配置方法称为“右旋270度旋转配置”。
g(x，y)＝f(M-1-y，x).
(x＝0，1，...，N-1；y＝0，1，...，M-1)在该配置方法中，最上段从左开始按摄像装置1、摄像装置2、摄像装置3、摄像装置4排列的位置关系对应于最左列从下开始排列的图像1、图像2、图像3、图像4，最左列从上开始按摄像装置1、摄像装置5、摄像装置9排列的位置关系对应于最下段从左开始排列的图像1、图像5、图像9。
图14(e)为将对应的图像配置于从摄像装置的配置位置左右翻转的位置并合并为1幅图像的1例。该图像的配置位置与摄像装置的配置位置的关系定义如下，该图像配置方法称为“左右翻转配置”。
g(x，y)＝f(M-1-x，y)(x＝0，1，...，M-1；y＝0，1，...，N-1)在该配置方法中，最上段从左开始按摄像装置1、摄像装置2、摄像装置3、摄像装置4排列的位置关系对应于最上段从右开始排列的图像1、图像2、图像3、图像4，最左列从上开始按摄像装置1、摄像装置5、摄像装置9排列的位置关系对应于最右列从左开始排列的图像1、图像5、图像9。
图14(f)为将对应的图像配置于从摄像装置的配置位置上下翻转的位置并合并为1幅图像的1例。该图像的配置位置与摄像装置的配置位置的关系定义如下，该图像配置方法称为“上下翻转配置”。
g(x，y)＝f(x，N-1-y)(x＝0，1，...，M-1；y＝0，1，...，N-1)在该配置方法中，最上段从左开始按摄像装置1、摄像装置2、摄像装置3、摄像装置4排列的位置关系对应于最下段从左开始排列的图像1、图像2、图像3、图像4，最左列从上开始按摄像装置1、摄像装置5、摄像装置9排列的位置关系对应于最左列从下开始排列的图像1、图像5、图像9。
图14(g)为将对应的图像配置于从摄像装置的配置位置右旋90度后再上下翻转的位置并合并为1幅图像的1例。该图像的配置位置与摄像装置的配置位置的关系定义如下，该图像配置方式称为“右旋90度且上下翻转配置”。
g(x，y)＝f(M-1-y，N-1-x)(x＝0，1，...，N-1；y＝0，1，...，M-1)在该配置方法中，最上段从左开始按摄像装置1、摄像装置2、摄像装置3、摄像装置4排列的位置关系对应于最右列从下开始排列的图像1、图像2、图像3、图像4，最左列从上开始按摄像装置1、摄像装置5、摄像装置9排列的位置关系对应于最下段从右开始排列的图像1、图像5、图像9。
图14(h)为将对应的图像配置于从摄像装置的配置位置右旋90度后再左右翻转的位置并合并为1幅图像的1例。该图像的配置位置与摄像装置的配置位置的关系定义如下，该图像配置方法称为“右旋90度且左右翻转配置”。
g(x，y)＝f(y，x)(x＝0，1，...，N-1；y＝0，1，...，M-1)在该配置方法中，最上段从左开始按摄像装置1、摄像装置2、摄像装置3、摄像装置4排列的位置关系对应于最左列从上开始排列的图像1、图像2、图像3、图像4，最左列从上开始按摄像装置1、摄像装置5、摄像装置9排列的位置关系对应于最上段从左开始排列的图像1、图像5、图像9。
图像配置方法可选择上述8种中的任何一个。
图14(a)至(f)的8种图像也可以通过4种旋转配置与是否左右翻转的组合来表达。具体地，图14(a)至(d)分别为普通配置、右旋90度配置、右旋180度配置、右旋270度配置与无左右翻转相组合的图像，图14(e)为普通配置与左右翻转配置相组合的图像，图14(f)为右旋180度旋转配置与左右翻转配置相组合的图像，图14(g)为右旋270度配置与左右翻转配置相组合的图像，图14(h)为右旋90度配置与左右翻转配置相组合的图像。
此处，对通过4种旋转配置与是否左右翻转配置的组合来表示8种图像进行了说明，但也可以通过4种旋转配置与是否上下翻转的组合来表示8种图像。
与第1实施方式相同，除旋转配置外，通过引入所谓“合并图像的旋转”和“各视点图像的旋转”的其它旋转方式的概念，从而可生成其它的合并图像。
图15(a)为普通配置的合并图像，并与图14(a)为同一图像。将合并图像自身由此右旋90度得到图15(b)。将合并图像自身由图15(a)右旋180度得到图15(c)。将合并图像自身由图15(a)右旋270度得到图15(d)。
图16(a)为普通配置的合并图像，与图14(a)为同一图像。将各视点图像由此分别右旋90度并合并而得到图16(b)。将各视点图像由图16(a)分别右旋180度并合并得到图16(c)。将各视点图像由图16(a)分别右旋270度并合并得到图16(d)。
编码部104的动作与实施方式1相同，在此从略。
3D信息生成部113将编码部104所生成的编码数据、和控制部101所指定的是否合并和配置方法以及视点数格式化并生成将图像进行3维显示所必需的3D信息。如图17所示，配置方法信息可以定义识别上述8种配置方法的索引，并原样记录该索引。在是否合并为“无合并”的情况下，配置方法的信息没有意义，所以，在此情况下，既可以省略配置方法信息的自身，也可以定义为即使存在配置方法信息也可定义为无效。或者如图18所示，也可以将是否合并的信息与配置方法的信息组合为1个信息来定义索引。另外，还可以仅定义使用可能性高的配置方法，而不全部定义8种配置方法。例如，可以仅定义普通配置、右旋90度旋转配置、左右翻转配置、和上下翻转配置等4种旋转配置。
如上所述，8种图像可以通过4种旋转配置与是否左右翻转的组合来表达，因此，可以如图19(a)、(b)所示，分别对识别4种旋转配置的索引和识别是否左右翻转的索引独立地定义。还可以如图20(a)、(b)所示，将是否合并的信息和旋转配置的信息组合为1个信息，将是否左右翻转的信息单独进行定义。另外，图19和图20中的索引也可以利用上下翻转来定义，而不使用左右翻转。
如第1实施方式所述，既可以独立地指定旋转配置的信息、合并图像的旋转信息、和各视点图像的旋转信息，也可以归纳为1个信息。而且，在生成3D信息时，既可以原样使用设置值，也可以利用定长编码或可变长度编码进行编码。
多路复用部105的动作与实施方式1相同，在此说明从略。
下面，就将图像数据生成装置110所生成的图像数据作为3维图像进行显示的再生装置进行说明。
图21为表示本发明的第2实施方式的图像数据再生装置的结构的方框图。图21中，图像数据再生装置210包括多路复用分离部201；分析3D信息的3D信息分析部211；对编码数据进行解码的解码部203；和将解码后的图像数据转换为显示形式的图像转换部212。
下面就上述结构的图像数据生成装置210的动作进行说明。
多路复用分离部201的动作与实施方式1相同，在此从略。
3D信息分析部211分析3D信息，提取是否合并、配置方法和视点数。
解码部203的动作与实施方式1相同，在此说明从略。
图像转换部212根据3D信息分析部211所提取的是否合并、配置方法、和视点数将解码后的图像数据转换为显示形式。显示形式与实施方式1相同，在此说明从略。
在利用图11所示的图像数据再生装置200再生上述多路复用的多视点图像数据的情况下，可以从多视点的图像中选择2视点作为左眼图像和右眼图像，以显示3维图像。当图像数据为利用图13的摄像装置所记录的图像数据时，可以从1和2、2和3、3和4等水平排列中选择。在显示时如果旋转90度，则也可以选择1和5、2和6、3和7、以及4和8的组合，作为3维图像进行显示。
如上所述，与第1实施方式相同，对各种3维图像的摄像方式所生成的数据统一地进行处理，使在不具有3维图像显示功能的现有再生装置上也可以正常地显示2维图像，因此，可以具有通用性。
本发明所涉及的图像数据生成装置和再生该数据的图像数据再生装置适用于下述方面，即在生成用于进行3维显示的图像数据时，可在图像数据中附加属性信息以便使用于进行3维显示的图像数据具有通用性的录像、摄像机、数字照相机等。
权利要求
1.一种由分别对应于多个视点的多个图像生成规定的数据形式的图像数据的图像数据生成装置，其特征在于，包括生成表示不同视点的图像合并与否的合并信息、和表示在图像合并的情况下所述不同视点的图像的配置方法的图像配置信息的信息生成装置，所述数据形式包含所述合并信息和所述图像配置信息。
2.权利要求1所述的图像数据生成装置，其特征在于，所述图像配置信息是使视点图像按照规定的角度旋转后配置的方法的信息。
3.权利要求2所述的图像数据生成装置，其特征在于，所述规定的角度包括0度、右旋90度、右旋180度、和右旋270度中的1个或多个角度。
4.权利要求1所述的图像数据生成装置，其特征在于，所述图像配置信息由表示图像是按垂直方向配置还是按水平方向配置的配置方向信息、和表示图像是按视点顺序进行配置还是按视点顺序的相反顺序进行配置的配置顺序信息构成。
5.权利要求1所述的图像数据生成装置，其特征在于，所述图像配置信息是下述2种方法中的任意一种方法、或者二者的组合方法的信息，该2种方法为将图像配置在使视点图像的配置按照规定的角度旋转后的位置的方法、以及根据视点的配置位置关系将图像配置在使位置关系按照规定的方向翻转后的位置的方法。
6.权利要求5所述的图像数据生成装置，其特征在于，所述规定的角度包括0度、右旋90度、右旋180度、和右旋270度中的1个或多个角度，所述规定的方向包括左右方向、上下方向中的一个或多个方向。
7.一种由规定的数据形式的图像数据对分别对应于多个视点的多个图像进行再生的图像数据再生装置，其特征在于包括分析所述数据形式的分析装置，所述分析装置分析表示不同视点的图像合并与否的合并信息和表示合并图像的配置方法的图像配置信息，并利用所述合并信息和图像配置信息再生所述多个图像。
8.权利要求7所述的图像数据再生装置，其特征在于，所述图像配置信息是使视点图像按照规定的角度旋转后配置的方法的信息。
9.权利要求8所述的图像数据再生装置，其特征在于，所述规定的角度包括0度、右旋90度、右旋180度、和右旋270度中的1个或多个角度。
10.权利要求7所述的图像数据再生装置，其特征在于，所述图像配置信息由表示图像是按垂直方向配置还是按水平方向配置的配置方向信息、和表示图像是按视点顺序进行配置还是按视点顺序的相反顺序进行配置的配置顺序信息构成。
11.权利要求7所述的图像数据再生装置，其特征在于，所述图像配置信息是下述2种方法中的任意一种方法、或者二者的组合方法的信息，该2种方法为将图像配置在使视点图像的配置按照规定的角度旋转后的位置的方法、以及根据视点的配置位置关系将图像配置在使位置关系按照规定的方向翻转后的位置的方法。
12.权利要求7所述的图像数据再生装置，其特征在于，所述规定的角度包括0度、右旋90度、右旋180度、和右旋270度中的1个或多个角度，所述规定的方向包括左右方向、上下方向中的一个或多个方向。
全文摘要
控制部(101)指定是否合并以及合并时图像的配置方法。图像合并部(102)生成由上述是否合并和配置方法生成所指定的形式的图像数据。3D信息生成部(103)将是否合并以及配置方法格式化并生成将图像进行3维显示所需的3D信息。编码部(104)将图像合并部(102)所生成的图像数据进行编码并生成编码数据。多路复用部(105)将编码部(104)所生成的编码数据和3D信息生成部所生成的3D信息转换为规定的格式并向外部输出。据此，可使用于3维显示的图像数据具有通用性。
文档编号H04N13/04GK1739304SQ200480002500
公开日2006年2月22日 申请日期2004年1月20日 优先权日2003年1月20日
发明者盐井正宏, 增谷健 申请人:夏普株式会社, 三洋电机株式会社