专利名称：三维图像生成装置、三维图像再现装置、三维图像处理装置、三维图像处理程序及记录该 ...的制作方法
技术领域：
本发明涉及一种用于在生成三维显示的图像数据时向图像数据添加属性信息的三维图像生成装置，还涉及用于再现该数据的三维图像再现装置。
本发明还涉及三维图像处理装置、三维图像处理程序及记录有该程序的记录介质，其目的在于当由于三维图像的尺寸放大或缩小造成视差量改变，以致担心变得难以将放大的三维图像表示为立体图像，或显现立体效果时警告使用者，并且如果能够改善立体效果则进行校正。
背景技术：
按常规，已经提出了显示三维图像的各种方法。其中，通常采用使用双目视差的“双目方法”。具体地讲，通过提供具有双目视差的左和右眼图像，并将它们分别分开投射到左和右眼来实现立体视图。
图16是说明作为典型的双目方法之一的“隔行扫描系统(altemating-field system)”的概念图。
在该隔行扫描系统中，左眼图像和右眼图像在如图16所示的一个像素的交替水平行上被交错，以致左眼图像和右眼图像被交替地切换和显示。因此，与正常的2维显示模式中的垂直分辨率相比，左眼图像和右眼图像具有一半的垂直分辨率。观察者应该戴上与显示的切换周期同步地打开和关闭的光栅镜。当在此使用的光栅在显示左眼图像时打开左眼侧并关闭右眼侧，而在显示右眼图像时关闭左眼图像并打开右眼图像。利用这种安排，仅用左眼观察左眼图像，同时仅用右眼观察右眼图像，以实现立体视图。
图17是用于说明双目方法的另一种典型方案，即“视差阻挡系统”的概念图。
图17(a)是表示造成视差的原理的示意图。图17(b)是表示在视差阻挡系统中显示的图像帧的示意图。
在图17(a)中，在图像显示面板401上显示左眼图像和右眼图像在如图17(b)所示一个像素的交替垂直行上被交错的图像，同时，具有间隙的视差阻挡402被放置在图像显示面板401前，间隙的宽度小于同视点的像素之间的间隔，由此仅用左眼观察左眼图像，同时仅用右眼观察右眼图像，以实现立体视图。
顺便指出，还有另一种方法，即用于实现如图17(b)所示的图像的三维显示的“双凸透镜系统”该系统与视差阻挡系统类似。日本专利申请公开Hei 11-41627揭示了双凸透镜系统中使用的记录数据格式的一个实例。
图18是表示双凸透镜系统的记录数据格式的一个实例的概念图。如图18(a)中所示的左眼图像501和如图18(b)所示的右眼图像502相对于水平方向各变薄一半，并形成和记录如图18(c)所示的一帧复合图像503。在再现时，重新排列该复合图像503，以形成如图17(b)所示的合成图像。
虽然不限于三维图像，日本专利申请公开No.2001-337994公开了一种存储小图片图像的标识的附加信息，并在显示设备上显示位于小图片图像上的附加信息的方法。
在上述方式中，在通过使左和右眼观察不同图像来实现立体视图的方法中，当左和右图像的对应点的距离(下文称之为“视差”)落入某个固定范围时，能够实现舒服的立体视图。然而，随着视差变大，两眼的图像将不合并成立体图像。该点的视差幅度在例如The Mechanical SocialSystem Foundation于2002年出版的“三维图像指南的计划草案”中已经报告。
日本专利公开2000-78615和日本专利公开Hei 10-221775公开了便于实现三维图像显示的方法，当其双目图像由于上面的视差的大小而造成难以合并成立体视图时，通过在立体显示器移位左和右图像的显示位置来调节视差。
如上所述，在传统的三维显示系统中，以固定的记录数据格式进行数据的记录，以便适合于在播放装置侧确定的显示方案，因此没有考虑记录数据的通用性。
三维显示包括除显示方案外的各种所需要的信息，例如图像的变薄方法，所谓的“多视图方案”中视点的数量等，在使用单个显示方案时，这些信息没有被作为记录数据记录。如果总是仅使用一种相同的显示方案确实是这样，不需要总是记录这些信息，但是记录数据的通用性由于这个原因而明显降低。仅参考要记录视差阻挡系统(或双凸透镜系统)的数据的有限情况，左眼图像和右眼图像可以被作为分开的序列记录，该数据可以被作为混合图像记录，其中左眼图像和右眼图像在如图18(c)所示的一帧中被一半一半地水平排列，或者该数据可以被作为合成图像记录，其中左眼图像和右眼图像在如图17(b)中所示的一个像素的交替垂直行上被交错。当然，不同的记录格式应该用不同的显示过程来处理，但是由于不能从记录的数据中了解数据的格式，存在着当第三人得到该数据时，不能了解为了显示应该如何处理该数据的问题。
另外，在现有技术中，没有考虑从彼此独立的不同视点来记录图像数据以便于只读出和再现所需视点的图像。
在现有技术中，也没有充分地考虑与现有装置之间的可互换性。具体地讲，在日本专利申请公开2001-337994中公开的系统中，已经处理了能够解译单独的附加信息的显示系统，但是该附加信息对不能对其进行解译的显示系统没有用途。
此外，当放大或缩小基于上述现有技术的三维图像时，三维图像的隆起量和纵深量改变，因此，出现了不能获得所希望的立体效果的问题。
下面首先参考图39和40，通过针对左和右眼显示分开的图像对表现立体视图的立体显示原理进行简要说明。这两幅图是表示双目距离为d的使用者正在观察立体显示器1的情况的顶视图。
通常，假设d[m]表示使用者两眼之间的距离，D[m]表示从使用者到立体显示器1的距离，W[m]表示显示器的宽度，P[dot]表示显示器的分辩率，l(字母l)[dot]表示三维图像的左和右对应点之间的距离。
三维图像向外突出的隆起量z[m]则由下面的等式1给出z＝(1*W/P)*D/(d+(1*W/P))...等式(1)。
当三维图像收缩的纵深量z[m]由下面的等式(2)给出z＝(1*W/P)*D/(d-(1*W/P))...等式(2)。
视差θ由等式(3)给出θ＝tan-1(1/2D)*2 ...等式(3)。
对于该立体显示器，当放大或缩小三维图像时，左和右图像之间的不一致的程度改变，因此所得到的图像的立体效果也被改变。参考图39(a)中放大前的三维图像和图39(b)中放大后的三维图像对此进行说明。当放大如图39(a)所示具有从立体显示器向前隆起的三维图像时，隆起量如图39(b)所示变得更大。在此，1’表示放大之后的左和右对应点，z’表示放大后的隆起量。
另一方面，当放大和显示如图40(a)所示从立体显示器向内收缩的三维图像时，纵深量变得更大，对于某些放大率，由于左和右眼的视图没有聚焦，变得不能表现立体视图。相反，当减小三维图像的尺寸时，左和右图像之间的不一致变得更小，隆起量或纵深量变得更小，表现出较弱的立体效果。
这样，在放大或缩小三维图像时，随着图像被放大时由于视差变得更大，隆起因此变得更大，相反图像被缩小时由于视差变得更小，纵深变得更小，因此立体效果改变。因此，如果以与通常的二维图像相同的方式放大和缩小三维图像，则会出现不能获得希望的立体视图，造成模糊，或不舒适的立体视图造成眼睛紧张的问题。
为了解决上述问题设计了本发明，因此，本发明的一个目的是提供一种三维图像生成装置，能够使用于三维显示的图像数据通用，并允许有效选择任意视点的图像，以及用于再现该数据的三维图像再现装置。
本发明的另一个目的是提供一种三维图像处理装置，三维图像处理程序和记录有该程序的记录介质，能够向使用者发出警告并进行校正，以便在因三维图像的尺寸放大或缩小造成视差量改变，以致担心难以获得立体视图或立体效果时，提供舒适的立体视图。
发明内容
本发明的三维图像生成装置包括主图像生成器，用于针对多视点生成图像信息的主图像；小图片图像生成器，用于生成小图片图像；三维控制信息生成器，用于生成实施主图像的三维显示的三维控制信息；和多路复用器，用于多路复用主图像，小图片图像和三维控制信息。
在此，小图片图像生成器的特征在于通过缩小主图像来生成小图片图像，通过从主图像提取一个视点图像片段来生成小图片图像，把指示包括三维图像的符号嵌入小图片图像，或生成由主图像的缩小图像和从主图像提取的一个视点图像的缩小图像并以画中画的方式贴在其中而构成的小图片图像。
另外，本发明提供一种三维图像再现装置，去复用器，用于从输入的图像数据中分离主图像数据，小图片数据和三维控制信息；和小图片生成器，用于在主图像数据表示三维图像时，输出具有叠加在小图片数据上、指示包括三维图像的符号的小图片。
本发明还提供一种三维图像处理装置，包括视差范围获取装置，用于获取能够有立体视图的视差范围；视差量获取装置，用于获取三维图像的视差量；和决定装置，用于决定三维图像的视差量是否落入视差范围之内。
另外，本发明还提供一种三维图像处理装置，包括视差范围获取装置，用于获取能够有立体视图的视差范围；视差量获取装置，用于获取三维图像的视差量；比例获取装置，用于获取三维图像放大或缩小的比例；和决定装置，用于决定已经根据该比例被放大或缩小的三维图像的视差量是否落入视差范围之内。
在此，决定装置的特征在于根据三维图像的部分区域作出决定处理过程。
本发明的特征在于包括警告装置，用于警告使用者，或视差调节装置，用于在决定装置确定视差量超出视差区域时调节三维图像的视差量。
在此，视差量获取装置的特征在于使用用于显示三维图像的立体显示器的分辩率和/或尺寸。另外，视差范围获取装置的特征在于使用用于显示三维图像的立体显示器分离左和右图像的能力。另外，视差量获取装置的特征在于使用预先标记到三维图像的数据。
另外，本发明还提供一种三维图像处理程序，其特征在于使计算机起到上述每一个装置的作用。
此外，本发明还提供一种计算机可读记录介质，其中记录有上述程序。
根据本发明，为了主图像的三维显示而生成三维控制信息，将其小图片图像和三维控制信息多路复用，由此能够输出小图片图像，以便在主图像是三维图像时输出用于有效地检验图像内容的小图片图像。
根据本发明，通过直接缩小主图像来生成小图片图像使其能够以三维提供小图片图像的显示。
根据本发明，通过从主图像提取一个视点图像的片段来生成小图片图像，使其能够显示小图片图像而不失真。
根据本发明，将表示包括三维图像的符号嵌入小图片图像，甚至使不能解译三维控制信息的传统三维图像再现装置能够从小图片鉴别所选择的文件是3D文件。
根据本发明，生成由主图像的缩小图像和从主图像提取的一个视点图像、并以画中画的方式将其粘贴在其中的缩小图像构成的小图片图像，使其能够同时从无失真图像检验图像内容和主图像的实际记录的图像配置二者。
根据本发明，当主图像的数据表示三维图像时，输出具有指示包括重叠在小图片数据上的三维图像的符号的图像。从而能够从其小图片表明所选择的文件是2D还是3D。
根据本发明，由于其决定三维图像的视差量是否落入能够产生立体视图的视差范围，能够针对不能生成立体视图的情况采取对应的措施。对应措施的例子包括警告使用者和三维图像的视差量调节。另外，放大或缩小三维图像时，决定三维图像的视差量是否落入允许生成立体视图的视差范围，如果结果表明难以提供立体视图，能够采取该措施。
此外，当难以实现立体视图时，能够调节视差，以便通过从全部或部分三维图像来考虑视差量(例如，隆起最大量和纵深最大量)以及允许在立体显示器上显示舒适的立体视图的视差范围来提供尽可能舒适的立体视图。
如上所述，根据本发明，允许使用者正确地检验三维图像的内容，并且向使用者显现三维图像的内容，即使它们被放大或缩小，从而能够提供能够舒适地观察三维图像的三维图像再现装置，或图像数据处理装置。
图1是表示第一实施例的三维图像生成装置的示意图。
图2是表示针对多视点的成像设备的设置实施例的示意图。
图3是表示如何分配视点编号的实施例的示意图。
图4是表示结合两个视点的实施例的示意图。
图5是表示多视像的格栅状布置的示意图。
图6是表示3D信息的格式实施例的示意图。
图7是表示图像数据的文件格式的示意图。
图8是表示在现有格式的文件中存储图像数据时的一个格式实例的示意图。
图9是表示在新格式的文件中存储图像数据时的一种格式实例的示意图。
图10是表示在分开的文件中记录在多视点的图像数据时的图像数据的存储实例的示意图。
图11是表示3D信息格式实例的示意图。
图12是表示3D信息设置值的一个实施例的示意图。
图13是表示管理信息格式实例的示意图。
图14是表示在分开的文件中记录在多视点的图像数据时的一个实例的示意图。
图15是表示第三实施例中三维图像再现装置的配置示意图。
图16是表示隔行扫描系统中图像显示格式的示意图。
图17是说明视差阻挡系统的概念示意图。
图18是说明视差阻挡系统的图像显示格式的示意图。
图19是表示第二实施例中三维图像生成装置的配置的示意图。
图20是表示第四实施例中三维图像再现装置的配置的示意图。
图21是表示记录三维显示的小图片图像数据的图像文件格式的示意图。
图22是表示主图像和缩小到160像素*120像素的小图片图像的组合的示意图。
图23是表示其中嵌入有指示包括3D图像数据的符号的小图片图像的示意图。
图24是表示主图像与嵌入有指示包括3D图像数据的符号的小图片图像的示意图。
图25表示以画中画方式再现的小图片的实施例的示意图。
图26是表示第六实施例中用于再现记录有小图片的文件的三维图像再现装置的配置的示意图。
图27是表示第七实施例中可在3D显示和2D显示之间切换的三维图像再现装置的配置的示意图。
图28是表示第五实施例中将小图片图像记录到文件中的三维图像生成装置的配置的示意图。
图29是表示第八实施例中三维图像的GUI图像帧的示意图。
图30是表示第八实施例中的处理过程的流程图。
图31是表示第九实施例中三维图像的GUI图像帧的示意图。
图32是表示第九实施例中的处理过程的流程图。
图33是表示校正过程中三维图像的视差量的示意图。
图34是解释通过改变左和右图像之间的位移量来校正立体效果的示意图。
图35是表示在第十实施例中的处理过程的流程图。
图36是表示在第十实施例中的步骤17的处理过程的流程图。
图37是解释改变区域以获取视差量的方法的示意图。
图38是表示第十一实施例中三维图像处理装置的方框图。
图39是解释三维图像的隆起的示意图。
图40是解释三维图像的纵深的示意图。
具体实施例下面参考附图描述本发明的实施例。
<第一实施例>
图1是表示根据第一实施例的三维图像生成装置的配置的方框图。在图1中，三维图像生成装置100包括图像结合单元101，用于确定从多个视点看到的图像1到K的布置模式(K表示视点的编号，在此K是等于或大于2的整数)，并通过将这些连续的图像相互结合来产生结合图像；控制器102，用于选择是否要结合图像1到K(结合的有/无)，是否缩小图像1到K的尺寸(缩小的有/无)，要用于2D显示的一个图像(2D选择)，以及视点的数量和图像布置顺序；3D信息生成单元103，用于通过格式化缩小的有/无，结合的有/无，图像布置模式，2D选择和视点数量的信息来生成3D信息；和多路复用器104，具有存取记录介质和通信线路，并多路复用图像信息和3D信息以及输出图像数据的装置。
下面描述所构成的三维图像生成装置100的操作。
由连续帧组成的图像信号被逐帧地输入到三维图像生成装置。在此，在一个平面内以格栅状的形式排列将图像输入到三维图像生成装置100的成像设备，其中水平排列M个单元，垂直排列N个单元，向每个成像设备分配一个编号(视点编号)(在此，M和N是等于或大于1的整数)。
图2示出了8个视点的设置实施例(从后上方看去排成阵列的成像设备的视图)。在此，从左向右和从上向下分配视点编号。具体地讲，1分配给成像设备301，2分配给成像设备302，3分配给成像设备303，4分配给成像设备304。与此相似，将5至8分别分配给成像设备305至308。在所有实施例中，由视点编号k指定的成像设备摄取的图像应该被称为图像k(k是等于或大于1的整数)。
控制器102指定缩小的有/无，结合的有/无，2D选择，水平方向的视点数量M，和垂直方向的视点数量N，以及图像布置顺序。在此，缩小的有/无取值为“缩小”或“未缩小”，结合的有/无取值为“未结合”或“结合”。2D选择取视点编号的值或取值为“未指定的”。对于图像布置顺序，利用视点编号指定图像的顺序。在图2的实例中，视点的数量应该为M＝4和N＝2。
假设从控制器102输入的结合的有/无指示“未结合”时，图像结合单元101应该根据由控制器102指定的图像布置顺序依次输出已经并行输入的图像1至K。作为替换，也可以这样设置，即视点图像的输出总是从由2D选择指定的视点编号的输出开始。
当结合的有/无指示指示为“结合”时，图像结合单元101选择输入图像1至K的布置顺序。可以有三种布置模式水平排列多视像的水平布置；在上下方向排列多视像的垂直布置；在水平和垂直两个方向排列多视像的格栅状布置。
在此，图像的布置模式可以与成像设备的设置方式一致或不一致。当图像的布置与成像设备的设置方式一致时，M＝1和N≥2产生垂直布置，M≥2和N＝1产生水平布置，其他情况产生格栅状布置。对于布置不一致的情况，能够进行自适应，以致在M＝1和N≥2或M≥2和N＝1时能够选择垂直布置或水平布置中的一种。
一旦确定了布置，根据从控制器102输入的图像布置顺序结合这些图像。图3示出了当通过成像设备如图2所示提取的图像以格栅状方式排列时图像布置顺序的实例。在图3中，每个单元表示一个图像，数字表示视点编号。图3(a)示出了将图像布置顺序指定为1，2，3，4，5，6，7和8的情况，或者该顺序与分配给成像设备的视点编号的顺序相同。图3(b)示出了将图像布置顺序指定为2，3，1，4，6，7，5和8的情况。
如果从控制器输入的缩小的有/无表示“缩小”。则缩小每个视点的输入图像。缩小图像时，不固定缩小比率，但应该根据视点的数量确定。具体地讲，图像在水平方向缩小到1/M，在垂直方向缩小到1/N。
图4和5示出了由图像结合单元101结合的结果的例子。图4示出了由图2所示的成像设备中的例如视点编号为1和2设备指定的两个视点的情况。图5示出了使用所有成像设备的情况。
图4(a)示出了“未缩小”和“未结合”的情况；图4(b)示出了“未缩小”和“结合(水平布置)”的情况；图4(c)示出了“未缩小”和“结合(垂直布置)”的情况；图4(d)示出了“缩小”和“未结合”的情况；图4(e)示出了“缩小”和“结合(水平布置)”的情况；图4(f)示出了“缩小”和“结合(垂直布置)”的情况。在此，对于“缩小”的情况，通过使像素变薄而将水平或垂直分辨率缩小到一半。
图5示出了多视像的格栅状布置的实例，特别是，图5(a)示出了缩小的有/无指示“无缩小”的情况。在此，H和V表示缩小前每个视点图像的水平方向中的像素数量，和垂直方向的行数。图5(b)示出了缩小的有/无指示“缩小”的情况。缩小比例相对于水平方向是1/4，相对于垂直方向是1/2，缩小后的图像由宽度为H像素和高度为V行构成，以使其尺寸与缩小前的每个视点图像的尺寸相同。对于图像布置，以与设置成像设备相同的方式排列图像，在水平方向具有四个图像，在垂直方向具有两个图像。在此，附连到图像的数字指示视点编号。以视点编号上升的顺序排列图像左上是由成像单元301摄取的图像(视点编号1)，右下是由成像单元308摄取的图像(视点编号8)。
在此以水平和垂直方向固定的缩小比例来进行说明，但是可以对此进行改变。当缩小比可变时，应该将其记录在3D信息中。当结合的有/无指示“未结合”时，可以在每个视点针对每个图像指定缩小比。
三维信息生成单元103通过格式化缩小的有/无，结合的有/无，2D选择，水平方向的视点数量和垂直方向的视点数量，图像布置顺序和布置模式来生成3D信息。
图6示出了这种情况下的3D信息的一个实例。在此，图像的顺序指示以“视点编号顺序”或“任意顺序”中的一种方式排列图像。此后，记录多个视点编号。这些视点编号指示当结合的有/无指示“结合”时在结合的图像中排列图像的方式。在图3(b)所示的实例中，第一视点编号是2，随后是3，1，4，6，7，5，和8。当结合的有/无指示“未结合”时，该顺序指示多路复用信息的图像的顺序。当图像的顺序指示“视点编号顺序”时，可以省略这些视点编号。为了生成3D信息，可以按原样使用设定值，或者可以通过固定长度编码或可变长度编码来进行编码。
多路复用器104以预定格式将图像信息，3D信息和管理信息转换成数据，并向外输出。在未结合图像时，从图像结合单元101输出的顺序与如上所述由控制器102指定的图像布置顺序一致。因此，在图像布置顺序中也被多路复用在图像信息。虽然图1中没有表示，如果要对话音和音乐进行多路复用，这些内容的数据也在多路复用器104中被多路复用。
<第二实施例>
在此，到多路复用器104的输入可以是编码的图像信息。图19示出了涉及这种情况的三维图像生成装置110的配置。三维图像生成装置110与图1所示的三维图像生成装置100的区别在于包括编码器105。
来自多路复用器104的输出被连接到诸如IC存储器、磁光盘、磁带、硬盘之类的记录设备，和/或诸如LAN、调制解调器之类的通信设备。在此，假设IC存储器连接到多路复用器104。接下来，说明这种情况下使用的记录格式。
通常，在使用IC存储器作为记录介质时，诸如FAT(文件分配表)等之类的文件系统被构成在IC存储器上，并将数据作为文件记录。对于在此使用的文件格式，可以使用现有的文件格式或新定义的特有的格式。
图7是表示用于记录图像数据的文件格式的示意图。在图7中，假设以图中所示的从上到下的顺序将数据记录到文件中。图7(a)示出了使用现有格式的情况；图7(b)示出了使用新格式的一个实例。
当使用现有格式时，3D信息被记录为现有的首部部分的一部分，使用扩展为现有格式提供的首部部分的一般功能。在此，扩展的首部被称为扩展首部。例如，文件首部对应于JPEG中的应用数据段，因此，新应用数据段被定义到3D信息。在MPEG-4中，文件首部对应可视对象序列或/和视频对象层，以便将3D信息作为使用者数据记录在其中。
当使用现有格式时，应该直接采用通常使用的扩展名。例如，在JPEG文件的情况下通常使用扩展名“.jpg”；在MPEG文件的情况下体通常使用扩展名“.mpg”或“.mp4”；在MWV(Window(R)Media Video)的情况下通常使用“.wmv”。这样使其能够甚至对没有3D图像显示功能的传统播放器也能将该文件识别为现有格式的文件，并作为二维图像显示。
另一方面，当采用新格式时，可以将3D信息记录在如图7(b)所示的文件的开始处。另外，为了使该文件被理解为新格式，应该添加使其区别于现有格式的文件的特有的扩展名。应该用图7(a)和7(b)中的管理信息来记录诸如生成日期，生成器等之类不直接涉及三维图像的一些信息。
首先，描述结合的有/无指示“未结合”时如何存储多视像。当使用图7(a)所示的具有现有格式的文件时，从多个视点看到的多个图像被分开记录在图7(a)中的图像信息区中。在记录运动画面时，针对每个视点记录多个数据帧。图8示出了这种情况下存储的一个实例。对于运动画面，针对每个视点记录多个数据帧。这种情况下，可以相互独立地将每帧编码在运动JPEG中，或者利用帧间预测将画面之间的差别编码为MPEG-4。
下面说明使用具有图7(b)所示的新格式的文件的情况。在新格式的使用中，存在两种情况，一种是采用针对图7(b)中的文件首部和图像信息部分采用现有的格式(JPEG，位图等)，另一种是采用特有的新格式。因此，为了澄清格式中的差别，应该在3D信息中记录分类信息(称为图像类型)。
参考记录图像数据的方式，在图7(b)的图像信息区中记录在多个视点的多个图像数据。在运动画面的情况下，针对每个视点记录多个数据帧。图9示出当结合的有/无指示“未结合”时的存储实例和3D信息的实例。格式化图9中的文件首部和图像信息的K个片段，以便能够将每个部分识别为现有格式的文件。当具体描述其采取位图文件的实例时，图像1至K分别被记录为独立的位图文件，并配置格式，以便依次连接3D信息，管理信息，图像1的位图到图像K的位图。
在此，当结合的有/无指示“未结合”时，可以将有关多个视点的图像信息记录为分开的图像数据文件。这种情况下，当使用现有格式时可以以图7(a)所示的格式记录每个视点的图像信息，当使用新格式时可以以图7(b)所示的格式记录每个视点的图像信息。在记录这些文件时，可以单独使用现有格式或新格式，或者将两种格式混合并使用。图10示出了采用现有格式的一个实例。由于有K个视点，生成了K个文件。
这种情况下，3D信息生成单元103生成与视点的数量一样多的3D信息。在此，由于一个图像信息被记录在单个文件中，省略图像的顺序，并记录表明文件和视点编号之间的对应关系的视点编号。图11示出了这种情况下的3D信息的一个实例。
图12是表示当视点数量是2时3D信息的一个实例的示意图。在此，假设在图2所示的成像设备中，使用由视点编号1和2指定的成像设备。由于视点的数量是2，因此生成了图12(a)和(b)中所示的两个3D信息。“＝”的左侧表示3D信息的项，右侧表示对应的设定值。对布置模式，水平方向的视点数量和垂直方向的视点数量，以及2D选择这些所有项，在图12(a)和(b)二者中记录了相同的值。除上述项之外的其它项是不同的具体地讲，图12(a)示出了该图像的视点数量为1并且没有缩小尺寸，图12(b)示出该图像的视点数量为2并且缩小了尺寸。
当将多个视点的图像信息记录为分开的文件时，在记录的文件数量中，需要识别与来自相同的成像装置摄取的多视像的视点对应的文件。在此，例如，能够使多路复用器104适应于把用于识别由相同的成像装置摄取的不同视点的图像的文件的信息记录到上述管理信息。图13是表示这种情况的管理信息的一个实例的示意图，其中记录了表示记录介质上记录的多视像文件和名称之间的关系的信息。在图13中，文件配置取值为“分开”或“整合”“分开”表示每个视点图像被作为分开的文件记录，而“整合”表示所有的视点图像被记录在一个文件中。为了从视点编号获取图像数据的文件名的知识，与文件名对应地记录每个视点编号。
另外，为了表示成像设备采取的多视像属于相同的组，可以根据预定的命名规则分配文件名。例如，在上述具有两个视点的情况下，由图像1和图像2构成的一组可以被分配给文件名“stereo1_1.jpg”和“stereo1_2.jpg”，另一组图像可以被分配给文件名“stereo2_1.jpg”和“stereo2_2.jpg”，以便相互区分。
另外，关联文件中记录的3D信息或管理信息中存在着冗余。例如，在如图12所示的3D信息的例子中，除缩小的有/无和视点编号外，出现了同样的信息。在图13所示的管理信息的实例中，管理信息的内容对所有文件的共同的。
因此，这些共同信息(共同信息)可以只记录在一个文件中，其它文件可以用于记录图像数据本身所固有的信息(单独的信息)。图14示出了这种情况的一个实例。图14(a)示出了其中记录有单独信息和共同信息的文件。图14(b)示出了仅具有单独信息的文件。在该实例中，以现有格式记录图14(a)的文件，以新格式记录图14(b)的文件，以便能够使用文件扩展名从仅记录有单独信息的其它文件中区分出记录有共同信息的文件，另外，记录有共同信息的文件的文件名可以被记录为如图14(b)所示记录有单独管理信息。该结构便于从仅记录有单独信息的文件区分记录有共同信息的文件。
在此，除上面说明的之外，也可以通过使用上述命名规则以便可从其它内容区分出每个视点的图像文件，把共同信息记录到例如由2D选择指定的具有特点视点编号的图像文件来实现这些文件之间的区分。
作为替换，可以整合冗余信息以生成管理文件，同时使每个图像文件适应于仅记录有固有信息。管理文件应该具有与图像文件不同的特有扩展名。
另外，诸如上述FAT之类的文件系统使用目录，以便管理所有文件。还可以把不同视点生成的一组图像文件(可以包括其管理文件，如果有的话)记录在相同目录中。
当结合的有/无指示“结合”时，将一个整合图像的图像信息记录在图7(a)和图7(b)中的图像信息区中。对于运动画面，记录各由与多视像对应的结合帧构成的多个图像。
通过配置上述实施例，使得图像的布置顺序可以被任意改变，同时固定视点编号的分配方式，并且可以任意改变视点编号的分配方式，同时固定图像的布置顺序。另外，成像设备的排列不限于格栅状排列，而是可以任意排列。这种情况下，选择参考成像设备(其视点被设置为1)，并用以参考设备的位置作为原点的坐标系统表示该位置。把成像设备在每个视点的位置坐标按视点编号的顺序记录到3D信息中。
在上面的实施例中，配置新格式的文件，使得3D信息和管理信息被记录在文件的开始。然而，新格式的文件不限于此。它们的位置可以位于文件首部之后，或图像信息之后，或者可以与图7(a)中所示的现有格式相同。
<第三实施例>
接下来，描述显示由三维图像生成装置100生成的图像数据作为三维图像的再现装置。
图15是表示根据本发明实施例的三维图像再现装置的配置的方框图。在图15中，三维图像再现装置包括去复用器201，3D信息分析器202和图像转换器203。
去复用器201从记录设备或通信设备读取已经以预定格式多路复用的图像数据，并将其分离成图像信息，3D信息和管理信息。虽然图15中没有表示，当已经多路复用了话音和/或音乐时，也通过去复用器201分离这些数据。
三维信息分析器202以预定格式分析3D信息，并提取对每一项设定值。
可以将具有不同显示格式的各种显示设备连接到图像转换器203，例如使用普通CRT的二维显示设备，液晶面板，使用透镜技术的立体显示设备，视差阻挡技术，时分方法等。
下面说明有关所配置的三维图像再现装置200的操作。在此，假设IC存储器连接到去复用器201。正如已经描述的。呈现有格式和新格式的图像文件以及管理被记录在IC存储器中。图像文件和管理文件之间的区别由其文件扩展名来区分。在此，假设使用者选择通过未示出的选择装置选择一个图像文件或管理文件。
首先，说明所选择的文件是图像文件的情况。这种情况下，由于可从文件的扩展名区分现有格式和新格式，当要再现的文件是图7(a)所示的现有文件格式文件时，去复用器201从文件首部的扩展区读取3D信息。当文件格式是图7(b)所示的新格式时，从文件的开始处读出3D信息。
三维信息分析器202分析3D信息，并提取缩小的有/无，视点的数量，布置模式，2D选择和其它的设定值。还确定用于显示三维图像的图像视点编号。为了从多视像数据显示三维图像，应该从多视像选择表现视差的两个视点的图像并且可以用作左眼和右眼图像。例如，在由图2所示的成像设备记录的数据的图像的情况下，可以选择水平排列的设备对，例如，1和2，1和3，1和4，2和3，2和4，以及其它排列。如果在显示时将图像旋转90度，可以选择设备对1和5，2和6，3和7，以及4和8，以实现三维图像显示。
当结合的有/无指示“未结合”时，所选择的文件记录有如图10所示仅在一个视点的图像信息，或记录如图8所示针对所有视点的未结合的分开图像信息。
通过根据3D信息的分析结果检验3D信息是否包含有关图像顺序的信息能够在这些文件之间进行区分。如果3D信息包含图像顺序，该文件是后一种情况，并且应该从3D信息中记录的第一到第K个视点编号选择能够有立体视图的任意视点组合。否则，文件是前一种情况，选择能够与3D信息中记录的视点编号i(在此i是一个等于或大于1的整数)的组合以产生立体视图的另一个视点编号。所选择的视点编号输出到去复用器201。
去复用器201从文件中读出由输入的视点编号指定的图像信息，并将其输出到图像转换器203。如果在文件中没有找到输入的视点编号的图像信息，应该借助管理信息和如上所述的命名规则定位具有其中记录的图像信息的文件，并读出。
还可以参考管理信息中的文件配置，以便检验该文件是否仅具有一个视点图像的记录或具有所有视点的图像的记录。如果文件配置表明是“分开的”，则记录一个视点图像的图像信息，如果表明是“整合的”，则记录所有视点的图像信息。
另一方面，当结合的有/无指示“结合”时，该文件具有仅有一个结合图像的记录，因此能够选择任意的视点编号。这种情况下，将视点编号输出到图像转换器203。
<第四实施例>
此时，在已经对图像信息编码时，应该在去复用后对数据解码。图20示出了这种情况下的三维图像再现装置210的配置。三维图像再现装置210与图15中的三维图像再现装置200区别在于包括了解码器204。
图像转换器203根据从3D信息分析器202输入的结合的有/无，缩小的有/无，2D选择和视点编号，把去复用器201分开的图像信息转换成显示格式。在该过程中，如果结合的有/无指示“未结合”，该转换在已经提取视点编号指定的所有图像信息时开始。如果因文件删除或其它原因造成不能获得任何图像信息，可以使用在最靠近原始编号的视点编号指定的图像代替，或可以实施二维显示。当结合的有/无指示“结合”时，从结合的图像裁剪出由视点编号指定的视点图像，并转换。
参考向显示格式的转换，例如，如果视差阻挡显示设备连接到三维图像再现装置200，图4(e)所示的形式最容易处理。这种情况下，来自左和右图像的一个像素的垂直行在水平方向被重新排列。在图4(b)所示的情况下，左和右图像相对于在水平方向交替地重新排列一个像素的垂直行之前的水平方向各变薄一半。在两种情况中的任何一种情况下，图像数据附连有3D信息，以便能够把该数据转换成适合于该显示设备的显示格式。
在此，以参考编码图像信息的视差阻挡系统的情况为例，当对具有图4(e)所示的排列的图像执行编码时，能够明显地改善编码效率，即使要显示的实际图像是如图17(b)中所示的图像。这是由于图4(e)所示的状态在相邻像素之间的相关比图17(b)中所示状态的相关高。为了把图4(e)的图像的编码数据应用到视差阻挡系统，在图20的三维图像再现装置210中，应该由解码器204首先将该数据解码成其图形形式，然后应该由图像转换器203将该图像重新排列成图17(b)所示的形式。
如果操作模式切换到二维显示模式，同时正在显示三维图像，则显示由2D选择指定的视点编号的图像。此刻，如果缩小的有/无表示“未缩小”，直接显示该图像。在“缩小”的情况下，图像被放大两倍并显示。然而。当该图像未被正在显示时，选择并显示正在被显示的图像之一。该选择可以通过例如选择具有最后或最大的视点编号的方法，相对于成像设备的排列或结合的图像中与2D选择指定的视点编号的图像距离最接近的方法，用于左眼图像的方法，用于右眼图像的方法，或任何其它方法来进行。在此，对该选择没有特定的限制。如果2D选择没有选择到用于二维显示的图像，则利用预定的方法选择要显示的图像。
当连接到二维显示装置时，显示由2D选择指定的图像。以与三维显示设备中的二维显示相同的方式进行显示。
当使用者选择的文件是管理文件时，3D信息中记录的结合的有/无肯定表示“未结合”；可以并且应该选择能够有立体视图的视点编号的任意组合。从由图像文件读出图像数据到转换成显示格式的操作与如上所述的操作相同，因此在此省略对其的描述。
现在参考将视点编号和文件名记录到管理信息中的情况解释上述实施例，也可以提供下面的配置。就是说，配置三维图像生成装置100将指示图像信息属于相同的成像装置摄取的多视像组的识别编号记录到共同信息和单独信息二者中，和配置三维图像再现装置200仅在文件名和识别编号二者一致时读出图像信息。可以将相同的识别变化分配给多视像组，或将不同的编号分配给每个视点。该配置能够防止因为文件名的虚构而造成的误操作。
如上所述，由于可以用统一的方式处理由不同的三维成像方案生成的各种数据，并且由于能够在没有三维图像显示功能的传统播放器上正确地显示二维图像，因此能够提供通用性。
存在着将小图片图像记录在如图21(a)所示的图像文件中的一些情况。根据DCF(Design rule for Camera File System摄像文件系统的设计规则)标准，该标准的建立是为了确保图像文件之间的可互换性，以便在不能再现主图像(图像信息)的情况下保证为了再现的最小可互换性，约定小图片图像的存储。在DCF标准中，对主图像的像素尺寸没有限制，但小图片图像的像素尺寸被限定为一种，即160像素×120像素。
为了记录沿着该思路进行三维显示的信息的文件，可以考虑图21(b)所示的格式。就是说，该文件具有把3D信息加到具有图21(a)的格式的图像文件的形式，图21(b)中的主图像被假设为3D图像。
在此，假设如图4(e)所示，该图像由两个视点图像构成，每个图像在水平方向缩小到一半并相互结合，在图21(b)中该图像作为主图像存储，像素尺寸是640像素×480像素。还假设用从主图像直接缩小到160像素×120像素的图像作为小图片图像。在上述假设下，所得到的文件包含如图22(a)中所示的图像。这种情况下，可以说主图像和小图片图像是以3D图像的形式给出的。
因此，当给出具有如图22(a)所示的图像的文件时，能够解译3D信息并实现3D显示的三维图像再现装置通过在小图片图像上重写指示该文件支持3D数据的信息来提供如图23(c)所示的小图片显示。当以3D显示小图片时，还可以通过以与转换主图像相同的方式转换小图片图像来以3D显示小图片。此外，当指示包括3D图像的符号(例如，图23(c)中的字符“3D”)被提供有视差以实现3D显示时，能够增强通用性。
当以3D显示给出小图片时，与缩小解码的主图像并用于3D显示相比，使用图22(a)所示的小图片图像能够高速表现。这是由于小图片图像较小，因此能够被快速解码，而与大图像，即主图像的情况不同，最初需要被解码。
在此，由于小图片图像不必是从主图像直接缩小的图像，也可以是主图像与小图片图像的组合，如图22(b)所示。图22(b)中的主图像与图22(a)中的相同，而小图片图像是通过从主图像提取一个视点图像的片段并将其缩小到160像素×120像素获得的图像。在图22(b)中，由于主图像在水平方向缩小到一半，或换句话说，水平比例与垂直比例之间的比率是1∶2，应该通过提取一个视点图像的片段并在水平方向将其放大一倍来生成小图片图像。
当给出具有如图22(b)所示的图像的文件时，能够解译3D信息并实现3D显示的三维图像再现装置通过在小图片图像上重写指示该文件支持3D数据的信息来提供如图23(b)所示的小图片显示。通过从如图22(b)所示的主图像提取一个视点图像的片段来准备小图片图像能够迅速无失真地显示小图片。
即使在给出如图22(a)所示的小图片图像时，通过根据小图片显示提取一个视点的片段能够显示如图23(b)所示的小图片，在水平方向将其放大一倍，然后在小图片图像上重写用于存储3D指示的信息。
虽然图22示出了主图像中结合的有/无指示“结合”的情况，主图像可以由如图4(a)所示的“未结合”的图像组成。当主图像的结合的有/无表示“未结合”时，可以缩小为主图像记录的多个图像之一并记录为小图片图像。作为替换，无论主图像的结合的有/无表示“结合”或“未结合”，可以提取由已经解释的“2D选择”指定的一个视点图像来生成其小图片图像或提供小图片显示。
如至此所描述的，只要三维图像再现装置能够解译3D信息，当接收到如图21(b)所示的文件时，能够正确地处理该文件。现在，应该考虑不能解译3D信息的老式三维图像再现装置。该三维图像再现装置没有图20中的3D信息分析器202和图像转换器，并且不能连接到三维显示器。该三维图像再现装置不能解译3D信息，因此不能告知文件中存储的图像信息是2D图像还是3D图像。即使通过一些未规定的装置已经发现该文件支持3D图像，由于该装置没有图像转换器，因此它也不能正确地再现该图像信息。
即使在这种情况下，如果已经根据上述DCF标准或类似思路记录了小图片图像，至少能够期待小图片图像的显示。
因此，在本发明中，记录了嵌入有指示该文件包含3D图像的符号的小图片图像。例如，如图23(a)所示，可以使用在图像右下方重写有图示符号“3D”的图像作为小图片图像，或如图23(b)所示，可以使用在其角部嵌入透明的文本“3D”的图像作为小图片图像。作为替换，如果将如图23(c)所示的图像记录为小图片图像，至少能够识别该文件是包含3D图像的文件。
当把表示3D内容的符号嵌入小图片图像时，能够允许使用者在记录时选择嵌入符号的位置和尺寸。另外，还能够从预先准备的多个符号中选择所希望的符号。此外，在生成小图片图像时自动定位背景区，以使符号可以被写入背景区。另外，当把表示3D内容的符号自动嵌入如上所述的小图片图像时，能够允许使用者检验曾经记录的小图片图像，并且如果符号的位置和/或尺寸不是优选的，可以重新生成小图片。
图24示出了主图像和所记录的图像文件的小图片图像的组合的实例。在此，与图22的情况类似，假设由两个视点图像构成、如图4(e)所示在水平方向缩小一半的结合的图像被作为主图像存储，其像素尺寸是640像素×480像素。另外，还假设从主图像缩小到160像素×120像素并且嵌入指示包括3D图像的符号的图像，并用该图像作为小图片图像。利用该假设，存储如图23(c)所示的小图片图像产生了如图24(a)的组合，存储图23(b)所示的小图片图像产生图24(b)所示的组合。
符号本身可以是文本，标记，或特定图像，只要其能够指示3D内容的存在。另外，对符号在小图片图像中的位置没有限制。然而，在任何一种情况下，应该记录该符号作为小图片图像的一部分。相反，符号不与小图片图像分开记录。
这是很关键的。为了在不能解译3D信息的三维图像再现装置中提供有效的小图片显示，需要在文件中预先记录图23中所示的图像作为小图片图像。该排列使得三维图像再现装置能够通过再现其小图片图像，以与2D图像文件相同的方式来检验3D图像的文件的图像内容，并由此在2D图像文件和3D图像文件之间进行区分。
顺便指出，即使是能够解译3D信息的三维图像再现装置也不总是支持各种数据格式。例如，对于仅支持四透镜系统的3D图像的三维图像再现装置，如果其接收到双透镜系统的3D图像数据，则不能提供正确的显示。这种情况下，能够通过小图片图像的显示来检验图像内容。由于能够解译3D信息的三维图像再现装置能够通过分析3D信息来判断文件中包含的主图像是否能够被正确地再现，如果文件具有不能被正确再现的无效数据格式，可以配置该装置显示小图片图像，并且还显示消息或类似内容，通知“该文件具有不支持的3D数据格式”。
<第五实施例>
现在，图28示出了用于在文件中记录小图片图像的三维图像生成装置的实例。图28中的三维图像生成装置120具有小图片图像生成器106，并通过在多路复用器104中将小图片数据与编码数据(或未压缩的图像信息)一起3D信息多路复用来生成文件。文件的输出可以被传送到诸如IC存储器，磁光盘，磁带，硬盘等之类的记录设备，和/或诸如LAN，调制解调器等之类的通信设备。虽然在DCF标准中将小图片图像的尺寸定义为160像素×120像素，通常，小图片图像的尺寸不限于该尺寸。
<第六实施例>
接下来，图26示出了三维图像再现装置的实例，该三维图像再现装置从如图22所示的小图片图像实现如图23所示的小图片显示。在图26中，与图20中的三维图像再现装置210具有相同功能的部件被分配相同的参考标号并且省略对其的描述。在如图26所示的三维图像再现装置220中，由去复用器221分离小图片数据。如果要再现的数据表示3D图像，小图片生成器225根据来自3D信息分析器202的指示，对从小图片数据解码(如果该数据未被压缩则不需要解码)的小图片图像实现小图片显示，所述小图片数据是通过叠加指示3D图像存在的符号形成的。如果以3D显示小图片，小图片生成器225对小图片图像实施与图像转换器对主图像进行的转换方式相同的处理。
<第七实施例>
图27示出了能够以可切换的方式输出3D显示图像和2D显示图像的三维图像再现装置的实例。在图27中，与图26中的三维图像再现装置220具有相同功能的部件被分配相同的参考标号并且省略对其的描述。在图27所示的三维图像再现装置230中，当输入如图24所示的主图像和小图片图像的编码图像数据时，由解码器204解码的图像信息被发送到图像转换器203以及小图片生成器225。控制器226给出向图像转换器203和小图片生成器225输出3D显示图像还是2D显示图像的指示。当以2D显示小图片时，小图片生成器225可以直接输出如图24所示的小图片图像(这种情况下，还显示表示3D的符号)，或者可以通过缩小输入的主图像和实施与图像转换器203类似的处理来输出小图片图像，而没有指示3D存在的符号。如果以3D显示小图片，可以并且应该缩小输入的主图像，并且受到与图像转换器203中相同的处理。
在至此的描述中，配置3D文件以便利用叠加的、指示3D存在的符号来显示其小图片图像。然而，也可以照3D文件的原样显示小图片图像，同时可以通过叠加指示2D的符号来执行2D文件的小图片图像的显示。
另外，不仅可以将在3D文件的小图片图像上指示3D的符号的显示，而且可以将3D信息中包含的诸如视点的数量，视点编号等之类的数据的显示叠加在小图片图像上。此外，3D信息中包含的数据和指示3D存在的符号的显示可以被叠加在小图片图像上，但可以在小图片图像附近的预定位置给出。
图25示出了该文件中存储的小图片图像的其它实例。小图片图像由第一图像和第二图像组成。第一图像由来自不同视点的两个或多个图像构成，第二图像是通过裁剪出一个视点图像，然后将两个图像以画中画的方式粘贴而生成的。在图25(a)中，第一图像是主要图像，第二图像是子图像。如图26(b)所示，主要图像和子图像可以互换。图25(c)和图25(d)示出了图25(a)和图25(b)的各个图像，每个图像嵌入有指示3D存在的符号。对于图25(c)和(d)，可以输出指示3D存在的符号并在小图片显示时叠加，而不是将其记录在小图片图像中。使用如图25所示的小图片显示允许无图像失真地检验图像内容并且确认记录为主图像的实际图像形式。
下面参考
本发明的实施例。
<第八实施例>
在本发明的第八实施例中，使用用于三维图像显示的GUI应用软件，个人计算机(下文缩写为PC)实施立体显示处理，以便在立体显示器上实现立体显示。具体地讲，PC上的CPU根据诸如CE-ROM，硬盘等之类的记录介质上记录的立体显示应用软件执行运动画面和。或静止图像的处理，以便在立体显示器上实现立体显示。另外，随着使用者通过鼠标或键盘给出进行立体处理的指示，CPU根据这些指示来执行处理。
图29是解释第八实施例的立体显示器上的显示图像的示意图，其中三维图像显示应用将管理显示图像2显示在显示器1上。三维图像显示应用的管理显示图像2由三维图像显示区3，放大比例调节条4和警告显示区5构成。
从用于描述现有技术的图39和40可以理解，当放大并显示三维图像时，从立体显示器向外突出的隆起量和相对于立体显示器向内降低的纵深量都被放大，当他们大于其对应的某个阈值时，不能产生立体视图。这种情况下，如果预先知道三维图像的隆起和纵深的最大量，能够从等式(1)和(2)根据放大比例确定三维图像的隆起和纵深量在什么程度上改变。在本实施例中，例如，如果三维图像的隆起变得较强，因此长时间的观看会给使用者造成负担，将给予使用者一个警告。
下面参考图30所示的流程图，描述第八实施例的处理流程。
在步骤S1，获取显示信息。在此提到的显示信息包括显示器的宽度W[m]，显示器的分辨率P[dot]，和使用者与显示器之间的距离D[m]。使用者与显示器之间的距离可以利用位置传感器等准确地获得。然而，使用来自数据库的、预先已经累积的值更方便，该值记录了使用者相对于显示器的尺寸和类型的一般距离，如果显示器的尺寸是15英寸，作为到使用者的距离的例子，该距离可以是1米。
对于通过在左和右眼上投射不同的图像来产生立体效果的立体显示器，如同在HMD的情况，当把绝对独立的显示设备用于左和右眼时，左和右图像之间不发生混合。然而，在基于视差阻挡系统和双凸系统的立体显示器中，针对使用者的右眼的图像的微小成分可以与左眼看到的图像混合。将此称为串扰。一般情况下，串扰越少，立体显示越好。随着串扰变大，能够产生舒适的立体视图的范围变窄。为此，有关串扰的信息被包括在显示信息中，如下面要描述的，当串扰较强时，视差的范围可以变得较小，以便在立体显示器上提供舒适的立体图像。
为此目的，在步骤S2获取能够有立体视图的视差范围。
PC的CPU根据左和右图像之间的差异，利用等式(1)，(2)和(3)，计算能够产生舒适的立体视图的范围中的视差量，以便确定落在能够有舒适的立体视图的范围中的隆起量th_f[dot]和纵深量th_b[dot]。在此，由立体显示屏幕上左和右对应点之间的距离(视差)来把th_f和th_b。如从图39和40看到的，在从屏幕向外突出的图像中，左眼图像相对于右眼图像位于右侧，而在从屏幕向后的图像中，左眼图像相对于右眼图像位于左侧。因此，在本发明中，确定右眼图像与左眼图像之间不一致的程度作为参考，以使视差的正值表示隆起(左眼图像位于右侧)，和视差的负值表示纵深(左眼图像位于左侧)。
视差的值落入从th_f到th_b的范围可以说是能够有舒适立体视图的立体显示器的最大视差范围，并且th_f到th_b表示最大视差范围的阈值。
通过各种研究已经凭经验确定了允许舒适立体视图的视差量θ，并且了解到它与立体显示器和尺寸和串扰相关。例如，当假设在15英寸的立体显示器中能够有舒适立体视图的视差量θ的范围针对隆起和纵深二者是35分钟，并且使用者的眼睛之间的距离是60mm，规定立体显示器的最大视差范围的阈值是大约th_f＝25和th_b＝-25[dot]。因此，能够有立体视图的视差范围是-25≤θ≤25。当然，这些值根据在步骤S1获取的有关显示的信息而改变。另外，由于这些值最多是凭经验确定的，而不是用等式(1)，(2)和(3)确定的，自然会考虑CPU可以使用凭经验获得的立体显示器的显示性能的测量值，这些测量值已经预先存储在数据库等中。
在步骤S3，显示三维图像的最大隆起量f[dot]和最大纵深量b[dot]，一句话，从三维图像的标记信息获取三维图像的最大视差量。在此，标记信息是指分开地附连到三维图像的附加信息，例如当摄取图像时的拍摄条件。在本实施例中，假设有关三维图像的隆起最大量和纵深最大量的信息被作为标记信息预先给出。然而，存在着通过立体匹配自动确定有关f和b的信息的方法，这意味着获取方法不限于使用标记信息。还是在这种情况下，将f和b表示为立体显示器屏幕上的视差量。这些值表示三维图像的视差(视差范围)的范围。
在步骤S4，使用者利用放大比例调节条4输入三维图像的放大或缩小比例E[％]。放大比例的输入不限于使用放大比例调节条，而是可以通过按下特定的盘键修改，或通过鼠标利用滚动条。另外，假设本发明不仅涉及放大处理，而且涉及缩小处理，并假设在步骤S5获得放大或缩小比例。
在步骤S5，确定三维图像的视差量是否落入能够有立体视图的视差范围。按在步骤S4获得的放大比例E[％]来乘以都是在步骤S3确定的隆起f的最大量和纵深b的最大量，以便确定放大的三维图像的隆起的最大量f’＝Ef[dot]，和放大的三维图像的纵深的最大量b’＝Eb[dot]。将所得到的值与在步骤S3确定的th_f和th_b比较，以便在步骤S5决定这些值是否落入能够有立体视图的视差范围。如果三维图像的视差量落入上述的视差范围，该过程结束。如果三维图像的视差量超出该视差范围，操作进行到步骤S6。
在步骤S6，PC的CPU根据三维图像的视差量脱离能够有立体视图的视差范围的程度，确定诸如“隆起太强”，“纵深太强”，“隆起太弱”，“纵深太弱”之类的消息，并将其显示在警告显示区5上。在此，通过话音消息，通过改变三维图像显示区3的颜色或通过任何其它方法向使用者发出警告，而不应该限于在警告显示区5上显示消息。
在本实施例中，虽然根据视差量[dot]或左和右图像的对应点之间的差异来决定三维图像的隆起量，很显然，可以将从如图39和40所示的显示器给出的隆起量z[m]用于该决定。
<第九实施例>
下面描述本发明的第九实施例。
第九实施例中的立体显示器的管理显示图像6由三维图像显示区3，放大比例调节条4和警告显示区5构成，如图31所示。
下面参考图32的流程图描述第九实施例的操作流程。步骤S1至步骤S5与第八实施例中的相同。
在步骤S16，如图33所示对隆起的量进行校正(视差量调节)。图33(a)示出了放大前的三维图像的视差范围，(b)示出了放大后的三维图像的视差范围，(c)示出了校正处理后的三维图像的视差范围。在图33中，横轴表示左和右图像的立体对应点之间的差异，影线表示获得舒适的立体视图的视差范围。关于符号，f和b表示放大前的三维图像的隆起和纵深的最大量，f’和b’表示放大后的三维图像的隆起和纵深的最大量，th_f和th_b表示能够在立体显示器上获得舒适的立体视图之间的隆起和纵深的最大量。即使放大后的图像的隆起最大量f’比th_f大，如果f’-b’小于th_f-th_b，右眼图像作为整体可以被移位f-th_f’，如图34所示，以便相对于立体显示器将三维图像作为整体的显现位置向后设置，从而校正立体效果。在图34中，由虚线包围的部分6表示原始图像，由实线包围的部分7表示移位后的图像。然而，如果f’-b’大于th_f-th_b，不再能够通过将右眼图像作为整体简单地移位来校正隆起。
同样，在处理纵深的情况下，当图像放大后的纵深b’的最大量小于th_f-th_b时，将右眼图像作为整体移位b’-th_b，以显示从立体显示器突出的整个三维图像，使其能够提供舒适的立体视图。应该指出，当移位量为正时，右眼图像作为整体被向右移位，当移位量为负时，右眼图像作为整体被向左移位。
在本实施例中，虽然是通过移位右眼图像来校正整个三维图像的隆起量，移位方式不限于右眼图像，而是可以固定右眼图像移位左眼图像，或者同时移位两眼的图像。
另外，当f’-b’大于th_f-th_b时，在警告区显示“太强而不能校正”，或者左和右图像之一在三维图像显示区中的显示使其能够向使用者表明三维图像不舒适，虽然不强迫提供警告显示区或任何其它警告。
本实施例不限于根据放大来校正立体效果，也可以在作为缩小尺寸的结果导致三维图像缺乏立体效果时，通过将图像作为整体隆起或收缩来增强三维图像的立体效果。例如，当在步骤S4确定放大比例小于1时，在步骤S6将缩小后的三维图像移位f-f’，以使图像相对于显示器向外突出，并相对于缩小前均衡缩小后的最大隆起的位置，由此使得缩小后的三维图像给出从屏幕向外隆起或突出更大的感觉。相反，还可以均衡纵深量，以使隆起的最大位置不保持固定，而固定纵深的最大位置。
<第十实施例>
下面描述本发明的第十实施例。
本发明的第十实施例是第九实施例的改进，其中改进了在步骤S16的隆起校正处理(视差量调节)。
本实施例即使在通过三维图像的总移位也不能获得舒适的立体视图时，通过对三维图像的中央部分给予优先来调节立体效果，能够使显示器容易地被观察到立体视图。该实施例利用了人的视觉感受的特征，或人的视觉在中央周围比视野外围更清楚的事实。
除了用步骤S17的视差量调节代替不步骤S16的视差量调节外，第十实施例从步骤S1到步骤S5与图32中所示的第九实施例的流程相同。
图示说明，实施图35中所示的从步骤S21到步骤S26的过程。参考图35所示的流程图描述该处理的流程。
在步骤S21，以整个图像初始化要处理的目标三维图像中的视差量获取区。
在步骤S22，针对视差量获取区中每个像素比较bidashi量和纵深量，以获取该视差量获取区隆起的最大量f’和纵深的最大量b’。在本实施例中，假设有关图像的每个像素的隆起量和纵深量的信息被预先作为标记信息给出。然而，存在着通过立体匹配自动确定每个像素的量的方法，意味着获取方法不限于标记信息的使用。作为替换，不需要获得所有像素的隆起和纵深量；可以从视差量获取区中的一些区分像素提取这些值。
在步骤S23，确定通过将三维图像作为整体移位来调节视差量是否能够获得立体视图。通过从如图34所示的具有f-th_f’移位的立体显示收缩整个三维图像，能够生成舒适的立体视图显示。然而，当f’-b’大于f-th_b时，仅简单地左或右移动整个图像不能很好地校正隆起。
因此，当f’-b’大于f-th_b时，PC的CPU通过调节视差量，在步骤S24去掉视差量获取区，并重复从步骤S22起的过程，确定不能获得立体视图。在本实施例中，如图37所示，整个三维图像被设置为初始范围L1(宽度w1，和高度h2)。当没有以L1进行校正处理时，设置用于校正的修改范围L2(宽度w2，和高度h2)。当没有以L2进行校正处理时，重复地设置用于校正的修改范围L3(宽度w3，和高度h3)。在此假设wn＝0.9×wn-1，和hn＝0.9×hn-1，但是重复公式不应该局限于此。
这样，当在步骤S23确定通过调节视差量能够获得立体视图时，PC的CPU通过在步骤S25移位三维图像来进行视差量调节。
代替图像帧的中央，作为进行立体效果调节的区，预先指定具有最大隆起的对象或最具有标记价值的对象作为可观察的点，并且对可观察的点和其附近给予优先来进行有关立体视图的调节，由此能够生成舒适的立体显示。
<第十一实施例>
至此描述的任何实施例不限于在PC上的应用程序上执行，而是可以在电视装置，PDA，蜂窝电话或其它设备上执行。下面描述对这些设备的应用作为本发明的第十一实施例。
如图38所示，第四实施例由三维图像数据源10，临时数据处理存储器11，三维图像显示单元12，放大比例选择器13，视差调节单元14和警告决定单元15，以及警告显示单元16构成。
首先，传送来自三维图像数据源10的每个像素的三维图像数据的颜色数据和视差数据，来自三维图像显示单元12的显示设备的尺寸和分辩率以及串扰的幅度，并存储在数据处理存储器11中。在此，作为三维图像数据源10，可以考虑磁盘，半导体存储器，经有线或无线网络的数据传输或其它方式。作为临时数据处理存储装置，可以考虑半导体存储器，磁盘和内置于PDA，蜂窝电话等其它方式。
接下来，使用者通过放大比例选择器13选择用于三维图像显示的放大比例，作为放大比例选择器13，可以考虑按钮，刻度盘，或放大和缩小的其它方式。
在视差调节单元14中，对数据处理存储装置11中存储的三维图像数据进行与第八实施例中的步骤S1至S5相同的处理。具体地讲，获取数据处理存储装置11中存储的显示信息以便获取能够获得三维图像数据的立体视图的视差范围，然后将三维图像的视差量与该视差范围进行比较，由此决定三维图像的视差量是否落入允许立体视觉的视差范围。
如果落在能够有立体视图的视差范围之外，警告处理器15在三维图像显示单元12上给出警告。显示警告的文字存储在数据处理存储装置12中，警告处理器15根据三维图像的视差量脱离能够有立体视图的视差范围的程度进行判断。以这种方式，将警告文字存储在数据处理存储装置11中并且叠加显示在三维图像显示单元12上以给出警告。
除了三维图像显示单元12外，可以使用分开的专用警告指示符来给出警告，或者可以利用扬声器或耳机通过声音等方式给出警告。
工业实用性本发明提供用于显示三维图像的三维图像生成装置和三维图像处理装置，能够使使用者以适当的方式确认三维图像的内容，并且使装置适合于向使用者呈现三维图像的内容，即使三维图像被放大或缩小。
权利要求
1.一种三维图像生成装置，包括主图像生成器，用于针对多个视点生成图像信息的主图像；小图片生成器，用于生成小图片；三维控制信息生成器，用于生成用以实现主图像的三维显示的三维控制信息；和多路复用器，用于对主图像、小图片图像和三维控制信息进行多路复用。
2.根据权利要求1所述的三维图像生成装置，其中小图片图像生成器通过直接缩小该主图像来生成小图片图像。
3.根据权利要求1所述的三维图像生成装置，其中小图片图像生成器通过从主图像提取一个视点图像的片段来生成小图片图像。
4.根据权利要求1所述的三维图像生成装置，其中小图片图像生成器把指示包括三维图像的符号嵌入所述小图片图像。
5.根据权利要求1所述的三维图像生成装置，其中小图片图像生成器生成由主图像的缩小图像，从主图像提取的、并以画中画方式贴在其中的一个视点图像的缩小图像构成的小图片图像。
6.一种三维图像再现装置，包括去复用器，用于从输入的图像数据中分离主图像数据，小图片数据和三维控制信息；和小图片生成器，用于在主图像数据表示三维图像时，用于输出具有叠加在小图片数据上、指示包括三维图像的符号的小图片。
7.一种三维图像处理装置，包括视差范围获取装置，用于获取能够有立体视图的视差范围；视差量获取装置，用于获取三维图像的视差量；和决定装置，用于决定三维图像的视差量是否落入视差范围。
8.一种三维图像处理装置，包括视差范围获取装置，用于获取能够有立体视图的视差范围；视差量获取装置，用于获取三维图像的视差量；比例获取装置，用于获取三维图像的放大或缩小比例；和决定装置，用于决定已经根据所述比例被放大或缩小的三维图像的视差量是否落入视差范围。
9.根据权利要求7或8所述的三维图像处理装置，其中决定装置根据三维图像的部分区域进行决定处理过程。
10.根据权利要求7至9中的任何一项所述的三维图像处理装置，进一步包括警告装置，用于在决定装置确定视差量落在视差区之外时警告使用者。
11.根据权利要求7至9中的任何一项所述的三维图像处理装置，进一步包括视差调节装置，用于在决定装置确定视差量落在视差范围之外时调节三维图像的视差量。
12.根据权利要求7至11中的任何一项所述的三维图像处理装置，其中视差量获取装置使用用于显示三维图像的立体显示器的分辨率，用于显示三维图像的立体显示器的尺寸，或用于显示三维图像的立体显示器的分辨率和尺寸。
13.根据权利要求7至11中的任何一项所述的三维图像处理装置，其中视差范围获取装置使用用于显示三维图像的立体显示器分开左和右图像的能力。
14.根据权利要求7至11中的任何一项所述的三维图像处理装置，其中视差量获取装置使用预先标记到三维图像的数据。
15.一种三维图像处理程序，其特征在于使计算机起到下列装置的作用视差范围获取装置，用于获取能够有立体视图的视差范围；视差量获取装置，用于获取三维图像的视差量；和决定装置，用于决定三维图像的视差量是否落入视差范围。
16.一种三维图像处理程序，其特征在于使计算机起到下列装置的作用视差范围获取装置，用于获取能够有立体视图的视差范围；视差量获取装置，用于获取三维图像的视差量；比例获取装置，用于获取三维图像的放大或缩小比例；和决定装置，用于决定已经根据所述比例被放大或缩小的三维图像的视差量是否落入视差范围。
17.根据权利要求15或16所述的三维图像处理程序，其中决定装置根据三维图像的部分区域进行决定处理过程。
18.根据权利要求15至17中的任何一项所述的三维图像处理程序，其特征在于使计算机起到警告装置的作用，用于在决定装置确定视差量落在视差区之外时警告使用者。
19.根据权利要求15至17中的任何一项所述的三维图像处理程序，其特征在于使计算机起到视差调节装置的作用，用于在决定装置确定视差量落在视差范围之外时调节三维图像的视差量。
20.根据权利要求15至19中的任何一项所述的三维图像处理程序，其中视差量获取装置使用用于显示三维图像的立体显示器的分辨率，用于显示三维图像的立体显示器的尺寸，或用于显示三维图像的立体显示器的分辨率和尺寸。
21.根据权利要求15至19中的任何一项所述的三维图像处理程序，其中视差范围获取装置使用用于显示三维图像的立体显示器分开左和右图像的能力。
22.根据权利要求15至19中的任何一项所述的三维图像处理程序，其中视差量获取装置使用预先标记到三维图像的数据。
23.一种计算机可读记录介质，其中记录有根据权利要求15至22中的任何一项所述的程序。
全文摘要
将由一序列帧组成的图像信号逐帧输入到三维图像生成装置。控制器(102)指定缩小的有/无，结合的有/无以及2D选择。图像转换器(101)按由缩小的有/无和结合的有/无指定的格式生成图像数据。3D信息生成器(103)通过格式化缩小的有/无，结合的有/无以及2D选择来生成用于显示作为三维图像的图像所需的3D信息。多路复用器(104)按预定格式转换图像数据和3D信息，并向外部输出。以这种方式，能够使图像数据通用于三维显示，并且有效地选择任意视点图像。
文档编号H04N15/00GK1774937SQ20048001033
公开日2006年5月17日 申请日期2004年4月16日 优先权日2003年4月17日
发明者野村敏男, 矢部博明, 北浦龙二, 大原一人, 盐井正宏, 内海端 申请人:夏普株式会社