图像处理设备和图像处理方法

专利名称：图像处理设备和图像处理方法
技术领域：
本发明涉及图像处理设备和图像处理方法。更具体地讲，本发明涉及这样的图像处理设备和图像处理方法当由在连续的不同定时捕获的来自多个视点的图像所组成的立体图像按照在连续的不同定时显示来自各个视点的图像的方式被显示时，允许显示看起来自然的立体图像。
背景技术：
近年来，支持诸如运动图像专家组(MPEG)的压缩方案的设备已越来越普遍地应用于广播站的信息分发以及一般消费者家中的信息接收，其中为了实现信息的高效传输和累积，通过利用图像信息特定的冗余，图像信息被作为数字信号进行处理并且使用诸如离散余弦变换的正交变换和运动补偿进行压缩。具体地讲，例如，在经诸如卫星广播、有线电视(TV)或互联网接收到使用编码方案压缩的图像信息(比特流)或者在诸如光盘、磁盘或闪存的存储介质上处理所述图像信息时使用的编码设备和解码设备已越来越普遍，其中所述编码方案利用诸如离散余弦变换或Karhunen-Loeve变换的正交变换和运动补偿(诸如MPEG或H. 26x)。例如，MPEG-2 (国际标准化组织(ISO)/国际电エ委员会(IEC) 13818-2)被定义为通用图像编码方法，并且是覆盖隔行扫描图像(隔行图像)和逐行扫描图像(逐行图像)以及标准清晰度图像和高清晰度图像的标准，其如今已广泛用于包括专业应用和消费应用的很多种应用。MPEG-2压缩方案通过例如将4至8Mbps的码率(比特率)分配给横向和纵向上具有720X480像素的标准清晰度隔行扫描图像，或者将18至22Mbps的码率分配给横向和纵向上具有1920X 1088像素的闻清晰度隔行扫描图像来促进图像的闻压缩比和尚品质实现。MPEG-2主要提供适合于广播的高品质编码，但是不支持比MPEG-I的码率(比特率)更低的码率(即，更高压缩比)的编码系统。随着移动终端越来越普及，未来对这样的编码系统的需求将増加。为了满足这种需求，MPEG-4编码已标准化。至于图像编码，已在1998年12月通过了 IS0/IEC 14496-2标准作为国际标准。另夕卜，高级视频编码(AVC) (MPEG-4第10章，IS0/IEC14496-10，国际电信联盟远程通信标准化组(ITU-T)H. 264)也已标准化。AVC标准是由联合视频编码组(JVT)开发的，JVT由ITU-T和IS0/IEC联合组建以促进图像编码的标准化。与MPEG-2或MPEG-4 —祥，AVC也是包括运动补偿编码和离散余弦变换编码的混合编码方案。通常，与诸如MPEG-2和MPEG-4的现有编码方案相比，AVC包含更大量的用于编码和解码的计算，但是能够实现更高的编码效率。同吋，随着近来能够实现立体视觉的立体图像捕获和显示技术的进歩，除了ニ维图像内容之外，将使用上述编码方案编码的图像内容还可能包括立体图像内容。具体地讲，开发了对立体图像进行编码的扩展AVC，并且开发了能够对使用多个图像捕获设备捕获的形成立体图像的多视点图像进行编码的多视点视频编码(MVC)的标准化。在例如日本未审查专利申请公布No. 2008-182669中公开了ー种对多视点图像进行编码和解码的方法。在下文中，作为例子，将在由视点数最少的双视图像组成的三维(3D)图像(立体图像)的情况下描述形成立体图像的多视点图像。
形成3D图像的左眼图像(以下，称作“ L图像”)和右眼图像(以下，称作“ R图像”)可以是在相同捕获定时捕获的图像，或者是在连续的不同捕获定时捕获的图像，所述L图像是用左眼观察到的图像，所述R图像是用右眼观察到的图像。另外，使用专用图像显示设备显示立体图像。该图像显示设备的显示方法可以是在连续的不同定时显示形成3D图像的L图像和R图像的方法，或者是同时显示L图像和R图像的方法。

发明内容
在现有的被构造为在连续的不同定时显示L图像和R图像的图像显示设备中，无论L图像和R图像被拍摄时的捕获定时如何，均按照预定次序显示L图像和R图像。因此，以连续的不同捕获定时捕获的L图像和R图像可能按照与实际图像捕获次序不同的次序显示。这会使用户觉得所得图像不自然。因此，期望当由在连续的不同定时捕获的来自多个视点的图像所组成的立体图像按照来自各个视点的图像在连续的不同定时显示的方式被显示时，能够显示看起来自然的立体图像。本发明的第一实施例提供ー种图像处理设备，包括接收装置，用于接收编码流、图像捕获类型和图像捕获次序信息，所述编码流通过对形成立体图像的包括来自多个视点的图像的多视点图像的图像数据进行编码而产生，所述图像捕获类型指示多视点图像是在不同的定时捕获的，所述图像捕获次序信息指示多视点图像被捕获的图像捕获次序；解码装置，用于对接收装置所接收到的编码流进行解码，以生成图像数据；以及控制装置，用于依据接收装置所接收到的图像捕获类型和图像捕获次序信息，控制显示设备按照与图像捕获次序相同的次序显示与解码装置所生成的图像数据对应的多视点图像。本发明的第一实施例还提供一种与根据本发明第一实施例的所述图像处理设备对应的图像处理方法。根据本发明的第一实施例，接收编码流、图像捕获类型和图像捕获次序信息，所述编码流通过对形成立体图像的包括来自多个视点的图像的多视点图像的图像数据进行编码而产生，所述图像捕获类型指示多视点图像是在不同的定时捕获的，所述图像捕获次序信息指示多视点图像被捕获的图像捕获次序；对编码流进行解码，以生成图像数据；以及依据接收到的图像捕获类型和图像捕获次序信息，按照与图像捕获次序相同的次序在显示设备上显示与生成的图像数据对应的多视点图像。本发明的第二实施例提供ー种图像处理设备，包括编码装置，用于对形成立体图像的包括来自多个视点的图像的多视点图像的图像数据进行编码以生成编码流；发送装置，用于按照将图像捕获类型和图像捕获次序信息与编码装置所生成的编码流相连接的方式发送所述编码流，所述图像捕获类型指示形成立体图像的多视点图像是在不同的定时捕获的，所述图像捕获次序信息指示多视点图像被捕获的图像捕获次序。本发明的第二实施例还提供一种与根据本发明第二实施例的所述图像处理设备对应的图像处理方法。根据本发明的第二实施例，对形成立体图像的、包括来自多个视点的图像的多视点图像的图像数据进行编码以生成编码流；按照将图像捕获类型和图像捕获次序信息与编码流相连接的方式发送编码流，所述图像捕获类型指示形成立体图像的多视点图像是在不同的定时捕获的，所述图像捕获次序信息指示多视点图像被捕获的图像捕获次序。本发明的第三实施例提供ー种图像处理设备，包括接收装置，用于接收形成立体图像的、包括来自多个视点的图像的多视点图像的图像数据、图像捕获类型和图像捕获次序信息，所述图像捕获类型指示多视点图像是在不同的定时捕获的，所述图像捕获次序信息指示多视点图像被捕获的图像捕获次序；以及控制装置，用于依据接收装置所接收到的 图像捕获类型和图像捕获次序信息，控制显示设备按照与图像捕获次序相同的次序显示与接收装置所接收到的图像数据对应的多视点图像。本发明的第三实施例还提供一种与根据本发明第三实施例的所述图像处理设备对应的图像处理方法。根据本发明的第三实施例，接收多视点图像的图像数据、图像捕获类型和图像捕获次序信息，所述多视点图像包括形成立体图像的来自多个视点的图像，所述图像捕获类型指示多视点图像是在不同的定时捕获的，所述图像捕获次序信息指示多视点图像被捕获的图像捕获次序；以及依据接收到的图像捕获类型和图像捕获次序信息，按照与图像捕获次序相同的次序在显示设备上显示与接收到的图像数据对应的多视点图像。根据第一和第二实施例的图像处理设备或者根据第二和第三实施例的图像处理设备可以是独立的设备，或者可以是形成单个设备的内部模块。另外，根据第一至第三实施例的图像处理设备可以通过使计算机运行程序来实现。根据本发明的第一和第三实施例，当由在连续的不同定时捕获的来自多个视点的图像所组成的立体图像按照来自各个视点的图像以连续的不同定时显示的方式被显示吋，可以显示看起来自然的立体图像。根据本发明的第二实施例，如果形成立体图像的多视点图像是在连续的不同定时捕获的图像，则可把多视点图像的图像捕获类型和图像捕获次序告知处理所述多视点图像的图像数据的设备。因此，例如，被构造为按照在连续的不同定时显示来自各个视点的图像的方式显示由来自多个视点的图像所组成的立体图像的图像处理设备可显示看起来自然的立体图像。


图I是示出根据本发明第一实施例的编码系统的示例构造的框图；图2是示出编码系统中的图像捕获类型的示图；图3是示出编码系统中的图像捕获类型的示图4是示出图I所示多视点编码设备的示例构造的框图；图5是示出MVC编码方案的示图；图6是示出图4所示视频编码电路的示例构造的框图；图7是示出图4所示从属流(dependent steam)编码电路的示例构造的框图；图8是示出VS_TYPE的语法的示例的示图；图9是示出显示时刻信息的语法的实例的示图；图10是示出由多视点编码设备执行的编码处理的流程图；图11是示出由VS_TYPE生成电路执行的VS_TYPE生成处理的流程图；
图12是示出根据本发明第一实施例的编码系统的另一示例构造的框图；图13是示出根据本发明第一实施例的编码系统的另一示例构造的框图；图14是示出从组合单元输出的图像信号的示图；图15是示出图13所示的多视点编码设备的示例构造的框图；图16是示出由VS_TYPE生成电路执行的VS_TYPE生成处理的流程图；图17是示出根据本发明第一实施例的编码系统的另一示例构造的框图；图18是示出从组合单元输出的图像信号的示图；图19是示出解码系统的示例构造的框图；图20是示出图19所示多视点解码设备的示例构造的框图；图21是示出图20所示视频解码电路的示例构造的框图；图22是示出图20所示从属流解码电路的示例构造的框图；图23是示出由控制器执行的显示控制处理的流程图；图24是示出根据本发明第二实施例的编码系统的示例构造的框图；图25是示出图24所示视频编码设备的示例构造的框图；图26是示出图25所示编码电路的示例构造的框图；图27是示出由视频编码设备执行的编码处理的流程图；图28是示出解码系统的示例构造的框图；图29是示出图28所示视频解码设备的示例构造的框图；图30是示出图29所示解码电路的示例构造的框图；图31是示出根据本发明实施例的计算机的示例构造的框图；图32是示出根据本发明实施例的电视接收机的主要部件的示例构造的框图；图33是示出根据本发明实施例的移动电话的主要部件的示例构造的框图；图34是示出根据本发明实施例的硬盘记录器的主要部件的示例构造的框图；以及图35是示出根据本发明实施例的相机的主要部件的示例构造的框图。
具体实施例方式第一实施例根据第一实施例的编码系统的示例构造图I是示出根据本发明第一实施例的编码系统10的示例构造的框图。图I所示的编码系统10包括左眼图像捕获设备11、右眼图像捕获设备12和多视点编码设备13。左眼图像捕获设备11是被构造为用于捕获L图像的图像捕获设备，右眼图像捕获设备12是被构造为用于捕获R图像的图像捕获设备。同步信号从左眼图像捕获设备11输入到右眼图像捕获设备12，左眼图像捕获设备11和右眼图像捕获设备12彼此同歩。左眼图像捕获设备11和右眼图像捕获设备12以预定的捕获定时捕获图像。多视点编码设备13接收由左眼图像捕获设备11捕获的L图像的图像信号以及由右眼图像捕获设备12捕获的R图像的图像信号。多视点编码设备13依据MVC编码方案对L图像和R图像的图像信号进行编码。多视点编码设备13将通过对L图像的图像信号进行编码而获得的编码数据(编码流)以及通过对R图像的图像信号进行编码而获得的编码数据复用，并输出单个比特流。编码系统的图像捕获方法
图2和图3是示出编码系统10中的图像捕获类型的示图。在编码系统10中，第一图像捕获类型可以是形成3D图像的L图像和R图像(以下，称作“L-R对”)的捕获定时相同的类型。在第一图像捕获类型中，如图2所示，左眼图像捕获设备11和右眼图像捕获设备12在相同的捕获定时捕获图像，从而在相同的定时获得L图像和R图像的图像信号。第二图像捕获类型是L-R对的捕获定时是连续的不同定时的类型。在第二图像捕获类型中，例如，如图3所示，左眼图像捕获设备11和右眼图像捕获设备12交替地捕获图像，交替地获得L图像和R图像的图像信号。多视点编码设备的示例构造图4是示出图I所示多视点编码设备13的示例构造的框图。图4所示的多视点编码设备13包括VS_TYPE生成电路21、显示时刻信息生成电路22、视频编码电路23、从属流编码电路24和复用电路25。从左眼图像捕获设备11输入到多视点编码设备13的L图像的图像信号被提供给VS_TYPE生成电路21、显示时刻信息生成电路22和视频编码电路23。从右眼图像捕获设备12输入到多视点编码设备13的R图像的图像信号被提供给VS_TYPE生成电路21、显示时刻イM息生成电路22和从属流编码电路24。VS_TYPE生成电路21依据L-R对的图像信号的输入定时来识别图像捕获类型。当图像捕获类型是第二图像捕获类型吋，VS_TYPE生成电路21依据L-R对的图像信号的输入定时生成指示L-R对的图像捕获次序的图像捕获次序信息。当图像捕获类型是第一图像捕获类型吋，VS_TYPE生成电路21将第一图像捕获类型设置为VS_TYPE。当图像捕获类型是第二图像捕获类型吋，VS_TYPE生成电路21将第二图像捕获类型和图像捕获次序信息设置为VS_TYPE。VS_TYPE生成电路21将VS_TYPE提供给视频编码电路23和从属流编码电路24。显示时刻信息生成电路22基于L-R对的图像信号的输入定时来确定L-R对的显示时刻。显示时刻信息生成电路22将指示L-R对中的L图像的显示时刻的显示时刻信息提供给视频编码电路23，将指示R图像的显示时刻的显示时刻信息提供给从属流编码电路24。视频编码电路23依据MVC编码方案将从左眼图像捕获设备11输入的L图像的图像信号编码为基础流(base stream)的图像信号，所述基础流的图像信号不參考其他流的图像信号。然后，视频编码电路23将来自VS_TYPE生成电路21的VS_TYPE和来自显示时刻信息生成电路22的显示时刻信息添加到通过编码获得的L图像的编码数据，并将所得数据提供给复用电路25。另外，视频编码电路23将用于编码的解码图像提供给从属流编码电路24。从属流编码电路24依据MVC编码方案，利用来自视频编码电路23的解码图像将从右眼图像捕获设备12输入的R图像的图像信号编码为从属流的图像信号。然后，从属流编码电路24将来自VS_TYPE生成电路21的VS_TYPE和来自显示时刻信息生成电路22的显示时刻信息添加到通过编码获得的R图像的编码数据，并将所得数据提供给复用电路25。复用电路25将视频编码电路23提供的L图像的编码数据与从属流编码电路24提供的R图像的编码数据复用，并输出单个比特流。MVC编码方案的描述 图5是示出MVC编码方案的示图。如图5所示，视频编码电路23以与正常AVC编码方案(例如，AVC高级规格(HighProfile))类似的方式执行编码，并且获得L图像的编码数据作为基础流。因此，可使用AVC编码方案的已有解码设备对L图像的编码数据进行解码。另ー方面，在使用从属流编码电路24对R图像进行编码的过程中，如图5所示，除了与正常AVC编码方案类似在相同视点沿时间方向进行预测之外，还执行在相同时刻从另一视点的预测。即，除了在R图像内沿时间方向进行预测之外，还执行从同一 3D图像中的L图像的预测。因此，即使沿时间方向的预测不令人满意，编码效率也可提高。视频编码电路的示例构造图6是示出图4所示视频编码电路23的示例构造的框图。视频编码电路23依据例如AVC高级规格(High Profile)执行编码。更具体地讲，模拟-数字(A/D)转换单元41对图像信号(左眼图像捕获设备11提供的L图像的模拟信号)执行A/D转换，并获得作为数字信号的图像数据。然后，A/D转换単元41将所述图像数据提供给图像重排缓冲器42。图像重排缓冲器42临时存储A/D转换单元41所提供的图像数据，并根据需要读取所述图像数据以执行重排，其中依据从视频编码电路23输出的编码数据的画面组(GOP)结构按照编码次序重排图像数据的画面(帧)(场)。在从图像重排缓冲器42读取的画面中将经受帧内编码的帧内画面被提供给计算单元43。计算单元43根据需要用图像重排缓冲器42所提供的帧内画面的像素值减去帧内预测单元53所提供的预测图像的像素值，并将所得值提供给正交变换单元44。正交变换单元44对帧内画面(或者对通过用帧内画面的像素值减去预测图像的像素值而获得的减法值)应用诸如离散余弦变换或Karhunen-Lo6ve变换的正交变换,并将所得变换系数提供给量化単元45。由正交变换单元44执行的离散余弦变换可以是近似实数离散余弦变换的整数变换。另外，离散余弦变换的变换方法可以利用用4X4块大小执行整数系数变换的方法来实现。量化単元45将正交变换单元44所提供的变换系数量化，并将所得量化值提供给无损编码单元46。无损编码单元46对量化単元45所提供的量化值执行诸如可变长度编码或算术编码的无损编码，并将所得L图像的编码数据提供给累积缓冲器47。累积缓冲器47临时存储无损编码单元46所提供的L图像的编码数据，并以预定速率输出L图像的编码数据。速率控制单元48监控累积缓冲器47中累积的编码数据的量，并依据累积数据的量来控制量化単元45的行为(例如量化単元45的量化步骤)。量化単元45获得的量化值被提供给无损编码单元46，并且还被提供给解量化单元49。解量化単元49将量化単元45所提供的量化值解量化为变换系数，并将所述变换系数提供给逆正交变换单元50。逆正交变换单元50对解量化単元49所提供的变换系数执行逆正交变换，并将结 果提供给计算单元51。计算单元51根据需要将帧内预测单元53所提供的预测图像的像素值与逆正交变换单元50所提供的数据相加，以获得帧内画面的解码图像，并将该解码图像提供给帧存储器52。帧存储器52临时存储计算単元51所提供的解码图像，并根据需要将该解码图像提供给帧内预测单元53或运动预測/运动补偿单元54，作为用于生成预测图像的參考图像。另外，帧存储器52还将存储的解码图像提供给从属流编码电路24。帧内预测单元53利用帧内画面内靠近将由计算单元43处理的部分(块)的像素中已存储在帧存储器52中的像素来生成预测图像，并将该预测图像提供给计算単元43和51。对于将经受帧内编码的画面，如上所述，当将预测图像从帧内预测单元53提供给计算单元43吋，计算单元43用图像重排缓冲器42所提供的画面减去帧内预测单元53所提供的预测图像。另外，计算单元51将计算単元43所减去的预测图像与逆正交变换单元50所提供的数据相加。相反，将经受帧间编码的非帧内画面从图像重排缓冲器42提供给计算単元43和运动预測/运动补偿单元54。运动预测/运动补偿单元54从帧存储器52读取解码图像的画面作为參考图像，所述解码图像的画面被參考以用于图像重排缓冲器42所提供的非帧内画面的运动预測。另外，运动预测/运动补偿单元54使用帧存储器52所提供的參考图像来检测图像重排缓冲器42所提供的非帧内画面的运动矢量。然后，运动预测/运动补偿单元54通过依据运动矢量对參考图像应用运动补偿来生成非帧内画面的预测图像，并将该预测图像提供给计算単元43和51。运动补偿期间的块大小可以是固定的或可变的。计算单元43用图像重排缓冲器42所提供的非帧内画面减去帧内预测单元53所提供的预测图像，随后以与帧内画面相似的方式执行编码。帧内预测模式是帧内预测单元53生成预测图像的模式，帧内预测单元53将该帧内预测模式提供给无损编码单元46。另外，运动补偿预测模式是运动预测/运动补偿单元54执行运动补偿的模式，运动预測/运动补偿单元54所获得的运动矢量以及所述运动补偿预测模式被运动预测/运动补偿单元54提供给无损编码单元46。另外，VS_TYPE生成电路21所提供的VS_TYPE以及显示时刻信息生成电路22所提供的显示时刻信息也被提供给无损编码单元46。无损编码单元46对帧内预测模式、运动矢量、运动补偿预测模式以及解码所需的其他信息(例如，每ー画面的画面类型)进行无损编码，所述信息被包括在L图像的编码数据的报头(header)中。另外，无损编码单元46将VS_TYPE和显示时刻信息添加到L图像的编码数据中。从属流编码电路的示例构造图7是示出图4所示从属流编码电路24的示例构造的框图。图7所示的从属流编码电路24包括A/D转换单元61、图像重排缓冲器62、计算单 元63、正交变换单元64、量化単元65、无损编码单元66、累积缓冲器67、速率控制单元68、解量化单元69、逆正交变换单元70、计算单元71、巾贞存储器72、巾贞内预测单元73和运动预測/运动补偿单元74。图7所示的从属流编码电路24中的各个单元的处理与视频编码电路23中的那些单元类似，不同之处在于帧存储器72和运动预测/运动补偿单元74的处理。因此，将仅描述这些不同的处理。从属流编码电路24的帧存储器72临时存储计算単元71所提供的解码图像，井根据需要将该解码图像提供给帧内预测单元73或运动预測/运动补偿单元74，作为用于生成预测图像的參考图像。运动预测/运动补偿单元74从帧存储器72读取解码图像的画面作为參考图像，该解码图像的画面被參考以用于图像重排缓冲器62所提供的非帧内画面的运动预測。运动预测/运动补偿单元74还从视频编码电路23的帧存储器52读取解码图像的画面作为參考图像，该解码图像的画面被參考以用于非帧内画面的运动预測。然后，运动预測/运动补偿单元74使用帧存储器72和52所提供的參考图像来检测图像重排缓冲器62所提供的非帧内画面的运动矢量。然后，运动预测/运动补偿单元74通过依据运动矢量对參考图像应用运动补偿来生成非帧内画面的预测图像，并将该预测图像提供给计算単元63和71。另外，运动预测/运动补偿单元74将运动矢量和运动补偿预测模式提供给无损编码单元66。VS_TYPE的语法的实例图8是示出VS_TYPE的语法的实例的示图。如图8所不，VS_TYPE包括I比特图像捕获类型(stereo_3d_capturing_type)和2比特传输流(TS)类型(TS_type)。例如，当图像捕获类型是第一图像捕获类型时，图像捕获类型的值为0，或者当图像捕获类型是第二图像捕获类型时，图像捕获类型的值为I。BP,图像捕获类型用作指示L-R对的捕获定时是否不同的标志。另外，TS类型是显示时刻信息的附加类型。这里，提供四种TS类型“非TS类型”，其中没有显示时刻信息被添加到L-R对中任何一个的编码数据中；“相同时刻类型”，其中相同的显示时刻信息被添加到L-R对中两个图像的编码数据中；“任ー类型”，其中相同的显示时刻信息仅被添加到L-R对中L图像的编码数据中；以及“不同时刻类型”，其中不同的显示时刻信息被添加到L-R对的编码数据中。
依据显示时刻信息生成电路22的功能设置“相同时刻类型”和“不同时刻类型”。具体地讲，当显示时刻信息生成电路22具有将L-R对的显示时刻设置为相同值的功能吋，TS类型被设置为“相同时刻类型”。当显示时刻信息生成电路22具有将L-R对的显示时刻设置为不同值的功能吋，TS类型被设置为“不同时刻类型”。另外，“非TS类型”和“任ー类型”由例如用户来设置。如图8所示，当图像捕获类型是第二类型吋，VS_TYPE还包括I比特图像捕获次序信息(is_left_first)。例如，当图像捕获次序信息指示先L图像后R图像的次序吋，图像捕获次序信息的值为1，或者当图像捕 获次序信息指示先R图像后L图像的次序吋，图像捕获次序信息的值为O。即，图像捕获次序信息用作指示按照图像捕获次序，L-R对中的L图像是否较早的标志。显示时刻信息的语法的实例图9是示出显示时刻信息的语法的实例的示图。在图9中，从上面开始第六行之后的行中的部分表示显示时刻信息。多视点编码设备的处理的描述图10是示出由多视点编码设备13执行的编码处理的流程图。參照图10，在步骤Sll中，VS_TYPE生成电路21基于L-R对的图像信号的输入定时来生成VS_TYPE。后面将參照图11描述生成VS_TYPE的VS_TYPE生成处理的细节。另外，在步骤Sll中，显示时刻信息生成电路22依据L-R对的图像信号的输入定时生成关于L-R对的显示时刻信息，该信息指示显示时刻相同还是不同。具体地讲，显示时刻信息生成电路22基于L-R对的图像信号的输入定时，确定一个显示时刻作为L-R对的显示时刻，或者确定两个不同的显示时刻作为L-R对中的L图像的显示时刻和R图像的显示时刻，以使得L-R对的图像捕获次序与L-R对的显示次序相同。然后，显示时刻信息生成电路22生成指示确定的L-R对中的L图像的显示时刻的显示时刻信息和指示确定的R图像的显示时刻的显示时刻信息。在步骤S12中，视频编码电路23的无损编码单兀46和从属流编码电路24的无损编码单元66确定VS_TYPE生成电路21提供的VS_TYPE中所包括的TS类型是否是“非TS
类型”。如果在步骤S12中确定TS类型是“非TS类型”，则处理进行到步骤S13。在步骤S13中，视频编码电路23对左眼图像捕获设备11所提供的L图像的图像信号进行编码，将VS_TYPE生成电路21所提供的VS_TYPE添加到编码信号，并将所得信号输出给复用电路25。在步骤S14，从属流编码电路24对右眼图像捕获设备12所提供的R图像的图像信号进行编码，将VS_TYPE生成电路21所提供的VS_TYPE添加到编码信号，并将所得信号输出给复用电路25。如果在步骤S12中确定TS类型不是“非TS类型”，则处理进行到步骤S15。在步骤S15，视频编码电路23对L图像的图像信号进行编码，将VS_TYPE生成电路21所提供的VS_TYPE和显示时刻信息生成电路22所提供的显示时刻信息添加到编码信号，并将所得信号输出给复用电路25。在步骤S16，从属流编码电路24的无损编码单元66确定VS_TYPE生成电路21提供的VS_TYPE中所包括的TS类型是否是“相同时刻类型”或“不同时刻类型”。如果在步骤S16确定TS类型是“相同时刻类型”或“不同时刻类型”，则处理进行到步骤S17。在步骤S17，从属流编码电路24对R图像的图像信号进行编码，将VS_TYPE生成电路21所提供的VS_TYPE和显示时刻信息生成电路22所提供的显示时刻信息添加到编码信号，并将所得信号输出给复用电路25。如果在步骤S16中确定TS类型不是“相同时刻类型”或“不同时刻类型”，即，TS类型是“任ー类型”，则处理进行到步骤S18。在步骤S18，从属流编码电路24对R图像的图像信号进行编码，将VS_TYPE生成电路21所提供的VS_TYPE添加到编码信号，并将所得信号输出给复用电路25。在步骤S14、S17或S18的处理之后，在步骤S19，复用电路25将视频编码电路23所提供的L图像的编码数据与从属流编码电路24所提供的R图像的编码数据复用。然后，复用电路25输出通过复用而获得的单个比特流，处理结束。 图11是示出由VS_TYPE生成电路21执行的VS_TYPE生成处理的流程图。在步骤S31，VS_TYPE生成电路21确定L-R对中的L图像的图像信号是否比R图像的图像信号提供得早。如果在步骤S31中确定L图像的图像信号比R图像的图像信号提供得早，则在步骤S32，VS_TYPE生成电路21生成指示先L图像后R图像的次序的图像捕获次序信息以及第ニ图像捕获类型作为VS_TYPE，处理结束。如果在步骤S31中确定L图像的图像信号并未比R图像的图像信号提供得早，则在步骤S33中，确定L-R对中的R图像的图像信号是否比L图像的图像信号提供得早。如果在步骤S33确定R图像的图像信号比L图像的图像信号提供得早，则在步骤S34, VS_TYPE生成电路21生成指示先R图像后L图像的次序的图像捕获次序信息以及第ニ图像捕获类型作为VS_TYPE，处理结束。如果在步骤S33中确定R图像的图像信号并未比L图像的图像信号早提供，即，L-R对的图像信号在相同的定时提供，则处理进行到步骤S35。在步骤S35，VS_TYPE生成电路21生成第一图像捕获类型作为VS_TYPE，处理结束。根据第一实施例的编码系统的另一示例构造图12是示出根据本发明第一实施例的编码系统10的另ー示例构造的框图。在图12所示的构造中，与图I中的部件相同或相似的部件分配了相同的标号。适当地省略多余的描述。图12所示编码系统10的构造与图I所示构造的不同之处在于设置公共图像捕获设备101来代替左眼图像捕获设备11和右眼图像捕获设备12。在图12所示的编码系统10中，利用单个图像捕获设备101以分时方式捕获L图像和R图像，L图像和R图像的图像信号并行输入到多视点编码设备13。具体地讲，图像捕获设备101包括图像捕获单元111、分割単元112和两个图像捕获处理単元113和114。图像捕获单元111在图像捕获处理単元113的控制下捕获图像，并经分割単元112将获得的图像信号提供给图像捕获处理単元113。图像捕获单元111还在图像捕获处理単元114的控制下捕获图像，并经分割単元112将获得的图像信号提供给图像捕获处理单元114。图像捕获处理単元113控制图像捕获单元111以在与图像捕获处理単元114的捕获定时相同的捕获定时来捕获图像，或者在与图像捕获处理単元114的捕获定时连续的不同的捕获定时来捕获图像。图像捕获处理単元113将从分割単元112提供的图像信号提供给多视点编码设备13，作为L图像的图像信号。图像捕获处理単元114控制图像捕获单元111以在与图像捕获处理単元113的捕获定时相同的捕获定时来捕获图像，或者在与图像捕获处理単元113的捕获定时连续的不同的捕获定时来捕获图像。图像捕获处理単元114将从分割単元112提供的图像信号提供给多视点编码设备13，作为R图像的图像信号。根据第一实施例的编码系统的另一示例构造图13是示出根据本发明第一实施例的编码系统10的另ー示例构造的框图。图13所示的编码系统10包括图像捕获设备121和多视点编码设备122。图像捕获设备121包括图像捕获单元111、分割単元112、图像捕获处理単元131和132、组合单元 133和134以及图像捕获类型设置单元135。在编码系统10中，使用单个图像捕获设备121捕获L图像和R图像，L图像和R图像的图像信号按照预定次序串行输入到多视点编码设备 122。在图13所示的构造中，与图12中的部件相同或相似的部件分配了相同的标号。适当地省略多余的描述。图像捕获设备121的图像捕获处理単元131依据图像捕获类型设置单元135所设置的图像捕获类型，控制图像捕获单元111在与图像捕获处理単元132的捕获定时相同的捕获定时捕获图像，或者在与图像捕获处理単元132的捕获定时连续的不同的捕获定时捕获图像。图像捕获处理単元131将所得图像信号提供给组合単元133，作为L图像的图像信号。另外，图像捕获处理単元131将图像捕获时刻提供给组合単元134。图像捕获处理単元132依据图像捕获类型设置单元135所设置的图像捕获类型，控制图像捕获单元111在与图像捕获处理単元131的捕获定时相同的捕获定时捕获图像，或者在与图像捕获处理単元131的捕获定时连续的不同的捕获定时捕获图像。图像捕获处理单元132将所得图像信号提供给组合単元133，作为R图像的图像信号。另外，图像捕获处理单元132将图像捕获时刻提供给组合単元134。组合单元133按照预定的次序将图像捕获处理単元131所提供的L图像的图像信号和图像捕获处理単元132所提供的R图像的图像信号输出给多视点编码设备122。组合单元134按照预定的次序将图像捕获处理単元131所提供的图像捕获时刻和图像捕获处理単元132所提供的图像捕获时刻输出给多视点编码设备122。图像捕获类型设置单元135设置图像捕获类型，并将该图像捕获类型提供给图像捕获处理单元131、图像捕获处理单元132和多视点编码设备122。多视点编码设备122对组合単元133所提供的L图像的图像信号和R图像的图像信号进行编码。多视点编码设备122将VS_TYPE和显示时刻信息添加到通过编码而获得的L图像的编码数据和R图像的编码数据中，其中所述VS_TYPE基于组合単元134所提供的图像捕获时刻以及图像捕获类型设置单元135所提供的图像捕获类型。然后，多视点编码设备122将添加了 VS_TYPE和显示时刻信息的L图像的编码数据和R图像的编码数据复用，并输出复用数据。图14是示出从组合单元133输出的图像信号的示图。
如图14所示，图像捕获设备121以高的帧率(frame rate)按照预定的次序(在图14的实例中，按照先L图像后R图像的次序)从组合单元133输出在图像捕获处理单元131的控制下捕获的L图像的图像信号以及在图像捕获处理単元132的控制下捕获的R图像的图像信号。多视点编码设备的示例构造图15是示出图13所示的多视点编码设备122的示例构造的框图。图15所示的多视点编码设备122的构造与图4所示构造的不同之处在于还设置有分离电路150，并且设置VS_TYPE生成电路151和显示时刻信息生成电路152来分别代替VS_TYPE生成电路21和显示时刻信息生成电路22。在图15所示的构造中，与图4中的部件相同或相似的部件分配了相同的标号。适当地省略多余的描述。
分离电路150将组合単元134所提供的图像信号中L图像的图像信号和R图像的图像信号分别提供给视频编码电路23和从属流编码电路24。当图像捕获类型设置单元135所提供的图像捕获类型是第一图像捕获类型吋，VS_TYPE生成电路151将第一图像捕获类型作为VS_TYPE提供给视频编码电路23和从属流编码电路24。当图像捕获类型设置单元135所提供的图像捕获类型是第二图像捕获类型吋，VS_TYPE生成电路151基于组合单元134所提供的L-R对的图像捕获时刻生成图像捕获次序信息。然后，VS_TYPE生成电路151将第二图像捕获类型和图像捕获次序信息作为VS_TYPE提供给视频编码电路23和从属流编码电路24。显示时刻信息生成电路152依据组合単元134所提供的L-R对的图像捕获时刻确定L-R对中的L图像的显示时刻和R图像的显示时刻。然后，显示时刻信息生成电路152将指示L-R对中的L图像的显示时刻的显示时刻信息提供给视频编码电路23，将指示R图像的显示时刻的显示时刻信息提供给从属流编码电路24。VS_TYPE生成处理的描述图16是示出由VS_TYPE生成电路151执行的VS_TYPE生成处理的流程图。參照图16，在步骤S50中，VS_TYPE生成电路151确定图像捕获类型设置单元135所提供的图像捕获类型是否是第二图像捕获类型。如果在步骤S50中确定图像捕获类型是第二图像捕获类型，则在步骤S51，VS_TYPE生成电路151确定组合単元134所提供的L-R对中的L图像的图像捕获时刻是否早于R图像的图像捕获时刻。如果在步骤S51中确定L图像的图像捕获时刻早于R图像的图像捕获时刻，则处理进行到步骤S52。在步骤S52中，VS_TYPE生成电路151生成指示先L图像后R图像的次序的图像捕获次序信息以及第ニ图像捕获类型作为VS_TYPE，处理结束。如果在步骤S51中确定L图像的图像捕获时刻并不早于R图像的图像捕获时刻，即，R图像的图像捕获时刻早于L图像的图像捕获时刻，则处理进行到步骤S53。在步骤S53，VS_TYPE生成电路151生成指示先R图像后L图像的次序的图像捕获次序信息以及第ニ图像捕获类型作为VS_TYPE，处理结束。如果在步骤S50中确定图像捕获类型是第一图像捕获类型，则在步骤S54，VS_TYPE生成电路151生成第一图像捕获类型作为VS_TYPE，处理结束。尽管图13所示的编码系统10被构造为使得图像捕获类型从图像捕获设备121输入到多视点编码设备122，但是图像捕获类型并非必须输入到多视点编码设备122。在这种情况下，VS_TYPE生成电路151基于L-R对的图像捕获时刻确定图像捕获类型。根据第一实施例的编码系统的另一示例构造图17是示出根据本发明第一实施例的编码系统10的另ー示例构造的框图。图17所示的编码系统10的构造与图13所示构造的不同之处在于设置左眼图像捕获设备171和右眼图像捕获设备172来代替图像捕获设备121，并且在图像捕获设备171和172外部设置组合単元133和134。具体地讲，在编码系统10中，使用不同的图像捕获设备捕获L图像和R图像，L图像和R图像的图像信号按照预定次序串行输入到多视点编码 设备122。在图17所示的构造中，与图13中的部件相同或相似的部件分配了相同的标号。适当地省略多余的描述。编码系统10中的左眼图像捕获设备171是构造用于捕获L图像的图像捕获设备，右眼图像捕获设备172是构造用于捕获R图像的图像捕获设备。同步信号从左眼图像捕获设备171输入到右眼图像捕获设备172，左眼图像捕获设备171和右眼图像捕获设备172彼此同步。左眼图像捕获设备171在与右眼图像捕获设备172的捕获定时相同的捕获定时捕获图像，或者在与右眼图像捕获设备172的捕获定时连续的不同的捕获定时捕获图像，并将所得图像信号提供给组合単元133作为L图像的图像信号。另外，左眼图像捕获设备171将图像捕获时刻提供给组合単元134。左眼图像捕获设备171还将图像捕获类型提供给多视点编码设备122。右眼图像捕获设备172在与左眼图像捕获设备171的捕获定时相同的捕获定时捕获图像，或者在与左眼图像捕获设备171的捕获定时连续的不同的捕获定时捕获图像，并将所得图像信号提供给组合単元133，作为R图像的图像信号。另外，右眼图像捕获设备172将图像捕获时刻提供给组合単元134。右眼图像捕获设备172还将图像捕获类型提供给多视点编码设备122。从右眼图像捕获设备172输出的图像捕获类型与从左眼图像捕获设备171输出的图像捕获类型相同。因此，可从左眼图像捕获设备171和右眼图像捕获设备172之ー输出图像捕获类型。图18是示出从组合单元133输出的图像信号的示图。如图18所示，通过左眼图像捕获设备171的图像捕获而获得的L图像的图像信号以及通过右眼图像捕获设备172的图像捕获而获得的R图像的图像信号以高的帧率按照预定次序(在图18的实例中，按照先L图像后R图像的次序)从组合单元133输出。在前面的描述中，L图像的编码数据和R图像的编码数据被复用为单个比特流。然而，L图像的编码数据和R图像的编码数据可被复用为两个或更多个比特流。解码系统的示例构造图19是示出解码系统200的示例构造的框图，该解码系统200被构造为对上述编码系统10所输出的比特流进行解码。
图19所示的解码系统200包括多视点解码设备201和3D视频显示设备202。多视点解码设备201使用与MVC编码方案对应的方案对编码系统10所输出的比特流进行解码。所得L-R对的图像信号为模拟信号，多视点解码设备201在连续的不同定时将所述L-R对的图像信号输出给3D视频显示设备202。3D视频显示设备202基于从多视点解码设备201输入的L图像或R图像的图像信号显示图像。因此，在连续的不同定时将L-R对显示在3D视频显示设备202上。因此，用户可看到立体图像。L图像和R图像可逐场地显示或者逐帧地显示。多视点解码设备的示例构造图20是示出图19所示多视点解码设备201的示例构造的框图。
如图20所示，多视点解码设备201包括解复用电路211、视频解码电路212、从属流解码电路213、帧存储器214、图像大小转换电路215、帧率转换电路216、数字-模拟(D/A)转换电路217和控制器218。解复用电路211接收从编码系统10输出的比特流。解复用电路211从比特流中将复用的L图像的编码数据和R图像的编码数据解复用。解复用电路211将L图像的编码数据提供给视频解码电路212，将R图像的编码数据提供给从属流解码电路213。视频解码电路212使用与MVC编码方案对应的方案将解复用电路211所提供的L图像的编码数据解码为基础流。通过解码获得的L图像的图像数据是数字信号，视频解码电路212将该图像数据提供给从属流解码电路213和帧存储器214。视频解码电路212还将通过解码获得的VS_TYPE和显示时刻信息提供给控制器218。从属流解码电路213使用与MVC编码方案对应的方案，通过利用视频解码电路212所提供的L图像的图像数据将解复用电路211所提供的R图像的编码数据解码为从属流。通过解码获得的R图像的图像数据是数字信号，从属流解码电路213将该图像数据提供给帧存储器214。从属流解码电路213还将通过解码获得的VS_TYPE和显示时刻信息提供给控制器218。帧存储器214存储视频解码电路212所提供的L图像的图像数据和从属流解码电路213所提供的R图像的图像数据。帧存储器214依据控制器218的控制连续地读取存储在帧存储器214中的L-R对中的L图像的图像数据和R图像的图像数据，并将L图像的图像数据和R图像的图像数据输出给图像大小转换电路215。图像大小转换电路215将帧存储器214所提供的L图像或R图像的图像数据的图像大小増大或减小至预定大小，并将放大或缩小的L图像或R图像的图像数据提供给帧率转换电路216。帧率转换电路216依据控制器218的控制在输出图像尺寸转换电路215所提供的L图像和R图像的图像数据的同时，控制L图像和R图像的图像数据的输出定时，以使得L图像和R图像的帧率可变为预定速率。控制器218依据视频解码电路212和从属流解码电路213所提供的VS_TYPE和显示时刻信息来确定L图像的显示时刻和R图像的显示时刻。控制器218控制帧存储器214，以使得L图像和R图像的图像数据在基于L图像的显示时刻和R图像的显示时刻的定时从帧存储器214输出。控制器218还依据L图像的显示时刻和R图像的显示时刻控制帧率转换电路216，以将图像尺寸转换电路215所输出的L图像和R图像的图像数据的帧率转换为预定帧率，并输出所得图像数据。D/A转换电路217对帧率转换电路216所输出的L图像或R图像的图像数据执行D/A转换，并将作为所得模拟信号的图像信号输出给3D视频显示设备202。帧存储器214、图像尺寸转换电路215、帧率转换电路216和D/A转换电路217并非必须设置在多视点解码设备201中，其也可设置在3D视频显示设备202中。视频解码电路的示例构造图21是示出图20所示视频解码电路212的示例构造的框图。解复用电路211所提供的L图像的编码数据被提供给累积缓冲器271。累积缓冲 器271临时存储所提供的编码数据，并将该编码数据提供给无损编码/解码单元272。无损编码/解码单元272依据编码数据的格式对累积缓冲器271所提供的编码数据执行诸如可变长度解码或算术解码的处理，以解码包括在编码数据的报头中的量化值和信息，所述信息包括帧内预测模式、运动矢量、运动补偿预测模式以及对图像进行解码所需的其他信息，例如每个画面的画面类型。 通过无损编码/解码单元272获得的量化值被提供给解量化単元273，帧内预测模式被提供给帧内预测单元277。另外，通过无损编码/解码单元272获得的运动矢量(MV)、运动补偿预测模式和画面类型被提供给运动预测/运动补偿单元278。另外，无损编码/解码单元272从编码数据提取VS_TYPE和显示时刻信息，并将VS_TYPE和显示时刻信息提供给控制器218。解量化単元273、逆正交变换单元274、计算单元275、帧存储器276、帧内预测单元277和运动预测/运动补偿单元278分别执行与图6所示的解量化単元49、逆正交变换单元50、计算单元51、巾贞存储器52、巾贞内预测单元53和运动预测/运动补偿单元54的处理类似的处理。因此，图像被解码(获得解码图像)。S卩，解量化単元273将无损编码/解码单元272所提供的量化值解量化为变换系数，并将该变换系数提供给逆正交变换单元274。逆正交变换单元274依据编码数据的格式对解量化単元273所提供的变换系数执行诸如逆离散余弦变换或逆Karhunen-Lc^ve变换的逆正交变换，并将所得数据提供给计算单元275。计算单元275根据需要将帧内预测单元277所提供的预测图像的像素值与逆正交变换单元274所提供的数据中的帧内画面的数据相加，以获得帧内画面的解码图像。另外，计算单元275将运动预测/运动补偿单元278所提供的预测图像的像素值与逆正交变换单元274所提供的数据中的非帧内画面的数据相加，以获得非帧内画面的解码图像。由计算单元275获得的解码图像根据需要被提供给帧存储器276，并且还被提供给图像重排缓冲器279。帧存储器276临时存储计算単元275所提供的解码图像，并根据需要将该解码图像提供给帧内预测单元277或运动预測/运动补偿单元278，作为用于生成预测图像的參考图像。另外，帧存储器276将存储的解码图像提供给从属流解码电路213，作为用于使用从属流解码电路213生成预测图像的參考图像。当将由计算单元275处理的数据是帧内画面的数据时，帧内预测单元277根据需要使用作为帧存储器276所提供的參考图像的解码图像为帧内画面生成预测图像，并将该预测图像提供给计算単元275。具体地讲，帧内预测单元277依据无损编码/解码单元272所提供的帧内预测模式，从靠近将由计算单元275处理的部分(块)的像素中已存储在帧存储器276中的像素来生成预测图像，并将该预测图像提供给计算単元275。另ー方面，当将由计算单元275处理的数据是非帧内画面的数据时，运动预测/运动补偿単元278为非帧内画面生成预测图像，并将该预测图像提供给数据単元275。具体地讲，运动预测/运动补偿单元278依据无损编码/解码单元272所提供的画面类型等，从帧存储器276读取用于生成预测图像的解码图像的画面，作为參考图像。运动预测/运动补偿单元278还依据无损编码/解码单元272所提供的运动矢量和运动补偿预测模式对帧存储器276所提供的參考图像执行运动补偿，以生成预测图像，并将该预测图像提供给计算単元275。 计算单元275将帧内预测单元277或运动预测/运动补偿单元278以上述方式提供的预测图像与逆正交变换单元274所提供的数据相加。因此，画面(其像素值)被解码。图像重排缓冲器279临时存储计算単元275所提供的画面(解码图像)，并读取画面以将所述画面重排为原始排列方式(显示次序)。然后，图像重排缓冲器279将重排的画面提供给帧存储器214。从属流解码电路的示例构造图22是示出图20所示从属流解码电路213的示例构造的框图。如图22所示，从属流解码电路213包括累积缓冲器291、无损编码/解码单元292、解复用单元293、逆正交变换单元294、计算单元295、帧存储器296、帧内预测单元297、运动预测/运动补偿单元298和图像重排缓冲器299。图22所示的从属流解码电路213中的各个单元的处理与视频解码电路212中的那些单元的处理类似，不同之处在于帧存储器296和运动预测/运动补偿单元298的处理。因此，将仅描述这些不同的处理。从属流解码电路213的帧存储器296临时存储计算単元295所提供的解码图像，并根据需要将该解码图像提供给帧内预测单元297或运动预測/运动补偿单元298，作为用于生成预测图像的參考图像。运动预测/运动补偿单元298依据无损编码/解码单元292所提供的画面类型等，从帧存储器296读取用于生成预测图像的解码图像的画面作为參考图像。另外，运动预测/运动补偿单元298还依据无损编码/解码单元292所提供的画面类型等，从视频解码电路212的帧存储器276读取用于生成预测图像的解码图像的画面作为參考图像。然后，运动预测/运动补偿单元298依据无损编码/解码单元292所提供的运动矢量和运动补偿预测模式，通过对帧存储器296和276所提供的參考图像执行运动补偿来生成预测图像，并将该预测图像提供给计算単元295。解码系统的处理的描述图23是示出由解码系统200中的控制器218执行的显示控制处理的流程图。当提供给控制器218的L-R对的VS_TYPE中所包括的图像捕获类型是第二图像捕获类型吋，针对例如姆个L-R对执行所述显示控制处理。
在步骤S71，控制器218确定视频解码电路212和从属流解码电路213所提供的L-R对的VS_TYPE中所包括的TS类型是否是“非TS类型”。如果在步骤S71中确定TS类型是“非TS类型”，则在步骤S72中，控制器218依据图像捕获次序信息确定L-R对的显示时刻，以使得图像捕获次序与显示次序相同。具体地讲，当图像捕获次序信息指示先L图像后R图像的次序时，控制器218确定L-R对的显示时刻，以使得L-R对中的L图像的显示时刻可比R图像的显示时刻早预定时间段。当图像捕获次序信号指示先R图像后L图像的次序时，控制器218确定L-R对的显示时刻，以使得L-R对中的R图像的显示时刻可比L图像的显示时刻早预定时间段。如果在步骤S71中确定TS类型不是“非TS类型”，则步骤S73中，控制器218确定TS类型是否是“相同时刻类型”。如果在步骤S73中确定TS类型是“相同时刻类型”，则在步骤S74，控制器218依据图像捕获次序信息和显示时刻信息确定L-R对的显示时刻，以使得图像捕获次序与显示 次序相同。具体地讲，当图像捕获次序信息指示例如先L图像后R图像的次序时，控制器218将L图像的显示时刻设置为由显示时刻信息指示的显示时刻，将R图像的显示时刻设置为比该显示时刻晚预定时间段的显示时刻。当图像捕获次序信号指示例如先R图像后L图像的次序时，控制器218将R图像的显示时刻设置为由显示时刻信息指示的显示时刻，将L图像的显示时刻设置为比该显示时刻晚预定时间段的显示时刻。如果在步骤S73中确定TS类型不是“相同时刻类型”，则在步骤S75中，控制器218确定TS类型是否是“任ー类型”。如果在步骤S75中确定TS类型是“任ー类型”，则在步骤S76中，控制器218依据图像捕获次序信息和关于L图像的显示时刻信息来确定L-R对的显示时刻，以使得图像捕获次序与显示次序相同。具体地讲，当图像捕获次序信息指示先L图像后R图像的次序时，控制器218将L图像的显示时刻设置为由关于L图像的显示时刻信息所指示的显示时刻，将R图像的显示时刻设置为比该显示时刻晚预定时间段的显示时刻。当图像捕获次序信息指示先R图像后L图像的次序时，控制器218将L图像的显示时刻设置为由关于L图像的显示时刻信息所指示的显示时刻，将R图像的显示时刻设置为比该显示时刻早预定时间段的显示时刻。如果在步骤S75中确定TS类型不是“任ー类型”，即，TS类型是“不同时刻类型”，则处理进行到步骤S77。在步骤S77中，控制器218依据关于L图像的显示时刻信息来确定L图像的显示时刻，并依据关于R图像的显示时刻信息来确定R图像的显示时刻。在步骤S72、S74、S76或S77的处理之后，处理进行到步骤S78。在步骤S78，控制器218控制帧存储器214以在基于步骤S72、S74、S76或S77中所确定的L-R对的显示时刻的定时来读取并输出L图像的图像数据和R图像的图像数据。然后，处理结束。如上所述，编码系统10将第二图像捕获类型和图像捕获次序信息添加到在连续的不同定时捕获的L-R对的编码数据中。因此，解码系统200可依据添加到编码数据的第ニ图像捕获类型和图像捕获次序信息，按照与图像捕获次序相同的次序显示在连续的不同定时捕获的L-R对。因此，可显示图像捕获期间的自然运动被忠实地再现的看起来自然的立体图像。因此，可获得真实感改善的立体图像。第二实施例根据第二实施例的编码系统的示例构造图24是示出根据本发明第二实施例的编码系统300的示例构造的框图。在图24所示的构造中，与图I中的部件相同或相似的部件分配了相同的标号。适当地省略多余的描述。图24所示的编码系统300的构造与图I所示构造的不同之处在于设置视频编码设备301来代替多视点编码设备13。在图24所示的编码系统300中，依据AVC编码方案(而非MVC编码方案)来对L图像和R图像的图像信号进行编码。
更具体地讲，视频编码设备301依据AVC编码方案，按照预定次序对使用左眼图像捕获设备11捕获的L图像的图像信号和使用右眼图像捕获设备12捕获的R图像的图像信号进行编码。视频编码设备301把通过编码获得的编码数据作为比特流输出。视频编码设备的示例构造图25是示出图24所示视频编码设备301的示例构造的框图。如图25所示，视频编码设备301包括VS_TYPE生成电路21、显示时刻信息生成电路22、视频组合电路311和编码电路312。在图25所示的构造中，与图4中的部件相同或相似的部件分配了相同的标号。适当地省略多余的描述。针对每ー个L-R对，视频组合电路311按照预定次序将使用左眼图像捕获设备11捕获的L图像的图像信号和使用右眼图像捕获设备12捕获的R图像的图像信号连续地提供给编码电路312。编码电路312依据AVC编码方案对从视频组合电路311输入的图像信号进行编码。即，编码电路312按照预定次序对L-R对中的L图像和R图像的图像信号连续地编码。然后，编码电路312将VS_TYPE生成电路21所提供的VS_TYPE和显示时刻信息生成电路22所提供的显示时刻信息添加到通过编码获得的编码数据，并将结果作为比特流输出。编码电路的示例构造图26是示出图25所示编码电路312的示例构造的框图。在图26所示的构造中，与图6中的部件相同或相似的部件分配了相同的标号。适当地省略多余的描述。图26所示的编码电路312的构造与图6所示的视频编码电路23的构造的不同之处在于设置帧存储器321来代替帧存储器52。图26所示的编码电路312被构造为使得解码图像仅在编码电路312中使用。视频编码设备的处理的描述图27是示出由视频编码设备301执行的编码处理的流程图。參照图27，在步骤S101，与图10的步骤Sll的处理一祥，VS_TYPE生成电路21基于L-R对的图像信号的输入定时来生成VS_TYPE。另外，与步骤Sll中的处理一祥，显示时刻信息生成电路22基于L-R对的图像信号的输入定时生成关于L-R对的显示时刻信息，该显示时刻信息指示相同的显示时刻或不同的显示时刻。在步骤S102，编码电路312的无损编码单元46确定VS_TYPE生成电路21提供的VS_TYPE中所包括的TS类型是否是“非TS类型”。如果在步骤S102中确定TS类型是“非TS类型”，则在步骤S103中，编码电路312对视频组合电路311所提供的图像信号进行编码，并添加VS_TYPE生成电路21所提供的VS_TYPE。然后，编码电路312将所得编码数据作为比特流输出，处理结束。如果在步骤S102中确定TS类型不是“非TS类型”，则处理进行到步骤S104。在步骤S104中，编码电路312的无损编码单元46确定VS_TYPE生成电路21提供的VS_TYPE中所包括的TS类型是否是“相同时刻类型”或“不同时刻类型”。如果在步骤S104中确定TS类型是“相同时刻 类型”或“不同时刻类型”，则处理进行到步骤S105。在步骤S105，编码电路312对视频组合电路311所提供的图像信号进行编码，并添加VS_TYPE生成电路21所提供的VS_TYPE和显示时刻信息生成电路22所提供的显示时刻信息。然后，编码电路312将所得编码数据作为比特流输出，处理结束。如果在步骤S104中确定TS类型不是“相同时刻类型”或“不同时刻类型”，即，TS类型是“任一类型”，则处理进行到步骤S106。在步骤S106，编码电路312确定视频组合电路311所提供的图像信号是否是L图像的图像信号。如果在步骤S106中确定图像信号是L图像的图像信号，则处理进行到如上所述的步骤S105，编码电路312对视频组合电路311所提供的L图像的图像信号进行编码，并添加VS_TYPE和显示时刻信息。然后，编码电路312将所得编码数据作为比特流输出，处理结束。如果在步骤S106中确定图像信号不是L图像的图像信号，即，图像信号是R图像的图像信号，则处理进行到步骤S107。在步骤S107中，编码电路312对视频组合电路311所提供的R图像的图像信号进行编码，并添加VS_TYPE生成电路21所提供的VS_TYPE。然后，编码电路312将所得编码数据作为比特流输出，处理结束。在编码系统300中，分别设置用于捕获L图像的图像捕获设备和用于捕获R图像的图像捕获设备。然而，与图12所示的情况一样，可使用单个图像捕获设备来捕获L图像和R图像。另外,在编码系统300中，L图像和R图像从图像捕获设备并行输出。然而,与图13或图17所示的情况一样，L图像和R图像可被串行输出。在这种情况下，视频编码设备301不设有视频组合电路311。解码系统的示例构造图28是示出解码系统400的示例构造的框图，该解码系统400被构造为对上述编码系统300所输出的比特流进行解码。在图28所示的构造中，与图19中的部件相同或相似的部件分配了相同的标号。适当地省略多余的描述。图28所示的解码系统400的构造与图19所示构造的不同之处在于设置视频解码设备401来代替多视点解码设备201。在图28所示的解码系统400中，依据与AVC编码方案(而非MVC编码方案)对应的方案来对比特流进行解码。视频解码设备401使用与AVC编码方案对应的方案对编码系统300所输出的比特流进行解码。视频解码设备401在连续的不同定时将L-R对的图像信号(所得到的是模拟信号)输出给3D视频显示设备202。视频解码设备的示例构造图29是示出图28所示视频解码设备401的示例构造的框图。如图29所示，视频解码设备401包括解码电路411、帧存储器412、图像大小转换电路215、帧率转换电路216、D/A转换电路217和控制器218。在图29所示的构造中，与图20中的部件相同或相似的部件分配了相同的标号。适当地省略多余的描述。解码电路411使用与AVC编码方案对应的方案对编码系统300所输出的比特流进行解码。通过解码获得的图像数据是数字信号，解码电路411将该图像数据提供给帧存储器412。另外，解码电路411将通过解码获得的VS_TYPE和显示时刻信息提供给控制器218。帧存储器412存储解码电路411所提供的图像数据。帧存储器412依据控制器218的控制，顺序读取存储在帧存储器412中的L-R对中的L图像的图像数据和R图像的图 像数据，并将L图像的图像数据和R图像的图像数据输出给图像大小转换电路215。解码电路的示例构造图30是示出图29所示解码电路411的示例构造的框图。在图30所示的构造中，与图21中的部件相同或相似的部件分配了相同的标号。适当地省略多余的描述。图30所示的解码电路411的构造与图21所示的视频解码电路212的构造的不同之处在于设置帧存储器421来代替帧存储器276。图30所示的解码电路411被构造为使得解码图像仅在解码电路411中使用。本发明的实施例可提供这样的解码设备，只有构造为在连续的不同定时显示L-R对的3D视频显示设备才可连接到该解码设备，本发明的实施例还可提供这样的解码设备，构造为在连续的不同定时显示L-R对的3D视频显示设备以及构造为同时显示L-R对的3D视频显示设备都可连接到该解码设备。在这种情况下，解码设备从3D视频显示设备获得指示3D视频显示设备的显示方法的信息，并在显示方法是在连续的不同定时显示L-R对的方法时，执行上述显示控制处理。另外，在本实施例中，VS_TYPE和显示时刻信息被添加到编码数据中(在编码数据中描述)。然而，VS_TYPE和显示时刻信息可与图像数据(或比特流)分开传输(记录)。作为另外一种选择，VS_TYPE和显示时刻信息可与图像数据(或比特流)相连接。在本实施例中，术语“连接”如下定义。术语“连接”表示将图像数据(或比特流)与VS_TYPE和显示时刻信息链接在一起。将与VS_TYPE和显示时刻信息相连接的图像数据可以经与VS_TYPE和显示时刻信息的传输路径不同的传输路径传输。作为另外一种选择，将与VS_TYPE和显示时刻信息相连接的图像数据(或比特流)可被记录在与VS_TYPE和显示时刻信息的记录介质不同的记录介质(或同一记录介质的不同记录区)中。图像数据(或比特流)可以以例如编码处理为单位(例如，以帧为单位或者以帧组为单位)来与VS_TYPE和显示时刻信息链接。根据本发明实施例的计算机的描述上述一系列处理可通过硬件或软件来执行。当通过软件执行所述一系列处理时，构成软件的程序被安装到通用计算机等中。图31是示出根据实施例的计算机的示例构造的框图，其中用于执行上述一系列处理的程序安装在所述计算机中。所述程序可预先记录在用作计算机的内置记录介质的存储单元608或只读存储器(ROM) 602 中。作为另外一种选择，所述程序可存储在(记录在)可移除介质611中。可移除介质611可作为所谓的软件包提供。可移除介质611的例子包括软盘、紧凑盘只读存储器(⑶-ROM)、磁光(MO)盘、数字多功能盘(DVD)、磁盘和半导体存储器。所述程序可经驱动器610从上述可移除介质611安装到计算机中，或者还可经通信网络或广播网络下载到计算机，然后安装到设置在计算机中的存储单元608中。SP，例如，所述程序可经用于数字卫星广播的人造卫星通过无线连接从下载地点传输到计算机中，或者可经诸如局域网(LAN)或互联网的网络通过有线连接传输到计算机中。所述计算机包括中央处理单元(CPU) 601，CPU 601经总线604连接到输入/输出接口 605。 响应于用户通过对输入单元606等的操作经输入/输出接口 605输入的指令，CPU601相应地执行存储在ROM 602中的程序。作为另外一种选择，CPU 601将存储在存储单元608中的程序载入随机存取存储器(RAM) 603中，并执行该程序。因此，CPU 601执行根据上述流程图的处理或者用上述框图中的构造执行的处理。然后，CPU 601使得处理结果根据需要通过例如输入/输出接口 605被发送，以例如从输出单元607输出，从通信单元609发送,或者记录在存储单元608上。输入单元606可包括键盘、鼠标和麦克风。输出单元607可包括液晶显示器(IXD)和扬声器。所述计算机并非必须按照本文中以流程图的形式描述的次序根据所述程序顺序执行处理。由计算机根据所述程序执行的处理还可包括并行或单独执行的处理(例如，并行处理或基于对象的处理)。另外，所述程序可使用单个计算机(处理器)来处理，或者可使用多个计算机以分布式方式来处理。所述程序还可被传输至远程计算机，然后可被执行。如本文所用，术语“系统”表示包括多个装置的整个设备。本发明的实施例不限于上述实施例，在不脱离本发明的范围的情况下，可进行各种修改。例如，上述编码系统10 (300)和解码系统200 (400)可应用于任何所需电子设备。下面将描述这样的电子设备的实例。电视接收机的示例构造图32是示出根据本发明实施例的包括解码系统的电视接收机700的主要部件的示例构造的框图。图32所示的电视接收机700获得由上述编码系统10 (300)产生的比特流作为用于数字广播的至少一部分广播信号或内容数据，并通过执行与解码系统200 (400)的处理类似的处理来显示立体图像。电视接收机700的地面调谐器713经天线接收地面模拟广播的广播波信号，对广播波信号进行解调，获得图像信号，并将该图像信号提供给视频解码器715。视频解码器715对地面调谐器713所提供的视频信号执行解码处理，并将所得数字分量信号提供给视频信号处理电路718。视频信号处理电路718对视频解码器715所提供的视频数据执行诸如去噪的预定处理，并将所得视频数据提供给图形生成电路719。图形生成电路719生成将显示在显示面板721上的节目的视频数据、基于经网络提供的应用通过处理产生的图像数据、等等，并将生成的视频数据或图像数据提供给面板驱动电路720。图形生成电路719还适当地执行例如如下处理生成视频数据(图形数据)以便于显示用户用来选择项目等的屏幕，将生成的视频数据叠加在节目视频数据上以产生视频数据，并将所得视频数据提供给面板驱动电路720。面板驱动电路720依据图形生成电路719所提供的数据来驱动显示面板721，以在显示面板721上显示节目视频或上述各种屏幕。节目视频等依据面板驱动电路720的控制显示在显示面板721上。
电视接收机700还包括音频A/D转换电路714、音频信号处理电路722、回声消除/音频组合电路723、音频放大电路724和扬声器725。地面调谐器713通过对接收的广播波信号进行解调来获得视频信号和音频信号。地面调谐器713将获得的音频信号提供给音频A/D转换电路714。音频A/D转换电路714对地面调谐器713所提供的音频信号执行A/D转换处理，并将所得数字音频信号提供给音频信号处理电路722。音频信号处理电路722对音频A/D转换电路714所提供的音频数据执行诸如去噪的预定处理，并将所得音频数据提供给回声消除/音频组合电路723。回声消除/音频组合电路723将音频信号处理电路722所提供的音频数据提供给音频放大电路724。音频放大电路724对回声消除/音频组合电路723所提供的音频数据执行D/A转换处理和放大处理，以将音量调节至预定音量，然后从扬声器725输出音频。电视接收机700还包括数字调谐器716和MPEG解码器717。数字调谐器716经天线接收数字广播的广播波信号(地面数字广播、广播卫星(BS) /通信卫星(CS)数字广播)，对广播波信号进行解调，获得运动图像专家组-传输流(MPEG-TS )，并将该MPEG-TS提供给MPEG解码器717。MPEG解码器717将数字调谐器716所提供的加扰的MPEG-TS解扰，并提取包括将被再现(观看)的节目数据的流。MPEG解码器717对形成提取的流的音频包进行解码，并将获得的音频数据提供给音频信号处理电路722。另外，MPEG解码器717对形成所述流的视频包进行解码，并将获得的视频数据提供给视频信号处理电路718。MPEG解码器717还经路径(未示出)将从MPEG-TS提取出的电子节目指南(EPG)数据提供给CPU 732。利用视频信号处理电路718以与视频解码器715所提供的视频数据的处理类似的方式使MPEG解码器717所提供的视频数据经受预定处理。然后，根据需要利用图形生成电路719将生成的视频数据等叠加在经受过所述预定处理的视频数据上，并经面板驱动电路720将所得视频数据提供给显示面板721。对应的图像被显示。以这样的方式，电视接收机700以与上述多视点解码设备201或视频解码设备401的处理类似的方式执行对视频包进行解码并且在显示面板721上显示图像的处理。因此，可以显示例如节目的看起来自然的立体图像。
利用音频信号处理电路722以与音频A/D转换电路714所提供的音频数据的处理类似的方式使MPEG解码器717所提供的音频数据经受预定处理。然后，经受过所述预定处理的音频数据经回声消除/音频组合电路723被提供给音频放大电路724，并经受D/A转换处理或放大处理。因此，从扬声器725输出调节至预定音量的音频。电视接收机700还包括麦克风726和A/D转换电路727。A/D转换电路727接收由设置在电视接收机700中的、用于口头交谈的麦克风726捕获的用户的语音信号。A/D转换电路727对接收的音频信号执行A/D转换处理，并将获得的数字音频数据提供给回声消除/音频组合电路723。当从A/D转换电路727提供电视接收机700的用户(用户A)的音频数据时，回声消除/音频组合电路723对用户A的音频数据执行回声消除。然后，在回声消除之后，回声消除/音频组合电路723使得通过例如将该音频数据与其他音频数据组合而获得的音频数 据经音频放大电路724从扬声器725输出。电视接收机700还包括音频编解码器728、内部总线729、同步动态随机存取存储器(SDRAM) 730、闪存 731、CPU 732、通用串行总线(USB)接口(I/F) 733 和网络 I/F 734。A/D转换电路727接收由设置在电视接收机700中的、用于口头交谈的麦克风726捕获的用户的语音信号。A/D转换电路727对接收的音频信号执行A/D转换处理，并将获得的数字音频数据提供给音频编解码器728。音频编解码器728将A/D转换电路727所提供的音频数据转换为预定格式的数据，以便于经网络进行传输，并且将所得音频数据经内部总线729提供给网络I/F 734。网络I/F 734经附连到网络端口 735的线缆连接到网络。网络I/F 734将音频编解码器728所提供的音频数据发送给例如连接到网络的另一设备。网络I/F 734经网络端口 735接收例如经网络连接的另一设备所发送来的音频数据，并将该音频数据经内部总线729提供给音频编解码器728。音频编解码器728将网络I/F 734所提供的音频数据转换为预定格式的数据，并将所得音频数据提供给回声消除/音频组合电路723。回声消除/音频组合电路723对音频编解码器728所提供的音频数据执行回声消除，并使得通过例如将该音频数据与其他音频数据组合而获得的音频数据经音频放大电路724从扬声器725输出。SDRAM 730存储CPU 732执行处理所需的各种数据。闪存731存储CPU 732所执行的程序。CPU 732在预定的定时(例如，当电视接收机700开启时)读取存储在闪存731中的程序。闪存731还存储经数字广播获得的EPG数据、经网络从预定服务器获得的数据等。例如，闪存731在CPU 732的控制下存储包括经网络从预定服务器获得的内容数据的MPEG-TS。例如，闪存731在CPU 732的控制下经内部总线729将该MPEG-TS提供给MPEG解码器717。MPEG解码器717以与数字调谐器716所提供的MPEG-TS的处理类似的方式处理该MPEG-TS。以这样的方式，电视接收机700可经网络接收包括视频和音频的内容数据，使用MPEG解码器717对该内容数据进行解码，并显示视频或输出音频。电视接收机700还包括光接收单元737，所述光接收单元737接收从遥控器751发送来的红外信号。光接收单元737从遥控器751接收红外信号，对该红外信号进行解调以获得指示用户操作的内容的控制码，并将该控制码输出给CPU 732。CPU 732执行存储在闪存731中的程序，并依据光接收单元737等所提供的控制码来控制电视接收机700的总体操作。CPU 732经路径(未示出)连接到电视接收机700的各个单元。USB I/F 733将数据发送到电视接收机700外部的装置并从电视接收机700外部的装置接收数据，所述电视接收机700外部的装置经附连到USB端口 736的USB线缆连接。网络I/F 734经附连到网络端口 735的线缆连接到网络，并且还将除了音频数据之外的数据发送给连接到网络的各种设备并从所述连接到网络的各种设备接收除了音频数据之外的数据。移动电话的示例构造 图33是示出包括根据本发明实施例的编码系统和解码系统的移动电话800的主要部件的示例构造的框图。图33所示的移动电话800执行与上述编码系统10 (300)的处理类似的处理，并获得用于显示立体图像的比特流。另外，移动电话800接收通过上述编码系统10 (300)获得的比特流，执行与上述解码系统200 (400)的处理类似的处理，并显示立体图像。图33所示的移动电话800包括构造用于总的控制各个单元的主控制单元850、电源电路单元851、操作输入控制单元852、图像编码器853、相机I/F单元854、IXD控制单元855、图像解码器856、复用/解复用单元857、记录/再现单元862、调制/解调电路单元858和音频编解码器859。主控制单元850、电源电路单元851、操作输入控制单元852、图像编码器853、相机I/F单元854、LCD控制单元855、图像解码器856、复用/解复用单元857、记录/再现单元862、调制/解调电路单元858和音频编解码器859经总线860彼此连接。移动电话800还包括操作键819、电荷耦合器件(CXD)相机816、液晶显示器818、存储单元823、发送/接收电路单元863、天线814、麦克风821和扬声器817。当通话结束，并且通过用户操作打开电源键时，电源电路单元851将能量从电池组提供给各个单元，因此允许移动电话800操作。移动电话800在包括CPU、ROM和RAM的主控制单元850的控制下在诸如通话模式和数据通信模式的各种模式下执行各种操作，例如发送和接收音频信号，发送和接收电子邮件或图像数据，拍摄图像，以及记录数据。在移动电话800中，例如在通话模式下，音频编解码器859将麦克风821所拾取的音频信号转换为数字音频数据，调制/解调电路单元858对该音频数据执行展频处理。另夕卜，发送/接收电路单元863对音频数据执行数字-模拟转换处理和频率转换处理。移动电话800经天线814将通过所述转换处理获得的发送信号发送给基站(未示出)。发送给基站的发送信号(音频信号)经公共电话网络被提供给通话另一端的移动电话。另外，在移动电话800中，例如在通话模式下，发送/接收电路单元863将通过天线814接收的接收信号放大，并且还执行频率转换处理和模拟-数字转换处理。另外，调制/解调电路单元858执行逆展频处理，音频编解码器859将所得信号转换为模拟音频信号。移动电话800从扬声器817输出通过转换获得的模拟音频信号。
另外，例如，为了在数据通信模式下发送电子邮件，移动电话800的操作输入控制单元852接收通过操作键819的操作输入的电子邮件的文本数据。在移动电话800中，主控制单元850处理文本数据，并且该文本数据经IXD控制单元855作为图像显示在液晶显示器818上。另外，在移动电话800中，主控制单元850依据通过操作输入控制单元852接收的文本数据、用户指令等生成电子邮件数据。在移动电话800中，调制/解调电路单元858对电子邮件数据执行展频处理，发送/接收电路单元863执行数字-模拟转换处理和频率转换处理。移动电话800将通 过所述转换处理获得的发送信号经天线814发送给基站(未示出)。发送给基站的发送信号(电子邮件)经网络被提供给预定目的地、邮件服务器等。另外，例如，当在数据通信模式下接收到电子邮件时，移动电话800的发送/接收电路单元863经天线814接收从基站发送来的信号，放大该信号，并且还执行频率转换处理和模拟-数字转换处理。在移动电话800中，调制/解调电路单元858对接收的信号执行逆展频处理，以恢复原始电子邮件数据。在移动电话800中，恢复的电子邮件数据经LCD控制单元855显示在液晶显示器818上。移动电话800还可被构造为经记录/再现单元862将接收的电子邮件数据记录(或存储)在存储单元823上。存储单元823可以是任何可重写存储介质。存储单元823可以是诸如RAM或内置闪存的半导体存储器、硬盘、或者诸如可移除介质，例如磁盘、磁光盘、光盘、USB存储器或存储卡。应该理解的是,也可使用任何其他存储介质。另外，例如，当在数据通信模式下发送图像数据时，移动电话800的CXD相机816通过捕获图像来生成图像数据。CXD相机816包括诸如镜头和光圈的光学器件和用作光电转换部件的CCD传感器，并且被构造为捕获对象的图像，将接收的光的强度转换为电信号，并生成对象的图像的图像数据。经相机I/F单元854利用图像编码器853，通过使用诸如MVC或AVC的预定编码方案进行压缩和编码来将该图像数据转换为编码的图像数据。在上述方式中，作为对通过图像捕获生成的图像数据进行压缩和编码的处理，移动电话800执行与上述多视点编码设备13 (122)或视频编码设备301的处理类似的处理。因此，在解码期间可显示捕获图像的看起来自然的立体图像。在移动电话800中，复用/解复用单元857使用预定方案将图像编码器853所提供的编码图像数据与音频编解码器859所提供的数字音频数据复用。在移动电话800中，调制/解调电路单元858对所得复用数据执行展频处理，发送/接收电路单元863执行数字-模拟转换处理和频率转换处理。移动电话800将通过所述转换处理获得的发送信号经天线814发送给基站(未示出)。发送给基站的发送信号(图像数据)经网络等被提供给通话另一端。 当没有图像数据被发送时，移动电话800可经IXD控制单元855在液晶显示器818上显示由CXD相机816等生成的图像数据，而不需使用图像编码器853。另外，例如，当在数据通信模式下接收到链接到简单主页等的运动图像文件的数据时，在移动电话800中，发送/接收电路单元863经天线814接收从基站发送来的信号，放大该信号，并且还执行频率转换处理和模拟-数字转换处理。在移动电话800中，调制/解调电路单元858对接收的信号执行逆展频处理，以恢复原始复用数据。在移动电话800中，复用/解复用单元857将复用数据解复用为编码图像数据和音频数据。在移动电话800中，图像解码器856使用诸如MVC或AVC的预定编码方案对编码图像数据进行解码，以生成再现运动图像数据，并经IXD控制单元855在液晶显示器818上显示该再现运动图像数据。因此，例如，链接到简单主页的运动图像文件中所包括的运动图像数据被显示在液晶显示器818上。在上述方式中，移动电话800以与上述多视点解码设备201或视频解码设备401的处理类似的方式执行将编码图像数据解码并在液晶显示器818上显示解码图像数据的处理。因此，例如可显示与链接到简单主页的运动图像文件对应的看起来自然的立体图像。与电子邮件的情况一样，移动电话800还可被构造为经记录/再现单元862将接收的链接到简单主页等的数据记录(或存储)在存储单元823上。另外，移动电话800可被构造为使得主控制单元850分析由CXD相机816通过图像捕获而获得的二维码，从而获得记录在二维码中的信息。 另外，移动电话800可被构造为利用红外通信单元881经红外传输与外部装置通 目。尽管已经描述了包括CXD相机816的移动电话800，但是移动电话800可包括基于互补金属氧化物半导体(CMOS)的图像传感器(CMOS图像传感器)来代替CXD相机816。在这种情况下，与使用CXD相机816的情况一样，移动电话800也可捕获对象的图像，并且可生成对象的图像的图像数据。尽管上面描述了移动电话800，但是具有与移动电话800的功能类似的图像捕获功能或通信功能的任何设备，例如个人数字助理(PDA)、智能电话、超便携个人计算机(UMPC)、上网本或笔记本PC均可以与移动电话800的系统类似的方式采用上述编码系统和解码系统。硬盘记录器的示例构造图34是示出包括根据本发明实施例的解码系统的硬盘记录器(HD记录器)900的主要部件和监视器960的示例构造的框图。图34所示的硬盘记录器900获得由上述编码系统10 (300)产生的比特流，作为由调谐器接收以及使用卫星或地面天线或者任何其他合适的装置发送的一部分广播波信号(电视信号)等，并将该比特流保存在内置硬盘中。然后，硬盘记录器900使用保存的比特流在根据用户指令的定时执行与解码系统200 (400)的处理类似的处理，从而在监视器960上显示立体图像。硬盘记录器900包括接收单元921、解调单元922、解复用器923、音频解码器924、视频解码器925和记录器控制单元926。硬盘记录器900还包括EPG数据存储器927、程序存储器928、工作存储器929、显示转换器930、屏幕显示(OSD)控制单元931、显示控制单元932、记录/再现单元933、D/A转换器934和通信单元935。显示转换器930包括视频编码器941。记录/再现单元933包括编码器951和解码器952。接收单元921从遥控器(未示出)接收红外信号，将该红外信号转换为电信号，并将该电信号输出给记录器控制单元926。记录器控制单元926可以由例如微处理器等形成，并且依据存储在程序存储器928中的程序执行各种处理。在这种情况下，记录器控制单元926根据需要使用工作存储器929。通信单元935连接到网络，并经网络与另一设备执行通信处理。例如，通信单元935受记录器控制单元926控制以与调谐器(未示出)通信，并且将频道选择控制信号主要输出给调谐器。解调单元922对调谐器所提供的信号进行解调，并将解调信号输出给解复用器923。解复用器923将解调单元922所提供的数据解复用为音频数据、视频数据和EPG数据，并将音频数据、视频数据和EPG数据分别输出给音频解码器924、视频解码器925和记录器控制单元926。音频解码器924使用例如MPEG方法对输入的音频数据进行解码，并将解码的音频数据输出给记录/再现单元933。视频解码器925使用例如MPEG方法对输入的视频数据进行解码，并将解码的视频数据输出给显示转换器930。记录器控制单元926将输入的EPG数据提供给EPG数据存储器927，从而将EPG数据存储在EPG数据存储器927中。
显示转换器930使用视频编码器941将视频解码器925或记录器控制单元926所提供的视频数据编码为例如美国国家电视标准委员会(NTSC)视频数据，并将该视频数据输出给记录/再现单元933。以上述方式，作为对视频数据进行编码的处理，硬盘记录器900执行与上述多视点编码设备13 (122)或视频编码设备301的处理类似的处理。因此，在解码和再现期间可显示节目的看起来自然的立体图像。另外，显示转换器930将视频解码器925或记录器控制单元926所提供的视频数据的屏幕大小转换至与监视器960的大小对应的大小。显示转换器930还使用视频编码器941来将屏幕大小已经被转换的视频数据转换为NTSC视频数据，将该视频数据转换为模拟信号，并将所得信号输出给显示控制单元932。在记录器控制单元926的控制下，显示控制单元932将从OSD控制单元931输出的OSD信号叠加在从显示转换器930输出的视频信号上，并将所得视频信号输出给监视器960的显示器，以显示相应的图像。在上述方式中，作为对视频数据进行解码并在监视器960上显示图像的处理，硬盘记录器900执行与上述多视点解码设备201或视频解码设备401的处理类似的处理。因此，可显示节目的看起来自然的立体图像。使用D/A转换器934将从音频解码器924输出的音频数据转换为模拟信号，并将该模拟信号提供给监视器960。监视器960从内置扬声器输出该音频信号。记录/再现单元933包括作为存储介质的硬盘，其上记录有视频数据、音频数据
坐寸ο记录/再现单元933通过使用编码器951利用MPEG方法对例如音频解码器924所提供的音频数据进行编码。另外，记录/再现单元933通过使用编码器951利用MPEG方法对显示转换器930的视频编码器941所提供的视频数据进行编码。记录/再现单元933利用复用器将编码音频数据与编码视频数据组合。记录/再现单元933对组合的数据执行信道编码，放大所得数据，并使用记录头将放大的数据写入硬盘中。记录/再现单元933使用再现头来再现记录在硬盘上的数据，放大再现的数据，并使用解复用器将放大的数据解复用为音频数据和视频数据。记录/再现单元933通过使用解码器952利用MPEG方法对音频数据和视频数据进行解码。记录/再现单元933对解码的音频数据执行D/A转换，并将所得音频数据输出给监视器960的扬声器。另外，记录/再现单元933对解码的视频数据执行D/A转换，并将所得视频数据输出给监视器960的显示器。记录器控制单元926依据由经接收单元921从遥控器接收的红外信号指示的用户指令，从EPG数据存储器927读取最新日期的EPG数据，并将该EPG数据提供给OSD控制单元931。OSD控制单元931生成与输入EPG数据对应的图像数据，并将该图像数据输出给显示控制单元932。显示控制单元932将从OSD控制单元931输入的视频数据输出给监视器960的显示器，以显示图像。因此，在监视器960的显示器上显示EPG。
硬盘记录器900还可被构造为获得由其他设备经诸如互联网的网络提供的诸如视频数据、音频数据和EPG数据的各种数据。通信单元935受记录器控制单元926控制，以获得从其他设备经网络发送来的视频数据、音频数据、EPG数据等的编码数据，并将获得的编码数据提供给记录器控制单元926。例如，记录器控制单元926将获得的编码视频或音频数据提供给记录/再现单元933，以将该编码数据存储在硬盘中。在这种情况下，记录器控制单元926和记录/再现单元933可根据需要执行诸如再编码的处理。另外，记录器控制单元926对获得的编码视频或音频数据进行解码，将获得的视频数据提供给显示转换器930。显示转换器930以与视频解码器925所提供的视频数据的处理类似的方式处理记录器控制单元926所提供的视频数据，并经显示控制单元932将该视频数据提供给监视器960以显示视频数据的图像。另外，依据图像的显示，记录器控制单元926可经D/A转换器934将解码音频数据提供给监视器960，并可从扬声器输出音频数据的声音。另外，记录器控制单元926对获得的编码EPG数据进行解码，并将解码的EPG数据提供给EPG数据存储器927。尽管已经描述了被构造为将视频数据或音频数据记录在硬盘上的硬盘记录器900,但是可使用任何记录介质。使用除了硬盘之外的记录介质(例如，闪存、光盘或录像带)的记录器也可以与硬盘记录器900类似的方式采用上述编码系统和解码系统。相机的示例构造图35是示出包括根据本发明实施例的编码系统和解码系统的相机1000的主要部件的示例构造的框图。图35所示的相机1000执行与编码系统10 (300)的处理类似的处理，并获得比特流。相机1000还执行与解码系统200 (400)的处理类似的处理，并使用所述比特流显示立体图像。相机1000的镜头模块1011允许光(即，对象的视频)进入(XD/CM0S 1012。CXD/CMOS 1012可以是基于CCD或CMOS的图像传感器，并且被构造为将接收的光的强度转换为电信号，并将该电信号提供给相机信号处理单元1013。相机信号处理单元1013将(XD/CM0S 1012所提供的电信号转换为色差信号，即Y、Cr和Cb信号，并将所述色差信号提供给图像信号处理单元1014。在控制器1021的控制下，图像信号处理单元1014对相机信号处理单元1013所提供的图像信号执行预定图像处理，或者利用编码器1041使用诸如AVC或MVC的方案对图像信号进行编码。在上述方式中，作为对通过图像捕获生成的图像信号进行编码的处理，相机1000执行与上述多视点编码设备13 (122)或视频编码设备301的处理类似的处理。因此，在解码期间可显示捕获图像的看起来自然的立体图像。图像信号处理单元1014将通过对图像信号进行编码而生成的编码数据提供给解码器1015。图像信号处理单元1014还获得由0SD1020生成的显示数据，并将该显示数据提供给解码器1015。在上述处理中，相机信号处理单元1013适当地使用经总线1017连接的动态随机存取存储器(DRAM) 1018，并将图像数据、通过对图像数据编码而产生的编码数据等保存在DRAM 1018 中。解码器1015对图像信号处理单元1014所提供的编码数据进行解码，并将获得的 图像数据(解码的图像数据)提供给LCD 1016。另外，解码器1015将图像信号处理单元1014所提供的显示数据提供给IXD 1016。IXD 1016适当地将解码器1015所提供的解码图像数据的图像与解码器1015所提供的显示数据的图像组合，并显示所得的组合图像。在上述方式中，作为对编码数据进行解码并在IXD 1016上显示所得图像的处理，相机1000执行与上述多视点解码设备201或视频解码设备401的处理类似的处理。因此，例如，可显示捕获图像的看起来自然的立体图像。在控制器1021的控制下，OSD 1020将诸如菜单屏幕或图标的显示数据(包括符号、字符和数字)经总线1017提供给图像信号处理单元1014。控制器1021依据指示用户利用操作单元1022给出的指令的信号执行各种处理，并经总线1017控制图像信号处理单元1014、DRAM 1018、外部接口 1019、OSD 1020、介质驱动器1023和其他合适的装置。闪速ROM 1024存储程序、数据以及控制器1021执行各种处
理所需的其他/[目息。另外，代替图像信号处理单元1014或解码器1015，控制器1021可对存储在DRAM1018中的图像数据进行编码，或者可对存储在DRAM 1018中的编码数据进行解码。在这种情况下，控制器1021可使用与图像信号处理单元1014或解码器1015的编码和解码处理的方案类似的方案执行编码和解码处理，或者可使用图像信号处理单元1014或解码器1015所不支持的方案执行编码和解码处理。另外，例如，当从操作单元1022发出开始打印图像的指令时，控制器1021从DRAM1018读取图像数据，并经总线1017将该图像数据提供给连接到外部接口 1019的打印机1034，以打印与该图像数据对应的图像。另外，例如，当从操作单元1022发出记录图像的指令时，控制器1021从DRAM 1018读取编码数据，并经总线1017将该编码数据提供给附连到介质驱动器1023的记录介质1033，以将该编码数据存储在记录介质1033中。记录介质1033可以是任何可读和可写的可移除介质，例如磁盘、磁光盘、光盘或半导体存储器。记录介质1033可以是任何类型的可移除介质，并且可以是磁带装置、盘或存储卡。还可使用非接触式IC卡等。另外，介质驱动器1023和记录介质1033可以集成为例如非便携式存储介质，例如内置硬盘驱动器或固态驱动器(SSD)。
外部接口 1019可以由例如USB输入/输出端口等形成，并且可以在打印图像时连接到打印机1034。另外，驱动器1031还可根据需要连接到外部接口 1019。诸如磁盘、光盘或磁光盘的可移除介质1032可根据需要附连至驱动器1031，以使得从可移除介质1032读取的计算机程序根据需要被安装到闪速ROM 1024中。外部接口 1019还包括连接到诸如LAN或互联网的预定网络的网络接口。例如，依据来自操作单元1022的指令，控制器1021可从DRAM 1018读取编码数据，并且可将读取的数据从外部接口 1019提供给经网络连接的另一设备。控制器1021还可通过外部接口 1019经网络获得从另一设备提供的编码数据或图像数据，并可将获得的数据保持在DRAM 1018中或将获得的数据提供给图像信号处理单元1014。由相机1000捕获的图像数据可以是运动图像或静止图像。应该理解的是，上述编码系统10 (300)和解码系统200 (400)还可用在除了上述设备之外的设备中或系统中。
本申请包含的主题涉及2009年10月16日提交到日本专利局的日本优先权专利申请JP2009-239708中公开的主题内容，所述申请的全部内容通过弓I用合并于此。本领域技术人员应当理解的是，在不脱离所附权利要求或其等同物的范围的情况下，根据设计要求和其他因素可进行各种修改、组合、子组合和替代。
权利要求
1.ー种图像处理设备，包括 编码装置，所述编码装置用于对多视点图像的图像数据进行编码以生成编码流，所述多视点图像包括形成立体图像的来自多个视点的图像； 发送装置，所述发送装置用于按照将图像捕获类型和图像捕获次序信息与所述编码装置所生成的编码流相连接的方式发送所述编码流，所述图像捕获类型指示形成立体图像的所述多视点图像是在不同的定时被捕获的，所述图像捕获次序信息指示所述多视点图像被捕获的图像捕获次序。
2.根据权利要求I所述的图像处理设备，其中所述发送装置按照将显示与所述图像数据对应的图像的显示时刻的附加类型以及与所述附加类型对应的显示时刻与所述编码装置所生成的编码流相连接的方式发送所述编码流， 其中所述附加类型包括 显示时刻没有被添加到立体图像中的来自所述多个视点中任一个的图像的图像数据的类型； 相同的显示时刻被添加到立体图像中的来自全部所述多个视点的图像的图像数据的类型； 显示时刻被添加到立体图像中的来自所述多个视点之一的图像的图像数据的类型；以及 不同的显示时刻被添加到立体图像中来自所述多个视点的图像的图像数据的类型。
3.根据权利要求2所述的图像处理设备，还包括 图像捕获信息生成装置，所述图像捕获信息生成装置用于依据从图像捕获设备针对各个视点输入图像数据的输入定时，生成所述图像捕获类型和所述图像捕获次序信息，所述图像捕获设备在不同的定时捕获所述多视点图像； 显示时刻生成装置，所述显示时刻生成装置用于依据所述输入定时生成所述显示时亥IJ。
4.根据权利要求2所述的图像处理设备，还包括 图像捕获次序信息生成装置，所述图像捕获次序信息生成装置用于依据各个视点的图像被捕获的图像捕获时刻生成所述图像捕获次序信息，所述图像捕获时刻是从图像捕获设备输入的，所述图像捕获设备在不同的定时捕获所述多视点图像； 显示时刻生成装置，所述显示时刻生成装置用于依据所述图像捕获时刻生成所述显示时刻。
5.ー种用于图像处理设备的图像处理方法，该方法包括以下步骤 对多视点图像的图像数据进行编码以生成编码流，所述多视点图像包括形成立体图像的来自多个视点的图像； 按照将图像捕获类型和图像捕获次序信息与在编码步骤中生成的编码流相连接的方式发送所述编码流，所述图像捕获类型指示形成立体图像的所述多视点图像是在不同的定时被捕获的，所述图像捕获次序信息指示所述多视点图像被捕获的图像捕获次序。
6.ー种图像处理设备，包括 接收装置，所述接收装置用于接收多视点图像的图像数据、图像捕获类型和图像捕获次序信息，所述多视点图像包括形成立体图像的来自多个视点的图像，所述图像捕获类型指示所述多视点图像是在不同的定时被捕获的，所述图像捕获次序信息指示所述多视点图像被捕获的图像捕获次序；以及 控制装置，所述控制装置用于依据所述接收装置所接收到的图像捕获类型和图像捕获次序信息，控制显示设备按照与所述图像捕获次序相同的次序显示与所述接收装置所接收到的图像数据对应的多视点图像。
7.ー种用于图像处理设备的图像处理方法，该方法包括以下步骤 接收多视点图像的图像数据、图像捕获类型和图像捕获次序信息，所述多视点图像包括形成立体图像的来自多个视点的图像，所述图像捕获类型指示所述多视点图像是在不同的定时被捕获的，所述图像捕获次序信息指示所述多视点图像被捕获的图像捕获次序；以及 依据在接收步骤中接收到的图像捕获类型和图像捕获次序信息，控制显示设备按照与所述图像捕获次序相同的次序显示与所述接收步骤中接收到的图像数据对应的多视点图像。
全文摘要
本发明公开了图像处理设备和图像处理方法。一种图像处理设备，包括接收单元，被构造为接收编码流、图像捕获类型和图像捕获次序信息，所述编码流通过对多视点图像的图像数据进行编码而产生，所述多视点图像包括形成立体图像的来自多个视点的图像，所述图像捕获类型指示多视点图像是在不同的定时被捕获的，所述图像捕获次序信息指示多视点图像被捕获的图像捕获次序；解码单元，被构造为对接收单元所接收到的编码流进行解码，以生成图像数据；以及控制单元，被构造为依据接收单元所接收到的图像捕获类型和图像捕获次序信息，控制显示设备按照与图像捕获次序相同的次序显示与解码单元所生成的图像数据对应的多视点图像。
文档编号H04N13/00GK102833564SQ20121028784
公开日2012年12月19日 申请日期2010年9月29日 优先权日2009年10月16日
发明者铃木辉彦, 高桥良知, 北村卓也 申请人:索尼公司