信息处理装置和信息处理方法

专利名称：信息处理装置和信息处理方法
技术领域：
本技术涉及一种信息处理装置和信息处理方法，更具体地，涉及一种被设计成以低延迟再现高质量立体图像的信息处理装置和信息处理方法。
背景技术：
现今，应用和服务正被广泛地用于经由诸如互联网和局域网(LAN)的各种网络传输图像数据(尤其是移动图像数据)。在经由网络传输图像数据的情况下，通常在传送到网 络之前通过传送侧的编码(压缩)操作来减少图像数据量。在接收侧，编码图像数据被解码(解压缩)以再现图像数据。最公知的图像压缩技术是移动图片专家组(MPEG)。在MPEG被用作图像数据传输时的图像压缩技术的情况下，所生成的符合MPEG的MPEG流根据互联网协议(IP)被存储到IP分组中，并且经由网络传输。随后通过使用诸如个人计算机(PC)、个人数字助理(PDA)或者便携式电话设备的通信终端接收MPEG流，并且将与MPEG流对应的图像显示在通信终端的屏幕上。同时，对于主要设计用于图像数据分送的实时通信，诸如视频点播或实况视频流式传输、视频会议或者视频电话通信，存在如下环境由于网络中的不稳定性，并非来自传送侧的所有图像数据都到达接收侧，或者存在如下环境通过具有不同能力的终端接收图像数据。具体地，存在如下情况其中从传送源传送的图像数据由具有低分辨率显示器和低性能中央处理单元(CPU)的诸如便携式电话设备的接收终端接收并且显示在该接收终端上，并且同时，该图像数据还由具有高分辨率显示器和高性能CPU的诸如桌面型个人计算机的接收终端接收并且显示在该接收终端上。当可能存在如下环境时其中图像数据由具有不同能力的终端接收，例如，使用被称为分级编码的技术用于以分级方式对要传送和接收的图像数据执行编码。在图像数据经历分级编码并且随后被传送的情况下，用于具有高分辨率显示器的接收终端的编码数据和用于具有低分辨率显示器的接收终端的编码数据彼此分离地存储在接收侧，并且图像尺寸和图像质量可以适当地改变。能够分级编码的压缩/解压缩技术的示例包括MPEG4和联合照相专家组2000(JPEG2000)。目前，细粒度可扩展(FGS)作为标准将被并入到MPEG4并被规范，并且得到的技术将实现低比特率和高比特率两者下的可扩展的分送。在主要牵涉小波变换的JPEG2000中，可以通过利用小波变换的特性基于空间分辨率分级地生成分组，或者可以基于图像质量分级地生成分组。再者，在JPEG2000中，分级数据可以通过不仅与静态图像兼容而且与移动图像兼容的Motion JPEG2000 (Part3)被存储为文件。此外，作为分级编码技术，已建议主要牵涉离散余弦变换(DCT)的技术。通过该技术，图像数据等通过DCT处理被分成高分量和低分量，并且通过使用所划分的高分量和低分量作为分级来生成分组。
在许多情况下，在主要用于图像数据分送的通信中需要实时性质。因此，为了保证实时性质，用户数据报协议(UDP)被用作基于IP的通信协议，并且实时传送协议(RTP)被用在UDP之上的层中。每个RTP分组中存储的数据格式符合针对每个应用或每个编码技术定义的各个格式。作为通信网络，可以使用无线或有线LAN，或者光通信、xDSL、电力线通信、同轴线缆网络等。这些通信网络正在逐年变得越来越快。然而，在目前的环境下，在实时性质方面趋向于重视较大的显示图像或者较高质量的显示图像，并且待传送的图像数据量正在变得越来越大。因此，在使用MPEG或JPEG2000的典型的当前主流系统中，例如，译码延迟(编码延迟+解码延迟)等同于两个图片或更多，并且实时性质远不足以执行图像数据分送。有鉴于此，近来已提出了一种图像压缩技术，用于将图片分成行块，这些行块由N个行的集合(N是I或更大)形成，并且压缩每个行块的图像，以缩短延迟时间(以下将该技术称为基于行的编解码器)。基于行的编解码器的优点在于延迟时间是短的，并且由于在图像压缩的每一个单位中处理的信息量是小的，因此可以实现高速操作和硬件尺寸减小。
在例如专利文献I至4中公开了基于行的编解码器。具体地，专利文献I公开了一种对基于行的编解码器压缩的通信数据的每个行块适当地执行数据间隙内插操作的通信装置。专利文献2公开了一种在基于行的编解码器被用作压缩技术的情况下具有较低延迟和较高处理效率的通信装置。此外，专利文献3公开了一种使用小波变换通过传送由基于行的编解码器压缩的图像数据的低频分量来遏制图像质量的劣化的传送装置。专利文献4公开了一种稳定地实现由基于行的编解码器压缩的图像数据的通信中的同步的传送装置。再者，通过使用基于行的编解码器，可以以低延迟传送高质量图像数据。因此，预期基于行的编解码器在未来将被应用于实况广播的相机系统。本申请人已在专利文献5中建议一种通过使用数字调制器实现较高传送效率的相机系统。同时，典型的立体图像编码技术是多视点编码(MVC)。通过MVC，左眼用图像和右眼用图像被视为彼此无关的图像，并且被编码。另一立体图像编码技术是帧连续技术，通过该技术，左眼用图像和右眼用图像被交替地编码为帧图像。这里，为了易于解释，立体图像由具有两个视点的图像形成左眼用图像和右眼用图像。然而，立体图像可以由两个或更多个视点的图像形成。参照图1，描述了对编码为MPEG4或JPEG2000的接收数据执行内插操作的传统的通信终端装置10的示例结构。在附图中，带虚线的箭头指示控制信号流，并且带实线的箭头指示数据流。图像应用管理单元11从诸如图像源的应用接收传送请求，并且向传送数据压缩单元12提供待传送的图像数据等。根据来自应用的传送请求，图像应用管理单元11还执行路径控制和利用服务质量(QoS)的对无线线路的控制。此外，图像应用管理单元11将从接收数据解码单元25提供的图像数据等存储到存储器(未示出)中，并且向预定应用通知该接收。图像应用管理单元11还可以控制诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器的图像输入设备。传送数据压缩单元12按MPEG4或JPEG2000压缩从图像应用管理单元11提供的图像数据，以减少图像数据的数据量。传送数据压缩单元12随后将经压缩的图像数据输出到传送存储器13。
传送存储器13存储从传送数据压缩单元12输入的图像数据。传送存储器13还存储从接收数据划分单元21提供的并且将被传输到另一终端的传输数据。传送存储器13还可以存储不会被传输到另一终端的数据。传送存储器13还向传送/接收控制单元14通知数据存储状态。根据从传送存储器13提供的存储状态，传送/接收控制单元14请求传送数据生成单元15开始操作。传送/接收控制单元14还根据诸如时分多址(TDMA)或载波侦听多址(CSMA)的媒体接入控制(MAC)协议来控制物理层控制单元16。传送/接收控制单元14可以执行被称为前导侦听多址(PSMA)的媒体接入控制，PSMA与CSMA相似并且被设计为通过前导而非载波之间的相关性来识别分组。基于从接收数据划分单元21提供的信息，传送/接收控制单元14控制物理层控制单元16。根据来自传送/接收控制单元14的请求，传送数据生成单元15使传送存储器13中存储的图像数据和传输数据变成分组，并且开始生成传送分组的操作。传送数据生成单元15将所生成的传送分组提供给物理层Txl7。传送数据生成单元15还在需要的情况下控 制物理层控制单元16。在传送/接收控制单元14或传送数据生成单元15的控制下，物理层控制单元16控制物理层Tx 17和物理层Rx 20。物理层Tx 17根据来自物理层控制单元16的请求开始操作，并且将从传送数据生成单元15提供的传送分组输出到传送/接收切换单元18。传送/接收切换单元18具有在数据传送和接收之间切换的功能。当从物理层Tx17提供传送分组时，经由天线19对传送分组进行传送。当经由天线19接收分组时，将分组提供给物理层Rx 20。物理层Rx 20根据来自物理层控制单元16的请求开始操作，并且将经由天线19接收到的分组提供给接收数据划分单元21。接收数据划分单元21分析从物理层Rx 20提供的分组，提取包含图像应用管理单元11所需的图像数据的数据，并且将所提取的数据作为接收数据提供给图像解码单元22和内插数据存储单元23。接收数据划分单元21还分析从物理层Rx 20提供的分组，并且根据诸如路由表格的信息，提取作为需要被传送到另一终端的数据的传输数据。接收数据划分单元21将传输数据提供给传送存储器13。接收数据划分单元21还从分组提取传送/接收控制单元14所需的信息，并且将提取的信息提供给传送/接收控制单元14。图像解码单元22针对每个场或者每个场集合分析从接收数据划分单元21提供的接收数据，并且将分析结果提供给图像数据输入切换单元24。图像解码单元22还分析接收数据，并且根据分配给接收数据中包含的图像数据的场编号，识别待再现的接收数据。图像解码单元22将待再现接收数据提供给图像数据输入切换单元24。内插数据存储单元23存储从接收数据划分单元21提供的接收数据作为内插数据。基于从图像解码单元22提供的分析结果，图像数据输入切换单元24选择从图像解码单元22提供的接收数据或者内插数据存储单元23中存储的内插数据。图像数据输入切换单元24随后将所选择的图像数据或内插数据提供给接收数据解码单元25。这里，由于如上文所述针对每个帧集合或者针对每个场获得分析结果，因此图像数据输入切换单元24使用的最短选择切换单位是场。因此，在用于使帧或场相关的MPEG中，需要长的时间段来切换解码图像。接收数据解码单元25按MPEG4或JPEG2000对从图像数据输入切换单元24提供的接收数据或内插数据解码，并且将得到的图像数据提供给图像应用管理单元11。接收数据解码单元25被设计为仅以长度等于场或更长的间隔重新初始化。现在描述图I中所示的通信终端装置10的基本操作。在接收时，从在通信的另一端的传送器站传送的数据由天线19、传送/接收切换单元18和物理层Rx 20接收，并且接收数据划分单元21提取包含图像应用管理单元11所需的图像数据的接收数据。图像解码单元22分析分离的接收数据，并且如果例如没有错误，则由接收数据解码单元25解码。另一方面，如果存在错误，则内插数据存储单元23中存储的内插数据，而非接收数据，由接收数据解码单元25解码。在图像应用管理单元11的控制下，解码图像数据被输出到诸如显示器的显示单元(未示出)。在本文中，“错误”不仅包 括数据错误，而且包括丢失数据。在传送时，从图像应用管理单元11提供待传送的图像数据，该图像数据由传送数据压缩单元12压缩，并且被存储到传送存储器13中。读取所存储的图像数据并且传送数据生成单元15使其变成传送分组，并且经由物理层Tx 17、传送/接收切换单元18和天线19传送到在通信的另一端的传送器站。引用文献列表专利文献专利文献I :日本专利申请公布第2007-311948号专利文献2 :日本专利申请公布第2008-28541号专利文献3 :日本专利申请公布第2008-42222号专利文献4 :日本专利申请公布第2009-278545号专利文献5 :日本专利第3617087号

发明内容
本发明要解决的问题如上文所述，专利文献I中公开的通信装置对由基于行的编解码器压缩的通信数据的每个行块适当地执行数据间隙内插操作。因此，可以以低延迟再现高质量图像。然而，专利文献I中公开的通信装置被设计用于二维图像通信，并且不能应对立体图像通信。具体地，在通信对象是由不同相机拍摄的左眼用图像和右眼用图像形成的立体图像的情况下，接收侧需要执行左眼用图像和右眼用图像之间的相聚焦，并且针对行故障采取措施。更具体地，在形成立体图像的左眼用图像和右眼用图像通过彼此不同的通道传送时，左眼用图像和右眼用图像之间的延迟时间和错误数目不同。再者，在左眼用图像和右眼用图像之一中已出现错误的情况下，丧失来自接收图像的立体效果。结果，立体效果的存在在时间轴方向上变化，使用户有不愉快的感受。因此，在接收侧，有必要识别左眼用图像和右眼用图像中的每个的延迟时间和错误数目，并且在每个编码操作中执行管理延迟时间和错误数目的操作。
然而，专利文献I中公开的通信装置未被设计用于这些操作。因此，在接收侧难于以低延迟再现高质量立体图像。考虑到这些 环境实现了本技术，并且其目的在于实现高质量立体图像的低延迟再现。对问题的解决方案本技术的一个方面的信息处理装置包括接收单元，其以行块为单位接收多视点图像数据，多视点图像数据由基于行的编解码器编码并且形成立体图像数据；存储单元，其存储内插数据，内插数据是接收单元接收到的多视点图像数据；以及图像输出单元，当接收单元接收到的预定量的多视点图像数据中的至少一个视点的图像数据中的错误数目等于或大于第一阈值时，其输出与预定量的多视点图像数据对应的预定量的内插数据，预定量的内插数据存储在存储单元中，预定量的内插数据中的错误数目小于第二阈值。本技术的一个方面的信息处理方法与本技术的上述一个方面的信息处理装置兼容。在本技术的一个方面，控制以行块为单位的多视点图像数据的接收，多视点图像数据由基于行的编解码器编码并且形成立体图像数据。将接收到的多视点图像数据作为内插数据存储到存储单元中。在预定量的接收到的多视点图像数据中的至少一个视点的图像数据中的错误数目等于或大于第一阈值的情况下，输出预定量的内插数据，预定量的内插数据与预定量的多视点图像数据对应，存储在存储单元中，并且具有小于第二阈值的错误数目。本发明的效果根据本技术的一个方面，可以以低延迟再现高质量立体图像。


图I是示出传统的通信终端装置的示例结构的框图。图2是示出被应用本技术的通信系统的第一实施例的示例结构的框图。图3是示出图2中所示的中继设备的示例结构的框图。图4是示出图3中所示的传送数据压缩单元的示例结构的框图。图5是示出图4中所示的小波变换单元的示例结构的框图。图6是示出系数数据的示图。图7是示出接收数据的数据格式的示图。图8是示出图3中所示的基于行的内插单元的示例结构的框图。图9是示出管理表格的示例的示图。图10是用于解释管理表格更新操作的流程图。图11是用于解释内插数据存储操作的流程图。图12是用于解释内插数据读取操作的流程图。图13是用于解释切换操作的流程图。图14是用于解释内插数据存储操作的另一示例的流程图。图15是用于解释内插数据读取操作的另一示例的流程图。图16是示出被应用本技术的通信系统的第二实施例的示例结构的框图。
图17是示出图16中所示的成像设备的示例结构的框图。图18是用于解释编码控制操作的流程图。图19是示出图16中所示的中继设备122的示例结构的框图。图20是 示出图19中所示的基于行的内插单元的示例结构的框图。图21是用于解释内插数据读取操作的流程图。图22是示出被应用本技术的通信系统的第三实施例的示例结构的框图。图23是示出图22中所示的中继设备的示例结构的框图。图24是示出图23中所示的基于行的内插单元的示例结构的框图。图25是用于解释音频处理操作的流程图。图26是示出图3中所示的基于行的内插单元的另一示例结构的框图。图27是用于解释场景改变操作的流程图。图28是示出图3中所示的基于行的内插单元的又一示例结构的框图。图29是示出管理表格的示例的示图。图30是用于解释切换操作的流程图。图31是示出计算机的实施例的示例结构的示图。
具体实施例方式<第一实施例>[通信系统的第一实施例的示例结构]图2是示出被应用本技术的通信系统的第一实施例的示例结构的框图。图2中的通信系统30由两个成像设备31A和31B以及中继设备32形成。通信系统30的成像设备31A由例如视频相机形成。成像设备31A对物体成像，并且通过基于行的编解码器压缩得到的图像数据。成像设备31A将压缩的图像数据作为立体图像数据中的左眼用图像数据(以下称为L图像数据)无线地传送到中继设备32。成像设备31A还无线地接收从中继设备32传送的图像数据。通信系统30的成像设备31B由例如视频相机形成。成像设备31B从与成像设备31A的视点不同的视点对物体成像，并且通过基于行的编解码器压缩得到的图像数据。成像设备31B将压缩的图像数据作为立体图像数据中的右眼用图像数据(以下称为R图像数据)无线地传送到中继设备32。成像设备31B还无线地接收从中继设备32传送的图像数据。成像设备31A和成像设备31B不一定是视频相机，并且可以是具有成像功能的其他设备，诸如数字静态相机、PC、便携式电话设备或游戏机。在下文中，除非需要具体地彼此区分，否则成像设备31A和成像设备31B将被共同称为成像设备31。中继设备32由例如PC形成。中继设备32无线地接收从成像设备31A传送的L图像数据和从成像设备31B传送的R图像数据。中继设备32通过与基于行的编解码器兼容的技术对接收到的L图像数据和R图像数据解码，并且基于作为解码结果获得的L图像数据和R图像数据，在显示立体图像之前，校正相机之间的色偏移和微小的光轴偏移。中继设备32还向成像设备31传送预定的图像数据。可以使成像设备31和中继设备32以对等方式操作，或者可以使它们作为网络的一部分而操作。
[中继设备的示例结构]图3是示出图2中所示的中继设备32的示例结构的框图。在图3中所示的结构中，与图I中的部件相同的部件由与图I中的附图标记相同的附图标记表示。将不再重复已进行的解释。图3的中继设备32的结构与图I的结构的不同之处主要在于，传送数据压缩单元12被替换为传送数据压缩单元40，接收数据划分单元21被替换为接收数据划分单元41，图像解码单元22、内插数据存储单元23和图像数据输入切换单元24被替换为基于行的内插单元42，并且接收数据解码单元25被替换为接收数据解码单元43。中继设备32接收来自成像设备31A的通过基于行的编解码器压缩的每个行块的L图像数据的分组，并且接收来自成像设备31B的R图像数据的分组。基于这些分组，显示立体图像。
具体地，中继设备32的传送数据压缩单元40以预定编码率通过基于行的编解码器压缩从图像应用管理单元11提供的图像数据，以减少图像数据的数据量。如同图I的传送数据压缩单元12，传送数据压缩单元40随后将经压缩的图像数据输出到传送存储器13。接收数据划分单元41分析从物理层Rx 20提供的分组，提取包含图像应用管理单元11所需的基于行块的图像数据的数据，并且将所提取的数据作为接收数据提供给基于行的内插单元42。如同图I的接收数据划分单元21，接收数据划分单元41还分析从物理层Rx 20提供的分组，并且根据诸如路由表格的信息，提取需要传送到另一终端的传输数据。如同接收数据划分单元21，接收数据划分单元41将传输数据提供给传送存储器13。如同接收数据划分单元21，接收数据划分单元41进一步从分组提取传送/接收控制单元14所需的信息，并且将所提取的信息提供给传送/接收控制单元14。基于行的内插单元42对从接收数据划分单元41提供的接收数据执行内插操作。具体地，基于行的内插单元42向接收数据解码单元43提供作为从接收数据划分单元41提供的接收数据的经内插的数据，或者作为内插数据存储的接收数据。后面将参照图8详细描述基于行的内插单元42。接收数据解码单元43通过与基于行的编解码器兼容的技术对从基于行的内插单元42提供的经内插的数据解码，并且将得到的图像数据提供给图像应用管理单元11。接收数据解码单元43进一步确定经内插的数据中的间隙比。具体地，接收数据解码单元43确定间隙比，该间隙比是作为经内插的数据的L图像数据和R图像数据中的每个中包含的强制解码数据(伪数据)的出现频率。强制解码数据是置于经内插的数据的错误部分中的数据。接收数据解码单元43向基于行的内插单元42提供包含间隙比以及分配给当前正被解码的行块的行块编号的解码信息。除以下不同之处外，成像设备31A和成像设备31B的结构与中继设备32的结构相同不包括基于行的内插单元42，或者基于行的内插单元42被专利文献I中公开的基于行的内插单元替换。因此,这里跳过了这些结构的解释。[传送数据压缩单元的示例结构]图4是示出图3的传送数据压缩单元40的示例结构的框图。如图4中所示,传送数据压缩单元40包括小波变换单元51、中间计算缓冲单元52、系数重排缓冲单元53、系数重排单元54、量化单元55和熵编码单元56。
输入到传送数据压缩单元40的图像数据经由小波变换单元51被临时存储到中间计算缓冲单元52中。小波变换单元51对中间计算缓冲单元52中存储的图像数据执行小波变换。后面将详细描述小波变换单元51。小波变换单元51将通过小波变换获得的系数数据提供给系数重排缓冲单元53。系数重排单元54按预定顺序(例如，小波逆变换顺序)从系数重排缓冲单元53读取系数数据，并且将读取的系数数据提供给量化单元55。量化单元55通过预定技术对所提供的系数数据进行量化，并且将得到的系数数据提供给熵编码单元56。熵编码单元56通过诸如Huffman编码或算术编码的预定熵编码技术对所提供的系数数据编码。熵编码单元56将得到的数据作为经压缩的图像数据提供给传送存储器13(图 3)。 [小波变换单元的描述]图5是示出图4中所示的小波变换单元51的示例结构的框图。在图5中所示的示例中，小波变换中的级数目是3 (级I至级3)，并且小波变换单元51将图像数据分成低分量和高分量，并且进一步以分级方式仅对低分量进行划分。为了简化，图5示出了对一维图像数据(例如，图像数据的水平分量)执行小波变换的框。然而，这些框可以扩展到二维的框，以应对二维图像数据(图像数据的竖直分量和水平分量)。级I电路单元61包括低通滤波器71、下采样器72、高通滤波器73和下采样器74。级2电路单元包括低通滤波器81、下采样器82、高通滤波器83和下采样器84。级3电路单元包括低通滤波器91、下采样器92、高通滤波器93和下采样器94。从图4的中间计算缓冲单元52读取的图像数据经历电路单元61的低通滤波器71(传输函数HO (z))和高通滤波器73 (传输函数Hl (z))的频带划分。通过低通滤波器71的频带划分获得的低分量被提供给下采样器72，并且通过高通滤波器73的频带划分获得的高分量被提供给下采样器74。每个分量的分辨率削减1/2。通过下采样器72削减的低分量(图中的L (低)分量)的信号进一步经历电路单元62的低通滤波器81 (传输函数HO (Z))和高通滤波器83 (传输函数Hl (z))的频带划分。通过低通滤波器81的频带划分获得的低分量被提供给下采样器82，并且通过高通滤波器83的频带划分获得的高分量被提供给下采样器84。每个分量的分辨率削减1/2。通过下采样器82削减的低分量(图中的LL分量)的信号进一步经历电路单元63的低通滤波器91 (传输函数HO (Z))和高通滤波器93 (传输函数Hl (Z))的频带划分。通过低通滤波器91的频带划分获得的低分量被提供给下采样器92，并且通过高通滤波器93的频带划分获得的高分量被提供给下采样器94。每个分量的分辨率削减1/2。由于以上述方式对低分量重复执行频带划分和削减，执行次数等于级数目，因此低分量被分级成与数目与级数目相同的分级分量。就是说，在图5中所示的示例中，频带划分仅执行三次，这等于级数目。结果，通过下采样器74削减的低分量(图中的L分量)被分级成三个分级分量，即通过下采样器84削减的高分量(图中的LH分量)、通过下采样器94削减的高分量(图中的LLH分量)和通过下采样器92削减的低分量(图中的LLL分量)通过下采样器74削减的高分量(图中的H (高)分量)保持作为分级分量。分级中的H分量、LH分量、LLH分量和LLL分量作为系数数据被输出到系数重排缓冲单元54 (图4)。图6是示出作为对高达级3的二维图像数据执行小波变换的结果而获得的系数数据的示图。图6中的L和H的标记不同于关于一维图像数据的图5中的L和H的标记。在图6中所示的示例中，对图像数据的水平分量和竖直分量执行频带划分，并且因此，需要示出水平分量和竖直分量两者的频带分量。因此，在图6中连续地示出了水平分量和竖直分量的两个频带分量。例如，“HH”意指水平分量和竖直分量的频带分量是H分量，并且“HL”意指水平分量的频带分量是H分量并且竖直分量的频带分量是L分量。再者，“LLLH”意味着水平分量是LL分量，并且竖直分量是LH分量。如图6中所示，在级I的水平分量和竖直分量的频带划分中，首先生成了四个分量，即LL分量、LH分量、HL分量和HH分量。在级2的水平分量和竖直分量的频带划分中， LL分量再次经历频带划分，并且生成了 LLLL分量、LLHL分量、LLLH分量和LLHH分量。此夕卜，在级3的水平分量和竖直分量的频带划分中，LLLL分量再次经历频带划分，并且生成了LLLLLL分量、LLLLHL分量、LLLLLH分量和LLLLHH分量。在下文中，通过频带划分获得的每一个分量将被称为子带。在基于行的编解码器中，生成最低分量子带(图6中所示的示例中的LLLLLL分量、LLLLHL分量、LLLLLH分量和LLLLHH分量)的一个行的系数数据所需的行数目的图像数据被设定为行块，并且针对每个行块生成系数数据。由于如上文所述在每级使分辨率削减1/2，因此在划分级的数目是例如N的情况下，构成行块的行数目是2的N次幂。在划分级的数目是例如4的情况下，构成行块的行数目是16，其是2的4次幂。在小波变换操作中，可以根据各种渐进编码类型执行分级编码(渐进编码)，渐进编码类型不仅包括根据频率的渐进编码，而且包括根据空间分辨率的渐进编码、根据SNR(信噪比)或图像质量的渐进编码、或者根据色分量(RGB或YCbCr)的渐进编码。该渐进编码常用于经由互联网等的图像分送，并且实现了步进的编码和显示操作，其中例如首先从解码侧输出粗图像数据，并且随后输出用于显示的细图像。例如，接收数据解码单元43首先对低分量的接收数据解码，使显示器(未示出)在短时间段中显示粗的、示意性立体图像，随后对高分量的接收数据解码，并且使显示器逐渐显示细立体图像。[接收数据的数据格式的描述]图7是示出从成像设备31接收到的接收数据的数据格式的示图。如图7中所示，接收数据由图像数据以及与图像数据对应的行块编号、通道编号和子带编号形成。行块编号是用于识别图像中的行块的编号。通道编号是用于识别接收数据的通道的编号。分配给L图像数据的通道编号不同于分配给R图像数据的通道编号。因此，通过检测接收数据中的通道编号，可以确定接收数据中包含的图像数据是L图像数据还是R图像数据。此外，子带编号是用于识别子带的编号。[基于行的内插单元的示例结构]图8是示出图3中所示的基于行的内插单元42的示例结构的框图。
在图中，带虚线的箭头指示控制信号流，并且带实线的箭头指示信号流。图8的基于行的内插单元42包括接收数据分析单元101、数据存储单元102、L图像数据输出管理单元103、R图像数据输出管理单元104、基于行的多数据链路管理单元105和图像数据输入切换单元106 (图像输出单元)。基于行的内插单元42的接收数据分析单元101存储从图3的接收数据划分单元41提供的接收数据。接收数据分析单元101也分析接收数据，以识别接收数据中包含的行块编号。接收数据分析单元101进一步分析接收数据，并且基于接收数据中包含的通道编号，确定接收数据中包含的图像数据是L图像数据还是R图像数据。接收数据分析单元101分析接收数据，检测接收数据中的分组错误的数目以及接收数据的到达时间。在接收数据中包含的图像数据是L图像数据的情况下，接收数据分析单元101向L图像数据输出管理单元103提供包含接收数据的行块编号、分组错误数目和到达时间的L图像数据信息。另一方面，在接收数据中包含的图像数据是R图像数据的情况下，接收数据分析单元101向R图像数据输出管理单元104提供包含接收数据的行块编号、分组错误数 目和到达时间的R图像数据信息。此外，接收数据分析单元101读取包含具有由L图像数据输出管理单元103指定的行块编号的L图像数据的接收数据，并且还读取包含具有由R图像数据输出管理单元104指定的行块编号的R图像数据的接收数据。在所读取的图像数据中包含的L图像数据和R图像数据的至少一个行块中存在错误的情况下，接收数据分析单元101将强制解码数据插入到L图像数据或R图像数据的一部分中，该部分对应于错误部分。接收数据分析单元101随后向图像数据输入切换单元106提供被插入强制解码数据的接收数据。例如通过利用图像滤波器从与前后的行块高度相关的图像数据获得估值，可以生成强制解码数据，或者强制解码数据可以是中间颜色的图像数据。数据存储单元102由用于存储一个场的图像数据的接收数据存储单元111和内插数据存储单元112形成。接收数据存储单元111由例如具有停止功能的缓冲器形成。基于来自L图像数据输出管理单元103的指令和来自R图像数据输出管理单元104的指令，接收数据存储单元Π1存储来自接收数据划分单元41的接收数据或者停止存储。在一个场的接收数据被存储到接收数据存储单元111中的情况下，内插数据存储单元112读取并且存储一个场的接收数据。内插数据存储单元112从所存储的接收数据读取包含L图像数据输出管理单元103指定的行块编号的接收数据以及包含R图像数据输出管理单元104指定的行块编号的接收数据。内插数据存储单元112随后将所读取的接收数据作为内插数据提供给图像数据输入切换单元106。L图像数据输出管理单元103将从接收数据分析单元101提供的L图像信息提供给基于行的多数据链路管理单元105。基于来自基于行的多数据链路管理单元105的指令，L图像数据输出管理单元103还指令数据存储单元102执行存储。根据来自基于行的多数据链路管理单元105的指令，L图像数据输出管理单元103进一步指令数据存储单元102和接收数据分析单元101将预定的行块编号当做当前正被读取的对象的行块编号。R图像数据输出管理单元104将从接收数据分析单元101提供的R图像信息提供给基于行的多数据链路管理单元105。基于来自基于行的多数据链路管理单元105的指令，R图像数据输出管理单元104还指令数据存储单元102执行存储。根据来自基于行的多数据链路管理单元105的指令，R图像数据输出管理单元104进一步指令数据存储单元102和接收数据分析单元101将预定的行块编号当做当前正被读取的对象的行块编号。基于行的多数据链路管理单元105基于场存储并且管理用于管理L图像信息和R图像信息的管理表格。基于行的多数据链路管理单元105在管理表格中登记从L图像数据输出管理单元103提供的L图像信息和从R图像数据输出管理单元104提供的R图像信息。基于管理表格，基于行的多数据链路管理单元105还指令图像数据输入切换单元106以行块为单位执行选择。基于从图3的接收数据解码单元43提供的解码信息，基于行的多数据链路管理单元105还指令L图像数据输出管理单元103和R图像数据输出管理单元104执行读取。例如，基于管理表格，基于行的多数据链路管理单元105进一步指令L图像数据输出管理单元103和R图像数据输出管理单元104执行存储。
根据来自基于行的多数据链路管理单元105的指令，图像数据输入切换单元106选择从接收数据分析单元101提供的接收数据或者从数据存储单元102提供的内插数据，并且将所选择的数据作为经内插的数据输出到图3的接收数据解码单元43。接收数据分析单元101和数据存储单元102中存储的接收数据可以是所有子带的接收数据，或者可以是从最低分量起计数的若干子带的接收数据。在后者的情况下，存储接收数据所需的存储容量可以是小的。再者，在基于经内插的数据显示的图像中能够使得难于注意到分组错误。[管理表格的示例]图9是示出管理表格的示例的示图。如图9中所示，管理表格包含如下项“行块编号”、“L的到达时间”、“R的到达时间”、“到达时间阈值(第三阈值)”、“L中的分组错误数目”、“R中的分组错误数目”、“分组错误数目阈值(第一阈值)”和“输出”。针对每个场中的每个行块登记关于各项的信息。在图9中所示的示例中，作为关于在预定场中具有行块编号“I”的行块的信息，“ I ”被登记并且与项“行块编号”相关联。与项“L的到达时间”相关联，具有行块编号“ I ”的行块中的L图像数据的到达时间“10”被登记。再者，与项“R的到达时间”相关联，具有行块编号“ I ”的行块中的R图像数据的到达时间“ 12”被登记。与项“到达时间阈值”相关联，到达时间阈值“13”被登记。再者，与项“L中的分组错误数目”相关联，具有行块编号“I”的行块中的L图像数据中的分组错误数目“2”被登记。与项“R中的分组错误数目”相关联，具有行块编号“ I ”的行块中的R图像数据中的分组错误数目“O”被登记。此外，分组错误数目阈值“2”与项“分组错误数目阈值”相关联。作为与项“输出”相关联的信息，指示待输出到图3的接收数据解码单元43的数据或者由图像数据输入切换单元106选择的数据的信息被登记。具体地，在L图像数据和R图像数据的到达时间和分组错误数目小于阈值的情况下，“接收数据”被登记。在其他的情况下，“内插数据”被登记。例如，具有行块编号“I”的行块中的L图像数据和R图像数据中的每个的到达时间的值小于到达时间阈值“13”，但是L图像数据中的分组错误数目等于或大于分组错误数目阈值“2”。因此“内插数据”被登记为与行块编号“ I ”的项“输出”相关联的信息。与项“到达时间阈值”和“分组错误数目阈值”相关联的信息可以被预先登记，或者可以根据来自用户的指令被登记。[中继设备的操作的描述]图10是用于解释由图3的中继设备32执行的管理表格更新操作的流程图。在图10的步骤SlO中，物理层控制单元16控制物理层Rx 20 (接收单元)的分组接收。结果，经由天线19、传送/接收切换单元18和物理层Tx 17接收从成像设备31传送的分组，并且将其提供给接收数据划分单元41。在步骤S11，接收数据划分单元41分析接收到的分组，提取包含图像应用管理单元11所需的基于行块的图像数据的数据，并且将所提取的数据作为接收数据提供给基于行的内插单元42。·在步骤S12中，基于行的内插单元42的接收数据分析单元101和数据存储单元102 (图8)获得从接收数据划分单元41提供的接收数据。接收数据分析单元101随后存储接收数据。在步骤S13中，接收数据分析单元101分析接收数据。结果，接收数据分析单元101识别接收数据中的行块编号，并且确定接收数据中包含的图像数据是L图像数据还是R图像数据。接收数据分析单元101检测接收数据中的分组错误数目以及接收数据的到达时间。在图像数据是L图像数据的情况下，接收数据分析单元101经由L图像数据输出管理单元103将包含接收数据的行块编号、分组错误数目和到达时间的L图像数据信息提供给基于行的多数据链路管理单元105。另一方面，在图像数据是R图像数据的情况下，接收数据分析单元101经由R图像数据输出管理单元104将接收数据的行块编号、分组错误数目和到达时间提供给基于行的多数据链路管理单元105。在步骤S14中，基于从L图像数据输出管理单元103提供的L图像数据信息和从R图像数据输出管理单元104提供的R图像数据信息，基于行的多数据链路管理单元105更新管理表格。随后操作结束。图11是用于解释图3的中继设备32执行的内插数据存储操作的流程图。内插数据存储操作针对各个行块，并且对每个行块执行。在步骤S21中，基于行的多数据链路管理单元105引用管理表格，以确定在当前行块中的L图像数据和R图像数据两者中是否已出现错误。具体地，基于行的多数据链路管理单元105确定与分配给当前行块的行块编号相关联的项“L中的分组错误数目”和“R中的分组错误数目”所对应的值是否小于管理表格中的预定阈值(第二阈值)。该阈值可以与对应于项“分组错误数目阈值”的值相同或不同。如果确定与项“L中的分组错误数目”对应的值和与“R中的分组错误数目”对应的值两者小于预定阈值，则基于行的多数据链路管理单元105确定在当前行块中的L图像数据和R图像数据两者中没有出现错误。如果确定与项“L中的分组错误数目”对应的值和与“R中的分组错误数目”对应的值中的至少一个等于或大于预定阈值，则基于行的多数据链路管理单元105确定在当前行块中的L图像数据和R图像数据中的至少一个中已出现错误。
如果在步骤S21中确定在当前行块中的L图像数据和R图像数据两者中没有出现错误，则操作前往步骤S22。在步骤S22中，基于行的多数据链路管理单元105引用管理表格，以确定当前行块中的L图像数据和R图像数据两者是否存在。具体地，基于行的多数据链路管理单元105确定分配给当前行块的行块编号相关联的项“L的到达时间”和“R的到达时间”所对应的值是否小于管理表格中的预定阈值(第四阈值)。该阈值可以与对应于项“到达时间阈值”的值相同或不同。如果确定与项“L的到达时间”对应的值和与“R的到达时间”对应的值两者小于预定阈值，则基于行的多数据链路管理单元105确定当前行块中的L图像数据和R图像数据两者存在。如果确定与项“L的到达时间”对应的值和与“R的到达时间”对应的值中的至少一个等于或大于预定阈值，则基于行的多数据链路管理单元105确定当前行块中的L图像数据和R图像数据中的至少一个不存在。·如果在步骤S22中确定当前行块中的L图像数据和R图像数据两者存在，则基于行的多数据链路管理单元105指令L图像数据输出管理单元103和R图像数据输出管理单元104存储当前行块。结果，L图像数据输出管理单元103和R图像数据输出管理单元104均指令接收数据存储单元111存储当前行块。在步骤S23中，根据来自L图像数据输出管理单元103和R图像数据输出管理单元104的指令，接收数据存储单元111存储当前行块的L图像数据和R图像数据作为内插数据。如果内插数据中的分组错误数目不是0，则可以按照与接收数据分析单元101的操作中相同的方式将强制解码数据插入到内插数据中。在步骤S24中，内插数据存储单元112确定一个场的行块的L图像数据和R图像数据是否已被存储在接收数据存储单元111中。如果在步骤S24中确定一个场的行块的L图像数据和R图像数据已被存储，则操作前往步骤S25，并且内插数据存储单元112存储作为接收数据存储单元111中存储的一个场的行块的L图像数据和R图像数据的内插数据。随后操作结束。如果在步骤S24中确定一个场的行块的L图像数据和R图像数据未被存储在接收数据存储单元111中，则操作结束。如果在步骤S21中确定在当前行块中的L图像数据和R图像数据中的至少一个中已出现错误，或者如果在步骤S22中确定当前行块中的L图像数据和R图像数据中的至少一个不存在，则不存储当前行块的L图像数据和R图像数据，并且操作结束。在上述内插数据存储操作中，如果在L图像数据和R图像数据中的至少一个中已出现错误，或者如果L图像数据和R图像数据中的至少一个不存在，则L图像数据和R图像数据均没有作为内插数据被存储。因此，所存储的内插数据与L图像数据和R图像数据同步。结果，即使内插数据而非接收数据被解码，仍不会不利地影响再现图像的立体效果。就是说，在没有立体效果的任何劣化的情况下，可以再现高质量立体图像。图12是用于解释图3的中继设备32执行的内插数据读取操作的流程图。例如，当图3的接收数据解码单元43开始解码操作时，该内插数据读取操作开始。在图12的步骤S31中，基于行的多数据链路管理单元105从接收数据解码单元43获得解码息。
在步骤S32中，基于行的多数据链路管理单元105确定解码信息中包含的L图像数据中的间隙比和R图像数据中的间隙比中的至少一个是否高于阈值。作为阈值，预先设定适用于中继设备32的值。如果在步骤S32中确定L图像数据中的间隙比和R图像数据中的间隙比中的至少一个高于阈值，则操作前往步骤S33，并且基于行的多数据链路管理单元105识别解码信息中包含的、被分配给当前正被解码的行块的行块编号。基于行的多数据链路管理单元105随后经由L图像数据输出管理单元103和R图像数据输出管理单元104向内插数据存储单元112通知行块编号。在步骤S34中，内插数据存储单元112读取具有由L图像数据输出管理单元103和R图像数据输出管理单元104指定的行块编号的行块的内插数据，并且将内插数据提供给图像数据输入切换单元106。随后操作结束。如果在步骤S32中确定L图像数据中的间隙比和R图像数据中的间隙比两者均不高于阈值，则操作结束。 图13是用于解释图3的中继设备32执行的切换操作的流程图。在图13的步骤S41中，基于行的多数据链路管理单元105引用管理表格，以确定当前行块中的L图像数据中的分组错误数目和R图像数据中的分组错误数目两者是否均小于阈值。具体地，基于行的多数据链路管理单元105确定与分配给当前行块的行块编号相关联的项“L中的分组错误数目”所对应的值和项“R中的分组错误数目”所对应的值两者是否均小于与管理表格中的项“分组错误数目阈值”对应的阈值。如果在步骤S41中确定L图像数据中的分组错误数目和R图像数据中的分组错误数目两者均小于阈值，则操作前往步骤S42。在步骤S42中，基于行的多数据链路管理单元105引用管理表格，以确定当前行块中的L图像数据的到达时间值和R图像数据的到达时间值两者是否均小于阈值。具体地，基于行的多数据链路管理单元105确定与分配给当前行块的行块编号相关联的项“L的到达时间”所对应的值和项“R的到达时间”所对应的值两者是否均小于与管理表格中的项“到达时间阈值”对应的阈值。如果在步骤S42中确定L图像数据的到达时间值和R图像数据的到达时间值两者均小于阈值，则基于行的多数据链路管理单元105指令图像数据输入切换单元106选择接收数据。在步骤S43中，图像数据输入切换单元106输出从接收数据分析单元101接收到的接收数据，并且操作结束。如果在步骤S41中确定L图像数据中的分组错误数目和R图像数据中的分组错误数目中的至少一个不小于阈值，或者如果在步骤S42中确定L图像数据的到达时间值和R图像数据的到达时间值中的至少一个不小于阈值，则基于行的多数据链路管理单元105指令图像数据输入切换单元106选择内插数据。在步骤S44中，图像数据输入切换单元106输出从内插数据存储单元112接收的内插数据，并且操作结束。在上述切换操作中，可以以行块为单位在接收数据和内插数据之间切换待解码数据。因此，即使在位于一个场的中间的行块中出现错误，仍可以将内插数据用于该行块，并且可以提高再现图像的稳定性。
在将内插数据用于位于一个场的中间的行块的情况下，仅根据一个场中的预定行块的图像对应于前一场中的行块，但是只要视频图像具有24P或更长的场或帧间隔，在显示方面就不会有问题，。然而，显示问题取决于通信系统30中所需的规格，并且通信系统30中的场或帧间隔不一定是24P或更长。[中继设备的其他示例操作的描述]图14是用于解释图3的中继设备32执行的内插数据存储操作的另一示例的流程图。内插数据存储操作针对各个行块，并且对每个行块执行。在图14的内插数据存储操作中，所有接收数据被存储到图8的接收数据存储单元111 中。具体地，在图14的步骤S51中，基于从基于行的多数据链路管理单元105经由L图像数据输出管理单元103和R图像数据输出管理单元104提供的对象行块存储指令，接 收数据存储单元111存储当前行块的L图像数据和R图像数据。步骤S52和S53中的处理与图11的步骤S24和S25中的处理相同，并且因此，这里不再重复对它们的解释。图15是用于解释在执行图14的内插数据存储操作的情况下执行的内插数据读取操作的流程图。当例如图3的接收数据解码单元43开始解码操作时，该内插数据读取操作开始。在图15的内插数据读取操作中，仅当当前正被解码的行块中的L图像数据和R图像数据中的分组错误数目以及L图像数据的到达时间值和R图像数据的到达时间值小于阈值时，读取内插数据。具体地，在图15的步骤S71和S72中，执行与图12的步骤S31和S32中的处理相同的处理。在步骤S73中，基于行的多数据链路管理单元105识别解码信息中包含的、被分配给当前正被解码的行块的行块编号。在步骤S74中，如同图11的步骤S21中的处理，基于行的多数据链路管理单元105引用管理表格，以确定在当前正被解码的行块中的L图像数据和R图像数据两者中是否已出现错误。如果在步骤S74中确定在当前正被解码的行块中的L图像数据和R图像数据两者中没有出现错误，则操作前往步骤S75。在步骤S75中，如同图11的步骤S22中的处理，基于行的多数据链路管理单元105引用管理表格，以确定当前正被解码的行块中的L图像数据和R图像数据两者是否存在。如果在步骤S75中确定当前正被解码的行块中的L图像数据和R图像数据两者存在，则基于行的多数据链路管理单元105经由L图像数据输出管理单元103和R图像数据输出管理单元104向内插数据存储单元112通知在步骤S73中识别的行块编号。操作随后前往步骤S76。在步骤S76中，内插数据存储单元112读取具有由L图像数据输出管理单元103和R图像数据输出管理单元104指定的行块编号的行块的内插数据，并且将该内插数据提供给图像数据输入切换单元106。随后操作结束。如果在步骤S74中确定确定在当前正被解码的行块中的L图像数据和R图像数据中的至少一个中已出现错误，或者如果在步骤S75中确定当前正被解码的行块中的L图像数据和R图像数据中的至少一个不存在，则不读取当前正被解码的行块的L图像数据和R图像数据，并且操作结束。如上文所述，在通信系统30中，成像设备31通过基于行的编解码器对图像数据解码，并且传送图像数据。如果图像数据中的分组错误数目或者图像数据的到达时间值等于或大于阈值，则中继设备32不请求重新发送，而是利用内插数据执行内插。因此，中继设备32可以仅以短延迟再现立体图像数据。再者，由于成像设备31通过基于行的编解码器对图像数据解码并且传送图像数据，因此较之基于图片的编解码器，中继设备32中的解码操作所需的存储容量较小。在通信系统30中，如果作为接收数据的L图像数据中的分组错误数目和R图像数据中的分组错误数目两者，以及L图像数据的到达时间值和R图像数据的到达时间值两者均不小于阈值，则中继设备32再现内插数据而非接收数据，在内插数据中L图像数据中的分组错误数目和R图像数据中的分组错误数目两者以及L图像数据的到达时间值和R图像数据的到达时间值两者均小于阈值。因此，即使在通信环境恶劣使得传送侧的立体图像数据由于传送路径中的不稳定性不能全部到达接收侧，或者传送路径中的延迟量大的情况 下，仍可以再现高质量立体图像数据。如上文所述，通信系统30可以仅以短延迟再现高质量立体图像数据。因此，通信系统30适用于在实况广播中至关重要的实时图像的高速切换操作。〈第二实施例〉[通信系统的第二实施例的示例结构]图16是示出被应用本技术的通信系统的第二实施例的示例结构的框图。图16中的通信系统120由两个成像设备121A和121B以及中继设备122形成。如同图2的成像设备31A，通信系统120的成像设备121A由视频相机等形成。如同成像设备31A，成像设备121A对物体成像，并且通过基于行的编解码器压缩得到的图像数据。如同成像设备31A，成像设备121A将压缩的图像数据作为L图像数据无线地传送到中继设备122。成像设备121A还无线地接收从中继设备122传送的图像数据、用于请求编码率改变的命令(以下称为改变请求命令)等。根据改变请求命令，成像设备121A改变编码率。如同图2的成像设备31B，通信系统120的成像设备121B由视频相机等形成。如同成像设备31B，成像设备121B从与成像设备121A的视点不同的视点对物体成像，并且通过基于行的编解码器压缩得到的图像数据。如同成像设备31B，成像设备121B将压缩的图像数据作为R图像数据无线地传送到中继设备122。成像设备121B还无线地接收从中继设备122传送的图像数据，改变请求命令等。根据改变请求命令，成像设备12IB改变编码率。在下文中，除非需要具体地彼此区分，否则成像设备121A和成像设备121B将被共同称为成像设备121。如同图2的中继设备32，中继设备122由例如PC形成。如同中继设备32，中继设备122无线地接收从成像设备121A传送的L图像数据和从成像设备121B传送的R图像数据。如同中继设备32，中继设备122通过与基于行的编解码器兼容的技术对接收到的L图像数据和R图像数据解码，并且基于作为解码结果获得的L图像数据和R图像数据，显示立体图像。
再者，基于接收到的L图像数据中的间隙比，中继设备122向成像设备121A传送改变请求命令。基于接收到的R图像数据中的间隙比，中继设备122向成像设备121B传送改变请求命令。如同中继设备32，中继设备122进一步向成像设备121传送预定的图像数据。可以使成像设备121和中继设备122以对等方式操作，或者可以使它们作为网络的一部分而操作。[成像设备的示例结构]图17是示出图16中所示的成像设备121的示例结构的框图。在图17中所示的结构中，与图I中的部件相同的部件由与图I中的附图标记相同的附图标记表示。将不再重复已进行的解释。
图17的成像设备121的结构与图I的结构的不同之处主要在于，传送数据压缩单元12被替换为传送数据压缩单元151,接收数据划分单元21被替换为接收数据划分单元152，未设置图像解码单元22、内插数据存储单元23和图像数据输入切换单元24，并且接收数据解码单元25被替换为接收数据解码单元153。成像设备121接收来自中继设备122的改变请求命令，并且根据该改变请求命令，
改变编码率。具体地，成像设备121的传送数据压缩单元151按预定编码率通过基于行的编解码器压缩从图像应用管理单元11提供的图像数据，以减少图像数据的数据量。传送数据压缩单元151随后将经压缩的图像数据输出到传送存储器13。传送数据压缩单元151还将图像数据压缩中的编码率更新为从接收数据划分单元152提供的编码率。接收数据划分单元152分析从物理层Rx 20提供的分组，提取包含图像应用管理单元11所需的基于行块的图像数据的数据，并且将所提取的数据作为接收数据提供给接收数据解码单元153。接收数据划分单元152分析从物理层Rx 20提供的分组，提取改变请求命令，并且将改变请求命令所请求的编码率提供给传送数据压缩单元151。如同图I的接收数据划分单元21，接收数据划分单元152还分析从物理层Rx 20提供的分组，并且根据诸如路由表格的信息，提取需要传送到另一终端的传输数据。如同接收数据划分单元21，接收数据划分单元152随后将传输数据提供给传送存储器13。如同接收数据划分单元21，接收数据划分单元152进一步从分组提取传送/接收控制单元14所需的信息，并且将所提取的信息提供给传送/接收控制单元14。接收数据解码单元153通过与基于行的编解码器兼容的技术对从接收数据划分单元152提供的接收数据解码，并且将得到的图像数据提供给图像应用管理单元11。在成像设备121中，上述专利文献I中公开的基于行的内插单元可以设置在接收数据划分单元152和接收数据解码单元153之间，使得对从中继设备122传送的图像数据执行内插操作。[成像设备的操作的描述]图18是用于解释图17中所示的成像设备121执行的编码控制操作的流程图。例如，当从图像应用管理单元11向传送数据压缩单元151提供图像数据时，该编码控制操作开始。在步骤SlOO中，传送数据压缩单元151初始化编码操作以按预定编码率通过基于行的编解码器压缩从图像应用管理单元11提供的图像数据，并且随后开始编码操作。在步骤SlOl中，接收数据划分单元152分析从物理层Rx 20提供的分组，并且确定是否已接收到改变请求命令。如果在步骤SlOl中确定已接收到改变请求命令，则接收数据划分单元152将由改变请求命令请求的编码率提供给传送数据压缩单元151。在步骤S102中，传送数据压缩单元151将从接收数据划分单元152提供的编码率设定为编码操作中的编码率。在步骤S103中，传送数据压缩单元151重置编码操作。结果，可以应对由编码率改变引起的输入时钟等的改变。在步骤S104中，传送数据压缩单元151按改变的编码率开始编码操作。操作随后前往步骤S105。 如果在步骤SlOl中确定未接收到改变请求命令，则操作前往步骤S105。在步骤S105中，传送数据压缩单元151确定例如，是否结束编码操作，或者是否没有从图像应用管理单元11提供更多的图像数据。如果在步骤S105中确定编码操作未结束，则操作返回步骤S101，并且重复步骤SlOl至S105中的处理，直至确定编码操作结束。如果在步骤S105中确定编码操作将结束，则传送数据压缩单元151结束编码操作。[中继设备的示例结构]图19是示出图16中所示的中继设备122的示例结构的框图。在图19中所示的结构中，与图3中的部件相同的部件由与图3中的附图标记相同的附图标记表示。将不再重复已进行的解释。图19的中继设备122的结构与图3的结构的不同之处主要在于，传送存储器13被替换为传送存储器171，并且基于行的内插单元42被替换为基于行的内插单元172。在中继设备122中，如同图I或3的传送存储器13，传送存储器171存储从传送数据压缩单元12输入的图像数据。如同传送存储器13，传送存储器171还存储从接收数据划分单元21提供的传输数据。传送存储器13还可以存储不会被传输到另一终端的数据。如同传送存储器13，传送存储器171还向传送/接收控制单元14通知数据存储状态。传送存储器171还存储从基于行的内插单元172为成像设备121A提供的改变请求命令以及为成像设备121B提供的改变请求命令。用于成像设备121A的改变请求命令如同图像数据和接收数据那样被提供给传送数据生成单元15，并且变为分组。随后经由物理层Tx 17、传送/接收切换单元18和天线19向成像设备121A提供改变请求命令。同样地，用于成像设备121B的改变请求命令被传送到成像设备121B。如同图3的基于行的内插单元42，基于行的内插单元172对从接收数据划分单元41提供的接收数据执行内插操作。基于从接收数据解码单元43提供的解码信息中包含的间隙比，基于行的内插单元172还生成用于成像设备121的改变请求命令，并且将改变请求命令提供给传送存储器171。后面将参照图20详细描述基于行的内插单元172。[基于行的内插单元的示例结构]图20是示出图19中所示的基于行的内插单元172的示例结构的框图。在图20中所示的结构中，与图8中的部件相同的部件由与图8中的附图标记相同的附图标记表示。将不再重复已进行的解释。
图20的基于行的内插单元172的结构与图8的结构的主要不同之处在于，基于行的多数据链路管理单元105和图像数据输入切换单元106被替换为基于行的多数据链路管理单元191和图像数据输入切换单元192，并且新添加了图像率改变请求单元193。在图20的基于行的内插单元172中，如同图8的基于行的多数据链路管理单元105，基于行的多数据链路管理单元191存储管理表格并且对其进行管理。如同基于行的多数据链路管理单元105，基于行的多数据链路管理单元191在管理表格中登记从L图像数据输出管理单元103提供的L图像信息和从R图像数据输出管理单元104提供的R图像信息。如同基于行的多数据链路管理单元105，基于行的多数据链路管理单元191还指令图像数据输入切换单元106根据管理表格以行块为单位执行选择。如同基于行的多数据链路管理单元105，基于行的多数据链路管理单元191还指令L图像数据输出管理单元103和R图像数据输出管理单元104基于从图19的接收数据解码单元43提供的解码信息来执行读取。如同基于行的多数据链路管理单元105，基于行的多数据链路管理单元191进一步指令L图像数据输出管理单元103和R图像数据输出管 理单元104基于例如管理表格来执行存储。基于解码信息，基于行的多数据链路管理单元191还指令图像数据输入切换单元192向成像设备121A和成像设备121B传送改变请求命令。如同图8的图像数据输入切换单元106，根据来自基于行的多数据链路管理单元105的指令，图像数据输入切换单元192选择从接收数据分析单元101提供的接收数据或者从数据存储单元102提供的内插数据，并且将所选择的数据作为经内插的数据提供给图19的接收数据解码单元43。根据来自基于行的多数据链路管理单元191的指令，图像数据输入切换单元192还指令图像率改变请求单元193向成像设备121A和成像设备121B传送改变请求命令。根据来自图像数据输入切换单元192的指令，图像率改变请求单元193生成关于成像设备121A和成像设备121B的改变请求命令，并且将改变请求命令传送到图19的传送存储器171。[中继设备的操作的描述]图21是用于解释图19的中继设备122执行的内插数据读取操作的流程图。例如，当图19的接收数据解码单元43开始解码操作时，该内插数据读取操作开始。在步骤S121中，基于行的多数据链路管理单元191从接收数据解码单元43获得
解码息。在步骤S122中，基于行的多数据链路管理单元191确定解码信息中包含的L图像数据中的间隙比和R图像数据中的间隙比中的至少一个是否高于阈值。就是说，基于行的多数据链路管理单元191确定作为经内插的数据的L图像数据中的分组错误数目和R图像数据中的分组错误数目中的至少一个是否大于预定阈值(第三阈值)。如果在步骤S122中确定L图像数据中的间隙比和R图像数据中的间隙比中的至少一个高于阈值，则操作前往步骤S123，并且基于行的多数据链路管理单元191识别解码信息中包含的、被分配给当前正被解码的行块的行块编号。基于行的多数据链路管理单元191随后经由L图像数据输出管理单元103和R图像数据输出管理单元104向内插数据存储单元112通知行块编号。
在步骤S124中，内插数据存储单元112读取具有由L图像数据输出管理单元103和R图像数据输出管理单元104指定的行块编号的行块的内插数据，并且将内插数据提供给图像数据输入切换单元106。在步骤S125中，基于行的多数据链路管理单元191经由图像数据输入切换单元192指令图像率改变请求单元193将改变请求命令提供给成像设备121A和成像设备121B。具体地，如果L图像数据中的间隙比高于阈值，并且基于行的多数据链路管理单元191发出用于将改变请求命令传送到成像设备121A的指令。如果R图像数据中的间隙比高于阈值，并且基于行的多数据链路管理单元191发出用于将改变请求命令传送到成像设备121B的指令。这里，基于行的多数据链路管理单元191可以发出用于传送具有预定的改变量的改变请求命令的指令，或者可以发出用于传送具有取决于间隙比的改变量的改变请求命令的指令。在步骤S126中，根据从基于行的多数据链路管理单元191经由图像数据输入切换·单元192提供的指令，图像率改变请求单元193生成用于成像设备121的改变请求命令。图像率改变请求单元193随后将改变请求命令提供给图19的传送存储器171以存储。在步骤S127中，传送数据生成单元15使传送存储器171中存储的用于成像设备121的改变请求命令变为分组，并且经由物理层Tx 17、传送/接收切换单元18和天线19将分组传送到成像设备121。在步骤S128中，接收数据解码单元43确定是否需要重置解码操作。具体地，如果编码率在解码操作中间改变，则通常引起解码时序的改变，并且因此，有必要重置解码操作。然而，如果编码率的改变是小的，则不需要重置解码操作。有鉴于此，在步骤S128中，接收数据解码单元43确定编码率的改变是否大于预定阈值，并且如果编码率的改变大于预定阈值，则确定需要重置解码操作。如果编码率的改变不大于预定阈值，则确定不需要重置解码操作。如果在步骤S128中确定需要重置解码操作，则操作前往步骤S129，并且接收数据解码单元43重置解码操作。操作随后前往步骤S130。如果在步骤S128中确定不需要重置解码操作，则操作跳过步骤S129，并且前往步骤 S130。在步骤S130中，基于行的多数据链路管理单元191获得解码信息，并且确定解码信息中包含的L图像数据中的间隙比和R图像数据中的间隙比两者是否等于或低于阈值。如果在步骤S130中确定L图像数据中的间隙比和R图像数据中的间隙比两者均不等于或低于阈值，则操作返回步骤S123。随后重复步骤S123至S130中的处理，直至L图像数据中的间隙比和R图像数据中的间隙比两者均变得等于或低于阈值，并且生成具有与前一个编码率不同的改变的编码率的改变请求命令。即使在步骤S130中确定L图像数据中的间隙比和R图像数据中的间隙比两者均不等于或低于阈值，当以使得改变的编码率具有最低值的方式生成改变请求命令时，仍将指示劣化通信的信息而非改变请求命令传送到成像设备121。随后操作结束。如果在步骤S130中确定L图像数据中的间隙比和R图像数据中的间隙比两者均等于或低于阈值，或者如果在步骤S122中确定L图像数据中的间隙比和R图像数据中的间隙比两者均不高于预定阈值，则操作结束。如上文所述，当L图像数据中的间隙比和R图像数据中的间隙比中的至少一个高于预定阈值时，中继设备122向与该一个间隙比对应的成像设备121A或成像设备121B传送改变请求命令。作为其结果，L图像数据的编码率和R图像数据的编码率中的至少一个改变。因此，即使L图像数据的传送环境和R图像数据的传送环境中的至少一个劣化，仍可以稳定地再现立体图像数据。图21的内插数据读取操作等同于图12的内插数据读取操作，或者是在执行图11的内插数据存储操作的情况下执行的内插数据读取操作。然而，除了以下不同之处，在执行图14的内插数据存储操作的情况下执行的内插数据读取操作也与图21的内插数据读取操作相同在步骤S123和步骤S124之间执行图15的步骤S74和S75的处理。中继设备122执行的管理表格更新操作和切换操作分别与图10的管理表格更新操作和图13的切换操作相同，并且因此，这里不再重复它们的解释。 此外，在第二实施例中，改变编码率。然而，不同于编码率，可以改变基于行的编解码器中的结构级，或者诸如频率分量的关于编码的其他信息。再者，可以改变编码率和结构级两者。此外，不同于编码率，可以改变诸如通信速率的关于通信的信息。在该情况下，成像设备121的传送数据生成单元15用于改变通信速率。再者，编码率可以变为更低的编码率，或者可以变为更高的编码率。<第三实施例>[通信系统的第一实施例的示例结构]图22是示出被应用本技术的通信系统的第三实施例的示例结构的框图。在图22中所示的结构中，与图2中的部件相同的部件由与图2中的附图标记相同的附图标记表示。将不再重复已进行的解释。图22的通信系统200的结构与图2的结构的不同之处主要在于，成像设备31A被替换为成像设备201A，并且中继设备32被替换为中继设备202。在通信系统200中，不仅L图像数据被无线地传送到中继设备202，而且与L图像数据一起获得的音频数据也被无线地传送到中继设备202。具体地，如同图2的成像设备31A，通信系统200的成像设备201A由例如视频相机形成。成像设备201A对物体成像并且捕获周围的声音。如同成像设备31A，成像设备201A通过基于行的编解码器压缩得到的图像数据。成像设备201A还将获得的音频模拟信号转换成脉冲码调制(PCM)数据，并且通过诸如移动图片专家组音频层3 (MP3)、Windows媒体音频(WMA)、RealAudio或自适应变换声音编码(ATRAC)的技术来压缩数据。成像设备201A随后将压缩的图像数据作为L图像数据无线地传送到中继设备202，并且还无线地传送音频数据。如同成像设备31A，成像设备201A还无线地接收从中继设备202传送的图像数据等。如同图2的中继设备32，中继设备202由例如PC形成。中继设备202无线地接收从成像设备201A传送的L图像数据和音频数据，以及从成像设备31B传送的R图像数据。如同中继设备32，中继设备202通过与基于行的编解码器兼容的技术对接收到的L图像数据和R图像数据解码，并且基于作为解码结果获得的L图像数据和R图像数据，显示立体图像。中继设备202还通过与MP3、WMA、RealAudio、ATRAC等兼容的技术对接收到的音频数据解码，并且基于作为解码结果获得的PCM数据，输出声音。如同中继设备32，中继设备202还将预定的图像数据传送到成像设备201A和成像设备31B。[中继设备的示例结构]图23是示出图22中所示的中继设备202的示例结构的框图。在图23中所示的结构中，与图3中的部件相同的部件由与图3中的附图标记相同的附图标记表示。将不再重复已进行的解释。图23的中继设备202的结构与图3的结构的不同之处主要在于，传送数据压缩单元40、传送存储器13、接收数据划分单元41、基于行的内插单元42和接收数据解码单元43被替换为传送数据压缩单元220、传送存储器221、接收数据划分单元222、基于行的内插单元223和接收数据解码单元224。
在中继设备202中，如同图3的传送数据压缩单元40，传送数据压缩单元220以预定编码率通过基于行的编解码器压缩从图像应用管理单元11提供的图像数据，以减少图像数据的数据量。如同传送数据压缩单元40，传送数据压缩单元220随后将经压缩的图像数据输出到传送存储器221。传送数据压缩单元220还通过诸如MP3、WMA、RealAudio或ATRAC的技术压缩从图像应用管理单元11提供的音频数据，以减少数据量。传送数据压缩单元220随后将经压缩的音频数据输出到传送存储器221。传送存储器221存储从传送数据压缩单元220输入的图像数据和音频数据。图像数据和音频数据被传送数据生成单元15读取，并且变成分组。如同图3的传送存储器13，传送存储器221还存储从接收数据划分单元222提供的传输数据。如同传送存储器13，传送存储器221还可以存储不会被传输到另一终端的数据。传送存储器221还向传送/接收控制单元14通知数据存储状态。接收数据划分单元222分析从物理层Rx 20提供的分组，并且向基于行的内插单元223提供包括如下数据的接收数据包含图像应用管理单元11所需的基于行块的图像数据的数据以及包含与图像数据对应的音频数据的数据。包含音频数据的数据至少包含音频数据和与图像数据对应的分配给图像数据的行块编号。如同图I的接收数据划分单元21，接收数据划分单元222还分析从物理层Rx 20提供的分组，并且根据诸如路由表格的信息，提取需要被传送到另一终端的传输数据。如同接收数据划分单元21，接收数据划分单元222将传输数据提供给传送存储器221。如同接收数据划分单元21，接收数据划分单元222进一步从分组提取传送/接收控制单元14所需的信息，并且将提取的信息提供给传送/接收控制单元14。如同图3的基于行的内插单元42，基于行的内插单元223对从接收数据划分单元222提供的接收数据执行内插操作。基于行的内插单元223随后向接收数据解码单元224提供作为对接收数据执行内插操作的结果而获得的经内插的数据。后面将参照图24详细描述基于行的内插单元223。接收数据解码单元224通过与基于行的编解码器兼容的技术对从基于行的内插单元223提供的经内插的数据的图像数据解码，并且将得到的图像数据提供给图像应用管理单元11。接收数据解码单元224还通过与MP3、WMA, RealAudio或ATRAC兼容的技术对从基于行的内插单元223提供的经内插的数据的音频数据解码，并且将得到的PCM数据提供给图像应用管理单元11。
如同接收数据解码单元43，接收数据解码单元224进一步确定经内插的数据中的间隙比。如同接收数据解码单元43，接收数据解码单元224向基于行的内插单元223提供包含间隙比以及分配给当前正被解码的行块的行块编号的解码信息。除以下不同之处之外，成像设备201A的结构与中继设备202的结构相同不包括基于行的内插单元223或者基于行的内插单元223被替换为专利文献I中公开的基于行的内插单元。因此，这里跳过了对其的解释。[基于行的内插单元的示例结构]图24是示出图23中所示的基于行的内插单元223的示例结构的框图。在图24中所示的结构中，与图8中的部件相同的部件由与图8中的附图标记相同的附图标记表示。将不再重复已进行的解释。
图24的基于行的内插单元223的结构与图8的结构的不同之处主要在于，图像数据输入切换单元106被替换为图像数据输入切换单元240，并且新添加了接收数据分析单元241、生成单元242、音频数据输出管理单元243和音频数据输入切换单元244。在基于行的内插单元223中，如同图8的图像数据输入切换单元106，根据来自基于行的多数据链路管理单元105的指令，图像数据输入切换单元240选择包含从接收数据分析单元101提供的接收数据的图像数据的数据或者从数据存储单元102提供的内插数据。如同图像数据输入切换单元106，图像数据输入切换单元240随后将所选择的数据作为经内插的数据输出到图23的接收数据解码单元224。图像数据输入切换单元240还向音频数据输入切换单元244提供包含接收数据的图像数据的数据以及作为指示从内插数据选择的数据的信息的选择信息。接收数据分析单元241存储包含从图23的接收数据划分单元222提供的接收数据的音频数据的数据。接收数据分析单元241还分析包含音频数据的数据，以识别数据中包含的行块编号。接收数据分析单元241随后向音频数据输入切换单元244提供具有由音频数据输出管理单元243指定的行块编号的音频数据的数据。接收数据分析单元241还分析包含音频数据的数据，以检测作为音频数据错误比的数据中的分组错误比。接收数据分析单元241随后将音频数据错误比提供给音频数据输出管理单元243。生成单元242生成作为用于静音的数据的静音数据。具体地，生成单元242生成具有频率分量O的音频数据作为静音数据。基于包含从接收数据划分单元222提供的接收数据的音频数据的数据，生成单元242搜索其中当被内插静音数据时音频数据不变为高频音频数据的内插位置。生成单元242在内插位置将具有由音频数据输出管理单元243指定的行块编号的音频数据替换为静音数据，并且将包含得到的音频数据的数据作为内插数据提供给音频数据输入切换单元244。音频数据输出管理单元243向生成单元242和接收数据分析单元241通知分配给当前正被解码的行块的行块编号的、包含在从图23的接收数据解码单元224提供的解码信息中的行块编号。基于从接收数据分析单元241提供的音频数据错误比，音频数据输出管理单元243指令音频数据输入切换单元244执行选择。基于从图像数据输入切换单元240提供的选择信息以及来自音频数据输出管理单元243的指令，音频数据输入切换单元244选择包含从接收数据分析单元241提供的接收数据的音频数据的数据或者从生成单元242提供的内插数据。音频数据输入切换单元244 (音频输出单元)随后将包含音频数据的所选择的数据或者所选择的内插数据作为经内插的数据输出到图23的接收数据解码单元224。[中继设备的操作的描述]图25是用于解释图24中所示的基于行的内插单元223执行的音频处理操作的流程图。例如，当从图24的图像数据输入切换单元240输入选择信息时，执行该音频处理操作。在图25的步骤S141中，基于从图像数据输入切换单元240提供的选择信息，音频数据输入切换单元244确定图像数据输入切换单元240是否已选择内插数据。如果在步骤S141中确定已选择内插数据，则操作前往步骤S142。在步骤S142中， 音频数据输入切换单元244从接收数据分析单元241提供的接收数据和生成单元242提供的内插数据中选择内插数据，并且将所选择的内插数据作为经内插的数据输出。因此,当显示与内插数据存储单元112中存储的内插数据对应的图像时，可以防止输出口型以外的声音。结果，可以输出与图像同步的令人愉快的声音。另一方面，如果在步骤S141中确定未选择内插数据，或者如果图像数据输入切换单元240已选择接收数据，则操作前往步骤S143。在步骤S143中，音频数据输出管理单元243确定从接收数据分析单元241提供的音频数据错误比是否高于预定阈值。如果在步骤S143中确定音频数据错误比高于预定阈值，则操作前往步骤S144，并且音频数据输出管理单元243确定是否输出从生成单元242输出的内插数据。具体地，如果例如用户已指令当音频数据错误比高于预定阈值时输出内插数据，则音频数据输出管理单元243确定输出内插数据。如果用户已指令即使当音频数据错误比高于预定阈值时仍直接输出包含接收数据的音频数据的数据，则音频数据输出管理单元243确定不输出内插数据。如果在步骤S144中确定输出内插数据，则音频数据输出管理单元243指令音频数据输入切换单元244选择内插数据。在步骤S145中，音频数据输入切换单元244选择并输出从生成单元242提供的内插数据，并且结束操作。另一方面，如果在步骤S143中确定音频数据错误比不高于阈值，或者如果在步骤S144中确定不输出内插数据，则音频数据输出管理单元243指令音频数据输入切换单元244选择包含接收数据的音频数据的数据。在步骤S146中，音频数据输入切换单元244选择并输出包含从接收数据分析单元241提供的接收数据的音频数据的数据，并且结束操作。尽管在以上描述中通过向图8的基于行的内插单元42添加音频处理模块来形成基于行的内插单元223，但是基于行的内插单元223也可以通过向图20的基于行的内插单元172添加音频处理模块来形成。〈第四实施例〉[基于行的内插单元的示例结构]图26是示出图3中所示的基于行的内插单元42的另一示例结构的框图。在图26中所示的结构中，与图8中的部件相同的部件由与图8中的附图标记相同的附图标记表示。将不再重复已进行的解释。
图26的基于行的内插单元42的结构与图8的结构的主要不同之处在于，接收数据分析单元101被替换为接收数据分析单元301，并且基于行的多数据链路管理单元105被替换为基于行的多数据链路管理单元302。图26的基于行的内插单元42在获得关于场景改变之后的最初场(图片)的参数信息时输出内插数据。参数信息是量化信息和将用于帧间预测的信息。具体地，在图26的基于行的内插单元42中，如同图8的接收数据分析单元101，接收数据分析单元301存储从图3的接收数据划分单元41提供的接收数据。再者，如同接收数据分析单元101，接收数据分析单元301分析接收数据，以识别接收数据中包含的行块编号。如同接收数据分析单元101，接收数据分析单元301进一步分析接收数据，并且基于接收数据中包含的通道编号，确定接收数据中包含的图像数据是L图像数据还是R图像数据。如同接收数据分析单元101，接收数据分析单元301分析接收数 据，以检测接收数据中的分组错误数目和接收数据的到达时间。如同接收数据分析单元101，在接收数据中包含的图像数据是L图像数据的情况下，接收数据分析单元301向L图像数据输出管理单元103提供包含接收数据的行块编号、分组错误数目和到达时间的L图像数据信息。另一方面，如同接收数据分析单元101，在接收数据中包含的图像数据是R图像数据的情况下，接收数据分析单元301向R图像数据输出管理单元104提供包含接收数据的行块编号、分组错误数目和到达时间的R图像数据信肩、O此外，如同接收数据分析单元101，接收数据分析单元301读取包含具有由L图像数据输出管理单元103指定的行块编号的L图像数据的接收数据，并且还读取包含具有由R图像数据输出管理单元104指定的行块编号的R图像数据的接收数据。再者，如同接收数据分析单元101，在所读取的图像数据中包含的L图像数据和R图像数据的至少一个行块中存在错误的情况下，接收数据分析单元301将强制解码数据插入到L图像数据或R图像数据的一部分中，该部分对应于错误部分。如同接收数据分析单元101，接收数据分析单元301随后向图像数据输入切换单元106提供被插入强制解码数据的接收数据。此外，接收数据分析单元301 (检测单元)分析接收数据，以检测场景改变。可以基于接收数据中包含的L图像数据集合或R图像数据集合之间的差异来检测场景改变，或者可以基于从成像设备31传送的指示场景改变场位置的信息来检测场景改变。接收数据分析单元301将场景改变检测结果提供给基于行的多数据链路管理单元302。如同图8的基于行的多数据链路管理单元105，基于行的多数据链路管理单元302存储管理表格并且对其进行管理。如同基于行的多数据链路管理单元105，基于行的多数据链路管理单元302在管理表格中登记从L图像数据输出管理单元103提供的L图像信息和从R图像数据输出管理单元104提供的R图像信息。如同基于行的多数据链路管理单元105，基于行的多数据链路管理单元302还指令图像数据输入切换单元106基于管理表格来执行选择。如同基于行的多数据链路管理单元105，基于行的多数据链路管理单元302还指令L图像数据输出管理单元103和R图像数据输出管理单元104基于从图3的接收数据解码单元43提供的解码信息来执行读取。如同基于行的多数据链路管理单元105，基于行的多数据链路管理单元302进一步指令L图像数据输出管理单元103和R图像数据输出管理单元104基于例如管理表格来执行存储。基于从接收数据分析单元301提供的场景改变检测结果，基于行的多数据链路管理单元302还指令图像数据输入切换单元106执行选择。[中继设备的操作的描述]图27是用于解释图26中所示的基于行的内插单元42执行的场景改变操作的流程图。例如，当从接收数据分析单元301向基于行的多数据链路管理单元302提供指示存在新的改变的场景改变检测结果时，该场景改变操作开始。应当注意，在基于行的内插单元42中执行图11中所示的内插数据存储操作。在步骤S161中，基于行的多数据链路管理单元302识别从图3的接收数据解码单元43提供的解码信息中包含的、分配给当前正被解码的行块的行块编号。基于行的多数据链路管理单元302随后经由L图像数据输出管理单元103和R图像数据输出管理单元104 向内插数据存储单元112通知行块编号。基于行的多数据链路管理单元302还指令图像数据输入切换单元106选择从内插数据存储单元112输出的内插数据。在步骤S162中，内插数据存储单元112读取具有由L图像数据输出管理单元103和R图像数据输出管理单元104指定的行块编号的行块的内插数据，并且将内插数据提供给图像数据输入切换单元106。在步骤S163中，根据来自基于行的多数据链路管理单元302的指令，图像数据输入切换单元106选择从内插数据存储单元112读取的内插数据，并且将该内插数据作为经内插的数据输出。在步骤S164中，接收数据分析单元301分析场景改变之后的最初场的接收数据，并且收集接收数据中包含的参数信息。在步骤S165中，接收数据分析单元301确定是否已收集一个场的参数信息，或者已收集关于场景改变之后的最初场的所有参数信息。如果在步骤S165中确定仍未收集一个场的参数信息，则操作返回步骤S161，并且重复步骤S161至S165中的处理，直至收集一个场的参数信息。就是说，在收集关于场景改变之后的最初场的参数信息时，输出内插数据。如果在步骤S165中确定已收集一个场的参数信息，则操作结束。应注意，对关于场景改变之后的第二个场和后面的场的接收数据执行图12中所示的内插数据读取操作和图13中所示的切换操作。在中继设备32中执行图14中所示的内插数据存储操作的情况下，对关于场景改变之后的第二个场和后面的场的接收数据执行图15中所示的内插数据读取操作和图13中所示的切换操作。除了在步骤S162和S163的处理之间执行图15的步骤S74和S75中的处理之外，该情况下执行的场景改变操作与图27的场景改变操作相同。如上文所述，图26的基于行的内插单元42在获得关于场景改变之后的最初场的接收数据的参数信息时输出内插数据。就是说，基于行的内插单元42输出内插数据，而非包含已引起图像数据的大改变、降低压缩效率并且使图像质量劣化的场景改变之后的最初场的图像数据的接收数据。结果，提高了输出图像数据的图像质量。此外，在第四实施例中，在图8的基于行的内插单元42收集关于场景改变之后的最初场的参数信息时输出内插数据。然而，在图20的基于行的内插单元172或图24的基于行的内插单元223中，在收集关于场景改变之后的最初场的参数信息时也可以输出内插数据。再者，在第四实施例中，在场景改变时执行场景改变操作。然而，在立体图像数据随时间，诸如在通道切换时极大变化的情况下，可以执行场景改变操作。<第五实施例>[基于行的内插单元的示例结构]图28是示出图3中所示的基于行的内插单元42的又一示例结构的框图。在图28中所示的结构中，与图8中的部件相同的部件由与图8中的附图标记相同的附图标记表示。将不再重复已进行的解释。·图28的基于行的内插单元42的结构与图8的结构的主要不同之处在于，接收数据分析单元101、基于行的多数据链路管理单元105和图像数据输入切换单元106被替换为接收数据分析单元351、基于行的多数据链路管理单元352和图像数据输入切换单元353。在视差小于预定阈值，并且L图像数据和R图像数据的一个行块的分组错误数目和到达时间小于预定阈值的情况下，图28的基于行的内插单元42从一个数据生成另一个数据,并且输出所生成的数据,而非内插数据。具体地，在图28的基于行的内插单元42中，如同图8的接收数据分析单元101，接收数据分析单元351存储从图3的接收数据划分单元41提供的接收数据。再者，如同接收数据分析单元101，接收数据分析单元351分析接收数据，以识别接收数据中包含的行块编号。如同接收数据分析单元101，接收数据分析单元351进一步分析接收数据，并且基于接收数据中包含的通道编号，确定接收数据中包含的图像数据是L图像数据还是R图像数据。如同接收数据分析单元101，接收数据分析单元351分析接收数据，以检测接收数据中的分组错误数目和接收数据的到达时间。如同接收数据分析单元101，在接收数据中包含的图像数据是L图像数据的情况下，接收数据分析单元351向L图像数据输出管理单元103提供包含接收数据的行块编号、分组错误数目和到达时间的L图像数据信息。另一方面，如同接收数据分析单元101，在接收数据中包含的图像数据是R图像数据的情况下，接收数据分析单元351向R图像数据输出管理单元104提供包含接收数据的行块编号、分组错误数目和到达时间的R图像数据信肩、O此外，如同接收数据分析单元101，接收数据分析单元351读取包含具有由L图像数据输出管理单元103指定的行块编号的L图像数据的接收数据，并且还读取包含具有由R图像数据输出管理单元104指定的行块编号的R图像数据的接收数据。再者，如同接收数据分析单元101，在所读取的图像数据中包含的L图像数据和R图像数据的至少一个行块中存在错误的情况下，接收数据分析单元351将强制解码数据插入到L图像数据或R图像数据的一部分中，该部分对应于错误部分。接收数据分析单元101随后向图像数据输入切换单元353提供被插入强制解码数据的接收数据。接收数据分析单元351 (视差检测单元)还分析作为接收数据的L图像数据和R图像数据的行块，以检测行块的视差。视差可以包含在接收数据中，或者可以根据L图像数据和R图像数据的行块之间的平移长度来计算视差。接收数据分析单元351确定检测到的行块视差是否等于或大于预定阈值，并且生成作为指示检测结果的标志的视差标志。接收数据分析单元351将各个行块的视差标志连同行块的行块编号一起提供给基于行的多数据链路管理单元352。如同图8的基于行的多数据链路管理单元105，基于行的多数据链路管理单元352存储管理表格并且对其进行管理。如同基于行的多数据链路管理单元105，基于行的多数据链路管理单元352在管理表格中登记从L图像数据输出管理单元103提供的L图像信息和从R图像数据输出管理单元104提供的R图像信息。基于行的多数据链路管理单元352还使从接收数据分析单元351提供的行块视差标志与作为视差标志的同时提供的行块编号相关联，并且将视差标志登记在管理表格中。如同基于行的多数据链路管理单元105，基于行的多数据链路管理单元352还指令图像数据输入切换单元353根据管理表格以行块为单位执行选择。如同基于行的多数据链路管理单元105，基于行的多数据链路管理单元302还指令L图像数据输出管理单元103和R图像数据输出管理单元104基于从接收数据解码单元43提供的解码信息来执行读取。 如同基于行的多数据链路管理单元105，基于行的多数据链路管理单元352进一步指令L图像数据输出管理单元103和R图像数据输出管理单元104基于例如管理表格来执行存储。根据来自基于行的多数据链路管理单元352的指令，图像数据输入切换单元353根据作为从内插数据存储单元112读取的内插数据的L图像数据和R图像数据中的一个生成L图像数据和R图像数据中的另一个，并且将得到的L图像数据和R图像数据设定为部分内插数据。根据来自基于行的多数据链路管理单元352的指令，图像数据输入切换单元353选择来自接收数据分析单元351的接收数据、来自数据存储单元102的内插数据或者部分内插数据，并且将所选择的数据输出到图3的接收数据解码单元43。[管理表格的示例]图29是示出管理表格的示例的示图。通过向图9的管理表格添加项“视差标志”形成了图29的管理表格。作为与项“视差标志”对应的信息，登记接收数据分析单元351生成的视差标志。这里，视差标志“I”指示视差等于或大于预定阈值，并且视差标志“O”指示视差小于预定阈值。在图29中所示的示例中，“ I ”、“O ”、“O ”、“ I ”、“O ”、“O ”、“O ”和“ I ”分别被登记作为与行块编号“ I”至“8”相关联的视差标志。因此，与行块编号“3”相关联的项“输出”中的信息在图9中所示的示例中是“内插数据”，但是在图29中所示的示例中是“L内插数据”。这里，“L内插数据”是由作为接收数据的L图像数据和从L图像数据生成的R图像数据形成的部分内插数据。更具体地，在具有行块编号“3”的行块中，R图像数据的分组错误数目等于或大于阈值，但是L图像数据的到达时间值和分组错误数目两者均小于各自的阈值。因此，图28的图像数据输入切换单元353通过使L图像数据在水平方向上平移来生成R图像数据，并且输出由L图像数据和所生成的R图像数据形成的部分内插数据。再者，与行块编号“V，相关联的项“输出”中的信息在图9中所示的示例中是“内插数据”，但是在图29中所示的示例中是“R内插数据”。这里，“R内插数据”是由作为接收数据的R图像数据和从R图像数据生成的L图像数据形成的部分内插数据。更具体地，在具有行块编号“7”的行块中，L图像数据的到达时间值等于或大于阈值，但是R图像数据的到达时间值和分组错误数目两者均小于各自的阈值。因此，图像数据输入切换单元353通过使R图像数据在水平方向上平移来生成L图像数据，并且输出由R图像数据和所生成的L图像数据形成的部分内插数据。[基于行的内插单元的示例结构]图30是用于解释图28的基于行的内插单元42执行的切换操作的流程图。在步骤S201中，如同图13的步骤S41中的处理，基于行的多数据链路管理单元352引用管理表格，以确定当前行块中的L图像数据中的分组错误数目和R图像数据中的分组错误数目两者是否均小于阈值。在步骤S201中确定L图像数据中的分组错误数目和R图像数据中的分组错误数目两者均小于阈值的情况下，操作前往步骤S202。在步骤S202中，如同图13的步骤S42中的处理，基于行的多数据链路管理单元 352引用管理表格，以确定当前行块中的L图像数据的到达时间值和R图像数据的到达时间值两者是否均小于阈值。如果在步骤S202中确定L图像数据的到达时间值和R图像数据的到达时间值两者均小于阈值，则基于行的多数据链路管理单元352指令图像数据输入切换单元353选择接收数据。在步骤S203中，图像数据输入切换单元353输出从接收数据分析单元351接收到的接收数据，并且操作结束。如果在步骤S202中确定L图像数据的到达时间值和R图像数据的到达时间值两者均不小于阈值，则操作前往步骤S204。在步骤S204中，基于行的多数据链路管理单元352引用管理表格，以确定当前行块的视差标志是否是O。如果在步骤S204中确定视差标志是0，则操作前往步骤S205，并且基于行的多数据链路管理单元352引用管理表格，以确定当前行块中的L图像数据的到达时间值和R图像数据的到达时间值中的一个是否小于阈值如果在步骤S205中确定L图像数据的到达时间值和R图像数据的到达时间值均不小于阈值，或者如果L图像数据的到达时间值和R图像数据的到达时间值两者均等于或大于阈值，则基于行的多数据链路管理单元352指令图像数据输入切换单元353选择内插数据。操作随后前往步骤S206。如果在步骤S204中确定视差标志不是0，或者如果视差标志是1，则基于行的多数据链路管理单元352指令图像数据输入切换单元353选择内插数据。操作随后前往步骤S206。在步骤S206中，图像数据输入切换单元353输出作为从内插数据存储单元112接收到的内插数据的经内插的数据，并且操作结束。如果在步骤S205中确定L图像数据的到达时间值和R图像数据的到达时间值中的一个小于阈值，则基于行的多数据链路管理单元352指令图像数据输入切换单元353选择通过从L图像数据和R图像数据中的一个生成另一个而获得的部分内插数据。操作随后前往步骤S208。如果在步骤S201中确定L图像数据中的分组错误数目和R图像数据中的分组错误数目两者均不小于阈值，则操作前往步骤S207，并且基于行的多数据链路管理单元352引用管理表格，以确定视差标志是否是O。
如果在步骤S207中确定视差标志是0，则操作前往步骤S208，并且基于行的多数据链路管理单元352引用管理表格，以确定当前行块中的L图像数据中的分组错误数目和R图像数据中的分组错误数目中的一个是否小于阈值。如果在步骤S208中确定L图像数据中的分组错误数目和R图像数据中的分组错误数目中的一个小于阈值，则操作前往步骤S209。在步骤S209中，基于行的多数据链路管理单元352引用管理表格，以确定L图像数据的到达时间值和R图像数据的到达时间值中的一个是否小于阈值。如果在步骤S208中确定到达时间值小于阈值，则基于行的多数据链路管理单元352指令图像数据输入切换单元353选择通过从L图像数据和R图像数据中的一个生成另一个而获得的部分内插数据。操作随后前往步骤S210。在步骤S210中，根据来自基于行的多数据链路管理单元352的指令，图像数据输入切换单元353生成部分内插数据。
在步骤S211中，图像数据输入切换单元353选择在步骤S210中生成的部分内插数据，并且输出所选择的数据作为经内插的数据。操作随后结束。如果在步骤S207中确定视差标志不为0，或者如果在步骤S208中确定L图像数据中的分组错误数目和R图像数据中的分组错误数目均不小于阈值，或者如果在步骤S209中确定一个到达时间值不小于阈值，则基于行的多数据链路管理单元352指令图像数据输入切换单元353选择内插数据。操作随后前往步骤S212。在步骤S212中，图像数据输入切换单元353选择从内插数据存储单元112接收的内插数据，并且输出所选择的内插数据作为经内插的数据。操作随后结束。在第五实施例中，从图8的基于行的内插单元42生成并输出部分内插数据。然而，也可以从图20的基于行的内插单元172或图24的基于行的内插单元223生成并输出部分内插数据。在L图像数据和R图像数据具有Y分量和C分量的情况下，可以进行检查以仅确定L图像数据和R图像数据中的每个的Y分量的错误数目和到达时间值是否小于阈值。这是因为C分量的丢失在显示中不明显。此外，在以上描述中，确定是否读取内插数据基于间隙比。然而，确定是否读取内插数据可以基于由接收数据划分单元41 (152、222)进行的奇偶校验的结果。再者，在以上描述中，成像设备31 (121、201A)和中继设备32 (122、202)执行无线通信。然而，可以执行使用电话线(包括ADSL)、电力线、同轴线缆、光纤等的线缆通信。此外，接收数据存储单元111和内插数据存储单元112存储一个场的图像数据，但是也可以存储不止一个场的图像数据。在该情况下，可以通过使用不止一个场的内插数据来执行内插，并且因此，可以再现更稳定的立体图像。图像应用管理单元11还可以使诸如电视接收器或液晶显示器(IXD)的显示设备中的缓冲器(未示出)存储从接收数据解码单元43 (153、224)提供的接收数据。通常，若干场或若干帧的图像数据可以存储在该缓冲器中。此外，在以上描述中，按照行块在接收数据和内插数据之间切换正被解码的数据。然而，可以按照帧切换正被解码的数据。再者，在以上描述中，数据存储单元102包括两个存储单元，即用于存储的接收数据存储单元111和用于读取的内插数据存储单元112，以实现容易的存储器控制操作。然而，数据存储单元102的结构不限于此。此外，在以上描述中，每个立体图像由两个视点的图像形成，并且因此，通道数目是2。然而，在每个立体图像由两个或更多视点的图像形成的情况下，通道数目可以是2或更大。再者，在以上描述中，在行块的分组错误数目和到达时间值小于阈值的情况下，将行块用作内插数据，或者构成待解码对象。然而，在分组错误数目和到达时间值之一小于阈值的情况下，行块也可以用作内插数据，或者也可以构成待解码对象。此外，在以上描述中，信息以行块为单位登记在管理表格中。然而，可以针对每个行块集合登记信息。在该情况下，针对每个行块集合进行基于阈值的确定。再者，一个场的定义可以不符合水平同步信号(HSYNC)。·
<第六实施例>[被应用本技术的计算机的描述]上述系列操作的至少一部分可以由硬件或软件执行。在其中系列操作的至少部分由软件执行的情况下，形成软件的程序被安装到通用计算机等中。有鉴于此，图31示出了被安装执行上述系列操作的程序的计算机的实施例的示例结构。程序可以预先记录在作为计算机中记录介质设置的只读存储器(ROM) 402或存储单元408中。替选地，程序可以存储(记录)在可移除介质411中。该可移除介质411可以被设置为所谓的套装软件。这里，可移除介质411可以是例如柔性盘、紧凑盘只读存储器(CDROM)、磁光(MO)盘、数字多用途光盘(DVD)、磁盘或半导体存储器。程序不仅可以从上述可移除介质411经由驱动器410安装到计算机中，而且可以经由通信网络或广播网络下载到计算机中并且安装到内部存储单元408中。就是说，程序可以从例如下载站点经由用于数字卫星广播的人造卫星无线传输到计算机，或者可以经由诸如局域网(LAN)或互联网的网络通过线缆传输到计算机。计算机包括中央处理单元(CPU)401、并且输入/输出接口 405经由总线404连接到 CPU 401。当操作输入单元406等的用户经由输入/输出接口 405输入指令时，CPU 401据此执行ROM中存储的程序。替选地，CPU 401将存储单元408中存储的程序下载到RAM (随机存取存储器)403中，并且执行该程序。通过这样操作，CPU 401根据上述流程图执行操作，或者通过上述框图中所示的结构执行操作。在需要时，CPU 401经由例如输入/输出接口 405，从输出单元407输出操作结果或者从通信单元409传送操作结果，并且进一步将操作结果存储到存储单元408中。输入单元406由键盘、鼠标、麦克风等形成。输出单元407由液晶显示器(IXD)、扬声器等形成。在本文中，计算机根据程序执行的操作不一定按照符合流程图中所示的次序的时间顺序执行。就是说，计算机根据程序执行的操作包括并行地或者彼此独立地执行的操作(诸如并行操作或者基于对象的操作)。
程序可以由一个计算机(处理器)执行，或者可以以分布式方式由不止一个计算机执行。此外，程序可以被传输到远程计算机，并且在其中执行。在本文中，系统意指由不止一个设备形成的整个装置。应注意，本技术的实施例不限于上述实施例，并且在不偏离本技术的范围的情况下可以对这些实施例进行各种修改。本技术可以实施为如下结构。( I) 一种信息处理装置，包括接收单元，其以行块为单位接收多视点图像数据，所述多视点图像数据由基于行的编解码器编码并且形成立体图像数据； 存储单元，其存储内插数据，所述内插数据是所述接收单元接收到的所述多视点图像数据；以及图像输出单元，其当所述接收单元接收到的预定量的多视点图像数据中的至少一个视点的图像数据中的错误数目等于或大于第一阈值时，输出与所述预定量的多视点图像数据对应的预定量的内插数据，所述预定量的内插数据存储在所述存储单元中，所述预定量的内插数据中的错误数目小于第二阈值。(2)根据(I)所述的信息处理装置，进一步包括管理单元，其管理表格，在所述表格中登记每个视点的预定量的图像数据中的错误数目，其中，基于所述表格，所述图像输出单元输出所述内插数据。(3)根据(I)或(2)所述的信息处理装置，其中，当所述接收单元接收到的所述预定量的多视点图像数据中的所有错误数目小于所述第一阈值时，所述图像输出单元输出所述预定量的多视点图像数据。(4)根据(I)或(2)所述的信息处理装置，其中，当所述预定量的多视点图像数据中的至少一个视点的图像数据中的错误数目等于或大于所述第一阈值时，或者当图像数据的到达时间值等于或大于第三阈值时，所述图像输出单元输出与所述预定量的多视点图像数据对应的预定量的内插数据，所述预定量的内插数据存储在所述存储单元中，所述预定量的内插数据具有比所述第二阈值小的错误数目并且具有比第四阈值小的到达时间值。(5)根据(4)所述的信息处理装置，其中，当所述预定量的多视点图像数据中的所有错误数目小于所述第一阈值并且图像数据的所有到达时间值小于所述第三阈值时，所述图像输出单元输出所述预定量的多视点图像数据。(6)根据(I)至(3)中任一项所述的信息处理装置，进一步包括插入单元，当在所述接收单元接收到的所述多视点图像数据中的至少一个视点的图像数据中存在错误时，将伪数据插入到所述多视点图像数据的一部分中，所述部分对应于具有错误的部分，其中，当所有错误数目小于所述第一阈值时，所述图像输出单元输出具有由所述插入单元插入到其中的所述伪数据的、所述预定量的多视点图像数据。(7)根据(I)至(6)中任一项所述的信息处理装置，其中所述存储单元存储所述接收单元接收到的所述多视点图像数据中的、均具有比所述第二阈值小的错误数目的图像数据。
(8)根据(I)至(7)中任一项所述的信息处理装置，进一步包括请求单元，其当所述接收单元接收到的所述预定量的多视点图像数据中的至少一个视点的图像数据中的错误数目大于第三阈值时，请求改变关于图像数据的编码或通信的信息。(9)根据(I)至(8)中任一项所述的信息处理装置，进一步包括生成单元，其生成用于静音的静音数据；以及音频输出单元，其输出所述静音数据，其中所述接收单元接收与所述立体图像数据对应的音频数据，以及当从所述图像输出单元输出所述预定量的多视点图像数据时，所述音频输出单元·输出与图像数据对应的所述音频数据，并且当从所述图像输出单元输出所述预定量的内插数据时，所述音频输出单元输出所述静音数据。(10)根据(I)至(9)中任一项所述的信息处理装置，进一步包括检测单元，其检测所述图像数据的场景改变或频道切换，其中，在收集关于所述图像数据的场景改变或频带切换之后的最初图片的多视点图像数据的参数信息时，所述图像输出单元输出所述内插数据。(11)根据(I)至(3)和(6)至(10)中任一项所述的信息处理装置，进一步包括视差检测单元，其检测预定量的立体图像数据的视差，其中，基于所述视差，当所述视差是小的，所述预定量的多视点图像数据中的至少一个视点的图像数据中的错误数目等于或大于所述第一阈值，并且至少一个视点的图像数据中的错误数目小于所述第一阈值时，所述图像输出单元通过使用具有小于所述第一阈值的错误数目的至少一个视点的预定量的图像数据来生成另一视点的预定量的图像数据，并且输出作为生成结果获得的所述预定量的多视点图像数据。( 12) 一种通过包括存储单元的信息处理装置实现的信息处理方法，所述信息处理方法包括接收控制步骤，控制以行块为单位的多视点图像数据的接收，所述多视点图像数据由基于行的编解码器编码并且形成立体图像数据；存储控制步骤，使所述存储单元存储内插数据，所述内插数据是在所述接收步骤中接收到的所述多视点图像数据；以及图像输出步骤，当在所述接收步骤中接收到的预定量的多视点图像数据中的至少一个视点的图像数据中的错误数目等于或大于第一阈值时，输出与所述预定量的多视点图像数据对应的预定量的内插数据，所述预定量的内插数据存储在所述存储单元中并且具有小于第二阈值的错误数目。附图标记列表20物理层Rx、32中继设备、101接收数据分析单元、102数据存储单元、105基于行的多数据链路管理单元、106图像数据输入切换单元、122中继设备、191基于行的多数据链路管理单元、192图像数据输入切换单元、193图像率改变请求单元、202中继设备、240图像数据输入切换单元、242生成单元、244音频数据输入切换单元、301接收数据分析单元、302基于行的多数据链路管理单元、351接收数据分析单元、352基于行的多数据链路管理单元、353图像数据输入切换单元。
权利要求
1.一种信息处理装置，包括 接收单元，被配置成以行块为单位接收多视点图像数据，所述多视点图像数据由基于行的编解码器编码并且形成立体图像数据； 存储单元，被配置成存储内插数据，所述内插数据是所述接收单元接收到的所述多视点图像数据；以及 图像输出单元，被配置成当所述接收单元接收到的预定量的多视点图像数据中的至少一个视点的图像数据中的错误数目等于或大于第一阈值时，输出与所述预定量的多视点图像数据对应的预定量的内插数据，所述预定量的内插数据存储在所述存储单元中，所述预定量的内插数据中的错误数目小于第二阈值。
2.根据权利要求I所述的信息处理装置，进一步包括 管理单元，被配置成管理表格，在所述表格中登记每个视点的预定量的图像数据中的错误数目， 其中，基于所述表格，所述图像输出单元输出所述内插数据。
3.根据权利要求I所述的信息处理装置，其中，当所述接收单元接收到的所述预定量的多视点图像数据中的所有错误数目小于所述第一阈值时，所述图像输出单元输出所述预定量的多视点图像数据。
4.根据权利要求I所述的信息处理装置，其中，当所述预定量的多视点图像数据中的至少一个视点的图像数据中的错误数目等于或大于所述第一阈值时，或者当到达时间值等于或大于第三阈值时，所述图像输出单元输出与所述预定量的多视点图像数据对应的预定量的内插数据，所述预定量的内插数据存储在所述存储单元中，所述预定量的内插数据具有比所述第二阈值小的错误数目并且具有比第四阈值小的到达时间值。
5.根据权利要求4所述的信息处理装置，其中，当所述预定量的多视点图像数据中的所有错误数目小于所述第一阈值并且图像数据的所有到达时间值小于所述第三阈值时，所述图像输出单元输出所述预定量的多视点图像数据。
6.根据权利要求I所述的信息处理装置，进一步包括 插入单元，当在所述接收单元接收到的所述多视点图像数据中的至少一个视点的图像数据中存在错误时，将伪数据插入到所述多视点图像数据的一部分中，所述部分对应于具有错误的部分， 其中，当所有错误数目小于所述第一阈值时，所述图像输出单元输出具有由所述插入单元插入到其中的所述伪数据的、所述预定量的多视点图像数据。
7.根据权利要求I所述的信息处理装置，其中所述存储单元存储所述接收单元接收到的所述多视点图像数据中的、均具有比所述第二阈值小的错误数目的图像数据。
8.根据权利要求I所述的信息处理装置，进一步包括 请求单元，被配置成当所述接收单元接收到的所述预定量的多视点图像数据中的至少一个视点的图像数据中的错误数目大于第三阈值时，请求改变关于图像数据的编码或通信的信息。
9.根据权利要求I所述的信息处理装置，进一步包括 生成单元，被配置成生成用于静音的静音数据；以及 音频输出单元，被配置成输出所述静音数据，其中所述接收单元接收与所述立体图像数据对应的音频数据，以及当从所述图像输出单元输出所述预定量的多视点图像数据时，所述音频输出单元输出与图像数据对应的所述音频数据，并且当从所述图像输出单元输出所述预定量的内插数据时，所述音频输出单元输出所述静音数据。
10.根据权利要求I所述的信息处理装置，进一步包括 检测单元，被配置成检测所述图像数据的场景改变或频道切换， 其中，在收集关于所述图像数据的场景改变或频带切换之后的最初图片的多视点图像数据的参数信息时，所述图像输出单元输出所述内插数据。
11.根据权利要求I所述的信息处理装置，进一步包括 视差检测单元，被配置成检测预定量的立体图像数据的视差， 其中，基于所述视差，当所述视差是小的，所述预定量的多视点图像数据中的至少一个视点的图像数据中的错误数目等于或大于所述第一阈值，并且至少一个视点的图像数据中的错误数目小于所述第一阈值时，所述图像输出单元通过使用具有小于所述第一阈值的错误数目的至少一个视点的预定量的图像数据来生成另一视点的预定量的图像数据，并且输出作为生成结果获得的所述预定量的多视点图像数据。
12.一种通过包括存储单元的信息处理装置实现的信息处理方法， 所述信息处理方法包括 接收控制步骤，控制以行块为单位的多视点图像数据的接收，所述多视点图像数据由基于行的编解码器编码并且形成立体图像数据； 存储控制步骤，使所述存储单元存储内插数据，所述内插数据是通过所述接收步骤接收到的所述多视点图像数据；以及 图像输出步骤，当通过所述接收步骤接收到的预定量的多视点图像数据中的至少一个视点的图像数据中的错误数目等于或大于第一阈值时，输出与所述预定量的多视点图像数据对应的预定量的内插数据，所述预定量的内插数据存储在所述存储单元中并且具有小于第二阈值的错误数目。
全文摘要
公开了一种能够以低延迟重放高图像质量立体图像的信息处理设备和信息处理方法。内插数据积累单元(112)积累作为内插数据的、接收到的L图像数据和R图像数据。基于行的多数据链路管理单元(105)对管理表格进行管理，在管理表格中针对每个行块单元登记L图像数据和R图像数据的分组错误数目等。当接收到的数据中包含的L图像数据和R图像数据的分组错误数目两者均小于阈值时，图像数据输入切换单元(106)输出接收到的数据，并且当任一个错误数目不小于阈值时，图像数据输入切换单元(106)输出内插数据积累单元(112)中积累的并且具有小于阈值的错误数目的内插数据。该技术可以应用于接收立体图像数据的中继设备。
文档编号H04N7/26GK102948156SQ201180029869
公开日2013年2月27日 申请日期2011年6月17日 优先权日2010年6月24日
发明者石见英辉, 板仓英三郎, 椿聪史, 柿谷慧, 高桥宏彰 申请人:索尼公司