专利名称：信息处理设备、方法和程序的制作方法
技术领域：
本发明涉及信息处理设备、信息处理方法和信息处理程序，并且更具体地涉及能够抑制不必要的延迟的增加并且抑制错误传播到后续数据的信息处理设备、信息处理方法和信息处理程序。
背景技术：
近年来，存在对经由因特网或其它传输路径以短的延迟传输多媒体数据的不断增长的需求。例如，存在所谓的远程手术应用，其中，两个远程地点的医疗基地经由因特网等彼此相连，手术情形作为运动图像从一个远程手术室被发送，并且在另一基地，在观看图像的同时操作手术器具。在这样的应用中，需要以等于或小于数帧间隔的延迟来传输运动图像。为了应对这样的需求，已提出了一种方法，其中，通过小波变换来对运动图像的每个图片(picture)的数行执行压缩编码来作为一个压缩编码块(例如，参考 JP-A-2007-311924 (专利文献1))。在该方法的情况中，编码设备可以在图片中的所有数据被输入之前开始压缩编码。另外，当压缩数据经由网络被传输并且被接收侧解码时，解码设备可以在图片中的所有数据被接收到之前开始解码处理。因此，如果网络传播延迟足够低， 则可以以等于或小于数帧间隔的延迟来实时地传输运动图像。作为适合于实时传输的因特网技术，存在在IETF (因特网工程任务组)的RFC (请求注释)3550中定义的RTP (实时传送协议)。在RTP的数据传输中，时间戳被添加到分组中作为时间信息，并且利用此，发送侧与接收侧之间的时间关系被确定。以这种方式，可以在不受分组传输等中的延迟变化(抖动)的影响的情况下执行同步再现。然而，RTP并不确保实时数据传输。分组递送、设置、管理等的优先级未包括在由 RTP提供的传送服务的范畴中。因此，在RTP分组中存在以与其它协议分组相同的方式发生递送延迟或分组丢失的可能性。然而，即使发生更多或更少的数据丢失，也仅是质量被降低，并且因此接收侧可以仅利用在所预期时间内到达的分组来再现数据。另外，在延迟的情况下被递送的分组或者发生了错误的分组在接收侧按原样被丢弃。在以这种方式经由网络进行传输的情况中，尽管高质量数据被递送，然而存在的问题在于接收侧由于分组丢失或错误而无法充分地再现数据。一般地，据说在有线区间中发生错误的概率为10_5，并且在无线区间中发生错误的概率为10_3或更大。因此，在这样的状态中使用RTP不能充分地维持所递送媒体的质量。作为使用其它协议的方法，例如，可以存在使用具有高可靠性的TCP(传输控制协议)来传输数据的方法。然而，虽然TCP对错误有相当高的弹性，但是由于其具有低的吞吐量和长的延迟因此不适于短延迟的数据传输。例如，即使在错误发生时接收侧作出重传分组的请求，也存在被重传的分组的到达与再现时间不一致地被执行的问题。因此，作为利用RTP来提高数据传输的可靠性的方法，存在前向纠错编码方法(所谓的FEC(前向纠错))，其中，可以通过对数据执行冗余编码来提高可靠性(例如，参考 Alexander Ε. Mohr, Student Member, IEEE, Eve A. Riskin, Senior Member, IEEE, and Richard E. Ladner,Member,IEEE, "Unequal Loss Protection :Graceful Degradation of Image Quality over PacketErasure Channels Through Forward Error Correction"IEEE JOURNAL ONSELECTED AREAS IN COMMUNICATIONS,VOL. 18,NO. 6,pp 819-828，JUNE 2000 (非专利文献1))。在该FEC方法中，多个分组被指定为一个FEC块，并且利用诸如里德_所罗门(Reed-Solomon，RS)码等之类的纠错码来执行冗余编码。例如，如果(n，k)RS码被使用并且原始分组的数目为k个，则可以生成(n-k)个冗余分组(其中n>k)。在此情况中， 发送设备发送总共η个分组，由此接收设备接收η个分组中的k个分组，并且因此可以通过 RS解码处理复原(recover) k个原始分组。例如，在非专利文献1中，公开了根据优先级的冗余编码方法。当利用FEC方法执行冗余编码时，针对分组丢失的复原性能取决于FEC块大小和冗余分组的数目(n-k)。特别地，针对在经由网络进行数据传输的过程中发生的数据序列上的连续分组的丢失(即，所谓的突发分组丢失)的复原性能与FEC块大小具有密切关系。 通常，随着FEC块大小的增大，针对突发分组丢失的复原性能被提高。
发明内容
然而，在FEC方法的情况中，为了执行FEC编码处理或解码处理，需要与块大小的量相对应的、将被累积的用于数据的时间。因此，如果大的FEC块大小被选择，则存在的问题在于延迟时间大幅增加。换言之，存在的问题在于在需要短延迟的数据传输中，在FEC 方法中不能充分地提高针对突发分组丢失的复原性能。然而，如上所述，即使出现更多或更少的数据丢失，也仅是丢失部分的质量被降低，并且因此接收侧可以仅利用在所预期时间内到达的分组来再现数据。特别地，在需要短延迟的数据传输中所使用的编码方法的情况中，一般地，由于编码处理单位变小，因此直接受到数据丢失影响(图像质量恶化)的范围减小。然而，在需要短延迟的数据传输中所使用的编码方法在编码处理或解码处理中极大地依赖于编码处理单位以外的其它数据。例如，存在这样的情况，其中，编码处理是利用过去被编码的数据、中间数据等或者过去被解码的图像数据、中间数据等来执行的。在该编码方法的情况中，如果发生了不能复原的数据丢失，则错误被传播给后续数据，并且因此存在的问题在于受丢失影响的范围被扩大。因此，希望抑制不必要的延迟的增加并且抑制错误传播到后续数据。根据本发明的一个实施例，提供了一种信息处理设备，其包括获取装置，用于获取编码数据以及用于编码数据的冗余数据，编码数据是通过针对每个块利用预定数据单位来对由块形成的图像数据进行编码获得的，冗余数据是通过利用前向纠错方法对编码数据编码获得的；解码装置，用于在通过获取装置获得的并且将被包括在被解码了的块中的编码数据都被收集的情况下，利用编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码，并且在通过获取装置获得的并且将被包括在被解码了块中的编码数据并未都被收集的情况下，利用用来替代丢失编码数据的伪数据、编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码；前向纠错方法解码装置，用于利用前向纠错方法对由获取装置获得的编码数据和冗余数据进行解码，并且复原丢失编码数据；以及设置装置，用于对由前向纠错方法解码装置复原的编码数据进行解码，并且将解码期间获得的中间数据设置作为在针对被解码了的块的解码处理期间的中间数据，以用来解码后续块。该信息处理设备还可以包括同步装置，用于使得解码装置在根据预定同步信号的预定定时处对编码数据进行解码；以及同步判定装置，用于判断前向纠错方法解码装置对编码数据的复原是否早于受同步装置控制的解码装置中针对编码数据的块的解码开始定时。如果同步判定装置判定对编码数据的复原早于解码开始定时，则解码装置可以利用由前向纠错方法解码装置复原的编码数据、包括在该块中的编码数据以及针对被解码了的块的解码处理期间的中间数据来执行解码。另一方面，如果同步判定装置判定对编码数据的复原不早于解码开始定时，则由前向纠错方法解码装置复原的编码数据可以被解码，并且在解码期间获得的中间数据可以被设置作为针对被解码了的块的解码处理期间的中间数据，以用于解码后续块。解码装置可以包括第一熵解码装置，用于对编码数据执行熵解码；第一逆量化装置，用于对在第一熵解码装置中对编码数据解码而获得的系数数据执行逆量化；以及逆小波变换装置，用于对由第一逆量化装置进行了逆量化的系数数据执行逆小波变换。设置装置可以包括第二熵解码装置，用于对由前向纠错方法解码装置复原的编码数据执行熵解码；第二逆量化装置，用于对在第二熵解码装置中对编码数据解码而获得的系数数据执行逆量化；以及更新装置，用于利用由第二逆量化装置进行了逆量化的系数数据来更新通过逆小波变换维持的并且在逆小波变换中使用的中间数据。根据本发明的一个实施例，还提供了一种信息处理设备中的信息处理方法，该方法包括以下步骤使得信息处理设备的获取装置获取编码数据以及用于编码数据的冗余数据，编码数据是通过针对每个块利用预定数据单位来对由块形成的图像数据进行编码获得的，冗余数据是通过利用前向纠错方法对编码数据编码获得的；使得信息处理设备的解码装置在通过获取装置获得的并且将被包括在被解码了的块中的编码数据都被收集的情况下，利用编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码，并且在通过获取装置获得的并且将被包括在被解码了的块中的编码数据并未都被收集的情况下，利用用来替代丢失编码数据的伪数据、编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码；使得信息处理设备的前向纠错方法解码装置利用前向纠错方法对由获取装置获得的编码数据和冗余数据进行解码，并且复原丢失编码数据；以及使得信息处理设备的设置装置对被复原的编码数据进行解码，并且将解码期间获得的中间数据设置作为在针对被解码了的块的解码处理期间的中间数据，以用来解码后续块。根据本发明的一个实施例，还提供了一种使得计算机能够用作如下装置的程序 获取装置，用于获取编码数据以及用于编码数据的冗余数据，编码数据是通过针对每个块利用预定数据单位来对由块形成的图像数据进行编码获得的，冗余数据是通过利用前向纠错方法对编码数据编码获得的；解码装置，用于在通过获取装置获得的并且将被包括在被解码了块中的编码数据都被收集的情况下，利用编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码，并且在通过获取装置获得的并且将被包括在被解码了块中的编码数据并未都被收集的情况下，利用用来替代丢失编码数据的伪数据、编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码；前向纠错方法解码装置， 用于利用前向纠错方法对由获取装置获得的编码数据和冗余数据进行解码，并且复原丢失编码数据；以及设置装置，用于对由前向纠错方法解码装置复原的编码数据进行解码，并且将解码期间获得的中间数据设置作为在针对被解码了的块的解码处理期间的中间数据，以用来解码后续块。根据本发明另一实施例，提供了一种信息处理设备，该设备包括编码装置，用于针对每个块利用预定数据单位来对由块形成的图像数据进行编码；第一前向纠错方法编码装置，用于复原丢失编码数据，并且通过前向纠错方法以第一数据单位来对在编码装置中通过对图像数据编码获得的编码数据进行编码，以便将被复原的编码数据用来解码相对应的块并且将在解码期间获得的中间数据用来解码后续块的编码数据；第二前向纠错方法编码装置，用于通过前向纠错方法以比第一数据单位大的第二数据单位来对在编码装置中通过对图像数据编码获得的编码数据进行编码，以便将在解码期间获得的中间数据用来解码后续块的编码数据；以及发送装置，用于发送在编码装置中通过对图像数据进行编码获得的编码数据、在第一前向纠错方法编码装置中通过对编码数据进行编码获得的第一冗余数据以及在第二前向纠错方法编码装置中通过对编码数据进行编码获得的第二冗余数据。该信息处理设备还可以包括第一数据单位设置装置，用于设置第一数据单位的大小；以及第二数据单位设置装置，用于设置第二数据单位的大小。这里，第一前向纠错方法编码装置可以以第一数据单位设置装置所设置的第一数据单位通过前向纠错方法对编码数据进行编码。此外，第二前向纠错方法编码装置可以以第二数据单位设置装置所设置的第二数据单位通过前向纠错方法对编码数据进行编码。第二数据单位设置装置可以将第二数据单位设置为等于或小于通过将该块、在针对对应块的解码处理期间生成的中间数据以及用于解码的0个或更多个后续块相组合而获得的块。在针对编码数据的解码处理中，当预定大小或者与预定再现时间相对应的大小的编码数据被存储在缓冲器中并且随后被解码时，第一数据单位设置装置可以将第一数据单位的大小设置为等于或小于缓冲器的大小；并且第二数据单位设置装置可以将第二数据单位的大小设置为等于或大于缓冲器的大小。该信息处理设备还可以包括用于获取指示用于传输编码数据的网络中的状况的网络状况信息的网络状况信息获取装置。这里，第一数据单位设置装置可以利用由网络状况信息获取装置获取的网络状况信息来设置第一数据单位的大小，并且第二数据单位设置装置可以利用由网络状况信息获取装置获取的网络状况信息来设置第二数据单位的大小。该信息处理设备还可以包括第一冗余设置装置，用于设置第一冗余，第一冗余是用于第一前向纠错方法编码装置中利用前向纠错方法的编码的冗余；以及第二冗余设置装置，用于设置第二冗余，第二冗余是用于第二前向纠错方法编码装置中利用前向纠错方法的编码的冗余。在此情况中，第一前向纠错方法编码装置可以利用由第一冗余设置装置设置的第一冗余通过前向纠错方法来对编码数据进行编码，以及第二前向纠错方法编码装置可以利用由第二冗余设置装置设置的第二冗余通过前向纠错方法来对编码数据进行编码。该信息处理设备还可以包括用于获取指示用于传输编码数据的网络中的状况的网络状况信息的网络状况信息获取装置，并且这里，第一冗余设置装置可以利用由网络状况信息获取装置获得的网络状况信息来设置第一冗余，并且第二冗余设置装置可以利用由网络状况信息获取装置获得的网络状况信息来设置第二冗余。第一冗余设置装置可以降低第二数据单位内的在时间上靠后的块的冗余。网络状况信息可以包括分组丢失率信息、传输延迟信息、发送和接收数据速率信息以及传输抖动信息中的至少一者。网络状况信息还可以包括突发分组丢失率的所预期值，突发分组丢失率指示预定数目或更多数目的连续分组中丢失的发生率或者指示预定区间的丢失分组数目等于或大于预定数目的频率。该信息处理设备还可以包括网络状况信息获取装置，用于获取突发分组丢失率， 作为指示用于传输编码数据的网络中的状况的网络状况信息，突发分组丢失率指示预定数目或更多数目的连续分组中丢失的发生率或者指示预定区间的丢失分组数目等于或大于预定数目的频率；第一数据单位设置装置，用于设置第一数据单位的大小；第二数据单位设置装置，用于设置第二数据单位的大小；第一冗余设置装置，用于设置第一冗余，第一冗余是用于第一前向纠错方法编码装置中利用前向纠错方法的编码的冗余；以及第二冗余设置装置，用于设置第二冗余，第二冗余是用于第二前向纠错方法编码装置中利用前向纠错方法的编码的冗余。在此，第一前向纠错方法编码装置可以利用由第一数据单位设置装置设置的第一数据单位，利用由第一冗余设置装置设置的第一冗余通过前向纠错方法来对编码数据进行编码。第二前向纠错方法编码装置可以利用由第二数据单位设置装置设置的第二数据单位，利用由第二冗余设置装置设置的第二冗余通过前向纠错方法来对编码数据进行编码。另外，当由网络状况信息获取装置获得的突发分组丢失率等于或大于预定值时，第一数据单位设置装置增大第一数据单位并且第二数据单位设置装置增大第二数据单位，或者第一冗余设置装置增大第一冗余并且第二冗余设置装置增大第二冗余，或者第一数据单位设置装置增大第一数据单位，第二数据单位设置装置增大第二数据单位，第一冗余设置装置增大第一冗余，并且第二冗余设置装置增大第二冗余。根据本发明另一实施例，还提供了一种信息处理设备中的信息处理方法，包括以下步骤使得信息处理设备的编码装置针对每个块利用预定数据单位来对由块形成的图像数据进行编码；使得信息处理设备的第一前向纠错方法编码装置复原丢失编码数据，并且通过前向纠错方法以第一数据单位来对在编码装置中通过对图像数据编码获得的编码数据进行编码，以便将被复原的编码数据用来解码相对应的块并且将在解码期间获得的中间数据用来解码后续块的编码数据；使得信息处理设备的第二前向纠错方法编码装置通过前向纠错方法以比第一数据单位大的第二数据单位来对在编码装置中通过对图像数据编码获得的编码数据进行编码，以便将在解码期间获得的中间数据用来解码后续块的编码数据；以及使得信息处理设备的发送装置发送在编码装置中通过对图像数据进行编码获得的编码数据、在第一前向纠错方法编码装置中通过对编码数据进行编码获得的第一冗余数据以及在第二前向纠错方法编码装置中通过对编码数据进行编码获得的第二冗余数据。根据本发明另一实施例，还提供了一种使得计算机能够用作如下装置的程序编码装置，用于针对每个块利用预定数据单位来对由块形成的图像数据进行编码；第一前向纠错方法编码装置，用于复原丢失编码数据，并且通过前向纠错方法以第一数据单位来对在编码装置中通过对图像数据编码获得的编码数据进行编码，以便将被复原的编码数据用来解码相对应的块并且将在解码期间获得的中间数据用来解码后续块的编码数据；第二前向纠错方法编码装置，用于通过前向纠错方法以比第一数据单位大的第二数据单位来对在编码装置中通过对图像数据编码获得的编码数据进行编码，以便将在解码期间获得的中间数据用来解码后续块的编码数据；以及发送装置，用于发送在编码装置中通过对图像数据进行编码获得的编码数据、在第一前向纠错方法编码装置中通过对编码数据进行编码获得的第一冗余数据以及在第二前向纠错方法编码装置中通过对编码数据进行编码获得的第二冗余数据。根据本发明又一实施例，提供了一种信息处理设备，包括获取装置，用于获取编码数据、用于编码数据的第一冗余数据和用于编码数据的第二冗余数据，编码数据是通过针对每个块利用预定数据单位来对由块形成的图像数据进行编码获得的，第一冗余数据是通过利用前向纠错方法以第一数据单位对编码数据编码获得的，第二冗余数据是通过利用前向纠错方法以比第一数据单位大的第二数据单位对编码数据编码获得的；解码装置，用于在通过获取装置获得的并且将被包括在被解码了的块中的编码数据都被收集的情况下， 利用编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码，并且在通过获取装置获得的并且将被包括在被解码了的块中的编码数据并未都被收集的情况下，利用编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码；第一前向纠错方法解码装置，用于复原丢失编码数据，并且利用前向纠错方法对由获取装置获得的编码数据和第一冗余数据进行解码，以便将被复原的编码数据用来解码相对应的块并且将在解码期间获得的中间数据用来解码后续块的编码数据；第二前向纠错方法解码装置，用于利用前向纠错方法对由获取装置获得的编码数据和第二冗余数据进行解码，以便将在解码期间获得的中间数据用来解码后续块的编码数据；以及设置装置，用于对由第二前向纠错方法解码装置复原的编码数据进行解码，并且将解码期间获得的中间数据设置作为在针对被解码了的块的解码处理期间的中间数据，以用来解码后续块。该信息处理设备还可以包括同步装置，用于使得解码装置在根据预定同步信号的预定定时处对编码数据进行解码；以及同步判定装置，用于判断第二前向纠错方法解码装置对编码数据的复原是否早于受同步装置控制的解码装置中针对编码数据的块的解码开始定时。如果同步判定装置判定对编码数据的复原早于解码开始定时，则解码装置可以利用由第二前向纠错方法解码装置复原的编码数据、包括在该块中的编码数据以及针对被解码了的块的解码处理期间的中间数据来执行解码，并且如果同步判定装置判定对编码数据的复原不早于解码开始定时，则设置装置可以对由第二前向纠错方法解码装置复原的编码数据进行解码，并且将在解码期间获得的中间数据设置作为针对被解码了的块的解码处理期间的中间数据，以用于解码后续块。该解码装置可以包括第一熵解码装置，用于对编码数据执行熵解码；第一逆量化装置，用于对在第一熵解码装置中对编码数据解码而获得的系数数据执行逆量化；以及逆小波变换装置，用于对由第一逆量化装置进行了逆量化的系数数据执行逆小波变换。另外，该设置装置包括第二熵解码装置，用于对由第二前向纠错方法解码装置复原的编码数据执行熵解码；第二逆量化装置，用于对在第二熵解码装置中对编码数据解码而获得的系数数据执行逆量化；以及更新装置，用于利用由第二逆量化装置进行了逆量化的系数数据来更新通过逆小波变换维持的并且在逆小波变换中使用的中间数据。
根据本发明又一实施例，还提供了一种信息处理设备中的信息处理方法，包括以下步骤使得信息处理设备的获取装置获取编码数据、用于编码数据的第一冗余数据和用于编码数据的第二冗余数据，编码数据是通过针对每个块利用预定数据单位来对由块形成的图像数据进行编码获得的，第一冗余数据是通过利用前向纠错方法以第一数据单位对编码数据编码获得的，第二冗余数据是通过利用前向纠错方法以比第一数据单位大的第二数据单位对编码数据编码获得的；使得信息处理设备的解码装置在通过获取装置获得的并且将被包括在被解码了的块中的编码数据都被收集的情况下，利用编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码，并且在通过获取装置获得的并且将被包括在被解码了的块中的编码数据并未都被收集的情况下，利用编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码；使得信息处理设备的的第一前向纠错方法解码装置复原丢失编码数据，并且利用前向纠错方法对由获取装置获得的编码数据和第一冗余数据进行解码，以便将被复原的编码数据用来解码相对应的块并且将在解码期间获得的中间数据用来解码后续块的编码数据；使得信息处理设备的第二前向纠错方法解码装置利用前向纠错方法对由获取装置获得的编码数据和第二冗余数据进行解码，以便将在解码期间获得的中间数据用来解码后续块的编码数据；以及使得信息处理设备的设置装置对由第二前向纠错方法解码装置复原的编码数据进行解码，并且将解码期间获得的中间数据设置作为在针对被解码了的块的解码处理期间的中间数据，以用来解码后续块。根据本发明又一实施例，还提供了一种使得计算机能够用作如下装置的程序获取装置，用于获取编码数据、用于编码数据的第一冗余数据和用于编码数据的第二冗余数据，编码数据是通过针对每个块利用预定数据单位来对由块形成的图像数据进行编码获得的，第一冗余数据是通过利用前向纠错方法以第一数据单位对编码数据编码获得的，第二冗余数据是通过利用前向纠错方法以比第一数据单位大的第二数据单位对编码数据编码获得的；解码装置，用于在通过获取装置获得的并且将被包括在被解码了块中的编码数据都被收集的情况下，利用编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码，并且在通过获取装置获得的并且将被包括在被解码了块中的编码数据并未都被收集的情况下，利用编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码；第一前向纠错方法解码装置，用于复原丢失编码数据，并且利用前向纠错方法对由获取装置获得的编码数据和第一冗余数据进行解码，以便将被复原的编码数据用来解码相对应的块并且将在解码期间获得的中间数据用来解码后续块的编码数据；第二前向纠错方法解码装置，用于利用前向纠错方法对由获取装置获得的编码数据和第二冗余数据进行解码，以便将在解码期间获得的中间数据用来解码后续块的编码数据；以及设置装置，用于对由第二前向纠错方法解码装置复原的编码数据进行解码，并且将解码期间获得的中间数据设置作为在针对被解码了的块的解码处理期间的中间数据，以用来解码后续块。根据本发明的一个实施例，编码数据以及用于编码数据的冗余数据被获得，编码数据是通过针对每个块利用预定数据单位来对由块形成的图像数据进行编码获得的，冗余数据是通过利用前向纠错方法对编码数据编码获得的；在通过获取装置获得的并且将被包括在被解码了的块中的编码数据都被收集的情况下，利用编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码，并且在通过获取装置获得的并且将被包括在被解码了的块中的编码数据并未都被收集的情况下，利用用来替代丢失编码数据的伪数据、编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码；编码数据和冗余数据通过前向纠错方法被解码，并且丢失编码数据被复原；以及被复原的编码数据被解码，并且在解码期间获得的中间数据被设置作为在针对被解码了的块的解码处理期间的中间数据，以用来解码后续块。根据本发明的另一实施例，针对每个块利用预定数据单位来对由块形成的图像数据进行编码；复原丢失编码数据，并且通过前向纠错方法以第一数据单位来对在编码装置中通过对图像数据编码获得的编码数据进行编码，以便将被复原的编码数据用来解码相对应的块并且将在解码期间获得的中间数据用来解码后续块的编码数据；通过前向纠错方法以比第一数据单位大的第二数据单位来对在编码装置中通过对图像数据编码获得的编码数据进行编码，以便将在解码期间获得的中间数据用来解码后续块的编码数据；以及发送在编码装置中通过对图像数据进行编码获得的编码数据、在第一前向纠错方法编码装置中通过对编码数据进行编码获得的第一冗余数据以及在第二前向纠错方法编码装置通过对编码数据进行编码获得的第二冗余数据。根据本发明又一实施例，获取编码数据、用于编码数据的第一冗余数据和用于编码数据的第二冗余数据，编码数据是通过针对每个块利用预定数据单位来对由块形成的图像数据进行编码获得的，第一冗余数据是通过利用前向纠错方法以第一数据单位对编码数据编码获得的，第二冗余数据是通过利用前向纠错方法以比第一数据单位大的第二数据单位对编码数据编码获得的；在通过获取装置获得的并且将被包括在被解码了的块中的编码数据都被收集的情况下，利用编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码，并且在通过获取装置获得的并且将被包括在被解码了的块中的编码数据并未都被收集的情况下，利用编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码；复原丢失编码数据，并且利用前向纠错方法对由获取装置获得的编码数据和第一冗余数据进行解码，以便将被复原的编码数据用来解码相对应的块并且将在解码期间获得的中间数据用来解码后续块的编码数据；利用前向纠错方法对由获取装置获得的编码数据和第二冗余数据进行解码，以便将在解码期间获得的中间数据用来解码后续块的编码数据；以及被复原的编码数据进行解码，并且将解码期间获得的中间数据设置作为在针对被解码了的块的解码处理期间的中间数据，以用来解码后续块。根据本发明的实施例，能够执行数据传输。具体地，能够通过抑制不必要的延迟的增加并且抑制错误传播到后续数据来传输数据。
图1是图示出根据本发明实施例的网络系统的主要配置示例的框图。图2是图示出运动图像压缩编码单元的配置示例的框图。图3是图示出分析滤波(analysis filtering)的概况的示图。图4是图示出继图3之后的分析滤波的概况的示图。图5是图示出行块(line block)的示图。图6是图示出9X7滤波器的示例的示图。图7是图示出提升操作(lifting operation)示例的示图。图8是图示出提升操作示例的示图。
图9是图示出提升操作示例的示图。
图10是图示出运动图像解压缩解码单元的配置示例的框图。
图11是图示出9X7滤波器的示例的示图。
图12是图示出提升操作示例的示图。
图13是图示出提升操作示例的示图。
图14是图示出压缩编码处理和解压缩解码处理的形式的示图。
图15是图示出在网络系统的各个部分中执行的处理的概况的示图。
图16是图示出冗余编码单元的主要配置示例的框图。
图17是图示出冗余解码单元的主要配置示例的框图。
图18是图示出传播对策单元的主要配置示例的框图。
图19是图示出冗余编码处理的流程的示例的流程图。
图20是图示出冗余解码处理的流程的示例的流程图。
图21是图示出错误传播对策处理的流程的示例的流程图。
图22是图示出冗余解码单元的另一配置示例的框图。
图23是图示出冗余解码处理的流程的另一示例的流程图。
图24是图示出同步再现处理的流程的示例的流程图。
图25是图示出在网络系统的各个部分中执行的处理的概况的示图。
图26是图示出冗余编码单元的另一配置示例的框图。
图27是图示出冗余解码单元的又一配置示例的框图。
图28是图示出冗余编码处理的流程的另一示例的流程图。
图29是图示出冗余解码处理的流程的又一示例的流程图。
图30是图示出整个网络系统的定时关系的示图。
图31是图示出冗余数据的另一配置示例的示图32是图示出根据本发明实施例的网络系统的另一配置示例的框图。
图33是图示出冗余编码单元的又一配置示例的框图。
图34是图示出FEC块原始数据单位设置处理的流程的示例的流程图。
图35是图示出FEC块冗余设置处理的流程的示例的流程图。
图36是图示出根据本发明实施例的个人计算机的主要配置示例的框图。
具体实施例方式下面，将描述本发明的实施例。将按以下顺序给出描述。1.第一实施例(网络系统将FEC用作错误传播对策)2.第二实施例(网络系统FEC的使用的改变。用于错误传播对策或用于复原)3.第三实施例(网络系统将FEC同时用于错误传播对策和复原)4.第四实施例(网络系统RTCP的使用)5.第五实施例(个人计算机)<1.第一实施例>[网络系统的配置]图1是图示出根据本发明实施例的网络系统的配置示例的框图。
在图1中，网络系统100是图像数据(运动图像数据或静止图像数据)从发送设备101经由网络110被发送给接收设备102的系统。下面，尽管出于方便描述的目的而将描述传输运动图像数据的情况，然而下面的描述也可应用于静止图像数据的传输。运动图像被认为是帧图像或者一组场图像，即一组静止图像。因此，网络系统100可以通过执行与下面将描述的传输运动图像数据的情况基本上相同的方式来传输静止图像数据。发送设备101通过编码来使输入运动图像数据(视频IN)分组化，并且经由网络 110将分组发送给接收设备102。如图1所示，发送设备101包括运动图像压缩编码单元 121、冗余编码单元122以及RTP (实时传送协议)发送单元123。运动图像压缩编码单元121对输入到发送设备101的运动图像数据(视频IN)执行压缩编码，并且将所生成的编码数据提供给冗余编码单元122。冗余编码单元122对从运动图像压缩编码单元121提供来的经编码数据执行冗余编码，并且生成冗余数据。冗余编码单元122将所生成的冗余数据与经编码数据一起(作为FEC(前向纠错)编码数据)提供给RTP发送单元123。RTP发送单元123将提供来的FEC编码数据作为RTP分组经由网络110发送给接收设备102。接收设备102接收从发送设备101经由网络110发送来的RTP分组，对RTP分组进行去分组化(d印acketize)，并且通过执行冗余解码或解压缩解码来生成并输出运动图像数据。如图1所示，接收设备102包括RTP接收单元131、冗余解码单元132以及运动图像解压缩解码单元133。RTP接收单元131接收从RTP发送单元123发送来的RTP分组并且将FEC编码数据提供给冗余解码单元132。冗余解码单元132通过与冗余编码单元122中的冗余编码方法相对应的解码方法来对提供来的FEC编码数据执行冗余解码，并且因此利用冗余数据复原丢失数据。冗余解码单元132将所获得的编码数据提供给运动图像解压缩解码单元133。 运动图像解压缩解码单元133通过与运动图像压缩编码单元121中的压缩编码方法相对应的方法来对编码数据执行解压缩解码，并且生成基带中的运动图像数据。运动图像解压缩解码单元133从接收设备102输出所生成的运动图像数据(视频OUT)。[运动图像压缩编码和解压缩解码的描述]接下来，将描述运动图像压缩编码单元121和运动图像解压缩解码单元133中的运动图像压缩编码和解压缩解码的示例。图2是图示出运动图像压缩编码单元121的详细配置示例的框图。运动图像压缩编码单元121按照图像数据的分辨率的重要程度的降序来生成图像数据的层级 (hierarchy)，并且针对每个层级执行层级编码以便被编码。例如，运动图像压缩编码单元 121按照空间分辨率的重要程度的降序来生成层级化数据。另外，例如，运动图像压缩编码单元121按照时间分辨率的重要程度的降序来生成层级化数据。此外，例如，运动图像压缩编码单元121按照SNR(信噪比)的重要程度的降序来生成层级化数据。运动图像压缩编码单元121针对每个层级对以这种方式生成的层级化数据编码。在这样的层级编码方法中，例如，存在使运动图像数据的每个图片经过小波变换和熵编码的JPEG (联合图像专家组)2000制式(scheme)。层级编码方法是任意的，但是在下面，将描述运动图像压缩编码单元121每多行地针对运动图像数据执行小波变换和熵编码的情况。如图2所示，运动图像压缩编码单元121包括小波变换单元151、量化单元152、熵编码单元153以及速率控制单元154。小波变换单元151每多行地针对运动图像的每个图片执行小波变换。小波变换是执行分析滤波的处理，该分析滤波用于在图像平面水平方向和图像平面垂直方向两者上将输入数据划分为高频成分和低频成分。换言之，经过小波变换处理的输入数据被划分为四个成分(子频带)，包括在水平方向和垂直方向两者上具有高频的成分(HH成分)、在水平方向上具有高频并且在垂直方向上具有低频的成分(HL成分)、在水平方向上具有低频并且在垂直方向上具有高频的成分(LH成分)、以及在水平方向和垂直方向两者上具有低频的成分(LL成分)。小波变换单元151对通过分析滤波获得的、在水平方向和垂直方向两者上具有低频的成分(LL成分)递归地重复小波变换处理。换言之，通过小波变换处理，运动图像数据的每个图片被划分为多个层级化子频带(频率成分)(层级化数据被生成)。熵编码单元 153对每个子频带编码。运动图像的每个图片的图像数据针对从图像上部起的纵向上的每一行被输入小波变换单元151。另外，每行的图像数据针对从图像的左侧起的横向上的每个样本(一列) 被输入。每当被提供了可被执行分析滤波的样本数目的数据时(一旦被提供了所述样本)，小波变换单元151就对以这种方式输入的图像数据执行图像平面水平方向上的分析滤波(水平分析滤波)。例如，小波变换单元151在每当M列被输入时就对图3左侧所示的基带中的图像数据161执行水平分析滤波，并且针对每一行将其划分为在水平方向上具有低频的成分L和具有高频的成分H。图3右侧所示的水平分析滤波结果162指示出了与经小波变换单元151划分的N行的量相对应的在水平方向上具有低频的成分L和具有高频的成分H。接下来，小波变换单元151对水平分析滤波结果162的各个成分执行垂直方向上的分析滤波(垂直分析滤波)。如果垂直分析滤波所需的垂直行的系数通过水平分析滤波被生成，则小波变换单元151针对每一列的垂直分析滤波所需的垂直行的系数执行垂直分析滤波。结果，水平分析滤波结果162被划分为四个成分的小波变换系数(下面称为系数)，四个成分包括如图4的左侧所示的在水平方向和垂直方向两者上具有低频的成分(LL 成分)、在水平方向上具有高频并且在垂直方向上具有低频的成分(HL成分)、在水平方向上具有低频并且在垂直方向上具有高频的成分(LH成分)、以及在水平方向和垂直方向两者上具有高频的成分(HH成分)(层级化数据163)。直到预定层级(划分层次)的系数被获得，所获得的分析滤波结果中的HL成分、 LH成分和HH成分才被输出给外部设备。剩余的LL成分在小波变换单元151中经过第二次分析滤波。换言之，例如，图4左侧所示的层级化数据163被变换为图4右侧所示的层级化数据164。在层级化数据164中，从LL成分生成了包括LLLL成分、LLHL成分、LLLH成分和 LLHH成分的四个成分。小波变换单元151对运动图像数据递归地执行预定次数的分析滤波，并且生成被层级化直到所希望的划分层次的层级化数据。图5是图示出被层级化直到第3划分层次 (三个层级)的层级化数据的示例的示图。在图5中，被划分直到第3划分层次的层级化数据165由各个子频带构成，这些子频带包括第1划分层次(层级编号3)的3HL成分、3LH 成分和3HH成分、第2划分层次的2HL成分、2LH成分和2HH成分(层级编号2)、以及第3 划分层次(层级编号1)的ILL成分、IHL成分、ILH成分和IHH成分。在小波变换处理中，每次滤波被重复时(每次层级在等级上降低1时)，所生成的行数与2的平方成反比地变小。可以通过滤波要被重复多少次(最终划分层次的层级数目)来设置生成最终划分层次(层级编号1)的一行系数所需的基带中的行数。通常，层级的数目预先被设定。生成最终划分层次的一行系数或每个层级的系数所需的基带中的图像数据(多行的图像数据)总地被称为行块(或者选区)。在图5中，用斜线标记的部分是形成一个行块的系数。如图5所示，该行块包括 与层级编号1的各个成分的一行相对应的系数、与层级编号2的各个成分的两行相对应的系数、以及与层级编号3的各个成分的四行相对应的系数。另外，在分析滤波被执行之前与它们相对应的图像数据，即，在此示例中，与八行的量相对应的图像数据也被称为行块(或选区)。接下来，将详细描述上述分析滤波中的操作方法。分析滤波中的操作方法中的最普通操作方法是称为卷积操作的方法。卷积方法是实现数字滤波器的最基本机制，并且通过在滤波器的抽头系数中卷积实际输入数据来执行乘法。然而，在卷积操作中，在一些情况下，由于抽头长度较长，因此计算负荷增大。作为用于处理这种情形的方法，已知了在论文“W. SweldenZThelifting scheme :A custom-design construction of Biorthogonal wavelets", Applied and Computational Harmonic Analysis, vol. 3,no. 2,pp. 186—200，1996” 中介绍的小波变换的提升技术。图6示出了也被应用在JPEG 2000规范中的9X7分析滤波器的提升配置。现在将描述将提升技术应用于9X7分析滤波器的情况中的分析滤波。在图6的示例中，第一阶段(最上面的阶段)指示了输入图像的样本组(像素行)， 并且第二和第三阶段指示分别通过步骤Al和步骤A2中的处理生成的成分(系数)。另外， 第四阶段指示通过步骤A3中的处理生成的高频成分输出，并且第五阶段指示通过步骤A4 中的处理生成的低频成分输出。在最上面部分，不仅输入图像的样本组被定位，而且通过先前的分析滤波获得的系数也可以被定位。这里，假设输入图像的样本组位于最上面部分中， 方块标记(■)表示偶数编号的样本或行，并且圆圈标记(·)表示奇数编号的样本或行。在通过将提升技术应用于9X7分析滤波器而执行的分析滤波中，可在步骤A3的处理中获得高频成分，并且可在步骤A4的处理中获得低频成分。步骤Al至A4的处理通过下式⑴至⑷来表达。步骤Al =Cli1 = Cli0+α (Si0+si+1°) - (1)步骤A2 =Si1 = Si0+β (dj+d/)…(2)步骤A3 =Cli2 = d/+y (s/+、/)…(3)步骤A4 :Si2 = Si1+δ (dH2+^2)…(4) ( α = -1. 586134342, β = -0. 05298011857,Y=O. 8829110755,8 = 0. 4435068520)以这种方式，在利用提升技术的情况中的分析滤波中，在步骤Al和A2中执行处理，在步骤A3中生成高频成分的系数，并且随后在步骤A4中生成低频成分的系数。此时使用的滤波器组(filter bank)简单地通过如等式(1)至(4)所示的加法和移位(shift)来实现。因此，可以大幅减少计算量。因此，如下面所述的，提升技术被应用于水平分析滤波和垂直分析滤波。首先，将详细描述水平分析滤波。图7示出了利用图6中的提升配置来执行水平分析滤波的示例。在图7的示例中，在水平方向上对输入系数执行上述图6的四个步骤(步骤Al至 A4)中的处理，并且生成高频成分系数(下面称为高频系数)和低频成分系数(下面称为低频系数)，提升步骤从该附图的顶部起向下移动。另外，水平方向的系数上所示的数字表示列编号。另外，从上面起的第一阶段中的圆圈和方块分别表示所输入的高频系数和低频系数，并且来自第二阶段的圆圈和方块分别表示在提升操作期间生成的高频系数和低频系数。在它们中，带有斜线的圆圈和方块分别表示通过提升操作获得的高频系数和低频系数。下面，将从上面开始顺序地描述该操作。图7的最上部分示出了这样的示例，其中，水平方向上列编号为4至6的三列的系数被输入并且经过利用水平方向上的提升配置的操作(下面称为水平提升操作)。为了在水平提升操作中在步骤A3获得第一高频系数并且在步骤A4获得第一低频系数，需要输入列编号为0至4的四列的系数。此后，为了获得第二高频系数和低频系数，需要用粗实线标记的系数以及用被圈起的数字标记的列编号为5和6的两列的系数，并且此外，为了在步骤A2中计算用Pl表示的系数，需要用被圈起的数字标记的列编号为4的系数。用粗实线标记的三个系数是在用于获得第一高频系数和低频系数的水平提升操作(下面也称为第一水平提升操作)期间生成的系数的一部分。即是说，为了获得第二高频系数和低频系数，最终需要输入用被圈起的数字标记的列编号为4至6的三列的系数，并且此外，需要用粗实线标记的并且在第一水平提升操作期间生成的三个系数被锁存(latch)为用于中间流程操作的系数。实际上，系数的数目为最多三个，因此可以利用诸如触发器之类的小容量存储区域来处理它们。因此，利用在第一水平提升操作中被锁存的用粗实线标记的三个系数以及列编号为4至6的三列的输入系数来执行水平提升操作。由此，在该操作期间以及在该操作之后， 包括第二高频系数和低频系数的四个系数(用粗虚线标记)被生成。在它们中，用点划线标记的三个系数是用来获得第三高频系数和低频系数的系数，并且因此被锁存在所嵌入的触发器中作为用于中间流程操作的系数。图7的下面部分示出了这样的示例，其中，列编号为6的系数被输入，然后水平方向上的两列的系数另外地被输入，即，列编号为6至8的三列的系数被输入，并且水平提升操作被执行。按照与第二种情况相同的方式，为了获得第三高频系数和低频系数，需要用粗实线标记的三个系数以及用被圈起的数字标记的列编号为7和8的两列的系数，并且为了在
22步骤A2中计算用P2表示的系数，还需要用被圈起的数字标记的列编号为6的系数。下面部分中用粗实线标记的三个系数在如上面部分中用点划线标记的第二水平提升操作中被锁存在触发器中。因此，利用已在第二水平提升操作中被锁存的、用粗实线标记的三个系数以及列编号为6至8的三列的输入系数来执行水平提升操作。由此，包括第三高频系数和低频系数的四个系数(用粗虚线标记)被生成。在它们中，用点划线标记的三个系数是用来获得第四高频系数和低频系数的系数，并且因此被锁存在所嵌入的触发器中。以这种方式，在三列的系数顺序地被输入并且用于中间流程操作的三个系数被保存时，水平提升操作被执行直到图像的最右列，因此，水平方向上的分析滤波被完成。在上面的描述中，尽管已描述了与利用提升配置的一行相对应的水平分析滤波的示例，但将参考图8描述如下这样的操作，其中，系数行从上面起向下顺序地被输入并且利用提升配置来执行水平分析滤波。另外，在图8中，与图6和图7中的系数相对应的系数以相同的方式示出并且因此将省略对其的描述。图8的左边部分示出了针对每个输入行执行水平提升操作的示例，并且图8的右边部分示出了这样的示例，其中，对通过对从上面起垂直地展开(develop)的各个输入行执行水平提升操作而获得的系数执行垂直提升操作。如果从该附图的左边部分开始顺序地描述，则排头的输入行0中的系数经过由四个步骤形成的水平提升操作并且生成编号为1至11的低频系数和高频系数。在它们中，奇数编号1，3，5，7，9和11的系数为低频系数，并且偶数编号2，4，6，8和10的系数为高频系数。尽管在该附图中仅示出了输入行1，但这对输入行1至输入行η都适用。换言之， 排头的输入行1中的系数经过由四个步骤形成的水平提升操作并且生成编号为1至11的低频系数和高频系数，并且在它们中，奇数编号1，3，5，7，9和11的系数为低频系数并且偶数编号2，4，6，8和10的系数为高频系数。此外，如图8的右边部分所示，通过对输入行0执行水平滤波而获得的编号为1至 11的系数从前侧到后侧在从上面起的第一阶段中依次地水平地被展开。通过对输入行1执行水平滤波而获得的编号为1至11的系数从前侧到后侧在从上面起的第二阶段中依次地水平地被展开。通过对输入行2执行水平滤波而获得的系数从前侧到后侧在从上面起的第三阶段中依次地水平地被展开。这样，通过对各个输入行0至η执行水平滤波而获得的系数从上面起垂直地顺序地被展开，如图8的右边部分所示。另外，实际上，对于通过对每一输入行执行水平滤波而获得的编号为1至11的系数，低频成分和高频成分从前侧到后侧在水平方向上交替地被排列。另外，每当在垂直方向上收集了预定数目的系数时，即，每当收集了预定数目的行时，如右边部分的提升步骤方向所示，就从左侧到右侧执行利用垂直方向上的提升配置的操作(即，垂直提升操作)。接下来，将详细描述垂直分析滤波。图9示出了利用图6的提升配置执行垂直方向上的分析滤波的示例。另外，图9关注于图8右边部分所示的在水平方向上被展开并被排列的一个系数，并且将明白，在实际的二维小波变换中，仅需针对在小波变换期间生成的频率成分(子频带)的水平方向上的系数个数来计算垂直方向上的分析滤波。图9示出了这样的示例，其中，垂直方向上的系数经过上述图6中的四个步骤(步骤Al至A4)的处理并且生成高频系数和低频系数，并且提升步骤方向从该附图的左侧向其右侧移动。垂直方向上的系数的左侧所示的数字表示行编号。另外，从左侧起第一列中的圆圈和方块分别表示高频系数和低频系数，并且来自第二列的圆圈和方块分别表示在提升操作期间生成的高频系数和低频系数。在它们中，高频系数和低频系数中带有斜线的圆圈和方块分别是作为提升操作的结果获得的。下面，将从左侧起顺序地描述该操作。图9的左边部分示出了垂直方向上行编号为4至6的三行的系数被输入并且经过垂直提升操作的示例。为了在垂直提升操作中在步骤A3中获得第一高频系数并且在步骤A4中获得第一低频系数，需要输入行编号为0至4的四行的系数。此后，为了获得第二高频系数和低频系数，需要用粗实线标记的系数以及用被圈起的数字标记的行编号为5和6的两行的系数，并且此外，为了在步骤A2中计算用Pl表示的系数，需要用被圈起的数字标记的行编号为4的系数。用粗实线标记的三个系数是在用于获得第一高频系数和低频系数的垂直提升操作(下面也称为第一垂直提升操作)期间生成的系数的一部分。即是说，为了获得第二高频系数和低频系数，最终需要输入用被圈起的数字标记的行编号为4至6的三行的系数。此外，需要用粗实线标记的并且在第一垂直提升操作期间生成的三个系数。小波变换单元151将这三个系数存储为用于中间流程操作的系数。因此，利用在第一垂直提升操作中被存储的用粗实线标记的三个系数以及从相应层次的缓冲器读取并被输入的行编号为4至6的三行的系数来执行垂直提升操作。由此， 包括第二高频系数和低频系数的四个系数(用粗虚线标记)被获得。在它们中，用点划线标记的三个系数是用来获得第三高频系数和低频系数的系数，并且因此被存储。图9的右边部分示出了这样的示例，其中，行编号为6的系数被读取，然后垂直方向上的两行的系数另外地被读取，即，行编号为6至8的三行的系数被输入，并且垂直提升操作被执行。按照与第二种情况相同的方式，为了获得第三高频系数和低频系数，需要用粗实线标记的三个系数以及用被圈起的数字标记的行编号为7和8的两行的系数，并且为了在步骤A2中计算用P2表示的系数，还需要用被圈起的数字标记的行编号为6的系数。右边部分中用粗实线标记的三个系数在如左边部分中用点划线标记的第二垂直提升操作中被存储。因此，利用已在第二垂直提升操作中被存储的、用粗实线标记的三个系数以及从相应层次的缓冲器读取的行编号为6至8的三行的输入系数来执行垂直提升操作。由此，包括第三高频系数和低频系数的四个系数(用粗虚线标记)被生成。在它们中， 用点划线标记的三个系数是用来获得第四高频系数和低频系数的系数，并且因此被存储。以这种方式，在三行的系数顺序地被输入并且用于中间流程操作的三个系数被保存时，垂直提升操作被执行直到最下行，因此，垂直方向上的分析滤波被完成。再次参考图2，量化单元152通过利用例如量化步阶大小来划分由小波变换单元 151生成的各个成分的系数来量化这些系数，并且生成量化系数。此时，量化单元152可以针对每个行块(选区)设置量化步阶大小。行块包括某个图像区域中的所有频率成分(在图5的情况中，为从ILL到3HH的十个频率成分)的系数，并且因此对每个行块的量化可以获得多重分辨率分析(其是小波变换的特征)的优点。另外，仅行块的数目被设置，因此， 减小了量化的负荷。另外，由于图像信号的能量通常集中在低频成分上并且此外人眼对低频成分中的恶化敏感，因此优选地在量化期间执行加权，以使得低频成分的子频带中的量化步阶大小最终具有小的值。通过该加权，较大量的信息被分配给低频成分并且主观图像质量整体上得到提高。熵编码单元153对由量化单元152生成的量化系数执行源编码(source coding) 并且生成经压缩经编码的码流。源编码可以使用例如在JPEG制式或MPEG(运动图像专家组)制式中描述的霍夫曼(Hoffman)编码或者在JPEG 2000制式中描述的高密度算术编码。这里，是否对哪个范围中的系数执行熵编码是与压缩效率直接相关的非常重要的因素。例如，在JPEG制式或MPEG制式中，对8 X 8的块执行DCT (离散余弦变换)，并且通过对所生成的64个DCT系数执行霍夫曼编码来压缩信息。换言之，64个DCT系数属于熵编码的范围。与DCT不同，小波变换单元151以行为单位来对8X8的块执行小波变换，并且因此熵编码单元153针对每个频带(子频带)并且此外针对每个频带中的每P行(一行或多行)独立地执行用于块的源编码。P最小为一行，由于在行数较小的情况中参考信息较少，因此存储器容量可被减少。相反，在行数较大的情况中，由于信息量相应地增加，因此编码效率可得到提高。然而， 如果P变为超过每个频带中的行块中的行数的值，则甚至需要下一行块中的行。因此，熵编码单元153等待将通过小波变换和量化生成的行块的量化系数数据，并且该等待时间变为延迟时间。因此，对于短延迟，优选地，P等于或小于行块的行数。例如，在图5所示的示例中， 由于行块的行数在ILL、IHLULH和IHH的频带中为一，因此P为1。另外，由于行块的行数在2HL、2LH和2HH的子频带中为二，因此P为1或2。速率控制单元154最后根据目标比特速率或压缩比来执行控制，并且将速率控制之后的经编码码流输出给外部设备。例如，速率控制单元154向量化单元152发送控制信号，以便在增加比特速率的情况中减小量化步阶大小，并且在减小比特速率的情况中增大量化步阶大小。接下来，将描述用于对经过压缩编码的编码数据执行解压缩解码的方法。图10是图示出用于执行解压缩解码的运动图像解压缩解码单元133的配置示例的框图。在图10 中，运动图像解压缩解码单元133包括熵解码单元171、逆量化单元172和逆小波变换单元 173。熵解码单元171对所输入的编码数据执行源解码并且生成量化系数数据。源解码例如可以使用与运动图像压缩编码单元121中的源编码相对应的霍夫曼解码或高效率算术解码。另外，当在运动图像压缩编码单元121中每P行(一行或多行)地执行了源编码时，则熵解码单元171以相同的方式对每个子频带以及每个子频带中的每P行(一行或多行)独立地执行源解码。逆量化单元172通过将量化系数数据与量化步阶大小相乘来执行逆量化，并且生成系数数据。量化步阶大小通常被描述在经编码码流的头部中。另外，当在运动图像压缩编码单元121中针对每个行块设置了量化步阶大小时，逆量化单元172以相同的方式通过对每个行块设置逆量化步阶大小来执行逆量化。逆小波变换单元173执行与小波变换单元151中的处理相逆的处理。换言之，逆小波变换单元173在水平方向和垂直方向两者上，对被小波变换单元151划分为多个频带的系数数据执行用于将低频成分与高频成分相合成的滤波(合成滤波)。由于可以以相同的方式与应用了上述提升技术的分析滤波相对应地来高效地执行滤波，因此优选地，将提升技术用于逆小波变换的合成滤波。图11示出了在JPEG 2000规范中采用的9X7分析滤波器的提升配置。将描述将提升技术应用于9 X 7分析滤波器的情况中的合成滤波。在图11的示例中，第一阶段(最上面的阶段)指示通过小波变换生成的系数，圆圈标记(·)表示高频成分并且方块标记(■)表示低频成分。第二和第三阶段分别指示在步骤Bl和B2的处理中生成的成分(系数)。另外，第四阶段指示在步骤B3的处理中生成的偶数编号的成分输出，并且第五阶段指示在步骤B4的处理中生成的奇数编号的成分输出。在提升技术被应用于9X7分析滤波器的情况中的合成滤波中，可在步骤B3的处理中获得偶数编号的成分，并且可在步骤B4的处理中获得奇数编号的成分。步骤Bl至B4 的处理通过下式(5)至(8)来表达。步骤Bl =Si1 = Si2-δ (φ . (5)步骤B2 =Cli1 = Cli3- γ (s^+s^1)…(6)步骤B3 :Si° = Si1-β (dj+d/)…(7)步骤B4= CliLa (Si0+Si+10)... (8) ( a =-1. 586134342，β = -0. 05298011857, Y = 0.8829110755, δ = 0.4435068520)以这种方式，在利用提升技术的情况中的合成滤波中，在步骤Bl和Β2中执行处理，在步骤Β3中生成偶数编号成分的系数，并且随后在步骤Β4中生成奇数编号成分的系数。此时使用的滤波器组简单地通过如等式(5)至(8)所示的除法和移位来实现。因此， 可以大幅减少计算量。因此，如下面所述的，同样在逆小波变换单元173中，提升技术被应用于图像垂直方向上的合成滤波(垂直合成滤波)以及图像水平方向上的合成滤波(水平合成滤波)。 除了将要使用的等式外，垂直合成滤波执行与参考图6描述的垂直分析滤波基本上相同的操作，并且水平合成滤波执行与参考图7描述的水平分析滤波基本上相同的操作。首先，将详细描述垂直合成滤波。图12示出了利用图11中的提升配置来对垂直方向上的系数组执行垂直合成滤波的示例。在图12的示例中，对垂直方向上的系数执行上述图11的四个步骤(步骤Bl至 Β4)中的处理，并且生成偶数编号系数(下面称为偶系数)和奇数编号系数(下面称为奇系数)，提升步骤在该附图中从左侧向右侧移动。另外，垂直方向上的系数的左侧所示的数字表示行编号，并且从左边起的第一列中带有斜线的圆圈和方块分别表示高频输入和低频输入。来自第二列的圆圈和方块分别表示在提升操作期间生成的高频系数和低频系数，并且在它们中，黑色圆圈和黑色方块分别表示作为提升操作的结果获得的奇系数和偶系数。下面，将从左侧起顺序地描述该操作。图12的左边部分示出了这样的示例，其中， 垂直方向上的行编号为4至6的三行的系数被输入并且经过利用垂直方向上的提升配置的操作(即，垂直提升操作)。另外，在此情况中，最上侧的偶系数不与奇系数形成配对，并且因此将省略对其的描述。为了在垂直提升操作中在步骤B3获得第一偶系数并且在步骤B4获得第一奇系数，需要行编号为0至5的六行的系数。此后，为了获得第二偶系数和奇系数，需要用粗实线标记的三个系数以及用被圈起的数字标记的行编号为6和7的两行的系数，并且此外，为了在步骤B2中计算用Ql表示的系数，需要用被圈起的数字标记的行编号为5的系数。用粗实线标记的三个系数是在用于获得第一偶系数和奇系数的垂直提升操作 (下面也称为第一垂直提升操作)期间生成的系数的一部分。因此，为了获得第二偶系数和奇系数，最终需要输入用被圈起的数字标记的行编号为5至7的三行的系数，并且此外，用粗实线标记的并且在第一垂直提升操作期间生成的三个系数被存储。此时，针对每个层次来读取垂直方向上的三行的系数。因此，利用在第一垂直提升操作中被存储在缓冲器中的用粗实线标记的三个系数以及行编号为5至7的三行的输入系数来执行垂直提升操作。由此，包括第二偶系数和奇系数的四个系数(用粗虚线标记)被生成。在它们中，用点划线标记的三个系数是用来获得第三偶系数和奇系数的系数，并且因此被存储。图12的右边部分示出了这样的示例，其中，行编号为7的系数被读取，并且然后垂直方向上的两行的系数另外地被读取，即，行编号为7至9的三行的系数被输入，并且垂直提升操作被执行。按照与第二种情况相同的方式，为了获得第三偶系数和奇系数，需要用粗实线标记的三个系数以及用被圈起的数字标记的行编号为8和9的两行的系数，并且为了在步骤 B2中计算用Q2表示的系数，还需要用被圈起的数字标记的行编号为7的系数。右边部分中用粗实线标记的三个系数在如左边部分中用点划线标记的第二垂直提升操作中被存储在系数缓冲器中。因此，利用已在第二垂直提升操作中被存储的、用粗实线标记的三个系数以及行编号为7至9的三行的输入系数来执行垂直提升操作。由此，包括第三偶系数和奇系数的四个系数(用粗虚线标记)被生成。在它们中，用点划线标记的三个系数是用来获得第四偶系数和奇系数的系数，并且因此被存储。以这种方式，在三行的系数顺序地被输入并且用于中间流程操作的三个系数被保存时，垂直提升操作被执行直到最下行，因此，垂直方向上的合成滤波被完成。接下来，将详细描述水平合成滤波。图13示出了垂直方向上的合成滤波的结果被排列在水平方向上并且利用图11的提升配置来执行水平合成滤波。在图13的示例中，对水平方向上的系数执行上述图11的四个步骤(步骤Bl至 B4)中的处理，并且偶系数和奇系数被生成，提升步骤从附图的顶部起向下移动。
另外，水平方向上的系数上所示的数字表示列编号，并且从上面起的第一阶段中带有斜线的圆圈和方块分别表示所输入的高频输入和低频输入。来自第二阶段的圆圈和方块分别表示在提升操作期间生成的高频系数和低频系数。在它们中，黑色圆圈和黑色方块分别表示通过提升操作获得的偶系数和奇系数。下面，将从上面起顺序地描述该操作。图13的上面部分示出了这样的示例，其中， 水平方向上的列编号为5至7的三列的系数被输入并且经过利用水平方向上的提升配置的操作(下面称为水平提升操作)。另外，在此情况中，最左侧的偶系数不与奇系数形成配对， 并且因此将省略对其的描述。为了在水平提升操作中在步骤B3获得第一偶系数并且在步骤B4获得第一奇系数，需要输入列编号为0至5的六列的系数。此后，为了获得第二偶系数和奇系数，需要用粗实线标记的三个系数以及用被圈起的数字标记的列编号为6和7的两列的系数，并且此外，为了在步骤B2中计算用Ql表示的系数，需要用被圈起的数字标记的列编号为5的系数。用粗实线标记的三个系数是在用于获得第一奇系数和偶系数的水平提升操作 (下面也称为第一水平提升操作)期间生成的系数的一部分。即是说，为了获得第二奇系数和偶系数，最终需要输入用被圈起的数字标记的列编号为5至7的三列的系数，并且此外，需要锁存用粗实线标记的并且在第一水平提升操作期间生成的三个系数。实际上，系数的数目最多三个，并且因此可以利用诸如触发器之类的小容量存储区域来处理它们。因此，利用在第一水平提升操作中被锁存的、用粗实线标记的三个系数以及列编号为5至7的三列的输入系数来执行水平提升操作。由此，在该操作期间以及在该操作之后，包括第二奇系数和偶系数的四个系数(用粗虚线标记)被获得。在它们中，用点划线标记的三个系数是用来获得第三奇系数和偶系数的系数，并且因此被锁存在嵌入的触发器中。图13的下面部分示出了这样的示例，其中，列编号为7的系数被输入，并且然后水平方向上的两列的系数另外地被输入，即，列编号为7至9的三列的系数被输入，并且水平提升操作被执行。按照与第二种情况相同的方式，为了获得第三奇系数和偶系数，需要用粗实线标记的三个系数以及用被圈起的数字标记的列编号为8和9的两列的系数，并且为了在步骤 B2中计算用Q2表示的系数，还需要用被圈起的数字标记的列编号为7的系数。下面部分中用粗实线标记的三个系数在如上面部分中用点划线标记的第二水平提升操作中被锁存。因此，利用已在第二水平提升操作中被锁存的、用粗实线标记的三个系数以及列编号为7至9的三列的输入系数来执行水平提升操作。由此，包括第三奇系数和偶系数的四个系数(用粗虚线标记)被生成。在它们中，用点划线标记的三个系数是用来获得第四奇系数和偶系数的系数，并且因此被锁存在嵌入的触发器中。以这种方式，在三列的系数顺序地被输入并且用于中间流程操作的三个系数被保存时，水平提升操作被执行直到最右列，因此，水平方向上的合成滤波被完成。如上所述，由于垂直合成滤波和水平合成滤波也可以使用9X7小波变换滤波器
28的提升配置，如参考图10所述的，因此，需要相应划分层次的缓冲器，以利用缓冲器存储每行的系数以便存储与三行的量相对应的系数。另外，为了获得图12中的Ql和Q2的系数， 已经在垂直提升操作中使用的行的系数被用在下一垂直提升操作中。因此，在相应层次的缓冲器内，存储在行缓冲器中的系数一个接一个地被发送给相邻行缓冲器。这样，运动图像数据在发送设备101中经过压缩编码，作为编码数据被发送和接收，并且在接收设备102中经过解压缩解码。图14示意性地示出了各自的压缩编码处理和解压缩解码处理。图14所示的压缩编码处理181在发送设备101中执行并且解压缩解码处理182在接收设备102中执行。如图14所示，在压缩编码处理181中，使每个图片的未经压缩图像数据每多行 (行块)地经过小波变换，并被划分为多个层级化子频带。图14中的未经压缩数据块1至未经压缩数据块N分别指示预定数目的行(例如，行块)的图像数据。图14中的L(i，η)表示每个层级的子频带中的预定数目的行的经压缩经编码数据。这里，i表示层级编号。另外，η表示经压缩经编码数据L在每个层级中的编号。在图 14的示例中，i为1，2和3，并且η为1，2，…，和N。具有层级编号1的经压缩经编码数据L (1，η)是通过对最低等级的层级中的LL成分、HL成分、LH成分和HH成分编码而获得的，并且层级中具有层级编号2或更大编号的经压缩经编码数据L(i，n) (i彡2)是通过对各层级中的HL成分、LH成分和HH成分编码而获得的。如上所述，分析滤波利用提升操作来执行。因此，经压缩经编码数据L(i，η)依赖于比相应层级高的(附图的左侧)层级中的多个块(η以外的块)的数据。在图14中，未经压缩数据块η或经压缩经编码数据L(i，η)间的箭头表示依赖关系。例如，层级编号为1的经压缩经编码数据L(l，1)依赖于层级编号为2的经压缩经编码数据L (2，1)、L (2，2)和L (2，3)，层级编号为3的经压缩经编码数据L (3，1)、L (3，2)、 L(3，3)和L(3，4)，以及未经压缩数据中的未经压缩数据块1、未经压缩数据块2、未经压缩数据块3、未经压缩数据块4和未经压缩数据块5。另外，例如，层级编号为2的经压缩经编码数据L (2，3)依赖于层级编号为3的经压缩经编码数据L (3，2)和L (3，3)，以及未经压缩数据中的未经压缩数据块1至未经压缩数据块3。以这种方式，需要多块的数据来生成一块的压缩数据。解压缩解码处理182是通过与如图14所示的压缩编码处理181相对称的处理来实现的。因此，依赖关系以与编码处理相同的方式存在。例如，所有的未经压缩数据块1至未经压缩数据块5是利用层级编号为1的经压缩经编码数据L(l，l)生成的。换言之，未经压缩数据块1至未经压缩数据块5都依赖于层级编号为1的经压缩经编码数据L (1，1)。因此，例如，如果在层级编号为1的经压缩经编码数据L(l，l)的数据中发生了不能复原的丢失(错误)，则由于这种依赖关系该错误会传播给后续块，并且因此被扩展到未经压缩数据块1至未经压缩数据块5。例如，即使通过补充数据来隐藏丢失部分，由于用于隐藏的补充数据与丢失的原始数据不同，因此用于隐藏的补充数据也会使得图像质量恶化。换言之，即使在这种情况中，也会发生如上所述的错误传播。如果图像质量恶化的范围以这种方式扩展，则恶化可被看见。即是说，图像质量恶化大幅增加。然而，为了抑制错误的发生，S卩，为了提高丢失分组的复原性能，需要增大FEC(前向纠错)块大小。然而，如果FEC块变大，则延迟时间也会增加。网络系统100如上所述是以短的延迟传输图像数据的系统，并且可允许的延迟时间不是很长。因此，难以简单地通过增加FEC块大小来提高丢失分组的复原性能。[整个系统中的处理的描述]因此，如图15所示，网络系统100利用FEC以使得已发生的错误到其它块的传播被抑制。例如，经由视频相机从视频输入接口输入到发送设备101的视频数据(视频IN) 经过由如上所述的运动图像压缩编码单元121进行的层级化压缩编码。视频数据的每个图片经过利用提升的小波变换，如箭头191标记的，并且被变换为经压缩经编码数据。经压缩经编码数据在冗余编码单元122中按照预定数目的单位经过FEC(前向纠错)编码。冗余编码单元122例如根据依赖关系来生成针对经压缩经编码数据的FEC块， 如箭头192标记的。在图15的示例的情况中，九段经压缩经编码数据L (三块)的FEC块被生成，以包括层级编号为1的经压缩经编码数据L(例如，L(l，l))所依赖的所有经压缩经编码数据L。冗余编码单元122对FEC块进行划分以便被RTP分组化(原始数据RTP分组)，并且生成冗余数据(冗余数据RTP分组)。RTP发送单元123经由网络110将各个RTP分组发送给接收设备102，如箭头194 标记的。接收设备102的RTP接收单元131接收RTP分组。冗余解码单元132对接收到的RTP分组执行FEC解码处理以便被去分组化，如箭头195标记的，并且提取每块中的每个层级的经编码数据。在冗余解码单元132中通过FEC解码获得的数据主要被用作错误传播对策。换言之，该数据被用来对后续块解码。如箭头196标记的，经过了 FEC解码的每块中的每个层级的经编码数据经过如箭头197标记的解压缩解码，并且经过逆小波变换。由冗余解码单元132复原的丢失数据被用来在逆小波变换处理中合成其它块。在逆小波变换中，可利用通过FEC解码而复原的原始数据来对后续块解码以使得不包括错误。换言之，能够抑制丢失错误传播到其它块。由于错误的影响可被降低到较小的规模，因此能够抑制用户体验到的视觉图像质量恶化。例如，如果丢失发生在如上所述的经压缩经编码数据L (例如，L (1，1))中，则担心该错误的影响被扩展到未经压缩数据块1至未经压缩数据块5，然而，通过如上所述的对错误传播的抑制，错误的影响可被限制到未经压缩数据块1。另外，尽管FEC解码结果被用来复原丢失分组，然而，在此情况中，如上所述，由于延迟时间的限制而难以提高复原性能。如果复原失败，则由于错误传播，影响范围被扩大。因此，如上所述，FEC解码结果被用于错误传播对策。在此情况中，使用FEC解码结果的定时被延迟到下一后续块的解码处理，并且因此，可使FEC块相应地较大，并且可以容易地提高复原性能。由于需要网络系统100以较短的延迟来传输数据，因此每块中的行数较小，即使一块中发生错误，错误的视觉影响也较小。换言之，接收设备102抑制了如上所述的错误传播并且因此可以充分地抑制图像质量恶化。另外，在上面的描述中，尽管描述了利用小波变换作为压缩编码方法的方法，然而可以使用任何方法，只要是为了以编码(层级化)处理单位(在编码(层级化)处理单位之间存在依赖性)来生成编码数据而使用原始数据的其它部分的数据的方法，并且是用于将经编码数据解码为多个分辨率(可扩展编解码器)的编码方法即可。例如，这些方法可以使用ITU-T(国际电信联盟电信标准化部)H. 264/SVC(可扩展视频编解码器)。[冗余编码单元的配置示例]接下来，将详细描述各个单元。图16是图示出发送设备101的冗余编码单元122 的主要配置示例的框图。如图16所示，冗余编码单元122包括FEC块生成单元221和FEC 编码单元222，利用FEC块生成单元221以预定数据单位来生成经编码数据的FEC块，并且利用FEC编码单元222对每个FEC块执行FEC编码。[冗余解码单元的配置示例]图17是图示出接收设备102的冗余解码单元132的主要配置示例的框图。如图17所示，冗余解码单元132包括控制单元231、获取单元232、保存单元233、 提供单元234、隐藏单元235、FEC解码单元236以及传播对策单元237。控制单元231控制获取单元232到传播对策单元237。在图17中，尽管未示出关于控制单元231的箭头，然而实际上，控制单元231向各个部件提供控制命令或数据并且适当地从各个部件收集信息。获取单元232获取由RTP接收单元131接收的数据。保存单元233包括诸如例如半导体存储器之类的存储介质，并且保存从获取单元232提供来的数据。提供单元234将由获取单元232接收的数据作为接收数据提供给运动图像解压缩解码单元133的熵解码单元171。隐藏单元235向运动图像解压缩解码单元133的熵解码单元171提供用于隐藏的预定数据，来替代丢失数据。FEC解码单元236对从获取单元232提供来的数据或者由保存单元233读取的数据执行FEC解码，并且复原丢失数据。传播对策单元237将由FEC解码单元236复原的数据作为用于错误传播对策的数据提供给逆小波变换单元173。另外，控制单元231执行各种控制处理。控制单元231例如包括作为功能块的丢失判定单元241、FEC块判定单元242、结果判定单元243以及结束判定单元244。这些功能块指示通过控制单元231执行程序或处理数据而实现的功能。后面将描述每个处理的细节。[传播对策单元的配置示例]图18是图示出传播对策单元237的主要配置示例的框图。如图18所示，传播对策单元237包括熵解码单元251、逆量化单元252和小波系数更新单元253。熵解码单元251和逆量化单元252与图10的熵解码单元171和逆量化单元172相同。换言之，传播对策单元237按照与运动图像解压缩解码单元133相同的方式来从通过FEC解码获得的编码数据生成小波系数。小波系数更新单元253将从逆量化单元252提供来的小波系数提供给运动图像解压缩解码单元133的逆小波变换单元173 (图10)，并且利用所提供的小波系数来替换(更新)由逆小波变换单元173保存用于针对后续块的提升操作的相应块的小波系数。[冗余编码处理的流程]接下来，将描述由上述处理单元执行的处理的流程的示例。首先，参考图19的流程图，将描述由发送设备101的冗余编码单元122执行的冗余编码处理的示例。如果冗余编码处理开始，则冗余编码单元122的FEC块生成单元221在步骤S121 中获取从运动图像压缩编码单元121提供来的编码数据。在步骤S122，冗余编码单元122判断是否要获取与预定量的数据相对应的编码数据，所述预定量的数据是FEC块生成单元221执行FEC的数据单位。如果判断出不要获取， 则冗余编码单元122返回步骤S121的处理。换言之，FEC块生成单元221重复地执行处理直到与预定量的数据相对应的编码数据被获得为止。如果与预定量的数据相对应的编码数据通过该处理被获得，则流程前进到步骤 S123，在步骤S123，冗余编码单元122执行处理。FEC块生成单元221在步骤S123中从所获得的编码数据中按照预定数据量来提取编码数据，生成FEC块，并且将所生成的块提供给FEC编码单元222。FEC编码单元222在步骤SlM中对每个FEC块执行FEC编码，并且在步骤S125中将所生成的FEC编码数据发送给RTP发送单元123。在步骤S126，冗余编码单元122判断是否要结束冗余编码处理，并且如果判定不要结束冗余编码处理，则流程返回步骤S121，并且重复从其开始的处理。另外，在步骤SU6中，如果判定要结束冗余编码处理，则冗余编码单元122结束该冗余编码处理。如上所述，编码数据被生成为以预定数据量为单位的FEC块，并且通过对每个FEC 块执行FEC编码来生成冗余数据。冗余数据和原始编码数据总地称为FEC编码数据。冗余编码单元122将FEC编码数据(冗余数据和原始编码数据)提供给RTP发送单元123。换言之，发送设备101将FEC编码数据发送给接收设备102。[冗余解码处理的流程]接下来，将参考图20的流程图来描述由接收设备102的冗余解码单元132执行的冗余解码处理的流程的示例。如果冗余解码处理开始，则冗余解码单元132的获取单元232在步骤S141中获取从发送设备101经由RTP接收单元131发送来的FEC编码数据，并且提取编码数据。在步骤S142，丢失判定单元Ml检查包括在所获得的FEC编码数据中的分组，并且判断编码数据中是否发生了丢失。如果判断出发生丢失，则丢失判定单元241使流程前进到步骤S143。在步骤S143，获取单元232将编码数据提供给隐藏单元235。隐藏单元235执行所谓的错误隐藏处理。换言之，隐藏单元235例如将预定伪数据提供给运动图像解压缩解码单元133的熵解码单元171，以替代丢失的编码数据。用于利用伪数据替换丢失数据的数据单位是任意的，并且例如可以是FEC块单位。即是说，隐藏单元235可以提供用于替代包含有丢失编码数据的FEC块的伪数据，或者可以利用伪数据来仅替换编码数据的丢失部分以使其被提供。如果步骤S143中的处理结束，则隐藏单元235使流程前进到步骤S145。
另外，在步骤S142，如果判定包括在所获得的FEC编码数据中的编码数据中未发生丢失，则丢失判定单元241使流程前进到步骤S144。在步骤S144，获取单元232将编码数据提供给提供单元234。提供单元234将编码数据提供给运动图像解压缩解码单元133的熵解码单元171。如果步骤S144中的处理结束，则提供单元234使流程前进到步骤S145。在步骤S145，获取单元232将编码数据提供给保存单元233。保存单元233保存所获得的编码数据。在步骤S146，控制单元231的FEC块判定单元242判断获取单元232是否获取了 FEC块。如果判断出获得了 FEC块的量的数据，则FEC块判定单元242使流程前进到步骤 S147。在步骤S147，获取单元232将与所获得的FEC块的量相对应的FEC编码数据提供给FEC解码单元236。FEC解码单元236对提供来的FEC块执行FEC解码。在步骤S148，控制单元231的结果判定单元243判断是否成功地执行了 FEC解码。 如果判定FEC解码被成功地执行，则结果判定单元243使流程前进到步骤S149。另外，FEC 解码单元236将FEC解码结果(编码数据)提供给传播对策单元237。另外，实际上，如果编码数据中不存在丢失，则无需执行FEC解码。在此情况中， FEC解码单元236将提供来的编码数据作为FEC解码结果输出。在步骤S149，传播对策单元237将编码数据提供给运动图像解压缩解码单元133 的逆小波变换单元173，并且执行错误传播对策处理以使得错误的影响不传播给其它块。后面将描述错误传播对策处理的细节。如果错误传播对策处理结束，则传播对策单元237使流程前进到步骤S150。另外， 在步骤S146，如果判断出FEC块未被获得，则FEC块判定单元242使流程前进到步骤S150。 另外，在步骤S148，如果判断出未成功地执行FEC解码，则结果判定单元243使流程前进到步骤S150。此外，如果编码数据中不存在丢失，则在块中不会发生错误，并且因此无需抑制错误传播。因此，在此情况中，传播对策单元237可以执行错误传播对策处理或者可以省略该处理。在步骤S150，控制单元231的结束判定单元244判断冗余解码处理是否结束，并且如果判断出冗余解码处理未结束，则使流程返回步骤S141，并且重复从其开始的处理。 另外，在步骤S150，如果判断出冗余解码处理结束，则结束判定单元244结束该冗余解码处理。[错误传播对策处理的流程]将参考图21的流程图，描述在图20的步骤S149中执行的错误传播对策处理的流程的示例。如果错误传播对策处理开始，则传播对策单元237在步骤S171中以与熵解码单元 171相同的方式来对编码数据执行熵解码，并且在步骤S172，以与逆量化单元172相同的方式来对解码结果执行逆量化。在步骤S173，传播对策单元237将经逆量化的小波系数提供给逆小波变换单元 173，并且更新被保存用于由逆小波变换单元173对下一块进行逆小波变换的小波系数。
在提供给传播对策单元237的编码数据中不存在丢失。因此，从传播对策单元237 提供给逆小波变换单元173的小波系数不会受丢失的影响。逆小波变换单元173利用该小波系数对下一块执行逆小波变换，因此，能够抑制错误被传播给后续块。因此，运动图像解压缩解码单元133可以抑制解码图像中数据丢失对其有影响的范围扩展。如上所述，冗余解码单元132可以抑制解码图像中因数据丢失引起的视觉图像质量恶化。特别地，在如上所述的以短的延迟传输图像的系统的情况中，由于编码单位较小， 因此即使未执行发生丢失的地方的复原，数据丢失对解码图像的视觉影响也非常小。相反，如果要实现较短延迟的数据传输，则对其它块的依赖程度提高，并且因此为了减小数据丢失对解码图像的视觉影响，如上所述的对错误传播的抑制就更加重要。因此，在以较短的延迟传输图像数据的系统中，由于如上所述的对错误传播的抑制而减小视觉影响的效果增强。另外，如上所述，通过将FEC解码结果用在对错误传播的抑制中，应用FEC解码结果的定时被延迟到对下一块的处理定时。换言之，可允许用于FEC处理的时间被延长，因此，可以使FEC块相应地较大。因此，FEC处理中的复原性能得到提高，并且从而冗余解码单元132可以进一步可靠地减小数据丢失对解码图像的视觉影响。<2.第二实施例>[冗余解码单元的配置]另外，以与相关技术相同的方式来复原丢失数据的方法以及在第一实施例中描述的用于抑制错误传播的方法可以一起被使用。例如，接收设备102执行同步再现。如果FEC 解码处理与同步信号中的解码开始时间一致地执行，则FEC解码处理可被执行作为用于数据复原的处理，并且被复原的编码数据可被用在针对该块的解码处理中。如果FEC解码处理不是在同步信号中的解码开始时间处被执行的，则FEC解码处理可被执行作为如上所述的错误传播对策，并且被复原的编码数据可被用在针对下一块的解码处理中。图22是图示出在该情况中冗余解码单元132的主要配置示例的框图。在此情况中，同样，冗余解码单元132基本上具有与图17的情况相同的配置，但是还包括向各个单元提供同步信号的同步单元271，以及排列数据的输出定时的缓冲器272， 以便执行同步再现。尽管未示出箭头，然而同步单元271向各个单元提供同步信号。各个单元利用该同步信号来调节操作定时。 此外，在此情况中，由获取单元获得的FEC编码数据被保存单元233保存并且随后被提供给FEC解码单元236。FEC解码单元236可选地对FEC编码数据执行FEC解码，并且将所获得的编码数据提供给缓冲器272以便被保存。提供单元234和隐藏单元235在预定的同步时间处读取累积在缓冲器272中的编码数据，并且将所读取的编码数据提供给熵解码单元171。以这种方式，利用缓冲器272对编码数据的输出定时进行了调节(使输出定时彼此同步)。如果编码数据的复原与输出定时一致地被执行，则FEC解码单元236按照与常规数据相同的方式来对被复原的编码数据进行解码。另外，与输出定时不一致地执行的FEC解码的结果由传播对策单元237提供给逆
34小波变换单元173，并且以第一实施例相同的方式被用于错误传播对策。控制单元231包括同步判定单元281和读取单元观2，来替代丢失判定单元241和结果判定单元对3。同步判定单元281判断FEC解码结果的获取是否是与从缓冲器272输出编码数据的定时(预定同步时间)相一致地执行的。读取单元282在根据同步信号的预定定时处读取累积在缓冲器272中的编码数据，并且将所读取的编码数据提供给熵解码单元171 (同步再现)。例如，反映了发送设备101中的每个经压缩经编码数据块所参考的未经压缩数据块的输入时间的值被设置，作为RTP分组的时间戳的值。读取单元282例如将流中的第一分组设置为定时定义分组，指定从其到达时间起被延迟了“初始缓冲器延迟时间”的时间作为解码再现安排时间，用于被添加到第一分组的时间戳值，并且利用与作为解码再现安排时间的所添加时间戳同步的时间来读取后续分组。“初始缓冲器延迟时间”例如是利用在接收之后直到解码处理被执行为止的处理延迟、最大处理延迟抖动值以及最大网络抖动值等，通过下式(9)来获得的。初始缓冲器延迟时间=未经压缩数据块输入间隔Xbuf_param+FEC解码处理时间+可允许抖动时间(9)在等式(9)中，“未经压缩数据块输入间隔”是在发送设备101中未经压缩数据块从视频数据(视频IN)被输入的间隔。另外，“buf_param”是缓冲在接收设备102中的未经压缩数据块的所预期数目。“FEC解码处理时间”指示用于FEC解码处理的时间。“可允许抖动时间，，指示可允许延迟时间中的变化宽度。另外，FEC解码单元236仅在存在丢失的情况中执行FEC解码，并且复原丢失数据。 此外，如果FEC解码失败，则即使逆小波变换单元173中的小波系数被更新，传播对策单元 237也可能不会抑制错误传播，因此错误传播对策处理可被省略。[冗余解码处理的流程]将参考图23的流程图描述在此情况中的冗余解码处理的流程的示例。如图23所示，在步骤S201，如果获取单元232从RTP接收单元131获得FEC编码数据，则保存单元233在步骤S202中保存该FEC编码数据。在步骤S203，FEC块判定单元242判断一个或多个FEC块的FEC编码数据是否被保存在保存单元233中，并且如果判定数据被保存，则使流程前进到步骤S204。如果按照FEC块的量来累积FEC编码数据，则FEC解码单元236在步骤S204中读取FEC编码数据，并且如果编码数据中存在丢失，则执行FEC解码。在步骤S205，同步判定单元281判断FEC解码处理是否是早于同步时间(缓冲器 272的编码数据输出定时)被执行的。同步判定单元281判断FEC解码处理是否是与缓冲器272的输出定时一致地被执行的。如果判断出FEC解码处理早于同步时间被执行，则同步判定单元281使流程前进到步骤S206。如果FEC解码结果在同步时间之前被获得，则编码数据被用在针对该块的解码处理中。换言之，通过FEC解码而被复原的编码数据也以与未发生丢失的数据相同的方式经过解压缩解码。在步骤S206，FEC解码单元236将作为FEC解码结果获得的编码数据存储在缓冲器272中。如果步骤S206中的处理完成，则FEC解码单元236使流程前进到步骤 S208。
35
另外，在步骤S205中，如果判定FEC解码处理晚于同步时间(与其不一致)，则同步判定单元281使流程前进到步骤S207。FEC解码单元236将作为FEC解码结果获得的编码数据提供给传播对策单元237。在步骤S207，传播对策单元237执行如参考图21的流程图所述的错误传播对策处理。如果错误传播对策处理完成，则传播对策单元237使流程前进到步骤S208。另外，在步骤S203，如果判定一个FEC块的FEC编码数据未被累积在保存单元233 中，则FEC块判定单元242使流程前进到步骤S208。在步骤S208，控制单元231的结束判定单元244判断冗余解码处理是否结束，并且如果判断出冗余解码处理未结束，则使流程返回步骤S201，并且重复从其开始的处理。 另外，在步骤S208，如果判断出冗余解码处理结束，则结束判定单元244结束该冗余解码处理。[同步再现处理的流程]接下来，将参考图M的流程图描述同步再现处理的流程的示例。控制单元231的读取单元282利用由同步单元271管理的同步信号作为参考，在预定定时处读取累积在缓冲器272中的编码数据。通过以这种方式控制输出定时，运动图像解压缩解码单元133可以以预定的间隔执行解压缩解码处理，并且可以以预定的时间间隔来输出解码图像。即是说，能够执行同步再现。读取单元282在步骤S221中判断根据同步信号的预定定时(同步时间)是否到来，并且如果判定该同步时间到来，则使流程前进到步骤S222。在步骤S222，读取单元282判断编码数据中是否发生了丢失。如果判断出累积在缓冲器272中的编码数据中发生了丢失(其不可由FEC解码单元236复原)，则读取单元 282使流程前进到步骤S223。在步骤S223，隐藏单元235丢弃累积在缓冲器272中的编码数据，生成替代所丢弃的编码数据的伪数据，并且将伪数据提供给熵解码单元171。如果伪数据已被提供，则隐藏单元235使流程前进到步骤S225。另外，在步骤S222，如果判断出在编码数据中未发生丢失，则读取单元282使流程前进到步骤S2M。在步骤S2M，提供单元234读取累积在缓冲器272中的编码数据并且将所读取的编码数据提供给熵解码单元171。如果编码数据已被提供，则提供单元234使流程前进到步骤S225。另外，在步骤S221，如果判断出同步时间未到来，则读取单元282使流程前进到步马聚S2 2 5 ο在步骤S225，读取单元282判断同步再现处理是否完成，并且如果判断出该同步再现处理未被完成，则使流程返回步骤S221，并且重复从其开始的处理。另外，在步骤 S225，如果判定该同步再现处理已完成，则读取单元观2结束该同步再现处理。如上所述，通过执行冗余解码处理或同步再现处理，冗余解码单元132可以以与第一实施例相同的方式来抑制错误传播，并且如果FEC解码处理与同步时间一致地被执行，则可以将被复原的编码数据用在针对该块的解压缩解码处理中，从而复原该块中的错误。<3.第三实施例〉
[整个系统中的处理的描述]另外，可以对编码数据执行如第一实施例中所述的用于抑制错误传播的FEC编码和如第二实施例中所述的用于复原的FEC编码两者。在此情况中，网络系统100执行如图25所示的处理。换言之，运动图像压缩编码单元121执行压缩编码处理(箭头301)，并且例如生成与各个“未经压缩数据块”相对应的经压缩经编码数据块。冗余编码单元122生成一个经压缩经编码数据块来作为“用于复原的FEC块原始数据”，并且生成与三个“未经压缩数据块”相对应的经压缩经编码数据块组来作为“用于错误传播对策的FEC块原始数据”(箭头 302)。冗余分组的数目是任意的，并且例如，“复原用FEC块”的数目被假设为两个并且 “错误传播对策用FEC块”的数目被假设为三个。在下面，与经压缩经编码数据块η相对应的用于复原的FEC块原始数据单位利用“复原用FEC块原始数据L(*，η)，，来表示，并且与经压缩经编码数据块η至η+2相对应的用于错误传播对策的FEC块原始数据单位利用“错误传播对策用FEC块原始数据L(*，η至η+2) ”来表示。另外，这里，“用于复原的FEC块原始数据单位”与一个“未经压缩数据块”相对应， 并且用于确定“初始缓冲器延迟时间”的参数buf_param被设置为1。由此，如果抖动或分组丢失未发生，则FEC解码处理可被执行直到针对“复原用FEC块”中的分组的同步解码再现被执行为止。冗余编码单元122对复原用FEC块和错误传播对策用FEC块的每个执行FEC编码处理，并且生成冗余数据(箭头30；3)。所生成的FEC编码数据经由网络110被发送给接收设备102(箭头304)。此时，假设在复原用FEC块L(*，1)中发生了一个分组丢失，并且在复原用FEC块 L(*,2)中发生了三个分组丢失。在冗余解码单元132中，用于复原的FEC解码处理和用于错误传播对策的FEC解码处理两者被执行(箭头30幻。在此情况中，在同步解码再现开始之前，在复原用FEC块 L(*，l)中对复原用FEC块L (*，1)中的分组丢失进行复原。因此，经压缩经编码数据被提供给运动图像解压缩解码单元133作为用于解码的数据(箭头306)。然而，复原用FEC块L (*，2)中的丢失分组的数目超过了复原用FEC块中的冗余分组的数目，并且其在复原用FEC块中不被复原并且此外在同步解码再现开始之前不被复原。然而，丢失分组通过解码错误传播对策用FEC块L(*，1至幻而被复原。因此，经压缩经编码数据L(l，η)被提供给运动图像解压缩解码单元133作为“用于错误传播对策的数据”，并被用于错误传播对策。另外，错误传播对策用FEC块L(*，1至3)中的丢失分组的数目为四个并且超过了错误传播对策用FEC块中的冗余分组的数目，但是，有一个丢失分组在复原用FEC块L (*，1) 中被复原，因此可以利用三个冗余分组而被复原。运动图像解压缩解码单元133对以这种方式提供来的经压缩经编码数据执行解压缩解码，并且生成输出图片(未经压缩数据块)(箭头307)。[冗余编码单元的配置]图沈是图示出冗余编码单元122的主要配置示例的框图。在此情况中，同样，冗
37余编码单元122基本上具有与图16所示的配置相同的配置，但是还包括用于复原和错误传播对策的两个配置。换言之，冗余编码单元122包括复原用FEC块生成单元321、复原用 FEC编码单元322、错误传播对策用FEC块生成单元323以及错误传播对策用FEC编码单元 324。除了要处理的FEC块之外，复原用FEC块生成单元321和错误传播对策用FEC块生成单元323基本上执行与FEC块生成单元221中的处理相同的处理。除了要处理的FEC 块之外，复原用FEC编码单元322和错误传播对策用FEC编码单元3M基本上执行与FEC 编码单元222中的处理相同的处理。在“FEC处理”中，例如，要处理的经压缩经编码数据被划分为多个RTP分组，并且对已被分组化的每个RTP分组执行FEC冗余编码。该FEC冗余编码可以使用诸如例如里德-所罗门编码之类的丢失纠错码。首先，关于这些处理区间，针对作为FEC处理的处理单位的FEC块来确定一个组 (原始数据分组的数目，冗余分组的数目)。例如，如果(原始数据分组的数目，冗余分组的数目)=(10, 被指定，则针对每十个原始数据分组通过FEC处理来生成五个冗余分组。 换言之，换言之，发送设备101发送与该FEC块有关的总共十五个分组。如果接收到与该 FEC块有关的分组中的十个分组，则接收设备102可以通过FEC解码处理复原原始数据。另外，由复原用FEC块生成单元321生成的复原用FEC块的原始数据的数据大小小于由错误传播对策用FEC块生成单元323生成的错误传播对策用FEC块的原始数据的数据大小。如果FEC块原始数据单位被设置得较大，则通常突发分组丢失抵抗力被提高，但是当FEC块原始数据单位被设置为使得FEC块内的分组接收时间被包括在“初始缓冲器延迟时间”中时，延迟会大幅增加。因此，如果抖动和分组丢失都未发生，则“初始缓冲器延迟时间”被设置为使得在同步解码再现开始之前，确保“复原用FEC块”内的所有分组被接收并且不确保“错误传播对策用FEC块”内的所有分组被接收。如果丢失分组的复原在同步解码再现开始之前被执行，则被复原的编码数据可被用于同步解码再现，并且如果丢失分组的复原在同步解码再现开始之后被执行，则被复原的编码数据可被用于针对经压缩代码的解码中的后续解码数据的错误传播对策。从而，可以抑制因FEC块原始数据单位的扩大引起的延迟的增加，并且可以抑制突发分组丢失发生时的错误传播。另外，冗余编码单元122包括用于设置与一个FEC块相对应的原始数据的数据大小的块原始数据单位设置单元331，以及用于为一个FEC块设置冗余(冗余分组的数目)的冗余设置单元332。块原始数据单位设置单元331包括复原用FEC块原始数据单位设置单元341和错误传播对策用FEC块原始数据单位设置单元342。换言之，为复原用FEC块和错误传播对策用FEC块两者设置原始数据的数据大小。后面将描述FEC块原始数据单位设置处理的细节。另外，冗余设置单元332包括复原用FEC块冗余设置单元343和错误传播对策用 FEC块冗余设置单元344。换言之，为复原用FEC块和错误传播对策用FEC块两者设置冗余。 后面将描述冗余设置处理的细节。
通过块原始数据单位设置单元331和冗余设置单元332，以(原始数据分组的数目，冗余分组的数目)的形式来指定一个FEC块的原始数据的数据大小和冗余。冗余编码单元122还包括合成单元325。合成单元325将由复原用FEC编码单元 322生成的复原用FEC编码数据与由错误传播对策用FEC编码单元3M生成的错误传播对策用FEC编码数据相合成，以便被输出。另外，例如，如果被合成的复原用FEC编码数据和错误传播对策用FEC编码数据存在重叠部分，则合成单元325通过优化(例如，省略任一组重叠数据)来执行合成。[冗余解码单元的配置]图27是图示出在此情况中的冗余解码单元132的配置示例的框图。如图27所示， 在此情况中的冗余解码单元132基本上具有与参考图22描述的情况相同的配置，但是还包括复原用FEC解码单元361和错误传播对策用FEC解码单元362来替代FEC解码单元236。复原用FEC解码单元361对复原用FEC块执行FEC解码处理。错误传播对策用 FEC解码单元362对错误传播对策用FEC块执行FEC解码处理。换言之，除了要处理的FEC 块以外，复原用FEC解码单元361和错误传播对策用FEC解码单元362基本上以与FEC解码单元236相同的方式来执行FEC解码处理。另外，控制单元231包括复原用FEC块判定单元371和错误传播对策用FEC块判定单元372来替代FEC块判定单元M2。复原用FEC块判定单元371判断一个复原用FEC 块的FEC编码数据是否被累积在保存单元233中。错误传播对策用FEC块判定单元372判断一个错误传播对策用FEC块的FEC编码数据是否被累积在保存单元233中。[冗余编码处理的流程]接下来，将参考图28的流程图描述在此情况中的冗余编码处理的流程的示例。如果冗余编码处理开始，则在步骤S301，复原用FEC块原始数据单位设置单元341 设置复原用FEC块原始数据单位。复原用FEC块原始数据单位设置单元341例如利用由用户等给予的目标延迟时间 (在整个网络系统100的处理中可允许的延迟时间)来设置“初始缓冲器延迟时间”以满足下式(10)。目标延迟时间=发送设备延迟时间+所预期的传输最大延迟时间+初始缓冲器延迟时间+再现处理延迟时间(10)在等式(10)中，“发送设备延迟时间”指示由发送设备101执行的每个处理中的延迟时间。“所预期的传输最大延迟时间”指示由于发送设备101与接收设备102之间的分组传输而引起的延迟时间的所预期的最大值。“初始缓冲器延迟时间”通过上述等式(9)给出。“再现处理延迟时间”指示因在接收设备102中执行的再现处理(包括解码处理等)引起的延迟时间。另外，与此时的“buf_param”相同数目的未经压缩数据块所对应的经压缩经编码数据块被设置为“复原用FEC块原始数据单位”。在图25的示例的情况中，“复原用FEC块原始数据单位”针对每个经压缩经编码数据块而被设置。在步骤S302，错误传播对策用FEC块原始数据单位设置单元342设置错误传播对策用FEC块原始数据单位。“错误传播对策用FEC块原始数据单位”被设置在比一个范围小的范围中并且大于“复原用FEC块原始数据单位”，所述一个范围例如是当包括在层级1的经压缩经编码数据的影响范围中的未经压缩数据块被输入时所生成的经压缩经编码数据的范围。换言之，“错误传播对策用FEC块原始数据单位”可以被设置为等于或小于通过将在解码相对应块期间生成的中间数据与解码时使用的0个或更多个后续块相组合而获得的块。如果“错误传播对策用FEC块原始数据单位”被设置为大于此，则被复原分组的影响范围中的未经压缩数据块的解码再现在通过FEC解码处理执行复原时已结束，因此，可能存在较弱的效果。在图25的示例的情况中，“复原用FEC块原始数据单位”针对每个经压缩经编码数据块而被设置。另外，经压缩经编码数据L(l，l)的影响范围具有五个未经压缩数据块，因此“错误传播对策用FEC块原始数据单位”针对比其小的每三个经压缩经编码数据块被设置。另外，复原用FEC块原始数据单位和错误传播对策用FEC块原始数据单位可以彼此独立地被设置。因此，如上所述，错误传播对策用FEC块原始数据单位可以是或者可以不是复原用FEC块原始数据单位的整数倍。例如，一段复原用FEC块原始数据可以延伸跨越多段错误传播对策用FEC块原始数据。另外，在对编码数据的解码处理中，当具有预定大小或者具有与预定再现时间相对应的大小的编码数据在被存储在缓冲器中之后被解码时，“复原用FEC块原始数据单位” 的大小可被设置为等于或小于缓冲器大小，并且“错误传播对策用FEC块原始数据单位”的大小可被设置为等于或大于缓冲器大小。在步骤S303，复原用FEC块冗余设置单元343设置用于复原用FEC块的冗余。在步骤S304，错误传播对策用FEC块冗余设置单元344设置用于错误传播对策用FEC块的冗
ο用于复原用FEC块和错误传播对策用FEC块的冗余被设置为例如满足丢失复原性能指标。例如，如果所预期的分组丢失率为P，FEC块中的分组数目为n，并且原始数据分组的数目为k，则冗余分组的数目为n-k。在此情况中，如果目标FEC块丢失率为Pt，则该目标 FEC块丢失率为Pt通过下式(11)来计算。Pt>1-ninCjPj(1-p)n"j (n>k)...(11)
j=o原始数据分组的数目k在如上所述的步骤S301或步骤S302中的FEC块原始数据单位设置处理中被设置。因此，复原用FEC块冗余设置单元343和错误传播对策用FEC块冗余设置单元344通过利用等式(11)分别设置针对每个FEC块的冗余分组(冗余)的数目 η-k ο如果FEC块原始数据单位和冗余被设置，则冗余编码单元122在步骤S305中获取编码数据。在步骤S306，复原用FEC块生成单元321判断一个复原用FEC块的编码数据是否被获得。此时的复原用FEC块原始数据单位遵循步骤S301中的设置。如果判断出一个复原用FEC块的编码数据被获得，则复原用FEC块生成单元321 使流程前进到步骤S307，并且利用该一个复原用FEC块的编码数据来生成复原用FEC块 (原始数据)。在步骤S308，复原用FEC编码单元322对所生成的复原用FEC块执行FEC编码，并且生成冗余数据。换言之，复原用FEC编码单元322生成复原用FEC编码数据，其是复原用 FEC块的FEC编码数据。此时的冗余遵循步骤S303中的设置。在步骤S309，合成单元325将所生成的复原用FEC编码数据发送给RTP发送单元 123，以使得RTP发送单元发送它。如果复原用FEC编码数据已被发送，则合成单元325使流程前进到步骤S310。另外，在步骤S306，如果判断出一个复原用FEC块的编码数据未被获得，则复原用FEC块生成单元321使流程前进到步骤S310。在步骤S310至S313，错误传播对策用FEC块生成单元323、错误传播对策用FEC编码单元3M和合成单元325的各个处理部件对错误传播对策用FEC块执行与步骤S306至 S309中针对复原用FEC块的处理相同的处理。然而，合成单元325在步骤S313中不将错误传播对策用FEC编码数据与复原用 FEC编码数据相重叠的部分发送给RTP发送单元123。即是说，合成单元325例如仅将错误传播对策用FEC块的冗余数据发送给RTP发送单元123。在步骤S314，冗余编码单元122判断该冗余编码处理是否完成，并且如果判断出该处理未被完成，则使流程返回步骤S305并重复从其开始的处理。另外，在步骤S314，如果判断出该冗余编码处理已完成，则冗余编码单元122结束该冗余编码处理。以这种方式，发送设备101可以对用于复原和错误传播对策两者的FEC块执行FEC 编码，并且生成冗余数据。由此，接收设备102可以提高FEC处理中的复原性能并且抑制错误传播。[冗余解码处理的流程]接下来，将参考图四的流程图描述在此情况中由冗余解码单元132执行的冗余解码处理的流程的示例。在此情况中，同样，冗余解码处理的流程基本上与参考图23中的流程图描述的情况相同，然而不同之处在于FEC解码处理针对复原用FEC块和错误传播对策用FEC块的每个被执行。在步骤S331，获取单元232从RTP接收单元131获取FEC编码数据，并且在步骤 S332中，保存单元233保存该FEC编码数据。步骤S333至S335对应于针对复原用FEC块的处理。在步骤S333，复原用FEC块判定单元371判断一个或多个复原用FEC块的FEC编码数据是否被保存单元233保存，并且如果判定已被保存，则使流程前进到步骤S334。如果一个复原用FEC块的FEC编码数据被累积，则复原用FEC解码单元361在步骤S334中读取该FEC编码数据，并且如果该编码数据中发生了丢失则对所读取的数据执行 FEC解码。在步骤S335，复原用FEC解码单元361将作为FEC解码结果而获得的编码数据存储在缓冲器272中，并且使流程前进到步骤S336。另外，如果在步骤S333中判定一个复原用FEC块未被获得，则复原用FEC块判定单元371使流程前进到步骤S336。步骤S336至S340对应于针对错误传播对策用FEC块的处理。错误传播对策用FEC 解码单元362、传播对策单元237和错误传播对策用FEC块判定单元372按照与图23的步骤S203至S207的处理相同的方式来对错误传播对策用FEC块执行步骤S336至S340中的处理。
换言之，如果FEC解码结果在同步时间之前被获得，则错误传播对策用FEC块的编码数据被解码并被累积在缓冲器272中，并且如果FEC解码结果在同步时间之后被获得，则错误传播对策用FEC块的编码数据被提供给逆小波变换单元173作为用于参考的数据，以便抑制错误传播到后续块。在步骤S341，控制单元231的结束判定单元244判断冗余解码处理是否结束，并且如果判断出冗余解码处理未结束，则使流程返回步骤S331，并且重复从其开始的处理。 另外，在步骤S341，如果判断出冗余解码处理结束，则结束判定单元244结束该冗余解码处理。以这种方式，接收设备102可以提高FEC处理中的复原性能并且可以抑制错误传播。[FEC解码处理定时]图30是图示出各个数据传输处理中的定时的示例的示图。如图30所示，例如，假设针对复原用FEC块L(*，l)至复原用FEC块L (*，3)分别执行FEC解码处理，并且针对错误传播对策用FEC块L(*，1至幻执行FEC解码处理。在此情况中，即使由于复原用FEC块L (*，2)中的冗余分组的数目不足而使得丢失分组的复原失败，也可以在错误传播对策用FEC块L(*，l至幻中再次执行丢失分组的复原。 然而，如果在错误传播对策用FEC块中通过FEC解码处理对L (*，2)的分组的复原未与解压缩解码处理的时间相一致地执行，则编码数据被提供给逆小波变换单元173作为在针对后续块的解压缩解码处理中使用的用于错误传播对策的数据。另外，如图30所示，假设在针对例如复原用FEC块L(*，4)至复原用FEC块L(*， 6)分别执行了 FEC解码处理之后，针对错误传播对策用FEC块L(*，4至6)执行FEC解码处理。在此情况中，即使由于复原用FEC块L (*，6)中的冗余分组的数目不足而使得丢失分组的复原失败，也可以在错误传播对策用FEC块L(*，4至6)中再次执行丢失分组的复原。此时，如果在错误传播对策用FEC块中通过FEC解码处理对L (*，6)的分组的复原与解压缩解码处理的时间相一致地执行，则编码数据被提供给熵解码单元171作为在该块中经过解压缩解码的数据。以这种方式，网络系统100可以传输数据以抑制不必要的延迟的增加并且抑制错误传播到后续数据。[冗余数据]另外，发送设备101可以在压缩编码处理中使用层级化编码处理，为每个层级形成各个FEC块，并且可以根据重要性来调节冗余。冗余的设置方法是任意的，并且可以采用除了使用上述等式(11)的方法之外的方法。例如，可以根据“复原用FEC块原始数据”相对于“错误传播对策用FEC块原始数据” 的位置来调节冗余分组的数目。图31是图示出FEC块的配置示例的示图。在图31所示的示例中，用于位于“错误传播对策用FEC块”末尾处的“复原用FEC块”的冗余分组的数目被设置为0，并且其余的冗余分组的数目被设置为三个。这是因为，由于在对包括位于“错误传播对策用FEC块”末尾处的复原用FEC块 L(*,3)的经压缩经编码数据L(*，;3)执行解码处理之前对错误传播对策用FEC块L (*，1至 3)执行了 FEC解码处理，因此，经压缩经编码数据L(*，;3)可以达到与L(*，l)或L(*，2)相同的分组丢失复原性能。<4.第四实施例〉[网络系统的配置]图32是图示出根据本发明实施例的网络系统的配置示例的框图。图32所示的网络系统500基本上具有与图1所示的网络系统100相同的配置，并且执行相同的处理。然而，在网络系统500的情况中，发送设备501和接收设备502各自包括用于在发送设备与接收设备之间交换网络状况信息的RTCP通信单元。换言之，与接收设备102相对应的接收设备502除了包括接收设备102的配置外， 还包括RTCP通信单元511。另外，与发送设备101相对应的发送设备501除了包括发送设备101的配置外，还包括RTCP通信单元512。RTCP通信单元511和RTCP通信单元512通过发送和接收例如在IETF RFC 3550 中描述的RTCP发送者报告(SR)分组或RTCP接收者报告(RR)分组来交换网络状况信息， 网络状况信息是指示关于网络110中的通信的境况的信息。网络状况信息由关于任意参数的信息形成。例如，网络状况信息可以包括与这样的参数有关的信息，这些参数例如是往返传输延迟信息、所谓的RTT(往返时间)信息、传输抖动信息、发送和接收数据速率信息、分组丢失率信息等等。另外，网络状况信息例如可以包括突发分组丢失率的所预期值，其指示预定数目或更大数目的连续分组中的丢失发生率或者指示预定区间中的丢失分组的数目等于或大于预定数目的频率。例如，RTCP通信单元511从RTP接收单元131获取关于接收状况的信息，并且经由网络110将信息发送给RTCP通信单元512。冗余编码单元122参考由RTCP通信单元512获得的网络状况信息来执行处理。[冗余编码单元的配置]图33示出了在此情况中的冗余编码单元122的主要配置示例。如图33所示，在此情况中，同样，冗余编码单元122基本上具有与参考图沈描述的情况相同的配置。然而， 在此情况中，块原始数据单位设置单元331从RTCP通信单元512获取网络状况信息并且基于该信息来设置块原始数据单位。另外，冗余设置单元332从RTCP通信单元512获取网络状况信息并且基于该信息来设置冗余。[FEC块原始数据单位设置处理的流程]接下来，将参考图34的流程图描述由块原始数据单位设置单元331执行的FEC块原始数据单位设置处理的流程的示例。块原始数据单位设置单元331在步骤S401中从RTCP通信单元512获取网络状况信息。在步骤S402，复原用FEC块原始数据单位设置单元341通过利用网络状况信息中的各种统计值来计算复原用FEC块原始数据单位。
例如，由RTCP通信单元512测得的网络中的往返传播延迟时间(测得的RTT的统计)或者所测得的网络抖动值被参考，并且针对恒定时间或者诸如指数加权运动平均 (EWMA)之类的统计值的其最大值被用来计算块原始数据单位。例如，所预期的传输最大延迟时间或可允许抖动时间通过下式(1 和(1 来计算。所预期的传输最大延迟时间=(测得的RTT的统计值)/2 (12)可允许抖动时间=测得的网络抖动值的统计值(13)复原用FEC块原始数据单位是利用这些值通过上述等式(9)或(10)来计算的。如果复原用FEC块原始数据单位被计算出，则复原用FEC块原始数据单位设置单元341在步骤S403中更新复原用FEC块原始数据单位的设置。在步骤S404，错误传播对策用FEC块原始数据单位设置单元342按照与复原用 FEC块的情况相同的方式，利用网络状况信息中的各种统计值来计算错误传播对策用FEC 块原始数据单位。如果错误传播对策用FEC块原始数据单位被计算出，则错误传播对策用FEC块原始数据单位设置单元342按照与复原用FEC块的情况相同的方式，在步骤S405中更新错误传播对策用FEC块原始数据单位的设置。在步骤S406，块原始数据单位设置单元331判断FEC块原始数据单位设置处理是否完成，并且如果判定该处理未完成，则使流程返回步骤S401，并重复从其开始的处理。另外，在步骤S406，如果判定FEC块原始数据单位设置处理已完成，则块原始数据单位设置单元331结束该FEC块原始数据单位设置处理。另外，例如，如果突发分组丢失率等于或大于某个值，则FEC块原始数据单位可被修改为较大。通过如上所述这样设置FEC块原始数据单位，冗余编码单元122可以根据网络110 中的当前通信状况来适当地动态地设置块原始数据单位。[FEC块冗余设置处理的流程]将参考图35的流程图描述在此情况中的FEC块冗余设置处理的流程的示例。冗余设置单元332在步骤S421中从RTCP通信单元512获取网络状况信息。在步骤S422，复原用FEC块冗余设置单元343利用网络状况信息中的各种统计值来计算复原用 FEC块冗余。例如，由RTCP通信单元512测得的网络分组丢失率被参考。通过上述等式(11) 来计算冗余，但是分组丢失率P不是如上所述的预期值而是测得值。在此情况中分组丢失率P根据网络境况动态地被调节。如果复原用FEC块冗余被计算出，则复原用FEC块冗余设置单元343在步骤S423 中更新复原用FEC块冗余的设置。在步骤S4M中，错误传播对策用FEC块冗余设置单元344按照与复原用FEC块的情况相同的方式，利用网络状况信息中的各种统计值来计算错误传播对策用FEC块冗余。如果错误传播对策用FEC块冗余被计算出，则错误传播对策用FEC块冗余设置单元344按照与复原用FEC块的情况相同的方式，在步骤S425中更新错误传播对策用FEC块冗余的设置。
在步骤S似6，冗余设置单元332判断FEC块冗余设置处理是否完成，并且如果判定该处理未被完成，则使流程返回步骤S421并重复从其开始的处理。另外，在步骤S似6，如果判定FEC块冗余设置处理已完成，则冗余设置单元332结束该FEC块冗余设置处理。另外，例如，如果突发分组丢失率等于或大于某个值，则冗余可被修改为较大。通过如上所述这样设置冗余，冗余编码单元122可以根据网络110中的当前通信状况来适当地动态地设置冗余。换言之，发送设备101可以在网络110的当前通信状况中发送具有所需要的最少冗余的数据。当然，FEC块原始数据单位和冗余两者可以基于网络状况信息来设置。通过上述的FEC处理，网络系统100和网络系统500可以在执行多媒体流传输或实时通信的情况中，实现能够抑制不必要的延迟的增加、复原突发分组丢失或者抑制错误传播到后续数据的冗余编码传输。<5.第五实施例>[个人计算机]上述处理序列可以通过硬件或软件来执行。在此情况中，例如，如图36所示，可以存在个人计算机的配置。在图36中，个人计算机600的CPU 601根据存储在ROM (只读存储器)602中的程序或从存储单元613载入RAM(随机存取存储器)603的程序来执行各种处理。ROM 603适当地存储CPU 601执行各种处理所需的数据等。CPU 60UROM 602和RAM 603经由总线604彼此相连。总线604还连接到输入和输出接口 610。输入和输出接口 610连接到由键盘、鼠标等构成的输入单元611、由显示器(由 CRT(阴极射线管)、LCD (液晶显示)等构成)、扬声器等构成的输出单元612、由硬盘等构成的存储单元613以及由调制解调器等构成的通信单元614。通信单元614经由包括因特网在内的网络执行通信。驱动器615可选地连接到输入和输出接口 610，并且适当地装载有诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除介质621，并且从其读取的程序或数据根据需要被安装在存储单元613中。当通过软件来执行上述处理序列时，构成软件的程序从网络或记录介质被安装。记录介质包括如图36所示的可移除介质621，并且还包括在被嵌入主体的状态中存储递送给用户的程序的ROM 602或包括在存储单元613中的硬盘，可移除介质621例如是磁盘(包括软盘)、光盘(包括⑶_R0M(致密盘只读存储器)和DVD(数字通用盘))、磁光盘(包括MD(迷你盘))或半导体存储器，其存储程序并且与设备主体分离地被分发以将程序递送给用户。由计算机执行的程序可以是根据本说明书中描述的顺序按时间顺序执行处理的程序，或者可以是与其并行地被执行的程序或者在诸如被访问时之类的所需定时处执行处理的程序。此外，在本说明书中，用于描述记录在记录介质中的程序的步骤不仅包括根据所描述的顺序按时间顺序执行的处理，而且还包括即使无需按时间顺序执行也并行地或分开地被执行的处理。
在本说明书中，系统指示由多个设备构成的整个设备。在上面的描述中，利用一个设备(或处理单元)描述的配置可以由多个设备(或处理单元)构成。相反，利用多个设备(或处理单元)描述的配置可以是由一个设备(或处理单元)整体地构成的。此外，上述配置以外的配置可以添加到每个设备(或处理单元) 的配置中。此外，如果作为整体系统的配置或操作基本上相同，则某个设备(或处理单元) 的配置的一部分可被包括在另一设备(或另一处理单元)的配置中。即是说，本发明的实施例不限于上述实施例，而是可以具有不脱离本发明的范围的各种修改。本申请包含与2010年4月9日向日本专利局提交的日本优先专利申请JP 2010-090715中公开的主题有关的主题，该申请的全部内容通过引用结合于此。
权利要求
1.一种信息处理设备，包括获取装置，用于获取编码数据以及用于所述编码数据的冗余数据，所述编码数据是通过针对每个块利用预定数据单位来对由块形成的图像数据进行编码获得的，所述冗余数据是通过利用前向纠错方法对所述编码数据编码获得的；解码装置，用于在通过所述获取装置获得的并且将被包括在被解码了的块中的编码数据都被收集的情况下，利用所述编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码，并且在通过所述获取装置获得的并且将被包括在被解码了的块中的编码数据并未都被收集的情况下，利用用来替代丢失编码数据的伪数据、所述编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码；前向纠错方法解码装置，用于利用所述前向纠错方法对由所述获取装置获得的所述编码数据和所述冗余数据进行解码，并且复原所述丢失编码数据；以及设置装置，用于对由所述前向纠错方法解码装置复原的编码数据进行解码，并且将解码期间获得的中间数据设置作为在针对被解码了的块的解码处理期间的中间数据，以用来解码后续块。
2.根据权利要求1所述的信息处理设备，还包括同步装置，用于使得所述解码装置在根据预定同步信号的预定定时处对所述编码数据进行解码；以及同步判定装置，用于判断所述前向纠错方法解码装置对所述编码数据的复原是否早于受所述同步装置控制的所述解码装置中针对所述编码数据的块的解码开始定时，其中，如果所述同步判定装置判定对所述编码数据的复原早于所述解码开始定时，则所述解码装置利用由所述前向纠错方法解码装置复原的编码数据、包括在该块中的编码数据以及针对被解码了的块的解码处理期间的中间数据来执行解码，并且如果所述同步判定装置判定对所述编码数据的复原不早于所述解码开始定时，则由所述前向纠错方法解码装置复原的编码数据被解码，并且在解码期间获得的中间数据被设置作为针对被解码了的块的解码处理期间的中间数据，以用于解码后续块。
3.根据权利要求1或2所述的信息处理设备， 其中，所述解码装置包括第一熵解码装置，用于对所述编码数据执行熵解码，第一逆量化装置，用于对在所述第一熵解码装置中对所述编码数据解码而获得的系数数据执行逆量化，以及逆小波变换装置，用于对由所述第一逆量化装置进行了逆量化的所述系数数据执行逆小波变换，以及所述设置装置包括第二熵解码装置，用于对由所述前向纠错方法解码装置复原的编码数据执行熵解码， 第二逆量化装置，用于对在所述第二熵解码装置中对所述编码数据解码而获得的系数数据执行逆量化，以及更新装置，用于利用由所述第二逆量化装置进行了逆量化的所述系数数据来更新通过逆小波变换维持的并且在所述逆小波变换中使用的中间数据。
4.一种信息处理设备中的信息处理方法，包括以下步骤使得所述信息处理设备的获取装置获取编码数据以及用于所述编码数据的冗余数据， 所述编码数据是通过针对每个块利用预定数据单位来对由块形成的图像数据进行编码获得的，所述冗余数据是通过利用前向纠错方法对所述编码数据编码获得的；使得所述信息处理设备的解码装置在通过所述获取装置获得的并且将被包括在被解码了的块中的编码数据都被收集的情况下，利用所述编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码，并且在通过所述获取装置获得的并且将被包括在被解码了的块中的编码数据并未都被收集的情况下，利用用来替代丢失编码数据的伪数据、 所述编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码；使得所述信息处理设备的前向纠错方法解码装置利用所述前向纠错方法对由所述获取装置获得的所述编码数据和所述冗余数据进行解码，并且复原所述丢失编码数据；以及使得所述信息处理设备的设置装置对被复原的编码数据进行解码，并且将解码期间获得的中间数据设置作为在针对被解码了的块的解码处理期间的中间数据，以用来解码后续块。
5.一种使得计算机能够用作如下装置的程序获取装置，用于获取编码数据以及用于所述编码数据的冗余数据，所述编码数据是通过针对每个块利用预定数据单位来对由块形成的图像数据进行编码获得的，所述冗余数据是通过利用前向纠错方法对所述编码数据编码获得的；解码装置，用于在通过所述获取装置获得的并且将被包括在被解码了块中的编码数据都被收集的情况下，利用所述编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码，并且在通过所述获取装置获得的并且将被包括在被解码了块中的编码数据并未都被收集的情况下，利用用来替代丢失编码数据的伪数据、所述编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码；前向纠错方法解码装置，用于利用所述前向纠错方法对由所述获取装置获得的所述编码数据和所述冗余数据进行解码，并且复原所述丢失编码数据；以及设置装置，用于对由所述前向纠错方法解码装置复原的编码数据进行解码，并且将解码期间获得的中间数据设置作为在针对被解码了的块的解码处理期间的中间数据，以用来解码后续块。
6.一种信息处理设备，包括编码装置，用于针对每个块利用预定数据单位来对由块形成的图像数据进行编码； 第一前向纠错方法编码装置，用于复原丢失编码数据，并且通过前向纠错方法以第一数据单位来对在所述编码装置中通过对图像数据编码获得的编码数据进行编码，以便将被复原的编码数据用来解码相对应的块并且将在解码期间获得的中间数据用来解码后续块的编码数据；第二前向纠错方法编码装置，用于通过所述前向纠错方法以比所述第一数据单位大的第二数据单位来对在所述编码装置中通过对图像数据编码获得的编码数据进行编码，以便将在解码期间获得的中间数据用来解码后续块的编码数据；以及发送装置，用于发送在所述编码装置中通过对图像数据进行编码获得的编码数据、在所述第一前向纠错方法编码装置中通过对编码数据进行编码获得的第一冗余数据以及在所述第二前向纠错方法编码装置中通过对编码数据进行编码获得的第二冗余数据。
7.根据权利要求6所述的信息处理设备，还包括第一数据单位设置装置，用于设置所述第一数据单位的大小；以及第二数据单位设置装置，用于设置所述第二数据单位的大小，其中，所述第一前向纠错方法编码装置以所述第一数据单位设置装置所设置的所述第一数据单位通过所述前向纠错方法对编码数据进行编码，以及所述第二前向纠错方法编码装置以所述第二数据单位设置装置所设置的所述第二数据单位通过所述前向纠错方法对编码数据进行编码。
8.根据权利要求7所述的信息处理设备，其中，所述第二数据单位设置装置将所述第二数据单位设置为等于或小于通过将该块、在针对对应块的解码处理期间生成的中间数据以及用于解码的0个或更多个后续块相组合而获得的块。
9.根据权利要求7或8所述的信息处理设备，其中，在针对编码数据的解码处理中，当预定大小或者与预定再现时间相对应的大小的编码数据被存储在缓冲器中并且随后被解码时，所述第一数据单位设置装置将所述第一数据单位的大小设置为等于或小于所述缓冲器的大小，以及所述第二数据单位设置装置将所述第二数据单位的大小设置为等于或大于所述缓冲器的大小。
10.根据权利要求7至9中任一项所述的信息处理设备，还包括用于获取指示用于传输编码数据的网络中的状况的网络状况信息的网络状况信息获取装置，其中，所述第一数据单位设置装置利用由所述网络状况信息获取装置获取的所述网络状况信息来设置所述第一数据单位的大小，以及所述第二数据单位设置装置利用由所述网络状况信息获取装置获取的所述网络状况信息来设置所述第二数据单位的大小。
11.根据权利要求6至10中任一项所述的信息处理设备，还包括第一冗余设置装置，用于设置第一冗余，所述第一冗余是用于所述第一前向纠错方法编码装置中利用所述前向纠错方法的编码的冗余；以及第二冗余设置装置，用于设置第二冗余，所述第二冗余是用于所述第二前向纠错方法编码装置中利用所述前向纠错方法的编码的冗余，其中，所述第一前向纠错方法编码装置利用由所述第一冗余设置装置设置的所述第一冗余通过所述前向纠错方法来对编码数据进行编码，以及所述第二前向纠错方法编码装置利用由所述第二冗余设置装置设置的所述第二冗余通过所述前向纠错方法来对编码数据进行编码。
12.根据权利要求11所述的信息处理设备，还包括用于获取指示用于传输编码数据的网络中的状况的网络状况信息的网络状况信息获取装置，其中，所述第一冗余设置装置利用由所述网络状况信息获取装置获得的所述网络状况信息来设置所述第一冗余，以及所述第二冗余设置装置利用由所述网络状况信息获取装置获得的所述网络状况信息来设置所述第二冗余。
13.根据权利要求11或12所述的信息处理设备，其中，所述第一冗余设置装置降低所述第二数据单位内的在时间上靠后的块的冗余。
14.根据权利要求12所述的信息处理设备，其中，所述网络状况信息包括分组丢失率信息、传输延迟信息、发送和接收数据速率信息以及传输抖动信息中的至少一者。
15.根据权利要求14所述的信息处理设备，其中，所述网络状况信息还包括突发分组丢失率的所预期值，所述突发分组丢失率指示预定数目或更多数目的连续分组中丢失的发生率或者指示预定区间的丢失分组数目等于或大于预定数目的频率。
16.根据权利要求6所述的信息处理设备，还包括网络状况信息获取装置，用于获取突发分组丢失率，作为指示用于传输编码数据的网络中的状况的网络状况信息，所述突发分组丢失率指示预定数目或更多数目的连续分组中丢失的发生率或者指示预定区间的丢失分组数目等于或大于预定数目的频率； 第一数据单位设置装置，用于设置所述第一数据单位的大小； 第二数据单位设置装置，用于设置所述第二数据单位的大小； 第一冗余设置装置，用于设置第一冗余，所述第一冗余是用于所述第一前向纠错方法编码装置中利用所述前向纠错方法的编码的冗余；以及第二冗余设置装置，用于设置第二冗余，所述第二冗余是用于所述第二前向纠错方法编码装置中利用所述前向纠错方法的编码的冗余，其中，所述第一前向纠错方法编码装置利用由所述第一数据单位设置装置设置的所述第一数据单位，利用由所述第一冗余设置装置设置的所述第一冗余通过所述前向纠错方法来对编码数据进行编码，以及所述第二前向纠错方法编码装置利用由所述第二数据单位设置装置设置的所述第二数据单位，利用由所述第二冗余设置装置设置的所述第二冗余通过所述前向纠错方法来对编码数据进行编码，当由所述网络状况信息获取装置获得的突发分组丢失率等于或大于预定值时，所述第一数据单位设置装置增大所述第一数据单位并且所述第二数据单位设置装置增大所述第二数据单位，或者所述第一冗余设置装置增大所述第一冗余并且所述第二冗余设置装置增大所述第二冗余，或者所述第一数据单位设置装置增大所述第一数据单位，所述第二数据单位设置装置增大所述第二数据单位，所述第一冗余设置装置增大所述第一冗余，并且所述第二冗余设置装置增大所述第二冗余。
17.一种信息处理设备中的信息处理方法，包括以下步骤使得所述信息处理设备的编码装置针对每个块利用预定数据单位来对由块形成的图像数据进行编码；使得所述信息处理设备的第一前向纠错方法编码装置复原丢失编码数据，并且通过前向纠错方法以第一数据单位来对在所述编码装置中通过对图像数据编码获得的编码数据进行编码，以便将被复原的编码数据用来解码相对应的块并且将在解码期间获得的中间数据用来解码后续块的编码数据；使得所述信息处理设备的第二前向纠错方法编码装置通过所述前向纠错方法以比所述第一数据单位大的第二数据单位来对在所述编码装置中通过对图像数据编码获得的编码数据进行编码，以便将在解码期间获得的中间数据用来解码后续块的编码数据；以及使得所述信息处理设备的发送装置发送在所述编码装置中通过对图像数据进行编码获得的编码数据、在所述第一前向纠错方法编码装置中通过对编码数据进行编码获得的第一冗余数据以及在所述第二前向纠错方法编码装置中通过对编码数据进行编码获得的第二冗余数据。
18.一种使得计算机能够用作如下装置的程序编码装置，用于针对每个块利用预定数据单位来对由块形成的图像数据进行编码；第一前向纠错方法编码装置，用于复原丢失编码数据，并且通过前向纠错方法以第一数据单位来对在所述编码装置中通过对图像数据编码获得的编码数据进行编码，以便将被复原的编码数据用来解码相对应的块并且将在解码期间获得的中间数据用来解码后续块的编码数据；第二前向纠错方法编码装置，用于通过所述前向纠错方法以比所述第一数据单位大的第二数据单位来对在所述编码装置中通过对图像数据编码获得的编码数据进行编码，以便将在解码期间获得的中间数据用来解码后续块的编码数据；以及发送装置，用于发送在所述编码装置中通过对图像数据进行编码获得的编码数据、在所述第一前向纠错方法编码装置中通过对编码数据进行编码获得的第一冗余数据以及在所述第二前向纠错方法编码装置中通过对编码数据进行编码获得的第二冗余数据。
19.一种信息处理设备，包括获取装置，用于获取编码数据、用于所述编码数据的第一冗余数据和用于所述编码数据的第二冗余数据，所述编码数据是通过针对每个块利用预定数据单位来对由块形成的图像数据进行编码获得的，所述第一冗余数据是通过利用前向纠错方法以第一数据单位对所述编码数据编码获得的，所述第二冗余数据是通过利用所述前向纠错方法以比所述第一数据单位大的第二数据单位对所述编码数据编码获得的；解码装置，用于在通过所述获取装置获得的并且将被包括在被解码了的块中的编码数据都被收集的情况下，利用所述编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码，并且在通过所述获取装置获得的并且将被包括在被解码了的块中的编码数据并未都被收集的情况下，利用所述编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码；第一前向纠错方法解码装置，用于复原丢失编码数据，并且利用所述前向纠错方法对由所述获取装置获得的所述编码数据和所述第一冗余数据进行解码，以便将被复原的编码数据用来解码相对应的块并且将在解码期间获得的中间数据用来解码后续块的编码数据；第二前向纠错方法解码装置，用于利用所述前向纠错方法对由所述获取装置获得的所述编码数据和所述第二冗余数据进行解码，以便将在解码期间获得的中间数据用来解码后续块的编码数据；以及设置装置，用于对由所述第二前向纠错方法解码装置复原的编码数据进行解码，并且将解码期间获得的中间数据设置作为在针对被解码了的块的解码处理期间的中间数据，以用来解码后续块。
20.根据权利要求19所述的信息处理设备，还包括同步装置，用于使得所述解码装置在根据预定同步信号的预定定时处对所述编码数据进行解码；以及同步判定装置，用于判断所述第二前向纠错方法解码装置对所述编码数据的复原是否早于受所述同步装置控制的所述解码装置中针对所述编码数据的块的解码开始定时，其中，如果所述同步判定装置判定对所述编码数据的复原早于所述解码开始定时，则所述解码装置利用由所述第二前向纠错方法解码装置复原的编码数据、包括在该块中的编码数据以及针对被解码了的块的解码处理期间的中间数据来执行解码，并且如果所述同步判定装置判定对所述编码数据的复原不早于所述解码开始定时，则所述设置装置对由所述第二前向纠错方法解码装置复原的编码数据进行解码，并且将在解码期间获得的中间数据设置作为针对被解码了的块的解码处理期间的中间数据，以用于解码后续块。
21.根据权利要求19或20所述的信息处理设备， 其中，所述解码装置包括第一熵解码装置，用于对所述编码数据执行熵解码，第一逆量化装置，用于对在所述第一熵解码装置中对所述编码数据解码而获得的系数数据执行逆量化，以及逆小波变换装置，用于对由所述第一逆量化装置进行了逆量化的所述系数数据执行逆小波变换，以及所述设置装置包括第二熵解码装置，用于对由所述第二前向纠错方法解码装置复原的编码数据执行熵解码，第二逆量化装置，用于对在所述第二熵解码装置中对所述编码数据解码而获得的系数数据执行逆量化，以及更新装置，用于利用由所述第二逆量化装置进行了逆量化的所述系数数据来更新通过逆小波变换维持的并且在所述逆小波变换中使用的中间数据。
22.一种信息处理设备中的信息处理方法，包括以下步骤使得所述信息处理设备的获取装置获取编码数据、用于所述编码数据的第一冗余数据和用于所述编码数据的第二冗余数据，所述编码数据是通过针对每个块利用预定数据单位来对由块形成的图像数据进行编码获得的，所述第一冗余数据是通过利用前向纠错方法以第一数据单位对所述编码数据编码获得的，所述第二冗余数据是通过利用所述前向纠错方法以比所述第一数据单位大的第二数据单位对所述编码数据编码获得的；使得解码装置在通过所述获取装置获得的并且将被包括在被解码了的块中的编码数据都被收集的情况下，利用所述编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码，并且在通过所述获取装置获得的并且将被包括在被解码了的块中的编码数据并未都被收集的情况下，利用所述编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码；使得所述信息处理设备的的第一前向纠错方法解码装置复原丢失编码数据，并且利用所述前向纠错方法对由所述获取装置获得的所述编码数据和所述第一冗余数据进行解码， 以便将被复原的编码数据用来解码相对应的块并且将在解码期间获得的中间数据用来解码后续块的编码数据；使得所述信息处理设备的第二前向纠错方法解码装置利用所述前向纠错方法对由所述获取装置获得的所述编码数据和所述第二冗余数据进行解码，以便将在解码期间获得的中间数据用来解码后续块的编码数据；以及使得所述信息处理设备的设置装置对被复原的编码数据进行解码，并且将解码期间获得的中间数据设置作为在针对被解码了的块的解码处理期间的中间数据，以用来解码后续块。
23. 一种使得计算机能够用作如下装置的程序获取装置，用于获取编码数据、用于所述编码数据的第一冗余数据和用于所述编码数据的第二冗余数据，所述编码数据是通过针对每个块利用预定数据单位来对由块形成的图像数据进行编码获得的，所述第一冗余数据是通过利用前向纠错方法以第一数据单位对所述编码数据编码获得的，所述第二冗余数据是通过利用所述前向纠错方法以比所述第一数据单位大的第二数据单位对所述编码数据编码获得的；解码装置，用于在通过所述获取装置获得的并且将被包括在被解码了块中的编码数据都被收集的情况下，利用所述编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码，并且在通过所述获取装置获得的并且将被包括在被解码了块中的编码数据并未都被收集的情况下，利用所述编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码；第一前向纠错方法解码装置，用于复原丢失编码数据，并且利用所述前向纠错方法对由所述获取装置获得的所述编码数据和所述第一冗余数据进行解码，以便将被复原的编码数据用来解码相对应的块并且将在解码期间获得的中间数据用来解码后续块的编码数据；第二前向纠错方法解码装置，用于利用所述前向纠错方法对由所述获取装置获得的所述编码数据和所述第二冗余数据进行解码，以便将在解码期间获得的中间数据用来解码后续块的编码数据；以及设置装置，用于对由所述第二前向纠错方法解码装置复原的编码数据进行解码，并且将解码期间获得的中间数据设置作为在针对被解码了的块的解码处理期间的中间数据，以用来解码后续块。
24.一种信息处理设备，包括获取单元，被配置来获取编码数据以及用于所述编码数据的冗余数据，所述编码数据是通过针对每个块利用预定数据单位来对由块形成的图像数据进行编码获得的，所述冗余数据是通过利用前向纠错方法对所述编码数据编码获得的；解码单元，被配置来在通过所述获取装置获得的并且将被包括在被解码了的块中的编码数据都被收集的情况下，利用所述编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码，并且在通过所述获取装置获得的并且将被包括在被解码了的块中的编码数据并未都被收集的情况下，利用用来替代丢失编码数据的伪数据、所述编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码；前向纠错方法解码单元，被配置来利用所述前向纠错方法对由所述获取装置获得的所述编码数据和所述冗余数据进行解码，并且复原所述丢失编码数据；以及设置单元，被配置来对由所述前向纠错方法解码装置复原的编码数据进行解码，并且将解码期间获得的中间数据设置作为在针对被解码了的块的解码处理期间的中间数据，以用来解码后续块。
25.一种信息处理设备，包括编码单元，被配置来针对每个块利用预定数据单位来对由块形成的图像数据进行编码；第一前向纠错方法编码单元，被配置来复原丢失编码数据，并且通过前向纠错方法以第一数据单位来对在所述编码装置中通过对图像数据编码获得的编码数据进行编码，以便将被复原的编码数据用来解码相对应的块并且将在解码期间获得的中间数据用来解码后续块的编码数据；第二前向纠错方法编码单元，被配置来通过所述前向纠错方法以比所述第一数据单位大的第二数据单位来对在所述编码装置中通过对图像数据编码获得的编码数据进行编码， 以便将在解码期间获得的中间数据用来解码后续块的编码数据；以及发送单元，被配置来发送在所述编码装置中通过对图像数据进行编码获得的编码数据、在所述第一前向纠错方法编码装置中通过对编码数据进行编码获得的第一冗余数据以及在所述第二前向纠错方法编码装置中通过对编码数据进行编码获得的第二冗余数据。
26.一种信息处理设备，包括获取单元，被配置来获取编码数据、用于所述编码数据的第一冗余数据和用于所述编码数据的第二冗余数据，所述编码数据是通过针对每个块利用预定数据单位来对由块形成的图像数据进行编码获得的，所述第一冗余数据是通过利用前向纠错方法以第一数据单位对所述编码数据编码获得的，所述第二冗余数据是通过利用所述前向纠错方法以比所述第一数据单位大的第二数据单位对所述编码数据编码获得的；解码单元，被配置来在通过所述获取装置获得的并且将被包括在被解码了的块中的编码数据都被收集的情况下，利用所述编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码，并且在通过所述获取装置获得的并且将被包括在被解码了的块中的编码数据并未都被收集的情况下，利用所述编码数据以及在针对该块的解码处理期间生成的中间数据来对每个块解码；第一前向纠错方法解码单元，被配置来复原丢失编码数据，并且利用所述前向纠错方法对由所述获取装置获得的所述编码数据和所述第一冗余数据进行解码，以便将被复原的编码数据用来解码相对应的块并且将在解码期间获得的中间数据用来解码后续块的编码数据；第二前向纠错方法解码单元，被配置来利用所述前向纠错方法对由所述获取装置获得的所述编码数据和所述第二冗余数据进行解码，以便将在解码期间获得的中间数据用来解码后续块的编码数据；以及设置单元，被配置来对由所述第二前向纠错方法解码装置复原的编码数据进行解码， 并且将解码期间获得的中间数据设置作为在针对被解码了的块的解码处理期间的中间数据，以用来解码后续块。
全文摘要
本发明公开了信息处理设备、方法和程序。信息处理设备包括获取装置，用于获取通过针对每个块利用预定数据单位对由块形成的图像数据进行编码获得的编码数据以及通过利用前向纠错方法对编码数据编码获得的用于编码数据的冗余数据；解码装置，用于在编码数据都被收集时利用编码数据以及在解码处理期间生成的中间数据对每个块解码，或者在编码数据并未都被收集时利用伪数据、编码数据以及在解码处理期间生成的中间数据来对每个块解码；前向纠错方法解码装置，用于对编码数据和冗余数据解码并复原丢失编码数据；和设置装置，用于对编码数据解码并且将解码期间获得的中间数据设置作为在针对被解码了的块的解码处理期间的中间数据以用来解码后续块。
文档编号H04N7/26GK102215402SQ201110085848
公开日2011年10月12日 申请日期2011年4月2日 优先权日2010年4月9日
发明者久礼嘉伸 申请人:索尼公司