专利名称：冗余图像编解码的方法与装置的制作方法
技术领域：
本发明涉及一种图像编解码的方法和装置，特别涉及用于图像编码的条(slice)部分的冗余图像进行编码和解码，该条部分用于图像编码。
背景技术：
普通的图像压缩是去掉其中的冗余信息。当对运动图像进行这种压缩时，通常要依次进行时间/空间上的预测编码、变换/量化编码以及熵编码。
当压缩图像生成为比特流在网络上传输时，会出现突发错误和丢包错误。出现这些错误时，就不能将与出错部分相邻的比特流正确解码。为了解决这一不足，已提出来一种常规方法，该方法将一幅图像分成多个条单元再进行编码，从而使错误只出现在对应的条上。然而，在这个常规方法中，当一个条出错损坏时，对应图像的画面质量也就损坏了，于是，由于损坏的条，错误会传播遍由空间预测编码生成的图像。
为了阻止错误的传播，将周期性地使用图像中的幅(piece)或一部分(part)，在该幅或部分中没有应用时间预测编码。以这种方法可以阻止错误传播，却会大大增加比特数，因此，这种方法只是有限制地使用。
于是，在现有技术中，图像在进行条单元编码时，条的尺寸做的很小以便条能够对错误保持稳定。然而，由于条尺寸变得更小了，需要对条头编码的比特数就增加了，编码比特数的增加是由于压缩损失，而压缩损失是由于不能进行预测编码而造成的。
根据MPEG-4(Motion Picture Experts Group，运动图像专家组)或H.263国际标准，将一个条指定为多个预定尺寸的比特数单元，或一串16×16尺寸的宏块。在这种情况下，当在一个条中出现错误时，该条由于错误而损坏，由此，一个预定的图像区域损坏了，画面主观质量降低了。为了解决这个不足，根据联合视频组(JVT，Joint Video Team)最终委员会的推荐提议，采用了弹性宏块排序(FMO，flexible macroblock ordering)。用这种方法，一个条由任意的宏块组成。在此种情况下，如果在一个条中出现错误，这个条中的宏块不大会排列在图像的固定范围中，而是分散在几个图像区域中，这样减轻了画面主观质量的损失，并让使用周围未损坏块的错误掩盖方法得以轻松采用。
联合视频组最终委员会的推荐提议也提供了一种冗余条的方法，通过该方法，对同一个编码了的条会进行冗余传输。然而，这个方法可以在条的尺寸较小时有效地使用，但当条尺寸较大时，由于冗余传输条的比特数的增加，编码效率就降低了。
与此同时，在应用时间预测编码的常规图像压缩方法的情况中，在一个时间点出现的错误在下一幅图也是持续传播的。为了阻止这个错误传播，采用不进行时间预测编码的内部更新方案(intra-updating scheme)，该方案对图像的正弦部分进行编码。在这种情况下，编码效率被降低了。
同时，在另一种常规多编码方法中，图像编码成比特流单元，每个比特流独立解码，从而提高误差稳定性。在此种情况下，当每个比特流独立解码时，编码效率降低了，解码器结构变得复杂，以便每个比特流都独立解码或相互叠加解码。
此外，在常规的分层编码方法中，将包含基础层和上层的信息编码，在数据分割方法中，是将头信息、运动信息和纹理信息一起编码。即使在这种情况下，额外的编解码过程也是必需的，并且重要信息需要单独保护以体现出误差稳定性。
发明内容
本发明提供了一种冗余图像编解码的方法与装置，其对用于图像编解码的条结构使用冗余编码和解码，保持了高的编码效率，同时考虑了出错率和冗余编码位数而不关心条尺寸，使误差稳定性也提高了。
根据本发明的一个方面，这里提供了对图像预定区域进行冗余编码的装置。这个装置包括条建模单元，用于确定应用于图像编码的条结构和冗余编码区域，以便要进行冗余编码的预定图像区域的图像数据包含在多个条中；条分配单元，用于分配图像每个区域的图像数据到多个条中；画面头编码单元，用于对多个编码了的条所需的解码信息进行编码，并生成画面信息；以及条编码单元，用来根据画面头信息在条单元中对图像编码。
条建模单元又包括条结构建模部分，用于确定图像编码中多个条的结构；以及冗余编码建模部分，其对使用多个条中确定要进行冗余编码的区域的位置和数量。
条编码单元又包括条头编码部分，用于生成条的头，头中含有对条内宏块编码的信息；时间/空间预测编码部分，用于在图像条单元中进行时间/空间预测编码操作；变换量化部分，用于变换时间/空间预测编码数据为频率区域并量化数据；以及对量化数据进行熵编码的熵编码部分。
同时，条建模单元将图像分割成至少一个矩形区域和其他区域，并确定条的结构以便每个区域都包含在至少一个独立条中。
同时，条建模单元通过在图像中检测有运动活跃的区域来确定要进行冗余编码的区域。
画面头编码单元又对包含有每个条的结构、位置以及尺寸的画面头信息进行编码。
条头又包括标记信息，该信息用于指示要编码的条是否只包括要进行冗余编码的区域。
根据本发明的一个方面，这里提供了一个冗余图像解码装置。该装置包括画面头解码单元，用于对包含有编码了的图像数据比特流中的条结构、位置和尺寸等画面头信息进行解码；条构建单元，用于确定多个要根据画面头信息进行解码的条的结构和位置；条解码单元，用于根据画面头信息来解码条单元中的图像；以及图像构建单元，用于根据由条构建单元确定的条的结构和位置来排列解码了的条图像，还原并输出图像。由条构建单元构建的多个条中，至少有两个条的预定区域是互相交迭的。
条解码单元又包括熵解码部分，用于根据条的位置和尺寸信息对输入的条单元比特流进行熵解码；逆变换量化部分，用于将熵解码图像数据进行逆量化，将逆量化的图像数据逆变换进入时间区域，并生成时间/空间预测编码图像数据；以及图像还原部分，用于通过补偿时间/空间预测编码图像数据来还原图像。
根据本发明的一个方面，这里提供了一种对图像预定区域进行冗余编码的方法。该方法包括(a)确定要用于图像编码的条的结构和要进行冗余编码的区域，以便要进行冗余编码的预定区域的图像数据包含在多个条中；(b)分配图像每个区域的图像数据到多个条中；(c)对解码多个编码了的条所需的信息进行编码并生成画面信息；(d)根据画面头信息对条单元图像进行编码。
在(a)中，图像被分割成至少一个矩形区域和其他区域，并确定条的结构以便每个区域都包含在至少一个独立条中。
还是在(a)中，条建模单元通过在图像中检测有运动活跃的区域来确定要进行冗余编码的区域。
而且，(a)中要确定用于图像编码的多个条的结构，还要从使用多个条的图像中确定要进行冗余编码的区域的位置和数量。
在(c)中，包含每个条的结构、位置和尺寸的画面头信息要进行编码。
(d)中要生成包含用于条中宏块编码信息的条头；在图像条单元中进行时间/空间预测编码；将时间/空间预测编码数据变换进频率区域并量化数据；以及对量化数据进行熵编码。条头又包括标记信息，该信息用于指示要编码的条是否只包括要进行冗余编码的区域。
根据本方面的一个方面，这里提供了一种冗余图像解码的方法。该方法包括(a)对包含有编码了的图像数据比特流中条的结构、位置和尺寸等画面头信息进行解码；(b)根据画面头信息确定要进行解码的多个条的结构和位置；(c)根据画面头信息来解码条单元中的图像；(d)根据(b)中确定的条的结构和位置来处理解码了的条图像，还原并输出图像。由条构建单元构建的多个条中，至少有两个条的预定区域是互相交迭的。
(c)还根据条的位置和尺寸信息来对输入的条单元比特流进行熵编码；将熵解码图像数据进行逆量化；将逆量化的图像数据逆变换进入时间区域；并生成时间/空间预测编码图像数据；以及通过补偿时间/空间预测编码图像数据来还原图像。
通过示范实施例的细节描述及参考其中附图，本发明上述的和其他的特性及优点会更加清楚。
图1A是说明根据本发明的实施例来进行冗余图像编码，以提高误差稳定性的装置结构的框图。
图1B是说明根据本发明的实施例来进行冗余图像编码，以提高误差稳定性的方法的流程图。
图2A是说明根据本发明的实施例来进行冗余图像解码，以提高误差稳定性的装置结构的框图。
图2B是说明根据本发明的实施例来进行冗余图像解码，以提高误差稳定性的方法的流程图。
图3A到3D说明了应用在包含一串宏块的条结构上的冗余图像编码方法的例子。
图4说明了使用额外矩形条进行冗余图像编码的方法的例子。
图5A和5B说明了使用互相交迭矩形条的时的冗余图像编码方法的例子。
图6A到图6C说明了在包含宏块的条结构中对预定区域进行冗余编码的例子。
图7A和7B说明了在包含宏块的条结构中对一个区域进行冗余编码的例子。
图8说明了在数据分割方法中对部分头信息或运动信息进行冗余编码的情况。
图9说明了在使用细粒度可扩展方法(FGS，fine granularity scalability)在上层对最高有效位条进行冗余编码的例子。
具体实施例方式
在下文中，将详细描述本发明的优选实施例，并通过附图来说明其实例。
图1A是说明根据本发明的实施例来进行冗余图像编码，以提高误差稳定性的装置结构的框图。该装置包括条结构建模单元100，用于确定输入图像中要用于编码的条结构；冗余图像编码建模单元110，用于确定输入图像中要进行冗余编码的区域的位置和数量；条分配单元120，用于将输入图像的每个区域分配到确定了的条中；画面头编码单元130，用于对图像中所有条解码所需的公用信息进行编码；以及条编码单元140，用于对输入的条单元图像进行编码。
条编码单元140又包括条头编码部分142；空间/时间预测编码部分144；变换编码与量化部分146；以及熵编码部分148。
图1B是说明根据本发明的实施例来进行冗余图像编码，以提高误差稳定性的方法的流程图。
在下文中，将参照图1A和1B来描述冗余图像编码的方法。
要编码的图像(运动图像)分别输入到条结构建模单元100和条编码单元140中。当将一幅输入图像分割成独立的条并编码时，条结构建模单元100要确定有一定结构(形状)的条，以便能在一幅输入图像中将需要的区域独立编码(S150)。在这种情况下，条结构可以由一串或一组在固定位置的宏块组成。此外，可以将图像分割成区域(感兴趣的区域(ROI，region of interest))和其他区域(背景区域)，每个区域可以包含独立条。此外，在一幅图像中可以应用单一条结构，也可使用复合条结构。这些条所表示的区域中的最小单元是宏块。条结构建模单元100将确定了的条结构输出到冗余图像编码建模单元110中。
冗余图像编码建模单元110通过考虑在传输编码图像数据的网络环境中的出错率和信道带宽来确定输入图像中要进行冗余编码的区域的数量，确定输入图像中要进行冗余编码的区域，并将确定了的区域输出至条分配单元120(S155)。
要进行冗余编码的区域可以在图像的固定位置，或是选择预定区域，即感兴趣区域(ROI)，为整个图像中主观上认为重要的部分，或有运动活跃的区域，或容易出错或难于掩盖错误的部分。
对图像固定位置的区域进行冗余编码时，区域要根据与预定宏块数一样多的冗余编码数，并以预定顺序进行冗余编码，比如，以宏块地址的顺序。当使用包含一串宏块的条结构时，区域要根据与一串预定宏块数一样多的冗余编码数，并以预定顺序进行冗余编码，比如向下。
当对预定区域(感兴趣区域(ROI))进行冗余编码时，将在一幅图像中将用户更感兴趣的部分确定为感兴趣区域，并将这部分以高画质编码，从而提高了主观画面质量。在此种情况下，对应感兴趣区域的冗余编码部分的数量就大于背景区域的数量，感兴趣区域得到了更好的出错防护，这样，当在传输图像中出现错误时，感兴趣区域的出错将最小化，感兴趣区域的主观画面质量将可以提高。
当对预定区域进行冗余编码时，有运动活跃的部分会冗余编码，于是，可以通过对有运动的区域进行错误掩盖来减少错误。在此种情况下，有运动活跃区域的设置基于应用在运动补偿的运动向量的大小，或是绝对差之和(SAD，sum of absolute difference)，所述差值为与运动向量相应的前一个图像区域和当前图像区域之差，该区域可以置为冗余图像编码区域。
条分配单元120从冗余图像编码建模单元110接收要进行冗余编码的图像区域的确定了的条结构、位置和数量，根据条结构建模单元100确定的条结构，分配图像每个区域的图像数据到每个条中，就是说，分配图像区域到每个条中，以便对由冗余图像编码建模单元110确定的区域进行冗余编码(S160)。在此种情况下，条分配单元120根据要冗余编码的图像区域的数量，通过调整条结构、尺寸以及位置，将输入图像分配到每个条中。此处，条可以只包含冗余区域。条可以只包含要进行冗余编码的区域。在此种情况下，可以在条的头中标识表示条只包含冗余区域的标记。当该标记在条头中标识出来，并且在包括冗余区域的其他条中没有错误出现时，该条参照此头信息可以不进行解码。根据不同的条结构进行冗余图像编码的例子将在后面参照图3来描述。
画面头编码单元130对图像所有条的解码所需的公用信息进行编码，特别地，将图像中条的数量、每个条结构以及每个条表示的区域，即表示对应于每个条的宏块的信息，编码成画面头信息，并将同样的信息作为编码后的画面头信息输出到条编码单元140中(S165)。
条编码单元140对输入的条单元图像进行编码。为此目的，条头编码部分142根据由画面头编码单元130输入的头信息对用于条中宏块编码的公用信息进行编码(S170)。如果此条中所有宏块都被冗余编码，就可以在条头编入信息，表示相应条只包括冗余编码信息。
空间/时间预测编码部分144去掉空间/时间冗余信息，并将去除后的信息输出到变换编码和量化部分146，变换编码和量化部分146在输入图像条单元上进行离散余弦变换(Discrete Cosine Transform，DCT)，将输入图像变换进频率区域，以预定的量化比特将变换系数进行量化，于是，信息就被压缩了(S175)。
熵编码部分148使用预定的熵编码方法对由变换编码和量化部分146输入的条单元图像数据作为最终比特流进行熵编码(S180)。
冗余区域在条编码单元140中编码一次，同样的信息就可以包含在条中并传输到冗余区域。在此种情况下，编码只需进行一次，计算量很小。同时，当每个冗余区域都可以在每个条中编码时，要在每个条中使用不同的量化间距来对冗余区域进行编码，这样就可能会出现画面质量差异。就是说，一个条可能以高画质编码，其他条可能以低画质编码。如果解码时两个区域都没有错误生成，图像就会以高画质条进行解码。
在条只包含冗余编码信息的情况下，信息以较大的压缩比来进行压缩，或条中只包含重要信息，于是，编码效率得到了提高。就是说，通过多次量化可以降低画面质量，只有出错时才使用降低了画质的图像，于是，只用很少的比特数就能提高误差稳定性。当条中只包含重要信息时，该条包括的重要信息诸如宏块头，运动向量，运动头，以及离散余弦变换系数中的离散余弦系数组成，于是，可以用很少的比特数来进行冗余图像编码。下文中，将参照图2A与2B描述冗余图像编码的方法与装置。
图2A是说明根据本发明的实施例来进行冗余图像解码，以提高误差稳定性的装置结构的框图。该装置包括画面头解码单元200，用于对画面头信息进行解码；条构建单元210，用于根据解码了的画面头信息来确定解码了的条的位置；条解码单元220，用于参照画面头信息对条单元图像进行解码；以及图像构建单元230，用于根据由条构建单元210确定的条的位置来排列解码了的条图像，还原并输出图像。条解码单元220又包括熵解码部分222、逆量化和逆变换部分224、以及图像还原部分226。
图2B是说明根据本发明的实施例来进行冗余图像解码，以提高误差稳定性的方法的流程图。参照图2A和2B，冗余图像解码装置在缓冲器(未示出)中临时存储传输着的比特流，将头信息从存储的比特流中输出到画面头解码单元200中，将编码成条单元的图像数据输出到条解码单元220中(S250)。
画面头解码单元200将输入比特流中的画面头信息解码，将条的数量、形状、位置及条的尺寸等信息输出到条构建单元210中，将其他信息输出到条解码单元220中(S260)。
条构建单元210选择条的位置，以便通过使用由画面头解码单元200输入的画面头信息，将每个解码后的条组成一幅图像。在此种情况下，出现表示不同条的区域与另一个区域交迭的情况意味着对应区域的宏块是冗余编码了的。如果两个条中的任意一个出现错误，出错区域上的信息将被丢弃，交迭部分的信息将使用未出错条上的信息来还原。
条解码单元220参照输入的画面头信息对条单元图像进行解码。熵解码部分222对输入比特流进行熵解码，首先，解码条头，用解码后的信息对条中所有宏块解码。然后，熵解码部分222将熵解码后的条单元的图像数据输出到逆量化和逆变换部分224中(S270)。如果条中设置了表示对应条只由冗余信息组成的标记，那在其他解码了的条中不出错的情况下，就不对冗余编码了的条进行解码。但是，当解码了条中出现错误时，错误会由对冗余编码的条进行解码而还原。如果条只由特定信息，即宏块头、运动向量、离散余弦变换系数中的离散余弦系数等重要信息组成，图像就可以用这些信息得到还原。
逆量化和逆变换部分224使用与量化时同样的比特数对输入图像数据进行逆量化，在逆向离散余弦变换编码期间进行对逆量化图像数据变换中的逆变换，将图像数据以条单元方式从频率区域还原到空间区域，并输出还原了的图像数据到图像还原部分226中。图像还原部分226通过补偿时间/空间预测编码图像数据来还原图像并输出还原了的图像到图像构建部分230中(S280)。
图像构建部分230根据由条构建单元210输入的条的位置信息，将还原的条单元中的图像还原到一幅图像中(S290)。在此种情况下，当所有冗余解码部分都不出现错误时，使用一个部分来构建图像。当在冗余区域之间存在画质差异时，就使用最高画质编码的部分。当在冗余解码部分上出现错误时，就只用没有出错的部分来构建图像。
图3A到图6说明了根据不同的条结构来进行冗余图像编码的方法。
图像进行编码时，通过图1A所示的条结构建模单元100，在不同的条结构中选择适合用户环境的条结构。当由于用户终端性能有限，或传输环境没有太多错误且使用了宽带等原因而只是需要简单条结构时，会使用由一串宏块单元组成的条。
此外，用户可以使用矩形条结构有效地进行感兴趣区域的编码。在此种情况下，感兴趣区域是用户主观上认为重要的区域并包含在矩形条区域中。此处，感兴趣区域编码是这样一种技术，即对用户主观上认为重要的部分以高画质编码，并且对该部分之外的部分，即背景区域用高压缩比压缩，于是，在有限的比特率上提高了整体的主观画质。在此种情况下，当图像在出错环境下传输时，包含在矩形条结构中的感兴趣区域进行了冗余编码，并比背景区域得到了更好的错误防护，于是主观画质就得以提高。
同时，条可以由一组预定位置的宏块组成。在此种情况下，作为条中成分的宏块分布在整个图像中。这样，即使在一条中出错，错误也不会在图像预定区域大量出现，而是分布在整个图像中，因此，可以减小出错产生的影响。特别是当使用条结构进行冗余图像编码时，用户可以依照自己意愿来选择要进行冗余编码的宏块。在此种情况下，要进行冗余编码的宏块由有运动活跃的区域、容易出错的区域，或是难以掩盖错误的区域中选出，这样就提高了误差稳定性。
图3A到3D说明了应用在包含一串宏块的条结构上的冗余图像编码方法的例子。包含一串宏块的条结构是简单的。图3A说明了条由一幅图像里的一组宏块组成的情况，图3B说明了图像的中央部分进行冗余编码的情况。
在图3C和3D中展示了关于对图3B中的图像进行冗余编码情况的更具体的例子。图3C说明了通过条的形成将两个由一串宏块组成的条表示的区域互相交迭起来时对图像进行冗余编码的情况。图3D说明了如图3A所示来构建两个由一串宏块组成的条，以及使用由一串额外的宏块组成的条进行冗余图像编码的情况。
图4说明了使用额外矩形条进行冗余图像编码的方法的例子。所有可能的结构的条都可以应用在图4中所示的额外矩形条之外的区域中。矩形区域尤其包括感兴趣区域，这样感兴趣区域对错误保持稳定同时其主观画面质量也提高了。
图5A和5B说明了使用存在互相交迭矩形条的情况的冗余图像编码方法的例子。如图5A和5B所示的结构应用在由联合视频组最终委员会推荐提议的弹性宏块排序模式2中。该方法是这样一项技术，即将图像分割进矩形感兴趣区域和其他区域(背景区域)中，每个区域都作为条来编码。图5A说明了两个不同的矩形区域的情况，它们不互相包含，但部分相互交迭，图5B说明了一个矩形区域完全包括另一个矩形区域并互相交迭的情况。在这两种情况下，对矩形区域互相交迭的部分进行冗余编码。交迭的部分尤其包括感兴趣区域，这样感兴趣区域对错误保持稳定且感兴趣区域的主观画面质量得以改善。使用矩形条结构时，矩形区域能独立编码，这样可将其作为分离图像使用。就是说，可以支持画中画(PIP，picture-in-picture)方案，在图5A中可以支持对表示不同位置的画中画进行冗余图像编码，在图5B中可以支持有不同尺寸的画中画。
图6A到6C说明了在包含宏块的条结构中对预定区域进行冗余编码的例子。图6A到6C中小矩形里的数字表示要编码图像相应区域所对应的条。就是说，图6A到6C所示的图像由四个条组成，标号从0到3。
图6A说明了由宏块组成的条的例子。该方法可以使用由联合视频组最终委员会推荐提议的弹性宏块排序模式1或模式6来具体化。图6B和6C说明了对图像特定部分进行冗余编码的情形。图6B特别说明了用四个条对图像中央区域进行冗余编码的情形，图6C特别说明了用由标号4表示的的不同于四个条的额外条对中央区域进行冗余编码的情形。在此种情况下，将感兴趣区域作为冗余编码区域使用，这样就可以改善主观画面质量。
图7A和7B说明了在包含宏块的条结构中对分散区域进行冗余编码的例子。图7A说明了与图6B相似的，由四个条表示的区域互相交迭的情形，图7B说明了用由标号4表示的不同于四个条的额外条对中央区域进行冗余编码的情形，与图6C相似。
进行冗余图像编码的时候，要冗余编码区域的位置由图1A中所示的冗余图像编码建模单元110确定。图像中的固定位置，特定区域，即象感兴趣区域这样被认为主观重要的部分，有运动活跃的区域、容易出错或难于掩盖错误的部分都可以被选为区域中的位置。
要进行冗余编码的区域的数量可根据网络通道的出错程度来确定。就是说，在通道错误多的情况下，增加进行冗余编码的区域的数量以减小出错损失，在通道错误少的情况下，减少进行冗余编码的区域的数量以提高压缩效率。
此外，可以通过编解码方法的效率来调整冗余编码的图像的数量。就是说，可以通过压缩效率、是否支持另一种误差稳定性方法以及误差稳定性方法的效率来调整冗余编码的图像的数量。例如，当内部更新方法与编解码方法一起应用时，在现有技术中，要作为内部图像进行编码的宏块的数量是根据出错率来确定的。然而，根据本发明的编解码方法中，对这些宏块进行冗余编码，可以减少作为内部图像编码的宏块的数量。在此种情况下，冗余编码宏块的比特数比作为内部图像编码的宏块的比特数少的多，这样就提高了编码效率。
可以应用考虑了压缩效率和由于错误导致的率失真(rate-distortion)的拉格朗日(Lagrangian)优化法，或应用使用了动态编程的最优路径搜索法考虑前述各因素。考虑了率失真的拉格朗日优化法如公式1所示。
J＝D+λR ...(1)D是图像编码时由于出错或损失导致的失真，绝对差之和(SAD，sum ofabslute difference)或均方误差(MSE，mean square error)都可用作D。此外，λ是拉格朗日系数，R是比特率。
出错概率为p时，D可以分为Dc与Dq，其中Dc为由出错时的错误掩盖而还原错误后的失真，Dq为不出错时的如量化等有损压缩导致的失真。这样，拉格朗日优化法为公式2所示。
J＝pDc+(1-p)Dq+λR...(2)进行冗余图像编码时，在公式2中，冗余编码量r加到比特率上，失真Dc的值根据冗余编码量改成Dr。这样，拉格朗日优化法就可以表示为公式3所示。
J＝pDr+(1-p)Dq+λ(R+r)...(3)用于最小化J的r值可由公式3确定。
到目前为止，图像编码成条单元时的冗余图像编码方法已作为本发明的优选实施例进行了解释。在根据本发明的冗余图像编码方法中，不需要简单和额外的图像编解码方法，现有图像编解码装置的结构不需任何改变就可以使用，这样根据本发明的冗余图像编码方法可以在条结构和不同的编码方法，如数据分割法和层编码法中得以采用。
图8说明了在数据分割方法中对部分头信息或运动信息进行冗余编码的情况。当对数据分割法中的头信息、运动信息和纹理信息进行编码时，如果头信息是重要的，就可以通过对头信息编码来保护重要信息，如果运动信息是重要的，可以对该信息本身或该信息的一部分进行冗余编码。
图9说明了在使用细粒度可扩展方法的上层对最高有效位条进行冗余编码的例子。基础层上的信息是层编码法中最重要的。该信息象冗余图像编码方法中的一样，用前述的条结构进行编码，这样就得到了有效地保护。对于上层的信息，只有重要的信息根据其重要性进行编码，这样可以提高误差稳定性。例如，细粒度可扩展方法的上层由位平面组成。位平面愈靠近最高有效位愈重要。于是，如图9所示，将对应最高有效位的位平面进行冗余编码，这样就提高了误差稳定性。
在此种情况下，既然基础层和上层都由额外的比特流组成，上层就可以由额外的条组成。在图像中认为是重要的区域，其对应宏块的最高有效位平面组成了额外条，这样可以进行冗余图像编码操作。冗余编码了的条在条头中标识出来，这样就可以从普通条中区别出来。
根据本发明的冗余图像编解码的方法和装置也可以在计算机可读的记录媒体上实现。计算机可读的记录媒体包括所有类型的记录设备，其上的数据可以由计算机读取和存储，如ROMs，RAMs，CD-ROMs，磁带，软盘，光数据存储单元以及载波(象通过互联网的传输)。同样，计算机可读的记录媒体可以分布在网络连接的计算机系统上，并通过计算机可读代码来存储和执行。
如上所述，在根据本发明的以提高误差稳定性的冗余图像编解码方法和装置中，当图像编码成条单元时，由条表示的区域是互相交迭的，交迭的部分进行冗余编码，这样就可以在通过网络传输时获得误差的稳定性。
特别是既然用户可以调整进行冗余编码的区域的位置和数量，就将该区域置为感兴趣区域，这样就可以提高感兴趣区域的主观画面质量，根据网络通道的出错程度来调整冗余编码的比特数，这样，编码效率就提高了。
尽管本发明是参照优选实施例来具体描述的，但本领域的技术人员应该理解，在不脱离本发明的精神和范围的情况下，可以对其进行形式和细节的各种修改。
权利要求
1.一种对图像预定区域进行冗余编码的装置，该装置包括条建模单元，用于确定应用于图像编码的条结构和冗余编码区域，以便要进行冗余编码的预定图像区域的图像数据包含在多个条中；条分配单元，用于分配图像每个区域的图像数据到多个条中；画面头编码单元，用于对多个编码了的条所需的解码信息进行编码，并生成画面信息；以及条编码单元，用来根据画面头信息对图像条单元编码。
2.如权利要求1所述装置，其中条建模单元将条编成一串宏块单元。
3.如权利要求1所述装置，其中条建模单元将图像分割成至少一个矩形区域和其他区域，并确定条的结构以便每个区域都包含在至少一个独立条中。
4.如权利要求1所述装置，其中条建模单元将条编成一组在输入图像的固定位置的宏块单元。
5.如权利要求1所述装置，其中条建模单元确定包含图像数据的条结构是相同的结构。
6.如权利要求1所述装置，其中条建模单元确定多个结构作为包含图像数的条结构。
7.如权利要求1所述装置，其中条建模单元把由用户预定作图像中重要区域的区域确定为进行冗余编码的区域。
8.如权利要求1所述装置，其中条建模单元通过在图像中检测有运动活跃的区域来确定要进行冗余编码的区域。
9.如权利要求1所述装置，其中条建模单元根据传输环境中的出错率和传输带宽，以及条编码单元的编码效率来确定要进行冗余编码的区域的数量。
10.如权利要求1所述装置，其中条建模单元包括条结构建模部分，用于确定图像编码中多个条的结构；以及冗余编码建模部分，其使用多个条来确定图像中要进行冗余编码的区域的位置和数量。
11.如权利要求1所述装置，其中条分配单元根据冗余编码的区域的数量确定多个条的尺寸。
12.如权利要求1所述装置，其中条分配单元将图像数据分配到多个条中以便每个条都包括要冗余编码的区域和不要冗余编码的区域。
13.如权利要求1所述装置，其中条分配单元将图像数据分配到多个条中以便至少有一个条包括唯一要进行冗余编码的区域的图像数据。
14.如权利要求1所述装置，其中画面头编码单元对包含每个条的结构、位置和尺寸的画面头信息进行编码。
15.如权利要求1所述装置，其中条编码单元包括条头编码部分，用于生成条的头，头中含有对条内宏块编码的信息；时间/空间预测编码部分，用于在图像条单元中进行时间/空间预测编码操作；变换量化部分，用于变换时间/空间预测编码数据为频率区域并量化数据；以及对量化数据进行熵编码的熵编码部分。
16.如权利要求15所述装置，其中条头包括标记信息，用于指示要编码的条是否只包括要进行冗余编码的区域。
17.如权利要求1所述装置，其中当对包含要冗余编码区域的图像数据的多个条进行编码时，条编码单元将一个条上的冗余编码数据也包括在其他条中。
18.如权利要求1所述装置，其中条编码单元以不同的量化间距对包含冗余编码区域的每个条进行量化和编码。
19.如权利要求1所述装置，其中在两个包括冗余编码区域的图像数据的条中，条编码单元只对一个条中的包含冗余编码区域的宏块头和运动向量的重要信息编码，对另一个条中的冗余编码区域的所有信息则都进行编码。
20.如权利要求1所述装置，其中在两个包括冗余编码区域的图像数据的条中，条编码单元只对一个条中的包含冗余编码区域的宏块头和运动向量，以及离散余弦变换系数中的离散余弦系数这些重要信息编码，对另一个条中的冗余编码区域的所有信息则都进行编码。
21.一种冗余图像解码装置，该装置包括画面头解码单元，用于对包含有编码了的图像数据比特流中条的结构、位置和尺寸等画面头信息进行解码；条构建单元，用于确定多个要根据画面头信息进行解码的条的结构和位置；条解码单元，用于根据画面头信息来解码条单元中的图像；以及图像构建单元，用于根据由条构建单元确定的条的结构和位置来排列解码了的条图像，还原并输出图像；其中由条构建单元构建的多个条中，至少有两个条的预定区域是互相交迭的。
22.如权利要求21所述装置，其中条解码单元包括熵解码部分，用于根据条的位置和尺寸信息对输入的条单元比特流进行熵解码；逆变换量化部分，用于将熵解码图像数据进行逆量化，将逆量化的图像数据逆变换进入时间区域，并生成时间/空间预测编码图像数据；以及图像还原部分，用于通过补偿时间/空间预测编码图像数据来还原图像。
23.如权利要求21所述装置，其中当条头包含着表示对应条只由冗余区域组成的信息时，条解码单元只有在另一个包括冗余区域的解码条出错时，才对只由冗余区域组成的条进行解码。
24.如权利要求21所述装置，其中当冗余编码区域在图像解码期间出错时，图像构建单元使用另外的包括冗余编码区域的图像数据来构建图像。
25.如权利要求21所述装置，其中当所有冗余编码部分都没有出错时，图像构建单元使用以最小量化间距解码的部分来构建图像。
26.一种图像预定区域的冗余编码方法，该方法包括(a)确定要用于图像编码的条的结构和要进行冗余编码的区域，以便要进行冗余编码的预定区域的图像数据包含在多个条中；(b)分配图像每个区域的图像数据到多个条中；(c)对解码多个编码了的条所需的信息进行编码并生成画面信息；以及(d)根据画面头信息对条单元图像进行编码。
27.如权利要求26所述方法，其中在(a)中，条由一串宏块组成。
28.如权利要求26所述方法，其中在(a)中，图像被分割成至少一个矩形区域和其他区域，并确定条的结构以便每个区域都包含在至少一个独立条中。
29.如权利要求26所述方法，其中在(a)中，条由一组在输入图像固定位置的宏块组成。
30.如权利要求26所述方法，其中在(a)中，确定包括图像数据的条结构是相同的。
31.如权利要求26所述方法，其中在(a)中，将多个结构确定为包括图像数据的条结构。
32.如权利要求26所述方法，其中在(a)中，把由用户预定为图像中重要区域的区域确定为冗余编码的区域。
33.如权利要求26所述方法，其中在(a)中，通过在图像中检测有运动活跃的区域来确定要进行冗余编码的区域。
34.如权利要求26所述方法，其中在(a)中，根据传输环境中的出错率和传输带宽，以及对条进行编码的编码器的编码效率确定要进行冗余编码的区域的数量。
35.如权利要求26所述方法，其中(a)包括确定用于图像编码的多个条的结构；从使用多个条的图像中确定要进行冗余编码的区域的位置和数量。
36.如权利要求26所述方法，其中在(b)中，根据冗余编码区域的数量确定多个条的尺寸。
37.如权利要求26所述方法，其中在(b)中，将图像数据分配到条中以便每个条都包括要进行冗余编码的区域的图像数据和不需要进行冗余编码的区域的图像数据。
38.如权利要求26所述方法，其中在(b)中，将图像数据分配到条中以便至少有一个条包括唯一要进行冗余编码的区域的图像数据。
39.如权利要求26所述方法，其中在(c)中，对包括每个条结构、位置和尺寸的画面头信息进行编码。
40.如权利要求26所述方法，其中(d)包括生成包含用于条中宏块编码信息的条头；在图像条单元中进行时间/空间预测编码；将时间/空间预测编码数据变换进频率区域并量化数据；以及对量化数据进行熵编码。
41.如权利要求40所述方法，其中条头包括标记信息，用于指示要编码的条是否只包括要进行冗余编码的区域。
42.如权利要求26所述方法，其中在(d)中，当对包含冗余编码区域的图像数据的多个条进行编码时，一个条上的冗余编码的数据包含在其他条中。
43.如权利要求26所述方法，其中在(d)中，以不同的量化间距对每个包括冗余编码区域的条进行量化和编码。
44.如权利要求26所述方法，其中在(d)中，在两个包括冗余编码区域的图像的条中，在一个条上只对包含有冗余编码区域的宏块头和运动向量这些重要信息进行编码，另一个条上则对冗余编码区域的所有信息进行编码。
45.如权利要求26所述方法，其中在(d)中，在两个包括冗余编码区域的图像的条中，在一个条上只对包含有冗余编码区域的宏块头和运动向量，以及离散余弦变换系数中的离散余弦系数这些重要信息进行编码，另一个条上则对冗余编码区域的所有信息进行编码。
46.一种冗余图像解码的方法，该方法包括(a)对包含有编码了的图像数据比特流中条的结构、位置和尺寸等画面头信息进行解码；(b)根据画面头信息确定要进行解码的多个条的结构和位置；(c)根据画面头信息来解码条单元中的图像；以及(d)根据(b)中确定的条的结构和位置来处理解码了的条图像，还原并输出图像；其中在(b)中构建的多个条中，至少有两个条的预定区域是互相交迭的。
47.如权利要求46所述的方法，其中(c)包括根据条的位置和尺寸信息来对输入的条单元比特流进行熵编码；将熵解码图像数据进行逆量化，将逆量化的图像数据逆变换进入时间区域，并生成时间/空间预测编码图像数据；以及通过补偿时间/空间预测编码图像数据来还原图像。
48.如权利要求46所述的方法，其中在(c)中，当条头中包含表示对应条只由冗余区域组成的信息时，仅当另外包含冗余区域的解码了的条出错，才会对只包含冗余区域的条进行解码。
49.如权利要求46所述的方法，其中在(d)中，一个区域在图像解码期间出错时，使用另外的包含冗余编码区域的条将图像还原。
50.如权利要求46所述的方法，其中在(d)中，当所有冗余编码部分都不出错时，使用解码了的部分以最小的量化间距对将图像还原。
51.可以将如权利要求26所述的冗余图像编码方法作为可执行的程序代码存于一种计算机可读的记录媒体上。
52.可以将如权利要求46所述的冗余图像解码方法作为可执行的程序代码存于一种计算机可读的记录媒体上。
全文摘要
本文提供了一种冗余图像编解码的方法和装置，该方法和装置将应用于图像的图像编码部分的条结构进行冗余编码和解码。冗余图像编解码装置包括条建模单元，用于确定要在图像编码中使用的条的结构和要进行冗余编码的区域，以便这个要进行冗余编码的预定区域的图像数据包含在多个条中；条分配单元，用于将一幅图像上每个区域的图像数据分配在多个条中；图像头编码单元，用于对多个编码了的条所需的解码信息进行编码，生成画面信息；以及条编码单元，用于根据画面头信息在条单元中对图像编码。
文档编号H04N7/26GK1520189SQ0315894
公开日2004年8月11日 申请日期2003年9月12日 优先权日2003年1月30日
发明者金佑 , 金佑湜, 李时和, 李相祚 申请人:三星电子株式会社