专利名称：能够最小化随机存取延迟的视频编码/解码装置及方法
技术领域：
本发明涉及一种能够最小化随机存取中的延迟的视频编码/解码装置及方法，尤其是，涉及一种能够最小化随机存取中的延迟的视频编码/解码装置及方法，在该装置及方法中，当接收视频流服务或再现压缩过的运动图像时，能够减小信道切换后显示新帧所花费的时间量。
背景技术：
为了提高数据压缩效率，在当前的视频压缩标准例如MPEG2、MPEG4、H.263及H.264中使用三个操作。
第一，所输入彩色图像的红、绿、蓝(RGB)分量或亮度分量Y与两个色差分量Cb及Cr一起被转换为YCbCr数据。
第二，通过离散余弦变换(DCT)、量化(Q)或可变长度编码(VLC)从单个图像中消除空间冗余。
第三，假设多个时间上连续的帧的多个部分是冗余的，基于该假设消除多个连续帧的时间冗余。可以基于从运动估计所获得的运动矢量，利用预测方法例如差分脉冲编码调制(DPCM)执行多个连续帧的时间冗余的消除。
图1是示出了传统单层编码方法中帧内帧(I帧)、预测帧(P帧)、以及双向预测帧(B帧)是如何排列，以及当在传统单层编码方法中编码时I、P以及B帧是如何相互参考的示图。
图2是用于解释传统空间层编码方法的框图。
通过使用两种编码方法，可以将图像数据编码为两个独立的比特流。一种方法是基本层编码方法，在该方法中图像数据被下采样(down-sampled)为其原始大小的四分之一或十六分之一并编码该下采样操作的结果，另一种方法是增强层编码方法，在该方法中无需下采样该图像数据，通过利用该图像数据和从基本层比特流还原的图像数据之间的差来编码该图像数据。
为了生成增强层比特流，对在基本层已经被量化的图像数据执行逆量化(IQ)及逆DCT(IDCT)，从而将图像数据还原为和原始图像数据相同大小。此后，计算所还原的图像数据和原始图像数据之间的差。然后，该差被加到原始图像数据上，按照和基本层编码方法中相同的顺序对相加结果执行DCT、Q、以及VLC，从而获得增强层比特流。
图3是用于解释传统空间层解码方法的框图。基本层比特流通过可变长度解码(VLD)被转换为将被逆量化的数据，然后，执行逆量化，从而还原图像数据。Q及IQ是伴随着数据丢失的变换，因此，从IQ所获得的还原的图像数据不同于原始图像数据。从IQ所获得的还原的图像数据和原始图像数据之间的差别导致了从IQ所获得的还原的图像数据的画面质量和原始图像数据的画面质量之间的差别。如果以如下方式来量化图像数据在该方式中，将被量化的图像数据的画面质量与量化后的图像数据的画面质量之间的差别被最大化，则压缩该图像数据的效率最大化。相反，如果以下面的方式来量化图像数据在该方法中，将被量化的图像数据的画面质量与被量化后的图像数据的画面质量之间的差别最小化，则压缩该图像数据的效率最小化。因此，当量化图像数据时决定了该图像数据的画面质量以及压缩该图像数据的效率。对从IQ所获得的还原的图像数据执行IDCT以将频率域图像数据转换为图像域图像数据。
用基本上和基本层比特流相同的方式来解码增强层比特流。上采样(up-sampled)从基本层编码的比特流所还原的图像数据。此后，通过在增强层级上执行VLD、IQ以及IDCT所获得的图像数据被加到该上采样结果上，从而还原原始图像数据。还原的结果可能和原始图像数据不同。从增强层比特流解码的图像数据通常比从基本层比特流解码的图像数据具有较高的画面质量。
图4是示出了传统空间层编码方法中I帧、P帧以及B帧是如何排列，以及传统空间层编码方法中编码时I、P以及B帧是如何相互参考的示图。通常，基本层的I帧和增强层的I帧被排列在相同的时轴上，基本层的P及B帧和增强层的P及B帧分别被排列在相同的时轴上。
在单层编码方法及空间层编码方法中，编码图像数据以便编码结果从其后紧跟着多个P及B帧的I帧开始，从而减小比特率。如果编码结果只包括P及B帧，当其中发生错误时可能不能完全还原图像数据，此外，如果编码结果只包括P及B帧，则在随机存取期间可能不能解码。因此，多于一个的I帧被插入到编码结果中，该处理被称作帧内刷新。编码结果的每十五个帧执行一次帧内刷新操作。当利用帧内刷新方法编码具有每秒30帧的帧率的运动图像时可能生成等于0.5秒的随机延迟。当播放该运动图像或在存储设备中存储该运动图像以及从该存储设备再现该运动图像时，也可能生成随机存取延迟。
参考图4，在空间层编码方法中，基本层的I帧和增强层的I帧位于相同的时轴上。因此，基本层的I帧和增强层的I帧共存的时轴上的比特率可能变得过高。通常，I、P以及B帧之间的比特率比例大约为8∶3∶2。然而，在空间层编码方法中，基本层I帧以及相应的增强层I帧时间上是冗余的，从而，和用于其他帧的比特率相比较，用于这些I帧的比特率可能变得过高。
发明内容
本发明提供一种视频编码/解码装置及方法，利用该装置及方法，通过设置比增强层I帧间隔短的基本层I帧间隔，能够最小化运动图像服务的随机存取延迟，并且从空间层获得的比特流的比特率能够变得规则。
本发明的一个方面提供一种能够最小化随机存取延迟的视频编码装置，该视频编码装置包括编码控制单元，其能够设置比增强层I帧间隔短的基本层帧内帧(I-frame)间隔；基本层编码单元，其通过根据由编码控制单元所设置的I帧间隔缩小及编码原始图像生成基本层比特流；以及增强层编码单元，其通过解码时间上不同于当前增强层图像的增强层图像并参考通过解码基本层比特流并放大解码结果而获得的预定图像而生成增强层比特流。该视频编码装置还可包括传输单元，所述传输单元能够根据由编码控制单元所设置的I帧间隔多路复用基本层比特流及增强层比特流，或给予基本层比特流及增强层比特流不同的优先级，根据基本层比特流和增强层比特流的优先级来传输基本层比特流及增强层比特流。
本发明的另一方面提供一种能够最小化随机存取延迟的视频解码装置，该视频解码装置包括第一基本层解码单元，其可以解码基本层比特流并将解码的基本层比特流放大到相应原始图像的大小；增强层解码单元，该单元通过参考所述放大结果及时间上不同于当前增强层图像的增强层图像来解码当前增强层图像；以及解码控制单元，该单元可以控制将被再现的放大结果直到解码的增强层图像的I帧被再现，以及当再现解码的增强层图像的I帧时控制将被显示的解码的增强层图像。该视频解码装置还可以包括第二基本层解码单元，所述第一基本层解码单元解码基本层比特流时，该第二基本层解码单元解码由第一基本层解码单元所解码的基本层比特流的信道之外的信道的基本层图像，以便在由第一基本层解码单元所解码的基本层比特流内显示由该第二基本层解码单元所解码的基本层图像。
本发明的另一方面提供一种能够最小化随机存取延迟的视频编码方法，该方法包括设置比增强层I帧间隔短的基本层I帧间隔；通过根据基本层及增强层的I帧间隔缩小及编码原始图像来生成基本层比特流；通过解码时间上不同于当前增强层图像的增强层图像以及参考预定图像来生成增强层比特流，其中的预定图像是通过解码基本层比特流并放大解码结果而获得的。优选的，该视频编码方法还包括根据所设置的I帧间隔多路复用基本层比特流及增强层比特流或给予其不同的优先级，将基本层比特流及增强层比特流传输到解码器侧。
根据本发明的另一方面，提供一种能够最小化随机存取延迟的视频解码方法，该方法包括解码基本层比特流并将解码的基本层比特流放大到相应原始图像的大小；通过参考放大结果及时间上不同于当前增强层图像的增强层图像来解码当前增强层图像；以及控制将被再现的放大结果直到解码的增强层图像的I帧被再现以及当再现解码的增强层图像的I帧时控制将被再现的解码的增强层图像。优选的，该视频解码方法还包括解码基本层比特流的当前信道以外的信道的基本层图像，以便在基本层比特流内显示该基本层图像。
通过下面结合附图对示例性实施例的详细描述，本发明的以上和其他特征和优点将会变得更加清楚，其中图1是示出了传统单层编码方法中I、P、B帧是如何排列的以及当在传统单层编码方法中编码时I、P、B帧是如何相互参考的示图；图2是用于解释传统空间层编码方法的框图；图3是用于解释传统空间层解码方法的框图；图4是示出了传统空间层编码方法中I、P、B帧是如何排列的以及当在传统空间层编码方法中编码时I、P、B帧是如何相互参考的示图；图5是根据本发明示例性实施例的视频编码装置的框图，该视频编码装置能够最小化随机存取中的延迟；图6是根据本发明示例性实施例的视频解码装置的框图，该视频解码装置能够最小化随机存取中的延迟；图7是示出了在根据本发明示例性实施例的能够最小化随机存取中的延迟的视频编码方法中I、P、B帧是如何排列的，以及当在该视频编码方法中编码时I、P、B帧是如何相互参考的示图；图8是用于比较利用根据本发明示例性实施例的视频编码方法所获得的比特率和利用传统的空间层编码方法所获得的比特率的曲线图；图9是用于解释根据本发明示例性实施例的视频编码方法的流程图，该视频编码方法能够最小化随机存取中的延迟；图10是用于解释根据本发明示例性实施例的视频解码方法的流程图，该视频解码方法能够最小化随机存取中的延迟具体实施方式
现在将参考附图对本发明进行更充分的描述，其中，本发明的示例性实施例表示在附图中。
根据本发明示例性实施例的视频编码方法是基于上述参考图2描述的传统空间层编码方法的原理。因此，现在对根据本发明示例性实施例的视频编码方法的说明只集中在它和图2的传统空间层编码方法的不同之处。
参考图5及图9，在操作S910中，编码控制单元540设置比增强层I帧间隔短的基本层I帧间隔，因为当更加频繁的执行帧内刷新操作时随机存取延迟变得较短。例如，编码控制单元540可以将基本层的I帧间隔及增强层的I帧间隔分别设置为3和15，以便在基本层中每3帧执行一次帧内刷新而在增强层中每15帧执行一次。因此，随机存取延迟被减小到现有技术中随机存取延迟的3/15即1/5。
编码控制单元540设置基本层及增强层的I帧间隔以便基本层的I帧和相应的增强层I帧时间上不同。通常，I、P、B帧之间的比特率比例是8∶3∶2。因此，如果基本层及增强层的I帧位于同一时轴上，则这些I帧共存的时轴上的比特率可能变得过高。从而，用于I帧的比特率可能远高于用于P或B帧的比特率。然而，在本发明的示例性实施例中，设置基本层及增强层的I帧间隔以便基本层的I帧和相应增强层的I帧时间上不同。图8是用于比较利用根据本发明示例性实施例的视频编码方法所获得的比特率和利用传统编码方法所获得的比特率的曲线图。参考图8，在图像组中(GOP)，I、P以及B帧之间的比特率比例被设置为8∶3∶2，基本层和增强层之间的比特率比例被设置为60∶40。GOP中的比特总数为28。因此，在本发明中，作为GOP的第一帧的I帧的比特大小约为5.5，而在现有技术中，I帧的比特大小为8。因此，使用本发明示例性实施例所获得的峰值比特率比使用现有技术所获得的峰值比特率大约低30％。
在操作S920中，基本层编码单元510根据由编码控制单元540设置的I帧间隔缩小原始图像，从而生成基本层比特流。该基本层编码单元510可以任意设置原始图像的缩小率。为了便于计算或简化结构，该基本层编码单元510可以将原始图像的缩小比例设置为2∶1、4∶1、或8∶1。
在操作S930中，增强层编码单元520通过参考预定的放大图像以及位于不同于将被编码的当前增强层的时间位置上的增强层图像来生成增强层比特流，该预定放大图像是通过解码基本层比特流而获得的。这里，时间上不同于当前将被编码的当前增强层图像的增强层图像指的是如下的增强层图像通过编码时间上不同于当前将被编码的增强层图像并解码该图像之后所获得的图像。通常，使用闭环法而不是开环法。即，将解码后的帧用作参考帧。参考时间上不同的图像意味着运动补偿时间预测。参考解码基本层(BL)比特流后的放大图像指的是执行帧内BL预测。
在操作S940中，传输单元530可以根据由编码控制单元540所设置的I帧间隔多路复用基本层比特流和增强层比特流，或着为基本层比特流和增强层比特流分配不同的优先级，然后根据基本层比特流和增强层比特流的优先级将基本层比特流和增强层比特流传输到根据本发明示例性实施例的视频解码装置。
图6是根据本发明示例性实施例的视频解码装置的框图，图10是用于说明根据本发明示例性实施例的视频解码方法的流程图。
参考图6及图10，在操作S1010中，第一基本层解码单元610可以从传输单元530接收基本层比特流，解码该基本层比特流，将解码结果放大到原始图像大小，并将放大结果传输到增强层解码单元630。放大结果可以用于解码增强层I帧(EI)或者用于隐藏增强层中发生的数据丢失。
在操作S1020中，从第一基本层解码单元610接收到放大结果的增强层解码单元630通过参考放大结果及时间上不同于当前增强层图像的增强层图像来解码当前增强层图像。
在操作S1030中，解码控制单元640可以控制第一基本层解码单元610以放大解码的基本层图像，显示放大结果，并放弃增强层比特流直到解码的增强层图像的I帧被再现。此外，在操作S1030中，解码控制单元640可以控制帧显示单元650，从而一开始再现解码的增强层图像的I帧就显示解码后的增强层图像。而且，如果在增强层比特流中发生数据丢失，则解码控制单元640可以利用来自时间上不与该增强层比特流对齐的增强层帧的信息或有关被第一基本层解码单元610所获取的放大结果的信息来控制将被隐藏的数据丢失。在这种情况下，因为基本层比特流被给予了比增强层比特流较高的优先级，因此先于增强层比特流的传输而先传输基本层比特流，和增强层比特流相比，基本层比特流中的数据丢失较少发生。因此，具有大运动的简单图像数据被编码为基本层比特流，具有小运动的复杂图像数据被编码为增强层比特流。
在操作S1040中，为了实现画中画(PIP，Picture in Picture)，当第一基本层解码单元610解码基本层比特流时，第二基本层解码单元620可以解码由第一基本层解码单元610所解码的基本层比特流的信道以外的信道的基本层图像，其中的画中画是指图像被插入到当前正在被显示的图像中。此后，第二基本层解码单元620将解码的基本层图像传输到帧显示单元650。在PIP中，对能够被同时显示的图像的数量没有限制，通过解码相应的基本层比特流和相应的增强层比特流两者来获得显示在整个帧上的主图像，通过只解码相应的基本层比特流来获得显示在主图像内的子图像。
参考图7，由小矩形所表示的I及P帧代表基本层帧，由大矩形所表示的EI、B及P帧代表增强层帧。通过参考属于基本层的I帧来编码EI帧。在现有技术中，GOP决定了随机存取延迟时间量，并且随机存取延迟时间的平均数等于GOP的一半。另一方面，在本发明示例性实施例中，随机存取延迟时间的平均数等于基本层的I帧间隔N的一半，为现有技术中所生成的随机存取延迟时间的N/GOP，短于在现有技术中所生成的随机存取延迟时间。换句话说，如图7中所示，如果基本层I帧间隔N和GOP分别为3和9，则随机存取延迟时间能够被减小到现有技术中随机存取延迟时间的3/9，即1/3。
根据本发明的示例性实施例，最小化随机存取中比特率的增长是可能的，从而通过设置短于增强层I帧间隔的基本层I帧间隔，最小化随机存取延迟时间中的增加。
因此，防止I帧的比特率变得过高是可能的，并且通过设置基本层及增强层的I帧间隔以便增强层的I帧与相应的基本层I帧时间上不同从而获得始终如一的比特率。此外，通过将PIP帧的复杂性减小1/4或更多，方便地实现画中画(PIP)是可能的。
而且，当如同无限网络或因特网中，比特率变化相当大时，考虑到网络环境，只传输基本层比特流。
权利要求
1.一种视频编码装置，包括编码控制单元，该单元设置比增强层I帧间隔短的基本层帧内帧(I帧)间隔；基本层编码单元，该单元通过根据由所述编码控制单元所设置的I帧间隔缩小及编码原始图像，生成基本层比特流；增强层编码单元，该单元通过解码时间上不同于当前增强层图像的增强层图像以及参考通过解码基本层比特流并放大解码结果而获得的预定图像生成增强层比特流。
2.如权利要求1所述的视频编码装置，还包括传输单元，该单元根据由所述编码控制单元所设置的I帧间隔多路复用基本层比特流及增强层比特流，或给予基本层比特流及增强层比特流不同的优先级，并根据该优先级传输该基本层比特流及增强层比特流。
3.如权利要求1所述的视频编码装置，其中，所述的基本层编码单元以2∶1、4∶1以及8∶1之中的一个比例来缩小原始图像。
4.如权利要求1所述的视频编码装置，其中，所述的编码控制单元将基本层的I帧间隔设置为3，将增强层的I帧间隔设置为15。
5.如权利要求1所述的视频编码装置，其中，所述的编码控制单元将增强层的I帧设置为时间上不同于相应的基本层I帧。
6.一种视频解码装置，包括第一基本层解码单元，解码基本层比特流并将解码的基本层比特流放大到相应原始图像的大小；增强层解码单元，通过参考所述放大结果及时间上不同于当前增强层图像的增强层图像，解码当前增强层图像；以及解码控制单元，控制将被再现的放大结果直到解码的增强层图像的I帧被再现，以及当再现解码的增强层图像的I帧时，控制将被显示的解码的增强层图像。
7.如权利要求6所述的视频解码装置，还包括第二基本层解码单元，当所述第一基本层解码单元解码基本层比特流时，所述第二基本层解码单元解码由所述第一基本层解码单元所解码的基本层比特流的信道以外的信道的基本层图像，以便在由所述第一基本层解码单元所解码的基本层比特流的内部显示由该第二基本层解码单元所解码的基本层图像。
8.如权利要求6所述的视频解码装置，其中，如果在增强层比特流中发生了数据丢失，则所述解码控制单元利用放大结果的信息隐藏该数据丢失。
9.如权利要求6所述的视频解码装置，其中，如果在增强层比特流中发生了数据丢失，则所述解码控制单元利用时间上不同于基本层比特流的增强层图像的信息来隐藏该数据丢失。
10.一种视频编码方法，包括设置短于增强层I帧间隔的基本层I帧间隔；通过根据基本层及增强层的I帧间隔缩小及编码原始图像来生成基本层比特流；通过解码时间上不同于当前增强层图像的增强层图像以及参考通过解码基本层比特流并放大解码结果而获得的预定图像，生成增强层比特流。
11.如权利要求10所述的方法，还包括根据所设置的I帧间隔多路传输基本层比特流及增强层比特流或给予基本层比特流及增强层比特流不同的优先级，将所述基本层比特流及增强层比特流传输到解码器。
12.如权利要求10所述的方法，其中，I帧间隔的设置包括将基本层的I帧间隔设置为3以及将增强层的I帧间隔设置为15。
13.如权利要求10所述的方法，其中，I帧间隔的设置包括将增强层的I帧时间位置和基本层的I帧时间位置设置为互不相同。
14.如权利要求10所述的方法，其中，基本层比特流的生成包括以2∶1、4∶1以及8∶1中的一个比例来缩小原始图像。
15.一种视频解码方法，包括解码基本层比特流并将解码的基本层比特流放大到相应原始图像的大小；通过参考放大结果及时间上不同于当前增强层图像的增强层图像，来解码当前增强层图像；以及控制将被再现的放大结果直到解码的增强层图像的I帧被再现以及当再现解码的增强层图像的I帧时控制将被显示的解码的增强层图像。
16.如权利要求15所述的方法，其特征在于，还包括解码基本层比特流的当前信道之外的信道的基本层图像，以便在该基本层比特流内显示该基本层图像。
17.如权利要求15所述的方法，其中，在所述放大结果的控制中，如果在增强层比特流中发生了数据丢失，则利用该放大结果的信息隐藏该数据丢失。
18.如权利要求15所述的方法，其中，在所述放大结果的控制中，如果在增强层比特流中发生了数据丢失，则利用时间上不同于基本层比特流的增强层图像的信息来隐藏该数据丢失。
全文摘要
提供一种能够最小化随机存取延迟的视频编码及解码装置。该视频编码装置包括编码控制单元，其设置比增强层I帧间隔短的基本层帧内帧(I帧)间隔；基本层编码单元，其通过根据由所述编码控制单元所设置的I帧间隔缩小并编码原始图像生成基本层比特流；以及增强层编码单元，其通过解码时间上不同于当前增强层图像的增强层图像以及参考通过解码该基本层比特流并放大解码结果而获得的预定图像，生成增强层比特流。
文档编号H04N7/24GK1848954SQ20061006663
公开日2006年10月18日 申请日期2006年4月13日 优先权日2005年4月14日
发明者柳光烈, 朴民奎, 徐德荣 申请人:三星电子株式会社