专利名称：色彩空间可伸缩性视频编码和解码方法及其设备的制作方法
技术领域：
本发明涉及一种色彩空间可伸缩性视频编码和解码方法及其设备，更具体地讲，涉及一种能够根据解码器方的性能调整色彩分量或色彩深度的色彩空间可伸缩性编码和解码方法及其设备。
背景技术：
随着信息和通信技术的发展，除了文本和语音通信之外的多媒体通信正在增长。现有的以文本为中心的通信系统不足以满足消费者的各种需求，因此能够适应例如文本、图像、音乐和其它的各种形式的信息的多媒体业务正在增长。由于多媒体数据很大，所以需要大容量存储介质和宽带宽来存储和传输多媒体数据。因此，需要压缩编码技术来传输包括文本、图像和音频数据的多媒体数据。
数据压缩的基本原理在于去除数据冗余。通过去除如图像中相同颜色或物体的重复的空间冗余，例如运动图像的相邻帧中的微小改变或者音频中声音的连续重复的时间冗余，以及考虑人类对高频的不敏感的视觉/知觉冗余来来压缩数据。在一般的视频编码方法中，通过基于运动补偿的时间滤波来去除时间冗余，通过空间变换来去除空间冗余。
为了在已经去除冗余之后发送多媒体数据，需要性能不同的传输介质。当前使用的传输介质具有各种传输速度。例如超高速通信网络能够每秒传输几十兆比特的数据，移动通信网络具有每秒384千比特的传输速度。为了在这种传输环境中支持传输介质，并且使用具有适于该传输环境的传输率来传输多媒体，可伸缩性视频编码方法最适合。
该可伸缩性编码方法使得可通过根据例如传输比特率、传输错误率以及系统资源的环境条件来截断部分的预压缩的比特流来调整视频的分辨率、帧率、信噪比(SNR)以及其它。对于这种可伸缩性视频编码、MPEG-21(运动图像专家组-21)部分-13已经发展其标准化工作。
然而，由于现有的可伸缩性视频编码不能在色彩空间中提供可伸缩性，甚至要求灰度级图像而不是彩色图像的显示装置也必须接收彩色图像并对其解码，这是没必要而且无效的。此外，对于显示装置不能显示具有24比特的色彩深度的图像并且对用24比特的色彩深度编码的比特流解码，然后从解码的比特流截断没必要的比特是无效的。
发明内容
因此，设计本发明来解决发生在现有技术中的上述问题，本发明的一方面在于提供一种色彩空间可伸缩性视频编码和解码方法，在其中编码器可通知解码器比特流中亮度数据的位置，并且如果需要，则解码器能够将彩色图像变换为灰度级图像。
本发明的另一方面在于提供一种色彩空间可伸缩性视频编码和解码方法，在其中，解码器从显示装置获得关于色彩深度容量的信息，去除超过显示装置支持的色彩深度容量的比特，并且对比特流进行解码。
将在接下来的描述中部分阐述本发明的另外优点、方面和特点，对于本领域的普通技术人员，还有一部分通过以下的分析将是清楚的，或者可以经过本发明的实施而得知。
为了实现这些方面，提供了一种色彩空间可伸缩性视频编码方法，根据本发明，其包括以下步骤通过去除输入视频帧的时间冗余和空间冗余来产生变换系数；量化变换系数；通过对量化的变换系数进行熵编码来产生比特流；和产生包括比特流和在比特流中亮度数据的位置信息的色彩空间可伸缩性比特流。
在本发明的另一方面，提供一种色彩空间可伸缩性视频解码方法，其包括以下步骤从比特流中提取亮度数据的位置信息；通过根据亮度数据的位置信息从比特流截断色度数据来产生包括运动数据和亮度数据的第二比特流；和通过第二比特流进行解码来恢复视频帧。
在本发明的另一方面，提供一种色彩空间可伸缩性视频编码方法，其包括以下步骤通过去除输入视频帧的时间冗余和空间冗余来产生变换系数；量化变换系数；和通过对量化的变换系数进行熵编码来产生比特流；其中，比特流的色彩深度的比特的数量与层的级成正比增加。
在本发明的另一方面，提供一种色彩空间可伸缩性视频解码方法，其包括以下步骤从显示装置获得关于色彩深度容量的信息；通过根据关于色彩深度容量的信息从输入第一比特流截断超过色彩深度空间的比特来产生第二比特流；和通过对第二比特流进行解码来恢复视频帧。
在本发明的另一方面，提供一种色彩空间可伸缩性视频编码器，包括时间变换单元，去除输入视频帧的时间冗余；空间变换单元，去除输入视频帧的空间冗余；量化单元，对通过时间变换单元和空间变换单元产生的变换系数进行量化；熵编码单元，对量化的变换系数执行熵编码；和色彩空间可伸缩性比特流产生单元，产生包括通过熵编码单元产生的比特流以及比特流中的亮度数据的位置信息的色彩空间可伸缩性比特流。
在本发明的另一方面，提供一种色彩空间可伸缩性视频解码器，包括比特流预处理单元，从比特流中提取亮度数据的位置信息，并且通过根据亮度数据的位置信息从比特流截断色度数据来产生包括运动数据和亮度数据的第二比特流；熵解码单元，对第二比特流进行解码；逆量化单元，通过对解码的第二比特流执行逆量化来产生变换系数；逆空间变换单元，通过对变换系数执行逆空间变换来恢复残留信号；和运动补偿单元，根据熵解码单元提供的运动数据来对预测的帧执行运动补偿。
在本发明的另一方面，提供一种色彩空间可伸缩性视频解码器，包括比特流预处理单元，从显示装置获得关于色彩深度容量的信息，并且通过根据关于色彩深度容量的信息从输入比特流截断超过色彩深度容量的比特流来产生第二比特流；熵解码单元，对第二比特流进行解码；逆量化单元，通过对解码的第二比特流执行逆量化来产生变换系数；逆空间变换单元，通过对变换系数执行逆空间变换来恢复残留信号；和运动补偿单元，根据熵解码单元提供的运动数据对预测的帧执行运动补偿。
在本发明的另一方面，提供一种传输包含多个宏块的像条的数据的方法，包括插入到包含在像条中的所有的宏块的亮度数据；插入到包含在像条中的所有的宏块的色度数据；和传输包含亮度数据和色度数据的比特流。
在本发明的另一方面，提供一种产生包括包含具有多个宏块的亮度数据和色度数据的所述多个宏块的多个像条的视频序列的方法，该方法包括插入到包括在像条中的所有的宏块的亮度数据；和插入到包括在像条中的所有的宏块的色度数据。
在本发明的另一方面，提供一种处理与包括在像条中的多个宏块的亮度数据或色度数据分开传输的视频序列的方法，该方法包括解释包括在像条中的所有的宏块的亮度数据；和解释包括在像条中的所有的宏块的色度数据。
在本发明的另一方面，提供一种对包括基层和精细粒度SNR可伸缩性(FGS)加强层的视频序列进行解码的方法，包括解释基层的数据；解释包括在FGS加强层中的所有的宏块的亮度数据；解释所有的宏块的色度数据；将FGS加强层亮度数据和色度数据与基层的数据组合；和对组合的数据进行解码。
通过下面结合附图进行的详细描述，本发明的上述和其他方面、特点和优点将会变得更加清楚，其中图1是示出根据本发明的示例性实施例的色彩空间可伸缩性视频编码的概念的示意图；图2是示出根据本发明的示例性实施例的色彩空间可伸缩性比特流的结构的示图；图3是示出根据本发明的示例性实施例的多层结构中的色彩空间可伸缩性比特流的结构的示图；图4是示出根据本发明的示例性实施例的FGS层结构中的色彩空间可伸缩性比特流的结构的示图；图5是示出根据本发明的另一示例性实施例的FGS层结构中的色彩空间可伸缩性比特流的结构的示图；图6是示出根据本发明的示例性实施例的色彩空间可伸缩性视频编码器的结构的框图；图7是示出根据本发明的示例性实施例的色彩空间可伸缩性视频解码器的结构的框图；图8是示出根据本发明的示例性实施例的FGS层结构中色彩空间可伸缩性视频编码器的结构的框图；图9是示出根据本发明的示例性实施例的FGS层中色彩空间可伸缩性视频解码器的结构的框图；图10是示出根据本发明的示例性实施例的编码处理的流程图；图11是示出根据本发明的示例性实施例的色彩分量可伸缩性视频解码处理的流程图；和图12是示出根据本发明的示例性实施例的色彩深度可伸缩性视频解码处理的流程图。
具体实施例方式
以下，参照附图来详细描述本发明的示例性实施例。通过参照结合附图详细描述的示例性实施例，本发明的方面和特点以及用于实现这些方面和特点的方法将变得清楚。然而，本发明不限于这里公开的示例性实施例，而是可以以各种形式来实现。在说明书中定义的事项，例如详细的结构和部件只是为帮助本领域的普通技术人员更广泛的理解本发明而提供的特定细节，本发明仅在所附权利要求的范围内定义。在本发明的整个说明书中，相同的附图标号用于不同附图中的相同部件。
图1是示出根据本发明的示例性实施例的色彩空间可伸缩性视频编码的概念的示意图。
安全系统20不仅实时显示视频，而且存储将来使用的视频数据。存储视频数据需要大的盘空间，如果视频数据作为灰度级图像被存储，而不是作为彩色图像，则用于存储图像的盘空间可被减小。因此，必须根据显示装置的需要提供用于将彩色图像变换为灰度级图像的功能。以下，此功能被称为“色彩分量可伸缩性”。
另一方面，从编码器方发送的一比特流在色彩深度中可被伸缩并且可被发送到不同的客户机。通常，移动电话30和PDA 40提供的色彩深度低于笔记本电脑50和PC 60的色彩深度。对于支持各种色彩深度的显示装置，伸缩相同比特流的功能被称为“色彩深度可伸缩性”。
以下，上述的色彩分量可伸缩性和色彩深度可伸缩性都被称为色彩空间可伸缩性。可通过预解码器或提取器11至14来实现此色彩空间可伸缩性。
由于大多数数字视频应用显示彩色视频，所以需要捕获并表示色彩信息的机制。黑/白图像仅需要一个数字来表示各个空间取样的亮度。相反，彩色图像对于每一像素需要至少三个数字以精确地表示色彩。选择色彩空间来表示亮度和色彩。色彩空间可被分类为RGB色彩空间、YUV色彩空间以及YCrCb色彩空间。在RGB色彩空间中，通过指示红、绿和蓝的相对比率的三个数字来表示彩色图像取样。由于这三种颜色在RGB色彩空间中同等重要，所以它们以相同的分辨率被存储。然而人类视觉系统对于亮度比色度敏感，因此通过从色彩信息中分离亮度信息，并且用比色度数据的分辨率更高的分辨率表示亮度数据来更有效地表示彩色图像。
YCrCb色彩空间和作为YCrCb色彩空间的修改的YUV色彩空间是通过考虑如上所述的人类视觉系统来有效地表示彩色图像的流行的方法。Y表示亮度分量，并且可被计算为R、G和B的加权平均值，如方程(1)所示，Y＝krR+kgG+kbB(1)其中，k是加权因子。
可通过色度分量来表示色彩信息，可通过R(或G或B)和Y之间的差来表示各个色度分量，如方程(2)所示。
Cb＝B-YCr＝R-Y (2)Cg＝G-Y因此，通过彼此分离亮度分量和色度分量，并且对分离的分量进行编码，可将色彩比特流变换为灰度级比特流。
图2是示出根据本发明的示例性实施例的亮度分量和色度分量被彼此分离并且被编码的色彩分量可伸缩性比特流的结构的示图。
参照图2，亮度数据230被首先编码，随后色度数据240被编码。在比特流中，亮度数据230的位置信息被插入到头210中。亮度数据的位置信息可包括纹理数据的整个长度和亮度数据的长度。另外，亮度数据的位置信息可包括指示可由解码器截断的亮度数据的位置的任何类型的信息。亮度数据的位置信息可被插入到GOP(画面组)头、画面头、像条头、或比特流中任何合适的位置。
解码器可通过从色彩比特流中仅提取亮度分量来恢复灰度级视频帧。然而，在本发明的示例性实施例中，通过非常简单的执行解码器，可实现色彩分量可伸缩性，但不能实现色彩深度可伸缩性。
色彩深度可伸缩性是指不能用24比特的分辨率显示图像的显示装置，例如PDA或移动电话的解码器所需的功能。因此，解码器必须提供使用适于各个显示装置的色彩深度的比特流。当例如PDA或移动电话的显示装置处理具有完整色彩深度的比特流时，如带宽和解码时间的资源被浪费。
通过使得解码器从客户机获得关于客户机支持的色彩深度容量的信息，随后从比特流中去除超过由客户机支持的色彩深度容量的比特，可实现色彩深度可伸缩性。将参照图3和图4来解释色彩深度可伸缩性的实现。
图3是示出根据本发明的示例性实施例的使用多层结构提供色彩分量可伸缩性和色彩深度可伸缩性的色彩空间可伸缩性比特流的结构的示图。
在图3中，在多层结构中提供了色彩分量可伸缩性和色彩深度可伸缩性。在本发明的示例性实施例中，比特流包括包含具有不同色彩深度的纹理数据的多个层。特别地，第一层可包括支持12比特色彩深度的纹理数据，第二层可包括支持16比特色彩深度的纹理数据，第三层可包括24比特的纹理数据。如果编码器使用多层结构对具有不同色彩深度的纹理数据进行编码并将其发送，则解码器获得关于显示装置支持的色彩深度可伸缩性的信息，从接收的比特流去除超过可支持的色彩深度容量的层的比特流，随后对剩余比特流进行解码以恢复视频帧。例如，如果显示装置是支持16比特色彩深度的PDA，则解码器去除与第三层相应的比特流，并且对与第一层和第二层相应的比特流进行解码以显示解码的比特流。
另一方面，与各层相应的比特流包括用于在各层中将亮度数据320和350与色度数据330和360区分的亮度数据的位置信息310和340，从而可在各层中实现色彩分量可伸缩性。因此，在显示装置支持16比特色彩深度和灰度级的情况下，解码器可通过根据第一和第二层的亮度数据的位置信息310和340截断与第三层相应的比特流并截断没必要的色度数据330和360来恢复视频帧。亮度数据的位置信息可被插入到GOP头、画面头、像条头、或比特流中任何合适的位置。亮度数据的位置信息可包括纹理数据的整个长度和亮度数据的长度。另外，亮度数据的位置信息可包括能够指示可被解码器截断的亮度数据的位置的任何类型的信息。
在本发明的另一示例性实施例中，能够支持色彩分量可伸缩性和色彩深度可伸缩性两者的比特流的结构是示例。然而，如果仅支持使用多层结构的色彩深度可伸缩性，则各层的亮度数据的位置信息310和340可被省略。
图4是示出根据本发明的示例性实施例的在FGS(精细粒度SNR可伸缩性)层结构中的色彩空间可伸缩性比特流的结构的示图。在图4中，在FGS层结构中提供色彩分量可伸缩性和色彩深度可伸缩性。FGS技术在于实现SNR可伸缩性，用于将输入视频解码为具有相同帧率和分辨率以及不同的量化精度的两层。具体地讲，FGS技术将输入视频编码为两层，即基层和加强层，并且编码加强层的残留信号。FGS技术根据网络传输效率或解码器方的状态可能或不可能发送编码的信号以防止编码的信号被解码器解码。因此，数据可以以根据网络的传输比特率调整的量被合适地传输。
使用逐步精细表示来实现SVM(可伸缩性视频模型)3.0的FGS。通过使得能够截断作为在任何地方FGS编码的结果产生的网络提取层(NAL)单元来实现FGS中的SNR可伸缩性。FGS由基层和FGS加强层组成。基层产生表示最小质量的能够以最低传输比特率传输的视频的基层帧，FGS加强层产生可被合适地截断并且以高于最低传输比特率的比特率传输，或者可被合适地截断并且被解码器解码的NAL单元。FGS加强层将通过从原始帧中减去已经在基层或较低加强层中获得的恢复的帧而获得的残留信号进行变换和量化，以将量化的残留信号发送到解码器。当层变为上层时，可通过减小量化参数值产生更精细的残留来实现SNR可伸缩性。
在本发明的示例性实施例中，可通过使用三个FGS层，即第一FGS层(基层)、第二FGS层(第一FGS加强层)以及第三FGS层(第二FGS加强层)来实现色彩深度可伸缩性。
通常，在SVM 3.0的FGS层结构中，如果层的数量增加1，则能够用于纹理数据的比特的数量也增加1。通过利用此方法来增加彩色深度容量，第二FGS层可支持大于第一FGS层一比特的色彩深度，第三FGS层可支持大于第二FGS层一比特的色彩深度。如果编码器使用FGS层结构对具有不同色彩深度的纹理数据进行编码和发送，则解码器获得关于由显示装置支持的色彩深度可伸缩性的信息，从接收的比特流中去除超过可支持的色彩深度容量的层的比特流，随后对剩余比特流进行解码以恢复视频帧。
在本发明的示例性实施例中，比特流可包括用于将在所有的FGS层中的亮度数据420、440和460与色度数据430、450和470区分的亮度数据的位置信息410以支持色彩分量可伸缩性。因此，如果显示装置支持与第二FGS层和灰度级相应的色彩深度，则解码器能够通过根据第一层和第二层的亮度数据的位置信息截断与第三层相应的比特流并且截断没必要的色度数据430和450来恢复视频帧。亮度数据的位置信息可被插入到GOP头、画面头、像条头或比特流中任何合适的位置。在本发明的示例性实施例中，亮度数据的位置信息可包括纹理数据的整个长度以及亮度数据的长度。另外，亮度数据的位置信息可包括能够指示可被解码器截断的亮度数据的位置的任何类型的信息。
在本发明的示例性实施例中，能够支持色彩分量可伸缩性和色彩深度可伸缩性两者的比特流的结构是示例。然而，如果仅支持使用FGS的色彩深度可伸缩性，则各FGS层的亮度数据的位置信息410可被省略。
图5是示出根据本发明的另一示例性实施例的在FGS层结构中的色彩空间可伸缩性比特流的结构的示图。
在图5所示的示例性实施例中，比特流具有与图4的结构相同的方式的使用FGS进行色彩空间可伸缩性编码和解码的结构。然而，如图4所示的示例性实施例提供包括由以FGS层顺序的亮度数据和色度数据组成的纹理数据的结构，而图5所示的示例性实施例提供在其中所有FGS层的亮度数据520至540与所有FGS层的色度数据550至570分离并且排列在比特流的前端的结构。在本发明的示例性实施例中，使用三个FGS层，即第一FGS层(基层)、第二FGS层(第一FGS加强层)以及第三FGS层(第二FGS加强层)来实现色彩深度可伸缩性和色彩分量可伸缩性。解码器获得关于由显示装置支持的色彩深度可伸缩性的信息，从接收的比特流中去除超过可支持的色彩深度容量的层的比特流，随后对剩余比特流进行解码以恢复视频帧。具体地讲，在本发明的示例性实施例中，比特流可包括亮度数据540和色度数据550之间的边界的位置信息510以支持色彩分量可伸缩性。在这种情况下，由于可通过丢弃色度数据使用最大亮度数据，所以具有高锐度的灰度级图像可被恢复。
图6是示出根据本发明的示例性实施例的色彩空间可伸缩性视频编码器的结构的框图。
参照图6，根据本发明的示例性实施例的色彩空间可伸缩性视频编码器600包括时间变换单元610、空间变换单元620、量化单元630、熵编码单元640、色彩空间可伸缩性比特流产生单元650、逆量化单元660以及逆空间变换单元670。时间变换单元610可包括运动估计单元612、运动补偿单元614以及减法器616。
运动估计单元612基于输入视频帧中的参考帧来对当前帧执行运动估计，并且获得运动向量。被广泛用于运动估计的算法是块匹配算法。当位移在参考帧的特定搜索区域中以像素为单位移动给定运动块时，该块匹配算法将相应于最小误差的位移估计为运动向量。对于运动估计，可使用具有固定大小的运动块或根据等级可变大小块匹配(HVSBM)算法的具有可变大小的运动块。运动估计单元612将如作为运动估计的结果而获得的运动向量的运动数据、运动块的大小以及参考帧号提供给熵编码单元640。
运动补偿单元614减少输入视频帧的时间冗余。在这种情况下，运动补偿单元614通过使用在运动估计单元612中计算的运动向量对参考帧执行运动补偿来产生对于当前帧的时间预测帧。
减法器616通过从当前帧中减去时间预测帧来去除视频的时间冗余。
空间变换单元620使用支持空间可伸缩性的空间变换方法从帧中去除空间冗余，在该帧中已经通过减法器616去除了时间冗余。离散余弦变换(DCT)、小波变换等可被用作空间变换方法。作为空间变换的结果而获得的系数被称为变换系数。如果DCT被用作空间变换方法，则获得的系数被称为DCT系数，而如果使用小波变换，则获得的系数被称为小波系数。
量化单元630对通过空间变换单元620获得的变换系数进行量化。量化是指通过将表示为实值的变换系数分为特定段来用离散值表示该变换系数，然后将该离散值与特定索引匹配。具体地讲，在将小波变换用作空间变换方法的情况下，嵌入式量化方法被主要用作量化方法。该嵌入式量化方法通过将阈值改变(为1/2)通过优先地编码超过该阈值的变换系数的分量来执行利用空间冗余的高效量化。嵌入式量化方法可以是嵌入式零树小波算法(EZW)，等级树集合分裂算法(SPIHT)、或嵌入式零块编码算法(EZBC)。
熵编码单元640对通过量化单元630量化的变换系数和通过运动估计单元612提供的运动数据执行无损编码，并且产生输出比特流。算术编码或可变长度编码可被用作无损编码方法。
色彩空间可伸缩性比特流产生单元650将由量化单元630提供的纹理数据中的亮度数据的位置信息以合适的形式插入到由熵编码单元640提供的比特流中。由色彩空间可伸缩性比特流产生单元650产生的比特流的形式如以上参照图2所描述。
在本发明的另一示例性实施例中，色彩空间可伸缩性比特流产生单元650可首先将亮度数据的位置信息插入到通过量化单元630量化的纹理数据的头，而不是插入到整个比特流的头，以将该纹理数据提供给熵编码单元640。在这种情况下，解码器方700可在对比特流解码之后从纹理数据的头中提取亮度数据的位置信息。
在视频编码器600支持闭环视频编码器以减小编码器方和解码器方之间的漂移误差的情况下，该视频编码器600还可包括逆量化单元660和逆空间变换单元670。
逆量化单元660对通过量化单元630量化的系数执行逆量化。该逆量化处理与量化处理的逆处理相对应。
逆空间变换单元670对逆量化的结果执行逆空间变换，并且将逆空间变换的结果提供给加法器680。
加法器680通过将逆空间变换单元670提供的残留帧与运动补偿单元614提供并存储在帧缓冲器(未示出)中的前一帧相加来恢复视频帧，并且将该恢复的视频帧作为参考帧提供给运动估计单元612。
已经参照图6解释了单层视频编码器。然而，对于本领域的技术人员来说，根据本发明的视频编码器可被延伸到使用如图3所示的多层结构的色彩空间可伸缩性视频编码是很明显的。
图7是示出根据本发明的示例性实施例的色彩空间可伸缩性视频解码器的结构的框图。
参照图7，根据本发明的示例性实施例的色彩空间可伸缩性视频解码器700包括比特流预处理单元710、熵解码单元720、逆量化单元730、逆空间变换单元740和运动补偿单元750。
比特流预处理单元710从显示装置获得关于可支持的色彩空间的信息，根据该色彩空间信息将接收的比特流截断，并且将该截断的比特流提供给熵解码单元720。关于显示装置支持的色彩空间的信息可以是关于显示的彩色/灰度级图像、色彩深度容量等的信息。
在显示装置仅支持如以上参照图2和图3描述的灰度级图像的情况下，比特流预处理单元710从比特流中提取亮度数据的位置信息，从纹理数据截断与色度数据相应的部分，并且将仅包括运动数据和亮度数据的比特流提供给熵解码单元720。另外，比特流预处理单元710可截断超过显示装置支持的色彩深度容量的比特或层，并且将剩余比特流提供给熵解码单元720。
在本发明的另一示例性实施例中，没有比特流预处理单元710的预处理，在对接收的比特流进行解码并且提取纹理数据之后，如果需要的话，则熵解码单元720可以提取包括在纹理数据的头部分中的亮度数据的位置信息并且截断该色度数据。
熵解码单元720通过执行熵编码的逆操作的无损解码来提取运动数据和纹理数据。熵解码单元720将提取的纹理数据提供给逆量化单元730，并且将提取的运动数据提供给运动补偿单元750。
逆量化单元730对从熵解码单元720发送的纹理数据执行逆量化。此逆量化处理在于搜索匹配由特定索引表示的值并且从编码器方600传输的被量化的系数。表示索引和量化系数之间映射的表可从编码器方600发送，或者可以通过编码器和解码器之间协定被预先准备。
逆空间变换单元740相逆地执行空间变换，并且恢复空间域中作为对残留图像执行逆量化的结果产生的系数。例如，如果在视频编码器方已经通过小波变换方法对系数进行空间变换，则逆空间变换单元740将执行逆小波变换，而如果在视频编码器方已经通过DCT变换方法对系数进行变换，则逆空间变换单元将执行逆DCT变换。
运动补偿单元750对恢复的视频帧执行运动补偿，并且使用熵解码单元720提供的运动数据产生运动补偿的帧。当然，仅当在编码器方通过时间预测处理来对当前帧进行编码时，才可执行此运动补偿处理。
当通过时间预测产生逆空间变换单元恢复的残留图像时，加法器760通过将残留图像与运动补偿单元750提供的运动补偿的帧相加来恢复视频帧。
图8是示出根据本发明的示例性实施例的在FGS层结构中色彩空间可伸缩性视频编码器的结构的框图。
参照图8，根据本发明的示例性实施例的编码器可简单地包括基层编码器810和加强层编码器850。在本发明的这个示例性实施例中，使用基层和加强层是示例。然而，对于本领域的技术人员来说，本发明也可被应用到使用更多层的情况是明显的。
基层编码器810可包括运动估计单元812、运动补偿单元814、空间变换单元818、量化单元820、熵编码单元822、色彩空间可伸缩性比特流产生单元832、逆量化单元824、逆空间变换单元826和去块单元830。
运动估计单元812基于输入的视频帧中的参考帧来对当前帧执行运动估计，并且获得运动向量。在本发明的这个示例性实施例中，通过接收已经被去块单元830去块的恢复的帧来获得用于预测的运动向量。运动估计单元812将如作为运动估计的结果获得的运动向量的运动数据、运动块的大小以及参考帧号提供给熵编码单元822。
运动补偿单元814通过使用运动估计单元812计算的运动向量对正向或后向参考帧执行运动补偿来产生当前帧的时间预测帧。
减法器816通过从当前输入帧中减去运动补偿单元814提供的时间预测帧来去除视频的时间冗余。
量化单元820对通过空间变换单元818获得的变换系数进行量化。
熵编码单元822对通过量化单元820量化的变换系数以及运动估计单元812提供的运动数据执行无损编码，并且产生输出比特流。
色彩空间可伸缩性比特流产生单元832将量化单元820提供的纹理数据中的亮度数据的位置信息以合适的方式插入到熵编码单元822提供的比特流中。色彩空间可伸缩性比特流产生单元832产生的比特流的形式如以上参照图4和图5所述。
在本发明的另一示例性实施例中，色彩空间可伸缩性比特流产生单元832可首先将亮度数据的位置信息插入到量化单元820量化的纹理数据的头部分，而不是插入到整个比特流的头部分，以将所述纹理数据提供给熵编码单元822。在这种情况下，解码器方900可在对比特流进行解码之后从纹理数据的头中提取亮度数据的位置信息。
在视频编码器800支持闭环视频编码器以减小发生在编码器方和解码器方之间的漂移误差的情况下，该视频编码器800还可包括逆量化单元824和逆空间变换单元826。
去块单元830从加法器828接收恢复的视频帧，并且执行去块以去除由于帧中块的边界导致的损伤(artifact)。去块恢复的视频帧作为参考帧被提供给加强层编码器850。
加强层编码器850可包括空间变换单元854、量化单元856、熵编码单元868、逆量化单元858以及逆空间变换单元860以及去块单元。
色彩空间可伸缩性比特流产生单元870将量化单元856提供的纹理数据中的亮度数据的位置信息以合适的形式插入到熵编码单元868提供的比特流。色彩空间可伸缩性比特流产生单元870产生的比特流的形式如以上参照图4和图5所述。
在本发明的另一示例性实施例中，色彩空间可伸缩性比特流产生单元870可首先将亮度数据的位置信息插入到通过量化单元856量化的纹理数据的头部分，而不是插入到整个比特流的头部分，以将纹理数据提供给熵编码单元868。在这种情况下，解码器方900可在对比特流解码之后从纹理数据的头中提取亮度数据的位置信息。
减法器852通过从当前输入帧中减去基层提供的参考帧来产生残留帧。残留帧通过空间变换单元854和量化单元856被编码，并且通过逆量化单元858和逆空间变换单元860被恢复。
加法器862通过将逆空间变换单元860提供的恢复的残留帧与基层提供的参考帧相加来产生恢复的帧。恢复的帧作为参考帧被提供给上面的加强层。
由于空间变换单元854、量化单元856、熵编码单元868、逆量化单元858以及逆空间变换单元860的操作与基层中的上述单元的操作相同，所以将省略对其的解释。
尽管多个具有不同标号的相同名称的组成部件是示例，所以对于本领域的技术人员来说，一个组成部件能够在基层和加强层两者中操作是明显的。
图9是示出根据本发明的示例性实施例的在FGS层结构中的色彩空间可伸缩性视频解码器的结构的框图。
参照图9，视频解码器900可包括基层解码器910和加强层解码器950。
加强层解码器950可包括比特流预处理单元953、熵解码单元955、逆量化单元960和逆空间变换单元965。
比特流预处理单元953从显示装置获得关于可支持的色彩空间的信息，根据色彩空间信息截断接收的比特流，并且将截断的比特流提供给熵解码单元955。关于显示装置支持的色彩空间的信息可以是关于显示的彩色/灰度级图像、色彩深度容量等的信息。
熵解码单元955通过执行作为熵编码的逆操作的无损解码来提取纹理数据。纹理信息被提供给逆量化单元960。
逆量化单元960对从熵解码单元955发送的纹理数据执行逆量化。逆量化处理在于搜索匹配由特定索引表示的值并且从编码器方800传输的量化的系数。
逆空间变换单元965相逆地执行空间变换，并且将作为逆量化的结果创建的系数恢复为空间域中的残留图像。
加法器970通过将逆空间变换单元965恢复的残留图像与基层解码器的去块单元940提供的参考帧相加来恢复视频帧。
基层解码器910可包括比特流预处理单元913、熵解码单元915、逆量化单元920、逆空间变换单元925、运动补偿单元930和去块单元940。
比特流预处理单元913从显示装置获得关于可支持的色彩空间的信息，根据该色彩空间信息截断接收的比特流，将截断的比特流提供给熵解码单元915。关于显示装置支持的色彩空间的信息可以是关于显示的彩色/灰度级图像、色彩深度容量等的信息。
熵解码单元915通过执行作为熵编码的逆操作的无损解码来提取纹理数据和运动数据。纹理信息被提供给逆量化单元920。
运动补偿单元930使用熵解码单元915提供的运动数据对恢复的视频帧执行运动补偿，并且产生运动补偿的帧。这种运动补偿处理仅被应用到在编码器方，当前帧通过时间预测处理已被编码的情况。
当通过时间预测产生由逆空间变换单元925恢复的残留图像时，加法器935通过将残留图像与运动补偿单元930提供的运动补偿的图像相加来恢复视频帧。
与图8所示的基层编码器的去块单元830相应的去块单元940通过将来自加法器935的恢复的视频帧去块来产生基层帧，并且将该基层帧作为参考帧提供给加强层解码器950的加法器970。
由于逆量化单元920和逆空间变换单元925的操作与存在于加强层中的逆量化单元和逆空间变换单元的操作相同，所以将省略对其的重复解释。
尽管多个具有不同标号相同名称的组成部件存在于图9中是示例，但是对本领域的技术人员来说，具有特定名称的一个组成部件可以在基层和加强层两者中操作。
图6至图9所示的各组成部件是例如可编程场门阵列(FPGA)和专用集成电路(ASIC)的软件或硬件。然而，组成部件不限于软件或硬件。组成部件可以被构建以便驻留在可寻址存储介质中或者执行一个或多个处理器。在组成部件中提供的功能可通过细分组成部件来实现，并且组成部件以及在组成部件中提供的功能可以组合在一起来执行特定功能。另外，组成部件可以被实现以便执行系统中的一个或多个计算机。
图10是示出根据本发明的示例性实施例的编码处理的流程图。
参照图10，在S1010，根据本发明的示例性实施例的视频编码器600的时间变换单元610和空间变换单元620去除输入视频帧的时间冗余和空间冗余。在这种情况下，可在去除时间冗余之后去除空间冗余，或者可在去除空间冗余之后去除时间冗余。在S1020，量化单元630对作为去除时间冗余和空间冗余的结果产生的变换系数进行量化。在S1030，熵编码单元640通过对量化的变换系数进行编码来产生比特流。色彩空间可伸缩性比特流产生单元通过将亮度数据的位置信息添加到熵编码的比特流来产生色彩空间可伸缩性比特流。
图11是示出根据本发明的示例性实施例的色彩分量可伸缩性视频解码处理的流程图。
参照图11，在S1110，根据本发明的示例性实施例的视频解码器700的比特流预处理单元710从接收的比特流中提取亮度数据的位置信息。在S1120，比特流预处理单元710根据亮度数据的位置信息从比特流截断亮度数据。在S1130，熵解码单元720对预处理的比特流进行解码，并且在S1140，逆量化单元730对解码的比特流执行逆量化。然后在S1150，逆空间变换单元740通过对逆量化的比特流执行逆空间变换来恢复视频帧。
图12是示出根据本发明的示例性实施例的色彩深度可伸缩性视频解码处理的流程图。
参照图12，在S1210，根据本发明的示例性实施例的视频解码器700的比特流预处理单元710从显示装置获得关于色彩深度容量的信息，并且在S1220，根据获得的关于色彩深度容量的信息通过从输入比特流截断超过色彩深度容量的比特来产生第二比特流。在S1230，熵解码单元720对第二比特流进行解码，并且在S1240，逆量化单元730对解码的比特流执行逆量化。然后在S1250，当逆空间变换单元740通过对变换系数执行逆空间变换来恢复残留信号，并且运动补偿单元根据熵解码单元提供的运动数据对预测的帧执行运动补偿时，视频被恢复。
如上所述，根据本发明的色彩空间可伸缩性视频编码和解码方法产生以下效果中的至少一个。
首先，编码器能够通知解码器亮度数据在比特流中的位置，从而如果需要，则解码器能够将彩色图像变换为灰度级图像。
其次，色彩深度可伸缩性可以以简单的方式来实现，即，解码器从显示装置获得关于色彩深度容量的信息，去除超过显示装置支持的色彩深度容量的比特，并且对比特流进行解码。
已经为了示例性目的描述了本发明的示例性实施例，本领域的技术人员将理解，在不脱离由所附权利要求公开的本发明的范围和精神的情况下，可以进行各种修改、添加和替换。
权利要求
1.一种色彩空间可伸缩性视频编码方法，该方法包括(a)通过去除输入视频帧的时间冗余和空间冗余来产生变换系数；(b)量化变换系数；(c)通过对量化的变换系数进行熵编码来产生比特流；和(d)产生包括比特流和在比特流中亮度数据的位置信息的色彩空间可伸缩性比特流。
2.如权利要求1所述的方法，其中，亮度数据的位置信息包括比特流中的纹理信息的长度以及纹理信息中亮度数据的长度。
3.如权利要求1所述的方法，其中，亮度数据的位置信息包括与一层对应的比特流中的纹理信息的长度、以及纹理信息中的亮度数据的长度。
4.如权利要求1所述的方法，其中，亮度数据的位置信息包括精细粒度SNR可伸缩性(FGS)层的数量、各个FGS层的每个的比特流中的纹理信息的长度、以及纹理信息中的亮度数据的长度。
5.如权利要求1所述的方法，其中，熵编码的比特流包括各个输入视频帧的运动数据和纹理数据；并且纹理数据包括输入视频帧的亮度数据和色度数据。
6.如权利要求1所述的方法，其中，量化变换系数的步骤包括使用随着层级增加而变得越小的量化参数。
7.一种色彩空间可伸缩性视频解码方法，该方法包括(a)从第一比特流中提取亮度数据的位置信息；(b)通过根据亮度数据的位置信息从第一比特流截断色度数据来产生包括运动数据和亮度数据的第二比特流；和(c)通过对第二比特流进行解码来恢复视频帧。
8.如权利要求7所述的方法，其中，亮度数据的位置信息包括第一比特流中的纹理信息的长度以及纹理信息中亮度数据的长度。
9.如权利要求7所述的方法，其中，亮度数据的位置信息包括与一层对应的第一比特流中的纹理信息的长度、以及纹理信息中的亮度数据的长度。
10.如权利要求7所述的方法，其中，亮度数据的位置信息包括精细粒度SNR可伸缩性(FGS)层的数量、各个FGS层的每个的比特流中的纹理信息的长度、以及纹理信息中的亮度数据的长度。
11.如权利要求7所述的方法，其中，比特流包括体，包括运动数据、亮度数据和色度数据；和头，包括亮度数据的位置信息。
12.一种色彩空间可伸缩性视频编码方法，该方法包括以下步骤(a)通过去除输入视频帧的时间冗余和空间冗余来产生变换系数；(b)量化变换系数；和(c)通过对量化的变换系数进行熵编码来产生比特流；其中，比特流的色彩深度的比特的数量与层的级成正比增加。
13.如权利要求12所述的方法，其中，量化变换系数的步骤包括使用随着亮度层的级的增加而变得越小的量化参数。
14.一种色彩空间可伸缩性视频解码方法，该方法包括(a)从显示装置获得关于色彩深度容量的信息；(b)通过根据关于色彩深度容量的信息从输入第一比特流截断超过色彩深度空间的比特来产生第二比特流；和(c)通过对第二比特流进行解码来恢复视频帧。
15.如权利要求14所述的方法，其中，色彩深度的比特的数量随着输入第一比特流中色度层的级的增加而增加。
16.如权利要求14所述的方法，其中，输入第一比特流是使用随着色度层的级的增加而变得越小的量化参数而量化的比特流。
17.一种色彩空间可伸缩性视频编码器，包括时间变换单元，去除输入视频帧的时间冗余；空间变换单元，去除输入视频帧的空间冗余；量化单元，对通过时间变换单元和空间变换单元产生的变换系数进行量化；熵编码单元，对量化的变换系数执行熵编码；和色彩空间可伸缩性比特流产生单元，产生包括通过熵编码单元产生的比特流以及比特流中的亮度数据的位置信息的色彩空间可伸缩性比特流。
18.如权利要求17所述的编码器，其中，亮度数据的位置信息包括比特流中的纹理信息的长度以及纹理信息中亮度数据的长度。
19.如权利要求17所述的编码器，其中，亮度数据的位置信息包括与一层对应的比特流中的纹理信息的长度、以及纹理信息中的亮度数据的长度。
20.如权利要求17所述的编码器，其中，亮度数据的位置信息包括精细粒度SNR可伸缩性(FGS)层的数量、各个FGS层的每个的比特流中的纹理信息的长度、以及纹理信息中的亮度数据的长度。
21.如权利要求17所述的编码器，其中，色彩深度的比特的数量随着色彩空间可伸缩性比特流中的色度层的级的增加而增加。
22.一种色彩空间可伸缩性视频解码器，包括比特流预处理单元，从第一比特流中提取亮度数据的位置信息，并且通过根据亮度数据的位置信息从第一比特流截断色度数据来产生包括运动数据和亮度数据的第二比特流；熵解码单元，对第二比特流进行解码；逆量化单元，通过对解码的第二比特流执行逆量化来产生变换系数；逆空间变换单元，通过对变换系数执行逆空间变换来恢复残留信号；和运动补偿单元，根据熵解码单元提供的运动数据来对预测的帧执行运动补偿。
23.如权利要求22所述的解码器，其中，亮度数据的位置信息包括第一比特流中的纹理信息的长度以及纹理信息中亮度数据的长度。
24.如权利要求22所述的解码器，其中，亮度数据的位置信息包括与一层对应的第一比特流中的纹理信息的长度、以及纹理信息中的亮度数据的长度。
25.如权利要求22所述的解码器，其中，亮度数据的位置信息包括精细粒度SNR可伸缩性(FGS)层的数量、各个FGS层的每个的比特流中的纹理信息的长度、以及纹理信息中的亮度数据的长度。
26.一种色彩空间可伸缩性视频解码器，包括比特流预处理单元，从显示装置获得关于色彩深度容量的信息，并且通过根据关于色彩深度容量的信息从输入第一比特流截断超过色彩深度容量的比特流来产生第二比特流；熵解码单元，对第二比特流进行解码；逆量化单元，通过对解码的第二比特流执行逆量化来产生变换系数；逆空间变换单元，通过对变换系数执行逆空间变换来恢复残留信号；和运动补偿单元，根据熵解码单元提供的运动数据对预测的帧执行运动补偿。
27.如权利要求26所述的解码器，其中，色彩深度的比特的数量随着输入第一比特流中的层的级的增加而增加。
28.如权利要求26所述的解码器，其中，输入第一比特流是使用随着层的级的增加而变得越小的量化参数所量化的比特流。
29.一种传输包含多个宏块的像条的数据的方法，包括(a)将包含在像条中的所有的宏块的亮度数据插入到比特流中；(b)将包含在像条中的所有的宏块的色度数据插入到比特流中；和(c)传输包含亮度数据和色度数据的比特流。
30.如权利要求29所述的方法，其中，像条被包括在精细粒度SNR可伸缩性(FGS)层中。
31.如权利要求29所述的方法，还包括将亮度数据和色度数据的位置信息插入到比特流中。
32.一种产生包含包括具有多个宏块的亮度数据和色度数据的多个宏块的多个像条的视频序列的方法，该方法包括(a)将包括在像条中的所有的宏块的亮度数据插入到视频序列中；和(b)将包括在像条中的所有的宏块的色度数据插入到视频序列中。
33.如权利要求32所述的方法，其中，视频序列是精细粒度SNR可伸缩性(FGS)层。
34.如权利要求32所述的方法，其中，视频序列包括亮度数据的位置信息和色度数据的位置信息。
35.一种处理与包括在像条中的多个宏块的亮度数据或色度数据分开传输的视频序列的方法，该方法包括(a)解释包括在像条中的所述多个宏块的亮度数据；和(b)解释包括在像条中的所述多个宏块的色度数据。
36.如权利要求35所述的方法，其中，视频序列是精细粒度SNR可伸缩性(FGS)层。
37.如权利要求35所述的方法，其中，所述多个宏块不包含运动向量信息。
38.如权利要求35所述的方法，还包括解释像条中的亮度数据的位置信息以及色度数据的位置信息。
39.一种对包括基层和精细粒度SNR可伸缩性(FGS)加强层的视频序列进行解码的方法，包括(a)解释基层的数据；(b)解释包括在FGS加强层中的所有的宏块的亮度数据；(c)解释所有的宏块的色度数据；(d)将FGS加强层亮度数据和色度数据与基层的数据组合；和(e)对组合的数据进行解码。
40.如权利要求39所述的方法，还包括解释所有的宏块的亮度数据和色度数据的位置信息。
41.如权利要求39所述的方法，其中，FGS加强层的所有的宏块不包含运动向量信息。
42.一种记录有用于执行权利要求1所述的方法的计算机可读程序的记录介质。
43.一种记录有用于执行权利要求7所述的方法的计算机可读程序的记录介质。
44.一种记录有用于执行权利要求12所述的方法的计算机可读程序的记录介质。
45.一种记录有用于执行权利要求14所述的方法的计算机可读程序的记录介质。
46.一种记录有用于执行权利要求29所述的方法的计算机可读程序的记录介质。
47.一种记录有用于执行权利要求32所述的方法的计算机可读程序的记录介质。
48.一种记录有用于执行权利要求35所述的方法的计算机可读程序的记录介质。
49.一种记录有用于执行权利要求39所述的方法的计算机可读程序的记录介质。
全文摘要
公开了一种色彩空间可伸缩性视频编码和解码方法及其设备，能够根据解码器方的性能来调整色彩分量或色彩深度。色彩空间可伸缩性视频编码方法包括通过去除输入视频帧的时间冗余和空间冗余来产生变换系数，量化变换系数，通过对量化的变换系数进行熵编码来产生比特流，和产生包括比特流和比特流中亮度数据的位置信息的色彩空间可伸缩性比特流。
文档编号H04N9/77GK1829326SQ200610058380
公开日2006年9月6日 申请日期2006年3月3日 优先权日2005年3月4日
发明者车尚昌, 玛修·摩奴, 李教赫 申请人:三星电子株式会社