专利名称：视频编码方法
技术领域：
本发明关于一种具有分辨率可调性(scalability)的视频编码方法。
背景技术：
视频已经与我们的生活紧密联系，并且具有不可估量的价值，它使我们可以通过传输工具，如因特网、移动电话网络、无线电波和存储介质，在多种显示终端，诸如个人计算机、移动电话、电视、高清晰度电视，享受可视信息。
为了有效地将信息传输给用户，视频信号通过使用视频编码技术被压缩成由较小数量数据组成的视频流。最近，视频流传输已经变得广泛，通过这种方式，接收到的视频编码数据可以顺序重放，而不是在下载完全部数据后重放视频编码数据。但是，在传统应用的视频编码技术中，如H.261标准和MPEG(运动图像专家组)标准，在数据被一次编码之后解码处理中使用的代码量被唯一确定，因此，改变重放的视频质量是不可能的。据此，如果为有不同通信频带的两方提供单一的视频流，视频数据被编码两次以适应每个频带并传输，或者在按照通信频带中具有较窄特征的一个降低质量(SNR代表原始图像与误差的比)、分辨率(空间分辨率代表像素的数量)、和/或视频帧速率时被编码。
可调视频编码方案当前已被提出，其中有由多个层构成的数据结构，并使得即使是编码后如果需要则传输的流的量发生变化也是可能的，一些可调视频编码方案已经被标准化。在可调视频编码方案中，图像质量、分辨率、帧速率等等在视频编码之后仍可以被选择。另外，在编码之后能够选择图像质量或分辨率被分别称为具有图像质量可调性或分辨率可调性。
近年来，应用复杂的摄像技术，高级图像出现在很多领域，可调视频编码方案的需求正进一步增长。
例如，日本公开专利公报2001-16583描述了一种有分辨率可调性的视频编码装置。这种视频编码装置能够编码高分辨率视频和低分辨率视频，在低分辨率视频编码流上添加高区编码流，从而就能够解码高分辨率视频。
特别地，虽然附图中未示出，低通滤波器从输入高分辨率图像信号中提取低频成份信号，以及高通滤波器提取第一高频成份信号。另一高通滤波器从所述低频成份信号提取第二高频成份信号，高区编码部件对所述第一和第二高频成份信号进行编码。编码处理通过执行量化和VLC处理来进行。同时，低频成份信号被编码到低分辨率视频编码部件，其进行低分辨率视频的编码。这一编码处理通过执行垂直转换、量化和VLC处理来进行。
通过这种方式，视频编码装置能够对输入的高分辨率视频进行有两级分辨率的可调编码。
另外，众所周知的一种具有图像质量可调性的视频编码技术是，例如，MPEG-4 FGS(精细粒度可调性)。MPEG-4 FGS是在ISO/IEC 14496-2修正案2中指出的可调视频编码方案中的一个，特别地，它已标准化为能够选择具有精细粒度视频流的图像质量的编码方法。
通过MPEG-4 FGS编码的视频流由基本层流和增强层流构成。这个基本层流是有低频带和能够对其单独解码的低图像质量的视频层，而增强层流是用来改善基本层流图像质量的视频流。MPEG-4 FGS采用一种多层编码层结构以及在增强层中使用的被称为位平面(bit-plane)VLC(可变长度编码)的编码处理，因此能够在帧(屏幕或图像)的基础上对传输的代码量进行控制，并且能够对传输速率和图像质量作出高度灵活的响应。另外，位平面VLC将在后文中特别予以描述。
图1是说明对其应用MPEG-4 FGS的视频编码装置的基本结构的方框图。
在视频编码装置10中，视频输入部件12在帧(屏幕)的基础上接收作为其输入的视频信号(原始图像)并提供给基本层编码部件14和差分部件20。
基本层编码部件14对来自于视频输入部件12的原始图像进行MPEG编码，生成基本层流提供给基本层输出部件16以及基本层解码部件18。基本层输出部件16输出从基本层编码部件14获得的基本层流到视频编码装置10的外部。同时，基本层解码部件18解码从基本层编码部件14获得的基本层流并提供给差分部件20。
差分部件20计算从视频输入部件12获得的原始图像与从基本层解码部件18获得的解码图像之间的差分，并提供差分图像给增强层DCT部件22。增强层DCT部件22对从差分部件20获得的差分图像在8×8像素块的基础上进行DCT(离散余弦变换)以生成DCT系数，进而将这些DCT系数提供给增强层位平面VLC部件24。增强层位平面VLC部件24对从增强层DCT部件22得到的DCT系数进行位平面VLC处理，生成增强层流提供给增强层输出部件26。增强层输出部件26将从增强层位平面VLC部件24获得的增强层流输出到视频编码装置10的外部。
然而，在上边提到的专利公报中描述的视频编码装置中，能够以两级分辨率对输入的高分辨率视频进行可调编码，但量化和VLC处理仅被简单用于高区成份的编码处理，而对编码效率未给予任何考虑。因此，随着处理数据量的增加，迫切要求高效率地生成能够选择分辨率的视频流。
在MPEG-4 FGS中，如上所述，图像质量可以在编码视频后加以选择，但是分辨率不能选择。于是，迫切要求能够实现一种视频编码方法，该方法能够选择分辨率和图像质量两者而且有高的编码效率。
发明内容
本发明目的在于提供一种视频编码方法，其能够实现分辨率可调性，同时提高编码效率。
本发明的主题是对有高分辨率的原始图像(第一分辨率图像)进行分带(band division)以生成低频成份(第二分辨率图像成份)和其他子带成份(水平成份、垂直成份和对角线成份)，对每个子带成份进行DCT处理和编码处理(例如，位平面VLC)，从而在高效编码后生成使分辨率能够被选择的视频流。
依据本发明一个的方面，一种视频编码方法包括分带步骤，即将具有第一分辨率的第一分辨率图像分为具有比第一分辨率低的第二分辨率的第二分辨率图像成份和至少一个子带成份，子带成份包括水平成份、垂直成份和对角线成份；DCT步骤，即对划分的子带成份进行DCT(离散余弦变换)处理；以及编码步骤，即使用相应于与各子带成份相关联的DCT处理的统计学结果的扫描方法对经过了DCT处理的子带成份进行编码。
依据本发明的另一方面，一种视频编码装置包括输入部件，用于输入具有第一分辨率的第一分辨率图像；分带部件，用于将输入的第一分辨率图像分为具有比第一分辨率低的第二分辨率的第二分辨率图像成份以及各个子带成份，子带成份包括水平成份、垂直成份和对角线成份；DCT部件，用于对划分的各子带成份进行DCT处理；和位平面VLC部件，用于按照各自不同的扫描顺序，使用相应于与每个子带成份相关联的DCT处理的统计学结果的扫描方法对经过了DCT处理的每个子带成份进行位平面VLC处理。
依据本发明的另一方面，视频编码装置包括输入部件，用于输入具有第一分辨率的第一分辨率图像；分带部件，用于将输入的第一分辨率图像分为具有比第一分辨率低的第二分辨率的第二分辨率图像成份以及各个子带成份，子带成份包括水平成份、垂直成份和对角线成份；DCT部件，用于对划分的各子带成份进行DCT处理；量化部件，用于量化经过DCT处理的各个子带成份；以及VLC部件，用于使用相应于与每个子带成份相关联的DCT处理的统计学结果的扫描方法对量化的每个子带成份进行VLC处理。
本发明的上述以及其他目的和特征通过下面结合附图的说明将变得更加显而易见，其中仅仅是作为示例说明了一个例子，其中图1是说明应用MPEG-4 FGS的视频编码装置的结构的方框图；图2是说明应用依据本发明实施例1的视频编码方法的视频编码装置的结构的方框图；图3A是表示在分带之前的高分辨率原始图像的示图；图3B是表示在分带之后的各个频带成份的示图；图3C是表示低分辨率图像的示图；图4A是说明中间分辨率图像的DCT系数的绝对值统计学的例子的图解；图4B是说明水平成份的DCT系数的绝对值统计学的例子的图解；图4C是说明垂直成份的DCT系数的绝对值统计学的例子的图解；图4D是说明对角线成份的DCT系数的绝对值统计学的例子的图解；图5A是示出水平成份的8×8 DCT系数的扫描顺序的例子的示图；图5B是示出垂直成份的8×8 DCT系数的扫描顺序的例子的示图；图5C是示出对角线成份的8×8 DCT系数的扫描顺序的例子的示图；图6A是示出水平成份的扫描顺序的一个例子的示图；
图6B是示出水平成份的扫描顺序的另一例子的示图；图6C是示出水平成份的扫描顺序的另一例子的示图；图6D是示出水平成份的扫描顺序的另一例子的示图；图6E是示出水平成份的扫描顺序的另一例子的示图；图7A是示出垂直成份的扫描顺序的一个例子的示图；图7B是示出垂直成份扫描顺序的另一例子的示图；图7C是示出垂直成份的扫描顺序的另一例子的示图；图7D是示出垂直成份的扫描顺序的另一例子的示图；图7E是示出垂直成份的扫描顺序的另一例子的示图；图8A是示出对角线成份的扫描顺序的一个例子的示图；图8B是示出对角线成份的扫描顺序的另一例子的示图；图9A是示出位平面1的扫描范围的例子的示图；图9B是示出位平面2的扫描范围的例子的示图；图9C是示出位平面3的扫描范围的例子的示图；图9D是示出位平面4的扫描范围的例子的示图；图10是从与在图4B所示图形中的水平频率轴平行的方向看到的视图；图11是说明如图2所示的视频编码装置的操作的例子的流程图；图12是说明如图11所示的中间区层编码处理过程的例子的流程图；图13是说明如图11所示的水平层编码处理过程的例子的流程图；图14是说明如图11所示的垂直层编码处理过程的例子的流程图；图15是说明如图11所示的对角线层编码处理过程的例子的流程图；图16是说明应用依据本发明实施例1的视频解码方法的视频解码装置的结构的方框图；图17是说明如图16所示的视频解码装置的操作的例子的流程图；图18是说明如图17所示的中间区层解码处理过程的例子的流程图；图19是说明如图17所示的水平层解码处理过程的例子的流程图；图20是说明如图17所示的垂直层解码处理过程的例子的流程图；图21是说明如图17所示的对角线层解码处理过程的例子的流程图；图22是说明应用依据本发明实施例2的视频编码方法的视频编码装置的结构的方框图；图23A是说明水平成份的DCT系数的示意图；
图23B是说明垂直成份的DCT系数的示意图；图23C是说明对角线成份的DCT系数的示意图；图24是说明如图22所示视频编码装置的操作的例子的流程图；图25是说明如图24所示的高区层编码处理过程的例子的流程图；图26是说明应用依据本发明实施例2的视频解码方法的视频解码装置的结构的方框图；图27是说明如图26所示的视频解码装置的操作的例子的流程图；图28是说明如图27所示的高区层解码处理过程的例子的流程图；图29是说明应用依据本发明实施例3的视频解码方法的视频解码装置的结构的方框图；图30是说明如图29所示的视频解码装置的操作的例子的流程图；图31是说明应用依据本发明实施例4的视频编码方法的视频编码装置的结构的方框图；图32是说明如图31所示的视频编码装置中的中间区层编码处理的操作的例子的流程图；图33是说明如图31所示的视频编码装置中的水平层编码处理的操作的例子的流程图；图34是说明如图31所示的视频编码装置中的垂直层编码处理的操作的例子的流程图；图35是说明如图31所示的视频编码装置中的对角线层编码处理的操作的例子的流程图；图36是说明应用依据本发明实施例4的视频解码方法的视频解码装置的结构的方框图；图37是说明如图36所示的视频解码装置中的中间区层解码处理的操作的例子的流程图；图38是说明如图36所示的视频解码装置中的水平层解码处理的操作的例子的流程图；图39是说明如图36所示的视频解码装置中的垂直层解码处理的操作的例子的流程图；图40是说明如图36所示的视频解码装置中的对角线层解码处理的操作的例子的流程图。
具体实施例方式
本发明的实施例将在下文中参照附图特别予以描述。另外，每个实施例描述作为能够在三级例如低、中间和高之间选择分辨率的例子的情况。
(实施例1)图2是说明采用依据本发明实施例1的视频编码方法的视频编码装置的结构的方框图。
视频编码装置100如图2所示有视频信号输入部件102、分带部件104、缩小部件106、低区层编码部件108、低区层输出部件110、低区层解码部件112、放大部件114、差分部件116、中间区层DCT部件118、中间区层位平面VLC部件120、中间区层输出部件122、水平层DCT部件124、水平层位平面VLC部件126、水平层输出部件128、垂直层DCT部件130、垂直层位平面VLC部件132、垂直层输出部件134、对角线层DCT部件136、对角线层位平面VLC部件138和对角线层输出部件140。
在视频编码装置100中生成的流包括低区层流，能够单独对其解码以生成低分辨率解码图像；中间区层流，添加到低分辨率解码图像以生成中间分辨率解码图像；以及水平层流、垂直层流和对角线层流，每个都添加到这个中间分辨率解码图像上以生成高分辨率解码图像。
视频信号输入部件102在逐帧的基础上输入高分辨率原始图像。换而言之部件102接收高分辨率视频，并将输入的视频在逐帧的基础上作为高分辨率原始图像提供给分带部件104。
分带部件104将由视频信号输入部件102获得的高分辨率原始图像分成四个频带成份。换而言之，部件104从视频信号输入部件102获得高分辨率原始图像，进行分带将图像分成四个成份，具体上，中间分辨率图像、水平成份、垂直成份和对角线成份，并将中间分辨率图像提供给缩小部件106和差分部件116，将水平成份提供给水平层DCT部件124，垂直成份提供给垂直层DCT部件130，以及对角线成份提供给对角线层DCT部件136。
另外，在此说明书中，“子带成份”指除中间分辨率图像以外的频带成份，即水平成份、垂直成份和对角线成份。
图3A示出分带之前的高分辨率原始图像，图3B示出分带之后各个频带成份。
每个频带成份在垂直和水平方向均具有为高分辨率原始图像的一半的分辨率，和原始图像四分之一的像素数。这个中间分辨率图像是高分辨率原始图像的缩小图像。水平成份是在水平方向上的在高分辨率原始图像和通过在水平及垂直方向将中间分辨率图像放大两倍获得的图像之间的误差成份。垂直成份是在垂直方向上的在高分辨率原始图像和通过在水平及垂直方向将中间分辨率图像放大两倍获得的图像之间的误差成份。对角线成份是在对角线方向上的在高分辨率原始图像和通过在水平及垂直方向将中间分辨率图像放大两倍获得的图像之间的误差成份。
下面的公式1到4代表分带方法的例子a[x][y]＝(p[2x][2y]+p[2x+1][2y]+p[2x][2y+1]+p[2x+1][2y+1])/4..(公式1)h[x][y]＝(-p[2x][2y]+p[2x+1][2y]-p[2x][2y+1]+p[2x+1][2y+1])/4..(公式2)v[x][y]＝(-p[2x][2y]-p[2x+1][2y]+p[2x][2y+1]+p[2x+1][2y+1])/4..(公式3)d[x][y]＝(-p[2x][2y]+p[2x+1][2y]+p[2x][2y+1]-p[2x+1][2y+1])/4..(公式4)在这种分带方法中，高分辨率原始图像被分成多个方块，每个有四个像素，其中在垂直或水平方向两个像素对齐。中间分辨率图像以及水平、垂直和对角线成份对应于四个像素的坐标被计算出。这里，“p”是高分辨率原始图像的像素值，下标“x”和“y”分别是左上设置为原点的坐标(x，y)的像素值。
(公式1)中计算的“a”代表中间分辨率解码图像的像素值，是四个像素“p”的平均值。(公式2)中计算的“h”代表水平成份的像素值，是通过从右侧两个像素的和中减去左侧两个像素的和得到的值。(公式3)中计算的“v”代表垂直成份的像素值，是从上侧两个像素的和中减去下侧两个像素的和得到的值。(公式4)中计算的“d”代表对角线成份的像素值，是从左上和右下两个像素的和中减去右上和左下两个像素的和得到的值。
另外，由(公式1)到(公式4)代表的分带方法仅仅是一个例子，本发明不局限于此。例如，分带也可以通过应用Daubechies或Meyer小波函数、或者高通滤波器、低通滤波器和下采样器(downsampler)的结合来进行。
缩小部件106缩小通过在分带部件104的分带获得的中间分辨率图像以生成低分辨率图像。换而言之，部件106从分带部件104获得中间分辨率图像，将获得的中间分辨率图像缩小生成低分辨率图像，并将生成的图像提供给低区层编码部件108。
图3C示出低分辨率图像。该低分辨率图像的分辨率在垂直和水平方向是高分辨率图像的四分之一，低分辨率图像的像素数量是高分辨率图像的十六分之一。
低区层编码部件108对由缩小部件106获得的低分辨率图像进行编码以生成低区层流。在此实施例中，从与已有的方法和设备相兼容的角度，在低区层编码部件108中应用的编码方法是众所周知的MPEG-4 ASP(AdvancedSimple Profile(先进简单的规范))。也就是，部件108从缩小部件106获得低分辨率图像，对获得的低分辨率图像进行DCT、量化、VLC、预测编码等等，生成能够单独解码的低区层流，并将生成的流提供给低区层输出部件110和低区层解码部件112。
另外，自然地，部件108中的编码方法不局限于MPEG-4 ASP，其他的编码方法也可以使用。
低区层输出部件110输出由低区层编码部件108获得的低区层流到外部。也就是说，部件110获得由低区层编码部件108获得的低区层流，并将得到的流输出到视频编码装置100外部。
低区层解码部件112解码由低区层编码部件108获得的低区层流以生成低分辨率解码图像。换而言之，部件112从低区层编码部件108获得低区层流，解码获得的低区流以生成低分辨率解码图像，并将生成的图像提供给放大部件114。
放大部件114放大由低区层解码部件112获得的低分辨率解码图像。也就是，部件114从低区层解码部件112得到低分辨率解码图像，放大获得的低分辨率解码图像以生成放大的低分辨率解码图像，并将生成的图像提供给差分部件116。放大的低分辨率解码图像的分辨率与中间分辨率图像的分辨率相同。
在此实施例中，从与已有的方法和设备兼容的角度出发，MPEG-4 FGS的增强层编码方法被用作在差分部件116、中间区层DCT部件118和中间区层位平面VLC部件120中的编码方法。
这里，位平面是位序列，其中在相同位位置的位以二进制数字被排列。位平面VLC是一种编码方法，用于对每个位平面进行可变长度编码。
位平面编码的概念将在下面简要介绍。
例如，考虑传输四个整数“5”、“14”、“3”和“15”的情况，它们是从0到15的十进制整数中任意选取的。将十进制的“5”、“14”、“3”和“15”转换成四位二进制数“0101”、“1110”、“0011”和“1111”。对于每个位平面按照有效位的降序排列这些数字得到“0101”、“1101”、“0111”和“1011”。当传输速率受限时，优先地从上位平面进行的传输减少了信息的劣化。更具体地说，当只有三个位平面能够被传输时，十进制“4”、“14”、“2”和“14”从“0101”、“1101”和“0111”中获得。
在视频编码中使用位平面编码能够根据位平面的数量在解码时选择图像质量，即，能够获得图像质量的可调性。
进而，位平面VLC即在位平面编码中使用的VLC将在下面简要介绍。
位平面VLC使用零游程(run)长度编码，进行8×8DCT系数扫描，使用数值“0”直到数值“1”出现，并且用EOP(End of Plane(平面结束))信号表明在接下来对位平面的扫描中没有“1”出现，来进行可变长度编码。其中，“扫描”意味着顺序对DCT系数进行可变长度编码的处理。
差分部件116从由分带部件104获得的中间分辨率图像以及由放大部件114获得的放大的低分辨率解码图像生成差分图像。换而言之，部件116从分带部件104得到中间分辨率图像并且从放大部件114得到放大的低分辨率解码图像，计算这些图像之间的差分以生成差分图像，并将生成的图像提供给中间区层DCT部件118。
中间区层DCT部件118对由差分部件116得到的差分图像进行DCT处理。也就是说，部件118从差分部件116获得差分图像，对获得的差分图像在8×8像素块的基础上进行DCT处理以生成中间区成份DCT系数，并将生成的系数提供给中间区层位平面VLC部件120。
中间区层位平面VLC部件120对由中间区层DCT部件118获得的经DCT处理后的差分图像进行位平面VLC处理以生成中间区层流。也就是说，部件120从中间区层DCT部件118获得中间区成份DCT系数，对获得的每个位平面的中间区成份DCT系数进行VLC处理以生成中间区层流，并将生成的流提供给中间区层输出部件122。
中间区层输出部件122将由中间区层位平面VLC部件120获得的中间区层流输出到外部。换而言之，部件122从中间区层位平面VLC部件120获得中间区层流，并将获得的流输出到视频编码装置100的外部。
水平层DCT部件124对在分带部件104中通过分带得到的水平成份进行DCT处理。换而言之，部件124从分带部件104获得水平成份，对得到的水平成份在8×8像素块的基础上进行DCT处理以生成水平成份DCT系数，并将生成的系数提供给水平层位平面VLC部件126。
水平层位平面VLC部件126对由水平层DCT部件124获得的经DCT处理后的水平成份进行位平面VLC处理以生成水平层流。也就是说，部件126从水平层DCT部件124获得水平成份的DCT系数，对获得的每个位平面的水平成份DCT系数进行VLC处理以生成水平层流，并将生成的流提供给水平层输出部件128。
水平层输出部件128将由水平层位平面VLC部件126获得的水平层流输出到外部。也就是，部件128从水平层位平面VLC部件126获得水平层流，并将获得的流输出到视频编码装置100的外部。
垂直层DCT部件130对在分带部件104通过分带得到的垂直成份进行DCT处理。换而言之，部件130从分带部件104获得垂直成份，对获得的垂直成份在8×8像素块的基础上进行DCT处理以生成垂直成份DCT系数，并将生成的系数提供给垂直层位平面VLC部件132。
垂直层位平面VLC部件132对由垂直层DCT部件130获得的经DCT处理后的垂直成份进行位平面VLC处理以生成垂直层流。也就是说，部件132从垂直层DCT部件130获得垂直成份的DCT系数，对获得的每个位平面的垂直成份DCT系数进行VLC处理以生成垂直层流，并将生成的流提供给垂直层输出部件134。
垂直层输出部件134将由垂直层位平面VLC部件132获得的垂直层流输出到外部。也就是，部件134从垂直层位平面VLC部件132获得垂直层流，并将获得的流输出到视频编码装置100的外部。
对角线层DCT部件136对在分带部件104通过分带得到的对角线成份进行DCT处理。换而言之，部件136从分带部件104获得对角线成份，对获得的对角线成份在8×8像素块的基础上进行DCT处理以生成对角线成份DCT系数，并将生成的系数提供给对角线层位平面VLC部件138。
对角线层位平面VLC部件138对由对角线层DCT部件136获得的经DCT处理后的对角线成份进行位平面VLC处理以生成对角线层流。也就是说，部件138从对角线层DCT部件136获得对角线成份DCT系数，对获得的每个位平面的对角线成份DCT系数进行VLC处理以生成对角线层流，并将生成的流提供给对角线层输出部件140。
对角线层输出部件140将由对角线层位平面VLC部件138获得的对角线层流输出到外部。也就是，部件140从对角线层位平面VLC部件138获得对角线层流，并将获得的流输出到视频编码装置100的外部。
下面的描述给出了通过分带生成的水平成份、垂直成份和对角线成份的编码过程，这是本发明的要点。
图4A到4D是三维图像，说明在图3B中四个频带成份的DCT系数的绝对值的统计学例子。这里，例如，原始视频是上百张352×288像素的人物运动图像。在8×8像素块基础上对运动图像进行DCT处理，关于所有图像的全部像素块的DCT系数对每个频率成份，计算绝对值的平均值。
图4A说明中间分辨率图像的DCT系数的绝对值的统计学例子。从这个图形可以理解中间分辨率图像的DCT系数分布，偏斜朝向水平低频和垂直低频。
图4B说明水平成份的DCT系数的绝对值的统计学例子。从这个图形可以理解水平成份的DCT系数分布，偏斜朝向垂直低频。特别地，水平成份的DCT系数统计学上在水平低频和垂直高频均是最小的。
图4C说明垂直成份的DCT系数的绝对值的统计学例子。从这个图形可以理解垂直成份的DCT系数分布，偏斜朝向水平低频。特别地，垂直成份的DCT系数统计学上在垂直低频和水平高频均是最小的。
图4D说明对角线成份的DCT系数的绝对值的统计学例子。从这个图形可以理解对角线成份的DCT系数分布，偏斜朝向水平高频和垂直高频。特别地，对角线成份的DCT系数统计学上在水平低频和垂直低频均是最小的。
本发明的发明人发现在通过分带得到的每个成份的DCT系数分布上存在统计学的预定偏斜，在此基础上，得到了本发明。也就是说，在本发明中，DCT处理是对通过对具有某一分辨率的图像进行分带而获得的每个成份进行的，使在每个频带成份的DCT系数分布上出现预先确定的偏移(参见图4A至4D)，应用这一偏移(统计学结果)，编码效率可以被改善。
这一方法将在下面特别予以描述。
图5A到5C为说明每一成份的8×8DCT系数的扫描顺序的例子的示图。其中，图5A是示出水平成份的8×8DCT系数的扫描顺序的例子的视图，图5B是示出垂直成份的8×8DCT系数的扫描顺序的例子的视图，图5C是示出对角线成份的8×8DCT系数的扫描顺序的例子的视图。在图5A到5C中，扫描按照箭头顺序进行。也就是，实施锯齿形(zigzag)扫描。
这里，作为例子，对水平成份的锯齿形扫描将在下文进行描述。
如上所述，图5A示出扫描顺序的例子，其中水平成份的8×8像素块的DCT系数经过位平面VLC处理，并按箭头顺序进行扫描(锯齿形扫描)。也就是，在如图4B所示统计学结果的基础上，换而言之，注意到水平成份DCT系数的分布，偏斜朝向垂直低频，从垂直低频到高频顺序水平扫描64DCT系数，给予垂直低频优先权。通过这种方法，在位平面VLC处理中，大量的值“1”出现在位平面中扫描的启始处，而大量的值“0”出现在扫描的结尾，因此能够使用EOP信号缩短编码长度。另外，扫描是在编码过程中按照预先确定的顺序实施的。
为描述更多的细节，扫描顺序并不只局限于如图5A到5C所示出的例子。
图6A到6E示出水平成份的扫描顺序的例子。如上所述，由于水平成份的DCT系数统计学上在水平低频和垂直高频最小，例如，下述四种模式是可行的-在水平频率轴方向从垂直低频到垂直高频(从水平低频到水平高频)进行扫描(见图6A)；-在水平频率轴方向从垂直低频到垂直高频(从水平高频到水平低频)进行扫描(见图6B)；-在水平频率轴方向从垂直低频到垂直高频进行扫描同时改变方向(在垂直低频从水平低频到水平高频，和在垂直高频从水平高频到水平低频)(见图6C)；-在倾斜的方向从水平高频和垂直低频到水平低频和垂直高频(从水平高频和垂直低频到水平低频和垂直高频)进行扫描(见图6D)；以及-在倾斜的方向从水平高频和垂直低频到水平低频和垂直高频(从水平低频和垂直低频到水平高频和垂直高频)进行扫描(见图6E)。
另外，图5A对应于图6A。
图7A到7E示出垂直成份扫描顺序的例子。如上所述，由于垂直成份的DCT系数统计学上在垂直低频和水平高频最小，例如，下述四种模式是可行的-在垂直频率轴方向从水平低频到水平高频(从垂直低频到垂直高频)进行扫描(见图7A)；-在垂直频率轴方向从水平低频到水平高频(从垂直高频到垂直低频)进行扫描(见图7B)；-在垂直频率轴方向从水平低频到水平高频进行扫描同时改变方向(在水平低频从垂直低频到垂直高频，和在水平高频从垂直高频到垂直低频)(见图7C)；-在倾斜方向从水平低频和垂直高频到水平高频和垂直低频(从水平高频和垂直高频到水平低频和垂直低频)进行扫描(见图7D)；以及-在倾斜方向从水平低频和垂直高频到水平高频和垂直低频(从水平低频和垂直低频到水平高频和垂直高频)进行扫描(见图7E)。
另外，图5B对应于图7A。
图8A和8B示出对角线成份扫描顺序的例子。如上所述，由于对角线成份的DCT系数统计学上在水平低频和垂直低频最小，例如，下述两种模式是可行的-在倾斜方向从水平高频和垂直高频到水平低频和垂直低频(从水平低频和垂直高频到水平高频和垂直低频)进行扫描(见图8A)；以及-在倾斜方向从水平高频和垂直高频到水平低频和垂直低频(从水平高频和垂直低频到水平低频和垂直高频)进行扫描(见图8B)。
另外，图5C对应于图8A。
下面将描述扫描范围的限定。
图9A到9D示出按照如图5A所示扫描顺序经过扫描的每个位平面的DCT系数数量(即扫描范围)的例子。这里，图9A示出包括DCT系数之中具有值“1”的最高有效位的位平面1，图9B示出包括比位平面1的有效位低一位的位的位平面2，图9C示出包括比位平面2的有效位低一位的位的位平面3，图9D示出包括比位平面3的有效位低一位的位的位平面4。在图9B到9D中，叉代表有叉的DCT系数不被扫描，即不编码。
为什么扫描的范围能够这样针对每个位平面被限定的原因是具有较高有效位的位平面对解码图像的图像质量施加较大的影响，具有较低有效位的位平面对解码图像的图像质量施加较小的影响，如图4B所示出的，垂直高频成份相对于垂直低频成份的值较小，于是在水平成份的DCT系数中对图像质量施加较小的影响。因此，如图9A到9D所示出的，当编码的位平面具有较低有效位时，DCT系数扫描的长度降低以优选地编码垂直低频成份并且省略编码垂直高频成份，这就可能提高编码效率和编码速率。另外，每个位平面的扫描长度可以预先确定，或者根据位平面的数量适当地改变。
编码的目标不仅限于DCT系数本身。例如，图10是在图4B所示水平成份DCT系数绝对值图中从平行于水平频率轴的方向看到的图示。通过使用图10所示粗线、另一二次函数、平面函数等逼近DCT系数并且对误差进行位平面VLC处理(或者，量化和VLC处理)，当误差小时编码的信息量就减少，于是就能够获得高的编码效率。
前面描述的关于水平成份的编码与垂直成份和对角线成份的DCT系数编码是一样的。也就是说，在如图4C和4D所示出的统计学结果基础上，例如，依据图5C和5D的扫描顺序更大偏斜的DCT系数被分别优选地扫描。此外，当将要编码的位平面具有较低有效位时，对于较小偏斜的DCT系数的扫描应忽略。
具有上文描述的结构的视频编码装置100的操作将在下文中参照如图11所示流程图加以描述。如图11所示流程图将在视频编码装置100的未示出的存储设备(诸如ROM和快闪存储器)中，存储为控制程序，并通过也未示出的CPU执行。
首先，在步骤S1000，进行视频信号输入处理以输入视频信号。更具体地说，视频信号输入部件102从输入视频信号中检测同步信号，提供给分带部件104在逐帧基础上构成视频信号的原始图像，作为高分辨率图像。
然后，在步骤S1100中进行图像的分带处理。更具体地说，分带部件104应用前面所描述的(公式1)到(公式4)对从视频信号输入部件102获得的高分辨率原始图像执行分带，将中间分辨率图像提供给缩小部件106和差分部件116，将水平成份提供给水平层DCT部件124，将垂直成份提供给垂直层DCT部件130，将对角线成份提供给对角线层DCT部件136。
接下来，步骤S1200到S1600，以及步骤S1700，S1800，和S1900的处理被并行执行。
在步骤S1200执行图像的缩小处理。更具体地说，缩小部件106将从分带部件104获得的中间分辨率图像缩小生成低分辨率图像，并将生成的图像提供给低区层编码部件108。
而后，在步骤S1300进行低区层编码处理来编码低分辨率图像。在此实施例中，如上所述，从与已有的方法和设备相兼容的观点出发，众所周知的MPEG-4 ASP被用作低区层编码处理的编码方法。更具体地说，低区层编码部件108对从缩小部件106获得的低分辨率图像进行MPEG编码如DCT、量化、VLC、和预测编码，生成能够单独对其进行解码的低区层流，并将生成的流提供给低区层输出部件110和低区层解码部件112。在步骤S1400执行低区层解码处理来解码低分辨率图像。更具体地说，低区层解码部件112解码从低区层编码部件108获得的低区层流，生成低分辨率解码图像，并将生成的图像提供给放大部件114。
在步骤S1500执行放大处理来放大图像。更具体地说，放大部件114放大从低区层解码部件112得到的低分辨率解码图像以生成放大的低分辨率解码图像，并将放大的图像提供给差分部件116。另外，放大后的低分辨率解码图像的分辨率与中间分辨率图像的分辨率相同，如前所述。
在步骤S1600执行中间区层编码处理来编码中间分辨率图像。在此实施例中，如上所述，从与已有的方法和设备相兼容的观点出发，中间区层编码处理与在MPEG-4 FGS中的增强层编码处理相同。
图12是说明图11中的中间区层编码处理过程的例子的流程图。
首先，在步骤S1610执行差分处理。更具体地说，差分部件116计算在从分带部件104获得的中间分辨率图像和从放大部件114获得的放大后的低分辨率解码图像之间的差分以生成差分图像，并把生成的图像提供给中间区层DCT部件118。
在步骤S1620执行中间区层DCT处理。更具体地说，中间区层DCT部件118对从差分部件116获得的差分图像进行DCT处理以生成中间区成份DCT系数，并将生成的系数提供给中间区层位平面VLC部件120。
在步骤S1630执行中间区层位平面VLC处理。更具体地说，中间区层位平面VLC部件120对从中间区层DCT部件118获得的中间区成份DCT系数进行位平面VLC处理以生成中间区层流，并将生成的流提供给中间区层输出部件122。而后处理流程回到图11的流程图。
同时，在步骤S1700执行水平层编码处理来编码水平成份。
图13是说明图11中的水平层编码处理过程的例子的流程图。
首先，在步骤S1710执行水平层DCT处理。更具体地说，水平层DCT部件124对从分带部件104获得的水平成份进行DCT处理以生成水平成份DCT系数，并将生成的系数提供给水平层位平面VLC部件126。
在步骤S1720执行水平层位平面VLC处理。更具体地说，水平层位平面VLC部件126对从水平层DCT部件124获得的水平成份DCT系数进行位平面VLC处理以生成水平层流，并将生成的流提供给水平层输出部件128。而后，处理流程回到图11中的流程图。
同时，在步骤S1800执行垂直层编码处理以编码垂直成份。
图14是说明图11中的垂直层编码处理过程的例子的流程图。
首先，在步骤S1810执行垂直层DCT处理。更具体地说，垂直层DCT部件130对从分带部件104获得的垂直成份进行DCT处理以生成垂直成份DCT系数，并将生成的系数提供给垂直层位平面VLC部件132。
在步骤S1820执行垂直层位平面VLC处理。更具体地说，垂直层位平面VLC部件132对从垂直层DCT部件130获得的垂直成份DCT系数进行位平面VLC处理以生成垂直层流，并将生成的流提供给垂直层输出部件134。而后，处理流程回到图11中的流程图。
同时，在步骤S1900执行对角线层编码处理以编码对角线成份。
图15是说明图11中的对角线层编码处理过程的例子的流程图。
首先，在步骤S1910执行对角线层DCT处理。更具体地说，对角线层DCT部件136对从分带部件104获得的对角线成份进行DCT处理以生成对角线成份DCT系数，并将生成的系数提供给对角线层位平面VLC部件138。
在步骤S1920执行对角线层位平面VLC处理。更具体地说，对角线层位平面VLC部件138对从对角线层DCT部件136获得的对角线成份DCT系数进行位平面VLC处理以生成对角线层流，并将生成的流提供给对角线层输出部件140。而后，处理流程回到图11中的流程图。
接下来，在步骤S2100，执行流输出处理以输出在步骤S1600到S1900中生成的流。更具体地说，低区层输出部件110将从低区层编码部件108获得的低区层流输出到视频编码装置100的外部。中间区层输出部件122将从中间区层位平面VLC部件120获得的中间区层流输出到视频编码装置100的外部。水平层输出部件128将从水平层位平面VLC部件126获得的水平层流输出到视频编码装置100的外部。垂直层输出部件134将从垂直层位平面VLC部件132获得的垂直层流输出到视频编码装置100的外部。对角线层输出部件140将从对角线层位平面VLC部件138获得的对角线层流输出到视频编码装置100的外部。
接着，在步骤S2200，执行编码结束确定处理以确定是否终止视频编码处理序列。更具体地说，例如，视频信号输入部件102确定从视频编码装置100的外部输入的视频存在或不存在，并确定在输入视频存在时(S2200NO)编码处理继续进行，于是回到步骤S1000，而在没有任何输入视频存在时(S2200YES)确定编码处理终止，于是终止视频编码处理序列。
如前所述，在视频编码中，视频被编码以生成多个视频流。
解码在本实施例中编码的视频流的视频解码方法将在下文中描述。
图16是表示应用依据本发明实施例1的视频解码方法的视频解码装置的结构的方框图。
如图16所示的视频解码装置200解码在图2所示的视频编码装置100中生成的每个频带的层流，生成解码的频带成份，进行频带合并以合并每个频带，并获得高分辨率解码图像。
视频解码装置200具有低区层输入部件202、低区层解码部件204、低分辨率视频信号输出部件206、放大部件208、中间区层输入部件210、中间区层位平面VLD部件212、中间区IDCT部件214、相加部件216、中间分辨率视频信号输出部件218、水平层输入部件220、水平层位平面VLD部件222、水平层IDCT部件224、垂直层输入部件226、垂直层位平面VLD部件228、垂直层IDCT部件230、对角线层输入部件232、对角线层位平面VLD部件234、对角线层IDCT部件236、频带合并部件238和高分辨率图像信号输出部件240。
低区层输入部件202输入低区层流。换而言之，部件202从视频解码装置200的外部接收低区层流，以提供给低区层解码部件204。
低区层解码部件204解码低区层流以生成低分辨率解码图像。在这个实施例中，从与现有的方法和设备相兼容的观点出发，在低区层解码部件204中应用的解码方法是众所周知的MPEG-4 ASP。也就是说，部件204从低区层输入部件202获得低区层流，对获得的低区层流进行预测解码、VLD(可变长度解码)、去量化(dequantization)、IDCT(逆离散余弦变换)等等，由此进行MPEG解码，生成低分辨率解码图像，并将生成的图像提供给低分辨率视频信号输出部件206和放大部件208。低分辨率解码图像的分辨率与中间分辨率图像的分辨率相同。
低分辨率视频信号输出部件206将低分辨率解码图像输出到视频解码装置200的外部。也就是，部件206输出从低区层解码部件204获得的低分辨率解码图像到视频解码装置200的外部。
放大部件208放大低分辨率解码图像。也就是说，部件208放大从低区层解码部件204得到的低分辨率解码图像以生成放大的低分辨率解码图像，并将生成的图像提供给相加部件216。另外，为了保持编码与解码的一致性，要求放大部件208应用与视频编码装置100中放大部件114的算法相同的放大处理算法。放大的低分辨率解码图像的分辨率与中间分辨率图像的分辨率相同。
中间区层输入部件210输入中间区层流。换而言之，部件210从视频解码装置200的外部接收中间区层流以提供给中间区层位平面VLD部件212。
在这个实施例中，从与现有的方法和设备相兼容的观点出发，MPEG-4FGS的增强层解码方法被用作中间区层位平面VLD部件212、中间区IDCT部件214和相加部件216中的解码方法。
中间区层位平面VLD部件212对中间区层流进行位平面VLD处理。也就是，部件212对从中间区层输入部件210获得的中间区层流进行位平面VLD处理以生成中间区成份DCT系数，并将生成的系数提供给中间区层IDCT部件214。
中间区层IDCT部件214对中间区成份DCT系数进行IDCT(逆DCT)处理。也就是说，部件214对从中间区层位平面VLD部件212获得的中间区成份DCT系数进行IDCT处理以生成解码的差分图像，并将该解码图像提供给相加部件216。
相加部件216将图像相加以生成中间分辨率解码图像。也就是说，部件216将从放大部件208得到的放大的低分辨率解码图像和从中间区层IDCT部件214得到的解码差分图像相加生成中间分辨率解码图像，并将生成的图像提供给中间分辨率视频信号输出部件218。中间分辨率解码图像在垂直和水平方向上都具有编码的高分辨率原始图像一半的分辨率，像素数量是原始图像的四分之一。
中间分辨率视频信号输出部件218输出中间分辨率解码图像到视频解码装置200的外部。换而言之，部件218将从相加部件216获得的中间分辨率解码图像输出到视频解码装置200的外部。
水平层输入部件220输入水平层流。也就是说，部件220从视频解码装置200的外部接收水平层流以提供给水平层位平面VLD部件222。
水平层位平面VLD部件222对水平层流进行位平面VLD处理。也就是，部件222将从水平层输入部件220得到的水平层流进行位平面VLD处理以生成水平成份DCT系数，并将生成的系数提供给水平层IDCT部件224。
水平层IDCT部件224对水平成份DCT系数进行IDCT处理。换而言之，部件224将从水平层位平面VLD部件222获得的水平成份DCT系数进行IDCT处理以生成解码水平成份，并将生成的成份提供给频带合并部件238。
垂直层输入部件226输入垂直层流。也就是说，部件226从视频解码装置200的外部接收垂直层流以提供给垂直层位平面VLD部件228。
垂直层位平面VLD部件228对垂直层流进行位平面VLD处理。也就是，部件228将从垂直层输入部件226得到的垂直层流进行位平面VLD处理以生成垂直成份DCT系数，并将生成的系数提供给垂直层IDCT部件230。
垂直层IDCT部件230对垂直成份DCT系数进行IDCT处理。换而言之，部件230将从垂直层位平面VLD部件228获得的垂直成份DCT系数进行IDCT处理以生成解码垂直成份，并将生成的成份提供给频带合并部件238。
对角线层输入部件232输入对角线层流。也就是说，部件232从视频解码装置200的外部接收对角线层流以提供给对角线层位平面VLD部件234。
对角线层位平面VLD部件234对对角线层流进行位平面VLD处理。也就是，部件234对从对角线层输入部件232得到的对角线层流进行位平面VLD处理以生成对角线成份DCT系数，并将生成的系数提供给对角线层IDCT部件236。
对角线层IDCT部件236对对角线成份DCT系数进行IDCT处理。换而言之，部件236对从对角线层位平面VLD部件234获得的对角线成份DCT系数进行IDCT处理以生成解码对角线成份，并将生成的成份提供给频带合并部件238。
频带合并部件238进行频带合并并生成高分辨率解码图像。也就是说，部件238对从相加部件216获得的中间分辨率解码图像、从水平层IDCT部件224获得的解码水平成份、从垂直层IDCT部件230获得的解码的垂直成份以及从对角线层IDCT部件236获得的解码的对角线成份进行频带合并，生成高分辨率解码图像并提供给高分辨率视频信号输出部件240。高分辨率解码图像的分辨率与经过编码的高分辨率原始图像的分辨率相同。
下面的公式5到8表示频带合并方法的例子，合并经过使用前面描述的公式1到4的分带的频带成份p[2x][2y]＝a[x][y]-h[x][y]-v[x][y]-d[x][y]..(公式5)p[2x+1][2y]＝a[x][y]+h[x][y]-v[x][y]+d[x][y]..(公式6)p[2x][2y+1]＝a[x][y]-h[x][y]+v[x][y]+d[x][y]..(公式7)p[2x+1][2y+1]＝a[x][y]+h[x][y]+v[x][y]-d[x][y]..(公式8)其中“p”是高分辨率解码图像的像素值，“a”是中间分辨率解码图像的像素值，“h”是解码后水平成份的像素值，“v”是解码后垂直成份的像素值，“d”是解码后对角线成份的像素值，下标“x”和“y”是坐标(x，y)的像素值。
在这一频带合并方法中，高分辨率解码图像被分成块，每个有四个像素，其中两个像素或者在垂直方向或者在水平方向对齐，并根据与四个像素的坐标对应的中间分辨率解码图像和解码后的水平、垂直和对角线成份进行计算。
在(公式5)中计算的“p”代表左上的像素值，通过“a”减“h”、“v”和“d”的和计算得到。在(公式6)中计算的“p”代表右上的像素值，通过“a”、“h”、“d”的和减“v”计算得到。在(公式7)中计算的“p”代表左下的像素值，通过“a”、“v”、“d”的和减“h”计算得到。在(公式8)中计算的“p”代表右下的像素值，通过“a”、“h”、“v”的和减“d”计算得到。
另外，当在编码的分带中使用不同于(公式1)到(公式4)的公式时，就有必要使用与这些公式相适应的频带合并方法。
高分辨率视频信号输出部件240将高分辨率解码图像输出到视频解码装置200的外部。也就是说，部件240将从频带合并部件238获得的高分辨率解码图像输出到视频解码装置200的外部。
具有上面所描述配置的视频解码装置200的操作将在下面参照图17中所示的流程图予以描述。图17所示出的流程图作为控制程序存储在视频解码装置200的未示出的存储装置中(例如ROM和快闪存储器)，并由也未示出的CPU执行。
首先，在步骤S3000，执行流输入处理以输入流。更具体地说，低区层输入部件202接收来自视频解码装置200的外部的低区层流并提供给低区层解码部件204。中间区层输入部件210接收来自视频解码装置200的外部的中间区层流并提供给中间区层位平面VLD部件212。水平层输入部件220接收来自视频解码装置200的外部的水平层流并提供给水平层位平面VLD部件222。垂直层输入部件226接收来自视频解码装置200的外部的垂直层流并提供给垂直层位平面VLD部件228。对角线层输入部件232输入对角线层流并接收来自视频解码装置200的外部的对角线层流并提供给对角线层位平面VLD部件234。
接下来，步骤S3100到S3300，以及步骤S3400、S3500和S3600的处理被并行执行。
在步骤S3100执行低区层解码处理来解码低区层。更具体地说，低区层解码部件204解码从低区层输入部件202获得的低区层流以生成低分辨率解码图像，并将生成的图像提供给低分辨率视频信号输出部件206和放大部件208。
而后，在步骤S3200执行放大处理，放大低分辨率解码图像。更具体地说，放大部件208放大从低区层解码部件204获得的低分辨率解码图像以生成放大的低分辨率解码图像，并将生成的图像提供给相加部件216。
在步骤S3300执行中间区层解码处理以解码中间区层流。
图18是表示图17中的中间区层解码处理过程的例子的流程图。
首先，在步骤S3310执行中间区层位平面VLD处理。更具体地说，中间区层位平面VLD部件212对从中间区层输入部件210获得的中间区层流进行位平面VLD处理以生成中间区成份DCT系数，并将生成的系数提供给中间区层IDCT部件214。
在步骤S3320执行中间区层IDCT处理。更具体地说，中间区层IDCT部件214对从中间区层位平面VLD部件212获得的中间区成份DCT系数进行IDCT处理以生成解码差分图像，并将解码的图像提供给相加部件216。
在步骤S3330执行相加处理。更具体地说，相加部件216将从放大部件208获得的低分辨率解码图像和从中间区层IDCT部件214获得的解码差分图像相加生成中间分辨率解码图像，并将生成的图像提供给中间分辨率视频信号输出部件218和频带合并部件238。然后，处理流程回到如图17所示出的流程图。
同时，在步骤S3400进行水平层解码处理以解码水平层流。
图19是说明图17中的水平层解码处理过程的例子的流程图。
首先，在步骤S3410执行水平层位平面VLD处理。更具体地说，水平层位平面VLD部件222对从水平层输入部件220获得的水平层流进行位平面VLD处理以生成水平成份DCT系数，并将生成的系数提供给水平层IDCT部件224。
在步骤S3420执行水平层IDCT处理。更具体地说，水平层IDCT部件224对从水平层位平面VLD部件222获得的水平成份DCT系数进行IDCT处理以生成解码水平成份，并将解码成份提供给频带合并部件238。然后，处理流程回到如图17所示出的流程图。
同时，在步骤S3500执行垂直层解码处理来解码垂直层流。
图20是说明图17中的垂直层解码处理过程的例子的流程图。
首先，在步骤S3510执行垂直层位平面VLD处理。更具体地说，垂直层位平面VLD部件228对从垂直层输入部件226获得的垂直层流进行位平面VLD处理以生成垂直成份DCT系数，并将生成的系数提供给垂直层IDCT部件230。
在步骤S3520执行垂直层IDCT处理。更具体地说，垂直层IDCT部件230对从垂直层位平面VLD部件228获得的垂直成份DCT系数进行IDCT处理以生成解码垂直成份，并将解码成份提供给频带合并部件238。然后，处理流程回到如图17所示出的流程图。
同时，在步骤S3600执行对角线层解码处理来解码对角线层流。
图21是说明图17中的对角线层解码处理过程的例子的流程图。
首先，在步骤S3610执行对角线层位平面VLD处理。更具体地说，对角线层位平面VLD部件234对从对角线层输入部件232获得的对角线层流进行位平面VLD处理以生成对角线成份DCT系数，并将生成的系数提供给对角线层IDCT部件236。
在步骤S3620执行对角线层IDCT处理。更具体地说，对角线层IDCT部件236对从对角线层位平面VLD部件234获得的对角线成份DCT系数进行IDCT处理以生成解码对角线成份，并将解码成份提供给频带合并部件238。然后，处理流程回到如图17所示出的流程图。
接下来，在步骤S3800执行频带合并处理。更具体地说，频带合并部件238对从相加部件216获得的中间分辨率解码图像、从水平层IDCT部件224获得的解码水平成份、从垂直层IDCT部件230获得的解码垂直成份、以及从对角线层IDCT部件236获得的解码对角线成份执行频带合并，例如，使用前面所描述的(公式5)到(公式8)，生成高分辨率解码图像并提供给高分辨率视频信号输出部件240。
在步骤S3900中，执行视频输出处理以输出解码图像到视频解码装置200的外部。更具体地说，低分辨率频率信号输出部件206将从低区层解码部件204得到的低分辨率解码图像输出到视频解码装置200的外部。中间分辨率视频信号输出部件218将从相加部件216得到的中间分辨率解码图像输出到视频解码装置200的外部。高分辨率视频信号输出部件240将从频带合并部件238得到的高分辨率解码图像输出到视频解码装置200的外部。
在步骤S4000中，进行解码终止确定处理以确定是否终止视频解码处理序列。更具体地说，例如，低区层输入部件202确定从视频解码装置200的外部输入的低区层流是否存在，并确定当存在输入的低区层流时(S4000NO)解码处理继续，从而回到步骤S3000，而当不存在输入的低区层流时(S4000YES)视频解码处理序列终止。
如前面所描述的，在视频解码中，多个视频流被解码以生成份别具有低、中间和高分辨率的解码图像。
于是，依照本实施例，在具有分辨率可调性的视频编码中，当对具有高分辨率的视频进行分带时统计学预先确定的偏斜出现在每个DCT系数的分布上，由此对生成的水平、垂直和对角线成份进行DCT处理。因此，通过确定一种应用这一偏斜(统计学结果)的扫描方法，可以有效地进行编码。
进而，高分辨率视频被分带，然后生成的中间分辨率图像被进一步分成将被编码的低区层流和中间区层流，于是可以获得具有总共三个级别的分辨率可调性。
此外，由于用于编码每个频带成份的8×8像素块的DCT系数的扫描顺序根据频带成份的偏斜(偏斜的统计学结果)而变化，所以在扫描中“0”位偏斜朝向用于每个频带成份的扫描的后半部分，码长度因此缩短，于是有可能获得高的编码效率。
而且，由于对水平、垂直和对角线成份的DCT系数进行位平面编码处理，因此与分辨率可调性一样，就可以获得图像质量可调性。
另外，例如，在频带的DCT系数的绝对值逼近并且有误差地被编码的情况下，能够进一步减少编码信息并获得高的编码效率。
(实施例2)这一实施例描述一种能够有效改善高分辨率图像质量的视频编码方法，它是通过对多个频带成份进行编码以对单一流进行多路复用实现的。
图22是说明采用依照本发明实施例2的视频编码方法的视频编码装置的结构的方框图。另外，视频编码装置300具有与如图2所示的视频编码装置100相似的基本配置，相同的结构元件被指以同样的参考符号，这里将省略其特定描述。
本实施例的特点是将水平、垂直和对角线层流多路复用成为单一流。因此，替代如图2所示出的视频编码装置100中的水平层位平面VLC部件126、水平层输出部件128、垂直层位平面VLC部件132、垂直层输出部件134、对角线层位平面VLC部件138和对角线层输出部件140，视频编码装置300具有高区层位平面VLC部件302和高区层输出部件304。另外，在这种情况下，水平层DCT部件124a从分带部件104获取水平成份，在8×8像素块基础上对获得的水平成份进行DCT处理以生成水平成份DCT系数，并将生成的系数提供给高区层位平面VLC部件302。进而，垂直层DCT部件130a从分带部件104获取垂直成份，在8×8像素块基础上对获得的垂直成份进行DCT处理以生成垂直成份DCT系数，并将生成的系数提供给高区层位平面VLC部件302。对角线层DCT部件136a从分带部件104获取对角线成份，在8×8像素块基础上对获得的对角线成份进行DCT处理以生成对角线成份DCT系数，并将生成的系数提供给高区层位平面VLC部件302。
高区层位平面VLC部件302对进行了DCT处理之后的水平、垂直和对角线成份进行位平面编码以生成高区层流。换而言之，部件302对于每个位位置顺序地对从水平层DCT部件124a获得的水平成份DCT系数、从垂直层DCT部件130a获得的垂直成份DCT系数和从对角线层DCT部件136a获得的对角线成份DCT系数进行位平面VLC处理，并且生成高区层流以提供给高区层输出部件304。
高区层输出部件304输出高区层流到外部。也就是说，部件304从高区层位平面VLC部件302获得高区层流以将其输出到视频编码装置300的外部。
将在下文中予以描述是本发明的多路复用的特点。
图23A到23C是分别说明水平成份、垂直成份和对角线成份的DCT系数的示意图。每个图中，位平面1指示具有最高有效位的位平面，随着数字下降，位位置减少。无论哪个频带成份，具有更多有效位的位平面对图像质量有更大的影响。例如，垂直成份的位平面1与水平成份的位平面5相比较对图像质量具有更大的影响。
因此，当由于传输速率的限制而使水平、垂直和对角线成份的代码量受到限制时，无论哪一种频带成份，优先地编码具有更多有效位的位平面可以获得高编码效率。
例如，使用图20A到20C所示情形作为例子，进行了DCT处理之后的每个频带成份进行位平面VLC处理并配置在流中的顺序如下水平1；水平2，垂直1；水平3，垂直2；水平4，垂直3，对角线1；和水平5，垂直4，对角线2。
其中，作为例子，例如，“水平1”代表水平成份的位平面1。
另外，为了确定在解码中每个位平面的代码的成份，识别信号被插入每个位平面。进而，当水平、垂直和对角线成份以此顺序存储在流中时，因为人们对水平、垂直和对角线方向的改变具有更为敏感的视觉特点，所以就能够优先地改善在即使是传输速率受限的情况下视觉上也是较为敏感的水平成份的图像质量。
具有如上所述配置的视频编码装置300的操作将在下面参照图24的流程图予以描述。另外，图24所示的流程图被存储在视频编码装置300的未示出的存储装置(如ROM和快闪存储器)中作为控制程序，并由也未示出的CPU执行。
在这个实施例中，如图24所示，步骤S2000被插入如图11所示的流程图中，步骤S1700，S1800和S1900被删除。
步骤S1000到S1600与如图11所示流程图中的一样，其描述予以省略。另外，在此实施例中，当步骤S1100完成时处理流程进入到步骤S1200和步骤S2000。
在步骤S2000执行高区层编码处理来编码高区成份。
图25是说明图24中的高区层编码处理过程的流程图。其中，步骤S2010、S2020、S2030的处理被并行进行。
在步骤S2010中，执行水平层DCT处理以对水平成份进行DCT处理。更具体地说，水平层DCT部件124a对从分带部件104获得的水平成份进行DCT处理以生成水平成份DCT系数，并将生成的系数提供给高区层位平面VLC部件302。
同时，在步骤S2020，执行垂直层DCT处理以对垂直成份进行DCT处理。更具体地说，垂直层DCT部件130a对从分带部件104获得的垂直成份进行DCT处理以生成垂直成份DCT系数，并将生成的系数提供给高区层位平面VLC部件302。
在步骤S2030，执行对角线层DCT处理以对对角线成份进行DCT处理。更具体地说，对角线层DCT部件136a对从分带部件104获得的对角线成份进行DCT处理以生成对角线成份DCT系数，并将生成的系数提供给高区层位平面VLC部件302。
接下来，在步骤S2040，执行高区层位平面VLC处理以对水平、垂直和对角线成份的DCT系数进行位平面VLC处理。更具体地说，高区层位平面VLC部件302对于每个位平面顺序地对从水平层DCT部件124a获得的水平成份DCT系数、从垂直层DCT部件130a获得的垂直成份DCT系数以及从对角线层DCT部件136a获得的对角线成份DCT系数进行位平面VLC处理，并生成高区层流以将其提供给高区层输出部件304。然后，处理流程回到图24中所示的流程图。
步骤S2100和S2200与图11中所示流程图中的步骤相同，相关描述在此省略。在这一实施例中，在完成步骤S1600和S2000后，处理流程进入步骤S2100。进而，在步骤S2100，低区层输出部件110将从低区层编码部件108获得的低区层流输出到视频编码装置300的外部。中间区层输出部件122将从中间区层位平面VLC部件120获得的中间区层流输出到视频编码装置300的外部。高区层输出部件304将从高区层位平面VLC部件302获得的高区层流输出到视频编码装置300的外部。
一种视频解码方法将在下面予以描述以解码在此实施例中编码的视频流。
图26是说明应用依据本发明实施例2的视频解码方法的视频解码装置的构造的方框图。另外，视频解码装置400具有与图16所示出的视频解码装置200相似的基本构成，相同的结构元件指以相同的参考序号以省略其特定描述。
取代如图16所示的视频解码装置200中的水平层输入部件220、水平层位平面VLD部件222、垂直层输入部件226、垂直层位平面VLD部件228、对角线层输入部件232、和对角线层位平面VLD部件234，视频解码装置400具有高区层输入部件402和高区层位平面VLD部件404。
高区层输入部件402输入高区层流。也就是说，部件402接收来自于视频解码装置400的外部的高区层流并提供给高区层位平面VLD部件404。
高区层位平面VLD部件404对高区层流进行位平面VLD处理。换而言之，部件404对从高区层输入部件402获得的高区层流进行位平面VLD处理以生成水平、垂直和对角线成份DCT系数，并将水平成份DCT系数提供给水平层IDCT部件224a，垂直成份DCT系数提供给垂直层IDCT部件230a，对角线成份DCT系数提供给对角线层IDCT部件236a。
水平层IDCT部件224a对从高区层位平面VLD部件404获得的水平成份DCT系数进行IDCT处理以生成解码水平成份，并将生成的成份提供给频带合并部件238。垂直层IDCT部件234a对从高区层位平面VLD部件404获得的垂直成份DCT系数进行IDCT处理以生成解码垂直成份，并将生成的成份提供给频带合并部件238。对角线层IDCT部件236a对从高区层位平面VLD部件404获得的对角线成份DCT系数进行IDCT处理以生成解码对角线成份，并将生成的成份提供给频带合并部件238。
具有上述配置的视频解码装置400的操作将参照图27所示流程图予以描述。图27所示的流程图被作为控制程序存储在视频解码装置400的未示出的存储装置(如ROM和快闪存储器)中，并由也未示出的CPU执行。
在此实施例中，如图27所示，步骤S3700被插入到如图17所示的流程图中，步骤S3400、S3500和S3600被删除。
步骤S3000到S3300与如图17所示的流程图中的那些步骤相同，在此不再对其进行描述。另外，在此实施例中，当步骤S3000结束时，处理流程进入到步骤S3100和步骤S3700。在步骤S3000，低区层输入部件202接收来自于视频解码装置400的外部的低区层流并提供给低区层解码部件204。中间区层输入部件210接收来自于视频解码装置400的外部的中间区层流并将其提供给中间区层位平面VLD部件212。高区层输入部件210接收来自于视频解码装置400的外部的高区层流并将其提供给高区层位平面VLD部件404。
在步骤S3700，进行高区层解码处理以解码高区层。
图28是说明图27中的高区层解码处理过程的例子的流程图。
首先，在步骤S3710，执行高区层位平面VLD处理以对高区层流执行位平面VLD处理。更具体地说，高区层位平面VLD部件404对从高区层输入部件402获得的高区层流进行位平面VLD处理以生成水平、垂直和对角线成份DCT系数，并将获得的水平成份DCT系数提供给水平层IDCT部件224a，将获得的垂直成份DCT系数提供给垂直层IDCT部件230a，以及将获得的对角线成份DCT系数提供给对角线层IDCT部件236a。
接下来，步骤S3720、S3730和S3740的处理被并行执行。
在步骤S3720中，执行水平层IDCT处理，以对水平成份DCT系数进行IDCT处理。更具体地说，水平层IDCT部件224a对从高区层位平面VLD部件404获得的水平成份DCT系数进行IDCT处理以生成解码的水平成份，并将这个解码成份提供给频带合并部件238。
同时，在步骤S3730中，执行垂直层IDCT处理，以对垂直成份DCT系数进行IDCT处理。更具体地说，垂直层IDCT部件230a对从高区层位平面VLD部件404获得的垂直成份DCT系数进行IDCT处理以生成解码的垂直成份，并将这个解码成份提供给频带合并部件238。
在步骤S3740中，执行对角线层IDCT处理，以对对角线成份DCT系数进行IDCT处理。更具体地说，对角线层IDCT部件236a对从高区层位平面VLD部件404获得的对角线成份DCT系数进行IDCT处理以生成解码的对角线成份，并将这个解码成份提供给频带合并部件238。
步骤S3800到S4000与图17中所示的流程图中的步骤相同，在此省略其描述。另外，在此实施例中，当步骤S3300到S3700完成后，处理流程进入到步骤S3800。
于是，依据本实施例，因为每个频带成份的位平面的代码被多路复用并编码，因此能够有效地提高图像质量。
另外，在此实施例中，水平、垂直和对角线层流被多路复用成为单一流，但是本发明不局限于此，还允许中间区、水平、垂直和对角线层流被多路复用成为单一流。
(实施例3)这一实施例描述一种能够根据视频解码装置的显示分辨率和处理能力以及传输速率选择分辨率和图像质量的快速视频解码方法。
图29是说明应用依据本发明实施例3的视频解码方法的视频解码装置的配置的方框图。另外，视频解码装置500具有与如图16所示视频解码装置200相似的基本配置，相同的结构元件被指以相同的参考符号，以省略其特定描述。
这一实施例的特点是根据显示分辨率、处理能力和传输速率接收并编码实施例1的视频编码装置100中生成的流。因此，取代如图16所示的视频解码装置200中的低区层输入部件202、中间区层输入部件210、水平层输入部件220、垂直层输入部件226和对角线层输入部件232，视频解码装置500具有层输入部件502。
层输入部件502选择输入的流和接收的代码量作为其输入。也就是说，部件502从视频解码装置500的外部或者其内部获得视频解码装置500的状态，在获得的状态信息的基础上从低区、中间区、水平、垂直和对角线层流中选择接收的流并选择接收的流的代码量，并接收具有选择的代码量的选择的流。而后，在选择的流中，部件502将低区层流提供给低区层解码部件204，将中间区层流提供给中间区层位平面VLD部件212，将水平层流提供给水平层位平面VLD部件222，将垂直层流提供给垂直层位平面VLD部件228，并将对角线层流提供给对角线层位平面VLD部件234。
其中，视频解码装置500的状态包括视频解码装置500的处理能力、用于解码图像的显示装置的分辨率以及流的传输速率。根据这三个因素，分辨率按如下所述进行选择
(a)仅低区层流被输入；(b)仅低区和中间区层流被输入；(c)仅低区、中间区和水平层流被输入；(d)仅低区、中间区和垂直层流被输入；(e)仅低区、中间区、水平和垂直层流被输入；以及(f)所有低区、中间区、水平、垂直和对角线层流都被输入由于，如果低区层不被解码，则中间分辨率和高分辨率图像就不能解码，所以低区层的输入就成为第一优先的。进而，通过选择每个将接收的被输入的流的量，就能够根据视频解码装置500的处理能力和流的传输速率来选择图像质量。
例如，特别地，考虑了这样一种情况，由于受到流的传输速率的限制，除低区层流外被解码的流仅为总代码量的X％。在这种情况下，作为一种输入的方法，例如，下面四个例子可以考虑。
第一，例如，中间区、水平、垂直和对角线层被输入并解码，每个具有代码总量的X/4％。
第二，例如，中间区、水平、垂直和对角线层的每个的代码的X％被输入并解码。
第三，例如，输入中间区层，在中间区层的全部代码输入之后输入水平层，其后垂直层在水平层的全部代码输入之后被输入，而后在垂直层的全部代码输入之后输入对角线层，由此每个层被顺序地输入并解码。当代码总量达到X％的时候，输入终止。
第四，例如，每一层按照生成的中间区、水平、垂直和对角线层的代码量之间的比来输入和解码。
另外，低区层解码部件204从层输入部件502获得低区层流，应用预测解码、VLD、去量化、IDCT等等对获得的流进行MPEG解码，生成低分辨率解码图像，将生成的图像提供给低分辨率视频信号输出部件206和放大部件208。中间区层位平面VLD部件212对从层输入部件502获得的中间区层流进行位平面VLD处理以生成中间区成份DCT系数，并将生成的系数提供给中间区层IDCT部件214。水平层位平面VLD部件222对从层输入部件502获得的水平层流进行位平面VLD处理以生成水平成份DCT系数，并将生成的系数提供给水平层IDCT部件224。垂直层位平面VLD部件228对从层输入部件502获得的垂直层流进行位平面VLD处理以生成垂直成份DCT系数，并将生成的系数提供给垂直层IDCT部件230。对角线层位平面VLD部件234对从层输入部件502获得的对角线层流进行位平面VLD处理以生成对角线成份DCT系数，并将生成的系数提供给对角线层IDCT部件236。
具有上述配置的视频解码装置500的操作将在下面参照图30所示流程图予以描述。图30所示流程图作为控制程序存储在视频解码装置500的未示出的存储设备(如ROM和快闪存储器)中，并由也未示出的CPU执行。
在此实施例中，如图30所示，步骤S3050被插入到如图17所示流程图中，步骤S3000被删除。
在步骤S3050中执行流输入处理。更确切地说，层输入部件502从视频解码装置500的外部或内部获得视频解码装置500的状态，在获得的状态信息的基础上，从低区、中间区、水平、垂直和对角线层流中选择将被输入的流以及输入流的代码量，并接收具有选择的代码量的选择的流。而后，在选择的流中，部件502提供低区层流给低区层解码部件204，中间区层流给中间区层位平面VLD部件212，水平层流给水平层位平面VLD部件222，垂直层流给垂直层位平面VLD部件228，以及对角线层流给对角线层位平面VLD部件234。
步骤S3100到S4000与图17所示流程图中的那些步骤相同，在此省略其描述。另外，在此实施例中，在步骤S3100，低区层解码部件204从层输入部件502获得低区层流。在步骤S3400中的步骤S3410(见图19)中，水平层位平面VLD部件222从层输入部件502获得水平层流。在步骤S3500中的步骤S3510(见图20)中，垂直层位平面VLD部件228从层输入部件502获得垂直层流。在步骤S3600中的步骤S3610(见图21)中，对角线层位平面VLD部件234从层输入部件502获得对角线层流。
于是，依据本实施例，由于解码的层流被选择，所以能够根据视频解码装置的状态获得分辨率可调性。
进而，由于要解码的层流的代码量被选择，就能够根据视频解码装置的状态获得图像质量的可调性。
此外，在本实施例中，目标是在实施例1的视频编码装置100中生成的流。但是，自然地，通过同样的方法，能够接收在实施例2的视频编码装置300中生成的流以根据显示分辨率、处理能力和传输速率来解码。
(实施例4)这个实施例描述进行量化和VLC处理代替位平面VLC处理的情况。在进行量化和VLC处理的情况下，能够获得与执行位平面VLC处理相同的效果。而且，在进行量化和VLC处理的情况下，代码的长度通过使用EOB(块结束)信号被缩短。另外，编码中也以预先确定的顺序进行扫描。
图31是说明应用依据本发明实施例4的视频编码方法的视频编码装置的结构的方框图。另外，视频解码装置600有与如图2所示的视频编码装置100相似的基本配置，相同的结构元件被指以相同的参考符号，在此省略其特定描述。
本实施例的特点是在编码中间区、水平、垂直和对角线成份时进行量化和VLC处理，而不是位平面VLC处理。因此，替代如图2所示视频编码装置100中的中间区层位平面VLC部件120、水平层位平面VLC部件126、垂直层位平面VLC部件132和对角线层位平面VLC部件138，视频编码装置600具有中间区层量化部件602、中间区层VLC部件604、水平层量化部件606、水平层VLC部件608、垂直层量化部件610、垂直层VLC部件612、对角线层量化部件614和对角线层VLC部件616。
中间区层量化部件602量化DCT处理后的中间区成份。也就是说，部件602量化从中间区层DCT部件118获得的中间区成份DCT系数，并将量化的系数提供给中间区层VLC部件604。
中间区层VLC部件604对量化的中间区成份DCT系数进行VLC处理以生成中间区层流。换而言之，部件604对从中间区层量化部件602获得的量化的中间区成份DCT系数进行VLC处理以生成中间区层流，并将生成的流提供给中间区层输出部件122。
水平层量化部件606量化DCT处理后的水平成份。也就是说，部件606量化从水平层DCT部件124获得的水平成份DCT系数，并将量化的系数提供给水平层VLC部件608。
水平层VLC部件608对量化的水平成份DCT系数进行VLC处理以生成水平层流。换而言之，部件608对从水平层量化部件606获得的量化的水平成份DCT系数进行VLC处理以生成水平层流，并将生成的流提供给水平层输出部件128。
垂直层量化部件610量化DCT处理后的垂直成份。也就是说，部件610量化从垂直层DCT部件130获得的垂直成份DCT系数，并将量化的系数提供给垂直层VLC部件612。
垂直层VLC部件612对量化的垂直成份DCT系数进行VLC处理以生成垂直层流。换而言之，部件612对从垂直层量化部件610获得的量化的垂直成份DCT系数进行VLC处理以生成垂直层流，并将生成的流提供给垂直层输出部件134。
对角线层量化部件614量化DCT处理后的对角线成份。也就是说，部件614量化从对角线层DCT部件136获得的对角线成份DCT系数，并将量化的系数提供给对角线层VLC部件616。
对角线层VLC部件616对量化的对角线成份DCT系数进行VLC处理以生成对角线层流。换而言之，部件616对从对角线层量化部件614获得的量化的对角线成份DCT系数进行VLC处理以生成对角线层流，并将生成的流提供给对角线层输出部件140。
具有上述配置的视频编码装置600的操作将参照图32到35所示的流程图予以说明。图32到35所示的流程图作为控制程序存储在视频编码装置600的未示出的存储设备(如ROM和快闪存储器)中，并由也未示出的CPU执行。
在此实施例中，主要的流程图与图11所示的流程图相同，省略其描述。在此实施例中，如图32所示，步骤S1640和S1650插入到如图12所示的流程图中，而步骤S1630被删除。进而，如图33所示，步骤S1730和S1740被插入到如图13所示的流程图中，步骤S1720被删除。此外，如图34所示，步骤S1830和S1840被插入到如图14所示的流程图中，步骤S1820被删除。此外，如图35所示，步骤S1930和S1940被插入到如图15所示的流程图中，步骤S1920被删除。
在如图32所示的中间区层编码处理中，因为步骤S1610和S1620与如图12所示的流程图中的那些步骤相同，在此不予对其进行描述。
在步骤S1640中，执行中间区层量化处理。更确切地说，中间区层量化部件602量化从中间区层DCT部件118获得的中间区成份DCT系数，并将量化的系数提供给中间区层VLC部件604。
接着，在步骤S1650执行中间区层VLC处理。更确切地说，中间区层VLC部件604对从中间区层量化部件602获得的量化的中间区成份DCT系数进行VLC处理以生成中间区层流，并将生成的流提供给中间区层输出部件122。接下来，处理流程回到图11所示的流程图中。
在如图33所示的水平层编码处理中，因为步骤S1710与如图13所示的流程图中的相同，所以在此不予对其进行描述。
在步骤S1730中，执行水平层量化处理。更确切地说，水平层量化部件606量化从水平层DCT部件124获得的水平成份DCT系数，并将量化的系数提供给水平层VLC部件608。
接着，在步骤S1740执行水平层VLC处理。更确切地说，水平层VLC部件608对从水平层量化部件606获得的量化的水平成份DCT系数进行VLC处理以生成水平层流，并将生成的流提供给水平层输出部件128。接下来，处理流程回到图11所示的流程图中。
在如图34所示的垂直层编码处理中，因为步骤S1810与如图14所示的流程图中相同，所以在此不予对其进行描述。
在步骤S1830中，执行垂直层量化处理。更确切地说，垂直层量化部件610量化从垂直层DCT部件130获得的垂直成份DCT系数，将量化的系数提供给垂直层VLC部件612。
接着，在步骤S1840执行垂直层VLC处理。更确切地说，垂直层VLC部件612对从垂直层量化部件610获得的量化的垂直成份DCT系数进行VLC处理以生成垂直层流，并将生成的流提供给垂直层输出部件134。接下来，处理流程回到图11所示的流程图中。
在如图35所示的对角线层编码处理中，因为步骤S1910与如图15所示的流程图中的步骤相同，所以在此不予对其进行描述。
在步骤S1930中，执行对角线层量化处理。更确切地说，对角线层量化部件614量化从对角线层DCT部件136获得的对角线成份DCT系数，并将量化的系数提供给对角线层VLC部件616。
接着，在步骤S1940执行对角线层VLC处理。更确切地说，对角线层VLC部件616对从对角线层量化部件614获得的量化的对角线成份DCT系数进行VLC处理以生成对角线层流，并将生成的流提供给对角线层输出部件140。接下来，处理流程回到图11所示的流程图中。
下面将描述解码在本实施例中编码的视频流的视频解码方法。
图36是说明应用依据本发明实施例4的视频解码方法的视频解码装置的结构的方框图。另外，视频解码装置700具有与图16所示的视频解码装置200相似的基本配置，相同的结构单元被指以相同的参考符号，这里省略其具体描述。
取代图16所示的视频解码装置200中的中间区层位平面VLD部件212、水平层位平面VLD部件222、垂直层位平面VLD部件228和对角线层位平面VLD部件234，视频解码装置700具有中间区层VLD部件702、中间区层去量化部件704、水平层VLD部件706、水平层去量化部件708、垂直层VLD部件710、垂直层去量化部件712、对角线层VLD部件714和对角线层去量化部件716。
中间区层VLD部件702对中间区层流进行VLD处理。换而言之，部件702对从中间区层输入部件210获得的中间区层流进行VLD处理以生成量化的中间区成份DCT系数，并将生成的系数提供给中间区层去量化部件704。
中间区层去量化部件704将中间区成份的量化DCT系数去量化。也就是说，部件704去量化从中间区层VLD部件702获得的量化中间区成份DCT系数，并生成非量化原始中间区成份DCT系数并将其提供给中间区层IDCT部件214。
水平层VLD部件706对水平层流进行VLD处理。换而言之，部件706对从水平层输入部件220获得的水平层流进行VLD处理以生成量化的水平成份DCT系数，并将生成的系数提供给水平层去量化部件708。
水平层去量化部件708将水平成份的量化DCT系数去量化。也就是说，部件708去量化从水平层VLD部件706获得的量化水平成份DCT系数，并生成非量化原始水平成份DCT系数并将其提供给水平层IDCT部件224。
垂直层VLD部件710对垂直层流进行VLD处理。换而言之，部件710对从垂直层输入部件226获得的垂直层流进行VLD处理以生成量化的垂直成份DCT系数，并将生成的系数提供给垂直层去量化部件712。
垂直层去量化部件712将垂直成份的量化DCT系数去量化。也就是说，部件712去量化从垂直层VLD部件710获得的量化垂直成份DCT系数，并生成非量化原始垂直成份DCT系数并将其提供给垂直层IDCT部件230。
对角线层VLD部件714对对角线层流进行VLD处理。换而言之，部件714对从对角线层输入部件232获得的对角线层流进行VLD处理以生成量化的对角线成份DCT系数，并将生成的系数提供给对角线层去量化部件716。
对角线层去量化部件716将对角线成份的量化DCT系数去量化。也就是说，部件716去量化从对角线层VLD部件714获得的量化对角线成份DCT系数，并生成非量化原始对角线成份DCT系数并将其提供给对角线层IDCT部件236。
具有上述配置的视频解码装置700的操作将参照图37到40所示的流程图予以说明。图37到40所示的流程图作为控制程序存储在视频解码装置700的未示出的存储设备(如ROM和快闪存储器)中，并由也未示出的CPU执行。
在此实施例中，主流程图与图17所示流程图一样，其说明予以省略。在此实施例中，如图37所示，步骤S3312和S3314插入图18所示的流程图中，步骤S3310被删除。进而，如图38所示，步骤S3412和S3414插入图19所示的流程图中，步骤S3410被删除。此外，如图39所示，步骤S3512和S3514插入图20所示的流程图中，步骤S3510被删除。再进一步，如图40所示，步骤S3612和S3614插入图21的所示流程图中，步骤S3610被删除。
在如图37所示的中间区层解码处理中，在步骤S3312执行中间区层VLD处理。更具体地说，中间区层VLD部件702对从中间区层输入部件210获得的中间区层流进行VLD处理以生成量化的中间区成份DCT系数，并将生成的系数提供给中间区层去量化部件704。
然后，在步骤S3314进行中间区层去量化处理。更确切地说，中间区层去量化部件704去量化从中间区层VLD部件702获得的量化中间区成份DCT系数，生成非量化原始中间区成份DCT系数并提供给中间区层IDCT部件214。
步骤S3320和S3330与图18所示流程图中的那些步骤相同，其说明在此省略。
在如图38所示的水平层解码处理中，在步骤S3412执行水平层VLD处理。更具体地说，水平层VLD部件706对从水平层输入部件220获得的水平层流进行VLD处理以生成量化的水平成份DCT系数，并将生成的系数提供给水平层去量化部件708。
然后，在步骤S3414执行水平层去量化处理。更确切地说，水平层去量化部件708去量化从水平层VLD部件706获得的量化水平成份DCT系数，生成非量化原始水平成份DCT系数并提供给水平层IDCT部件224。
步骤S3420与图19所示流程图中的步骤相同，其说明在此省略。
在如图39所示的垂直层解码处理中，在步骤S3512执行垂直层VLD处理。更具体地说，垂直层VLD部件710对从垂直层输入部件226获得的垂直层流进行VLD处理以生成量化的垂直成份DCT系数，并将生成的系数提供给垂直层去量化部件712。
然后，在步骤S3514执行垂直层去量化处理。更确切地说，垂直层去量化部件710去量化从垂直层VLD部件710获得的量化垂直成份DCT系数，生成非量化原始垂直成份DCT系数并提供给垂直层IDCT部件230。
步骤S3520与图20所示流程图中的步骤相同，其说明在此省略。
在如图40所示的对角线层解码处理中，在步骤S3612执行对角线层VLD处理。更具体地说，对角线层VLD部件714对从对角线层输入部件232获得的对角线层流进行VLD处理以生成量化的垂直成份DCT系数，并将生成的系数提供给对角线层去量化部件716。
然后，在步骤S3614执行对角线层去量化处理。更确切地说，对角线层去量化部件716去量化从对角线层VLD部件714获得的量化对角线成份DCT系数，生成非量化原始对角线成份DCT系数并提供给对角线层IDCT部件236。
步骤S3620与图21所示流程图中的步骤相同，其说明在此省略。
依据本实施例，通过这种方法，进行量化和VLC处理，以取代位平面VLC。于是，通过在进行量化之后应用依据与每个频带成份相关联的DCT处理的统计学结果的扫描方法进行VLC处理，为“0”的位在扫描的后半部分出现较频繁，例如，EOB信号可于先前插入，因此代码的长度降低，就可能与效率较高的量化处理相结合获得更高的编码效率。
如上所述，依据本发明，能够在提高编码效率的同时实现分辨率可调性。即，(1)本发明的视频编码方法具有分带步骤，将具有第一分辨率的第一分辨率图像分成具有比第一分辨率低的第二分辨率的第二分辨率图像成份和至少一个子带成份，子带成份包括水平成份、垂直成份和对角线成份；DCT步骤，对划分的子带成份进行DCT处理；以及编码步骤，应用依据与每个子带成份相关联的DCT处理的统计学结果的扫描方法，编码进行了DCT处理的子带成份。
根据这种方法，DCT处理针对通过对第一分辨率图像进行分带处理后获得的子带成份执行，对DCT处理后的子带成份使用对应于与每个子带成份关联的DCT处理的统计学结果的扫描方法进行编码。因此就可能生成能够在编码后选择分辨率的视频流，并通过合并子带成份选择分辨率。换而言之，能够获得分辨率可调性。
进而，在对水平、垂直和对角线成份进行DCT处理时，统计学上预先确定的偏斜出现在每个子带成份的DCT系数的分布上。因此，通过应用这些偏斜(统计学结果)确定扫描方法(具体地，例如，扫描的顺序和范围)，就可以有效地进行编码。换而言之，就能够实现分辨率的可调性同时改善编码效率。
(2)本发明的视频编码方法还有一些步骤如在上面提到的方法中，缩小第二分辨率图像以生成具有比第二分辨率图像的分辨率低的第三分辨率的第三分辨率图像，并生成第二分辨率图像和生成的第三分辨率图像的放大图像之间的差分图像，其中在DCT步骤中，对划分的各个子带成份和生成的差分图像进行DCT处理，在编码步骤中，对经过DCT处理的各子带成份和差分图像进行编码。
按照此方法，因为不仅子带成份而且差分图像均经过DCT处理和编码，所以对应于增加的流数，能够选择的分辨率数量也增加了，于是就能够获得更细粒度的分辨率可调性。
(3)在本发明的视频编码方法中，在前面提到的方法的编码步骤中，当经过DCT处理的子带成份是水平成份时，水平成份的DCT系数被从垂直低频成份到垂直高频成份进行扫描，因此垂直低频成份优先被编码。
根据这一方法，注意到水平成份DCT系数的偏斜，水平成份的DCT系数被从垂直低频成份到垂直高频成份进行扫描，于是在扫描中为“0”的位更频繁地出现在扫描过程的后半段。因此，例如，在位平面VLC情况下，EOP(End of Plane(平面结束))信号可以在先前插入，借此缩短了代码的长度并能够获得高的编码效率。
(4)在本发明的视频编码方法中，在前面提到的方法的编码步骤中，当经过DCT处理的子带成份是垂直成份时，垂直成份的DCT系数被从水平低频成份到水平高频成份进行扫描，因此水平低频成份优先被编码。
根据这一方法，注意到垂直成份DCT系数的偏斜，垂直成份的DCT系数被从水平低频成份到水平高频成份进行扫描，于是在扫描中为“0”的位更频繁地出现在扫描过程的后半段。因此，例如，在位平面VLC情况下，EOP(End of Plane)信号可以在先前插入，借此缩短了代码的长度并能够获得高的编码效率。
(5)在本发明的视频编码方法中，在前面提到的方法的编码步骤中，当经过DCT处理的子带成份是对角线成份时，对角线成份的DCT系数在倾斜方向从水平高频和垂直高频成份到水平低频和垂直低频成份进行扫描，因此水平高频和垂直高频成份优先被编码。
根据这一方法，注意到对角线成份DCT系数的偏斜，对角线成份的DCT系数在倾斜方向从水平高频和垂直高频成份到水平低频和垂直低频成份进行扫描，于是在扫描中为“0”的位更频繁地出现在扫描过程的后半段。因此，例如，EOP(End of Plane)信号可以在先前插入，借此缩短了代码的长度并能够获得高的编码效率。
(6)在本发明的视频编码方法中，在前面提到的方法的编码步骤中，对经过DCT处理的子带成份进行位平面VLC处理。
根据本方法，因为对经过DCT处理的子带成份进行位平面VLC处理，所以就能够在逐帧的基础上控制传输的代码量，即允许选择图像质量，能够同时获得分辨率的可调性和图像质量的可调性。
(7)在本发明的视频编码方法中，在前面提到的方法的编码步骤中，在对DCT处理后的子带成份进行位平面VLC处理时扫描的长度可以根据位平面改变。
根据这一方法，扫描的长度可以根据位平面改变，换而言之，DCT系数的量是变化的，以对每个位平面进行可变长度编码，以便编码对解码图像的图像质量施加小的影响的小数目的DCT系数。例如，由于对具有较低有效位的位平面的扫描被缩减，那么忽略对于作为不重要的DCT成份的较低有效位的编码，所述DCT系数对图像质量影响较小，因此可以获得高的编码效率，同时缩短了可变长度编码的长度，结果得到快速处理(改善了编码速率)。
(8)在本发明的视频编码方法中，在前面提到的方法的编码步骤中，DCT处理后的各子带成份的DCT系数使用函数逼近来编码误差。
根据这一方法，注意到每个子带成份的DCT系数的分布的偏斜，各子带成份的DCT系数使用函数逼近来编码误差。于是能够减少编码的信息量，并改善编码效率。
(9)在本发明的视频编码方法中，在前面提到的方法的编码步骤中，在对经过了DCT处理的子带成份进行编码的过程中，每个DCT处理后的子带成份被多路复用成为每个位平面的单一流。
根据这种方法，由于每个子带成份被多路复用成为每个位平面的单一流，因此就能够有效地提高图像质量。
(10)在本发明的视频编码方法中，在前面提到的方法的编码步骤中，当每个DCT处理后的子带成份被多路复用成为每个位平面的单一流时，多路复用优选地按照水平成份、垂直成份和对角线成份的顺序进行。
根据这种方法，按照水平成份、垂直成份和对角线成份的顺序，也就是，按照人类视觉敏感度的降序(按照目标物体图像质量影响的降序)，子带成份优先经过多路复用，由此就能够有效地改善图像质量。
(11)在本发明的视频编码方法中，在前面提到的方法的编码步骤中，对于DCT处理后的子带成份进行量化处理和VLC处理。
根据这种方法，由于对DCT处理后的子带成份进行量化处理和VLC处理，因此通过在量化处理之后使用对应于与每个子带成份关联的DCT处理的统计学结果的扫描方法进行VLC处理，在扫描中为“0”的位更频繁地出现在扫描的后半段，并能够在先前插入EOB(End of Block(块结束))信号，于是代码长度缩短，并能够获得更高的编码效率并且具有高效的量化处理。
(12)本发明的视频解码方法具有解码步骤，解码在上面提到的项目(1)中描述的视频编码方法中生成的每个子带成份的流；逆DCT步骤，对每个解码子带成份进行逆DCT处理；和合并步骤，合并每个经过了逆DCT处理的子带成份。
根据这一方法，由于项目(1)中描述的视频编码方法中生成的每个子带成份的流被解码，而后经过逆DCT处理，并合并，所以就能够与项目(1)中描述的视频编码方法相结合获得分辨率可调性。
(13)本发明的视频解码方法还具有，在前面提到的方法中，选择步骤，在预先确定的信息基础上选择要解码的流，在解码步骤中，这个选择的流被解码。
根据这一方法，由于解码的流在预先确定的信息基础上选择，所以就能够选择分辨率，例如，与视频解码装置的状态(处理能力、显示装置的分辨率、传输速率等等)相对应。
(14)本发明的视频解码方法还具有，在前面提到的方法中，选择步骤在预先确定的信息基础上选择将解码的流的代码量，在解码步骤中，具有选择的代码量的流被解码。
根据这一方法，由于要解码的流的代码量在预先确定的信息基础上选择，所以就能够在某一分辨率下选择图像质量，例如，与视频解码装置的状态(处理能力、显示装置的分辨率、传输速率等等)相对应。
根据本发明的视频编码方法能够选择分辨率和图像质量，于是，用作为一种视频流分布编码方法能够根据传输速率、终端处理能力和/或因特网的显示区域等等提供分辨率和代码量。
进而，由于能够选择分辨率和图像质量来很好地改变传输量，所以这一视频编码方法能够被用作为响应于使用无线信号的通信频带中的变化而灵活地传输视频的编码方法。
还有，由于允许快速编码，例如，这一视频编码方法可以用作为实时广播分布编码方法，用于具有不同显示分辨率的终端，诸如大屏幕电视和TV广播的便携终端。
此外，因为即使在编码之后也能够改变分辨率和/或图像质量以相应地降低存储容量，例如，这一视频编码方法能够用作为一种用于存储安全监视器摄像机的视频和用于存储娱乐视频发行物的编码方法。
本发明并不局限于上述实施例，在不脱离本发明的范围的情况下，可以进行不同的变更和修改。
本申请基于2003年10月3日提出的日本专利申请第2003-346272号，其全部内容在这里通过参考而被明确并入本文。
权利要求
1.一种视频编码方法，包括分带步骤，将具有第一分辨率的第一分辨率图像分成具有比第一分辨率低的第二分辨率的第二分辨率图像成份、和至少一个子带成份，所述子带成份包括水平成份、垂直成份和对角线成份；DCT步骤，对划分的子带成份进行DCT(离散余弦变换)处理；以及编码步骤，应用对应于与每个子带成份相关联的DCT处理的统计学结果的扫描方法，编码经过了DCT处理的子带成份。
2.根据权利要求1所述的视频编码方法，还包括以下步骤缩小第二分辨率图像以生成第三分辨率图像，其具有比第二分辨率图像的第二分辨率低的第三分辨率；以及生成第二分辨率图像和生成的第三分辨率图像的放大图像之间的差分图像，其中在DCT步骤中，对划分的子带成份和生成的差分图像进行DCT处理，在编码步骤中，对均经过了DCT处理的子带成份和差分图像进行编码。
3.根据权利要求1所述的视频编码方法，其中在编码步骤中，当经过DCT处理的子带成份是水平成份时，水平成份的DCT系数被从垂直低频成份到垂直高频成份进行扫描，因此垂直低频成份优先被编码。
4.根据权利要求1所述的视频编码方法，其中在编码步骤中，当经过了DCT处理的子带成份是垂直成份时，垂直成份的DCT系数被从水平低频成份到水平高频成份进行扫描，因此水平低频成份优先被编码。
5.根据权利要求1所述的视频编码方法，其中在编码步骤中，当经过了DCT处理的子带成份是对角线成份时，对角线成份的DCT系数在倾斜方向从水平高频和垂直高频成份到水平低频和垂直低频成份被进行扫描，因此水平高频和垂直高频成份优先被编码。
6.根据权利要求1所述的视频编码方法，其中在编码步骤中，对经过了DCT处理的子带成份执行位平面VLC(可变长度编码)处理。
7.根据权利要求6所述的视频编码方法，其中在编码步骤中，在对经过了DCT处理的子带成份进行位平面VLC处理时，相应于位平面改变扫描的长度。
8.根据权利要求1所述的视频编码方法，其中在编码步骤中，经过了DCT处理的子带成份的DCT系数使用函数逼近来编码误差。
9.根据权利要求1所述的视频编码方法，其中在编码步骤中，在对经过了DCT处理的子带成份进行编码的过程中，经过了DCT处理的每个子带成份被多路复用成为每个位平面的单一流。
10.根据权利要求9所述的视频编码方法，其中在编码步骤中，当每个DCT处理后的子带成份被多路复用成为每个位平面的单一流时，优选地按照水平成份、垂直成份和对角线成份的顺序进行多路复用。
11.根据权利要求1所述的视频编码方法，其中在编码步骤中，对经过了DCT处理的子带成份执行量化处理和VLC处理。
12.一种视频解码方法，包括解码步骤，解码根据权利要求1所述的视频编码方法生成的各个子带成份的流；逆DCT步骤，对每个解码的子带成份进行逆DCT处理；以及合并步骤，对逆DCT处理之后的各个子带成份进行合并。
13.根据权利要求12所述的视频解码方法，还包含选择步骤，根据预先确定的信息选择要解码的流，其中在解码步骤中，该选择的流被解码。
14.根据权利要求12所述的视频解码方法，还包含选择步骤，根据预先确定的信息选择要解码的流的代码量，其中在解码步骤中，具有选择的代码量的流被解码。
15.一种视频编码装置，包括输入部件，输入具有第一分辨率的第一分辨率图像；分带部件，将输入的第一分辨率图像分成具有比第一分辨率低的第二分辨率的第二分辨率图像成份、和各个子带成份，所述子带成份包括水平成份、垂直成份和对角线成份；DCT部件，对划分的每个子带成份进行DCT处理；以及位平面VLC部件，使用对应于与每个子带成份关联的DCT处理的统计学结果的扫描方法，按照各自不同的扫描顺序，对每个DCT处理后的子带成份进行位平面VLC处理。
16.一种视频解码装置，包括输入部件，输入根据权利要求15所述的视频编码装置中生成的各个子带成份的流；位平面VLD部件，对每个输入的子带成份的流进行位平面VLD(可变长度解码)处理；逆DCT部件，对经过位平面VLD处理的每个子带成份进行逆DCT处理；以及合并部件，合并每个经过逆DCT处理的子带成份。
17.一种视频编码装置，包括输入部件，输入具有第一分辨率的第一分辨率图像；分带部件，将输入的第一分辨率图像分成具有比第一分辨率低的第二分辨率的第二分辨率图像成份、和各个子带成份，所述子带成份包括水平成份、垂直成份和对角线成份；DCT部件，对划分的每个子带成份进行DCT处理；量化部件，量化每个经过DCT处理的子带成份；以及VLC部件，使用对应于与每个子带成份关联的DCT处理的统计学结果的扫描方法，对每个量化的子带成份进行VLC处理。
18.一种视频解码装置，包括输入部件，输入根据权利要求17所述的视频编码装置中生成的各个子带成份的流；VLD部件，对每个输入的子带成份的流进行VLD处理；去量化部件，对经过VLD处理的每个子带成份进行去量化；逆DCT部件，对去量化的每个子带成份进行逆DCT处理；以及合并部件，合并每个经过逆DCT处理的子带成份。
全文摘要
一种能够实现分辨率可调性同时提高编码效率的视频编码方法。在这种方法中，分带部件104对高分辨率原始图像进行分带以生成中间分辨率图像、水平成分、垂直成分和对角线成分。水平成分在水平层DCT部件124中接受DCT处理，而后在水平层位平面VLC部件126中经过位平面VLC处理。垂直成分在垂直层DCT部件130中接受DCT处理，而后在垂直层位平面VLC部件132中经过位平面VLC处理。对角线成分在对角线层DCT部件136中接受DCT处理，而后在对角线层位平面VLC部件138中经过位平面VLC处理。在扫描中，考虑每个频带成分的DCT系数分布的偏斜而确定扫描顺序。
文档编号H04N7/24GK1674675SQ20041010376
公开日2005年9月28日 申请日期2004年10月3日 优先权日2003年10月3日
发明者市村大治郎, 本田义雅 申请人:松下电器产业株式会社