信息处理设备和方法

专利名称：信息处理设备和方法
技术领域：
本发明涉及一种信息处理设备和方法，尤其涉及一种能够以高质量和低延迟传送图像数据的信息处理设备和方法。
背景技术：
迄今为止，在双向视频会议系统这类使用视频和音频的通信系统，以及在具有广播电台中的非压缩环境或类似环境的混合系统中，人们要求以最小的延迟传送视频和音频数据。特别地，近年来，随着视频和音频的改进，数据量也在不断增加，相应地，在传输时执行的图像压缩处理也变得非常重要。目前，人们要求抑制由于图像压缩处理所导致的延迟时间增加，并且要求以更低的延迟执行数据传输。
例如，在MPEG(运动图像专家组)和H.26x压缩系统中，压缩
率是基于运动预测来增大的。当执行运动预测时，该算法将会非常复杂，并且其涉及的处理时间的增长与帧尺寸的平方成比例。原理上，少量帧的编码延迟是会发生的。在执行双向实时通信时，延迟时间几乎变成250ms的可允许延迟时间，并且这将是一个不可忽略的长度。此外，JPEG (联合图像专家组)2000所代表的帧内编解码器同样也不使用帧间差异信息。因此，如上所述的延迟是不会发生的。但是，由于压缩处理是以逐个帧为基础来进行的，因此，编解码器在开始编码之前必须等待至少一个帧。由于在很多情况下，当前的一般系统每秒都使用的是30个帧，因此，在开始编码之前必定存在大约16ms的等待时间。
另外，随着视频和音频质量的改进，人们还要求改进图像压缩质量。JPEG2000采用了一种将以位平面为单位的位建模和算术编码的高效熵编码与小波变换相结合的压缩编码方案。例如，在专利文献1中描述了一种进一步改善编码效率的小波变换方法。
专利文献1:日本未审专利申请公开9-130800
发明内容技术问题
然而，使用常规方法是很难以高质量和低延迟传送图像数据的。有鉴于这常见状况，我们提出了本发明，其中本发明可以使用一
种能够恢复原始数据的可逆方法来编码图像数据，并且可以以低延迟
传送图像数据。
技术解决方案
本发明的一个方面是一种信息处理设备，包括用于以行块为单位执行分析滤波处理的分析滤波装置，其中所述分析滤波处理使用一种可以通过执行反方向变换来从已变换的系数数据中恢复原始图像数据的可逆方法，以频带为单位来分解图像数据，并且以频带为单位产生包含系数数据的子波段，其中所述行块包含相当于多行的图像数据，所述相当于多行的图像数据是产生相当于至少最低频率分量的子波段的一行的系数数据所需要的；以及编码装置，用于以从多个行块中产生的系数数据项组为单位，使用一种可以通过执行解码处理而从编码数据中恢复原始系数数据的可逆方法来对分析滤波装置所执行的分析滤波处理产生的系数数据进行编码。
该信息处理设备还可以包括生成装置，用于以预定数据单元为单位，为通过编码装置执行编码所获取的编码数据产生与编码数据有关的信息，其中该信息至少包括表明已经使用所述可逆方法通过编码处理产生了编码数据的信息。
该生成装置可以产生与分析滤波装置执行的分析滤波处理类型有关的信息，以此作为与编码数据有关的信息。
该生成装置可以生成与产生系数数据项组所需要的行块数量有关的信息，以此作为与编码数据有关的信息，其中所述系数数据项组充当由编码装置执行的编码处理的处理单元。该信息处理设备还可以包括重新排序装置，用于用于依照在执行组合滤波处理过程中使用系数数据的顺序，重新排序由分析滤波装置执行的分析滤波处理产生的系数数据，其中所述组合滤波处理以行块为单位组合每一个子波段的系数数据而产生原始图像数据。该编码装置可以依照重新排序装置重新排定的顺序并且以从多个行块生成的系数数据项組为单位来编码系数数据。
该信息处理设备还可以包括生成装置，用于以预定数据单元为单位，为通过编码装置执行的编码处理所获得的编码数据产生与编码数据有关的信息，其中与编码数据有关的信息至少包括表明已经使用所述可逆方法的编码处理产生了编码数据的信息和与重新排序装置执行的系数数据的重新排序处理有关的信息。
该分析滤波装置还可以以行块为单位执行分析滤波处理，其中所述分析滤波处理使用不能确保通过执行反方向变换来恢复原始图像数据的不可逆方法以频带为单位来分解图像数据，并且以频带为单位产生包含系数数据的子波段，其中所述行块包含相当于多行的图像数据，所述相当于多行的图像数据是产生相当于至少最低频率分量的子波段的 一行的系数数据所需要的。该信息处理设备还可以包括控制装置，用于对是否由分析滤波装置使用可逆方法或是不可逆方法来执行分析滤波处理进行控制。
本发明的一个方面是一种信息处理方法，其中分析滤波装置以行块为单位执行分析滤波处理，该分析滤波处理通过执行反方向变换并使用可以从已变换的系数数据中恢复原始图像数据的可逆方法以频带为单位来分解图像数据，并且以频带为单位产生包含系数数据的子波段，其中所述行块包含相当于多行的图像数据，所述相当于多行的图像数据是产生相当于至少最低频率分量的子波段的 一行的系数数据所需要的；以及编码装置以从多个行块中产生的系数数据项组为单位，
方法:对通过执行分;滤波处理产:的系数数据i^编码。 。、
本发明的另一个方面是一种信息处理设备，包括分析装置，用于对与作为编码图像数据的编码数据有关的信息进行分析，以及规定是否已通过使用可逆方法执行编码处理产生了编码数据，其中所述可
逆方法可以通过执行解码处理恢复编码之前的数据；解码装置，用于在确定由分析装置执行的分析的结果是已通过使用可逆方法执行编码处理产生了编码数据时，通过使用与编码处理相对应的方法来对编码
数据执行解码处理；以及组合滤波装置，用于组合通过使用解码装置
执行解码处理而从编码数据中产生的系数数据，以及产生图像数据。本发明的另一个方面是一种信息处理方法，其中分析装置对与作为编码图像数据的编码数据有关的信息进行分析，以及规定是否已通过使用可逆方法执行编码处理产生了编码数据，其中所述可逆方法可
通过执行解码处理恢复编码之前的数据；其中在确定分析的结果是已通过使用可逆方法执行编码处理产生了编码数据时，解码装置使用与编码处理相对应的方法来对编码数据执行解码处理；以及其中组合滤波装置组合通过执行解码处理而从编码数据中产生的系数数据，并且产生图像数据。
在本发明的一个方面中，以行块为单位执行分析滤波处理，所述分析滤波处理使用 一种可以通过执行反方向变换来从已变换的系数数据中恢复原始图像数据的可逆方法，以频带为单位来分解图像数据，并且以频带为单位产生包含系数数据的子波段，其中所述行块包含相当于多行的图像数据，所述相当于多行的图像数据是产生至少最低频率分量的子波段的 一行的系数数据所需要的；以及以从多个行块中产生的系数数据项组为单位，使用可以通过执行解码处理而从编码数据
数数据进行编码。
在本发明的另一个方面中，对与作为编码图像数据的编码数据有关的信息进行分析，以及规定是否已通过使用可逆方法执行编码处理产生了编码数据，其中所述可逆方法可以通过执行解码处理恢复编码之前的数据；在确定分析的结果是已通过使用可逆方法执行编码处理产生了编码数据时，通过使用与编码处理相对应的方法来对编码数据执行解码处理；以及组合通过执行解码处理而从编码数据中产生的系有利效果
根据本发明，可以传送图像数据。特别地，可以以高质量和低延迟传送图像数据。


图l是显示了编码设备例示结构的框图。图2是显示了具有整数精度的输入数据实例的示意图。图3是示意性显示了用于图像数据小波变换的算术运算的例示结构的图示。
图4是用于描述小波变换概要的略图。
图5包含的是用于描述小波变换概要的略图。
图6是用于描述整数型5x3分析滤波器的算术运算的图示。
图7是显示使用5x3滤波器的提升(lifting)方式实例的略图。
图8包含的是显示小波变换和逆小波变换流程概要的略图。
图9是显示解码设备例示结构的框图。
图10是示意性显示了用于编码数据逆小波变换的算术运算的例示结构的图示。
图ll是用于描述整数型5x3组合滤波器的算术运算的图示。
图12是用于描述编码处理的例示流程的流程图。
图13是用于描述解码处理的例示流程的流程图。
图14是显示了编码设备的另一个例示结构的框图。
图15是显示了图14中的分析滤波器处理单元的详细例示结构的框图。
图16是显示具有定点型精度的输入数据实例的示意图。
图17是用于描述定点型5x3分析滤波器的算术运算的图示。
图18是显示解码设备的另一个例示结构的框图。
图19是显示组合滤波器处理单元的详细例示结构的框图。图20是用于描述定点型5x3组合滤波器的算术运算的图示。图21是用于描述编码处理的另一个例示流程的流程图。图22是用于描述解码处理的另一个例示流程的流程图。图23是显示可供编码单元和解码单元的单个部件执行并行操作的方式实例概要的略图。
图24是显示编码设备的另一个例示结构的框图。
图25是显示图片报头的例示结构的示意图。
图26是用于描述编码处理的另一个例示流程的流程图。
图27是用于描述编码处理的另一个例示流程的流程图。
图28是用于描述图片报头生成处理的例示流程的流程图。
图29是显示编码设备的另一个例示结构的框图。
图30是显示图29中的分析滤波器处理单元的详细例示结构的框图。
图31是用于描述编码处理的另一个例示流程的流程图。图32是用于描述设置处理的例示流程的流程图。图33是显示图29中的分析滤波器处理单元的另一个详细例示结构的框图。
图34是显示解码设备的另一个例示结构的框图。
图35是显示图34中的组合滤波器处理单元的详细例示结构的框
图36是用于描述解码处理的另一个例示流程的流程图。图37是用于描述图片^!头分析处理的例示流程的流程图。图38是用于描述解码处理的另一个例示流程的流程图。图39是显示图34中的组合滤波器处理单元的另一个详细例示结构的框图。
图40是显示用于计算组合端低频分量的系数或像素值的例示硬件结构的图示。
图41是显示用于计算组合端高频分量的系数或像素值的例示硬件结构的图示(就等级O而言)。图42是显示应用本发明的信息处理系统的例示结构的图示。附图标记说明
100编码设备，101小波变换单元，102中间计算緩存单元，103熵编码单元，111分析滤波器处理单元，200解码设备，201熵解码单元，202系数重新排序单元，203系数緩存单元，204逆小波变换单元，211组合滤波器处理单元，300编码设备，321移位器，322小波变换器，400解码设备，421逆小波变换器，422移位器，500编码设备，501控制单元，502编码单元，503报头生成单元，504分组化单元，505发送单元，513系数重新排序緩存单元，514系数重新排序单元，600编码设备，601控制单元，602编码单元，603报头生成单元，604分组化单元，605发送单元，611小波变换单元，613切换单元，616切换单元，622重新排序处理单元，623编码处理单元，632切换单元，633整数型小波变换单元，634定点型小波变换单元，635切换单元，542切换单元，644切换单元，700解码设备，701接收单元，702分组分析单元，703报头分析单元，704解码单元，713切换单元，716切换单元，717增益调整单元，731重新排序处理单元，732组合滤波器处理单元，751切换单元，752高频分量增益调整单元，753切换单元，754整数型逆小波变换单元，755定点型逆小波变换单元，756切换单元，765切换单元，767切换单元
具体实施例方式
在下文中将会描述本发明的实施例。图l是显示应用发明的编码设备例示结构的框图。在图1中，编码设备100是一个用于编码图像数据的设备。编码设备100执行编码处理，由此，对通过编码基带图像数据所获取的编码数据来说，通过对其进行解码，可以恢复编码前的基带图像数据。换言之，编码设备IOO使用一种完全确保前向和反向变换的可逆方法来编码图像数据。相应地，编码设备100可以对图像数据进行编码，由此，即使在解码之后也可以获取高质量的图像数据。此外，编码设备100还会以区域(precinct)为单位来编码图像数据，稍后将会对此 进行描述。相应地，编码设备100可以减少编码和解码图像数据之前 的延迟时间。
编码设备100具有小波变换单元101，中间计算緩存单元102以 及熵编码单元103。
输入编码设备100的图像数据经由小波变换单元101而被临时累 积在中间计算緩存单元102中。小波变换单元101使用一个可逆滤波 器来对中间计算緩存单元102中累积的图像数据施加小波变换，其中 该可逆滤波器通过一种完全确保前向和反向变换的可逆方法来执行数 据变换。该小波变换单元101从中间计算緩存单元102中读出图像数 据，使用可逆分析滤波器来为图像数据施加滤波处理，以便产生低频 分量和高频分量的系数数据，并且将所产生的系数数据保存在中间计 算緩存单元102。
小波变换单元101包括水平分析滤波器和垂直分析滤波器，并且 在屏幕水平方向和屏幕垂直方向的两个方向上对图像数据项组执行可 逆的分析滤波处理。该小波变换单元101再次读出中间计算緩存单元 102中存储的低频分量的系数数据，并且使用分析滤波器来为读出的 系数数据施加滤波处理，以便进一步产生高频分量和低频分量的系数 数据。所产生的系数数据被保存在中间计算緩存单元102中。换言之， 小波变换单元101以递归方式来对低频分量重复执行预定次数的滤波 处理，其中该滤波处理会将输入数据分为低频分量和高频分量。
作为重复执行该处理的结果，当分解等级达到预定等级时，小波 变换单元101会从中间计算緩存单元102中读出系数数据，并且将所 读出的系数数据写入熵编码单元103。
应该指出的是，小波变换单元101和中间计算緩存单元102也被 统称为分析滤波器处理单元111。
熵编码单元103将诸如霍夫曼编码或算术编码之类的预定熵编码 方案与一种完全确保前向和反向变换的可逆方法结合使用，以便对小 波变换单元IOI(分析滤波器处理单元lll)提供的系数数据进行编码。换言之，熵编码单元103执行编码处理，由此，对通过编码基带图像 数据所获取的编码数据来说，通过对其进行解码，可以恢复编码前的 基带图像数据。
在这种情形下，熵编码单元103通过使用大量信息执行编码处理， 改善了编码效率。特别地，如果使用可逆方法来执行编码处理，那么 在大多数情况下，相对于延迟时间，为图像压缩质量和效率改进所给 予优先级。因此，熵编码单元103将会保持待用，直至获取了与预先 确定的相当于预定区域数量的系数数据，其中所述预定区域数量至少 是"两个区域"或更多，并且所述熵编码单元103会按照所述区域数量 来对系数数据执行熵编码处理。与以区域单位来执行编码的情形相比， 通过如上所述使用与多个区域相对应的系数数据来执行编码，熵编码 单元103可以以更高效和更高质量压缩图像。
熵编码单元103将所产生的编码数据输出到编码设备100的外部。
接下来将对图1中的小波变换单元IOI执行的处理进行更具体的 描述。首先将要描述的是输入小波变换单元101的数据。
举个例子，在小波变换单元101中使用了一个整数型5x3滤波器 来以可逆方式执行分析滤波处理，其中该滤波器执行的是稍后将会描 述的整数精度计算，并且。该小波变换单元IOI使用达到最低有效位 的输入数据作为整数部分。
图2是显示小波变换单元101的输入数据实例的示意图。在图2 中，单个正方形代表的是输入数据的单独的位。图的左端代表的是最 高有效位，并且图的右端代表的是最低有效位。
此外，图2所示的点P代表的是小数点的位置。在图2中，点P 存在于右端(最低有效位)。另外，具有这个整数精度的计算处理使 用位于最高有效端(图中的左端)的一个位作为用以指示正负号(+/-) 的位。
接下来将要描述的是小波变换的概要。图3是示意性显示用于图 像数据小波变换的算术运算例示结构的图示。图3的实例例证的是这样一个例示结构，在该结构中，在多个等级上执行八倍分割(octave splitting)，其中所述分割在某些可用技术中是最常见的小波变换。应 该指出的是，图3的范例使用了一种等级数量为三(等级1到等级3) 的结构，它将图像信号分成低频和高频，并且只对低频分量进行分等 级分割。此外，为了方便起见，在图3中描述的是一维信号(例如图 像的水平分量)的小波变换。如果将其扩展到二维空间(例如通过将 其附加应用于图像的垂直分量)，那么也可以对二维图像信号进行处 理。
首先，图3所示的用于小波变换单元的输入图像信号140是用低 通滤波器131(传输函数H0(z))和高通滤波器132(传输函数Hl(z)) 来进行波段分割的。对所获取的低频分量和高频分量来说，其分辨率 分别用下采样器133a和下采样器133b单独抽取了 1/2次(等级1)。 此时的输出是两个，即L分量141和H分量146。在这里，上述L指 示的是低频，H指示的是高频。图3的低通滤波器131、高通滤波器 132、下采样器133a以及下采样器133b构成了一个等级l的电路单元 121。
对于由上述下采样器133a和下采样器133b分别抽取的信号的低 频分量，也就是仅仅来自下采样器133a的信号来说，该低频分量进一 步由等级2的电路单元122中的低通滤波器和高通滤波器来进行波段 分割，并且其分辨率通过使用相应的下采样器(等级2)而被单独抽 取1/2次。对包含等级2的低通滤波器、高通滤波器以及下采样器的 电路单元122来说，其结构与包含上述等级1的低通滤波器131、高 通滤波器132、下采样器133a以及下采样器133b的电路单元121的 结构是类似的。
通过执行这种达到某个预定等级的处理，可以按顺序产生通过分 等级分割低频分量的波段获取的波段分量。在等级2上产生的波段分 量是LL分量142和LH分量145。图3显示了一个执行达到等级3 的波段分割处理的实例。在等级2的电路122的低通滤波器端，下釆 样器的输出被提供给等级3的电路单元123，其中该电路单元123与上述电路单元121具有类似的结构。这样一来，由于执行达到等级3 的波段分割处理，将会产生LLL分量143、 LLH分量144、 LH分量 145以及H分量146。
结合前述的小波变换处理，与图4所示的概要一样，对通过分割 处理获取的低空间频带数据以递归方式重复执行将图像数据分成高空 间频带和低空间频带的处理。通过以这种方式并且使用分析滤波器处 理单元111来将低空间频带数据驱动到更小区域中，编码设备100能 够使熵编码单元103执行有效的压缩和编码处理。
应该指出的是，图4对应的是处于这样一种情况的实例，在该实 例中，将图像数据的最低频率分量区域分割成低频分量区域L和高频 分量区域H的处理被重复执行了三次，并且用以表明分割层总数的分 割等级是3。在图4中，"L"和"H，，分别代表低频分量和高频分量。"L，， 和"H"的顺序指示的是前者指示的是在水平方向(水平方向)上执 行分割处理所得到的波段，后者指示的是在垂直方向(垂直方向)上 执行分割处理所得到的波段。此外，"L"和"H"之前的数字指示的是该 区域所在的层。较低频率分量层是用较小数字表示的。这个层的最大 值指示的是小波变换时的分割等级(分割数量)。
换言之，在图4中，"0LL"、 "1HL"、 "1LH"和"1HH，，是通过执 行图3中的等级3的分析滤波处理(通过分割2LL)获得的子波段。 在图4中，"2HL"、 "2LH，，和"2HH，，是通过执行图3中的等级2的分 析滤波处理(通过分割1LL)获得的子波段。此外，在图4中，"3HL"、 "3LH"和"3HH，，是通过执行图3中的等级1的分析滤波处理(通过分 割ILL)获得的子波段。
换言之，在图4的实例中，"3HH"是包含最少数量的低频分量的 子波段(包含最大数量的高频分量)，"OLL"则是包含最大数量的低 频分量的子波段。
由于图像能量集中于低频分量，因此，在低频分量上将会反复执 行变换和分割处理。这一点可以从以下事实中理解，在如从图5中的 A例示的分割等级=1的状态前进到如图5中的B例示的分割等级=3的状态时，会形成图5中的B所示的子波段。在图4的实例的情形中， 小波变换的分割等级是3,由此，将会形成10个子波段。
通常，小波变换单元51使用由低频滤波器和高频滤波器构成的 滤波器组来执行如上所述的处理。应该指出的是，数字滤波器通常具 有大小为多个抽头长度(即滤波系数)的脉冲响应，并且相应地，有 必要预先緩存与执行滤波处理所需要的输入图像数据或系数数据项一 样多的输入图像数据或系数数据项。此外，与分多个阶段执行小波变 换的情形一样，有必要緩存与在先前阶段中产生的且为执行滤波处理 所需要的小波变换系数一样多的小波变换系数。
在这里将要描述一种可逆的整数型小波变换算术运算，其中该运 算使用的是在JPEG-2000Part-l的FCD (最终委员会草案)中定义的 整数精度型5x3分析滤波器。图6是用于描述整数精度型5x3分析滤 波器(在下文中也可将其称为整数型5x3分析滤波器)的算术运算的 图示，它显示了 一个通过将一维分析滤波处理执行一次而将图中左端 的输入图像数据转换成低频分量s和高频分量d的操作。在这里，假 设dr是小波变换等级为n的第m个高频分量系数。同样，假设smn 是小波变换等级为n的第m个低频分量系数。应该指出的是，在11=0 的情况下，如图6所示，它即为输入图像自身。
如图6所示，用于计算低频分量系数s的等式通常可以表示成如 下等式(1)。
sm+1n+1=sm+1n+((dmn+1+dm+1n+1+2)/4)"…(1)
其中，等式中的1/4算术运算可以通过移动一个或多个位实现。 如果将向右移动两位表示为">>2",则可以将上述等式(1)表示成如 下等式(l')。
sm+r+1=sm+1n+((dmn+i+dm+r+i+2) 2)""(i，)
应该指出的是，在上述等式(1)，括号中的+2旨在对在向右移
位时发生的舍入误差进行补偿。
此外，用于计算高频分量系数d的等式通常可以用如下等式(2 )
来表示odmn+1=dmn-((Smn+sm+r)/2) ."(2)
作为替换，通过将向右移动一位表示成">>1"，该等式可以表示 成是如下等式(2')。
dmn+1=dmn-((Smn+sm+1n) l) …(2,)
在这里，在图6实例中，当等级11=1时，将会计算用于输入图像 数据的第一阶段的小波变换系数，即低频分量系数和高频分量系数， 在这种情况下，输入图像数据的s和d并不代表低频分量系数和高频 分量系数。此外，在与屏幕末端对应的位置，与屏幕外部相对应的数 据是通过折返使用(folding)屏幕外的数据来使用的。例如，为了获 取图6中的数据V， s/， d 等等，使用充当d 折返的同一 d。1。这 种处理还适于使用两个s 来获取的情形。
在图6中，被虚线围绕的部分SP是获取与上述等式(1)中的n =0和m = 1相对应的低频分量系数S21的部分，并且在这里将会执行 诸如下列等式(3)之类的计算。
s21=s20+((d11+d21+2)/4)…(3)
此外，在图6中，被虛线围绕的部分DP是获取与上述等式(2) 中的n = 0和m-0相对应的高频频分量系数d(/的部分，并且在这里 将会执行诸如下列等式(4)之类的计算。
dX((s。、0)/2)…(4)
在这里，如上所述，可以通过向右移动两位"》2"实现1/4乘法， 并且可以通过向右移动一位"》1"来实现1/2乘法。
对上述等式(1)和等式(2)来说，计算这些等式所需要的算术 运算量包括假设该乘法是通过上述移位计算、乘法"0"、加法/减法"5" 以及移位计算"2，，来实现的。通过以相似方式自上而下地执行运算，可 以计算出所有系数。应该指出的是，如上所述，对图像之类的二维信 号来说，所需要的只是以如上所述相似的方式将小波变换应用于在另 一个方向(例如垂直方向)上由一维方向的小波变换而产生的一组系 数上。
应该指出的是，上述滤波处理中涉及的计算实际是可以通过使用提升技术来减少的。在这里将会描述这种提升处理。图7显示了一个 实例，在该实例中将会执行达到分解等级=2并且基于使用整数型5x3 滤波器(分析滤波器和组合滤波器)的提升处理的一维滤波处理。应 该指出的是，在图7中，在图的左端被指示为分析滤波器的部分包含 小波变换单元101的滤波器。此外，在图的右端被指示为组合滤波器 的部分包含稍后描述的逆小波变换单元的滤波器。
在图7中，左端的列指示的是一行(或一列)原始图像数据中的 连续像素数据项，其中该原始图像数据是基带图像数据(也就是输入 编码设备100的图像数据)。从图7的左端开始，第一列到第三列显 示的是在分割等级=1上执行的滤波处理，并且第四列到第六列显示的 是在分割等级=2上执行的滤波处理。
在分解等级-1的分析滤波处理中，作为第一阶段的分析滤波处 理，将会根据原始图像数据来计算高频分量系数数据；作为第二阶段 的分析滤波处理，将会根据已经在第 一阶段的分析滤波处理中计算的 高频分量系数数据以及原始图像数据来计算低频分量系数数据。从图 7左端开始的笫二列指示的是高频分量输出，而从左端开始的第三列 指示的是低频分量输出。
计算得到的高频分量系数数据被提供给图1的熵编码单元103。 此外，计算得到的低频分量系数数据保存在图l的中间计算緩存单元 102中。在图7中，熵编码单元103被显示成是由点划线围绕的部分， 中间计算緩存单元102则被显示成虚线围绕的部分。
分解等级-2的分析滤波处理是根据分解等级=1上的分析滤波处 理的结果来执行的，其中该结果保持在中间计算緩存单元102中。在 分解等级=2的滤波处理中，在分解等级-l的滤波处理中作为低频分
量系数而被计算的系数数据将被视为包含低频分量和高频分量的系数 数据，并且在这里将会执行一个与分解等级=1上的滤波处理相似的滤 波处理。在分解等级=2的滤波处理中计算得到的高频分量系数数据和 低频分量系数数据则^^皮提供给图1的熵编码单元103。
图1的小波变换单元101分别在屏幕的水平方向和垂直方向执行如上所述的滤波处理。举个例子，小波变换单元101首先在水平方向
执行分解等级=1的滤波处理，并且将所产生的高频分量系数数据和低
频分量系数数据存入中间计算緩存单元102。接着，小波变换单元101 在垂直方向上对保存在中间计算緩存单元102中的系数数据执行分解 等级=1的滤波处理。通过在水平方向和垂直方向执行的分解等级=1 的处理，可以形成四个子波段，即子波段HH和子波段HL，以及子 波段LH和子波段LL，其中子波段HL基于通过进一步将高频分量分 解成高频分量和低频分量所获取的相应系数数据项，子波段LL则基 于通过将低频分量进一步分解成高频分量和低频分量所获取的相应系 数数据项。
随后，在分解等级=2，在水平方向和垂直方向分別对在分解等级 =1上产生的低频分量系数数据执行分析滤波处理。换言之，借助分解 等级=2的分析滤波处理，在分解等级=1上分割和形成的子波段LL将 会进一步分成四个子波段，并且将会形成子波段HH、子波段HL、子 波段LH以及子波段LL。
小波变换单元101被配置成将可逆分析滤波处理分成针对屏幕垂 直方向上由若干行组成的每一个组的处理，从而根据上述小波变换来 逐步并多次执行可逆分析滤波处理。在图7的实例中，第一处理对七 行执行滤波处理，其中该第一处理是以从屏幕上的第一行为开始的处 理。第二处理以四行为单位来执行滤波处理，该第二处理是以第八行 为开始的处理。每一次的行数基于通过执行上述分析滤波处理来产生 相当于一行的最低频率分量所需要的行数。
应该指出的是，在下文中将产生相当于最低频率分量的一行(相 当于最低频率分量的子波段的一行的系数数据)所需要的行组称为区 域(或行块)，其中所述行组包含其他子波段。这里描述的行指示的 是相当于在图片(帧或场)或每一个子波段中形成的一行的像素数据 或系数数据，其中所述图片(帧或场)对应的是小波变换之前的图像 数据。换言之，区域(行块)指的是在小波变换之前的原始图像数据 中相当于多行的像素数据组，该相当于多行的像素数据组是产生相当于小波变换之后的最低频率分量的子波段的一行的系数数据所需要 的，或者所述区域(行块)也可以是指通过对该像素数据组执行小波 变换所获取的每一个子波段的系数数据组。
依照图7，对通过执行分解等级=2的滤波处理所获得的系数C5 来说，该系数是根据保存在中间计算緩存单元102中的系数C4和系 数Ca来计算的，并且系数C4是根据保存在中间计算緩存单元102中 的系数Ca、系数Cb以及系数Cc来计算的。更进一步，系数Cc是根 据提供给熵编码单元103的系数C2、系数C5以及第五行的像素数据 来计算的。同样，系数C3是根据第五行到第七行的像素数据来计算 的。相应地，为了获得分割等级=2的低频分量的系数C5，需要第一 行到第七行的像素数据。
相比之下，在第二滤波处理中以及以后的处理中，可以使用迄今 为止已在一个或多个滤波处理中计算并被提供给熵编码单元103的系 数数据(实际上，在小波变换单元101 (或中间计算緩存单元102)中 保持了与所提供的系数数据相同的数据)，由此，所需行数可以很少。
换言之，依照图7，在分解等级=2的滤波处理所获取的低频分量 系数中，作为紧接着系数C5的下一个系数，系数C9是根据系数C4、 系数C8以及保存在中间计算緩存单元102中的系数Cc计算的。在这 里已经使用上述第一滤波处理计算了系数C4，并且将其提供给了熵编 码单元103(事实上，在小波变换单元IOI(或中间计算緩存单元102) 中保持了与所提供的系数数据相同的数据)。同样，在这里已经使用 上述第 一滤波处理计算了系数Cc,并且已经将其保存在中间计算緩存 单元102中。相应地，在这个第二滤波处理中，重新执行的只是用于 计算系数C8的滤波处理。这个新滤波处理是通过进一步使用第八行 到第十一行来执行的。
由于第二滤波处理以及之后的处理可以使用迄今为止利用 一个 或多个滤波处理计算并被提供给中间计算緩存单元102和熵编码单元 103的数据(事实上是保持在小波变换单元101 (或中间计算緩存单元 102)中的数据)，因此，所需要的是以四行为单位来执行每一个处理。
20应该指出的是，当屏幕上的行数不匹配用于编码的行数时，这时 会使用预定方法拷贝多行原始图像数据，由此，使该行数变成与用于 编码的行数相等，然后执行滤波处理。
相应地，由于小波变换单元101 (以区域(行块)为单位)对整
个屏幕的行以阶段方式多次执行获取相当于最低频率分量的一行的系 数数据项一样多的滤波处理，由此可以在传送编码数据时获取低延迟 的解码图像。
正如已描述的那样，在小波变换中，系数是按照从高频分量端到
低频分量端的顺序产生的。在图7的实例中，在第一次，分解等级l 的滤波处理根据原始图像的像素数据来顺序产生高频分量的系数Cl、 系数C2和系数C3。随后，在从分解等级=1的滤波处理中获取的低频 分量的系数数据上执行分解等级=2的滤波处理，以及相应地，按顺序 生成低频分量的系数C4和系数C5。换言之，在第一次，系数数据是 按照系数C1、系数C2、系数C3、系数C4和系数C5的顺序产生的。 由于小波变换原理，系数数据的生成顺序始终会变成该顺序(从高频 到低频的顺序)。
相比之下，解码处理是从低频分量开始执行的。在这里将会使用 图7的实例来进行更具体的描述。图7的右侧指示的是执行逆小波变 换的组合滤波处理实例，其中该组合滤波处理是上述小波变换(分析 滤波处理)的逆变换。在解码端，包含输出图像数据中的第一行的第 一组合滤波处理(逆小波变换处理)是用第一滤波处理中在解码端产 生的最低频率分量的系数C4和系数C5、以及系数C1来执行的。
换言之，在第一组合处理中，借助组合等级=2的处理，在系数 C5和系数C4上执行一个组合滤波处理，以便产生系数Cf，并且该系 数Cf将被存入緩存器，其中所述组合等级=2的处理是与分解等级=2 对应的组合处理。随后，借助组合等级=1的处理，在系数Cf和系数 Cl上执行一个组合滤波处理，以便产生基带图像数据的第一行，而所 述组合等级=1的处理则是与分解等级-1对应的组合处理。
相应地，第一組合滤波处理按照系数C5、系数C4、系数C1、...
21的顺序来处理系数数据，其中该系数数据是用编码端的分析滤波处理
并依照系数C1、系数C2、系数C3、系数C4和系数C5的顺序产生 的。
应该指出的是，在图7右端显示的组合滤波器端，对于从编码端 提供的系数来说，分析滤波器端的行顺序是在括号中指示的，组合滤 波器端的行顺序则是在扩号外指示的。例如，系数C1(5)表明这是图7 左端的分析滤波器端的第五行，并且是组合滤波器端的第 一行。
对在第二分析滤波处理以及此后产生的系数数据来说，除了从分 析滤波器端提供的系数数据之外，针对该系数数据的组合滤波处理还 可以使用先前组合滤波处理时组合的系数数据或图像数据来执行。在 图7的实例中，除了第二分析滤波处理中产生的低频分量的系数C8 和系数C9之外，第二组合滤波处理是用第一分析滤波处理中产生并 作为分析滤波器端提供的系数数据的系数C2和系数C3来执行的。借 助第二组合滤波处理，可以解码基带图像数据的第二行到第五行。
换言之，在第二组合处理中是按照系数C9、系数C8、系数C2 和系数C3的顺序来处理系数数据的。也就是说，组合等级=2的组合 滤波处理使用第一组合滤波处理时从编码端提供的系数C8、系数C9 和系数C4，以便产生系数Cg以及将系数Cg存入緩存器。此外，组 合等级=2的组合滤波处理使用该系数Cg、上述系数C4以及第一组合 滤波处理中产生并保存在緩存器中的系数Cf来产生系数Ch，并且将 系数Ch存入緩存器。
随后，组合等级=1的组合滤波处理使用系数Cg、在组合等级=2 的组合滤波处理中产生并被保存在緩存器中的系数Ch、以及从分析滤 波器端提供的系数C2 (在組合滤波器端将其显示成是系数C6(2))和 系数C3 (在组合滤波器端将其显示成系数C7(3))，以便解码基带图 像数据的第二行到第五行。
相应地，在第二组合滤波处理中将会按照系数C9、系数C8、系 数C2、系数C3、...的顺序来处理那些在分析滤波器端按照系数C2、 系数C3(系数C4、系数C5)、系数C6、系数C7，系数C8以及系数C9的顺序产生的系数数据。
同样，在第三组合滤波处理中以及该处理之后，分析滤波处理产 生的系数数据也会按照预定顺序被重新排序和处理，以便以四行为单 位来解码基带图像数据的行。
应该指出的是，在包含屏幕下端的行并且与分析滤波处理(在下 文中将其称为最后一次)相对应的组合滤波处理中，迄今为止在系统
中产生并存入緩存器的全都系数数据都被输出，由此，所输出的行的 数量将会增多。在图7的实例中，最后一次输出了八行。
通过使用图8，可以更具体地描述实现上述内容的处理。图8对 应的是用整数型5x3分析滤波器来应用达到分解等级-2的基于小波变 换的滤波处理的实例。在小波变换单元101中，如图8的A中的实例 所示，第一分析滤波处理分别是在水平和垂直方向上在输入图像的第 一行到第七行上执行的(图8中的A的In-l)。
对在第一分析滤波处理中在水平方向和垂直方向实施的分解等 级=1的处理来说，如图8的B中的实例所示，在至少一个处理中会以 三行为单位，为子波段HH、子波段HL以及子波段LH中的每一个 产生那些被认为与上述系数C1、系数C2以及系数C3相对应的系数 数据项，其中所述子波段是在分解等级-1上形成的(图8的B中的 WT-1)。
此外，子波段LL是由那些在第 一分析滤波处理中在分解等级=1 实施的水平和垂直方向处理中均被当做低频分量的系数数据形成的， 该子波段LL将会借助分解等级=2的水平和垂直方向的分割滤波处理 而被进一步分成四个子波段。借助第一分析滤波处理中在分解等级=2 上执行的水平和垂直方向处理，在子波段LL中为子波段LL的一行 产生在这两个处理中均与系数C5相对应的系数数据。此外，借助第 一分析滤波处理中在分解等级=2上实施的水平和垂直方向处理，在子 波段LL中为子波段HH、子波段HL以及子波段LH中的每一个的某 行产生被认为在至少一个处理中与系数C4相对应的系数数据。
在使用小波变换单元51的第二滤波处理以及该处理之后，滤波处理会以四行为单位来执行(图8的A中的In-2)。对每一个子波段 来说，每两行的系数数据是在分解等级=1产生的(图8的B中的 WT-2)，并且每行的系数数据是在分解等级=2产生的。
与图8的B中一样，在对经过小波变换的系数数据进行解码时， 如图8的C举例显示的那样，第一行是通过执行第一组合滤波处理(图 8的C中的Out-l)输出的，其中该处理与基于第一行到第七行的第 一分析滤波处理相对应。此后，每一次都会通过执行组合滤波处理(图 8的C中的Out-2…)来输出四行图像数据，其中该处理与最后一次分 析滤波处理之前的倒数第二到第一处理相对应。随后，通过执行与最 后 一次分析滤波处理相对应的组合滤波处理，可以输出八行图像数据。
在小波变换单元101按照从高频分量端到低频分量端的顺序产生 的系数数据项来说，这些系数数据项会按顺序被提供给熵编码单元 103。
熵编码单元103^f吏用 一种可逆方法按顺序来编码所提供的系数数 据，并且将所产生的编码数据输出到编码设备100外部。
图9是显示与图1编码设备相对应的解码设备例示结构的框图。 图9所示的解码i殳备200使用与图l编码i殳备100相对应的方法来解 码那些通过使用编码设备100编码图像数据所获取的编码数据，并且 恢复编码处理之前的基带图像数据。换言之，编码设备200使用了一 种完全确保前向和反向变换的可逆方法来解码图像数据。相应地，解 码设备200可以解码那些通过使用编码设备100执行编码获取的编码 数据，以便获得高质量图像数据。此外，对使用编码设备100并以以 区域为单位来编码图像数据获取的编码数据来说，解码设备200会以 该区域为单位来解码该编码数据。相应地，解码i殳备200可以缩短编 码和解码图像数据之前的延迟时间。
解码设备200包括熵解码单元201、系数重新排序单元202、系 数緩存单元203以及逆小波变换单元204。
熵解码单元201使用与熵编码单元103 (图1)执行的编码方法 相对应的可逆解码方法来解码所提供的编码数据，以便获取系数数据。
24系数数据被提供给系数重新排序单元202。系数重新排序单元202则 按照从低频分量到高频分量的顺序来对所提供的系数数据重新排序， 其中所提供的系数数据即为按照从高频分量到低频分量的顺序提供的 系数数据项。所述系数重新排序单元202将经过重新排序的系数数据 保存在系数緩存单元203。逆小波变换单元204使用保存在系数緩存 单元203中的系数数据来执行组合滤波处理(逆小波变换)，并且再 次将组合滤波处理结果保存在系数緩存单元203。所述逆小波变换单 元204根据分解等级来重复执行该处理，并且获取基带图像数据。这 个基带图像数据相当于输入图1的编码设备100的基带图像数据。
也就是说，解码设备200可以对使用编码设备100编码基带图像 数据所获取的编码数据进行解码，来恢复编码前的基带图像数据。在 得到基带图像数据时，逆小波变换单元204将其输出到解码设备200 的外部。
逆小波变换单元204包括水平組合滤波器和垂直组合滤波器，并 且其在屏幕水平方向和屏幕垂直方向的两个方向上对一组系数数据项
执行可逆滤波处理。逆小波变换单元204读出保存在系数緩存单元203 中的低频分量系数数据和高频分量系数数据，并且通过应用组合滤波 处理来产生低一级的低频分量系数数据。所产生的系数数据被保存在 系数緩存单元203。也就是说，逆小波变换单元204组合充当输入数 据的低频分量和高频分量，并且以递归方式重复执行用于产生低一级 的低频分量的滤波处理，直至完成等级l的处理。
在重复执行该处理并且完成等级1的组合滤波处理时(在得到基 带图像数据时)，逆小波变换单元204会从系数緩存单元203中读出 基带图像数据，并且输出所读出的基带图像数据。
应该指出的是，系数緩存单元203和逆小波变换单元204统称为 組合滤波器处理单元211。
接下来将对由图10中的小波变换单元101执行的处理进行更具 体的描述。首先将要描述的是输入小波变换单元101的数据。
接下来将要描述的是逆小波变换的概要。图IO是示意性显示了用于系数数据逆小波变换的算术运算的例示结构的图示。作为参考图
3描述的小波变换处理的输出，在与LLL分量143相对应的LLL分 量243、与LLH分量144相对应的分量LLH分量244、与LH分量 145相对应的LH分量245以及与H分量146相对应的H分量246中， LLL分量243和LLH分量244分别会通过使用上采样器231a和上采 样器231b而被上采样，以便将分辨率加倍。由上采样器231a上采样 的低频分量(LLL分量243 )是用低通滤波器232滤波并被提供给加 法器234的。而由上采样器231b上采样的高频分量(LLH分量244) 则是用低通滤波器233滤波并被提供给加法器234的。
加法器234组合这些低频分量和高频分量(LLL分量243和LLH 分量244)。至此，借助电路单元211执行的处理，可以完成与图3 中的等级3的电路单元123的前向变换相对应的逆变换，并且得到LL 分量247，其中该LL分量247是等级2的低频分量。
此后，通过在每一个等级重复执行达到等级l的这个处理，可以 输出最终逆变换之后的解码图像249。也就是说，等级2的电路单元 222和等级1的电路单元223具有与上述等级3的电路单元221相似 的结构。换句话说，等级3的电路单元221的输出(LL分量247)被 输入到等级2的电路单元222的低频端。与电路单元221—样，电路 单元222同样组合输入到低频端的LL分量247以及输入到高频端的 LH分量245，以及输出L分量248，其中该L分量248是等级1的低 频分量。这个L分量248 ^皮输入到等级1的电路单元223的低频端。 与电路单元221 —样，电路单元223同样组合输入到低频端的L分量 248以及输入到高频端的H分量246，以及输出基带图像数据(解码 图像)249。以上描述的是关于逆小波变换处理的基本结构。
在这里将要描述的是由JPEG 2000 Part-l的FCD中定义的整数 精度型5x3组合滤波器执行的算术运算。图11是用于描述整数精度 型5x3组合滤波器(在下文中也可将其称为整数型5x3组合滤波器) 的算术运算的图示，该图显示了通过执行一次一维组合滤波处理来从 图左端的低频分量s和中间的高频分量d中计算出图右端的输出图像数据的方式。在图11中，假设dmn是小波变换等级n的第m个高频 分量系数。同样，假设Smn是小波变换等级n的第m个低频分量系数。 在这里，当n,时，如图11所示，它即为输出图像。
如图9所示，用于计算低一级的低频分量系数的等式通常可以表 示成如下等式(5)。
Sm+1n=Sm+1n+1-((dmn+l+dm+1n+1+2)/4)"…(5)
其中，等式(5)中的1/4乘法是通过移动位实现的。如果将右 移两位表示为">>2"，那么可以将等式(5)表示成如下等式(5')。 sm+r=sm+1n+1-((dmn+1+dm+1n+1+2) 2)""(5，)
在等式(5)或等式(5，)中，括号中的"+2"旨在处理在向右 移位时发生的舍入误差。这与上述分析滤波器舍入处理是紧密联系的。 不用说，为了保持可逆性，在分析和组合端，舍入处理都必须是相互 匹配的。
同样，用于计算高频分量系数d的等式通常可以表示为如下等式 (6)。
dmn=dmn+1+((Smn+sm+1n)/2) …(6)
在这里，通过将向右移动一位表示成"》1"，可以将等式(6)表 示为如下等式(6')。
dmn=dmn+1+((Smn+sm+1n) l) …(6')
其中，在图11中被虛线围绕的部分SP是获取与上述等式(5)
中的11=0和111=1相对应的低频分量系数82°的部分，并且在这里将
会执行以下等式(7)显示的计算。 S2、、(d +d +2)/4)…(7)
此外，在图11中被虛线围绕的部分DP是获取与上述等式(6) 中的11 = 0和m-0相对应的高频频分量系数d 的部分，并且在这里 将会执行以下等式(8)显示的计算。
do、d +((so、0)/2)…(8)
其中，如上所述，1/4乘法可以通过右移两位"》2，，来实现，并且 1/2乘法可以通过右移一位"》1"来实现。对上述等式(5)和等式(6)、尤其是使用移位计算的等式(5，) 和等式(6，)来说，计算这些等式所需要的算术运算量即为用于产生 一对奇数编号系数和偶数编号系数的算术运算量，并且该算术运算量 包括乘法"0"、加法/减法"5"以及移位计算"2"。通过以相似方式自 上而下地执行运算，可以计算出所有系数。应该指出的是，如上所述， 对诸如图像之类的二维信号来说，所需要的仅仅是将与上述内容相似 的逆小波变换应用于在另 一个方向(例如水平方向)借助一维方向(例 如垂直方向)的逆小波变换(组合滤波处理)而产生的一组系数上。
接下来将要描述的是由前述编码设备100和解码设备200执行的 处理流程。首先参考图12中的流程图来描述由编码设备100执行的例 示编码处理流程。
当编码处理开始时，在步骤SlOl，编码设备100中的小波变换 单元101对所要处理的编号为A的区域进行初始化。例如将编号A设 置成"1"。在完成设置时，在步骤S102,小波变换单元101获取相当 于多行(也就是一个区域)的图像数据，其中所述多行的图像数据是 从变换后的最低频率子波段的顶端开始产生第A行所必需的。
在获取了相当于一个区域的图像数据时，在步骤S103,小波变 换单元101会为该图像数据执行可逆垂直分析滤波处理，其中该垂直 分析滤波处理使用可逆方法来对排列在屏幕垂直方向上的图像数据执 行分析滤波处理，在步骤S104，该小波变换单元IOI执行可逆水平分 析滤波处理，其中该水平分析滤波处理使用可逆方法来对排列在屏幕 水平方向上的图像数据执行分析滤波处理。
在步骤S105，小波变换单元101确定是否已经执行了达到最终 等级的可逆垂直分析滤波处理和可逆水平分析滤波处理。在确定分解 等级尚未达到预定最终等级时，该处理返回到步骤S103，并且为当前 分解等级重复执行步骤S103和步骤S104的分析滤波处理。
当在步骤S105中确定已经执行了达到最终等级的分析滤波处理 时，该处理将会前进至步骤S106。
在步骤S106，熵编码单元103确定小波变换单元101是否已经处理了预定数量的区域。如果确定已经处理了预定数量的区域，那么
该处理前进至步骤S107，并且对所累积的系数数据执行熵编码处理。 当完成编码时，熵编码单元103输出所获取的编码数据，并且将处理 前进至步骤S108。作为替换，当在步骤S106中确定尚未处理预定数 量的区域时，步骤S107的处理将被省略，并且该处理将会前进至步骤 S108。
在步骤S108，小波变换单元101将区域编号"A"的值加"1"。在 步骤S109,小波变换单元IOI确定是否存在未处理的行。如果确定存 在未处理的行，那么该处理返回到步骤S102，并且重复执行此后的处 理。作为替换，当在步骤S109中确定没有未处理的行时，小波变换单 元101将会终止编码处理。
编码设备100以每个图片(帧或域)来重复执行如上所述的编码处理。
与常规方法相比，由于小波变换单元IOI是以递归方式并以区域 为单位来执行达到最终等级的可逆垂直分析滤波处理以及可逆水平分 析滤波处理的，因此，每一次(同时)需要保持(緩存)的数据量将 会很少，并且还可以显著减少应该预备的緩存器的存储量。由此，与 执行全屏小波变换的方法相比，延迟时间可以显著减少。此外，还可 以以多个区域为单位来执行熵编码处理。由此，与以一个区域为单位 执行编码的情形相比，可以以更高效率和更高质量执行图像数据的熵 编码处理。此外，通过以可逆方法执行小波变换和熵编码处理，编码 设备100可以传送高质量和低延迟的图像数据。
接下来参考图13中的流程图来描述编码设备200执行的例示解 码处理流程。
当解码处理开始时，在步骤S201,熵解码单元201对输入编码 数据执行熵解码处理。在步骤S202，系数重新排序单元202按照从低 频分量到高频分量的顺序来对系数数据重新排序。在步骤S203，当在 系数緩存单元203中保持了从系数重新排序单元202提供的相当于一 个或多个区域的系数数据时，逆小波变换单元204将会读出相当于一个区域的系数数据，并且执行可逆的垂直组合滤波处理。在步骤S204， 逆小波变换单元204执行可逆的水平组合滤波处理。
在步骤S205，逆小波变换单元204确定是否已经执行了达到等 级1的组合滤波处理。如果确定尚未达到等级l，那么该处理返回到 步骤S203，并且重复执行此后的处理。作为替换，如果在步骤S205 中确定已经执行了达到等级1的组合滤波处理，那么该处理将会前进 至步骤S206。
在步骤S206,熵解码单元201确定是否终止解码处理。如果确 定不终止解码处理，那么该处理返回到步骤S201，并且执行此后的处 理。作为替换，如果在步骤S206中确定终止解码处理，那么该解码处 理将被终止。
解码设备200以图片(帧或域)为单位来重复执行如上所述的解 码处理。
对常规的逆小波变换方法来说，其首先会在屏幕水平方向以及在 所要处理的分解等级上对所有系数执行水平组合滤波处理，然后则在 屏幕垂直方向以及在所要处理的分解等级上对所有系数执行垂直组合 滤波处理。换言之，在每次执行每个组合滤波处理时，在緩存器中都 必须保持组合滤波处理的结果。在这种情况下，緩存器必须保持在该 时刻该分解等级的组合滤波结果以及下一个分解等级的所有系数。这 意味着需要很大的存储器容量(所要保持的数据量很大)。
此外，在这种情况下，在完成按照图片(帧或域)的全部逆小波 变换之前不会执行图像数据输出，由此，从输入到输出的延迟时间将 会增大。
相比之下，对解码单元200中的逆小波变换单元203来说，如上 所述，它是基于逐个区域并以递归方式来执行达到等级l的垂直组合 滤波处理以及水平组合滤波处理的。因此，与常规方法相比，每次(同 时)需要緩存的数据量将会很小，这样可以显著减小应该预备的緩存 器的存储量。此外，由于所执行的是达到等级1的组合滤波处理(逆 小波变换处理)，因此，在获取图片中的全部图像数据之前可以按顺序输出(基于逐个区域)图像数据项，与常规方法相比，可以明显缩
短延迟时间。
此外，通过执行使用可逆方法的熵解码处理和逆小波变换处理，
解码设备200可以获取高质量的恢复图像。
换言之，编码设备100和解码设备200可以传送高质量和低延迟 的图像数据。
接下来将要描述的是使用了不能完全确保前向和反向变换的不 可逆方法的编码处理和解码处理，其中所述编码处理和解码处理与使 用如上所述的可逆方法的编码处理和解码处理相反。
图14是显示使用不可逆方法来编码图像数据的编码设备例示结 构的框图。在图14中，编码设备300使用不可逆方法来执行编码处理。 编码设备300包括小波变换单元301、中间计算緩存单元302、量化单 元303、系数重新排序緩存单元304、系数重新排序单元305、熵编码 单元306以及速率控制单元307。
小波变换单元301与小波变换单元101基本相似。该小波变换单 元301通过使用稍后描述的定点精度型5x3分析滤波器来执行不可逆 的小波变换。中间计算緩存单元302与中间计算緩存单元102基本相 似。
量化单元303使用预定量化系数来对小波变换单元301变换的系 数数据进行量化，并且将经过量化的系数数据提供给系数重新排序緩 存单元304,以便保持经过量化的系数数据。应该指出的是，该量化 单元303当然是可以省略的。通过执行量化处理，有可能进一步改进 压缩效果。可以^使用任何一种方法作为量化方法。例如，该方法可以 是用量化步长D来分割系数数据W的技术。在这种情况下，举例来 说，量化步长D是在速率控制单元307中计算的。系数重新排序单元 305与系数重新排序单元202基本相似。该系数重新排序单元305按 照从低频分量到高频分量的顺序来对按照从高频分量到低频分量的顺 序保存在系数重新排序緩存单元304中的系数数据重新排序，并且将 经过重新排序的系数数据提供给熵编码单元306。熵编码单元306与熵编码单元103基本相似。该熵编码单元306 使用诸如霍夫曼编码或算术编码之类的预定熵编码方案来对所提供的 系数数据进行编码。
熵编码单元306与速率控制单元307进行协作。对要输出的已压 缩和编码的数据来说，其比特速率被控制成一个基本恒定的值。换言 之，速率控制单元307根据来自熵编码单元306的编码数据信息来向 熵编码单元306提供控制信号，以便在由熵编码单元306压缩和编码 的数据的位速率达到目标值的时候，或者在该位速率即将达到目标值 之前，通过执行控制来终止熵编码单元306执行的编码处理。响应于 速率控制单元307提供的控制信号，熵编码单元306在编码处理被终 止时将编码数据输出到编码设备300的外部。
应该指出的是，小波变换单元301和中间计算緩存单元302也统 称为分析滤波器处理单元311。图15是显示分析滤波器处理单元的更 详细的例示结构的框图。
如图15所示，定点型小波变换单元301包括移位器321和小波 变换器322。
移位器321只对输入图像数据执行一次移位处理，以便产生如图 16所示的定点精度的输入数据。在图16中，单个正方形代表的是输 入数据的各个位。点P指示的是定点的位置。高于该点P的位(图左 侧)指示的是整数部分，低于点P的位(图右侧)指示的则是小数部 分。在图16的实例中，由于小数部分具有6位，因此，定点精度可以 确保1/26=1/64的精度。此外，在图16的实例中，假设整数部分处理 8位数据，并且总共执行的是16位的计算(算术运算精度是16位)。 此外，在图16的实例中，其中在最高有效端(图左侧)提供了 2位的 保护位(保护位)。在这些位中，其中一个位是指示正负号(+/-)的 位，另一个位是用于避免溢出的位。
回过来参考图15,移位器321产生的定点精度数据由小波变换器 322存入中间计算緩存单元302。当在中间计算緩存单元302中累积了 预定数量(相当于一个区域)的定点型数据时，小波变换器322使用5x3的分析滤波器来对累积在中间计算緩存单元302中并与一个区域 相当的数据执行分析滤波处理，以及产生每一个子波段的系数数据。
图17描述的是在分析端使用定点精度5x3分析滤波器(在下文 中将其也称为定点型5x3分析滤波器)实施的定点型小波变换算术运 算。图17显示的是执行一维小波变换并将左端输入图像数据转换成低 频分量s和高频分量d的操作。在下文中将会使用该图来描述详细操 作。在这里，假设dj是小波变换等级为ii的第m个高频分量系数。 从图中可以明显看出，当n=0时，它即为输入图像。同样，假设smn 是小波变换等级为n的第m个低频分量系数。
从图17中可以明显看出，用于计算低频分量系数s的等式通常 被表示成等式(9a)或等式(9b)。
sm+1n+1=sm+1n+Px(dmn+1+dm+1n+1+2)."(9a)
sm+1n+1=sm+1n+Px(dmn+1+dm+1n+1)".(9b)
同样，用于计算高频分量系数d的等式可以表示成如下等式 (10)。
dmn+1=dmn-ax(smn+Sm+1n)…(10)
其中，a一.5并且(3=0.25,此外，由于与高频分量相对应的d是 分析端的奈圭斯特增益=2，因此，会执行增益调整来使奈圭斯特增益 =1。这也正是将高频分量系数d与SH=0.5相乘的原因。另外，对上 述整数型5x3分析滤波器来说，由于在执行增益调整时不能确保可逆 变换，因此没有必要执行增益调整。应该指出的是，这种外设技术 (peripheral technique )即为通常所说的通用数字信号处理技术。
应该指出的是，在计算屏幕末端位置的数据时，当需要屏幕以外 的数据时，与上述整数型分析滤波器相似，这时将会折返和使用屏幕 内部的相邻数据(例如在图17中用于获取s 的do1)。此外，这种处 理与組合滤波器的情况也是相似的。
接下来将要描述的是上述等式(9a)与(9b)之间的差别。由于 定点型5x3分析滤波器的精度高于整数精度，因此，可以想到已经在 整数型5x3分析滤波器中描述并且执行"+2"舍入的等式(9a)(兼容)
33以及未执行"+2，，舍入的等式(9b)(不兼容)。
为了在定点型5x3分析滤波器以及上述整数型5x3分析滤波器之 间共用算术运算结构，在有必要使用等式(9a)。换言之，在使用执 行等式(9a)的算术运算的结构作为在定点型5x3分析滤波器中使用 的小波变换器时，该结构通常可以作为在整数型5x3分析滤波器中使 用的小波变换器来使用。
在与图17—起描述的这种定点型5x3分析滤波器中，计算一对 低频分量和高频分量系数所需要的算术运算量包括乘法"3"以及加法/ 减法"5"(兼容)或是加法/减法"4"(不兼容)。
接下来将要描述的是与前述不可逆编码设备300相对应的解码设 备。图18是显示使用不可逆方法来对编码数据进行解码的解码设备例 示结构的框图。
图18所示的解码设备400使用与上述编码设备300执行的编码 处理相对应的方法来执行解码处理。换言之，解码i殳备40(M吏用 一种 不能完全确保前向和反向变换的不可逆方法来执行解码处理。解码设 备400包括熵解码单元401、去量化单元402、系数緩存单元403以及 逆小波变换单元404。
熵解码单元401与熵解码单元201基本相似。熵解码单元401使 用与熵编码单元306相对应的方法来解码所提供的编码数据，并且产 生系数数据。熵解码单元401将所产生的系数数据提供给去量化单元 402。去量化单元402 4吏用与量化单元303相对应的方法来执行去量化 处理，并且将去量化的系数数据提供给系数緩存单元403，以便保持 去量化的系数数据。应该指出的是，当在编码设备300中省略量化单 元303时，同样也会省略所述去量化单元402。
系数緩存单元403与系数緩存单元203基本相似。除了保持去量 化单元402提供的系数数据之外，系数緩存单元403还适当地将系数 数据提供给逆小波变换单元404，并且保持中间数据或是在逆小波变 换单元404中产生的图像数据。
逆小波变换单元404与逆小波变换单元204基本相似。所述逆小波变换单元404通过使用稍后描述的定点精度型5x3组合滤波器(在 下文中也将其称为定点型5x3组合滤波器)来执行不可逆的逆小波变 换。
应该指出的是，系数緩存单元403和逆小波变换单元404也被统 称为组合滤波器处理单元411。图19是显示组合滤波器处理单元411 的更详细例示结构的框图。
如图19所示，定点型逆小波变换单元404包括逆小波变换器421 和移位器422。
对于定点精度，在上文中已经描述了其与整数精度的差别。就定 点精度而言，由于数据在分析滤波器端以移位的方式向左移动，因此， 在组合滤波器端将会以移位的方式来反向地向右移动数据，并且所述 值将被带回到原始等级。这种右移一个或多个位的移位处理是在最终 解码图像(等级0)上执行的。换言之，通过使用系数緩存单元403， 逆小波变换器421为每一个等级重复执行组合滤波处理，在最终获得 了基带图像数据时，所述逆小波变换器421会将其提供给移位器422。 移位器422对所提供的基带图像数据执行向右移位处理，并且输出移 位后的数据。
接下来将会使用图20来描述使用定点型5x3分析滤波器的定点 型逆小波变换算术运算。图20显示的是执行一维小波变换(逆变换) 以及将图左端的低频分量s和高频分量d变换成图右端的输出图像的 操作。在这里，假设d^是小波变换等级为n的第m个高频分量系数。 同样，假设Smn是小波变换等级为n的笫m个低频分量系数。应该指 出的是，当11=0时，s和d分别是奇数编号和偶数编号的像素。
从图20中可以清楚看出，用于计算图右端的奇数编号像素s或 低频分量系数s的等式通常被表示成如下等式(lla)或等式(lib)。
sm+r=Sm+r+l-px(dmn+l+dm+r+i+2)…(ua)
sm+1n=sm+1n+1-Px(dmn+1+dm+1n+1) …(11b)
同样，用于计算图右端的偶数编号像素d或高频分量系数d的等 式可以表示为以下等式(12)。
35dmn+1=dmn+ax(smn+sm+1n)".(12)
其中，a=0.5并且|3=0.25。由于与分析滤波器端的高频分量相对 应的d的奈查斯特增益-2，因此，会执行增益调整，以使奈奎斯特增 益=1。换言之，分析滤波器端的高频分量系数d会与SH二0.5相乘。 相比之下，在组合滤波器端，有必要将奈奎斯特增益从1回到2。因 此在组合滤波器端，高频系数d将会与SH;2.0相乘，此外，在这里 还会应用等式(12)的算术运算。
接下来将要描述的是上述等式(lla)与(llb)之间的差别。由 于定点型5x3组合滤波器可以执行精度高于整数精度的变换处理，因 此，与上述分析滤波器中的舍入处理的情形一样，可以想到执行"+2" 舍入的等式(lla)(兼容)和不执行"+2"舍入的等式(lib)(不兼 容)。
为了在定点型5x3组合滤波器与上述整数型5x3组合滤波器之间 共用算术运算结构，有必要使用等式(lla)。
在这种执行图10所示的算术运算的定点型5x3组合滤波器中， 计算一对低频分量和高频分量系数所需要的算术运算量包括乘法"3" 和加法/减法"5"(兼容)或加法/减法"4"(不兼容)。
接下来将对如上所述的不可逆编码处理和解码处理流程进行描 述。首先参考图21的流程图来描述由编码设备300执行的例示编码处 理流程。该编码处理是一个使用不能完全确保前向和反向变换的不可 逆方法来编码图像数据的处理。
如上所述，分析滤波器处理单元311执行一个与可逆情形(由分 析滤波器处理单元111执行分析滤波处理的情形)中的分析滤波处理 基本相似的分析滤波处理，只不过分析滤波器处理单元311执行的是 定点精度而不是整数精度的处理。换言之，步骤S301到步骤S305的 处理是以与图12中的相应步骤S101到步骤S105的处理相类似的方 式执行的。
当分析滤波器处理单元311 (小波变换单元301)对相当于一个 区域的图像数据执行达到最终等级的定点精度的分析滤波处理时，在步骤S306，量化单元306将会量化与该区域相当的系数数据。事实上， 量化单元306是按顺序来量化小波变换单元301提供的系数数据项的。
在步骤S307，系数重新排序单元305按照从低频分量到高频分 量的顺序来对按照从高频分量到低频分量的顺序排列的已量化系数数 据重新排序。在步骤S308，熵编码单元306对重新排序的系数数据项 执行熵编码处理。在完成编码时，在步骤S309，小波变换单元301递 增所要处理的区域编号A的值，并且将所要处理的区域变为下一个区 域。在步骤S310，小波变换单元301确定是否存在未处理的行。如果 确定存在未处理的行，那么该处理返回到步骤S302,并且重复执行此 后的处理。作为替换，当在步骤S310中确定没有未处理的行时，小波 变换单元301将会终止编码处理。
编码设备300以图片(帧或域)为单位来重复执行如上所述的编 码处理。
接下来将参考图22中的流程图来描述解码设备400执行的例示 编码处理流程。该解码处理是一个使用不能完全确保前向和反向变换 的不可逆方法来解码编码数据的处理。
如上所述，解码设备400执行一个与可逆情形(由解码设备200 执行解码的情形)中的解码处理基本相似的解码处理，只不过解码设 备400执行的是定点精度而不是整数精度的处理。应该指出的是，由 于在不可逆情形中将最高优先级给予减少延迟时间的处理，因此，系 数的重新排序是在编码设备100中执行的。此外，在不可逆情形中， 量化处理同样是在编码设备300中执行的。因此，解码设备400将会 执行去量化处理，而不是重新排序系数。
当解码处理开始时，在步骤S401，熵解码单元401对输入编码 数据执行熵解码处理。在步骤S402,去量化单元402使用与步骤S306 (图21)相对应的方法来对系数数据执行去量化处理。在步骤S403， 当在系数緩存单元403中保持去量化单元402提供的与一个或多个区 域相当的系数数据时，逆小波变换单元404将会读出与 一个区域相当 的系数数据，并且将会执行定点精度的不可逆垂直组合滤波处理。在步骤S404,逆小波变换单元404执行定点精度的不可逆水平组合滤波 处理。
在步骤S405,逆小波变换单元404确定是否已经执行了达到等 级1的组合滤波处理。如果确定尚未达到等级1，那么该处理返回到 步骤S403，并且在低频分量上重复执行此后处理。作为替换，如果在 步骤S405中确定已经执行了达到等级1的组合滤波处理，那么该处理 前进至步骤S406。
在步骤S406,熵解码单元401确定是否终止解码处理。如果确 定不终止解码处理，那么该处理返回到步骤S401,并且重复执行此后 处理。作为替换，如果在步骤S406中确定终止解码处理，那么该解码 处理将被终止。
解码设备400以图片(帧或域)为单位来重复执行如上所述的解 码处理。
如图23中举例显示的那样，如上所述的各种处理是可以适当并 行执行的。
图23是显示在不可逆情形中由图14所示的编码设备300以及图
实例概述。所述图23与如上所述的图7和图8相对应。在小波变换单 元301 (图14)，第一小波变换WT-1 (图23中的B)被应用于图像 数据(图23中的A)的输入In-l。这个第一小波变换WT-1是在输入 前三行以及产生系数Cl的时候开始的。换言之，从输入图像数据In-l 到开始执行小波变换WT-1存在一个相当于三行的延迟。
所产生的系数数据被量化，此后被保存在系数重新排序緩存单元 304 (图14)中。随后，小波变换被应用于输入图像数据。在结束第 一处理时，该处理直接进行到第二小波变换WT-2。
在为第二小波变换WT-2输入图像数据In-2以及执行第二小波 变换处理WT-2的处理时，与之并行的是，系数重新排序单元305(图 14)将会对系数Cl、系数C4和系数C5这三个系数进行重新排序 Ord-l。应该指出的是，从完成小波变换WT-1到开始重新排列Ord-l的 延迟是一个基于设备或系统配置的延迟，例如，它可以是在传送用于 指示系数重新排序单元305执行重新排序处理的控制信号时所涉及的 延迟，系数重新排序单元305响应该控制信号来开始执行处理所需要 的延迟以及程序处理所需要的延迟，并且该延迟并不是在编码处理中 所涉及的主要延迟(essential delay )。
系数数据项按照完成重新排序时的顺序被从系数重新排序緩存 单元304中读出，并提供给熵编码单元155 (图14)，并且会对其执 行熵编码EC-1 (图23中的D)。这个熵编码EC-1可以在没有等到 完成重新排序所有这三个系数Cl、系数C4和系数C5的情况下开始。 例如，在根据最先输出的系数C5来重新排序一行的处理结束时，可 以开始对系数C5执行熵编码。在这种情况下，从开始执行重新排序 Ord-l的处理到开始执行熵编码EC-1的处理的延迟相当于一行。
预定信号处理^皮应用于已经由熵编码单元306完成熵编码EC-1 的编码数据，然后，这些编码数据将被传送到解码设备400 (图18) (图23中的E )。
与上文一样，在由第一处理输入相当于七行的图像数据之后，按 顺序将达到屏幕下端的行的图像数据项输入到编码设备300。根据图 像数据输入In-n ( n是2或更大)，编码设备300以如上所述的方式 来对每四行执行小波变换WT-n，重新排序Ord-n以及熵编码EC-n。 在编码设备300中，重新排序Ord和熵编码EC是响应于最后一个处 理而在六行上执行的。如图23中的A到图23中的D所示，这些处理 在编码设备300中是并行执行的。
对通过使用编码设备300执行熵编码EC-1而被编码的编码数据 来说，这些编码数据被提供给解码设备400。解码设备400 (图18) 中的熵解码单元401按顺序为供应给它并用熵编码EC-1编码的编码 数据熵编码执行解码iEC-l，并且恢复系数数据(图23中的F)。所 恢复的系数数据项^C去量化，然后则按顺序保存在系数緩存单元403 中。当在系数緩存单元403中保存的系数数据项与执行逆小波变换所
39需要的系数数据项一样多时，逆小波变换单元404将会从系数緩存单 元403中读出系数数据，并且使用所读出的系数数据来执行逆小波变 换iWT-l (图23中的G )。
如参考图7和图8所描述的那样，逆小波变换单元404执行的逆 小波变换iWT-l可以是在将系数C4和系数C5存入系数緩存单元403 的时候开始。由此，从熵解码单元401开始执行解码iEC-l到逆小波 变换单元404开始执行逆小波变换iWT-l的延迟相当于两行。
当在逆小波变换单元404中完成了与第一小波变换的相当于三行 的逆小波变换iWT-l时，执行使用逆小波变换iWT-l产生的图像数据 输出Out-l (图23中的H)。如使用图7和图8描述的那样，在输出 Out-l中输出的是笫一行的图像数据。
在利用编码设备300执行的第 一处理输入相当于3行的编码系数 数据之后，将使用熵编码EC-n (n是2或更大)编码的系数数据项按 顺序输入到解码设备400。如上所述，解码设备400以每四行来对输 入系数数据执行熵解码iEC-n和逆小波变换iWT-n，并且按顺序执行 使用逆小波变换iWT-n恢复的图像数据的输出Out-n。响应于编码设 备300执行的最后一次处理，在六行上执行熵解码iEC和逆小波变换 iWT,并且输出端Out输出八行。如图23中的F到图23中的H所示， 这些处理在解码设备400中是并行执行的。
通过在编码设备300和解码设备400中按照从屏幕上部到下部的 顺序并行执行各个处理，可以实施更低延迟的图像压缩处理和图像解 码处理。
参考图23,该图计算的是在使用定点型5x3分析滤波器和定点 型5x3组合滤波器执行达到分解等级=2的小波变换和逆小波变换的情 况下从图像输入到图像输出的延迟时间。对从将第 一行的图像数据输 入编码设备300的时间到从解码设备400输出第 一行的图像数据的延 迟时间来说，该延迟时间是下列各个要素的总和。应该指出的是，在 这里排除了依据系统配置而存在差异的延迟，例如传输线延迟或是设 备每一个单元的实际处理时间所涉及的延迟。(1) 从输入第一行到完成相当于七行的小波变换WT-1的延迟 D一WT
(2) 相当于三行的计数重新排序Ord-l所涉及的时间D—Ord
(3) 相当于三行的熵编码EC-1所涉及的时间D—EC
(4) 相当于三行的熵解码iEC-l所涉及的时间D—iEC
(5) 相当于三行的逆小波变换iWT-l所涉及的时间D_iWT 参考图23来尝试计算由于上述各个要素所导致的延迟。(1)中
的延迟D—WT是一个相当于十行的时间。对(2)中的时间D—Ord、 (3)中的时间D_EC、 (4)中的时间D_iEC以及(5)中的时间D_iWT 来说，这其中的每一个时间都是相当于三行的时间。此外，在编码设 备300中，在开始重新排序Ord-l—行之后，开始执行熵编码EC-1。 同样，在解码设备400中，在开始熵解码iEC-l两行之后，开始执行 逆小波变换iWT-l。另外，当在熵编码EC-1中完成相当于一行的编 码时，熵解码iEC-l可以开始处理。
由此，在图23的实例中，从将第一行的图像数据输入编码设备 300到从解码设备400中输出第一行的图像数据的延迟时间相当于 10+1+1+2+3=17行。
将使用一个更具体的实例来考虑延迟时间。举例来说，如果输入 图像数据是基于HDTV (高清电视)的交织视频信号，则为单个帧配 置1920个像素xl080行的分辨率，并且每一个域均由1920个像素x540 行构成。由此，如果假i殳帧频是30Hz，那么在16.67毫秒(=1秒/60 个域)的时间中将会向编码设备300输入540行，以此充当一个域。
由此，举例来说，相当于七行的图像数据输入中所涉及的延迟时 间是0.216毫秒(=16.67毫秒x7/540行)，与单个域的更新时间相比， 这是一个4艮短的时间。此外，对于上述时间、即(1)中的延迟D一WT、 (2)中的时间DJ)rd、 (3)中的时间D—EC、 (4)中的时间D—iEC 以及(5)中的时间D一iWT来说，与其总和相比，所要处理的行数是 4艮少的，相应地，延迟时间将会大为缩短。
与上文中一样，对参考图14到图23描述的使用不可逆方法的编码处理和解码处理来说，由于优先执行的是减少延迟时间，因此，编
码设备300中的熵编码单元306以区域为单位来编码系数数据。此外， 为了进一步减少延迟时间，在编码设备300 (系数重新排序单元305) 中对系数数据重新排序。更进一步，在不可逆方案的情形下，还可以 执行系数数据量化。通过在编码设备300 (量化单元303 )中执行量化， 可以进一步改善压缩效果。
此外，在不可逆方案的情形下，编码设备300可以在小波变换单 元301中使用不可逆滤波器，例如定点型5x3分析滤波器。相应地， 与使用可逆分析滤波器，例如整数型5x3分析滤波器的情形相比，编 码设备300可以执行精度更高的分析滤波处理。应该指出的是，除了 定点型5x3分析滤波器之外，同样可以使用其他的不可逆分析滤波器， 例如9x7分析滤波器、13x3分析滤波器或9x2分析滤波器。同样，除 了定点型5x3组合滤波器之外，其他的不可逆组合滤波器，例如9x7 组合滤波器、13x3组合滤波器或9x2组合滤波器，也适用于解码设备 400。
相比之下，对参考图l到图13描述的使用可逆方法的编码处理 和解码处理来说，当在编码设备100中编码以及在解码设备200中解 码基带图像数据时，编码前的基带图像数据被恢复。换言之，在这里 可以获得与编码前相比图像质量并未恶化的高质量解码图像。由此， 毫无疑问，与MPEG和JPEG200之类的常规方案相比，这些可逆方 法不但进一步减少了数据传输中的延迟时间，而且在某种程度上还考 虑了高质量的数据传输。 一般而言，延迟时间缩短与数据传输质量改 进存在着一种权衡关系。为了改进数据传输质量，必须在某种程度上 抑制延迟时间的缩短。
例如，编码设备100中的分析滤波器处理单元111以区域为单位 执行分析滤波处理。为了提高压缩效率和数据质量，在获取相当于多 个区域的系数数据之前，熵编码单元103保持备用，并且使用相当于 多个区域的系数数据来执行熵编码。同样，由于编码设备100使用的 是可逆方案，因此，编码设备IOO并未执行系数数据量化(解码设备200也不执行去量化)。如所述，系数重新排序是在解码设备200中 执行的。作为替换，当为缩短延迟时间给出更大加权时，在编码设备 100中可以执行系数重新排序处理。
此外，如所述，编码设备IOO中的小波变换单元IOI使用整数型 5x3分析滤波器来执行小波变换。作为替换，除了整数型5x3分析滤 波器之外，也可以使用其他可逆分析滤波器，例如2xl分析滤波器。 同样，除了整数型5x3组合滤波器之外，其他的可逆分析滤波器，例 如2xl组合滤波器，同样可以应用于解码设备200中的逆小波变换单 元204，以此取代整数型5x3组合滤波器。
与上文中一样，通过执行使用可逆方法的编码处理和解码处理， 编码设备100和解码设备200可以传送高质量和低延迟的图像数据。
应该指出的是，以上描述的是在使用可逆方法执行编码和解码处 理以及在执行数据传输时在编码设备中对系数执行重新排序。但是， 为了减少延迟时间，在编码i殳备中也可以对系数执行重新排序。
同样，在传送编码数据时，编码数据通常会被分组化和传送。在 这种情况下，在分组报头信息中可以添加与编码有关的信息，例如使 用可逆方法来执行编码的事实，在编码中使用的滤波器，熵编码中的 处理单元数量或者是否重新排序系数数据项，而解码设备则可以被配 置成基于该报头信息来执行依照编码处理内容的恰当解码处理。
在下文中将对这些情况进行描述。图24是显示应用本发明的编 码设备的另一个例示结构的框图。在图24中，与编码设备100—样， 编码设备500使用可逆方法来编码基带图像数据，以及产生编码数据。 应该指出的是，编码设备500还会分组化编码数据，并且输出经过分 组化的编码数据。在这种情况下，编码设备500使用与编码有关的信 息来产生报头信息，并且将报头信息连同编码数据一起提供给解码设 备。相应地，编码设备500可以将与编码处理相关的信息提供给解码 设备，并且解码设备能够根据报头信息来执行依照编码处理内容的恰 当解码处理。
如图24所示，编码设备500包括控制单元501、编码单元502、
43报头生成单元503、分组化单元504以及发送单元505。
通过将控制信息提供给编码单元502，控制单元501可以对编码 单元502执行的编码处理进行控制，例如在熵编码单元515的编码处 理中指定一个处理单元(区域数量)。举个例子，控制单元501根据 经由图中未显示的输入单元输入的用户指示、预先输入的预定设置信 息、外部设备提供的设置信息、控制单元501自身根据预定条件产生 的设置信息等等来产生或获取控制信息，并且将其提供给编码单元 502。
本质上，编码单元502是一个与图1中的编码设备IOO相对应的 处理单元。编码单元502与编码设备100具有类似结构，换言之，编 码单元502具有与小波变换单元101相对应的小波变换单元511、与 中间计算緩存单元102相对应的中间计算緩存单元(与分析滤波器处 理单元111相对应的分析滤波器处理单元521)、以及与熵编码单元 103相对应的熵编码单元515。应该指出的是，编码单元502具有按照 从低频分量到高频分量的顺序来对从分析滤波器处理单元521输出并 且按照从高频分量到低频分量的顺序排列的系数数据项重新排序的功 能。作为一种用于编码单元502的结构，该编码单元502包括系数重 新排序緩存单元513和系数重新排序单元514。
系数重新排序緩存单元513按顺序保持那些使用可逆方法编码图 像数据产生并由小波变换单元511提供的系数数据项。系数重新排序 单元514按照从低频分量到高频分量的顺序来对在系数重新排序緩存 单元513中按照从高频分量到低频分量的顺序保持的系数数据项重新 排序，并且将这些经过重新排序的系数数据项提供给熵编码单元515。
与分析滤波器处理单元511 —样，分析滤波器处理单元521中的 小波变换单元511使用中间计算緩存单元512来对输入图像数据执行 可逆的分析滤波处理，产生编码数据，以及将编码数据提供给系数重 新排序緩存单元513。应该指出的是，小波变换单元511有可能能够 选择所要使用的可逆分析滤波器。在这种情况下，举例来说，小波变 换单元511根据控制单元501提供的控制信息中包含的指示来选择滤波器。
熵编码单元515以预设数量的区域为单位使用可逆方法来对在系 数重新排序单元514中重新排序的系数数据项进行编码，以及将所获 得的编码数据提供给分组化单元504。
同样，编码单元502根据控制单元501提供的控制信息来设置和 控制编码单元502中的各个部分。同样，编码单元502还会产生相关 信息并且将所述相关信息提供给报头生成单元503,其中该相关信息 包括编码设置内容并且涉及编码处理。
报头生成单元503根据所提供的相关信息以预定数据单元为单 位，例如以图片为单位产生报头信息。
图25是示意性显示了报头生成单元503产生的图片报头实例的 图示。图25所示的图片报头530是添加给每一个图像数据的图片的报 头信息，并且它包含与该图片相关的信息。换言之，该图片报头530 被添加给与一个图片相对应的一组分组中的报头分组的报头部分。例 如，图片报头530将被添加给每一个图片的报头分组的报头部分。毫 无疑问，除了报头分组之外，图片报头530还可以被添加给其他分组。
如图25所示，指示图片报头530是图片报头的图片报头标志是 排列在头端的。此外，图片报头530包含与编码处理相关的信息，也 就是编码单元502提供的相关信息，例如可逆/不可逆标识信息532、 文件类型信息533、区域处理单元数量信息534以及系数重新排序信 息535。
可逆/不可逆标识信息532表明编码单元502执行的编码处理是 可逆方案还是不可逆方案。例如，该可逆/不可逆标识信息532包含1 位的标志信息。文件类型信息533指示的是在小波变换单元511中使 用的分析滤波器的文件类型。例如，该文件类型信息533包括预定标 识号、文件类型名称等等。区域处理单元数量信息534指示的是熵编 码单元515执行的编码处理中的处理单元。例如，区域处理单元数量 信息534是由区域数量指示的。系数重新排序信息535指示的是在编 码单元502中是否执行了系数的重新排序。例如，系数重新排序信息535包含1位的标志信息。
毫无疑问，图片报头530可以包括除以上信息之外的其他信息。 在上述与編码处理相关的信息项中，某些项是可以从图片报头530中 省略的；或者在图片报头530中还可以包含除上述信息之外的其他与 编码处理相关的信息。
当对在编码单元502中产生的编码数据进行解码的解码设备获得 此类相关信息时，该解码设备可以很容易就掌握在编码单元502中执 行的编码处理的内容。由此举例来说，当对应于多种编码方案由解码 设备对编码单元502中产生的编码数据进行解码时，该解码设备很容 易就能根据报头信息来设置恰当的解码处理。
分组化单元504以预定数据单元为单位来分组化编码单元502提 供的编码数据，并且酌情将报头生成单元503提供的报头信息添加给 分组，以及将所产生的分组提供给发送单元505。发送单元505根据 充当传输线的通信网格式来将分组经由传输线发送到解码设备。
应该指出的是，如上所述，报头生成单元503根据相关信息产生 图片报头。作为替换，除了图片报头之外，报头生成单元503还可以 在报头中包含其他与编码有关的信息。换言之，报头生成单元503用 以产生与编码有关的信息的定时是任意的，并且可以不是以图片为单 位。
在这里将会参考图26的流程图来描述上述编码设备500执行的 编码处理的例示流程。
在步骤S501，编码单元502根据控制单元501提供的控制信息 来执行各个部分的设置，即编码处理。在步骤S502,编码单元502开 始编码图像数据。关于编码处理的细节稍后将会参考图27的流程图来 描述。从此时开始，编码单元502执行的编码处理将会与下列处理并 行执行。
在开始对图像数据执行编码处理时，在步骤S503,分组化单元 504以预定数据单元为单位来对编码单元502提供的编码数据执行分 组化处理。在步骤S504，报头生成单元503确定是否已经编码了相当于一个图片的图像数据。如果确定已经编码了相当于一个图片的图像
数据，那么报头生成单元503会让处理前进至步骤S505，并且根据编 码单元502提供的相关信息产生包含与编码数据相关的信息的图片报 头530。关于图片报头生成过程的细节稍后将会参考图28的流程图来 进行描述。
在步骤S506，分组化单元504将所产生的分组报头添加至分组 的报头部分，并且让所述处理前进至步骤S507。作为替换，如果在步 骤S504确定尚未编码相当于一个图片的图像数据，那么分组化单元 504将会省略步骤S505和步骤S506的处理，并且让所述处理前进至 步骤S507。在步骤S507,发送单元505将所产生的分组发送至传输 线。
在步骤S508,编码单元502确定是否已更新了控制单元501提 供的控制信息。如果确定已经更新了控制信息，那么编码单元502让 处理前进至步骤S509，并且更新编码设置。在更新设置时，编码单元 502让所述处理前进至步骤S510。作为替换，如果在步骤S508确定 尚未更新控制单元501提供的控制信息，那么编码单元502将会省略 步骤S509的处理，并且让该处理前进至步骤S510。在步骤S510,编 码单元502确定是否终止编码处理。例如，在仍旧提供图像数据并且 相应地编码单元502确定继续编码处理时，该处理返回到步骤S503, 并且重复执行此后处理。作为替换，当在步骤S510中确定终止编码处 理时，编码单元502将会终止编码处理。
接下来将参考图27的流程图来描述编码单元502执行的编码处 理的例示流程。
该编码处理是以与参考图12的流程图描述的、由编码设备100 执行的编码处理基本相似的方式执行的。换言之，步骤S531到步骤 S535的处理是以与图12中的相应步骤S101到步骤S105的处理相似 的方式执行的。应该指出的是，对图27中的编码处理来说，在步骤 S536，系数重新排序单元514按照从低频分量到高频分量的顺序对按 照从高频分量到低频分量排列的系数数据项重新排序。此外，步骤
47S537和步骤S540的处理是以与图12中的相应步骤S106到步骤S109 的处理相类似的方式执行的。
编码单元502执行的编码处理是以上述方式执行的。
接下来将会参考图28中的流程图来描述在图26的步骤S505中 执行的图片报头生成处理的例示流程。
当开始图片>^艮头生成处理时，在步骤S61，报头生成单元503设 置图片报头标志531。在步骤S562，基于编码单元502提供的相关信 息，报头生成单元503根据所述编码方案是可逆方案还是不可逆方案 来"i殳置可逆/不可逆标识信息532。
在步骤S563，基于编码单元502提供的相关信息，报头生成单 元503根据小波变换中使用的滤波器类型来设置文件类型信息533。 在步骤S564，基于编码单元502提供的相关信息，^^头生成单元503 根据编码处理单元来设置区域处理单元数量信息534。在步骤S565， 报头生成单元503基于编码单元502提供的相关信息来设置表明系数 已被重新排序的系数重新排序信息535。更进一步，在步骤S566，报 头生成单元503根据编码单元502提供的相关信息来设置其他信息。
当步骤S566的处理结束时，该处理返回到图26的步骤S505, 并且执行从步骤S506开始的处理。
与上文中一样，编码设备500编码图像数据，分组化编码数据， 并且输出分组化的编码数据。此外，编码设备500还产生并输出与其 编码处理有关的信息。这样做可以让解码所述编码数据的解码设备容 易掌握编码处理的内容，并且采用恰当设置来执行解码处理。换言之， 编码设备500抑制了出现不必要数据的缺陷或是可能导致图像质量在 传输时恶化的类似缺陷，并且实现了更高质量的数据传输。
此外，由于编码设备500是按照解码处理(逆小波变换处理)顺 序、也就是从低频分量到高频分量的顺序来对按照从高频分量到低频 分量产生的系数数据项重新排序的，因此，该编码设备500可以进一 步减小因为数据传输导致的延迟时间(从开始编码处理到解码处理结 束)。稍后将会描述与这个编码处理相对应的解码处理。在此之前将会 继续描述编码设备。
如上所述，编码设备使用可逆方法或不可逆方法执行编码。作为 替换，编码设备可以被配置成能够选择编码方法。例如，编码设备可 以被配置成能够同时执行使用可逆方法的编码处理以及使用不可逆方 法的编码处理，并且选择使用哪一种方法来执行编码处理。此外，编 码设备还可以被配置成能够选择是否执行系数重新排序，并且能够在 熵编码中任意设置处理单元。换言之，编码设备可以被配置成能够任 意执行与编码处理有关的设置。
图29是显示应用本发明的编码设备的另一个例示结构的框图。
在图29中，编码设备600是对图像数据进行编码的编码设备， 并且它与上述编码设备500等等具有基本类似的结构。应该指出的是， 编码设备600可以选择4吏用可逆方法还是不可逆方法执行分析滤波处 理，并且可以选择是否执行重新排序处理。此外，编码设备600还可 以任意设置熵编码处理中的处理单元。
如图29所示，编码设备600包括控制单元601、编码单元602、 才艮头生成单元603、分组化单元604以及发送单元605。这些控制单元 601、编码单元602、寺艮头生成单元603、分组化单元604以及发送单 元605分别与编码i殳备500中的控制单元501、编码单元502、才艮头生 成单元503、分组化单元504以及发送单元505相对应，它们分别具 有基本相似的结构，并且执行的是相似的处理。
应该指出的是，如上所述，编码单元602能够改变分析滤波处理、 重新排序处理以及熵编码处理中的每一个处理的设置。如图29所示， 编码单元602包括分析滤波器处理单元621、重新排序处理单元622 以及编码单元623。
分析滤波器处理单元621与分析滤波器处理单元521相对应，并 且具有小波变换单元611和中间计算緩存单元612。除了具有与系数 重新排序緩存单元513相类似的系数重新排序緩存单元614以及与系 数重新排序单元514相类似的系数重新排序单元615之外，重新排序处理单元622还包括切换单元613和切换单元616。在控制单元601 的控制下，切换单元613和切换单元616在是否执行系数重新排序处 理之间进行切换。
例如，当受控于控制单元601的重新排序处理单元622在系数重 新排序单元615中对系数数据项执行重新排序处理时，重新排序处理 单元622使切换单元613切换连接，以便将小波变换单元611供应的 系数数据提供给系数重新排序緩存单元614，并且使切换单元616切 换连接，以便将系数重新排序单元615的输出提供给编码处理单元623 中的编码緩存单元617。
此外，举例来说，当受控于控制单元601的重新排序处理单元622 不执行系数重新排序单元615中的系数数据项的重新排序处理时，重 新排序处理单元622使切换单元613切换连接，以便将小波变换单元 611提供的系数数据提供给切换单元616，并且使切换单元616切换连 接，以便将切换单元613的输出提供给编码处理单元623中的编码緩 存单元617。
编码处理单元623包括编码緩存单元617和熵编码单元618。编 码緩存单元617按顺序累积切换单元616提供的系数数据项。熵编码 单元618对累积在编码緩存单元617中的系数数据执行熵编码，其中 所述熵编码与编码i殳备500中的熵编码单元515执行的熵编码相似。 ^种情况下，熵编码单元618使用控制单元601指定的区域数量作 为处理单元来执行熵编码。通过在编码緩存单元617中累积系数数据， 熵编码单元618还可以使用与任意数量(倍数)的区域相当的系数数 据作为处理单元来执行编码处理，其中举例来说，所述任意数量(倍 数)的区域可以是两个区域或三个区域。
图30是显示分析滤波器处理单元621的详细例示结构的框图。 如图30所示，小波变换单元611包括緩存单元631、切换单元632、 整数型小波变换单元633、定点型小波变换单元634以及切换单元635。
緩存单元631累积输入图像数据。切换单元632切换连接，由此 将緩存单元631输出的输入图像数据提供给整数型小波变换单元633
50和定点型小波变换单元634之一。整数型小波变换单元633与小波变 换单元111或小波变换单元511具有基本相似的结构，并且使用可逆 方法执行分析滤波处理。定点型小波变换单元634与小波变换单元301 具有基本相似的结构，并且使用不可逆方法执行分析滤波处理。切换 单元635切换连接，由此将整数型小波变换单元633和定点型小波变 换单元634的输出之一提供给切换单元613。
控制单元601提供控制信息，由此控制切换单元632、整数型小 波变换单元633、定点型小波变换单元634以及切换单元635的操作， 以及在整数型小波变换单元633和定点型小波变换单元634之一中执 行输入图像数据的小波变换处理(分析滤波处理)。换言之，在控制 单元601的控制下，分析滤波器处理单元621 (小波变换单元611)使 用可逆方法或不可逆方法执行小波变换。
编码设备600执行的编码处理流程与参考图26描述的情形基本 相似，相应地，与之相关的描述被省略。参考图31的流程图来描述编 码处理的例示流程，其中该处理是在与图29的小波变换单元611所执 行的图26的步骤S502相对应的处理中开始的。
步骤S601到步骤S605的处理是以与相应步骤S531到步骤S535 的处理基本相似的方式执行的。应该指出的是，在步骤S603和步骤 S604，在控制单元601的控制下，小波变换单元611使用整数型小波 变换单元633和定点型小波变换单元634之一、也就是使用可逆方法 或不可逆方法来执行分析滤波(垂直分析滤波和水平分析滤波)。
在步骤S606，在控制单元601的控制下，重新排序处理单元622 确定是否对系数数据项重新排序。如果确定执行重新排序处理，那么 重新排序处理单元622控制切换单元613和切换单元616，以便能够 使用系数重新排序单元615。在步骤S607，重新排序处理单元622按 照从低频分量到高频分量的顺序来对从小波变换单元611输出并且按 照从高频分量到低频分量的顺序排列的系数数据项重新排序。如果在 步骤S606确定不对系数数据项执行重新排序处理，那么重新排序处理 单元622省略步骤S607的处理。步骤S608到步骤S611的处理是以与相应步稞S537到步骤S540 的处理基本相似的方式执行的。应该指出的是，熵编码单元618使用 控制单元601设置的数据单元(区域数量)作为处理单元来执行熵编 码。
编码单元602以图片为单位来重复执行上述编码处理。
接下来将参考图32的流程图来描述在与图26步骤S501相对应 的处理中执行的设置处理的例示流程。
当设置处理开始时，在步骤S631，小波变换单元611根据控制 单元601提供的控制信息来确定是否执行可逆编码。如果确定使用可 逆方案执行编码，那么小波变换单元611让所述处理前进至步骤S632, 并且通过控制切换单元632和切换单元635来选择整数型小波变换单 元633，以及激活整数型小波变换单元633。
作为替换，当在步骤S631中确定使用不可逆方案执行编码时， 小波变换单元611会让该处理前进至步骤S633,并且通过控制切换单 元632和切换单元635来选择定点型小波变换单元634，以及激活定 点型小波变换单元634。
在步骤S634，重新排序处理单元622根据控制单元601提供的 控制信息来确定是否执行重新排序处理。如果确定对系数数据重新排 序，那么重新排序处理单元622会让该处理前进至步骤S635，并且通 过控制切换单元613和切换单元616来执行重新排序处理，以及激活 系数重新排序单元615和系数重新排序緩存单元614。相比之下，当 在步骤S634中确定不执行重新排序处理时，重新排序处理单元622 会让该处理前进至步骤S636,并且通过控制切换单元613和切换单元 616来避免执行重新排序处理。
在步骤S637，熵编码单元618根据控制单元601提供的控制信 息来设置熵编码的处理单元(例如区域数目)。换言之，熵编码单元 618将会一直保持备用，直至在编码緩存单元617中累积了与作为所 设置的处理单元的区域数量相当的系数数据项为止。当在编码緩存单 元617中累积了与作为所设置的处理单元的区域数量相当的系数数据项时，熵编码单元618使用这些系数数据项来执行熵编码处理。
当步骤S637的处理结束时，该处理将会返回到与图26的步骤 S501相对应的处理，并且执行此后的处理。
依照上述方式，编码设备600可以根据控制信息来执行与编码单 元602的编码方法有关的设置。应该指出的是，在更新设置时，所述 更新可以用相似处理来执行。此外，编码设备600中的报头生成单元 603将如上执行的编码处理设置作为与编码有关的信息嵌入到图片报 头中。其方法与参考图28的流程图描述的情形相似。该报头生成单元 603根据编码单元602提供的相关信息而将每一个信息项嵌入图片报 头中。
应该指出的是，如上所述，使用可逆方法执行小波变换的情形与 使用不可逆方法执行小波变换的情形之间的切换是使用整数型小波变 换单元633和定点型小波变换单元634之一来执行的。如上所述，除 了位精度之外，可逆分析滤波处理和不可逆分析滤波处理可以是公共 的。
图33是显示分析滤波器处理单元621的另一个详细例示结构的框图。
如图33所示，在本范例中，小波变换单元611包括緩存单元641、 切换单元642、移位器643、切换单元644以及小波变换器645。移位 器643和小波变换器645与移位器321和小波变换器322 (图15 )是 相似的。緩存单元641临时保持输入图像数据，并且以预定定时将图 4象数据提供给切换单元642。在控制单元601的控制下，切换单元642 和切换单元644对连接进行切换，由此选择是否使用移位器643。
例如，当小波变换单元611根据来自控制单元601的控制信息执 行整数精度的分析滤波处理(使用可逆方法的分析滤波处理)时，切 换单元642和切换单元644切换连接，由此将緩存单元641输出的图 像数据在未经过移位器643的情况下提供给小波变换器645。
作为替换，举例来说，当小波变换单元611根据来自控制单元601 的控制信息执行定点精度的分析滤波处理(使用不可逆方法的分析滤此将緩存单 元641输出的图像数据经由移位器643提供给小波变换器645。
换言之，当小波变换器645在没有移动一个或多个位的情况下执 行输入图像数据的小波变换时，小波变换器645执行整数精度的小波 变换处理(使用可逆方法)。相比之下，当小波变换器645使用移位 器643来移动输入图像数据的一个或多个位并且随后执行输入图像数 据的小波变换时，小波变换器645执行定点精度的小波变换处理(使 用不可逆方法)。
通过彼此共有某些结构部分，可以抑制硬件的增加(电路大小)， 并且可以减小编码设备600的功耗和成本。应该指出的是，由于该切 换方法和图片报头生成方法与图30中的结构范例相似，因此与之相关 的描述将被省略。
接下来将会描述一个解码设备，其中该解码设备与上述编码设备 500以及编码设备600相对应，解码设备对图片报头(与编码有关的 信息)进行分析，并且执行恰当的解码处理。图34是显示解码设备的 另一个例示结构的框图。
在图34中，解码设备700与上述编码设备500以及编码设备600 相对应，它对从其提供的图片报头(与编码有关的信息)进行分析， 并且执行恰当的解码处理。该解码设备700包括接收单元701、分组 分析单元702、报头分析单元703以及解码单元704。
接收单元701接收编码设备提供的分组，并且将所述分组提供给 分组分析单元702。分组分析单元702对所提供的分组进行分析，从 分组中提取图片报头之类的报头信息，并且将报头信息提供给报头分 析单元703。此外，分组分析单元702还从分组中提取编码数据，并 且将编码数据提供给解码单元704。报头分析单元703对所提供的报 头信息进行分析，提取包含在上述报头中的与编码有关的信息，根据 与编码有关的信息产生用于解码处理的控制信息，以便优化解码处理 的设置，以及将控制信息提供给解码单元704中的控制单元711。
解码单元704具有与解码设备200或解码设备400基本类似的结构。该解码单元704使用与在编码设备中执行的编码处理相对应的方 法来解码所提供的编码数据，并且产生基带图像数据。
如图34所示，解码单元704包括控制单元711、熵解码单元712、 重新排序处理单元731以及組合滤波器处理单元732。
根据报头分析单元703提供的控制信息，控制单元711对熵解码 单元712、重新排序处理单元731以及组合滤波器处理单元732的操 作进行控制。在控制单元711的控制下，熵解码单元712使用与编码 设备中执行的熵编码处理相对应的方法来对分组分析单元702提供的 编码数据执行熵解码处理，并且将所获得的系数数据提供给重新排序 处理单元731中的切换单元713。
重新排序处理单元731具有与重新排序处理单元622基本相似的 结构。在控制单元711的控制下，重新排序处理单元731可以选择是 否执行系数数据的重新排序处理。如图34所示，重新排序处理单元 731包括切换单元713、系数重新排序緩存单元714、系数重新排序单 元715以及切换单元716。也就是说，在控制单元711的控制下，重 新排序处理单元731对切换单元713和切换单元716的连接进行切换， 相应地，该重新排序处理单元731对是否使用系数重新排序緩存单元 714和系数重新排序单元715执行系数数据的重新排序处理进行切换。 应该指出的是，当在编码设备端未执行系数重新排序时，重新排序处 理单元731执行系数数据的重新排序处理。当在编码设备端执行了系 数重新排序处理时，重新排序处理单元731不执行系数数据的重新排 序处理。
与上文中一样，根据在编码设备端是否执行了系数数据重新排序 处理，重新排序处理单元731可以很容易就选择是否执行系数数据的 重新排序处理。切换单元716将所提供的系数数据提供给组合滤波处 理单元732中的增益调整单元717。
组合滤波器处理单元732包括增益调整单元717、系数緩存单元 718以及逆小波变换单元719。系数緩存单元718和逆小波变换单元 719具有与系数緩存单元203和逆小波变换单元204 (图9)或是系数緩存单元403和逆小波变换单元404 (图18)基本相似的结构，并且 执行的是相似的处理。应该指出的是，逆小波变换单元719可以使用 可逆方案和不可逆方案执行組合滤波处理。增益调整单元717则根据 需要来执行系数数据的高频分量的增益调整。
图35是显示组合滤波器处理单元732的详细例示结构的框图。 如图35所示，增益调整单元717包括切换单元751、高频分量增 益调整单元752以及切换单元753。在控制单元711的控制下，增益 调整单元717选择是否调整高频分量的增益。当执行增益调整时，在 控制单元711的控制下，增益调整单元717使切换单元751和切换单 元753切换连接，由此将输入到切换单元751的系数数据经由高频分 量增益调整单元752提供给切换单元753。高频分量增益调整单元752 对所提供的系数数据的高频分量执行预定增益调整。例如，当在编码 端执行增益调整时，增益调整单元717会在与编码时相反的方向上执 行增益调整。
作为替换，如果不执行增益调整，那么增益调整单元717会在控 制单元711的控制下让切换单元751和切换单元753切换连接，由此 在未经高频分量增益调整单元752的情况下将输入切换单元751的系 数数据提供给切换单元753。
与上文中一样，根据在编码设备端执行的分析滤波处理方法(存 在或者不存在增益调整处理)，增益调整单元717可以很容易选择是 否执行增益调整。切换单元753将所提供的系数数据提供给系数緩存 单元718，以便保持所提供的系数数据。
逆小波变换单元719对累积在系数緩存单元718中的系数数据执 行组合滤波处理，并且产生基带图像数据。与小波变换单元611 (图 30) —样，逆小波变换单元719包括用于使用可逆方法执行组合滤波 处理的整数型逆小波变换单元754，以及用于使用不可逆方法执行组 合滤波处理的定点型逆小波变换单元755。逆小波变换单元719还包 括切换单元756和緩存单元757。在控制单元711的控制下，切换单 元756对连接进行切换，由此使用整数型逆小波变换单元754和定点
56型逆小波变换单元755之一来执行组合滤波处理。该緩存单元757临 时保持经由切换单元756提供的整数型逆小波变换单元754或定点型 逆小波变换单元755的输出，即基带图像数据，并且以预定定时输出 基带图像数据。
例如，当在编码设备中使用可逆方法执行编码时，在控制单元711 的控制下，逆小波变换单元719被配置成选择整数型逆小波变换单元 754，并且使用整数型逆小波变换单元754执行组合滤波处理。同样， 在控制单元711的控制下，逆小波变换单元719将整数型逆小波变换 单元754和緩存单元757连接到切换单元756，由此将整数型逆小波 变换单元754的输出保存到緩存单元757。
作为替换，举例来说，当在编码设备中使用可逆方法执行编码时， 在控制单元711的控制下，逆小波变换单元719被配置成选择定点型 逆小波变换单元755，并且使用定点型逆小波变换单元755执行组合 滤波处理。同样，在控制单元711的控制下，逆小波变换单元719将 定点型逆小波变换单元755和緩存单元757连接到切换单元756,以 便将定点型逆小波变换单元755的输出保存到緩存单元757。
与上文中一样，逆小波变换单元719可以很容易根据编码设备端 的分析滤波处理方法使用恰当方法执行组合滤波处理。
接下来将参考图36的流程图来描述解码设备700执行的解码处 理的例示流程。
当解码处理开始时，在步骤S701，解码设备700中的接收单元 701接收一个分组。在步骤S702，分组分析单元702分析该分组。在 步骤S703，分组分析单元702确定该分组是否包括图片报头(与编码 有关的信息)。应该指出的是，当与编码有关的信息包含在另一个报 头中时，分组分析单元702确定该分组是否包括该报头信息。
如果确定该分组包括图片#^头，那么分组分析单元702会让所述 处理前进至步骤S704。在步骤S704,报头分析单元703分析图片报 头，产生控制信息，并且执行解码单元704的设置。关于该处理的细 节将会参考图37的流程来进行描述。当步骤S704的处理结束时，该报头分析单元703让该处理前进至步骤S705。
作为替换，当在步骤S703中确定该分组不包括图片报头时，分 组分析单元702省略步骤S704的处理，并且让所述处理前进至步骤 S705。
在步骤S705,作为上述分组的接收和分析结果，解码单元704 确定在熵解码单元712中是否已经累积了预定数量的编码数据。如果 确定尚未累积预定数量的编码数据，那么该处理返回到步骤S701，更 进一步，继续进行获取和分析分组的处理。作为替换，当在步骤S705 中确定已经获得预定数量的编码数据时，解码单元704会让所述处理 前进至步骤S706，并且执行一个对编码数据进行解码的处理。稍后将 会参考图38中的流程图来描述解码处理细节。
在步骤S707，接收单元701确定是否终止解码处理。如果确定 不终止解码处理，那么该处理返回到步骤S701，并且重复执行此后的 处理。作为替换，当在步骤S707中确定终止解码处理时，接收单元 701终止分组接收，并且终止解码处理。
接下来将参考图37中的流程图来描述在图36的步骤S704中执 行的图片报头分析处理的例示流程。
在步骤S721，报头分析单元703参考图片报头530中的可逆/不 可逆标识信息532。在步骤S722,报头分析单元703根据可逆/不可逆 标识信息532来确定编码数据的编码方案是否为可逆方案。如果确定 编码方案是可逆方案，那么报头分析单元703将该处理提前至步骤 S723。
在步骤S723,报头分析单元703控制切换单元751和切换单元 753，以免执行增益调整。应该指出的是，事实上，报头分析单元703 只产生控制信息。实际控制是由控制单元711根据报头分析单元703 产生的控制信息来执行的。相同的情况也适用于下列处理。
在步骤S724,才艮头分析单元703对切换单元756进行控制，以 便选择整数型逆小波变换单元754，以及激活整数型逆小波变换单元 754。作为替换，当在步骤S722中根据可逆/不可逆标识信息532确定 该编码方案是不可逆方案时，报头分析单元703将该处理提前至步骤 S725。
在步骤S725,报头分析单元703对切换单元751和切换单元753 进行控制，以便执行增益调整。在步骤S726，报头分析单元703对切 换单元756进行控制，以便选择定点型逆小波变换单元755，以及激 活定点型逆小波变换单元755。
当步骤S724或步骤S726的处理结束时，在步骤S727，报头分 析单元703选择一个滤波器，其中该滤波器的类型是在文件类型信息 533中指示的。这种处理与可以由整数型逆小波变换单元754或定点 型逆小波变换单元755 (被激活的逆小波变换单元)选择所要使用的 滤波器的范例是对应的。当整数型逆小波变换单元754或定点型逆小 波变换单元755 (被激活的逆小波变换单元)只能使用一个滤波器时， 该处理将#_省略。
在步骤S728,报头分析单元703参考图片报头530中的系数重 新排序信息535。在步骤S729，报头分析单元703确定是否执行系数 数据的重新排序处理。如果确定执行系数数据的重新排序处理，那么 报头分析单元703将所述处理提前至步骤S730。
在步骤S730,报头分析单元703控制切换单元713和切换单元 716，以便执行重新排序处理以及激活系数重新排序单元715和系数重 新排序緩存单元714。作为替换，当在步骤S729中确定不执行系数数 据的重新排序处理时，报头分析单元703会将该处理提前至步骤S731， 并且通过控制切换单元713和切换单元716而不执行重新排序处理。
在步骤S732，报头分析单元703会在熵解码设置中反映出在区 域处理单元数量信息534中指示的处理单元。此外，在步骤S733，报 头分析单元703根据需要而在不同设置中反映出图片报头530中包含 的其他信息，并且终止图片报头分析处理。该处理返回到图36中的步 骤S704，并且执行此后的处理。
与上文中 一样，报头分析单元703分析编码设备提供的图片报头200880000450.3
(与编码有关的信息)，并且根据编码设置来产生控制信息，以便恰
当执行解码设置。相应地，解码设备700很容易就可以根据编码设置 来使用恰当方法执行解码处理，抑制不必要数据恶化或延迟时间的出 现，并且执行高质量和低延迟的数据传输。
接下来将参考图38的流程图来描述由解码单元704在图36的步 骤S706中执行的解码处理的例示流程。
在步骤S751，熵解码单元712对编码数据执行熵解码处理。在 步骤S752，系数重新排序单元715确定是否执行系数的重新排序。如 果确定执行重新排序处理，那么系数重新排序单元715会将该处理提 前至步骤S753，并且对系数数据重新排序。作为替换，当在步骤S752 中确定不执行系数的重新排序时，系数重新排序单元715将会省略步 骤S753中的处理。
在步骤S754，增益调整单元717确定是否执行增益调整。如果 确定执行增益调整，那么增益调整单元717会将该处理提前至步骤 S755，并且调整高频分量的增益。作为替换，当在步骤S754中确定 不执行增益调整时，增益调整单元717省略步骤S755的处理。
在步骤S756，逆小波变换单元719使用整数型逆小波变换单元 754和定点型逆小波变换单元755之一来使用可逆方案或不可逆方案 执行垂直组合滤波。在步骤S757，逆小波变换单元719使用整数型逆 小波变换单元754和定点型逆小波变换单元755之一来使用可逆方案 或不可逆方案执行水平组合滤波。
在步骤S758，逆小波变换单元719确定是否已经执行了达到等 级l的组合滤波处理。如果确定尚未完成等级l的组合滤波处理，那 么该处理返回到步骤S756，并且执行下一级的组合滤波处理。当在步 骤S758中确定已经完成了等级l的组合滤波处理时，逆小波变换单元 719将该处理提前至步骤S759。在步骤S759，解码单元704确定是否 终止解码处理。在继续提供编码数据并且相应地确定不终止解码处理 时，解码单元704会将该处理带回到步骤S751,并且执行此后的处理。 当在步骤S759中确定终止解码处理时，解码单元704终止解码处理。解码单元704以图片为单位来执行该解码处理。
应该指出的是，对逆小波变换单元719来说，与小波变换单元611 一样，整数型逆小波变换单元754和定点型逆小波变换单元755的某 些结构是可以共用的。
图39是显示分析滤波器处理单元732的另一个详细例示结构的 框图。在图39中，小波变换单元719包括逆小波变换器764、切换单 元765、移位器766、切换单元767以及緩存单元768，这些设备在可 逆方案和不可逆方案中都是共用的。除组合滤波处理的位精度之外， 逆小波变换单元719使这些部分在可逆方案和不可逆方案中共用。换 言之，对不可逆方案来说，逆小波变换器764执行定点精度的组合滤 波处理。相应地，在控制单元711的控制下，逆小波变换单元719使 切换单元765和切换单元766切换连接，以便在与编码时相反的方向 上在移位器766中移位数据。
相反，对可逆方案来说，逆小波变换器764执行整数精度的组合 滤波处理。相应地，在控制单元711的控制下，逆小波变换单元719 使切换单元765和切换单元766切换连接，以数据通过移位器766。
緩存单元768临时存储切换单元767提供的基带图像数据，并且 以预定定时输出基带图像数据。
图40和图41显示的是用于计算组合端的高/低频分量系数的例 示硬件结构。首先参考图40来描述用于计算低频分量的系数值或像素 值(在等级0的情况下)的结构。在这里，为了简化描述，假设该结 构包括三个寄存器Rm、 Rn和Rd，在图中被分别指示为+ 、 +2和-的 加法器771、 772和775，用于执行x0.25的算术运算的乘法器773以 及被指示成是floor的舍入单元774。此外，举例来说，每一个寄存器 Rm、 Rn和Rd都被配置成能够单独存储四个值x、 y、 z和w。通过 将已描述的预定滤波操作应用于寄存器中保存的系数值，寄存器计算 低一级的系数值或像素值(在等级0的情况下)。
换言之，来自寄存器Rm的四个值(例如d。1， d。1， d/和d )以 及来自寄存器Rn的四个值(例如d。1， d ， d 和d卩)分别由加法器771
61相加。加法器772中的单个加法结果将被加2。来自加法器772的四 个输出值分别在乘法器773中与0.25相乘(或者将两个位向右移动)， 以便产生四个值，并且这些值分别由舍入单元774进行舍入处理，以 便产生发送至加法器775的四个值。这四个值分别与来自寄存器Rd 的四个值(例如s/，s/，s/和S31)相减，由此计算低一级的低频分量 的系数值或像素值(例如s00， SlG， s2G， s3fl)。
此外举例来说，当提供了具有某个位长度的整数寄存器时，这时 可以执行整数精度的已描述的滤波。当使用具有某个位长度的定点寄 存器来替换这些寄存器时，可以执行已描述的定点精度的滤波。此外， 除了改变寄存器精度之外，在不需要改变硬件结构的情况下，也可以 实现该处理。这样一来，硬件结构元件是可以通用的。
在图40的具体实例结构中，低频分量被保存并放置在寄存器Rd 中，高频分量被保存在寄存器Rm和Rii中。操作结果则被重新保存 在寄存器Rd中。这样一来，在已使用的不必要系数上将会改写结果， 相应地，不需要使用额外的寄存器，并且这样做的效率是很高的。此 外，这样做还有助于减少硬件。
对在图40中被指示为floor的舍入单元774的具体舍入处理实例 来说，由floor执行的舍入处理(round off)并没有被定义成是舍入 小数，而是被定义成是舍入到数值较小的整数的处理。依照该定义， 举例来说，在这里将会得到如下结果
+2.3 ++2 (正值)
-2.3分画3 (负值)
接下来将参考图41来描述用于计算高频分量的系数值或像素值 (在等级0的情况下)的结构。在这里，为了简化描述，假设该结构 包括三个寄存器Rm、 Rn和Rd,加法器781和785，执行算术运算x0.5 的乘法器782，以及被指示成是floor的舍入单元783。此外举例来说， 每一个寄存器Rm、 Rn和Rd都被配置成能够单独存储四个值x、 y、 z和w。通过将上述预定滤波操作应用于寄存器中保存的系数值，寄 存器计算低一级的系数值或像素值(在等级0的情况下)。
62也就是说，来自寄存器Rn的四个值(例如sQc， Sl°， s/和s3°)以 及来自寄存器Rm的四个值(例如Sl°， s20， s3°和s4°)分别由加法器781 相加。在乘法器782中，相加结果通过单独与0.5相乘(或是右移一 位)而产生四个值，这些值单独由舍入单元783执行舍入处理，以便 产生发送至加法器784的四个值。这四个值分别与来自寄存器Rd(例 如d。1, d。1， d 和)的四个值相减，由此计算低一级的高频分量的系 数值或像素值(例如cC，dAd/和d/)。在这里，在寄存器Rd的四 个值(d。1, d。1， dj和d )中使用了两个do1，这是因为如上所述，位 于屏幕末端的屏幕外部数据是由屏幕内部的相邻数据补充的(参见图 11中的d(/以及充当其折返使用的虛线圆圏)。
即使对图41的具体实例来说，与如上所述的图40的具体实例一 样，在完全不必改变硬件结构的情况，只要决定将单个寄存器Rm、 Rn和Rd用作整数寄存器还是定点寄存器，整数型组合滤波器的结构 和定点型组合滤波器的结构即可通用。此外，与如上所述的图40中的 舍入单元774中一样，在图41中被指示为floor的舍入单元783的舍 入处理并没有被定义成是舍入小数，而是被定义成执行一个舍入到具 有较小值的整数的处理。另外，在图41的具体实例中，低频分量被保 存和放置在寄存器Rm和Rn中，高频分量则被保存在寄存器Rd中。 操作结果被重新保存在寄存器Rd中。这样一来，对已使用且不必要 的系数改写结果，相应地，在这里不需要使用额外寄存器，这样做是 非常有效的。此外，这样做还有助于减少硬件。应该指出的是，除此 之外，这些寄存器显然还可以具有其他的使用方式。寄存器越大，可 存储的数据量也就越大。此外，可以同时滤波的数据量也会增加，这 样做有助于提高处理速度。
现在，如上所述的图40和图41中的乘法器773和782可以由移 位算子替换。特别地，图40中的x0.25乘法器773明显对应于右移两 位，并且图41中的x0.5乘法器782对应的是右移一位。正如已经知 道的那样， 一般来说，与制造实施乘法器的硬件相比，制造实施移位 算子的硬件要更为容易和有效。应该指出的是，如图39所示，即使在可逆方案和不可逆方案中 共用逆小波变换单元的一部分结构，针对解码处理方案(切换单元的 切换等等)和方法的选择与图35的情形也是相似的，并且与之相关的
描述#:省略。
此外，对不可逆方法来说，是否在编码设备600中执行量化处理 是可选的。其方法必须与参考图29描述的重新排序处理单元622的情 形相似。用于指示是否已经执行量化处理的信息同样可以嵌入图片报 头530,这与重新排序系数的情形是相同的。同样，对不可逆方法来 说，是否在解码设备700中执行去量化处理是可选的。其方法必须与 参考图34描述的重新排序处理单元731的范例相似。该解码设备需要 参考图片报头，并且只有在编码设备中执行了量化处理的时候才会执 行去量化处理。
如上所述的一系列处理既可以由硬件执行，也可以由软件执行。 当由软件执行这一 系列处理时，用于配置软件的程序将会从程序记录 介质安装到内置于专用硬件的计算机中、或者安装到可以使用所安装 的各种程序来执行各种功能的通用个人计算机中，亦或是由多个设备 组成的信息处理系统的信息处理设备中。
图42是显示根据程序来执行如上所述的一系列处理的信息处理 系统的例示结构的框图。
如图42所示，信息处理系统800是这样一个系统，该系统:故配 置成具有信息处理设备801、使用PCI总线802与信息处理设备801 相连的存储设备803、多个磁带录像机(VTR) VTR 804-1到VTR 804-S,以及可供用户执行操作输入的鼠标805、键盘806和操作控制 器807,此外，该系统是一个根据安装程序来执行上述图像编码处理、 图像解码处理等等的系统。
例如，信息处理系统800中的信息处理设备801既可以在存储设 备803中存储编码数据，也可以在存储设备803中存储解码图像数据 (运动图像内容)，还可以借助VTR804-1到VTR804-S将编码数据 和解码图像数据存入录像带，其中所述编码数据是通过编码那些存储
64在由RAID (独立冗余磁盘阵列)组成的大容量存储设备803中的运 动图像来获得的，所述解码图像数据则是通过解码那些存储在存储设 备803中的编码数据来获得的。此外，信息处理设备801.被设置成能 够将安装在VTR804-1到VTR804-S上的录像带记录的运动图像内容 引入存储设备803。在这种情况下，信息处理设备801可以对运动图 像内容进行编码。
信息处理设备801具有微处理器901、 GPU(图形处理单元)卯2、 XDR(极端数据速率)-RAM 903、南桥904、 HDD (硬盘驱动器)905、 USB接口 (USBI/F)卯6以及声音输入/输出编解码器907。
GPU 902经由专用总线911与孩史处理器901相连。XDR-RAM卯3 经由专用总线912与微处理器901相连。南桥904经由专用总线与微 处理器901的I/O控制器944相连。与南桥904相连的还包括HDD 905、 USB接口 906以及声音输入/输出编解码器卯7。扬声器921与声音输 入/输出编解码器907相连。并且显示器922与GPU卯2相连。
此外，鼠标805、键盘806、 VTR 804-1到VTR 804-S、存储设 备803以及操作控制器807同样经由PCI总线802与南桥904相连。
鼠标805和键盘806接收来自用户的操作输入，并且经由PCI 总线802和南桥卯4而将指示用户输入的操作内容的信号提供给微处 理器901。存储设备803和VTR 804-1到VTR 804-S被配置成能够记 录或再现预定数据。
根据需妾与PCI总线802相连的还包括驱动器808，在该驱动器 上安装了可拆卸介质811，例如磁盘、光盘、磁光盘或半导体存储器， 从中读出的计算机程序根据需要而被安装在HDD 905上。
微处理器901被配置成具有多核结构，在该结构中，举例来说， 在单个芯片上集成了通用主CPU核心941、子CPU核心942-1到子 CPU核心942-8、存储器控制器943以及I/0(输入/输出)控制器944, 其中主CPU核心941执行OS (操作系统)之类的基本程序，所述子 CPU核心是经由内部总线945与主CPU核心941相连的多个(在本 范例中是八个)RISC (简减指令集计算机)型信号处理处理器，存储
65器控制器943对例如容量为256[兆字节的XDR-RAM903执行存储控 制，I/O (输入/输出)控制器944则对与南桥904的数据输入和输出 进行管理，此外，举例来说，所述微处理器实现了 4GHz的工作频率。 在激活时，微处理器卯l根据保存在HDD卯5上的控制程序来 读出保存在HDD 905中的必要应用程序，并且会在XDR-RAM 803 中扩展该应用程序，随后根据应用程序和操作者的操作来执行必要的 控制处理。
此外，举例来说，通过执行软件，^:处理器卯1可以实现上述编 码处理和解码处理，将作为编码结果得到的编码流经由南桥904提供 给HDD 905，以便进行存储，以及对从运动图像内容中再现的视频图 像执行数据传送，以便将其传送至GPU902，从而将其显示在显示器 922上，其中所述视频图像是从作为解码结果得到的运动图像内容中 再现的。
在微处理器901中使用每一个CPU核心的方法是任意的，例如， 主CPU核心941可以执行与控制图像编码处理和图像解码处理相关的 处理，并且可以通过控制/\个子CPU核心942-1到子CPU核心94,2-8 来执行处理，例如小波变换、系数重新排序、熵编码、熵解码、逆小 波变换、量化以及去量化，其中举例来说，这些处理是以并行方式同 时执行的，就好像像参考39所描述的那样。在这种情况下，当主CPU 核心941被设置成基于逐个区域而将处理指定给八个子CPU核心 942-1到子CPU核心942-8中的每一个时，如上所述，基于逐个区域
而以并行方式同时执行编码处理和解码处理。换言之，可以改善编码 处理和解码处理的效率，可以缩短整个处理的延迟时间，此外，也可
以减少这些处理需要的负载、处理时间和存储容量。毫无疑问，也可 以使用其他方法执行每一个处理。
例如，在孩l处理器901的这八个子CPU核心942-1到子CPU核 心942-8中，某些子CPU核心可以被一i殳置成执行编码处理，剩余子 CPU核心则可以被设置成同时以并行方式执行解码处理。
此外，举例来说，在将独立编码器或解码器或是编解码处理设备与PCI总线802相连时，微处理器901的八个子CPU核心942-1到 子CPU核心942-8可以祐:设置成借助南桥904和PCI总线802来控 制由这些设备执行的进程。此外，在连接了多个此类设备或者在这些 设备包含了多个解码器或编码器时，微处理器901的八个子CPU核心 942-1到子CPU核心942-8可以被z没置成以一种共享方式来控制多个 解码器或编码器执行的进程。
这时，主CPU核心941管理八个子CPU核心942-1到子CPU 核心942-8的操作，并且将进程指定给各个子CPU核心，以及检索处 理结果。此外，主CPU核心941还会执行除了由这些子CPU核心执 行的进程之外的其他进程。例如，主CPU核心941接受鼠标805、键 盘806或操作控制器807经由南桥904提供的命令，并且响应于该命 令来执行各种处理。
除了最终的再现处理之外，GPU902还管理如下功能，例如，当 在显示器922上显示从运动图像中再现的视频图像的时候粘贴紋理， 当在显示器922上同时显示从运动图像内容中再现的多个视频图像以 及静止图像内容的静止图像时执行坐标变换计算处理，对从运动图像 内容中再现的视频图像和静止图像内容的静止图像执行放大/缩小处 理等等，由此减轻微处理器901的处理负担。
在微处理器901的控制下，GPU902将预定信号处理施加于所提 供的运动图像内容的视频图像数据以及静止图像内容的图像数据，并 且将由此获取的视频图像数据和图像数据发送到显示器922，以及在 显示器922上显示图像信号。
例如，对在由孩i处理器901的八个子CPU核心942-1到子CPU 核心942-8同时并行解码的多个运动图像内容项中再现的视频图像来 说，该视频图像经由总线911被数据传送到GPU卯2。在这种情况下， 举例来说，传送速率最大是30[吉字节/秒，相应地，即使具有特殊效 果的复杂再现视频图像也能被快速平滑地显示。
此外，微处理器卯l还将混音处理应用于视频图像数据的音频数 据以及运动图像内容的音频数据，并且将由此获取的已编辑音频数据经由南桥904和声音输入/输出编解码器907发送到扬声器921，由此 根据来自扬声器921的音频信号来输出音频。
当由软件执行如上所述的一系列处理时，这时会从网络或记录介 质安装用于配置该软件的程序。
举例来说，如图42所示，该记录介质不但配置了诸如磁盘(包 括软碟)、光盘(包括CD-ROM和DVD )、磁光盘(包括MD )或 半导体存储器之类的可拆卸介质811，而且还配置了HDD卯5、存储 设备803等等，其中所述可拆卸介质在其上记录了程序并且与设备主 体分开分布，由此将程序分发给用户，而HDD905、存储设备803等 等则在其上存储程序并且以 一种预先内置于设备主体的方式分发给用 户。毫无疑问，记录介质也可以是半导体存储器，例如ROM或闪速 存储器。
在上文中描述的是在微处理器卯l中配置八个子CPU核心。但 是本发明并不局限于此。子CPU核心的数量可以是任意的。此外，微 处理器901不必配置诸如主CPU核心和子CPU核心之类的多个核心， 并且所述微处理器901可以使用配置了单个核心( 一个核心)的CPU 来配置。
此外，在这里可以使用多个CPU或是多个信息处理设备来取代 微处理器901 (也就是说，用于执行本发明的处理的程序是在多个相 互协作的设备中执行的)。
当然，在本说明书中，用于描述记录介质中记录的程序的步骤不 但可以包括根据所描述的顺序按时序执行的处理，而且还可以包括不 必按照顺序而是并行或单独执行的处理。
此外，本说明书的系统指的是由多个设备(装置)构成的设备整体。
应该指出的是，在上文中被描述成单个设备的结构也可以分解， 由此可以被配置成多个设备。相反，在上文中被描述成是多个设备的 结构也可以合并，由此被配置成单个设备。同样，除了上文描述的结 构之外，在单个设备的结构中当然还可以添加其他结构。更进一步，只要整个系统的结构和操作基本相同，那么 一个设备的 一部分结构是 可以包含在另 一个设备的结构中的。 工业实用性
上述发明易于执行高质量和低延迟的数据传输，只要是压缩、编 码和传送图像以及在传输目的地解码所述压缩编码并且输出图像的设 备或系统，那么该发明都是适用的。本发明尤其适合要求从图像压缩 和编码到解码和输出的延迟很短的设备或系统。
例如，本发明适合在医学上的远程医疗分析中使用，例如在查看 摄像机拍摄的视频图像时操作主从操纵器以及执行医学治疗。此外， 本发明还适合在编码和传送图像以及在广播站中解码并显示或记录该 图像的系统以及类似系统中使用。
另外，本发明还可以应用于执行视频图像直播覆盖分发的系统， 能在教研机构中的学生与教师之间启用交互性通信的系统等等。
更进一步，本发明可以用于发送具有图像获取功能的移动终端、 例如具有摄像机功能的移动电话终端获取的图像数据，视频会议系统， 包含了监视摄像机和用于记录监视摄像机所获取的视频图像的录像机 的系统等等。
69
权利要求
1.一种信息处理设备，包括用于以行块为单位执行分析滤波处理的分析滤波装置，其中所述分析滤波处理使用一种可以通过执行反方向变换来从已变换的系数数据中恢复原始图像数据的可逆方法，以频带为单位来分解图像数据，并且以频带为单位产生系数数据的子波段，其中所述行块包含相当于多行的图像数据，所述相当于多行的图像数据是产生相当于至少最低频率分量的子波段的一行的系数数据所需要的；以及编码装置，用于以从多个行块中产生的系数数据项组为单位，使用一种可以通过执行解码处理而从编码数据中恢复原始系数数据的可逆方法来对分析滤波装置所执行的分析滤波处理产生的系数数据进行编码。
2，根据权利要求1所述的信息处理设备，还包括生成装置， 用于以预定数据单元为单位，为通过编码装置执行编码所获取的编码 数据产生与编码数据有关的信息，其中该信息至少包括表明已经使用 所述可逆方法通过编码处理产生了编码数据的信息。
3. 根椐权利要求2所述的信息处理设备，其中该生成装置产生与分析滤波装置执行的分析滤波处理类型有关的信息，以此作为与编 码数据有关的信息。
4. 根据权利要求2所述的信息处理设备，其中该生成装置生成 与产生系数数据项组所需要的行块数量有关的信息，以此作为与编码 数据有关的信息，其中所述系数数据项组充当由编码装置执行的编码 处理的处理单元。
5. 根据权利要求1所述的信息处理设备，还包括重新排序装 置，用于依照在执行组合滤波处理过程中使用系数数据的顺序，重新 排序由分析滤波装置执行的分析滤波处理产生的系数数据，所述组合 滤波处理以行块为单位组合每一个子波段的系数数据而产生原始图像其中编码装置依照重新排序装置重新排定的顺序并且以从多个 行块生成的系数数据项组为单位来编码系数数据。
6. 根据权利要求5所述的信息处理设备，还包括生成装置， 用于以预定数据单元为单位，为通过编码装置执行的编码处理所获得 的编码数据产生与编码数据有关的信息，其中与编码数据有关的信息信息和与重新排序装置执行;系数数据的重新排序处理有关的信息。、
7. 根据权利要求1所述的信息处理设备，其中分析滤波装置还 以行块为单位执行分析滤波处理，其中所述分析滤波处理使用不能确 保通过执行反方向变换来恢复原始图像数据的不可逆方法以频带为单 位来分解图像数据，并且以频带为单位产生包含系数数据的子波段， 其中所述行块包含相当于多行的图像数据，所述相当于多行的图像数 据是产生相当于至少最低频率分量的子波段的一行的系数数据所需要 的，以及其中该信息处理设备还包括控制装置，用于对是否由分析滤波装 置使用可逆方法或是不可逆方法来执行分析滤波处理进行控制。
8. —种信息处理设备的信息处理方法， 其中该信息处理设备包括分析滤波装置，和 编码装置，以及 其中分析滤波装置以行块为单位执行分析滤波处理，该分析滤波图像数据的可逆方法以频带为单位来分解图像数据，并且以频带为单 位产生包含系数数据的子波段，其中所述行块包含相当于多行的图像 数据，所述相当于多行的图像数据是产生相当于至少最低频率分量的 子波段的一行的系数数据所需要的，以及其中编码装置以从多个行块中产生的系数数据项组为单位，使用来对通过执行分析滤波处理产生的系数数据进行编码。
9. 一种信息处理设备，包括分析装置，用于对与作为编码图像数据的编码数据有关的信息进 行分析，以及规定是否已通过使用可逆方法执行编码处理产生了编码 数据，其中所述可逆方法可以通过执行解码处理恢复编码之前的数据；解码装置，用于在确定由分析装置执行的分析的结果是已通过使 用可逆方法执行编码处理产生了编码数据时，通过使用与编码处理相 对应的方法来对编码数据执行解码处理；以及组合滤波装置，用于组合通过使用解码装置执行解码处理而从编 码数据中产生的系数数据，以及产生图像数据。
10. —种信息处理设备中的信息处理方法， 其中该信息处理设备包括分析装置， 解码装置，以及 组合滤波装置，并且 其中分析装置对与作为编码图像数据的编码数据有关的信息进 行分析，以及规定是否已通过使用可逆方法执行编码处理产生了编码 数据，其中所述可逆方法可以通过执行解码处理恢复编码之前的数据； 其中在确定分析的结果是已通过使用可逆方法执行编码处理产 生了编码数据时，解码装置使用与编码处理相对应的方法来对编码数 据执行解码处理；以及其中组合滤波装置组合通过执行解码处理而从编码数据中产生 的系数数据，并且产生图像数据。
全文摘要
本发明涉及一种能够传送高质量和低延迟的图像数据的信息处理设备和方法。小波变换单元101使用可逆滤波器将小波变换应用于图像数据，其中该可逆滤波器执行的是可以完全确保前向和反向变换的可逆方法。熵编码单元103借助一种完全确保前向和反向变换的可逆方法并且通过使用预定的熵编码方案来编码系数数据。举例来说，本发明适用于编码设备或解码设备。
文档编号H04N1/41GK101543037SQ200880000450
公开日2009年9月23日 申请日期2008年5月16日 优先权日2007年5月17日
发明者安藤胜俊, 福原隆浩 申请人:索尼株式会社