信息处理装置和信息处理方法

专利名称：信息处理装置和信息处理方法
技术领域：
本发明涉及信息处理装置和信息处理方法，并且更具体而言涉及用于
减轻转码(transcode)处理负担的信息处理装置和信息处理方法，其中该 转码处理用于转换诸如码流(code stream)的压縮比、图像的分辨率、色 彩格式等之类的格式。
背景技术：
此前一直可用的存档系统或图像数据库存储称作基本图像(master image)的未压縮图像。为了按需取回所存储的未压縮图像，它们被压縮 成为将通过网络被分发或者被存储在记录介质中的压縮文件。
在电影制作中，图像被捕获在35mm或60mm的胶片上，然后通过称 为胶片扫描转换器(film scan converter)的装置被转换为数字图像数据。 数字图像数据充当基本图像数据。
在医学领域中，虽然一些X射线照相图像数据可以直接用作未压縮图 像数据，然而，被捕获在胶片上的图像类似地由胶片扫描转换器转换为数 字图像数据作为基本图像数据。
许多现代单镜头反射式数码相机允许从CCD (电荷耦合器件)或 CMOS (互补金属氧化物半导体)图像传感器获得的RAW数据或RGB数 据作为未压縮图像数据被存储在存储卡中。
虽然由于未压縮的基本图像数据是无损数据因此它们是重要的且值得 拥有的，然而它们往往具有大的数据大小。为了通过网络传送基本图像数 据或者将大的基本图像数据记录在存储卡中，则需要以某种方式将它们压 縮或编码。
为了将基本图像数据存储在硬盘中，通常无损地将基本图像数据压縮 为无损压縮文件，并且将该无损压縮文件存储在硬盘中。在这种情况下，将基本图像数据保存在诸如磁带之类的便宜的记录介质中很方便。
在数字电影的应用中，根据DCI (数字影院行业规范)来确定用于分 发电影的压縮基本图像数据的格式。根据DCI规范，将作为ISO (国际标
准化组织)标准的JPEG (联合图像专家组)2000第一部分用作压縮和扩 展技术，并且对于4096X2160像素的图像大小中的XYZ 12比特(24 Hz)的运动图像序列，比特速率具有250 Mbps的峰值速率。需要以上面 的比特速率对基本图像数据进行编码以用于分发和投影。
DCI规范致力于四倍于HDTV (高清晰电视)分辨率的4096X2160 像素的分辨率。因此，根据DCI规范，通常无损地将基本图像数据压縮为 作为原始数据大小的一小部分的数据大小，并且将压縮后的图像数据存储 在诸如硬盘之类的存储介质中。
存储在存储介质中的图像数据然后无损地被扩展成为基带数据，随后 通过JPEG 2000无损压縮技术根据DCI标准将基带数据不可逆地压縮为 JPEG 2000文件。
除了 JPEG 2000之外的编解码技术包括用于卫星数字广播的MPEG-2 (运动图像专家组-2)以及用于单波段广播的H.264视频编解码。因此， 存在这样的实例，其中，通过JPEG 2000压縮的图像数据需要被转换为根 据诸如MPEG-2和H.264视频编解码之类的其它编解码技术的格式。虽然 诸如数字电影数据之类的高分辨率图像数据常常通过JPEG 2000来处理， 然而，分辨率低于HDTV分辨率的图像数据则主要是通过MPEG-2和 H.264视频编解码来处理的。因此，当图像数据从JPEG 2000格式被转码 为MPEG-2或H.264视频编解码格式时，图像数据的分辨率可能也需要同 时被转换。
对于数据转换，存在已知的如下的下解码器(down decoder):仅利 用高分辨率图像数据的比特流的DCT块的低频分量的系数来执行逆离散 余弦变换从而将它们解码为标准分辨率的图像数据。具体地，例如可参考 日本专利No. 4016166和日本专利No. 4026238。

发明内容
6根据由相关技术的转码器(tmnscoder)执行的用于转换码流的格式的 转换处理，码流被全部解码为基带数据，该基带数据被转换，然后经转换 的数据被编码为码流。当处理大量数据，例如基本图像数据时，解码处理 往往会施加很大的负担。
在日本专利No. 4016166和日本专利No, 4026238中公开的处理采用 MPEG-2作为编码处理。因此，处理序列复杂且施加了很大负担。另外， 该转换处理容易较大程度地降低图像质量，并且未被与编码处理协同设 计。
本发明希望提供一种信息处理装置和信息处理方法，用于减轻用以将 码流的格式转换为另一格式的转码处理的负担，并且最小化不希望的图像 质量降低。
根据本发明一个实施例，提供了一种信息处理装置，包括部分解码 装置，用于将代表经编码的图像数据的第一码流的一部分解码为基带图像 数据；以及编码装置，用于将来自部分解码器的基带图像数据编码为具有 从第一码流的格式转换来的格式的第二码流，其中编码装置利用与第二码 流相关的参数的目标值将基带图像数据编码为具有第二码流的格式的第二 码流，并且部分解码器利用目标值确定第一码流中要解码的部分，并且对 第一码流中所确定的部分进行解码。
根据本发明另一实施例，还提供了一种由信息处理装置执行的信息处 理方法，该信息处理装置用于转换代表经编码的图像数据的第一码流的格 式以生成第二码流，该信息处理装置包括部分解码装置，用于解码第一码 流的一部分；以及编码装置，用于将在部分解码装置对第一码流的一部分 进行解码时生成的基带图像数据编码为第二码流。该信息处理方法包括以 下步骤由编码装置利用与第二码流相关的参数的目标值将基带图像数据 编码为具有第二码流的期望格式的第二码流；以及由部分解码装置利用目 标值来确定第一码流中要解码的部分，并且通过部分解码装置对第一码流 中所确定部分进行解码。
根据本发明，利用与第二码流相关的参数的目标值来确定第一码流中 要解码的部分，并且对第一码流中所确定的部分进行解码。利用该目标值，基带图像数据被编码为具有所期望的格式的第二码流。
根据本发明实施例的信息处理装置和信息处理方法可以将具有一格式 的码流转换为具有另一格式的码流。该信息处理装置和信息处理方法能够 减轻用于将具有一格式的码流转换为具有另一格式的码流的处理负担，并 且还能够最小化不希望的基带图像数据的图像质量降低。
当结合附图考虑时从下面的描述将清楚本发明的上述和其它特征和优 点，附图以示例的方式图示出了本发明的优选实施例。


图1是示出了根据本发明实施例的转码器的主配置示例的框图2是示出了解码器的详细配置示例的框图3是示出了子频带的示例的示图4是示出了子频带的示例的示图5是示出子频带中的代码块的位置关系的示图6是示出位平面(bitplane)的示例的示图7是示出编码通道(codingpass)的示例的示图8是示出扫描系数的处理示例的示图9是示出分组的概念的示图IO是示出部分解码器的详细配置示例的框图ll是示出针对每个子频带的扫描序列的示例的示图12是示出针对每个分量的扫描序列的示例的示图13是示出针对整体图像的扫描序列的示例的示图14是示出针对每个块的处理序列的示例的示图15是转码处理的示例的流程图16是部分解码处理的示例的流程图17是提取处理的示例的流程图18是基带数据生成处理的示例的流程图19是编码处理的示例的流程图20是熵编码处理的示例的流程图；图21是示出在部分解码处理中的比特速率和PSNR (峰值信噪比)之 间关系的示图22是示出用于选择要截断的位平面的扫描序列的示例的示图23是示出部分解码器的另一详细配置示例的框图24是提取处理的另一示例的流程图25A至25C是示出色彩格式的示例的示图26是示出部分解码器的又一详细配置示例的框图27是示出编码器的另一详细配置示例的框图28是提取处理的又一示例的流程图29是基带数据生成处理的另一示例的流程图30是编码处理的另一示例的流程图31A至31C是示出根据本发明实施例的编码系统的配置示例的框 图；以及
图32是示出根据实施例的个人计算机的配置示例的框图。
具体实施例方式
以块的形式示出的图1是根据本发明实施例的转码器100的主要配置 示例。转码器100是用于将代表经编码的图像数据的码流转换为另一格式 的码流的格式转换器。例如，转码器100将根据JPEG (联合图像专家 组)2000编码的码流转换为根据H.264视频编解码的经编码数据。
转码器100包括用于将码流解码为基带图像数据的解码器以及用于对 基带图像数据进行编码的编码器。转码器100的解码器基于代表充当编码 的目标值的压縮比、图像分辨率等的信息来对码流进行解码，由此减少对 不必要数据的任何处理。通过解码器这样的操作，转码器100不仅减轻了 由解码处理所带来的负担，而且减轻了由转换处理所引起的图像质量的降 低。
如图l所示，转码器IOO包括部分解码器101、编码器102和输入单 元103。
部分解码器101将输入到其中的码流的一部分解码为基带图像数据。编码器102根据给定压縮处理来压縮该基带图像数据，并且输出所生成的 码流。
编码器102将关于所生成的码流的信息，即关于目标压縮比和分辨率 的信息作为变换目标信息提供给部分编码器101。基于提供来的变换目标
信息，部分编码器101仅将码流的需要部份部分地解码为基带图像数据。
如下所述，由转码处理在码流数据中引起的改变(代码量或分辨率的改
变)越大，则由部分解码器101解码的码流部分越小，并且因此由解码处
理所处理的数据量越小。
如果由部分解码器101生成的基带图像数据的代码量太小，则编码器 102可能不能实现目标代码量和分辨率。因此，部分解码器101选择并解 码代码，以便生成具有使编码器102实现目标值所需的信息量或者稍微大 于上面的信息量的信息量的基带图像数据。从其它方面来说，部分解码器 101部分地解码码流，以便在编码器102能够实现目标值的范围内减少由 解码处理所处理的数据量。部分解码器101基于从编码器102提供来的变 换目标信息确定这样的范围。通过执行上面的部分解码处理，即使基本图 像(原始图像)数据具有大的数据大小，部分解码器101也可以容易地且 适当地对码流进行解码。
用于部分地对码流进行解码的处理将称为部分解码处理。转码器100 可以对可能为多种类型中的任意类型的码流的格式进行转换。此后假设转 码器100接收根据JPEG 2000编码的码流，转换码流的图像数据的分辨率 和比特速率(压縮比)，并且输出根据JPEG 2000编码的码流。因此，部 分解码器101和编码器102根据JPEG 2000对码流进行编码或解码。如果 转码器接收到依照除了 JPEG 2000之外的格式的码流或者输出依照除了 JPEG 2000之外的格式的码流，则部分解码器101和编码器102可以分别
执行与格式相对应的解码处理和编码处理。
部分解码器101包括熵解码器111、提取器112和基带生成器113。 熵解码器ill对输入到其中的码流进行熵解码并且将所产生的系数数据提 供给提取器112。提取器112基于从编码器102提供来的变换目标信息提 取需要的系数数据，并且将所提取的系数数据提供给基带生成器113。基
10带生成器113通过小波逆变换等来处理提供来的系数数据，以生成基带图 像数据，并且将所生成的基带图像数据提供给编码器102。
编码器102包括码流生成器121、控制器122和提供器123。码流生 成器121例如在控制器122的控制下根据JPEG 2000对从部分解码器101 提供来的基带图像数据进行编码以生成码流，并且输出所生成的码流。控 制器122基于由输入单元103接收到的、从外部设备或用户动作提供来的 信息，利用所转换码流的图像分辨率和比特速率(压縮比)来控制码流生 成器121。控制器122还将从输入单元103输入的信息提供给提供器 123。提供器123将来自控制器122的信息作为变换目标信息提供给部分 解码器101。
提取器U2基于从提供器123提供来的变换目标信息，仅提取需要被 编码的数据。因此，基带生成器U3可以减少对不必要数据的任何处理。
下面将描述图1所示的转码器100的配置细节。首先，为了描述的方 便，将首先描述编码器102然后描述部分解码器101。图2以块的形式示 出了编码器102的详细配置示例。如图2所示，编码器102的码流生成器 121包括DC电平移位器151、小波变换器152、量化器153、代码分块器 (code blocker) 154、位平面转换器155、 EBCOT (优化截断的嵌入式块 编码)单元156、头部生成器157和分组生成器158。
DC电平移位器151移位图像数据的DC分量的电平用于在后续阶段执 行有效的小波变换。例如，作为原始信号而提供给编码器102的RGB信 号具有一正值(表示无符号整数)。基于具有该正值的RGB信号的性 质，DC电平移位器151移位RGB信号的DC分量以将其动态范围减少到 一半以用于提高压縮效率。如果表示带符号(正或负)整数的信号(例如 YCbCr信号的Cb、 Cr (色差信号))作为原始信号被提供给编码器102， 则DC电平移位器151不对该原始信号的DC分量的电平进行移位。
小波变换器152包括滤波器组，该滤波器组包括低通滤波器和高通滤 波器。由于数字滤波器通常具有多个抽头长度(tap length)的脉冲响应 (滤波器系数)，因此小波变换器152具有用于在输入图像数据可以被滤 波之前对它们进行缓冲的缓冲器。当小波变换器152从DC电平移位器151获取了需要用于滤波的不少
于经DC电平移位的图像数据的最小量的图像数据时，小波变换器152利 用5X3小波变换滤波器对所获取的经DC电平移位的图像数据进行滤波， 由此生成小波系数。小波变换器152在图像数据的垂直和水平方向的每个 方向上将图像数据滤波成为低频分量和高频分量。
小波变换器152对已经在垂直和水平两个方向上被分离为低频分量的 子频带递归地重复这种滤波处理，如图3所示。这是因为图像数据的许多 能量集中在低频分量中，如图4所示。
图3是示出了具有三个划分层级的由小波变换处理生成的子频带的示 例的示图。首先，小波变换器152将全部图像数据滤波为子频带3LL (未 示出)、3HL、 3LH、 3HH。然后，小波变换器152将子频带3LL滤波为 子频带2LL (未示出)、2HL、 2LH、 2HH。小波变换器152将2LL滤波 为子频带0LL、 1HL、 1LH、 1HH。
图4示出了通过不同划分层级逐渐生成子频带的方式。具体地，图4 在其左侧示出了第一划分层级处的由小波变换处理产生的子频带中的各个 图像，并且还在其右侧示出了在第三划分层级处的由小波变换处理产生的 子频带中的各个图像。图4的右侧所示的图像表示图3所示的子频带中的 图像。
小波变换器152将通过针对每个子频带的滤波处理而产生的小波系数 提供给量化器153。此时，小波变换器152以重要性顺序，即以重要性降 序来提供子频带。通常，小波变换器152以从较低频到较高频的顺序向量 化器153提供子频带。
量化器153量化小波系数并将量化后的小波系数提供给代码分块器 154。根据JPEG 2000标准，量化器153被省掉，这是因为针对无损压縮 来对所有经编码的路径或位平面进行编码。
代码分块器154将小波系数划分成为具有预定大小的代码块，这些代 码块充当要针对熵编码而被处理的单元。图5示出了子频带中的代码块的 位置关系。例如，具有64X64像素大小的代码块在已被划分的所有子频 带中被生成。在图3的情况中，如果最小划分层级处的子频带3HH具有640X320像素的大小，则其包含总计50个具有64X64像素大小的代码 块。后续阶段中的每个处理单元对各个子块进行处理。
代码分块器154以重要性顺序，即以重要性降序将代码块提供给位平 面转换器155。位平面转换器155在位的各个位置处将系数数据转换为位 平面，并且将位平面提供给EBCOT单元156。
位平面表示在由预定数目的小波系数组成的系数组中的各个位位置处 的划分或切分(slice)。换言之，位平面是表示一个位位置处的小波系数 的一组位(系数位)。
图6示出了位平面的具体示例。图6在其左侧示出了 4X4位矩阵中的 16个系数。在这16个系数中，绝对值最大的系数表示13，并且通过二进 制标记法被表达为1101。位平面转换器155将系数转换为表示绝对值的四 个位平面(绝对值位平面)和表示符号的单个位平面(符号位平面)。具 体地，位平面转换器155将图6左侧所示的系数转换为图6中央侧所示的 四个绝对值位平面和图6右侧所示的单个符号位平面。绝对值位平面由可 能值为0或1的元素组成。符号位平面由可能为以下值的元素组成指示 系数具有正值的值、指示系数具有O值的值或指示系数具有负值的值。
位平面转换器155以重要性顺序，即以重要性降序将位平面提供给 EBCOT单元156。 EBCOT单元156以重要性顺序，即以重要性降序对系 数数据的位平面进行编码。例如，EBCOT单元156以从最高有效位 (MSB)到最低有效位(LSB)的顺序对每个位平面进行编码。
如图2所示，EBCOT单元156根据JPEG 2000标准对提供来的系数数 据的位平面执行称作EBCOT的熵编码处理。EBCOT是用于在测量块中系 数的统计量的同时对具有预定大小的每个块进行编码的处理。
EBCOT单元156包括位建模器(bit modeler) 161和算术编码器 162。位建模器161根据由JPEG 2000标准所确定的过程对系数数据执行 位建模处理，并且将上下文发送给算术编码器162。算术编码器162将系 数数据的位平面转换为算术代码。
代码块具有水平和垂直大小，每个大小由4至256范围中的2的幂表 示。经常使用的代码块大小例如包括32X32、 64X64、 128X32。系数值由带符号的n位二进制数表达，其包括代表从MSB到LSB的位的位0到 (n-2)以及代表符号的余下的一位。根据下面的三个编码通道从MSB处 的位平面起连续地对代码块编码
(1) 有效性传播通道 根据用于对某个位平面进行编码的有效性传播通道，其八个临近系数
中的至少一个是有效的非有效系数的位平面的值被算术编码。如果位平面 的经算术编码的值为1，则与符号是正的还是负的有关的信息被算术编 码。
下面描述术语"有效性"。有效性指当每个系数被编码时，其改变为 指示其是有效的1，则随后将一直保持为1。因此，有效性可以充当指示 有效数字的信息是否已经被编码的标志。如果某个位平面中的系数变为有 效的，则其将在后续位平面中保持为有效的。
(2) 幅度细化通道 根据用于对位平面进行编码的幅度细化通道，仍未被有效性传播通道
编码的有效系数的位平面的值被算术编码。
(3) 清除通道
根据用于编码位平面的清除通道，仍未被有效性传播通道编码的有效 系数的位平面的值被算术编码。如果位平面的经算术编码的值为1，则与 符号是正的还是负的有关的信息被算术编码。
上面的三个算术编码处理可以取决于实际应用被执行为(1) ZC (零 编码)、(2) RLC (行程长度编码)、(3) SC (符号编码)、(4) MR
(幅度细化)等处理。在本实施例中，使用称为MQ编码的算术编码。 MQ编码是由JBIG 2规定的学习型二进制算术编码。根据JPEG 2000，存 在用于所有编码通道的总计19种类型的上下文。
图7示出了使用三个编码通道的序列的示例。首先，MSB处的位平面 (n-2) {Bit-plane (n-2) }由清除通道编码。然后，后续的位平面由三个 编码处理按这样的顺序，即有效性传播通道、幅度细化通道和清除通道的 顺序朝向LSB被逐个地编码。
然而，实际上，EBCOT单元156执行在从MSB到LSB的方向上搜索包含"1"的第一位平面的处理。EBCOT单元156将这样的第一位平面的 信息记录在头部中，并且不对所有系数都为0的位平面(零位平面)进行编码。
下面将参考图8描述扫描系数的处理。代码块被划分为条带 (stripe)，每个条带具有四个系数的高度。每个条带具有等于代码块的宽 度的宽度。扫描序列指其中代码块中的所有系数被追踪的序列。在代码块 中，从较高条带向较低条带扫描系数。在每个条带中，从左列向右列扫描 系数。在每列中，从较高系数向较低系数扫描系数。根据上面的编码通道 的每个，在上面的扫描序列中对代码块中的所有系数进行扫描。
后面将描述子频带和全部图像数据的编码序列的细节。然而，基本 上，EBCOT单元156按照重要性降序对系数位进行编码。
如图2所示，EBCOT单元156的算术编码器162将所生成的经编码码 流通过控制器122的代码量相加器172提供给头部生成器157和分组生成 器158。
头部生成器157生成头部信息，并且将所生成的头部信息提供给分组 生成器158。分组生成器158利用头部信息使经编码的码流分组化。
根据JPEG 2000，所表达的经编码码流按照称作分组的单元被组装。 图9示出了分组的概念。在图9所示的示例中，码流如图3所示的示例那 样被小波变换三次。如图9所示，生成了在从最低频的第一分组到最高频 的第四分组的范围中的四种类型的分组。呈现在各个分组中的子频带中的 所有代码块的经编码码流由分组生成器158以分组为单位进行组装，并且 随后从编码器102输出。
如图2所示，编码器102的控制器122包括控制器171和代码量相加 器172。
代码量相加器172对从EBCOT单元156提供来的代码的数目进行计 数并累加。代码量相加器172将代码提供给头部生成器157和分组生成器 158，并且将所累加的代码数提供给控制器171。控制器171将提供给它的 累加代码数和从输入单元103输入的目标代码量彼此比较。如果累加的代 码数小于目标代码量，则控制器171控制EBCOT单元156对下一位平面
15进行编码。在控制器171的控制下，EBCOT单元156对下一重要位平面进 行编码，并且将所生成的代码提供给代码量相加器172。代码量相加器 172对提供来的代码的数目进行计数并累加，并且将累加的代码数提供给 控制器171。
重复上述处理直到累加的代码数达到目标代码量为止。当累加的代码 数达到目标代码量时，控制器171控制EBCOT单元156完成编码处理。
如上所述，码流生成器121在控制器171基于代码量相加器172所计 算出的累加代码数来控制EBCOT单元156的同时，对基带图像数据进行 编码。
控制器171还将与目标压縮比(目标代码数)和从输入单元103输入 的、输出码流(经变换的码流)的图像数据的分辨率有关的信息提供给提 供器123。
提供器123包括分辨率信息提供器181、目标压縮比提供器182和复 用器183。分辨率信息提供器181将与从控制器171提供的输出码流的图 像数据的分辨率有关的信息提供给复用器183。目标压縮比提供器182将 用于部分解码器101的目标压縮比提供给复用器183，目标压缩比是基于 控制器171中设置的目标代码数和基本图像数据量计算出来的。复用器 183将与从分辨率信息提供器181提供来的分辨率有关的信息和与从目标 压縮比提供器182提供来的目标压縮比有关的信息进行复用，并且将经复 用的信息作为变换目标信息提供给部分解码器101的提取器112。
部分解码器101可以根据目标压縮比和分辨率执行其解码处理，并且 即使基本图像数据量较大也可以减小不必要的处理序列的负担的增加。关 于目标压縮比的信息和关于分辨率的信息也可以不被复用，而是可以独立 地被提供给部分解码器101。
下面将描述图1所示的部分解码器101的细节。
图10以块的形式示出了部分解码器101的详细配置示例。如图10所 示，部分解码器101的熵解码器111包括分组分析器201和EBCOT单元 202。
分组分析器201分析输入给它的分组，从分组提取码流，并且将所提取的码流提供给EBCOT单元202。 EBCOT单元202对提供来的码流进行 熵解码，以生成如被转换为位平面的小波系数。EBCOT单元202包括算 术解码器211和位建模器212。算术解码器211对码流进行解码，并且位 建模器212从经解码的码流生成如被转换为位平面的小波系数。EBCOT 单元202将每个所生成的位平面的系数数据提供给提取器112的子频带选 择器223。
提取器112包括分辨率信息获取器221、目标压缩比获取器222、子 频带选择器223、所选位平面代码量计数器224以及所选位平面确定器 225。
分辨率信息获取器221从自编码器102的提供器123提供来的变换目 标信息中提取并获取分辨率信息。具体地，分辨率信息获取器221获取从 分辨率信息提供器181提供来的分辨率信息。目标压缩比获取器222从自 编码器102的提供器123提供来的变换目标信息中提取并获取目标压縮 比。具体地，目标压縮比获取器222提取从目标压縮比提供器182提供来 的目标压縮比。
从位建模器212提供来的系数数据的形式是根据位平面和子频带布置 的系数数据阵列。子频带选择器223基于从分辨率信息获取器221提供来 的分辨率信息，选择子频带中将用于基带图像数据的系数数据。具体地， 子频带选择器223选择需要用来生成具有分辨率信息所指定的分辨率的图 像数据的子频带。子频带选择器223将所选子频带提供给所选位平面代码 量计数器224。
所选位平面代码量计数器224累加提供来的位平面。所选位平面代码 量计数器224从所累加的位平面中选择要被提供给后续阶段，即要用作解 码结果的所选位平面的候选者，对候选者的代码数目进行计数，并且将计 数，即关于所计数的代码数的信息提供给所选位平面确定器225。目标压 縮比获取器222从变换目标信息中获取目标压縮比，并且将所获取的目标 压縮比提供给所选位平面确定器225。目标压縮比作为相对于对基本图像 数据(原始图像数据)的压縮比，表示编码器102实现目标代码数所需要 的基带图像数据的代码数。所选位平面确定器225利用从所选位平面代码量计数器224提供来的
所选位平面的候选者的代码数，来计算所选位平面的候选者相对于主图像 数据的压縮比，并且判定计算出来的压縮比是否等于或小于从目标压縮比
获取器222提供来的目标压縮比。当计算出来的压縮比达到目标压缩比 时，所选位平面确定器225从所选位平面代码量计数器224获取所选位平 面的候选者，将所获取的候选者确定为所选位平面，并且将所确定的所选 位平面提供给基带生成器113的代码块组合器231。
如上所述，由于提取器112根据从编码器102获得的变换目标信息来 选择一些位平面，因此，基带生成器113可以仅利用所选位平面生成基带 图像数据。因此，部分解码器101可以以编码器102所需要的量或者以比 编码器102所需要的量稍大的量来生成基带图像数据。
具体地，部分解码器101仅利用输入给它的码流的一些来生成基带图 像数据。部分解码器101通过基于从编码器102提供来的变换目标信息执 行部分解码处理，至少生成了编码器102进行编码所需要的数据量，艮口， 目标代码量和获得分辨率所需要的代码量。因此，编码器102可以在不引 起不希望的图像质量降低的情况下生成码流。换言之，转码器100可以在 不引起不希望的图像质量降低的情况下对码流进行转码。由于上述的部分 解码处理，部分解码器101无需生成不必要的高图像质量的基带图像数 据，而是能够减少不必要的处理序列的负担的增加，即，即使基本图像数 据量较大时，也能够容易地执行解码处理，而不会不必要地降低图像质
所选位平面代码量计数器224优选将较高重要性的位平面选作所选位 平面的候选者。具体地，所选位平面代码量计数器224按照重要性降序一 次选择所累加的位平面中的一个作为所选位平面的候选者，在每次所选位 平面的候选者被选出时计算代码数，并且将所选候选者的信息提供给所选 位平面确定器225。
从其他方面来说，部分解码器101优先解码较高重要性的数据以生成 基带图像数据。通过这样部分地解码数据，部分解码器101可以适当地执 行解码处理以尽可能多地最小化图像质量的降低。基带生成器113包括代码块组合器231、逆量化器232、小波逆变换 器233和DC电平逆移位器234。
代码块组合器231利用提供来的位平面在代码块中生成系数数据，将 该系数数据组合为子频带中的系数数据，并且将该系数数据提供给逆量化 器232。逆量化器232对提供来的系数数据进行逆量化，并且将经逆量化 的系数数据提供给小波逆变换器233。如果经无损编码的流被输入转码器 100，则逆量化器232被省略。小波逆变换器233对提供来的小波系数进 行小波逆变换以生成基带图像数据。DC电平逆移位器234执行DC电平逆 移位处理，以按需恢复在被编码时被移位了的图像数据的DC分量的电 平。DC电平逆移位器234将经DC电平恢复的图像数据提供给编码器 102。
下面将描述系数的重要性。基本上，与基于已有RD (速率失真)处 理来执行速率控制处理的解码器和编码器不同，部分解码器101和编码器 102以重要性降序对系数位进行解码和编码。
图ll示出了用于编码或解码子频带Y-OLL的扫描序列的示例，其 中，Y表示亮度而OLL表示最低频范围。在图11中，子频带Y-OLL包括 在从代码块CBo至代码块CBn范围内的(n+1)个代码块。代码块中的位 平面被示为网格化和条带化的。
如图11所示，EBCOT单元156和EBCOT单元202按照从较高优先
级的代码块到较低优先级的代码块的顺序对子频带中的代码块中的位平面 进行编码和解码。代码块CBo具有最高的优先级(最高重要性)，而代码 块CBn具有最低的优先级(最低重要性)。由于如上所述位平面按照从 MSB至LSB的顺序被编码和解码，因此子频带Y-OLL中的位平面按照箭 头所指示的方向被编码和解码。
由于所有系数都为0的位平面不被处理，因此，在图11中位平面实 际上按照从(1)至(14)的数字顺序被处理。虽然在图11中数字被包围 在圆圈中，然而在描述时它们被放在圆括号中。经EBCOT单元156和 EBCOT单元202处理的第一位平面是最高位位置中的位平面(1)。由于 仅位平面(1)被呈现在最高位位置中，因此仅位平面(1)被EBCOT单元156和EBCOT单元202处理。处理前进到由虚线箭头所指示的下一位 平面。在下一位位置中，位平面(2) 、 (3)被EBCOT单元156和 EBCOT单元202处理。
下面描述调节数据量的处理。
在编码器102中，位平面如上所述那样被重复扫描，由EBCOT单元 156从每个位平面生成的代码数被相加，并且EBCOT单元156的处理在累 加数达到目标代码数时结束。例如，在图11中，如果在位平面被编码达 位平面(9)时达到目标代码数，则控制器171控制EBCOT单元156结束 编码处理。在此示例中，虽然位平面(10)与位平面(9)在同一位置 中，但是位平面(10)未包括在从编码器102输出的经编码码流中。
在部分解码器101中，EBCOT单元202按照相同的扫描顺序解码提供 来的代码。所选位平面代码量计数器224按照位平面从EBCOT单元202 被输出的顺序选择位平面作为所选位平面的候选者，并且对候选者的代码 数计数。具体地，所选位平面代码量计数器224按照从位平面(1)至位 平面(14)的顺序对位平面的每个的数目进行计数。所选位平面确定器 225基于从所选位平面代码量计数器224提供来的代码量计算所选位平面 的候选者相对于基本图像数据的压縮比，并且将计算出的压縮比与从目标 压縮比获取器222提供来的目标压縮比进行比较。
当所选位平面的候选者的压縮比满足下面所示的两个等式并且达到目 标压縮比时，所选位平面确定器225在此前确定所选位平面的候选者为所 选位平面。
(目标压縮比)《(基本图像数据的数据大小)/ (位平面(1)至
(9) 的代码数之和)
(目标压縮比)》(基本图像数据的数据大小)/ (位平面(1)至
(10) 的代码数之和)
部分解码器101的提取器112调节解码数据的量。
综上所述，部分解码器101和编码器102按照重要性顺序对系数数据 的代码进行编码和解码。部分解码器101和编码器102还按照重要性顺序 选择数据，由此来调节数据量。
20上面已经描述了扫描一个子频带中的位平面的处理。转码器100按照 预定顺序一次一个地处理全部图像数据的子频带，即逐个子频带地处理全 部图像数据。
然而，可以按照其它扫描顺序编码和解码系数数据和代码。例如，如
图12所示，转码器100可以根据分量来处理图像数据。图12示出了在所 有子频带中针对Y分量(亮度分量)对每个位位置进行扫描的示例。
在图12中，子频带以根据它们的重要性的顺序(即，以从低频子频 带0LL至高频子频带3HH的顺序)被排列。在每个子频带中，代码块以 重要性顺序，即以从代码块CBo至代码块CBn的顺序被排列。这样排列的 位平面以在每个位位置中的由箭头所指示的从MSB至LSB的顺序被处 理。在第三个扫描周期中，例如，不仅位平面Y-0LL被处理，而且位平面 Y=1HL、 Y-3HH也被处理。
如果图像数据由多个分量组成，则转码器100可以通过所有分量来处 理图像数据。图13示出了在所有子频带中针对包括Y、 U和V分量在内 的所有分量对每个位位置进行扫描的示例。
在图13中，包括Y分量(亮度分量)、U分量(色差分量)和V分 量(色差分量)在内的分量以其重要性顺序，即以Y、 U和V分量的顺序 被排列。在每个分量中，子频带以其重要性顺序，即以从低频子频带0LL 至高频子频带3HH的顺序被排列。在每个子频带中，代码块以重要性顺 序，即以从代码块CBo至代码块CBn的顺序被排列。这样排列的位平面以 在每个位位置中的从MSB至LSB的顺序被处理。在第一个扫描周期中， 例如，不仅Y-0LL中的位平面被处理，而且U-0LL中的位平面也被处 理。
更具体地，EBCOT单元156初始地在不存在零位平面的、最接近 MSB的位位置处对所有子频带(从0LL至3HH)中的代码块扫描Y分 量，并且如果存在不是零位平面的位平面，则EBCOT单元156对该位平 面编码。随后，EBCOT单元156在相同位位置处对所有子频带(从0LL 至3HH)中的代码块扫描U分量，并且如果存在不是零位平面的位平面， 则EBCOT单元156对该位平面编码。此后，EBCOT单元156在相同位位
21置处对所有子频带(从0LL至3HH)中的代码块扫描V分量，并且如果 存在不是零位平面的位平面，则EBCOT单元156对该位平面编码。
当扫描处理在相同位位置中到达子频带V-3HH而结束时，EBCOT单 元156随后在下一较低位位置中扫描代码块。
在图12中，根据分量来扫描每个位位置。在图13中，如果图像数据 由多个分量组成，则以重要性顺序扫描分量。具体地，如果图像数据由 Y、 U和V分量组成并且其重要性为所指定的降序，则最重要的Y分量被 最先处理，此后U分量被处理，最不重要的V分量被最后处理。
在图11中，逐个子频带地扫描每个位位置。在此情况中，子频带以 重要性顺序被扫描。具体地，图像数据由从0LL至3HH范围中的子频带 组成，如图12所示。如果其重要性为所指定的降序，则最重要的0LL子 频带被最先处理，此后1LH子频带被处理。随后，不那么重要的子频带接 连地被处理，并且最不重要的子频带3HH被最后处理。例如，子频带以图 14所示的序列被处理。
扫描序列预先被确定。换言之，每个位平面的重要性预先被确定，并 且部分解码器101和编码器102对每个位平面的预定重要性具有共同认 识。
下面将描述上述编码和解码处理的示例。
首先，下面将参考图15所示的流程图描述由转码器100执行的转码 处理。
当将码流输入部分解码器101并且开始转码处理时，部分解码器101 在步骤S101中时基于变换目标信息部分地将输入的码流解码为基带图像 数据。当部分解码器101结束其部分解码处理时，编码器102在步骤S102 中对来自部分解码器101的基带图像数据进行编码，并且在需要时更新变 换目标信息。
转码器100对输入码流的图像数据的每帧执行上面的转码处理。编码 器102可以连续地对从部分解码器101输出的基带图像数据进行编码。从 其它方面来说，步骤S101和步骤S102可以同时彼此并行地被执行。
下面将参考图16所示的流程图详细描述图15所示的在步骤S101中由部分解码器101执行的部分解码处理。
当开始部分解码处理时，部分解码器101的熵解码器111的分组分析
器201在步骤S121中从接收到的分组中获取码流。然后，EBCOT单元 202在步骤S122中对所获得的码流进行熵解码。提取器112在步骤S123 中时基于变换目标信息从在步骤S122中产生的系数数据中提取需要的系 数数据。基带生成器113在步骤S124中对提取出的系数数据进行小波逆 变换以生成基带图像数据。
当步骤S124结束时，由部分解码器101执行的部分解码处理终止。 控制然后返回到图15所示的步骤S101，并且前进到步骤S102。
下面将参考图17所示的流程图详细描述图16所示的步骤S123中由 提取器112执行的提取处理。
当提取处理开始时，分辨率信息获取器221在步骤S141中从变换目 标信息获取分辨率信息。目标压縮比获取器222在步骤S142中从变换目 标信息中获取目标压縮比。基于在步骤S141中获取的分辨率信息，基带 选择器223在步骤S143中将生成具有由所获取的分辨率信息所指定的分 辨率的图像数据所需的子频带选作要处理的子频带。
所选位平面代码量计数器224在步骤S144中保存所选子频带的系数 (位平面)，在其保存的位平面(即要处理的子频带)中选择最重要的位 平面作为所选位平面的候选者，并且计算其代码数。在步骤S145中，所 选位平面确定器225基于由所选位平面代码量计数器224计数的代码数来 计算此时的所选位平面的候选者相对于基本图像数据(即原始图像数据) 的压縮比。所选位平面确定器225随后在步骤S146中判定计算出来的压 縮比是否等于或小于在步骤S142中获得的目标压縮比。
如果判定所选位平面的候选者的压縮比大于目标压縮比，即如果所选 位平面的候选者的代码数不足够大，则控制前进到步骤S147。在步骤 S147，所选位平面代码量计数器224在其保存的位平面(即要处理的子频 带)中选择下一重要的位平面作为所选位平面的候选者，并且计算其代码 数。控制随后回到步骤S145以重复从步骤S145起的处理。换言之，在计 算出的压縮比变为等于或小于目标压縮比之前，所选位平面代码量计数器224和所选位平面确定器225重复执行步骤S145、 S146、 S147来增加所选 位平面的候选者的计数数目。
如果在步骤S146中判定所选位平面的候选者的压缩比等于或小于目 标压縮比，则控制前进到步骤S148，在步骤S148中，所选位平面确定器 225提取所选位平面并且将该所选位平面提供给代码块组合器231。此 后，提取处理终止。控制返回到图16所示的步骤S123，并且前进到步骤 S124。
提取器112执行如上所述的提取处理来提取系数数据以便满足由变换 目标信息所指定的分辨率和压縮比条件。
下面将参考图18所示的流程图详细描述图16所示的步骤S124中的 由基带生成器113执行的基带数据生成处理。
当基带数据生成处理开始时，代码块组合器231在步骤S161中利用 从所选位平面确定器225提供来的所选位平面组合代码块。逆量化器232 在步骤S162中逆量化经组合的代码块。小波逆变换器233在步骤S163中 对经逆量化的系数数据进行小波逆变换。DC电平逆移位器234在步骤 S164中逆移位图像数据的DC电平。然后，基带数据生成处理终止。控制 返回到图16所示的步骤S124，并且随后部分解码处理终止。此后，控制 返回到图15所示的步骤S101，并且前进到步骤S102。
下面将参考图19所示的流程图详细描述图15所示的步骤S102中由 编码器102执行的编码处理。
当编码处理开始时，DC电平移位器151在步骤S181中移位输入图像 数据的DC电平。小波变换器152随后在步骤S182中对图像数据进行小波 变换。量化器153在步骤S183中量化小波系数。代码分块器154在步骤 S184中将小波系数划分为代码块。位平面转换器155在步骤S185中将代 码块中的系数数据转换为位平面。EBCOT单元156和控制器122在步骤 S186中以重要性顺序对位平面的每个进行熵编码。后面将描述熵编码处理 的细节。头部生成器157和分组生成器158在步骤S187中从由熵编码处 理产生的代码中生成分组。在步骤S188中，包括分辨率信息提供器181、 目标压缩比提供器182和复用器183的提供器123对分辨率信息和目标压縮比进行复用，并且将它们作为变换目标信息提供给部分解码器101。然 后，编码处理终止。控制随后返回图15所示的步骤S102，并且转码处理 终止。
下面将参考图20所示的流程图详细描述图19所示的步骤S186中执 行的熵编码处理。
当熵编码处理开始时，控制器171在步骤S201中初始化变量。变量 例如包括要编码的分量NC={1， 2， ...， Lc}、子频带&={1， 2，...， Ls}、代码块B、位平面C、代码数T (B， C， Nc， Ns)，以及累加出来 的代码数Y。
在步骤S202中，基于从输入单元103输入的指定分辨率，控制器171 将产生具有所指定分辨率的图像数据所需的子频带确定为要处理的子频 带。如果部分解码器101如上所述已适当地选择了子频带，则可以省掉控 制器171对子频带的选择。
EBCOT单元156在步骤S203中获取系数的位平面信息(包括零位平 面信息)。控制器171在步骤S204中将变量Y的值设为"0"。在步骤 S205中，EBCOT单元156在步骤S202所确定的要处理的子频带中选择最 重要的位平面。
然后，EBCOT单元156在步骤S206中对所选位平面进行编码。在步 骤S207中，代码量相加器172计算代码数T (B， C， Nc， Ns)并且根据 如下等式将计算出来的代码数T (B， C， Nc， Ns)加到变量Y-
Y=Y+T (B， C， Nc， Ns)
控制器171在步骤S208中参考变量Y，并且判定累加出来的代码数 的值是否达到目标代码量。如果判定变量Y的值(累加值)尚未达到目标 代码量，则控制前进到步骤S209。
在步骤S209中，EBCOT单元156判定未处理的位平面是否呈现在相 同位位置。如果判定未处理的位平面呈现在相同位位置，则控制前进到步 骤S210，在步骤S210中，选择相同位位置中的下一重要位平面。当位平 面被选择时，控制返回步骤S206来重复从步骤S206起的处理。
如果在步骤S209中判定未处理的位平面未呈现在相同位位置中，则
25控制前进到步骤S211。在步骤S211中，EBCOT单元156判定未处理的位 平面是否存在。如果判定未处理的位平面存在，则控制前进到步骤S212。 在步骤S212中，EBCOT单元156选择下一位位置中的最重要位平面。然 后，控制返回到步骤S206来重复从步骤S206起的处理。
如果判定变量Y的值(累加值)己达到目标代码量，则控制器171结 束熵编码处理。控制随后返回图19所示的步骤S186，并且前进到步骤 S187。如果在步骤S211中判定未处理的位平面不存在，贝!J EBCOT单元 156结束熵编码处理。控制随后返回到图19所示的步骤S186，并且前进 到步骤S187。
图21示出了图示出根据上面的转码处理对实际图像数据进行实验的 结果的表。在该实验中，转码器100将根据JPEG 2000压縮的无损码流转 码为根据JPEG 2000的具有另一比特速率的有损码流。该实验在下面的条 件下进行-
原始图像数据4096X2160像素X 10位X3 (RGB) X24 fys = 6370 Mbps
测试序列电影
无损压縮结果(JPEG无损模式)3469 Mbps (大约是原始图像数据 的54%)
解码图像当图1所示的经有损编码的码流被普通的JPEG 2000有损 解码器解码时所产生的图像
有损编码的码流的比特速率250Mbps
图21所示的表示出了部分解码处理中的比特速率和PSNR (峰值信噪 比)之间的关系。
'如图21所示，随着部分解码处理的比特速率从无损比特速率(3469 Mbps)逐渐降低，每指令的CPU时钟周期数也降低。因此，随着部分解 码处理的比特速率被减小，部分解码处理所施加的负担也被减轻。
然而，当部分解码处理的比特速率被减小时，有损编码文件的经解码 图像数据的PSNR被降低，S卩，有损编码文件的经解码图像数据的图像质 量被降低。
2在部分解码处理的比特速率与无损比特速率(3469 Mbps)相同时的 有损编码文件的经解码图像数据的PSNR为37.38，并且在部分解码处理 的比特速率与随后的有损编码处理的比特速率(250 Mbps)相同时的有损 编码文件的经解码图像数据的PSNR为36.89。因此，这些PSNR之差很 小(37.38-36.89-0.49[dB])。另一方面，比特速率为3469 Mbps时的每指 令的CPU时钟周期数为7105，而特速率为250 Mbps时的每指令的CPU 时钟周期数为771。因此，后者的每指令的CPU时钟周期数减小到前者的 每指令的CPU时钟周期数的大约十分之一 (771/7105 = 0.108)。随后的 有损编码处理的每指令的CPU时钟周期数保持不变，为恒定值904。
因此，部分解码器101能够在减小图像质量的降低的同时减轻为了解 码无损压縮文件而施加的负担。从其他方面来说，转码器100即使在基本 图像数据具有较大数据大小时也可以容易且适当地将无损压縮文件转换为 有损压縮文件。
当部分解码器101根据所需要的分辨率选择要小波逆变换的子频带 时，要小波逆变换的图像数据的量被减小。因此，图21所示的实验结果 表明为了解码无损压縮文件而施加的负担被进一步减轻。
部分解码器101被描述为对用在经解码图像数据中的位平面进行选 择。然而，由于基本图像的数据大小是已知的，因此部分解码器101可以 选择要截断的位平面，即除了所选位平面之外的位平面，如图22所示。 为了选择要截断的位平面，部分解码器101按照重要性升序来选择要截断 的位平面(此后称作截断的位平面)。
图22是示出用于选择要截断的位平面的扫描序列的示例的示图。在 图22中，位平面按箭头指示的方向被选择。具体地，截断的位平面按照 从LSB至MSB的序列被选择。首先，位平面(14)被选择，随后位平面 (13)被选择。在LSB处的所有位平面被选择之后，在高于LSB的下一 位位置处的最不重要位平面，即位平面(10)被选择。因此，余下的位平 面按照与如上所述的方式相同的方式类似地被扫描。
部分解码器101相加如此选择的截断的位平面的代码数，并且从基本 图像的数据大小中减去截断的位平面的代码数之和，由此计算未截断的位平面的代码数，即，所选位平面的代码数，并且因此计算所选位平面相对 于基本图像数据的压縮比。因此，部分解码器101可以以与选择所选位平 面时相同的方式来控制数据量。
图23以块的形式示出了用于选择要截断的位平面的部分解码器101
的另一详细配置示例。图23与图IO相对应。图23所示的部分解码器101
与图IO所示的部分解码器101的不同之处在于提取器112包括取代子频
带选择器223的子频带丢弃器323、取代所选位平面代码量计数器224的 截断的位平面代码量计数器324，以及取代所选位平面确定器225的截断 的位平面确定器325。图23所示的部分解码器101的其它细节与图10所 示的部分解码器101的那些细节相同，并且下面将不进行详细描述。
子频带丢弃器323丢弃实现由分辨率信息获取器221所获得的分辨率 信息所指定的分辨率所不需要的子频带，并且将余下的子频带提供给截断 的位平面代码量计数器324。
截断的位平面代码量计数器324累加未被子频带丢弃器323丢弃的子 频带的位平面，按照重要性升序一次选择一个位平面作为截断的位平面的 候选者，对截断的位平面的每个所选候选者的代码数进行计数，并且将计 数提供给截断的位平面确定器325。
截断的位平面确定器325基于从截断的位平面代码量计数器324提供 来的截断的位平面的候选者的计数数目，计算将不被截断的位平面，即所 选位平面相对于基本图像数据的压縮比。截断的位平面确定器325随后将 计算出来的压缩比与由目标压縮比获取器222获取的目标压縮比相比较。 如果满足下面所示的两个等式，则截断的位平面确定器325将截断的位平 面的候选者确定为截断的位平面，截断它们，并将余下的位平面作为所选 位平面提供给后续处理阶段。
(目标压縮比) > (基本图像数据的数据大小一位平面(14)至 (11)的代码数之和)
(目标压縮比)《(基本图像数据的数据大小一位平面(14)至 (10)的代码数之和)
上面的两个等式表明当从位平面(14)至位平面(10)选择截断的位平面时，未被截断的位平面(即，所选位平面)的压縮比变为等于或大于 目标压縮比。
截断的位平面确定器325将余下的位平面作为所选位平面提供给代码
块组合器231。
下面将参考图24所示的流程图详细描述由提取器112执行的用于提 取截断的位平面的提取处理。除了以下这些步骤之外，图24所示的提取 处理类似于图17所示的提取处理
当提取处理开始时，分辨率信息获取器221在步骤S301中从变换目 标信息中获取分辨率信息。目标压縮比获取器222在步骤S302中从变换 目标信息中获取目标压縮比。基于在步骤S301中获取的分辨率信息，子 频带丢弃器323在步骤S303中丢弃生成具有所获取的分辨率信息所指定 的分辨率的图像数据所不需要的子频带。
截断的位平面代码量计数器324在步骤S304中保存未被丢弃的子频 带的系数(位平面)，从其保存的位平面中选择最不重要的位平面作为截 断的位平面的候选者，并且计算其代码数。在步骤S305中，截断的位平 面确定器325基于由截断的位平面代码量计数器324计数得到的代码数， 计算此时的余下位平面相对于基本图像数据(即，原始图像数据)的压縮 比。截断的位平面确定器325随后在步骤S306中判定计算出来的压缩比 是否等于或小于在步骤S302中获得的目标压縮比。
如果判定余下的位平面的压縮比等于或小于目标压縮比，即，如果余 下的位平面的代码数太大，则控制前进到步骤S307。在步骤S307中，截 断的位平面代码量计数器324从其保存的位平面中选择下一个不那么重要 的位平面，即，在余下的位平面中的最不重要位平面作为截断的位平面的 候选者，并且计算其代码数。控制随后回到步骤S305来重复从步骤S305 起的处理。换言之，在计算出来的余下的位平面的压縮比变得大于目标压 缩比之前，截断的位平面代码量计数器324和截断的位平面确定器325重 复执行步骤S305、 S306、 S307来增加所选位平面的候选者的计数数目。
如果在步骤S306中判定计算出来的余下位平面的压縮比大于目标压 縮比，则控制前进到步骤S308，在步骤S308中，截断的位平面确定器325丢弃直到前一周期为止所选出的截断的位平面，并且将余下的位平面
作为所选位平面提供给代码块组合器231。然后，提取处理终止。控制返 回到图16所示的步骤S123，并且前进到步骤S124。
提取器112执行如上所述的提取处理以丢弃不需要的位平面，从而提 取系数数据以便满足由变换目标信息指定的分辨率和压縮比的条件数据。
部分解码器101被描述为基于包括在变换目标信息中的码流的压縮比 和图像数据的分辨率来执行部分解码处理。然而，部分解码器101可以仅 基于包括在变换目标信息中的码流的压缩比来执行部分解码处理。在这种 情况中，图IO所示的部分解码器101可以省去分辨率信息获取器221和子 频带选择器223，并且可以省掉图17所示的提取处理中的步骤S14K S143。
可替代地，部分解码器101可以仅基于包括在变换目标信息中的图像 数据的分辨率来执行部分解码处理。在这种情况中，图IO所示的部分解 码器101可以省去目标压縮比获取器222、所选位平面代码量计数器224 和所选位平面确定器225，并且可以省掉图17所示的提取处理中的步骤 S142、 S144。
部分解码器101可以基于除了上述那些参数之外的参数来执行部分解 码处理。例如，转码器100可以转换码流的图像数据的色彩空间的格式 (色彩格式)，并且部分解码器101可以基于包括在变换目标信息中的色 彩格式的信息来执行部分解码处理。下面将描述这种修改。
首先，下面描述色彩格式。如果YCbCr格式用于表示图像数据的色彩 空间，则作为亮度分量的Y分量以及作为色差分量的Cb和Cr分量的信息 量之比，或者采样频率之比可以被设置为诸如4:4:4、 4:2:2或4:2:0之类的
多种设置中的任一种。
根据4:4:4格式，Y、 Cb和Cr分量的信息量彼此相等，并且这些分量 的分辨率彼此相等。例如，图25A示出了彼此相等的Y分量401、 Cb分 量402和Cr分量403。
根据4:2:2格式，Cb和Cr分量的信息量是Y分量的信息量的二分之 一。例如，图25B示出了 Y分量401、 Cb分量404和Cr分量405。 Cb分量404和Cr分量405具有等于Y分量401的水平分辨率的二分之一的水 平分辨率。
根据4:2:0格式，Cb和Cr分量的信息量是Y分量的信息量的四分之 一。例如，图25C示出了 Y分量401、 Cb分量406和Cr分量407。 Cb分 量406和Cr分量407具有等于Y分量401的水平和垂直分辨率的二分之 一的水平和垂直分辨率。
下面将描述这些色彩格式之间的转换。为了将依照4:4:4格式的码流 转换为依照4:2:0格式的码流，部分解码器101可以生成依照4:2:0格式的 基带图像数据。具体地，当部分解码器101执行其解码处理时，部分解码 器101选择在作为低于Y分量一个层级的层级上的、在垂直和水平两个方 向的较低频率处的Cb和Cr分量的子频带。实际上，在垂直和水平两个方 向上的较低频率处的子频带的每个都被递归的小波变换处理划分为多个子 频带。部分解码器101选择所有这些子频带。
为了将依照4:4:4格式的码流转换为依照4:2:2格式的码流，部分解码 器101可以生成依照4:2:2格式的基带图像数据。根据4:2:2格式，仅仅Cb 分量和Or分量的水平分辨率为Y分量的水平分辨率的二分之一。当部分 解码器101执行其解码处理时，部分解码器101选择在作为低于Y分量一 个层级的层级上的四个子频带中、水平方向上的较低频率处的Cb和Cr分 量的两个子频带。实际上，位于垂直和水平两个方向上的较低频率处的、 水平方向上的较低频率处的两个子频带中之一被递归的小波变换处理划分 为多个子频带。部分解码器101选择所有这些子频带作为垂直和水平两个 方向上的较低频率处的子频带。
随后部分解码器101针对色差分量的最高层级仅在垂直方向上对两个 子频带进行小波逆变换，以生成基带色差分量，例如图25B所示的Cb分 量404和Cr分量405，它们的水平分量被减少到Y分量401的二分之一。
依照4:2:2格式的色差分量的小波变换处理可以按照与亮度分量相同 的方式来执行。更确切地，可以仅在垂直方向上在最高层级处对色差分量 执行小波变换处理，然后，以与亮度分量相同的方式在连续的较低层级处 对较低频率处的色差分量执行小波变换处理。下面将描述后一种可选方式。
为了将依照4:4:2格式的码流转换为依照4:2:0格式的码流，部分解码 器101可以生成依照4:2:0格式的基带图像数据。当部分解码器101执行 其解码处理时，部分解码器101选择在作为低于Y分量一个层级的层级处 的、在较低频率处的Cb和Cr分量的子频带，即在垂直方向上的较低频率 处的两个子频带之一。实际上，在较低频率处的该子频带进一步被递归的 小波变换处理划分为多个子频带。部分解码器101选择所有这些子频带。
下面将描述用于色彩格式之间的转换的部分解码器101和编码器102 的配置示例。图26以块的形式示出了部分解码器101的配置示例。除了 下面的配置以外，图26所示的部分解码器101类似于图IO所示的部分解 码器IOI。
如图26所示，部分解码器101的提取器U2包括除了图IO所示的元 件之外的色彩信息获取器420。色彩信息获取器420从自编码器102提供 来的变换目标信息获取指定经转换的码流的图像数据的色彩格式的色彩信 息。色彩信息获取器420将所获取的色彩信息与变换目标信息一起提供给 分辨率信息获取器221。当分辨率信息获取器221从变换目标信息获取分 辨率信息后，分辨率信息获取器221将分辨率信息和色彩信息一起提供给 子频带选择器223。基于色彩信息和分辨率信息，子频带选择器223选择 要处理的子频带，并且将所选择的子频带提供给所选位平面代码量计数器 224。
由于子频带选择器223基于色彩信息和分辨率信息选择子频带，因 此，提取器112可以适当地提取生成具有目标分辨率和色彩格式的图像数 据的码流所需要的子频带。利用这样提取出来的子频带，基带生成器113 可以最小化其基带生成处理负担的不希望的增加。
如图26所示，部分解码器101的基带生成器113包括除了图10所示 的元件之外的色彩信息获取器430和控制器431。如色彩信息获取器420 那样，色彩信息获取器430从变换目标信息获取色彩信息，并且将所获取 的色彩信息提供给控制器431。基于提供来的色彩信息，控制器431控制 小波逆变换器233以由色彩信息所指定的任意色彩格式适当地对色差分量例如，如果由色彩信息指定的色彩格式为4:2:2格式，则控制器431 控制小波逆变换器233利用此时出现的两个子频带仅在垂直方向上在最高 层级(最后的层级)处对色差分量进行小波逆变换。以这种方式，基带生 成器113可以生成仅在水平方向上分辨率为亮度分量的分辨率的一半的基 带图像数据的色差分量，例如图25B所示的Cb分量404和Q"分量405。
图27以块的形式示出了编码器102的配置示例。除了下面的配置以 外，图27所示的编码器102类似于图2所示的编码器102。
如图27所示，编码器102的码流生成器121包括取代了小波变换器 152的小波变换器452，并且编码器102的控制器122包括取代了控制器 171的控制器471。控制器471除了基于通过输入单元103输入的、指定经 转换的码流的图像数据的色彩格式的色彩信息来对小波变换器452进行控 制之外，还执行与控制器171相同的控制处理。小波变换器452由控制器 471控制来以任意的色彩格式对色差分量进行小波变换。例如，如果由色 彩信息指定的色彩格式为4:2:2，则小波变换器452仅在垂直方向上在最高 层级(第一层级)处对色差分量进行小波变换。
控制器471向提供器123提供色彩信息。如图27所示，提供器123包 括除了图2所示的元件之外的色彩信息提供器480和复用器484。
色彩信息提供器480为了将色彩信息提供给部分解码器101，将来自 控制器471的色彩信息提供给复用器484。复用器484对提供来的色彩信 息以及从分辨率信息提供器181提供来的分辨率信息进行复用，并且将它 们提供给复用器183。复用器183对已经与色彩信息复用在一起的分辨率 信息以及从目标压縮比提供器182提供来的目标压縮比进行复用，并将它 们提供给部分解码器101。
如上所述，色彩信息被与分辨率信息和目标压縮比复用，并且它们作 为变换目标信息被提供给部分解码器101的提取器112。或者，色彩信 息、分辨率信息和目标压縮比可以不被复用，而可以单独地被提供给部分 解码器101的提取器112。
下面将描述由图26所示的部分解码器101以及图27所示的编码器102执行的处理。这些处理基本上与上述处理相同。然而，部分解码处理 的提取处理和基带数据生成处理，以及编码处理的一部分与上述处理不 同。
下面将参考图28所示的流程图描述提取处理。图28所示的提取处理 除了下面的步骤以外与图17所示的提取处理类似。
当提取处理开始时，色彩信息获取器420在步骤S401中从变换目标 信息获取色彩信息。步骤S402、 S403与图17所示的步骤S141和S142相 同。基于色彩信息和分辨率信息，子频带选择器223在步骤S404中选择 要处理的子频带。具体地，子频带选择器223不仅基于分辨率縮小子频带 的范围，而且縮小色差分量的子频带的范围，来丢弃由于色彩格式的转换 而不需要的那些子频带。步骤S405至S409与图17所示的步骤S144至 S148相同。
下面将参考图29描述基带数据生成处理。图29所示的基带数据生成 处理除了下面的步骤以外与图18所示的基带数据生成处理类似。
当基带数据生成处理开始后，代码块组合器231在步骤S421中如步 骤S161那样组合代码块。逆量化器232在步骤S422中如步骤S162那样 逆量化经组合的代码块。小波逆变换器233被控制器431控制来在步骤 S423中基于色彩信息对经逆量化的系数数据进行小波逆变换。DC电平逆 移位器234在步骤S424中如步骤S164那样逆移位图像数据的DC电平。 然后，基带数据生成处理终止。
根据上述提取处理和基带数据生成处理，部分解码器101可以适当地 减轻用于对色彩格式进行转码的转码处理的负担。
下面将参考图30所示的流程图描述编码处理。图30所示的编码处理 除了下面的步骤以外与图19所示的编码处理类似。
当编码处理开始后，DC电平移位器151在步骤S441中如步骤S181 那样移位输入图像数据的DC电平。小波变换器452随后在步骤S442中根 据基于色彩信息的经转换的色彩格式适当地对图像数据进行小波变换。步 骤S443至S447与图19所示的步骤S183至S187相同。在步骤S448中， 包括色彩信息提供器480、分辨率信息提供器181、目标压縮比提供器182、复用器484以及复用器183的提供器123复用色彩信息、分辨率信息 和目标压縮比，并将它们作为变换目标信息提供给部分解码器101。然 后，编码处理终止。
根据上面的编码处理，编码器102可以适当地根据图像数据的色彩格 式对其进行编码。
虽然在上面的实施例中，三种格式，即色彩格式、分辨率和压縮比基 于色彩信息、分辨率信息和目标压縮比而被转换，然而仅色彩格式可以基 于色彩信息被转换。可选地，两种格式，即色彩格式和分辨率可以基于色 彩信息和分辨率信息而被转换，或者，色彩格式和压縮比可以基于色彩信 息和目标压縮比而被转换。
上述转码器100可应用到多种系统中的任一种。
例如，图31A所示的编码系统501包括用于对图像数据进行编码的编 码器511、用于存储经编码的图像数据的诸如硬盘、光盘等的存储介质 512，以及用于在任何希望的时间读取、转码并输出经编码的数据的转码 器100。包括转码器100的编码系统501能够将各种格式的经编码数据存 储在存储介质512中，并且能够在不需要存储基带图像数据的情况下提供 各种格式的经编码数据。
图31B所示的编码系统502包括编码器511、取代存储介质512的用 于发送来自编码器511的经编码图像数据的传输路径513，以及用于对通 过传输路径513发送来的经编码图像数据进行转码的转码器100。传输路 径513允许经编码的图像数据从编码器511连续地被发送到转码器100， 由此转码器100可以将经编码的图像数据连续地转码为各种格式的数据。
图31C所示的编码系统503包括编码器511、用于处理来自编码器 511的经编码图像数据的信息处理装置514，以及用于对经信息处理装置 514处理的经编码图像数据进行转码的转码器100。信息处理装置514处 理来自编码器511的经编码图像数据，并将经处理的图像数据提供给转码 器100，转码器IOO可以将经处理的图像数据转码为各种格式的数据。
转码器100还可以包括在除了图31A、 MB、 31C所示的系统501、 502、 503之外的系统中。转码器IOO可以整体地与其它元件组合以便成为另外的装置的一部分。例如，图31A所示的编码器511、存储介质512和
转码器100可以被组合成为单个装置。类似地，图31B所示的编码器 511、传输路径513和转码器100或者图31C所示的编码器511、信息处理 装置514和转码器100可以被组合成为单个装置。
涉及上述装置的处理可以利用软件或硬盘来实现。如果处理是软件实 现的，则它们可以被提供作为例如由图32所示的个人计算机600执行的 功能。
在图32中，个人计算机600包括CPU (中央处理单元)601， CPU 601根据存储在ROM (只读存储器)602中的程序或者从存储装置613装 载到RAM (随机存取存储器)603中的程序执行各种处理。RAM 603还 存储CPU 601所需的各种数据以执行各种处理。
CPU 601、 ROM 602和RAM 603通过总线604彼此相连，总线604连 接到输入/输出接口 610。
输入/输出接口 610连接了包括键盘、鼠标等在内的输入单元611、包 括诸如CRT (阴极射线管)、LCD (液晶显示器)等以及扬声器在内的输 出单元612、可以为硬盘等的存储装置613，以及诸如调制解调器等的通 信单元614。通信单元614经由包括因特网在内的网络与其它计算机和系 统通信。
输入/输出接口 610还连接到驱动器615，在驱动器615中可移除地安 装有诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除介质621。由 驱动器615从可移除介质621读取的计算机程序被装载在存储装置613 中。
如果上述处理是软件实现的，则软件程序从网络或记录介质被装载到 存储装置613。
记录介质可以是存储那些软件程序的可移除介质621的形式，例如， 磁盘(包括软盘)、光盘(包括CD-ROM (致密盘-只读存储器)或DVD (数字通用盘))、磁光盘(包括MD (迷你盘))和半导体存储器。可 移除介质621通常与个人计算机600分离地被分发给用户用于提供程序。 记录介质或者可以是记录有程序的ROM 602或者包括在存储装置613中的硬盘的形式，其与个人计算机600组合在一起被提供给用户。
描述记录在记录介质中的程序的步骤可以根据上述时间序列被顺序地 执行，或者可以彼此并行地或单独地被执行。
在本描述中，术语"系统"指包括多个设备或装置的实体。 被描述为单个元件的单元、设备、装置或实体可以被划分为多个单 元、设备、装置或实体。反之，多个单元、设备、装置或实体可以被组合 为单个单元、设备、装置或实体。除了上述配置细节之外的配置细节可以 被添加到所描述的单元、设备、装置或实体。单元、设备、装置或实体的 一些配置细节可以被包括在另一单元、设备、装置或实体中，只要整个系 统在配置和操作方面本质上保持不变。
虽然已详细示出和描述了本发明的某些优选实施例，然而，应当明 白，在不脱离所附权利要求的范围的情况下可以对那些实施例作出各种改 变和修改。
本发明包含与2008年6月10日向日本专利局提交的日本优先权专利 申请JP 2008-151696中公开的主题相关的主题，该申请的全部内容通过引 用被结合于此。
权利要求
1.一种信息处理装置，包括部分解码装置，用于将代表经编码的图像数据的第一码流的一部分解码为基带图像数据；以及编码装置，用于将来自所述部分解码装置的所述基带图像数据编码为具有从所述第一码流的格式转换来的格式的第二码流，其中所述编码装置利用与所述第二码流相关的参数的目标值将所述基带图像数据编码为具有所述第二码流的格式的所述第二码流，并且所述部分解码装置利用所述目标值确定所述第一码流中要解码的部分，并且对所述第一码流中所确定的部分进行解码。
2. 根据权利要求1所述的信息处理装置，其中所述第一码流是通过对所述基带图像数据进行小波变换并且对小波变 换系数进行熵编码而生成的；并且 所述部分解码装置包括熵解码装置，用于对所述第一码流进行熵解码，提取装置，用于从在所述第一码流被所述熵解码装置进行熵解码 时生成的所述小波变换系数中，提取生成所述基带图像数据所需要的小波 变换系数，所述基带图像数据将由所述编码装置根据所述目标值进行编码 以生成具有所述第二码流的格式的所述第二码流，以及基带数据生成装置，用于利用由所述提取装置提取的所述小波变 换系数生成所述基带图像数据。
3. 根据权利要求2所述的信息处理装置，其中所述提取装置包括 子频带选择装置，用于根据由所述第二码流表示的图像数据的分辨率的目标值，从在所述第一码流被所述熵解码装置进行熵解码时生成的所述 小波变换系数中选择需要的子频带。
4. 根据权利要求3所述的信息处理装置，其中-所述编码装置对所述基带图像数据进行编码，以使得由所述第二码流表示的所述图像数据的分辨率等于或接近其目标值；以及所述子频带选择装置选择使得由所述基带数据生成装置生成的所述基 带图像数据的分辨率等于或接近所述目标值的子频带。
5. 根据权利要求2所述的信息处理装置，其中所述提取装置包括 计数装置，用于对在所述第一码流被所述熵解码装置进行熵解码时生成的所述小波变换系数的位平面的数据量进行计数；以及确定装置，用于基于由所述计数装置计数的数据量来计算要选择的位 平面的压縮比，并且基于所述压縮比以及所述第二码流的压縮比的目标值 来确定所述要选择的位平面。
6. 根据权利要求5所述的信息处理装置，其中所述编码装置对所述基带图像数据进行编码，以使得所述第二码流的 压縮比等于或接近所述目标值；以及所述确定装置选择使得由所述基带数据生成装置生成的所述基带图像 数据的压縮比等于或接近所述目标值的所述位平面。
7. 根据权利要求2所述的信息处理装置，其中所述提取装置包括 子频带选择装置，用于根据所述第二码流的色彩格式，从在所述第一码流被所述熵解码装置进行熵解码时生成的所述小波变换系数中选择需要 的子频带。
8. 根据权利要求7所述的信息处理装置，其中，所述基带数据生成装置根据取决于信息第二码流的色彩格式的处理，将所述小波变换系数小波 逆变换为所述色彩格式的所述基带图像数据。
9. 一种由信息处理装置执行的信息处理方法，该信息处理装置用于对代表经编码的图像数据的第一码流的格式进行转换以生成第二码流，所述信息处理装置包括.-部分解码装置，用于对所述第一码流的一部分进行解码，以及 编码装置，用于将在所述部分解码装置对所述第一码流的一部分进行解码时生成的基带图像数据编码为所述第二码流，所述信息处理方法包括以下步骤由所述编码装置利用与所述第二码流相关的参数的目标值将所述基带图像数据编码为具有所述第二码流的期望格式的所述第二码流；以及由所述部分解码装置利用所述目标值来确定所述第一码流中要解码的 部分，并且通过所述部分解码装置对所述第一码流中所确定的部分进行解 码。
10. —种信息处理装置，包括；部分解码器，被配置来将代表经编码的图像数据的第一码流的一部分 解码为基带图像数据；以及编码器，被配置来将来自所述部分解码器的所述基带图像数据编码为 具有从所述第一码流的格式转换来的格式的第二码流，其中所述编码器利用与所述第二码流相关的参数的目标值将所述基带图像 数据编码为具有所述第二码流的格式的所述第二码流，并且所述部分解码器利用所述目标值确定所述第一码流中要解码的部分， 并且对所述第一码流中所确定的部分进行解码。
全文摘要
本发明提供了一种信息处理装置和信息处理方法。在此公开了一种信息处理装置，包括部分解码器，被配置来将代表经编码的图像数据的第一码流的一部分解码为基带图像数据；以及编码器，被配置来将来自部分解码器的基带图像数据编码为具有从第一码流的格式转换来的格式的第二码流，其中编码器利用与第二码流相关的参数的目标值将基带图像数据编码为具有第二码流的格式的第二码流，并且部分解码器利用目标值确定第一码流中要解码的部分，并且对第一码流中所确定部分进行解码。
文档编号H04N7/50GK101605264SQ20091014604
公开日2009年12月16日 申请日期2009年6月10日 优先权日2008年6月10日
发明者福原隆浩 申请人:索尼株式会社