编码率变换装置、编码率变换方法及集成电路的制作方法

专利名称：编码率变换装置、编码率变换方法及集成电路的制作方法
技术领域：
本发明涉及为了进一步削减编码数据的信息量而变换编码率的技术， 更加具体地讲，涉及抑制伴随编码率变换形成的画质恶化的编码率变换装 置等。
背景技术：
近年来，用于实现高度压縮的MPEG2(Moving Picture Experts Group 2: 运动图像专家组2)被用作图像编码技术。该技术被用于数字广播、DVD、 网络等的记录介质中，与这些用途相结合,可以在一定范围内选择比特率(bit rate)。
例如，在选择将高画质的数字广播记录在记录介质中的比特率时，不 将高画质的数据原样记录在记录介质中，而是为了进一步削减信息量，变 换编码率以使比特率减小，从而可以在记录介质中记录更多的数据。并且， 为了有效利用记录介质的容量，变换编码速度的高速转录(夕'e乂y)等需求 也在增加。
并且，在将记录在记录介质中的数字广播分发到网络上时，不将高画 质的数据原样分发到网络上，而是根据网络带宽来变换编码率，使比特率 减小，从而在带宽狭窄的网络中也能够分发影像。
作为实现以上目的的编码率变换方法的一种方法有再量化型变换方 法。该方法不将输入比特流解码到像素级别,而是按照不同的量化尺度(scale) 对被反量化后的DCT (Discrete Cosine Transform:离散余弦变换)系数进 行再量化，从而变换为所期望的数据量，由此，是不需将解码进行到像素 级别即可削减编码率的方法。
以后，在具体说明再量化型的编码率变换方法之前，进行有关MPEG2 的DCT变换和量化的具体说明。
在MPEG2中， 一个图片(picture)的编码数据由一个以上的片(slice)构
6成，一个片由一个以上的宏块(macroblock: MB)构成。以下把宏块称为 MB。 MB具有标题部和块部。以下，把MB的标题部和MB的块部分别称 为MB标题部和MB块部。MB块部表示多个量化DCT系数。量化DCT 系数是通过将DCT系数量化得到的系数，该DCT系数是对图片按照预定 大小的每个块进行DCT (离散余弦变换)而得到的。
并且，一个标准(4: 2: 0)的宏块由4个亮度块和2个色差块合计6 个块构成。块的数量因亮度和色差而不同是基于密度的观点，根据人对亮 度比对色差更敏感的视觉特性而确定的。在MPEG2中，将6个块按照亮度 Y (左上)、亮度Y (右上)、亮度Y (左下)、亮度Y (右下)、色差Cb (蓝 色成分)、色差Cr (红色成分)的顺序编码。
一个块按照8X8大小的系数(量化DCT系数)组被编码，将该系数 组反量化、再进行反DCT变换，即可解码为8X8大小的像素。
块中包含的系数组构成为左上的系数为低频成分，随着向右，水平方 向成为高频成分的系数，随着向下，垂直方向成为高频成分的系数，右下 的系数在水平方向和垂直方向都是高频成分。左上角的1系数是DC成分(直 流)，其他是AC成分(交流)。
上述的量化DCT系数的反量化方法根据是不进行运动补偿的 IntraMB、还是进行运动补偿的InterMB而不同。IntraMB是利用处理对象 的图片内的信息来压縮数据的宏块。并且，在IntraMB中也因DC成分和 AC成分而存在差异。InterMB是利用与处理对象的图片不同的图片内的信 息来压缩数据的宏块。
IntraMB的DC成分按照下式进行反量化。 (DCT系数)=(反量化系数)X (量化DCT系数)
另一方面，IntraMB的AC成分按照下式(以下称为反量化的算式)进 行反量化。
(DCT系数)二 (2X量化DCT系数)X量化矩阵X量化尺度/32 另外，InterMB与DC成分、AC成分无关，都按照下式(以下称为反 量化的算式)进行反量化。 (DCT系数)=
(2X量化DCT系数+1) X量化矩阵X量化尺度/32 (量化DCT系数
7>0时)
(2X量化DCT系数)X量化矩阵X量化尺度/32 (量化DCT系数二O
时)
(2X量化DCT系数一1) X量化矩阵X量化尺度/32 (量化DCT系数 <0时)
在上式中，反量化系数和量化尺度是系数(标量scalar),量化矩阵 由8X8大小的系数组(矢量)构成，使用与求出的DCT系数的位置对应 的系数。
反量化系数和量化矩阵利用图片单位指定，量化尺度利用宏块单位指定。
并且，量化尺度不是按照原样的值来编码，而是从MB标题部表示的 被编码的量化尺度码(量化参数)根据图1的表来变换。从量化尺度码(量 化参数)进行的量化尺度的变换有线性型和非线性型这两种类型，关于按 照哪种类型来编码，利用图片单位指定。
然后，量化DCT系数按照图2A所示的Z字形扫描和图2B所示的交 替扫描任一方表示的顺序，只有非0系数被编码。关于采用哪一种扫描顺 序，利用图片单位指定。Z字形扫描适合于逐行图像的编码，交替扫描适合 于隔行图像的编码。以后，利用Z字形扫描进行说明，但与Z字形扫描相 同的理论对于交替扫描也成立。
非0系数的编码是源自前一个非0系数的项目数run (=连续的0系数 的个数)和非0的量化DCT系数值level被编码，在最后的非0系数之后， EOB (End of Block)被编码，自此以后的0系数被省略。例如，在按照从 低频成分起7、 3、 0、 0、 1、以后全部是0的顺序存在量化DCT系数的块 中，按照(run、 level) = (0、 7)、 (0、 3)、 (2、 1)、 EOB的顺序进行编 码。
下面，具体说明再量化型的编码率变换方法(参照专利文献l)。
图3是表示MPEG2的解码装置10000的一例结构的方框图。可变长
度解码部2201解码MPEG2流，将通过解码得到的多个MB块部分别表示
的信息(量化DCT系数)通知反量化部2202。
首先，对于IntraMB，反量化部2202对量化DCT系数进行反量化以恢
8复成为DCT系数，将DCT系数通知反DCT变换部2203。反DCT变换部 2203进行反DCT变换，使DCT系数恢复为像素信息。恢复后的像素信息 通过像素复原部2206被输出。并且，像素信息有可能在下一个图片以后被 参照，所以被存储在参照帧存储部2204中。
然后，对于InterMB，由于通过反DCT变换得到的像素信息是差分值, 所以在将DCT系数输出给像素复原部2206后还需要进行处理。运动补偿 部2205从参照帧存储部2204获取由可变长度解码部2201解码后的利用运 动矢量指定的参照图像，并通知像素复原部2206。像素复原部2206将参照 图像和像素信息的差分相加，求出像素信息并输出。复原后的像素信息与 InterMB相同，被存储在参照帧存储部2204中。
图4是表示MPEG2的编码装置10001的一例结构的方框图，基本上 是与MPEG解码装置10000相反的结构。
对于IntraMB，像素信息首先在DCT变换部2301被进行DCT变换， 通过DCT变换得到的信息被通知给量化部2302。编码率控制部2311利用 从可变长度编码部2303得到的实际的编码比特量的实际值校正目标的编码 率，同时求出量化尺度，将量化尺度通知量化部2302。
量化部2302按照通过编码率控制计算的量化尺度对DCT系数进行量 化，把通过量化得到的信息通知可变长度编码部2303，同时由.于还被用作 参照图像，所以把通过量化得到的信息通知反量化部2304。可变长度编码 部2303把量化DCT系数编码成为流。由于在下一个以后的图片中被用作 参照图像，所以与解码装置10000相同，通过反量化部2304、反DCT变换 部2305把量化DCT系数解码成为图像信息，图像信息被存储在参照帧存 储部2306中。
对于InterMB,为了进行使用了参照图像的图像信息量削减，首先，在 运动检测部2307从参照帧存储部2306检测与输入图像的一致度高的图像， 并计算运动矢量。运动矢量被通知运动补偿部2308,并且，被编码成为流 的MB标题部的信息，因此通知可变长度编码部2303。运动补偿部2308 以运动矢量为基础，从参照帧存储部2306获取参照图像，像素减法部2309 求出与输入图像的差分，从而削减信息量。以后与IntraMB时相同。
为了在下一个以后的图片中被用作参照图像，在通过反量化部2304、反DCT变换部2305时，求出图像信息的差分，所以像素相加部2310相加 由运动补偿部2308求出的参照图像时，可以解码图像信息，图像信息被存 储在参照帧存储部2306中。
在此，在MPEG2中，MB标题部的比特量取基本已确定的范围的比特 量，MB标题部的比特量在编码流整体中所占比例极小。相反，MB块部的 比特量按每个MB的偏差比较大，MB块部的比特量占据编码流的大部分。 因此，为了降低编码流的编码率，利用某种手段降低MB块部的量化DCT 系数(level)的方法比较有效。
在降低量化DCT系数(level) B寸，较小的level可以利用较短的编码 比特表述。如果level为0，则不需要level的编码本身，所以可以降低编码 率。
再量化型的编码率变换装置是利用了上述的量化的性质的变换装置， 其构成为结合了 MPEG解码装置和MPEG编码装置并省略不必要的结构。 由于不需将流解码到图像级别，仅通过量化即可变换编码率，所以具有不 需要进行DCT变换或运动补偿的优点。
为了降低量化DCT系数(level),参照前述的反量化的算式得知，可 以增大量化尺度和量化矩阵任一方。首先，具体说明作为再量化型的编码 率变换装置的一例的、量化尺度再变换型的编码率变换装置。
图5表示量化尺度再变换型的编码率变换装置11000的结构图。
可变长度解码部2401解码MPEG2流。可变长度解码部2401不变换 包括反量化系数及量化矩阵的图片标题，而是将图片标题原样通知可变长 度编码部2402 (未图示)。可变长度解码部2401将MB标题部的参数通知 MB标题存储部2405，同时将MB标题部表示的量化尺度码变换为量化尺 度，将该量化尺度通知量化尺度增加变换部2404。可变长度解码部2401将 MB块部表示的量化DCT系数等的参数通知反量化部2406。
反量化部2406浪照输入流的量化尺度进行反量化，并通知量化部 2407。
另一方面，编码率控制部2403按照目标变换编码率计算目标量化尺度， 将计算出的目标量化尺度通知量化尺度增加变换部2404。
量化尺度增加变换部2404以目标量化尺度为参考，从输入时的量化尺
10度变换为输出时的新的量化尺度，将变换后的量化尺度通知量化部2407， 同时，将变换后的量化尺度通知MB标题存储部2405。
在MB标题存储部2405中，把量化尺度变换为量化尺度码，并改写为 新的值。MB标题存储部2405把对应于MB标题的参数通知可变长度编码 部2402。由此，可以得到MB标题部的流。
并且，量化部2407按照新的量化尺度进行量化，把其结果得到的量化 DCT系数通知可变长度编码部2402。由此，可以得到MB块部的流。
编码率控制部2403随时从可变长度解码部2401获取解码后的比特量， 并且从可变长度编码部2402获得编码后的比特量，进行目标编码率的校正。
下面，具体说明量化尺度再变换型的编码率变换装置11000的编码率 控制。
在MPEG2中，在ISO-IEC/JTC1/SC29/WG11/N0400 Test Model 5 (以 下记述为TM5)中记述有编码时的编码率控制方式，在编码率变换中多采 用与TM5同等的方式(参照专利文献1)。因此，首先说明TM5。 TM5的 编码率控制方式包括3个步骤。
步骤1是根据目标比特率对每个图片进行比特分配的阶段。步骤2是 以分配给每个图片的比特为基础来计算量化尺度的阶段。步骤3是考虑视 觉特性来校正量化尺度的阶段。
在步骤l，按照目标编码率及图片结构(1、 P、 B图片)等对每个图片 分配比特，这已利用算式进行了规定，由于与本发明没有直接关系，所以 省略具体说明。
在步骤2，假定虚拟的基准解码部，进行对虚拟缓冲器的编码率控制。 在该编码率控制处理中，进行使分别分配给I、 P、 B图片的比特量Ti、 Tp、 Tb、与实际在I、 P、 B图片中分别产生的比特量Si、 Sp、 Sb分别一致的处 理。具体地讲，根据对每个图片类型独立设定的3种虚拟缓冲器容量，通 过宏块单位的反馈控制来求出量化尺度。在I、 P、 B图片内的第j个宏块的 编码时使用的虚拟缓冲器的占有量di(j)、 dp(j)、 dbG)根据下式确定。 dk(j)=dk(0)+BG-l)-Tkx(j-l)/NMB (其中，k=i、 p、 b) 其中，di(O)、 dp(O)、 db(O)表示虚拟缓冲器的初期占有量。B(M)表示截 止到第(H)个宏块的产生编码量的总和。NMB表示图片的宏块数。根据上述虚拟缓冲器的占有量，I、 P、 B图片内的第j个宏块的量化尺度mqi(j)、 mqp(j)、 mqb①据下式确定。<formula>formula see original document page 12</formula> (其中，k=i、 p、 b)
其中，r表示被称为动作参数(action parameter)的常数。步骤3与本发 明没有直接关系，所以省略具体说明。
下面，具体说明量化尺度再变换型的编码率变换装置的量化尺度变换。
通过编码率控制得到量化尺度。但是，在编码率变换中原样地使用该 量化尺度未必是好办法。例如，TM5计算与输入流无关的量化尺度。因此， 产生与输入流的量化尺度qik(j滩比，通过编码率控制得到的量化尺度mqk(j) 比较小的情况。该情况时，如果将mqk(j)原样地用于量化尺度，将导致输 出的比特量相比输入流增加。
但是，只要变换输入流并输出，就不可能使输出流的量化误差小于输 入流的量化误差，所以此处的比特量的增加完全没有意义。因此，输出流 的量化尺度qok(j)可以设为
<formula>formula see original document page 12</formula> (其中，k=i、 p、 b)。 并且，除此之外，还有下述方案(参照专利文献2),对于输出流的量化尺 度qok(j)，不是原样使用通过编码率控制得到的量化尺度mqk(j)，而是设为<formula>formula see original document page 12</formula>(其中，k=i、 p、 b) 这样能够抑制每个同一编码量的画质恶化。无论在哪种情况下，输出流的 量化尺度都不是原样使用通过编码率控制得到的量化尺度，而是参照通过 编码率控制得到的量化尺度，将输入流的量化尺度变换为增加方向。
下面，使用图6说明量化尺度再变换型的编码率变换装置11000的量 化的具体示例。
编码率控制和量化尺度变换的结果是量化尺度由4变为8,即被变换为 2倍。参照前述的反量化的算式，需要使量化DCT系数与量化尺度大致成 反比例，所以需要将量化DCT系数变换为1/2倍。在具有8个非0量化DCT系数(level) 7、 -3、 2、 1、 4、 1、 -1、 1的 InterMB的块中，本来希望变换为3.5、 -1.5、 1、 0.5、 2、 0.5、 -0.5、 0.5。 但是，由于量化DCT系数只能以整数编码，所以3.5、 -1.5、 1、 0.5、 2、 0.5、 -0.5、 0.5分别被整数化成为3、 -1、 1、 0、 2、 0、 0、 0 (其中，小数点以后 的部分被舍去)，level的值减小。
并且，非0系数的个数从变换前的8个减小为变换后的4个。在对其 进行编码时，输入时为50bit的编码量可以减小为25bit，所以能够降低编码 率。
但是，在整数化时(舍去小数点以后的部分)产生误差(量化误差)。 量化尺度是与量化DCT系数的全部的频率成分相关的系数。因此，有可能 在从低频成分到高频成分的全部频率中一律产生误差。其中，对于针对低 频成分的误差，人的视觉非常敏感，该误差作为块状的噪声被观察到。
在量化尺度再变换型的编码率变换装置中，需要仅利用量化尺度来控 制编码率，所以为了达到目标编码率，必须增大量化尺度变换率，因此有 可能大规模地产生起因于上述低频成分的误差的块噪声。其中，量化尺度 变换率是用于变换量化尺度的值的值。
另一方面，作为再量化型的编码率变换方法，不仅有量化尺度再变换 型的编码率变换方式，还有量化矩阵再变换型的编码率变换方式(参照专 利文献3)。
量化矩阵是块大小(8X8)的系数组。量化矩阵与量化尺度不同，系 数相对每个频率成分是独立的，所以如果对于每个频率成分变更变换率并 控制量化误差，则有可能可以解决量化尺度再变换型的编码率变换装置的 问题。
图7表示量化矩阵再变换型的编码率变换装置12000。
可变长度解码部2501解码MPEG2流。可变长度解码部2501将包括 通过解码得到的量化矩阵的图片标题通知给图片标题存储部2505,同时通 知量化矩阵高频域增加变换部2504。
编码率控制部2503根据目标变换编码率，将该图片的目标编码量通知 量化矩阵高频域增加变换部2504。
量化矩阵高频域增加变换部2504根据控制信息，把输入流的量化矩阵的高频成分(高频域)的系数变换为增加方向，将表示所变换的系数的变
换后的量化矩阵通知量化部2507，同时将变换后的量化矩阵通知图片标题 存储部2505。
图片标题存储部2505将图片标题通知可变长度编码部2502。由此，可 以得到图片标题的流。
然后，作为MB的处理，可变长度解码部2501将MB标题直接通知可 变长度编码部2502 (未图示)。并且，可变长度解码部2501将MB的块部 的量化DCT系数等的参数通知反量化部2506。
并且，量化部2507按照新的量化矩阵进行量化，把其结果得到的量化 DCT系数通知可变长度编码部2502。由此，可以得到MB块部的流。
在对全部MB的处理结束后，编码率控制部2503从可变长度解码部 2501获得解码后的比特量，从可变长度编码部2502获得编码后的比特量， 并进行目标编码率的校正。
下面，具体说明量化矩阵再变换型的编码率变换装置的编码率控制。
该图片的目标编码量的计算与量化尺度再变换型的编码率变换装置 IIOOO相同，可以适用TM5的步骤1，所以此处省略说明。
但是，关于宏块单位的控制，在量化尺度再变换型的编码率变换装置 11000中是适用TM5的步骤2,由于这是变更量化尺度的方法，所以不能 适用于本方式。
下面，具体说明量化矩阵再变换型的编码率变换装置12000的量化矩 阵变换。
在此，作为控制量化矩阵的变换的一例，例如列举下述示例，定义I、 P、 B图片的第i个图片的量化矩阵强度wi(i)、 wp(i)、 wb(i)，根据前一个图 片的实际值(目标与编码结果之差)来控制其强度。
wk(i)-
max{l, wk(i-l)+l}(Bk(i-l)<Tk(i-l)+C时) wk(i-l) (Tk(i-l)誦C^Bk(i-l)STk(i-l)+C时)
min{4, wk(i-l)-l} (Tk(i-l)-C〈Bk(i-l)时) (其中k二i、 p、 b)
其中，Ti(i-l)、 Tp(i-l)、 Tb(i-l)是表示I、 P、 B图片的第(i-l)个图片的
14目标编码量的常数。Bi(i-l)、 Bp(i-l)、 Bb(i-l)是表示I、 P、 B图片的第(i-l) 个图片的实际编码量的常数。C是表示作为目标值与实际值之差可以允许 的编码量的常数。根据上述算式，量化矩阵被控制成为如果能够达到目标 编码率则减弱强度，如果不能达到目标编码率则增强强度。
然后，对于输出流的量化矩阵的系数，根据以下算式(以下称为矩阵 变换式)，从输入流的量化矩阵的系数进行变换。另外，输出流和输入流的 量化矩阵是8行8列的矩阵。
Wo(u，v"
Wi(u，v) (u+v^e (低频成分)时)
wk(i)xWi(u，v) (u+v>s (高频成分)时) (其中k=i、 p、 b)
其中，Wi(u,v)是表示输入流的量化矩阵的第(u，v)个的系数(u^ 7、 f0 7)的常数。Wo(u，v)是表示输出流的量化矩阵的第(u，v)个的系数的常 数。并且，Wo(u，v)表示利用v+l行u+l列确定的系数。例如，在u-2、 v=5 时，Wo(u，v)表示利用6行3列却定的系数。s是表示用于抑制误差的阈值(基 准频率)的常数。
下面，使用图8说明量化矩阵再变换型的编码率变换装置12000的量 化的具体示例。
假设编码率控制和量化矩阵变换的结果是将量化矩阵的高频成分的系 数(s-2吋)增加为2倍。在此，在上述的矩阵变换中，假设^=2。该情况 时，量化矩阵的低频成分的系数是量化矩阵表示的64个系数中被配置为左 上部的三角形状的6个系数。并且，量化矩阵的高频成分的系数是量化矩 阵表示的64个系数中被配置为左上部的三角形状的6个系数以外的系数。
根据前述的反量化的算式，需要使量化DCT系数与量化矩阵大致成反 比例。因此，需要把量化DCT系数的高频成分的量化DCT系数变换为1/2 倍。
非0量化DCT系数是7、 -3、 2、 1、 4、 1、 -1、 1合计8个，在其中前 半部分的3个对应于低频成分的InterMB的块是变换对象时，低频成分的 系数不需要变换。并且，高频成分的量化DCT系数本来希望被变换成为0.5、 2、 0.5、 -0.5、 0.5，但分别被整数化为O、 2、 0、 0、 0。由此，量化DCT系数的低频成分不产生量化误差，但高频成分由于非 O量化DCT系数的level降低、非0系数的个数削减，输入时为50bit的编 码量减小为35bit。因此，可以抑制起因于低频成分的量化误差的画质恶化， 同时削减编码率。
但是，在编码率变换装置12000中，只能利用图片单位设定量化矩阵， 所以不能细致地控制编码率，最坏情况下，有可能不经过几十个图片就不 能把编码率收敛成为目标编码率。
例如，在把编码率变换装置12000适用于对应网络的带宽的编码率变 换时，至少要求以图片单位或GOP单位跟随编码率。但是，在编码率变换 装置12000中不能满足该要求，由于在固定时间内分发超过网络的带宽的 流，有可能导致图像紊乱。
并且，在MPEG2标准中，每个图片的比特量被规定为缓冲模型，所 以需要控制比特量以便以图片单位进入标准范围内，但编码率变换装置 12000很难实现该控制，所以存在输出违反标准的流的可能性。
另外，也存在下述的编码率变换方式(整合方式)(参照专利文献l)， 其组合了上述说明的量化尺度再变换型的编码率变换方式和量化矩阵再变 换型的编码率变换方式。
图9表示量化尺度再变换型与量化矩阵再变换型的整合方式(以后表 述为整合方式)的编码率变换装置13000。
编码率变换装置13000构成为直接组合了图5所示的量化尺度再变换 型的编码率变换装置11000、和图7所示的量化矩阵再变换型的编码率变换 12000，所以省略说明。
并且，整合方式的编码率变换装置13000中的编码率控制、量化矩阵 变换、量化参数变换，可以利用与量化尺度再变换型的编码率变换装置 11000和量化矩阵再变换型的编码率变换12000相同的方法实施，所以省略 说明。
并且，使用图10说明整合方式的编码率变换装置13000的量化的具体 示例。
假设编码率控制和量化矩阵变换的结果是将量化矩阵的高频成分的系 数(s-2吋)增加为2倍。并且，假设编码率控制和量化尺度变换的结果是将量化尺度由4变为8，即增加为2倍。
根据前述的反量化的算式，需要使量化DCT系数与量化矩阵和量化尺 度大致成反比例。因此，需要把低频成分的系数变换为1x1/2=1/2倍，把高 频成分变换为1/2x1/2=1/4倍。
非0量化DCT系数是7、 -3、 2、 1、 4、 1、 -1、 l合计8个，在其中前 半部分的3个对应于低频成分的InterMB的块是变换对象。这时，低频成 分的系数被变换为将3.5、 -1.5、 1整数化得到的3、 -1、 1。高频成分的系 数被变换为将0.25、 1、 0,25、 -0.25、 0.25整数化得到的0、 1、 0、 0、 0。 由此，可以将输入时为50bit的编码量减小为20bit。
在上述的整合方式的编码率变换装置13000中，具有组合了量化尺度 再变换型的编码率变换装置11000和量化矩阵再变换型的编码率变换装置 12000双方的要素的性质。并且，编码率变换装置13000通过改变量化尺度， 能够以宏块单位校正相对目标编码率的偏差，同时进行变换。因此，编码 率变换装置13000解决了量化矩阵再变换方式中存在的不能细致地控制编 码率的问题。 (
并且，编码率变换装置13000不仅能够通过量化尺度变换来削减编码 量，也能够通过量化矩阵变换来削减编码量。因此，在量化矩阵变换中不 会产生低频成分的量化误差，所以在相同的编码率下，能够降低因量化尺 度变换造成的低频成分的量化误差的产生规模。因此，编码率变换装置 13000解决了在量化尺度再变换方式中存在的大规模地产生低频成分的量 化误差的问题。
因此，上述的整合方式的编码率变换装置13000能够以弥补量化尺度 再变换方式和量化矩阵再变换方式各自的缺点的形式，来变换量化尺度和 量化矩阵。
专利文献1日本特开2001-078194号公报专利文献2日本特开2001 —204028号公报专利文献3日本特开2005 —210502号公报
如果使用上述的整合方式的编码率变换装置13000，则能够抑制DCT 系数的低频成分的量化误差。但是，在编码率变换装置13000中，在DCT 系数的高频成分产生了量化误差时，虽然不会影响到低频成分，但有时依旧能够观察到画质恶化的趋势，例如画面的精细感下降、或产生蚊状噪声
(Mosquito noise)等。
一般，编码率和画质具有折衷(tradeoff)的关系。因此，在以块级别观 察时，不能避免因编码率的下降和高频系数的量化误差造成的画质恶化， 但在以图片级别观察时，上述问题有时未必成立。
例如，假设像相对于平坦且低精细的背景，高精细地摄入较小的人的 姿态的影像那样，图片内的精细度不同。该情况时，利用对应于背景图像 的低精细的MB的DCT系数的低频成分的量化误差，抑制对应于人的图像 的高精细的MB的DCT系数的高频成分的量化误差，有时能够抑制整体的 画质恶化。
该情况时，期望控制成为在高精细的MB中，抑制包括高频系数在内 的量化误差，在低精细的MB中，削减包括在上述MB中不能削减编码量 的部分在内的编码量。
但是，在上述的整合方式的编码率变换装置13000中，即使利用在高 精细的MB中不增加量化尺度、在低精细的MB中大幅增加量化尺度的加 权来进行量化尺度的控制，在图片标题中也使得量化矩阵的高频成分增加。 因此，在编码率变换装置13000中，即使不增加量化尺度，也会产生高频 成分的量化误差。
艮P,在上述的整合方式的编码率变换装置13000中，不能实现下述的 编码率变换，即能够抑制全体MB的DCT系数的起因于低频成分的量化 误差的画质恶化，同时在精细度较高的MB等特定的MB中，抑制DCT系 数的不仅起因于低频成分而且起因于高频成分的量化误差的画质恶化。
并且，以上根据MPEG2进行了说明，但在下述的图像编解码器也存 在相同的问题，即根据DCT变换或者依据于DCT变换的正交变换来进 行编码的图像编解码器，把量化矩阵指定为图片单位、把量化尺度指定为 宏块单位的图像编解码器。作为对应于上述情况的图像编解码器，例如有 JPEG、 MPEG1、 MPEG4、 H.264等。

发明内容
本发明就是为了解决上述问题而提出的，其目的在于，提供一种编码率变换装置等，可以抑制起因于低频成分的量化误差的画质恶化，同时可 以抑制在特定的宏块中起因于高频成分的量化误差的画质恶化。
为了解决上述问题，根据本发明的某个方面的编码率变换装置，用于 在对图片进行编码的处理中，对通过至少进行量化处理而得到的所述图片 的编码数据的编码率进行变换，该量化处理使用了将量化矩阵与量化尺度 的值相乘而得到的值，其特征在于，所述量化尺度针对构成用于复原图片 的编码数据的多个宏块的每一个而被设定了值，所述量化矩阵按照从所述 编码数据得到的图片单位设定，所述编码率变换装置具有反量化部，使 用在所述图片的编码时使用的第1量化矩阵对所述多个宏块进行反量化， 从而获取多个系数数据；量化矩阵变换部，使用第1变换值和大于所述第1 变换值的第2变换值将所述第1量化矩阵变换为第2量化矩阵，所述第1 变换值用于对所述第1量化矩阵所表示的多个系数中的、作为与低于预定 频率的频率相对应的系数的低频系数的值进行变换，所述第2变换值用于 对所述多个系数中的、作为除所述低频系数以外的系数的高频系数的值进 行变换；尺度值计算部，在所述第2量化矩阵是用于增大所述编码数据的 编码率的矩阵时，计算将与所述多个宏块中的至少一个宏块相对应的量化 尺度的值变为pl倍而得到的变换后尺度值，在所述第2量化矩阵是用于减 小所述编码数据的编码率的矩阵时，计算将与所述多个宏块中的至少一个 宏块相对应的量化尺度的值变为P2倍而得到的变换后尺度值，其中|31 ^ 1, 0<卩2<1;以及再量化部，使用所述第2量化矩阵和与所述多个系数数据中 的至少一部分系数数据所对应的宏块相对应的、计算出的变换后尺度值， 对所述至少一部分系数数据进行量化，从而生成编码率比由所述反量化部 反量化之前的编码率小的所述编码数据。
根据本发明的其他方面的编码率变换方法，用于在对图片进行编码的 处理中，对通过至少进行量化处理而得到的所述图片的编码数据的编码率 进行变换，该量化处理使用了将量化矩阵与量化尺度的值相乘而得到的值， 其特征在于，所述量化尺度针对构成用于复原图片的编码数据的多个宏块 的每一个而被设定了值，所述量化矩阵按照从所述编码数据得到的图片单 位设定，所述编码率变换方法具有反量化步骤，使用在所述图片的编码 时使用的第1量化矩阵对所述多个宏块进行反量化，从而获取多个系数数据；量化矩阵变换步骤，使用第1变换值和大于所述第1变换值的第2变 换值将所述第1量化矩阵变换为第2量化矩阵，所述第1变换值用于对所 述第1量化矩阵所表示的多个系数中的、作为与低于预定频率的频率相对 应的系数的低频系数的值进行变换，所述第2变换值用于对所述多个系数 中的、作为除所述低频系数以外的系数的高频系数的值进行变换；尺度值 计算步骤，在所述第2量化矩阵是用于增大所述编码数据的编码率的矩阵 时，计算将与所述多个宏块中的至少一个宏块相对应的量化尺度的值变为 (31倍而得到的变换后尺度值，在所述第2量化矩阵是用于减小所述编码数 据的编码率的矩阵时，计算将与所述多个宏块中的至少一个宏块相对应的 量化尺度的值变为P2倍而得到的变换后尺度值，其中piSl, 0<P2<1;以 及再量化步骤，使用所述第2量化矩阵和与所述多个系数数据中的至少一 部分系数数据所对应的宏块相对应的、计算出的变换后尺度值，对所述至 少一部分系数数据进行量化，从而生成编码率比由所述反量化步骤反量化 之前的编码率小的所述编码数据。
艮P,根据本发明的编码率变换装置和编码率变换方法，使用在图片的 编码时使用的第1量化矩阵，对构成编码数据的多个宏块进行反量化，从 而获取多个系数数据。使用第1变换值和大于第1变换值的第2变换值将 第1量化矩阵变换为第2量化矩阵，所述第1变换值用于变换第1量化矩 阵表示的多个系数中、与低于预定频率的频率相对应的低频系数的值，所 述第2变换值用于变换高频系数的值。
在第2量化矩阵是用于增大编码数据的编码率的矩阵时，计算将与至 少一个宏块对应的量化尺度的值变为P1倍而得到的变换后尺度值，Pl^1。 使用第2量化矩阵和与多个系数数据的至少一部分系数数据所对应的宏块 相对应的计算出的变换后尺度值，对至少一部分系数数据进行量化。
在此，使用用于变换低频系数的值的第1变换值、和用于变换高频系 数的值的大于第1变换值的第2变换值，变换第1量化矩阵而得到的第2 量化矩阵，是低频系数的值小于高频系数的值的矩阵。
即，在量化时使用的第2量化矩阵是低频系数的值小于高频系数的值 的矩阵。另外，量化矩阵按照图片单位设定。并且，在量化时使用的量化 矩阵的系数的值越小，量化时的量化误差越小。
20并且，在第2量化矩阵是用于增大编码数据的编码率的矩阵时，在量 化时使用将与至少一个宏块对应的量化尺度的值变为(31倍而得到的变换后 尺度值，P1S1。另外，量化尺度针对多个宏块的每一个设定了值。另外， 量化尺度的值与量化时使用的前一个量化矩阵的全部系数相乘。因此，量 化尺度的值越小，量化时的量化误差越小。
在此，在量化时使用的变换后尺度值是将与至少一个宏块对应的量化 尺度的值变为1倍而得到的值。该情况时，在量化时使用的第2量化矩阵 的全部系数(低频成分和高频成分的系数)不变。
因此，通过使用低频系数的值小于高频系数的值的第2量化矩阵来进 行量化，可以抑制低频成分的量化误差的产生，同时在至少一个宏块中抑 制高频成分的量化误差的产生。即，可以抑制起因于低频成分的量化误差 的画质恶化，并且在特定的宏块中抑制起因于高频成分的量化误差的画质 恶化。
另外，本发明也可以实现为使计算机执行在编码率变换方法中进行的 处理的程序。并且，本发明也可以实现为存储该程序的计算机可以读取的 记录介质、集成电路。
发明效果
根据本发明，使用在图片的编码时使用的第1量化矩阵，对构成编码 数据的多个宏块进行反量化，从而获取多个系数数据。将第1量化矩阵变 换为第2量化矩阵，以使第1量化矩阵表示的多个系数中与低于预定频率 的频率对应的低频系数的值小于高频系数的值。在第2量化矩阵是用于增
大编码数据的编码率的矩阵时，计算将与至少一个宏块对应的量化尺度的 值变为P1倍而得到的变换后尺度值，pl ^ 1 。使用第2量化矩阵和与多个系 数数据的至少一部分系数数据所对应的宏块相对应的计算出的变换后尺度 值，对至少一部分系数数据进行量化。
艮P，在量化时使用的第2量化矩阵是与低于预定频率的频率对应的 低频系数的值小于高频系数的值的矩阵。并且，在量化时使用的量化矩阵 的系数的值越小，量化时的量化误差越小。
并且，在第2量化矩阵是用于增大编码数据的编码率的矩阵时，在量 化时使用将与至少一个宏块对应的量化尺度的值变为pl倍而得到的变换后尺度值，卩1^1。另外，量化尺度的值与量化矩阵的全部系数相乘。因此， 量化尺度的值越小，量化时的量化误差越小。
在此，在量化时使用的变换后尺度值是将与至少一个宏块对应的量化
尺度的值变为1倍而得到的值。该情况时，在量化时使用的第2量化矩阵 的全部系数(低频成分和高频成分的系数)不变。
因此，通过使用低频系数的值小于高频系数的值的第2量化矩阵来进 行量化，可以抑制低频成分的量化误差的产生，并且在至少一个宏块中抑 制高频成分的量化误差的产生。即，可以抑制起因于低频成分的量化误差 的画质恶化，同时在特定的宏块中抑制起因于高频成分的量化误差的画质 恶化。


图1是表示MPEG2的量化尺度与量化参数的对应性的图。 图2A是表示MPEG2的DCT系数的编码顺序(扫描顺序)的图。 图2B是表示MPEG2的DCT系数的编码顺序(扫描顺序)的图。 图3是表示MPEG2的解码装置的一例的结构的方框图。 图4是表示MPEG2的编码装置的一例的结构的方框图。 图5是表示以往的量化尺度再变换型的编码率变换装置的一例的结构 的方框图。
图6是表示以往的量化尺度再变换型的编码率变换装置的MB的变换 的一例图。
图7是表示以往的量化矩阵再变换型的编码率变换装置的一例的结构 的方框图。
图8是表示以往的量化矩阵再变换型的编码率变换装置的MB的变换 的一例图。
图9是表示整合了以往的量化尺度再变换型和量化矩阵再变换型的编 码率变换装置的一例的结构的方框图。
图IO是表示整合了以往的量化尺度再变换型和量化矩阵再变换型的编 码率变换装置的、MB的变换的一例图。
图11是表示本发明的实施方式1的编码率变换装置的结构的方框图。图12是编码率变换处理的流程图。
图13是图片处理的流程图。
图14是MB处理的流程图。
图15是量化尺度变换处理的流程图。
图16A是说明量化尺度的值的变换示例的图。
图16B是说明量化尺度的值的变换示例的图。
图17是表示本发明的实施方式1的编码率变换装置的普通MB的变换 的一例图。
图18是表示本发明的实施方式1的编码率变换装置的重要MB的变换 的一例图。
图19A是表示本发明的实施方式1的编码率变换装置的量化矩阵变换 的一例图。
图19B是表示本发明的实施方式1的编码率变换装置的量化矩阵变换 的一例图。
图20A是表示变换前的量化矩阵的图。
图20B是表示通过实施方式1的处理变换后的量化矩阵的图。 图20C是表示针对量化矩阵使用的数值和处理的图。 图21是表示实施方式2的编码率变换装置1000A的结构的方框图。 图22是表示本发明的实施方式2的编码率变换装置的量化尺度变换的 一例图。
图23是表示本发明的实施方式2的编码率变换装置的重要MB的变换 的一例图。
图24A是表示本发明的实施方式2的编码率变换装置的量化矩阵变换 的一例图。
图24B是表示本发明的实施方式2的编码率变换装置的量化矩阵变换 的一例图。
图25A是表示变换前的量化矩阵的图。
图25B是表示通过实施方式2的处理变换后的量化矩阵的图。
图25C是表示针对量化矩阵使用的数值和处理的图。
图26是表示实施方式3的编码率变换装置1000B的结构的方框图。
23图27是表示用于判定量化矩阵的变换方法的判定表的图。 图28A是表示实施方式4的编码率变换装置的量化矩阵变换的一例图。 图28B是表示实施方式4的编码率变换装置的量化矩阵变换的一例图。 图29A是表示实施方式4的编码率变换装置的量化DCT系数变换的一 例图。
图29B是表示实施方式4的编码率变换装置的量化DCT系数变换的一 例图。
图29C是表示实施方式4的编码率变换装置的量化DCT系数变换的一 例图。
图29D是表示实施方式4的编码率变换装置的量化DCT系数变换的一 例图。
图30是表示本发明的实施方式5的流接收记录装置的一例的结构的方 框图。
图31是表示本发明的实施方式6的网络分发系统的一例的结构的方框图。
标号说明
101可变长度解码部；102可变长度编码部；103编码率控制部；104 量化尺度增加变换部；104A量化尺度增加/削减变换部；105MB标题存储 部；106反量化部；107量化部；108量化矩阵低频域削减变换部；108A量 化矩阵高频域增加变换部；109图片标题存储部；110、 IIOA、 IIOB量化矩 阵变换控制部；1000、 IOOOA、 IOOOB编码率变换装置；2008广播流接收记 录装置；2001、 2101编码率变换部；2110流发送装置；2111流接收装置； 5000网络分发系统。
具体实施例方式
以下，参照

本发明的实施方式。在以下的说明中，对相同部 件标注相同的标号。它们的名称和功能也相同。因此，不对它们进行重复 的具体说明。
(实施方式l)
下面，参照

本发明的实施方式。图11是表示本发明的实施方式1的编码率变换装置1000的结构的方框图。
编码率变换装置1000具有可变长度解码部101、可变长度编码部102、 编码率控制部103、量化尺度增加变换部104、 MB标题存储部105、量化 矩阵低频域削减变换部108、图片标题存储部109和量化矩阵变换控制部 110。
用于复原多个图片的流被输入可变长度解码部101。以下，把输入可变 长度解码部101的流称为输入流。输入流是通过图片的编码得到的编码数 据。可变长度解码部101对作为输入流的MPEG2流进行解码，将包括通过 解码得到的量化矩阵的序列标题或图片标题通知图片标题存储部109。并 且，可变长度解码部101在进行序列标题的通知的同时，将量化矩阵通知 量化矩阵低频域削减变换部108。
并且，可变长度解码部101将MB标题部的参数通知MB标题存储部 105。并且，可变长度解码部101在进行参数的通知的同时，将MB标题部 表示的量化尺度码(量化参数)变换为量化尺度，将得到的量化尺度通知 量化尺度增加变换部104和量化矩阵变换控制部110。并且，可变长度解码 部101将MB块部的量化DCT系数等的参数通知反量化部106。
反量化部106根据被通知的参数表示的输入流的量化矩阵和量化尺度， 进行MB的块部的量化DCT系数的反量化，计算DCT系数，将计算的DCT 系数通知量化部107。
编码率控制部103在处理开头的图片时，根据图片结构(1、 P、 B图 片)及编码率等的信息，确定该图片的目标编码量，将所确定的目标编码 量通知给量化矩阵变换控制部110。并且，编码率控制部103对每个宏块计 算目标量化尺度，将所计算的目标量化尺度通知量化矩阵变换控制部110。
量化矩阵变换控制部110在处理开头的图片时，根据该图片的目标编 码量等计算量化矩阵的变换控制信息。并且，量化矩阵变换控制部110将 所计算的变换控制信息通知给量化矩阵低频域削减变换部108。并且，量化 矩阵变换控制部110根据量化矩阵的控制信息，对每个宏块校正目标量化 尺度，将校正后的目标量化尺度通知量化尺度增加变换部104。
量化矩阵低频域削减变换部108根据量化矩阵的变换控制信息，将输
25入流的量化矩阵的低频成分的系数变换为削减方向。并且，量化矩阵低频
域削减变换部108将变换后的量化矩阵同时通知给量化部107和图片标题 存储部109。
量化尺度增加变换部104把目标量化尺度作为基准，评价该MB的重 要性，将输入流的量化尺度变换为增加方向，从而计算输出流的量化尺度。 并且，量化尺度增加变换部104将所计算的量化尺度同时通知给量化部107 和MB标题存储部105。
图片标题存储部109将由可变长度解码部101通知的序列标题及图片 标题存储在内部的缓冲器(未图示)中，按照量化矩阵低频域削减变换部 108的请求改写内部的缓冲器内的数据。并且，图片标题存储部109将存储 在缓冲器中的序列标题及图片标题通知可变长度编码部102。
MB标题存储部105将由可变长度解码部101通知的MB标题存储在 内部的缓冲器(未图示)中，按照量化尺度增加变换部104的请求，将量 化尺度变换为量化尺度码，将缓冲器内的数据改写为新的值。并且，MB标 题存储部105将存储在缓冲器中的MB标题通知可变长度编码部102。
量化部107按照由量化矩阵低频域削减变换部108计算的量化矩阵、 和由量化尺度增加变换部104计算的量化尺度，对通过由反量化部106进 行的反量化而计算的DCT系数进行再量化。并且，量化部107将通过再量 化得到的量化DCT系数存储在量化部107的内部的系数缓冲器(未图示) 中。另外，量化部107将得到的量化DCT系数通知可变长度编码部102。
可变长度编码部102对包括由图片标题存储部109通知的量化矩阵的 序列标题及图片标题进行编码。并且，可变长度编码部102对由MB标题 存储部105通知的MB标题部所表示的信息进行编码。并且，可变长度编 码部102对由量化部107得到的MB的块部的量化DCT系数进行编码。并 且，可变长度编码部102利用通过上述编码得到的数据构成MPEG2流(以 下称为输出流)。
下面，说明本发明的实施方式1的编码率变换装置IOOO进行的处理(以 下称为编码率变换处理)。另外，本发明的编码率变换处理是用于减小作为 输入流的编码数据的编码率的处理。即，通过进行编码率变换处理，处理 后的编码数据的编码率小于进行编码率变换处理之前的编码数据的编码率。
图12是编码率变换处理的流程图。
首先，根据需要进行编码率控制部103的设定，在编码率变换处理中， 编码率控制部103被设定为能够计算目标比特的状态(S301)。然后，可变 长度解码部101在输入流中量化矩阵没有被编码的情况下，在流的序列标 题的解码之前，将按照MPEG2规定的默认的量化矩阵设定为量化矩阵低频 域削减变换部108使用的量化矩阵(S302)。
然后，可变长度解码部101将通过对输入流进行解码得到的序列标题 存储在图片标题存储部109的内部的缓冲器(未图示)中(S303)。
可变长度解码部101在通过解码得到的序列标题中包含量化矩阵时 (S304:是)，将该量化矩阵设定为量化矩阵低频域削减变换部108使用的 量化矩阵(S305)。该情况时，在步骤S302设定的默认的量化矩阵被序列 标题中的量化矩阵覆盖。
并且，在序列标题中不包含量化矩阵时(S304:否)，直接使用在步骤 S302设定的默认的量化矩阵。
然后，可变长度编码部102对存储在图片标题存储部109中的序列标 题的信息进行编码(S306)。然后进行图片处理(S307)。图片处理是图片 单位的处理。在流中的下一个序列标题到达(S308:是)之前重复进行图 片处理(S308:否)。
图13是图片处理的流程图。
首先，根据需要进行编码率控制部103的设定，在图片处理中计算处 理对象的图片中的目标比特(S401)。
然后，可变长度解码部101将通过对输入流进行解码得到的图片标题 存储在图片标题存储部109的内部的缓冲器(未图示)中(S402)。
可变长度解码部101在通过解码得到的图片标题中包含量化矩阵时 (S403:是)，将该量化矩阵设定为量化矩阵低频域削减变换部108使用的 量化矩阵(S404)。在通过解码得到的图片标题中不包含量化矩阵时(S403: 否)，量化矩阵低频域削减变换部108直接使用通过编码率变换处理设定的 量化矩阵。
然后，量化矩阵变换控制部110根据由编码率控制部103得到的目标编码量等，判定是否对处理对象的图片适用量化矩阵变换(S405)。
在适用量化矩阵变换时(S406:是)，量化矩阵变换控制部110根据由 编码率控制部103得到的目标编码量等，求出量化矩阵的变换控制信息 (S407)。具体情况将在后面叙述，量化矩阵低频域削减变换部108根据量 化矩阵的变换控制信息，将通过步骤S302、 S305、 S404的任一处理设定的 量化矩阵的低频成分的系数变换为减小方向或增加方向(S408)。
然后，量化矩阵低频域削减变换部108将变换后的量化矩阵存储在图 片标题存储部109中。并且，可变长度编码部102进行存储在图片标题存 储部109中的图片标题的编码(S409)。
然后，进行MB处理(S410)。 MB处理是宏块单位的处理。与处理对 象的图片相对应的宏块的数量可以利用图片标题表示的信息计算得到。MB 处理针对与处理对象的图片对应的全部宏块进行。在已对全部宏块进行了 MB处理吋(S411:是)，该图片处理结束，返回图12所示的编码率变换处 理，再次进行步骤S308的处理。
图14是MB处理的流程图。
首先，编码率控制部103根据在步骤S401计算的处理对象的图片中的 目标比特及处理对象的图片的变换实际值，更新作为编码率控制的基准的 虚拟缓沖器的状态，计算处理对象的宏块的目标量化尺度(S501)。
然后，量化矩阵变换控制部110根据在步骤S407求出的量化矩阵变换 控制信息，校正目标量化尺度(S502)。并且，量化矩阵变换控制部110将 校正后的目标量化尺度的值通知给量化尺度增加变换部104。
然后，可变长度解码部101将通过对输入流进行解码得到的处理对象 的MB的MB标题部表示的信息，存储在MB标题存储部105的内部的缓 冲器(未图示)中(S503)。并且，可变长度解码部101将通过上述解码得 到的处理对象的MB的MB标题部表示的信息，通知量化矩阵变换控制部 110。处理对象的MB的MB标题部表示的信息，表示对应的MB的量化尺 度码。
然后，进行量化尺度变换处理(S504)。 图15是量化尺度变换处理的流程图。
首先，量化矩阵变换控制部110判定是否具有重要MB (S601)。作为一例，重要MB是表示通过被解码精细度高于预定精细度的图像的宏块。 即，重要MB是通过将该重要MB解码得到的图像(以下称为解码块图像) 例如表示高精细图像的MB。即，重要MB是通过将该重要MB解码得到 的解码块图像表示频率成分高于预定频率的图像的MB。
该情况时，作为一例，重要MB是如下所述的MB,即通过将MB 的MB块部的数据量和通过变换该MB的MB标题部表示的量化尺度码得 到的量化尺度的值、这两者相乘而得到的值，表示大于预定值的值的MB。 以下把除重要MB之外的MB称为普通MB。
量化矩阵变换控制部110在处理对象的MB是重要MB时，判定具有 重要MB(S60h是)。并且，量化矩阵变换控制部IIO在处理对象的MB 是重要MB时，将处理对象的MB是重要MB这一情况通知给量化尺度增 加变换部104。另一方面，量化矩阵变换控制部110在处理对象的MB是普 通MB时，判定没有重要MB (S601:否)。
具体情况将在后面叙述，在判定具有重要MB时，量化尺度增加变换 部104向被通知的目标量化尺度的值乘以某个值(例如1以下的值)，从而 计算量化尺度的值(S602)。并且，该量化尺度变换处理结束，返回图14 所示的MB处理，进行步骤S505的处理。
在步骤S505,量化尺度增加变换部104在判定具有重要MB时，将所 计算的量化尺度的值变换为量化尺度码。并且，量化尺度增加变换部104 将存储在MB标题存储部105中的处理对象的MB的MB标题部表示的量 化尺度码，替换为变换后的量化尺度码。
并且，在步骤S505,量化尺度增加变换部104在判定没有重要MB时， 将被通知的目标量化尺度的值变换为量化尺度码。并且，量化尺度增加变 换部104将存储在MB标题存储部105中的处理对象的MB的MB标题部 表示的量化尺度码，替换为变换后的量化尺度码。
通过以上处理，MB-标题部表示的信息的更新处理暂且结束，转入量 化DCT系数的变换处理。
首先，判定编码的多个MB中是否存在尚未被解码的MB (S506)。艮卩， 判定与对应处理对象的MB的图片相对应的全部MB是否没有被解码。如 果存在未被解码的MB (S506:是)，则可变长度解码部101对于编码的处
29理对象的MB表示的多个量化DCT系数，按照预定的顺序，按照每个步骤 S507的处理，逐个地进行解码(S507)。
在MPEG2中，IntraMB的DC系数，与量化尺度独立地被量化。因此， 在本实施方式中，DC系数不是变换的对象。在处理对象的量化DCT系数 不是IntraMB的DC系数时，或者没有到达块末端EOB (End Of Block)时 (S508:否)，反量化部106暂且使用与输入流表示的处理对象的MB相对 应的量化矩阵和量化尺度，对被解码后的处理对象的量化DCT系数进行反
并且，量化部107使用在S408计算的量化矩阵和在步骤S602计算的 量化尺度的值或目标量化尺度的值，再次对通过反量化计算的DCT系数进 行量化。由此，量化部107获得量化DCT系数。由此完成变换(S509)。
量化部107将所得到的量化DCT系数存储在量化部107的内部的系数 缓冲器(未图示)中(S510)。重复上述处理直到到达块末端EOB，从而完 成一个处理对象的MB的解码(S511)。
另外，如果对全部被编码后的MB完成了解码(S506:否)，则MB信 息的解码全部结束。
最后，可变长度编码部102对存储在MB标题存储部105中的全部宏 块标题进行编码(S512)。并且，可变长度编码部102对存储在量化部107 的内部的系数缓冲器(未图示)中的全部量化DCT系数进行编码(S513)。 通过以上处理，MB处理结束。并且，返回图13所示的图片处理，再次进 行步骤S411的处理。
通过进行以上说明的图12所示的编码率变换处理、图13所示的图片 处理、图14所示的MB处理、图15所示的量化尺度变换处理，进行编码 数据的解码处理、反量化处理、量化处理、编码处理。通过这些处理，从 输入流生成输出流(编码数据)。所生成的作为输出流的编码数据的编码率, 小于作为输入流的编码数据的编码率。
下面，说明本发明的实施方式1的编码率变换装置1000的编码率控制 的具体动作。在处理输入流中包含的开头的图片时，首先被分配该图片的 目标编码量T(i)。关于目标编码量T(i)，可以根据前面叙述的TM5的步骤1 计算得到，所以省略具体说明。另外，需要对每个宏块计算目标量化尺度。
30目标量化尺度也可以根据TM5的步骤2计算得到，所以省略具体说明。
另外，此处作为编码率控制方式列举了 TM5，但也可以是其他的编码 率控制方式。本发明不限于特定编码率控制方式。
下面，说明本发明的实施方式1的编码率变换装置1000进行的、图13 中的步骤S408的量化矩阵变换的具体处理。
在此，假设存在第i个图片和该第i个图片的前一个图片(以下称为评 价对象图片)。该情况时，评价对象图片是第i一l个图片。在此，评价对象 图片是在第i个图片之前成为显示对象的图片。并且，假设第i个图片和评 价对象图片是相同类型的图片。
并且，假设低频成分的量化矩阵变换率是a (i—1)倍(a (i—l) <1)， 量化尺度变换率的平均值是P (i—l)倍。在此，量化矩阵变换率是用于变 换量化矩阵的系数的值。并且，量化尺度变换率是用于变换量化尺度的值 的值。该情况时，量化DCT系数变换率Y (i—l)(低频成分的平均)可以 根据算式Y (i—l) =a (i—l) xp (i—1)计算得到。
在上述算式中，DCT系数的低频成分的量化误差达到最小是在Y-1时， 另外，即使Y大于l,只要是某种程度上比较小的值(此处设为ymax)，则认 为低频成分的图像的画质恶化在允许范围内。在假设量化误差超过允许范 围时，需要进行控制以便进入允许范围内。并且，在Y小于1时，虽然不会 产生低频成分的图像的画质恶化，但由于编码量增加，所以需要控制成为 使谅到1以上。
把处于和第i个图片最近的位置的评价对象图片(第i一l个图片)假 设为具有与第i个图片相同的趋势的量化尺度(P (i) =p (i—l))。该情 况时，第i个图片的量化矩阵变换率a (i)可以根据下式算出。
a(i)=
lxa(i-l)/V(i-l)(Y(i國l)〈1时)
a(i-l) (1 ^y(i-l)^ymax时)
ymaxxa(i陽iyy(i-l) (ymax，(i画l)时) 然后，按照该量化矩阵变换率a(i)，利用下式(以下称为矩阵变换式A) 变换输入流的量化矩阵，算出输出流的量化矩阵WoOi，v)。 Wo(u,v)-a(i)xWi(u，v) (u+v^s时(低频成分))=Wi(u，v) (u+v〉e时(高频成分))
其中，Wi(u,v)是表示输入流的量化矩阵的第(u，v)个的系数(『0 7、 v^0 7)的常数。Wo(u,v)是表示输出流的量化矩阵的第(u,v)个的系数的常 数。并且，Wo(u,v)表示利用v+l行u+l列确定的系数。例如，在11=2、 v=5 时，Wo(u,v)表示利用6行3列确定的系数。s是表示用于抑制误差的频率的 阈值(基准频率)的常数。
另外，此处选择相同类型的图片中最近位置的图片(评价对象图片) 作为量化尺度的实际值，但不限于此。例如，也可以与第i个图片的类型无 关地选择评价对象图片。
并且，也可以选择不处于和第i个图片最近位置的图片。并且，还可 以选择第i个图片前面的多个图片，而不是只选择一个图片。并且，也可以 不利用第i个图片前面的图片的量化尺度，而利用先读出第i个图片的量化 尺度并算出的量化尺度，还可以利用其他方法预测量化尺度。
另外，此处在计算量化矩阵变换率时使用量化尺度变换率的平均值。 但是，不限于此，所使用的值也可以是量化尺度变换率的最小值等与量化 尺度相关的其他实际值，还可以是固定值等。并且，量化矩阵变换率的计 算方法也可以是与量化尺度无关的计算方法。
下面，说明本发明的实施方式1的编码率变换装置1000进行的、量化 尺度变换(图15所示的量化尺度变换处理)的具体处理。
通过编码率控制得到的目标量化尺度是以TM5的步骤2为根据的，与 量化矩阵无关地进行决定。因此，像本装置这样，在变换量化矩阵的编码 率变换装置1000中，所使用的量化尺度的值有可能不是最佳的量化尺度的 值。因此，也可以使用上述的量化矩阵变换率等校正目标量化尺度的值。
例如，在低频成分的量化矩阵变换率a小于1时，与不变换量化矩阵时 相比，编码数据的编码量为增加的方向。因此，如果直接使用通过编码率 腔制求出的量化尺度的值，则有可能不能充分降低编码数据的编码量。该 情况时，为了能够降低编码数据的编码量，也可以校正成为使目标量化尺 度的值稍微偏大。
例如，校正通过编码率控制求出的目标量化尺度mq(j)，并按照下式计算。mq，(j)=mq(j)x(l/a)
另外，此处通过乘以1/a来进行目标量化尺度的校正，但也可以不是 l/a，只要是大于1的值，就可以向减小方向校正编码数据的编码量。并且， 也可以利用其他算式进行目标量化尺度的校正，还可以不进行校正。
然后，实际算出该宏块的量化尺度。
输出流的量化尺度qo(j)可以利用作为现有技术的专利文献2的日本特 开2001—204028号公报公开的技术导出，所以省略具体说明。
qo(j)=
qi(j) (mq(j)〈1.5xqi(j)时) 2xqi①(1.5xqi(j) S mq①〈2xqi(j)时) mq(j) (2xqi(j)〈mq(j)时) 其中，qi(j)是输入流的量化尺度。并且，mq(j)是目标量化尺度。 另外，此处利用上式导出量化尺度qo(j)，但也可以利用其他算式导出。 如前面所述，在量化DCT系数变换率(低频成分)Y-量化矩阵变换 率(低频成分)aX量化尺度变换率p (J3=qo(j)/qi(j))小于1时，虽然DCT 系数的低频成分的量化误差不会增加，但是伴随有编码数据的编码量的增 加。
编码率变换的目的在于降低编码数据的编码率，所以即使是一部分的 MB伴随有编码量的增加的变换也会使变换效率恶化。因此，可以采取限定 在不伴随有编码量的增加的范围内控制输出流的量化尺度的方法。
此时的量化尺度qo'(j)可以利用下式算出。
qo，(j)=
1/axqi(j) (mq(j)〈1.5xqi(j)时) max{l/a， 2}xqi(j)}(1.5xqi(j)^mq①〈2xqi(j)时) max {1 /axqi(j)， mq(j)} ( 2xqi①〈mq①时) 如果使用根据上式算出的量化尺度qo，(j)，则可以进行抑制了 DCT系 数的低频成分的量化误差的变换。
另外，此处通过乘以1/a来抑制编码数据的编码量的增加，但未必一定 与1/cx相等，只要是大于1/a的值，就可以进行不会伴随有编码数据的编码 量的增加的变换。
33但是，在前面叙述的重要MB中，得知不仅抑制DCT系数的低频成分， 如果也抑制了高频成分的量化误差，将能够抑制整体的画质恶化。因此， 在重要MB中，优选可以设定能够抑制全部频率区域的量化误差的量化尺 度。
如前面所述，作为一例，重要MB是表示通过被解码精细度高于预定 精细度的图像的宏块。该情况时，作为一例，重要MB是通过将MB的 MB块部的数据量和通过该MB的MB标题部表示的量化尺度码的变换而 得到的量化尺度值、两者相乘得到的值，表示大于预定值的值的MB。
并且，对应重要MB的量化尺度qo"(j)可以利用下式算出。
qo"(j)=qi(j)
如果在重要MB中使用上述的量化尺度qo"(j)，则可以进行抑制了全部 频率区域的量化误差的变换。
如果是除此之外的MB (普通MB)，量化尺度可以使用上述的qo，(j)。
另外，重要MB也可以使用除前述的运算(MB块部的数据量X量化 尺度的值)之外的运算来确定。
下面，说明量化尺度的值的变换示例。
图16A和图16B是说明量化尺度的值的变换示例的图。图16A是表示 量化尺度的值的一例图。图16A所示的多个数字表示针对构成图片的编码 数据的多个MB的每一个设定的量化尺度的值。
如图16A所示，假设针对与通过对编码数据进行解码而得到的图片的 上部相对应的多个MB的每一个设定的量化尺度的值是"4"。并且，假设 针对与从编码数据得到的图片的中央部和下部相对应的多个MB的每一个 设定的量化尺度的值是"8"。
在此，假设根据目标编码率进行编码率控制时的量化尺度的平均值是 "8"。该情况时，如果根据量化尺度的平均值变换量化尺度的值，则针对 与图片的上部对应的多个MB的每一个设定的量化尺度的值被从"4"变换 为"8"，针对除此之外的MB设定的量化尺度的值依旧保持"8"。
但是，在适用考虑了量化矩阵变换的编码效率而制定的前述量化尺度 qo'(j)的算式时，在量化矩阵变换率(1=1/2时，为了维持或降低编码数据的 编码率，需要使量化尺度变换率P^2。因此，如图16B所示，针对与图片的中央部和下部对应的多个MB的每一个设定的量化尺度的值被从"8"变 换为"16"。
但是，与图片的中央部和下部对应的多个MB中，针对前述重要MB 设定的量化尺度变换率P为"1"，量化尺度的值依旧保持"8"。
另外，如图16B所示，针对与图片的上部对应的多个MB的每一个设 定的量化尺度的值被从"4"变换为"8"。
使用图17说明本发明的实施方式1的编码率变换装置1000的量化部 107进行的普通MB的量化的具体处理。普通MB的量化的具体处理是在图 14中的步骤S509进行。
假设编码率控制及量化矩阵变换的结果是将量化矩阵的低频成分的系 数&=2吋)设为1/2倍。即，假设低频成分的量化矩阵变换率cx为"1/2"。 并且，假设高频成分的量化矩阵变换率a为"1"。并且，假设编码率控制及 量化尺度变换的结果是将量化尺度的值从"4"变为"8"，即增加为2倍。 即，假设量化尺度变换率p为"2"。假设此时的量化尺度的值"8"是前述 的目标量化尺度的值。
在此，在前述的矩阵变换式A中，假设s-2。该情况时，量化矩阵的低 频成分的系数是量化矩阵表示的64个系数中被配置为左上部的三角形状的 6个系数。并且，量化矩阵的高频成分的系数是量化矩阵表示的64个系数 中被配置为左上部的三角形状的6个系数以外的系数。
图17所示的两个量化矩阵中左侧的量化矩阵是进行变换之前的量化矩 阵(以下称为变换前量化矩阵)。并且，图17所示的两个量化矩阵中右侧 的量化矩阵是变换之后的量化矩阵(以下称为变换后量化矩阵)。
图17所示的变换后量化矩阵是在图13中的步骤S408的处理中，由量 化矩阵低频域削减变换部108使用低频成分的量化矩阵变换率a "1/2"，对 变换前量化矩阵进行变换而得到的矩阵。
在图17所示的变换后量化矩阵中，高频成分的系数的值保持原状，低 频成分的系数的值减小(1/2倍)。因此，在使用图17所示的变换后量化矩 阵进行量化时，编码数据的编码量(编码率)增大。SP，图17所示的变换 后量化矩阵是用于增大编码数据的编码量(编码率)的矩阵。
并且，图17所示的表示量化DCT系数的两个矩阵中，左侧的矩阵是
35进行量化之前的矩阵(以下称为再量化前矩阵)。即，图17所示的再量化 前矩阵是通过由反量化部106进行反量化的处理得到的矩阵。并且，图17 所示的表示量化DCT系数的两个矩阵中，右侧的矩阵是通过进行再量化得 到的矩阵(以下称为再量化后矩阵)。
图17所示的再量化后矩阵是通过在图14中的步骤S509的处理中，由 量化部107使用图17所示的变换后量化矩阵和算出的量化尺度的值"8"， 对再量化前矩阵进行再量化而得到的矩阵。
根据前述的反量化的算式，需要使量化DCT系数与量化矩阵和量化尺 度大致成反比例。因此，需要将低频成分的量化DCT系数变换为2 (1/a) 倍X1/2 (1/p)倍=1倍。并且，需要将高频成分的量化DCT系数变换为1 (1/a)倍X1/2 (1/p)倍=1/2倍。
在此，图17所示的再量化前矩阵表示的非0量化DCT系数是7、 -3、 2、 1、 4、 1、 -1、 l合计8个。并且，8个非0量化DCT系数中前半部分的 3个系数(7、 -3、 2)是把对应于低频成分的InterMB的块作为变换对象的 量化DCT系数。
该情况时，如图17中的再量化后矩阵所示，低频成分的量化DCT系 数不需要变换。并且，如图17中的再量化后矩阵所示，高频成分的量化 DCT系数被变换为将0.5、 2、 0.5、 -0.5、 0.5整数化得到的0、 2、 0、 0、 0。
由此，可以将输入时为50bit的编码量减小为35bit。因此，可以削减 编码数据的编码率，而低频成分不会产生量化误差。
下面，使用图18说明本发明的实施方式1的编码率变换装置1000的 量化部107进行的重要MB的量化的具体处理。重要MB的量化的具体处 理是在图14中的步骤S509进行。
在图17的说明中，在普通MB中，由于把量化尺度的值变换为2倍， 所以高频成分产生了量化误差。但是，在重要MB中，为了使髙频成分也 不产生量化误差，将量化尺度设定为1倍。即，把量化尺度变换率p设为"l"。 该情况时，算出的量化尺度的值是通过图16中的步骤S602的处理算出的 值。通过该处理，算出量化尺度的值"4"。
图18与图17相同，表示变换前量化矩阵、变换后量化矩阵、再量化 前矩阵和再量化后矩阵。图18所示的变换后量化矩阵与图17所示的变换后量化矩阵相同，所以不重复具体说明。
图18所示的再量化后矩阵是通过在图14中的步骤S509的处理中，由 量化部107使用图18所示的变换后量化矩阵和算出的量化尺度的值"4"， 对图18所示的再量化前矩阵进行再量化而得到的矩阵。
根据前述的反量化的算式，需要使量化DCT系数与量化矩阵和量化尺 度大致成反比例。因此，需要将低频成分的量化DCT系数变换为2 (lAx) XI (1/J3) =2倍。并且，需要将高频成分的量化DCT系数变换为1 (1/a) XI (1/J3) =1倍。
在此，图18所示的再量化前矩阵表示的非0量化DCT系数是7、 -3、 2、 1、 4、 1、 -1、 l合计8个。并且，8个非0量化DCT系数中前半部分的 3个系数(7、 -3、 2)是把对应于低频成分的InterMB的块作为变换对象的 量化DCT系数。
该情况时，如图18中的再量化后矩阵所示，低频成分的量化DCT系 数被变换为输入时的2倍的14、 -6、 4。并且，如图18中的再量化后矩阵 所示，高频成分的量化DCT系数不需要从输入时的系数进行变换。
只要变换倍率是整数，低频成分的量化DCT系数就是整数，所以不会 产生新的量化误差。高频成分的量化DCT系数不需要变换，所以不会产生 量化误差。
由此，虽然输入时为50bit的编码量增加为59bit，但是可以在从低频 成分到高频成分的全部频率范围中不产生量化误差地进行变换。
如果重要MB在对应于图片的全部MB中占多数，则上述的编码量的 增加将成为实现目标编码率的重大障碍。但是，如果重要MB在对应于图 片的全部MB中数量足够少，则可以通过削减其他普通MB的编码量来弥 补上述的编码量的增加。
因此，在本发明的实施方式1的编码率变换装置1000中，通过使量化 矩阵的低频成分的系数整体上小于输入值，可以抑制低频成分的量化误差 的产生，并且抑制包括重要MB中的高频成分的量化误差的产生。
艮P，根据本实施方式的处理，可以抑制起因于低频成分的量化误差的 画质恶化，同时在作为重要MB的特定宏块中抑制起因于高频成分的量化 误差的画质恶化。另外，在本实施方式中，如图19A所示，列举了宏块的类型是InteiMB， 而且量化矩阵的全部系数固定的情况。但是，不限于此，如图19B所示， 本实施方式的处理也可以在宏块的类型是IntraMB、量化矩阵的系数不是固 定值而是各种值的情况下进行。
并且，可以只在InterMB和IntraMB任一方适用使用了量化矩阵的编 码率变换，也可以在InterMB和IntraMB双方中改变量化矩阵的变换倍率等。
另外，在本实施方式中，如图19A所示，列举了量化矩阵的系数不产 生变换误差的情况，但如图19B所示，也可以使量化矩阵的系数产生变换 误差。
另夕卜，本发明把MPEG2作为前提进行了记述。但是，不限于MPEG2， 只要是利用图片单位设定量化矩阵、利用宏块单位设定量化参数的编码， 例如JPEG、 MPEG1、 MPEG4、 H.264等都可以适用本发明。
另外，本发明把DCT变换作为前提进行了记述，但只要是能够将图像 数据分解为低频成分的正交变换，也可以是其他的变换方法。
另外，像本发明这样的MPEG2的IntraMB的DC成分等，在几种编解 码器中，有时被实施DC成分等不属于量化尺度的适用对象等的特殊的量化 及编码。但是，关于这些特殊的系数，如图l犯所示，也可以不作为本发 明中的量化矩阵变换的对象。
图20A是表示变换前的量化矩阵的图。图20B是表示通过实施方式1 的处理变换后的量化矩阵的图。图20C是表示针对图20B所示的量化矩阵 使用的数值和处理的图。
另外，在本实施方式中，把量化矩阵的低频成分的变换对象系数设为 符合u+v^2的系数，但u+v芸2中的"2"也可以是2之外的数字。并且， 也可以利用在编码时使用的扫描顺序(Z字形扫描)(0 63)。并且，也可 以设为像图20B所示的量化矩阵MA那样的扫描顺序(Z字形扫描)^ 一l、 即没有变换区域。
并且，还可以设为像图20B所示的量化矩阵MB那样的扫描顺序(Z 字形扫描)^63、即把全部系数设为变换区域。此外，只要是能够分离低 频成分和髙频成分的方法，则可以是任何方法。并且，这些基准也可以不 固定，可以按每个图片而变化等。
38另外，在本实施方式中，把量化矩阵的变换对象系数的变换率设为固
定，但也可以像图20C所示的量化矩阵MC那样，即使变换对象系数不是 以固定的变换率变换，只要(变换后的量化矩阵系数)^ (变换前的量化 矩阵系数)X量化矩阵变换率a成立即可。
另外，在本实施方式中，不改变量化矩阵的非变换对象的系数，但也 可以像图20B所示的量化矩阵MD那样，即使改变非变换对象的系数，也 不会影响本发明的宗旨。
另外，在本实施方式中，关于量化矩阵的变换对象的系数使用符合u +vS固定值的系数或者扫描顺序(Z字形扫描)。但是，不限于此，也可以 像图20B所示的量化矩阵ME那样，把量化矩阵的变换对象系数设为符合 条件固定值而且固定值的系数。
并且，也可以使用像图20B所示的量化矩阵MF那样的扫描顺序(交 替扫描)，还可以利用其他方法确定。另外，在使用扫描顺序时，关于利用 哪种扫描顺序，可以根据是逐行图像还是隔行图像来确定，也可以根据流 是按照哪种扫描顺序被编码的来确定。
另外，在本实施方式中，把进行每个MB的编码率控制作为前提，但 是，未必一定是每个MB，例如也可以使全部MB是相同的量化尺度等。
并且，在本实施方式中，即使把变换倍率设定为1倍以上，只要小于 量化矩阵的低频成分的变换倍率(1/a)倍，则编码数据的编码量进一步增 加。在编码率变换中，可以允许小于变换倍率lAx倍，也可以不允许小于变 换倍率1/a倍，而将变换倍率提高为lAx以上。
另外，在本实施方式中，把量化矩阵的低频系数的变换限定为lAx倍(a: 整数)进行了说明，但是未必一定是l/a倍，只要是小于l的值，则可以是 任意有理数。
另外，在本实施方式中，把量化参数的变换限定为整数倍进行了说明， 但是未必一定是整数倍，只要是大于1的值，则可以是任意有理数。
另外，在本实施方式中，在低频成分时，把量化矩阵的变换倍率X量 化参数的变换倍率为1以上作为前提进行了记述，但即使是小于1的值时， 只要大于高频成分，则可以是任意的值。
另外，在本实施方式中，把使用4: 2: 0 (亮度、色差、色差)的6块结构的编解码器作为前提进行了记述，但是本发明也可以在具有4: 2: 2 等其他块结构的图像编解码器中实施。
另外，在本实施方式中，把在变换量化DCT系数时舍去小数点以后的
部分作为前提进行了记述，但是本发明也可以在对小数点以后的部分进行 四舍五入、或利用其他方法进行整数化时实施。
另外，本实施方式的编码率变换装置使反量化部和量化部独立，但是
反量化部和量化部也可以成为一体，并直接从输入流的量化DCT系数算出 输出流的量化DCT系数。
另外，本实施方式的编码率变换装置1000直接输出通过再量化得到的 量化DCT系数，但本发明也可以适用于对通过再量化得到的量化DCT系 数进行例如基于运动补偿的校正后再输出的情况。此外，在从输入流变换 为输出流时，只要是不一次恢复为图像即直接通过再量化来变换的方法， 就可以实施本发明。 (实施方式2)
在实施方式1的编码率变换装置1000中，例如在MPEG2中，量化尺 度的值只能取1 112的范围。因此，在输入流的量化尺度的值是接近112 的值时，量化尺度变换率p无法增大。该情况时，有时将不能抵消因量化矩 阵形成的低频成分的编码量增加，不能充分削减编码率。
并且，在实施方式1的编码率变换装置1000中，在MPEG2中，量化 矩阵的系数只能取1 255的范围。因此，在输入流的量化矩阵的低频成分 的系数已经是在某种程度上接近1的值时，将不能增大低频成分的量化矩 阵变换率a,所以有时不能充分改善画质恶化情况。
在本发明的实施方式2中，说明用于解决上述问题的编码率变换装置。
下面，参照

本发明的实施方式。
图21是表示实施方式2的编码率变换装置1000A的结构的方框图。 图21所示的编码率变换装置1000A与图11所示的编码率变换装置 1000相比，不同之处是设置量化矩阵变换控制部110A来取代量化矩阵变 换控制部110,设置量化矩阵高频域增加变换部108A来取代量化矩阵低频 域削减变换部108，设置量化尺度增加屑lj减变换部104A来取代量化尺度增 加变换部104。除此之外与编码率变换装置1000的结构相同，所以不重复
40具体说明。
量化矩阵变换控制部110A进行的是,在实施方式1中说明的量化矩阵 变换控制部110进行的处理的说明中，将"量化矩阵低频域削减变换部108" 和"量化尺度增加变换部104"分别替换为"量化矩阵高频域增加变换部 108A"和"量化尺度增加/削减变换部104A"的处理，所以不重复具体说 明。
量化矩阵变换控制部110A在处理开头的图片时，根据该图片的目标编 码量及量化矩阵的变换实际结果等计算量化矩阵的变换控制信息，并通知 量化矩阵高频域增加变换部108A。并且，量化矩阵变换控制部UOA根据 量化矩阵的控制信息，对每个宏块校正目标量化尺度，将校正后的目标量 化尺度通知量化尺度增加/削减变换部104A。
量化矩阵高频域增加变换部108A根据量化矩阵的变换控制信息，将输 入流的量化矩阵的高频成分的系数变换为增加方向。并且，量化矩阵高频 域增加变换部108A将变换后的量化矩阵同时通知给量化部107和图片标题 存储部109。
量化尺度增加/削减变换部104A把目标量化尺度作为基准，或者进行 重要MB的判定，将输入流的量化尺度变换为增加方向或减小方向，从而 计算输出流的量化尺度。并且，量化尺度增加/削减变换部104A将变换后 的量化尺度同时通知给量化部107和MB标题存储部105。
根据图12 图14所示的实施方式1的编码率变换装置的处理流程，说 明本发明的实施方式2的编码率变换装置的处理流程。
S301 S308、 S401 S407与实施方式1相同，所以省略说明。量化矩 阵高频域增加变换部108A根据量化矩阵的变换控制信息，将在步骤S302、 S305、 S404的任一处理中设定的输入流的量化矩阵的高频成分变换为增加 方向(S408)。
S409 S411、 S501 S5O4与实施方式l相同，所以省略说明。量化尺 度增加/削减变换部104A进行S502的目标量化尺度的校正及重要MB的判 定等，将该宏块的量化尺度的输入值变换为增加方向或削减方向。S505 S513与实施方式l相同，所以省略说明。
说明本发明的实施方式2的编码率变换装置的编码率控制的具体动作。在处理开头的图片时，首先需要计算该图片的目标编码量T(i),这可 以根据TM5的步骤1计算得到，所以省略具体说明。另外，需要对宏块计 算目标量化尺度，这也可以根据TM5的步骤2计算得到，所以省略具体说 明。
另外，此处作为编码率控制方式列举了 TM5，但也可以是其他的编码 率控制方式。本发明并不依存于特定的编码率控制方式。
下面，说明本发明的实施方式2的编码率变换装置1000A进行的、图 13中的步骤S408的量化矩阵变换的具体处理。
在此，假设存在第i个图片和该第i个图片的前一个图片(以下称为评 价对象图片)。该情况时，评价对象图片是第i一l个图片。在此，评价对象 图片是在第i个图片之前成为显示对象的图片。并且，假设第i个图片和评 价对象图片是相同类型的图片。
并且，假设高频成分(高频域)的量化矩阵变换率是a (i —1)倍(a (i一l) >1)，量化尺度变换率的平均值是P (i—l)倍。该情况时，量化 DCT系数变换率y (i—1)(高频成分的平均)可以根据算式y (i—1) =a (i一l) Xp (i—1)计算得到。
在此，DCT系数的低频的量化误差达到最小是在r^时，另外，即使 Y大于1，只要是某种程度上比较小的值(此处设为ymax)，则认为画质恶化 被控制在允许范围内。
在假设超过允许范围时，需要进行控制以便进入允许范围内。并且， 在Y小于1时，虽然不会产生画质恶化，但由于编码量增加，所以需要控制 成为使Y达到1以上。
把处于和第i个图片最近的位置的评价对象图片假设为具有与第i个图 片相同的趋势的量化尺度(P (i) =|3 (i—l))。该情况时，第i个图片的 量化矩阵变换率(高频域)a (i)可以根据下式算出。
a(i)=
lxa(i-l)/y(i-l)(y(i曙l)〈1时)
a(i-l) (l勿(i國l)Symax时) ymaxxa(i國1 1)( 7max〈y(i-1)时) 然后，按照该量化矩阵变换率a(i)，利用下式(以下称为矩阵变换式B)
42变换输入流的量化矩阵，算出输出流的量化矩阵Wo(u，v)。 Wo(u， v)=
Wi(u，v) (u+v^s (低频成分)时)
a(i)xWi(u,v) (u+v>s (高频成分)时)
其中，Wi(u，v)是表示输入流的量化矩阵的第(u，v)个的系数(u-0 7、 f0 7)的常数。Wo(u，v)是表示输出流的量化矩阵的第(u,v)个的系数的常 数。并且，Wo(u，v)表示利用v+l行u+l列确定的系数。例如，在u-2、 v=5 时，Wo(u，v)表示利用6行3列确定的系数。s是表示用于抑制误差的频率的 阈值(基准频率)的常数。
另外，此处选择相同图片类型而且在最近位置的图片(评价对象图片) 作为量化尺度实际值，但不限于此。例如，也可以与第i个图片的类型无关 地选择评价对象图片。
并且，也可以选择不处于和第i个图片最近位置的图片。并且，还可 以选择第i个图片前面的多个图片，而不是只选择一个图片。并且，也可以 不利用第i个图片前面的图片的量化尺度，而利用先读出第i个图片的量化 尺度并算出的量化尺度，还可以利用其他方法预测量化尺度。
另外，此处在计算量化矩阵变换率时使用量化尺度变换率的平均值。 但是，不限于此，所使用的值也可以是量化尺度变换率的最小值等与量化 尺度相关的其他实际值，还可以是固定值等。并且，量化矩阵变换率的计 算方法也可以是与量化尺度无关的计算方法。
下面，说明本发明的实施方式2的编码率变换装置1000A进行的、量 化尺度变换(图15所示的量化尺度变换处理)的具体处理。
通过编码率控制算出的目标量化尺度是根据TM5的步骤2算出并确定 的，与量化矩阵无关地进行决定。因此，在本实施方式的编码率变换装置 1000A中，所使用的量化尺度的值有可能不是最佳的量化尺度的值。
在量化矩阵变换率(高频域)比较大时，编码量是减小的方向。因此, 如果直接使用通过编码率控制求出的量化尺度的值，则将有可能使得编码 量被过度削减。该情况时，为了使编码量的削减变得稍微缓和，也可以校 正成为使目标量化尺度的值稍微偏小。
例如，校正通过编码率控制得到的目标量化尺度mq(j)，并按照下式计算。
mq，(j)=mq(j)x(l/a)
另外，此处通过乘以1/a来进行目标量化尺度的校正，但也可以不是 l/a，只要是小于1的值，就可以向增加方向校正编码数据的编码量。并且， 也可以利用其他算式进行目标量化尺度的校正，还可以不进行校正。
然后，实际算出该宏块的量化尺度。输出流的量化尺度qo(j)可以利用 作为现有技术的专利文献2的日本特开2001—20402S号公报公开的技术导 出，所以省略具体说明。
q。(j)=
qi(j) (mq(j)〈1.5xqi(j)时)
2xqi(j)(1.5xq,mq①〈2xqi(j)时)
mq(j) (2xqi(j)〈mq(j)时) 其中，qi(j)是输入流的量化尺度，并且mq(j)是目标量化尺度。 另外，此处利用上式导出量化尺度qo(j),但也可以利用其他算式导出。 如果使用上述的量化尺度，则能够进行抑制了 DCT系数的低频成分的 量化误差的变换。
但是，在前面叙述的重要MB中，得知不仅抑制DCT系数的低频成分， 如果也抑制了高频成分的量化误差，将能够抑制整体的画质恶化。因此， 在重要MB中，优选可以设定能够抑制全部频率区域的量化误差的量化尺 度。
如前面所述，重要MB是通过将MB的MB块部的数据量和通过该 MB的MB标题部表示的量化尺度码的变换而得到的量化尺度的值、两者相 乘而得到的值，表示大于预定值的值的MB。
并且，对应重要MB的量化尺度qo"(D可以利用下式算出。
qo，，(j)=l/—(j)
如果在重要MB中使用上述的量化尺度qo"(j)，则可以进行抑制了全部
频率区域的量化误差的变换。
如果是除此之外的MB (普通MB)，量化尺度可以使用上述的qo(j)。 另外，重要MB也可以使用除前述的运算(MB块部的数据量X量化
尺度的值)之外的运算来确定。下面，说明量化尺度的值的变换示例。
在此，假设变换前的量化尺度的值是图16A所示的值。如前面所述， 图16A所示的多个数字表示针对构成图片的编码数据的多个MB的每一个 设定的量化尺度的值。
在此，假设根据目标编码率进行编码率控制时的量化尺度的平均值是 "8"。该情况时，如果根据量化尺度的平均值变换量化尺度的值，如图22 所示，针对与图片的上部对应多个MB的每一个设定的量化尺度的值被从 "4"变换为"8"，针对除此之外的MB设定的量化尺度的值依旧保持"8"。
但是，在量化矩阵变换率ot-l/2时，将与图片的中央部和下部对应多 个MB中，针对前述重要MB设定的量化尺度变换率P设为"1/2"，以使量 化误差为最小。因此，针对重要MB设定的量化尺度被变换为减小方向， 从"4"变为"8"。
使用图23说明本发明的实施方式2的编码率变换装置1000A的量化部 107进行的重要MB的量化的具体处理。重要MB的量化的具体处理是在图 14中的步骤S509进行。
假设编码率控制及量化矩阵变换的结果是将量化矩阵的低频成分的系 数"=2时)增加为2倍。即，假设高频成分的量化矩阵变换率a为"2"。 并且，假设低频成分的量化矩阵变换率a为"1"。
并且，在重要MB中，为了不产生高频成分的量化误差，将量化尺度 的值减小为1/2倍。即，把量化尺度变换率p设为"1/2"。该情况时，算出 的量化尺度的值是通过图16中的步骤S602的处理算出的值。通过该处理， 算出量化尺度的值"2"。
在此，在前述的矩阵变换式B中，假设8=2。该情况时，量化矩阵的低 频成分的系数是量化矩阵表示的64个系数中被配置为左上部的三角形状的 6个系数。并且，量化矩阵的高频成分的系数是量化矩阵表示的64个系数 中被配置为左上部的三角形状的6个系数以外的系数。
图23与图17相同，表示变换前量化矩阵、变换后量化矩阵、再量化 前矩阵和再量化后矩阵。
图23所示的变换后量化矩阵是通过在图13中的步骤S408的处理中， 由量化矩阵高频域增加变换部108A使用高频成分的量化矩阵变换率ot"2"，对图23所示的变换前量化矩阵进行变换而得到的矩阵。
在图23所示的变换后量化矩阵中，低频成分的系数的值保持原状，高 频成分的系数的值增大(2倍)。因此，在使用图23所示的变换后量化矩阵 进行量化时，编码数据的编码量(编码率)减小。即，图23所示的变换后 量化矩阵是用于减小编码数据的编码量(编码率)的矩阵。
图23所示的再量化后矩阵是通过在图14中的步骤S509的处理中，由 量化部107使用图23所示的变换后量化矩阵和算出的量化尺度的值"2"， 对图23所示的再量化前矩阵进行再量化而得到的矩阵。
根据前述的反量化的算式，需要使量化DCT系数与量化矩阵和量化尺 度大致成反比例。因此，需要将低频成分的量化DCT系数变换为1 (lAx) X2(l/p) =2倍。并且，需要将高频成分的量化DCT系数变换为1/2(1/a) X2 (1/p) =1倍。
在此，图23的再量化前矩阵表示的非0量化DCT系数是7、 -3、 2、 1、 4、 1、 -1、 l合计8个。并且，8个非0量化DCT系数中前半部分的3个系 数(7、 -3、 2)是把对应于低频成分的InterMB的块作为变换对象的量化 DCT系数。
该情况时，如图23中的再量化后矩阵所示，低频成分的量化DCT系 数被变换为输入时的2倍的14、 -6、 4。并且，如图23中的再量化后矩阵 所示，高频成分的量化DCT系数不需要变换。
此时，只要变换倍率是整数，低频成分的量化DCT系数就是整数。因 此，不会产生新的量化误差。并且，高频成分的量化DCT系数不需要从输 入进行变换，所以不会产生量化误差。
由此，虽然输入时为50bit的编码量增加为59bit，但是可以在从低频 成分到高频成分的全部频率范围中不产生量化误差地进行变换。
如果重要MB在对应于图片的全部MB中占多数，则上述的编码量的 增加将成为实现目标编码率的重大障碍。但是，如果重要MB在对应于图 片的全部MB中数量足够少，则可以通过削减其他普通MB的编码量来弥 补上述的编码量的增加。
因此，在本发明的实施方式2的编码率变换装置1000A中，通过使量 化矩阵的低频成分的系数整体上小于输入值，可以抑制低频成分的量化误
46差的产生，并且抑制包括重要MB中的高频成分的量化误差的产生。
艮P，根据本实施方式的处理，可以抑制起因于低频成分的量化误差的 画质恶化，同时在作为重要MB的特定宏块中抑制起因于高频成分的量化 误差的画质恶化。
另外，在本实施方式中，如图24A所示，列举了宏块的类型是InterMB， 而且量化矩阵的全部系数固定的情况。但是，不限于此，如图24B所示， 本实施方式的处理也可以在宏块的类型是IntraMB、量化矩阵的系数不是固 定值而是各种值的情况下进行。
并且，可以只在InterMB和IntraMB任一方适用使用了量化矩阵的编 码率变换，也可以在InterMB和IntraMB双方中改变量化矩阵的变换倍率等。
另外，本发明把MPEG2作为前提进行了记述。但是，不限于MPEG2， 只要是利用图片单位设定量化矩阵、利用宏块单位设定量化参数的编码， 例如JPEG、 MPEG1、 MPEG4、 H.264等都可以适用本发明。
另外，本发明把DCT变换作为前提进行了记述，但只要是能够将图像 数据分解为低频成分的正交变换，也可以是其他的变换方法。
另外，像本发明这样的MPEG2的IntraMB的DC成分等，在几种编解 码器中,有时被实施DC成分等不属于量化尺度的适用对象等的特殊的量化 及编码。但是，关于这些特殊的系数，如图24B所示，也可以不作为本发 明中的量化矩阵变换的对象。
图25A是表示变换前的量化矩阵的图。图25B是表示通过实施方式2 的处理变换后的量化矩阵的图。图25C是表示针对图25B所示的量化矩阵 使用的数值和处理的图。
另外，在本实施方式中，把量化矩阵的高频成分的变换对象系数设为 符合u+v^3的系数，但u+v^3中的"3"也可以是3之外的数字。并且， 也可以利用在编码时使用的扫描顺序(Z字形扫描)(0 63)。并且，也可 以设为像图25B所示的量化矩阵MAA那样的扫描顺序(Z字形扫描)^0、 即把全部系数设为变换区域。
并且，还可以设为像图25B所示的量化矩阵MBA那样的扫描顺序(Z 字形扫描)^64、即设为没有变换区域。此外，只要是能够分离低频成分 和高频成分的方法，则可以是任何方法。并且，这些基准也可以不固定，可以按每个图片而变化等。
另外，在本实施方式中，把量化矩阵的变换对象系数的变换率设为固
定，但也可以像图25B所示的量化矩阵MCA那样，即使变换对象系数不 是以固定的变换率变换，只要(变换后的量化矩阵系数)^ (变换前的量 化矩阵系数)X量化矩阵变换率a成立即可。
另外，在本实施方式中，作为一例，量化矩阵变换率使用了2，但只要 大于1，则也可以是其他整数。例如，也可以像图25B所示的量化矩阵MDA 那样，只要大于l，则量化矩阵变换率也可以是小数。
另外，在本实施方式中，关于量化矩阵的变换对象的系数使用符合u 十v^固定值的系数或者扫描顺序(Z字形扫描)。但是，不限于此，也可以 像图25B所示的量化矩阵MEA那样，把量化矩阵的变换对象系数设为符合 条{牛u^固定值而且固定值的系数。
并且，也可以使用像图25B所示的量化矩阵MFA那样的扫描顺序(交 替扫描)，还可以利用其他方法确定。另外，在使用扫描顺序时，关于利用 哪种扫描顺序，可以根据是逐行图像还是隔行图像来确定，也可以根据流 是按照哪种扫描顺序被编码的来确定。
另外，在本实施方式中，把进行每个MB的编码率控制作为前提，但 是，未必一定是每个MB，例如也可以使全部MB是相同的量化尺度等。
并且，在本实施方式中，把量化矩阵的高频成分的变换限定为整数倍 进行了说明，但是未必一定是整数倍，只要大于1的值，则可以是任意有 理数。
另外，在本实施方式中，把量化尺度变换率限定为1/a倍(a:整数) 进行了说明。但是，量化尺度变换率未必一定是1/a,只要是小于l的值， 则可以是任意有理数。
另外，在本实施方式中，把使用4: 2: 0 (亮度、色差、色差)的6 块结构的编解码器作为前提进行了记述，但是本发明也可以在具有4: 2: 2
等其他块结构的图像编解码器中实施。
另外，在本实施方式中，把在变换量化DCT系数时舍去小数点以后的 部分作为前提进行了记述，但是本发明也可以在对小数点以后的部分进行 四舍五入、或利用其他方法进行整数化时实施。另外，本实施方式的编码率变换装置使反量化部和量化部彼此独立，
但是反量化部和量化部也可以成为一体，并直接从输入流的量化DCT系数 算出输出流的量化DCT系数。
另外，本实施方式的编码率变换装置1000A直接输出通过再量化得到 的量化DCT系数，但本发明也可以适用于对通过再量化得到的量化DCT 系数进行例如基于运动补偿的校正后再输出的情况。此外，在从输入流变 换为输出流时，只要是不一次恢复为图像而是直接通过再量化来变换的方 法，就可以实施本发明。 (实施方式3)
在实施方式2的编码率变换装置1O00A中，在MPEG2中，量化矩阵 只能取1 255的范围。因此，在输入流的量化矩阵的高频域(高频成分) 的系数已经是接近255的值时，将不能增大高频成分的量化矩阵变换率a。 结果，不能充分削减高频成分的编码率，所以有时不能充分削减编码率。
并且，在实施方式2的编码率变换装置1000A中，在MPEG2中，量 化尺度只能取1 112的范围。因此，在输入流的量化尺度己经是接近l的 值时，将不能把重要MB中的量化尺度变换率p设为充分小的值。结果，不 能完全抑制因量化矩阵的高频域削减而产生的量化误差，有时导致画质的 恶化。
艮P,能够进行使画质恶化最小的量化处理的编码率变换装置，根据输 入流的量化矩阵及量化尺度的值而不同。艮P，根据量化矩阵及量化尺度的 值，有时是图11所示的实施方式1的编码率变换装置1000能够进行使画 质恶化最小的量化处理。编码率变换装置1000是进行用于变换量化矩阵的 量化矩阵低频域削减变换的装置。量化矩阵低频域削减变换是用于减小变 换对象的量化矩阵中的低频成分的系数的变换。
并且，根据量化矩阵及量化尺度的值，有时是图21所示的实施方式2 的编码率变换装置1000A能够进行使画质恶化最小的量化处理。编码率变 换装置1000A是进行用于变换量化矩阵的量化矩阵高频域削减变换的装 置。量化矩阵低频域削减变换是用于增大变换对象的量化矩阵中的高频成 分的系数的变换。
并且，根据量化矩阵及量化尺度的值，有时是图9所示的以往的编码率变换装置13000能够进行使画质恶化最小的量化处理。
在本发明的实施方式3中，说明用于解决上述问题的编码率变换装置。 下面，参照

本发明的实施方式。
图26是表示实施方式3的编码率变换装置1000B的结构的方框图。 图26所示的编码率变换装置1000B与图11所示的编码率变换装置 1000相比,不同之处是设置量化矩阵变换控制部110B来取代量化矩阵变换 控制部110，还设置量化矩阵高频域增加变换部108A和量化尺度增加/削减 变换部104A。除此之外与编码率变换装置1000的结构相同，所以不重复 具体说明。
量化矩阵变换控制部IIOB在处理开头的图片时，判定是否可以在量化 矩阵的变换中适用量化矩阵低频域削减变换和量化矩阵高频域增加变换中 的某一方。关于该判定的具体情况将在后面叙述。另外，当在量化矩阵的 变换中可以适用量化矩阵低频域削减变换和量化矩阵高频域增加变换双方 时，量化矩阵变换控制部110B确定在量化矩阵的变换中适用哪一种变换。
当在量化矩阵的变换中适用量化矩阵低频域削减变换时，编码率变换 装置1000B进行与实施方式1的编码率变换装置1000相同的处理，所以不 重复具体说明。
当在量化矩阵的变换中适用量化矩阵高频域增加变换时，编码率变换 装置1000B进行与实施方式2的编码率变换装置1000A相同的处理，所以 不重复具体说明。
当在量化矩阵的变换中不适用量化矩阵低频域削减变换和量化矩阵高 频域增加变换的任一方时，量化矩阵变换控制部110B进行与图9所示的以 往的编码率变换装置13000相同的处理，所以不重复具体说明。
说明本发明的实施方式3的编码率变换装置1000B的编码率变换方法 判定的具体动作。
如前面所述，用于变换量化矩阵的量化矩阵低频域削减变换和量化矩 阵高频域增加变换，根据量化矩阵及量化尺度的值，未必一定是最佳的方 法。因此，优选按照量化矩阵及量化尺度的值选择最佳的方法。但是，量 化尺度的值被分散到全部MB的MB标题中进行编码。因此，为了知道量 化尺度的值，需要先读出全部MB的量化尺度的值。为了先读出量化尺度的值，需要将输入流解码两次。因此，使之具有 与处理对象的图片的量化尺度的值相同的趋势，可以利用过去的同一图片 类型的量化尺度的值代替。
首先，量化矩阵变换控制部110B判定在处理对象的图片中使用的量化 矩阵是否符合以下4个条件JA、 JB、 JC、 JD中的某一个。
(JA)量化矩阵的高频域系数的最大值接近标准上限
(JB)量化矩阵的低频域系数的最小值接近标准下限
(JC)符合JA、 JB双方
(JD)不符合JA、 JB任一方 然后，量化矩阵变换控制部110B判定在处理对象的图片中使用的量化 尺度的值是否符合以下4个条件Ja、 Jb、 Jc、 Jd中的某一个。
(Ja)量化尺度的最大值接近标准上限
(Jb)量化尺度的最小值接近标准下限
(Jc)符合Ja、 Jb双方
(Jd)不符合Ja、 Jb任一方 针对上述量化矩阵和量化尺度的判定结果的组合，关于适合量化矩阵 低频域削减变换(以下称为方法1)和量化矩阵高频域增加变换(以下称为 方法2)的哪一种编码率变换，可以参照图27所示的判定表T100进行判定。 判定表T100是用于在量化矩阵的变换中判定是否可以适用方法1、方法2 的表。
图27中的判定表T100所示的"JA"、 "JB"、 "JC"、 "JD"指前述条件 JA、 JB、 JC、 JD。图27中的判定表T100所示的"Ja"、 "Jb"、 "Jc"、 "Jd" 指前述条件Ja、 Jb、 Jc、 Jd。
例如，通过前述的判定，在判定符合条件JB和条件Ja时，根据判定 表TIOO，判定方法l (量化矩阵低频域削减变换)适合于量化矩阵的变换。
另外，在图27所示的判定表T100中，被设为"哪个都可以适用"的 部位表示可以适用方法l、方法2任一方法。
另外，在图27所示的判定表T100中，被设为"哪个都不适用"的部 位表示在适用方法l、方法2的任一方法时，都产生不能充分削减编码率， 并且产生画质恶化等的弊端。因此，不适用方法l、方法2的任一方的变换方法，而适用以往的编码率变换。
关于本发明的实施方式3的编码率变换装置1000B中的编码率控制、 量化矩阵变换、量化尺度变换的具体动作，与实施方式1的编码率变换装 置1000和实施方式2的编码率变换装置1000A相同，所以省略说明。
另外，在本实施方式中，把整合了实施方式1的编码率变换装置1000 和实施方式2的编码率变换装置1000A的编码率变换装置1000B作为前提 进行了说明。但是，不限于此，有关是否变换量化尺度的判定，也可以适 用于实施方式1的编码率变换装置1000和实施方式2的编码率变换装置 1000A。
另外，在本实施方式中，关于是否进行量化矩阵变换的判定，使用了 量化矩阵及量化尺度的最大值、最小值，但也可以使用平均值等其他基准 值进行判定。
例如，在实施方式1的编码率变换装置IOOO进行的处理中，假设量化 矩阵变换率(低频域)aX量化尺度变换率p二l成立。此时，最能够抑制 低频成分的量化误差，另外考虑到根据现有技术在量化尺度变换率=2成立 时期望提高每个编码量的画质，则优选设为量化矩阵变换率01=1/2。但是， 在量化矩阵的低频成分的系数是奇数时，有时因为量化矩阵变换时的变换 误差而产生画质恶化。
并且，例如，在实施方式2的编码率变换装置1000A进行的处理中， 假设量化尺度变换率P是小于1而且具有小数的实数。该情况时，将减小量 化尺度的值。但是，由于P不是整数，所以在向量化尺度的编码时使用的量 化尺度码(量化参数)变换时，量化尺度码相对于量化尺度被离散定义， 导致变换误差的产生增多。结果，有时与画质的恶化相关。
考虑到上述性质，关于是否进行量化矩阵变换的判定，也可以适用下 述方法进行判定，即使用量化矩阵及量化尺度的变换误差，使变换误差 减小。
并且，在MPEG2中，量化DCT系数只能取-2047 2047的范围。因 此，在实施方式1的编码率变换装置1000和实施方式2的编码率变换装置 1000A进行的处理中，在输入流的量化DCT系数已经是接近-2047或2047 的值时，在重要MB中也不能增加量化DCT系数，所以有时产生画质恶化。考虑到上述性质，关于是否进行量化矩阵变换的判定，也可以使用量
化DCT系数的最大值等的量化DCT系数。 (实施方式4)
在实施方式1的编码率变换装置中，假设量化矩阵是一种类型，或者 对全部的量化矩阵进行相同的变换。但是，在MPEG2中，可以定义IntraMB 和InterMB用的两种量化矩阵。
在MPEG2的IntraMB和InterMB中，在产生量化误差时对于画质造成 的影响不同。在IntraMB中，由于不存在参照图像，所以低频成分的量化 误差原样地影响到画质。另一方面，在InterMB中，低频成分的量化误差 是相对于与参照图像的差分的误差，不是相对于参照图像自身的误差，所 以对图片的影响比较小的情况居多。
因此，如果对IntraMB和InterMB进行相同的降低低频成分的量化误 差的处理，则导致在InterMB中过度地进行误差降低处理，有可能成为编 码率削减的障碍。
本发明的实施方式4是用于应对前述要求的编码率变换装置。
并且，在11.264扭幼？10￡!16中可以定义以下8个量化矩阵。
1.4x4， IntraMB,亮度
2.4x4, IntraMB,色差(蓝色成分)
3.4x4, IntraMB,色差(红色成分)
4.4x4, InterMB,亮度
5.4x4， InterMB,色差(蓝色成分)
6.4x4， InterMB,色差(红色成分)
7.8x8， IntraMB,亮度
8.8x8， InterMB,亮度
在此，R264的IntraMB与MPEG2的IntraMB不同，基本上是画面内 预测，所以与InterMB相同，产生相对与参照图像的差分的误差。但是， 参照图像是相同图片，与InterMB相比，相关性比较低，所以IntraMB中的 量化误差对像素造成的影响依旧比较大。
在此，在MPEG2中，块大小是固定的8x8，但在H.264 High Profile 中，亮度的块大小可以根据每个宏块选择4x4、 8x8。并且，色差的块大小是固定的4x4。在块大小是8x8时存在64个系数，在块大小是4x4时只存 在16个系数，所以如果不据此改变用于判定是否是低频成分的基准频率的 位置，将不能按照意图进行变换。
本发明的实施方式4是用于应对前述要求的编码率变换装置。
并且，在亮度和色差中，量化误差对人的视觉造成的影响不同。相比 亮度，人对色差更敏感，在色差中，相比蓝色，人对红色更敏感。因此， 如果针对亮度、色差(蓝色成分)、色差(红色成分)进行相同的量化误差 的降低处理，将导致对于亮度过度地进行误差降低处理。因此，有可能成 为编码率削减的障碍。
本发明的实施方式4是用于应对前述要求的编码率变换装置。
下面，参照

本发明的实施方式。
本发明的实施方式4的编码率变换装置的结构与实施方式1的图11所 示的编码率变换装置1000的结构相同，所以不重复具体说明。另外，在实 施方式4中，量化矩阵变换控制部110和量化矩阵低频域削减变换部108 独立地控制并变换多个量化矩阵。
说明本发明的实施方式4的编码率变换的具体示例。
如前面所述，要求根据块类型(亮度、色差(蓝色成分)、色差(红色 成分))、预测类型(IntraMB或InterMB)、块大小(8x8、 4x4)，独立地变 更量化矩阵变换方法。
图28A和图28B表示在R264的编码率变换装置中，根据块类型、预 测类型、块大小来变更量化矩阵的变换方法的一例。另外，根据块类型、 预测类型、块大小来变更量基准频率和用于变换量化矩阵的值(量化矩阵 变换率)的处理，由量化矩阵低频域削减变换部108进行。
图28A和图28B所示的变换图案(pattem)PA用于将进行低频域变换的 基准频率设定为符合u+v^-l的频率，即，不进行量化矩阵的低频域系数 的变换。
图28A和图28B所示的变换图案PB用于将进行低频域变换的基准频 率设定为符合u+v^1的频率，将量化矩阵变换率设定为1/2。
图28A和图28B所示的变换图案PC用于将进行低频域变换的基准频 率设定为符合u+v^2的频率，将量化矩阵变换率设定为1/4。图28A和图28B所示的变换图案PD用于将进行低频域变换的基准频 率设定为符合u+v^3的频率，将量化矩阵变换率设定为1/2。
在图28A和图28B中示出了量化矩阵的全部系数为16时的变换示例， 但上述的变换图案不限于该量化矩阵。在图28A所示的表中，表示根据块 类型、预测类型(IntraMB或InterMB)、块大小的组合(矩阵序号M0 M7)，适用变换图案PA PD中的哪一个。
图29A、图29B、图29C、图29D表示实施方式4的编码率变换装置 使用图28B所示的变换后的量化矩阵，对H.264的每个宏块进行变换后的 量化DCT系数的变换率。
图29A表示按照利用对应于矩阵序号M0的变换图案PA变换后的量 化矩阵，将4x4大小的亮度的MB再量化后的量化DCT系数的变换率。该 情况时，表示通过再量化，亮度的MB表示的全部量化DCT系数被设为1 倍。
并且，图29A表示按照利用对应于矩阵序号Ml的变换图案PB变换 后的量化矩阵，将色差(蓝色成分)的MB再量化后的量化DCT系数的变 换率。该情况时，表示通过再量化，色差(蓝色成分)的MB表示的多个 量化DCT系数中、只有左上部的一个量化DCT系数被设为2倍。
并且，图29A表示按照利用对应于矩阵序号M2的变换图案PC变换 后的量化矩阵，将色差(红色成分)的MB再量化后的量化DCT系数的变 换率。该情况时，表示通过再量化，色差(红色成分)的MB表示的多个 量化DCT系数中、只有左上部的3个量化DCT系数被设为4倍。
图29B、图29C和图29D所示的矩阵与在图29A中说明的矩阵相同， 所以不重复具体说明。
例如，图29C表示按照利用对应于矩阵序号M6的变换图案PD变换 后的量化矩阵，将亮度的MB反量化后的量化DCT系数的变换率。该情况 时，表示通过反量化，亮度的MB表示的多个量化DCT系数中、只有左上 部的6个量化DCT系数被设为2倍。
图29A、图29B、图29C和图29D所示的矩阵表示的数值越大，编码 量越大，但可以降低量化误差。
如上所述，根据块类型、预测类型、块大小的性质，按照其组合对量化误差的降低程度赋予差别，从而可以在向所要求的编码率变换时抑制画 质恶化。
另外，在本实施方式中，把块类型包括亮度、色差(蓝色成分)、色差 (红色成分)的类型作为前提进行了说明，但也可以存在其他类型。
另外，在本实施方式中，把预测类型包括Intra、 Inter作为前提进行了 说明，但也可以存在其他类型。
另外，在本实施方式中，把块大小包括8x8、4x4作为前提进行了说明， 但也可以存在其他大小。
另外，在本实施方式中，把可以根据块类型、预测类型、块大小独立 地进行量化矩阵的定义的编码作为前提进行了说明。但是，不限于此，只 要是在除此之外的属性中也能够独立地进行量化矩阵的定义的编码，也可 以根据该属性独立地变换量化矩阵。
另外，在本实施方式中，把预测类型及块大小在MB内是固定的作为 前提进行了说明，但在预测类型及块大小在MB内可以变化时，也能够实 施本发明。
另外，在本实施方式中，列举了使InterMB的量化矩阵变换率低于 IntraMB的量化矩阵变换率的示例。但是，例如在画面间的相关性比较低、 InterMB的误差对画质造成的影响较大的情况下，也存在进行相反设置更好 的情况。
本发明的宗旨在于根据参照类型(InterMB、 IntraMB)来变更量化矩 阵变换，不依赖于哪一方的变换率是否增大。并且，这对于块类型(亮度、 色差)、块大小(8x8、 4x4)也相同。
另外，在本实施方式中，把实施方式1的编码率变换装置1000作为基 准进行了说明。但是，本发明的宗旨在于根据块类型、预测类型、块大小 等的属性来改变量化矩阵的变换方法。因此，本发明也可以适用于实施方 式2的编码率变换装置1000A。 (实施方式5)
并且，在实施方式1 2的编码率变换装置中，假设量化尺度是一种类 型，并且对全部类型的量化尺度进行相同的变换。但是，由于预测类型 (IntraMB/InterMB)只能对于每个宏块进行切换，所以在IntraMB的量化尺度、InterMB的量化尺度中，也可以变更变换方法。
并且，R264中的块大小(亮度8x8或4x4)也只能对于每个宏块进行 切换，所以同样也可以变更变换方法。另外，块类型(亮度、色差(蓝色 成分)、色差(红色成分))在一个宏块中存在多种类型，但在MPEG2中， 两者的量化尺度是共通的。
并且，在H.264 High Profile中，尽管存在亮度、色差(蓝色成分)、色 差(红色成分)这三种量化尺度，但是各个量化尺度的比率在图片内是固 定的。因此，不能对每个宏块独立设定三种量化尺度。在除MPEG2、 H.264 之外的可以独立变更各个量化尺度的编解码器中，可以分别变更量化尺度 的变换方法。
本发明的实施方式5的编码率变换装置的结构与实施方式1的图11所 示的编码率变换装置1000的结构相同，所以不重复具体说明。
本发明的实施方式5的编码率变换装置的量化矩阵变换控制部110和 量化尺度增加变换部104,与实施方式4相同，根据块类型(亮度、色差(蓝 色成分)、色差(红色成分))、预测类型(IntraMB或InterMB)、块大小等 的属性，变更用于改变量化尺度的值的值(量化尺度变换率p)。另外，其 他处理与在实施方式l中说明的处理相同，所以不重复具体说明。
另外，本发明也可以适用于实施方式2的编码率变换装置1000A。该 情况时，量化矩阵变换控制部110A和量化尺度增加/削减变换部104A与实 施方式4相同，根据块类型(亮度、色差(蓝色成分)、色差(红色成分))、 预测类型(IntraMB或InterMB)、块大小等的属性，变更用于改变量化尺度 的值的值(量化尺度变换率p)。 (实施方式6)
在本实施方式中，说明实施方式1 5所示的编码率变换装置的应用示 例或者使用该编码率变换装置的系统。
图30是表示使用编码率变换装置的广播流接收记录装置2008及其系 统的结构的图。广播流接收记录装置2008具有编码率变换部2001、广播接 收部2003、 AV复用分离部2004、 AV复用部2005、 HDD控制部2006和 HDD 2007。另外，广播流接收记录装置2008内的编码率变换部2001进行 与实施方式1 5所示的编码率变换装置相同的处理。广播流接收记录装置2008接收数字广播波2002并动作，变换从广播 波接收到的数字数据的编码率，并记录在HDD 2007中。
数字广播波2002在被调制的状态下承载于载波上被传输。数字广播波 2002包括多个节目(program)。多个节目中的各个节目包括按照MPEG2被 编码后的影像数据、按照ACC被编码后的声音数据、以及字幕信息及数据 广播等的系统数据。
广播接收部2003解调数字广播波2002。并且，广播接收部2003从通 过解调得到的多个节目中分离出所期望的一个节目，把分离出来的节目通 知AV复用分离部2004。
AV复用分离部2004从将影像数据、声音数据和系统数据复用得到的 流中，只提取影像数据，将影像数据通知编码率变换部2001。 AV复用分离 部2004将除影像数据之外的数据通知AV复用部2005。
编码率变换部2001把影像数据变换为所期望的编码率，把变换后的影 像数据(编码率变换后的影像数据)通知AV复用部2005。 AV复用部2005 对编码率变换后的影像数据、原始的声音数据、和系统数据进行复用，再 构成一个节目，将再构成的一个节目通知HDD控制部2006。 HDD控制部 2006将节目记录在HDD 2007中。
在日本的BS数字广播中，一个节目的编码率是24Mbps。因此，在将 1小时的节目原样记录在HDD中时，HDD需要是10Gbyte以上的容量。即 使HDD具有250Gbyte的容量，也只能记录20小时左右。因此，具有想要 在HDD中记录更长时间的节目的要求。
本实施方式的广播流接收记录装置利用影像数据在节目中约占90%的 特点，将影像数据的编码率变换为例如1/2倍，从而可以满足上述要求。
另外，在本实施方式中，广播流接收记录装置2008接收数字广播波 2002并进行处理。但是，不限于此，广播流接收记录装置2008也可以接收 并处理没有进行编码率变换的记录在HDD中的流、以及通过网络分发的 流。
并且，在本实施方式中，把广播流接收记录装置2008接收的数据的记 录目的地设为HDD。但是，不限于此，也可以利用DVD等光盘和存储卡 等其他记录介质。(实施方式7)
在本实施方式中，说明实施方式1 5所示的编码率变换装置的应用示 例或者使用该编码率变换装置的系统。
图31是表示使用编码率变换装置的网络分发系统5000的一例的结构 的方框图。
网络分发系统5000包括流发送装置2110、流接收装置2111和网络 2109。流发送装置2110向网络2109发送编码流。流接收装置2111从网络 2109接收编码流。
网络分发系统5000是将记录在流发送装置2110的HDD中的AV流通 过网络2109分发，并通过流接收装置2111再现的系统。
流发送装置2110具有编码率变换部2101、 HDD 2102、 HDD控制部 2103、 AV复用分离部2104、 AV复用部2105、和网络控制部2106。另外， 流发送装置2110内的编码率变换部2101进行与实施方式1 5所示的编码 率变换装置相同的处理。在HDD 2102中存储有包括影像流、声音流和系 统流的一个节目。
HDD控制部2103从HDD 2102读出流，将所读出的流通知AV复用分 离部2104。 AV复用分离部2104与实施方式6相同，只将影像流分离出来， 将分离出来的影像流通知编码率变换部2101。除影像流之外的流被通知给 AV复用部2105。
编码率变换部2101对影像流的编码率进行变换，将变换后的影像流通 知AV复用部2105。 AV复用部2105生成将影像流和声音流和系统流再次 复用得到的一个AV流，将所生成的流通知网络控制部2106。
网络控制部2106将接收到的AV流发送给网络2109。网络控制部2106 检测网络2109能够传输的数据的编码率，将检测到的编码率的信息通知编 码率变换部2101。
流接收装置2111具有网络控制部2107和AV再现部2108。网络控制 部2107从网络2109接收AV流，将接收到的AV流通知AV再现部2108。 AV再现部2108进行AV复用分离及AV流的解码，并再现影像(也包括数 据广播或字幕)、声音。另外，AV再现部与编码率变换没有直接关系，所 以省略具体结构。例如，在日本的BS数字广播中，每一个节目的编码率是24Mbps。但 是，在网络中也在同时传输除AV流之外的数据，所以在网络中不能保障 24Mbps的带宽的情况居多。并且，在网络是无线网络时，可以传输的带宽 随时根据电波状态而变化。因此，在网络中不能保障24Mbps的带宽的情况 很多。在不能保障带宽时，由于AV流的数据遗漏，导致流的解码频繁出现 错误。因此，几乎不能进行AV再现。
流发送装置2110使网络控制部2106检测网络2109的状态，将在网络 2109中可以传输的数据的带宽的信息通知编码率变换部2101。由此，编码 率变换部2101可以把AV流变换为能够在网络2109中传输的编码率。由此， 数据不会在网络2109上遗漏，流接收装置2111能够正常进行AV再现。
另外，在本实施方式中，把流发送装置2110接收的数据设为从HDD 2102读出的数据。但是，不限于此，流发送装置2110接收的数据也可以是 数字广播波中包含的数据、或从其他记录介质读出的数据。
另外，在本发明的实施方式1 7中，构成编码率变换装置的各个功能 单元可以典型地实现为在需要CPU及存储器的信息设备上动作的程序。但 是，不限于此，也可以把构成编码率变换装置的各个功能单元的一部分或 全部实现为集成电路即LSI。这些LSI可以形成为独立的单片，也可以形成 为包含一部分或全部的单片。在此，把使用的集成电路设为LSI，但根据集 成程度的不同，使用的集成电路可以是IC、系统LSI、超级(super)LSI、特 级(ultra)LSI等任一种。
并且，集成电路化的方法不限于LSI，也可以利用专用电路或通用处理 器实现。也可以采用在制作LSI后能够编程的FPGA (Field Programmable Gate Array:现场可编程门阵列)、能够再构成LSI内部的电路单元的连接 和设定的可重构处理器。
另外，如果伴随半导体技术的发展或利用派生的其他技术替换LSI的 集成电路化的技术问世，当然也可以使用该技术进行功能单元的集成化。 还存在适用生物技术等的可能性。
此次公开的实施方式只是示例，不能理解为限制方式。本发明的范围 利用权利要求示出而不是上述的说明，包括与权利要求均等的意思以及范 围内的全部变更。产业上的可利用性
如上所述，本方面涉及的编码率变换装置，例如对于在广播流接收记 录装置或向网络的流发送装置等中降低影像流的编码率有用。
权利要求
1.一种编码率变换装置，用于在对图片进行编码的处理中，对通过至少进行量化处理而得到的所述图片的编码数据的编码率进行变换，该量化处理使用了将量化矩阵与量化尺度的值相乘而得到的值，其特征在于，所述量化尺度针对构成用于复原图片的编码数据的多个宏块的每一个而被设定了值，所述量化矩阵按照从所述编码数据得到的图片单位设定，所述编码率变换装置具有反量化部，使用在所述图片的编码时使用的第1量化矩阵对所述多个宏块进行反量化，从而获取多个系数数据；量化矩阵变换部，使用第1变换值和大于所述第1变换值的第2变换值将所述第1量化矩阵变换为第2量化矩阵，所述第1变换值用于对所述第1量化矩阵所表示的多个系数中的、作为与低于预定频率的频率相对应的系数的低频系数的值进行变换，所述第2变换值用于对所述多个系数中的、作为除所述低频系数以外的系数的高频系数的值进行变换；尺度值计算部，在所述第2量化矩阵是用于增大所述编码数据的编码率的矩阵时，计算将与所述多个宏块中的至少一个宏块相对应的量化尺度的值变为β1倍而得到的变换后尺度值，在所述第2量化矩阵是用于减小所述编码数据的编码率的矩阵时，计算将与所述多个宏块中的至少一个宏块相对应的量化尺度的值变为β2倍而得到的变换后尺度值，其中β1≥1，0＜β2＜1；以及再量化部，使用所述第2量化矩阵和与所述多个系数数据中的至少一部分系数数据所对应的宏块相对应的、计算出的变换后尺度值，对所述至少一部分系数数据进行量化，从而生成编码率比由所述反量化部反量化之前的编码率小的所述编码数据。
2. 根据权利要求1所述的编码率变换装置，其特征在于， 所述量化矩阵变换部通过将所述低频系数的值变为al倍，从而将所述第1量化矩阵变换为所述第2量化矩阵，其中0<al<l 。
3. 根据权利要求2所述的编码率变换装置，其特征在于，所述尺度值计算部，在所述第2量化矩阵是用于增大所述编码数据的 编码率的矩阵时，计算将与构成所述编码数据的所述多个宏块的每一个相 对应的量化尺度的值变为P3倍而得到的变换后尺度值，其中p3^ 1/otl。
4. 根据权利要求1所述的编码率变换装置，其特征在于， 所述量化矩阵变换部通过将所述高频系数的值变为a2倍，从而将所述第1量化矩阵变换为所述第2量化矩阵，其中a2〉1 。
5. 根据权利要求l所述的编码率变换装置，其特征在于， 还具有块判定部，该块判定部判定在所述多个宏块中是否具有特定宏块，该特定宏块是表示通过被解码、精细度将高于预定精细度的图像的宏 块，在判定为具有所述特定宏块、而且第2量化矩阵是用于增大所述编码 数据的编码率的矩阵时，所述尺度值计算部计算将与全部所述特定宏块的 每一个相对应的量化尺度的值变为pl倍而得到的变换后尺度值，在判定为 具有所述特定宏块、而且所述第2量化矩阵是用于减小所述编码数据的编 码率的矩阵时，所述尺度值计算部计算将与全部所述特定宏块的每一个相 对应的量化尺度的值变为P2倍而得到的变换后尺度值。
6. 根据权利要求5所述的编码率变换装置，其特征在于， 所述特定宏块是在所述多个宏块中，通过将宏块的数据量和与该宏块相对应的量化尺度的值相乘而得到的值表示大于预定值的值的宏块。
7. 根据权利要求1所述的编码率变换装置，其特征在于， 所述量化矩阵变换部，对于所述多个宏块的每一个，根据对应的宏块的类型、预测方法和大小中的至少一方，变更所述预定频率、和用于使所 述第1量化矩阵所表示的所述多个系数的至少一部分变化的值。
8. 根据权利要求1所述的编码率变换装置，其特征在于， 所述尺度值计算部，对于所述多个宏块中的每一个，根据对应的宏块的类型、预测方法和大小中的至少一方，变更|31或|32。
9. 根据权利要求1所述的编码率变换装置，其特征在于， 还具有判定部，该判定部根据所述第1量化矩阵表示的所述多个系数的值和与所述至少一个宏块相对应的量化尺度的值，判定第1变换处理和 第2变换处理中的至少一方是否能够适用于所述第1量化矩阵的变换，所述第1变换处理通过将所述低频系数的值变为0d倍从而将所述第1量化矩阵变换为所述第2量化矩阵，所述第2变换处理通过将所述高频系数的值 变为a2倍从而将所述第1量化矩阵变换为所述第2量化矩阵，其中0<(xl<l， a2>l，在具有通过所述判定部判定为能够适用的处理时，所述量化矩阵变换 部进行被判定为能够适用的处理，在所述量化矩阵变换部进行所述第1变换处理时，所述尺度值计算部 计算将与所述多个宏块中的至少一个宏块相对应的量化尺度的值变为P1倍 而得到的变换后尺度值，在所述量化矩阵变换部进行所述第2变换处理时， 所述尺度值计算部计算将与所述多个宏块中的至少一个宏块相对应的量化 尺度的值变为P2倍而得到的变换后尺度值。
10. —种编码率变换方法，用于在对图片进行编码的处理中，对通过至 少进行量化处理而得到的所述图片的编码数据的编码率进行变换，该量化 处理使用了将量化矩阵与量化尺度的值相乘而得到的值，其特征在于，所述量化尺度针对构成用于复原图片的编码数据的多个宏块的每一个 而被设定了值，所述量化矩阵按照从所述编码数据得到的图片单位设定，所述编码率变换方法具有反量化步骤，使用在所述图片的编码时使用的第1量化矩阵对所述多个宏块进行反量化，从而获取多个系数数据；量化矩阵变换步骤，使用第1变换值和大于所述第1变换值的第2变 换值将所述第1量化矩阵变换为第2量化矩阵，所述第1变换值用于对所 述第1量化矩阵所表示的多个系数中的、作为与低于预定频率的频率相对 应的系数的低频系数的值进行变换，所述第2变换值用于对所述多个系数 中的、作为除所述低频系数以外的系数的高频系数的值进行变换；尺度值计算步骤，在所述第2量化矩阵是用于增大所述编码数据的编 码率的矩阵时，计算将与所述多个宏块中的至少一个宏块相对应的量化尺 度的值变为pl倍而得到的变换后尺度值，在所述第2量化矩阵是用于减小 所述编码数据的编码率的矩阵时，计算将与所述多个宏块中的至少一个宏 块相对应的量化尺度的值变为p2倍而得到的变换后尺度值，其中pl^1，0<P2<1;以及再量化步骤，使用所述第2量化矩阵和与所述多个系数数据中的至少 一部分系数数据所对应的宏块相对应的、计算出的变换后尺度值，对所述 至少一部分系数数据进行量化，从而生成编码率比由所述反量化步骤反量 化之前的编码率小的所述编码数据。
11. 一种集成电路，用于在对图片进行编码的处理中，对通过至少进行 量化处理而得到的所述图片的编码数据的编码率进行变换，该量化处理使 用了将量化矩阵与量化尺度的值相乘而得到的值，其特征在于，所述量化尺度针对构成用于复原图片的编码数据的多个宏块的每一个 而被设定了值，所述量化矩阵按照从所述编码数据得到的图片单位设定，所述集成电路具有反量化部，使用在所述图片的编码时使用的第1量化矩阵对所述多个 宏块进行反量化，从而获取多个系数数据；量化矩阵变换部，使用第1变换值和大于所述第1变换值的第2变换 值将所述第1量化矩阵变换为第2量化矩阵，所述第1变换值用于对所述 第1量化矩阵所表示的多个系数中的、作为与低于预定频率的频率相对应 的系数的低频系数的值进行变换，所述第2变换值用于对所述多个系数中 的、作为除所述低频系数以外的系数的高频系数的值进行变换；尺度值计算部，在所述第2量化矩阵是用于增大所述编码数据的编码 率的矩阵时，计算将与所述多个宏块中的至少一个宏块相对应的量化尺度 的值变为j31倍而得到的变换后尺度值，在所述第2量化矩阵是用于减小所 述编码数据的编码率的矩阵时，计算将与所述多个宏块中的至少一个宏块 相对应的量化尺度的值变为P2倍而得到的变换后尺度值，其中P1^1, 0<|32<1;以及再量化部，使用所述第2量化矩阵和与所述多个系数数据中的至少一 部分系数数据所对应的宏块相对应的、计算出的变换后尺度值，对所述至 少一部分系数数据进行量化，从而生成编码率比由所述反量化部反量化之 前的编码率小的所述编码数据。
全文摘要
一种编码率变换装置，使用在图片的编码时使用的第1量化矩阵对构成编码数据的多个宏块进行反量化，从而获取多个系数数据。使用第1变换值和大于第1变换值的第2变换值将第1量化矩阵变换为第2量化矩阵(S408)，该第1变换值用于变换第1量化矩阵表示的多个系数中、与低于预定频率的频率相对应的低频系数的值，该第2变换值用于变换高频系数的值。在第2量化矩阵是用于增大编码数据的编码率的矩阵时，计算将与至少一个宏块相对应的量化尺度的值变为β1倍而得到的变换后尺度值，β1≥1。使用第2量化矩阵和与多个系数数据的至少一部分系数数据所对应的宏块相对应的计算出的变换后尺度值，对该至少一部分系数数据进行量化。
文档编号H04N7/30GK101578878SQ20088000142
公开日2009年11月11日 申请日期2008年10月16日 优先权日2007年10月19日
发明者和田由之, 池田浩 申请人:松下电器产业株式会社