专利名称：图像编码装置和方法以及图像解码装置和方法
技术领域：
本发明涉及用于运动图像或静止图像的图像编码装置和方法以 及图像解码装置和方法。
背景技术：
作为代表性运动图像编码标准方式的H.264是如下的非可逆压 缩方式对输入图像信号与通过进行画面内预测或运动补偿生成的预 测图像信号的预测误差信号，进行离散余弦变换(DCT )等正交变换， 在进行了这样的向频率轴上的变换后，对变换系数进行基于量化和编 码的压缩处理，得到编码图像。在生成预测图像信号时，在画面内预 测或运动补偿的内插滤波器中，使多个像素乘以滤波系数并相加后， 以与输入图像的像素比特长相同的精度进行舍入处理。
在特开2003- 283872号公报中示出如下方法将针对输入图像 的每一帧扩大了各色信号的动态范围的图像作为输入来进行编码，在 解码后通过复原到原来的动态范围，来抑制由于显示装置的校正引起 的编码失真的强调。
在H.264中，在生成预测信号时的舍入处理的过程中，产生舍入 误差，因此在画面内预测或运动补偿的内插滤波器中无法以足够的精 度进行处理，从而导致预测误差信号的增大，结果编码效率降低。对 此，在特开2003 -283872号公报中，通过扩大输入图像的动态范围， 可以将前述的舍入误差减少若干。但是，特开2003 -283872号公报 中的动态范围的扩大仅在输入图像的比特精度的范围内进行，并且， 在动态范围的扩大时也产生舍入误差，因此无法充分地提高计算精 度。在特开平4 -32667号公报中公开了如下方法应用于编码器和 解码器都一体设置的数码相机，按照编码器和解码器共有的DCT运
算精度，对输入图像的比特长进行比特移位。在该方法中，如果编码 器和解码器分开设置并且各自的DCT运算精度不同，则按照各自的 DCT运算精度进行比特移位，因此以不同的比特数进行移位，从而产 生失配。
发明内容
本发明的目的在于，提供一种通过充分提高画面内预测或运动补 偿的精度来提高编码效率的图像编码装置、图像编码方法以及图像解 码装置、图像解码方法。
本发明的第l形态提供一种图像编码装置，具有像素比特长变 换器，通过对输入图像的各像素的比特精度进行变换，生成不同比特 精度的变换输入图像，并且输出表示通过变换而变更的比特数的比特 变换信息；图像编码器，对上述变换输入图像进行编码，输出图像编 码信息；和多路复用器，将上述比特变换信息和上述图像编码信息多 路复用。
本发明的第2形态提供一种图像编码装置，具有像素比特精度 变换器，将由分别具有N比特精度的多个像素构成的输入图像的各像 素的比特精度变换成大M比特的(N + M)比特精度；预测图像生成 器，根据(N + M)比特精度的参照图像生成针对(N + M)比特精度 的上述输入图像的(N + M)比特精度的预测图像；减法器，求出(N + M)比特精度的上述输入图像与(N + M)比特精度的上述预测图 像的差分信号；编码器，对上述差分信号进行编码，输出图像编码信 息；解码器，根据上述图像编码信息，输出解码差分图像；加法器， 将(N + M)比特精度的上述预测图像与上述解码差分图像相加，输 出(N + M)比特精度的解码图像；和参照图像存储存储器，将(N +M)比特精度的上述解码图像作为上述参照图像保存。
本发明的第3形态提供一种图像解码装置，具有逆多路复用器，
1输入比特变换信息和图像编码信息被多路复用的图像信息，分离成比
特变换信息和图像编码信息；图像解码器，对上述图像编码信息进行 解码，输出解码图像；和图像比特精度变换器，根据上述比特变换信 包'，'。
本发明的第4形态提供一种图像解码装置，具有解码器，将输 入编码图像信息解码成(N + M)比特精度的解码差分图像；预测图 像生成器，使用上述编码图像信息，根据(N + M)比特精度的参照 图像生成(N + M)比特精度的预测图像；加法器，将上述解码差分 图像和上述预测图像相加，得到(N + M)比特精度的解码图像；参 照图像存储存储器，将(N + M)比特精度的上述解码图像作为上述 参照图像保存；和像素比特精度变换器，将(N + M)比特精度的上 述解码图像的各像素变换成N比特精度，输出N比特精度的解码图 像。
图1A是示出本发明第1实施方式的图像编码装置的结构例的框
图1B是示出图1A的图像编码装置的动作的流程图。
图2是示出像素比特长扩展器的结构的框图。
图3是示出在同一实施方式中使用的语法的结构的一例的图。
图4是示出在同一实施方式中使用的序列参数集语法的结构的
图5是示出在同一实施方式中使用的补充语法的结构的图。
图6是示出在同一实施方式中使用的补充语法的结构的图。
图7A是示出同一实施方式的图像解码装置的结构例的框图。
图7B是示出图7A的图像解码装置的动作的流程图。
图8是示出图7的像素比特长缩小器的结构的框图。
图9A是示出本发明第2实施方式的图像编码装置的结构例的框图9B是示出图9A的图像编码装置的动作的流程图。
图IOA是示出同一实施方式的图像解码装置的结构例的框图。
图IOB是示出图10A的图像解码装置的动作的流程图。
图11A是示出本发明第3实施方式的图像编码装置的结构例的框图。
图IIB是示出图IIA的图像编码装置的动作的流程图。
图IIC是示出图IIA的像素比特长变换器的动作概要的图。
图IID是示出图IIA的像素比特长变换器的结构的一例的框图。
图IIE是示出图IIA的像素比特长变换器的结构的一例的框图。
图IIF是示出图11A的帧存储器的结构的一例的框图。
图12是示出图11的像素比特长变换器的结构的框图。
图13是示出在同一实施方式中使用的序列参数集语法的结构的图。
图14是示出在同一实施方式中使用的图片参数集语法的结构的图。
图15是示出在同一实施方式中使用的片(slice)级语法的结构的图。
图16是示出在同一实施方式中使用的宏块级语法的结构的图。 图17A是示出同一实施方式的图像解码装置的结构例的框图。 图17B是示出图17A的图像解码装置的动作的流程图。 图18A是示出本发明第4实施方式的图像编码装置的结构例的框图。
图18B是示出图18A的图像编码装置的动作的流程图。
图19A是示出同一实施方式的图像解码装置的结构例的框图。
图19B是示出图19A的图像解码装置的动作的流程图。
图20A是示出本发明第5实施方式的图像编码装置的结构例的框图。
图20B是示出图20A的图像编码装置的动作的流程图。
图21A是示出同一实施方式的图像解码装置的结构例的框图。图21B是示出图21A的图像解码装置的动作的流程图。
图22是编码器侧的预测图像生成器的框图。
图23是解码器侧的预测图像生成器的框图。
图24是示出帧间预测器的结构的框图。
图25是示出帧间预测器的另一结构的框图。
图26是示出帧间预测器的又一结构的框图。
图27是示出编码器侧的环路滤波器的结构的框图。
图28是示出解码侧的环路滤波器的结构的框图。
图29是示出像素比特长扩展器的另一结构的框图。
图30是滤波处理部的框图。
图31是滤波处理部的动作的流程图。
图32是像素比特长缩小器的框图。
图33A是第6实施方式的图像编码装置的框图。
图33B是示出图33A的图像编码装置的动作的流程图。
图34A是第6实施方式的图像解码装置的框图。
图34B是示出图34A的图像解码装置的动作的流程图。
图35A是第7实施方式的图像编码装置的框图。
图35B是示出图35A的图像编码装置的动作的流程图。
图36是示出序列参数集语法的图。
图37是示出序列参数集语法的图。
图38是示出在图像编码装置的处理中使用的控制标志的设定例的图。
图39A是示出第7实施方式的图像解码装置的结构的框图。 图39B是示出图39A的图像解码装置的动作的流程图。 图40是示出比特变换信息中包含的控制标志的设定的图。 图41是用于说明由于比特精度扩展的有无而产生的舍入误差的 差异的图。
图42是示出半像素精度的预测像素值的图。
图43是示出本发明实施方式的像素比特长扩展和像素比特长缩小中的变换特性的图。
具体实施例方式
以下参照
本发明的实施方式。
参照图1A说明第1实施方式的用于运动图像编码的图像编码装 置的结构。该图像编码装置被供给输入图像信号100,并且具备扩 展像素比特长的像素比特长扩展器(即，变换像素比特精度的像素比 特精度变换器)1001;与该像素比特长扩展器1001的输出连接的图 像编码器10;与该图像编码器10的输出连接的多路复用部12;和与 像素比特长扩展器1001的另一输出连接、向多路复用部12供给比特 扩展信息的比特长变换控制器1002。
参照图1B的流程图说明图像编码装置的动作。向该图像编码装 置例如以帧为单位输入运动图像信号作为输入图像信号100 (S11)。 像素比特长扩展器1001进行将输入的N比特精度的图像信号100的 各像素变换成比N比特大M比特的(N + M)比特精度的处理。即， 在图2所示的像素比特长扩展器1001中，根据比特长扩展信息1003， 通过开关E0选择是否扩展所输入的N比特精度的图像信号100的各 像素的比特长(S12)。在进行扩展的情况下，将开关E0连接到ON
(接通)侧，在不进行扩展的情况下，连接到OFF(断开)侧。在使 开关E0为ON的情况下，图像信号被输入到像素比特长扩展变换器
(像素比特精度变换器)EOl，进行后述的像素比特长变换(S13)。 在开关E0为OFF的情况下，图像信号不进行像素比特长变换，而原 样输出。例如，在输入图像信号的某像素的值为K的情况下，将该像
素值K扩展了 M比特后的像素值K，如以下的公式(1)那样计算。
K'=K M …(l)
另外，例如也可以结合显示装置的特性对像素进行伽马变换。如 果设要扩展的比特数为M、伽马值为Y，则如以下的公式(1-1)所
示计算像素值K，。
<formula>formula see original document page 18</formula> ... (1 一 1)另外，如以下的公式(1-2)所示，可以进一步求出输入图像的 像素的最小值Min、最大值Max， 一边扩宽动态范围， 一边将像素扩 展到M比特的比特精度。
K' =INT〔〔{(K—Min)/(Max—Min)r X((l 〈< M) —1)〕十offset〕
…(l —2)
INT表示舍入成整数的处理。公式(1-1)、 (1-2)中的offset 表示进行舍入时的偏移，为0~1的任意值。
进而，可以对进行了上述扩展的输入图像的序列进行直方图平滑 化，或者在时空间中实施滤波。
在输入图像例如是由RGB等多种成分构成的彩色图像信号的情 况下，可以在将各成分的各像素的比特长扩展成大M比特的比特精 度后，将各成分变换成其它颜色空间的成分信号。例如，在从RGB 变换为YCoCg的情况下，利用以下的公式(1-3)进行变换。在该 例子中，N比特的输入图像的各成分的各像素R、 G、 B在将各像素
的值扩展成大M比特的比特精度后，被变换为Y、 Co、 Cg。
R' -(R << M) G，-(G << M) B' = (B << M)
Y=Round(0.5*G'+0.25* (R'+B，))
Co=Round(0.5*G，—0.25*(R'+B')) + (1 << (N+M —1)) Cg=Round(0.5* (R，一B')) + (1 〈< (N十M — l))
…(l一3)
这里，Round (A)是对A进行四舍五入而舍入为整数的处理。 在利用公式(1-3)的变换例中，如果使要扩展的比特数M为2以 上，则可以在舍入处理中不产生舍入误差地进行颜色变换。这里所示 的颜色变换是一个例子，只要是进行颜色变换的处理，任何处理都可 以。
以上的例子是像素比特长扩展器1001进行的变换的一个例子， 将各像素的值扩展成大M比特的比特精度的处理不限于上述的例子， 只要是扩大比特长的处理，任何处理都可以。如上所述，进行了比特扩展的比特扩展输入图像信号1009被导 入图像编码器10。另外，生成要扩展的比特数M、输入图像信号的 比特长N以及其它变换所需的伽马值、像素最大值、最小值、直方图 等比特变换信息1010 (S14)，作为比特扩展信息1003由比特长变换 控制器(比特精度变换控制器1002 )导入多路复用部12。
图像编码器10将所输入的比特扩展输入图像信号1009编码，作 为图像编码数据11输出到多路复用部12 (S15)。多路复用部12将 图像编码数据11和比特扩展信息1003多路复用(S16)，作为编码 数据117向未图示的传送系统或蓄积系统送出(S17)。
然后，说明要扩展的比特数M等变换所需的比特扩展信息1003 的多路复用方法。
图3示出在本实施方式中使用的语法结构的例子。
在该语法结构例中，在高级语法(401)中嵌入片(slice)以上 的上层的语法信息。在片级语法(402)中，记载了每个片所需的信 息，在宏块级语法(403 )中，记栽了每个宏块所需的量化参数的变 更值或模式信息等。
各语法由更详细的语法构成。在高级语法(401)中，由序列参 数集语法(404 )和图片参数集语法(405 )等序列和图片级语法构成。 在片级语法(402 )中，由片标题语法(406 )、片数据语法(407) 等构成。并且，宏块级语法(403 )由宏块标题语法(408)、宏块数 据语法(409)等构成。
上述的语法是解码时必要的、不可缺少的构成要素，如果缺少这 些语法信息，则在解码时无法正确地复原数据。另一方面，作为用于 将解码时不必要的信息多路复用的辅助语法，存在补充语法(410)。
补充语法是为了发送表示对可在解码侧独立执行的处理的指示的信
息而准备o
在本实施方式中，可以将要扩展的比特数包含在序列参数集语法
(404)中来发送该语法。以下说明各个语法。
图4的序列参数集语法内所示的ex—seq—bit—extension_flag是表示是否进行比特扩展的标志，该标志为TRUE(真)时，可以以序列 为单位切换是否进行比特扩展。该标志为FALSE (假)时，在序列 内不进行比特扩展。当ex—seq—bit_extension—flag为TRUE时，还发 送表示进行几个比特扩展的ex_seq—shift_bits 。利用该标志的 TRUE/FALSE来决定例如图2所示的像素比特长扩展器1001内的开 关E0的ON/OFF。
在序列参数集语法内，还可以包含表示进行什么样的变换的 ex—bit—transform—type来发送。exbit—transform—type例汐口存储有表 示公式(1)所示的简单的比特扩展变换的值BIT—EXT一TRANS、表 示进行了公式(1 - 1)所示的y变换的GAMMA_TRANS、表示进行 了公式(1-2)所示的动态范围变换的DR_TRANS等。在 ex—bit—transform_type为GAMMA—TRANS的情况下，进而发送表 示以什么样的伽马值进行了变换的 gamma_value 。 在 ex—bit—transform—type为DR_TRANS的情况下，进而发送分别表示 输入图4象4言号的4象素的最大值和最小值的max_value和min—value。
在本实施方式中，可以利用在补充语法(410)中多路复用的数 据。图5中示出使用补充语法发送解码侧的输出图像信号的比特精度 的例子。补充语法内所示的ex_sei—bit_extension_flag是表示是否变更 输出图像信号的比特精度的标志，当该标志为TRUE时，表示变更输 出图像信号的比特精度。当该标志为FALSE时，表示不进行输出图 像信号的比特精度的变更。当该标志为TRUE时，进一步发送 bit—depth—ofdecoded—image 。 bitdepth一of decoded—image是表示输 出图像信号的比特精度的值，在后述的解码侧利用具有进行比特扩展 或缩小来解码的能力的解码器对图像信号进行解码的情况下，可以按 照bit_depth_of_decoded_image的值，扩大或缩小解码图像的比特精 度，输出以bit_depth_of—decodedjmage表示的比特精度的解码图像。
但是，在利用不具有进行比特扩展或缩小来解码的能力的解码器 对图像信号进行解码的情况下，或者即使具有该能力，也可以不必输 出以bit—d印th—of—decodedjmage表示的比特精度的解码图像，而直接以解码后的比特精度来输出。
另外，图6示出使用补充语法410来发送解码侧的输出图像信号 的颜色空间的例子。ex_sei_bit—extension—flag和bit—c^pth_of_ decoded—image与前述的图4的例子相同。
补充语法内所示的ex—color—transform—flag是表示是否变换输 出图像信号的颜色空间的标志，当该标志为TRUE时，表示变更输出 图像信号的各成分的颜色空间。而当该标志为FALSE时，表示不进 行输出图像信号的各成分的颜色空间的变更。当该标志为TRUE时， 还发送 color_space—of—decoded—image 。 color—space—of_decoded Jmage是表示输出图像信号的颜色空间的值，具有在后述的解码侧进 行比特扩展或缩小来解码的能力。在利用具有变换成由 color—space—of—decoded—image的值指定的颜色空间的能力的解码器 对图像信号进行解码的情况下，在将输出图像信号的各成分变换成由 color—space—of—decoded—image的值指定的颜色空间后，可以按照 bit_depth_of_decoded—image的值，扩大或缩小解码图像的比特精度， 输出以bit—depth—of—decoded_image表示的比特精度的解码图像。
但是，在利用不具有将输出图像信号的各成分变换成由 color—space—of—decodedjmage的值指定的颜色空间的能力的解码器 进行解码的情况下，或者即使具有该能力，也不必输出变换成由
color_space—of—decoded—image的值指定的颜色空间的解码图像。可 以在以解码后的颜色空间直接输出解码图像后，将成分变换成以 bit—depth_of_decoded—image表示的比特精度。另外，在利用不具有 进行比特扩展或缩小来进行解码的能力的解码器对图像信号进行解 码的情况下，或者即使具有该能力，也可以不必输出以 bit—depth—of_decoded_image表示的比特精度的解码图像，而直接以 解码后的比特精度来输出。
以下参照图7A、图7B说明本实施方式的图像解码装置。如图 7A所示，该图像解码装置具备输入编码数据的逆多路复用部21; 与逆多路复用部21的输出连接的图像解码器20;与图像解码器20的输出连接的像素比特长缩小器(像素比特精度缩小变换器)2001;从 逆多路复用部21接收比特扩展信息并将比特变换信息输入到像素比 特长缩小器2001的比特长变换控制器(比特精度变换控制器)2002。
如图7B的流程图所示，首先，将利用图1A的图像编码装置编 码后的编码数据117输入到逆多路复用部21 (S21)。在逆多路复用 部21中，编码数据117被分离为比特扩展信息2004和图像编码数据 11(S22)。比特扩展信息2004被输入比特长变换控制器2002，图像 编码数据11被输入图像解码器20。图像编码数据11按照与图像编码 器10进行的编码相反的过程被解码，成为比特扩展解码图像信号203 (S23 )。比特扩展解码图像信号203被输入像素比特长缩小器2001。 比特扩展信息2004被输入到比特长变换控制器2002后，比特长变换 控制器2002输出表示解码图像被扩展几个比特以及变换所需的信息 的比特变换信息2003。
如图8所示，在像素比特长缩小器2001中，对于所输入的N比 特精度的图像信号100，由开关E2根据比特变换信息10(B选择是否 缩小各像素的比特长(S24)。开关E2在进行缩小的情况下连接到 ON侧，不进行扩展的情况下连接到OFF侧。在使开关E2为ON的 情况下，图像信号被输入到像素比特长缩小变换器EO2，进行后述的 像素比特长变换(S25)。在开关E2为OFF的情况下，图像信号不 进行像素比特长变换，而直接输出。例如，在ex—seq_bit_extension—flag 为TRUE、表示各像素的比特长被扩展的情况下，使开关为ON侧， FALSE的情况下，使开关为OFF侧。
比特变换信息2003例如利用ex_seq_shift—bits扩展了 M比特、 利用ex—bit—transform—type示出表示进行了例如乂^式(1)所示的变 换的BIT_EXT—TRANS的情况下，被输入到像素比特长缩小器2001 的比特扩展解码图像信号203将各像素的值缩小M比特。例如，在 比特扩展解码图像信号203的某像素的值为K的情况下，缩小了 M 比特后的像素值K，如下计算。K' = (K +offset)》M
offset=(l<〈(M—1)) …(2)
这是利用四舍五入将像素值缩小到小M比特的比特长的方法的 一个例子，这里的缩小变换方法只要是例如将offset设为0~ (1<<M) 的任意值等减小比特长的方法，则可以是任意的变换方法。
比特变换信息2003例如利用ex—seq—shift—bits扩展了 M比特、 利用ex—bit_transform—type示出表示进行了例如7>式(1 - 1)所示的 伽马变换的GAMMA—TRANS。在利用gamma—value示出伽马值为y 的情况下，被输入到像素比特长缩小器2001的比特扩展解码图像信 号203将各像素的值缩小M比特。例如，在比特扩展解码图像信号 203的某像素的值为K的情况下，缩小了 M比特后的像素值K，如下 计算。
K'=INT〔〔{K/((1 <<M) — 1》1/YX((1 〈<N) —1)〕+offset 〕
…(2 —1)
比特变换信息2003例如利用ex—seq—shift—bits扩展了 M比特、 利用ex—bit—transform—type示出表示进4亍了例如z^式(1 - 2 )所示的 动态范围变换的DR—TRANS，并且利用min—value、 max—value示出 输入图像的像素的最大值和最小值分别为Max、 Min的情况下，被输 入到像素比特长缩小器2001的比特扩展解码图像信号203将各像素 的值缩小M比特。例如，在比特扩展解码图像信号203的某像素的
值为K的情况下，缩小了 M比特后的像素值K，如下计算。
K'=INT〔〔{(K—(Min <<M)) / ((Max—Min) <<M)}1/v X ((l 〈< N) —1)〕+offset〕
…(2 —2)
INT表示舍入为整数的处理。公式(2-1)、 (2-2)中的offset 表示进行舍入时的偏移，为0 1的任意值。
比特变换信息2003例如利用ex—seq_shift_bits扩展了 M比特、 解码图像信号的颜色空间是与例如图5所示补充语法内指定的 color—space—of—decoded—image指定的颜色空间不同的颜色空间的情 况下，在将解码图像的各成分的各像素变换成color_space—of_decoded—image指定的颜色空间后，将比特长缩小M 比特。例如，在输入图像从RGB被变换成YCoCg并编码，并且在 color—space—of—decoded—image中指定了 RGB的情况下，对于解码图 像的各成分的各像素Y、 Co、 Cg，利用以下的公式(2-3)进行比特
缩小和颜色空间变换，各成分的各像素分别被变换成R、 G、 B。
t=(Y—((Cg—(1 << (N+M-l)))》l))
G'=Cliply(t+(Cg—(l 〈< (N十M-l)))) B，=Cliply(t—((Co—(1 << (N+M —1)))〉〉 l)) R'=Cliply(B' + (Co—(1 << (N + M—1)))) offset-(1<〈(M_1))
R=(R'+offset)》M .'.(2-3) G-(G'+ offset) >〉 M B= (B'+ offset) >> M
这里，Cliply ( A)表示如下处理在A满足0〈A〈 ( 1<< ( N + M))的情况下，直接输出A，如果A〈0，则输出0，如果A^(K〈 (N + M)),则输出(1 (N + M) ) -1。这是利用四舍五入将 像素值缩小为小M比特的比特长的方法的一个例子，这里的缩小变 换方法只要是例如使offset为0~ (1<<M)的任意值等比特减小的方 法，则可以是任意的变换方法。
这里示出了解码图像信号的颜色空间由补充语法内指定的 color—space—of—decoded—image指定的例子，但在没有该指定的情况 下，或在高级语法401中与补充语法中所示的例子同样地指定解码图 像信号的颜色空间的情况下，在输出解码图像的过程中进行颜色变换 处理的情况下，也可以在进行颜色变换处理后，将像素值缩小为小M 比特的比特长。另外，这里所示的颜色变换是一个例子，只要是进行 颜色变换的处理，则可以是任何处理。
以上所示的缩小变换是一个例子，只要是减小比特长的方法，任 何变换方法都可以。
通过以上，从像素比特长缩小器2001输出与输入到图像编码装 置的输入图像相同的N比特精度的解码图像202 (S25)。根据以上结构，图像编码和图像解码可以以比输入图像的比特精
度大M比特的比特精度进行，从而可以提高编码效率。 (第2实施方式)
参照图9A说明第2实施方式的用于运动图像编码的图像编码装 置的结构。如图9所示，该图像编码装置具备像素比特长扩展器(像 素比特精度变换器)1001、比特长变换控制器(比特精度变换控制器) 1002、减法器101、正交变换器104、量化器106、逆量化器109、逆 正交变换器IIO、加法器lll、环路滤波器113、帧存储器114、预测 图像生成器115和熵编码器108。接收输入图像信号的像素比特长扩 展器1001的输出经由减法器101、正交变换器104、量化器106与熵 编码器108连接。量化器106的输出经由逆量化器109、逆正交变换 器IIO、加法器lll、环路滤波器113、帧存储器114与预测图像生成 器115连接。来自预测图像生成器115的预测图像信号被输入减法器 101和加法器111。来自预测图像生成器115的运动矢量/预测模式信 息被输入熵编码器108。比特长变换控制器1002将比特变换信息输入 像素比特长扩展器1001，将比特扩展信息输入熵编码器108。
参照图9B的流程图说明上述结构的图像编码装置的动作。向图 像编码装置例如以帧为单位输入运动图像信号作为输入图像信号100 (S31)，像素比特长扩展器1001进行将输入的N比特精度的图像信 号100的各像素的值扩展成比N比特大M比特的(N + M )比特精度 的处理(S32)。例如，在输入图像信号的某像素的值为K的情况下， 扩展了 M比特后的像素值K，例如利用公式(1)或公式(1 - 1) 、 ( 1 -2) 、 (l-3)等计算。
要扩展的比特数M等变换信息由比特长变换控制器1002作为比 特扩展信息1003导入熵编码器108 (S33)。作为像素比特长扩展器 IOOI的结构例，可以采用图2的结构，与第l实施方式同样，进行利 用标志来切换并控制是否扩展各像素的比特长的处理。
利用减法器101取得将比特长扩展为(N + M)比特精度的输入 图像信号100与以(N + M)比特精度生成的预测图像信号102的差分，生成(N + M)比特精度的预测误差信号103 (S34)。所生成预 测误差信号103由正交变换器104进行正交变换(例如进行离散余弦 变换(DCT) ) (S35)。在正交变换器104中得到正交变换系数信 息105 (例如DCT系数信息)。正交变换系数信息105由量化器106 量化，量化正交变换系数信息107被输入熵编码器108和逆量化器 109。量化正交变换系数信息107通过逆量化器109和逆正交变换器 110依次接受与量化器106和正交变换器104的处理相反的处理，即 进行局部解码，变换成与预测误差信息同样的信号，即局部解码误差 信号。该局部解码误差信号利用加法器111与(N + M)比特精度的 预测图像信号102相加，由此生成(N + M)比特精度的局部解码图 像信号112。即，量化正交变换系数信息107被局部解码(S36)。局 部解码图像信号112根据需要由环路滤波器113进行了滤波处理后， 存储在帧存储器114中。
预测图像生成器115根据将比特长扩展成(N + M)比特精度的 输入图像信号100以及存储在帧存储器114中的(N + M)比特精度 的局部解码图像信号112，生成基于某预测模式信息的(N + M)比特 精度的预测图像信号。此时，来自加法器111的(N + M)比特精度 的局部解码图像信号112被临时存储在帧存储器114中。通过针对帧 内的每个块进行(N + M)比特精度的输入图像信号100与蓄积在帧 存储器114内的(N + M)比特精度的局部解码图像信号112之间的 匹配(例如块匹配)，检测出运动矢量(S37)。利用以该运动矢量 补偿后的(N + M)比特精度的局部图像信号，生成(N + M)比特精 度的预测图像信号(S38)。这里生成的(N + M)比特精度的预测图 像信号102与所选择的预测图像信号的运动矢量信息/预测模式信息 116 —起从预测图像生成器115输出。
熵编码器108对量化正交变换系数信息107、运动矢量信息/预测 模式信息116以及比特扩展信息1003进行熵编码(S39 )，由此生成 的编码数据117向未图示的传送系统或蓄积系统送出。
另外，要扩展的比特数M的编码方法与笫1实施方式相同。在本实施方式中，与第l实施方式同样，可以利用在补充语法中多路复 用的数据。
以下参照图10A说明本实施方式的图像解码装置的结构。该图 像解码装置具备熵解码器200、逆量化器109、逆正交变换器IIO、加 法器lll、环路滤波器113、帧存储器114、预测图像生成器115、像 素比特长缩小器(像素比特精度变换器)2001和比特长变换控制器(比 特精度变换控制器)2002。接收编码数据的熵解码器200的系数信息 输出经由逆量化器109、逆正交变换器IIO、加法器lll、环路滤波器 113与像素比特长缩小器2001连接。环路滤波器113的输出经由帧存 储器114与预测图像生成器115的一个输入连接。预测图像生成器115 的另一个输入从预测图像生成器115接收运动矢量/预测模式信息。预 测图像生成器115的输出与加法器111连接。熵解码器200的比特扩 展信息输出经由比特长变换控制器2002与像素比特长缩小器2001连 接。
参照图10B说明图像解码装置的动作。向图像解码装置输入利 用图9A的图像编码装置编码的编码数据117后(S41),在熵解码器 200中，编码数据117按照与熵编码相反的过程被解码(S")，得到 量化正交变换系数信息107、运动矢量/预测模式信息116和比特扩展 信息2004。
量化正交变换系数信息107通过逆量化器109和逆正交变换器 110依次接受与量化器106和正交变换器104的处理相反的处理，变 换成(N + M)比特精度的残差信号201 (S43)。运动矢量/预测模式 信息116被输入预测图像生成器115，根据存储在帧存储器114中的
(N + M )比特精度的比特扩展解码图像信号203，生成基于运动矢量 /预测模式信息116的(N + M )比特精度的预测图像信号102 ( S44 )。
(N + M)比特精度的残差信号201和(N + M)比特精度的预测图像 信号102由加法器111相加，生成解码图像信号(S45)。该解码图 像信号在环路滤波器113中根据需要进行滤波处理，作为(N + M) 比特精度的比特扩展解码图像信号203输出，并存储在帧存储器114中。从熵解码器200输出的比特扩展信息2004被输入到比特长变换 控制器2002后，从比特长变换控制器2002输出表示解码图像被扩展 几个比特的比特变换信息2003。
输入到像素比特长缩小器2001的比特扩展解码图像信号203根 据比特变换信息2003，例如根据公式(2 )或公式(2-1)、 (2-2)、 (2-3)等接受与第1实施方式同样的处理，将各像素的值缩小M比 特(S46)。像素比特长缩小器2001采用图8所示的结构，与第l实 施方式同样，可以进行利用标志来切换是否缩小各像素的比特长的控 制。
通过以上，从像素比特长缩小器2001输出与输入到图像编码装 置的输入图像相同的N比特精度的解码图像信号202 (S47)。
根据以上结构，预测图像信号以比输入图像信号大M比特的精 度生成，因此可以提高运动补偿的滤波、环路滤波、画面内预测等精 度，结果可以减小预测误差信号，从而可以提高编码效率。 (第3实施方式)
图11A中示出本发明第3实施方式的用于运动图像编码的图像 编码装置的结构。该图像编码装置是与第2实施方式所示的结构例(图 9)几乎同样的结构，但不同点在于，在帧存储器114的前级具有像 素比特长变换器1005,在帧存储器114的后级具有像素比特长变换器 (像素比特精度变换器)1006。
参照图11B说明该图像编码装置的动作。向该图像编码装置例 如以帧为单位输入运动图像信号作为图像信号100(SS1)。像素比特 长扩展器(像素比特精度变换器)1001通过进行与第2实施方式同样 的处理，对输入的N比特精度的图像信号100的各像素的值，进行扩 展成比N比特大M比特的(N + M)比特精度的处理(S52)。扩展 的比特数M由比特长变换控制器1002作为比特扩展信息1003导入 熵编码器108。像素比特长扩展器1001采用图2的结构，与第1实施 方式同样，可以进行通过利用标志来切换是否扩展各像素的比特长从 而控制像素比特长的处理。利用减法器101取得将比特长扩展为(N + M)比特精度的输入 图像信号100与以(N + M)比特精度生成的预测图像信号102的差 分，生成(N + M)比特精度的预测误差信号103 (S53)。所生成的 预测误差信号103由正交变换器104进行正交变换(例如离散余弦变 换(DCT))。在正交变换器104中得到正交变换系数信息105 (例 如DCT系数信息)。正交变换系数信息105由量化器106量化。即， 预测误差信号103被正交变换和量化(S54)。量化正交变换系数信 息107被导入熵编码器108和逆量化器109。
量化正交变换系数信息107通过逆量化器109和逆正交变换器 110依次接受与量化器106和正交变换器104的处理相反的处理，变 换成局部解码误差信号，利用加法器111与(N + M)比特精度的预 测图像信号102相加。由此，生成(N + M)比特精度的局部解码图 像信号112。即，量化正交变换系数信息107被局部编码(S55)。
(N + M)比特精度的局部解码图像信号112根据需要由环路滤 波器113进行了滤波处理后，输入到像素比特长变换器1005,将各像 素的值缩小变换成小L比特的值，或者将各像素的值扩大变换成大L 比特的值(S56)。例如，在(N + M)比特精度的局部解码图像信号 112的某像素的值为K的情况下，缩小了 L比特后的像素值K，如下 计算。
K' = (K+offset)》L
offset-(K〈(L一1)) …(3)
这里，要缩小的比特数L是满足(KLSM的整数。缩小了比特长 的结果，局部解码图像信号112的各像素的比特长为(N + M-L)比 特。这里的缩小变换方法只要是例如将offset设为0~ (K〈L)的任 意值等减小比特长的方法，则可以是任意的变换方法。
说明变换方法的其它做法。图11C中示出编码单位图像的像素 值的直方图(左侧)和比特精度变换后的直方图(右侧)。如图iic 所示，例如将扩展成12比特的局部解码图像112缩小为8比特长的 图像的情况下，对于扩展成12比特长的局部解码图像112，例如针对 宏块单位等任意的编码单位中的每一个，根据像素值的最大值mbmax和最小值mb一min算出动态范围D=(mb—max画mb—min)。如 果该动态范围D是以8比特表示的范围，即0~255,则该块被变换 成8比特，并输出到帧存储器114。此时，利用该块的像素值的最大 值mb一max和/或最小值mb_min决定的代表值也被输出到帧存储器 114。如果动态范围D是无法以8比特表现的值，则在对块进行向右 移位2比特的除法处理后，变换成8比特。此时，块与移位量Q一bit =2以及代表值一起输出到帧存储器114。在动态范围更大的情况下， 如图11C所示，8比特变换块与移位量Q—bit = 4以及代表值一起输 出到帧存储器114。
若要更详细地说明上述做法，则如图11C所示，例如针对宏块 单位等任意的编码单位中的每一个，求出局部解码图像信号112内的 像素值的最大值mb_max和最小值mb_min ，根据其动态范围 D-(mb一max-mb—min)，使用(3 - 1)式变更要缩小的比特数Q—bit。
这种情况下，像素比特长变换器1005例如采用图IID所示的结 构，首先，利用动态范围算出部10051求出局部解码图像信号112内 的^^素值的最大值mb—max和最小值mb—min，并求出其动态范围 D=(mb_max-mb—min)。
然后，在移位量/代表值算出部10052中，根据动态范围D，例 如使用(3-la)式算出移位量Q—bit。另外，例如将mb一min设定为 代表值。
<formula>formula see original document page 31</formula>
进而，在像素比特精度变换器10053中，在比特扩展解码图像信 号的某像素的值为K的情况下，缩小了 L比特(LX))后的像素值K， 例如如下计算，变换后的局部解码图像信号112将代表值mb—min、
移位量Q—bit (代表值/移位量10054)输出到帧存储器114。
<formula>formula see original document page 31</formula>
此时，例如如图11F所示，用存储参照图像的存储器U4a和存 储表示针对各参照图像的各编码单位(宏块单位)中的每一个如何变 换比特精度的信息的子存储器114b构成帧存储器114，在子存储器114b中例如保持代表值mb—min和移位量Q—bit。
另外，考虑在解码侧将以N + M比特精度得到的比特扩展解码 图像信号变换成N比特精度来得到解码图像信号时例如使用了 (2) 式的情况。此时，将使用(3-1)式变换的(N + M-L)比特精度的 局部解码图像信号存储在帧存储器中，按照与(3-1)式相反的过程从 帧存储器读出比特精度被扩展为N + M比特的局部解码图像信号后， 会算出与直接利用(2)式变换了将得到的N + M比特精度的局部解 码图像信号变换成N + M-L比特前的局部解码图像信号的情况不同 的值。考虑到这一点的变换式为以下的(3-2) - (3-6)式。
首先，在动态范围算出部10051中，例如针对宏块单位等任意编 码单位中的每一个，求出局部解码图像信号112内的像素值的最大值 mb_max 和最小值 mb—min ， 并求出其动态范围 D=(mb—max國mb—min)。
然后，在移位量/代表值算出部10052中，根据动态范围D，使 用(3-2)式算出要缩小的临时比特数Q—bit和以QJ)it进行移位运
算时使用的偏移值Offset。
mb_min = INT(mb—min》L)
D = mb—max-(mb一min《L) Q一bit = 1og2(D) — (N+M-L-l)
Offset = (l〈〈(Q_bit-l》 …(3 — 2)
然后，在Q一bit的值不是O或L的情况下，判定是否满足以下 的条件式(3-3)。
D +Offset 〉 (1<〈N+M-L+Q—bit) —1 —Offset)…(3 —3)
这里，在不满足(3-3)的不等式的情况下，如(3-4)式所示，
使Q_bit加1，重新进行偏移值Offset的再计算。
Q_bit = Q_bit+1
Offset = (K《Q-bit-l》 ".(3—4)
在QJbit的值为O或L的情况下，直接使用(3-2)式的QJbit 和Offset 。
最后，在像素比特精度变换器10053中，在比特扩展解码图像信号的某像素的值为K的情况下，缩小了 L比特(LX))后的像素值K， 例如如下计算，变换后的局部解码图像信号112将代表值mb_min、 移位量Q一bit (代表值/移位量10054 )输出到帧存储器。
Q—bit为0或L的情况下，
K' = (K — (minjnb L) + Offset)》Q_bit …(3—5)
Q—bit不是0或L的情况下，
K' = (K 一 (minjnb《L) + 2*Offset)》Q—bit …(3 — 6)
此时，与使用了 (3-l)式的情况同样，帧存储器114具有存储
表示针对各帧的各编码单位中的每一个如何变换比特精度的信息的
子存储器，在这里例如保持代表值mb一min和移位量Q一bit。
如上所述，使用(3-1)或(3-2) ~ (3-6)式，考虑到宏块 等编码单位中的每一个的各像素的动态范围，将各像素值缩小变换成 小L比特的值的情况下，与如(3)式那样简单地缩小变换成小L比 特的值的情况相比，可以将由于缩小时的移位运算而产生的舍入误差 抑制得较小，从而可以在保持更高精度的状态下在帧存储器中保存参 照图像信号。
在上述实施方式中，将代表值设为像素值的最小值mLmin，但 也可以是其它值，可以是由像素值的最大值mb—max和最小值 mb—min决定的值。
相反，在将各像素的值扩大变换成大(-L)比特的值的情况下， 例如，在比特扩展解码图像信号的某像素的值为K的情况下，扩展了
(-L)比特后的像素值K，例如如下计算。
K'=K〈< (一L) …(4)
这里，要扩大的比特数L是满足0< ( -L)的整数。扩大了比 特长的结果，局部解码图像信号112的各像素的比特长为(N + M-L) 比特。图12中示出像素比特长变换器1005的结构例。对于所输入的 N比特精度的图像信号100，由开关E3根据比特长扩展信息1003选 择是否扩展各像素的比特长。开关E3在进行扩展的情况下连接到ON 侧，不进行扩展的情况下连接到OFF侧。在使开关E3为ON的情况下，输入到像素比特长变换器1005的图像信号被输入到像素比特长 扩展/缩小变换器E03，进行像素比特长变换。在开关E3为OFF的情 况下，图像信号不进行像素比特长变换，而直接输出。这样，缩小或 扩大了比特长的局部解码图像信号112被存储在帧存储器114中 (S57 )。存储在帧存储器114中的(N + M- L)比特精度的局部解 码图像信号112在输入到预测图像生成器115之前，被导入像素比特 长变换器1006，在LX)的情况下，将各像素的比特长扩展变换成大L 比特的比特精度(S58)。例如，在(N + M-L)比特精度的局部解 码图像信号112的某像素的值为K的情况下，扩展了 L比特后的像
素值K，例如如下计算。
<formula>formula see original document page 34</formula>
另外，作为变换方法的另一做法，如图11C所示，例如针对宏 块等任意编码单位中的每一个，求出局部解码图像信号112内的像素 值的最大值mb—max和最小值mb—min ，才艮据其动态范围 D=(mb—max-mb—min)，使用(3-1 )式所示的式子变更了要缩小的比 特数Q一bit的情况下，像素比特精度变换器1006例如使用图11E所 示的结构，在移位量/代表值读出部10061中，从帧存储器114内的子 存储器114b中读出该编码单位的代表值mb_mm和移位量Q—bit(代 表值/移位量10054)，在像素比特精度变换部10062中，例如使用下 式计算将比特精度扩展了 L比特后的像素值K，。 K' = (K Q—bit) + mb—min …(5 — 1)
另外，作为变换方法的又一做法，在使用(3-2) ~ (3-6)式 所示的式子进行了变更的情况下，在移位量/代表值读出部10061中， 从帧存储器114内的子存储器中读出该编码单位的mb一min和Q—bit, 在像素比特精度变换部10062中，例如使用下式计算将比特精度扩展 了 L比特后的像素值K'。
在Q_bit为0或L的情况下，
<formula>formula see original document page 34</formula>
在Q—bit不是0或L的情况下，<formula>formula see original document page 35</formula>
另一方面，在L<0的情况下，将各像素的比特长缩小变换成小 (-L)比特的比特精度。例如，在比特扩展解码图像信号的某像素 的值为K的情况下，缩小了( -L)比特后的像素值K，例如如下计算。<formula>formula see original document page 35</formula>
这里的缩小变换方法只要是例如将offset设为0~ (1<<( - L)) 的任意值等减小比特长的方法，则可以是任意的变换方法。像素比特 长变换器1006采用与像素比特长变换器1005同样的图12所示的结 构，可以进行利用标志来切换是否变换各像素的比特长的处理的控 制。通过进行这样的变换，输出到预测图像生成器115的局部解码图 像信号112的比特精度成为(N + M)比特精度。
在帧存储器114的前后缩小/扩大的比特长L是满足LSM的整 数，并且在帧存储器114的前后缩小/扩大的比特数可以相等。在L-0的情况下，不进行存储到帧存储器114中时或者从帧存储器114输 出时的比特扩展/比特缩小。由像素比特长变换器1005和像素比特长 变换器1006进行的变换不限于前述的公式(3) ~ (6)，只要是以 指定的比特长进行扩大/缩小的变换，就可以进行任意的变换。该比特 数L也由比特长变换控制器1002作为比特扩展信息1003导入熵编码 器108。
预测图像生成器115根据将比特长扩展成(N + M)比特精度的 输入图像信号100以及(N + M)比特精度的局部解码图像信号112， 生成基于某预测模式信息的(N + M)比特精度的预测图像信号。此 时，针对帧内的每个块取得(N + M)比特精度的输入图像信号100 与由像素比特长变换器1005扩大为(N + M)比特精度的局部解码图 像信号112之间的匹配(例如块匹配)，检测出运动矢量(S59)。 利用以该运动矢量补偿后的(N + M)比特精度的局部图像信号，生 成(N + M)比特精度的预测图像信号(S60)。这里生成的(N + M) 比特精度的预测图像信号102与所选择的预测图像信号的运动矢量信息/预测模式信息116 —起从预测图像生成器115输出。
熵编码器108对量化正交变换系数信息107、运动矢量信息/预测 模式信息116以及比特扩展信息1003进行熵编码(S61 )，由此生成 的编码数据117向未图示的传送系统或蓄积系统送出。
以下说明要扩展的比特数M和L的编码方法。本实施方式中使 用的语法结构的例子与在第1实施方式中使用的图3相同。在本实施 方式中，可以将要扩展的比特数包含在序列参数集语法(404 )、图 片参数集语法(405)、片级语法(402 )以及宏块级语法(403)中 发送。以下说明各个语法。
图13的序列参数集语法内所示的ex_seq_bit_extension_flag是 表示是否进行比特扩展的标志，该标志为TRUE时，可以以序列为单 位切换是否进行比特扩展。而该标志为FALSE时，在序列内不进行 比特扩展。当exseqbit—extension—flag为TRUE时，还可以发送表 示进行几个比特扩展的ex—seq_shift_bits。
ex—seq_bit_extension—flag为TRUE时，还可以发送表示存储到 帧存储器114中时的比特精度的ex—framemem—bitdepth。在本实施 方式中，例如将N + M - L存储在ex_framemem—bitdepth中发送。
在本实施方式中，可以以任意的编码单位切换是否进行比特扩 展，或者切换要扩展的比特数。这种情况下，可以将要扩展的比特数 进一步包含在图片参数集语法(405)、片级语法(402)以及宏块级 语法(403 )中发送。
图14的图片参数集语法内所示的ex—pic_bit_extension—flag是表 示是否针对每个图片变更是否进行比特扩展的标志。该标志为TRUE 时，可以以图片为单位切换是否进行比特扩展。而该标志为FALSE 时，不能针对每个图片变更是否以图片为单位进行比特扩展。当 ex_pic_bk—extension—flag为TRUE时，还可以发送表示进行几个比 特扩展的ex_pic_shift_bits 这里，在由序列参数集语法内的 ex_seq—shift_bits指定了在序列级扩展的比特数的情况下，可以将 ex_pic_shift—bits作为要扩展的比特数优先，也可以将ex_seq_shift—bits作为要扩展的比特数优先，还可以将 ex_seq—shift_bits + ex_pic_shift—bits作为要扩展的比特数。使哪个优 先最好预先决定。
在图片参数集语法内可以存在ex—bit—extension_in_slice—flag 、 exbitextensionin—mb一flag这样的标志。这些标志分另'J是表示是否 存在变更是否在片级、宏块级进行比特扩展的标志的标志。
如图15所示，在片级语法内，ex—bit—extension—in—slice_flag为 TRUE时，发送ex—slice—shift_bits，可以以片为单位切换要扩展的比 特数来发送。这里，在已经由序列参数集语法和图片参数语法指定了 要扩展的比特数S的情况下，可以将S作为要扩展的比特数优先，也 可以将ex—slice—shiftjbits作为要扩展的比特数优先，还可以将S + ex—slice—shift_bits作为要扩展的比特数优先。使哪个优先最好预先决 定。另一方面，在ex—bit—extension—in—slice—flag为FALSE的情况下， 不发送ex—slice_shift—bits。
如图16所示，在宏块级语法内，ex—bit_extension—inmb—flag 为TRUE时，发送ex—mb_shift—bits,可以以宏块为单位切换要扩展 的比特数来发送。这里，在已经由序列参数集语法、图片参数语法和 片级语法指定了要扩展的比特数S的情况下，可以将S作为要扩展的 比特数优先，也可以将ex— mb —shiftj)its作为要扩展的比特数优先， 还可以将S + ex_ mb _shift_bits作为要扩展的比特数优先。使哪个优 先最好预先决定。另一方面，在ex—bitextensionin—mb_flag为 FALSE的情况下，不发送ex— mb _shift_bits。
如上所述，在以任意的编码单位切换是否进行比特扩展的情况 下，或者切换要扩展的比特数的情况下，将L规定成使得存储在帧存 储器114中的局部解码图像信号的比特精度成为序列参数集语法内所 示的ex—framemem—bitdepth。
在本实施方式中，与第1实施方式同样，可以利用在补充语法中 多路复用的数据。
以下参照图17A说明本实施方式的图像解码装置的结构。该图
37像解码装置是与第2实施方式所示的结构例(图10A)基本同样的结 构，不同点在于，在加法器111 (以及环路滤波器113)的后级具备 像素比特长变换器(像素比特精度变换器)2007来代替像素比特长缩 小器2001，帧存储器114不是加法器111 (以及环路滤波器113 )的 后级，而是与像素比特长变换器2007的后级连接，并且，在帧存储 器114的后级连接有像素比特长变换器2008。
参照图17B的流程图说明图像解码装置的动作。向图像解码装 置输入利用图11A的图像编码装置编码的编码数据117后(S71)， 在熵解码器200中，编码数据117按照与熵编码相反的过程被解码， 得到量化正交变换系数信息107、运动矢量/预测模式信息116和比特 扩展信息2004 (S72)。
量化正交变换系数信息107通过逆量化器109和逆正交变换器 110依次接受与量化器106和正交变换器104的处理相反的处理，变 换成(N + M )比特精度的残差信号201 ( S73 ) ( S74 )。
从熵解码器200输出的比特扩展信息2004被输入到比特长变换 控制器2002后，从比特长变换控制器2002输出表示解码图像被扩展 几个比特的比特数M和表示存储到帧存储器中时缩小的比特数L的 比特变换信息2003。
像素比特长变换器2008按照后述的过程，对于存储在帧存储器 114中的(N + M-L)比特精度的解码图像信号202，根据比特变换 信息2003，例如在LX)的情况下，通过实施与公式(5) (5-1) (5 -2 )等同等的处理，进行将像素比特长扩展变换L比特的处理(S75 ), 在L<0的情况下，通过实施与公式(6)等同等的处理，进行将像素 比特长缩小变换(-L)比特的处理，输出(N + M)比特精度的比特 扩展参照图像信号204 (S75)。另外，在实施与(5-1)或(5-2) 同样的处理的情况下，可以使像素比特长变换器2008的结构与图11D 的结构相同。另外，可以使帧存储器114例如与图11F的结构相同。
运动矢量/预测模式信息116被输入预测图像生成器115，根据上 述(N + M)比特精度的比特扩展参照图像信号204，生成基于运动矢量/预测模式信息116的(N + M)比特精度的预测图像信号102( S77)。 (N + M)比特精度的残差信号201和(N + M)比特精度的预测图像 信号102由加法器111相加。相加后的信号在环路滤波器113中根据 需要进行滤波处理，输出(N + M)比特精度的比特扩展解码图像信 号203 ( S78 )。
比特扩展解码图像信号203被输入像素比特长变换器2007，通 过根据比特变换信息2003对各像素的值实施例如与公式(2)等的第 1实施方式的图像解码装置中的像素比特长缩小器同等的处理，将像 素比特长缩小变换成小M比特的值(S79),得到与输入到图像编码 装置的输入图像相同的N比特精度的解码图像202 (S80)。
像素比特长变换器2007采用图12的结构，可以进行利用标志来 切换是否缩小各像素的比特长的控制。
在M-L的情况下，N比特精度的解码图像信号202直接存储在 帧存储器114中。在M#L且L>0的情况下，对于(N + M)比特精 度的比特扩展解码图像信号203，通过针对每个像素进行例如与公式 (3) (3-1) (3-2) ~ (3-6)同样的处理，生成将比特长缩小 了 L比特的(N + M-L)比特精度的解码图像，并存储在帧存储器 114中。相反，在L<0的情况下，通过对各像素进行与公式(4)相 同的处理，生成将比特长缩小了 ( -L)比特的(N + M-L)比特精 度的解码图像，并存储在帧存储器114中。另外，在实施与(3-1) 或(3-2) ~ (3-6)同样的处理的情况下，可以使像素比特长变换 器2007的结构与图11D的结构相同。
根据以上结构，预测图像信号以比输入图像信号大M比特的精 度生成，因此可以提高运动补偿的滤波或环路滤波、画面内预测等精 度，结果可以减小预测误差信号，因此可以提高编码效率。另外，与 第1、第2实施方式不同，在0<L^VI的情况下，能够以小于扩展了 比特长的输入图像信号或预测图像信号的比特长来存储在帧存储器 中存储的参照图像信号，从而可以在保持提高运动补偿的滤波或环路 滤波、画面内预测等精度的效果的情况下，削减帧存储器的使用量。根据以上结构，能够以任意的编码单位切换是否进行比特扩展或 者切换要扩展的比特数，可以针对任意的编码单位中的每一个选择编 码效率最好的扩展比特数来編码，因此可以进一步提高编码效率。
(第4实施方式)
参照图18A说明第4实施方式的用于运动图像编码的图像编码 装置的结构。该图像编码装置与第2实施方式所示的结构例(图9) 相比，不同点在于，不具备对输入图像扩大像素比特长的像素比特长 扩展器，而是在帧存储器114 (以及环路滤波器113)的前级具有像 素比特长扩展器(像素比特精度扩展变换器)1001，在预测图像生成 器115的后级具有像素比特长缩小器(像素比特精度缩小变换器) 1004。
参照图18B的流程图说明图像编码装置的动作。向该图像编码 装置例如以帧为单位输入各像素的精度例如为N比特精度的运动图 像信号作为输入图像信号100(S81)。利用减法器IOI取得输入图像 信号100与N比特精度的预测图像信号102的差分，生成N比特精 度的预测误差信号103 (S82)。关于N比特精度的预测图像信号102 的生成方法将后述。对于所生成的预测误差信号103，由正交变换器 104实施正交变换(例如离散余弦变换(DCT))，在正交变换器104 中得到正交变换系数信息105 (例如DCT系数信息)(S83)。正交 变换系数信息105由量化器106量化，量化正交变换系数信息107被 导入熵编码器108和逆量化器109。
量化正交变换系数信息107通过逆量化器109和逆正交变换器 110依次接受与量化器106和正交变换器104的处理相反的处理，变 换成局部解码误差信号。该局部解码误差信号利用加法器111与N比 特精度的预测图像信号102相加，生成N比特精度的局部解码图像信 号112 (S84)。
局部解码图像信号112根据需要由环路滤波器113进行了滤波处 理后，输入到像素比特长扩展器1001,将各像素的值扩展变换成大M 比特的值(S85)。例如，在比特扩展解码图像信号的某像素的值为K的情况下，缩小了 M比特后的像素值K，与第1实施方式的公式(l) 同样地计算。比特精度被扩大到(N + M)比特的局部解码图像信号 112存储在帧存储器114中(S86 )。存储在帧存储器114中的(N + M)比特精度的局部解码图像信号112被输入预测图像生成器115。 像素比特长扩展器1001采用图2的结构，与第1实施方式同样，可 以进行通过利用标志切换是否扩展各像素的比特长来控制比特长的 处理。
预测图像生成器115根据(N + M)比特精度的局部解码图像信 号112，生成基于某预测模式信息的(N + M)比特精度的预测图像信 号。此时，针对帧内的每个块取得将输入图像信号100的各像素扩展 到(N + M)比特精度的图像信号与扩大到(N + M)比特精度的局部 解码图像信号112之间的匹配(例如块匹配)，检测出运动矢量(S87 )。 利用以该运动矢量补偿后的(N + M)比特精度的局部图像信号，生 成(N + M)比特精度的扩展预测图像信号117 (S89)。这里生成的 (N + M)比特精度的扩展预测图像信号117与所选择的预测图像信 号的运动矢量信息/预测模式信息116 —起从预测图像生成器115输 出。
(N + M)比特精度的扩展预测图像信号117被输入像素比特长 缩小器1004,变换成各像素的比特长变小M比特的图像信号(S90)。 该变换例如通过与第1实施方式所示的公式(2)同样的处理来进行。 这里，要缩小的比特数M和在像素比特长扩展器1001中要扩大的比 特数M都是相同的值，由比特长变换控制器1002作为比特扩展信息 1003导入熵编码器108。像素比特长缩小器1004采用图8的结构， 可以与第1实施方式同样地进行通过利用标志来切换是否扩展各像素 的比特长来控制比特长的处理。
熵编码器108对量化正交变换系数信息107、运动矢量信息/预测 模式信息116以及比特扩展信息1003进行熵编码(S91)，由此生成 的编码数据117向未图示的传送系统或蓄积系统送出。
要扩展的比特数M的编码方法与第1实施方式相同。另外，在本实施方式中，与第l实施方式同样，可以利用在补偿语法中多路复 用的数据。
以下参照图19A说明本实施方式的图像解码装置的结构。该图 像解码装置与第2实施方式所示的结构(图IOA)相比，不同点在于， 在帧存储器114 (以及环路滤波器113)的前级具有像素比特长扩展 器2005，在预测图像生成器115的后级具有像素比特长缩小器(像素 比特精度变换器)2006。
参照图19B的流程图说明图像解码装置的动#。向图像解码装 置输入利用图18A的图像编码装置编码的编码数据117后(S101)， 在熵解码器200中，编码数据117按照与熵编码相反的过程被解码， 得到量化正交变换系数信息107、运动矢量/预测模式信息116和比特 扩展信息2004 (S102)。量化正交变换系数信息107通过逆量化器 109和逆正交变换器110依次接受与量化器106和正交变换器104的 处理相反的处理，变换成N比特精度的残差信号201 (S103)。从熵 解码器200输出的比特扩展信息2004被输入到比特长变换控制器 2002后，从比特长变换控制器2002输出表示解码图像被扩展几个比 特的比特变换信息2003 (S104)。
运动矢量/预测模式信息116被输入预测图像生成器115后，按 照后述的过程，根据存储在帧存储器114中的比特扩展解码图像信号 203，生成基于运动矢量/预测模式信息116的(N + M)比特精度的 扩展预测图像信号205 ( S105 )。
像素比特长缩小器2006根据比特变换信息2003，通过对(N + M)比特精度的扩展预测图像信号205实施例如与公式(2)等的第1 实施方式的图像解码装置中的像素比特长缩小变换器同等的处理，进 行将像素比特长缩小变换M比特的处理(S106)，输出N比特精度 的预测图像信号102。像素比特长缩小器2006采用图8的结构，与第 1实施方式同样，可以进行通过利用标志来切换是否扩展各像素的比 特长来控制比特长的处理。
N比特精度的残差信号201和N比特精度的预测图像信号102
4由加法器lll相加，生成缩小解码图像信号(S107)。缩小解码图像 信号被输入到像素比特长扩展器2005后，像素比特长扩展器2005根 据比特变换信息2003,通过实施例如与公式(1)等的第1实施方式 的图像编码装置中的像素比特长扩展器进行的处理同等的处理，进行 将像素比特长扩展M比特的处理(S108 )。从像素比特长扩展器2005 输出的信号在环路滤波器113中根据需要进行滤波处理，输出(N + M)比特精度的扩展解码图像信号203 (S109)，并存储在帧存储器 114中。像素比特长扩展器2005采用图2的结构，与第1实施方式同 样，可以进行通过利用标志切换是否扩展各像素的比特长来控制比特 长的处理。
(N + M )比特精度的比特扩展解码图像信号203被输入像素比 特长缩小器2001，通过根据比特变换信息2003对各像素的值实施例 如与公式(2)等的第1实施方式的图像解码装置中的像素比特长缩 小变换器同等的处理，得到与输入到图像编码装置的输入图像相同的 N比特精度的解码图像202 (S110) (S111)。
根据以上结构，预测图像信号以比输入图像信号大M比特的精 度生成，因此可以提高运动补偿的滤波或环路滤波、画面内预测等精 度。结果可以减小预测误差信号，因此可以提高编码效率。另外，与 第1~3实施方式不同，能够以对应于输入图像的比特精度的精度来 进行预测误差信号和残差信号的变换.量化的处理，从而可以在保持提 高运动补偿的滤波或环路滤波、画面内预测等精度的效果的情况下， 削减变换.量化的比特精度，减小运算规模。
(第5实施方式)
参照图20A说明第5实施方式的用于运动图像编码的图像编码 装置的结构。该图像编码装置与第2实施方式所示的结构例(图9) 相比，不同点在于，不具备对输入图像扩大像素比特长的像素比特长 扩展器，而是在预测图像生成器115的前级具有像素比特长扩展器(像 素比特精度扩展变换器)1001，在预测图像生成器115的后级具有像 素比特长缩小器(像素比特精度缩小变换器)1004。参照图20B的流程图说明图像编码装置的动作。向该图像编码 装置例如以帧为单位输入各像素的精度例如为N比特精度的运动图 像信号作为输入图像信号100 (S121)。利用减法器101取得输入图 像信号100与N比特精度的预测图像信号102的差分，生成N比特 精度的预测误差信号103 (S122)。关于N比特精度的预测图像信号 102的生成方法将后述。对于所生成的预测误差信号103，由正交变 换器104进行正交变换，例如实施离散余弦变换(DCT)，在正交变 换器104中得到正交变换系数信息105，例如DCT系数信息(S123)。 正交变换系数信息105由量化器106量化，量化正交变换系数信息107 被导入熵编码器108和逆量化器109。
量化正交变换系数信息107通过逆量化器109和逆正交变换器 110依次接受与量化器106和正交变换器104的处理相反的处理，变 换成局部解码误差信号。该局部解码误差信号利用加法器111与N比 特精度的预测图像信号102相加，生成N比特精度的局部解码图像信 号112 (S124)。
N比特精度的局部解码图像信号112根据需要由环路滤波器113 进行了滤波处理后，存储到帧存储器114中(S125)。存储在帧存储 器114中的N比特精度的局部解码图像信号112被输入到像素比特长 扩展器1001，将各像素的值扩展变换成大M比特的值(S126)。例 如，在比特扩展解码图像信号的某像素的值为K的情况下，缩小了 M 比特后的像素值K，与第1实施方式的公式(1)同样地计算。比特精 度被扩展到(N + M)比特的局部解码图像信号112被输入预测图像 生成器115。像素比特长扩展器1001采用图2的结构，与第1实施方 式同样，可以进行通过利用标志切换是否扩展各像素的比特长来控制 比特长的处理。
预测图像生成器115根据(N + M)比特精度的局部解码图像信 号112，生成基于某预测模式信息的(N + M)比特精度的预测图像信 号。此时，针对帧内的每个块取得将输入图像信号100的各像素扩展 到(N + M)比特精度的图像信号与扩大到(N + M)比特精度的局部解码图像信号112之间的匹配(例如块匹配)，检测出运动矢量(S127 )。 利用以该运动矢量补偿后的(N + M)比特精度的局部图像信号，生 成(N + M)比特精度的扩展预测图像信号117 (S128)。这里生成 的(N + M)比特精度的扩展预测图像信号117与所选择的预测图像 信号的运动矢量信息/预测模式信息116 —起从预测图像生成器115 输出。
扩展预测图像信号117被输入像素比特长缩小器1004，实施变 换使得各像素的比特长变小M比特(S129)。该变换例如通过实施 与第1实施方式的图像解码器所示的公式(2)同样的处理来进行。 这里，要缩小的比特数M和在像素比特长扩展器1001中要扩大的比 特数M都是相同的值，由比特长变换控制器1002作为比特扩展信息 1003导入熵编码器108。像素比特长缩小器1004釆用图8的结构， 可以与第i实施方式同样地进行通过利用标志来切换是否扩展各像素 的比特长来进行控制的处理。
熵编码器108对量化正交变换系数信息107、运动矢量信息/预测 ^t式信息116以及比特扩展信息1003进行熵编码(S130)，由此生 成的编码数据117向未图示的传送系统或蓄积系统送出。
要扩展的比特数M的编码方法与第1实施方式相同。另外，在 本实施方式中，与第l实施方式同样，可以利用在补偿语法中多路复 用的数据。
以下参照图21A说明本实施方式的图像解码装置的结构。该图 ^泉解码装置与第2实施方式所示的结构例(图10A)相比，不同点在 于，在加法器111 (以及环路滤波器113)的后级不具备图像比特缩 小器，而是从加法器111 (以及环路滤波器113)输出解码图像信号 202，并且在预测图像生成器115的前级具有像素比特长扩展器(像 素比特精度扩展变换器)2005,在预测图像生成器115的后级具有像 素比特长缩小器(像素比特精度缩小变换器)2001。
参照图21B的流程图说明图像解码装置的动作。向图像解码装 置输入利用图20A的图像编码装置编码的编码数据117后(S141)，在熵解码器200中，编码数据117按照与熵编码相反的过程被解码， 得到量化正交变换系数信息107、运动矢量/预测模式信息116和比特 扩展信息2004 (S142)。量化正交变换系数信息107通过逆量化器 109和逆正交变换器110依次接受与量化器106和正交变换器104的 处理相反的处理，变换成N比特精度的残差信号201 (S143)。从熵 解码器200输出的比特扩展信息2004被输入到比特长变换控制器 2002后，从比特长变换控制器2002输出表示解码图像被扩展几个比 特的比特变换信息2003 (S144)。
像素比特长扩展器2005按照后续的过程，根据比特变换信息 2003，对存储在帧存储器114中的N比特精度的解码图像信号202实 施例如与公式(1)等的第1实施方式的图像编码装置中的像素比特 长扩展器进行的处理同等的处理，由此进行将像素比特长扩展变换M 比特的处理，输出(N + M)比特精度的比特扩展参照图像信号204。 像素比特长扩展器2005采用图2的结构，与第1实施方式同样，可处理。
运动矢量/预测模式信息116被输入预测图像生成器115，根据上 述(N + M)比特精度的比特扩展参照图像信号204，生成基于运动矢 量/预测模式信息116的(N + M)比特精度的扩展预测图像信号205 (S145)。像素比特长缩小器2001根据比特变换信息2003，对(N + M)比特精度的扩展预测图像信号205实施例如与公式(2)等的 第1实施方式的图像解码装置中的像素比特缩小变换器同等的处理， 由此进行将像素比特长缩小变换M比特的处理，输出N比特精度的 预测图像信号102 ( S146 )。像素比特长缩小器2001采用图8的结构， 与第1实施方式同样，可以进行通过利用标志来切换是否扩展各像素 的比特长来进行控制的处理。
N比特精度的残差信号201和N比特精度的预测图像信号102 由加法器111相加。相加后的信号在环路滤波器113中根据需要进行 滤波处理，输出N比特精度的解码图像信号202 (S147)，并存储在帧存储器114中。这里得到的解码图像信号202成为与输入到图像编 码装置的输入图像相同的N比特精度。
根据以上结构，预测图像信号以比输入图像信号大M比特的精 度生成，因此可以提高运动补偿的滤波或环路滤波、画面内预测等精 度。结果可以减小预测误差信号，因此可以提高编码效率。另外，能 够以小于扩展了比特长的输入图像信号或预测图像信号的比特长来 存储在帧存储器中存储的参照图像信号。因此，可以在保持提高运动 补偿的滤波或环路滤波、画面内预测等精度的效果的情况下，削减帧 存储器的使用量。并且，能够以对应于输入图像的比特精度的精度来 进行预测误差信号和残差信号的变换.量化的处理。由此，可以在保持 提高运动补偿的滤波或环路滤波、画面内预测等精度的效果的情况 下，削减变换.量化的比特精度，减小运算规模。
在第2~第5实施方式中，可以使预测图像生成器115为图22 所示的结构。根据图22所示的编码器侧的预测图像生成器115,帧内 预测器B101根据在帧存储器114内的帧内已经编码的区域的局部解 码图像信号112，生成基于帧内预测的预测图像信号。另一方面，帧 间预测器B103根据由运动矢量检测器B102检测的运动矢量，对帧存 储器114内的局部解码图像信号112实施运动补偿。自适应滤波信息 生成部B104生成基于使用根据输入图像信号101、局部解码图像信 号112和运动矢量生成的自适应滤波信息的帧间预测的预测图像信号 102。
帧内预测器B101具有M个(M为多个)帧内预测模式，帧间 预测器B103具有N个(N为多个)帧间预测模式。模式判定器B105 与帧间预测器B103和帧内预测器B101的输出连接。模式判定器B105 输出基于从N个帧间预测模式中选择的一个预测模式的预测图像信 号，或者基于从M个帧内预测模式中选择的一个预测模式的预测图 像信号102。
运动矢量/预测模式信息/自适应滤波信息116,即从运动矢量检 测器B102输出的运动矢量、表示由模式判定器选择的预测模式的预测模式信息和自适应滤波信息116被送到熵编码器117,包含在编码 数据117中被发送到解码侧。仅在选择了帧间预测模式的情况下，运 动矢量和自适应滤波信息从运动矢量检测器B102输出。
参照图23说明解码器侧的预测图像生成器115。根据该预测图 像生成器115，切换器B201根据预测模式信息116选择预测器。在 帧内预测器B202被选择的情况下，根据在帧存储器114内的帧内已 经编码的区域的解码图像信号203生成基于帧内预测的预测图像信号 102。而在帧间预测器B203被选择的情况下，根据运动矢量对帧存储 器114内的解码图像信号203实施运动补偿，生成基于使用自适应滤 波信息116的帧间预测的预测图像信号102。
图24示出帧间预测器B103的结构例。帧间预测器B103根据运 动矢量、局部解码图像信号和自适应滤波系数信息，生成帧间预测图 像信号102。整数像素权重/偏移校正部B301进行用于进行整数像素 值的所谓加权预测的处理。作为具体例，按照以下的公式(7)生成 整数像素的预测图像信号102。
<formula>formula see original document page 48</formula>这里，W为权重系数，L为移位系数，O为偏移系数，包舍在 自适应滤波系数信息中。对像素值X进行基于公式(7)的处理，变 换成Y的值，由此可以进行亮度的校正或颜色的校正。
公式(8)是进行双向预测的情况下的权重/偏移处理的例子。
<formula>formula see original document page 48</formula>(8)
这里，对像素值&的权重系数为Wl5偏移系数为On对像素 值乂2的权重系数为\￥2，偏移系数为O" L为移位系数，包含在自适 应滤波系数信息中。对象素值X^ X2进行公式B2的处理，变换成Y 的值，由此可以进行亮度的校正或颜色的校正。
在不必进行权重/偏移校正处理的情况下，利用自适应滤波信息 116切换开关B301，生成小数点像素自适应内插图像。
在本发明中，将编码/解码处理的比特长设定成比输入图像信号 的像素比特长要长，因此可以确保权重/偏移校正处理的计算精度，可以进行精度更高的权重/偏移校正。
在运动矢量示出了小数点像素位置的情况下，小数像素自适应内
插图像生成部B303使用自适应滤波信息中的内插滤波系数，根据整 数像素值生成小数点像素位置的内插像素值，生成预测图像信号102。 关于该处理，在本发明中也将编码/解码处理的比特长设定成比输入图 像信号的像素比特长要长，因此可以确保内插滤波处理的计算精度， 可以得到更好的小数点像素值。
图25示出帧间预测器B103的另一结构例。同样，该帧间预测 器根据运动矢量、局部解码图像信号和自适应滤波系数信息，生成帧 间预测图像信号102。在运动矢量示出了小数点像素位置的情况下， 小数像素自适应内插图像生成部B401使用自适应滤波信息中的内插 滤波系数，根据整数像素值生成小数点像素位置的内插像素值，生成 预测图像信号102。
在本实施方式中，将编码/解码处理的比特长设定成比输入图像 信号的像素比特长要长，因此可以确保内插滤波处理的计算精度，可 以得到更好的小数点像素值。
权重/偏移校正部B403进行用于进行预测图像信号的像素值的 所谓加权预测的处理。作为具体例，按照上述的公式(7)或公式(8) 生成预测图像信号102。
在本实施方式中，将编码/解码处理的比特长设定成比输入图像 信号的像素比特长要长，因此可以确保权重/偏移校正处理的计算精 度，可以进行精度更高的权重/偏移校正。
图26示出帧间预测器的又一结构例。该帧间预测器根据运动矢 量、再生图像信号和自适应滤波系数信息，生成帧间预测图像信号。 由此，在运动矢量示出了小数点像素位置的情况下，开关B501与小 数像素自适应内插/偏移校正图像生成部B502连接，再生图像信号由 小数像素自适应内插/偏移校正图像生成部B502处理。在示出了整数 像素的情况下，开关B501与整数像素权重/偏移校正图像生成部B503 连接，再生图像信号由整数像素权重/偏移校正图像生成部B503处理。在运动矢量示出了小数点像素位置的情况下，小数像素自适应内
插/偏移校正图像生成部B502使用自适应滤波信息中的内插滤波系数 和偏移校正系数，根据整数像素值生成小数点像素位置的内插像素 值，生成预测图像信号。作为具体例，在下述进行单向预测的情况下， 使用公式(9)，在进行双向预测的情况下，使用公式(10)。 [式1]
<formula>formula see original document page 50</formula> (9)
这里，对再生图像信号Xi，j的Wi,j是内插滤波系数，o是偏移 系数，Y是预测图像信号。 [式2
<formula>formula see original document page 50</formula>
这里，对再生图像信号X^i，j的W^i，j是内插滤波系数，0(())是 偏移系数，对再生图像信号X(1)i，j的W(1)i，j是内插滤波系数，0(1)是 偏移系数，Y是预测图像信号。
整数像素权重/偏移校正部B503进行用于进行预测图像信号的 像素值的所谓加权预测的处理。作为具体例，按照上述的公式(7) 或公式(8)生成预测图像信号。此时的偏移校正系数使用输入像素 比特长以上的精度的系数。
在本实施方式中，将编码/解码处理的运算比特长设定成比输入 图像信号的像素比特长要长，因此可以确保内插滤波处理的计算精 度，可以得到更好的预测像素值。
在本实施方式中，将编码/解码处理的比特长设定成比输入图像 信号的像素比特长要长，因此可以确保权重/偏移校正处理的计算精 度，可以进行精度更高的权重/偏移校正。 (自适应环路滤波器)
在第2到第5实施方式中，可以使环路滤波器113为图27所示 的结构。
图27示出编码器侧的环路滤波器113的结构。滤波系数决定部C101将输入图像信号101和局部解码图像信号112作为输入信号， 在对局部解码图像信号112实施滤波处理时，例如算出与输入图像信 号101的最小平方误差最小的滤波系数，将算出的滤波系数输出到滤 波处理部C102,并且作为滤波系数信息C103输出到熵编码部108。 这里的滤波系数决定方法不限于该例，例如也可以预先准备去块滤波 器(deblocking filter)和去振铃滤波器(deringing filter)等多个滤 波器，对它们自适应地进行切换，将所选择的滤波器作为滤波系数信 息C103输出，或者可以进行自适应地判定是否应用各滤波器等的处 理，可以应用各种方式。要输入的输入图像信号101根据各实施方式 使用与输入到环路滤波器的局部图像解码信号112相同的像素比特长 的信号。
滤波处理部C102使用从滤波系数决定部C101输入的滤波系数 对局部解码图像信号的各像素实施了滤波处理后，向帧存储器114等 输出。
输出到熵编码部108的滤波系数信息103由熵编码部108进行熵 编码，包含在编码数椐117中发送。
图28示出解码侧的环路滤波器113的结构例。根据从熵解码部 200输出的滤波系数信息C103，在滤波处理部C102中对解码图像信 号的各像素实施滤波处理。进行了滤波处理的解码图像信号根据各个 实施方式，或者输出到帧存储器114或像素比特长缩小器，或者作为 解码图像信号原样输出。
根据以上结构，由于将编码/解码处理的比特长设定成比输入图 像信号的像素比特长要长，因此可以确保在环路滤波器113内进行的 滤波处理的计算精度，可以进行精度更高的环路滤波处理。 (包括前置滤波器的结构)
在第1到第3实施方式中，可以使变换输入图像信号101的像素 比特长的像素比特长扩展器1001为图29所示的结构。在该结构中， 输入到像素比特长扩展器1001的输入图像信号按照与第1实施方式 同样的过程进行了将各像素的比特长扩展成比N比特大M比特的(N+ M)比特精度的处理后，被导入滤波处理部7000，对各像素进行滤 波处理。这里进行的滤波处理例如使用使帧内的邻接像素乘以滤波系 数后相加的空间滤波器。作为空间滤波器，图30中示出例如使用了 Ipsilon滤波器的滤波处理部7000。
根据该滤波处理部7000，若将输入像素值设为P[tl、将输出像 素值设为Q[t，则t表示像素的位置。在对t位置的像素施加滤波器 的情况下，向加法器A01输入输入像素值P[t和蓄积在临时存储器 A04中的其前一个的输出像素值Qt-1，求出差分d。利用该差分d 来查查找表A02，决定F(d)。将该值F (d)输入加法器A03，从 输入像素值Ptl中减去。若用公式表示该动作则如下。 Q〔t] = P[t] - F(P[t]- Q[t-l]) (11)
函数F由式(12)表示，(int)是向O方向的整数化处理。
F(d)=(int)(d/(dXd/(uXu)+l. 0) (12)
d= P[t] - Q[t-l] (13)
查找表A02的内容可以将利用函数F计算的值预先作为表存储。 例如，如果像素值为n比特，则d的值为-2" + 1~ +2n-l，查找表准 备2n + 1-l个排列即可。这里，u是滤波参数，u越大就越强地施加滤 波。该滤波运算量在1个像素的滤波处理中仅为2次加法运算。
图31是使用了图30的滤波器的滤波处理部7000的具体的流程 图。该滤波处理部7000从帧的4个方向进行滤波处理。首先，进行 帧的从右向左的后置滤波处理(S101)。然后，进行相反方向的从左 向右的后置滤波处理(S102)。同样，下次进行从上到下的后置滤波 处理(S103)，然后进行相反方向的从下到上的后置滤波处理。针对 YCbCr各自的信号进行该处理。这样，通过从相互相反的方向进行滤 波处理，能够消除作为循环滤波的缺点的相位偏移。
另外，作为滤波处理，也可以利用对多个帧的对应像素乘以滤波 系数后相加的时间滤波。另外，也可以实施伴随运动补偿的时间滤波。 伴随运动补偿的时间滤波例如使用记载在特愿2006 - 36206等中的方 法。
本结构中的滤波处理不限于这里所述的滤波处理，只要是滤波处理，可以进行任意的处理。另外，对于第4和第5实施方式，输入图 像信号101在不变换像素比特长的情况下进行编码，但也可以在对输 入图像信号101直接实施这里所述的前置滤波处理后进行编码。
(包括后置滤波器的结构) 在第1到第5实施方式中，可以使像素比特长缩小器2001和2007 为图32所示的结构。在该结构中，输入到像素比特长缩小器2001和 2007的比特扩展解码图像信号2003被输入滤波处理部7001,在对各 像素进行了滤波处理后，按照与第1实施方式同样的过程进行将各像 素的比特长缩小成比(N + M)比特小M比特的N比特精度的处理后， 作为N比特的解码图像信号输出。这里进行的滤波处理例如可以使用 使帧内的邻接像素乘以滤波系数后相加的空间滤波器，也可以使用使 多个帧的对应像素乘以滤波系数后相加的时间滤波器。
(可逆滤波器的结构)
在本结构中，可以使上述的像素比特长扩展器1001与进行滤波 处理的结构相组合，由像素比特长缩小器2001内的滤波处理部进行 像素比特长扩展器1001内的滤波处理部7000进行滤波处理的逆滤波 处理。例如，在滤波处理部7000中，作为输入像素值，在将2帧间 对应的2点的像素值分别设为x、 y，将对应的输出像素值设为a、 b 的情况下，实施公式(14)所示的处理。
a = (3x+y+2)》2
b = (x+3y+2)〉〉2 (14)
公式(14 )的处理进行基于2比特的右移的除法处理，但例如在 像素比特长扩展器1001中进行基于2比特左移的像素比特扩展的情 况下，在公式(14)所示的滤波处理中不产生舍入误差，从而不会丢 失输入图像的信息。
另一方面，在解码侧的滤波处理部7000中，作为输入像素，在 将解码图像信号的2帧间对应的2点的像素值设为a，、 b，，将对应的
输出像素值设为x，、 y，的情况下，实施公式(15)所示的处理。
x' =(3a'-b' +4)〉>3
y' = (3b'-a''+4)〉〉3 (15)公式(15)的处理进行基于3比特的右移的除法处理，但例如在 像素比特长扩展器1001中进行基于2比特左移的像素比特扩展的情 况下，与公式(14)所示的滤波处理同样，不产生舍入误差。即，如 果假定通过编码和解码处理产生的量化误差为0，则基于公式(14) 和公式(15)的滤波和逆滤波成为可逆滤波。公式(14)进行使2帧 间的对应2点的像素值分别接近的处理，因此运动补偿更容易符合预 测，从而预测残差变小。因此可以削减代码量。并且，通过进行像素 比特扩展，只要除去量化误差，就可以在解码侧进行返回到原来的输 入图像的滤波处理，因此可以提高编码效率。
在滤波处理部7000和7001中使用的滤波器不限定于这里所迷的 例子，可以使用任何滤波器。当然，在像素比特长扩展器1001中， 通过使用对应于要扩展的比特数M的可逆滤波器，可以进一步提高 预测等的精度。另外，在这里所述的例子中，将2帧间对应的2点作 为滤波处理的对象，但不限定于该例，例如也可以使用2帧以上的帧 的像素。另外，也可以将1帧内的相邻的2点或2点以上的多个点的 像素作为滤波处理的对象。而且，在交错(interlace)图像中，可以 将顶场(top field)和底场(bottom field)的对应2点的# 素值作为 滤波处理的对象等，可以使用各种形态的滤波处理。
可以将在滤波处理部7000和7001中使用的可逆滤波器的系数输 出到熵编码部108,并包含在编码数据117中。这样，可以针对每帧 选择提高预测等的精度的效果高的滤波系数来进行编码。 (第6实施方式)
参照图33A说明第6实施方式的用于运动图像编码的图像编码 装置的结构。
该图像编码装置是与第2实施方式所示的结构例(图9)几乎同 样的结构，但不同点在于，在像素比特长扩展器1001的后级具有水 印信息埋入器3000。
参照图33B的流程图说明图像编码装置的动作。向该图像编码 装置例如以帧为单位输入运动图像信号作为图像信号100 (S151)。像素比特长扩展器(像素比特精度变换器)1001通过进行与第2实施 方式同样的处理，对输入的N比特精度的图像信号100的各像素的值， 进行扩展成比N比特大M比特的(N + M )比特精度的处理(S152 )。 扩展的比特数M由比特长变换控制器(比特精度变换控制器)1002 作为比特扩展信息1003导入熵编码器108。
比特长被扩展的输入图像信号100被输入到水印数据埋入器 3000后，将根据预先设定的参数生成的数据串埋入到输入图像信号 100的各像素的例如下位比特中(S153)。这里，所生成的数据串具 有作为扩展的比特长的M比特以下的字长。
埋入了数据串的输入图像100被导入减法器101后，利用减法器 101求出将比特长扩展为(N + M)比特精度的输入图像信号100与以 (N + M)比特精度生成的预测图像信号102的差分。由此生成(N + M)比特精度的预测误差信号103 (S154)。对于所生成的预测误 差信号103，由正交变换器104实施正交变换(例如离散余弦变换 (DCT)),在正交变换器104中得到正交变换系数信息105 (例如 DCT系数信息)(S155 )。正交变换系数信息105由量化器106量化， 量化正交变换系数信息107被导入熵编码器108和逆量化器109。
量化正交变换系数信息107通过逆量化器109和逆正交变换器 110依次接受与量化器106和正交变换器104的处理相反的处理，生 成与预测误差信号同样的信号，即局部解码误差信号。该局部解码误 差信号利用加法器111与(N + M)比特精度的预测图像信号102相 加，由此生成(N + M)比特精度的局部解码图像信号112 (S156)。 (N + M)比特精度的局部解码图像信号112根据需要由环路滤波器 113进行了滤波处理后，存储在帧存储器114中。存储在帧存储器114 中的局部解码图像信号112被输入到预测图像生成器115。
预测图像生成器115根据将比特长扩展成(N + M)比特精度的 输入图像信号100以及(N + M)比特精度的局部解码图像信号112， 生成基于某预测模式信息的(N + M)比特精度的预测图像信号。此 时，针对帧内的每个块取得(N + M)比特精度的输入图像信号100与由像素比特长变换器1005扩大为(N + M)比特精度的局部解码图 像信号112之间的匹配(例如块匹配)，检测出运动矢量(S157)。 利用以该运动矢量补偿后的(N + M)比特精度的局部图像信号，生 成(N + M)比特精度的预测图像信号(S157)。这里生成的(N + M) 比特精度的预测图像信号102与所选择的预测图像信号的运动矢量信 息/预测模式信息116 —起从预测图像生成器115输出。
熵编码器108对量化正交变换系数信息107、运动矢量信息/预测 模式信息116以及比特扩展信息1003进行熵编码(S159)，由此生 成的编码数据117向未图示的传送系统或蓄积系统送出。
在本实施方式中，与第1实施方式同样，可以利用在补充语法中 多路复用的数据。
以下参照图34A说明本实施方式的图像解码装置的结构。该图 像解码装置是与第2实施方式所示的结构例(图IO)基本同样的结构， 不同点在于，在环路滤波器113和像素比特长缩小器2001 (像素比特 精度变换器)之间连接有水印检测器3002。
参照图34B的流程图说明图像解码装置的动作。向图像解码装 置输入利用图11A的图像编码装置编码的编码数据117后(S161)， 在熵解码器200中，编码数据117按照与熵编码相反的过程被解码， 得到量化正交变换系数信息107、运动矢量/预测模式信息116和比特 扩展信息2004 (S162)。
量化正交变换系数信息107通过逆量化器109和逆正交变换器 110依次接受与量化器106和正交变换器104的处理相反的处理，变 换成(N + M)比特精度的残差信号201 (S163)。从熵解码器200 输出的比特扩展信息2004被输入到比特长变换控制器2002后，输出 示出表示解码图像被扩展几个比特的比特数M的比特变换信息2003。
运动矢量/预测模式信息116被输入预测图像生成器115，根据上 述(N + M)比特精度的比特扩展参照图像信号204，生成基于运动矢 量/预测模式信息116的(N + M )比特精度的预测图像信号102( S164 )。 (N + M)比特精度的残差信号201和(N + M)比特精度的预测图像信号102由加法器111相加。相加后的信号在环路滤波器113中根据 需要进行滤波处理，输出(N + M)比特精度的比特扩展解码图像信 号203 ( S165 )。
比特扩展解码图像信号203被存储到帧存储器114中，并且被输 入到水印检测部3002。在水印检测部3002中，判定比特扩展解码图 像203的各像素的例如下位比特是否是被埋入的水印数据，输出表示 是否包含水印数据的水印检测信息3003 ( S166 )。是否是水印数据的 判定例如利用如下等的方法来进行计算预先已知的水印图案与比特 扩展解码图像203的例如下位M个比特的相关关系，在其值在一定 的阈值以上的情况下，判定是水印数据。
比特扩展解码图像信号203被输入像素比特长变换器2007，通 过根据比特变换信息2003对各像素的值实施例如与公式(2)等的第 1实施方式的图像解码装置中的像素比特长缩小器同等的处理，将像 素比特长缩小变换成小M比特的值(S167)，得到与输入到图像编 码装置的输入图像相同的N比特精度的解码图像202 (S168)。
根据以上结构，预测图像信号以比输入图像信号大M比特的精 度生成，因此可以提高运动补偿的滤波或环路滤波、画面内预测等精 度。结果可以减小预测误差信号，因此可以提高编码效率。另外，通 过利用被扩展的下位比特来埋入水印信息，可以在不改变输入图像信 号的情况下埋入水印信息。
在第2~6实施方式中，将进行扩展或缩小的比特数M作为比特
扩展信息进行熵编码并包含在编码数据中，但在图像编码装置和图像 解码装置中将比特长扩展或缩小预先决定的数目的情况下，不必将比 特数M包含在编码数据中。另外，在将比特长扩展或缩小预先决定 的数目的情况下，可以在编码数据中仅包含表示是否进行扩展或缩小 的标志。这种情况下，当标志为TRUE时，在第2~第6实施方式的 像素比特长扩展器1001或像素比特长缩小器2001或像素比特长变换 器2007中，将开关连接到ON侧。而在标志为FALSE时，将开关连 接到OFF侧。在第2、第3实施方式中，对于在将局部解码图像信号存储到帧 存储器中时缩小的比特数L，在与M为相同值的情况下，不必在编码 数据中包含L。另外，不管M、 L是相同值还是不同值，在是预先决 定的数目的情况下，都不必在编码数据中包含比特数M、 L。
对输入图像或局部解码图像信号以及解码图像的像素比特长进 行扩展与提高编码.解码处理过程的整数运算的运算精度是等同的。可 以使处理过程中的任意部位处的运算精度可变，并在编码数据中包含 表示它们的运算精度的标志或信息。例如，組合第2~第5实施方式， 在编码数据中包含表示是否在编码.解码处理过程中扩展存储在帧存 储器中的像素比特精度的标志，以及表示是否扩展输入到正交变换/ 量化的预测残差的像素比特长、即是否扩展正交变换/量化的运算精度 的标志。可以对应于这些标志的ON/OFF来切换是否在编码装置和解 码装置中扩展存储在帧存储器中的像素比特精度、是否扩展输入到正 交变换/量化的预测残差的像素比特长。而且，在这些标志为ON的情 况下，可以在编码数据中包含表示扩展/或缩小几个比特的数据。另外， 表示是否扩展这些编码.解码处理的一个过程的运算精度的标志或表 示要扩展的比特数的数据不是仅将这里所示的帧存储器或正交变 换.量化为对象，例如可以追加针对环路滤波器的标志或表示扩展比特 数的数据。只要处理是编码.解码处理过程的一部分，就可以将该处理 或多个处理集中为一个，对于每一个设定表示是否扩展运算精度的标 志或表示扩展比特数的数据，并包含在编码数据中。 (第7实施方式)
参照图35A说明第7实施方式的图像编码装置的结构。该实施 方式基本上与图11的实施方式具有同样的结构，但与图11的实施方 式的不同点在于，在预测图像生成部115与减法器101之间设置像素 比特长缩小器(像素比特精度缩小变换器)1004，在加法器lll与环 路滤波器112之间设置像素比特长扩展器(像素比特精度扩展变换器) 1007。
参照图35B的流程图说明图像编码装置的动作。向该图像编码装置例如以帧为单位输入运动图像信号作为图像信号100 (S171)。 像素比特长扩展器1001采用图2的结构，根据基于比特变换信息1010 中包含的后述的语法信息的控制标志F1001,判定是否将输入的N比 特精度的图像信号100的各像素的值扩展成比N比特大M比特的(N + M)比特精度(S172)。这里，在控制标志F1001为ON的情况下， 将像素比特长扩展器1001内的开关EO设定为ON，通过与第1实施 方式中的像素比特长变换器1001进行的处理同样的处理，扩展局部 解码图像信号112的各像素的比特长(S173)。例如，在输入图像信 号的某像素的值为K的情况下，扩展了 M比特后的像素值K，例如通 过公式(1)或公式(1-1) 、 (1-2)、 (1-3)等的处理来计算。
在控制标志F1001为OFF的情况下，将开关E0连接到OFF侧， 不进行扩展各像素的比特长的处理。要扩展的比特数M等变换信息 由比特长变换控制器1002作为比特扩展信息1003导入熵编码器108。
利用减法器101取得输入图像信号100与预测图像信号102的差 分，生成预测误差信号103 (S174)。对于所生成预测误差信号103， 由正交变换器104实施正交变换(例如离散余弦变换(DCT))，在 正交变换器104中得到正交变换系数信息105 (例如DCT系数信息) (S175)。正交变换系数信息105由量化器106量化，量化正交变换 系数信息107被导入熵编码器108和逆量化器109。
量化正交变换系数信息107通过逆量化器109和逆正交变换器 110依次接受与量化器106和正交变换器104的处理相反的处理，变 换成与预测误差信息同样的信号，即局部解码误差信号。该局部解码 误差信号利用加法器lll与预测图像信号102相加，生成局部解码图 像信号112 (S176)。局部解码图像信号112被输入像素比特长扩展 器1007，根据基于比特变换信息1010中包含的后述的语法信息的控 制标志F1007，判定是否扩展局部解码图像信号112的各像素的比特 长(S177)。在控制标志F1007为ON的情况下，将像素比特长扩展 器1007内的开关E0设定为ON，通过与第4实施方式中的像素比特 长变换器1007进行的处理同样的处理，扩展局部解码图像信号112的各像素的比特长(S178)。在控制标志F1007为OFF的情况下， 不进行扩展像素的比特长的处理。
从像素比特长扩展器1007输出的局部解码图像信号112根据需 要由环路滤波器113进行了滤波处理后，输入到像素比特长变换器 1005。像素比特长变换器1005根据基于比特变换信息1010中包含的 后述的语法信息的控制标志F1005，判定是否扩展局部解码图像信号 112的各像素的比特长(S179)。这里，在控制标志F1005为ON的 情况下，将像素比特长扩展器1005内的开关E3设定为ON，通过与 第3实施方式中的像素比特长变换器1005进行的处理同样的处理， 扩展局部解码图像信号112的各像素的比特长(S180)。在控制标志 F1005为OFF的情况下，不进行扩展像素的比特长的处理。从像素比 特长变换器1005输出的局部图像信号112存储在帧存储器114中 (S181)。存储在帧存储器114中的局部图像信号进而被输入到像素 比特长变换器1006。像素比特长变换器1006根据基于比特变换信息 1010中包含的后述的语法信息的控制标志F1006，判定是否变换局部 解码图像信号112的各像素的比特长(S182)。这里，在控制标志 F1006为ON的情况下，将像素比特长扩展器1006内的开关E3设定 为ON，通过与第3实施方式中的像素比特长变换器1006进行的处理 同样的处理，扩展局部解码图像信号112的各像素的比特长(S183)。 在控制标志F1006为OFF的情况下，不进行变换像素的比特长的处 理。从像素比特长变换器1006输出的局部解码图像信号112被输入 到预测图像生成器115。
预测图像生成器115根据输入图像信号100以及存储在帧存储器 114中的局部解码图像信号112，生成基于某预测模式信息的预测图 像信号(S184)。此时，来自加法器111的局部解码图像信号112被 临时蓄积在帧存储器114中，针对帧内的每个块取得输入图像信号100 与蓄积在帧存储器114内的局部解码图像信号112之间的匹配(例如 块匹配)，检测出运动矢量，利用以该运动矢量补偿后的局部图像信 号，生成预测图像信号。这里生成的预测图像信号102与所选择的预测图像信号的运动矢量信息/预测模式信息116 —起从预测图像生成 器115输出。
从预测图像生成器115输出的预测图像信号102被输入到像素比 特长缩小器1004。像素比特长缩小器1004根据基于比特变换信息 1010中包含的后述的语法信息的控制标志F1004，判定是否变换预测 图像信号102的各像素的比特长(S185)。在控制标志F1004为ON 的情况下，将像素比特长缩小器1004内的开关E2设定为ON，通过 与第4实施方式同样的处理，缩小预测图像信号102的各像素的比特 长(S186)。在控制标志F1004为OFF的情况下，不进行变换像素 的比特长的处理。
熵编码器108对量化正交变换系数信息107、运动矢量信息/预测 模式信息116以及比特扩展信息1003进行熵编码(S187)，由此生 成的编码数据117向未图示的传送系统或蓄积系统送出。
以下说明控制是否进行比特长的扩展.缩小.变换的控制标志的编 码方法。
在本实施方式中，可以将控制是否进行比特长的扩展'缩小'变换 的控制标志或要扩展的比特数据包含在序列参数集语法(404)中来 发送。以下说明各个语法。
图36的序列参数集语法内所示的ex—seq—all_bit—extension_flag 是表示是否进行比特扩展的标志，该标志为TRUE时，表示在编码和 解码内部的所有数据路径中，使用各像素的比特长被扩展的数据来进 行编码和解码。该标志为FALSE时，该标志表示在编码和解码内部 的所有数据路径中，不使用各像素的比特长被扩展的图像信号来进行 编码.解码，或者表示仅在一部分数据路径中，使用各像素的比特长被 扩展的图像信号来进行编码.解码。当ex_seq_bit_extension—flag为 TRUE时，还可以发送表示进行几个比特扩展的ex_seq—shift—bits。
ex—seq—all_bit_extension_flag为FALSE时，还可以发送表示是 否扩展输入到编码和解码内部的预测图像生成部的图像信号的像素 比特长的ex_seq_partial—bit—extension—flag。在该标志为TRUE的情况下，表示在编码.解码内部处理中的预测图像生成时使用各像素的比
特长被扩展的图像信号。另一方面，在标志为FALSE时，该标志表 示在编码和解码内部的所有数据路径中，不使用各像素的比特长被扩 展的图^象信号。当ex—seq—partial—bit—extension—flag为TRUE时，还 可以发送表示与输入图像信号的像素比特长相比，将输入到预测图像 生成部112的图像信号的像素比特长扩展几个比特的ex—seq_ partial_shiftbits 。
当ex—seq—partialbit—extension—flag为TRUE时，还可以发送 表示是否在编码*解码内部的数据路径的某一部分中使用各像素的比 特长被扩展的图像信号。在图36所示的例子中，发送表示是否扩展 存储在帧存储器114中的参照图像信号的像素比特长的标志 ex—seq—framemem—bit—extension—flag、以及表示是否扩展输入或输出 到正交变换部和量化部(正交变换器104、量化器106、逆量化器109 和逆正交变换器110)的预测残差信号的像素比特长的标志 ex—seq—trans—and—quant—bit_extension_flag。
在ex—seq_framemem—bit—extension—flag为TRUE的情况下，该 标志表示扩展存储在帧存储器中的参照图像信号的像素比特长。标志 为FALSE的情况下，表示使存储在帧存储器中的参照图像信号的像 素比特长与输入图像的像素比特长相同。
—framemem—bit—extension—flag为TRUE的情况下，还可以发 送表示与输入图像信号的像素比特长相比，将存储在帧存储器中的图 像信号的像素比特长扩展几个比特的ex—seq_ framemem _shift_bits。
ex—seq—trans—and—quant—bit—extension—flag为TRUE的情况下， 该标志表示扩展输入或输出到正交变换部和量化部(正交变换器104、 量化器106、逆量化器109和逆正交变换器110)的预测残差信号的 像素比特长。即，表示扩展输入图像信号和预测图像信号的各像素的 比特长，预测残差信号是各像素的比特长被扩展的输入图像信号与预 测图像信号的差分信号。
该标志为FALSE的情况下，该标志表示输入或输出到正交变换部和量化部(正交变换器104、量化器106、逆量化器109和逆正交 变换器110)的预测残差信号是比特精度与输入图像信号相同的预测 图像信号与输入图像信号的差分信号。
ex—seqtrans—and—quant—bit—extension—flag为TRUE的情况下， 还可以发送表示在输入或输出到正交变换部和量化部(正交变换器 104、量化器106、逆量化器109和逆正交变换器110)的预测残差信 号的生成时，与输入图像信号的像素比特长相比，将输入图像信号和 预测图像信号的像素比特长扩展几个比特的ex一seq一 trans—and—quant —shift—bits.
在编码侧和解码侧，在各标志为TRUE的情况下，在以预先设 定的比特数进行扩展或缩小几个比特的情况下，如图37所示，也可 以仅发送表示是否变换图像信号的像素比特长的标志。
图38中示出以这些语法的值为基础，在图35所示的图像编码装 置的处理中使用的控制标志FlOOl、 F1007、 F1005、 F1006、 F1004 的i殳定例。在图38中，all的列表示ex_seq_all—bit—extension_flag的 值。同样，part 、 fm 、 t/q 的列分别表示 ex—seq_partial—bit—extension—flag、 ex—seq—framemem—bitextension —flag 、 ex—seq—trans—and_quant—bit_extension_flag 的值。0 表示 FALSE, 1表示TRUE,-表示不存在语法。控制标志FlOOl、 F1007、 F1005、 F1006、 F1004的列表示根据各自的语法的值设定的控制标志 的值。1表示ON， 0表示OFF。例如，在ex_seq—all_bit—extension_flag 为TRUE的情况下，表示仅控制标志FlOOl为ON，其它的标志为 OFF。
图40中示出在后述的图像解码装置的处理中使用的控制标志 F2001、 F2005、 F2006、 F2007、 F2008的i殳定例。分别表示与图38 同样的值。在本实施方式中，与第l实施方式同样，可以利用在补充 语法中多路复用的数据。
参照图39A说明本实施方式的图像解码装置的结构。如图39所 示，该图像解码装置具备熵解码器200、逆量化器109、逆正交变换器110、加法器lll、环路滤波器113、帧存储器114、预测图像生成 器115、像素比特长缩小器(像素比特精度缩小变换器)2001、 2006、 像素比特长扩展器(像素比特精度扩展变换器)2005、像素比特长变 换器(像素比特精度变换器)2007、 2008、比特长变换控制器2002。 即，熵解码器200的系数信息输出经由逆量化器109、逆正交变换器 110与加法器111连接。熵解码器200的运动矢量/预测模式信息输出 与预测图像生成器115连接，其比特扩展信息输出与比特长变换控制 器2002连接。预测图像生成器115的输出经由像素比特长缩小器与 加法器111的另一输入连接。加法器111的输出经由像素比特长扩展 器2005、环路滤波器113、像素比特长变换器2007与帧存储器114 连接。环路滤波器113的另一输出与像素比特长缩小器2001的输入 连接。帧存储器114的输出与比特长变换控制器2002的输出一起与 像素比特长变换器2008连接。像素比特长变换器2008的输出与预测 图像生成器115的另一输入连接。比特长变换控制器2002的输出与 像素比特长缩小器2001、像素比特长扩展器2005、像素比特长缩小 器2006、像素比特长变换器2007和像素比特长变换器2008的另一输 入连接。
参照图39B的流程图说明图像解码装置的动作。向图像解码装 置输入利用图9的图像编码装置编码的编码数据117后(S201)，由 熵解码器200按照与熵编码相反的过程解码，生成量化正交变换系数 信息107、运动矢量/预测模式信息116和比特扩展信息2004( S202 )。 比特扩展信息2004被输入到比特长变换控制器2002后，比特长变换 控制器2002输出包含是否进行像素比特长缩小器2001、 2006、像素 比特长扩展器2005、像素比特长变换器2007、 2008中的像素比特长 变换的控制标志和表示要扩展或缩小的比特长的信息等的比特变换 信息2003。该比特变换信息中包含的控制标志根据例如作为比特扩展 信息2004在编码数据117中多路复用的语法(图36)的值，如图40 所示分别设定，并且包含在比特变换信息2003中。
量化正交变换系数信息107通过逆量化器109和逆正交变换器110依次接受与量化器106和正交变换器104的处理相反的处理，变 换成残差信号201 (S203 )。运动矢量/预测模式信息116被输入预测 图像生成器115,并存储在帧存储器114中，由像素比特长变换器2008 根据需要并根据各像素的比特长被变换的解码图像信号203，生成基 于运动矢量/预测模式信息116的预测图像信号102 (S204 )。
预测图像信号102被输入到像素比特长缩小器2006，根据比特 变换信息2003中包含的控制标志F2006，判定是否变换预测图像信号 102的各像素的比特长(S205)。在控制标志F2006为ON的情况下， 将像素比特长扩展器2006内的开关E2设定为ON,通过进行与第4 实施方式中的像素比特长扩展器2006进行的处理同样的处理，缩小 预测图像信号102的各像素的比特长(S206 )。在控制标志F2006为 OFF的情况下，不进行变换像素的比特长的处理。
从像素比特长缩小器2006输出预测图像信号102和残差信号 201由加法器lll相加，生成解码图像信号(S207)。解码图像信号 203被输入到像素比特长扩展器2005。像素比特长扩展器2005根据 比特变换信息2003中包含的控制标志F2005，判定是否扩展解码图像 信号203的各像素的比特长(S208 )。在控制标志F2005为ON的情 况下，将像素比特长扩展器2005内的开关E1设定为ON，通过进行 与第4实施方式中的像素比特长变换器2005进行的处理同样的处理， 扩展解码图像信号203的各像素的比特长(S209 )。在控制标志F2005 为OFF的情况下，不进行变换像素的比特长的处理。
从像素比特长扩展器2005输出的解码图像信号203在环路滤波 器113中根据需要进行滤波处理后输出，输出到像素比特长缩小器 2001和像素比特长变换器2007。
解码图像信号203被输入到像素比特长变换器2007后，像素比 特长变换器2007根据比特变换信息2003中包含的控制标志F2007， 判定是否变换解码图像信号203的各像素的比特长(S210)。在控制 标志F2007为ON的情况下，将像素比特长扩展器2007内的开关E3 设定为ON，通过进行与第3实施方式中的像素比特长变换器2007进行的处理同样的处理，变换解码图像信号203的各像素的比特长 (S211)。在控制标志F2007为OFF的情况下，不进行变换像素的 比特长的处理。
从像素比特长扩展器2007输出的解码图像信号203被存储在帧 存储器114中(S212)。存储在帧存储器114中的解码图像信号203 被输入到像素比特长变换器2008后，像素比特长变换器2008根据比 特变换信息2003中包含的控制标志F2008，判定是否变换解码图像信 号203的各〗象素的比特长(S213 )。在控制标志F2008为ON的情况 下，将像素比特长扩展器2008内的开关E3设定为ON，通过进行与 第3实施方式中的像素比特长变换器2008进行的处理同样的处理， 变换解码图像信号203的各像素的比特长(S214)。在控制标志F2008 为OFF的情况下，不进行变换像素的比特长的处理。从像素比特长 变换器2008输出的图像信号被输入到预测图像生成器115 (S215)。
解码图像信号203在环路滤波器113中根据需要进行滤波处理， 并输出到像素比特长缩小器2001。解码图像信号203被输入到像素比 特长缩小器2001后，像素比特长缩小器2001根据比特变换信息2003 中包含的控制标志F2001,判定是否变换解码图像信号203的各像素 的比特长(S216)。在控制标志F2001为ON的情况下，将像素比特 长缩小器2001内的开关E2设定为ON，通过进行与第1实施方式中 的像素比特长缩小器2001同样的处理，缩小解码图像信号203的各 像素的比特长(S217)。在控制标志F2001为OFF的情况下，不进 行变换像素的比特长的处理，而是直接作为解码图像信号202输出。
通过以上，从像素比特长缩小器2001输出与输入到图像编码装 置的输入图像相同的N比特精度的解码图像202 (S218)。
在上述图35、 39的结构中，可以根据编码数据中包含的语法信 息，利用标志来分别切换帧存储器、正交变换和量化的预算精度，根 据编码器侧或解码器侧的运算成本的制约，以适当的运算精度来进行 编码。在该结构中，只要任意一个控制标志为ON，输入到预测图像 生成器的图像信号的像素比特长就以大于输入图像信号100的精度被输入，因此可以提高预测图像生成的运算精度，可以提高编码效率。
在图35、 39中，省略了像素比特长扩展器、像素比特长缩小器、 像素比特长变换器的一部分，形成第2~第5实施方式所示的结构， 在像素比特长扩展器、像素比特长缩小器、像素比特长变换器中，按 照例如图36所示的语法中的ex—seq_all—bit—extension—flag指定的值 来决定是否进行比特长的变换。可以进行如下控制如果 ex—seq—all_bit_extension—flag为TRUE,则在各结构中的像素比特长 扩展器、像素比特长缩小器、像素比特长变换器中进行变换各像素的 比特长的处理，如果为FALSE,则不进行变换处理。
在进行量化/逆量化时，将输入图像相当于N比特的情况下进行 量化的量化步幅设为Qstep的情况下，对于在第2、第3实施方式中 的量化/逆量化中使用的量化步幅Qst印，，考虑到如果将比特精度扩 大.缩小M比特，则残差的精度被扩大到(N + M)比特，可以利用以 下式计算的Qstep'。
Qst印，=Qst印<< M (16)
由此，可以得到与将N比特同等的输入图像原样编码的情况下
几乎同等的代码量的编码数据。利用图41、 42说明在这样根据要扩 展的比特长改变了量化步幅的情况下编码效率提高的理由。图41是 示出各像素位置处的、针对输入像素值(8比特)的基于H.264的8 比特精度的预测像素值和基于本实施方式的12比特精度的预测像素 值的表，图42是将其形成曲线的图(半像素位置的内插滤波器为6 抽头{1/32、 -5/32、 20/32、 20/32、 -5/32、 1/32})。
如前所述，当输入图像信号为8比特时(在图42中用正方形的 图标表示)，以与输入图像信号相同的8比特生成预测图像信号的情 况下(在图42中用菱形的图标表示)，内插到半像素位置的像素的 像素值产生舍入误差。对此，例如进行本实施方式所述的比特扩展并 且生成例如12比特的预测图像的情况下(在图42中用圓形的图标表 示)，内插到半像素位置的像素的像素值的舍入误差小。在进行了比 特扩展的情况下，与进行比特扩展前相比，残差的比特精度扩大到12比特，因此与不进行扩展而以8比特求出残差的情况相比，残差的绝 对值变大，但舍入误差变小，因此以公式(16)所示的量化步幅量化、 成为几乎相同的代码量时的误差变小，结果可以提高编码效率。
在本实施方式中，如图43所示，能够以比输入图像的比特精度 大M比特的比特精度进行，预测图像信号以比输入图像信号大M比 特的精度生成，因此可以提高运动补偿的滤波或环路滤波、画面内预 测等的精度，结果可以减小预测误差信号，从而可以提高编码效率。
另外，本发明不原样限定于上述实施方式，在实施阶段，在不脱 离其要义的范围内，可以对构成要素进行变形来具体化。另外，可以 利用上述实施方式所公开的多个构成要素的适当组合，来形成各种发 明。例如，可以从实施方式所示的所有构成要素中删除几个构成要素。 并且，可以适当组合不同实施方式中的构成要素。
根据本发明，通过提高画面内预测或运动补偿的精度，可以提高 编码效率。根据本发明的结构，通过使输入到预测图像生成器的参照 图像的比特精度大于输入图像的比特精度，将例如应用于H.264等的 画面内预测、单向运动补偿预测、双向运动补偿预测以及加权运动补 偿预测的运算时产生的舍入误差抑制得较小，从而可以减小预测误差 信号，提高编码效率。即，不仅可以将与上述的小数像素的运算精度 有关的比特精度保持得较高，而且可以将与整数像素的运算精度有关 的比特精度保持得较高。另外，根据本发明的几个结构，通过以比输 入图像的比特精度高的比特精度来保存参照图像并用于预测，可以进
一步提高在预测图像生成器中生成预测图像时的运算精度，从而可以 提高编码效率。
权利要求
1.一种图像编码装置，具有像素比特精度变换器，将由分别具有N比特精度的多个像素构成的输入图像的各像素的比特精度变换成大M比特的(N+M)比特精度；预测图像生成器，根据(N+M)比特精度的参照图像生成针对(N+M)比特精度的上述输入图像的(N+M)比特精度的预测图像；减法器，求出(N+M)比特精度的上述输入图像与(N+M)比特精度的上述预测图像的差分信号；编码器，对上述差分信号进行编码，输出图像编码信息；解码器，根据上述图像编码信息，输出解码差分图像；加法器，将(N+M)比特精度的上述预测图像与上述解码差分图像相加，输出(N+M)比特精度的解码图像；和参照图像存储存储器，将(N+M)比特精度的上述解码图像作为上述参照图像保存。
2. 如权利要求1所述的图像编码装置，具有将表示通过变换 而变更的比特数的比特变换信息和上述图像编码信息多路复用的多 路复用器。
3. 如权利要求l所述的图像编码装置，其中， 上述图像编码装置在上述参照图像存储存储器的前级还具有将(N + M)比特精度的上述解码图像的各像素变换成(N + M-L)比 特精度的笫l像素比特精度变换器，其中，L是L1M的整数，上述参照图像存储存储器将(N + M-L)比特精度的上述解码 图像作为上述参照图像保存，上述图像编码装置在上述参照图像存储存储器的后级还具有将 (N + M-L)比特精度的上述参照图像的各像素变换成(N + M)比 特精度的第2像素比特精度变换器。
4. 如权利要求3所述的图像编码装置，其中，上述第1像素比特精度变换器包括针对每个编码单位，根据(N + M)比特精度的上述解码图像的编码单位图像内包含的像素值的最 大值和最小值来算出代表值的单元；算出将上述编码单位图像内的各 像素的值与代表值的差右移Q比特后的值收入(N + M-L)比特精 度的动态范围的移位量Q的单元，其中，0SQ1L;和通过将上述编码 单位图像内的各像素的值与代表值的差右移Q比特而将各像素的值 变换成(N + M-L)比特精度的值，从而将(N + M)比特精度的上 述解码图像变换成(N + M-L)比特精度的解码图像的单元，上述参照图像存储存储器将(N + M-L)比特精度的上述解码 图像作为上述参照图像保存，并且针对每个任意的编码单位图像保存 上述Q和代表值，上述第2像素比特精度变换器针对上述每个编码单位，从上述参 照图像存储存储器读出上述参照图像、上述移位量Q和上述代表值， 将上述参照图像的各像素的(N + M-L)比特精度的像素值右移Q 比特，与上述代表值相加，变换成(N + M)比特精度的像素值。
5. —种图像编码装置，具有预测图像生成器，针对N比特精度的输入图像，根据(N + M) 比特精度的参照固像生成(N + M)比特精度的预测图像；像素比特长缩小变换器，将(N + M)比特精度的上述预测图像 的各像素缩小变换成N比特精度；减法器，求出N比特精度的上述输入图像与变换成N比特精度 的上述预测图像的差分信号；编码器，对上述差分信号进行编码，输出图像编码信息；解码器，根据上迷图像编码信息，输出解码差分图像；加法器，将变换成N比特精度的上述预测图像与上迷解码差分 图像相加，输出N比特精度的解码图像；像素比特精度变换器，将N比特精度的上述解码图像的各像素 的值变换成大M比特的(N + M)比特精度；和参照图像存储存储器，将(N + M)比特精度的上述解码图像作为上述参照图像保存。
6. —种图像编码装置，具有预测图像生成器，针对N比特精度的输入图像，根据(N + M) 比特精度的参照图像生成(N + M)比特精度的预测图像；像素比特精度变换器，将(N + M)比特精度的上述预测图像的 各像素变换成N比特精度的像素；减法器，求出N比特精度的上述输入图像与N比特精度的上述 预测图像的差分信号；编码器，对上述差分信号进行编码，输出图像编码信息；解码器，根据上迷图像编码信息，输出解码差分图像；加法器，将N比特精度的上述预测图像与上迷解码差分图像相 加，输出N比特精度的解码图像；参照图像存储存储器，将N比特精度的上述解码图像作为上述 参照图像保存；和像素比特精度变换器，将存储在上述参照图像存储存储器中的N 比特精度的上述参照图像的各像素扩展变换成大M比特的(N + M) 比特精度。
7. 如权利要求1-6中任意一项所述的图像编码装置，其中，上 述图像编码信息针对每个任意的编码单位，包含表示要扩展的比特数 M的数据，作为比特变换信息。
8. 如权利要求3所述的图像编码装置，其中，上述图像编码信 息针对每个任意的编码单位，包含表示上述参照图像存储存储器的比 特精度(N + M-L)的数据，作为比特变换信息。
9. 如权利要求1-6中任意一项所述的图像编码装置，其中，上 述图像编码信息针对每个任意的编码单位，包含表示输出解码图像时 的比特精度N的数据，作为比特变换信息。
10. 如权利要求l所述的图像编码装置，其中，上述像素比特精 度变换器在将上述输入图像的各像素的值变换成比特精度不同的值 后，将该输入图像的各成分变换到不同的颜色空间。
11. 如权利要求1-6中任意一项所述的图像编码装置，其中， 上述像素比特精度变换器在将N比特精度的上述图像的各像素的值 变换成大M比特的(N + M)比特精度后，将该图像的各成分变换到 不同的颜色空间。
12. 如权利要求10或11所述的图像编码装置，其中，上迷图像 编码信息针对每个任意的编码单位，包含表示要扩展的比特数M的 数据和表示输出上述解码图像时的颜色空间的数据，作为比特变换信 息。
13. 如权利要求10或11所述的图像编码装置，其中，上述图像 编码信息针对每个任意的编码单位，包含输出上述解码数据时的比特 精度N和表示输出上述解码图像时的颜色空间的数据，作为比特变换 信息。
14. 如权利要求1-6中任意一项所迷的图像编码装置，其中， 上述预测图像生成器根据自适应内插滤波信息来生成预测图像，上述 图像编码信息包含上述自适应内插滤波信息。
15. 如权利要求1-6中任意一项所迷的图像编码装置，其中， 上述图像编码装置在参照图像存储器的前级还具有根据滤波处理信 息对上述解码图像进行滤波处理的滤波器，并且上述图像编码信息包 含上述滤波处理信息。
16. 如权利要求1-3中任意一项所述的图像编码装置，其中， 上述像素比特精度变换器还具有滤波器，该滤波器在将各像素的比特 精度为N比特的输入图像的各像素变换成大M比特的(N + M )比特 精度后，对上述输入图像进行基于滤波处理信息的滤波处理。
17. 如权利要求1-3中任意一项所迷的图像编码装置，其中， 上述像素比特精度变换器还具有滤波器，该滤波器在将N比特精度的 输入图像的各像素变换成大M比特的(N + M)比特精度的像素后， 对上述输入图像进行基于滤波处理信息的滤波处理，并且上述图像编 码信息包含上述滤波处理信息。
18. 如权利要求15所述的图像编码装置，其中，上述像素比特精度变换器还具有水印信息埋入器，该水印信息埋入器在将N比特精 度的输入图像的各像素变换成大M比特的(N + M)比特精度的像素 后，对上述输入图像附加M比特以下的字长的水印信息。
19.如权利要求1-6中任意一项所述的图像编码装置，其中， 上述图像编码信息针对每个任意的编码单位，包含是否将图像信号的 各像素的比特精度扩展M比特的标志，作为比特变换信息。
20，如权利要求1-6中任意一项所述的图像编码装置，其中， 上述图像编码信息针对每个任意的编码单位，包含是否将图像信号的 各像素的比特精度扩展M比特的标志，并且还包含表示要扩展的比 特数M的数据，作为比特变换信息。
21. —种图像解码装置，具有逆多路复用器，输入比特变换信息和图像编码信息被多路复用的图像信息，分离成比特变换信息和图像编码信息；图像解码器，对上述图像编码信息进行解码，输出解码图像；和 图像比特精度变换器，根据上述比特变换信息，将上述解码图像的各像素的值变换成比特精度不同的比特精度。
22. —种图像解码装置，具有解码器，将输入编码图像信息解码成(N + M)比特精度的解码 差分图像；预测图像生成器，使用上述编码图像信息，根据(N + M)比特 精度的参照图像生成(N + M)比特精度的预测图像；加法器，将上述解码差分图像和上述预测图像相加，得到(N + M)比特精度的解码图像；参照图像存储存储器，将(N + M)比特精度的上述解码图像作 为上述参照图像保存；和像素比特精度变换器，将(N + M)比特精度的上述解码图像的 各像素变换成N比特精度，输出N比特精度的解码图像。
23. —种图像解码装置，具有解码器，输入编码图像信息，输出(N + M)比特精度的解码差分图像；像素比特精度扩展变换器，将(N + M-L)比特精度的参照图 像的各像素变换成(N + M)比特精度的像素，输出(N + M)比特精 度的解码图像；预测图像生成器，使用上述编码图像信息，根据(N + M)比特 精度的参照图像生成(N + M)比特精度的预测图像；加法器，将上述解码差分图像和上述预测图像相加，得到(N + M)比特精度的解码图像；像素比特精度缩小变换器，将(N + M)比特精度的上述解码图 像的各像素变换成(N + M-L)比特精度的像素，输出(N + M-L) 比特精度的解码图像，并且将(N + M)比特精度的上述解码图像的 各像素变换成N比特精度的像素，输出N比特精度的解码图像；和参照图像存储存储器，将(N + M-L)比特精度的上述解码图 像作为上述参照图像保存。
24. —种图像解码装置，具有解码器，输入编码图像信息，输出N比特精度的解码差分图像；预测图像生成器，使用上述编码图像信息，根据(N + M)比特 精度的参照图像生成(N + M)比特精度的预测图像；像素比特精度变换器，将(N + M)比特精度的上述预测图像的 各像素变换成N比特精度的像素，输出N比特精度的预测图像；加法器，将上述解码差分图像和上述预测图像相加，得到N比 特精度的解码图像；像素比特长扩展变换器，将N比特精度的上述解码图像的各像 素变换成(N + M)比特精度的像素，输出(N + M)比特精度的解码 图像；和参照图像存储存储器，将(N + M)比特精度的上述解码图像作 为上述参照图像保存。
25. 如权利要求24所述的图像解码装置，其中， 上述像素比特精度变换器具有第l像素比特精度变换器，该第1像素比特精度变换器包括针对每个解码单位，根据上述参照图像的 编码单位图像内包含的像素值的最大值和最小值来算出代表值的单 元；算出将上述编码单位图像内的各像素的值与代表值的差右移Q比 特后的值收入(N + M-L)比特精度的动态范围的移位量Q的单元， 其中，0SQ^L;和通过将上述编码单位图像内的各像素的值与上述代 表值的差右移Q比特而将各像素的值变换成(N + M-L)精度的值 的单元，上述参照图像存储存储器将(N + M-L)比特精度的上述解码 图像作为上述参照图像保存，并且针对每个编码单位保存上述移位量 Q和上述代表值，上述像素比特精度变换器具有第2像素比特精度变换器，该第2 像素比特精度变换器包括针对每个解码单位，从上述参照图像存储 存储器读出上述参照图像、上述移位量Q和上述代表值，将上述参照 图像的各像素的(N + M-L)比特精度的像素值右移Q比特，与上 述代表值相加，变换成(N + M)比特精度的单元。
26. —种图像解码装置，具有解码器，输入编码图像信息，输出N比特精度的解码差分图像；像素比特精度变换器，将N比特精度的参照图像的各像素变换 成(N + M)比特精度的像素，输出(N + M)比特精度的参照图像；预测图像生成器，使用上述编码的图像信息，根据(N + M)比 特精度的上述参照图像生成(N + M)比特精度的预测图像；像素比特精度变换器，将(N + M)比特精度的上述预测图像的 各像素变换成N比特精度的像素，输出N比特精度的预测图像；加法器，将上述解码差分图像和上述预测图像相加，得到N比特精度的解码图像；和参照图像存储存储器，将N比特精度的上述解码图像作为上述 参照图像保存。
27. 如权利要求21-26中任意一项所述的图像解码装置，其中， 上述编码图像信息针对每个任意的编码单位，包含表示要扩展的比特数M的比特变换信息，作为比特变换信息，上述变换器根据上述比特变换信息进行上述图像的各像素的比 特精度的扩展或缩小。
28. 如权利要求23所述的图像解码装置，其中，上述编码图像信息针对每个任意的编码单位，包含表示上述参照 图像存储存储器的比特精度(N + M - L )的数据，作为比特变换信息，上述像素比特精度扩展变换器和上述像素比特精度缩小变换器 根据上述比特变换信息进行上述扩展变换和上述缩小变换，并作为(N + M - L)比特精度的上述参照图像存储在参照图像存储存储器中。
29. 如权利要求21-26中任意一项所述的图像解码装置，其中， 上述编码的图像信息针对每个任意的编码单位，包含表示输出解码图像时的比特精度N的比特变换信息，作为比特变换信息，根据上述比特变换信息，将上述解码图像的比特精度变换成与输 出上述解码图像时的比特精度N具有相同精度的精度。
30. 如权利要求21所述的图像解码装置，其中，上述像素比特 精度变换器将上述解码图像的各成分变换到不同的颜色空间后，将该 解码图像的各成分的各像素变换成不同的比特精度。
31. 如权利要求22 - 26中任意一项所述的图像解码装置，其中， 上述像素比特精度缩小变换器将(N+M)比特精度的上述图像的各 成分变换到不同的颜色空间后，将该图像的各成分的各像素变换成N 比特精度的像素。
32. 如权利要求30或31所述的图像解码装置，其中， 上述编码的图像信息针对每个任意的编码单位，包含表示要扩展的比特数M的比特变换信息和表示输出解码图像时的颜色空间的数 据，作为比特变换信息，上述变换器根据上述比特变换信息对上述解码图像进行颜色变 换，变换成表示输出上述解码图像时的颜色空间的数据后，进行该颜 色变换后的解码图像的各像素的比特长的扩展和缩小。
33. 如权利要求30或31所述的图像解码装置，其中，上述编码图像信息针对每个任意的编码单位，包含表示输出解码图像时的输入图像的比特精度N的比特变换信息和表示输出解码图 像时的颜色空间的数据，作为比特变换信息，根据上述比特变换信息对上述解码图像进行颜色变换，变换成表 示输出上述解码图像时的颜色空间的数据后，将该颜色变换后的解码 图像变换成与输出上述解码图像时的比特精度N具有相同精度的像 素。
34. 如权利要求21-26中任意一项所述的图像解码装置，其中， 上述编码图像信息包含自适应内插滤波信息，上述预测图像生成器根 据上述自适应内插滤波信息生成预测图像。
35. 如权利要求21-26中任意一项所述的图像解码装置，其中， 上迷编码的图像信息包含滤波处理信息，上述图像解码装置还具有 根据上述滤波处理信息对上述解码图像进行滤波处理的滤波器。
36. 如权利要求21-26中任意一项所述的图像解码装置，其中， 上述像素比特精度变换器还具有对上述解码图像进行滤波处理的滤 波器，上述滤波器在对上述解码图像进行滤波处理后，将(N + M) 比特精度的上述解码图像的各像素变换成N比特精度的像素，并输出 N比特精度的解码图像。
37. 如权利要求21-26中任意一项所述的图像解码装置，其中， 上述编码图像信息包含滤波处理信息，上述像素比特精度变换器还具 有根据上述滤波处理信息对上述解码图像进行滤波处理的滤波器，上 述滤波器在对上述解码图像进行滤波处理后，将(N + M)比特精度 的上述解码图像的各像素变换成N比特精度的像素，并输出N比特 精度的解码图像。
38. 如权利要求22所述的图像解码装置，其中，上述图像解码 装置在上述加法器的后级还具有检测埋入到解码图像中的水印信息 的水印检测器。
39. 如权利要求21-26中任意一项所述的图像解码装置，其中， 上述图像编码信息针对每个任意的编码单位，包含是否扩展M比特的标志，作为比特变换信息，并且上述标志为FALSE的情况下，上 述变换器不进行变换，上述标志为TRUE的情况下，上述变换器根据 上述比特变换信息进行上述图像的各像素的比特精度的扩展或缩小。
40. 如权利要求21-26中任意一项所述的图像解码装置，其中， 上述图像编码信息针对每个任意的编码单位，包含是否扩展M比特 的标志和表示要扩展的比特数M的数据，作为比特变换信息，并且 上述标志为FALSE的情况下，上述变换器不进行变换，上述标志为 TRUE的情况下，上述变换器根据上述比特变换信息进行上述图像的 各像素的比特精度的扩展或缩小。
41. 一种图像编码方法，具有以下步骤通过对输入图像的各像素的比特精度进行变换，生成不同比特精 度的变换输入图像；输出表示通过变换而变更的比特数的比特变换信息； 对上述变换输入图像进行编码，输出图像编码信息；以及 将上述比特变换信息和上述图像编码信息多路复用。
42. —种图像编码方法，具有以下步骤将由分别具有N比特精度的多个像素构成的输入图像的各像素 的比特精度变换成大M比特的(N + M)比特精度；根据(N + M)比特精度的参照图像生成针对(N + M)比特精 度的上述输入图像的(N + M)比特精度的预测图像；求出(N + M)比特精度的上述输入图像与(N + M)比特精度 的上述预测图像的差分信号；对上述差分信号进行编码，输出图像编码信息；根据上述图像编码信息，输出解码差分图像；将(N+M)比特精度的上述预测图像与上述解码差分图像相加， 输出(N + M)比特精度的解码图像；以及将(N + M)比特精度的上述解码图像作为上述参照图像保存在 参照图像存储存储器中。
43. —种图像解码方法，具有以下步骤将比特变换信息和图像编码信息被多路复用的输入图像信息分离成比特变换信息和图像编码信息；对上述图像编码信息进行解码，生成解码图像；以及 根据上述比特变换信息，将上述解码图像的各像素变换成比特精度不同的像素。
44. 一种图像解码方法，具有以下步骤将输入编码图像信息解码成(N + M )比特精度的解码差分图像；使用上述输入编码图像信息，根据(N + M)比特精度的参照图 像生成(N + M)比特精度的预测图像；将上述解码差分图像和上述预测图像相加，生成(N + M)比特 精度的解码图像；将(N + M)比特精度的上述解码图像作为上述参照图像保存；以及将(N + M)比特精度的上述解码图像的各像素的值变换成N比 特精度，生成N比特精度的解码图像。
全文摘要
图像编码装置具有像素比特长扩展变换器(1001)，通过对输入图像的各像素的比特精度进行变换，输出变换输入图像，并且输出表示通过变换而变更的比特数的比特变换信息；图像编码器(10)，对变换输入图像进行编码，输出图像编码信息；以及多路复用器(12)，将比特变换信息和图像编码信息多路复用。
文档编号H04N7/32GK101411202SQ200780011200
公开日2009年4月15日 申请日期2007年3月30日 优先权日2006年3月30日
发明者中条健, 野田玲子 申请人:株式会社东芝