图像解码方法及图像解码装置的制作方法

专利名称：图像解码方法及图像解码装置的制作方法
技术领域：
本发明涉及动态图像的编码方法及解码方法，特别涉及参照已经已编码完毕的图 像进行画面间预测的编码方法及解码方法。
背景技术：
近年来随着多媒体应用的发展，统一处理图像、声音、文本等所有媒体的信息的方 式已普遍起来。此时，通过将所有的媒体数字化来统一处理媒体成为可能。但是，由于数字 化的图像拥有膨大的数据量，为了便于存储、发送，图像信息的压缩技术必不可少。而另一 方面，为了能够相互使用压缩的图像数据，压缩技术的标准化也变得十分重要。图像压缩技 术的标准规格，包括有ITU-T(国际电信联合电信标准部门)的H. 261、H. 263、IS0(国际标 准化机构)的MPEG-l、MPEG-4等。并且，在ITU中，现在作为最新的图像编码规格H. 26L正 在标准化过程中。一般在动态图像的编码中，通过削减时间方向及空间方向的冗长性来进行信息量 的压缩。于是在以削减时间的冗长性为目的的图像间预测编码中，参照前方或后方的图像 以块单位进行移动的检测及预测图像的制作，并对得到的预测图像与现在的图像的差分值 进行编码。在这里，图像(picture)表示一幅画面，而在渐进的图像中是表示帧的意思，在隔 行扫描图像中则表示帧或者半帧的意思。隔行扫描(interlace)图像是一帧由不同时刻的 2个半帧(field)构成的图像。在隔行扫描图像的编码和解码处理中，可以将1帧原封不动 作为帧进行处理，也可作为2个半帧进行处理，帧内部的每个块也可以作为帧构造或半帧 构造进行处理。以下所示图像将以渐进图像中的帧的意义进行说明，对于隔行扫描图像中的帧或 半帧也同样能够进行说明。图30为图像种类和其参照关系的说明图。像图像II 一样不用参照图像而进行图像内预测编码的图像称作I图像。并且，如 图像P10 —样只参照一幅图像进行图像间预测编码的图像称作P图像。并且，将同时参照 2幅图像进行图像间预测编码的图像称作B图像。B图像能够像图像B6、B12、B18那样同时参照在时间上为任意方向上的2张图像。 参照图像能对每个移动检测单位的块进行指定，在进行编码的代码串中，将前面记述的参 照图像作为第1参照图像、将后面记述的参照图像作为第2参照图像进行区别。但是，作为这些图像的编码及解码时的条件，参照图像必须已经进行过编码及解 码。图31是对B图像进行编码及解码时的顺序的例子。图31 (a)为显示的顺序，图31(b) 是将(a)重新排列成进行编码及解码的顺序的例子。由此可以看出，被图像B3、B6参照的图像全部被重新排列，以便先进行编码及解码。下面用图32就编码所述B图像时，同时参照2张图像作成预测图像的方法进行详 细说明。而且在解码时制作预测图像的方法也是完全一样的。图像B4是作为现在编码对象的B图像，块(block) BLOl及块BL02是属于上述B图 像的编码对象的块。BLOl将第1参照图像作为图像P2、将第2参照图像作为图像P3、并参 照属于各自图像的块BLll及BL21制作预测图像。同样，BL02将第1参照图像作为图像P2、 将第2参照图像作为图像P1、并参照属于各自图像的块BL12及BL22制作预测图像。(参 照非专利文献1)图33是用来说明用参照的2个块BLll及BL21制作编码对象的块BLOl的预测图 像的方法的说明图。这里假定各块的尺寸为4X4像素进行说明。Ql (i)为BLll的像素值， Q2(i)为BL21的像素值，若将P(i)设为所求BLOl的预测图像的像素值，则像素值P(i)能 够通过公式1的线性预测式计算出来。i表示像素的位置，在这里的例子中其可以是从0到 15的值。P(i) = (wlXQl(i)+w2XQ2(i))/pow(2，d)+c (公式 1)
(pow (2，d)表示 2 的 d 次方)wU w2、c、d是用来进行线性预测的系数，可将4个作为1组的加权系数组对待。 这些加权系数组由指定各块所参照的图像的参照索引来决定，如BLOl的情况下使用wl_l、 w2_l、c_l、d_l，在 BL02 的情况下使用 wl_2、w2_2、c_2、d_2 这 4 个值。下面将用图34、图35对指定参照图像的参照索引进行说明。在各个图像中每向存 储器进行存储时就会被分配有逐一增加的图像编号的值。即，赋予新存储的图像具有从已 存图像编号的最大值增加1的值的图像编号。但是，实际上指定参照图像的并不是该图像 编号，而是使用另外定义的参照索引。表示第1参照图像的称作第1参照索引，表示第2参 照图像的称作第2参照索引。图34为用来说明给图像编号分配2个参照索引的方法的图。在如图所示顺序排 列的图像列时，图像编号按编码顺序进行分配。用来将参照索引分配到图像编号中的指令 描述在将图像进一步分割的编码单位即片段(slice)的片头中，每编码一个片段分配方法 就会更新一次。上述指令是将参照索引的数连续指示，其连续的数量为前面分配给参照索 引的图像编号与现在正在进行分配的图像编号之间的差分值。以图34的第1参照索引为例，由于首先赋予“-1”作为指令，通过从作为现在编码 对象的图像编号16中减去1，图像编号15就被分配给参照索引0号。接下来由于被赋予 “_4”，通过从前面进行了分配的图像编号15号中减去4，图像编号11号被分配给参照索引 1号。以下通过同样的处理进行各图像编号的分配。第2参照索引的情况也是同样。图35表示的是进行参照索引分配后的结果。第1参照索引及第2参照索引都分 别被独立分配给各个图像编号，如果只看各自的参照索引，就会明白一个参照索引被分配 一个图像编号。下面用图36及图37说明使用的加权系数组的决定方法。1个图像的代码串由图像共同信息区域及多个片段数据区域构成。图36表示的是 其中的片段数据区域的结构。而片段数据区域是由片头区域及多个块区域构成的。这里作 为块区域的例子，如图32中的与BL01、BL02相对应的各块的区域所示。
包含在BLOl中的refl及ref2分别指示指定该块所参照的2张图像的第1参照 索引及第2参照索引。并且在片头区域中，用来决定进行上述线性预测的加权系数组的数 据(pset0、psetl、pset2、pset3、pset4)分别被描述为refl用及ref2用。图37为用表格 来表示上述片头区域中包含的所述数据的例子。 用标识符pset表示的各个数据拥有wl、w2、c、d这4个值，通过refl及ref2的 值可以直接进行参照。并且，在片头区域中描述有用来将所述参照索引分配给图像符号的 指令列 idx_cmdl 及 idx_cmd2。通过图36的BLOl中所述的refl及ref2，可以从图37的refl用及ref2用图表 中，分别选择每1组的加权系数组。通过使用各个加权系数组进行公式1的线性预测，生成 2个预测图像。通过对此2个预测图像分别按每个像素取平均值，能够得到所求的预测图像。并且，也有不使用上述由线性预测系数的加权系数求得的预测式生成预测图像， 而使用预先决定的固定式求得预测图像的方法。此种方法在由第1参照索引指定的图像 的显示顺序落后于由第2参照索引指定的图像的情况下，选择由固定系数组成的固定公式 2a，除此之外，选择由固定系数组成的固定公式2b，生成预测图像。P(i) = 2XQl(i)-Q2(i) (公式 2a)P(i) = (Ql(i)+Q2(i))/2 (公式 2b)这样一来，由于预测式是固定的，所以其优点在于没有必要对计算预测图像时的 加权系数组进行编码并传送。并且，由于根据图像的位置关系选择固定式，所以其优点在于 没有必要编码用来指定线性预测系数的加权系数组的标记并传送。并且，由于线形的计算 式很简单，所以能够以很小的处理量大幅度削减线性预测。在用加权系数组通过公式1制作预测图像的方法中，由于将参照索引分配给参照 图像的指令的数与参照图像的张数是同一个数，所以1个参照索引只能分配给一幅参照图 像，参照相同参照图像的块中线性预测使用的加权系数组完全是同一个值。虽然在图像内 部发生一样的图像变化的情况下没有问题，但在各个部分图像变化不同的情况下，不会生 成最合适的预测图像的可能性非常高。并且，由于式中包含有使用乘法的运算，所以会造成 线性预测的处理量变大的问题。(非专利文献1)ITU-T Rec. H. 264 IS0/IEC 14496-10AVCJoint Committee Draft (CD)(2002-5-10)(P. 34 8. 4. 3 Re-Mapping of frame numbers indicator,P. 105 11. 5 Prediction signal generation procedure)

发明内容
本发明的目的是提供一种能够将多幅参照图像分配给1幅参照图像，同时无论是 在分配到了多个参照索引的情况下还是在分配到1个参照索引的情况下，都能提高参照索 引的编码效率的图像编码方法、图像解码方法及其装置和程序。技术方案
为达到此目的，本发明的图像编码方法包括以下步骤将通过图像编号标识的已 编码完毕的图像作为参照图像存储在存储单元中的参照图像存储步骤；生成将用于生成预 测图像的系数及指定所述参照图像的参照索引与所述图像编号对应起来的指令的指令生 成步骤；用所述参照索引指定对编码对象图像上的块进行移动补偿时的参照图像的参照图 像指定步骤；通过使用与所述参照索引相对应的所述系数，对通过检测在所述参照图像指 定步骤中指定的参照图像内的移动得到的块进行线性预测，由此生成预测图像的预测图像 生成步骤；输出包括将输入的编码对象图像内的块与所述预测图像的差即预测误差、所述 指令、所述参照索引以及所述系数进行编码后的编码信号在内的图像编码信号的编码信号 输出步骤；上述编码信号输出步骤将所述图像编码信号中的表示所述参照索引的最大值的 信息进行编码。这其中，表示所述参照索引的最大值的信息也可以包含在所述图像编码信号所包 含的图像共同信息区域中。如果采用这样的结构，在解码装置中，当根据指令使图像编号与参照索引对应起 来时，由于表示参照索引的最大值的信息包含在编码信号中，所以能够根据指令进行使图 像编号与参照索引对应起来的处理，直至达到所述最大值，能够容易地使所有的参照索引 和图像编号对应起来。结果，在能够给1幅参照图像分配多幅参照图像的同时，无论是被分 配给多个参照索引的情况，还是被分配给1个参照索引的情况，都能够使参照索引的编码 效率提高。这里，也可以在上述参照图像指定步骤中，在上述参照图像的图像编号与多个参 照索引相对应的情况下，根据与该多个参照索引分别对应的系数，选择其中的1个参照索 引；在上述预测图像生成步骤中，使用与在指定步骤中选择的参照索引相对应的系数进行 线性预测。如果采用这种结构，可以给1个图像编号对应多个参照索引，所以在使用与指定 参照图像的所述参照索引相对应的所述系数进行线性预测时，能够从多个系数中选择该系 数。即，能够选择最适合用于线性预测的系数。从而可以达到提高编码效率的目的。在上述预测图像生成步骤中，也可以只使用位移运算、加法运算及减法运算进行 所述线性预测。如果采用这种结构，由于不使用处理负荷的重乘除算法，而只使用处理负荷轻的 位置运算、加法及减法，所以能够减少线性预测的处理量。在上述预测图像生成步骤中所述线性预测所使用的系数也可以只有线性预测公 式中表示直流成分的值与上述参照索引相对应。如果采用这种结构，作为系数可以不用将表示直流成分以外值编码，所以能够提 高编码效率。并且，不使用处理负荷的重乘除算法，而只使用处理负荷轻的位置运算、加法 及减法，所以能够减少线性预测的处理量。所述参照索引包括表示第1参照图像的第1参照索引和表示第2参照图像的第2 参照索引，在使用由各参照图像所具有的显示顺序信息生成系数的方法作为在上述预测图 像生成步骤中进行上述线性预测的方法的情况下，在第1参照索引指定的参照图像与第2 参照索引指定的参照图像拥有相同显示顺序信息时，也可以使用预先设定的系数作为代替 进行线性预测。并且，上述预先设定的系数拥有相同的权重。
如果采用这种结构，即使在2幅参照图像在拥有相同显示顺序信息的情况下也能 够决定系数进行线性预测，从而能够提高编码效率。并且，本发明的图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像 解码程序及图像编码数据具有与上述相同的结构、作用及效果。本发明的图像编码方法能够采取⑴ (14)中任意一个结构。(1)本发明的图像编码方法包括以下步骤将由图像编号识别的已编码完毕的图 像储存在存储部的参照图像存储步骤；生成下述指令的指令生成步骤，该指令使上述图像 编号与对编码对象图像上的块进行移动补偿时所参照的、从存储在存储单元中的多个已编 码完毕的图像中任意选择的、表示参照图像和生成预测图像时所用的系数这样的参照索引 对应起来，能够使多个参照索引参照同一图像；用所述参照索引指定对编码对象图像上的 块进行移动补偿时的参照图像的参照图像指定步骤；用与指定该参照图像的所述参照索引 相对应的所述系数对通过检测所述参照图像指定步骤中选择的参照图像上的移动得到的 块进行线性预测，由此生成预测图像的预测图像生成步骤；输出包括将输入的编码对象帧 和所述预测图像的差即预测误差、所述指令、所述参照索引、所述系数进行编码后的编码信 号在内的图像编码信号的编码信号输出步骤。(2)本发明的其他图像编码方法能够将多个参照索引分配给所述参照图像拥有的 图像编号，在所述参照图像指定步骤中从与各已编码完毕的图像相对应的1个以上的参照 索引中选择1个参照索引，决定在所述预测图像生成步骤中的线性预测中所使用的系数。(3)本发明的其他图像编码方法在由1个片段参照的多幅参照图像中，至少有1幅 拥有分配到多个参照索引的图像编号的参照图像。(4)在本发明的其他图像编码方法中，所述参照索引由表示从所述多个已编码完 毕的图像中任意指定的第1参照图像的第1参照索引和表示从所述多个已编码完毕的帧中 任意指定的第2参照帧的第2参照索引组成。在所述预测图像生成步骤中，用与所述第1 参照索引相对应的系数对所述块进行线性预测，同时用与所述第2参照索引相对应的系数 进行线性预测，求在各自的线性预测中得到的2个预测图像中的像素的平均值，由此生成 与所述块相对的最终预测图像。(5)在本发明的其他图像编码方法中，所述参照索引由表示从所述多个已编码完 毕的图像中任意指定的第1参照图像的第1参照索引和表示从所述多个已编码完毕的帧中 任意指定的第2参照帧的第2参照索引组成。在所述预测图像生成步骤中的所述线性预测 所用的系数的决定是通过求取所选择的第1参照索引和第2参照索引各自指示的所述系数 的平均值来求得。(6)在本发明的其他图像编码方法中，所述参照索引由表示从所述多个已编码完 毕的图像中任意指定的第1参照图像的第1参照索引和表示从所述多个已编码完毕的帧中 任意指定的第2参照帧的第2参照索引组成，所述第1及第2参照索引与由多个系数组成 的组对应起来，在所述预测图像生成步骤中，使用与一方的参照索引相对应的系数组中的 一部分和与另一方的参照索引相对应的系数组的一部分生成所述预测图像。(7)本发明的其他图像编码方法，在所述预测图像生成步骤中所述线性预测使用 的计算式，不使用乘法及除法，只使用位移运算及加法和减法，由此能够只通过很少的运算 处理进行线性预测。
(8)在本发明的其他图像编码方法中，所述参照索引由表示从所述多个已编码完 毕的图像中任意指定的第1参照图像的第1参照索引和表示从所述多个已编码完毕的帧中 任意指定的第2参照帧的第2参照索引组成，在所述预测图像生成步骤中，所述位移运算使 用的系数从与所述第1及第2参照索引相对应的系数组中选择与所述第1及第2参照索引 任意对应的系数，其他的运算所使用的系数使用分别与所述第1及第2参照索引对应的系 数的平均值，生成所述预测图像。(9)在本发明的其他图像编码方法中，所述参照索引由表示从所述多个已编码完 毕的图像中任意指定的第1参照图像的第1参照索引和表示从所述多个已编码完毕的帧中 任意指定的第2参照帧的第2参照索引组成，所述预测图像生成步骤中的所述线性预测所 使用的系数只使用表示线性预测式中直流成分的值，并与第1参照索引及第2参照索引分 别逐一对应。(10)本发明的其他图像编码方法包括以下步骤将由图像编号识别的已编码完 毕的图像储存在存储部的参照图像存储步骤；生成以下指令的指令生成步骤，该指令使上 述图像编号与对编码对象图像上的块进行移动补偿时所参照的、表示从存储在存储单元中 的多个已编码完毕的图像中任意选择的参照图像的参照索引对应起来，使多个参照索引能 够参照同一图像；由所述参照索引指定对编码对象图像上的块进行移动补偿时的参照图像 的参照图像指定步骤；由各参照图像拥有的显示顺序信息生成系数，用所述系数对通过检 测所述参照图像指定步骤中选择的参照图像上的移动得到的块进行线性预测，由此生成预 测图像的预测图像生成步骤；包括将输入的编码对象帧和所述预测图像的差即预测误差、 所述指令、所述参照索引、所述系数进行编码后的编码信号在内的图像编码信号的编码信 号输出步骤。(11)在本发明的其他图像编码方法中，可以根据第1参照索引指定的参照图像及 第2参照索引指定的参照图像的各自拥有的显示顺序信息的前后关系交替使用使用由所 述显示顺序的信息生成的系数的方法和使用预先设定的固定式的方法作为所述预测图像 生成步骤中的进行所述线性预测的方法。(12)在本发明的其他图像编码方法中，当使用由所述显示顺序信息生成的系数的 方法时，在第1参照索引指定的参照图像与第2参照索引指定的参照图像拥有相同显示顺 序信息的情况下，可以使用预先设定的系数代替作为所述预测图像生成步骤中的进行所述 线性预测的方法，进行线性预测。(13)在本发明的其他图像编码方法中，当所述预测图像生成步骤使用所述显示顺 序信息生成系数时，用所述系数的2次逼近，以便使所述线性预测不使用乘法及除法而只 使用位移运算及加法和减法。(14)在本发明的其他图像编码方法中，在进行所述逼近时，根据第1参照索引指 定的参照图像及第2参照索引指定的参照图像的各自拥有的显示顺序信息的前后关系，交 替使用入或舍的方法逼近。(15)本发明的程序可以采用使所述(1) (14)中的记载的任何一项图像编码方 法在计算机中执行的结构。并且，本发明的计算机可读取记录媒体，能够采用(16) (25)中的任何一种结 构。
(16) 一种记录有编码后的动态图像信号的编码信号的计算机可读取记录媒体，所 述编码信号为将以下的数据进行了编码生成预测图像时使用的系数；一种指令，该指令 使所述图像编号与从储存在存储由图像编号识别的已编码完毕的图像的储存单元中的多 个已编码完毕的图像中任意选择的、对编码对象图像上的块进行移动补偿时所参照的、表 示参照图像和生成预测图像时所用的所述系数这样的参照索引对应起来，能够将多个参照 索引分配给同一图像编号；指定对编码对象图像上的块进行移动补偿时所参照的参照图像 和生成预测图像时所使用的系数这样的参照索引；用与指定此参照图像的所述参照索引相 对应的所述系数对通过检测选择的参照图像上的移动得到的块进行线性预测，由此生成的 预测图像。(17)所述编码信号包含有所述参照索引的最大值。(18)所述最大值包含在所述编码信号所包含的图像的共同信息区域中。(19)由所述编码信号所包含的块的集合组成的片头、图像共同信息区域或各块的片头中包含有块中的表示用来通过线性预测生成预测图像的系数是否被编译的标记。(20)由所述编码信号所包含的块的集合组成的片头、图像共同信息区域或各块的 片头中包含有块中的表示是不使用系数而使用预先设定的固定式生成预测图像，还是只使 用表示直流成分的系数并使用预先设定的固定式生成预测图像的标记。(21)由所述编码信号所包含的块的集合组成的片头、图像共同信息区域或各块的 片头中包含有块中的表示在使用由预先设定的2个式结构的固定式生成预测图像的情况 下，是交替使用所述2个公式还是不交替只使用单个公式的标记。(22)由所述编码信号所包含的块的集合组成的片头、图像共同信息区域或各块的 片头中包含有块中的表示通过线性预测生成预测图像所用的系数是否是用参照图像的显 示顺序信息进行制作的的标记。(23)由所述编码信号所包含的块的集合组成的片头、图像共同信息区域或各块的 片头中包含有块中的表示通过线性预测生成预测图像所用的系数是否是2次逼近的的标记。(24)所述编码信号中包含有表示能够不使用乘法及除法而只使用位移运算及加 法和减法进行线性预测计算的标记。(25)所述编码信号中包含有表示能够只用表示直流成分的值进行线性预测计算 的标记。本发明的图像解码方法，可以采取(26) (39)中任何一种结构。(26)本发明的图像解码方法包含有以下步骤将包括生成预测图像时使用的系 数、一种指令、所述参照索引和预测误差的编码信号这样的图像编码信号进行解码，获得图 像编码信息的步骤，所述指令为将所述图像编号与对编码对象图像上的块进行移动补偿时 所参照的、从储存在存储部中的多个已编码完毕的图像中任意选择的、表示参照图像和所 述系数这样的参照索引对应起来的指令，使多个参照索引能够参照同一图像；用解码后的 所述指令和解码后的所述参照索引决定对解码对象图像上的块进行移动补偿时所参照的 参照图像的参照图像指定步骤；用与指定该参照图像的所述参照系数相对应的系数对通过 检测决定的所述参照图像上的移动得到的块进行线性预测，由此生成预测图像的预测图像 生成步骤；根据所述预测图像与解码后的预测误差生成解码图像的解码图像生成步骤。
(27)本发明的其他图像解码方法能够将多个参照索引分配给所述参照图像所拥有的图像编号，在所述参照图像指定步骤中使用解码后的所述参照索引决定所述预测图像 生成步骤中线性预测所用的系数。(28)本发明的其他图像解码方法在由1个片段参照的多幅参照图像中可以至少 有1幅拥有分配到多个参照索引的图像编号参照图像。(29)本发明的其他图像解码方法中的所述参照索引有表示由所述多个解码完毕 的图像指定的第1参照图像的第1参照索引和表示由所述多个解码完毕的图像指定的第2 参照图像的第2参照索引，在所述预测图像生成步骤中，用与所述第1参照索引相对应的系 数对所述块进行线性预测，同时用与所述第2参照索引相对应的系数进行线性预测，求取 各自的线性预测中所得到的2个预测图像中的像素平均值，由此生成与所述块相对的最终 的预测图像。(30)本发明的其他图像解码方法中的所述参照索引有表示由所述多个解码完毕 的图像指定的第1参照图像的第1参照索引和表示由所述多个解码完毕的图像指定的第2 参照图像的第2参照索引，所述预测图像生成步骤中的所述线性预测使用的系数的决定是 通过求取所选择的参照索引各自拥有的系数的平均值求得的。(31)本发明的其他图像解码方法中的所述参照索引有表示由所述多个解码完毕 的图像指定的第1参照图像的第1参照索引和表示由所述多个解码完毕的图像指定的第2 参照图像的第2参照索引，所述第1及第2参照索引与由多个系数组成的组对应，所述预测 图像生成步骤中使用与一方的参照索引相对应的系数组中的一部分和与另一方的参照索 引相对应的系数组的一部分生成所述预测图像。(32)本发明的其他图像解码方法在所述预测图像生成步骤中所述线性预测使用 的计算式，不使用乘法及除法，只使用位移运算及加法和减法，由此能够只通过很少的运算 处理进行线性预测。(33)本发明的其他图像解码方法中的所述参照索引有表示由所述多个解码完毕 的图像指定的第1参照图像的第1参照索引和表示由所述多个解码完毕的图像指定的第2 参照图像的第2参照索引，在所述预测图像生成步骤中，所述位移运算使用的系数从与所 述第1及第2参照索引相对应的系数组中选择使用与所述第1及第2参照索引的某个相对 应的系数，其他的运算所使用的系数使用分别与所述第1及第2参照索引相对应的系数的 平均值，生成所述预测图像。(34)本发明的其他图像解码方法中的所述参照索引由表示所述多个解码完毕的 图像指定的第1参照图像的第1参照索引和表示所述多个解码完毕的图像指定的第2参照 图像的第2参照索引组成，只使用表示线性预测式中直流成分的值作为所述预测图像生成 步骤中所述线性预测所使用的系数，并分别与第1参照索引及第2参照索引逐一对应。(35)本发明的其他图像解码方法包括以下步骤将包括一种指令、所述参照索引 和预测误差的编码信号的图像编码信号进行解码的第1步骤，所述指令一种将所述图像编 号与对编码对象图像上的块进行移动补偿时参照的、从储存在存储部中的多个已编码完毕 的图像中任意选择的、表示参照图像的参照索引对应起来的指令，能够使多个参照索引参 照同一图像；用解码后的所述指令和解码后的所述参照索引决定对解码对象图像上的块进 行移动补偿时参照的参照图像的参照图像指定步骤；由各参照图像拥有的显示顺序信息生成系数，用所述系数对通过检测决定的所述参照图像上的移动得到的块进行线性预测，由 此生成预测图像的预测图像生成步骤；根据所述预测图像和解码后的预测误差生成解码图 像的解码图像生成步骤。
(36)根据第1参照索引指定的参照图像及第2参照索引指定的参照图像的各自拥 有的显示顺序信息的前后关系交替使用使用由所述显示顺序的信息生成的系数的方法和 使用预先设定的固定式的方法作为进行所述预测图像中所述线性预测的方法。(37)在本发明的其他图像解码方法中，在使用由所述显示顺序信息生成的系数的 方法时，在第1参照索引指定的参照图像与第2参照索引指定的参照图像拥有相同显示顺 序信息的情况下，可以使用预先设定的系数作为代替进行线性预测，以此作为进行所述预 测图像中所述线性预测的方法。(38)在本发明的其他图像解码方法中，在所述预测图像生成步骤中使用所述系数 的2次逼近，以便在使用所述显示顺序信息生成系数时所述线性预测不使用乘法及除法， 只使用位移运算及加法和减法。(39)在本发明的其他图像解码方法中，在进行所述逼近时，根据第1参照索引指 定的参照图像及第2参照索引指定的参照图像各自拥有的显示顺序信息的前后关系交替 使用入或舍的近似方法。(40)本发明的程序可以采用使所述(26) (39)中的记载的任何一项图像解码方 法在计算机中执行的结构。发明效果本发明生成将生成预测图像所使用的系数及指定参照图像的参照索引与图像编 号对应起来的指令，用上述参照索引指定对编码对象图像内的块进行移动补偿时应该参照 的参照图像，用与上述参照索引相对应的上述系数对通过检测指定的参照图像上的移动得 到的块实施线性预测，由此生成预测图像。本发明适用于对这样的画面进行编码的图像编 码装置。并且，也适合于将图像编码装置编码过的信号进行解码的图像解码装置。附图的简要说明

图1表示本发明的实施形态1编码装置的结构的方框2表示本发明的实施形态6的编码装置的结构的方框3用来说明将图像编号分配给参照索引的方法的模式4用来表示参照索引中图像编号的关系的例子的模式5用来说明移动补偿的动作的模式6用来说明代码串的结构的模式7用来表示线性预测系数的加权系数组的例子的模式8表示编码装置中生成预测图像的功能的方框9表示编码装置中生成预测图像的其他功能的方框10(a) (b)都是表示编码装置中生成预测图像的其他功能的方框11表示编码装置中生成预测图像的其他功能的方框12用来说明代码串的结构的模式13用来表示线性预测系数的加权系数组的例子的模式14用来说明代码串的结构的模式图
图15用来表示线性预测系数的加权系数组的例子的模式16表示编码装置中生成预测图像的功能的方框17用来说明代码串的结构及标记的例子的模式18表示解码装置中生成预测图像的功能的方框19表示解码装置中生成预测图像的其他功能的方框20(a) (b)都是表示解码装置中生成预测图像的其他功能的方框21表示解码装置中生成预测图像的再其他的功能的方框22表示解码装置中生成预测图像的其他功能的方框23用来说明代码串的结构的模式24用来说明代码串的结构的模式25保存了用计算机系统实现所述各实施形态的动态图像的编码方法及解码方法的程序的记录媒体的说明26表示内容提供系统的全体结构的方框27移动电话机的外观28表示移动电话机结构的方框29表示数字播放用系统的例子的30说明现有例的图像的参照关系的模式31用来说明重新排列现有例的图像的模式32用来说明现有例的移动补偿的动作的模式33用来说明现有例的线性预测处理动作的模式34用来说明将图像编号分配给现有例的参照索引的方法的模式35表示现有例的参照索引中图像编号的关系的例子的模式36用来说明现有例的代码串的结构的模式37表示现有例的线性预测系数的加权系数组的例子的模式38用来说明现有例的代码串的结构的模式39用来说明图像编号与显示顺序信息的关系的模式40用来说明代码串的结构及标记的例子的模式41用来说明代码串的结构及标记的例子的模式图本发明的最佳实施形态(实施形态1)图1为表示本发明实施形态1中动态图像编码装置的结构的方框图。下面将使用 图1所示的方框图按照(1)编码的概要、(2)参照索引分配方法、(3)预测图像生成方法的 顺序对本动态图像编码装置中的动态图像编码方法进行说明。(1)编码的概要将成为编码对象的动态图像按照显示顺序以图像单位输入图像存储器101中，并 按编码顺序进行图像的重新排列。图31为表示重新排列的例子。图31 (a)为按显示顺序 排列的图像，图31(b)为按编码进行顺序重新排列的图像例子。这里由于B3、B6在时间上 参照前方及后方两方，在将这些图像编码之前有必要先将成为参照对象的图像进行编码， 所以在图31(b)中为了使P4、P7先被编码而进行重新排列。而且各个图像被称作宏块的例如水平16X垂直16像素的块所分割，并以块单位进行以后的处理。
从图像存储器101中读取的输入图像信号被输入到差分运算部112中，将通过获 取与作为移动补偿编码单元107的输出的预测图像信号的差分得到的差分图像信号输出 到预测误差编码单元102中。在预测误差编码单元102中，进行频率变换、量化等的图像编 码处理并输出误差编码信号。误差编码信号被输入到预测误差解码单元部104中，进行逆 量化、逆频率变换等的图像解码处理并输出误差解码信号。在加法运算部113中，进行所述 误差解码信号和预测图像信号的加法运算并生成再构成图像信号，将得到的再构成图像信 号中有可能在以后的画面间预测中被参照的信号储存在存储器105中。另一方面，从图像存储器101中读取的宏块单位的输入图像信号被输入到移动矢 量检测单元106中。在这里，将储存在图像存储器105中的再构成图像信号作为探索对象， 通过检测距输入图像信号最近的图像区域，决定指示其位置的移动矢量。移动矢量检测在 将宏块进一步分割的块单位进行，得到的移动矢量被存储在移动矢量存储单元108中。此时，由于在现在标准化进程中的H. 26L能够将多个图像作为参照对象使用，所 以每个块都要有指定参照图像的识别号码。将其中的识别号码称作参照索引，在参照索 引·图像编号变换单元111中，通过获取与图像存储器105中的图像拥有的图像编号的对 应，能够指定参照图像。参照索引·图像编号变换单元111中的移动的详细内容在(2)中 进行详细说明。在移动补偿编码单元107中，使用由上述处理检测出的移动矢量及参照索引，从 存储在图像存储部105中的再构成图像信号中选出最适合于预测图像的图像区域。对得到 的图像区域的像素值进行线性预测的插值处理等的像素值变换处理，并据此得最终的预测 图像。此时使用的线性预测系数由线性预测系数生成单元110生成，并被存储在线性预测 系数存储单元109中。对于此预测图像生成方法，在(3)中进行详细说明。对于由上述一系列的处理输出的线性预测系数、参照索引、移动矢量、误差编码信 号等编码信息，可通过在代码串生成单元103中进行可变长编码，得到此编码装置输出的 代码串。以上的处理流程是在进行画面间预测编码情况下的动作，可以通过开关114及开 关115进行和画面内预测编码的切换。在进行画面内编码的情况下，不通过移动补偿进行 预测图像的生成，通过从同一画面内的已编码完毕区域中生成编码对象区域的预测图像、 并获取差分来生成差分图像信号。差分图像信号与画面间预测编码的情况相同，在预测误 差编码单元102中变换为误差编码信号，在代码串生成单元103中通过实施可变长编码得 到输出的代码串。(2)参照索引分配方法下面使用图3、图4对图1的参照索引 图像编号变换单元111中参照索引分配方 法进行说明。图3是说明与图像编号相对的2个参照索引的分配方法的图。在出现如图所示顺 序排列的图像列时，图像编号按照编码顺序被分配。将参照索引分配给图像编号的指令， 在将图像进一步分割的编码单位片头中有所记述，每编码一个片段分配方法就会被更新一 次。所述指令，其连续指示的参照索引的数量，为前面分配给参照索引的图像编号和现在正 在进行分配的图像编号之间的差分值。
使用图3的第1参照索引的例子，首先由于作为指令被赋予“-1”，通过从作为现在编码对象的图像编号16中减去1，图像编号15号被分配给参照索引0号。接下来由于被赋 予“_4”，通过从刚刚进行分配的图像编号15号中减去4，图像编号11号被分配给参照索引 1号。以下通过同样的处理进行各图像编号的分配。第2参照索引的情况也是同样。在由图34所示的以往的方法参照索引分配方法中，所有的参照索引都分别与各 自的图像编号相对应。另一方面，在图3的例子中，分配方法使用的是与以往完全相同的方 法，通过变换指令的值，对相同的图像编号对应多个参照索引号码。图4表示进行参照索引的分配的结果。第1参照索引及第2参照索引都分别独立 被分配给各个图像编号，可以看到一个图像编号被分配有多个参照索引。在本发明的编码 方法中，像该例子那样分配有多个参照索引的图像编号至少有1个以上。如果在只使用参照索引决定参照图像的情况下，像以往方法那样一个参照索引分 配给一个图像编号的分配方法是编码效率最好的方法。但是，在使用参照索引选择预测图 像生成线性预测系数的加权系数组的情况下，以往的方法在拥有相同参照图像的所有块中 必须使用相同的线性预测系数，所以无法生成最适合的预测图像的可能性非常高。而在本发明中通过能够将多个参照索引分配给1个图像编号，即使是在拥有相同 参照图像的情况下，也能从每个块中多个线性预测系数的加权系数组的候选中选择出最适 合的系数，进而能够生成编码效率更高的预测图像。在以上的说明中，举例说明了被赋予图像编号的情况下，所有的参照图像都储存 在参照用存储器中，图像编号只在进行编码之前的图像被存储的情况下，将值增加1的图 像编号赋予给该图像，即使在出现无法存储的图像的情况下也能够保持参照存储器内的图 像编号的连续性，能够原封不动的使用上述方法。(3)预测图像生成方法下面将使用图5对图1的移动补偿编码单元107中的预测图像生成方法进行说 明。由线性预测进行的预测图像生成方法与以往的方法完全相同，但由于能够让同一图像 对应多个参照索引号码，可以提高选择线性预测系数时的自由度。图像B16是作为现在编码的对象的B图像，块BLOl及块BL02是属于所述B图像 的编码对象的块。BLOl将第1参照图像作为图像P1、将第2参照图像作为图像B15、并参照 属于各自图像的块BLll及BL21制作预测图像。同样，BL02将第1参照图像作为图像P11、 将第2参照图像作为图像B15、并参照属于各自图像的块BL12及BL22制作预测图像。第1参照图像及第2参照图像参照和BL01、BL02 一起参照相同的内容，通过使用 (2)中说明的参照索引的分配方法，第1参照索引refl及第2参照索引ref2可以由BLOl 和BL02取得不同的值。以图4为例，与图像编号11对应的第1参照索引分配有1和3，与 图像编号15对应的第2参照索引分配有1和6。结果，这些参照索引的组合如(refUref2) = (1、1)、(1、6)、(3,1) > (3,6)所示， 能够对每块选择从其中导出最适合的加权系数组的组合。图5中的例子，BLOl设定为refl =Uref2 = UBL02 设定为 refl = 3、ref2 = 6。在由图35中以往的方法对应的参照索引的组合中，在图5所示例中由于BL01、 BL02共同只能选择(ren、ref2) = (Ul)的组合，能够选择的线性预测系数的加权系数组 也只有1种。另一方面，由于本发明中选择范围扩展到了 4种，所以选择最适合的加权系数组的可能性变得更高。1个图像代码串，由图像共同信息区域及多个片段数据区域构成。图6表示的是 其中的片段数据区域的结构。而片段数据区域是由片头区域及多个块数据区域构成。这里 作为块数据区域的例子，如图5中所示的与BL01、BL02相对应的各块的区域。包含在BLOl 中的refl及ref2，分别指示该块指定参照的2张图像的第1参照索引及第2参照索引。并且，为分配给片头区域进行所述线性预测的加权系数组的数据(psetO、psetU pset2、……)在refl用及ref2用中分别有记述。此时的pset能够只设定为与(2)中说 明的参照索引的个数相同的数。即，如图3所示，使第1参照索引、第2参照索引共同使用 从O到9的10个数字的情况下，pset也可以与refl用、ref2用共同设定为从0到9的10 个数字。图7表示的是包含在所述片头区域内的所述加权系数组的例子。由标识符pset 表示的各个数据拥有《1、w2, c、d的4个值，并且通过refl及ref2的值可以直接进行参 照。并且，在片头区域中记载有为将所述参照索引分配到图像符号中的指令列idX_cmdl及 idx_cmd2。通过图6的BLOl中所述的refl及ref2，可以从图7的refl用及ref2用图表中 分别选择1组的加权系数组。通过使用该2组加权系数组对参照图像的像素值进行线性预 测生成预测图像。这样通过使用与1个图像编号相对多个参照索引分配的编码方法，能够制作多个 线性预测系数的加权系数组的候选，并能够从中选择最适合的系数。例如，在第1参照索引 被分配2个，第2参照索引被分配2个的情况下能够选择4种加权系数组作为候选；在第1 参照索引被分配3个，第2参照索引被分配3个的情况下能够选择9种加权系数组作为候 选。这种线性预测方法在象渐变和闪光一样画面全体或一部分的亮度变化很大的情 况下，能够得到特别大的效果。在大多数情况下，其亮度变化的程度根据画面部分不同而不 同。因此，如本发明中的能够从多个加权系数组中每个块选择最适合的系数的构成在图像 编码中是非常有效的。这里将对到决定加权系数组生成预测图像为止的处理流程进行详细说明。图8是表示在图1的线性预测系数生成单元110、线性预测系数存储单元109、及 移动补偿编码单元107中生成预测图像的功能结构的功能方框图。通过线性预测系数生成单元110、线性预测系数存储单元109a、线性预测系数存 储单元109b、平均值计算单元107a、及线性预测计算单元107b生成预测图像。由线性预测系数生成单元110生成的加权系数组，被存储在线性预测系数存储单 元109a及线性预测系数存储单元109b中。平均值计算单元107a，从线性预测系数存储单元 109a中获得通过由移动检测处理决定的第1参照索引refl选择的1组加权系数组(wl_l、 w2_l、c_l、d_l)，同样从线性预测系数存储单元109b中获得通过第2参照索引ref2选择的 1 组加权系数组(wl_2、w2_2、c_2、d_2)。
平均值计算单元107a，取由线性预测系数存储单元109a、109b获得的各自的加权 系数组的每个参数的平均值，作为实际线性预测使用的加权系数组(wl、w2、C、d)，输出到线 性预测计算单元107b中。线性预测计算单元107b，以得到的加权系数组(wl、w2、c、d)为基础，使用公式1运算预测图像并输出。并且，图9是表示生成预测图像的其他功能结构的功能方框图。通过线性预测系 数生成单元110、线性预测系数存储单元109a、线性预测系数存储单元109b、线性预测计算 单元107c、线性预测计算单元107d、及平均值计算单元107e生成预测图像。由线性预测系数生成单元110生成的加权系数组，被存储在线性预测系数存储单 元109a及线性预测系数存储单元109b中。线性预测计算单元107c，从线性预测系数存储 单元109a中获得通过由移动检测处理决定的第1参照索引refl选择的1组加权系数组 (wl_l、w2_l、C_l、d_l)，以其加权系数组为基础，使用公式1运算预测图像并输出到平均值 计算单元107e中。同样，线性预测计算单元107d，从线性预测系数存储单元109b获得以通过移动检 测处理决定的第2参照索引ref2为基础选择的1组加权系数组(wl_2、w2_2、C_2、d_2)，以 其加权系数组为基础使用公式1运算预测图像，并输出到平均值计算单元107e中。平均值计算单元107e，取分别由线性预测计算单元107c、线性预测计算单元107d 输出的预测图像的各像素的平均值，生成最终的预测图像并输出。图10(a)是表示生成预测图像的其他功能结构的功能方框图。通过线性预测系数 生成单元110、线性预测系数存储单元109C、线性预测系数存储单元109d、平均值计算单元 107f、线性预测计算单元107g生成预测图像。由线性预测系数生成单元110生成的加权系数组被存储在线性预测系数存储单 元109c及线性预测系数存储单元109d中。平均值计算单元107f，从通过由移动检测处理 决定的第1参照索引refl所选择的1组加权系数组(wl_l、w2_U c_l、d_l)中，由线性预 测系数存储单元109c获得c_l、d_l的参数，同样在通过第2参照索引ref2选择的1组加 权系数组(wl_2、w2_v2, c_2、d_2)中，c_2、d_2的参数由线性预测系数存储单元109d获 得。平均值计算单元107f，计算出由线性预测系数存储单元109c及线性预测系数存储单 元109d获得的c_l和c_2的平均值，d_l和d_2的平均值，求出c、d并输出到线性预测计 算单元107g中。并且，线性预测计算单元107g，在所述加权系数组(wl_l、w2_l、C_l、d_l)中，由线 性预测系数存储单元109c获得wl_l的参数，在所述加权系数组(wl_2、w2_2、C_2、d_2)中， 由线性预测系数存储单元109d获得w2_2的参数，由平均值计算单元107f求得各自的平均 值获得c、d，并使用公式1运算预测图像并输出。即，线性预测计算单元107g，在由线性预测系数存储单元109c得到的加权系数组 (wl_Uw2_U c_l、d_l)和由线性预测系数存储单元109d得到的加权系数组(wl_2、w2_2、 c_2、d_2)中，在实际决定线性预测中使用的加权系数组(wl、w2、C、d)时，使用下述的规则。wl = wl_l, w2 = w2_2, c = (c_l 和 c_2 的平均值)，d = (d_l 和 d_2 的平均值)这样在图10(a)中说明的预测图像的生成中，线性预测系数存储单元109c不需要 加权系数组中的《2_1。因此，refl用的加权系数组中也不再需要w2。由此可以缩小代码 串ο并且，线性预测系数存储单元109d在加权系数组中不再需要wl_2。因此，ref2用 的加权系数组中也不再需要《1。由此可以缩小代码串。图10(b)是表示生成预测图像的其他功能结构的功能方框图。通过线性预测系数生成单元110、线性预测系数存储单元109e、线性预测系数存储单元109f、线性预测计算单 元107h生成预测图像。由线性预测系数生成单元110生成的加权系数组被存储在线性预测系数存储单 元109e及线性预测系数存储单元109f中。线性预测计算单元107h，在通过由移动检测处 理决定的第1参照索引refl所选择的1组加权系数组(wl_l、w2_l、C_l、d_l)中，一部分的 wl_Uc_Ud_l的参数由线性预测系数存储单元109e获得，同样在通过第2参照索引ref2 选择的1组加权系数组(wl_2、w2_2、c_2、d_2)中，一部分的w2_2的参数由线性预测系数 存储单元109f获得。线性预测计算单元107h，以通过线性预测系数存储单元109e及线性 预测系数存储单元109f获得的wl_l、c_l、d_l、w2_2为基础，使用公式1运算预测图像并 输出。即，线性预测计算单元107h，在由线性预测系数存储单元109e得到的加权系数组 (wl_Uw2_U c_l、d_l)和由线性预测系数存储单元109f得到的加权系数组(wl_2、w2_2、 c_2、d_2)中，在实际决定线性预测中使用的加权系数组(wl、w2、C、d)时，使用下述的规则。wl = wl_l, w2 = w2_2, c = c_l, d = d_l并且，在图10(b)中说明的预测图像的生成中，线性预测系数存储单元109e在加 权系数组中不再需要w2_l。因此，refl用的加权系数组中也不再需要w2。由此可以缩小 代码串。并且，线性预测系数存储单元109f在加权系数组中不再需要wl_2、c_2、d_2。因 此，ref2用的加权系数组中也不再需要wl、c、d。由此可以缩小代码串。并且，能够将wl、w2、c、d的参数中的1个或多个作为固定值使用。图11表示的 是与图10(a)中的功能结构相对，只将d作为固定值使用的情况下的功能方框图。通过线 性预测系数生成单元110、线性预测系数存储单元109i、线性预测系数存储单元109j、平均 值计算单元107 j、线性预测计算单元107k生成预测图像。通过第1参照索引refl从线性预测系数存储单元109i中选择的系数只有(wl_l、 c_l)，通过第2参照索引ref2从线性预测系数存储单元109j中选择的系数只有(w2_2、 c_2)。平均值计算单元107 j计算出由线性预测系数存储单元109i及线性预测系数存储单 元109j获得的c_l和c_2的平均值，求出c并输出到线性预测计算单元107k中。并且，线性预测计算单元107k，通过线性预测系数存储单元109i获得wl_l的参 数，通过线性预测系数存储单元109 j获得w2_2的参数，通过平均值计算单元107 j获得c 的参数，作为d的参数使用事先决定的固定值，并使用公式1计算预测图像并输出。即，在 公式1的系数(wl、w2、C、d)中输入下列值。wl = wl_Uw2 = w2_2、c = (c_l 禾口 c_2 的平均值)、d =(固定值)将该值代入到公式1中得到下述的公式la。P(i) = (wl_lXQl(i)+w2_2XQ2(i))/pow(2，d) + (c_l+c_2)/2(公式 la)(pow (2，d)表示 2 的 d 次方)通过进一步将公式Ia变形得到如公式Ib —样的。在线性预测计算单元107k中 的线性预测运算方法，能够与在公式Ib的形式下使用的情况及在公式1的形式下使用的情 况同样对待。P (i) = (wl_l X Ql (i) /pow (2，d_l) +c_l+w2_2 X Q2 (i) /pow (2，d_l) +c_2) /2 (公式lb)(pow(2, d-1)表示的是 2 的 d-1 次方)由于在公式lb中为pow(2，d-1), d为固定值，所以也可以采用通过将作为d’ = d-1的d向线性预测计算单元107k中输入，构成作业pow (2，d’ )的系统。并且，在图11说明的预测图像的生成中，因为线性预测系数存储单元109i只需要 加权系数组中的和c_l，线性预测系数存储单元109 j只需要加权系数组中的w2_2和 c_2，所以不需要再将除此以外的参数编码。进而能够缩小代码串。作为d的值使用的预先决定的固定值，通常可以使用相同的值，能够通过将上述 固定值记述在片头中对每个片段进行替换。同样，能够通过将其记述在图像共同信息区域 或序列共同信息区域中对每个图像或每个序列进行替换。图12表示的是使用上述线性预测方法时的片段数据区域的结构。与图6的不同 点是，d只有一个记述在片头区域中这一点，和作为refl用的pset只有wl_l和c_l被记 述的这一点。图13表示的是包含在所述片头区域内的所述加权系数组的例子。在标识符 pset中显示的各个数据拥有wl_l、c_l或w2_2、c_2的2个值，并能够通过ref 1及ref2的 值直接进行参照。在线性预测系数生成单元110中，通过调查图像的特征生成加权系数组，在移动 补偿编码单元107中，使用图8、图9、图10、图11中说明的方法制作预测图像，并决定为使 预测误差达到最小的2个参照索引refl及ref2的组合。在如图10(a)、(b)、图11所示在 使用不需要所有的参数的方法的情况下，在编码装置的线性预测系数生成单元110中制作 加权系数组的阶段，能够省去没有必要的参数制作处理。并且，在图10(a)、(b)、图11所示的方法中，在线性预测系数生成单元110中生成 加权系数组时，例如wl_l、w2_2 —样，能够使refl用的加权系数组和ref2用的加权系数组 分别独立探索并生成最适合的对象。即，使用此种方法能够削减在编码装置中生成加权系 数组的处理量。所述编码方法是与拥有2幅参照图像的B图像相关，但在只拥有1幅参照图像的 P图像及B图像中的单一图像参照编码模式中也能够进行同样的处理。在这种情况下只使 用第1参照索引或第2参照索引的任何一方，图6的代码串中的片头区域中的pset及idx_ cmd，根据块数据区域中记述的参照索引，只记述为refl用或ref2用。并且，线性预测的方法使用下述的公式3替换以往方法中说明的公式1。此时， Q1⑴作为参照块的像素值，P(i)作为编码对象块的预测图像的像素值，wl、w2、C、d为由 所选加权系数组得到的线性预测系数。 (pow(2, d)表示的是2的d次方)作为线性预测的式子还可以使用公式4代替公式3。此时，Ql(i)作为参照块的像 素值，P(i)作为编码对象块的预测图像的像素值，wUw2, c、d为由所选加权系数组得到的 线性预测系数。 (pow(2, d)表示的是2的d次方)在使用公式1及公式3的情况下，需要wl、w2、c、d的4个参数，在使用公式4的情况下，能够只由wl、c、d的3个参数进行线性预测。即，象P图像一样在图像全体中只使用第1参照索引或第2参照索引的任何一方的情况下，能够使记述在片头区域内的加权系 数组的数据的项目数分别以每3个减少。在使用公式3的情况下，能够在B图像和P图像中不改变结构而实现与两方对应 的线性预测。并且，在使用公式4的情况下，能够削减记述在P图像的片头区域内的数据 量，进而能够削减处理量达到使计算简单化的目的。但是，由于无论在哪种方法中，都能够 原封不动地适用本发明中提出的参照索引的分配方法，所以能够生成编码效率较高的预测 图像，对图像的编码非常有效。但是，在移动补偿中的参照图像，是由指定被分配到各个图像中的参照索引决定 的。此时，将可能参照的图像的最大张数记述在代码串的图像共同信息部分。图38是记述能够参照的图像的最大张数的代码串的模式图。如图所示在代码串 的图像共同信息中，记述ref 1用的图像的最大数MaX_picl和ref2用的图像的最大数Max_ pic2。编码中必要的信息，并不是实际中图像的最大张数，而是为指定图像使用的参照 索引的能够取得的最大值。在以往的方法中，由于1个图像中只被分配给1个参照索引，所以通过记述所述的 图像的最大张数不会产生矛盾，但特别像本发明一样，在多个参照索引被分配给图像编号 的情况下，其差异会造成很大影响。如上文所述，代码串中记述有为将参照索引分配到图像编号中的指令列idx_ cmdl、及idx_cmd2。以该指令列idx_cmdl、及idx_cmd2和各个指令为基础，使图像编号和 参照索引相对应。此时，通过得知参照索引的最大值，能够明白所有的参照索引与图像编号 都已进行了对应，能够得知指令列idx_cmdl、及idx_cmd2中的指令的终端。在本发明的实施形态中，将可利用的参照索引的最大数代替以往的图像最大张 数，记述在图像的开头的图像共同信息部分。图23表示的是将参照索引的最大数记述在图像的代码串的图像共同信息中的状 态。在图像的共同信息部分中，记述有refl用的可利用参照索引的最大数Max_idxl和ref2 用的可利用参照索引的最大数Maxjdx 2。在图23中，在图像共同信息中记述有参照索引的最大数，在此之上，也可以采用 在片段数据区域内记述参照索引最大数的结构。例如，图像的参照索引的最大数是8，该图 像的片段1中必要的参照索引的最大数是8，片段2中必要的参照索引的最大值是4，在根 据片段必要的参照索引的最大数与被记述到图像共同信息区域中的最大数不同的情况下， 能够明确表示每个片段必要的参照索引的最大数。即，将记述在图像共同信息中的参照索引的最大数作为图像中的各个片段中共同 的默认值，必要的参照索引的最大数对于与默认值不同的片段也可以记述在片头中。图23及图38表示的是将图像共同信息区域和片段数据区域总括到一起作为代码 串的例子，但图像共同信息区域和片段数据区域能够分别作为独立的代码串，这种情况下 也能够进行完全相同的处理。(实施形态2)对本发明的实施形态2中的动态图像编码方法进行说明。由于编码装置的结构及编码的处理流程及参照索引的分配方法与实施形态1完全相同，这里就省略了具体的说 明。在实施形态1中，在移动补偿中生成预测图像之际，使用公式1或公式3或公式4 进行每个像素的线性预测。但是，这些式子中都包含有乘法运算处理，若对所有的像素进行 这样的运算，处理量会变得非常大。这里将使用公式5代替公式1、使用公式6代替公式3、公式7代替公式4。因为这 些式子不使用乘法运算而只进行位移运算，所以能够缩小处理量。此时，Ql(i)、Q2(i)是参 照块的像素值，P(i)是编码对象块的预测图像的像素值，m、η、c是由选择的加权系数组得 到的线性预测系数。 (公式5) (公式6)
(公式 7)(pow (2，m)表示2的m次方，pow (2，η)表示2的η次方)与实施形态1相同，在同时参照2张图像生成预测图像时使用公式5，在只参照1 张图像生成预测图像时使用公式6或公式7。由于在这些式子中需要表示正负的符号的标 识符，所以预测运算必要的加权系数组，在公式5及公式6的情况下为(Signl、m、Sign2、n、 c)，在公式7的情况下为(signl、m、C)。signl是识别第1个正负符号的参数，sign2是识 别第2个正负符号的参数。参数的个数比实施形态1有所增加，但由于signl及sign2分 别以1比特的形式出现，所以代码量几乎没有增加。在这里对到决定加权系数组，使用公式5同时参照2张图像生成预测图像为止的 处理流程进行详细说明。首先，对生成预测图像的功能结构的图8的情况进行说明。平均值计算单元107a， 通过线性预测系数存储单元109a得到加权系数组(signl_l、m_l、sign2_U n_U c_l)。并 且，平均值计算单元107a，通过线性预测系数存储单元109b得到加权系数组(signl_2、 m—2、sign2_2、n_2、c_2)。平均值计算单元107a，求出通过线性预测系数存储单元109a、线性预测系数存储 单元109b得到的加权系数组的每个参数的平均值，作为加权系数组(signl、m、sign2、η、 c)。线性预测计算单元107b，以平均值计算单元107a输出的加权系数组(signl、m、sign2、 η、c)为基础，使用公式5运算预测图像。图8中记载的由线性预测系数存储单元109a等得到的加权系数组(wl_l、w2_U c_l、d_l)等，是实施形态1中说明的公式1的情况下的例子，虽说图中未显示对于使用公 式5求预测图像的情况下参数，但可以原封不动地直接替换。在以下说明的图9、图10的情 况中也是一样。下面，将对生成预测图像的功能结构的图9的情况进行说明。线性预测计算单元 107c,以由线性预测系数存储单元109a得到的加权系数组(signl_l、m_l、sign2_U n_l、 c_l)为基础运算预测图像。线性预测计算单元107d，以由线性预测系数存储单元109b得 到的加权系数组(Signl_2、m_2、Sign2_2、n_2、C_2)为基础运算预测图像。平均值计算单元107e，求出线性预测计算单元107c、107d各自运算的预测图像的各像素的平均值，作为 预测图像。在这种情况下，线性预测计算单元107c，由于以加权系数组(signl_l、m_l、 sign2_Un_Uc_l)为基础使用公式5，最初运算预测图像，能够不使用乘法运算，通过位移 运算进行计算。线性预测计算单元107d也是同样。另一方面，在图8的情况下，由于最初求 得加权系数组(signl_l、m_l、sign2_l、n_l、c_l)和加权系数组(signl_2、m_2、sign2_2、 n_2、c_2)的平均值，会出现的平均值或11_1和11_2的平均值不是整数的情况下， 即由于2的指数部分不是整数，很有可能导致处理量增多。并且，为了使2的指数部分成为 整数而进行舍入处理，也会导致误差增大。下面将对生成预测图像的功能结构的图10(a)的情况进行说明。线性预测计算 单元107g，将由线性预测系数存储单元109c得到的用于位移运算的系数的参数signl_l、 m_l,由线性预测系数存储单元109c得到的用于位移运算的系数的参数Sign2_2、n_2，由各 线性预测系数存储单元109c、109d得到的参数c_l和c_2，以平均值计算单元107f平均求 得的平均值c为基础，使用公式5运算预测图像。在这种情况下，因为用于位移运算的系数，是直接由线性预测系数存储单元109c 或线性预测系数存储单元109d得到的值，所以公式5中2的指数部分是整数。因此，能够 通过位移运算进行计算，可以缩小处理量。下面将对生成预测图像的功能结构的图10(b)的情况进行说明。线性预测计算单 元107h，以由线性预测系数存储单元109e得到的参数signl_l、m_l、c_l，和由线性预测系 数存储单元109f得到的参数sign2_2、n_2为基础，使用公式5运算预测图像。在这种情况下，因为用于位移运算的系数，是直接由线性预测系数存储单元109e 或线性预测系数存储单元109f得到的值，所以公式5中2的指数部分是整数。因此，能够 通过位移运算进行计算，可以缩小处理量。在图10(a) (b)的情况下，和实施形态1中的图10(a) (b)的说明一样，有不用附加 在代码串中发送的参数，能够缩小代码串。以上是使用实施形态2中说明的线性预测式，能够不使用乘法运算通过位移运算 进行计算，因此与实施形态1相比能够大幅度削减处理量。在上述实施形态中，旨在通过使用公式5、公式6、公式7代替公式1、公式3、公式 4，编码参数组合也使用(Signl、m、Sign2、n、C)代替(wl、w2、c、d)，进行线性预测，实现只 通过位移运算削减处理量的目的。作为其他的方法，原封不动地使用公式1、公式3、公式4 及(wl、w2、C、d)，通过限制将wl及w2作为选择只可进行位移运算的可能值，也能够实现只 通过位移运算削减处理量的目的。在图1的线性预测系数生成单元110中记载有，在决定wl及w2的各个值时，作为 其选项只能选择位移运算可能的值，对于图6及图12的代码串中的wl及w2则可原封不动 地选择。由此能够以同实施形态1完全相同的结构，达到削减线性预测处理量的目的，且通 过限制系数的选项能够更加容易地进行系数的决定。并且，作为进一步限定的方法，通常将wl及w2作为1选择进行限制，能够在线性 预测系数生成单元110中生成直流成分的cl及c2最适合的值。以图11的结构的情况为 例，将作为refl用的(1、(_1)、作为1~时2用的(l、c_2)作为参数组合进行编码。在这种情况下，预测图像的像素值p(i)，将由(公式la)中的wl_l及w2_2替换1的下面的式子求
出ο (pow (2，d)表示的是2的d次方)由此能够以同实施形态1完全相同的结构，达到削减线性预测处理量的目的，进而由于不确定的系数只为c_l及c_2，所以能够使系数的决定方法大幅度简单化。图24表示的是在图像的代码串的图像共同信息中记述有表示是否可能只通过位 移运算进行线性预测的标记sft_flg，及表示是否可能只通过直流成分c进行线性预测的 标记dc_flg的例子。在解码装置中可以不参照这些标记进行解码，但是通过参照这些标 记，能够利用适合于只通过位移运算进行线性预测的结构进行解码，能够利用适合于只通 过直流成分进行线性预测的结构进行解码，因此根据解码装置的结构能够成为非常重要的 fn息ο在图24中表示的是将图像共同信息区域和片段数据区域总括起来作为代码串的 例子，但图像共同信息区域和片段数据区域能够分别作为独立的代码串，这种情况下也能 够进行完全相同的处理。并且，在图24的例子中，在图像共同信息区域内记述有sft_flg 及dc_flg，在记述在序列共同信息区域及其他独立的共同信息区域内的情况也能够进行同 样的处理。并且，不仅在两方同时使用这2个两标记的情况，也可以只使用sft_flg或dc_ flg，在那些情况下也能够进行同样的处理。(实施形态3)对本发明实施形态3中的动态图像编码方法进行说明。由于编码装置的结构及编 码的处理流程及参照索引的分配方法与实施形态1完全相同，这里就省略了具体的说明。如以往技术中说明的那样，并不是使用实施形态1及实施形态2那样由线性预测 系数的加权系数组求得的预测式生成预测图像，而是采用使用公式2a及公式2b那样预先 决定的固定式求出预测图像的方法。使用这种方法，其优点在于不必将求预测图像时的加 权系数组编码并发送，所以能够减少编码量。并且，由于线性预测的计算式简单，只通过很 少的处理量就能够大幅度削减线性预测。但是，由于使用这种固定的方法，能够选择的线性 预测式只有公式2a及公式2b两种，所以存在预测精度变差的问题。于是在本实施形态中使用公式8a、8b代替公式2a、公式2b。这些式子在公式2a、 公式2b中加入了 Cl及C2。因为在运算上只是增加了加法运算的次数，与原式相比处理量 几乎没有增加。此时，Ql(i)、Q2(i)是参照块的像素值，P(i)是编码对象块的预测图像的 像素值，C1、C2是由选择的加权系数组得到的线性预测系数。
公式8a、8b是同时参照2张图像生成预测图像时的预测式，在参照1张图像生成 预测图像时，本实施形态中将使用公式9代替说明的公式3、公式4。P(i) = Ql(i)+Cl(公式 9)使用这种方法所必需的加权系数组，只有作为refl用的(Cl)和作为ref2用的 (C2)。因此，在使用这种方法情况下的图像的代码串的例子如图14所示，在片头区域中分 别记述有refl用和ref2用进行线性预测的加权系数组(psetO、psetl, pset2、……)，各个加权系数组的内容只成为C。同样，图15表示的是包含在所述片头区域内的加权系数组 的例子，与图7不同，各个加权系数组的要素只是C。图16是表示图1的线性预测系数生成单元110、线性预测系数存储单元109、及移 动补偿编码单元107中生成预测图像的功能结构的功能方框图。通过线形系数生成部110、线性预测系数存储单元109g、线性预测系数存储单元 109h、及线性预测计算单元107i生成预测图像。由线性预测系数生成单元110生成的加权系数组被存储在线性预测系数存储单 元109g及线性预测系数存储单元109h中。通过由移动检测处理决定的第1参照索引refl 及第2参照索引ref2获得分别拥有线性预测系数存储单元109g及109h的1个结构要素 的加权系数组(Cl)及(C2)。那些值被输入到线性预测计算单元107i中，使用公式8a、8b 进行线性预测，并生成预测图像。同样，在只参照1张图像进行线性预测的情况下，只由图16的refl或ref2的任何一个获得加权系数组(Cl)或(C2)，使用公式9进行线性预测，生成预测图像。在线性预测系数生成单元110中，通过调查图像的特征生成加权系数组(Cl)及 (C2)，使用图16中说明的方法制作预测图像，并决定为使预测误差达到最小的2个参照索 引refl及ref2的组合。这样，由于本实施形态使用的参数的数量只要refl用、ref2用每个有一个就可 以，所以能够使在编码装置中决定参数值的处理变得更加容易，并可以削减记述在代码串 中的数据量。并且，因为线性预测式不需要采用乘法运算等复杂的运算，能够将运算量抑制 在最小限度。并且通过使用Cl及C2系数可以大幅度改善使用以往的固定式的方法中预测 精度差的缺点。本实施形态中说明的线性预测方法，与多个参照索引是否能够参照同一图像无 关，都可以使用。(实施形态4)对本发明的实施形态4中的动态图像编码方法进行说明。由于编码装置的结构 及编码的处理流程及参照索引的分配方法与实施形态1完全相同，这里就省略了具体的说 明。各个图像和图像编号一起被分配给显示的时间或表示代替其对象的显示顺序信 息。图39是并列表示其中1例的图像编号和显示顺序信息的图。显示顺序信息根据显示 顺序被分配某个值。在该图中的例子中，使用的是每1个图像增加1的值。使用这些显示 顺序信息生成进行线性预测所用系数的值的方法在实施形态4中进行说明。在实施形态1中，在移动补偿中生成预测图像之际，使用公式1或公式3或公式4 对每个像素进行线性预测。但是，为进行这些线性预测需要有系数的数据，在上述实施形态 中，作为片头区域中的加权系数组在代码串中记述有系数的数据，并用于预测图像的制作。 但是，在得到较高的编码效率的反面，有必要进行制作加权系数组的数据的处理，并且，将 加权系数组记述在代码串中会导致比特量的增加。于是可以使用公式10、公式11a、公式12a代替公式1进行线性预测。由于这些式 子可以只从各幅参照图像拥有的显示顺序信息中决定加权系数，所以没有必要另外将加权 系数组编码。
此时，Ql(i)、Q2(i)是参照块的像素值，P(i)是编码对象块的预测图像的像素值， V0、VI是加权系数、TO是编码对象图像的显示顺序信息、T1是由第1参照索引指定的图像 的显示顺序信息、T2是由第2参照索引指定的图像的显示顺序信息。P(i) = VlXQl(i)+V2XQ2(i) (公式 10)VI = (T2-T0)/(T2-T1)(公式 11a)V2 = (T0-T1)/(T2-T1)(公式 12a)举个例子，在图39中，设定编码对象图像为16号、由第1参照索引指定的图像为 11号、由第2参照索引指定的图像为10号，各自的图像的显示顺序信息则为15、13、10，所 以成为下列的线性预测式。VI = (10-15)/(10-13) = 5/3V2 = (15-13)/(10-13) =-2/3P (i) = 5/3 X Q1 (i) -2/3 X Q2 (i)与利用使用公式1的加权系数组进行线性预测的方法比较系数值的自由度较低， 所以可以说很难生成最适合的预测图像，但是与通过2张参照图像的位置关系切换由使用 公式2a、公式2b两个式子组成的固定式的方法相比较，能够生成效率更高的线性预测式。在第1参照索引及第2参照索引参照同一图像的情况下，Tl = T2，所以公式11a、 公式12a不成立。于是，参照的2张图像拥有同一显示顺序信息的情况下作为VI及V2的 值使用1/2进行线性预测。这种情况下的线性预测式如下文所述。VI = 1/2V2 = 1/2P(i) = l/2XQl(i)+l/2XQ2(i)并且，在第1参照索引及第2参照索引参照不同的图像，那些图像拥有同一显示顺 序信息的情况下，Tl =T2，所以公式11a、公式12a不成立。这样，参照的2张图像拥有同 一显示顺序信息的情况下作为VI及V2的值使用1/2进行线性预测。这样，在参照的2张图像拥有同一显示顺序信息的情况下，可以采用将预先设定 的值作为系数使用的结构。将预先设定的值作为系数，可以是如上述的1/2的例子中所示 拥有相同的权的系数。但是，如上述实施形态中使用公式10，进行线性预测就必须要有乘法运算及除法 运算。因为由公式10进行的线性预测运算对编码对象块内的所有像素都进行运算，所以加 上乘法运算会使处理量大幅度增加。于是，同实施形态2的考虑方法一样，通过使VI及V2近似于2次方，能够使线性 预测的运算只通过位移运算进行，从而达到削减处理量的目的。这种情况下的线性预测式 使用公式lib、公式12b代替公式11a、公式12a。其中，vl及v2要取整数。VI = 士pow(2，vl) = apX ((T2-T0)/(T2-T1))(公式 lib)V2 = 士pow(2，v2) = apX ((T0-T1)/(T2-T1))(公式 12b)(pow(2，vl)表示 2 的 vl 次方，pow(2，v2)表示 2 的 v2 次方)( = apX ()表示()内的值与左边的值相近似)也可以使用公式11c、公式12c代替公式11a、公式12a。其中，vl要取整数。VI = 士pow(2，vl) = apX ((T2-T0)/(T2-T1))(公式 11c)
V2 = I-Vl (公式 12c)(pow(2, vl)表示 2 的 vl 次方)( = ap χ ()表示()内的值与左边的值相近似)也可以使用公式lid、公式12d代替公式11a、公式12a。其中，vl取整数。Vl = 1-V2(公式 lid)V2 = 士 pow (2，v2) = apX ((T0-T1) / (T2-T1))(公式 12d)(pow (2，v2)表示 2 的 v2 次方)( = ap χ ()表示()内的值与左边的值相近似)2的平方的近似值方法，以公式lib为例，使vl的值逐一变化时，以士pow(2，vl) 和(T2-T0)/(T2-T1)最近时的±pow(2, vl)作为所求值。例如在图39中，设定编码对象图像为16号，由第1参照索引指定的图像为11号，由第2参照索引指定的图像为10号，各自的图像的显示顺序信息则为15、13、10，所以 (T2-T0)/(T2-T1)及 士pow(2，vl)如下所示。(T2-T0)/(T2-T1) = (10—15) / (10—13) = 5/3+pow (2,0) = U+pow (2,1) =25/3与1相比与2的值较近，所以近似的结果Vl = 2。并且，作为其他的近似值的方法，通过显示顺序信息Tl及T2的2个值的关系，可 转换使用增值的近似值和降值的近似值。这种情况下，Tl较T2在时间上落后的情况下，对于Vl及V2的两者取增值的近似 值，在Tl较T2在时间上领先的情况下，对于Vl及V2的两者取舍去的近似值。相反，在Tl 较T2在时间上落后的情况下，对Vl及V2的两者取舍去的近似值，在Tl较T2在时间上领 先的情况下，对于Vl及V2的两者取增值的近似值。并且，作为使用其他的显示顺序信息取近似值的方法，在Tl较T2在时间上落后的 情况下，在与Vl相关的式子中取增值的近似值，在与V2相关的式子中取舍去的近似值。由 此因为2个系数的值相互分离，能够容易得到适合的外插值。相反，在Tl较T2在时间上领 先的情况下，在将与Vl相关的式子和与V2相关的式子得到的两者的值进行比较时，在值小 的一方取往上进的近似值，在值大的一方取舍去的近似值。由此因为2个系数的值相互接 近，所以容易得到适合的内插值。举个例子，在图39中，设定编码对象图像为16号、由第1参照索引指定的图像为 11号、由第2参照索引指定的图像为10号，各自的图像的显示顺序信息则为15、13、10，由 于Tl较T2在时间上落后，所以在与Vl相关的式子中取往上进的近似值，在与Vl相关的式 子中取舍去的近似值。结果，公式lib及12b如下所示进行计算。(1)对于公式lib(T2-T0)/(T2-T1) = (10—15) / (10—13) = 5/3+pow (2,0) = U+pow (2,1) = 2取往上进的近似值的结果Vl = 2。(2)对于公式12b(T0-T1)/(T2-T1) = (15-13) / (10-13) = -2/3-pow(2,0) =-l、_pow(2，-1) = -1/2
取舍去的近似值的结果V2 = -1。上述实施形态中，线性预测式只有公式10的一 个，但也可以与以往的技术中说明的由公式2a及公式2b的2个式子组成的固定式的线性 预测方法组合起来使用。在这种情况下，使用公式10代替公式2a，公式2b原封不动进行使 用。即，在由第1参照索引指定的图像在显示顺序中落后于由第2参照索引指定的图像的 情况下使用公式10，除此以外的情况使用公式2b。并且，相反，也可以使用公式10代替公式2b，原封不动地使用公式2a。即，在由第 1参照索引指定的图像在显示顺序中落后于由第2参照索引指定的图像的情况下使用公式 2a,除此以外的情况使用公式10。但是，此时参照的2张图像拥有同一显示顺序信息的情况 下，使用1/2作为Vl及V2的值进行线性预测。并且，与实施形态3的考虑方法同样，可以只将系数C记述在片头区域中用于线性 预测。这种情况下使用公式13代替公式10。Vl及V2的求值方法与上述实施形态相同。P (i) =VlX (Q1 (i) +Cl) +V2 X (Q2 (i) +C2)(公式 13)必须进行生成系数的处理，而且，有必要在片头区域内将系数数据编码，但是即使 是在Vl及V2的精度较低的情况下也能够通过使用Cl及C2进行精度较高的线性预测。特 别是在使Vl及V2取与2次方近似的值进行线性预测的情况中非常有效。在使用公式13的情况下的线性预测中，无论是在1个图像中分配有1个参照索引 的情况下，还是在1个图像中分配有多个参照索引的情况，都可以同样对待。在公式11a、公式12a、公式lib、公式12b、公式11c、公式12c、公式IlcU公式12d 各式的值的计算中，所得值的组合在每个片段中都受到某种程度的限制，所以最好将片段 编码再进行一次运算，由于没有必要像公式10，公式13那样对块的所有像素都进行运算， 因此对全体处理量的影响很小。本发明的实施形态中的显示顺序信息，不仅局限于显示的顺序，实施的显示的时 间、以随着显示的时间值变大的规定的图像为基准的各个图像的参照顺序也可以。(实施形态5)对本发明的实施形态5中的动态图像编码方法进行说明。由于编码装置的结构 及编码的处理流程及参照索引的分配方法与实施形态1完全相同，这里就省略了具体的说 明。在以往的方法中使用固定式生成预测图像的情况，和使用线性预测系数的加权系 数组生成预测图像的情况下，可以通过记述在代码串的图像共同信息部中的标记根据必要 进行替换。本实施形态中，对使用标记替换实施形态1至实施形态4中说明的各种线性预测 方法的方法进行说明。图17(a)为将控制上述替换的 5 个标记(p_flag、c_flag、d_flag、t_flag、s_flag) 记述在代码串中的片头区域内情况下的结构。如图17(b)所示，p_flag是表示加权系数是否编码后的标记。并且，c_flag是表 示在refl用及ref2用的参数中，是否只有与参数C(C1及C2)相关的数据编码后的标记。 并且，t_flag是表示是否使用参照图像的显示顺序信息生成线性预测的加权系数的标记。 并且，S_flag是表示为了能够通过位移运算计算线性预测的加权系数，是否取与2次方近 似的值的标记。
并且，d_flag表示的是如公式2a及2b所示，在使用预先设定的2个固定式进行线 性预测之际，是否通过由refl指定的图像和由ref2指定的图像的时间上的位置关系进行 2式的切换的标记。即，在指定由此标记进行替换的情况下，与以往的方法相同，在由refl 指定的图像在显示顺序中落后于由ref2指定的图像的情况下，使用公式2a，除此以外的情 况使用公式2b进行线性预测。另一方面，在指定不由此标记进行替换的情况下，与由refl 指定的图像和由ref2指定的图像的位置关系无关，通常使用公式2b进行线性预测。在不替换使用的式子中还可以使用公式2a代替公式2b，在这种情况下能够采取 相同处理。在图1所示的编码装置中的移动补偿编码单元107中，决定各个片段中与加权系 数组相关的数据是否编码，并据此将标记P_flag的信息输出到代码串生成单元103中，并 如图17(a)所示记述在代码串中。由此，能够分别在处理能力高的装置中使用加权系数组 进行线性预测，在处理能力低的装置中不使用加权系数组进行线性预测。同样，在图1所示的编码装置中的移动补偿编码单元107中，决定各个片段中是 否只有与相当于图像数据的DC成分的参数C(C1及C2)相关的数据编码，并据此将标记c_ flag的信息输出到代码串生成单元103中，并如图17(a)所示记述在代码串中。由此，能够 分别在处理能力高的装置中使用加权系数组进行线性预测，在处理能力低的装置中只使用 直流成分进行线性预测。同样，在图1所示的编码装置中的移动补偿编码单元107中，决定各个片段中使用 固定式进行线性预测的情况下，是否替换使用2个式子进行编码，并据此将标记d_flag的 信息输出到代码串生成单元103中，并如图17(a)所示记述在代码串中。由此，能够分别在 图像的亮度在时间上并不变化的情况下只使用单个固定式进行线性预测，在图像的亮度随 时间变化的情况下替换使用2个固定式进行线性预测。同样，在图1所示的编码装置中的移动补偿编码单元107中，决定各个片段中是否 使用参照图像的显示顺序信息生成进行线性预测的系数，并据此将标记t_flag的信息输 出到代码串生成单元103中，并如图17(a)所示记述在代码串中。由此，能够分别在代码量 中尚有空余的情况下将加权系数组编码进行线性预测，在代码量中没有空余的情况下从显 示顺序信息中生成系数进行线性预测。同样，在图1所示的编码装置中的移动补偿编码单元107中，决定各个片段中为了 能够通过位移运算计算线性预测的加权系数，是否取与2次方近似的值，并据此将标记s_ flag的信息输出到代码串生成单元103中，并如图17(a)所示记述在代码串中。由此，能够 分别在处理能力高的装置中不取加权系数的近似值直接使用进行线性预测，在处理能力低 的装置中使加权系数使用与2次方近似的值实现通过位移运算进行线性预测。例如，(1)在(p、c、d、t、S_flag) = (1、0、0、0、1)的情况下，所有的加权系数组经 过编码，如实施形态2中说明的那样，通过用2次方表示系数，只由位移运算进行线性预测， 并生成预测图像。并且，(2)在(p、c、d、t、s_flag)= (1、1、1、0、0)的情况下，只有与参数 C(C1 及 C2)相关的数据经过编码，使用通过实施形态3中说明的向固定式中加入系数C生成预测图 像的方法，而且替换使用2个固定式。并且，(3)在(p、c、d、t、S_flag) = (0、0、0、0、0)的情况下，加权系数组不经过编码。即，使用只使用以往方法的固定式中的2b生成预测图像的方法。
并且，(4)在(p、C、d、t、S_flag) = (0、0、1、1、1)的情况下，加权系数组不经过编 码，但如实施形态2说明的那样，从参照图像的显示顺序信息中生成加权系数，而且通过使 系数与2次方近似只由位移运算进行线性预测，而且替换使用2个固定式生成预测图像。在上述实施形态中使用每个由1比特组成的5个标记(p_flag、c_flag、d_flag、 t_flag,s_flag)进行判别，也可以1个由5比特组成的标记代替5个标记进行判别。并且， 在这种情况下，并不是表示现为5比特而能够使用可变长编码进行编码。在上述实施形态中全部使用每个由1比特组成的5个标记(p_flag、c_flag、d_ flag, t_flag、S_flag)，在只使用其中1部分的标记进行线性预测方法的切换的情况下也 能够同样对待。这种情况下，图17(a)所示标记只将必要的对象编码并记述。在以往的方法中，替换使用固定式的预测图像的生成和使用线性预测系数的加权 系数组的预测图像的生成的标记设置在代码串的图像共同信息部分，能够以图像单位进行 替换。但是，这种方法只能每个图像切换一次预测图像的生成方法。但是，在本实施形态中，将该切换标记设置在代码串的片头，对于构成图像的每 一个片段都能够以任意方法替换生成预测图像，例如，在拥有复杂图像的片段中进行使用 加权系数组的预测图像的生成，在拥有简单图像的片段中进行使用固定式的预测图像的生 成，由此能够一直将处理量的增加限制在最小值并达到提高画面质量的目的。在上述实施形态中，将5 个标记(p_f lag、c_flag、d_flag、t_flag、s_flag)记述 在片头区域内对每个片段进行判别，通过将这些标记记述在图像共同信息区域内，能够以 图像单位进行切换。并且，通过在每个构成片段的块中设置切换标记，从而能够以块单位通 过最适合的方法进行预测图像的生成。本发明的实施形态中的显示顺序信息，不仅局限于显示的顺序，实施的显示的时 间、以随着显示的时间值变大的规定的图像为基准的各个图像的参照顺序也可以。(实施形态6)图2是表示本发明实施形态6中的动态图像解码装置的结构的方框图。下面将使 用图2所示的方框图对该动态图像解码装置中的动态图像解码方法以(1)解码的概要(2) 参照索引的分配方法(3)预测图像的生成方法的顺序进行说明。但是，在以下的说明中，将 以实施形态1的动态图像编码方法中生成的代码串作为输入对象。(1)解码的概要首先从输入的代码串中通过代码串解析单元201，从片头区域中将线预测用加权 系数组的数据列、及参照索引分配用指令列，从块编码信息区域中将参照索引及移动矢量 信息及预测误差编码数据等各种信息抽出。图6是表示上述编码信息包含在代码串中的情 况的图。由代码串解析单元201中抽出的线性预测用的加权系数组的数据列被输出到线 性预测系数存储单元206中、参照索引分配用指令列被输出到参照索引·图像编号变换单 元207中、参照索引被输出到移动补偿解码单元204中、移动矢量信息被输出到移动矢量存 储单元205中，预测误差编码信号被输出到预测误差解码单元部202中。在预测误差解码单元部202中对输入的误差编码信号实施逆量化、逆频率变换等 图像解码处理，并输出误差解码信号。在加法运算部208中进行上述误差解码信号和从移动补偿解码单元204输出的预测图像信号的加法运算生成再构成图像信号，得到的再构成 图像信号为在以后的画面间预测中用于参照、及表示用输出，被存储在图像存储器203中。在移动补偿解码单元2 04中，使用从移动矢量存储单元205中输入的移动矢量及 从代码串解析单元201中输入的参照索引，从存储在图像存储器203中的再构成图像信号 中取出最适合于预测图像的图像区域。此时，在参照索引 图像编号变换单元207中，通过 对应由代码串解析单元201中得到参照索引和图像编号，指定图像存储器203中的参照图 像。参照索引 图像编号变换单元207中动作的详细情况在(2)中进行详细说明。对 于得到的图像区域的像素值在移动补偿解码单元204中通过实施线性预测的插值处理等 像素值变换处理生成最终的预测图像。此时使用的线性预测系数通过从存储在线性预测系 数存储单元206的数据中以参照索引作为检索线索获得。对于这种预测图像生成方法，将在(3)中详细说明。由上述一系列处理生成的解码图像被存储在图像存储器203中，并根据表示的时 间作为表示用图像信号输出。以上的处理流程是在进行画面间预测解码情况下的动作，由开关209进行和画面 内预测解码的切换。在进行画面内解码的情况下，不进行由移动补偿的预测图像的生成，通 过从同一画面内的解码完毕区域生成解码对象区域的预测图像并进行加法运算生成解码 图像。解码图像同画面间预测解码的情况一样，被存储在图像存储器203中，并根据表示的 时间作为表示用图像信号输出。(2)参照索引的分配方法下面使用图3、图4对图2中的参照索引 图像编号变换单元207中的参照索引分 配方法进行说明。图3是说明与图像编号相对的2个参照索引的分配方法的图。在出现如图所示显 示顺序排列的图像列时，图像编号被分配给解码顺序。将图像指数分配给图像编号的指令 记述在将图像进一步分割的解码单位的片头中，每对一个片段进行解码分配方法就会更新 一次。上述指令只通过参照索引的数连续指示刚刚分配给参照索引的图像编号和现在正在 进行分配的图像编号之间的差分值。使用图3的第1参照索引的例子，首先由于作为指令被赋予“-1”，通过从作为现在 编码对象的图像编号16中减去1，图像编号15号被分配给参照索引0号。接下来由于被赋 予“_4”，通过从刚刚进行分配的图像编号15号中减去4，图像编号11号被分配给参照索引 1号。以下通过同样的处理进行各图像编号的分配。第2参照索引的情况也是同样。在图34所示的由以往的方法进行的参照索引分配方法中，所有的参照索引分别 与各自的图像编号相对应。另一方面，在图3的例子中，分配方法使用与以往完全相同的方 法，通过变更指令的值使多个参照索引号码对应同一图像编号。图4表示进行参照索引分配的结果。第1参照索引及第2参照索引都分别独立被 分配在各个图像编号中，可以看到一个图像编号被分配有多个参照索引。在本发明的解码 方法中，像该例子那样分配有多个参照索引的图像编号至少有1个以上。如果在只使用参照索引决定参照图像的情况下，像以往方法那样一个参照索引分 配给一个图像编号的分配方法是解码效率最好的方法。但是，在使用参照索引选择预测图像生成中线性预测系数的加权系数组的情况下，以往的方法在拥有相同参照图像的所有块 中必须使用相同的线性预测系数，所以无法生成最适合的预测图像的可能性非常高。而在 本发明中通过能够将多个参照索引分配给1个图像编号，即使是在拥有相同参照图像的情 况下，也能从每个块中多个线性预测系数的加权系数组的候选中选择出最适合的系数，进 而能够生成预测精度更高的预测图像。在以上的说明中，在被赋予图像编号的情况下，所有的参照图像都储存在参照用 存储器中，图像编号只在进行编码之前的图像被存储的情况下，值逐一增加，即使在出现无 法存储的图像的情况下，也能够保持参照存储器内的图像编号的连续性，能够原封不动的 使用上述方法。(3)预测图像的生成方法下面将使用图5对图2的移动补偿解码单元204中的预测图像生成方法进行说 明。由线性预测进行的预测图像生成方法与以往的方法完全相同，但由于能够让同一图像 对应多个参照索引号码，可以提高选择线性预测系数时的自由度。图像B16是作为现在解码的对象的B图像，块BL01及块BL02是属于所述B图像 的解码对象的块。BL01将第1参照图像作为图像P1、将第2参照图像作为图像B15、并参照 属于各自图像的块BL11及BL21制作预测图像。同样，BL02将第1参照图像作为图像P11、 将第2参照图像作为图像B15、并参照属于各自图像的块BL12及BL22制作预测图像。第1参照图像及第2参照图像参照和BL01、BL02 一起参照相同的内容，通过使用 (2)中说明的参照索引的分配方法，第1参照索引refl及第2参照索引ref2可以由BL01 和BL02取得不同的值。以图4为例，与图像编号11对应的第1参照索引分配有1和3，与 图像编号15对应的第2参照索引分配有1和6。结果，这些参照索引的组合如(refl、ref2) =(1、1)、(1、6)、(3、1)、(3、6)所示4种，能够每块选择从其中导出最适合的加权系数组的 组合。图5中的例子，BL01设定为refl = l、ref2 = UBL02设定为refl = 3、ref2 = 6。在由图35中以往的方法对应的参照索引的组合中，在图5所示例中由于BL01、 BL02共同只能选择(ren、ref2) = (1,1)的组合，能够选择的线性预测系数的加权系数组 也只有1种。另一方面，由于本发明中选择范围扩展到了 4种，所以选择最适合的加权系数 组的可能性变得更高。1个图像代码串，由图像共同信息区域及多个片段数据区域结构。图6表示的是其 中的片段数据区域的结构。而片段数据区域是由片头区域及多个块数据区域结构。这里作 为块数据区域的例子，如图5中所示的与BL01、BL02相对应的各块的区域。包含在BL01中的refl及ref2，分别指示该块指定参照的2张图像的第1参照索引 及第2参照索引。并且，为分配给片头区域进行所述线性预测的加权系数组的数据(psetO、 psetl, pset2,……)在refl用及ref2用中分别有记述。此时的pset能够只设定为与 ⑵中说明的参照索引的个数相同的数。即，如图3所示使第1参照索引、第2参照索引共 同使用从0到9的10个数字的情况下，pset也可以与refl用、ref2用共同设定为从0到 9的10个数字。图7表示的是包含在所述片头区域内的所述加权系数组的例子。由标识符pset 表示的各个数据拥有《1、w2, c、d的4个值，并且通过refl及ref2的值可以直接进行参 照。并且，在片头区域中记载有为将所述参照索引分配到图像符号中的指令列idX_cmdl及idx_cmd2。通过图6的BLOl中所述的refl及ref2，可以从图7的refl用及ref2用图表中 分别选择1组的加权系数组。通过使用该2组加权系数组对参照图像的像素值进行线性预 测生成预测图像。这里，将对决定加权系数组生成预测图像为止的处理流程进行详细说明。图18是表示在图2的线性预测系数存储单元206及移动补偿解码单元204中生 成预测图像的功能结构的功能方框图。通过线性预测系数存储单元206a、线性预测系数存储单元206b、平均值计算单元 204a、及线性预测计算单元204b生成预测图像。
平均值计算单元204a通过线性预测系数存储单元206a获得根据代码串解析单元 201中输出的refl所选择的1组加权系数组(wl_l、w2_l、c_l、d_l)，同样从线性预测系数 存储单元206b获得根据代码串解析单元201输出的ref2所选择的1组加权系数组(wl_2、 w2_2、c_2、d_2)。平均值计算单元204a，取由线性预测系数存储单元206a、206b获得的各自的加权 系数组的每个参数的平均值，作为实际线性预测使用的加权系数组(wl、w2、C、d)，输出到线 性预测计算单元204b中。线性预测计算单元204b以得到的加权系数组(wl、w2、c、d)为 基础，使用公式1运算预测图像并输出。并且，图19是表示生成预测图像的其他功能结构的功能方框图。通过线性预测系 数存储单元206a、线性预测系数存储单元206b、线性预测计算单元204c、线性预测计算单 元204d、及平均值计算单元204e生成预测图像。线性预测计算单元204c通过线性预测系数存储单元206a获得根据代码串解析单 元201输出的refl所选择的1组加权系数组(wl_l、w2_l、C_l、d_l)，以其加权系数组为基 础，使用公式1运算预测图像并输出到平均值计算单元204e中。同样，线性预测计算单元204d通过线性预测系数存储单元206b获得根据代码串 解析单元201输出的ref2所选择的1组加权系数组(wl_2、w2_2、C_2、d 2)，以其加权系数 组为基础使用公式1运算预测图像，并输出到平均值计算单元204e中。平均值计算单元204e，取分别由线性预测计算单元204c、线性预测计算单元204d 输出的预测图像的各像素的平均值，生成最终的预测图像并输出。图20(a)是表示生成预测图像的其他功能结构的功能方框图。通过线性预测系 数存储单元206c、线性预测系数存储单元206d、平均值计算单元204f、线性预测计算单元 204g生成预测图像。平均值计算单元204f，在根据代码串解析单元201输出的refl所选择的1组加 权系数组(wl_l、w2_l、C_l、d_l)中，c_l、d_l的参数由线性预测系数存储单元206c获得， 同样在根据代码串解析单元201输出的ref2所选择的1组加权系数组(wl_2、w2_2、c_2、 d_2)中，c_2、d_2的参数由线性预测系数存储单元206d获得。平均值计算单元204f，计算 出由线性预测系数存储单元206c及线性预测系数存储单元206d获得的c_l和c_2的平均 值，d_l和d_2的平均值，求出c、d并输出到线性预测计算单元204g中。并且，线性预测计算单元204g，在所述加权系数组(wl_l、w2_l、C_l、d_l)中，由线 性预测系数存储单元206c获得wl_l的参数，在所述加权系数组(wl_2、w2_2、C_2、d_2)中，由线性预测系数存储单元206d获得w2_2的参数，由平均值计算单元204f求得各自的平均 值获得c、d，并使用公式1运算预测图像并输出。即，线性预测计算单元204g，在由线性预测系数存储单元206c得到的加权系数组 (wl_Uw2_U c_l、d_l)和由线性预测系数存储单元206d得到的加权系数组(wl_2、w2_2、 c_2、d_2)中，在实际中决定线性预测中使用的加权系数组(wl、w2、C、d)时，使用下述的规 则。wl = wl_l, w2 = w2_2, c = (c_l 禾口 c_2 的平均值)，d = (d_l 禾口 d_2 的平均值)图20(b)是表示生成预测图像的其他功能结构的功能方框图。通过线性预测系数 存储单元206e、线性预测系数存储单元206f、线性预测计算单元204h生成预测图像。线性预测计算单元204h，在根据代码串解析单元201输出的refl所选择的1组 加权系数组(wl_l、w2_l、C_l、d_l)中，一部分的wl_l、c_l、d_l的参数由线性预测系数存 储单元206e获得，同样在根据代码串解析单元201输出的ref2所选择的1组加权系数组 (wl_2、w2_2、C_2、d_2)中，一部分的w2_2的参数由线性预测系数存储单元206f获得。线 性预测计算单元204h，以通过线性预测系数存储单元206e及线性预测系数存储单元206f 获得的wl_l、c_l、d_l、W2_2为基础，使用公式1运算预测图像并输出。即，线性预测计算单元204h，在由线性预测系数存储单元206e得到的加权系数组 (wl_Uw2_U c_l、d_l)和由线性预测系数存储单元206f得到的加权系数组(wl_2、w2_2、 c_2、d_2)中，在实际决定线性预测中使用的加权系数组(wl、w2、C、d)时，使用下述的规则。wl = wl_l, w2 = w2_2, c = c_l, d = d_l并且，能够将wl、w2、c、d的参数中的1个或多个作为固定值使用。图21表示的 是与图20(a)中的功能结构相对，只将d作为固定值使用的情况下的功能方框图。通过线 性预测系数存储单元206g、线性预测系数存储单元206h、平均值计算单元204i、线性预测 计算单元204 j生成预测图像。通过第1参照索引refl从线性预测系数存储单元206g中选择的系数只有(wl_l、 c_l)，通过第2参照索引ref2从线性预测系数存储单元206h中选择的系数只有(w2_2、 c_2)。平均值计算单元204i，计算出由线性预测系数存储单元206g及线性预测系数存储单 元206h获得的c_l和c_2的平均值，求出c并输出到线性预测计算单元204j中。并且，线性预测计算单元204 j，通过线性预测系数存储单元206g获得wl_l的参 数，通过线性预测系数存储单元206h获得w2_2的参数，通过平均值计算单元204i获得c 的参数，作为d的参数使用事先决定的固定值，并使用公式1计算预测图像并输出。这种情 况下，公式1可以如实施形态1说明的那样，如公式Ib —样变形进行处理。作为d的值使用的预先决定的固定值，通常可以使用相同的值，在编码装置中的 片头中记述有所述固定值的情况下，能够通过在编码列解析部201中抽出所述固定值对每 个片段进行替换。同样，能够通过将其记述在图像共同信息区域或序列共同信息区域中对 每个图像或每个序列进行替换。所述解码方法是与拥有2幅参照图像的B图像相关，但在只拥有1幅参照图像的 P图像及B图像中的单一图像参照解码模式中也能够进行同样的处理。在这种情况下只使 用第1参照索引或第2参照索引的任何一方，图6的代码串中的片头区域中的pset及idx_ cmd,根据块数据区域中记述的参照索引，只记述为ref 1用或ref2用。并且，线性预测的方法使用下述的公式3或公式4替换以往方法中说明的公式1。在使用公式1及公式3的情况下，需要wl、w2、c、d的4个参数，在使用公式4的 情况下，能够只由Wl、C、d的3个参数进行线性预测。即，象P图像一样在图像全体中只使 用第1参照索引或第2参照索引的任何一方的情况下，能够使记述在片头区域内的加权系 数组的数据的项目数分别以每3个减少。在使用公式3的情况下，能够在B图像和P图像中不改变结构而实现与两方对应 的线性预测。并且，在使用公式4的情况下，能够削减记述在P图像的片头区域内的数据 量，进而能够削减处理量达到使计算简单化的目的。但是，由于无论在哪种方法中，都能够 原封不动地适用本发明中提出的参照索引的分配方法，所以能够生成解码效率较高的预测 图像，对图像的解码非常有效。但是，在移动补偿中的参照图像，是由指定被分配到各个图像中的参照索引决定 的。此时，将可能参照的图像的最大张数记述在代码串的图像共同信息部分。图38是记述能够参照的图像的最大张数的代码串的模式图。如图所示在代码串 的图像共同信息中记述refl用的图像的最大数MaX_picl和ref2用的图像的最大数Max_ pic2。解码中必要的信息，并不是实际中图像的最大张数，而是为指定图像而使用的参 照索引的取得最大值。在以往的方法中，由于1个图像中只被分配给1个参照索引，通过记述所述的图像 的最大张数不会产生矛盾，特别象本发明一样，在多个参照索引被分配给图像编号的情况 下，其差异会造成很大影响。如上文所述，代码串中记述有为将参照索引分配到图像编号中的指令列idx_ cmdl、及idx_cmd2。以该指令列idx_cmdl、及idx_cmd2和各个指令为基础，使图像编号和 参照索引相对应。此时，通过得知参照索引的最大值，能够明白所有的参照索引与图像编号 都已进行了对应，能够得知指令列idx_cmdl、及idx_cmd2中的指令的终端。在本发明的实施形态中，将可利用的参照索引的最大数代替以往的图像最大张数 记述在图像的开头的图像共同信息部分。图23表示的是将参照索引的最大数记述在图像的代码串的图像共同信息中的状 态。在图像的共同信息部分中，记述有refl用的可利用参照索引的最大数Max_idxl和ref2 用的可利用参照索引的最大数Maxjdx 2。在图23中，在图像共同信息中记述有参照索引的最大数，在此之上，也可以采用 在片段数据区域内记述参照索引最大数的结构。例如，图像的参照索引的最大数是8，该图 像的片段1中必要的参照索引的最大数是8，片段2中必要的参照索引的最大值是4，在根 据片段必要的参照索引的最大数与被记述到图像共同信息区域中的最大数不同的情况下， 能够明确表示每个片段必要的参照索引的最大数。S卩，将记述在图像共同信息中的参照索引的最大数作为图像中的各个片段中共同 的默认值，必要的参照索引的最大数对于与默认值不同的片段也可以记述在片头中。图23及图38表示的是将图像共同信息区域和片段数据区域总括到一起作为代码 串的例子，但图像共同信息区域和片段数据区域能够分别作为独立的代码串，这种情况下 也能够进行完全相同的处理。
(实施形态7)将对本发明的实施形态7中的动态图像解码方法进行说明。由于解码装置的结构 及解码的处理流程及参照索引的分配方法与实施形态6完全相同，这里就省略了具体的说 明。在实施形态6中，在移动补偿中生成预测图像之际，使用公式1或公式3或公式4 进行每个像素的线性预测。但是，这些式子中都包含有乘法运算处理，若对所有的像素进行 这样的运算，处理量会变得非常大。于是使用公式5代替公式1、使用公式6代替公式3、公式7代替公式4。因为这些 式子不使用乘法运算而只进行位移运算，所以能够缩小处理量。与实施形态6相同，在同时参照2张图像生成预测图像时使用公式5，在只参照1 张图像生成预测图像时使用公式6或公式7。由于在这些式子中需要表示正负的符号的标 识符，所以预测运算必要的加权系数组，在公式5及公式6的情况下为(Signl、m、Sign2、n、 c)，在公式7的情况下为(signl、m、c)。signl是识别第1个正负符号的参数，sign2是识 别第2个正负符号的参数。参数的个数比实施形态3有所增加，但由于signl及sign2分 别以1比特的形式出现，所以代码量几乎没有增加。在这里对到决定加权系数组，使用公式5同时参照2张图像生成预测图像为止的 处理流程进行详细说明。首先，对生成预测图像的功能结构的图18的情况进行说明。平均值计算单元 204a，通过线性预测系数存储单元206a得到加权系数组(signl_U m_l、sign2_U n_l、 c_l)。并且，平均值计算单元204a，通过线性预测系数存储单元206b得到加权系数组 (signl_2、m—2、sign2_2、n_2、c_2)。平均值计算单元204a，求出通过线性预测系数存储单元206a、线性预测系数存储 单元206b得到的加权系数组的每个参数的平均值，作为加权系数组(signl、m、sign2、n、 c)。线性预测计算单元204b，以平均值计算单元204a输出的加权系数组(signl、m、sign2、 n、c)为基础，使用公式5运算预测图像。图18中记载的由线性预测系数存储单元206a等得到的加权系数组(wl_l、w2_l、 c_l、d_l)等，是实施形态6中说明的公式1的情况下的例子，虽说图中未显示对于使用公 式5求预测图像的情况下参数，但可以原封不动地直接替换。在以下说明的图19、图20的 情况中也是一样。下面，将对生成预测图像的功能结构的图19的情况进行说明。线性预测计算单元 204c，以由线性预测系数存储单元206a得到的加权系数组(signl_l、m_l、sign2_U n_l、 c_l)为基础运算预测图像。线性预测计算单元204d，以由线性预测系数存储单元206b得 到的加权系数组(Signl_2、m_2、Sign2_2、n_2、C_2)为基础运算预测图像。平均值计算单 元204e，求出线性预测计算单元204c、204d各自运算的预测图像的各像素的平均值，作为 预测图像。在这种情况下，线性预测计算单元204c，由于以加权系数组(signl_l、m_l、 sign2_Un_Uc_l)为基础使用公式5，最初运算预测图像，能够不使用乘法运算，通过位移 运算进行计算。线性预测计算单元204d也是同样。另一方面，在图18的情况下，由于最初 求得加权系数组(signl_l、m_l、sign2_l、n_l、c_l)和加权系数组(signl_2、m_2、sign2_2、n_2、c_2)的平均值，会出现m_l和m_2的平均值或n_l和n_2的平均值不是整数的情况下， 即由于2的指数部分不是整数，很有可能导致处理量增多。并且，为了使2的指数部分成为 整数而进行舍入处理，也会导致误差增大。下面将对生成预测图像的功能结构的图20(a)的情况进行说明。线性预测计算 单元204g，将由线性预测系数存储单元206c得到的用于位移运算的系数的参数signl_l、 m_l,由线性预测系数存储单元206c得到的用于位移运算的系数的参数Sign2_2、n_2，由各 线性预测系数存储单元206c、206d得到的参数c_l和c_2，以平均值计算单元204f平均求 得的平均值c为基础，使用公式9运算预测图像。在这种情况下，因为用于位移运算的系数，是直接由线性预测系数存储单元206c 或线性预测系数存储单元206d得到的值，所以公式5中2的指数部分是整数。因此，能够 通过位移运算进行计算，可以缩小处理量。下面将对生成预测图像的功能结构的图20(b)的情况进行说明。线性预测计算单 元204h，以由线性预测系数存储单元206e得到的参数signl_l、m_l、c_l，和由线性预测系 数存储单元206f得到的参数sign2_2、n_2为基础，使用公式9运算预测图像。在这种情况下，因为用于位移运算的系数，是直接由线性预测系数存储单元206e 或线性预测系数存储单元206f得到的值，所以公式5中2的指数部分是整数。因此，能够 通过位移运算进行计算，可以缩小处理量。在图20(a) (b)的情况下，有和实施形态3中的图10(a) (b)的说明一样的不用附 加在代码串中发送的参数，能够缩小代码串。以上是使用实施形态7中说明的线性预测式，能够不使用乘法运算通过位移运算 进行计算，因此与实施形态6相比能够大幅度削减处理量。在上述实施形态中，旨在通过使用公式5、公式6、公式7代替公式1、公式3、公式 4，编码参数组合也使用(Signl、m、Sign2、n、C)代替(wl、w2、c、d)，进行线性预测，实现只 通过位移运算削减处理量的目的。作为其他的方法，原封不动地使用公式1、公式3、公式4 及(《1、《2、(、(1)，通过限制将《1及《2作为只可选择的位移运算的可能值，采用与实施形态 6完全相同的结构也能够实现只通过位移运算削减处理量的目的。并且，作为进一步限定的方法，通常将wl及w2作为1选择进行限制，能够输入只 拥有直流成分的cl及c2中任意一值的代码串。以图21的结构的情况为例，将作为refl 用的(1、c_l)、作为ref2用的(1、c_2)作为参数组合进行编码。在这种情况下，预测图像 的像素值P(i)，将由(公式la)中的wl_l及w2_2替换1的下面的式子求出。P(i) = (Q1 (i) +Q2 (i))/pow(2, d) + (c_l+c_2)/2(pow (2，d)表示的是2的d次方)由此能够以同实施形态6完全相同的结构，达到削减线性预测处理量的目的。图24表示的是在图像的代码串的图像共同信息中记述有表示是否可能只通过位 移运算进行线性预测的标记sft_flg，及表示是否可能只通过直流成分c进行线性预测的 标记dc_flg的情况下，在解码装置中通过参照这些标记，能够利用适合于只通过位移运算 进行线性预测的结构进行解码，能够利用适合于只通过直流成分进行线性预测的结构进行 解码，因此根据解码装置的结构能够大幅度削减处理量。(实施形态8)
将对本发明的实施形态8中的动态图像解码方法进行说明。由于解码装置的结构 及解码的处理流程及参照索引的分配方法与实施形态6完全相同，这里就省略了具体的说 明。如以往技术中说明的那样，并不是使用实施形态6及实施形态7那样由线性预测 系数的加权系数组求得的预测式生成预测图像，而是采用使用公式2a及公式2b那样预先 决定的固定式求出预测图像的方法。使用这种方法，其优点在于不必将求预测图像时的加 权系数组编码并发送，所以能够减少编码量。并且，由于线性预测的计算式简单，只通过很 少的处理量就能够大幅度削减线性预测。但是，由于使用这种固定的方法，能够选择的线性 预测式只有公式2a及公式2b两种，所以存在预测精度变差的问题。于是在本实施形态中使用公式8a、8b代替公式2a、公式2b。这些式子在公式2a、 公式2b中加入了 C1及C2。因为在运算上只是增加了加法运算的次数，与原式相比处理量 几乎没有增加。公式8a、8b是同时参照2张图像生成预测图像时的预测式，在参照1张图像生成 预测图像时，本实施形态中将使用公式9代替说明的公式3、公式4。使用这种方法所必需的加权系数组，只有作为refl用的(C1)和作为ref2用的 (C2)。因此，在使用这种方法情况下的图像的代码串的例子如图14所示，在片头区域中分 别记述有refl用和ref2用进行线性预测的加权系数组(psetO、psetl, pset2、……)，各 个加权系数组的内容只成为C。同样，图15表示的是包含在所述片头区域内的加权系数组 的例子，与图7不同，各个加权系数组的要素只是C。图22是表示图2的线性预测系数存储单元206、及移动补偿解码单元204中生成 预测图像的功能结构的功能方框图。通过线性预测系数存储单元206a、线性预测系数存储单元206b、及线性预测计算 单元204a生成预测图像。根据代码串解析单元201输出的第1参照索引refl及第2参照索引ref2，获得分 别拥有线性预测系数存储单元206a及206b的1个结构要素的加权系数组(C1)及(C2)。 将那些值输入到线性预测计算单元204a中，使用公式8a、8b进行线性预测，并生成预测图像。同样，在只参照1张图像进行线性预测的情况下，只由图22的refl或ref2的任 何一个获得加权系数组(C1)或(C2)，使用公式9进行线性预测，生成预测图像。这样，由于本实施形态使用的参数的数量只要refl用、ref2用每个有一个就可 以，所以能够削减记述在代码串中的数据量。并且，因为线性预测式不需要采用乘法运算等 复杂的运算，能够将运算量抑制在最小限度。并且通过使用C1及C2系数可以大幅度改善 使用以往的固定式的方法中预测精度差的缺点。本实施形态中说明的线性预测方法，与多个参照索引是否能够参照同一图像无 关，都可以使用。(实施形态9)对本发明的实施形态9中的动态图像解码方法进行说明。由于解码装置的结构 及解码的处理流程及参照索引的分配方法与实施形态6完全相同，这里就省略了具体的说 明。
各个图像和图像编号一起被分配给显示的时间或表示代替其对象的显示顺序信 息。图39是并列表示其中1例的图像编号和显示顺序信息的图。显示顺序信息根据显示 顺序被分配某个值。在该图中的例子中，使用的是每1个图像增加1的值。使用这些显示 顺序信息生成进行线性预测所用系数的值的方法在实施形态9中进行说明。在实施形态6中，在移动补偿中生成预测图像之际，使用公式1或公式3或公式4 对每个像素进行线性预测。但是，为进行这些线性预测需要有系数的数据，在上述实施形态 中，作为片头区域中的加权系数组在代码串中记述有系数的数据，并用于预测图像的制作。 但是，在得到较高的编码效率的反面，有必要进行制作加权系数组的数据的处理，并且，由 于将加权系数组记述在代码串中，会出现导致比特量增加的现象。于是可以使用公式10、公式11a、公式12a代替公式1进行线性预测。由于这些式 子可以只从各幅参照图像拥有的显示顺序信息中决定加权系数，所以没有必要另外将加权 系数组编码。举个例子在图39中，设定编码对象图像为16号、由第1参照索引指定的图像为11 号、由第2参照索引指定的图像为10号，各自的图像的显示顺序信息则为15、13、10，所以成 为下列的线性预测式。VI = (10-15)/(10-13) = 5/3V2 = (15-13)/(10-13) =-2/3P (i) = 5/3 X Q1 (i) -2/3 X Q2 (i)与利用使用公式1的加权系数组进行线性预测的方法比较系数值的自由度较低， 所以可以说很难生成最适合的预测图像，但是与通过2张参照图像的位置关系切换由使用 公式2a、公式2b两个式子组成的固定式的方法相比较，能够生成效率更高的线性预测式。在第1参照索引及第2参照索引参照同一图像的情况下，Tl = T2，所以公式11a、 公式12a不成立。于是，参照的2张图像拥有同一显示顺序信息的情况下作为VI及V2的 值使用1/2进行线性预测。这种情况下的线性预测式如下文所述。VI = 1/2V2 = 1/2P(i) = l/2XQl(i)+l/2XQ2(i)并且，在第1参照索引及第2参照索引参照不同的图像，那些图像拥有同一显示顺 序信息的情况下，Tl =T2，所以公式11a、公式12a不成立。这样，参照的2张图像拥有同 一显示顺序信息的情况下作为VI及V2的值使用1/2进行线性预测。这样，在参照的2张图像拥有同一显示顺序信息的情况下，可以采用将预先设定 的值作为系数使用的结构。将预先设定的值作为系数，可以是如上述的1/2的例子中所示 拥有相同的权的系数。但是，如上述实施形态中使用公式10，进行线性预测就必须要有乘法运算及除法 运算。因为由公式10进行的线性预测运算对编码对象块内的所有像素都进行运算，所以加 上乘法运算会使处理量大幅度增加。于是，同实施形态7的考虑方法一样，通过使VI及V2近似于2次方，能够使线性 预测的运算只通过位移运算进行，从而达到削减处理量的目的。这种情况下的线性预测式 使用公式lib、公式12b代替公式11a、公式12a。
而且，也可使用公式11c、公式12c代替公式11a、公式12a。而且，也可使用公式lid、公式12d代替公式11a、公式12a。而且，2次方的近似值方法，以公式lib为例，使Vl的值逐一变化时，以士pow(2， vl)和(T2-T0)/(T2-T1)最近时的±pow(2, vl)作为所求值。例如在图39中，设定编码对象图像为16号，由第1参照索引指定的图像为11 号，由第2参照索引指定的图像为10号，各自的图像的显示顺序信息则为15、13、10，所以 (T2-T0)/(T2-T1)及 士pow(2，vl)如下所示。
(T2-T0)/(T2-T1) = (10—15) / (10—13) = 5/3+pow (2,0) = U+pow (2,1) = 25/3与1相比离2的值较近，所以近似的结果Vl = 2。并且，作为其他的近似值的方法，通过显示顺序信息Tl及Τ2的2个值的关系，可 转换使用增值的近似值和降值的近似值。这种情况下，Tl较Τ2在时间上落后的情况下，对于Vl及V2的两者取增值的近似 值，在Tl较Τ2在时间上领先的情况下，对于Vl及V2的两者取舍去的近似值。相反，在Tl 较Τ2在时间上落后的情况下，对Vl及V2的两者取舍去的近似值，在Tl较Τ2在时间上领 先的情况下，对于Vl及V2的两者取增值的近似值。并且，作为使用其他的显示顺序信息取近似值的方法，在Tl较Τ2在时间上落后的 情况下，在与Vl相关的式子中取增值的近似值，在与V2相关的式子中取舍去的近似值。由 此因为2个系数的值相互分离，能够容易得到适合的外插值。相反，在Tl较Τ2在时间上领 先的情况下，在将与Vl相关的式子和与V2相关的式子得到的两者的值进行比较时，在值小 的一方取往上进的近似值，在值大的一方取舍去的近似值。由此因为2个系数的值相互接 近，所以容易得到适合的内插值。举个例子在图39中，设定编码对象图像为16号、由第1参照索引指定的图像为11 号、由第2参照索引指定的图像为10号，各自的图像的显示顺序信息则为15、13、10，由于 Tl较Τ2在时间上落后，所以在与Vl相关的式子中取往上进的近似值，在与Vl相关的式子 中取舍去的近似值。结果，公式lib及12b如下所示进行计算。(1)对于公式lib(T2-T0)/(T2-T1) = (10—15) / (10—13) = 5/3+pow (2,0) = U+pow (2,1) = 2取往上进的近似值的结果Vl = 2。(2)对于公式(TO-Tl)/(T2-T1) = (15—13) / (10—13) = -2/3-pow (2,0) = -U-pow (2,1) = -1/2取舍去的近似值的结果V2 = -1。上述实施形态中，线性预测式只有公式10的一个，但也可以与以往的技术中说明 的由公式2a及公式2b的2个式子组成的固定式的线性预测方法组合起来使用。在这种情 况下，使用公式10代替公式2a，公式2b原封不动进行使用。即，在由第1参照索引指定的 图像在显示顺序中落后于由第2参照索引指定的图像的情况下使用公式10，除此以外的情 况使用公式2b。
并且，相反，也可以使用公式10代替公式2b，原封不动地使用公式2a。S卩，在由第 1参照索引指定的图像在显示顺序中落后于由第2参照索引指定的图像的情况下使用公式 2a,除此以外的情况使用公式10。但是，此时参照的2张图像拥有同一显示顺序信息的情况 下，使用1/2作为VI及V2的值进行线性预测。并且，与实施形态8的考虑方法同样，可以只将系数C记述在片头区域中用于线性 预测。这种情况下使用公式13代替公式10。VI及V2的求值方法与上述实施形态相同。有必要进行生成系数的处理，而且，有必要在片头区域内将系数数据编码，但是即 使是在VI及V2的精度较低的情况下也能够通过使用C1及C2进行精度较高的线性预测。 特别是在使VI及V2取与2次方近似的值进行线性预测的情况中非常有效。在使用公式13的情况下的线性预测中，无论是在1个图像中分配有1个参照索引 的情况下，还是在1个图像中分配有多个参照索引的情况，都可以同样对待。在公式11a、公式12a、公式lib、公式12b、公式11c、公式12c、公式lid、公式12d 各式的值的计算中，所得值的组合在每个片段中都受到某种程度的限制，所以最好将片段 编码再进行一次运算，由于没有必要像公式10，公式13那样对块的所有像素都进行运算， 因此对全体处理量的影响很小。本发明的实施形态中的显示顺序信息，不仅局限于显示的顺序，实施的显示的时 间、以随着显示的时间值变大的规定的图像为基准的各个图像的参照顺序也可以。(实施形态10)对本发明的实施形态10中的动态图像解码方法进行说明。由于解码装置的结构 及解码的处理流程及参照索引的分配方法与实施形态6完全相同，这里就省略了具体的说 明。在以往的方法中使用固定式生成预测图像的情况，和使用线性预测系数的加权系 数组生成预测图像的情况下，可以通过记述在代码串的图像共同信息部中的标记根据必要 进行替换。本实施形态中，对使用标记替换实施形态6至实施形态9中说明的各种线性预测 方法的方法进行说明。图17(a)为将控制上述替换的 5 个标记(p_flag、c_flag、d_flag、t_flag、s_flag) 记述在代码串中的片头区域内情况下的结构。如图17(b)所示，p_flag是表示加权系数是否编码后的标记。并且，c_flag是表 示在refl用及ref2用的参数中，是否只有与参数C(C1及C2)相关的数据编码后的标记。 并且，t_flag是表示是否使用参照图像的显示顺序信息生成线性预测的加权系数的标记。 并且，S_flag是表示为了能够通过位移运算计算线性预测的加权系数，是否取与2次方近 似的值的标记。并且，d_flag表示的是如公式2a及2b所示，在使用预先设定的2个固定式进行线 性预测之际，是否通过由refl指定的图像和由ref2指定的图像的时间上的位置关系进行 2式的切换的标记。即，在指定由此标记进行替换的情况下，与以往的方法相同，在由refl 指定的图像在显示顺序中落后于由ref2指定的图像的情况下，使用公式2a，除此以外的情 况使用公式2b进行线性预测。另一方面，在指定不由此标记进行替换的情况下，与由refl 指定的图像和由ref2指定的图像的位置关系无关，通常使用公式2b进行线性预测。
在不替换使用的式子中还可以使用公式2a代替公式2b，在这种情况下能够采取 相同处理。在图2所示的解码装置中的代码串解析单元201中解析p_flag的值，根据结果， 把是否将与加权系数组相关的数据解码并进行预测图像的生成的指示输出到移动补偿解 码单元204中，进行线性预测的移动补偿。由此，能够分别在处理能力高的装置中使用加权 系数组进行线性预测，在处理能力低的装置中不使用加权系数组进行线性预测。同样，在图2所 示的解码装置中的代码串解析单元201中解析c_flag的值，根据 结果，把是否将与相当于图像数据的DC成分的参数C(C1及C2)相关的数据解码并由固定 进行预测图像的生成的指示输出到移动补偿解码单元204中，进行线性预测的移动补偿。 由此，能够分别在处理能力高的装置中使用加权系数组进行线性预测，在处理能力低的装 置中只使用直流成分进行线性预测。同样，在图2所示的解码装置中的代码串解析单元201中解析d_flag的值，根据 结果，在使用固定式进行线性预测的情况下，把是否替换使用2个式子进行编码的指示输 出到移动补偿解码单元204中，进行线性预测的移动补偿。由此，能够分别在图像的亮度在 时间上并不变化的情况下只使用单个固定式进行线性预测，在图像的亮度随时间变化的情 况下替换使用2个固定式进行线性预测。同样，在图2所示的解码装置中的代码串解析单元201中解析t_flag的值，根据 结果，把是否使用参照图像的显示顺序信息生成进行线性预测的系数的指示输出到移动补 偿解码单元204中，进行线性预测的移动补偿。由此，能够分别在代码量中尚有空余的情况 下将加权系数组编码进行线性预测，在代码量中没有空余的情况下从显示顺序信息中生成 系数进行线性预测。同样，在图2所示的解码装置中的代码串解析单元201中解析s_flag的值，根据 结果，把为了能够通过位移运算进行计算，进行线性预测的系数是否取与2次方近似的值 的指示输出到移动补偿解码单元，进行线性预测的移动补偿。由此，能够分别在处理能力高 的装置中不取加权系数的近似值直接使用进行线性预测，在处理能力低的装置中使加权系 数使用与2次方近似的值实现通过位移运算进行线性预测。例如，(1)在(p、C、d、t、S_flag) = (1、0、0、0、1)的情况下，所有的加权系数组经
过解码，如实施形态7中说明的那样，通过用2次方表示系数，只由位移运算进行线性预测， 并生成预测图像。并且，(2)在(p、c、d、t、S_flag)= (1、1、1、0、0)的情况下，只有与参数 C(Cl 及 C2)相关的数据经过解码，使用通过实施形态8中说明的向固定式中加入系数C生成预测图 像的方法，而且替换使用2个固定式。并且，(3)在(p、c、d、t、S_flag) = (0、0、0、0、0)的情况下，加权系数组不经过解 码。即，使用只使用以往方法的固定式中的2b生成预测图像的方法。并且，(4)在(p、C、d、t、S_flag) = (0、0、1、1、1)的情况下，加权系数组不经过解 码，但如实施形态9说明的那样，从参照图像的显示顺序信息中生成加权系数，而且通过使 系数与2次方近似只由位移运算进行线性预测，而且替换使用2个固定式生成预测图像。在上述实施形态中使用每个由1比特组成的5个标记(p_flag、c_flag、d_flag、 t_flag,s_flag)进行判别，也可以1个由5比特组成的标记代替5个标记进行判别。并且，在这种情况下，并不是表示现为5比特而能够使用可变长解码进行解码。在上述实施形态中全部使用每个由1比特组成的5个标记(p_flag、c_flag、d_ flag、t_flag、S_flag)，在只使用其中1部分的标记进行线性预测方法的切换的情况下也 能够同样对待。这种情况下，图17(a)所示标记只将必要的对象编码并记述。在以往的方法中，替换使用固定式的预测图像的生成和使用线性预测系数的加权 系数组的预测图像的生成的标记设置在代码串的图像共同信息部分，能够以图像单位进行 替换。但是，这种方法只能每个图像切换一次预测图像的生成方法。但是，在本实施形态中，将该切换标记设置在代码串的片头，对于构成图像的每 一个片段都能够以任意方法替换生成预测图像，例如，在拥有复杂图像的片段中进行使用 加权系数组的预测图像的生成，在拥有简单图像的片段中进行使用固定式的预测图像的生 成，由此能够一直将处理量的增加限制在最小值并达到提高画面质量的目的。在上述实施形态中，将5 个标记(p_f lag、c_flag、d_flag、t_flag、s_flag)记述 在片头区域内对每个片段进行判别，通过将这些标记记述在图像共同信息区域内，能够以 图像单位进行切换。并且，通过在每个构成片段的块中设置切换标记，进而能够以块单位通 过最适合的方法进行预测图像的生成。本发明的实施形态中的显示顺序信息，不仅局限于显示的顺序，实施的显示的时 间、以随着显示的时间值变大的规定的图像为基准的各个图像的参照顺序也可以。(实施形态11)下面对本发明的实施形态11中的动态图像的编码方法及解码方法进行说明。由 于编码装置及解码装置的结构和编码及解码的处理流程及参照索引的分配方法与实施形 态1及实施形态6完全相同，这里就省略了具体的说明。本实施形态是与实施形态5及实施形态10中说明的内容和同样的技术相关的说明。在每个片段中都表示有，表示参数组合是否编码后的标记p_flag，和表示在refl 用及ref2用的参数中，是否只有与参数C(C1及C2)相关的数据编码后的标记c_flag。在图1所示的编码装置中的移动补偿编码单元107中，决定每个片段或块中是否 将与参数组合相关的数据编码，并据此将标记P_flag的信息输出到代码串生成单元103 中，如图40 (a)所示记述在代码串中。同样，在图1所示的编码装置中的移动补偿编码单元107中，决定每个片段或块中 是否只将与相当于图像数据的DC成分的参数C(C1、C2)相关的数据编码，并据此将标记c_ flag的信息输出到代码串生成单元103中，如图40(a)所示记述在代码串中。另一方面，在图2所示解码装置中的代码串解析单元201中，将上述切换标记p_ flag和标记C_flag的值解析，并根据其结果，将例如是使用下载的参数组合生成预测图 像，或是使用固定式生成预测图像的指示输出到移动补偿解码单元204中，进行线性预测 的移动补偿。例如，如图40 (b)所示，(1)在标记p_flag为1，标记c_flag为0的情况下，编码 装置中的所有参数组合都经过编码。并且，(2)在标记p_flag为1，标记c_flag为1的情 况下，编码装置中只有与参数C(C1及C2)相关的数据经过编码。并且，(3)在标记p_flag 为0，标记c_flag为0的情况下，编码装置中的参数组合都没有经过编码。如图40(b)所示决定标记的值，通过标记P_flag能够判别图像数据的DC成分是否经过编码。在编码装置中，上述(1)的情况下，按例如从图8到图10中说明的那样处理参数。 在上述(2)的情况下，按例如图16说明的那样处理参数。在上述(3)的情况下，例如使用 固定式处理参数。在解码装置中，上述(1)的情况下，按例如从图18到图20中说明的那样处理参 数。在上述(2)的情况下，按例如图22说明的那样处理参数。在上述(3)的情况下，例如 使用固定式处理参数。并且，对于组合情况不同的例子，以下进行具体的说明。在上述的例子中，替换使用标记p_f lag、标记c_f lag明确对参数进行编码(是否 使其接收)，也可以不使用上述标记，而使用可变长编码图表(VLC图表)。如图41所示，也能够更加明确地进行是否切换固定公式2a和固定公式2b的选 择。这里，不进行固定2的切换，其意思如下。例如，在上述以往的技术中，在由第1参 照索引指定的图像在显示顺序上落后于由第2参照索引指定的图像的情况下，选择由固定 系数组成的固定公式2a，除此以外选择由固定系数组成的固定公式2b，生成预测图像。另 一方面，在图41所示例中，在被指示不进行切换的情况下，在由第1参照索引指定的图像在 编码顺序上落后于由第2参照索引指定的图像的情况下，选择由固定系数组成的固定公式 2b，生成预测图像。为明确进行是否切换固定公式2a和固定公式2b的选择的标记v_flag的信息由 代码串生成单元103输出，并如图41 (a)所示记述在代码串中。图41 (b)表示的是由标记v_flag进行处理的例子。如图41 (b)所示在标记v_flag 为1的时候，不进行参数的编码(在编码装置中参数不被下载。以下同样)，不进行固定公 式2的切换。并且，在标记V_flag为01的时候，不进行参数的编码，进行固定公式2的切 换。并且，在标记V_flag为0000的时候，只进行参数C的编码，不进行固定公式2的切换。并且，在标记v_f lag为0001的时候，只进行参数C的编码，并进行固定公式2的 切换。并且，在v_flag为0010的时候，进行所有参数的编码，不进行固定公式12的切换。 并且，在V_flag为0011的时候，进行所有参数的编码，并进行固定公式12的切换。因为在标记v_flag为0010及0011时，所有参数都经过编码，所以能够不使用固 定式，使用加权参数进行线性预测，在这种情况下可以无视是否替换使用固定式的判别。标记v_flag的切换，能够在图1所示编码装置中的移动补偿编码单元107中进 行，在图2所示解码装置中的移动补偿解码单元204中进行。并且，不使用标记v_flag，使 用上述的标记P_flag和标记c_flag，及表示是否替换固定式的标记d_flag也可以。如以上所示，通过使用标记，能够将参数在编码装置中编码，能够替换是否在解码 装置中接收(下载)编码后的参数。由此，通过应用的特性、解码装置的处理能力，能够明 确切换编码(使接收)的参数。并且，由于能够明确变更固定式的切换，所以能够增加提高画面质量的方法，进而 达到提高编码效率的目的。并且，在解码装置中出现不曾拥有的固定式的情况下，通过明确 变更固定式，能够由明确选择的固定式生成预测图像。图40中的标记的配置不仅局限于图中所示对象。并且，标记的值也不仅局限于上述说明的值。并且，因为如果使用2种标记，能够明确4种参数的使用方法，所以也可以分 配上述说明以外的参数的使用方法。并且，在上述例子中说明发送所有参数，也可以如图10 及图20所示将必要的参数组合全部发送。(实施形态12)将为实现上述各个实施形态中所示的图像编码方法或图像解码方法的结构的程 序记录在软盘等存储媒体中，由此能够将上述各个实施形态中所示的处理在独立的计算机 系统中简单实施。图25是使用存储有从上述实施形态1到实施形态11的图像编码方法或图像解码 方法的软盘，通过计算机系统实施的情况下的说明图。图25(b)表示的是从软盘的正面来看的外观、剖面构造以及软盘，图25(a)表示的 是记录媒体本体的软盘的物理格式的例子。软盘FD内藏在外盒F内，在该盘的表面上，从 同心圆状的外周向内周形成有多个磁迹Tr，各个磁迹沿角度方向分割为16个扇区。因此， 在存储有上述程序的软盘中，在被分配给上述软盘FD上的区域中，记录有上述程序的图像 编码方法。并且，图25(c)表示的是重新读取记录在软盘FD上的程序的结构。在将上述程序 记录到软盘FD中的情况下，从计算机系统Cs上将作为上述程序的图像编码方法或图像解 码方法通过软驱写入软盘。并且，在通过软盘内的程序将上述图像编码方法输入到计算机 系统中的情况下，通过软驱从软盘中读取程序，并传送到计算机系统中。在上述说明中，是使用作为记录媒体的软盘进行说明的，同样也可以使用光盘作 为记录媒体。并且，记录媒体不仅局限于此，IC卡、ROM盒同样都可以作为记录程序的媒体 进行使用。(实施形态13)图26至图29是说明进行上述实施形态中所示编码处理或解码处理的机器、及使 用该机器的系统的说明图。图26是表示实现内容配信服务的内容供给系统exlOO的全体结构的功能图。按照 所需大小分割通信服务的提供区域，在各个单元中分别设置有固定无线局的基站exl07 exllO。该内容供给系统exlOO，例如，在因特网exlOl中通过因特网服务器exl02及电 话网exl04、及基站exl07 exllO，与计算机exlll、PDA(个人数字助理)exl 12、摄像机 exll3、移动电话机exll4、带摄像头的移动电话机exll5等个机器相连接。但是，内容供给系统exlOO并不仅局限于图26所示的组合，采取任意组合进行连 接都可以。并且，不通过固定无线局的基站exl07 exllO，各个机器直接与电话网exl04 连接也可以。摄像机exll3为数字录像机等能够进行动态图像摄影的机器。并且，移动电话机 可以是PDC(Personal Digital Communications) 7j5^>CDMA(CodeDivision Access)方式、 ff-CDMA (Wideband-Code Division Multiple Access)方式、或是 GSM (Global System for Mobile Communications)方式的手提电话机，或者 PHS (Personal Handyphone System)也可以。并且，流服务器exl03，从摄像机以113通过基站以109、电话网exl04连接，根据用户使用摄像机exll3发送的经过编码处理的数据能够进行实况配信。摄影数据的编码处 理可以摄像机exll3中进行，也可以在进行数据发送处理的服务器中进行。并且，由相机exll6拍摄的动态图像数据通过计算机exlll被发送到流服务器 exl03中。相机exll6是能够拍摄数据录像等静止图像、动态图像的机器。在这种情况下， 动态图像数据的编码既可以在相机exll6中进行，也可以在计算机exlll中进行。并且，编 码处理在计算机exlll及摄像机116所拥有的Siexll7中进行的。而且，图像编码 解码用的软件可以安装在能够通过计算机exlll等读取的记录 媒体的任何一种存储媒体(CD-ROM、软盘、硬盘等)中。而且，也可以通过带摄像头的移动电 话机exll5发送动态图像数据。此时的动态图像数据是在移动电话机exll5中的LSI中经 过编码处理的数据。在此内容供给系统exlOO中，将用户通过摄像机exll3、相机exll6等拍摄的内容 (如，拍摄音乐实况等图像)与上述实施形态相同进行编码处理并发送到流服务器exl03 中，另一方面流(stream)服务器exl03将上述内容数据对要求的委托对象进行流动配信。 委托对象可以是能够对上述经过编码处理的数据进行解码的计算机eXlll、PDAeX112、摄像 机113、移动电话机exll4等。这样一来，内容供给系统exlOO能够将编码后的数据在委托 对象中接收并再生，进而通过在委托对象中实时接收并解码之后再生，从而能够实现个人 播放。为进行构成该系统的各机器的编码、解码，可以使用上述实施形态中所示的动态 图像编码装置或动态图像解码装置。下面以移动电话机为例进行说明。图27是表示使用上述实施形态中说明的动态图像编码方法和动态图像解码方法 的移动电话机exll5的示意图。移动电话机exll5拥有，和基站exllO之间发送接收电波的 天线ex201、能够拍摄(XD录像等图像、静止图像的摄像头部ex203、显示由摄像头部ex203 拍摄的图像、由天线ex201接收的图像经过解码后的数据的液晶显示屏等显示单元ex202、 由动作键ex204组结构的本体部、用于声音输出的扬声器等声音输出单元ex208、用于声 音输入的麦克风等声音输入单元ex205、用于保存拍摄的动态图像或静止图像的数据、接 收的电子邮件的数据、动态图像数据或静止图像数据等、编码数据或解码数据的记录媒体 ex207、能够在移动电话机exll5上安装记录媒体ex207用的开口部ex206。记录媒体是在 SD卡等塑料盒内存储能够进行电力改写及删除的不挥发性存储器EEPR0M(Electrically Erasable andProgrammab1e Read Only Memory)的一种闪存单元。使用图28对移动电话机exll5进行说明。移动电话机exl 15，对于将装备有显示 单元ex202及动作键ex204本体部的各个部分统一进行控制的主控制单元ex311，电源电路 ex310、动作输入控制单元ex304、图像编码单元ex312、摄像机接口部ex303、LCD (液晶显示 器)控制单元ex302、图像解码单元ex309、多路分离单元ex308、记录再生单元ex307、调制 解调电路ex306及声音处理单元ex305通过同步总线ex313相互连接。电源电路ex310，在通过用户动作结果通话并使电源键处于0N的状态下，通过由 备用电池对各部进行电力供给，启动带有摄像头的数字化移动电话机exll5的可动作状 态。移动电话机exl 15，根据CPU、ROM及RAM等主控制单元ex311的控制，将在声音通话模式时在声音输入单元ex205中收集的声音信号通过声音处理单元ex305转换成数字声 音数据，并在调制解调电路ex306中进行扩频处理，并在接收发送回路部ex301中实施数 字-模拟变换处理及频率变换处理之后，通过天线ex201发送。并且移动电话机exll5，将 在声音通话模式时由天线ex201接收的接收信号增幅，并实施频率变换处理及模拟_数字 变换处理，在调制解调电路ex306中进行光谱逆扩散处理，在由声音处理单元ex305转换成 模拟声音信号之后，通过声音输出单元ex208输出。而且，在数据通信模式时发送电子邮件的情况下，由本体部的动作键ex204的动 作输入的电子邮件的文本数据，通过动作输入控制单元ex304发送到主控制单元ex311 中。主控制单元ex311，将文本数据在调制解调电路ex306中进行扩频处理，并在收发电路 ex301中实施数字模拟变换处理及频率变换处理之后，通过天线ex201向基站exllO发送。在数据通信模式时发送图像数据的情况下，将由相机单元ex203拍摄的图像数据 通过摄像机接口部ex303供给图像编码单元ex312。并且，在不发送图像数据的情况下，能 够将由相机单元ex203拍摄的图像数据通过摄像机接口部ex303及IXD控制部ex302直接 显示在显示单元ex202上。图像编码单元ex312，采用装备有本发明中说明的图像编码装置的结构，通过使用 上述实施形态中所示图像编码装置的编码方法将由相机单元ex203提供的图像数据进行 压缩编码，由此转换成编码图像数据，并将此数据发送至多路分离单元ex308中。并且，在 此同时，移动电话机ex 115，在相机单元ex203中摄像过程中由声音输入单元ex205收集的 声音，通过声音处理单元ex305作为数字声音数据发送到多路分离单元ex308中。多路分离单元308，将由图像编码单元ex312供给的编码图像数据和由声音处理 单元ex305供给的声音数据按照规定的方式进行多重化，结果将得到的多重化数据在调制 解调电路ex306中进行扩频处理，并在收发电路ex301中实施数字模拟变换处理及频率变 换处理之后通过天线ex201进行发送。在数据通信模式时接收与主页等连接的动态图像文件的数据的情况下，通过天线 ex201在调制解调电路ex306中将从基站exl 10接收的接收信号进行光谱逆扩散处理，结果 将得到的多重化数据发送到多路分离单元ex308中。并且，为了将通过天线ex201接收的多重化数据解码，多路分离单元ex308，通过 分离多重化数据分为图像数据的编码位流和声音数据的编码位流，并通过同步总线ex313 将此编码图像数据供给给图像解码单元ex309，同时将此声音数据供给声音处理单元 ex305o下面，图像解码单元ex309，采用装备有本发明中说明的图像解码装置的结构，通 过与上述实施形态中所示编码方法相对应的解码方法将图像数据的编码位流进行解码并 生成再生动态图像数据，将此数据通过IXD控制部ex302供给显示单元ex202，由此，能够 显示出如包括与主页连接的动态图像文件在内的动态图像数据。与此同时，声音处理单元 ex305，在将声音数据变换成模拟声音信号之后，将此信号供给声音输出单元ex208，由此能 够播放包括与主页连接的动态图像文件在内的动态图像数据。而且，不仅局限于上述系统的例子，最近由卫星、地波进行数字广播已成为人们议 论的话题，在如图29所示数字播放用系统中至少装备有上述实施形态中的图像编码装置 或图像解码装置的任一项。具体为，在电台ex409中将图像信息的编码位流通过电波传送给通信或广播卫星ex410。接收该电波的广播卫星ex410，发送广播用电波，通过拥有卫 星广播接收设备的家庭的天线ex406接收此电波，通过电视机(接收机)ex401或机顶盒 (STB)ex407等装置将编码位流解码并再生。并且，读取记录在记录媒体⑶及DVD等存储媒体ex402上的编码位流，能够在解 码再生装置ex403上安装上述实施形态中所示的图像解码装置。在这种情况下，再生的图 像信号显示在监视器ex404上。并且，在与有线电视用的电缆ex405或卫星/地波广播的 天线ex406相连接的机顶盒ex407内安装有图像解码装置，采用的是能够在电视机的监视 器ex408上使用信号再生的结构。此时不是在机顶盒内，最好是在电视机内安装有图像解 码装置。并且，在拥有天线ex411的车ex412中接收从卫星ex410或基站exl07发射的信 号，能够在车ex412拥有的车载导航设备ex413等的表示装置中再现动态图像画面。而且，能够将图像信号在上述实施形态中所示的图像编码装置中编码，并记录在 记录媒体上。具体的例子有，在DVD光盘ex421中记录图像信号的DVD记录装置、记录在 硬盘中的硬盘记录装置等记录装置ex420。并且还能够记录在SD卡ex422中。记录装置 ex420上若装备有上述实施形态中所示的图像解码装置，就能够将记录在DVD光盘ex421及 SD卡ex422上的图像信号再生，并显示在监视器ex408上。车载导航设备ex413的结构在如图28所示的结构中，考虑采用除去相机单元 ex203和摄像机接口部ex303、图像编码单元ex312之外的结构，同样也考虑到计算机exlll 及电视机(接收机)ex401等。并且，上述移动电话机exll4等的末端，除拥有双方编码器 解码器的发送接收型 末端之外，还可以考虑只有编码器的发送末端、只有解码器的接收末端的3种安装形式。这样，可以将上述实施形态中所示的动态图像编码方法或动态图像解码方法应用 在上述的任何机器 系统中，由此能够得到上述实施形态中说明的效果。工业应用性如以上所示，用本发明的动态图像编码方法及解码方法，能够制作多个在生成预 测图像时的线性预测所使用的加权系数组的候选，并可以选择最适合每个块的系数。其结 果，无论是在分配到多个参照索引的情况下，还是在分配到1个参照索引的情况，都能够提 高参照索引的解码效率。并且，由于能够较大地提高解码效率，所以在动态图像的编码及解 码中都是非常有效的。
权利要求
一种图像解码方法，其特征在于，包括以下步骤图像编码信号解码步骤，将图像编码信号解码，得到指定解码对象块的参照图像的参照索引、表示图像的表示顺序的表示顺序信息、以及预测误差，参照图像指定步骤，使用所述参照索引，指定被所述解码对象块参照的参照图像，加权系数生成步骤，使用所述表示顺序信息，生成加权系数，预测图像生成步骤，对通过使用所述指定了的参照图像而得到的参照块的像素值进行使用了所述加权系数的线性预测，生成预测图像，以及复原图像生成步骤，使用所述生成的预测图像和所述预测误差，生成解码图像，所述参照图像包括第1参照图像和第2参照图像，所述参照索引包括表示所述第1参照图像的第1参照索引和表示所述第2参照图像的第2参照索引。
2.根据权利要求1所述的图像解码方法，其特征在于，在表示所述第1参照图像的表示顺序的表示顺序信息与表示所述第2参照图像的表示 顺序的表示顺序信息相同的情况下，在所述线性预测中使用的加权系数是预先被设定了的 加权系数。
3.根据权利要求2所述的图像解码方法，其特征在于，所述预先被设定了的加权系数包括用于对通过使用所述第1参照图像而得到的第1 参照块的像素值进行线性预测的第1加权系数和用于对通过使用所述第2参照图像而得到 的第2参照块的像素值进行线性预测的第2加权系数，所述第1加权系数与所述第2加权 系数具有相同值。
4.一种图像解码装置，其特征在于，包括图像编码信号解码单元，将图像编码信号解码，得到指定解码对象块的参照图像的参 照索引、表示图像的表示顺序的表示顺序信息、以及预测误差，参照图像指定单元，使用所述参照索引，指定被所述解码对象块参照的参照图像， 加权系数生成单元，使用所述表示顺序信息，生成加权系数，预测图像生成单元，对通过使用所述指定了的参照图像而得到的参照块的像素值进行 使用了所述加权系数的线性预测，生成预测图像，以及复原图像生成单元，使用所述生成的预测图像和所述预测误差，生成解码图像， 所述参照图像包括第1参照图像和第2参照图像，所述参照索引包括表示所述第1参照图像的第1参照索引和表示所述第2参照图像的 第2参照索引。
全文摘要
本发明涉及图像解码方法及图像解码装置。所述图像解码方法，包括以下步骤图像编码信号解码步骤，将图像编码信号解码，得到指定解码对象块的参照图像的参照索引、表示图像的表示顺序的表示顺序信息、以及预测误差，参照图像指定步骤，使用所述参照索引，指定被所述解码对象块参照的参照图像，加权系数生成步骤，使用所述表示顺序信息，生成加权系数，预测图像生成步骤，对通过使用所述指定了的参照图像而得到的参照块的像素值进行使用了所述加权系数的线性预测，生成预测图像，以及复原图像生成步骤，使用所述生成的预测图像和所述预测误差，生成解码图像，所述参照图像包括第1参照图像和第2参照图像，所述参照索引包括表示所述第1参照图像的第1参照索引和表示第2参照图像的第2参照索引。
文档编号H04N7/46GK101873501SQ201010155070
公开日2010年10月27日 申请日期2003年7月22日 优先权日2002年8月8日
发明者*野真也, 安倍清史, 羽饲诚, 近藤敏志 申请人:松下电器产业株式会社