编码方法、译码方法、编码装置、译码装置、图像处理系统的制作方法

专利名称：编码方法、译码方法、编码装置、译码装置、图像处理系统的制作方法
技术领域：
本发明涉及使用运动补偿预测进行运动图像的压缩编码的编码 方法、编码装置和编码程序、使用运动补偿预测进行压缩运动图像数 据的解压及译码的译码方法、译码装置和译码程序、包含上述编码装 置和译码装置而构成的图象处理系统。
背景技术：
作为先有的图像编码方式的事例，大家所熟知的有基于国际标准 化工作文档ITU-T SG16VCEG-M81、 " H.26L Test Model Long Term Number7 ( TML-7 ) ，，draft0 ( http:Vstandard.uictel.com /ftp/video-site/0104 — Aus/VCEG-M81d0.doc )所记载的H. 26L光方 式的图像编码，译码方式。
在该H. 26L图像编码中，作为帧间预测模式，准备了图4A~ 图4G所示的很多运动分割图形(pattern)，可以进行精致的运动补 偿。借助于这样的技术，在宏块的内部发生细微的活动的情况时可以 有效地捕捉该活动，从而可以提高预测效率。
但是，在作为帧间预测模式准备了很多运动分割图形的方式中， 运动分割的数越多，就必须传输越多的运动矢量信息，从而开销将大 增。图5表示对图4A 图4G的各模式所需要的传输信息量。图5所 示的"模式位，，表示用于表现预测模式的可变长代码的代码长，"最小
运动矢量位"表示作为关于应按宏块单位传输的运动矢量的信息量所 能取的最小的信息量，"最小需要位数"表示模式位和最小运动矢量
位的总和的值。运动矢量位是水平、垂直方向的2个值的总位数，最 小的情况是水平和垂直都与运动矢量预测值相同的矢量的情况(运动 矢量在指定的规则中将附近的运动矢量作为预测值，将其差分值进行 编码)。但是，通常这样的情况很稀少，总是需要传输比该位数的多 的信息。由图5可知，在模式4或5以上，总开销非常多。
另一方面，在一般的图像中，不将宏块区域细分为4部分以上精 致地进行运动检测，而大致地分割为2部分捕捉其活动就可以进行充 分的运动补偿。但是，在H. 26L编码方式准备的16x8像素单位、8x16 像素单位这样的固定的运动分割中，不能正确地表现宏块内部的运动 分割，这就是准备图4A~图4G的7个帧内预测模式的理由。

发明内容
本发明就是为了解决上述问题而提案的，目的旨在提供可以以少 的开销将图像中的动信息进行編码或译码的编码方法、译码方法、编 码装置、译码装置、图象处理系统、编码程序和译码程序。
为了达到上述目的，本发明的编码方法是使用运动补偿预测进行 运动图^f象的压缩编码的编码方法，其特征在于包括按对各个分割运 动图像的帧所得的第1块进而分割所得的第2块的单位分配1个或多 个运动矢量而进行运动补偿预测的运动补偿预测步骤和将关于对上述 第2块进行的运动矢量的分配状况的信息多路化为位流而输出的分配 信息编码步骤。
作为这里的第1块，可以采用例如16xl6像素的块，作为第2块， 可以采用例如4x4像素的块。在该编码方法中，在运动补偿预测步骤 以对各个分割运动图像的帧所得的第l块进而分割所得的第2块的单
位分配1个或多个运动矢量而进行运动补偿预测的运动补偿预测，在 分配信息编码步骤，将关于对上述第2块进行的运动矢量的分配状况 的信息多路化为位流而输出，所以，可以通过很少的开销而可靠地捕
捉第l块内的各种各样的活动，从而可以有效地进行图像传输、记录、 再生。
这时，在运动补偿预测步骤中，可以与第2块的位置和数无关地 分配运动矢量。即，在运动补偿预测步骤中，与第1块内的第2块的 位置和数无关地按第2块的单位分配运动矢量，进行运动补偿预测， 在分配信息编码步骤中，可以将第2块的位置和关于按该第2块分配 的运动矢量的信息作为关于运动矢量的分配状况的信息使用。
另外，在运动补偿预测步骤中，也可以按照预先决定的分配图形 按第2块的单位分配运动矢量。即，在运动补偿预测步骤中，通过将 l个或多个笫2块编组，按照预先决定的分配图形，按第2块的单位 分配运动矢量，将运动补偿预测，在分配信息编码步骤中，可以将上 述分配图形的识别信息作为关于运动矢量的分配状况的信息使用。
作为按照这样预先决定的分配图形的形式，在运动补偿预测步骤 中，选择将对由第l块单位决定的第2块的运动矢量分配图形预先编 组的多个图形组中的某一组，根据包含在该选择的图形組中的分配图 形对第2块分配运动矢量，进行运动补偿预测，在分配信息编码步骤 中，可以采用将关于按第1块单位编码的运动矢量分配状况的信息作 为从上述选择的图形组中特定的运动矢量分配图形的识别信息而输出 的形式。
由于将关于运动矢量分配状况的信息作为数据量少的该运动矢 量分配图形的识别信息而输出，所以，可以用很少的开销而可靠地捕 捉第1块内的各种各样的活动，从而可以有效地进行图像传输、记录、 再生。
另外，在分配信息编码步骤中，可以采用根据成为編码对象的第 1块的运动矢量分配图形的形状决定运动矢量的预测值并将该预测值 的预测差分值作为运动矢量信息进行编码的形式。
这样，就根据运动矢量分配图形的形状决定运动矢量的预测值， 并将数据量少的该预测值的预测差分值作为运动矢量信息进行编码， 所以，通过少的开销可以可靠地捕捉第1块内的各种各样的活动，从
而可以有效地进行图像传输、记录、再生。
这里，在分配信息编码步骤中，根据成为编码对象的第l块的运 动矢量分配图形的形状决定运动矢量的预测候补位置，根据位于成为 上述编码对象的第l块的附近的第1块的分配图形的形状将预测候补 位置中的某一个作为预测值，并将该预测值的预测差分值作为运动矢 量信息进行编码。
另外，作为符合预先决定的分配图形的形式，在运动矢量预测步 骤中，根据成为编码对象的第1块的运动矢量分配图形的形状决定运 动矢量的预测值，设置以该预测值为中心的运动矢量探索窗，检测运 动矢量，在分配信息编码步骤中，可以釆用将上述检测的运动矢量与 上述运动矢量预测值的预测差分值作为运动矢量信息进行编码的形 式。
这样，将数据量少的检测的运动矢量与运动矢量预测值的预测差 分值作为运动矢量信息进行编码，所以，通过少的开销可以可靠地捕 捉第l块内的各种各样的活动，从而可以有效地进行图像传输、记录、 再生。
在符合上述预先决定的分配图形的各种形式中，在运动补偿预测
步骤，取可以按第2块单位分配的运动矢量数最大为2条，同时根据 表示向包含在由第l块单位决定的该第l块中的第2块的分配状态的 预先决定的多个分配图形中的某一个图形对第2块分配运动矢量，进 行运动补偿预测，在分配信息编码步骤中，采用就关于由第l块单位 决定的运动矢量的分配状况的信息作为上述分配图形的识别信息而输 出的形式。
这时，分配图形包含将上述第1块在水平方向或垂直方向不均匀 分割的图像和将上述第1块在倾斜方向分割的图形。
另外，在分配信息编码步骤中，根据各分配图形的形状对各分配 图形分配可变长的代码，将上述分配图形的识别信息编码。
另外，在分配信息编码步骤中，根据位于成为编码对象的第l块 附近的第1块的分配图形的状况，对于成为上述编码对象的第1块，
对各分配图形分配可变长的代码，将上述分配图形的识别信息编码。
另外，在分配信息编码步骤中，根据图像内容对各分配图形分配 可变长的代码，将上述分配图形的识别信息编码。
在符合上迷预先决定的分配图形的各种形式和与第2块的位置无 关地进行分配的形式中，可以进而包括将在运动补偿预测步骤中得到 的预测残差信号按与上述第2块的尺寸相同的块单位进行编码的残差 信号编码步骤。
即，可以采用包括以对将运动图像的帧分割后所得的各个第l块 进而分割所得的第2块的单位分配1个或多个运动矢量而进行运动补 偿预测的运动补偿预测步骤、将关于对上述笫2块的运动矢量的分配 状况的信息多路化为位流而输出的分配信息编码步骤和将在运动补偿 预测步骤得到的预测残差信号按与上述第2块的尺寸相同的块单位进 行编码的残差信号编码步骤的形式。这时，由于将在运动补偿预测步 骤得到的预测残差信号按与第2块的尺寸相同的块单位进行编码，所 以，可以将编码的数据量抑制为很少，通过少的开销可以可靠地捕捉 第1块内的各种各样的活动，从而可以有效地进行图像传输、记录、 再生。
另外，在符合预先决定的分配图形的各种形式和与第2块的位置 和数无关地进行分配的形式中，在分配信息编码步骤中，可以采用根 据上述运动矢量的分配状况将识别在由1个或多个第2块构成的运动 矢量分配区域中是否有应编码的预测残差信号的信息编码的形式。这 时，根据运动矢量的分配状况将识别在由1个或多个第2块构成的运
动矢量分配区域中是否有应编码的预测残差信号的信息编码，所以， 可以将编码的数据量抑制为很少，通过少的开销可以可靠地捕捉第1 块内的各种各样的活动，从而可以有效地进行图像传输、记录、再生。 另外，在与第2块的位置和数无关地进行分配的形式中，在分配 信息编码步骤中，可以采用根据成为编码对象的第1块和相邻的第1 块的运动矢量的分配状况将表示该分配状况下的运动矢量分配的变化 点的信息作为关于与上述运动矢量的分配状况的信息而多路化为位流
而输出的形式。
另外，在符合预先决定的分配图形的各种形式和与第2块的位置 和数无关地进行分配的形式中，在运动补偿预测步骤中，除了按第1 块单位设定帧间预测模式或帧内预测模式的情况外，包含按由第2块 的1个或多个构成的单位设定帧间预测模式或帧内预测模式的情况， 可以釆用进行运动补偿预测的形式。
为了达到上述目的，本发明的编码方法是使用运动补偿预测进行 运动图像的压缩编码的编码方法，其特征在于包括按由对将运动图 像的帧分割后所得的各个第l块进而分割所得的第2块的l个或多个 构成的单位为了进行运动补偿预测而保持的多个参照帧中选择1个参 照帧进行运动补偿预测的补偿预测步骤和将关于对上述1个或多个第 2块的参照帧的选择状况的信息多路化为位流而输出的参照帧信息编 码步骤。
按照该编码方法，关于对1个或多个第2块的参照帧的选择状况 的信息，数据量少，所以，可以将编码的数据量抑制为很少，通过少 的开销可以可靠地捕捉第l块内的各种各样的活动，从而可以有效地 进行图像传输、记录、再生。
在参照帧信息编码步骤中，可以采用作为对在上迷第l块的单位 中包含的上述1个或多个第2块的参照帧的选择状况的组合信息进行 编码的形式。
另外，在参照帧信息编码步骤中，根据位于附近的上述第1块或 者1个或多个上述第2块的参照帧的选择状况分别求对1个或多个第 2块的参照帧的预测值，可以釆用将该预测值与选择的参照帧的差分 信息作为关于参照帧的选择状况的信息使用的形式。
为了达到上述目的，本发明的编码方法是使用运动补偿预测进行 运动图像的压缩编码的编码方法，其特征在于包括以由对将运动图 像的帧分割后所得的各个第1块进而分割所得的由1个或多个第2块
动补偿预测步骤，和将关于对上述1个或多个第2块的预测方向的选
择状况的信息多路化为位流而输出的预测信息编码步骤。
按照该编码方法，可以通过少的开销可靠地捕捉第l块内的各种
各样的活动，同时可以分别对捕捉别的活动的l个或多个第2块应用 适当的双向帧内预测，从而可以有效地进行图像传输、记录、再生。
为了达到上述目的，本发明的编码方法是使用运动补偿预测进行 运动图像的压缩编码的编码方法，其特征在于包括以由对将运动图 像的帧分割后所得的各个第l块进而分割所得的由l个或多个第2块 构成的单位选择帧间预测模式或帧内预测模式进行帧间预测或帧内预 测的预测步骤，和将关于对上述l个或多个第2块的帧间预测模式或 帧内预测模式的选择状况的信息多路化为位流而输出的预测模式信息 编码步骤。
按照该编码方法，可以通过少的开销可靠地捕捉第l块内的各种 各样的活动，同时可以分别对捕捉别的活动的l个或多个第2块应用 适当的帧间预测模式或帧内预测模式，从而可以有效地进行图像传输、 记录、再生。
在上述预测信息编码步骤或预测模式信息编码步骤中，可以采用 将上述关于选择状况的信息与关于对包含在上述第1块的单位中的上 述第1块的运动矢量的分配状况的信息一起作为组合向进行编码并多 路化为位流而输出的形式。
另外，在上述预测信息编码步骤或预测模式信息编码步骤中，可 以采用将关于上述选择状况的信息与关于对包含在上述1个或多个第 2块单位中的上述1个或多个第2块的多个参照帧的参照帧的选择状
况的信息一起作为組合信息进行编码并多路化为位流而输出的形式。
为了达到上迷目的，本发明的译码方法是使用运动补偿预测进行 压缩运动图像数据的解压、译码的译码方法，其特征在于包括将表 示按对分割运动图像的帧后所得的各个第1块进而分割所得的第2块 的单位进行分配的运动矢量是按上述第1块的单位译码的1个或多个 运动矢量中的哪一个的运动矢量分配信息进行译码的分配信息译码步 骤和根据该运动矢量分配信息使用按上述第2块的单位特定的运动矢
量进行运动补偿从而生成预测图像的运动补偿步骤。
在该译码方法中，在分配信息译码步骤将表示按对分割运动图像
的帧后所得的各个第1块进而分割所得的第2块的单位进行分配的运 动矢量是按上述第1块的单位译码的1个或多个运动矢量中的哪一个 的运动矢量分配信息进行译码，在运动补偿步骤根据该运动矢量分配 信息使用按第2块的单位特定的运动矢量进行运动补偿从而生成预测 图像。因此，将关于按第2块的单位分配的运动矢量的运动矢量分配 信息进行译码，根据该运动矢量分配信息使用按第2块的单位特定的 运动矢量进行运动补偿，生成预测图像。这样，通过少的开销可以可 靠地进行译码，从而可以有效地进行图像传输、记录、再生。
这时，在分配信息译码步骤中，可以采用与分配对象的第2块的 位置和数无关地作为该第2块的位置和分配给该第2块的运动矢量的 信息而将上述运动矢量分配信息译码的形式。
另外，在分配信息译码步骤，通过将l个或多个块编组，可以采 用作为预先决定的分配图形的识别信息而将上述运动矢量分配信息译 码的形式。
这样采用作为预先决定的分配图形的识别信息而将运动矢量分 配信息译码的形式，在分配信息译码步骤中，将上述运动矢量分配信 息作为作为识别按第1块单位预先决定的向第2块的运动矢量分配图
形的信息进行译码，根据该分配图形识别信息特定分配图形时，将识 别该分配图形所属的图形组的信息译码，可以采用按照由该图形組识 别信息特定的图形组的定义，根据上述分配图形识别信息决定向第2 块的运动矢量分配的形式。这时，将运动矢量分配信息作为识别预先 决定的向第2块的运动矢量分配图形的信息，可以通过少的开销可靠 地进行译码，从而可以有效地进行图像传输、记录、再生。
另外，采用作为预先决定的分配图形的识别信息而将运动矢量分 配信息进行译码的形式，在分配信息译码步骤中，可以采用将通过根 据成为译码对象的第1块的运动矢量分配图形的形状决定的运动矢量 的预测值的预测差分值进行编码而得到的运动矢量信息进行译码的形
式。这时，由于将将通过根据成为译码对象的第1块的运动矢量分配 图形的形状决定的运动矢量的预测值的预测差分值进行编码而得到的 运动矢量信息进行译码，所以，通过将数据量少的预测差分值编码而 得到的运动矢量信息可以译码，从而可以有效地进行图像传输、记录、 再生。
这时，在分配信息译码步骤中，根据位于附近的第1块的分配图 形的形状将根据成为译码对象的第1块的运动矢量分配图形的形状决 定的运动矢量预测候补位置中的某一个作为预测值，对通过将该预测 值的预测差分值进行编码而得到的运动矢量信息进行译码。
在作为上述预先决定的分配图形的识别信息而译码的形式中，将
按第1块的单位它们的运动矢量最大取为2条，运动矢量分配信息作 为识别表示由第1块单位决定的该第1块包含的向第2块的运动矢量 分配状态的、预先决定的多个分配图形的信息而进行译码。
这时，分配图形包含将上述第1块在水平方向或垂直方向不均匀 分割的图形和将上述第l块在倾斜方向分割的图形。
另外，在分配信息译码步骤中，将根据各分配图形的形状分配给 各分配图形的可变长的代码作为各分配图形的识别信息进行译码。
另外，在分配信息译码步骤中，将根据位于成为译码对象的第1 块附近的第1块的分配图形的状况分配给各分配图形的可变长的代码 作为成为译码对象的第1块的各分配图形的识别信息进行译码。
另外，在分配信息译码步骤中，将根据图像内容分配给各分配图 形的可变长的代码作为各分配图形的识别信息进行译码。
在作为上述预先决定的分配图形的识别信息进行译码的形式和 与第2块的位置和数无关地将运动矢量分配信息译码的形式中，进而 包括将通过按照与第2块的尺寸相同的块单位进行的编码处理而得到 的运动补偿预测的预测残差信号进行译码的残差信号译码步骤。
即，可以采用包括将表示按对分割运动图像的帧后所得的各个第 1块进而分割所得的第2块的单位进行分配的运动矢量是按上迷第1 块的单位译码的i个或多个运动矢量中的哪一个的运动矢量分配信息
进行译码的分配信息译码步骤、根据该运动矢量分配信息使用按上述
第2块的单位特定的运动矢量进行运动补偿从而生成预测图像的运动 补偿步骤和将通过按照与第2块的尺寸相同的块单位进行的编码处理 而得到的运动补偿预测的预测残差信号进行译码的残差信号译码步骤 的结构。这时，由于将将通过按照与第2块的尺寸相同的块单位进行 的编码处理而得到的运动补偿预测的预测残差信号进行译码，所以， 可以将应编码的数据量少的预测残差信号译码，从而可以有效地进行 图像传输、记录、再生。
另外，在作为上述预先决定的分配图形的识别信息进行译码的形 式和与第2块的位置和数无关地将运动矢量分配信息译码的形式中， 在分配信息译码步骤中，将根据成为译码对象的第l块的运动矢量分 配图形的形状识别在由1个或多个第2块构成的运动矢量分配区域内 是否有应译码的预测残差信号的信息进行译码。这时，可以将应编码
的数据量少的预测残差信号译码，从而可以有效地进行图像传输、记 录、再生。
另外，在与上述第2块的位置和数无关地将运动矢量分配信息译 码的形式中，在分配信息译码步骤中，将作为关于运动矢量的分配状 况的信息而输出的表示运动矢量分配的变化点的信息进行译码。
另外，在作为上述预先决定的分配图形的识别信息进行译码的形 式和与第2块的位置和数无关地将运动矢量分配信息译码的形式中， 运动矢量是除了按第1块单位设定帧间预测模式或帧内预测模式的情 况外通过也包含以由第2块的1个或多个构成的单位设定帧间预测模 式或帧内预测模式的情况的运动补偿预测得到的运动矢量。
为了达到上述目的，本发明的译码方法是使用运动补偿预测进行 压缩运动图像数据的解压和译码的译码方法，其特征在于包括将关 于以由对运动图像的帧分割后所得的各个第1块进而分割所得的第2 块的1个或多个构成的单位进行分配的运动补偿预测使用的参照帧的 选择状况的信息进行译码的参照帧信息译码步骤，和根据该参照帧信 息从为了进行运动补偿所保持的多个参照帧中选择1个参照帧进行运
动补偿从而生成预测图像的补偿步骤。
按照该形式，关于对上述l个或多个第2块的参照帧的选择状况 的信息，数据量少，所以，可以将数据量少的关于该参照帧的选择状 况的信息译码，从而可以有效地进行图像传输、记录、再生。
这时，在参照帧信息译码步骤中，根据对包含在上述第l块的单 位中的上述l个或多个第2块的参照帧的选择状况的组合信息将对上 述l个或多个第2块的参照帧信息进行译码。
另外，在参照帧信息译码步骤中，根据位于附近的上述第1块或 者1个或多个上述第2块的参照帧的选择状况分别求对1个或多个第 2块的参照帧的预测值，根据作为关于参照帧的选择状况的信息而输 出的参照帧的差分信息和上述求出的预测值进行译码。
为了达到上述目的，本发明的译码方法是使用运动补偿预测进行 压缩运动图像数据的解压和译码的译码方法，其特征在于包括将关 于以由对运动图像的帧分割后所得的各个第1块进而分割所得的第2 块的1个或多个构成的单位进行分配的双向帧内预测^使用的预测方向 的选择状况的信息进行译码的预测信息译码步骤和根据该预测信息从 对顺向和逆向两方面保持的参照帧中选择双向帧间运动补偿使用的预 测方向进行运动补偿从而生成预测图像的运动补偿步骤。
按照该形式，可以通过少的开销可靠地捕捉第l块内的各种各样 的活动，同时可以对分别捕捉别的活动的1个或多个第2块应用适当 的双向帧间预测，从而可以有效地进行图像传输、记录、再生。
为了达到上述目的，本发明的译码方法是使用运动补偿预测进行 压缩运动图像数据的解压和译码的译码方法，其特征在于包括将关 于以由对运动图像的帧分割后所得的各个第1块进而分割所得的第2 块的1个或多个构成的单位进行分配的帧间预测模式或帧内预测模式 的选择状况的信息进行译码的预测模式信息译码步骤，和根据该预测 信息选择帧间预测模式或帧内预测模式进行帧间预测或帧内预测从而 生成预测图像的预测图像生成步骤。
按照该形式，可以通过少的开销可靠地捕捉第1块内的各种各样
的活动，同时可以分别对捕捉别的活动的1个或多个第2块应用适当 的帧内预测或帧内预测，从而可以有效地进行图像传输、记录、再生。
在预测信息译码步骤或预测模式信息译码步骤中，可以釆用根据 将关于包含在上述第1块的单位中的对上述第1块的运动矢量的分配 状况的信息与关于上述选择状况的信息组合的信息将关于对上述1个 或多个第2块的上述选择状况的信息进行译码的形式。
另外，在预测信息译码步骤或预测模式信息译码步骤中，可以采 用根据将关于对包含在上述1个或多个第2块的单位中的上述1个或 多个第2块的多个参照帧中的参照帧的选择状况的信息与关于上迷选 择状况的信息组合的信息将关于对上述l个或多个第2块的上述选择 状况的信息进行译码的形式。
本发明在作为编码方法、译码方法的发明以外，也可以捕捉作为 使用编码方法的编码装置、使用译码方法的译码装置、包含这些编码 装置和译码装置而构成的图象处理系统、由编码装置执行的编码程序
和由译码装置执行的译码程序等各个发明而荻得同样的作用和效果。 即，可以进行以下所示的描迷。
为了达到上述目的，本发明的编码装置是使用运动补偿预测进行 运动图像的压缩编码的编码装置，其特征在于具有按对各个分运动 图像的帧所得的第1块进而分割所得的第2块的单位分配1个或多个 运动矢量而进行运动补偿预测的运动补偿预测单元和将关于对上述第 2块的运动矢量的分配状况的信息多路化为位流而输出的分配信息编 码单元0
这时，可以采用运动补偿预测单元与第1块内的第2块的位置和 数无关地按第2块的单位分配运动矢量进行运动补偿预测、而分配信 息编码单元将第2块的位置和分配给该第2块的运动矢量的信息作为 关于运动矢量的分配状况的信息使用的形式。
另外，可以采用运动补偿预测单元按照通过将1给或多个第2块 编组而预先决定的分配图形按第2块的单位分配运动矢量进行运动补 偿预测、而分配信息编码单元将上述分配图形的识别信息作为关于运
动矢量的分配状况的信息使用的形式。
为了达到上述目的，本发明的译码装置是使用运动补偿预测进行
压缩运动图像数据的解压和译码的译码装置，其特征在于具有将表 示按对分割运动图像的帧后所得的各个第1块进而分割所得的第2块 的单位进行分配的运动矢量是按上述第1块的单位译码的1个或多个 运动矢量中的哪一个的运动矢量分配信息进行译码的分配信息译码单 元和根据该运动矢量分配信息使用按上述第2块的单位特定的运动矢 量进行运动补偿从而生成预测图像的运动补偿单元。
这时，可以采用分配信息译码单元作为分配对象的第2块的位置 和分配给该第2块的运动矢量的信息而将上述运动矢量分配信息进行 译码的形式。
另外，也可以采用分配信息译码单元作为通过将1个或多个第2 块编组而预先决定的分配图形的识别信息而将上述运动矢量分配信息 进行译码的形式。
为了达到上述目的，本发明的图象处理系统是包含使用运动补偿 预测进行运动图像的压缩编码的编码装置和使用运动补偿预测进行压 缩运动图像数据的解压和译码的译码装置而构成的图象处理系统，其 特征在于编码装置具有按对各个分运动图像的帧所得的第l块进而 分割所得的第2块的单位分配1个或多个运动矢量而进行运动补偿预 测的运动补偿预测单元和将关于对上述第2块的运动矢量的分配状况 的信息多路化为位流而输出的分配信息编码单元，译码装置具有将表 示按对分割运动图像的帧后所得的各个第1块进而分割的第2块的单 位进行分配的运动矢量是按上述第1块的单位译码的1个或多个运动 矢量中的哪一个的运动矢量分配信息进行译码的分配信息译码单元和 根据该运动矢量分配信息使用按上述第2块的单位特定的运动矢量进
行运动补偿从而生成预测图像的运动补偿单元。
这时，可以釆用编码装置的运动补偿预测单元与第l块内的第2 块的位置和数无关地按第2块的单位分配运动矢量进行运动补偿预 测、而分配信息编码单元将第2块的位置和分配给该第2块的运动矢
量的信息作为关于运动矢量的分配状况的信息使用，译码装置的分配
信息译码单元作为分配对象的第2块的位置和分配给该第2块的运动 矢量的信息而将上述运动矢量分配信息进行译码的形式。
另外，也可以采用编码装置的运动补偿预测单元按照通过将1个 或多个第2块编组而预先决定的分配图形按第2块的单位分配运动矢 量进行运动补偿预测、而分配信息编码单元将上述分配图形的识别信 息作为关于运动矢量的分配状况的信息使用、译码装置的分配信息译 码单元作为通过将1个或多个第2块编组而预先决定的分配图形的识 别信息而将上述运动矢量分配信息进行译码的形式。
为了达到上述目的，本发明的编码程序的特征在于使内藏在使 用运动补偿预测进行运动图像的压缩编码的编码装置中的计算机执行 上述编码方法的各个发明的各步骤。
为了达到上述目的，本发明的译码程序的特征在于使内藏在使 用运动补偿预测进行压缩运动图像数据的解压和译码的译码装置中的 计算机执行上述译码方法的各个发明的各步骤。
本发明的上述目的和其他特征及优点，通过参照附图阅读以下的 详细的说明即可明白。
附图的简单说明
图l是编码装置的结构图。
图2是译码装置的结构图。
图3A是表示运动补偿帧内预测的说明所使用的前一帧的内容的图。
图3B是表示运动补偿帧内预测的说明所使用的现在帧的内容的图。
图4A是表示H. 26L的帧间预测模式的模式l的图。 图4B是表示H. 26L的帧间预测模式的模式2的图。 图4C是表示H. 26L的帧间预测模式的模式3的图。 图4D是表示H， 26L的帧间预测模式的模式4的图。
图4E是表示H. 26L的帧间预测模式的模式5的图。 图4F是表示H, 26L的帧间预测模式的模式6的图。 图4G是表示H. 26L的帧间预测模式的模式7的图。 图5是表示对帧内预测模式的各模式所需要的最小的传输信息量的表。
图6A是表示本发明实施例的固定分割方式的第l组的图。 图6B是表示本发明实施例的固定分割方式的第2组的图。 图6C是表示本发明实施例的固定分割方式的第3组的图。 图6D是表示本发明实施例的固定分割方式的第4组的图。 图7A是表示现在的宏块是模式1、而其左、上、右上的宏块分 别为模式0、 1、 8的情况的图。
图7B是表示上的宏块使用与现在的宏块不同的参照帧的情况的图。
图8A是用于说明在模式0的情况下的运动矢量预测值决定处理 的流程的图。
图8B是用于说明在模式1的情况下的运动矢量预测值决定处理 的流程的图。
图8C是用于说明在模式7的情况下的运动矢量预测值决定处理 的流程的图。
图9是表示考虑与附近的宏块的活动的连续性对各预测模式定义 的上部优先度和左部优先度的一例的表。
图IOA是表示对固定分割方式的第l组的各预测模式固定地提供 的运动矢量的预测值的图。


图10B是表示对固定分割方式的第2组的各预测模式固定地提供
的运动矢量的预测值的图。
图10C是表示对固定分割方式的第3组的各预测模式固定地提供 的运动矢量的预测值的图。
图10D是表示对固定分割方式的第4组的各预测模式固定地提供 的运动矢量的预测值的图。 图11A是表示H. 26L中的压缩流的宏块数据的语法的图。
图IIB是表示实施例1的压缩流的宏块数据的语法的图。
图12是表示实施例1的译码装置的处理内容的流程图。
图13A是表示为了指定任意的分配状况而作为4x4的二进制映
射信息而表现的预测模式的第1定义例的图。
图13B是表示为了指定任意的分配状况而作为4x4的二进制映射
信息而表现的预测模式的第2定义例的图。
图13C是表示为了指定任意的分配状况而作为4x4的二进制映
射信息而表现的预测模式的第3定义例的图。
图14是表示实施例2的运动矢量检测的顺序的图。
图15是表示运动矢量检测的别的顺序的图。
图16A是用于说明实施例2的预测模式信息的编码方法中宏块A
的活动的连续性高的例子的图。
图16 B是用于说明实施例2的预测模式信息的编码方法中宏块B
的活动的连续性高的例子的图。
图17是表示实施例2的编码处理的内容的流程图。
图18A是表示代码长CB (4)的例子的表。
图18B是表示代码长CB (3)的例子的表。
图18C是表示代码长CB (2)的例子的表。
图19A是表示H. 26L中的压缩流的宏块数据的语法的图。
图19B是表示实施例2的压缩流的宏块数据的最简单的语法例的图。
图19C是表示实施例2的压缩流的宏块数据的别的语法例的图。
图20是表示实施例2的译码装置的处理内容的流程图。
图21是表示实施例3的编码装置的处理内容的流程图。
图22是实施例3的编码装置的处理内容的说明图。
图23A是表示扫描表的锯齿形扫描的例子的图。
图23B是扫描表的水平扫描的例子的图。
图23C是表示扫描表的希尔伯特扫描的例子的图。
图24A是表示在实施例4的对角方向进行内部/中间的区别而在 内部中使用2个运动矢量的预测模式的定义例的图。
图24B是表示实施例4的宏块分割为上下两部分、上部按内部而 下部按中间进行预测的预测模式的定义例的图。
图25A是表示内部/中间分类的平面的图。
图25B是表示帧内预测方法的平面的图。
图25C是表示运动矢量分配的平面的图。
图26A是表示内部/中间分类的平面的图。
图26B是表示仅将与内部、中间对应的子块作为位平面数据时的 帧内预测方法的平面的图。
图26C是表示仅将与内部、中间对应的子块作为位平面数据时的 运动矢量分配的平面的图。
图27是表示按实施例4的编码方法2将图24A的情况进行变换 的例子的图。
图28是表示与实施例4的编码方法1对应的压缩流的宏块数据 的语法的图。
图29是表示与实施例4的编码方法2对应的压缩流的宏块数据 的语法的图。
图30是表示与实施例4的编码方法3对应的压缩流的宏块数据 的语法的图。
图31是表示与实施例4的编码方法4对应的压缩流的宏块数据 的语法的图。
图32A是表示使用最小限度的预测模式的预测模式设定的定义 例的图。
图32B是表示使用在实施例1中提示的少的运动矢量的预测模式 设定的定义例的图。
图32C是表示多数分割多数运动矢量的预测模式设定的定义例的图。
图33A是表示H. 26L中的参照帧信息的代码结构的表。
图33B是表示对参照帧信息的组合分配的代码的例子的表。
图33C是表示与图33B对应的宏块数据的语法的图。
图34A是表示变更前或在预测值为0时根据预测值切换的代码的表。
图34B是表示预测值为4时根据预测值切换的代码的表。 图35A是表示说明正交变换系数数据的编码的效率方面宏块的 分割例的图。
图35B是表示按8x8块单位传输有无有意义系数的例子的图。
图35C是表示对分割领域传输有无有意义系数的例子的图。
图36A是用于说明实施例5的进行运动矢量探索范围的适应化时
的运动矢量检测处理的图。
图36B是用于说明实施例5的不进行运动矢量探索范围的适应化
时的运动矢量检测处理的图。
图37A是用于说明实施例5的关于固定分割方式的第l组的运动
矢量预测规则的图。
图37B是用于说明实施例5的关于固定分割方式的第2组的运动
矢量预测规则的图。
图37C是用于说明实施例5的关于固定分割方式的第3组的运动
矢量预测规则的图。
图37D是用于说明实施例5的关于固定分割方式的第4组的运动 矢量预测规则的图。
图38是表示实施例5的运动矢量检测处理的流程图。
图39是表示实施例6的双向预测的例子的图。
图40A是表示H. 26L中的双向运动补偿预测时的语法的图。
图40B是表示实施例6的压缩流的宏块数据的语法的图。
图41是实施例6的宏块类型信息的代码表。
图42是实施例6的参照帧信息的代码表。
图43是表示编码装置的基本的动作的流程图。
图44是表示译码装置的基本的动作的流程图。
具体实施例方式
下面，顺序说明本发明的各种实施例。
首先，在本发明的实施例1中，说明在按宏块单位进行编码的图
像编码装置中对将宏块分割为4x4像素单位的各子块最大可以分配2 条运动矢量进行运动补偿预测的图像编码装置和译码装置。
首先，说明基于应用本发明的H. 26L编码方式的图像编码和译 码装置的结构和动作。
图l表示编码装置的结构，图2表示译码装置的结构。在图1的 编码装置中，通过运动补偿帧间预测削减时间方向存在的冗余度，通 过正交变换进而削减空间方向存在的残余的冗余度，进行图像信号的 信息压缩。运动补偿帧间预测的说明图分别示于图3A和图3B，块匹 配处理的概要分别示于图4A~图4G。另外，图43是表示编码装置的 基本的动作的流程图，图44是表示译码装置的基本的动作的流程图。
下面，参照这些图说明图1和图2的编码和译码装置的动作。
图1的输入图像信号l是帧图像的时间序列，以后，作为表示帧 图像单位的信号。另外，设成为编码对象的帧图像为图3B的现在帧 30B。现在帧30B分割为16像素xl6行固定的正方形区域(称为宏块)， 按该单位进行以下的编码处理。
现在帧30B的各宏块先向运动检测部2传送，在此进行预测模式 3的决定和与其对应的条数的运动矢量4的检测。在H. 26L编码方 式中，作为预测模式3，预先准备了多个使用已完成同一空间上的编 码的附近像素进行空间预测的帧内预测模式和使用在时间上不同的已 完成编码的帧图像(图3A的前一帧30A)进行运动补偿预测的帧间 预测模式，根据图像信号的局部所在的性质将它们按宏块单位进行切 换，从而可以进行有效的信息压缩。
即，在图43的流程图中，输入图像信号1输入编码装置(S01)， 进行运动检测(S02)和运动补偿(S03)，同时，利用空间预测部9 进行后面所述的空间预测(S04)。
所谓运动补偿预测，如图3A、图3B所示，根据前一帧30A的 译码图像在指定的探索范围32内探索与现在帧30B的输入图像类似 的信号图形(预测值)，将空间的位移量作为运动矢量而检测(例如， 将圆圏31的空间的位移量作为运动矢量33而检测)，是将预测残差 信号和运动矢量作为编码信息进行传输的技术。在H. 26L中，如图 4A 图4G所示，有7种帧内预测模式。正确地说，也准备了图像静 止时等有用的直接复制前一帧的相同位置的像素的预测模式(跳跃模 式)，但是，为了便于说明此处省略了。图4A的模式1按16x16像 素单位、图4B的模式2按8x16像素单位、图4C的才莫式3按16x8 像素单位、图4D的模式4按8x8像素单位、图4E的模式5按4x8 像素单位、图4F的模式6按8x4像素单位、图4G的模式7按4x4 像素单位检测运动矢量。即，这7种预测模式可以细分宏块内的运动 检测单位，是为了正确地捕捉在宏块内可能存在的各种活动而设置的。
在运动检测部2中，按各宏块对图4A~图4G的所有的帧间预测 模式进行评价，选择判定编码效率最高的模式。帧内预测模式同样也 进行编码效率的评价，在效率比帧间预测模式好时就选择帧内预测模 式。选择了帧间预测模式时，就检测和传输由预测模式3决定的条数 (最大每宏块16条)传输运动矢量4。选择了帧内预测模式时，运动 矢量4不传输。
选择了帧间预测模式时，向运动补偿部5传输决定的预测模式3 和运动矢量4，使用运动矢量4参照帧存储器6中的前一帧的已完成 编码的图像信号7取出各宏块的运动补偿预测图像8。
选择了帧内预测模式时，在空间预测部9中，参照附近的已完成 编码的图像信号7生成预测值10。最终使用的预测值11，根据预测模 式3由开关12选择运动补偿预测图像8和预测值10中的某一个。
生成表示上述预测值11与输入图像信号1的差分值的预测残差 信号13 (图43的S05 )，预测残差信号13向正交变换部14传输，通 过正交变换成为正交变换系数15 (S06)。正交变换系数15向量化部 16传输，通过量化处理成为量化正交变换系数17 (S07)，并向可变
长编码部23传输。在此进行熵编码，并多路化为压缩流24 (S08)。 另一方面，虽然在图43中省略了，但是，量化正交变换系数17 经过逆量化部18和逆正交变换部19进行局部译码，并与预测值11 相加，成为局部译码图像20。局部译码图像20为了除去在正交变换 块的边界处的块变形等劣化而由环形滤波器21对边界像素进行滤波 处理，成为滤波后局部译码图像22，并存储到帧存储器6中。存储在 帧存储器6中的图像数据作为以后的帧的运动补偿预测的参照数据7 使用。
另外，预测模式3也按宏块的单位由可变长编码部23进行熵编 码，并多路化为压缩流24 (S08)。然后，输出这样得到的压缩流24 (S09)。
下面，根据图2和图44说明译码装置的动作。在译码装置中， 接收作为编码数据的压缩流24(图44的S21)之后，由可变长译码部 25检测表示各帧的开头的同步字，然后，按宏块单位复原预测模式3、 运动矢量4和量化正交变换系数17 (S22)。
在预测模式3表示帧内预测模式时(在S23为肯定判断时)，运 动矢量4向运动补偿部5传输，运动补偿部5和编码装置的动作一样， 从帧存储器26 (与帧存储器6—样使用)中将运动矢量4活动的图像 部分作为运动补偿预测图像8取出(S24)。另一方面，预测模式3 表示帧内预测模式时(在S23为否定判断时)，在空间预测部9中参 照附近的已完成编码的图像信号7生成预测值10 (S25)。
与S23 ~ S25并行地对预测残差信号顺序利用逆量化部16进行逆 量化处理(S26 )和利用逆正交变换部19进行逆正交变换处理(S27 )， 生成预测残差信号的译码值。
另一方面，根据预测模式3，由开关12决定最终的预测值11， 并将其与上述生成的预测残差信号的译码值相加，从而成为译码图像
20( S28 )。此外，通过环形滤波器21得到最终的译码再生图像22( S29 )， 在指定的显示时刻向显示设备输出(S30)，从而再生图像。译码再生 图像22同时为了用于以后的帧的运动补偿而存储到帧存储器26中。
这里，图像数据20、22成为与编码装置中的相同号码的数据相同的值。 下面，详细说明本实施例，在本实施例中，在上述图1和图2所 示的编码装置和译码装置中，包含在压缩流24中的预测模式3 (特别 是帧间预测模式)和运动矢量4的定义、运动检测部2和运动补偿部 5的动作有特征。因此，下面，对于编码装置以运动检测部2的动作 和预测模式3、运动矢量4的定义为中心进行说明，对于译码装置以 根据预测模式3和运动矢量4将图像信号进行译码的顺序为中心进行 说明。
①固定的运动矢量分配图形的定义
运动检测部2对所准备的所有的预测模式进行评价，检测与编码 效率最好的模式对应的运动矢量。在先有例的H. 26L编码方式中， 作为帧间预测模式，选择了图4所示的图形，但是，在本实施例中， 对于按4x4块(子块)单位最大分配2条运动矢量的方法，作为帧间 预测模式准备了图6A 图6D所示的固定的分割图形，采用从中选择 编码效率最好的图形的结构。作为固定分割方式，使用图6A 图6D 的图形的理由在于，将宏块内分割为2部分时，这些图形作为分割规 则，预测其利用频度最高。例如，在中夬部分和周边部分进行矢量分 配的图形表示有16像素xl6行的内部这样的非常局部的活动的情况， 但是，这样的情况在图像中很少发生。另一方面，图6A 图6D所示 的分割图形表示水平、垂直、倾斜方向的典型的活动也与宏块外相联 系的图形，估计利用频度很高。其中，在图6B 图6D中，白区域和 灰色区域表示运动矢量分配的区别，可以将宏块内动态地分割为这些 图形进行运动补偿预测。
在图6A的模式0中，用1条运动矢量预测宏块(16x16像素) 区域。这是与H. 26L编码方式的帧间预测模式的模式1完全相同的 定义。另外，图6B的模式1、 2将宏块分割为16x8、 8x16像素的区 域，这和图4B、图4C中的模式2、 3等价。另一方面，图6C、图6D 的模式3以后的模式是本实施例特有的模式定义，在图6C的模式3 ~ 6中，允许将宏块在水平、垂直方向不均匀地分割。不均匀的水平、
垂直方向的分割，特别如画面端部那样在逐渐出现新的图案的地方利
用价值很高。此外，图6D的模式7以后允许将宏块在倾斜方向分割。 倾斜方向的分割捕捉沿物体的边界部分的活动的不连续性，在根据画 面角预测出现的新的图案方面利用价值很高。以上，在除了图6A的 模式0以外的所有的模式中，运动矢量仅为2条，但是，通过预先准 备各种各样的分割图形，利用少的运动矢量数可以可靠地捕捉用图6B 的模式l、 2这样的均匀分割所不能捕捉的宏块内的活动。
对图6A ~图6D的模式0 ~ 14所分的4个组(图6A的组Gl、 图6B的组G2、图6C的组G3、图6D的组G4 )表示传输各预测模 式时的代码量的不同。在本实施例中，与图4A 图4G的H. 26L预 测模式信息相比，具有多l倍的模式数，所以，为了将其开销有效地 进行编码，根据各模式的分割数、分割方向、或者分割的区域的面积 比进行可变代码长分配的可变长编码。首先，从分割数的观点出发， 对运动矢量的数少、开销少的模式O在全部模式中分配最短的代码。 通常，由于图像信号与时间相关的关系非常高，所以，如果与按宏块 单位进行运动补偿(Motion Compensation: MC )的情况相比，可以 认为根据运动分割宏块内的必要性很低。另外，对于分割为2部分的 图形，在图像信号的性质上，可以认为水平、垂直分割的频度比倾斜 分割的图形高。此外，从以块尺寸均匀、两数据段相同的面积为单位 进行MC容易降低平均的预测残差功率的观点考虑，将均匀分割的代 码长设定得短。另一方面，特别是在画面端部等出现新的图案时，可 以认为不均勻分割适用于更好地预测已在帧内存在的图案部分的用 途。倾斜分割适用于在图像中的运动体的简档中捕捉仅靠水平一垂直 的活动所不能捕捉的活动，但是，通常可以认为其发生频度比其他模 式少。
但是，可变长编码方法不是唯一的在进行某一宏块的预测模式的 可变长编码时，也可以采用考虑其附近的预测模式的状况(前后关系、 上下文关系)而进行代码长分配的方法。例如，将某一宏块的预测模 式进行编码时，在左宏块为模式0、左上的宏块为模式9时，可以认为现在的宏块容易发生继承模式9的图形的活运动分割。即，在这样 的情况下，考虑了缩短模式9的代码长等将左、上、右上方等的附近 宏块的预测模式状况(上下文关系)作为参量而变更代码表等这样的 作法。不论图像的种类如何，通过决定通用的上下文关系，可以有效 地进行代码分配。同时，通过发现这样的上下文关系，采用算术编码 取代固定的代码分配，根据上下文关系切换算术编码的功率表，可以 期待通过编码而削减冗余度的效果。
预测模式编码用的可变长编码表，也可以根据图像活动的内容进 行切换。例如，在包含活动非常激烈的图像或场景变换的帧中，可以 认为图6C、图6D的模式3 14那样的倾斜分割或不均匀分割等的不 规则的图形将大量发生，另一方面，在静止图像中，可以认为这些预 测模式不太发生。即，可以认为在帧或序列的单位中，有效的预测模 式的比例发生相当大的变化是很自然的事情。为了进行这样的区别， 可以考虑将帧中使用的预测模式编码用的可变长编码表或用于上下文 关系定义的标志信息多路化为例如该帧或帧群的开头的标题信息的一 部分。另外，考虑到预测模式值的分布与编码压缩率有关，可以按照 帧单位的量化参量初始值切换多个准备的预测模式值的可变长编码 表。
这样，通过根据图像信号的局部性质进行预测模式的上下文关系 的设定，可以将所能出现的预测模式限定在某一程度，所以，即使准 备了比图6C、图6D所示的更多的预测模式，通过将预测模式信息编 码可以将开销抑制少。例如，除了图4A~图4G的变化外，也可以使 用图6C、图6D的预测模式变化。但是，在以上下文关系为前提的可 变长编码中，由于附近区域的压缩数据传输错误等而未正确地译码时， 就不能独立而正确地将现在的预测模式信息译码。为了避免这样的问 题，可以如在例如MPEG—2图像编码方式等中使用的那样在帧图像 内划分为更细的独立编码图像区域(切片)的单位，而在切片的边界 不使用跨越切片的上下文关系。在该方法中，在切片的边界，虽然有 若干的编码效率的降低，但是，在其协调中可以提高错误性。 此外，也可以根据编码条件切换多个预测模式信息。以往，在根
据先有例所述的H. 26L在以前的标准编码方式(MPEG—1或 MPEG—2等)中所见到的利用运动补偿的预测编码中，将1个运动 矢量分配给1个宏块，代码量的调整可以以作为残差编码的结果的 DCT系数的精度进行。然而，根据近年来的编码(H. 263或 MPEG—4)，具有在1个宏块内分割为多个块的预测模式，代码量的 调整不仅在DCT系数中而且在关于预测的代码量的平衡中进行。在 其后的H. 26L进而准备了多个预测模式，代码量的调整以与所使用 的运动矢量数相应的运动补偿的精度进行的倾向很强。在H. 26L中， 在高速率时，使用图4A 图4G的模式中可以利用很多运动矢量数的 模式，通过运动补偿的精致化调整代码量。但是，在低速率下，为了 用运动矢量数进行代码量的调整，图4A~图4G的模式中可以选择的 模式几乎限定每l个宏块为l或2个模式(模式1~3)，不希望利用 运动补偿精致化提高编码效率的问题可以作为1个课题进行考虑。
从代码量对误差(Rate-Distortion)的最佳化的观点考虑，最佳 的运动补偿模型应随给定的编码速度(代码量)而不同。即，在低速 率下使用的运动补偿模型应与在高速率下使用的运动补偿模型不同。 在高的编码速率下，利用多模式、多数运动矢量在波形保存的意义上 将运动补偿精致化，另一方面，在低的编码速率下，需要利用有限的 运动矢量数进行更高效率的运动补偿的近似方法。根据这样的速率切 换运动补偿模型的近似方法不能按迄今为止的编码标准进行。
这里，在低速率下，如图6A~图6D所示，考虑在1个宏块中存 在单一的活动或者即使不存在单一的活动时也存在l个活动不同的物
体的边界(即每1个宏块的运动矢量数限定为2)的运动补偿模型。 作为每1个宏块的运动矢量限定为2的情况，不是通过单純的水平、 垂直分割将宏块分割为2部分，而是通过扩张为增加了水平、垂直、 倾斜和相位的分割，对在1个宏块中存在活动不同的物体的边界的情 况进行处置。另一方面，在高速率下，也容许图4A~图4G所示的容 许很多运动矢量条数的运动补偿模型。即，根据图像的编码条件切换
这样的运动补偿模型的变更的结构是有用的。例如，在帧或帧群(例
如与例如MPEG—2图像编码方式的序列或GOP、 MPEG—4图像编 码方式的视频目标层、视频目标平面等的单位相当)单位中，将用于 进行所使用的运动补偿模型(即预测模式的集合定义)的动态的变更 的识别信息多路化为其开头的标题信息的一部分。
另外，这样的运动补偿模型的变更，作为定标结构，可以提高安 装上和编码数据利用上的便利性。例如，如图32A 图32C所示，定 义了3个预测模式的集合。在图32A中，可以使用最小限度的预测模 式，在图32B中，除此之外，可以使用本实施例提示的使用了少的运 动矢量的预测模式。在图32C中，进而采用了增加利用多分割、多个 运动矢量的预测模式的集合。
通过定义这样的集合，如果在降低计算量负担为最优先的情况时 使用图32A的预测模式集合、在高的编码速率中利用多模式多个运动 矢量追求更精致的运动补偿时使用图32C的预测模式集合、在没有特 别的要求时使用图32B的预测模式集合，则可根据编码条件切换运动 补偿模型。另外，在图32A~图32C的结构中，各个预测模式成为预 测模式数更多的集合的子集合。例如，图32B的预测模式集合成为图 32C的集合的子集合。因此，根据各个预测模式集合进行编码的编码 数据在基于更高位的集合的安装中可以进行译码。
这样的运动补偿模型的变更，也可以作为图像编码方式的简档进 行定义，从而按用途不同规定可以利用的运动补偿模型。所谓简档， 在规定多个编码功能的编码方式中，是通过按用途不同定义所需要的 编码功能的子集合而获得安装、计算量负担与编码效率的平衡的结构。 图32A 图32C所示的预测模式的集合，可以将它们作为在各个简档 中利用的预测模式集合进行处理，另外，也可以将各个简档作为更高 位的简档的子集合，采用定标简档结构。
这时，将运动补偿的变更和残差编码的单位独立地处理时，则编 码器和译码器在安装上就非常理想。在H. 26L的情况时，残差编码 按4x4像素单位进行，所以，宏块的分割模型也采用4x4像素单位块。
这样，运动补偿模型的变更作为向残差编码块的各运动矢量的归属的 改换进行处理，所以，从安装效率的观点看，效果很大。 ②运动矢量信息的预测编码 通常，在低位速率下，为了提高运动矢量信息的开销比率，必须 将检测的运动矢量信息高效率地编码。通常，在宏块的单位中，活动 的大小和方向都是平衡的，在这个意义上，通常运动矢量其中与附近 块类似的值。从这样的观点考虑，运动矢量根据附近的运动矢量决定 预测值，并将其预测残差数据进行编码。下面，说明本实施例的运动 矢量编-马方法。
在H. 26L编码方式中，具有将过去的多个已编码的帧图像作为 参照图像存储到帧存储器6内并指定其中的某一个进行运动补偿预测 的结构。这在特别是静止背景前存在动区域而由于动区域的活动而背 景掩蔽的图像中，可以期待有效的预测。在本实施例中，在运动检测 部2中可以利用该结构，并且在宏块内存在2条运动矢量时，可以分 别变更参照帧。
在H. 26L图像编码方式的帧间预测模式中，不论在宏块内如何 进行动态分割，由于运动矢量的条数多，必须根据同一参照帧求各运 动矢量，但是，在本实施例中，不使用多数的运动矢量削减开销，通 过允许将参照帧切换信息赋予各运动矢量，可以进一步提高运动补偿 预测的效率。这时，参照帧切换信息多数可以采用同一宏块内或邻近 的宏块或者与子块的切换信息近似的值。通过利用这一点预测切换信 息或统一进行编码，可以削减参照帧切换信息所需要的代码量。
当然，参照帧切换信息本身必须作为附加信息进行传输，所以， 在是需要这样的切换的简单的图像时，可以采用在宏块内可以选择使 参照帧相同的规则的结构。这时，例如，在帧或帧群的单位中，可以 考虑多路化用于识别是否允许宏块内的参照帧变更的标志信息。这样， 译码装置在宏块内参照帧不变更时可以对宏块逐个将参照帧切换信息 进行译码。
另一方面，可以使参照帧按运动检测的单位变化时，在相互相邻
的运动检测单位间参照帧不同时，这些运动矢量间的相关关系降低。 即，这时运动矢量的预测精度降低。
例如，图7A表示现在的宏块为模式1而其左、上、右上的宏块 分别为模式0、 1、 8的情况。这时，如图中的箭头所示，根据附近预 测模式的上下文关系即动态分割的连续性，左片段的运动矢量都与左、 上方的相关关系高，右片段的运动矢量都与上、右上方的相关关系高。 即，在图7A中，现在、左、上、右上都参照相同的参照帧时，不论 哪个预测值都可以高精度地进行预测。但是，例如，在使用上方的宏 块的2个运动矢量与现在的宏块的运动矢量不同的参照帧、左方的宏 块使用同一参照帧时，则左侧的宏块的运动矢量的预测精度更高。
另一方面，在图7B中，上方的宏块使用与现在的宏块不同的参 照帧时，与上方的宏块的活动的连续性就没有了，并且，不仅上下文 关系不能决定预测应使用上、左方的宏块中的哪个运动矢量，而且由 于不能期待活动的连续性，所以，不能期待高的预测精度。
为了解决这样的问题，在本实施例中，根据附近预测模式的上下 文关系添加预测候补的优先度，自适应地决定运动矢量预测值。附近 预测模式信息和参照帧切换信息本身使用已译码的信息，所以，不需 要运动矢量预测值决定步骤用的特别的附加信息。下面，说明具体的 运动矢量预测值决定处理的流程。
1)对各片段决定成为预测值候补的附近运动矢量。图8A-图 8C表示模式0、 1、 7的例子。在图8A的模式0中，运动矢量只有l 条，所以，将划了斜线的块位置的运动矢量作为候补。在图8B的模 式1中，白区域、灰色区域(在图8B的宏块内划了斜线的区域)分 别存在运动矢量，所以，对于白区域的运动矢量，将划了斜线的块作 为预测值候补，对于灰色区域的运动矢量，将划了横线的块位置的运 动矢量作为预测值候补。在模式1的图8B中，在宏块上方的中央部， 划了斜线的块与划了横线的块叠加。在图8C的模式7中，白区域与 上部缺乏活动的连续性，所以，仅在左方的划了斜线的块位置的运动 矢量作为预测值候补。在灰色区域，将划了横线的块位置的运动矢量作为预测值候补。对各模式预先决定这些预测候补位置，并在编码装 置和译码装置间所共有。
2 )在包含预测值候补的宏块中特定包含使用同 一参照帧的预测 值的宏块。只要保持了已译码的附近宏块的信息，就可以判断附近是 否使用了同一参照帧。
3 )在2 )特定的宏块中根据预测模式信息特定预测使用优先度 高的宏块和运动矢量，将该运动矢量作为预测值。预测使用优先度如 图9所示的那样考虑与附近的活动的连续性，对各预测模式预先固定 地定义，在编码装置和译码装置中所共有。在图9中，例如以模式5 为例进行说明时，成为现在运动矢量预测的对象的宏块的预测模式为 模式5时，在其上方的宏块中，定义模式值在0、 6、 2、 8、 9、 12、 13的顺序中活动的连续性的优先度高。另外，左方的宏块的模式值定 义在5、 0、 2、 8、 12的顺序中优先度高。对于右上方的宏块，同样也 进行定义。例如，在上方和左方优先顺序相同时，可以将任意某一方 定为预测值。即，在本例中，在本身的预测模式为模式5而进行灰色 区域的运动矢量的预测时，上方、左方的预测候补位置的运动矢量使 用同一参照帧，右上方的使用不同的参照帧，并且，在上方出现模式 13、在左方出现模式5时，就将左方的运动矢量作为预测值，处于最 优先地位。
4) 如图8C的模式7的白区域那样，预测候补位置仅为l个时， 如果是同一参照帧，就直接将其作为预测值使用，如果是不同的参照 帧，就使用指定位置的多个预测值候补决定预测值(例如，使用帧间 预测)。
5) 尽管有多个预测值候补位置，不论哪个附近宏块都不能期待 活动的连续性时(是未包含在图9的优先顺序的预测模式时)，就使 用所有的预测值候补进行预测值的决定(例如，帧间预测)。
6) 预测值候补的所有的运动矢量在使用与要预测的运动矢量不 同的参照帧时，使用所有的预测值候补进行预测值的决定(例如，帧 间预测)。运动矢量的编码使用根据以上处理的结果而得到的预测值
将预测残差数据进行可变长编码。
另外，运动矢量的预测值也可以如图10A 图IOD那样固定地供 给。在这些图中，白箭头表示对白区域的运动矢量的预测的方向，黑 箭头表示对黑区域的运动矢量的预测的方向。以图10C的模式4为例 时，在模式4的白区域的运动矢量的预测中，从白区域中的上方开始 位于与第3个子块左邻的位置的子块的运动矢量作为预测值。在该规 则中，未充分考虑与附近的活动的连续性，但是，由于固定地分配了 预测位置，所以，可以轻而易举地获得关于运动矢量预测处理的装置。 在图10A 图IOD中，作为预测值所使用的预定的块使用不同的参照 帧时，其连续性将不存在，最好切换为帧间预测等方法。 ③压缩流语法
将从本实施例的编码装置输出的压缩流24的宏块数据的语法与 图IIA的H. 26L的现行语法比较，示于图IIB。
这些图所示的行程信息(RUN)，是将判定为上述跳跃模式的宏 块的数编码的数据，从第n个宏块到第n + 5个宏块之间是跳跃、第n + 6个宏块不跳跃时，行程信息=5中央的编码数据就赋予第n + 6个 宏块数据的开头。宏块类型信息(MB —Type)表示图1的预测模式3。
作为帧间预测模式，此处识别图4A~图4G所示的7种。图11A 的帧内预测模式信息(Intra - pred 一 mode )是在帧内预测模式中为了 识别多个空间预测方法而使用的信息，在选择了帧内预测模式时可以 省去(图11A的箭头Pl)。参照帧信息(Ref-frame)是在选择了 帧内预测模式时指定运动矢量指示的参照帧的号码的数据，仅将此前 的1帧作为参照帧使用时可以省去(箭头P2 )。运动矢量差分值(MVD) 是与运动矢量的预测值的差分值，按水平、垂直成分的顺序分别多路 化。这里，如图4G所示，在H. 26L中，运动矢量最大为16条，所 以，运动矢量差分值的数据最大多路化16个(即，箭头Q1表示最大 16次的循环)。运动矢量差分值的个数由宏块类型信息决定。在选择 了帧内预测模式时可以省去(箭头P3)。在以上的数据之后，多路化 预测残差信号的正交变换系数数据(Texture Coding Syntax )。
另一方面，在图IIB所示的本实施例的语法中，在宏块类型信息 中识别图6A~图6D所示的14种帧间预测模式(帧内预测模式视为 与H. !26L相同)。另外，对于l个运动矢量，使之与l个参照帧信 息对应，所以，参照帧信息与运动矢量差分值总是作为l组而多路化 的。参照帧信息与运动矢量差分值的组的个数由宏块类型信息决定。 最大个数为2个(即，图11B的箭头Q2表示最大2次的循环)。选 择了帧间预测模式时就如箭头P4所示的那样省略帧内预测模式信息， 另外，选择了帧内预测模式时就如箭头P5所示的那样省略参照帧信 息和运动矢量差分值。
这时，参照帧信息大多采用与同一宏块内或邻近的宏块或者子块 的参照帧信息近似的值，所以，可以利用它进行编码。例如，对于同 一宏块内的2个参照帧信息的值的组合分配1个代码，根据组合图形 的发生概率构成代码，可以降低多数发生的组合的代码量。
图33A表示H. 26L的参照帧信息的代码结构，图33B表示对 参照帧信息的组合分配的代码的例子。例如，同一宏块内的参照帧信 息不论哪个块都为0时，则在图33A的代码中，2个参照帧信息需要 2位，与此相反，在图33B的代码中，用l位就可以进行编码，从而 可以降低代码量。这时，关于参照帧信息的代码与图IIB的语法不同， 如图33C所示，与运动矢量差分值不成组，仅与各宏块多路化l个。 图33C的箭头P26、 P27表示省略该处理而进行跳跃，箭头Q11表示 最大2次的循环。
另外，也可以根据邻近的宏块或子块的参照帧信息进行预测，切 换4戈码。例如，和上述运动矢量的预测一样，可以如图10A 图10D 所示的那样固定地分配预测位置，将与预测位置对应的参照帧信息作 为预测值。由于也存在象模式0那样不分配固定的预测位置的情况或 由于是帧内预测模式等而预测位置与参照帧信息不对应的情况，所以， 对于这些情况就使用已定的预测值。根据得到该预测值时的参照帧信 息的值的发生概率构成代码，并根据预测值切换代码。
例如，将图34A的代码采用变更前或预测值为0时的代码，作为
一例，预测值为4时的代码，使用图34B那样构成的代码。参照帧信 息大多采用与预测值相同的值，预测值为4时，如果参照帧信息成为 4的概率高于参照帧信息成为2的概率，通过使用图34B的代码，可 以比仍然使用图34A的代码时降低参照帧信息的代码量。这时，参照 帧信息与图IIB相同，与运动矢量差分值总是成组地多路化。
虽然图中未示出，但是，在正交变换系数数据中，有表示是否存 在应按宏块内的8x8块的单位进行编码的数据的有意义系数存在识别 信息(CBP: Coded Block Pattern的略称)，通过4吏用该数据，在没 有有意义系数的8x8块中可以省去一切信息传输，从而可以提高正交 变换系数数据的编码效率。图35A~图35C表示该例。宏块如图35A 所示的那样进行分割而编码，并且在各子块(4x4块)中，用空白表 示的块中没有有意义系数。这时，如图35B所示，按8x8块的单位将 有无有意义系数的信息进行编码并传输，通过预先指示有无包含在 8x8块中的各4x4块的正交变换系数数据，可以省去各4x4块的信息 传输，从而可削减代码量。
使用本实施例的预测模式时，在选择了使用2条运动矢量的图形 的情况下，通过该分割提高了预测效率，所以，可以预想在位于分割 边界处的预测残差信号中应编码的系数数据很少。特别是在模式3以 后的不均匀分割、倾斜分割中，在8x8块的内部存在分割边界，可以 认为对于该部分不存在需要编码的系数数据的概率增高。因此，与该 状况对应地，可以根据预测模式变更有意义系数存在识别信息的可变 长编码表或算术编码的概率表。这样，便可根据预测模式而提高有意 义系数存在识别信息的编码效率。
另外，使用本实施例的预测模式时，宏块分割为没有变化的部分 和变化大的部分，可以认为有无有意义系数在各分割区域是一定的。 这时，如在H. 26L中使用的那样，对各8x8块不是指示有无有意义 系数，而是如对各分割区域指示有无有意义系数那样构成有意义系数 存在识别信息并进行编码，从而可以降低有意义系数存在识别信息所 需要的代码量。图35C表示该例。如图35B所示的那样按8x8块单位
传输有无有意义系数的信息时，其图形数增多，但是，如图35C所示 的那样对分割区域传输有无有意义系数的信息时，可以减小图形数， 从而可以削减有意义系数存在识别信息所需要的代码量。
下面，说明译码装置的译码处理顺序。图12表示译码装置的处 理流程。
首先，在可变长译码部25中，检测表示图片(即图像的各个帧 的编码数据)的开头的同步字(S101)，将图片头译码(S102)。在 图片头中，包含识別该图片是内部编码的图片(通过帧内预测将所有 的宏块编码的图片，以下称为I图片)还是使用帧间预测的图片(以 下称为P图片)的图片类型信息和正交变换系数数据的量化参量等的 值。然后，进入由图11B的语法构成的各个宏块数据的译码。在宏块 的层中，先将行程信息译码(S103)。行程信息的数据的定义如前所 述，发生与该行程信息的数等量的跳跃宏块。对于跳跃宏块，在帧存 储器26中存储的指定的参照帧上，将位于相同位置的16x16像素区 域直接作为译码图像数据而获得(S104、 S105)。获得译码图像的处 理，通过将运动矢量0和指定的参照帧号码供给运动补偿部5而进行。 在行程信息表示该图片的最终宏块时(S106)，在该时刻结束该图片 的可变长译码处理，在循环滤波器21中进行块变形除去处理后 (S118),转移到下一图片的可变长译码处理。
关于通常的编码宏块，进入步骤S107，进行宏块类型信息的译 码。据此，确定预测模式3。预测模式3表示帧内预测模式时(在S108 为肯定的判断时)，进行帧内预测模式信息的译码(S109)。正确地 说，在H. 26L中有按字块(4x4块)单位进行帧内预测的内部4x4 模式和按16x16像素的单位进行帧内预测的内部16xl6模式的2种帧 内预测模式，而需要帧内预测模式信息的只有内部4x4模式，作为本 实施例的说明由于主旨不同，所以省略了对这些处理的不同的详细说 明。在确定了帧内预测模式信息时，在空间预测部9中，根据附近的 图像数据生成帧内预测值(S110)。
另一方面，在预测模式3表示帧内预测模式时(在S108为否定
的判断时)，该模式就成为表示图6所示的某一模式的值。因此，在 该时刻确定应将哪些组的参照帧信息和运动矢量充分值进行译码(在 模式0为1组，在除此以外的模式中为2组)。按照该信息，将参照 帧信息与运动矢量充分值的组进行译码。但是，参照帧信息是否多路 化，要与上述图片类型的信息协调，所以，必须判断在图片类型的值 中是否存在参照帧信息(S111)。
另外，虽然图中未示出，但是，如前所述，在利用同一宏块内或 邻近的宏块或者子块的参照帧信息的值进行参照帧信息的编码时，与 其相应地根据参照帧信息的组合信息或者在利用预测值进行代码的切 换后，进行参照帧信息的译码。
有参照帧信息时，在将该值译码之后，将运动矢量差分值译码 (S112、 113)，在没有参照帧信息时，仅将运动矢量差分值译码
(5113) 。根据这样得到的参照帧信息、运动矢量差分值、由宏块类 型信息表示的预测模式和附近的预测模式信息以及与图8A~图8C和 图9所示的编码装置相同的预测值候补位置和预测^使用优先度决定运 动矢量的预测值，将与宏块内的所有的子块对应的各运动矢量信息复 原。将该运动矢量信息4向运动补偿部5传输，运动补偿部5根据指 定的参照帧信息和运动矢量生成对各个子块的运动补偿预测值
(5114) 。
以上的处理结束时，由可变长译码部25进行该宏块的预测残差 信号的正交变换系数数据17的译码(S115)，然后由逆量化部18和 逆正交变换部19进行预测残差信号的复原(S116)。最后，通过将在 S110或S114得到的预测值相加，获得该宏块的译码图像(S117)。 然后，转移到下一宏块的译码处理。
按照以上所述的编码装置和译码装置，通过少的开销可以可靠地 捕捉宏块内的各种各样的活动，从而可以高效率地进行图像传输、记 录、再生。另外，在本实施例中，在以各种各样的形状动态分割宏块 内提高预测效率的同时，成为运动补偿预测对象的区域通过子块的组 合而构成，所以，在如H. 26L图像编码方式那样进行子块单位的预
测残差信号编码时，由于在子块的内部不存在预测的分割边界，所以，
不会发生不连续的波形。这在预测残差信号编码中使用DCT时不会 发生多余的高频波系数，在使用矢量量化时也可以抑制特异的信号波 形，在以由代码簿规定的通用的波形的表现的意义上，可以进行高效 率的编码。
实施例2.
下面，说明实施例2。在本实施例中，说明在按宏块单位进行编 码的图像编码装置中每个宏块最大使用2条运动矢量、对将宏块分割 为4x4像素单位的各子块分配上述2条运动矢量而进行运动补偿预测 的图像编码装置和译码装置。实施例1对子块的运动矢量分配是以固 定图形供给的，与此相反，在本实施例中，说明可以任意指定向子块 的运动矢量分配的编码装置和译码装置。
在本实施例中，除了与在先有例的图l和图2所示的编码装置和 译码装置中包含在压缩流24中的预测模式3(特别是帧间预测模式)、 运动矢量4的定义、运动检测簿2和运动补偿簿5的动作不同外，可 以用相同的部件和动作说明。下面，对于编码装置以运动检测部2的 动作和预测模式3、运动矢量4的定义为中心进行说明，对于译码装 置以根据预测模式3和运动矢量4将图像信号译码的顺序为中心进行 说明。
首先，以本实施例的预测模式3的结构和与其相应的运动矢量4 的检测顺序为中心说明编码装置的处理和向译码装置传输的压缩流的 结构。本实施例的预测才莫式3如图13A~图13C所示，不仅上述图6A~ 图6D的固定的运动矢量分配而且作为可以指定任意的分配状况而扩 张的信息进行定义。即，如果令2条运动矢量的ID分别为0、 1，则 可如图13A~图13C那样作为4x4的二进制映射信息来表现。这里， ID的分配具有例如作为压缩流中的传输顺序的意义。
下面，说明如图13A~图13C那样可以分配的运动矢量4的决定 方法(在运动检测部2中实施)和图13A~图13C表现的预测模式3
的编码方法。在实施例1中只要评价了固定的运动矢量的分配已决定 的多个图形就可以了，所以，运动矢量的检测，在各个区域固定地实 施就可以了，但是，本实施例中运动矢量的检测，必须考虑运动矢量 分配的最佳情况而进行实施。
图14表示检测的一例的顺序。首先，在S201实施以16x16像素 为单位的运动矢量的检测。这可以是和图4A的模式1、图6A的模式 0的情况相同的运动矢量检测。设根据检测结果而得到的运动矢量为 第1运动矢量VI。其次，使用根据该检查结果而得到的预测值求各4x4 的子块的预测评价值(这里，使用充分绝对值和SAD: Sum of Absolute Difference)，将预测评价值比指定值大的子块作为例外子块区域而抽 出(S202 )。这样，可以得到斜线部表示例外子块区域的运动矢量分 配图40。该例外子块区域表示用第1运动矢量V1不能进行充分的预 测的区域，通过特定例外子块区域，可以根据预测效率进行运动矢量 分配。然后，进行仅将例外子块作为对象的运动矢量的检测，检测第 2运动矢量V2 (S203 )。
在以上的处理过程中，不仅预测评价值而且也考虑运动矢量值或 由例外子块区域决定的运动矢量分配信息(即，图1的预测模式3) 的代码量进4于检测处理。另外，也可以如实施例1那样第1和第2运 动矢量的检测分别个别地变更参照帧而进行检测。
图15表示别的检测例的顺序。在该例中，首先以子块为单位进 行运动矢量的检测，求16条矢量(S204)。然后，对于宏块全体，将 16条的矢量分组为2条矢量VI、 V2，以使从代码量和预测效率的观 点考虑为最佳情况(S205)。特别是通过考虑预测模式3的代码量进 行矢量分配，在将宏块进行编码时，可以检测成为最佳的速率变形平 衡的运动矢量。根据以上的方法，在运动检测部2中决定预测模式3 和运动矢量4。
下面，使用图16A、 B说明预测模式3的信息的编码方法。编码 的顺序示于图17的流程图。设图16A、 B的宏块C是编码对象的宏 块、宏块A是是位于C之上的宏块、宏块B是位于C的左边的宏块。
各宏块分割为4x4的子块单位，以白色和灰色的不同表示运动矢量分 配(图1的预测模式3 )的情况。编码根据宏块A和B的预测模式的 状况将子块的运动矢量分配的变化点进行编码。首先，根据宏块A和 B的预测模式状况决定继承A和B的某一各预测模式的状况(预测优 先上下文关系)(图17的S206)。另外，将行计数器L复位为O。 在图16A中，显然可以知道宏块A的活动的连续性高，所以，如箭头 所示，将垂直方向的运动矢量分配的变化作为检测对象。以后，将其 称为垂直预测优先上下文关系。相反，如图16B所示，在判定宏块B 的活动的连续性高时，将水平方向的运动矢量分配的变化作为检测对 象。以后，将其称为水平预测优先上下文关系。在图16A、 B中，用 粗线表示宏块C按各个预测优先上下文关系进行编码时的变化点。下 面，用图16A的事例进行说明。
在处理行L时，先确定剩余运行数r、运行开始点a。、运行结束 点ai (S207)。运行结束点at表示分配与按由预测优先上下文关系指 定的宏块(图16A的情况为宏块A)的最相邻的子块分配的运动矢量 不同的运动矢量的子块位置。
但是，实际上在宏块A和C中通常不是连续地检测相同的运动 矢量，所以，需要采用将例如按预测优先上下文关系指定的宏块的最 相邻子块的运动矢量分配状况(O或1 )视为与编码对象的宏块的初始 运行开始点a。的分配相同而开始进行处理的等方法。
作为别的方法，还有将预测优先上下文关系封闭在宏块C内有用 的方法。即，在16个子块中，左上角的子块保留着O或1的值，对于 最上方的4行，将左边相邻的子块的变化点取为1，对于最左边的4 列，总是将正上方的子块的变化点取为1。通过这样决定，可以根据 预测优先上下文关系决定其余的子块的变化点。
在行L的开头，r-4、 a0 = 0，在图16A的例子中，可知L-0 的31为3。这样，行L的继续分配相同运动矢量的子块数由R-at—ao 决定。使用由剩余运行数r决定的代码长CB ( r )将该值进行可变长 编码(S208 )。代码长CB (r)的例子示于图18A ~图18C。在进行
R的编码时，其余的R的发生状况由于途中的经过而受到制约，所以， 通过根据剩余运行数r切换代码长，可以提高编码效率。例如，在图 16A的L-0时，首先得到r-4、 R-3，所以，使用CB ( 4 )进行R =3(分配了代码1，代码长为3位)的编码。其次，利用r-r—R更 新剩余运行数r，同时将运行开始点a。转移到ai (S209)。这样，则 得r-l，但是，剩余运行数为1就表示在该时刻行L的运动矢量分配 已全部确定了，所以，不必特别传输代码。这就是不定义CB(1)的 理由。因此，在"1时，对L的计数结束，转移到下一行的处理(S210、 S212)。相反，r〉l时，就检测新的变化点(S211)，反复进行上述 处理。在图16A的宏块C的最后行L-3中，由于最开始的子块突然 成为了运行结束点，所以，将CB(4)的"初始反转O"的代码编码， 以后，作为剩余行程信息数r-3进行处理。在行数L成为4的时刻， 结束编码处理。
以上，在图16A中，在L-O时，以3位进行预测模式3的编码， 在L-1时，以4位进行预测才莫式3的编码，在L-2、 3时，以6位 进行预测模式3的编码，此外，加上预测优先上下文关系的代码量(这 里，设水平和垂直都为3位)，就以18位进行预测模式3的编码。在 图16B的情况下，在L-O、 1时可以用4位进行编码，在L-2、 3 时可以用各l位进行编码，加上上下文关系，可以用13位进行编码。 即使是二进制信息，也可以用16位进行表现，所以，成为16位以上 的表现的情况，通过换码等方法也可以用16位固定长代码进行编码。 此外，如图16A所示的那样，对于作为分割图形预想出现频度高的图 形(图6B 图6D所示的情况)，预先分配固定的短代码表现除此以 外的任意的分割图形时，可以使用上述编码的代码。按照上述编码处 理顺序，可以高效率地将表示子块单位的任意的运动矢量分配状况的 图1的预测模式3的信息进行编码和传输。
按照上述说明，将从本实施例的编码装置输出的压缩流24的宏 块数据的语法与H. 26L的语法(图19A)进行比较，并示于图19B、 C。图19B是本实施例的最简单的语法例，宏块类型信息仅包含是帧
内预测还是帧间预测的判断信息，对于帧内预测，在16xl6像素单位 运动补偿时分配最短代码，对于预测优先上下文关系的信息分配次短 的代码。预测优先上下文关系信息即表示是利用任意分割图形的帧内 预测4莫式。
帧内预测的出现频度通常比帧间预测低，所以，分配比预测优先 上下文关系信息长的代码。例如，如果根据H. 26L的可变长代码定 义，对于16x16像素单位运动补偿模式就分配代码"1" (1位)，对 于预测优先上下文关系信息就分配代码"001"、 "011" (3位)。选择 帧内预测模式时，和H. 26L—样，将帧内预测模式信息进行译码(帧 间预测模式时如箭头P9所示，省略了帧内预测模式信息)。其次， 将用上述编码方法编码的子块单位的运动矢量分配信息多路化。它也 可以是16位的固定长代码。在帧内预测;漠式时，该信息如箭头P10 所示，省略了相应的处理。以后的处理，和实施例l所述的一样。
图19C表示别的语法结构，利用代码"001"、 " 011" (3位)作 为将任意分割图形的帧间预测的模式信息以可变长还是以固定长(16 位)进行传输的识别信息使用，取代用宏块类型信息表现预测优先上 下文关系。表示是可变长时，在预测优先上下文关系(pred-ctx)之 后，多路化运动矢量分配信息(pattern - info )。另一方面，表示是 固定长时，就用16位的固定长代码多路化。另外，在图19B中，在 宏块类型信息中，也可定义为可以表现图6B 图6D所示的表示特定 的出现频度高的分割图形的信息和表示是除此以外的图形的换码代 码。这时，在运动矢量分配信息中，包含预测优先上下文关系的值。 这样，出现频度高的分割图形就不需要运动矢量分配用的追加信息， 从而可以以更高的效率进行编码。在图19A 图19C中，箭头P6~ P15表示省略了相应的信息，箭头Q3表示最大16次的循环，箭头 Q4、 Q5表示最大2次的循环。
译码装置的动作流程示于图20。本实施例的译码装置与实施例1 的译码装置相比，除了预测模式信息3的译码顺序不同外，动作相同， 所以，仅说明预测模式信息3的译码处理的部分。 在图20中，S101 S118是与图12所示的实施例1的译码装置 的处理步骤相同的处理步骤。在图20的S108表示是帧间预测模式时， 在S215就将图19B的运动矢量分配信息译码。这时，预测优先上下 文关系信息已包含在宏块类型信息中，这里，根据在S214的处理过程 中译码的预测优先上下文关系信息，使用CB (r)进行译码处理。由 于这可以通过一般的可变长译码处理而实施，所以，省略了详细的说 明。在确定了全部16个子块的运动矢量分配的阶段，结束S215的处 理，转移到参照帧信息和运动矢量差分值的译码处理。以后的处理， 与实施例1所述的一样。
另外，在图20中，可以说明基于图19C的语法的译码处理。这 时，在步骤S214，运动矢量分配信息取代预测优先上下文关系信息表 示是可变长代码还是固定长代码。根据该信息，在步骤S215，根据图 19C的语法进行运动矢量分配信息的译码。是可变长代码时，先进行 预测优先上下文关系信息的译码处理。进而，在宏块类型信息包含几 个出现频度高的分割图形(例如，图6B~图6D的模式1~14)的识 别信息时，在S214的步骤，就已决定了分割图形，所以，除了检测到 表示任意分割图形的换码代码时以外，都跳过S215的步骤。
按照上述编码装置和译码装置，可以按子块的单位任意分割而捕 捉宏块内的各种各样的活动，通过少的开销开头高效率地进行图像传 输、记录、再生。
实施例3.
下面，说明实施例3。在本实施例中，说明表示实施例2的任意 的分割图形的图1的预测模式3的别的编码方法。图21表示其处理流 程，是在图16A中使用的具体例的处理流程，图22是该处理的说明 图。首先，在图21的S301,决定和实施例2相同的预测优先上下文 关系。这里，选择了垂直预测优先上下文关系时，将从宏块A的最下 端的子块行看运动矢量分配在何处变化作为变化点而进行检测 (S302 )。例如，在图22A的宏块A、 C中，粗线部分作为变化点进
200810145322.X
说明书第41/55页
行检测。这样，就生成了以有变化点为1、无变化点为0的图22B的 二进制映射。使用指定的扫描表(例如图22C的扫描表)扫描该图， 生成零行程(S303 )。
例如，由于这里釆用了垂直预测优先上下文关系，所以，使用用 于对图22C的垂直方向进行扫描的扫描表将图22B的二进制映射。结 果，就生成了 {3、 1、 3、 5}这样的零行程的组。通过将该信息进行 可变长编码(S304 S307)，进行预测模式3的编码。在扫描的途中 变化点消失时(在S305为肯定的判断时)，以后的零行程信息就仅由 l个终端代码(EOB)所代替(S306)。
相反，在扫描结束之前存在变化点时，利用零行程与变化点的数 的总和为16的情况确定最后的零行程的代码，所以，不利用终端代码 进行编码(在S307为肯定的判断时不进行S306的处理)。
对于扫描表，可以使用例如图23A的锯齿形扫描、图23B的水 平扫描、图23C的希尔伯特扫描，除此以外，也可以是任意的表。可 以根据预测优先上下文关系变更扫描(在选择了水平预测优先上下文 关系时就采用水平扫描等)，也可以固定地使用某一特定的通用的扫 描规则。另外，也可以将用于切换扫描表的专用标志作为预测模式3 的信息的一部分进行编码。这时，在编码装置中可以从多个扫描方法 中有选择地使用编码效率最高的扫描表。
利用上述编码方法得到的预测模式3的语法，通过置换为实施例 2的编码方法可以实现图19B、 C所示的运动矢量分配信息。另外， 译码装置的结构也与图20的S215的步骤将本实施例中所述的编码方 法的代码进行译码而确定预测模式3的处理对应。
在本实施例中，说明使用预测优先上下文关系信息的事例，但是， 与预测优先上下文关系无关地按某一固定的规则检测变化点，也可以 采用不将预测优先上下文关系的信息进行编码的结构。这时，扫描表 可以时固定的，也可以设置标志，用以切换效率高的表。
按照上述编码装置和译码装置，可以按子块的单位任意分割而捕 捉宏块内的各种各样的活动，从而可以通过少的开销而高效率地进行
46
图像传输、记录、再生。
实施例4.
下面，说明实施例4。在本实施例中，说明不仅对子块单位变更 运动矢量分配而且为了可以区别内部/帧间预测而构成图1的预测才莫 式3的编码装置和译码装置。这样，可以选择内部、中间(多个运动 矢量中的某一个)对各子块进行编码，所以，可以比按宏块单位进行 模式切换的方式进行与实际的图像的性质适应的有效的编码。
首先，使用图24A、 B的例子说明本实施例的图1的预测模式3 的定义。在H. 26L编码方式中，作为帧内预测，准备了两种预测才莫 式，即按4x4的子块单位切换用帧内预测模式信息识别的多个预测方 法进行空间预测的内部4x4模式(INTRA-4x4)和按宏块的单位切 换多个预测方法进行空间预测的内部16x16才莫式(INTRA-16x16)。
对帧内预测模式信息，共计定义了 6种(1~6)空间预测方法， 可以按子块的单位指定这些方法。因此，可以扩展该方法，对于4x4 子块的预测模式，协调运动矢量分配信息。即，可以使用2条运动矢 量时，就将其预测方法的ID定义为7和8。根据该定义对子块分配预 测方法1 ~8的例子示于图24A、 B。在图24A中，在对角方向进行内 部/中间的区别，在帧间预测;溪式中使用2个运动矢量。
在图24B中，宏块分割为上下两部分，是上部为帧内预测、下部 为帧间预测的例子，在该例中，帧间预测只^使用l条运动矢量。以下， 将该多值的预测分配信息称为多值预测识别映射信息。
对于内部16x16模式和16x16像素单位运动补偿模式(以下，称 为中间16xl6模式)的识别，不需要4x4子块单位的预测分配信息， 所以，仅利用宏块类型信息就可以实现识别。即，将宏块类型信息分 为内部16x16模式、中间16xl6模式和子块单位任意预测分配的3种。 其次，在是子块单位任意预测分配的模式时，通过将上述多值预测识 别映射信息编码而确定所有的子块的预测方法。
在该例中，在编码装置的运动检测部2中，可以对内部16x16模
式、中间16x16模式和子块单位任意预测分配的所有的可能性进行评 价，选择编码效率最高的模式。当然，也可以构成固定为某一模式组 合而进行编码的装置。子块单位预测的最佳的检测可以考虑各种各样 的方法，但是，可以扩展例如实施例2的图14所示的方法，例外子块
帧内预测等方法确定识别映射信息。
下面，说明图24A、 B所示的多值预测识别映射信息的编码方法。 该识别映射信息可以用与实施例2和实施例3所示的运动矢量分配信 息基本上相同的编码方法进行编码。所不同的是，实施例2和实施例 3的编码对象的信息为二进制映射，而本实施例的编码对象是灰度映 射。
(1) 编码方法1
为了用实施例2的方法实现，将各个模式信息在位平面上展开。 例如，可以分为表示内部或中间的平面、表示有无使用各个帧内预测 方法的平面(共计6个平面)和运动矢量的分配平面等。这些平面可 以用实施例2所示的方法进行编码。例如，将图24A的多值预测识别 映射信息按上述规则在位平面上分解时，就成为图25A ~图25C所示 的情况。这里，图25A的内部/中间分类的平面和图25C的运动矢量 分配的平面都使用了预测优先上下文关系，但是，对于帧内预测方法 的平面，仅对有无预测方法的情况构成位平面。
通过用实施例2的方法按指定的顺序将图25A ~图25C的共计8 个平面的二进制映射进行编码，可以表现本实施例的预测模式3的信 息。另外，开始，通过优先传输内部/中间的识别，关于帧内预测方 法的图25B的6个平面和图25C的运动矢量分配的平面可以如图26B、 C所示的那样分别仅将与内部、中间对应的子块作为位平面数据(即， 图26B、 C的灰色部分不作为编码对象)。这样，便可有效地降低应 编码的信息量。另外，也可以使用实施例3的编码方式将以上的平面 信息进行编码。
(2) 编码方法2
另外，作为实施例3的变形而进行编码的方法，可以考虑将预测 方法的无变化点取为0而将同一预测方法继续的无变化区间进行行程 表示的方法。利用该方法时，图24A的情况如图27那样进行变换(用 水平预测优先上下文关系检测变化点)。按零行程与变化点的预测方 法ID的组将该信息编码。在本例中，可以使用图23B的水平扫描展 开成{(5、7)、 (0、1)、 (2、 7) 、 (3、 8) 、 (1、7)}这样 的组。对这些组分配可变长代码而进行编码。扫描表准备了标志，可 以切换为效率高的表来使用。
另外，这时，作为帧间预测的7和8的值的变化视为不是预测方 法的变化，从而作为无变化点，而另外将运动矢量分配信息的平面进 行编码。
(3 )编码方法3
可以扩展为对先有例的H. 26L编码方式的帧内预测模式信息追 加帧间预测的标志，以运动矢量分配平面的形式传输帧间预测部分。 (4)编码方法4
预先例如图6A-图6D那样固定地分配内部/中间分类图形和
运动矢量分配图形。所有的内部/中间分割状况和运动矢量分配状况， 作为固定图形ID可以由编码器和译码器识别，所以，按照出现频度 的顺序将这些图形的ID进行可变长编码。另外，对于内部/中间分 割图形和运动矢量分配图形(相当于实施例1)，考虑认为与在附近 的宏块中选择的图形的相关关系高，所以，对于内部/中间的分割图 形，也和实施例l一样，根据附近宏块的状况定义上下文关系，根据 上下文关系切换该可变长编码表或算术编码用的概率表。
按以上的方法编码的预测模式3的语法示于图28 ~图31。图28 ~ 图31分别与上述编码方法对应。在编码方法l中，如图28所示，将 运动矢量分配信息在各位平面上进行编码。对于预测优先上下文关系， 和实施例2—样，可以封闭在同一宏块内进行定义，也可以不4吏用该 定义。
在编码方法2中，如图29所示，在预测优先上下文关系之后，
多路化用于识别扫描表的扫描表标志信息。根据预测优先上下文关系 决定扫描表时或固定地决定了扫描表时，就不需要该标志。然后，传
输根据扫描的结果而得到零行程与变化点的预测方法ID的组数。
在编码方法3中，如图30所示，利用向帧内预测模式信息追加 帧间预测标志的扩展版信息进行扩展，可以指定将6种帧内预测方法 加上帧间预测方法的共计7种方法，从而成为向该扩展版信息传输用 于指定帧间预测时的运动矢量分配的运动矢量分配信息的结构。
在编码方法4中，如图31所示，作为宏块类型信息，包括内部 /中间的分类图形和包含运动矢量分配图形的固定的模式分配图形， 扩展为唯一地识别非常多的预测模式值的数据。其次，仅对进行由宏 块类型信息指定的帧内预测的区域内的4x4子块另外传输帧内预测模 式的识别信息。像语法那样，可以直接使用在例如H. 26L编码方式 的内部4x4模式中使用的子块单位的帧内预测模式识别信息(帧内预 测模式信息)。
在图28~图31中，箭头P16 P25表示省略了该信息，箭头Q7 表示最大16次的循环，箭头Q6、 Q8 Q10表示最大2次的循环。
在译码装置中，根据图12、图20等的译码动作流程接收以上的 各种结构的语法，按照与编码方法规定的顺序相反的顺序确定宏块内 的预测模式分配，将图像信号译码。
按照上述编码装置和译码装置，可以按子块的单位任意分割而捕 捉宏块内的各种各样的变化状况，从而通过少的开销可以高效率地进 行图像传输、记录、再生。
在本实施例中，在预测模式定义中，可以将运动矢量的条数取为 3~4条，分别向它们追加预测方法ID而进行分配。
实施例5.
下面，说明实施例5。在本实施例中，说明在实施例l的编码装 置和译码装置中安装了关于运动矢量检测处理和运动矢量预测方法的 其他部分的例子。
利用在实施例1中所述的图6A~图6D的帧间预测模式时，各模 式的运动矢量的检测方法可以如在实施例1的译码装置的动作中所述 的那样采用可以用指定的语法解释的任何方法，但是，在本实施例中， 说明不太增加运算量的负担而提高预测效率的运动矢量检测方法和采 用与其相应的运动矢量预测规则的编码装置和译码装置。在以下的说 明中，运动矢量检测处理在图1的运动检测部2中进行，运动矢量预 测处理由图1的可变长编码部23 (编码装置侧)和图2的可变长译码 部25 (译码装置侧)进行，在以后的说明中，利用这些处理的流程图 进行动作说明。
在图6A 图6D所示的实施例1的帧间预测模式集中，必须对每 个宏块检测1条或2条运动矢量。在低速率编码中，仅运动矢量的条 数增加的部分在正交变换系数的表现中所能使用的代码量减少，所以， 最好考虑运动矢量的代码量的成本与利用检测的运动矢量的预测精度 的折衷选择而进行运动矢量的检测。在作为实施例1的基础的H. 26L 图像编码方式中，设在时间上在i帧之前的参照帧RFi (&1)中检测 的运动矢量为MVi (n， j) (n:宏块位置、j:段号码)，用Rp表示 运动矢量MVi (n， j)和参照帧识别信息RFi的编码所需要的位量， 使用这时得到的预测残差功率Dp和常数X决定使由下式(1)决定的 成本Cp为最小的运动矢量MVi (n， j)和参照帧RFi (&1)。设定常 数X的值随着目标编码位速率降低而增大，所以，在低速率编码中， 位量Rp的制约是严格的。
<formula>formula see original document page 51</formula> (1)
如在实施例1中所述的那样，在决定运动矢量的预测值后将预测 差分值进行编码，所以，检测的运动矢量尽可能接近预测值的位量Rp 减小。因此，在H. 26L图像编码方式中，推荐将运动矢量探索范围 的中心点设定为运动矢量预测值，使运动矢量探索窗的位置自适应地 随各段而变化。这样，至少可以削减运动矢量的代码量，使上式的成
本Cp成为最小时，就緩和了位量Rp的制约，利用预测残差功率Dp 的最小化，可以在有利的条件下进行运动矢量检测。考虑与附近宏块 的活动的连续性，也可以期待自适应地使探索窗位置符合预测值与预 测残差功率Dp的降低相联系。另一方面，在探索窗的自适应中，存在 预测残差功率的计算处理的负担大的问题。
为了说明该问题，图36A将进行运动矢量探索范围的自适应处理 的情况进行图式化表示，图36B将不进行运动矢量探索范围的自适应 处理的情况进行图式化表示。如图36B所示，探索范围一定，与段无 关时，利用段的形状为层次结构，可以削减预测残差功率的计算次数。
例如，在图6D中，对于模式13的上部段(白色段)，通过用唯 一决定的探索窗对所有的运动矢量候补进行预测残差功率计算，在模 式9中，不必对模式13的上部段内的3个子块再次进行预测残差功率 计算，可以仅对其余的3个子块进行预测残差功率计算。与此相反， 在图36A中，以使用图10D的运动矢量预测规则为前提时，模式13 的上部段与模式9的同一地方的探索位置已不同，所以，不能再次利 用该预测残差功率计算结果。
因此，在本实施例中，说明抑制运算量进行探索窗的各段的自适 应处理用以提高预测精度的运动矢量检测处理和运动矢量预测规则。 本实施例的运动矢量预测规则如图37A~图37D那样固定地决定。在 该规则中，与图10A~图IOD相比，使用的预测位置的变化小，大致 仅4吏用4种运动矢量预测。
第1种是模式0和模式9、 10、 13、 14的上部段的预测(MV预 测①)，这时，采用使用由斜线包围的3个地方的子块(4x4块)位 置的运动矢量的中央预测。
第2种和第3种是模式1~8、 11、 12的预测，如图37B~图37D 所示，根据段不同而采用使用左或上方的固定位置的子块的运动矢量 的预测(MV预测②、③。从左侧开始的预测为②、从上侧开始的预 测为③)。
第4种是模式9、 10、 13、 14的下部段的预测，这时，使用与宏 块的右上角的子块相邻的虛线位置的子块进行预测(MV预测④)
另外，预测所使用的地方的运动矢量使用与现在要进行预测的运 动矢量不同的参照帧时或进行内部编码后不定义运动矢量时，仍然应 用模式0和模式9、 10、 13、 14的上部段所使用的帧间预测。在图10A ~ 图10D中，对各模式和各段应用了不同的预测规则，但是，通过应用 本实施例的预测规则，可以集中为最大4种预测。这样，在进行运动 矢量的探索时，即使设定与预测值自适应的探索窗，也可以大幅度地 减少预测残差功率的计算次数。
利用以上的运动矢量预测规则在编码装置的运动检测部2中进行 的运动矢量检测处理的流程图示于图38。下面，使用图38说明利用 上述运动矢量预测规则的运动矢量检测处理。
首先，使用MV预测①求运动矢量预测值，并将其作为探索窗① 的中心位置(SA1)。在该探索窗①内，先对模式O检测使成本Cp为 最小的运动矢量(和参照帧)(SA2)。这时，对于宏块的各子块， 将对探索窗①内的运动矢量候补得到的预测残差功率(用预测评价值 (SAD )进行计算)全部作为SAD值①进行保持(SA3 ) 。 SAD值① 在使用相同的MV预测①进行模式9、 10、 13、 14的运动矢量和参照 帧决定时可以再次利用(SA4)。即，仅从作为SAD值①而保持的值 中选择并进行相加计算，就可以决定使关于模式9、 10、 l3、 U的成 本Cp为最小的运动矢量和参照帧，从而不必进行预测残差功率(SAD)
的计算。
其次，在SA5，对模式1~8、 11、 12判断是否可以使用MV预 测②、③。这里，对于使用MV预测②、③的模式1 8、 11、 12，使 用在MV预测②、③中使用的预测位置的运动矢量不同的参照帧，在 是内部编码时，就判定不能使用MV预测②、③，从而使用SAD值① 决定运动矢量和参照帧(SA8)。另一方面，在SA5，如果判定可以 使用MV预测②、③，就将4吏用MV预测②、③求出的运动矢量预测 值作为探索窗②、③的中心位置(SA6)，在该探索窗②、③内，分 别对模式1~8、 11、 12检测使成本Cp为最小的运动矢量(和参照帧)
(SA7)。然后，在SA9 12，对模式9、 10、 13、 14的下部段进行 与SA5 8相同的处理。并且，最后，在SA13，从全部模式中选择实 现最小的成本Cp的模式。
通过以上的运动矢量检测处理，在SA4、 7、 8、 11、 12的各步骤 中，通过根据段的大小决定运动矢量计算顺序，可以进而减少SAD运 算量。例如，在模式9、 10、 13、 14的关系中，对于上部段，有模式 13c模式9c模式10c模式14的关系。即，模式13的上部段的SAD 计算的结果，在模式9的上部段的SAD计算中仍然可以利用，从而与 根据SAD值①直接进行相加计算相比，可以减少相加计算次数。对于 模式1~8、 11、 12可以说也是一样的，所以，通过根据它们的层次性 进行运动检测处理，可以抑制运算量。
另一方面，在译码装置中，在可变长译码部25的运动矢量语法 的译码处理中，可以导入图37A 图37D所示的运动矢量预测规则取 代图10A 图10D的运动矢量预测规则来决定预测值，将运动矢量复 原。
实施例6.
下面，说明实施例6。在本实施例中，说明在对实施例l的运动 矢量分割图形不仅顺向帧间预测而且逆向帧间预测也使用的双向帧间 预测的同时使用的、对宏块内的各个分割段可以选择双向预测的预测 方向的编码和译码方法。
本实施例和实施例1的情况一样，在先有例的图l和图2所示的 编码装置和译码装置中，除了包含在压缩流24中的预测模式3、运动 矢量4的语法、运动检测部2和运动补偿部5的动作不同外，可以用 相同的部件和动作进行说明。下面，对于编码装置，在以运动检测部 2的动作为中心进行说明的同时说明语法，另外，对于译码装置，以 在运动补偿部5中生成预测图像的顺序为中心进行说明。
本实施例的运动补偿模型即固定的运动矢量分配的定义，使用和 在实施例1中所示的相同的定义。即，如图6A 图6D所示，宏块的
一分为二的分割不是单纯的水平分割或垂直分割，而是使用扩展为包 括水平、垂直、倾斜和相位的分割的运动矢量分配。
在本实施例中，对于通过运动矢量分配而分割的段，各段进而可 以选择双向帧间预测的预测方向。这样，在l各宏块内存在活动不同 的物体的边界时，对于通过少的开销可以可靠地捕捉宏块内的各种各 样的活动的该段，进而可以从双向预测的多个预测方向中选择并分配 可以得到更高的编码效率的预测方向，从而可以提高预测效率。
图39表示本实施例的双向预测方向的例子。在图39中，表示在 双向预测帧Bt的宏块M中，使用图6的模式9的分割，并且，对宏 块内的2各段分别使用在时间上在前面的参照帧Pt一的顺向预测Fl、 而在时间上为后面的参照帧PtM的逆向预测Bl的情况。
进行宏块M的编码时，在图1的运动检测部2中，作为帧间预 测模式，首先从图6A~图6D的各个预测模式中评价和检测可以得到 更高的编码效率的预测模式和运动矢量。这时，在本实施例中，在各 个预测模式中，进而对2个段从双向预测的多个预测方向中评价和检 测可以得到更高的编码效率的预测方向。图39表示这些评价和检测的 结杲在宏块M中作为预测模式选择模式9并且对于各个段选择不同的 预测方向的情况。该选择结果作为以下所示的压缩流中的信息进行传 输。
将从本实施例的编码装置输出的压缩流的宏块数据的语法与 H. 26L中的双向运动补偿预测时的语法(图40A)比较地示于图40B。
在图40A所示的H. 26L的语法中，预测方向的信息在表示运动 矢量分割图形的预测模式宏块类型信息中仅向宏块传输1个，与预测 模式一起进行识别。在使用本发明的运动补偿模型即固定的运动矢量 分配的双向预测时的语法时，也采用同样的结构，包含关于各段的预 测方向的选择状况的信息，可以作为预测模式宏块类型信息而构成并 进行传输。但是，在本实施例中，采用的结构与H. 26L的结构不同， 釆用防止预测模式的可变长编码表长大的结构。
图40B表示本实施例的语法。这里，预测方向的信息向仅对在双
向预测中成为与跳跃宏块相当的预测模式的直接(Direct)模式的识 别的宏块类型信息传输，其他预测方向的信息作为参照帧信息进行传 输，与参照帧号码一起进行识别。另外，在H. 26L中，不使用为了 识别双向预测中各个方向的预测模式而导入的块尺寸。图40A、 B的 箭头P28 ~ P36表示省略相应的处理而跳跃过的情况，箭头Q12 ~ Q19 表示循环。
图41表示本实施例的宏块类型信息的代码表。该代码表的结构 除了直接模式位于代码表的开头外，可以与在实施例1中使用的宏块 类型信息的结构相同。另外，省略了对代码号码17以后的内部16x16 模式的定义，但是，这些模式都是以H. 26L的代码表中对内部16x16 模式的定义为基准的。后续的语法随宏块类型信息的内容而不同，在 很多预测模式中，用于各段存在参照帧信息，所以，存在2个参照帧 信息，在作为没有段分割的预测模式的模式0中，参照帧信息只有1 个，另外，在内部4x4模式中，不存在参照帧信息，存在帧内预测模 式信息。
图42表示本实施例的参照帧信息的代码表。在H. 26L的参照 帧信息的结构中，用于识别顺向预测的参照帧号码的号码成为顺序排 列的结构，这里，除了参照帧号码外，作为双向预测中的预测方向， 包含顺向(Forward)、逆向(Backward) 、 4吏用顺向和逆向的预测 值的平均值的双向(Bidirectional)的信息，另外，存在各段的参照 帧信息。对于顺向预测，可以从多个参照帧这选择，所以，对于顺向 预测和双向预测，变更顺向的参照帧的各个代码顺序排列。由于用参 照帧信息识别预测方向，所以，后续的语法随参照帧信息的内容而不 同，在成为顺向预测时，存在顺向运动矢量差分值FW、在逆向预测 中，存在逆向运动矢量差分值BW、在双向预测中，存在运动矢量差 分值FW和运动矢量差分值BW。另外，各个运动矢量差分的数随根 据宏块类型信息而识别的预测模式而不同。
图42的参照帧信息代码在不使用H. 26L的多个参照帧的功能 时即顺向预测的参照帧号码只存在1 (1 frame back of Forward )时各段中也存在，这时，仅双向预测的预测方向根据参照帧信息进行识别。 另一方面，在译码装置中，根据从压缩流中得到的这些信息进行 译码处理，该处理与在实施例1中所示的流程相同，所以，这里省略 其详细说明。本实施例的译码装置与实施例1的译码装置不同的地方 是，在从压缩流得到的信息中，包含关于随预测模式的各段而不同的
双向预测的预测方向的选择状况的信息，按照该情况，图2的运动补 偿部5使用随各段而不同的双向预测的预测方向进行运动补偿和生成 预测图像。这样，便可生成对各段分配可以得到更高的预测效率的预 测方向而得到的预测图像，从而可以根据压缩流得到提高编码效率的 译码图像。
在本实施例中，作为运动补偿模型，使用图6A 图6D所示的模 型，但是，也可以进而同时使用图4A~图4G所示的容许很多运动矢 量条数的运动补偿模型或者切换为图6A~图6D的补偿模型。这时， 对分割的各块可以进行预测的变更，可以视为分割数大于2，并同样 可以应用本实施例所示的语法和编码、译码方法，对宏块内的各块选 择并分配可以得到更高的编码效率的预测方向，可以提高预测效率。 这时，在分割数大于2时，关于对各块进行预测方向的选择时的选择 状况的信息的开销增多，所以，预测方向的选择仅在使用分割数为2 的预测模式时容许，可以根据在各个宏块中使用的预测模式切换是否 传输关于各块的选择状况的信息。
关于各段的预测方向的选择状况的信息作为附加的信息进行传 输，所以，在是不需要进行那样的切换的简单的图像时，可以选择在 宏块帧内预测方向相同的规则。这时，可以考虑在例如帧或帧群的单 位中多路化用于识别是否容许进行宏块内的预测方向变更的标志信 息。这样，译码装置在宏块帧内预测方向不变更时可以作为包含预测 方向的选择状况的语法对宏块仅存在1个语法而动作。
另外，在本实施例中，说明了对宏块内的各段选择双帧间预测使 用的预测方向进行运动补偿预测的编码、译码方法，但是，也可以构
!测
帧间预测或帧内预测的编码、译码方法。通过釆用这样的结构，可以 仅对不能通过帧间预测而有效地进行预测的段选择并分配帧内预测， 从而可以进而提高预测效率。
按照上述本实施例的编码方法和译码方法，通过少的开销可以可 靠地捕捉宏块内的各种各样的活动，同时，可以对分别捕捉其他活动 的各段应用适当的双学帧间预测或帧内预测，从而可以高效率地进行 图像传输、记录、再生。
为了达到上述本发明的目的，本发明的图象处理系统可以采用以 下各种结构形式。
即在本发明的图象处理系统中，可以采用以下的结构形式，即，
在编码装置中，运动补偿预测单元选择优先将按第l块单位决定的向
第2块的运动矢量分配图形编组的多个图形组的某一组，根据包含在 该选择的图形组中的分配图形对第2块分配运动矢量，进行运动补偿 预测，分配信息编码单元将关于按第1块单位编码的运动矢量分配状 况的信息作为从上述选择的图形組中特定的运动矢量分配图形的识别 信息而输出；在译码装置中，分配信息译码单元将运动矢量分配信息 作为识别按第1块单位预先决定的向第2块的运动矢量分配图形的信 息进行译码，在根据该图形识别信息特定分配图形时，将识别该图形 所属的图形组的信息译码，按照由该图形组识别信息特定的图形组的 定义，根据上述分配图形识别信息决定向第2块的运动矢量分配。
另外，在本发明的图象处理系统中，可以采用以下的结构形式， 即，在编码装置中，分配信息编码单元根据成为编码对象的第1块的 运动矢量分配图形的形状决定运动矢量的预测值，并将该预测值的预 测差分值作为运动矢量信息进行编码；在译码装置中，分配信息译码 单元将对根据成为译码对象的运动矢量的预测值的预测差分值进行编 码而得到的运动矢量信息进行译码。
另外，在本发明的图象处理系统中，可以采用以下的结构形式， 即，在编码装置中，分配信息编码单元根据成为编码对象的第1块的 运动矢量分配图形的形状决定运动矢量的预测候补位置，根据位于成
为上述编码对象的第1块附近的第1块的分配图形的形状将预测候补 位置中的某一个作为预测值，将该预测值的预测差分值作为运动矢量
信息进行编码；在译码装置中分配信息译码单元根据位于附近的第l 块的分配图形的形状将根据成为译码对象的第i块的运动矢量分配图 形的形状而决定的运动矢量的预测候补位置中的某一个作为预测值， 将通过把该预测值的预测差分值编码而得到的运动矢量信息进行译 码。
另外，在本发明的图象处理系统中，可以釆用以下的结构形式， 即，在编码装置中，运动补偿预测单元将可以按第2块单位进行分配 的运动矢量数最大取为2条，同时，根据表示向包含在按第1块单位 决定的该第l块中的第2块的分配状态的、预先决定的多个分配图形 中的某一个对第2块分配运动矢量，进行运动补偿预测，分配信息编 码单元将关于的第1块单位决定的运动矢量的分配状况的信息作为上 述分配图形的识别信息而输出；在译码装置中，按第l块的单位进行 译码的运动矢量最大取为2条，运动矢量分配信息作为识别表示向包 含按第l块单位决定的该第l块中的第2块的运动矢量的分配状态的、 预先决定的多个分配图形的信息进行译码。
另外，在本发明的图象处理系统中，可以采用以下的结构形式， 即，编码装置具有按由对分割运动图像的帧的各个第l块进而分割的 第2块的1个或多个构成的单位从为了进行运动补偿预测而保持的多 个参照帧中选择1个参照帧进行运动补偿预测的补偿预测单元和将关 于对1个或多个第2块的参照帧的选择状况的信息多路化为位流而输 出的参照帧信息编码单元；译码装置具有将按对分割运动图像的帧的 各个第l块进而分割的第2块的1个或多个构成的单位分配的、关于 运动补偿预测使用的参照帧的选择状况的信息进行译码的参照帧信息 译码单元和根据该参照帧信息从为了进行运动补偿而保持的多个参照 帧中选择1个参照帧进行运动补偿从而生成预测图像的补偿单元。
另外，在本发明的图象处理系统中，可以釆用以下的结构形式， 即，编码装置具有按由对分割运动图像的帧的各个第l块进而分割的
1个或多个第2块构成的单位选择双向帧间预测使用的预测方向进行 运动补偿预测的运动补偿预测单元和将关于对上述1个或多个第2块 的预测方向的选择状况的信息多路化为位流而输出的预测信息编码单
元；译码装置具有将按对分割运动图像的帧的各个第l块进而分割的
1个或多个第2块构成的单位分配的、关于双向帧间预测使用的预测 方向的选择状况的信息进行译码的预测信息译码单元和根据该预测信
方向进行运动补偿从而生成预测图像的运动补偿单元。
另外，在本发明的图象处理系统中，可以采用以下的结构形式， 即，编码装置具有按由对分割运动图像的帧的各个第l块进而分割的 1个或多个第2块构成的单位选择帧间预测模式或帧内预测模式进行 帧间预测或帧内预测的预测单元和将关于对上述1个或多个第2块的 帧间预测模式或帧内预测模式的选择状况的信息多路化为位流而输出
的预测模式信息编码单元；译码装置具有将按对分割运动图像的帧的
各个第l块进而分割的l个或多个第2块构成的单位分配的、关于帧
间预测模式或帧内预测模式的选择状况的信息进行译码的预测模式信 息译码单元和根据该预测信息选择帧间预测模式或帧内预测模式进行
帧间预测或帧内预测从而生成预测图像的预测图像生成单元。 产业上利用的可能性
如上所述，按照本发明，通过少的开销可以可靠地捕捉第l块内 的各种各样的活动，从而可以高效率地进行图像传输、记录、再生。
权利要求
1.一种使用运动补偿预测进行运动图像的压缩编码的编码方法，其特征在于包括以对分割运动图像的帧所得的各第1块进一步分割所得的第2块为单位，分配1个或多个运动矢量，进行运动补偿预测的运动补偿预测步骤；和将针对上述第2块的与运动矢量的分配状况有关的信息多路化为位流而输出的分配信息编码步骤；在上述运动补偿预测步骤中，与在第1块内的第2块的位置和个数无关地以第2块为单位分配运动矢量，进行运动补偿预测；在上述分配信息编码步骤中，将关于第2块的位置和对该第2块所分配的运动矢量的信息作为与运动矢量的分配状况有关的信息使用。
2. 按权利要求1所述的编码方法，其特征在于进而包括将在 上述运动补偿预测步骤得到的预测残差信号按与上述第2块的尺寸具 有相同的尺寸的块单位进行编码的残差信号编码步骤。
3. 按权利要求1所述的编码方法，其特征在于在上述分配信 息编码步骤中，根据上述运动矢量的分配状况将识别在由1个或多个 第2块构成的运动矢量分配区域中是否有应进行编码的在上述运动补 偿预测步骤得到的预测残差信号的信息进行编码。
4. 按权利要求1所述的编码方法，其特征在于在上述分配信 息编码步骤中，根据成为编码对象的第l块和相邻的第l块的运动矢 量的分配状况，将表示该分配状况的运动矢量分配的变化点的信息作 为关于上述运动矢量的分配状况的信息多路化为位流而输出。
5.按权利要求1所述的编码方法，其特征在于在上述运动补 偿预测步骤中，除了按第1块单位设定帧间预测模式或帧内预测模式 的情况外，也包含按由1个或多个的第2块构成的单位设定帧间预测 模式或帧内预测模式的情况来进行运动补偿预测。
6. —种使用运动补偿预测进行压缩运动图像数据的解压、译码 的译码方法，其特征在于包括将表示以对分割运动图像的帧后所得的各第l块进一步分割所得 的第2块为单位进行分配所得的运动矢量，是对应按上述第1块单位 译码的1个或多个运动矢量中的哪一个的运动矢量分配信息进行译码 的分配信息译码步骤；和根据该运动矢量分配信息，使用以上述第2块为单位所特定的运 动矢量，进行运动补偿从而生成预测图像的运动补偿步骤，在上述分配信息译码步骤中，作为与分配对象的第2块的位置和 个数无关地、关于该第2块的位置和向该第2块分配的运动矢量的信 息，而对上述运动矢量分配信息进行译码。
7. 按权利要求6所述的译码方法，其特征在于进而包括将通 过按与上述第2块的尺寸相同的尺寸的块单位进行编码处理而得到的 运动补偿预测的预测残差信号进行译码的残差信号译码步骤。
8. 按权利要求6所述的译码方法，其特征在于在上述分配信 息译码步骤中，根据关于成为译码对象的第l块的运动矢量分配图形 的形状，对用于识别在由1个或多个第2块构成的运动矢量分配区域 内是否有应进行译码的预测残差信号的信息进行译码，该预测残差信 号是通过按与上述第2块的尺寸相同的尺寸的块单位进行编码处理而 得到的运动补偿预测的预测残差信号。
9. 按权利要求6所述的译码方法，其特征在于在上述分配信 息译码步骤中，对作为与上述运动矢量的分配状况有关的信息而输出的表示运动矢量分配的变化点的信息进行译码。
10. 按权利要求6所述的译码方法，其特征在于上述运动矢量 是以下这样的运动矢量，即是通过除了包含按第l块单位设定帧间预 测模式或帧内预测模式的情况外也包含按由1个或多个第2块构成的 单位设定帧间预测模式或帧内预测模式的情况的运动补偿预测来得到 的运动矢量。
11. 一种使用运动补偿预测进行运动图像的压缩编码的编码装 置，其特征在于包括以对分割运动图像的帧所得的各第1块进一步分割所得的第2块 为单位，分配l个或多个运动矢量，进行运动补偿预测的运动补偿预 测单元；和将针对上述第2块的与运动矢量的分配状况有关的信息多路化为 位流而输出的分配信息编码单元；上述运动补偿预测单元，与在第1块内的第2块的位置和个数无 关地以第2块为单位分配运动矢量，进行运动补偿预测；上述分配信息编码单元，将关于第2块的位置和对该第2块所分 配的运动矢量的信息作为与运动矢量的分配状况有关的信息使用。
12. —种使用运动补偿预测进行压缩运动图像数据的解压、译码 的译码装置，其特征在于包括将表示以对分割运动图像的帧后所得的各第1块进一步分割所得 的第2块为单位进行分配所得的运动矢量，是对应按上述第1块单位 译码的1个或多个运动矢量中的哪一个的运动矢量分配信息进行译码 的分配信息译码单元；和根据该运动矢量分配信息，使用以上述第2块为单位所特定的运 动矢量，进行运动补偿从而生成预测图像的运动补偿单元，上述分配信息译码单元，作为与分配对象的第2块的位置和个数 无关地、关于该第2块的位置和向该第2块分配的运动矢量的信息， 而对上述运动矢量分配信息进行译码。
13. —种包含使用运动补偿预测进行运动图像的压缩编码的编码 装置和使用运动补偿预测进行压缩运动图像数据的解压和译码的译码 装置而构成的图象处理系统，其特征在于上述编码装置具有以对分割运动图像的帧所得的各第l块进一步分割所得的第2块 为单位，分配l个或多个运动矢量，进行运动补偿预测的运动补偿预 观'j单元；和将针对上述第2块的与运动矢量的分配状况有关的信息多路化为 位流而输出的分配信息编码单元；上述运动补偿预测单元，与在第1块内的第2块的位置和个数无 关地以第2块为单位分配运动矢量，进行运动补偿预测；上述分配信息编码单元，将关于第2块的位置和对该第2块所分 配的运动矢量的信息作为与运动矢量的分配状况有关的信息使用，上述译码装置具有将表示以对分割运动图像的帧后所得的各第1块进 一 步分割所得 的第2块为单位进行分配所得的运动矢量，是对应按上述第1块单位 译码的1个或多个运动矢量中的哪一个的运动矢量分配信息进行译码 的分配信息译码单元；和根据该运动矢量分配信息，使用以上述第2块为单位所特定的运 动矢量，进行运动补偿从而生成预测图像的运动补偿单元，上述分配信息译码单元，作为与分配对象的第2块的位置和个数 无关地、关于该第2块的位置和向该第2块分配的运动矢量的信息， 而对上述运动矢量分配信息进行译码。
全文摘要
为了通过少的开销将图像中的活动信息编码或译码，在使用运动补偿预测进行运动图像的压缩编码的编码方法中，包括按对各个分割运动图像的帧的宏块进而分割所得的子块的单位分配1个或多个运动矢量(例如，最大2条的运动矢量)而进行运动补偿预测的运动补偿预测步骤(运动检测部2、运动补偿部5、空间预测部9等进行的处理步骤)和将关于对子块所进行的运动矢量的分配状况的信息多路化为位流而输出的分配信息编码步骤(可变长编码部23等进行的处理步骤)。
文档编号H04N7/26GK101360239SQ20081014532
公开日2009年2月4日 申请日期2002年9月12日 优先权日2001年9月14日
发明者关口俊一, 加藤祯笃, 安达悟, 小林充, 小桐康博, 山口博幸, 荣藤稔 申请人:株式会社Ntt都科摩