运动图像编码装置以及运动图像译码装置的制作方法

专利名称：运动图像编码装置以及运动图像译码装置的制作方法
技术领域：
本发明涉及将运动图像分割为矩形区域，按照矩形区域单位进行编 码的运动图像编码装置，和按照矩形区域单位对已编码的运动图像进行 译码的运动图像译码装置。
背景技术：
作为对以往的图像信号进行编码或者译码的方式，有MPEG-4 (Moving Picture Experts Group Phase-4)视觉(ISO.IEC 14496-2 )。 MPEG-4是将运动图像序列作为在时间/空间上取任意的形状的运动图像 目标的集合体来取得，以各运动图像目标为单位进行编码、译码的方式。 在MPEG-4中将包含时间轴的运动图像目标称为Video Object,将 Video Object的构成要素称为Video Object Layer(视频对象层X VOL )， 将VOL的构成要素称为Group of Video Object Plane (视频对象组层) (GOV)，将表示GOV的各时刻的状态且是编码单位的图像数据称为 Video Object Plane (视频对象面)(VOP)。当处理矩形形状的目标的 情况下，VOP相当于帧。VOP按照作为被编码区域的单位的宏块的每一 块进行编码。宏块是16像素xl6行的固定的矩形块。将宏块进一步分割 为8像素x8行的块，以宏块单位或者8像素x8行大小的块单位进行运动 补偿预测。能够对宏块单位来切换运动补偿预测的块大小的选择。此外，能够 对宏块单位来选择是否进行成为对象的宏块的编码。在不对作为对象的 宏块进行编码的情况下(非编码模式)中，使用1帧前的同位置(正背 后)的宏块的译码数据。当对作为对象的宏块进行编码的情况下，能够 在宏块单位中选择是进行运动^H^预测(交互编码模式)，或者不进行 采用运动补偿预测的帧间预测只用帧内的信息进行编码(内部编码模式)。此外，存在以下技术，在编码处理的块分割中，能够分割为多个尺 寸的宏块，使在图像中的画质重要度高的部分上减小其尺寸，在重要度 低的部分上增大其尺寸(例如，参照专利文献l)。专利文献1:特开平11-146367号公报在这种以往的图像编码、译码方式中，因为宏块大小是固定的，所 以存在不能根据图像的分辨率和图像的内容(图样的粗细，运动的剧烈 程度)适宜地切换宏块大小的问题。特别是当图像的分辨率变高的情况 下，在按照以往的图像编码、译码方式所釆用的固定的宏块大小中，宏 块覆盖的区域局部化，在周边宏块上变成相同编码模式，发生具有相同 运动矢量的情况。在这种情况下尽管预测效率没有提高，但因为对每个 宏块进行编码的编码模式信息和运动矢量信息等的开销增加，所以作为 编码效率整体发生下降。即使是分辨率低的图像，在是运动少的图像和内部运动一定的图像 的情况下，在周边宏块上变成相同编码模式(非编码模式)，发生具有 相同运动矢量的情况。此外， 一般当宏块的尺寸大的情况下，能够减小 与在编码模式等的宏块单位中需要的开销有关的信息量。但是，因为不 能以比宏块尺寸小的尺寸的区域单位切换编码模式，所以在运动剧烈的 区域、运动不同(人物和背景等)区域的边界附近上的预测效率下降， 编码效率降低。相反，当宏块的尺寸小的情况下，宏块数增加，编码模 式等的开销的信息量增加，但因为能够在运动剧烈的区域、运动不同的 (人物和背景等)区域的边界附近上适宜地切换编码模式，所以预测效 率提高，编码效率提高。此外，在记栽于上述以往的专利文献1中的技术中，因为在帧内适 当地切换尺寸，所以存在矩形尺寸信息的符号量多的问题，发明内容本发明就是为了解决上述那样的问题而提出的，其目的在于得到行编码，并且能够抑制对由此产生的编码图像的矩形尺寸信息的增加的 运动图像编码装置以及运动图像译码装置。本发明的运动图像编码装置具备对帧单位或者作为多个连续的帧 的集合的序列单位决定矩形区域的尺寸的矩形区域尺寸决定部件；将输的矩形区域分割部件；对上述矩形区域;每个决定编码模式，用该决定 的编码模式对上述矩形区域内的像素值进行编码的矩形区域编码部件。本发明的运动图像编码装置因为对帧单位或者多个连续的帧的集 合、即序列单位决定矩形区域的尺寸，所以能够适应性地切换矩形区域 尺寸进行编码，并且能够抑制对由此产生的编码图像的矩形尺寸信息的 增加。


图l是表示本发明的实施方式l的运动图像编码装置的结构图。 图2是表示在本发明的实施方式1的运动图像编码装置中的成为运 动补偿的单位的区域分割例子(其i)的i兌明图。图3是表示在本发明的实施方式1的运动图像编码装置中的成为运 动补偿的单位的区域分割例子(其2)的说明图。图4是在本发明的实施方式1的运动图像编码装置中的运动矢量检 测的说明图。图5是本发明的实施方式1的运动图像编码装置中的内部预测的说 明图。图6是将本发明的实施方式1的运动图像编码装置中的宏块尺寸信 台-M亦齑^& 4 g並/^^i'浩说.站^tf日日闳图7是表示采用本发明的实施方式2的运动图像译码装置的结构图。
具体实施方式
以下，为了更详细地说明本发明，根据

用于实施本发明的 最佳的形态。实施方式1图l是表示本发明的实施方式l的运动图像编码装置的结构图。在图中，运动图像编码装置具备宏块尺寸决定部(矩形区域尺寸 决定部件)1;宏块分割部(矩形区域分割部件)2;宏块编码部(矩形 区域编码部件)3;熵编码部(矩形区域尺寸信息复用部件)4。此外， 宏块编码部3具备编码模式决定部(编码模式决定部件)5;运动补偿 区域分割部(运动补偿区域分割部件6);运动检测部(运动检测部件) 7;运动补偿部(运动补偿部件)8;减法器9;块分割部(块分割部件) 10;变换量化部(变换量化部件)11;反量化逆变换部12;加法器13; 参照图^^储器14;内部预测块分割部(画面内预测块分割部件)15; 内部预测部(画面内预测部件)16。宏块尺寸决定部1是对帧单位决定宏块的尺寸，将它作为宏块尺寸 指示信息(矩形区域尺寸信息)102输出的功能部。宏块分割部2是将输 入图像101分割到用宏块尺寸决定部1决定的尺寸的宏块中的功能部。 宏块编码部3按照每个宏块决定编码模式，具有用该决定的编码模式对 宏块内的^^素值进行编码的功能。熵编码部4具有将在宏块尺寸决定部 1中决定的宏块尺寸指示信息102、块尺寸指示信息108、从编码模式决 定部5输出的编码模式信息106 、在变换量化部11中求得的系数数据109 、 在运动检测部7中求得的运动矢量信息107复用到位流103中的功能。编码模式决定部5是对每个宏块决定编码模式的功能部。运动补偿 区域分割部6是将宏块内分割为由编码模式决定部5决定的区域的功能 部。运动检测部7是对由运动补偿区域分割部6分割出的区域单位进行 运动检测的功能部。运动补偿部8是使用由运动检测部7得到的运动矢 量信息107进行运动补偿预测，得到预测图像的功能部。减法器9是用 于得到在运动补偿部8中得到的预测图像和输入图像的像素值的差的减 法器。块分割部10是取得在减法器9中得到的像素值的差作为以宏块为 单位的预测误差图像，并且根据块尺寸指示信息108将输入图像或者预 测误差图像的宏块内分割为预先决定的尺寸的矩形块的功能部。变换量化部11是对用块分割部10分割出的块单位进行正交变换处理以及量化，输出系数数据109的功能部。反量化逆变换部12是用于根 据从变换量化部11输出的系数数据109,进行反量化逆变换，得到译码 预测误差图像的功能部。加法器13是用于对在反量化逆变换部12中得 到的译码预测误差图像和在运动补偿部8中求得的预测图像进行相加， 得到译码图像的加法器。参照图像存储器14是将从加法器13输出的译 码图像作为参照图像存储的存储器。 以下，说明实施方式l的动作。首先，将输入图像IOI向宏块分割部2输入，根据以帧单位来决定 的宏块尺寸指示信息102，被分割为规定的宏块尺寸。宏块尺寸指示信息 102例如是可以选择16像素xl6行，32像素x32行之一的尺寸的信息， 对此以后说明。将在此指定的宏块尺寸指示信息102输入到熵编码部4 中，进行熵编码，被复用给位流103。宏块尺寸指示信息102从宏块尺寸决定部1输出。在宏块尺寸决定 部l中，计算帧间差，当帧间差小的情况下，釆用32像素x32行的宏块， 当帧间差大的情况下釆用16像素xl6行的宏块。此外，作为第2种方法 是，进行以32像素x32行为单位的运动检测和以16像素xl6行为单位的 运动检测，分别计算预测误差，将预测误差小的尺寸采用为宏块尺寸。 进而，作为第3种方法是，以32像素x32行为单位以及以16像素xl6行 为单位计算像素值的^t,将分歉的帧内平均小的尺寸采用为宏块尺寸， 此外也可以组合多个方法地来决定。此外，作为第4种方法是，当是比规定的分辨率还高的分辨率的情 况下，采用32像素x32行，当是比规定的分辨率还低的情况下采用16 像素xl6行等，可以根据图像的分辨率自动地决定。这种情况下，因为 通过分辨率决定宏块大小，所以不需要将宏块尺寸指示信息102在位流 103上复用。此外，通过用预先决定了根据利用形态可以使用的编码参数的組合 的信息(称为简档profile)预先决定宏块大小，可以用经过选择的简档 自动地决定宏块尺寸。分割为宏块的输入图像101根据对每个宏块决定的编码模式，向宏块编码部3内的运动补偿区域分割部6、内部预测块分割部15、块分割 部10之一输入。在对每个宏块决定的编码模式中包含宏块类型信息、运动补偿区域 形状信息104、内部预测块尺寸信息105。所谓宏块类型信息是可以选择 进行画面间预测编码的模式(交互模式)、进行画面内编码的模式(内 部模式)、进行画面内预测编码的模式(内部预测模式)的信息。这些 模式的选择通过编码模式决定部5来进行，但对于这些模式的选择方法， 因为和本发明的特征点没有直接关系，所以在此省略说明。在编码模式决定部5中，对于上述编码模式的各个，进一步决定详 细的编码模式。即，在交互模式时，决定表示进行运动补偿的单位的运 动补偿区域形状信息104，在内部预测模式时决定表示进行内部预测的单 位的内部预测块尺寸信息105。而且，对于各自的信息的内容以后说明。 此外，用编码才莫式决定部5决定的各种编码模式作为编码模式信息106 给予熵编码部4，在熵编码部4中，对每个宏块进行编码并复用在位流上。首先，说明选择了交互模式的情况。将用宏块分割部2分割为宏块的输入图像输入到运动补偿区域分割 部6，根据用编码模式决定部5选择的运动补偿区域形状信息104，分割 为变成运动补偿的单位的区域形状。图2以及图3表示变成运动补偿的单位的区域分割例子。 当宏块尺寸是16像素xl6行的情况下，分割为从图2所示的(a) 到(d)的区域中的某一个(16像素xl6行，8像素xl6行，16像素x8 行，8像素x8行)，当分割为(d)的区域的情况下，8像素x8行的各块 也能够分割为图2的(e)到(h)中的某一个(8像素x8行，4像素x8 行，8像素x4行，4像素x4行)。当宏块尺寸是32像素x32行的情况下， 可以和16像素xl6行的宏块尺寸时一样，分割为图2所示的U)至U) 的区域中的某一个，但作为其他的例子，也能够分割为图3所示的(j) 到(k)中的某一个(32像素x32行，16像素x32行，32像素xl6行，16 像素xl6行)，在分割为(k)区域的情况下，还能够将16像素xl6行的 各块分割为图2的(a)至(d)中的某一个。指示这些分割方法的信息是运动补偿区域形状信息104。如上所述，运动补偿区域形状信息104 可以才艮据宏块尺寸切换能够选择的区域形状。分割为变成运动补偿的单位的区域形状的输入图像被输入到运动检 测部7，使用存储在参照图像存储器14中的1张以上的参照图像进行运 动检测。在运动检测部7中，在用运动补偿区域分割部6决定的区域单 位中查找参照图像的规定的范围，检测最佳的运动矢量。图4是这种运 动矢量检测的说明图。而且，有关运动矢量检测动作因为是公知的，所 以在此省略详细的说明。将从运动检测部7得到的运动矢量信息107输入到熵编码部4，在进 行熵编码后复用到位流103上，并且被输入到运动补偿部8。在运动补偿 部8中使用存储在参照图像存储器14中的参照图像和来自运动检测部7 的运动矢量信息107生成预测图像。从运动补偿部8得到的预测图像用 减法器9求与分割为宏块的输入图傳教据之间的差，该差作为预测误差 图像向块分割部10输入。在块分割部10中，根据块尺寸指示信息108 分割为成为变换(DCT那样的正交变换)以及量化的单位的块。块尺寸指示信息108例如是可以选择8像素x8行、4像素x4行之一 的信息。此外，作为其他的例子，可以才艮据宏块尺寸来切换可以选择的 块尺寸指示信息108。例如当是16像素xl6行的宏块的情况下，块尺寸 指示信息108设为可以选择8像素x8行、4像素x4行的信息，当是32 像素x32行的宏块的情况下，块尺寸指示信息108设为可以选择16像素 xl6行、8像素x8行的信息。经过选择的块尺寸指示信息108输入到熵 编码部4，进行熵编码后复用到位流103上。进而作为其他的例子，块尺寸也可以根据宏块尺寸来决定，例如当 是16像素xl6行的宏块的情况下，将块尺寸设为4像素x4行，当是32 像素x32行的宏块的情况下，将块尺寸设成8像素x8行。这种情况下， 因为根据宏块尺寸决定块尺寸，所以不需要将块尺寸指示信息复用到位 流103上，将分割为块的预测误差图,入到变换量化部11，进行正交变换以 及量化。正交变换以及量化处理的结果得到的系数数据109用熵编部4进行熵编码，并复用到位流103上。从变换量化部ll中得到的系数数据 109进一步输入到反量化逆变换部12，进行反量化、逆变换，得到译码 预测误差图像。译码预测误差图像在加法器13中与从运动补偿部8得到 的预测图像进行相加，作为译码图像输出。译码图像在以后的输入图像 的编码中，因为作为参照图像使用，所以被存储在参照图像存储器14中。 以下，说明选择了内部模式的情况。将用宏块分割部2分割为宏块的输入图像输入到块分割部10。块分 割部10的动作和交互模式时一样-分割为块的输入图^f象在变换量化部11 中进行正交变换以及量化。正交变换以及量化处理的结果得到的系数数 据109在熵编码部4中进行熵编码，然后复用到位流103上。从变换量 化部11得到的系数数据109进一步被输入到反量化逆变换部12，进行反 量化、逆变换，得到译码图像。译码图像在以后的输入图像的编码中因 为作为参照图像使用，所以被存储在参照图像存储器14中。以下，说明选择了内部预测模式的情况。将用宏块分割部2分割为宏块的输入图像向内部预测块分割部15输 入。在内部预测块分割部15中，根据内部预测块尺寸信息105，分割为 变成内部预测的单位的块。内部预测块尺寸信息105是可以选择16像素 x16行、4像素x4行之一的信息。作为其他的例子，可以根据宏块尺寸 切换可以选择的内部预测块尺寸信息105。例如当是16像素xl6行的宏 块的情况下，内部预测块尺寸信息105设为可以选择16像素xl6行、4 像素x4行的信息，当是32像素x32行的宏块的情况下，内部预测块尺寸 信息105设为可以选择32像素x32行、8像素x8行的信息。将用内部预测块分割部15分割为块的输入图像输入到内部预测块 16，进行内部预测。有关内部预测因为是^^P的，在此省略详细的说明， 但如图5所示，生成根据编码后的周边块(图5的A至D)的像素值对 编码对象块内的各像素值预测后的预测图像，用减法器9求从内部预测 部16得到的预测图像和分割为宏块的输入图像之差，该差作为预测误差 图傳被输入到块分割部10。块分割部10的动作和交互模式时一样。将分割为块的预测误差图像输入到变换量化部11，进行正交变换以及量化。正交变换以及量化处理的结果得到的系数数据109在熵编码部4 中进行熵编码，然后复用到位流103上。将从变换量化部ll得到的系数 数据109进一步输入给反量化逆变换部12，进行反量化、逆变换，得到 译码预测误差图像。译码预测误差图像用加法器13与从内部预测部16 得到的预测图像进行相加，作为译码图像来输出。译码图像在以后的输 入图像的编码中，因为被使用为参照图像，所以被存储在参照图IM"储 器14中。在以上的实施方式中，虽然能够在帧单位下改变宏块尺寸信息，但 如图6所示的例子那样，也可以在将1帧内分割为多个宏块的集合(称 为片)的单位下进行改变。对于编码处理，将1片看作1帧，只要如在 以上的实施方式中说明的那样进行即可。此时宏块尺寸指示信息102在 片单位中复用到位流103上。此外，也可以在作为多个连续的帧的集合、即序列单位下改变宏块 尺寸信息。此时宏块尺寸指示信息102在序列单位下被复用到位流103 上。进而，作为变形例子，可以选择对帧单位进行改变还是对序列单位 进行改变。此时将是否对帧单位改变的信息在序列单位下复用到位流103 上，当选择了对帧单位改变的情况下，在帧单位中将宏块尺寸指示信息 102复用位流103上，当选择了对序列单位改变的情况下，在序列单位中 将宏块尺寸指示信息102复用位流103上。如上所述，如果采用实施方式1的运动图像编码装置，则在将运动 图像分割为矩形区域，以矩形区域单位进行编码的运动图像编码装置中， 因为具备对帧单位或者作为多个连续的帧的集合即序列单位决定矩形 区域的尺寸的矩形区域尺寸决定部件；将输入图像分割为用矩形区域尺 寸决定部件规定的尺寸的矩形区域的矩形区域分割部件；对每个矩形区 域决定编码模式，用决定的编码模式对矩形区域内的像素值进行编码的 矩形区域编码部件，所以能够根据图像的内容(运动的剧烈度和图样的 粗细等)和分辨率、简档选择适当的矩形区域尺寸，能够提高编码效率， 并且作为矩形尺寸信息的编码量，例如，对1帧或者1序列只花费数位的代码量等，能够减小由矩形尺寸信息的追加引起的代码量的增加。此外，如果采用实施方式1的运动图像编码装置，因为具备将用矩 形区域尺寸决定部件决定的矩形区域尺寸信息复用到位流上的矩形区域 尺寸信息复用部件，所以能够根据图像的特征等适宜地切换矩形区域尺 寸。此外，如果采用实施方式1的运动图像编码装皇，因为矩形区域尺 寸决定部件根据输入图像的分辨率决定矩形区域尺寸，所以不需要将矩 形区域尺寸信息复用到位流上，能够减少处理的开销。此外，如果采用实施方式1的运动图像编码装置，因为矩形区域编码部件具备对每个矩形区域决定编码模式的编码模式决定部件；将矩 形区域内分割为编码模式决定部件决定的区域的运动补偿区域分割部 件；在用运动补偿区域分割部件分割的区域单位上进行运动检测的检测 部件；使用由运动检测部件得到的运动矢量信息进行运动补偿预测，得 到预测图像的运动补偿部件；取得预测图像和矩形区域内的像素值之差 作为矩形区域单位的预测误差图像，并且将输入图像或者预测误差图像 的矩形区域内分割为预先规定的尺寸的矩形块的块分割部件；在用块分割部件分割的块单位上进行正交变换处理和量化的变换量化部件，所以 作为对每个矩形区域尺寸决定的编码模式是进行画面间预测编码的交互 模式的情况也能够对应。此外，如果采用实施方式1的运动图像编码装置，因为矩形区域编 码部件具备将矩形区域内分割为编码模式规定的矩形块的画面内预测 块分割部件；在用画面内预测块分割部件分割的矩形块单位上进行画面 内预测得到预测图像的画面内预测部件；取得矩形区域单位的预测误差 图像作为预测图像和矩形区域内的像素值的差，并且将输入图像或者预件；在块分割部件分割的块单位上进行量化以及正交变换处理的变换量 化部件，所以，作为对每个矩形区域尺寸决定的编码模式进行画面内预 测编码的内部预测模式的情况也能够对应， 实施方式2实施方式2是对以帧单位来选择不同的宏块尺寸进行了编码的位流 进#^码的运动图像译码装置。图7是实施方式2的运动图像译码装置的结构图。在图中，运动图像译码装置具备熵译码部21和宏块译码部(矩形区 域译码部件)22。在此，熵译码部21是对输入位流201进行熵译码的处 理部，实现了在帧单位或者作为多个连续的帧的集合的序列单位下决 定矩形区域的尺寸的矩形区域尺寸决定部件；对为矩形区域单位所决定 的编码模式进行译码的编码模式译码部件；在运动补偿区域单位中译码 运动矢量信息的运动矢量信息译码部件；决定成为进行反量化*反正交变 换的单位的矩形块尺寸的块尺寸决定部件。此外，宏块译码部22具有编码模式切换部23;运动补偿区域分割 部(运动补偿区域分割部件)24;运动补偿部(运动补偿部件)25;参 照图像存储器26;反量化逆变换部(反量化逆变换部件)27;加法器28; 内部预测块分割部29;内部预测部(画面内预测部件)30。编码模式切换部23是用于根据宏块类型信息204切换编码模式的功 能部。运动补偿区域分割部24是将宏块内分割为运动补偿区域形状信息 206决定的区域的功能部。运动补偿部25使用运动矢量信息207进行运 动补偿预测，是用于得到预测图像的功能部。反量化逆变换部27是用于 根据块尺寸指示信息203在宏块单位下将系数数据208进行反量化以及 反正交变换处理，求预测误差图像的功能部。加法器28是用于将从反量 化逆变换部27输出的预测误差图像和^动^f尝部25输出的预测图像 相加，得到译码图像209的加法器。此外，参照图像存储器26是将译码 图像209作为参照图像存储的存储器。以下，说明实施方式2的动作。首先，将输入位流210输入到熵译码部21 ，对宏块尺寸指示信息202、 块尺寸指示信息203、编码模式(宏块类型信息204，内部预测块尺寸信 息205，运动净Ht区域形状信息206)、运动矢量信息207、系数数据208 进#^码。而且，宏块尺寸指示信息202是在帧单位下被译码的信息， 编码模式是在用宏块尺寸指示信息202决定的尺寸的宏块单位进#^码的信息。此外，运动矢量信息207是在译码后的运动补偿区域形状信息 206单位下译码的信息。以下，用宏块尺寸指示信息202决定宏块尺寸，以后的译码在已决 定的尺寸的宏块单位下在宏块译码部22中进行。在宏块类型是交互^f莫式 时，进行运动补偿预测，在是内部预测模式时进行内部预测。首先，说明宏块型是交互模式时。在运动补偿区域分割部24中，根据在熵译码部21中译码的运动补 偿区域形状信息206将指定尺寸的宏块内分割为进行运动补偿的单位的 区域。运动补偿区域形状信息206的内容和实施方式1的运动补偿区域 形状信息104相同。运动补偿部25在由运动补偿区域分割部24所决定 的区域单位下使用译码后的运动矢量信息207和包含在参照图像存储器 26中的参照图像来生成预测图像。此外，对于运动矢量信息207也和实 施方式1的运动矢量信息107 —样。在熵译码部21中被译码的系数数据208被输入到反量化逆变换部 27。在反量化逆变化部27中，根据译码后的块尺寸指示信息203进行反 量化逆变换处理。即，块尺寸指示信息203例如如果是4像素x4行，则 进行4像素x4行单位的反量化、逆变换，其结果译码预测误差图像。在加法器28中将在运动补偿部25中生成的预测图像、在反量化逆 变换部27中译码的预测误差图像进行相加，得到译码图像209。译码图 像209因为在以后的译码中使用，所以被存储在参照图*储器26中。以下，说明编码模式是内部模式时的情况。将经过^^码的系数数据208向反量化逆变换部27输入。反量化逆变 换部27的动作和交互模式时相同。反量化逆变换的结果作为译码图像 209被输出，译码图像209和交互模式时一样，被存储在参照图像存储器 26中。以下，说明编码模式是内部预测模式时的情况。在内部预测块分割部29中，根据在熵译码部21中译码的内部预测 块尺寸信息205将宏块内分割为进行内部预测的单位的块。内部预测块 尺寸信息205的内容和实施方式1的内部预测块尺寸信息105 —样。内部预测部30在由内部预测块分割部29决定的块单位下进行内部预测。 有关内部预测因为是^S知的，所以在此省略详细的说明，但和实施方式 1的内部预测部16—样，使用译码结束后的周边块的像素值，生成编码 对象块的预测值(预测图像)。另一方面，在熵译码部21中译码的系数数据208向反量化逆变换部 27输入。反量化逆变换部27的动作和交互模式时一样。反量化逆变换的 结果作为预测误差图像被输出。在内部预测部30中生成的预测图像和在 反量化逆变换部27中译码的预测误差图像在加法器28中相加，得到译 码图像209。因为译码图像209在以后的译码中使用，所以被存储在参照 图^^储器26中。而且，在上述实施方式2中，在帧单位下译码宏块尺寸指示信息， 对帧单位切换宏块尺寸进#^码，但也可以在作为多个宏块的集合的片 单位下对宏块尺寸指示信息译码，对片单位切换宏块尺寸进#^码。此外，作为其他的例子，可以在作为多个帧的集合的序列单位下对 宏块尺寸指示信息进#^码，对序列单位切换宏块尺寸并译码。进一步在其他的例子中，也可以将指示是对帧单位切换宏块尺寸还 是对序列单位切换宏块尺寸的信息在序列单位下进^^码，当选择了对 帧单位进行切换的情况下，在帧单位下对宏块尺寸指示信息进fr泽码，当选择了对序列单位进行切换的情况下，在序列单位下对宏块尺寸指示 信息进*码。此夕卜，熵译码部21是对复用在位流上的宏块尺寸指示信息进#^码， 但例如可以当是比规定的分辨率还高的分辨率的情况下，采用32像素 x32行，当是比规定的分辨率还低的分辨率的情况下采用16像素xl6行 等，根据译码对象图像的分辨率自动地决定。如上所述，如果采用实施方式2的运动图像译码装置，则将运动图 像分割为矩形区域，在以矩形区域单位进#^码的运动图像译码装置中， 因为，具备对帧单位或者作为多个连续的帧的集合的序列单位来决定 矩形区域的尺寸的矩形区域尺寸决定部件；译码对矩形区域单位所决定 的编码模式的编码模式译码部件；通过由编码模式译码部件译码得到的编码模式对矩形区域内的像素值进行译码的矩形区域译码部件，所以能 够按照帧或者序列单位来改变矩形区域尺寸，高效率地对已编码的运动 图像进##码。此外，矩形区域尺寸的变更因为是按照帧或者序列单位， 所以例如与在帧内切换矩形区域尺寸的情况等相比，具有用于矩形区域 尺寸切换的处理量小即可的效果。此外，如果采用实施方式2的运动图^象译码装置，则矩形区域尺寸 决定部件因为对在帧单位或者作为多个连续的帧的集合的序列单位下复 用到位流上的矩形区域尺寸信息进行译码，根据译码结果决定矩形区域 尺寸，所以矩形区域尺寸能够根据图像的特征等容易并且适宜地切换。此外，如果采用实施方式2的运动图像译码装置，则矩形区域尺寸决定部件因为根据译码对象图像的分辨率决定矩形区域尺寸，所以不需 要另外对矩形区域尺寸信息进^^码，能够减少处理的开销。此外，如果采用实施方式2的运动图《象译码装置，则在用编码模式 译码部件译码得到的编码模式中，包含表示变成运动补偿区域的单位的区域形状的运动补偿区域形状信息，因为矩形区域译码部件具备将矩 形区域内分割为运动补偿区域形状信息决定的区域的运动补偿区域分割 部件；在运动补偿区域单位下对运动矢量信息译码的运动矢量信息译码 部件；使用由运动矢量译码部件得到的运动矢量信息进行运动补偿预测， 得到预测图像的运动补偿部件；决定变成进行反量化、反正交变换的单位的矩形块尺寸的块尺寸决定部件；在矩形块单位上进行反量化以及反正交变换处理的反量化逆变换部件，所以作为译码装置也能够应对作为 编码模式进行画面间预测编码的交互模式的情况。此外，如果釆用实施方式2的运动图傳，译码装置，因为在用编码模式译码部件译码得到的编码模式中，包含表示成为画面内预测的单位的 区域形状的内部预测块尺寸信息，矩形区域译码部件具备在内部预测块 尺寸信息决定的矩形块单位上进行画面内预测，得到预测图像的画面内 预测部件，所以作为译码装置也能够应对作为编码模式进行画面内预测 编码的内部预测模式的情况。此外，如果采用实施方式2的运动图像译码装置，因为运动补偿区域形状信息是对在每个矩形区域尺寸上设定的运动补偿区域形状进行译 码后的信息，所以也能够应对作为对每个矩阵区域尺寸决定的编码模式 进行画面间预测编码的交互模式的情况。此外，如果采用实施方式2的运动图《象译码装置，因为内部预测块 尺寸信息是对在每个矩形区域尺寸上设定的内部预测块尺寸进*码的 信息，所以也能够应对作为对每个矩阵区域尺寸决定的编码模式进行画 面内预测编码的内部预测模式的情况。如上所述，根据本发明的运动图像的分辨率和内容(运动剧烈的区 域和运动不同(人物和背景等)区域的边界附近)，能够适宜地切换矩 形区域尺寸并编码，并且能够抑制对由此产生的编码图像的矩形尺寸信送接收数字运动图像的装置(例如，带电视电话功能的便携终端7等。
权利要求
1.一种运动图像编码装置，将运动图像分割为矩形区域，以矩形区域单位进行编码，具备对帧单位或者作为多个连续的帧的集合的序列单位决定矩形区域的尺寸的矩形区域尺寸决定部件；将输入图像分割到由上述矩形区域尺寸决定部件所决定的尺寸的矩形区域上的矩形区域分割部件；对上述矩形区域的每个决定编码模式，用该决定的编码模式对上述矩形区域内的像素值进行编码的矩形区域编码部件。
2. 根据权利要求l所述的运动图像编码装置，其特征在于具备将 由矩形区域尺寸决定部件决定的矩形区域尺寸信息复用到位流中的矩形 区域尺寸信息复用部件。
3. 根据权利要求l所述的运动图像编码装置，其特征在于矩形区 域尺寸决定部件+艮据输入图像的分辨率决定矩形区域尺寸。
4. 根据权利要求l所述的运动图像编码装置，其特征在于 矩形区域编码部件具备对每个矩形区域决定编码才莫式的编码模式决定部件； 将矩形区域内分割为上述编码模式决定部件决定的区域的运动补偿 区域分割部件；在用上述运动补偿区域分割部件分割出的区域单位上进行运动检测 的运动检测部件；使用由上述运动检测部件得到的运动矢量信息进行运动净h^预测， 得到预测图像的运动补偿部件；取得上述预测图像和上述矩形区域内的像素值的差作为矩形区域单 位的预测误差图像，并且将输入图像或者上述预测误差图像的矩形区域 内分割为预定的尺寸的矩形块的块分割部件；在用上述块分割部件分割出的块单位上进行正交变换处理以及量化 的变换量化部件。
5. 根据权利要求4所述的运动图像编码装置，其特征在于 矩形区域编码部件具备将矩形区域内分割为编码模式决定的矩形块的画面内预测块分割部件；在用上述画面内预测块分割部件分割出的矩形块单位上进行画面内 预测，得到预测图像的画面内预测部件；取得上述预测图像和上述矩形区域内的像素值的差作为矩形区域单 位的预测误差图像，并且将输入图像或者上述预测误差图像的矩形区域 内分割为预定的尺寸的矩形块的块分割部件；在用上述块分割部件分割出的块单位上进行量化以及正交变换处理 的变换量化部件。
6. —种运动图l象译码装置，在将运动图像分割为矩形区域，以矩形 区域单位进^r码的运动图像译码装置中，具备对帧单位或者作为多个连续的帧的集合的序列单位决定矩形区域的尺寸的矩形区域尺寸决定部件；译码对上述矩形区域单位所决定的编码模式的编码模式译码部件； 根据由上述编码模式译码部件译码得到的编码模式对上述矩形区域内的像素值进^^码的矩形区域译码部件。
7. 根据权利要求6所述的运动图像译码装置，其特征在于矩形区 域尺寸决定部件对在帧单位或者作为多个连续的帧的集合的序列单位下 被复用到位流上的矩形区域尺寸信息进^^码，根据译码结果决定矩形 区域尺寸。
8. 根据权利要求6所述的运动图像译码装置，其特征在于矩形区 域尺寸决定部件根据译码对象图像的分辨率决定矩形区域尺寸。
9. 根据权利要求6所述的运动图像译码装置，其特征在于 在用编码模式译码部件译码得到的编码模式中，包含表示成为运动#^区域的单位的区域形状的运动补偿区域形状像信息， 矩形区域译码部件具备将矩形区域内分割为上述运动补偿区域形状信息决定的区域的运动补偿区域分割部件；在上述运动补偿区域单位下译码运动矢量信息的运动矢量信息译码部件；使用由上述运动矢量译码部件得到的运动矢量信息进行运动补偿预 测，得到预测图像的运动补偿部件；决定成为进行反量化、反正交变换的单位的矩形块尺寸的块尺寸决 定部件；在上述矩形块单位上进行反量化以及反正交变换处理的反量化逆变 换部件。
10. 根据权利要求9所述的运动图像译码装置，其特征在于 在由编码模式译码部件译码得到的编码模式中，包含表示成为画面内预测的单位的区域形状的内部预测块尺寸信息，矩形区域译码部件具备在上述内部预测块尺寸信息决定的矩形块单 位上进行画面内预测来得到预测图像的画面内预测部件。
11. 根据权利要求9所述的运动图像译码装置，其特征在于 运动补偿区域形状信息是对每个矩形区域尺寸设定的运动补偿区域形状进^^码的信息。
12. 根据权利要求10所述的运动图像译码装置，其特征在于内部 ___… . — — 1的信息。
全文摘要
宏块尺寸决定部1对帧单位决定宏块的尺寸。宏块分割部2将输入图像分割为由宏块尺寸决定部1规定的尺寸的宏块。宏块编码部3对用宏块分割部2分割出的宏块，对每个宏块决定编码模式，用决定的编码模式进行宏块内的像素值的编码。
文档编号H04N7/32GK101273641SQ20068003546
公开日2008年9月24日 申请日期2006年9月22日 优先权日2005年9月26日
发明者关口俊一, 守屋芳美, 山田悦久, 浅井光太郎 申请人:三菱电机株式会社