动态画像编码方法及装置、动态画像解码方法及装置的制作方法

专利名称：动态画像编码方法及装置、动态画像解码方法及装置的制作方法
技术领域：
本发明涉及通过帧结构或场结构来对构成动态图像的各图像进行编码和解码的动态图像编码方法和动态图像解码方法、动态图像编码装置、动态图像解码装置、以及用于 通过软件来实施其的程序。
背景技术：
在动态图像编码中，一般利用动态图像所具有的空间方向和时间方向的冗余性来 进行信息量的压缩。这里，作为利用时间方向的冗余性的方法，使用图像间预测编码。在图 像间预测编码中，在编码某个图像时，将显示时间顺序上位于前方或后方的图像设为参照 图像。另外，通过检测来自该参照图像的运动量，并对进行运动补偿后的图像与编码对象的 图像的差分值去除空间方向的冗余性，来进行信息量的压缩。在当前标准化中的称为H. 264的动态图像编码方式中，将不具有参照图像、仅使 用编码对象图像来进行图像内预测编码的图像称为I图像。这里，所谓图像是指包含帧和 场两者的1个编码单位。另外，将参照已处理完的1个图像来进行图像间预测编码的图像 称为P图像，将同时参照已处理完的2个图像来进行图像间预测编码的图像称为B图像。图1是表示上述动态图像编码方式中各图像预测关系的模式图。图1中，竖线表 示1个图像，在各图像的右下方示出图像类型(I、P、B)。另外，图1的箭头表示位于箭头始 端的图像将位于箭头终端的图像用作参照图像来进行图像间预测编码。例如，从开头数第 2个的B图像将开头的I图像与从开头数第4个的P图像用作参照图像来进行编码。在H. 264方式下，在B图像的编码中可选择所谓直接方式的编码方式。在该直接 方式中有时间性方法和空间性方法两种方法。在时间性直接方式中，编码对象块自身不具 有运动矢量，将编码完的其它图像的运动矢量作为参照运动矢量，根据图像间的显示时间 性位置关系来进行缩放处理，从而预测并生成编码对象块中使用的运动矢量(例如参照日 本专利特开平11-75191号公报)。图2是表示时间性直接方式中运动矢量的预测生成方法的模式图，P表示P图像， B表示B图像，附加于图像类型的数字表示各图像的显示顺序。另外，各图像P1、B2、B3、P4 分别具有显示顺序信息Tl、T2、T3、T4。这里，说明以时间性直接方式来编码图2所示的图 像B3的块BLO的情况。此时，利用显示时间上位于图像B3附近的作为已编码完图像的图像P4中的、与块 BLO位于相同位置的块BLl的运动矢量MVl。该运动矢量MVl是编码块BLl时使用的运动矢 量，参照图像Pl。此时，编码块BLO时使用的运动矢量对于图像Pl而言变为运动矢量MV_ F，对于图像P4而言变为运动矢量MV_B。此时，若将运动矢量MVl的大小设为MV，将运动矢 量MV_F的大小设为MVf，将运动矢量MV_B的大小设为MVb，则分别由式la、式Ib得到MVf、MVb。MVf = (T3-T1)/(T4-T1) XMV ...(式 la) MVb = (T3-T4)/(T4-T1) XMV ...(式 lb)使用如此通过根据运动矢量MVl来进行缩放处理得到的运动矢量MV_F、运动矢量 MV_B，根据作为参照图像的图像Pl和图像P4来进行块BLO的运动补偿。另一方面，在空间性直接方式中，与时间性直接方式一样，编码对象块自身不具有 运动矢量，参照编码对象块的空间上位于周围的编码完块所具有的运动矢量，并使用该运 动矢量来进行编码。
图3是表示空间性直接方式中运动矢量的预测生成方法的模式图，P表示P图像， B表示B图像，附加于图像类型的数字表示各图像的显示顺序。这里，说明以空间性直接方 式来编码图3所示的图像B3的块BLO的情况。此时，决定包含作为编码对象的块BLO的周围3像素A、B、C的编码完成的块各自 的运动矢量MVAl、MVBl、MVCl中、参照了显示时间上距编码对象图像最近的已编码的图像 的运动矢量，作为编码对象块的运动矢量的候选。在该决定的运动矢量为3个的情况下，选 择其中央值作为编码对象块的运动矢量。另外，在2个的情况下，求出其平均值，设为编码 对象块的运动矢量。另外，在仅为1个的情况下，将该运动矢量设为编码对象块的运动矢 量。在图3所示的实例中，参照图像P2来求出运动矢量MVAl,MVCl，参照图像1来求出运动 矢量MVB1。从而，求出参照显示时间上距编码对象图像最近的作为某个已编码图像的图像 P2的运动矢量MVA1、MVC1的平均值，设为作为编码对象块的第1个运动矢量的MV_F。求出 作为第2个运动矢量的MV_B的情况也一样。但是，在H. 264编码方式下，除对逐行图像(7 π 7 ^ ^ ν义画像)按帧原样帧编 码1个图像外，对于交错图像，允许使用将所使用的1个图像分成顶部场、底部场的两个场 来进行编码的场编码。图4是表示交错(4 >夕一 > 一 ；^ )图像及逐行图像中场具有的显示顺序信息的 模式图，具有相同帧序号的两条竖线分别表示场。在交错图像中，如图4(a)所示，分配显示 顺序信息，使顶部场与底部场变为等间隔。另一方面，在逐行图像中，如图4(b)所示，通过 使两个场具有相同的显示顺序信息，可表现正确的显示顺序关系。下面，将属于相同帧的两 个场具有相同的显示顺序信息的图像称为逐行图像，将不是这样的图像称为交错图像，但 不限于此，对任何图像都可使属于相同帧的两个场具有相同的显示顺序信息。因此，在交错图像和逐行图像中进行场编码时，若选择时间性直接方式，则使用各 场具有的显示顺序信息，使用背景技术中说明的方法，缩放运动矢量。此时，存在参照的两 个图像成为属于相同帧的顶部场与底部场的情况。下面，将该情况分为交错图像和逐行图 像各自的情况来进行说明。图5是表示在交错图像中的时间性直接方式的运动矢量的预测生成方法的模式 图，P表示P图像，B表示B图像，附加于图像类型的数字表示各图像的显示顺序。这里，说 明以时间性直接方式来场编码图5所示的图像Β2的块BLO的情况。此时，利用作为图像Β2的后方参照图像的图像Ρ3中的、与块BLO位于相同位置的 块BLl的运动矢量MVl。该运动矢量MVl是编码块BLl时使用的运动矢量，参照相同图像 Ρ3的顶部场。此时，可由上述式la、式Ib如下所示求出编码块BLO时使用的运动矢量MV_F、运动矢量MV_B。 MVf = (4-5)/(6-5) XMV = -MV
MVb = (4-6)/(6-5) XMV = -2MV图6是表示在逐行图像中的时间性直接方式下的运动矢量的预测生成方法的模 式图，P表示P图像，B表示B图像，附加于图像类型的数字表示各图像的显示顺序。这里， 说明以时间性直接方式来场编码图6所示的图像B2的块BLO的情况。此时，利用作为图像B2的后方参照图像的图像P3中的、与块BLO位于相同位置的 块BLl的运动矢量MVl。该运动矢量MVl是编码块BLl时使用的运动矢量，参照相同图像 P3的顶部场。此时，如下所示，分母变为0，故不能由上述式la、式Ib求出编码块BLO时使 用的运动矢量MV_F、运动矢量MV_B。MVf= (3-5)/(5-5) XMV 不能运算MVb = (3-5)/(5-5) XMV 不能运算 这样，在逐行图像中进行场编码时，选择时间性直接模式、参照的两个图像是属于 相同帧的顶部场与底部场的情况下，不能通过缩放处理(7 * — U > ^処理)来预测并生
成运动矢量。同样，在交错图像和逐行图像中进行场编码时，若被选择空间性直接模式，则使用 各场所具有的显示顺序信息，确定将参照了下述图像的运动矢量，作为编码对象块的运动 矢量的候选，该图像为如上所述在显示时间上距编码对象图像最近的已被编码的图像。此 时，存在运动矢量参照的图像成为属于相同帧的顶部场与底部场的情况。图7是表示在逐行图像中的空间性直接方式下的运动矢量的预测生成方法的模 式图，P表示P图像，B表示B图像，附加于图像类型的数字表示各图像的显示顺序，最后附 加的T表示顶部场，B表示底部场。这里，说明以空间性直接方式来场编码图7所示的图像 B3_T的块BLO的情况。此时，包含作为编码对象的块BLO周围的3个像素A、B、C的编码完成的块各自的 运动矢量MVAl、MVBl、MVCl分别参照场P2_T、P1_B、P2_B。其中，因为场P2_T、P2_B是属于 相同帧的顶部场与底部场，所以具有相同的显示顺序信息。从而，不能特定场P2_T、P2_B中 哪个在显示时间上距编码对象图像最近。因此，不能预测并生成编码对象块的运动矢量。

发明内容
因此，本发明鉴于上述情况作出，其目的在于提供一种动态图像编码方法和动态 图像解码方法等，其能在对动态图像进行场编码和解码的情况下，即使被选择直接模式，也 可确实求出运动矢量。为了实现上述目的，根据本发明的动态画像编码方法，以时间性直接方式对构成 动态画像的图像进行编码，其特征在于，包含以下步骤编码方式判定步骤，判定是否对处 理对象块进行场编码；缩放判定步骤，在所述处理对象块参照的2个图像，即包含位于与所 述处理对象块相同的位置上的同位置块的图像和作为所述同位置块的运动矢量的参照运 动矢量所参照的参照图像各自的显示顺序信息相同的情况下，判定判断为不能进行所述参 照运动矢量的缩放处理；以及运动补偿步骤，在所述编码方式判定步骤中判定对处理对象 块进行场编码，并且在所述缩放判定步骤中判定为不能进行所述缩放处理的情况下时，不进行所述缩放处理而使用值为O预定值的动态运动矢量进行所述处理对象块的运动补偿， 在所述编码方式判定步骤中没有判定对处理对象块进行场编码，以及在所述编码方式判定 步骤中判定对处理对象块进行场编码并且在所述缩放判定步骤中没有判定为不能进行所 述缩放处理的情况下，使用通过进行所述参照运动矢量的缩放处理生成的运动矢量进行所 述处理对象块的运动补偿。根据本发明的动态画像编码装置，以时间性直接方式对构成动态画像的图像进行 编码，其特征在于，具备缩放判定部，在处理对象块参照的2个图像，即包含位于与所述处 理对象块相同的位置上的同位置块的图像和作为所述同位置块的运动矢量的参照运动矢 量所参照的参照图像各自的显示顺序信息相同的情况下，判定为不能进行所述参照运动矢 量的缩放处理；以及运动补偿部，在所述缩放判定部判定为不能进行所述缩放处理的情况 下，不进行所述缩放处理而使用值为0的运动矢量进行所述处理对象块的运动补偿，在所 述缩放判定部没有判定为不能进行所述缩放处理的情况下，使用通过进行所述参照运动矢 量的缩放处理生成的运动矢量进行所述处理对象块的运动补偿。并且，也可以是，在所述缩放判定步骤中，在包含所述同位置块的图像和所述参照 图像是具有相同显示顺序信息的顶部场与底部场的情况下，判定为不能进行所述缩放处 理。由此，通过时间性直接模式，即通过将显示时间上位于附近的编码完的图像具有 的运动矢量作为参照运动矢量，根据参照图像间的显示时间上的位置关系，进行参照运动 矢量的缩放处理，由此预测并生成处理对象块的运动矢量，来进行编码时，即使不能进行缩 放处理，也可进行变更编码方式等的处理，来编码处理对象块。在根据位于处理对象块的空间上周边的已被编码的块具有的运动矢量中、参照显 示时间上距处理对象图像最近的已被编码图像的运动矢量，通过预测生成处理对象块的运 动矢量的空间性直接方式进行编码的情况下，即使不能根据图像具有的显示顺序信息来预 测并生成运动矢量，也可进行决定距编码对象图像最近的图像的处理，从而能预测并生成 运动矢量，编码处理对象块。另外，根据本发明的动态画像解码方法，以时间性直接方式对构成动态画像的图 像进行解码，其特征在于，包含以下步骤缩放判定步骤，在处理对象块参照的2个图像，即 包含位于与所述处理对象块相同的位置上的同位置块的图像和作为所述同位置块的运动 矢量的参照运动矢量所参照的参照图像各自的显示顺序信息相同的情况下，判定为不能进 行所述参照运动矢量的缩放处理；以及运动补偿步骤，在所述缩放判定步骤中判定为不能 进行所述缩放处理的情况下，不进行所述缩放处理而使用值为0的运动矢量进行所述处理 对象块的运动补偿，在所述缩放判定步骤中没有判定为不能进行所述缩放处理的情况下， 使用通过进行所述参照运动矢量的缩放处理生成的运动矢量进行所述处理对象块的运动 补偿。根据本发明的动态画像解码装置，以时间性直接方式对构成动态画像的图像进行 解码，其特征在于，具备缩放判定部，在处理对象块参照的2个图像，即包含位于与所述处 理对象块相同的位置上的同位置块的图像和作为所述同位置块的运动矢量的参照运动矢 量所参照的参照图像各自的显示顺序信息相同的情况下，判定为不能进行所述参照运动矢 量的缩放处理；以及运动补偿部，在所述缩放判定部判定为不能进行所述缩放处理的情况下，不进行所述缩放处理而使用值为O的运动矢量进行所述处理对象块的运动补偿，在所 述缩放判定部没有判定为不能进行所述缩放处理的情况下，使用通过进行所述参照运动矢 量的缩放处理生成的运动矢量进行所述处理对象块的运动补偿。并且，也可以是，在所述缩放判定步骤中，在包含所述同位置块的图像和所述参照 图像是具有相同显示顺序信息的顶部场与底部场的情况下判定为不能进行所述缩放处理。 从而，无论抽取出的编码时的编码方式是否是时间性直接方式，都可在不能进行 缩放处理的情况下，进行变更解码方式等的处理，解码处理对象块。在通过空间性直接方式进行解码的情况下，即使不能根据图像具有的显示顺序信 息来预测并生成运动矢量，也可进行决定距解码对象图像最近的图像的处理，从而能预测 并生成运动矢量，解码处理对象块。并且，本发明不仅可以实现这种动态图像编码方法和动态图像解码方法，还可实 现具备这种动态图像编码方法和动态图像解码方法包含的特征步骤将其作为手段的动态 图像编码装置和动态图像解码装置，也可实现作为在计算机中使这些步骤执行的程序。另 夕卜，不用说，这种程序也可经⑶-ROM等记录媒体或因特网等传输媒体来配送。另外，本发明的动态图像编码方法可成为下述的⑴ (11)中任一种结构。(1) 一种通过帧结构或场结构来编码构成动态图像的各图像的方法，包含以下步 骤运动矢量算出步骤，参照已被编码的图像，从而对构成图像的每个块算出运动矢量；方 式决定步骤，决定处理对象块的编码方式；缩放判定步骤，在所述方式决定步骤所决定的编 码方式是如下编码方式的情况下，即在将显示时间上位于附近的编码完图像所具有的运动 矢量作为参照运动矢量，根据参照图像间的显示时间上位置关系，进行所述参照运动矢量 的缩放处理，由此预测并生成该处理对象块的运动矢量的编码方式的情况下，判定可否预 测并生成该处理对象块的运动矢量；和运动补偿步骤，根据所述缩放判定步骤的判定结果， 将在所述方式决定步骤所决定的编码方式不变地或更新地进行使用，由此进行运动补偿。(2)在所述缩放判定步骤中，当所述缩放处理中参照的两个图像具有的显示顺序 信息相同的情况下，判断为不能通过进行所述缩放处理来预测并生成该处理对象块的运动 矢量。(3)在所述缩放判定步骤中，在所述缩放处理中参照的两个图像是属于同一帧的 顶部场与底部场、所述两个场都具有相同的显示顺序信息的情况下，判断为不能通过进行 所述缩放处理来预测并生成该处理对象块的运动矢量。(4)在所述运动补偿步骤中，在所述缩放判定步骤中被判定为不能生成所述运动 矢量的情况下，变更为使用在所述运动矢量算出步骤中算出的该处理对象块的运动矢量来 进行编码的编码方式，从而进行运动补偿。(5)在所述运动补偿步骤中，在所述缩放判定步骤中被判定为不能生成所述运动
矢量的情况下，不进行所述缩放处理，而将该处理对象块的所述预测并生成的运动矢量作
为预先被设定的预定值的矢量，使用在所述方式决定步骤决定的编码方式来进行运动补 m
te ο(6)所述预定的矢量的至少一个为0矢量，在所述运动补偿步骤中，在所述缩放判 定步骤中被判定为不能生成所述运动矢量的情况下，不进行所述缩放处理，而将该处理对 象块的所述预测并生成的运动矢量的至少一个作为0矢量，使用所述方式决定步骤决定的编码方式来进行运动补偿。(7)在所述运动补偿步骤中，在所述缩放判定步骤中被判定为不能生成所述运动矢量的情况下，变更为根据位于该处理对象块的空间上周边的已被编码的块具有的运动矢 量、预测并生成该处理对象块的运动矢量并进行编码的编码方式，从而进行运动补偿。(8) 一种通过帧结构或场结构来编码构成动态图像的各图像的方法，其特征在于， 包含运动矢量算出步骤，参照已被编码的图像，对构成图像的每个块算出运动矢量；预测 判定步骤，在根据位于处理对象块的空间上周边的已被编码的块具有的运动矢量中、参照 了显示时间上距处理对象图像最近的已被编码图像的运动矢量，预测生成该处理对象块的 运动矢量并编码的情况下，判定可否预测并生成该处理对象块的运动矢量；和最近图像决 定步骤，在所述预测判定步骤中被判定为不能生成所述运动矢量的情况下，使用显示顺序 信息以外的信息来决定距该处理对象图像最近的图像。(9)在所述预测判定步骤中，在所述已被编码块各自的运动矢量中存在多个参照 了显示时间上距该处理对象图像最近的已被编码图像的运动矢量、且该参照的多个图像是 属于相同帧的顶部场与底部场、且所述两个场都具有相同的显示顺序信息的情况下，判定 为不能预测并生成该处理对象块的运动矢量。(10)在所述最近图像决定步骤中，在所述预测判定步骤中被判定为不能生成所 述运动矢量的情况下，决定属于所述相同帧并具有相同的显示顺序信息的顶部场与底部场 中、属性与该处理对象场相同的场，作为距该处理对象场最近的场。(11)在所述最近图像决定步骤中，在所述预测判定步骤中判定为不能生成所述运 动矢量的情况下，决定属于所述相同帧并具有相同的显示顺序信息的顶部场与底部场中、 后面被编码的场，作为距该处理对象场最近的场。另外，本发明的动态图像解码方法可构成为下述的(12)-(22)中任一种。(12) 一种通过帧结构或场结构来解码构成动态图像的各图像的方法，其特征在 于，包含以下步骤运动矢量算出步骤，参照已被解码的图像，对构成图像的每个块算出运 动矢量；方式抽取步骤，抽取出处理对象块的解码方式；缩放判定步骤，在所述方式抽取步 骤中被抽取出的解码方式是如下解码方式的情况下，即在将显示时间上位于附近的解码完 的图像具有的运动矢量作为参照运动矢量，根据参照图像间的显示时间上位置关系，进行 所述参照运动矢量的缩放处理，由此预测并生成该处理对象块的运动矢量的解码方式的情 况下，判定可否预测并生成该处理对象块的运动矢量；和运动补偿步骤，根据所述缩放判定 步骤的判定结果，将所述方式抽取步骤所抽取出的解码方式不变或更新地进行使用，由此 进行运动补偿。(13)在所述缩放判定步骤中，当所述缩放处理中参照的两个图像具有的显示顺序 信息相同的情况下，判定为不能通过进行所述缩放处理来预测并生成该处理对象块的运动矢量。(14)在所述缩放判定步骤中，在所述缩放处理中参照的两个图像是属于同一帧的 顶部场与底部场、所述两个场都具有相同的显示顺序信息的情况下，判定为不能通过进行 所述缩放处理来预测并生成该处理对象块的运动矢量。(15)在所述运动补偿步骤中，在所述缩放判定步骤中被判定为不能生成所述运动 矢量的情况下，变更为使用所述运动矢量算出步骤中算出的该处理对象块的运动矢量来进行解码的解码方式，从而进行运动补偿。(16)在所述运动补偿步骤中，在所述缩放判定步骤中被判定为不能生成所述运
动矢量的情况下，不进行所述缩放处理，而将该处理对象块的所述预测并生成的运动矢量
作为预先设定的预定值的矢量，使用所述方式抽取步骤中抽取出的解码方式来进行运动补 m
te ο
(17)所述预定的矢量的至少一个为0矢量，在所述运动补偿步骤中，在所述缩放 判定步骤中被判定为不能生成所述运动矢量的情况下，不进行所述缩放处理，而将该处理 对象块的所述预测并生成的运动矢量的至少一个作为0矢量，使用在所述方式抽取步骤中 抽取出的解码方式来进行运动补偿。(18)在所述运动补偿步骤中，在所述缩放判定步骤中被判定为不能生成所述运动 矢量的情况下，变更为根据位于该处理对象块的空间上周边的已被解码的块具有的运动矢 量、预测并生成该处理对象块的运动矢量并进行解码的解码方式，从而进行运动补偿。(19) 一种通过帧结构或场结构来解码构成动态图像的各图像的方法，其特征在 于包含运动矢量算出步骤，参照已被解码的图像，对构成图像的每个块算出运动矢量；预 测判定步骤，在根据位于处理对象块的空间上周边的已被解码的块具有的运动矢量中、参 照显示时间上距处理对象图像最近的已被解码图像的运动矢量，预测生成该处理对象块的 运动矢量并解码的情况下，判定可否预测并生成该处理对象块的运动矢量；和最近图像决 定步骤，在所述预测判定步骤判定为不能生成所述运动矢量的情况下，使用显示顺序信息 以外的信息来决定距该处理对象图像最近的图像。(20)在所述预测判定步骤中，在所述已被编码块各自的运动矢量中存在多个参照 显示时间上距该处理对象图像最近的已被解码图像的运动矢量、且该参照的多个图像是属 于同一帧的顶部场与底部场、且所述两个场都具有相同的显示顺序信息的情况下，判定为 不能预测并生成该处理对象块的运动矢量。(21)在所述最近图像决定步骤中，在所述预测判定步骤中被判定为不能生成所 述运动矢量的情况下，决定属于所述同一帧并具有相同的显示顺序信息的顶部场与底部场 中、属性与该处理对象场相同的场，作为距该处理对象场最近的场。(22)在所述最近图像决定步骤中，在所述预测判定步骤中判定为不能生成所述运 动矢量的情况下，决定属于所述同一帧并具有相同的显示顺序信息的顶部场与底部场中、 后面被编码的场，作为距该处理对象场最近的场。从以上说明可知，根据本发明的动态图像编码方法，在通过时间性直接方式或空 间性直接方式进行编码的情况下，可确实生成运动矢量从而编码处理对象块。另外，根据本发明的动态图像解码方法，在通过时间性直接方式或空间性直接方 式进行解码的情况下，可确实生成运动矢量从而解码处理对象块。


图1是表示现有动态图像编码方式中各图像预测关系的模式图。图2是表示时间性直接方式中运动矢量的预测生成方法的模式图。图3是表示空间性直接方式中运动矢量的预测生成方法的模式图。图4是表示交错图像及逐行图像中场具有的显示顺序信息的模式图。
图5是表示在交错图像中的时间性直接方式下的运动矢量的预测生成方法的模 式图。图6是表示在逐行图像中的时间性直接方式下的运动矢量的预测生成方法的模 式图。图7是表示在逐行图像中的空间性直接方式下的运动矢量的预测生成方法的模 式图。图8是表示根据本发明的动态图像编码装置的一实施方式的结构的框图。图9是表示图像存储器中图像的顺序的说明图，(a)是表示输入顺序的说明图， (b)是表示重新排列的顺序的说明图。
图10是表示直接方式可否判定部中根据方法1确定编码方式的动作的流程图。图11是表示直接方式可否判定部中根据方法2确定编码方式的动作的流程图。图12是表示直接方式可否判定部中根据方法3确定编码方式的动作的流程图。图13是表示直接方式可否判定部中根据方法1’确定编码方式的动作的流程图。图14是表示根据本发明的动态图像解码装置的一实施方式的结构的框图。图15是表示直接方式可否判定部中根据方法1确定解码方式的动作的流程图。图16是表示直接方式可否判定部中根据方法2确定解码方式的动作的流程图。图17是表示直接方式可否判定部中根据方法3确定解码方式的动作的流程图。图18是表示直接方式可否判定部中根据方法1’确定解码方式的动作的流程图。图19是关于存储通过计算机系统来实现实施方式1的动态图像编码方法及动态 图像解码方法用的程序的存储媒体的说明图，(a)是表示作为存储媒体主体的软盘物理格 式的实例的说明图，(b)是表示从软盘正面看的外观、截面结构及软盘的说明图，(c)是表 示用于对软盘FD记录再生上述程序的结构的说明图。图20是表示实现内容配送服务的内容供给系统的整体结构框图。图21是表示便携电话的一例的图。图22是表示便携电话的内部结构的框图。图23是表示数字广播用系统的整体结构的框图。
具体实施例方式
下面，参照附图来说明本发明的实施方式。实施方式1图8是表示采用根据本发明的动态图像编码方法的动态图像编码装置的一实施 方式的结构的框图。动态图像编码装置如图8所示，具有图像存储器101、预测残差编码部102、编码 串生成部103、预测残差解码部104、图像存储器105、运动矢量检测部106、运动补偿编码部 107、运动矢量存储部108、直接方式可否判定部109、差分运算部110、加法运算部111及开 关 112、113。图像存储器101按显示时间顺序，存储以图像单位输入的动态图像。运动矢量检 测部106使用已编码完的重构筑图像数据作为参照图像，在该图像内的搜索领域中检测表 示预测为最佳的位置的运动矢量。运动补偿编码部107使用运动矢量检测部106检测出的运动矢量，决定块的编码方式，并根据该编码方式，生成预测图像数据。所谓该编码方式是 表示用哪种方法编码宏块(7々Π y Π 7々)的方式。运动矢量存储部108存储由运动矢量检测部106检测出的运动矢量。直接方式可 否判定部109在由运动补偿编码部107决定的编码方式是时间性直接方式时，判定可否进 行缩放(scaling)处理，并确定编码方式。另外，直接方式可否判定部109在编码方式是空 间性直接方式时，判定可否预测并生成在编码对象块中使用的运动矢量。差分运算部110 运算从图像存储器101中读出的图像数据与从运动补偿编码部107输入的预测图像数据的 差分，生成预测残差图像数据。预测残差编码部102对输入的预测残差图像数据进行频率变换或量化等编码处 理，生成编码数据。编码串生成部103对输入的编码数据进行可变长编码等，并且通过附加 从运动补偿编码部107输入的运动矢量信息及编码方式信息等，生成编码串。预测残差解码部104对输入的编码数据进行去量化或反频率变换等的解码处理， 生成解码差分图像数据。加法运算部111将从预测残差解码部104输入的解码差分图像数 据与从运动补偿编码部107输入的预测图像数据相加，生成重构筑图像数 据。图像存储器 105存储生成的重构筑图像数据。下面，说明上述构成的动态图像编码装置的动作。图9是表示图像存储器101中的图像顺序的说明图，(a)是表示被输入的顺序的说 明图，(b)是表示被重新排列的顺序的说明图。这里，竖线表示图像，各图像的右下方示出 的符号的第一位字符的字母表示图像类型(I、P或B)，第二位字符以后的数字表示显示时 间顺序的图像序号。另外，P图像使用在显示时间顺序中位于前方的附近的I图像或P图 像作为参照图像，B图像使用在显示时间顺序中位于前方的附近的I图像或P图像、和在显 示时间顺序中位于后方的附近的1个I图像或P图像作为参照图像。例如图9(a)所示，按显示时间顺序，以图像单位将输入图像输入到图像存储器 101中。被输入到图像存储器101中的各图像一旦决定编码的图像类型，则例如图9(b)所 示，被重新排列成进行编码的顺序。根据图像间预测编码中的参照关系，对该编码顺序进行 重新排列，重新排列被用作参照图像的图像，以便先于用作参照图像的图像而被编码。例如以分割成水平16X垂直16像素的组的宏块单位来读出在图像存储器101中 被进行重新排列的各图像。另外，例如以分割成水平8X垂直8像素的组的块单位来检测 运动补偿及运动矢量。就以后的动作而言，说明编码对象图像是B图像的情况。在B图像中，进行使用2方向参照的图像间预测编码。例如在图9(a)所示例中， 在进行图像Bll的编码处理时，在显示时间顺序中位于前方的参照图像成为图像ΡΙΟ、P7、 P4，在显示时间顺序中位于后方的参照图像成为图像P13。这里，考虑在编码其他图像时不 使用B图像作为参照图像的情况。将从图像存储器101读出的图像Bll的宏块输入到运动矢量检测部106及差分运 算部Iio中。运动补偿编码部107决定是用帧结构来编码、还是用场结构来编码宏块内的各 块。用帧结构或场结构之一编码例如是用帧结构和场结构求出块内像素值的分散，选择分 散小的一方的方法。另外，也可在图像单位下以帧结构或场结构的任一个编码各图像。
运动矢量检测部106对应于被决定的帧结构下的编码或场结构下的编码，将图像存储器105中存储的参照图像作为帧单位或场单位，对宏块内的各块检测前方运动矢量和 后方运动矢量。这里，将在图像存储器105中存储的图像P10、P7、P4的重构筑图像数据作 为前方参照图像，将图像P13的重构筑图像数据作为后方参照图像。运动矢量检测部106 向运动补偿编码部107输出检测出的运动矢量。运动补偿编码部107使用由运动矢量检测部106检测出的运动矢量，来决定宏块 的编码方式。这里，B图像的编码方式，例如可从图像内编码、使用前方运动矢量的图像间 预测编码、使用后方运动矢量的图像间预测编码、使用双方向运动矢量的图像间预测编码、 直接方式中选择以任一方法编码。另外，就直接方式而言，预先指定时间性直接方式或空间 性直接方式。另外，在编码方式的决定中，通常选择以少的比特量、编码误差更小的方法。下面，说明在选择用直接方式编码时，由直接方式可否判定部109确定编码方式 的动作。该确定编码方式的动作可通过下面说明的方法1 3中任一个来进行。方法1图10是表示根据方法1的确定编码方式的动作的流程图。运动补偿编码部107 若选择用直接方式编码，则将该意图通知到直接方式可否判定部109。接收到通知的直接方 式可否判定部109首先判定是否被指定时间性直接方式(步骤S101)。结果，在判定为时间 性直接方式时，直接方式可否判定部109判定是否被选择场编码(步骤S102)。结果，在判 定为没被选择场编码时，直接方式可否判定部109指示运动补偿编码部107用时间性直接 方式编码(步骤S103)。另外，在判定为被选择场编码时，直接方式可否判定部109判定可 否通过缩放处理，预测并生成在编码对象块中使用的运动矢量(步骤S104)。S卩，判定参照 的2个图像是否属于同一帧，并且是否是具有相同显示顺序信息的顶部场和底部场。结果， 在可进行缩放处理时(步骤S104的条件判定是“否”时)，直接方式可否判定部109指示运 动补偿编码部107用时间性直接方式编码(步骤S103)。另一方面，在不可进行缩放处理时 (步骤S104的条件判定为“是”时)，直接方式可否判别定部109指示运动补偿编码部107 用直接方式以外的方式来编码(步骤S105)。另外，上述判定(步骤S101)的结果，在判定为不是时间性直接方式(即是空间性 直接方式)时，直接方式可否判定部109判定是否被选择场编码(步骤S106)。结果，在判 定为未被选择场编码时，直接方式可否判定部109指示运动补偿编码部107用空间性直接 方式编码(步骤S107)。上述判定(步骤S106)的结果，在判定为被选择场编码时，直接方式可否判定部 109判定可否通过空间性直接方式，根据图像具有的显示顺序信息，预测并生成在编码对象 块中使用的运动矢量(步骤S108)。即，判定在包含作为编码对象块的周围的3像素的编码 完的3个块各自的运动矢量中，是否存在多个参照了显示时间上距编码对象图像(场)最 近的已编码图像的运动矢量，且该参照的多个图像是否是属于同一帧，并且是否是具有相 同显示顺序信息的顶部场与底部场。此时，在满足上述条件时，判定为不可预测并生成运动 矢量。上述判定(步骤S108)的结果，在判定为可预测并生成运动矢量时(步骤S108的 条件判定是”否”时)，直接方式可否判定部109指示运动补偿编码部107用空间性直接方 式编码(步骤S107)。
另外，在判定为不可预测并生成运动矢量时(步骤S108的条件判定是”是”时)， 直接方式可否判定部109指示运动补偿编码部107，以便将具有相同显示顺序信息的顶部 场与底部场中、属性与编码对象场相同的场作为显示时间上距编码对象场最近的场(步骤 S109)。这里，所谓相同属性的场，若编码对象场是顶部场，则是顶部场，若编码对象场是底 部场，则是底部场。进而，直接方式可否判定部109指示运动补偿编码部107用空间性直接 方式编码(步骤S107)。方法2图11是表示根据方法2的确定编码方式的动作的流程图。另外，除判定为被选择 场编码、且判定为不可进行缩放处理时的处理以外(步骤S201-S204、S206-S209)与方法1 相同，省略说明。在判定为被选择场编码，且判定为不可进行缩放处理时，直接方式可否判定部109 指示运动补偿编码部107以将运动矢量设为0的时间性直接方式进行编码(步骤S205)。
方法3图12是表示根据方法3的确定编码方式的动作的流程图。另外，除判定为被选择 场编码，且判定为不可进行缩放处理时的处理以外(步骤S301-S306、S308)与方法1相同， 省略说明。在判定为被选择场编码，且不可进行缩放处理时，直接方式可否判定部109判定 可否通过空间性直接方式，预测并生成在编码对象块中使用的运动矢量(步骤S307)。之后 的动作与方法1相同。另外，就上述方法1-3中、判定为不可通过空间性直接方式预测并生成运动矢量 时的上述处理(步骤S109、S209、S308)而言，也可进行下述处理，作为方法1' -3'。图 13是表示根据方法1'的确定编码方式的动作的流程图。另外，方法2' -3'与方法1'相 同，省略说明及图。方法1'直接方式可否判定部109指示运动补偿编码部107，以便将具有相同显示顺序信 息的顶部场与底部场中、后面编码的场(即，时间上距编码对象场最近编码的场)设为显示 时间上距编码对象场最近的场(图13、步骤S110)。接着，运动补偿编码部107如上所述，通过直接方式可否判定部109确定的编码方 式，生成预测图像数据。下面，分别说明每种这样确定了的编码方式下的动作。通常的时间性直接方式下的编码此时，运动补偿编码部107使用与在背景技术中用图2说明的时间性直接方式完 全相同的方法，来进行运动补偿。即，利用编码完图像中、位于与编码对象的块相同的位置 上的块的运动矢量作为参照运动矢量，运动补偿编码部107从运动矢量存储部108中读出 该参照运动矢量，根据该参照运动矢量及图像间的显示时间上的位置关系，来进行缩放处 理，预测并生成在编码对象块中使用的运动矢量。而且，使用该运动矢量，运动补偿编码部 107根据2个参照图像进行2方向预测，生成预测图像数据。将运动矢量设为「0」的时间性直接方式下的编码运动补偿编码部107不通过缩放处理来预测生成运动矢量，直接使用「0」来作为 运动矢量，根据2个参照图像来进行2方向预测，生成预测图像数据。
这时使用的运动矢量的值不只限于「0」，也可是不需要缩放就可决定的预定的值。 在上述实例中，将对应于2个参照图像的运动矢量2个都设为「0」来说明，但不只限于此， 也可将对应于2个参照图像的至少1个运动矢量设为「0」。直接方式以外的编码运动补偿编码部107使用运动矢量检测部106检测出的运动矢量，根据2个参照 图像进行2方向预测，生成预测图像数据。空间性直接方式下的编码 这时，运动补偿编码部107使用与背景技术中用图3来说明的空间性直接方式完 全相同的方法来进行运动补偿。即，使用包含作为编码对象的块周围的3像素的编码完的 3个块各自的运动矢量中、参照了显示时间上距编码对象图像最近的已编码图像的运动矢 量，预测并生成编码对象块中使用的运动矢量。这时，在上述3个块各自的运动矢量中，存在多个参照了显示时间上距编码对象 图像(场)最近的已编码图像的运动矢量，并且，该参照的多个图像是属于同一帧、并且是 具有相同显示顺序信息的顶部场和底部场时，运动补偿编码部107根据来自直接方式可否 判定部109的指示，将具有相同显示顺序信息的顶部场与底部场中的1个设为在显示时间 上距编码对象场最近的场。S卩，在来自直接方式可否判定部109的指示是上述方法1-3中说明的指示时，将具 有相同显示顺序信息的顶部场和底部场中、属性与编码对象场相同的场设为显示时间上距 编码对象场最近的场。例如，在图7所示实例中，将具有相同显示顺序信息的场P2_T、P2_B 中、作为与编码对象场B3_T相同的顶部场的场P2_T设为显示时间上距编码对象场最近的 场。因此，决定将参照场Ρ2_Τ的运动矢量MVA1，作为编码对象块的第1个运动矢量的候选。另外，在来自直接方式可否判定部109的指示是上述方法1' -3'中说明的指示 时，将具有相同显示顺序信息的顶部场和底部场中、后面编码的场设为在显示时间上距编 码对象场最近的场。例如，在图7所示实例中，设后面编码场Ρ2_Τ、Ρ2_Β中的场Ρ2_Β，则将 具有相同显示顺序信息的场Ρ2_Τ、Ρ2_Β*、后面编码的场Ρ2_Β设为显示时间上距编码对象 场最近的场。因此，决定将参照场Ρ2_Β的运动矢量MVCl，作为编码对象块的第1个运动矢 量MV_F的候选。求出作为第2个运动矢量的MV_B的情况也相同。在这样决定了的运动矢量是3个时，选择其中央值作为编码对象块的运动矢量。 另外，在是2个时，求出其平均值，作为编码对象块的运动矢量。另外，在仅为1个时(图7 所示实例)，将该运动矢量作为编码对象块的运动矢量。使用这样求出的运动矢量，运动补 偿编码部107根据参照图像进行运动补偿，生成预测图像数据。接着，运动补偿编码部107向差分运算部110和加法运算部111输出如上所述生 成的预测图像数据。另外，在运动补偿编码部107选择了图像内编码时，不输出预测图像数 据。另外，运运补偿编码部107进行控制，以便使在选择了图像内编码时，将开关112连接 到直接从图像存储器101输入信号的一侧，在选择了图像间预测编码时，将开关112连接到 由差分运算部110输入信号的一侧。另外，运动补偿编码部107向编码串生成部103输出 决定了的编码方式。由运动补偿编码部107输入了预测图像数据的差分运算部110算出该预测图像数 据、与从图像存储器101中读出的图像Bll的宏块的图像数据的差分，生成预测残差图像数据，输出到预测残差编码部102。
输入了预测残差图像数据的预测残差编码部102对该预测残差图像数据进行频 率变换或量化等的编码处理，生成编码数据，从而输出到编码串生成部103。输入了编码 数据的编码串生成部103对该编码数据进行可变长编码等，且通过附加从运动补偿编码部 107输入的运动矢量信息、编码方式的信息等，生成编码串并输出。另外，对直接方式下被编 码的宏块，不向编码串附加运动矢量信息。之后，通过相同的处理，对图像Bll的其余的宏块也进行编码处理。如上所述，在被选择场编码、通过时间性直接方式进行编码时，判定可否进行缩放 处理。而且，因为在判定为不可进行缩放处理时，进行变更编码方式等的处理，所以没有因 不能进行缩放处理而不能进行编码的情况。另外，在被选择场编码、通过空间性直接方式进行编码时，根据图像具有的显示顺 序信息，判定可否预测生成编码对象块中使用的运动矢量。而且，在被判定为不可预测并生 成运动矢量时，进行规定将具有相同显示顺序信息的顶部场和底部场中哪个场作为在显示 时间上距编码对象场最近的场的处理，所以没有因不可预测并生成运动矢量而不能进行编 码的情况。图14是表示使用根据本发明的动态图像解码方法的动态图像解码装置的一实施 方式的结构的框图。动态图像解码装置具备编码串解析部201、预测残差解码部202、图像存储器 203、运动补偿解码部204、运动矢量存储部205、直接方式可否判定部206、加法运算部207 及开关208。编码串解析部201从输入的编码串中抽出解码方式信息及编码时所使用的运动 矢量信息等各种数据。预测残差解码部202解码所输入的预测残差编码数据，生成预测残 差图像数据。运动补偿解码部204根据解码方式信息及运动矢量信息等，生成运动补偿图 像数据。运动矢量存储部205存储由编码串解析部201抽出的运动矢量。直接方式可否判定部206在由编码串解析部201抽取的解码方式是时间性直接方 式时，判定可否进行缩放处理，确定解码方式。另外，直接方式可否判定部206在解码方式 是空间性直接方式时，判定可否预测并生成解码对象块中使用的运动矢量。加法运算部207 将由预测残差解码部202输入的预测残差图像数据和由运动补偿解码部204输入的运动补 偿图像数据相加，生成解码图像数据。图像存储器203存储已生成的解码图像数据。下面，说明如上所述构成的动态图像解码装置的动作。另外，用图9来说明图像的 顺序。这里，P图像以显示时间顺序中位于前方的附近的I图像或P图像作为参照图像，B 图像以显示时间顺序中位于前方的附近的I图像或P图像、和显示时间顺序中位于后方的 附近的1个I图像或P图像作为参照图像而被编码的。以如图9(b)所示的图像顺序，向编码串解析部201输入编码串。编码串解析部 201从输入的编码串中抽出解码方式信息及运动矢量信息等各种数据。编码串解析部201 向运动补偿解码部204输出抽出了的解码方式信息，向运动矢量存储部205输出运动矢量 fn息ο另外，编码串解析部201向预测残差解码部202输出抽出了的预测残差编码数据。 被输入了预测残差编码数据的预测残差解码部202解码该预测残差编码数据，生成预测残差图像数据，并输出到加法运算部207。就以后的动作而言，说明解码对象图像是B图像、由编码串解析部201所抽出的解 码方式是直接方式的情况。由编码串解析部201输入了解码方式信息的运动补偿解码部204判定是否是用直 接方式对解码对象的块进行解码，在是直接方式时，通知直接方式可否判定部206。下面，说明解码方式是直接方式时进行的、由直接方式可否判定部206确定解码 方式的动作。该确定解码方式的动作可通过下面说明的方法1-3的任一个来进行。方法1图15是表示根据方法1的确定解码方式的动作的流程图。首先，直接方式可否判 定部206判定是否被指定时间性直接方式(步骤S401)。结果，在判定为是时间性直接方 式时，直接方式可否判定部206判定是否被进行场编码(步骤S402)。结 果，在判定为没被 进行场编码时，直接方式可否判定部206指示运动补偿解码部204用时间性直接方式解码 (步骤S403)。另一方面，在判定为被选择场编码时，直接方式可否判定部206判定可否通 过缩放处理来预测并生成在解码对象块中使用的运动矢量(步骤S404)。即，判定参照的2 个图像是否属于同一帧，是否是具有相同显示顺序信息的顶部场与底部场。结果，在可进行 缩放处理时(步骤S404的条件判定是”否”时)，直接方式可否判定部206指示运动补偿解 码部204用时间性直接方式解码(步骤S403)。另一方面，在不可进行缩放处理时(步骤 S404的条件判定是”是”时)，直接方式可否判定部206指示运动补偿解码部204用直接方 式以外的方式解码(步骤S405)。另外，上述判定(步骤S401)的结果，在判定为不是时间性直接方式(即，是空间 性直接方式)时，直接方式可否判定部206判定是否被进行场编码(步骤S406)。结果，在 判定为未被选择场编码时，直接方式可否判定部206指示运动补偿解码部204用空间性直 接方式解码(步骤S407)。上述判定(步骤S406)的结果，在判定为被选择场编码时，直接方式可否判定部 206判定通过空间性直接方式，根据图像具有的显示顺序信息，可否预测并生成解码对象块 中使用的运动矢量(步骤S408)。即，判定在包含作为解码对象块的周围的3像素的编码完 的3个块各自的运动矢量中，是否存在多个参照了显示时间上距解码对象图像(场)最近 的已解码图像的运动矢量，且该参照的多个图像是否是属于同一帧，并且是否是具有相同 显示顺序信息的顶部场与底部场。此时，在满足上述条件时，判定为不可预测并生成运动矢 量。上述判定(步骤S408)的结果，在判定为可预测并生成运动矢量时(步骤S408的 条件判定是”否”时)，直接方式可否判定部206指示运动补偿解码部204用空间性直接方 式解码(步骤S407)。另外，在判定为不可预测并生成运动矢量时(步骤S408的条件判定是”是”时)， 直接模式可否判定部206指示运动补偿解码部204，以便将具有相同显示顺序信息的顶部 场与底部场中、属性与解码对象场相同的场设为显示时间上距解码对象场最近的场(步骤 S409)。这里，若解码对象场是顶部场，则所谓相同属性的场是顶部场，若解码对象场是底部 场，则是底部场。进而述，直接方式可否判定部206指示运动补偿解码部204用空间性直接 方式解码(步骤S407)。
方法2图16是表示根据方法2的确定解码方式的动作流程图。另外，除判定为被选择场 编码、且判定为不可进行缩放处理时的处理以外(步骤S501-S504、步骤S506-S509)与方法 1相同，故省略说明。在判定为被选择场编码、且判定为不可进行缩放处理时，直接方式可否判定部206 指示运动补偿解码部204用设运动矢量为「0」的时间性直接方式解码(步骤S505)。方法3
图17是表示根据方法3的确定解码方式的动作的流程图。另外，除判定为被选择 场编码、且判定为不可进行缩放处理时的处理以外(步骤S601-S606、S608)与方法1相同， 故省略说明。在判定为被选择场编码、且不可进行缩放处理时，直接方式可否判定部206判定 可否通过空间性直接方式预测并生成解码对象块中使用的运动矢量(步骤S607)。这以后 的动作与方法1相同。另外，对于上述方法1-3中、判定为不可以空间性直接方式预测并生成运动矢量 时的上述处理(步骤S409、S509、S608)，也可如下进行处理并设为方法1' -3'。图18是 表示根据方法1'的确定解码方式的动作的流程图。另外，方法2' -3'与方法1'相同， 省略图示及说明。方法1'直接方式可否判定部206指示运动补偿解码部204，以便将具有相同显示顺序信 息的顶部场与底部场中后面解码的场(即，在时间上距解码对象场最近的被解码场)作为 在显示时间上距解码对象场最近的场(图18、步骤S410)。接着，运动补偿解码部204通过如上所述直接方式可否判定部206所确定的解码 方式，生成运动补偿图像数据。下面，分别说明每种确定的解码方式下的动作。通常的时间性直接方式下的解码此时，运动补偿解码部204使用与在背景技术中、用图2来说明的时间性直接方式 完全相同的方法，来进行运动补偿。即，利用解码完图像中的、位于与解码对象块相同位置 上的块的运动矢量，作为参照运动矢量，运动补偿解码部204从运动矢量存储部205中读出 该参照运动矢量，并根据该参照运动矢量及图像间的显示时间性位置关系，来进行缩放处 理，预测并生成解码对象块中使用的运动矢量。而且，运动补偿解码部204使用该运动矢 量，根据2个参照图像，进行2方向预测，生成运动补偿图像数据。设运动矢量为「0」的时间性直接方式下的解码运动补偿解码部204不通过缩放处理来预测生成运动矢量，直接使用「0」作为运 动矢量，根据2个参照图像，进行2方向预测，生成预测图像数据。这时使用的运动矢量的值不只限于「0」，还可为不必通过缩放就可决定的预定值。 在上述实例中，将两个针对2个参照图像的运动矢量全设为「0」来说明，但不只限于此，也 可设针对2个参照图像的运动矢量的至少1个为「0」。除直接方式以外的方式下的解码运动补偿解码部204从运动矢量存储部205中读出编码时使用的运动矢量，用该 运动矢量，根据2个参照图像，进行2方向预测，生成运动补偿图像数据。
空间性直接方式下的解码此时，运动补偿解码部204使用与在背景技术中、用图3来说明的空间性直接方式 完全相同的方法，来进行运动补偿。即，使用包含作为解码对象的块的周围3个像素的解码 完的3个块各自的运动矢量中、参照了在显示时间上距解码对象图像最近的已解码图像的 运动矢量，来预测并生成编码对象块中使用的运动矢量。这时，在上述3个块各自的运动矢量中，存在多个参照了显示时间上距解码对象 图像(场)最近的已解码图像的运动矢量，且该参照的多个图像属于同一帧，并是具有相 同显示顺序信息的顶部场与底部场时，运动补偿解码部204根据来自直接方式可否判定部 206的指示，将具有相同显示顺序信息的顶部场与底部场中的1个设为显示时间上距解码 对象场最近的场。S卩，在来自直接方式可否判定部206的指示是上述方法1 3中已说明的指示时， 将具有相同显示顺序信息的顶部场与底部场中、属性与解码对象场相同的场设为在显示时 间上距解码对象场最近的场。例如，在图7所示实例中，将具有相同显示顺 序信息的场P2_ T、P2_B中、将作为与解码对象场B3_T相同的顶部场的场P2_T设为显示时间上距解码对象 场最近的场。因此，决定将参照场Ρ2_Τ的运动矢量MVAl，作为解码对象块的第1个运动矢 量的候选。另外，在来自直接方式可否判定部206的指示是上述方法1' 3'中说明的指示 时，将具有相同显示顺序信息的顶部场与底部场中后面解码的场设为显示时间上距解码对 象场最近的场。例如，在图7所示实例中，假设在场Ρ2_Τ、Ρ2_Β中后面被解码的场是Ρ2_Β， 则将具有相同显示顺序信息的场Ρ2_Τ、Ρ2_Β中后面被解码的场Ρ2_Β作为在显示时间上距 解码对象场最近的场。因此，决定将参照场Ρ2_Β的运动矢量MVC1，作为解码对象块的第1 个运动矢量MV_F的候选。求作为第2个运动矢量的MV_B的情况也相同。在这样决定了的运动矢量是3个时，选择其中央值作为解码对象块的运动矢量。 另外，是2个时，求出其平均值，作为解码对象块的运动矢量。另外，在仅为1个时(图7所 示实例)，将该运动矢量作为解码对象块的运动矢量。运动补偿解码部204使用如此求出的 运动矢量，根据参照图像进行运动补偿，生成运动补偿图像数据。接着，运动补偿解码部204向加法运算部207输出如上所述生成的运动补偿图像 数据(块)。加法运算部207将运动补偿图像数据与由预测残差解码部202输入的预测残 差图像数据相加，生成解码图像数据，存储在图像存储器203中。之后，通过相同的处理，对图像Bll的其余宏块也进行解码处理。而且，在图9(b) 所示实例中，一旦对图像Bll的全部宏块进行的处理结束，则接着进行图像B12的解码处 理。如图9(a)所示，将如上所述解码处理后的图像依次作为输出图像，从图像存储器203 被输出。如上所述，在被选择场编码、抽出了的解码方式是时间性直接方式时，判定可否进 行缩放处理。而且，因为在判定为不可进行缩放处理时，进行变更解码方式等的处理，所以 没有由不可进行缩放处理而不能进行解码的情况。另外，在被选择场编码、抽出了的解码方式是空间性直接方式时，根据图像具有的 显示顺序信息，判定可否预测并生成编码对象块中使用的运动矢量。而且，在判定为不可预 测并生成运动矢量时，进行规定将具有相同显示顺序信息的顶部场与底部场中哪个场作为显示时间上距解码对象场最近的场的处理，所以没有因不可预测并生成运动矢量而不能进行解码的情况。另外，在本实施方式中，在用空间性直接方式编码时，运动补偿编码部107在从包 含作为编码对象的块的周围3个像素的编码完成的3个块各自的运动矢量中、决定编码对 象块的运动矢量的候选时，虽决定参照了显示时间上距编码对象图像最近的、已编码的图 像的运动矢量作为候选，但并不只限于此，例如，也可在场编码时，从属性与编码对象场相 同的场中，决定参照了显示时间上距编码对象场最近的场的运动矢量作为候选。这时，相对 于本实施方式首先根据显示顺序信息来决定候选，变为首先使为相同属性的场优先来决定 候选。另外，解码时运动补偿解码部204中的动作也相同。另外，在本实施方式中，说明了利用帧结构或场结构的任一个来适当地编码、解码 处理各图像，但例如即便以块单位来利用帧结构或场结构的任一个来适当地编码、解码处 理，也可通过与本发明同样的处理来实施，取得相同的效果。另外，在本实施方式中，虽将P图像说明为参照前方1个方向的图像来处理的图 像，将B图像说明为参照前方及后方2个方向的图像来处理的图像，但即便这些P图像参照 后方1个方向的图像来处理，B图像参照前方2个方向或后方2个方向的图像来处理，也可 取得同样的效果。另外，本发明实施方式中的显示顺序信息不只是限定于显示的顺序，也可是以实 际的显示时间、或伴随显示时间值的变大而值变大的预定图像为基准的各图像的相对顺序。实施方式2进而，通过将实现上述实施方式1所示的图像编码方法或图像解码方法的结构用 的程序记录在软盘等存储媒体中，可在独立的计算机系统中简单实施上述实施方式1中所 示的处理。图19是使用存储了上述实施方式1的图像编码方法或图像解码方法的软盘、并通 过计算机系统来实施的情况的说明图。图19(b)表示从软盘的正面看的外观、截面结构及软盘，图19(a)表示作为记录媒 体主体的软盘的物理格式的实例。软盘FD被内置于壳体F内，在该盘的表面，以同心圆状 从外周向内周形成多个轨道Tr，沿角度方向将各轨道分割成16个扇区Se。因此，在存储了 上述程序的软盘中，在上述软盘FD上分配的区域中，记录作为上述程序的图像编码方法。另外，图l9(c)表示在软盘FD上进行上述程序的记录再生用的结构。在将上述程 序记录在软盘FD中的情况下，从计算机系统Cs经软盘驱动器写入作为上述程序的图像编 码方法或图像解码方法。另外，在通过软盘内的程序在计算机系统中构筑上述动态图像编 码方法的情况下，通过软盘驱动器从软盘中读出程序，并传送到计算机系统。另外，在上述说明中，将软盘用作记录媒体来进行说明，但使用光盘也可同样进 行。另外，记录媒体不限于此，只要是IC卡、ROM盒带(ROM力力7卜)等能记录程序的媒 体，即可同样实施。进而，在此说明上述实施方式所示的动态图像编码方法或动态图像解码方法的应 用例和使用该方法的系统。图20是表示实现内容配送服务的内容提供系统exlOO的整体结构的框图。将通信服务的提供区域分割成期望的大小，并在各单元内分别设置作为固定无线站的基站 exl07-exll0。 该内容提供系统exlOO例如经因特网服务提供者exl02和电话网exl04、和基站 exl07-exll0，在因特网 exlOl 上连接着计算机 exl 11、PDA(personal digital assistant) exll2、摄像机exll3、便携电话exll4、带摄像机的便携电话exll5等各设备。但是，内容提供系统exlOO不限于图20的组合，也可使任意组合后进行连接。另 夕卜，各设备也可不经作为固定无线站的基站exl07-ex110来直接连接于电话网exl04上。摄像机exll3是数字视频摄像机等可拍摄动态图像的设备。另外，便携电话是 PDC (Personal Digital Communications)方式、CDMA (Code DivisionMultiple Access)方 式、W-CDMA(Wideband-Code Division Multiple Access)方式、或GSM(Global System for Mobile Communication) ^ ζWigSIPHS (Personal Handyphone System) ^ 哪个都无妨。另外，流放服务器(Streaming Server) exl03从摄像机exll3经基站exl09、电话 网exl04被连接，可使用摄像机exll3，基于用户发送的被编码处理后的数据进行现场配送 等。拍摄的数据的编码处理既可由摄像机exll3进行，也可由进行数据发送处理的服务器 等来进行。另外，由摄像机(也包括照相机)exll6拍摄的动态图像数据也可经计算机exlll 发送到流放服务器exl03。摄像机exll6是数码相机等可拍摄静止图像、动态图像的设备。 此时，动态图像数据的编码可由摄像机exll6来进行，也可由计算机exlll来进行，哪一个 都可以。另外，编码处理在计算机exlll或摄像机exll6具有的LSIexll7中进行处理。另 夕卜，也可将动态图像编码、解码用软件组装在作为可由计算机exlll等读取的记录媒体的 任一存储媒体(⑶-ROM、软盘、硬盘等)中。并且，也可由带摄像机的便携电话exll5来发送 动态图像数据。此时的动态图像数据是由便携电话exll5具有的LSI编码处理后的数据。在该内容提供系统exlOO中，用户与上述实施方式一样编码处理由摄像机exl 13、 摄像机exll6等拍摄的内容(例如拍摄了音乐现场的映像等)后，发送到流放服务器 exl03，另一方面，流放服务器exl03向有请求的客户机数据流配送上述内容数据。作为客 户机，有可解码上述编码处理后的数据的计算机exlll、PDAeX112、摄像机exll3、便携电话 exll4等。由此，内容提供系统exlOO是可由客户机接收被编码后的数据并进行再生，并且 在客户机中实时接收并解码、再生，由此也可实现个人播放的系统。也可以在构成该系统的各设备的编码、解码中使用上述各实施方式中所示的动态 图像编码装置或动态图像解码装置。作为一例，说明便携电话。图21是表示使用上述实施方式说明的动态图像编码方法和动态图像解码方法 的便携电话exll5的图。便携电话exll5具有与基站exllO之间收发电波用的天线 ex201 ；CXD摄像机等可拍摄映像、静止图像的摄像机部ex203 ；显示由摄像机部ex203拍 摄的映像、解码了由天线ex201接收的映像等的数据的液晶显示器等显示部ex202 ；由操 作键ex204群构成的主体部；进行声音输出用的扬声器等声音输出部ex208 ；进行声音输 入用的麦克风等声音输入部ex205 ；用于保存拍摄的动态图像或静止图像的数据、接收到 的邮件的数据、动态图像的数据或静止图像的数据等被编码后的数据或被解码后的数据 的记录媒体ex207 ；可将记录媒体ex207安装在便携电话exll5中用的插槽部ex206。记录媒体ex207在SD卡等塑料外壳内容纳作为可进行电改写或删除的非易失性存储器的 EEPROM(Electrically Erasableand Programmable Read Only Memory)之一禾中的闪存兀 件。下面，用图22来说明便携电话exll5。便携电话exll5经同步总线ex313将电源 电路部ex310、操作输入控制部ex304、图像编码部ex312、摄像机接口部ex303、LCD (Liquid Crystal Display)控制部ex302、图像解码部ex309、复用分离部ex308、记录再生部ex307、 调制解调电路部ex306及声音处理部ex305彼此连接到统一控制具备显示部ex202及操作 键ex204的主体部各部的主控制部ex311上。电源电路部ex310若通过用户的操作而在结束通话及电源键为导通状态时，通过 从电池组向各部供电，将带摄像机的数字便携电话exll5启动到可动作的状态。便携电话exl 15根据由CPU、ROM及RAM等构成的主控制部ex311的控制，通过声 音处理部ex305将声音通话模式时由声音输入部ex205集中的声音信号变换为数字声音数 据，由调制解调电路部ex306进行扩频处理，并由收发信电路部ex301实施数模变换处理及 频率变换处理后，经天线ex201发送。另外，便携电话机exll5放大声音通话模式时由天线 ex201接收到的接收数据，实施频率变换处理及模数变换处理，并由调制解调电路部ex306 进行反扩频处理，在由声音处理部ex305变换为模拟声音数据后，经声音输出部ex208将其 输出。 并且，在数据通信模式时发送电子邮件的情况下，通过主体部的操作键ex204的 操作而被输入的电子邮件的文本数据经操作输入控制部ex304送出到主控制部ex311。主 控制部ex311由调制解调电路部ex306对文本数据进行扩频处理，由收发信电路部ex301 实施数模变换处理及频率变换处理后，经天线ex201发送到基站exllO。在数据通信模式时发送图像数据的情况下，经摄像机接口部ex303将由摄像机部 ex203拍摄到的图像数据提供给图像编码部ex312。另外，在不发送图像数据的情况下，也 可经摄像机接口部ex303及IXD控制部ex302，将由摄像机部ex203拍摄到的图像数据直接 显示在显示部ex202上。图像编码部ex312是具备本申请中说明的动态图像编码装置的结构，通过按照用 于上述实施方式所示的动态图像编码装置的编码方法压缩编码从摄像机部ex203提供的 图像数据，来变换为编码图像数据，并将其发送到复用分离部ex308。另外，与此同时，便携 电话机exll5将由摄像机部ex203在拍摄当中由声音输入部ex205集中到的声音，经声音 处理部ex305作为数字的声音数据，送出到复用分离部ex308。复用分离部ex308按预定的方式多路复用从图像编码部ex312提供的编码图像 数据和从声音处理部ex305提供的声音数据，由调制解调电路部ex306对上述结果得到的 多路复用数据进行扩频处理，并由收发信电路部ex301实施数模变换处理及频率变换处理 后，经天线eX201发送。在数据通信模式时，在接收被链接到主页等上的动态图像文件的数据的情况下， 由调制解调电路部ex306反扩频处理经天线ex201从基站exllO接收到的接收数据，并将 其结果得到的多路复用数据发送到复用分离部ex308。另外，在解码经天线ex201接收到的多路复用数据中，复用分离部ex308通过分离 多路复用数据，分成图像数据的比特流与声音数据的比特流，经同步总线ex313将该编码图像数据提供给图像解码部ex309，同时，将该声音数据提供给声音处理部ex305。下面，图像解码部ex309是具备本申请中说明的动态图像解码装置的结构，通过 由对应于上述实施方式所示的编码方法的解码方法来解码图像数据的比特流，来生成再生 动态图像数据，并经IXD控制部ex302将其提供给显示部ex202，由此，显示例如被链接到主 页上的动态图像文件中所包含的动态图像数据。与此同时，声音处理部ex305在将声音数 据变换为模拟声音数据后，提供给声音输出部ex208，由此，再生例如被链接到主页上的动 态图像文件中包含的声音数据。另外，不限于上述系统实例，最近基于卫星、地面波的数字广播成为话题，如图23 所示，也可在数字广播用系统中装入上述实施方式的至少动态图像编码装置或动态图像解 码装置之一。具体而言，广播站ex409经由电波将映像信息的比特流传输到通信或广播卫 星ex410。接收到上述比特流的广播卫星ex410发射广播用电波，具有卫星广播接收设备 的家庭的天线ex406接收该电波，由电视(接收机)ex401或机顶盒(STB) ex407等装置来 解码比特流并将其再生。另外，也可在读取记录在作为记录媒体的⑶或DVD等存储媒体 ex402中的比特流、并解码的再生装置ex403中安装上述实施方式中所示的动态图像解码 装置。此时，将被再生的映像信号显示在监视器ex404中。另外，还考虑在连接于有线电视 用电缆ex405或卫星/地面波广播的天线ex406上的机顶盒ex407内安装动态图像解码装 置，由电视的监视器ex408来将其再生。此时，也可不是机顶盒 ，而在电视内装入动态图像 解码装置。另外，也可以是具有天线ex411的汽车ex412从卫星ex410或基站exl07等接 收信号，在汽车ex412具有的汽车导航系统ex413等的显示装置中再生动态图像。并且，也可由上述实施方式所示的动态图像编码装置编码图像信号并记录在记录 媒体中。作为具体例，有在DVD盘ex421中记录图像信号的DVD记录器、或在硬盘中记录图 像信号的盘记录器等的记录器ex420。另外，也可记录在SD卡ex422中。若记录器ex420 具备上述实施方式所示的动态图像解码装置，则可再生记录在DVD盘ex421或SD卡ex422 中的图像信号并由监视器ex408进行显示。另外，汽车导航系统ex413的结构考虑例如在图22所示结构中去除摄像机部 ex203与摄像机接口部ex303、图像编码部ex312的结构，在计算机exl 11或电视(接收机) ex401等中也作同样考虑。另外，上述便携电话exll4等的终端除具有编码器、解码器双方的收发信型的终 端外，还考虑仅有编码器的发送终端、仅有解码器的接收终端等3种安装形式。这样，可将上述实施方式所示的动态图像编码方法或动态图像解码方法用于上述 任一设备、系统中，从而可得到上述实施方式中说明的效果。另外，本发明不限于上述实施方式，在不脱离本发明的范围下，可进行各种变形或 修正。产业上的可利用性如上所述，根据本发明的动态图像编码方法和动态图像解码方法，例如可作为在 便携电话、DVD装置和个人计算机等中编码构成动态图像的各图像从而生成编码串、或解码 所生成的编码串用的方法。
权利要求
一种动态画像编码方法，以时间性直接方式对构成动态画像的图像进行编码，其特征在于，包含以下步骤缩放判定步骤，在处理对象块参照的2个图像，即包含位于与所述处理对象块相同的位置上的同位置块的图像和作为所述同位置块的运动矢量的参照运动矢量所参照的参照图像各自的显示顺序信息相同的情况下，判定为不能进行所述参照运动矢量的缩放处理；以及运动补偿步骤，在所述缩放判定步骤中判定为不能进行所述缩放处理的情况下，不进行所述缩放处理而使用值为0的运动矢量进行所述处理对象块的运动补偿，在所述缩放判定步骤中没有判定为不能进行所述缩放处理的情况下，使用通过进行所述参照运动矢量的缩放处理生成的运动矢量进行所述处理对象块的运动补偿。
2.根据权利要求1所述的动态画像编码方法，其特征在于，在所述缩放判定步骤中，在包含所述同位置块的图像和所述参照图像是具有相同显示 顺序信息的顶部场与底部场的情况下，判定为不能进行所述缩放处理。
3.一种动态画像解码方法，以时间性直接方式对构成动态画像的图像进行解码，其特 征在于，包含以下步骤缩放判定步骤，在处理对象块参照的2个图像，即包含位于与所述处理对象块相同的 位置上的同位置块的图像和作为所述同位置块的运动矢量的参照运动矢量所参照的参照 图像各自的显示顺序信息相同的情况下，判定为不能进行所述参照运动矢量的缩放处理； 以及运动补偿步骤，在所述缩放判定步骤中判定为不能进行所述缩放处理的情况下，不进 行所述缩放处理而使用值为0的运动矢量进行所述处理对象块的运动补偿，在所述缩放判 定步骤中没有判定为不能进行所述缩放处理的情况下，使用通过进行所述参照运动矢量的 缩放处理生成的运动矢量进行所述处理对象块的运动补偿。
4.根据权利要求3所述的动态画像解码方法，其特征在于，在所述缩放判定步骤中，在包含所述同位置块的图像和所述参照图像是具有相同显示 顺序信息的顶部场与底部场的情况下判定为不能进行所述缩放处理。
5.一种动态画像编码装置，以时间性直接方式对构成动态画像的图像进行编码，其特 征在于，具备缩放判定部，在处理对象块参照的2个图像，即包含位于与所述处理对象块相同的位 置上的同位置块的图像和作为所述同位置块的运动矢量的参照运动矢量所参照的参照图 像各自的显示顺序信息相同的情况下，判定为不能进行所述参照运动矢量的缩放处理；以 及运动补偿部，在所述缩放判定部判定为不能进行所述缩放处理的情况下，不进行所述 缩放处理而使用值为0的运动矢量进行所述处理对象块的运动补偿，在所述缩放判定部没 有判定为不能进行所述缩放处理的情况下，使用通过进行所述参照运动矢量的缩放处理生 成的运动矢量进行所述处理对象块的运动补偿。
6.一种动态画像解码装置，以时间性直接方式对构成动态画像的图像进行解码，其特 征在于，具备缩放判定部，在处理对象块参照的2个图像，即包含位于与所述处理对象块相同的位置上的同位置块的图像和作为所述同位置块的运动矢量的参照运动矢量所参照的参照图像各自的显示顺序信息相同的情况下，判定为不能进行所述参照运动矢量的缩放处理；以 及运动补偿部，在所述缩放判定部判定为不能进行所述缩放处理的情况下，不进行所述 缩放处理而使用值为O的运动矢量进行所述处理对象块的运动补偿，在所述缩放判定部没 有判定为不能进行所述缩放处理的情况下，使用通过进行所述参照运动矢量的缩放处理生 成的运动矢量进行所述处理对象块的运动补偿。
全文摘要
本发明提供一种动态画像编码装置及方法和动态画像解码装置及方法。动态画像编码装置具备运动补偿编码部(107)，决定编码对象块的编码方式，根据该编码方式来生成预测图像数据；和直接方式可否判定部(109)，在该运动补偿编码部(107)决定的编码方式是时间性直接方式的情况下，判定可否进行缩放处理，在判定为不能进行缩放处理的情况下，使用其它编码方式、或不进行缩放处理来进行运动补偿。
文档编号H04N7/50GK101873488SQ20101014322
公开日2010年10月27日 申请日期2003年10月6日 优先权日2002年11月1日
发明者*野真也, 安倍清史, 近藤敏志 申请人:松下电器产业株式会社