动态图像预测方法、编码方法及装置、解码方法及装置的制作方法

专利名称：动态图像预测方法、编码方法及装置、解码方法及装置的制作方法
动态图像预测方法、编码方法及装置、解码方法及装置本申请是申请日为2003年9月4日，申请号为03802113.7，发明名 称为动态图像预测方法、编码方法及装置、解码方法及装置的申请的分案申请。发明领域本发明涉及动态图像中像素值的预测方法，特别是涉及根据2幅图像 (picture)进行时间上的换算(scaling)处理的预测方法等。
背景技术：
在动态图像编码中， 一般利用动态图像的空间方向及时间方向的冗余 性进行信息量的压縮。这里作为利用时间方向的冗余性的方法，使用图像 间预测编码。在图像间预测编码中，在对某幅图像进行编码时，以时间上 位于前方或后方的某幅图像作为参照图像。然后，检测出该参照图像的移 动量，除去进行了移动补偿的图像和编码对象的图像之间的差分值在空间 方向上的冗余度，由此进行信息量的压縮。这种动态图像编码方式将不进行图像间预测编码，即进行图像内编码 的图像称作I图像。这里图像的意思是表示包含帧及半帧两者在内的1个 编码单位。并且，将参照巳经处理完毕的1张图像进行图像间预测编码的 图像称作P图像，将参照已经处理完毕的2张图像进行图像间预测编码的 图像称作B图像。但是，B图像通过以2张图像为基础进行换算处理(根据图像的间隔 进行比例计算)，由此预测像素值(也叫做加权预测)或计算移动矢量。图 像的间隔有例如图像拥有的时间信息的差，分配给每幅图像的图像编号的 差，表示图像的显示顺序的信息的差等。图1表示以2张参照图像为基础进行加权预测，由此计算出B图像的 预测像素值的过程的现有技术的一个例子。如此图所示，B图像的预测像素值P由使用了 2张参照图像块1及2的像素值P0及Pl进行的加权加算 决定。式中的加权系数a及b例如都是1/2。
图2及图3表示的是以2张参照图像(块1及2)为基础进行换算， 由此计算出B图像(编码对象块)的预测像素值的过程的其他例子(参照 例如Joint Video Team (JVT) of IS0/IEC and ITU — T VCEG Joint Committee Draft 2002 —05 —10、 JVT—C167 11,)。这里，图2表示的是 B图像(编码对象块)参照前方的图像(块l)和后方的图像(块2)时的 例子；图3表示的是B图像(编码对象块)参照2个前方的图像(块1及 块2)时的例子。图中的W0及W1是换算处理(这里是进行像素值的加权 预测)中的加权系数，分别是乘以块l的像素值的加权系数，和乘以块2 的像素值的加权系数，用以下的公式表示。
W0= (128X (Tl—T)) / (Tl—TO) (式1)
Wl= (128X (T—TO)) / (T1—T0) (式2) 这里，T、 T0、 Tl分别表示附加到编码对象块、前方向的参照块l、后 方向的参照块的时间(记时标记等)。
此时，对象块的预测像素值P由以下的公式算出。 P= (P0XW0 + P1XW1 + 64) 7 (式3) 这里，[ ]是指向右的位移。即，[ 7]表示[+ (2的7次方)]的意思。 所述式3是像素值表示亮度信号的值的情况，在像素值表示色差的情况下， 用以下的公式表示。
P = 128+ ((PO — 128) XW0+ (Pl — 128) XW1 + 64) 7 (式4) 图4表示使用了这些公式的具体的计算顺序的流程图。在获取时刻T、 Tl、 T0之后(步骤S401)，判断时刻T1与T0是否相等，即式1及式2中 所示加权系数W0及W1的式中的分母是否为0 (步骤S402)，如果为0 (步 骤S402中为Yes)，则设定加权系数W0及Wl为128 (步骤S403),如果不 为0 (步骤S402中为N0)，则由所述式1及式2计算出加权系数W0及Wl (步骤'S404)，最后使用这些加权系数W0及Wl、参照块1的像素值P0及 参照块2的像素值Pl，根据所述式3或式4计算出编码对象块的预测像素 值P (步骤S405)。这样，通过使用2个参照块的像素值进行时间上的换算， 计算出编码对象块的预测像素值。但是，在这样的时间上的换算处理中，如所述式1及式2所示，为了
计算出加权系数必须进行餘法运算，与乘法运算相比，除法运算所需的资 源非常大，所以一般事先计算除数的倒数并存储在查阅表等内，用该倒数 进行乘法运算代替进行除法运算。
虽然在图1、图2及图3中块1及块2都设定为P图像，但也可以设 定为I图像或B图像，并不只局限于P图像。
但是，在使用预先计算的倒数的方法中，在计算加权系数的公式中除 数的种类很多的情况下，预先计算的倒数的种类也随之增多。例如，式l、 式2所示T0及Tl所得值分别为30种的话，单纯计算900种的除法运算所 需的倒数计算的运算量就会变得非常大。而且，还存在有必要增大存储倒 数的査阅表等存储容量的问题。
并且，所述式1及式2中的分母(加权系数的除数)越小的话，加权 系数(商)就会变得非常大，例如，会出现预测像素值超过能够用16位表 示的值的问题。因此，例如会出现有必要进行32位的运算的可能，且运算 中增加必要的运算精度(有效运算位数)，所以会导致运算装置的规模变大。

发明内容
根据本发明的第1技术方案，提供一种动态图像编码方法，使用2张参 照图像的像素值生成编码对象块的预测像素值，并使用该预测像素值对所
述编码对象块进行预测编码，其特征在于，包括以下步骤
计算与包含所述编码对象块的对象图像和第1参照图像的间隔相对应 的第1参数的第1参数计算步骤；
计算与所述第1参照图像和第2参照图像的间隔相对应的第2参数的 第2参数计算步骤；
判断根据所述第1参数及所述第2参数计算出来的第3参数的值是否 包含在预先设定的预定范围内的判断步骤；
在所述判断步骤判断为所述第3参数的值包含在所述预定范围内的情 况下，通过使用利用所述第1参数及所述第2参数计算出来的加权系数， 对所述第1参照图像及第2参照图像的像素值进行换算，由此计算出所述 编码对象块的预测像素值，并且，在所述判断步骤判断为所述第3参数的值不包含在所述预定范围内的 情况下，通过使用预定值的加权系数，对所述第1参照图像及第2参照图 像的像素值进行换算，由此计算出所述编码对象块的预测像素值的预测像 素值生成步骤；由在所述预测像素值生成步骤中算出的预测像素值和所述编码对象块 的像素值计算出差分像素值的差分像素值生成步骤；和将所述差分像素值进行编码的预测残差编码步骤。根据本发明的第2技术方案，提供一种动态图像编码装置，使用2张参 照图像的像素值生成编码对象块的预测像素值，并使用该预测像素值对所 述编码对象块进行预测编码，其特征在于，包括计算与包含所述编码对象块的对象图像和第1参照图像的间隔相对应 的第1参数的第1参数计算单元；计算与所述第1参照图像和第2参照图像的间隔相对应的第2参数的 第2参数计算单元；判断根据所述第1参数及所述第2参数计算出来的第3参数的值是否 包含在预先设定的预定范围内的判断单元；在所述判断单元判断为所述第3参数的值包含在所述预定范围内的情 况下，通过使用利用所述第1参数及所述第2参数计算出来的加权系数， 对所述第1参照图像及第2参照图像的像素值进行换算，由此计算出所述 编码对象块的预测像素值，并且，在所述判断单元判断为所述第3参数的值不包含在所述预定范围内的 情况下，使用预定值的加权系数，对所述第1参照图像及第2参照图像的 像素值进行换算，由此计算出所述编码对象块的预测像素值的预测像素值 生成单元；由在所述预测像素值生成单元中算出的预测像素值和所述编码对象块 的像素值计算出差分像素值的差分像素值生成单元；和将所述差分像素值进行编码的预测残差编码单元。 发明效果如以上所述，本发明的动态图像预测方法、动态图像编码方法及动态 图像解码方法作为用例如移动电话机、DVD装置及微型计算机等生成预测像素值、或者编码构成动态图像的各幅图像并生成代码串、或者解码生成 的代码串的方法有用。


图1表示通过根据2张参照图像进行加权系数预测，计算B图像的 预测像素值过程的现有技术的一个例子的图
图2表示B图像(编码对象块)参照前方向的图像(块l)和后方向 的图像(块2)情况下的例子的图
图3表示B图像(编码对象块)参照2张前方向的图像(块1及块2)
的情况下的例子的图
图4表示历来的加权预测过程的流程图
图5表示使用了本发明的动态图像预测方法的动态图像编码装置的 一个实施形态的构成的方框图
图6表示图5中由移动补偿编码单元进行的加权预测的处理过程的 流程图
图7表示能有效地削减用来避免加权系数计算中的除法运算所必需
的査阅表的大小的处理过程的流程图
图8表示图7中判断处理(步骤S70)的具体例子的流程图
图9表示按预定的有效位数进行加权预测的处理过程的流程图
图10表示图9中判断处理(步骤S90)的具体例子的流程图
图11表示使用了本发明的动态图像预测方法的动态图像解码装置的
一个实施形态的构成的方框图
图12使用存储有为实现实施形态1的动态图像编码装置或实施形态
2的动态图像解码装置的构成的程序的软盘，通过计算机系统实施的情况
下的说明图
图13表示实现内容发送服务的内容供给系统的全体构成的方框图 图14表示使用了本发明的动态图像预测方法、动态图像编码装置及 图像解码装置的移动电话机的示例图
图15表示本发明的移动电话机的构成的方框图
图16表示本发明的数字播放用系统的全体构成的方框图具体实施形态
下面参照附图详细说明本发明的动态图像的预测方法。 (实施形态l)
图5为表示使用了本发明的动态图像预测方法的动态图像编码装置的 一个实施形态的构成的方框图。
图像编码装置包括图像存储器101、预测残差编码单元102、代码串生 成单元103、预测残差解码单元104、图像存储器105、移动矢量检测单元 106、移动补偿编码单元107、移动矢量储存单元108、差分运算器110、 加法运算器111及开关U2、 113。
图像存储器101存储有按显示时间顺序并以图像单位输入的动态图 像。移动矢量检测单元106将编码完毕的解码图像数据作为参照图像使用， 并进行表示在图像内的探索区域中预测为最适合位置的移动矢量的检测。
移动补偿编码单元107使用由移动矢量检测单元106检测出来的移动 矢量决定块(block)的编码模式，并根据此编码模式生成预测图像数据(预 测像素值)。例如，在使用2张参照图像的图像间预测编码模式下，移动补 偿编码单元107使用由移动矢量检测单元106检测出来的移动矢量，从2 张参照图像中求出2个参照块的像素值，并生成预测图像数据。g卩，通过 本发明的特征的换算处理进行像素值的加权预测，并由2个参照块的像素 值求出处理对象块的像素值。并且，移动补偿编码单元107拥有将与第1 参照图像及第2参照图像之间的间隔相对应的值(限制在预定范围内的值) 与其倒数对应起来并存储的査阅表，参照此查阅表进行换算处理。
移动矢量储存单元108存储由移动矢量检测单元106检测出来的移动 矢量。存储在该移动矢量储存单元108中的移动矢量，在例如对参照图像 拥有的移动矢量进行换算处理，并预测处理对象块的移动矢量的时间上的 直接模式时被参照。差分运算器110对从图像存储器101中读出的图像数 据和从移动补偿编码单元107中输入的预测图像数据之间的差分进行运 算，并生成预测残差图像数据。
预测残差编码单元102对输入的预测残差图像进行频率变换及量化等 编码处理，并生成编码数据。代码串生成单元103对输入编码数据进行可变长编码等处理，并通过附加从移动补偿编码单元107输入的移动矢量的信息、及编码模式的信息等生成代码串。预测残差解码单元104对输入的编码数据进行逆量化和逆频率变换等 解码处理，并生成解码差分图像数据。加法运算器lll将由预测残差解码 单元104输入的解码差分图像数据和由移动补偿编码单元107输入的预测 图像数据进行相加运算，生成解码图像数据。图像存储器105存储生成的 解码图像数据。下面对以上构成的动态图像编码装置的特征动作进行说明。这里作为 一个例子，将参照图2及图3，对由移动补偿编码单元107生成B图像的 预测像素值，即加权预测进行说明。移动补偿编码单元107根据以下的公式计算编码对象块的预测像素值。P二P0十((PI—P0) XBWD)》LWD (式5) 这里BWD及LWD是通过以下的式6 式9特定的值。 BWD0= ((T—T0) <<7) / (T1—T0) (式6) 这里["]的意思是指向左方向的位移。S卩，["7]表示的是[X (2的7 次方)]。LWD0=Ceil (1og2 (1+ (abs (BWD0)7))) (式7) 这里函数Ceil (x)是将x取x以上且离x最近的整数的函数。函数 abs (x)是表示返回x的绝对值的函数。 BWD=BWD0 LWD0 (式8) LWD = 7—LWD0 (式9)如式7所示，LWD0表示的是abs (BWDO) 7的整数值的位数。 如以上各式所示，在本实施形态中，像素值若以8位表现的话，上述 式6、式7、式8、式9的运算全部为16位的运算。因此，保证上述式5 所示的换算处理在16位的有效位数的范围内进行。gp，通过上述式8对加 权系数进行限制，使上述式5中的乘法运算不超过16位的有效位数。由此， B图像的加权预测一般在16位的有效位数内实现。并且，为了削减处理量， 也可以预先计算好BWD及LWD并存储在位于图像或片段(slice)的开始时 刻的查阅表等内。在本实施形态中，为了削减计算加权系数的计算次数，除上数限制外， 也可以使用其他的限制。这种限制可以是，在块l的参照图像不是第2参 照表(listl)中的最初参照图像的情况下，使用默认的加权系数。这里第
2参照表中的最初的参照图像是第2参照表附加中索引为0的参照图像。
这里，参照表是为确定参照图像用的相对的编号(索引)歹U，为了确 定B图像参照的2张图像，使用第1参照表和第2参照表。第1参照表是 第l个移动矢量的参照表，通常用于前方预测，第2参照表是第2个移动 矢量的参照表，通常用于后方预测。索引通常将小的编号分配给与对象图 像和像素相关大的参照图像，最小的编号是0。并且，加权系数的默认值 最好是BWD二1， LWD = 1。但是，在LWD0取比7大的值的情况下，也可以 设定不同的默认值，如BWD二1、 LWD二0。
图6为表示由移动补偿编码单元107进行加权预测的处理过程的流程 图。首先，获取P0、 Pl、 T、 T0、 Tl (S501)，判断块2所属的参照图像是 否是第2参照表中的最初的参照图像(g卩，listl中的索引O)(步骤S502)。
当结果为块2所属的参照图像不是第2参照表中最初的参照图像时(步 骤S502中为No)，加权系数被设定为第1的默认值(步骤S504)。这里"加 权系数被设定为第1的默认值"的意思是BWD^1， LWD=1。
而当块2所属的参照图像是参照表中的最初的参照图像时(步骤S502 中为Yes)，则判断时刻Tl和TO是否相等(步骤S503)。如果结果为Tl 和TO相等(步骤S503中为Yes)，则加权系数被设定为第1的默认值(步 骤S504);当T1和T0不相等时(步骤S503中为No)，则根据上述式6及 式7计算出BWDO及LWDO (步骤S505)。
接下来，判断LWD0是否比7大(步骤S506)，如果比7大(步骤S506 中Yes),则加权系数被设定为第2的默认值(步骤S507)。这里"加权系 数被设定为第2的默认值"的意味着BWD = 1， LWD = 0。而当LWDO比7小 时(步骤S506中No)，根据上述式8及式9计算出BWD及LWD(步骤S508)。
之后，使用经以上步骤决定的BWD及LWD，根据上述式5计算出编码 对象块的预测像素值P (步骤S509)。
这样，上述限制(步骤S502、 S503、 S504、 S506、 S507),即在满足 一定条件的情况下将加权系数固定为预定值，因此计算的次数及加权系数用的査阅表必需的存储量与历来相比，都极小。并且，必要的除法运算的 次数与存储在査阅表中的加权系数的个数减l的值相等。这是因为查阅表 项目的残余部分用于默认值的加权系数。即，只有一部分的加权系数通过 计算求出。另外，以上的加权预测不仅在像素值表示亮度的情况下成立，在表示 色差的情况下也成立。例如，对于B图像中色差的块的加权系数可以在上述式5中使用与式3相同的128的偏移(才7七'7卜)计算出色差的预测 值。由此，对色差的像素值进行的换算与历来换算相比，也大大削减了计 算量。如以上所述，通过本实施形态中的动态图像编码装置，使用2个参照 块的换算处理提高了效率。而且，作为削减计算量的效果，不仅可以用于 动态图像编码装置，也可以用于动态图像解码装置。虽然在本实施形态中描述的是同时实现为避免加权系数计算中的除法 运算削减必需的查阅表的大小，和在预定的有效位数中进行加权预测的方 法，但本发明未必就局限于同时发挥两者效果的实现方法。下面说明分别 单独实现削减查阅表的大小和在预定的有效位数中进行加权预测的方法。并且，虽然上文所述是通过位移在预定的有效位数中进行加权预测的 方法，但对于BWD及LWD也可以使用固定值。通过使BWD及LWD为固定值， 虽然加权系数会出现超过预定的有效位数的情况，但在这种情况下如以下 说明的那样使用预定的加权系数。图7为表示有效地削减为避免加权系数计算中的除法运算而必需的査 阅表的大小的处理过程的流程图。首先，在进行图2或图3所示的B图像的加权预测之际，移动补偿编 码单元107判断是否有必要生成与时刻T、 Tl、 T0的值相对应的预测值(步 骤S70)。如果结果判断为有必要(步骤S70中为Yes)，则与通常一样根据 上述式1 式3生成与这些时刻T、 Tl、 TO相对应的预测值(步骤S72)。 而在判断没有必要的情况下(步骤S70中为No)，则分别将两个加权系数 W0及W1设定为1/2，根据上述式3生成预测值(步骤S71)。图8为表示图7中的判断处理(步骤S70)的具体例子的流程图。在图8 (a)中，移动补偿编码单元107根据时刻Tl的索引(与时刻Tl对应的参照图像的参照表中的索引)是否为0 (歩骤S80)来对是使用 预定的加权系数(如，W0=Wl = l/2)生成预测值(步骤S81)，还是根据 上述式1 式3用时刻T、 Tl、 TO生成预测值(步骤S82)进行切换。由此， 只在例如时刻T1的索引为0的情况下才有必要计算依存于时间关系的加权 系数，因此只将与这种情况相对应的加权系数存储在查阅表中，因此与历 来将所有情况下的加权系数都存储起来相比，削减了查阅表的大小。
在图8 (b)中，移动补偿编码单元107根据时刻Tl的索引(与时刻 Tl对应的参照图像的参照表中的索引)是否在预定值(如，2)以下(步 骤S85)来对是使用预定的加权系数(如，W0二W1二1/2)生成预测值(步 骤S86)，还是根据上述式1 式3使用时刻T、 Tl、 TO生成预测值(步骤 S87)进行切换。由此，只在例如参照图像的索引在预定值以下的情况下有 必要计算依存于时间关系加权系数，所以只将与这种情况相对应的加权系 数存储在査阅表中，与历来将所有情况下的加权系数都存储起来相比，削 减了查阅表的大小。
图9为表示按预定的有效位数进行加权预测的处理过程的流程图。 首先，在进行图2或图3所示的B图像的加权预测之际，移动补偿编 码单元107判断是否可能与时刻T、 Tl、 TO的值相对应用预定的有效位数 生成预测值(步骤S90)。如果判断结果为可能(步骤S90中为Yes)，则与 通常一样，根据上述式1 式3生成与这些时刻T、 Tl、 TO相对应的预测 值(步骤S92)。而如果判断结果为不可能(步骤S90中为No)，则分别将 两个加权系数W0及W1设定为1/2，根据上述式3生成预测值(步骤S91)。 图10为表示图9中判断处理(步骤S90)的具体例子的流程图。 图10 (a)为表示像素值的加权预测中的具体例子的示例图。这里， 移动补偿编码单元107根据时刻Tl与时刻T的差(T1—T)是否在规定范 围(例如，一2 2)内(步骤SIOO)来对是使用预定的加权系数(如，W0 =Wl-l/2)生成预测值(步骤SIOI)，还是根据上述式1 式3使用时刻 T、 Tl、 TO生成预测值(步骤S102)进行切换。由此，在预测像素值的生 成中，在加权系数超过一定值的情况下，即在出现无法用一定的位数表现 的事态的情况下，由于加权系数被设定为预定值(由一定的位数表现的值)， 所以通常能够确保由一定的有效位数进行加权预测。图10 (b)为表示像素值的加权预测中的具体例子的示例图。这里，
移动补偿编码单元107根据时刻Tl与时刻TO的差(T1一T0)是否在规定 范围(例如，一2 2)内(步骤S105)来对是使用预定的加权系数(如， 冊二W1二1/2)生成预测值(步骤S106)，还是根据上述式1 式3使用时 刻T、 Tl、 TO生成预测值(步骤S107)进行切换。由此，在预测像素值的 生成中，在加权系数超过一定值的情况下，即在出现无法用一定的位数表 现的事态的情况下，由于加权系数被设定为预定值(由一定的位数表现的 值)，所以通常能够确保由一定的有效位数进行加权预测。 (实施形态2)
下面对使用了本发明的动态图像预测方法的动态图像解码装置进行说明。
图11为表示使用了本发明的动态图像预测方法的动态图像解码装置 的一个实施形态的构成的方框图。
动态图像解码装置包括代码串解析单元201、预测残差解码单元202、 图像存储器203、移动补偿解码单元204、移动矢量储存单元205、加法运 算器207及开关208。
代码串解析单元201用输入的代码串提取编码模式的信息及编码时所 用的移动矢量的信息等各种数据。预测残差解码单元202对输入的预测残 差编码数据进行解码，并生成预测残差图像数据。
移动补偿解码单元204根据编码时的编码模式的信息及移动矢量的信 息等生成移动补偿图像数据。例如，在以使用了2张参照图像的图像间预 测编码模式进行编码的情况下，移动补偿解码单元204使用代码串解析单 元201提取出的移动矢量，从2张参照图像中求出2个参照块的像素值， 并生成移动补偿图像数据。即，通过本发明的特征的换算处理进行像素值 的加权预测，并由2个参照块的像素值求出处理对象块的像素值。并且， 移动补偿解码单元204拥有将与第1参照图像及第2参照图像之间的间隔 相对应的值与其倒数对应起来并存储的查阅表，参照此査阅表进行换算处 理。
移动矢量储存单元205存储有由代码串解析单元201中提取出来的移 动矢量。存储在该移动矢量储存单元205中的移动矢量，在例如解码对象块用时间上的直接模式进行编码的情况下被参照。加法运算器207将由预 测残差解码单元202输入的预测残差编码数据和由移动补偿解码单元204 输入的移动补偿图像数据进行相加运算，生成解码图像数据。图像存储器 203存储生成的解码图像数据。下面对由以上所述构成的动态图像解码装置的特征动作，即由移动补 偿解码单元204进行像素值的加权预测进行说明。移动补偿解码单元204基本上拥有与动态图像编码装置所具备的移动 补偿编码单元107相同的功能。例如，在通过换算处理进行像素值的加权 预测中，如图6所示，根据时刻Tl的索引值或时刻Tl和时刻TO的一致性 (步骤S501 S503)，给BWD及LWD设定默认值(步骤S504、 S507)，或者 根据上述式6 式9确定BWD及LWD (步骤S508),并用确定的BWD及LWD 根据上述式5计算编码对象块P的预测像素值(步骤S509)。如图7及图8所示，移动补偿解码单元204也可以只进行有效削减为 避免加权系数计算中的除法运算所必要的查阅表大小的处理。SP，移动补 偿解码单元204，在进行图2或图3所示的B图像的加权预测之际，判断 是否有必要生成与时刻T、 Tl、 TO的值相对应的预测值(步骤S70)。如果 判断结果为必要(步骤S70中为Yes)，则与通常一样根据上述式1 式3 生成与这些时刻T、 Tl、 TO相对应的预测值(步骤S72)。而在判断结果为 没有必要的情况下(步骤S70中No)，分别将两个加权系数WO及Wl设定 为1/2，根据上述式3生成预测值(步骤S71)。由此，只在有必要生成与时刻T、 Tl、 TO对应的预测值的情况下，有 必要计算依存于时间关系的加权系数，只将与这种情况相对应的加权系数 存储在査阅表中，因此与历来将所有情况下的加权系数都存储起来相比， 削减了査阅表的大小。同样，移动补偿解码单元204也可以，如图9及图IO所示在预定的有 效位数中进行加权预测处理。即，移动补偿解码单元204在进行图2或图 3所示的B图像的加权预测之际，判断是否可能与时刻T、 Tl、 TO的值相 对应，用预定的有效位数生成预测值(步骤S90)。在判断结果为可能的情 况下(步骤S90中为Yes)，与通常一样根据上述式1 式3生成与那些时 刻T、 Tl、 TO相对应的预测值(步骤S92)。而在判断结果为不可能的情况下(步骤S90中为No)，则分别将两个加权系数W0及W1设定为1/2，根据 上述式3生成预测值(步骤S91)。
由此，在使用时刻T、 Tl、 TO无法用预定的有效位数中进行预测的情 况下，即在加权系数超过一定值，出现无法用一定的位数表现的事态的情 况下，由于加权系数被设定为预定值(由一定的位数表现的值)，所以通常 能够确保由一定的有效位数进行加权预测。
(实施形态3)
下面对用其他形态实现本发明的动态图像预测方法、动态图像编码装 置及动态图像解码装置的例子进行说明。
通过将实现上述各实施形态所描述的动态图像编码装置或动态图像解 码装置的构成的程序存储在软盘等存储媒体中，能够使上述各实施形态中 所示的处理在独立的计算机系统中简单地得以实施。
图12为使用存储有用来实现实施形态1的动态图像编码装置或实施形 态2的动态图像解码装置的构成的程序的软盘，通过计算机系统实施的情 况下的说明图。
图12 (b)表示从软盘正面来看的外观、剖面构造及软盘；图12 (a) 表示的是记录媒体本体的软盘的物理格式的例子。软盘FD内藏在外盒F 内，在该盘的表面上，从外周向内周形成有多个同心圆状的磁迹Tr，各个 磁迹沿角度方向分割为16个扇区Se。因此，存储有上述程序的软盘在被 分配给上述软盘FD上的领域中记录有作为上述程序的动态图像编码装置。
并且，图12 (c)表示再生记录在软盘FD上的程序的结构。在将上述 程序记录到软盘FD中的情况下，通过软盘驱动装置将作为上述程序的动态 图像编码装置或动态图像解码装置从计算机系统Cs上写入软盘。并且，在 用软盘内的程序将上述动态图像编码装置构筑到计算机系统中的情况下， 通过软盘驱动装置从软盘中读取程序，并传送到计算机系统中。
另外，虽然在上述说明中是用软盘作为记录媒体进行说明的，但同样 也可以使用光盘作为记录媒体。并且，记录媒体不局限于此，IC卡、ROM 盒等只要是能够记录程序的媒体都同样可以实施。
这里再对上述实施形态中叙述的动态图像预测方法、动态图像编码装置、动态图像解码装置的应用例以及使用了以上各项的系统进行说明。图13为表示实现内容发送服务的内容供给系统exl00的全体构成的方 框图。将通信服务的提供区域分割成所需大小，在各个单元中分别设置有 作为固定无线局的基站exl07 ex110。该内容供给系统ex100例如通过因特网服务器exl02、电话网exl04、 基站exl07 ex110将计算机exlll、 PDA (Personal Digital Assistant, 个人数字助理)exl12、摄像机exl13、移动电话机ex114、带摄像头的移 动电话机exll5等各仪器连接到因特网exl01中。但是，内容供给系统exlOO并不局限于图13所示的组合，采取任意组 合进行连接都可以。并且，也可以不通过固定无线局的基站exl07 ex110 直接将各仪器与电话网exl04连接。摄像机exl13为数字摄象机等能够进行动态图像摄影的仪器。并且， 移动电话机也可以是PDC (Personal Digital Communications,个人数字 通讯)方式、CDMA (Code Division Multiple Access,码分复用访问)方 式、W—CDMA (Wideband —Code Division Multiple Access,宽频码分复 用访问)方式、或是GSM (Global System for Mobile Communications, 全球移动通信系统)方式的移动电话机，或者PHS (Personal Handyphone System,个人手持电话系统)等任何一种。并且，流式(stream)服务器exl03可以通过基站exl09、电话网exl04 与摄像机exl13连接，可以根据用户使用摄像机exl13发送的经过编码处 理的数据进行实况发送。摄影数据的编码处理可以在摄像机exl13中进行， 也可以在进行数据发送处理的服务器中进行。并且，相机exll6拍摄的动 态图像数据也可以通过计算机exlll发送到流式服务器exl03中。相机 exll6是数字相机等能够拍摄静止图像、动态图像的仪器。在这种情况下， 动态图像数据的编码既可以在相机exl16中进行，也可以在计算机exlll 中进行。并且，编码处理在计算机exlll及摄像机116所拥有的LSIex117 中进行。而且，图像编码，解码用的软件可以安装在能够通过计算机exlll 等读取的记录媒体的任何一种存储媒体(CD—R0M、软盘、硬盘等)中。而 且，也可以通过带摄像头的移动电话机exll5发送动态图像数据。此时的 动态图像数据是在移动电话机exl15所拥有的L SI中经过编码处理的数据。
此内容供给系统ex100不仅与上述实施形态一样将用户通过摄像机 exl13、相机exll6等拍摄的内容(如，拍摄音乐实况等图像)进行编码处 理并发送到流式服务器exl03中，同时流式服务器exl03将上述内容数据 流动发送给有要求的委托对象。委托对象可以是能够对上述经过编码处理 的数据进行解码的计算机exlll、PDAexll2、摄像机113、移动电话机exl14 等。这样一来，内容供给系统exlOO能够将经过编码的数据在委托对象中 接收并再生，进而通过在委托对象中实时接收并解码之后再生，从而能够 实现个人播放。
构成该系统的各仪器的编码、解码使用上述各实施形态中叙述的动态 图像编码装置或动态图像解码装置就可以。 下面以移动电话机为例进行说明。
图14为表示使用了上述实施形态中说明过的动态图像预测方法、动态 图像编码装置及图像解码装置的移动电话机exll5的图。移动电话机ex115 包括与基站exl10之间发送接收电波的天线ex201、 CCD相机等能够拍摄影 像、静止图像的相机单元ex203、显示相机单元ex203拍摄的图像、天线 ex201接收的图像经过解码后的数据的液晶显示屏等显示单元ex202、由操 作键ex204群构成的本体部、用于声音输出的扬声器等声音输出单元 ex208、用于声音输入的麦克风等声音输入单元ex205、用于保存拍摄的动 态图像或静止图像的数据、接收的电子邮件的数据、动态图像数据或静止 图像数据等、编码数据或解码数据的记录媒体ex207、能够在移动电话机 exl15上安装记录媒体ex207用的开口部ex206。记录媒体ex207是将能够 电改写及删除的非易失性存储器EEPROM (Electrically Erasable and Programmable Read Only Memory电可擦除只读存储器)的一种闪存元件 保存在SD卡等塑料盒内的单元。
用图15对移动电话机exl 15进行说明。移动电话机exl 15使电源电路 ex310、操作输入控制单元ex304、图像编码单元ex312、摄像机接口部 ex303、 LCD (Liquid Crystal Display,液晶显示屏)控制单元ex302、 图像解码单元ex309、复用分离单元ex308、记录再生单元ex307、调制解 调电路ex306及声音处理单元ex305通过同步总线ex313相互连接到对具备显示单元ex202及操作键ex204的本体部的各个部分进行统一控制的主 控制单元ex311上。在通过用户操作结束通话并使电源键处于ON的状态下，电源电路 ex310通过由备用电池对各部进行电力供给，启动带有摄像头的数字化移 动电话机exl15，使其处于可动作状态。移动电话机exl15根据CPU、 ROM及RAM等主控制单元ex311的控制， 在声音处理单元ex305中将声音通话模式时声音输入单元ex205收集的声 音信号转换成数字声音数据，并在调制解调电路ex306中进行扩频处理， 在用收发电路ex301实施数/模变换处理及频率变换处理之后，通过天线 ex201发送。移动电话机exl15增幅声音通话模式时天线ex201接收到的 接收信号并实施频率变换处理及模/数变换处理，在用调制解调电路ex306 进行逆扩频处理、用声音处理单元ex305转换成模拟声音信号之后，通过 声音输出单元ex208输出。而且，在数据通信模式时发送电子邮件的情况下，由本体部的操作键 ex204的操作而输入的电子邮件的文本数据，通过操作输入控制单元ex304 发送到主控制单元ex311中。主控制单元ex311在调制解调电路ex306中 将文本数据进行扩频处理，并在收发电路ex301中实施数/模变换处理及频 率变换处理之后，通过天线ex201向基站exllO发送。在数据通信模式时发送图像数据的情况下，通过摄像机接口部ex303 将相机单元ex203拍摄的图像数据供给图像编码单元ex312。或者，在不 发送图像数据的情况下，能够通过摄像机接口部ex303及LCD控制单元 ex302直接将相机单元ex203拍摄的图像数据显示在显示单元ex202上。图像编码单元ex312为具有本发明中说明的图像编码装置的结构，用 上述实施形态中所叙述的图像编码装置所使用的编码方法将相机单元 ex203提供的图像数据进行压缩编码由此转换成编码图像数据，并将此数 据发送至复用分离单元ex308中。并且，与此同时，移动电话机exll5通 过声音处理单元ex305，将相机单元ex203在摄像过程中由声音输入单元 ex205收集到的声音作为数字声音数据，发送到复用分离单元ex308中。复用分离单元308按照预定的方式将图像编码单元ex312供给的编码 图像数据和声音处理单元ex305供给的声音数据进行复用，在调制解调电路ex306中将其结果得到的复用数据进行扩频处理，并在收发电路ex301 中实施数/模变换处理及频率变换处理之后通过天线ex201进行发送。在数据通信模式时接收与主页等连接的动态图像文件的数据的情况 下，在调制解调电路ex306中，将通过天线ex201从基站exll0接收的接 收信号进行逆扩频处理，将其结果得到的复用数据发送到复用分离单元 ex308中。在解码天线ex201接收的复用数据时，复用分离单元ex308通过分离 将复用数据分为图像数据的位流和声音数据的位流，并通过同步总线 ex313将此编码图像数据供给图像解码单元ex309，同时将此声音数据供给 声音处理单元ex305。图像解码单元ex309为具备本发明中说明的图像解码装置的结构，通 过用与上述实施形态所叙述的编码方法相对应的解码方法，解码图像数据 的位流生成再生动态图像数据，将此数据通过LCD控制单元ex302供给显 示单元ex202，由此显示出如与主页连接的动态图像文件所包含的动态图 像数据。与此同时，声音处理单元ex305在将声音数据变换成模拟声音信 号之后，将此信号供给声音输出单元ex208，由此能够播放例如与主页连 接的动态图像文件所包含的声音数据。而且，不局限于上述系统的例子，最近由卫星、地波进行数字广播已 成为人们议论的话题，在如图16所示数字播放用系统中至少可以装备有上 述实施形态中的图像编码装置或图像解码装置的任一项。具体为，电台 ex409通过电波将影像信息的位流传送给通信或广播卫星ex410。接收该电 波的广播卫星ex410发送广播用电波，拥有卫星广播接收设备的家庭天线 ex406接收此电波，通过电视机(接收机)ex401或机顶盒(STB) ex407 等装置将位流解码并再生。并且，即使在读取、解码记录在记录媒体的CD 及DVD等存储媒体ex402上的位流的再生装置ex403上也可以安装上述实 施形态中所叙述的图像解码装置。在这种情况下，再生的影像信号显示在 监视器ex404上。并且，也可以考虑在与有线电视用的电缆ex405或卫星/ 地波广播的天线ex406相连接的机顶盒ex407内安装动态图像解码装置， 在电视机的监视器ex408上再生影像信号的结构。此时最好不是在机顶盒 内，而是在电视机内安装图像解码装置。并且，也可能用拥有天线ex411的汽车ex412接收从卫星ex410或基站exl07发射的信号，在汽车ex412 拥有的车载导航设备ex413等的显示装置中再现动态图像画面。而且，还可以用上述实施形态所叙述的动态图像编码装置编码图像信 号并记录在记录媒体上。具体的例子有将图像信号记录到DVD光盘ex421 中的DVD记录装置、记录到硬盘中的硬盘记录装置等记录装置ex420。并 且还能够记录到SD卡ex422中。如果记录装置ex420具备上述实施形态所 叙述的图像解码装置，就能够将记录在DVD光盘ex421及SD卡ex422上的 图像信号再生，并显示在监视器ex408上。另外，车载导航设备ex413的构成还可以考虑例如将图15所示结构中 的相机单元ex203和摄像机接口部ex303、图像编码单元ex312除去的结 构，同样，也可以考虑计算机exlll及电视机(接收机)ex401等。并且，上述移动电话机exl14等终端除同时拥有编码器 解码器的发 送接收型终端之外，还可以考虑只有编码器的发送终端、只有解码器的接 收终端这3种安装形式。这样，可以将上述实施形态所叙述的动态图像预测方法、动态图像编 码装置或动态图像解码装置应用在上述的任何仪器 系统中，由此能够得 到上述实施形态说明的效果。以上根据实施形态对本发明的动态图像预测方法、动态图像编码装置 及动态图像解码装置进行了说明，但本发明不局限于这种实施形态。例如，图7中的判断(是否有必要生成与T、 Tl、 TO相对应的预测值 的判断；步骤S70)及图9中的判断(是否可能与T、 Tl、 TO对应，用预 定的有效位数生成预测值的判断；步骤S90)并不局限于计算上述式1及 式2所示的加权系数W0及W1的公式中的除数(分母的值)的值，还可以 根据乘数(分子的值)的值、加权系数W0及W1的值进行判断。并且，还 可以通过乘以加权系数W0及W1的值进行判断。
权利要求
1.一种动态图像编码方法，使用2张参照图像的像素值生成编码对象块的预测像素值，并使用该预测像素值对所述编码对象块进行预测编码，其特征在于，包括以下步骤计算与包含所述编码对象块的对象图像和第1参照图像的间隔相对应的第1参数的第1参数计算步骤；计算与所述第1参照图像和第2参照图像的间隔相对应的第2参数的第2参数计算步骤；判断根据所述第1参数及所述第2参数计算出来的第3参数的值是否包含在预先设定的预定范围内的判断步骤；在所述判断步骤判断为所述第3参数的值包含在所述预定范围内的情况下，通过使用利用所述第1参数及所述第2参数计算出来的加权系数，对所述第1参照图像及第2参照图像的像素值进行换算，由此计算出所述编码对象块的预测像素值，并且，在所述判断步骤判断为所述第3参数的值不包含在所述预定范围内的情况下，通过使用预定值的加权系数，对所述第1参照图像及第2参照图像的像素值进行换算，由此计算出所述编码对象块的预测像素值的预测像素值生成步骤；由在所述预测像素值生成步骤中算出的预测像素值和所述编码对象块的像素值计算出差分像素值的差分像素值生成步骤；和将所述差分像素值进行编码的预测残差编码步骤。
2. —种动态图像编码装置，使用2张参照图像的像素值生成编码对象 块的预测像素值，并使用该预测像素值对所述编码对象块进行预测编码， 其特征在于，包括计算与包含所述编码对象块的对象图像和第1参照图像的间隔相对应 的第1参数的第1参数计算单元；计算与所述第1参照图像和第2参照图像的间隔相对应的第2参数的 第2参数计算单元；判断根据所述第1参数及所述第2参数计算出来的第3参数的值是否 包含在预先设定的预定范围内的判断单元；在所述判断单元判断为所述第3参数的值包含在所述预定范围内的情 况下，通过使用利用所述第1参数及所述第2参数计算出来的加权系数， 对所述第1参照图像及第2参照图像的像素值进行换算，由此计算出所述 编码对象块的预测像素值，并且，在所述判断单元判断为所述第3参数的值不包含在所述预定范围内的 情况下，使用预定值的加权系数，对所述第1参照图像及第2参照图像的 像素值进行换算，由此计算出所述编码对象块的预测像素值的预测像素值 生成单元；由在所述预测像素值生成单元中算出的预测像素值和所述编码对象块 的像素值计算出差分像素值的差分像素值生成单元；禾口 将所述差分像素值进行编码的预测残差编码单元。
全文摘要
本发明提供一种动态图像编码方法，使用2张参照图像的像素值生成编码对象块的预测像素值，并使用该预测像素值对所述编码对象块进行预测编码，包括以下步骤计算与包含编码对象块的对象图像和第1参照图像的间隔相对应的第1参数的第1参数计算步骤；计算与第1参照图像和第2参照图像的间隔相对应的第2参数的第2参数计算步骤；判断根据第1参数及第2参数计算出来的第3参数的值是否包含在预先设定的预定范围内的判断步骤；计算出编码对象块的预测像素值的预测像素值生成步骤；由算出的预测像素值和编码对象块的像素值计算出差分像素值的差分像素值生成步骤；和将差分像素值进行编码的预测残差编码步骤。
文档编号H04N7/12GK101304536SQ20081010947
公开日2008年11月12日 申请日期2003年9月4日 优先权日2002年11月20日
发明者林宗顺, 申省梅, 符式伟, 野真也 申请人:松下电器产业株式会社