编码设备和编码方法

专利名称：编码设备和编码方法
技术领域：
本发明涉及一种编码设备、编码方法、解码设备、解码方法、记录介质以及程序。例如，本发明涉及一种适于以高压缩比编码图像信号以进行传输或存储的编码设备、编码方 法、解码设备、解码方法、记录介质以及程序。
背景技术：
当今，广播电台进行信息分发以及家庭进行信息接收都正在广泛使用例如符合 MPEG (运动图像专家组)的设备和运动补偿(motioncompensation)，其中MPEG是基于诸如 离散余弦变换的正交变换的图像压缩标准，而运动补偿是利用特定于图像信息的冗余度将 图像处理成数字信号，以进行有效传输和累积这种数字信号。特别是，MPEG2(IS0/IEC 13818-2)压缩技术是被确定为包括隔行扫描图像和逐行 扫描图像以及标准分辨率图像和高清晰度图像的通用图像压缩方案的标准。因此，专业人 员和一般消费者广泛使用MPEG2，例如在DVD (数字通用光盘)标准中看到的那样。通过对具有720X480像素的标准分辨率的隔行扫描图像分配例如4至8Mbps的 位速率，而对具有1920X1088像素的高清晰度的隔行扫描图像分配例如18X22Mbps的位 速率，使用MPEG2压缩方案可以实现高压缩比和高图像质量。由于MPEG2主要在于适于广播的高质量编码技术，所以它不支持高压缩比的编码 方案。这就是MPEG4编码系统被标准化为高压缩比编码方案的原因。在1998年12月，该 图像编码方案被批准为国际标准IS0/IEC 14496-2。此外，ITU-T(国际电信联盟_电信标准化部门)促进对最初用于视频会议的图像 编码的H. 26 (ITU-T Q6/16VCEG)进行标准化。H. 26L被称为实现高编码效率的标准，但是与已知的诸如MPEG2和MPEG4相比，它 需要对编码处理过程和解密处理过程进行大量算术运算。此外，当前的MPEG4活动之一包括与ITU-T联合促进的增强压缩视频编码联合模 型(Joint Model of Enhanced-Compression VideoCoding)，用于对实现基于H. 26L 的高编 码效率并采用H. 26L不支持的功能的编码方案进行标准化。现在，将参考图1说明基于诸如离散余弦变换或Karhimen-L0eve变换的正交变换 的已知图像信息编码设备以及运动补偿。图1示出已知图像信息编码设备的典型结构。在相关图像信息编码设备中，A/D变换部分1将作为模拟信号的输入图像信号变 换为数字信号，然后，将该数字信号送到图像分类缓冲器2。根据相关图像信息编码设备输 出的图像压缩信息的G0P(图像组)，图像分类缓冲器2对A/D变换部分1输出的图像信息 中的各帧进行重新排列。
首先，说明被intra编码(在图像内编码)的图像。在图像分类缓冲器2中，通过加法器3，将要进行intra编码的图像的图像信息送到正交变换部分4。在正交变换部分4，对图像信息进行正交变换(例如，离散余弦变换或 Karhunen-Loeve变换)，然后，将获得的变换系数送到量化部分5。在量化部分5，在速率控 制部分8的控制下，根据累积(accumulate)在累积缓冲器7内的变换系数数据的数量，对 正交变换部分4提供的变换系数进行量化处理。在无损编码部分6，根据量化部分5提供的量化变换系数、量化比例等，确定编码 模式，然后，对确定的编码模式进行无损编码(例如，可变长度编码或算术编码)，以形成要 存储到图像编码单元的标题的信息。此外，将被编码的编码模式送到累积缓冲器7进行累 积。累积在累积缓冲器7内的编码的编码模式被输出到后续级，作为图像压缩信息。此外，在无损编码部分6，对量化的变换系数进行无损编码，并将编码的变换系数 累积到累积缓冲器7。还将累积在累积缓冲器7内的编码变换系数输出到后续级，作为图像 压缩信息。在去量化部分9，对量化部分5量化的变换系数进行去量化。在逆正交变换部分 10，对去量化变换系数进行逆正交变换处理，然后，产生解码的图像信息。将产生的解码的 图像信息累积到帧存储器11。现在，说明被inter编码(在图像间进行编码)的图像。在图像分类缓冲器2，将 要进行inter编码的图像的图像信息送到加法器3和运动预测/补偿部分12。在运动预测/补偿部分12，从帧存储器11读出受到inter编码且对应于图像分类 缓冲器2输出的图像的作为基准的图像信息，并对其进行运动预测/补偿处理，以产生基准 图像信息，之后，将该基准图像信息送到加法器3。此外，将通过在运动预测/补偿部分12 内进行运动预测/补偿处理获得的运动矢量信息送到无损编码部分6。在加法器3，根据图像分类缓冲器输出的、被进行inter编码处理的图像的图像 信息，将运动预测/补偿部分12输出的基准图像信息变换为微分信号(differential signal)0在对被inter编码的图像进行处理时，在正交变换部分4内对微分信号进行正交 变换，然后，将获得的变换系数送到量化部分5。在量化部分5，在速率控制部分8的控制下， 对正交变换部分4提供的变换系数进行量化处理。 在无损编码部分6，根据变换系数和量化部分5量化的量化比例以及运动预测/补 偿部分12输出的运动矢量信息和其它信息，确定编码模式。然后，对确定的编码模式进行 无损编码，以产生要存储到图像编码单元的标题的信息。将编码的编码模式累积到累积缓 冲器7。输出累积在累积缓冲器7内的、被编码的编码模式，作为图像压缩信息。此外，在无损编码部分6，对运动预测/补偿部分12输出的运动矢量信息进行无损 编码处理，以产生要存储到图像编码单元的标题的信息。在对被inter编码的图像进行处理时，以与intra编码相同的处理方式，进行去量 化部分9内的处理以及后续处理，因此不作说明。现在，将参考图2说明接收图1所示已知图像信息编码设备输出的图像压缩信息 的已知图像信息解码设备。图2示出已知图像信息解码设备的典型结构。在相关图像信息解码设备中，将已经输入的图像压缩信息临时存储到累积缓冲器21，并传送到无损解码部分22。根据图像压缩信息的预定格式，无损解码部分22(例如，可 变长度解码或算术解码)对图像压缩信息进行无损解码，以获取存储在标题内的编码模式 信息，然后，将它送到去量化部分23。无损解码部分22还获取量化变换系数，以将它送到去 量化部分23。此外，如果已经对要编码的帧进行了 inter编码，则无损解码部分22还对存 储到图像压缩信息的标题的运动矢量信息进行解码处理，并将该信息送到运动预测/补偿 部分28。去量化部分23对无损解码部分22提供的量化变换系数进行去量化，然后，将获得 的变换系数送到逆正交变换部分24。根据图像压缩信息的预定格式，逆正交变换部分24对 变换系数进行逆正交变换(例如，离散余弦逆变换或Karhunen-Loeve逆变换)。如果对相关帧进行intra编码，则通过加法器25，将被进行逆正交变换的图像信 息存储到图像分类缓冲器26，D/A变换部分27将它变换为模拟信号，然后，将它输出到后续 级。还将被逆正交变换的图像信息存储到帧存储器29。 此外，如果对相关帧进行了 inter编码，则根据无损解码部分22输出的运动矢量 信息和存储在帧存储器29内的图像信息，运动预测/补偿部分28产生基准图像，然后，将 它送到加法器25。在加法器25，将运动预测/补偿部分28输出的基准图像与逆正交变换 部分25的输出组合在一起，以产生图像信息。以对帧进行intra编码处理的同样方式，进 行其它处理，因此不对此作说明。根据H. 26L，将两种类型的编码定义为无损编码方案UVLC (通用可变长度代码)， 一种类型的可变长度编码，以及CABAC (基于上下文的自适应二进制算术编码)，一种类型 的算术编码。因此，用户可以选择UVLC和CABAC之一作为无损编码方案。在图像压缩信息 中，包括在RTP层的RTP参数设置分组内的被称为熵编码的字段规定用于表示所采用的无 损编码方案是UVLC还是CABAC的信息。现在，将说明CABAC所属的算术编码。在算术编码过程中，任何消息(包括多个字 母符号)均被表示为一个半开间隔X < 1. 0中的点，并根据该点的坐标产生代码。首先，根据包括在字母序列中的符号的出现概率，将半开间隔χ < 1. 0分割 为各子间隔，每个子间隔对应于一个符号。图3示出具有其相应子间隔的符号S1至S7的出现概率的例子。在算术编码过程 中，根据每个符号的累加出现概率，确定子间隔的上限和下限，如图3所示。符号Si(i = 1， 2，... 7)的子间隔的下限等于先前符号Sg的上限，而符号Si的子间隔的上限等于通过将 符号Si的出现概率与符号Si的子间隔的下限相加获得的值。我们假定输入(S2S1S3S6S7)作为消息。在此，假定符号S7是表示消息结束的终端符 号。总之，消息以该终端符号结束。算术编码方案计算对应于包括在该消息(S2SlS3S6S7)内 的每个符号的子间隔，如图4所示。换句话说，与后续符号的累加出现概率成正比，分割如 图3所示分配的间隔。最终获得的子间隔是包括表示该消息的值的范围。这样，该范围内 的任何值均可以唯一地恢复相应消息。然而，请注意，考虑到编码效率，可以利用半开间隔 内的2的幂表示的值表示该消息。更具体地说，在该例中，根据如下所示的表达式(1)，利用如下所示的表达式(2) 获得的值表示包括在半开间隔0. 21164 ^x <0. 2117内的消息。<formula>formula see original document page 5</formula><formula>formula see original document page 6</formula>因此，对于对应于消息(S2S1S3S6S7)的代码长度，12位的代码长度足够，因此可以 表示从2-1到2_12的值，以将该消息(S2S1S3S6S7)编码为(001101100011)。现在，将说明H.26L定义的CABAC。文献"Video CompressionUsing Context-Based Adaptive Arithmetic Coding”，Marpe 等，ICIOl (以下称为文献 1)对 CABAC 进行了详细说 明。与也是在H. 26L内定义的UVLC相比，CABAC具有以下3个特点。第一个特点是，能够通过根据独立概率模型，利用适于要编码的每个符号的上下 文模型进行算术编码，来减小符号间的冗余度。第二个特点是，能够在算术编码过程中，对每个符号指定非整数值的位速率，即， 能够实现类似于熵的编码效率的编码效率。例如，运动矢量的统计数据在空间和时间上以及相对于位速率和序列是可变的。 第三个特点是能够通过进行自适应编码，响应于这些改变来执行编码。图5示出对其应用CABAC的CABAC编码器的典型结构。在相关CABAC解码器中， 上下文建模部分31首先根据历史将图像压缩信息中任何语法单元(syntax element)的符 号变换为正确的上下文模型。这种建模过程被称为上下文建模。下面将说明图像压缩信息 中的每个语法单元的上下文模型。二值化部分32 二值化未被二值化的符号。然后，在自适应二进制算术编码部分 33，概率估计部分34对二值化符号进行概率估计，然后，根据该概率估计值，编码引擎35进 行自适应算术编码。进行了自适应算术编码处理之后，更新相关模型，并且每个模型可根据 实际图像压缩信息的统计数据进行编码处理。在此，现在，将说明对作为图像压缩信息中的语法单元的MB_type (MB_type)、运动 矢量信息(MVD)以及基准帧参数(Ref_frame)执行算术编码的上下文模型。分别对两种情况intra编码和inter编码说明MB_type的上下文模型生成过程。如图6所示，在intra帧排列宏块A、B和C，根据如下所示的表达式(3)，确定对应于宏块C的MB_type的上下文模型ctxjnb-typejntra (C)。intra帧宏块的模式是 Intra4X4 或； Intral6\l0<formula>formula see original document page 6</formula>
在表达式(3)中，当宏块A是Intra4X4时，A是0，或者当宏块A是Intral6Xl 时，A是1。同样，当宏块B是Intra4X4时，B是0，或者当宏块B是Intral6Xl时，B是1。 因此,上下文模型ctx_mb_type_intra(C)取0、1和2之一。如果如图6所示，宏块A、B和C排列在是P图像的inter巾贞，则根据如下所示的表 达式(4)确定对应于宏块C的MB_type的上下文模型ctX_mb_type_inter (C)。如果相关 inter帧是B图像，则根据如下所示的表达式(5)确定上下文模型CtX_mb_type_inter (C)。ctx_mb_type_inter(C)= ((A==Skip) 0:1) + ((B == Skip) ？ 0:1)…(4)ctx_mb_type_inter(C)= ((A == Direct) ？ 0:1) + ((B == Direct) ？ 0:1) …(5)在表达式(4)中，如果宏块A处于跳越(Skip)模式，则算子((A = =Skip) ？ 0:1) 表示0，或者如果宏块A不处于跳越模式，则算子((A==Skip) ？ 0:1)表示1。同样，如 果宏块B处于跳越(Skip)模式，则算子((B==Skip) ？ 0:1)表示0，或者如果宏块B不 处于跳越模式，则算子((B == Skip) ？ 0:1)表示1。在表达式(5)中，如果宏块A处于直接(Direct)模式，则算子((A== Direct) ？ 0:1)表示0，或者如果宏块A不处于直接(Direct)模式，则算子((A==Direct) ？ 0:1) 表示1。同样，如果宏块B处于直接(Direct)模式，则算子((B==Direct) ？ 0:1)表示 0，或者如果宏块B不处于直接模式，则算子((B==Direct) ？ 0:1)表示1。因此，对于P图像和B图像中的每个，存在3种对应于inter帧(P图像)上的宏 块 C 的 MB_type 的上下文模型 ctx_mb_type_inter (C)。现在，将说明运动矢量信息(MVD)的上下文模型生成过程。从对应于相邻宏块的运动矢量，将包括在图像压缩信息内的、对应于感兴趣宏块 的运动矢量信息编码为预测误差。根据如下所示的表达式(6)，确定如7所示排列的宏块 A、B和C中的感兴趣宏块C的评估函数ek(C)。在表达式(6)中，k = 0表示水平分量，而k =1表示垂直分量。 ek (C) = I mvdk (A) | +1 mvdk (B) |... (6)这里，Hivdk(A)和Hivdk(B)分别表示与宏块C相邻的宏块A和B的运动矢量预测误差。在表达式(6)中，如果宏块C设置在图像帧的左边缘，S卩，如果不存在宏块A和B 之一，则不能获得与相应运动矢量预测误差IWdk(A)或HlVdk⑶有关的信息，因此，忽略表达 式(6)右边的相应项。根据下面的表达式(7-1)至(7-3)，确定上面描述的对应于ek(C)的 上下文模型ctxjwd (C，k)。ctx_mvd(C, k) = 0 ek (C) < 3(7-1)ctx_mvd(C, k) = 1 32 < ek(C)(7-2)ctx_mvd(C, k) = 2 3 ^ ek (C) ^ 32(7-3)如图8所示，进行运动矢量信息(MVD)的上下文模型生成过程。更具体地说，宏块C的运动矢量预测误差HiVdk(C)被划分为绝对值Imvdk(C) I和正负号。对绝对值Imvdk(C) 进行二值化。利用上述上下文模型Ctxjwd(C，k)，编码二值化的绝对值Imvdk(C) I的第一 bin (最左边的值)。利用上下文模型3，编码第二 bin (从左侧开始的第二个值)。同样，分别利用上下文模型4和5，编码第三和第四bin。利用上下文模型6，编码第五bin和后续 bin。利用上下文模型7，编码mvdk(C)的正负号。如上所述，利用8种上下文模型，编码运 动矢量信息(MVD)。现在，将说明用于编码基准帧参数(Ref_frame)的上下文模型。当两个或者更多个基准帧用于inter帧时，对inter帧的每个宏块设置与基准帧有关的信息。如果对于如图6所示排列的宏块A、B和C，宏块A和B的基准帧参数被分别 表示为A和B，则根据如下所示的表达式(B)确定宏块C的上下文模型CtX_ref_frame (C)。ctx_ref_frame (C) = ((A==O) ？ 0 1)+2 ((B = = 0) ？ 0:1)... (8)在表达式⑶中，当宏块A的基准帧参数是0时，算子((A==O) ？ 0:1)是0，或 者当宏块A的基准帧参数不是0时，算子((A==O) ？ 0:1)是1。同样，当宏块B的基准 帧参数是0时，算子((B==O) ？ 0:1)是0，或者当宏块B的基准帧参数不是0时，算子 ((B = = 0) ？ 0:1)是 1。因此，根据表达式(8)确定4种用于编码基准帧参数(Ref_frame)的上下文模型。 此外，确定第二 bin的上下文模型和第三bin以及后续bin的上下文模型。现在，说明用于对码块图样(CBP)、intra预测模式(IPRED)以及(RUN，LEVEL)信 息进行算术编码的上下文模型，其中所述码块图样是与根据H. 26L包括在图像压缩信息内 的纹理信息有关的语法单元。从与码块图样有关的上下文模型开始进行说明。下面确定处理不是IntraieX 16 宏块的码块图样的过程。即，作为亮度信号的CBP位，Intral6X16宏块的4个8X8块的每一个内分别包 括一个CBP位，即，全部4个CBP位。当如图6所示排列宏块A、B和C时，根据如下所示的 表达式(9)，确定对应于宏块C的亮度信号的上下文模型CtX_Cbp_lUma(C)。ctx_cbp_luma (C) = A+2B. . . (9)在表达式(9)中，A表示宏块A的亮度信号的CBP位，而B表示宏块B的亮度信号 的CBP位。CBP字段内的剩余2位与色度信号有关。根据如下所示的表达式(10)，确定对应 于宏块C的色度信号的上下文模型ctX_Cbp_Chr0ma_Sig(C)。ctx_cbp_chroma_sig(C) = A+2B…(10)在表达式(10)中，A表示宏块A的色度信号的CBP位，而B表示宏块B的色度信 号的CBP位。在此，如果对应于宏块C的色度信号的上下文模型ctX_Cbp_Chr0ma_Sig(C)不是 0，即，如果存在色度信号的AC分量，则需要对根据如下所示的表达式(11)确定的宏块C的 色度信号的AC分量的上下文模型ctx_cbp_chr0ma_ac (C)进行编码。ctx_cbp_chroma_ac (C) = A+2B…(11)在表达式(11)中，A表示对应于宏块A的cbp_chroma_ac判定，而B表示对应于 宏块B的cbp_chroma_ac判定。由于对intra宏块和inter宏块，分别确定根据表达式(9)至(11)确定的上下文 模型，所以确定全部24( = 2X3X4)种上下文模型。此外，对于Intral6X 16宏块，对二值化AC判定，确定一种上下文模型，而对色度信号的每个分量，分别确定一种上下文模型。现在，将说明与intra预测模式(IPRED)有关的上下文模型。现在，将参考图9和10说明H. 26L定义的6种intra预测模式(标记0至5)。图9示出存在于通过分割宏块 产生的4 X 4块内的像素a至ρ和存在于相邻4 X 4块内的像素A至I。图10中的标记1至 5表示具有不同方向的intra预测模式。标记0表示的intra预测模式是DC预测模式(DC 预测)。在标记0的intra预测模式中，根据如下所示的表达式(12)预测像素a至ρ。像素a 至 ρ = (A+B+C+D+E+F+G+H) //8... (12)在表达式(12)至(15)中，A至I分别表示像素A至I，而符号“//”意味着这样的 算术运算，以使分割结果四舍五入为整数。在标记0表示的intra预测模式下，如果在图像帧内不存在8个像素A至H的4 个像素(例如，像素A至D)，则不需要表达式(12)，而将剩余4个像素(在这种情况下，像 素E至H)的均值用作像素a至ρ的预测值。此外，如果在图像帧内不存在8个像素A至H 中的任何一个，则不使用表达式(12)，而将预定值(例如，128)用作像素a至ρ的预测值。标记1表示的intra预测模式被称为垂直/对角预测。仅当图像帧内存在4个像 素A至D时，使用标记1的intra预测模式。在这种情况下，根据如下所示的表达式(13_1) 至(13-6)预测像素a至ρ。像素a = (A+B) //2. . . (13-1)像素e = B. . . (13-2)像素b，i = (B+C)//2. . . (13-3)像素f，m= C. . . (13-4)像素c，j = (C+D) //2. . . (13-5)像素d，g，h，k，1，η，ο，ρ = D· · · (13-6)标记2表示的intra预测模式被称为垂直预测。仅当图像帧内存在4个像素A至 D时，使用标记2的intra预测模式。例如，像素A用作例如像素a、e、i和m的预测值，而 像素B用作例如像素b、f和η的预测值。标记3表示的intra预测模式被称为对角预测。仅当图像帧内存在9个像素A 至I时，使用标记1的intra预测模式。在这种情况下，根据如下所示的表达式(14_1)至 (14-7)预测像素a至ρ。像素m = (H+2G+F)//4. · · (14-1)像素i，η = (G+2F+E) //4... (14-2)像素e，j，ο = (F+2E+I)//4. . . (14-3)像素a，f, k, ρ = (E+2I+A) //4. . . (14-4)像素b，g，1 = (I+2A+B) //4. . . (14-5)像素c，h = (A+2B+C)//4. · · (14-6)像素d = (B+2C+D) //4. · . (14-7)标记4表示的intra预测模式被称为水平预测。仅当图像帧内存在4个像素E至 H时，使用标记4的intra预测模式。在这种情况下，像素E用作例如像素a、b、c和d的预 测值，而像素F用作例如像素e、f、g和h的预测值。
标记5表示的intra预测模式被称为水平/对角预测。仅当图像帧内存在4个像 素E至H时，使用标记5的intra预测模式。在这种情况下，根据如下所示的表达式(15_1) 至(15-6)预测像素a至ρ。像素a=(E+F)//2. · · (15-1)像素b= F...(15-2)像素c，e = (F+G) //2. . . (15-3)像素f，d = G...(15-4)像素i，g = (G+H)//2. . . (15-5)像素h，j，k，l，m，n，o，p = H· · · (15-6)对标记0至5的intra预测模式中的每个分别确定两个上下文模型。更具体地 说，对于每种模式，两个上下文模型之一是第一 bin，而对于每种模式，两个上下文模型之另 一是第二 bin。除了这些上下文模型外，在IntraieX 16模式下，对两位分别确定一个上下 文模型。因此，对intra预测模式总共确定14个上下文模型。现在，将说明与(RUN、LEVEL)有关的上下文模型。在H.26L中，将图IlA和IlB所示的两种扫描方法定义为用于将二维离散余弦变 换系数重新排列为一维系数的方法。在不是其中量化参数QP小于24的情况下，图IlA所 示的单扫描技术用于intra宏块的亮度信号。在不能使用单扫描技术时，使用图IlB所示 的双扫描技术。在量化参数QP为24或者更大的inter宏块和intra宏块，对于4X4宏块，存在 一个非零系数的平均值，总之，一个一位EOB (块末尾)信号足够了。对于量化参数QP小于 24的intra宏块亮度信号，存在两个或者更多个非零系数，并且一个一位EOB信号不够。这 是采用图IlB所示双扫描技术的原因。如图12所示，根据上述扫描方法的区别、DC块类型与AC块类型之间的区别、亮度 信号与色度信号之间的区别以及intra宏块与inter宏块之间的区别，对(RUN，LEVEL)确 定9种上下文模型。将LEVEL信息分割为正负号和绝对值。根据图12所示的相应CtX_run_leVel，确 定4个上下文模型。更具体地说，对正负号确定第一上下文模型，对第一 bin确定第二上下 文模型，对第二 bin确定第二上下文模型以及对后续bin确定第四上下文模型。当LEVEL不是0时(S卩，当LEVEL不是EOB时)，对以下描述的RUN编码。对于 RUN，对图12所示的每个CtX_run_leVel，确定两个上下文模型一个用于第一 bin，而另一 个用于第二和后续bin。现在说明用于与量化有关的参数Dquant的上下文模型，可以根据H. 26L在图像压 缩信息中的宏块级设置该与量化有关的参数。当宏块的码块图样包括非零正交变换系数，或者在对该宏块进行16X16Intra编码时，设置该参数Dquant。参数Dquant可以在-16至16的范围内。根据如下所示的、采用 图像压缩信息内的参数Dquant的表达式(16)，计算宏块的量化参数QUANT_。QUANTnew = modulo32 (QUANTold+DQUANT+32) . · · (16)在表达式(16)中，QUANTold是用于先前编码或解码的量化参数。根据如下所示的表达式(17)确定如图6所示排列的宏块C的参数Dquant的第一上下文模型ctx_dquant (C)。<formula>formula see original document page 11</formula>…(17)在表达式(17)中，A表示宏块A的参数Dquant的值。对第一 bin确定第二上下 文模型，而对第二和后续bin确定第二上下文模型。如果未对输入到上述上下文模型的符号进行二值化，则在可以将该符号输入到上 下文模型之前，必须二值化该符号。根据图13所示的关系，二值化非MB_type的语法单元。根据图14A所示的关系对MB_type进行二值化，其中对P图像确定了 10种MB_ type。此外，根据图14B所示的关系对MB_type进行二值化，其中对B图像确定17种MB_ type。利用预计算值，预初始化上述各种上下文模型的寄存器，并且当对符号进行编码 时，连续更新一系列上下文模型的各bin的出现频率，以确定后续符号的编码过程。如果给定上下文模型的出现频率超过预定值，则频率计数器递减。通过这样进行 周期性缩放处理，容易处理符号的动态出现率。对于H. 26L内的二值化符号的算术编码方案，从本说明书的开头，就采用文献 "Arithmetic Coding for Data Compression，，(Witten etal.of the ACM,30(6), 1987, PP520-541)(以下称为文献2)中描述的方法。在MPEG2中，如果要输入的图像信号是隔行扫描格式，可以在宏块级进行场/帧自 适应编码处理。尽管当前在H. 26L中没有确定这种规范，但是文献“InterlaceCoding Tools for H. 26L Video Coding (L. Wang et al.，VCEG-037, Dec. 2001) ” (以下称为文献 3)建议对 H. 26L规范进行扩展，以在宏块级支持场/帧自适应编码处理。现在，将说明文献3中建议的在宏块级进行场/帧自适应编码处理的过程。根据当前的H. 26L，如图15所示，有七种类型的模式(模式1至7)被定义为宏块 也的运动预测/补偿单元。文献3建议将帧/场标志设置在Run与MB_type之间，作为对应于图像压缩信息 内的宏块的语法，如图16所示。如果帧/场标志的值是0，则它表示要对相关宏块进行基于 帧的编码。相反，如果帧/场标志的值是1，则它表示要对相关宏块进行基于场的编码。如果帧/场标志的值是1，即，如果进行基于场的编码，则按行重新排列宏块内的 各像素，如图17所示。如果帧/场标志的值是1，则将如图18所示的5种类型的模式(模式Ia至5a)， 即对应于图15所示的模式3至7的5种模式定义为宏块中的运动预测/补偿单元。例如，在图18所示的模式2a，通过分割宏块产生的4个8 X 8块0至3中的块0和 1属于相同的场奇偶性，并且块2和3属于相同的场奇偶性。此外，例如，在图18所示的模 式3a下，通过分割宏块产生的8个4X8块0至8中的块0至3属于相同的场奇偶性，而块 4至7属于相同的场奇偶性。现在，将说明帧/场标志的值是1时的intra预测模式。还是在帧/场标志的值 是1时，例如，利用设置在相邻4 X 4块上的像素A至I，对图9所示的、设置在4 X 4块内的 像素a至P进行intra预测。在这种情况下，应该注意，所有像素a至ρ和像素A至I属于 相同的场奇偶性。
现在，将参考图19说明在像素A至I和像素a至ρ属于同一个宏块时的情况。利用设置在相邻块2、3和6的边缘上的像素A至I，对存在于通过将宏块分割为16份产生的 4 X 4块7内的像素a至ρ进行intra预测。现在，将参考图20A和20B说明在像素A至I属于不同于像素a至ρ所属宏块的 宏块的情况。图20Α示出位于用于进行处理的宏块的左侧和上方的宏块的帧/场标志值是1。 在这种情况下，根据将左侧的宏块分割为16份产生的4X4块A内的各像素以及将上面的 宏块分割为16份产生的4X4宏块B内的各像素，对存在于通过将目标宏块分割为16份产 生的4X4块C内的各像素进行intra预测。根据存在于4X4块A’内的各像素和存在于 4X4 ±夬B，内的各像素，对存在于4X4块C’内的各像素进行intra预测。图20B示出其中用于进行处理的目标宏块的帧/场标志的值是1的例子，而左侧 和上面的各宏块的帧/场标志的值是0。在这种情况下，根据将左侧的宏块分割为16份产 生的4X4块A内的各像素以及将上面的宏块分割为16份产生的4X4宏块B内的各像素， 对存在于通过将目标宏块分割为16份产生的4X4 ±夬C内的各像素进行intra预测。根据 存在于4X4块A’内的各像素和存在于4X4块B’内的各像素，对存在于4X 4块C’内的 各像素进行intra预测。现在，将参考图21说明色度信号的intra预测过程。当帧/场标志的值是1时， 仅确定色度信号的一种类型的intra预测模式。图21中的A至D分别表示色度信号中的4X4 ±夬。块A和B属于第一场，而块C 和D属于第二场。Stl至S2是存在于属于第一场奇偶性并与块A至D相邻的块内的色度信 号的和。S3至S5是存在于属于第二场奇偶性并与块A至D相邻的块内的色度信号的和。如果S。至S5全部存在于图像帧内，则根据如下所示的表达式(18)预测分别对应 于块A至D的预测值A至D。a= (s0+s2+4) /8B = (s!+2)/4c= (s3+s5+4) /8d = (s4+2) /4. . . (18)如果S0至s5中仅s0、S1, S3以及s4存在于图像帧中，则根据如下所示的表达式 (19)，预测分别对应于块A至D的预测值A至D。A = (s0+2) /4B = (s!+2)/4c = (s3+2)/4d = (s4+2) /4...(19)如果S0至S5中仅S2和S5存在于图像帧中，则根据如下所示的表达式(20)，预测 对应于块A至D的预测值。a = (s2+2)/4b = (s2+2)/4c = (s5+2)/4
D = (s5+2)/4…(20)图22示出在如上所述进行了 intra预测后，对色度信号的剩余分量进行编码的方 法。更具体地说，分别对每个4X4块进行正交变换处理，利用第一场和第二场的DC分量产 生该图所示的2X2块，再次进行正交变换处理。现在，说明当帧/场标志的值是1时进行的运动预测/补偿处理。当帧/场标志 的值是1时，存在如下类型的运动预测/补偿模式inter-16X16模式、inter-8X16模式、 inter-8X8 模式、inter_4X8 模式以及 inter_4X4 模式。例如，inter-16X 16模式是其中第一场的运动矢量信息、第二场的运动矢量信息 以及inter-8X16模式内的基准帧等效的模式。分别对Code_number 0至5分配这6种运动预测/补偿模式。在当前的H. 26L中，规定了允许提供如图23所示的多个基准帧的多帧预测过程。 在当前的基于帧的H. 26L标准中，以这样的方式在宏块级确定与基准帧有关的信息，以致 对先前编码帧分配Code_number 0，而对位于具有Code_number 0的帧之前1倍至5倍的帧 分另丨J分配 Code_number 1 至 Code_number 5。相反，对于基于场的编码过程，对先前编码帧的第一场分配Codejumber 0，而对 同一个帧的第二场分配Code_number 1。对位于具有Code_number 0的帧之前的帧的第 一场分配Code_number 2，而对相关帧的第二场分配Code_number 3。对位于具有Code_ number2的帧之前的帧的第一场分配Code_number 4，而对相关帧的第二场分配Code_ number 5。此外，对于被进行基于场编码的宏块，互相独立地规定第一场的基准场和第二场 的基准场。现在，将参考图24说明当前的H. 26L中规定的中值预测过程，然后，说明在帧/场 标志的值是1时的运动矢量信息预测方法。利用与宏块A至C相邻的运动矢量信息的中值， 预测图24所示的、对应于16X 16宏块E的16X16、8X8或4X4运动矢量信息。然而，对于中值计算过程，假定不存在于图像帧内的宏块A至C之任一的运动矢量 信息值是0。例如，如果宏块D、B和C不存在于图像帧中，则对应于宏块A的运动矢量信息 用作预测值。此外，如果在该图像帧内不存在宏块C，则利用宏块D的，而非宏块C的运动矢 量信息，计算中值。不需要宏块A至D的基准帧相同。现在，将参考图25A至25D说明在宏块的块大小是8X16、16X8、8X4或4X8时 的情况。假定如图24所示排列感兴趣宏块E和相邻宏块A至D。图25A示出其中宏块El和E2的块大小是8X16的例子。对于左侧的宏块Eljn 果左侧的相邻宏块A与宏块El参照同一个帧，则宏块A的运动矢量信息用作预测值。如果 左侧的相邻宏块A参照的帧不同于宏块El参照的帧，则进行上述中值预测。关于右侧的宏块E2，如果右上角的相邻宏块C与宏块E2参照同一个宏块，则宏块C的运动矢量信息用作预测值。如果右上角的相邻宏块C参照的帧不同于宏块E2参照的 帧，则进行上述中值预测。图25B示出其中宏块El和E2的块大小是16X8的例子。关于上部宏块E1，如果 上面的相邻宏块B与宏块El参照同一个帧，则宏块B的运动矢量信息用作预测值。如果上面的相邻宏块B与宏块El参照不同的帧，则进行上述中值预测。关于上部宏块E2，如果左侧的相邻宏块A与宏块E2参照同一个帧，则宏块A的运 动矢量信息用作预测值。如果左侧的相邻宏块A与宏块E2参照不同的帧，则进行上述中值 预测。图25C示出其中宏块E1至E8的块大小是8X4的例子。对左侧宏块E1至E4进 行上述中值预测，而将左侧宏块E1至E4的运动矢量信息用作右侧宏块E5至E8的预测值。图25D示出其中宏块E1至E8的块大小是4X8的例子。对上部宏块E1至E4进 行上述中值预测，而将上部宏块E1至E4的运动矢量信息用作下部宏块E5至E8的预测值。此外，如果帧/场标志的值是1，则根据上述方法，预测运动矢量信息的水平方向 分量。然而，关于垂直方向分量，将基于场的块与基于帧的块混合，然后，进行如下处理。假 定如图24所示排列感兴趣宏块E和相邻宏块A至D。当在已经对相邻宏块A至D之一进行了基于场的编码的情况下，对宏块E进行基 于帧的编码时，将第一场的运动矢量信息的垂直方向分量与第二场的运动矢量信息的垂直 方向分量之间的均值乘2，并且将该结果用做用于进行预测处理的基于帧的运动矢量信息 的等效物。当在已经对相邻宏块A至D之一进行了基于帧的编码的情况下，对宏块E进行基 于场的编码时，将运动矢量信息的垂直方向分量值除2，并且将该结果用做用于进行预测处 理的基于场的运动矢量信息的等效物。根据文献3，添加在宏块级进行场/帧编码所需的语法单元，此外，改变诸如运动 矢量信息的语法单元的语义。然而，在文献3中，没有引入新的上下文模型，或者未响应于 上述添加和变更，对现有上下文模型进行更新。因此，文献3提供的信息不足以在宏块级利 用CABAC方案进行场/帧编码。已知CABAC是可以实现较高编码效率的方案，尽管与UVLC相比，它需要大量算术 运算进行编码处理，因此，最好即使在输入图像信息具有隔行扫描格式时，CABAC仍可以在 宏块级进行场/帧编码。

发明内容
鉴于上述情况，本发明的目的是即使在输入图像信息具有隔行扫描格式时，也能 够利用CABAC方案在宏块级进行场/帧编码。根据本发明的编码设备包括无损编码装置，用于利用与表示在宏块级的编码处 理是基于场还是基于帧的编码处理的帧/场标志对应的上下文模型、与用于执行基于帧 的编码处理的语法单元对应的上下文模型或与用于执行基于场的编码处理的语法单元对 应的上下文模型，来执行无损编码处理，其中满足表达式ctX_fifr_flag(C) = a+2b，其中 ctx_fifr_flag (C)是与宏块C的帧/场标志相关的上下文模型，而a和b是与宏块C相邻 的相应宏块A和B的帧/场标志的值。与用于执行基于场的编码处理的语法单元对应的上下文模型包括与I图像的MB_ type、P/B图像的MB_type、运动矢量信息、基准场参数以及intra预测模式对应的上下文模 型中至少之一。根据本发明的编码方法包括无损编码步骤，用于利用与表示在宏块级的编码处理是基于场还是基于帧的编码处理的帧/场标志对应的上下文模型、与用于执行基于帧的编码处理的语法单元对应的上下文模型或与用于执行基于场的编码处理的语法单元对 应的上下文模型，来执行无损编码处理，其中满足表达式ctX_fifr_flag(C) = a+2b，其中 ctx_fifr_flag (C)是与宏块C的帧/场标志相关的上下文模型，而a和b是与宏块C相邻 的相应宏块A和B的帧/场标志的值。位于第一记录介质上的根据本发明的程序包括无损编码步骤，用于利用与表示 在宏块级的编码处理是基于场还是基于帧的编码处理的帧/场标志对应的上下文模型、与 用于执行基于帧的编码处理的语法单元对应的上下文模型或与用于执行基于场的编码处 理的语法单元对应的上下文模型，来执行无损编码处理。根据本发明的第一程序使计算机执行无损编码步骤，在该无损编码步骤，利用与 表示在宏块级的编码处理是基于场还是基于帧的编码处理的帧/场标志对应的上下文模 型、与用于执行基于帧的编码处理的语法单元对应的上下文模型或与用于执行基于场的编 码处理的语法单元对应的上下文模型，来执行无损编码处理。根据本发明的解码设备包括解码装置，用于对利用与表示在宏块级的编码处理 是基于场还是基于帧的编码处理的帧/场标志对应的上下文模型、与用于执行基于帧的编 码处理的语法单元对应的上下文模型或与用于执行基于场的编码处理的语法单元对应的 上下文模型进行了编码的图像压缩信息进行解码，其中满足表达式ctX_fifr_flag(C)= a+2b,其中ctx_f ifr_f lag (C)是与宏块C的帧/场标志相关的上下文模型，而a和b是与 宏块C相邻的相应宏块A和B的帧/场标志的值。根据本发明的解码方法包括解码步骤，用于对利用与表示在宏块级的编码处理 是基于场还是基于帧的编码处理的帧/场标志对应的上下文模型、与用于执行基于帧的编 码处理的语法单元对应的上下文模型或与用于执行基于场的编码处理的语法单元对应的 上下文模型进行了编码的图像压缩信息进行解码，其中满足表达式ctX_fifr_flag(C)= a+2b,其中ctx_f ifr_f lag (C)是与宏块C的帧/场标志相关的上下文模型，而a和b是与 宏块C相邻的相应宏块A和B的帧/场标志的值。第二记录介质上的根据本发明的程序包括解码步骤，用于对利用与表示在宏块 级的编码处理是基于场还是基于帧的编码处理的帧/场标志对应的上下文模型、与用于执 行基于帧的编码处理的语法单元对应的上下文模型或与用于执行基于场的编码处理的语 法单元对应的上下文模型进行了编码的图像压缩信息进行解码。根据本发明的第二程序使计算机执行解码步骤，解码步骤用于对利用与表示在宏 块级的编码处理是基于场还是基于帧的编码处理的帧/场标志对应的上下文模型、与用于 执行基于帧的编码处理的语法单元对应的上下文模型或与用于执行基于场的编码处理的 语法单元对应的上下文模型进行了编码的图像压缩信息进行解码。在根据本发明的编码设备、编码方法以及第一程序中，利用对应于表示在宏块级 进行的编码处理是基于场还是基于帧的编码的帧/场标志的上下文模型、与用于进行基于 帧的编码处理的语法单元对应的上下文模型或与用于进行基于场的编码处理的语法单元 对应上下文模型，来进行无损编码。在根据本发明的解码设备、解码方法和第二程序中，对利用对应于表示在宏块级 进行的编码处理是基于场还是基于帧的编码的帧/场标志的上下文模型、与用于进行基于帧的编码处理的语法单元对应的上下文模型或与用于进行基于场的编码处理的语法单元 对应上下文模型进行了编码的图象压缩信息进行解码。编码设备和解码设备可以是互相独立的设备，也可以是在信号处理设备内进行编 码和解码的模块。


图1是示出利用正交变换和运动补偿进行图像压缩的已知图像信息编码设备的 结构的方框图。图2是示出与图1所示图像信息编码设备对应的图像信息解码设备的结构的方框 图。图3是示出算术编码中的符号出现概率与其相应子间隔之间关系的例子。图4是示出算术编码的例子的示意图。图5是示出CABAC编码器的典型结构的方框图。图6是示出MB_type的上下文模型的示意图。图7是示出运动矢量信息MVD的上下文模型的示意图。图8是示出根据上下文模型对运动矢量信息MVD进行编码的示意图。图9是示出在H. 26L内确定的intra预测模式的示意图。图10是示出标记1至5表示的intra预测模式的各方向的示意图。图11A是示出在H.26L内确定的单扫描技术的示意图。图11B是示出在H. 26L内确定的双扫描技术的示意图。图12是示出在H. 26L内确定的对应于(RUN，LEVEL)的上下文模型的示意图。图13是示出不是H. 26L中的MB_type的语法单元进行的二值化过程的示意图。图14A是示出H. 26L中P图像的MB_type的二值化过程的示意图。图14B是示出H. 26L中B图像的MB_type的二值化过程的示意图。图15是示出作为宏块中的运动预测/补偿单元、在H. 26L内确定的几种模式的方 框图。图16是示出用于扩展的图像压缩信息的语法，以致可以在宏块级进行场/帧自适 应编码的示意图。图17是示出在对宏块进行基于场的编码时，重新排列宏块的各像素的示意图。图18是示出在对宏块进行基于场的编码时，被定义为运动预测/补偿单元的5种 模式的示意图。图19是示出在对宏块进行基于场的编码时，intra预测的操作原理的示意图。图20A是示出在对宏块进行基于场的编码时，对宏块进行intra预测的操作原理 的示意图。图20B是示出在对宏块进行基于场的编码时，对宏块进行intra预测的操作原理 的示意图。图21是示出在对宏块进行基于场的编码耐，对色度信号进行intra预测的操作原 理的示意图。图22是示出在对宏块进行基于场的编码时，用于编码色度信号的剩余分量的操作原理的示意图。图23是示出H. 26L规定的多帧预测的示意图。图24是示出在对宏块进行基于场的编码时，用于预测运动矢量信息的方法的示 意图。图25A是示出在H. 26L规定的预测模式下，产生运动矢量信息的预测值的示意图。图25B是示出在H. 26L规定的预测模式下，产生运动矢量信息的预测值的示意图。图25C是示出在H. 26L规定的预测模式下，产生运动矢量信息的预测值的示意图。图25D是示出在H. 26L规定的预测模式下，产生运动矢量信息的预测值的示意图。图26是示出根据本发明实施例的图像信息编码设备的典型结构的方框图。图27是示出图26所示算术编码部分58的典型结构的方框图。图28A是示出在对宏块进行基于场的编码时，用于二值化属于P图像的宏块的MB_ type的表的图。图28B是示出在对宏块进行基于场的编码时，用于二值化属于B图像的宏块的MB_ type的表的图。图29是示出根据本发明实施例的图像信息解码设备、对应于图26所示图像信息 编码设备的解码设备的典型结构。
具体实施例方式现在，将参考图26说明对其应用本发明的图像信息编码设备。即使在输入图像信 息基于隔行扫描格式时，相关的图像信息编码设备也能够采用CABAC方案进行编码。在相关的图像信息编码设备中，A/D变换部分51将作为模拟信号的输入图像信号 变换为数字信号，然后，将它输出到图像分类缓冲器52。根据从相关的图像信息编码设备输 出的图像压缩信息的G0P结构，图像分类缓冲器52重新排列A/D变换部分51输出的输入 图像，然后，将它输出到加法器54。场/帧确定部分53确定基于帧的编码和基于场的编码哪个可以提供更高的编码 效率，以对要处理的图像的宏块进行编码，产生正确的帧/场标志，然后，将该结果输出到 场/帧变换部分55和算术编码部分58。在对要处理的宏块进行inter编码时，加法器54产生通过场/帧确定部分53的 输入图像与运动预测/补偿部分64输出的基准图像的微分图像(differential image)，然 后，将微分图像输出到场/帧变换部分55和正交变换部分56。另一方面，当对要处理的宏 块进行intra编码时，加法器54通过场/帧确定部分53将输入图像原样输出到场/帧变 换部分55以及正交变换部分56。在对要处理的图像进行基于场的编码时，场/帧变换部分55将来自加法器的输入 图像变换为场结构，然后，将该结果输出到正交变换部分56。正交变换部分56对输入图像 信息进行正交变换(例如，离散余弦变换或Karhimen-Loeve变换)，然后，将获得的变换系 数提供给量化部分57。在速率控制部分65的控制下，量化部分57对正交变换部分56提供 的变换系数进行量化处理。 根据CABAC方案，算术编码部分58对从量化部分57和运动预测/补偿部分64输 入的每个语法单元以及来自场/帧确定部分53的帧/场标志进行算术编码，然后，将该结果送到累积缓冲器59进行累积。累积缓冲器59将累积的图像压缩信息输出到后续级。去量化部分60去量化被量化的正交变换系数，然后，将它输出到逆正交变换部分 61。逆正交变换部分61对去量化变换系数进行逆正交变换处理，产生解码的图像信息，将它送到帧存储器62，进行累积。在对要处理的宏块进行基于场的编码时，场/帧变换部分63将累积在帧存储器62内的解码图像信息变换为场结构，然后，将它输出到运动预测/补偿部分64。通过进行运动预测处理，运动预测/补偿部分64产生最佳预测模式信息和运动矢 量信息，然后，将它输出到算术编码部分58。此外，运动预测/补偿部分64产生预测图像， 以将它输出到加法器54。根据累积在累积缓冲器59内的数据的数量，速率控制部分65对量化部分57的操作进行反馈控制。根据记录在记录介质67上的控制程序，控制部分66对 相关的图像信息编码设备的每个部分进行控制。现在，将参考图27说明算术编码部分58的操作原理。图27示出算术编码部分58 的典型结构。在输入图像压缩信息的语法单元中，首先利用算术编码部分58内的帧/场标 志上下文模型91，对图16所示的帧/场标志进行编码。在对要处理的宏块进行基于帧的编码时，采用当前的H.26L标准规定的基于帧的 上下文模型92。对于具有非二值化值的语法单元，这样的值被二值化部分93 二值化，然后， 进行算术编码。另一方面，当对要处理的宏块进行场编码时，对以下所述语法单元应用基于场的 上下文模型94。对于具有非二值化值的语法单元，这样的值被二值化部分95 二值化，然后， 进行算术编码。更具体地说，第一语法单元是I图像的MB_type，第二语法单元是P/B图像 的MB_type，第三语法单元是运动矢量信息，第四语法单元是基准场参数，第五语法单元是 intra预测模式。下面的描述假定如图6所示排列宏块A、B和C。现在，说明与帧/场标志有关的 上下文模型。根据如下所示的表达式(21)，确定与宏块C的帧/场标志有关的上下文模型 ctx_fifr_flag(C)。ctx_fifr_flag(C) = a+2b...(21)在表达式(21)中，a和b分别是宏块A和B的帧/场标志的值。现在，说明与I图像的MB_type有关的上下文模型。在帧/场标志是1时，根据如 下所示的表达式(22)，确定对应于包括在I图像内的宏块C的MB_type的上下文模型ctx_ mb_type_intra_field(C)，与利用表达式(3)相同。ctx_mb_type_intra_field(C) = A+B. . . (22)表达式(22)中的A和B与表达式(3)中的各相应部分相同。而与是否对相邻宏 块A和B进行基于场的编码或基于帧的编码无关。现在，说明与P/B图像的MB_type有关的上下文模型。当宏块C包括在P图像内时， 根据如下所示的表达式(23)，确定对应于宏块C的MB_type的上下文模型ctX_mb_type_ inter_field(C)。此外，当宏块C包括在B图像中时，根据如下所示的表达式(24)，确定对 应于宏块 C 的 MB_type 的上下文模型 ctx_mb_type_inter_f ield (C)。ctx_mb_type_inter_field (C)<formula>formula see original document page 18</formula>. . . (23)
18
ctx_mb_type_inter_field (C)= ((A == direct) ？ 0:1)+2((B == direct) ？ 0:1) . . . (24)表达式(23)中的算子((A= = skip) ？ 0 1)和((B = = skip) ？ 0:1)与表达式 ⑷中的算子相同，而表达式(24)中的算子((A = = Direct) ？ 0 1)和((B = = Direct) ？ 0:1)与表达式(5)中的算子相同。与是否对相邻宏块A和B进行基于场的编码还是基于帧 的编码无关。根据图28A所示的表，二值化未二值化的P图像的MB_type。此外，根据图28B所 示的表，二值化未二值化的B图像的MB_type。在自适应二进制算术编码部分96中，概率估计部分97对二值化符号进行概率估 计，然后，根据概率估计，编码引擎98进行自适应算术编码。在进行了自适应算术编码处理 后，更新相关模型。这使得每个模型能够根据实际图像压缩信息的统计数据进行编码处理。对于对其进行基于帧的编码的宏块，如果该宏块属于P图像，则确定10种MB_ type。另一方面，对于对其进行基于场的编码的宏块，如果宏块属于P图像，则不定义上述 16种类型的模型中的16X16模式和8X16模式。总之，对于对其进行了基于场的编码的与 P图像相关的宏块，确定8种类型的MB_type。对于对其进行基于帧的编码的、与B图像相关的宏块，定义18种类型的MB_type。 另一方面，对于对其进行了基于场的编码并且属于B图像的宏块，未在上述18种模式中确 定正向16X16模式、反向16X16模式、正向8X16模式以及反向8X16模式。总之，对于 对其进行了基于场的编码的、与B图像有关的宏块，确定14种类型的MB_type。现在，将说明运动矢量信息的上下文模型。当帧/场标志的值是1时，根据如下所 示的表达式(25-1)至(25-3)，确定对应于宏块C的运动矢量信息的第一至第三上下文模型 ctx_mvd_field(C, k)。ctx_mvd_field(C, k) = 0ek(C) < 3(25-1)ctx_mvd_field(C, k) = 1 32 < ek(C)(25-2)ctx_mvd_field(C, k) = 2 3 彡 ek(C)彡 32(25-3)在表达式(25-1)至(25-3)中，根据如下所示的表达式(26)，确定评估函数。宏块 A和B存在于同一个奇偶场内。ek(C) = mvdk(A) | + |mvdk(B) |. . . (26)如果对宏块A进行了基于帧的编码，对于垂直方向分量的运动矢量信息mvdi (A)， 将根据如下所示表达式(27)计算的mvdl field(A)代入表达式(26)。在对宏块B进行基于 帧的编码时，也可以应用它。mvdlfield(A) = mvdLframe (A)/2 (27)相反，如果对宏块C进行基于帧的编码，并且对相邻块A进行基于场的编码，则对 于mvdk(A)的水平方向分量和垂直方向分量，将根据表达式(28-1)和(28-2)计算的mvdk fr e(A)分别代入表达式(26)。mvd0frame (A) = (mvd0_top (A)+mvd0bottom (A))/2 (28—1)mvdLframe (A) = mvdi t。p (A) +mvdl bottom (A) (28-2)现在，说明与基准场参数相关的上下文模型。当帧/场标志的值是1时，根据如下所示的表达式(29-1)，确定对应于第一场的第一上下文模型ctX_ref_field_top(C)。此 夕卜，根据如下所示的表达式(29-2)，定义对应于第二场的第一上下文模型ctX_ref_field_ bot(C)。
ctx_ref_field_top(C) = at+2bt. · · (29—1)ctx_ref_field_bot(C) = ab+2bb· · · (29—2)在表达式(29-1)至(29-2)中，参数at与相邻宏块A的第一场相关，参数ab与相 邻宏块A的第二场相关，参数bt与相邻宏块B的第一场相关，参数bb与相邻宏块B的第二 场相关，正如如下所示的表达式(30-1)和(30-2)确定的那样。at, ab, bt, bb = 0(当基准场是紧接先前编码场时)...(30-1)at, ab, bt, bb = 1(否则)...(30-2)以与利用表达式(8)所示的上下文模型CtX_ref_frame (C)同样方式，分别确定对 应于第二 bin和后续bin的上下文模型。然而，应该注意，不是对帧而是对场分配要编码的 Code—numberο现在，将说明与intra预测模式有关的上下文模型。在帧/场标志的值是1时，在 帧模式下，以与用于宏块的上下文模型CtX_intra_pred(C)同样的方式，定义与对应于宏 块C的intra预测模式相关的上下文模型ctX_intra_pred_f ield (C)。对相邻宏块A进行 基于场的编码还是进行基于帧的编码无关紧要。如上所述，通过引入新上下文模型并改变现有上下文模型，可以进行采用CABAC 方案的场/帧编码。图29示出对应于图26所示图像信息编码设备的解码设备的典型结构。在相关的图像信息解码设备中，累积缓冲器101累积输入图像压缩信息，然后，在 需要时，将它输出到算术解码部分102。算术解码部分102对根据CABAC方案编码的图像压 缩信息进行算术解码，将解码的帧/场标志输出到场/帧变换部分105和110，将量化的正 交变换系数输出到去量化部分103，以及将预测模式信息和运动矢量信息输出到运动预测 /补偿部分111。去量化部分103去量化算术解码部分102解码的被量化的正交变换系数。逆正交 变换部分104对去量化的正交变换系数进行逆正交变换。如果已经对要处理的宏块进行了 基于场的编码，则场/帧变换部分105将作为逆正交变换的结果获得的输出图像或微分图 像变换为帧结构。如果要处理的宏块是inter宏块，则加法器106将来自逆正交变换部分104的微 分图像和来自运动预测/补偿部分111的基准图像组合在一起，以产生输出图像。根据输 入图像压缩信息的GOP结构，图像分类缓冲器107重新排列输出图像，然后，将它输出到D/ A变换部分108。D/A变换部分108将作为数字信号的输出图像变换为模拟信号，然后，将它 输出到后续级。帧存储器109存储加法器106产生的图像信息，即从其产生基准图像的图像信息。 在已对要处理的宏块进行基于场的编码时，场/帧变换部分110将存储在帧存储器111内 的图像信息变换为场结构。根据包括在图像压缩信息内的每个宏块的预测模式信息和运动矢量信息，运动预测/补偿部分ill利用存储在帧存储器内的图像信息产生基准图像，然 后，将该基准图像输出到加法器106。根据如上构造的图像信息解码设备，可以将图26所示的图像信息编码设备输出的图像压缩信息解码为原始图像信息。不仅可以利用硬件并且可以利用软件实现上述一系列处理过程。如果利用软件实 现这一系列处理过程，则将构成该软件的程序从图26所示的记录介质67安装到内置在专 用硬件中的计算机内，或者安装到例如需要安装程序以执行相应功能的通用个人计算机。记录介质67可以是封装介质，该封装介质包括磁盘(包括软盘)；光盘(包括 压缩光盘-只读存储器，即，CD-ROM和数字通用光盘，S卩，DVD)；磁光盘(包括小型光盘、即 MD)；或者半导体存储器，如果单独由用户计算机提供这种程序。如果通过预先安装在用户 计算机上的方式提供记录介质上的程序，则该记录介质可以是ROM或用户计算机的硬盘。在本发明中，记录在记录介质上的程序步骤可以采用也可以不采用所描述步骤的 时间顺序。此外，可以并行执行也可以互相独立执行各步骤。工业应用如上所述，根据本发明，即使在输入图像信息具有隔行扫描格式时，仍可以执行采 用CABAC方案的场/帧编码过程。此外，根据本发明，通过解码具有在宏块级利用CABAC方案进行场/帧编码的隔行 扫描格式的图像信息的压缩图像信息，可以恢复隔行扫描格式的图像信息。
权利要求
一种编码设备，该编码设备以图像信息作为输入在宏块级执行基于场或基于帧的编码处理，其特征在于，具备第一生成单元，生成与场/帧标记对应的上下文模型，其中所述场/帧标记表示将所述宏块级的所述编码处理设为所述基于场的编码处理还是设为所述基于帧的编码处理；第二生成单元，在对目前宏块的相邻宏块进行基于帧的编码处理，并且对所述目前宏块进行基于场的编码处理的情况下，将除以所述相邻的宏块的垂直方向分量的运动矢量信息而算出的值应用于与目前宏块的运动矢量相关的上下文模型中，根据与目前宏块相邻的宏块的运动矢量信息生成与所述目前宏块的语法要素对应的上下文模型；以及编码单元，利用来自所述第二生成单元的结果执行所述编码处理。
2.如权利要求1所述的编码设备，其特征在于，所述第二生成单元将所述相邻的宏块的垂直方向分量的运动矢量信息除以2而算出 的值应用于与目前宏块的运动矢量相关的上下文模型中。
3.如权利要求1所述的编码设备，其特征在于，所述第二生成单元根据对相邻于所述目前宏块的宏块的运动矢量信息的绝对值和，生 成与目前宏块C的运动矢量相关的上下文模型。
4.如权利要求1所述的编码设备，其特征在于，所述第二生成单元在对所述目前宏块C进行基于场的编码的情况下，根据利用 与所述目前宏块C相邻的宏块A、B各自的运动矢量信息而算出的评估函数ek(C)= Imvdk(A) +Imvdk(B) |的值，生成与所述目前宏块C的运动矢量信息对应的第一至第三上下 文模型ctX_mVd_field(C，k)，其中Imvdk㈧|和Imvdk(B) |是与宏块C相邻的相应宏块A 和宏块B的运动矢量信息。
5.如权利要求4所述的编码设备，其特征在于，如果对所述目前宏块C进行基于场的编 码，并且已对与所述宏块C相邻的所述宏块X进行了基于帧的编码，则通过根据表达式HlVd1 field(X) = Hivd1 frame(X)/2，将对应于宏块X的运动矢量的垂直分量Hivd1 fMme00换算为基于 场的编码的等效值，来计算评估函数ek(C)，其中X是A或B。
6.一种编码方法，该编码方法以图像信息作为输入在宏块级执行基于场或基于帧的编 码处理，其特征在于，具备第一生成步骤，生成与场/帧标记对应的上下文模型，其中所述场/帧标记表示将所述 宏块级的所述编码处理设为所述基于场的编码处理还是设为所述基于帧的编码处理；第二生成步骤，在对目前宏块的相邻宏块进行基于帧的编码处理，并且对所述目前宏 块进行基于场的编码处理的情况下，将除以所述相邻的宏块的垂直方向分量的运动矢量信 息而算出的值应用于与目前宏块的运动矢量相关的上下文模型中，根据与目前宏块相邻的 宏块的运动矢量信息生成与所述目前宏块的语法要素对应的上下文模型；以及编码步骤，利用来自所述第二生成步骤的结果执行所述编码处理。
全文摘要
最好应用于对图像信号编码，以便以比传统压缩率高的压缩率执行传输或存储的编码设备和方法、解码设备和方法、记录介质以及程序。在算术编码单元(58)，首先利用帧/场标志上下文模型(91)对帧/场标志(收到的图像压缩信息的语法单元之一)执行编码。在对要处理的宏块进行基于帧的编码时，应用当前由H.26L标准定义的帧基(frame base)上下文模型(92)。相反，在对要处理的宏块执行场编码时，对其它语法单元应用场基上下文模型(94)。本发明可以应用于用于对图像信息编码的编码器和用于对图像信息解码的解码器。
文档编号H04N7/26GK101800898SQ200910222810
公开日2010年8月11日 申请日期2003年4月22日 优先权日2002年4月26日
发明者佐藤数史, 春原修, 矢崎阳一, 铃木辉彦 申请人:索尼株式会社