解码装置及解码方法

专利名称：解码装置及解码方法
技术领域：
本发明涉及一种对图像数据进行编码的编码装置、编码方法及其程序、以及对图 像数据进行解码的解码装置、解码方法及其程序。
背景技术：
近年来，作为图像数据数字进行处理，此时以高效的信息传输、存储为目的，利用 图像信息特有的冗余性，继通过离散余弦变换(DCT=Discrete Cosine Transform)等正交 变换和运动补偿进行压缩的MPEG (Moving Picture Experts Group 运动图像专家组)之 后，遵循压缩率更高的H. 264/AVC (Advanced Video Coding 先进视频编码)等编码方式的 编码装置以及解码装置在播送站等信息发布和普通家庭中的信息接收的双方正在普及。当前，正在进行着以该H. 264/AVC为基础扩展了可量测性功能的所谓 SVC(Scalable Video Coding 可伸缩视频编码)的标准化。SVC的当前规格归纳在 JSM(Joint Scalable Video Model 联合可伸缩视频模型)中。在SVC的编码装置中，输入图像通过图像层次化电路例如被分离为上位层以及下 位层这两个层次。之后，由上位层编码电路对上位层进行编码，下位层编码电路对下位层进 行编码。而且，将进行了编码的上位层和下位层进行多路复用来传输。下位层还被称为基础层，是像质低的层次。在只对下位层的位流进行解码的情况 下，像质比较低的图像被解码。另外，下位层作为像质还包括更重要的信息。上位层还被称为增强层，是用于改善像质、对高像质的图像进行解码的层次。在对 下位层的位流进行解码的基础上对上位层的位流进行解码的情况下，能够对更高像质的图 像进行解码。在上述的编码装置中，在上位层编码电路中进行内编码的情况下，能够将由下位 层编码电路进行编码后进行了解码的解码图像用作预测图像。

发明内容
发明要解决的问题在进行上述现有层次编码的编码装置中，前提是在上位层以及下位层双方对逐行 扫描图像数据进行编码。然而，有在如下的要求想在上位层中对逐行扫描图像数据进行编码，在下位层中 对隔行扫描图像进行编码。根据以上，希望提供在进行层次编码的情况下能够在上位层中对逐行扫描图像数 据进行编码、在下位层中对隔行扫描图像数据进行编码的编码装置、编码方法以及程序。另外，希望提供能够对在上位层中编码了的逐行扫描图像数据和在下位层中编码了的隔行扫描图像数据进行解码的解码装置、解码方法以及程序。用于解决问题的方案本发明的第1实施方式的编码装置是对逐行扫描图像数据和与该逐行扫描图像 数据对应的隔行扫描图像数据进行编码的编码装置，具备第1编码部，其生成对构成上述 隔行扫描图像数据的图片数据进行了编码的第1编码数据和对上述第1编码数据进行解 码而重新构成的重新构成图像数据；上采样处理部，其对上述第1编码部生成的上述重新 构成图像数据进行上采样，生成分辨率与上述逐行扫描图像数据相同的图像数据；以及第 2编码部，其将上述上采样处理部生成的上述图像数据作为预测图像数据，对构成上述逐行 扫描图像数据的图片数据进行编码而生成第2编码数据。另外，本发明的编码装置是对逐行扫描图像数据和与该逐行扫描图像数据对应的 隔行扫描图像数据进行编码的编码装置，具备第1编码单元，其生成对构成上述隔行扫描 图像数据的图片数据进行了编码的第1编码数据和对上述第1编码数据进行解码而重新构 成的重新构成图像数据；上采样处理单元，其对上述第1编码单元生成的上述重新构成图 像数据进行上采样，生成分辨率与上述逐行扫描图像数据相同的图像数据；以及第2编码 单元，其将上述上采样处理单元生成的上述图像数据作为预测图像数据，对构成上述逐行 扫描图像数据的图片数据进行编码而生成第2编码数据。本发明的第2实施方式的编码方法是对逐行扫描图像数据和与该逐行扫描图像 数据对应的隔行扫描图像数据进行编码的编码方法，具有第1工序，生成对构成上述隔行 扫描图像数据的图片数据进行了编码的第1编码数据和对上述第1编码数据进行解码而重 新构成的重新构成图像数据；第2工序，对由上述第1工序生成的上述重新构成图像数据进 行上采样，生成分辨率与上述逐行扫描图像数据相同的图像数据；以及第3工序，将由上述 第2工序生成的上述图像数据作为预测图像数据，对构成上述逐行扫描图像数据的图片数 据进行编码而生成第2编码数据。本发明的第3实施方式的程序是使对逐行扫描图像数据和与该逐行扫描图像数 据对应的隔行扫描图像数据进行编码的计算机执行的程序，使上述计算机执行第1过程， 生成对构成上述隔行扫描图像数据的图片数据进行了编码的第1编码数据和对上述第1编 码数据进行解码而重新构成的重新构成图像数据；第2过程，对由上述第1过程生成的上述 重新构成图像数据进行上采样，生成分辨率与上述逐行扫描图像数据相同的图像数据；以 及第3过程，将由上述第2过程生成的上述图像数据作为预测图像数据，对构成上述逐行扫 描图像数据的图片数据进行编码而生成第2编码数据。本发明的第4实施方式的解码装置是对第1编码数据和第2编码数据进行解码的 解码装置，所述第1编码数据是对逐行扫描图像数据进行编码而得到的数据，所述第2编码 数据是对与上述逐行扫描图像数据对应的隔行扫描图像数据进行编码而得到的数据，该解 码装置具备第1解码部，其对上述第2编码数据进行解码；上采样处理部，其对通过上述 第1解码部中的解码而生成的第1预测图像数据进行插值处理，生成第2预测图像数据；以 及第2解码部，其根据在上述上采样处理部中生成的上述第2预测图像数据，对上述第1编 码数据进行解码。另外根据本发明，是对第1编码数据和第2编码数据进行解码的解码装置，所述第 1编码数据是对逐行扫描图像数据进行编码而得到的数据，所述第2编码数据是对与上述逐行扫描图像数据对应的隔行扫描图像数据进行编码而得到的数据，该解码装置具备第 1解码单元，其对上述第2编码数据进行解码；上采样处理单元，其对通过上述第1解码单 元中的解码而生成的第1预测图像数据进行插值处理，生成第2预测图像数据；以及第2解 码单元，其根据在上述上采样处理单元中生成的上述第2预测图像数据，对上述第1编码数 据进行解码。本发明的第5实施方式的解码方法是对第1编码数据和第2编码数据进行解码的 解码方法，所述第1编码数据是对逐行扫描图像数据进行编码而得到的数据，所述第2编码 数据是对与上述逐行扫描图像数据对应的隔行扫描图像数据进行编码而得到的数据，该解 码方法具有第1工序，对上述第2编码数据进行解码；第2工序，对通过上述第1工序中的 解码而生成的第1预测图像数据进行插值处理，生成第2预测图像数据；以及第3工序，根 据由上述第2工序生成的上述第2预测图像数据，对上述第1编码数据进行解码。本发明的第6实施方式的程序是使对第1编码数据和第2编码数据进行解码的计 算机执行的程序，所述第1编码数据是对逐行扫描图像数据进行编码而得到的数据，所述 第2编码数据是对与上述逐行扫描图像数据对应的隔行扫描图像数据进行编码而得到的 数据，该程序使上述计算机执行第1过程，对上述第2编码数据进行解码；第2过程，对通 过上述第1过程中的解码而生成的第1预测图像数据进行插值处理，生成第2预测图像数 据；以及第3过程，根据由上述第2过程生成的上述第2预测图像数据，对上述第1编码数 据进行解码。发明的效果根据本发明，可提供在进行层次编码的情况下能够在上位层中对逐行扫描图像数 据进行编码、在下位层中对隔行扫描图像数据进行编码的编码装置、编码方法以及程序。另外，根据本发明可提供能够对在上位层中编码了的逐行扫描图像数据和在下位 层中编码了的隔行扫描图像数据进行解码的解码装置、解码方法以及程序。


图1是表示本发明实施方式的编码/解码系统的结构例的图。图2是图1所示的编码/解码系统中的编码装置的框图。图3是用于说明图2所示的逐行扫描图像数据和隔行扫描图像数据的图。图4是用于说明图2所示的下位层编码电路的结构例的图。图5是用于说明图2所示的变换电路的结构例的图。图6A、图6B是用于说明图5所示的场内预测图像生成电路的处理示例的图。图7是用于说明图5所示的帧内预测图像生成电路的处理示例的流程图。图8A、图8B是用于说明图5所示的场内预测图像生成电路的处理示例的图。图9A、图9B是用于说明图5所示的帧内预测图像生成电路的处理示例的图。图10是用于说明图5所示的帧内预测图像生成电路的处理示例的流程图。图11是用于说明图5所示的帧内预测图像生成电路的处理示例的图。图12是用于说明图5所示的帧内预测图像生成电路的处理示例的图。图13是表示图2所示的上位层编码电路的结构例的图。图14是表示图13所示的下位层预测电路的结构图例的图。
图15是表示图1所示的编码/解码系统中的解码装置的结构例的图。图16是表示图15所示的下位层解码电路的结构例的图。图17是表示图15所示的变换电路的结构例的图。图18是表示图15所示的上位层解码电路的结构例的图。图19是用于说明本发明的实施方式的变形例的图。附图标记说明1 编码/解码系统；2 编码装置；3 解码装置；10 层次化电路；11 延迟电路； 12 下位层编码电路；13 变换电路；14 上位层编码电路；15 多路复用电路；21 场内预测 图像生成电路；22 帧内预测图像生成电路；23、123 画面重新排列电路；31、131 运算电 路；32、132 正交变换电路；33、133 量化电路；34、134 速率控制电路；35、135 可逆编码 电路；36、136 缓冲存储器；37、137 逆量化电路；38、138 逆正交变换电路；39、139 加法 电路；40,140 解块滤波器(r 7" 口v夕7 ^义夕)；41,141 帧存储器；42,142 内预测电 路；43、143 运动预测/补偿电路；51 分离电路；52 延迟电路；53 下位层解码电路；54 变换电路；55 上位层解码电路；56 重新构成电路；60、160 蓄积缓冲器；61、161 可逆解 码电路；62、162 逆量化电路；63、163 逆正交变换电路；64、164 加法电路；65、165 解块 滤波器；66,166 帧存储器；67,167 画面重新排列缓冲器；69、169 内预测电路；70,170 运动预测/补偿电路；145 下位层预测电路。
具体实施例方式图1是本实施方式的编码/解码系统的概念图。编码/解码系统1具有设置在发送侧的编码装置2和设置在接收侧的解码装置 3。在编码/解码系统1中，在发送侧的编码装置2中，生成利用离散余弦变换(DCT)、 KL(Karhunen-Loeve 卡路南-赖佛)变换等正交变换和运动补偿对图像数据进行了压缩 (编码)的帧编码图像数据(位流)，在对该帧编码图像数据进行调制后，通过卫星播放波、 线缆TV网、电话线路网、便携电话线路网等传送介质5发送。在接收侧，对在解码装置3中接收到的编码图像信号进行解调后，生成利用上述 调制时的正交变换的逆变换和运动补偿而进行了扩展的帧图像数据并利用。传送介质5不限于上述的通信网，也可以是光盘、磁盘以及半导体存储器等记录 介质。在本实施方式中，例如如图2所示，层次化电路10根据编码对象的图像数据S9，生 成逐行扫描图像数据(逐行扫描图像信号)S10_l和隔行扫描图像数据S10_2。下位层编码电路12对隔行扫描图像数据S10_2进行编码，生成下位编码数据S12。变换电路13对下位层编码电路12生成的下位预测图像数据L_PRE进行插值(上 采样)处理，生成分辨率(扫描线数)与逐行扫描图像数据S10_l相同的下位预测图像数 据L_PREb，并将其输出到上位层编码电路14。上位层编码电路14根据下位预测图像数据！^？！^比对逐行扫描图像数据510_1进 行编码而生成上位编码数据S14。<编码装置>
参照图1说明编码装置2。图2是表示编码装置2的整体结构例的图。编码装置2例如具有层次化电路10、延迟电路11、下位层编码电路12、变换电路 13、上位层编码电路14以及多路复用电路15。[层次化电路]例如图3所示，层次化电路10根据编码对象的图像数据S9，生成逐行扫描图像数 据(逐行扫描图像信号)S10_1和隔行扫描图像数据S10_2。另外，层次化电路10将构成上 述生成的逐行扫描图像数据S10_l的图片数据FR1 6…的各个写入延迟电路11。逐行扫描图像数据S10_l例如是60帧/秒(60p)。另外，层次化电路10将构成上述生成的隔行扫描图像数据S10_2的图片数据 FI1 6…输出到下位层编码电路12。隔行扫描图像数据S10_2例如是60场/秒(60i)。[延迟电路]延迟电路11将构成从层次化电路10输入的逐行扫描图像数据(逐行扫描信号) S10_l的各图片数据延迟例如下位层编码电路12以及变换电路13中的处理时间，输出到上 位层编码电路14。[下位层编码电路]下位层编码电路12对从层次化电路10输入的隔行扫描图像数据S10_2进行编 码，生成下位编码数据S12，并将其输出到多路复用电路15。另外，下位层编码电路12在上 述编码中生成下位预测图像数据L_PRE，并将其输出到变换电路13。图4是表示下位层编码电路12的结构例的图。下位层编码电路12例如具有画面重新排列电路23、运算电路31、正交变换电路
32、量化电路33、速率控制电路34、可逆编码电路35、缓冲存储器36、逆量化电路37、逆正交 变换电路38、加法电路39、解块滤波器40、帧存储器41、内预测电路42以及运动预测/补 偿电路43。画面重新排列电路23例如根据由图片类型I、P、B构成的G0P(Group Of Pictures 图片组)构造，按进行编码的顺序重新排列从图2所示的层次化电路10输入的 逐行扫描图像数据S10_2，输出到运算电路31、内预测电路42以及运动预测/补偿电路43。运算电路31生成下述图像数据，并将其输出到正交变换电路32，其中，所述图像 数据表示从画面重新排列电路23输入的编码对象的图片数据与从内预测电路42或者运动 预测/补偿电路43输入的预测图像数据PI的差分。正交变换电路32对从运算电路31输入的图像数据实施离散余弦变换(DCT)、KL 变换等正交变换，生成表示变换系数的图像数据(例如DCT系数)，并将其输出到量化电路33。量化电路33根据从速率变换电路34输入的量化比例QS对从正交变换电路32输 入的图像数据(量化前的变换系数)进行量化，生成表示量化后的变换系数的图像数据，并 将其输出到可逆编码电路35以及逆量化电路37。速率控制电路34例如根据从缓冲存储器36读出的图像数据而生成量化比例QS， 并将其输出到量化电路33。
可逆编码电路35将对从量化电路33输入的图像数据进行了可变长编码的图像数 据保存到缓冲存储器36中。另外，可逆编码电路35将从运动预测/补偿电路43输入的运 动向量MV或其差分运动向量、参照图像数据的识别数据以及从内预测电路42输入的内预 测模式保存到头数据(head data)等中。保存到缓冲存储器36中的图像数据作为下位编码数据S12而被图2所示的多路 复用电路15读出。逆量化电路37对来自量化电路33的图像数据实施与量化电路33的量化对应的 逆量化处理，生成由此得到的数据，并将其输出到逆正交变换电路38。逆正交变换电路38将对从逆量化电路37输入的数据实施正交变换电路32中的 正交变换的逆变换而生成的图像数据输出到加法电路39。加法电路39将从逆正交变换电路38输入的(被解码的)图像数据和从内预测电 路42或运动预测/补偿电路43输入的预测图像数据PI相加，生成参照(重新构成)图片 数据，并将其输出到解块滤波器40。解块滤波器40去除从加法电路39输入的参照图片数据的块失真而写入帧存储器 41。写入帧存储器41的参照图片数据作为下位预测图像数据L_PRE而从帧存储器41 读出，例如输出到图2所示的变换电路13。内预测电路42在进行内编码的宏块中决定残差成为最小的内预测模式以及预测 块的块大小。内预测电路42作为块大小而使用4X4以及16X 16像素。内预测电路42在选择了内预测的情况下，将利用内预测的预测图像数据PI输出 到运算电路31以及加法电路39。运动预测/补偿电路43根据在已经编码后被局部解码而存储在帧存储器41中的 参照图片数据REF进行运动预测，决定使残差最小的运动向量以及运动补偿的块大小。运动预测/补偿电路43作为块大小，使用16X16、16X8、8X16、8X8、8X4、4X8 以及4X4像素。运动预测/补偿电路43在选择了内预测的情况下，将利用内预测的预测图像数据 PI输出到运算电路31以及加法电路39。[变换电路]参照图2说明变换电路13。变换电路13对从下位层编码电路12输入的下位预测图像数据L_PRE进行插值处 理，生成分辨率(扫描线数)与从延迟电路11输入到上位层编码电路14的逐行扫描图像 数据S10_l相同的下位预测图像数据L_PREb，并将其输出到上位层编码电路14。图5是表示变换电路13的结构例的图。变换电路13例如具有场内预测图像生成电路21和帧内预测图像生成电路22。在说明变换电路13的处理内容之前，将本实施方式中使用的用语定义为如下。例如，将与逐行扫描图像数据S10_l的帧图片数据X具有相同的时间戳(夕^ ”、“、的隔行扫描图像数据S10_2的场图片数据Y，称为图片数据X的基础图片数据。 在图3的例子中，场图片数据FI1是帧图片数据FR1的基础图片数据。
在作为帧图片数据X的基础图片数据的场图片数据Y内，存在与逐行扫描图像数 据S10_l的帧图片数据X的宏块MBX对应的一个基础块MBY。基础块MBY以与宏块MBX相同长度的宽度，具有一半的高度。在此，在相对于帧图片数据X的左上的像素位置而位于基础块MBX的左上的像素 位置的空间位置(xP，yP)上的情况下，基础块MBY的左上的像素位置位于空间位置(xP， yP/2)上。将前场(top field)数据和其后续的后场(bottom field)数据称为补充场对。在一个补充场对内，前场数据是相同的对内的后场数据的补充场数据，后场数据 是相同的对内的前场数据的补充场数据。例如在图3中，由场数据FI1和FI2构成补充场 对，场数据FI2是场数据FI1的补充场数据，场数据FI1是场数据FI2的补充场数据。研究构成补充场对的场数据A、B。在块MBA的左上的像素位置相对于场数据A的左上的像素位置具有空间位置(xP_ A，yP_A)、块MBB的左上的像素位置相对于场数据B的左上的像素位置具有空间位置(xP_B， yP_B)的情况下，块MBA和MBB具有相同的大小，在空间位置(xP_A，yP_A)和空间位置(xP_ B，yP_B)相同的情况下，块MBA是块MBB的补充块，块MBB是块MBA的补充块。在从下位层编码电路12输入的下位预测图像数据L_PRE是前场数据的情况下，如 图6A所示，场内预测图像生成电路21对与编码对象(当前)的宏块MB对应的下位预测图 像数据L_PRE内的基础块数据只使用其前场数据进行上采样处理，生成分辨率与逐行扫描 图像数据S10_l相同的下位预测图像数据L_PREb(FI)。在从下位层编码电路12输入的下位预测图像数据L_PRE是后场数据的情况下，如 图6B所示，场内预测图像生成电路21对与编码对象的宏块MB对应的下位预测图像数据L_ PRE内的基础块数据只使用其后场数据进行上采样处理，生成分辨率与逐行扫描图像数据 S10_l相同的下位预测图像数据L_PREb(FI)。图7是用于说明图5所示的场内预测图像生成电路21的处理的一个例子的流程 图。场内预测图像生成电路21进行下述处理。在下面的说明中，设下位预测图像数据L_PRE内的基础块数据的线数为N。另外， 将基础块数据的第i个线数据设为Base [i]。在此，i是“0” “N-1”的整数。图7所示的步骤ST12 ST15表示图6A以及图8A所示的前场的上采样处理，图 7所示的步骤ST16 ST19表示图6B以及图8B所示的后场的上采样处理。步骤ST11:场内预测图像生成电路21在从下位层编码电路12输入的下位预测图像数据L_ PRE是前场数据的情况下进入步骤ST12，否则进入步骤ST16。步骤ST12:场内预测图像生成电路21将基础块数据的第i个线数据Base[i]复制到下位预 测图像数据L_PREb内的对应的预测块数据的第2i个线数据PRED[2i]。S卩，场内预测图像生成电路21通过上述复制，生成线数据PRED
，[2]，…， [2N-2]。步骤ST13:场内预测图像生成电路21将上述基础块数据的最下线的一个下线数据设为线数据 Base[N]。步骤ST14:场内预测图像生成电路21在线数据PRED[2N]中保存由步骤ST13得到的线数据 Base[N]。步骤ST15:场内预测图像生成电路21通过下述式(1)，将线数据PRED[2i]乘以加权wl的结 果与线数据PRED[2i+2]乘以加权w2的结果进行相加，生成下位预测图像数据L_PREb内的 对应的预测块数据的第2i+l个线数据PRED[2i+l]。PRED[2i+l] = wl*PRED[2i]+w2*PRED[2i+2] ...(1)步骤ST 16:场内预测图像生成电路21将基础块数据的第i个线数据Base[i]复制到下位预 测图像数据L_PREb内的对应的预测块数据的第2i+l个线数据PRED[2i+l]。S卩，场内预测图像生成电路21通过上述复制，生成线数据PRED[1]，[3]，…， [2N-1]。步骤ST17:场内预测图像生成电路21将上述基础块数据的最上线的一个上线数据设为线数 据 Base[-1]。步骤ST18:场内预测图像生成电路21在线数据PRED[_1]中保存由步骤ST17得到的线数据 Base[-1]。步骤ST19:场内预测图像生成电路21通过下述式(2)，将线数据PRED[2i_l]乘以加权wl的 结果与线数据PRED[2i+l]乘以加权w2的结果进行相加，生成下位预测图像数据L_PREb内 的对应的预测块数据的第2i个线数据PRED[2i]。PRED[2i] = wl*PRED[2i-l]+w2*PRED[2i+l] ... (2)步骤ST20:场内预测图像生成电路21将由步骤ST15以及步骤ST19生成的预测块数据的线 数据PRED[i]作为下位预测图像数据1^_ 1 13尔1)而输出到上位层编码电路14。参照图5说明帧内预测图像生成电路22。在从下位层编码电路12输入的下位预测图像数据L_PRE是前场数据的情况下，如 图9A所示，帧内预测图像生成电路22使用与编码对象(当前)的宏块MB对应的下位预测 图像数据L_PRE (前场数据)内的基础块数据Base和该基础块数据的补充块数据Comp (后 场数据)进行上采样处理，生成分辨率与逐行扫描图像数据S10_l相同的下位预测图像数 据 L_PREb(FR)。另外，在从下位层编码电路12输入的下位预测图像数据L_PRE是后场数据的情况 下，如图9B所示，帧内预测图像生成电路22使用与编码对象(当前)的宏块MB对应的下 位预测图像数据L_PRE (后场数据)内的基础块数据Base和该基础块数据的补充块数据 Comp (前场数据)进行上采样处理，生成分辨率与逐行扫描图像数据S10_l相同的下位预测 图像数据L_PREb (FR)。
图10是用于说明图5所示的帧内预测图像生成电路22的处理的一个例子的流程图。在下面的说明中，设下位预测图像数据L_PRE内的基础块数据的线数为N。另外， 将基础块数据的第i个线数据设为Base [i]。在此，i是“0” “N-1”的整数。图10所示的步骤ST32 ST36表示图9A以及图11所示的前场的上采样处理，图 10所示的步骤ST37 ST41表示图9B以及图12所示的后场的上采样处理。步骤ST31:帧内预测图像生成电路22在从下位层编码电路12输入的下位预测图像数据L_ PRE是前场数据的情况下进入步骤ST32，否则进入步骤ST37。步骤ST32:帧内预测图像生成电路22将基础块数据的第i个线数据Base[i]复制到下位预 测图像数据L_PREb内的对应的预测块数据的第2i个线数据PRED[2i]。S卩，场内预测图像生成电路21通过上述复制，生成线数据PRED
，[2]，…， [2N-2]。步骤ST33:帧内预测图像生成电路22将与基础块数据对应的补充块数据的第i个线数据 Comp [i]代入第 2i+l 个线数据 PRED [2i+l]。步骤ST34:场内预测图像生成电路21将上述基础块数据的最下线的一个下线数据设为线数 据 Base[N]。步骤ST35:场内预测图像生成电路21在线数据PRED[2N]中保存由步骤ST34得到的线数据 Base[N]。步骤ST36:场内预测图像生成电路21通过下述式(3)，将线数据PRED[2i]乘以加权wl的结 果、线数据PRED[2i+2]乘以加权w2的结果、以及线数据PRED[2i+l]乘以加权w3的结果相 加，生成下位预测图像数据L_PREb内的对应的预测块数据的第2i+l个线数据PRED[2i+l]。PRED[2i+l] = wl*PRED[2i]+w2*PRED[2i+2]+w3*PRED[2i+l]…(3)步骤ST37:场内预测图像生成电路21将基础块数据的第i个线数据Base[i]复制到下位预 测图像数据L_PREb内的对应的预测块数据的第2i+l个线数据PRED[2i+l]。即，场内预测图像生成电路21通过上述复制，生成线数据PRED[1]，[3]，…， [2N-1]。步骤ST38:帧内预测图像生成电路22将与基础块数据对应的补充块数据的第i个线数据 Comp[i]代入第2i个线数据PRED[2i]。步骤ST39:帧内预测图像生成电路22将上述基础块数据的最上线的一个上线数据设为线数据 Base[-1]。步骤ST40:帧内预测图像生成电路22在线数据PRED[-1]中保存由步骤ST39得到的线数据 Base[-1]。步骤ST41:帧内预测图像生成电路22通过下述式(4)，将线数据PRED[2i_l]乘以加权wl的 结果、线数据PRED[2i+l]乘以加权w2的结果、以及线数据PRED[2i]乘以加权w3的结果进 行相加，生成下位预测图像数据L_PREb内的对应的预测块数据的第2i个线数据PRED [2i]。PRED [2 i] = wl*PRED[2i-l]+w2*PRED[2i+l]+w3*PRED[2i]... (4)步骤ST42:帧内预测图像生成电路22将由步骤ST36以及步骤ST41生成的预测块数据的线 数据PRED[i]作为下位预测图像数而输出到上位层编码电路14。[上位层编码电路]上位层编码电路14使用从变换电路13输入的在下位层编码电路12中生成的下 位预测图像数据L_PREb，对逐行扫描图像数据S10_l进行编码而生成上位编码数据S14。图13是表示上位层编码电路14的结构例的图。上位层编码电路14例如具有画面重新排列电路123、运算电路131、正交变换电路 132、量化电路133、速率控制电路134、可逆编码电路135、缓冲存储器136、逆量化电路137、 逆正交变换电路138、加法电路139、解块滤波器140、帧存储器141、内预测电路142以及运 动预测/补偿电路143。画面重新排列电路123例如根据由图片类型I、P、B构成的G0P构造，按进行编码 的顺序重新排列从图2所示的延迟电路11读出的逐行扫描图像数据S10_l的图片数据，作 为编码对象的图片数据ORG而输出到运算电路131、内预测电路142以及运动预测/补偿电 路 143。运算电路131生成下述图像数据，并将其输出到正交变换电路132，其中，所述图 像数据表示从画面重新排列电路123输入的编码对象的图片数据与从内预测电路142、运 动预测/补偿电路143或者下位层预测电路145输入的预测图像数据PI的差分。正交变换电路132对从运算电路131输入的图像数据实施离散余弦变换、KL变换 等正交变换，生成表示变换系数的图像数据(例如DCT系数)，并将其输出到量化电路133。量化电路133根据从速率控制电路134输入的量化比例QS，对从正交变换电路 132输入的图像数据(量化前的变换系数)进行量化，生成表示量化后的变换系数的图像数 据，并将其输出到可逆编码电路135以及逆量化电路137。速率控制电路134例如根据从缓冲存储器136读出的图像数据而生成量化比例 QS，并将其输出到量化电路133。可逆编码电路135在缓冲存储器136中保存对从量化电路133输入的图像数据进 行可变长编码的图像数据。此时，可逆编码电路135将从层次化电路10输入的属性数据 EisTop.ETime保存到头数据等中。另外，可逆编码电路135在头数据等中保存从运动预测 /补偿电路143输入的运动向量MV或其差分运动向量、参照图像数据的识别数据、以及从内预测电路142输入的内预测模式。保存在缓冲存储器136中的图像数据作为上位编码数据S14而被图2所示的多路 复用电路15读出。逆量化电路137对来自量化电路133的图像数据实施与量化电路133的量化对应 的逆量化处理，生成由此得到的数据，并将其输出到逆正交变换电路138。逆正交变换电路138将对从逆量化电路137输入的数据实施正交变换电路132中 的正交变换的逆变换而生成的图像数据输出到加法电路139。加法电路139将从逆正交变换电路138输入的(被解码的)的图像数据与从内预 测电路142或运动预测/补偿电路143输入的预测图像数据PI相加，生成参照(重新构 成)图片数据，并将其输出到解块滤波器140。解块滤波器140去除从加法电路139输入的参照图片数据的块失真而写入到帧存 储器141。内预测电路142在进行内编码的宏块中决定残差成为最小的内预测模式以及预 测块的块大小。内预测电路42作为块大小而使用4X4以及16X16像素。内预测电路42 在选择了内预测的情况下，将利用内预测的预测图像数据PI输出到运算电路131以及加法 电路139。运动预测/补偿电路143根据在已经编码后被局部解码而存储在帧存储器131中 的参照图片数据REF进行运动预测，决定使与编码对象的图片数据ORG的处理对象的块数 据之间的差分最小的运动向量以及运动补偿的块大小。运动预测/补偿电路143作为块大 小，例如使用16X16、16X8、8X16、8X8、8X4、4X8以及4X4像素中的任一个。运动预测/补偿电路143在选择了内预测的情况下，将利用内预测的预测图像数 据PI输出到运算电路131以及加法电路139。下位层预测电路145在从图2所示的变换电路13输入的下位预测图像数据L_ PREb(FI) *L_PREb(FR)之中，确定与图片数据ORG的处理对象的块数据的差分较小的预测 图像数据。图14是表示下位层预测电路145的结构例的图。下位层预测电路145具有减法电路81、减法电路82以及判断电路83。减法电路81生成下述差分数据，并将其输出到判断电路83，其中，所述差分数据 表示从图5所示的场内预测图像生成电路21输入的下位预测图像数据L_PREb(FI)与图13 所示的编码对象的图片数据ORG内的处理对象的块数据之间的对应的像素数据之间的差 分。减法电路82例如生成下述差分数据，并将其输出到判断电路83，所述差分数据表 示从图5所示的帧内预测图像生成电路22输入的下位预测图像数据L_PREb(FR)与图13所 示的编码对象的图片数据ORG内的处理对象的块数据之间的对应的像素数据之间的差分。判断电路83将从减法电路81输入的差分数据以块数据单位进行累加而生成指标 数据SAD(FI)。另外，判断电路83将从减法电路82输入的差分数据以块数据单位进行累 加，生成指标数据SAD (FR)。并且，判断电路83确定指标数据SAD(FI)和指标数据SAD(FR) 之中较小的一方。判断电路83在下位层预测电路145被选择的情况下，将与上述确定的较 小一方的指标数据SAD(FI)、(FR)对应的下位预测图像数据L_PREb(FI)、(FR)输出到运算电路131。在内预测电路142、运动预测/补偿电路143以及下位层预测电路145所生成的预 测图像数据PI之中，选择与编码对象的图片数据ORG的差分成为最小的预测图像数据PI 并输出到运算电路131。上位层编码电路14将表示最终选择的预测模式的预测模式数据PM保存到头数 据中并由可逆编码电路135进行编码。上位层编码电路14在选择了下位预测图像数据L_ PREb(FI)的情况下，生成表示层间/场内预测的预测模式数据。上位层编码电路14在选择 了下位预测图像数据L_PREb(FR)的情况下，生成表示层间/帧内预测的预测模式数据。在上述的例子中，例示了将在下位层编码电路12中生成的重新构成图像数据用 作上位层编码电路14中的内预测编码的预测图像数据的情况，但是也可以将在下位层编 码电路12中生成的重新构成图像数据、运动向量作为上位层编码电路14中的内预测编码 的预测图像数据、运动向量而利用，将该模式用作选择候选。[多路复用电路]多路复用电路15对从下位层编码电路12输入的下位编码数据S12和从上位层编 码电路14输入的上位编码数据S14进行多路复用，生成编码数据S2。[编码装置的动作例]说明图2所示的编码装置2的动作例。如图2所示，层次化电路10根据编码对象的图像数据S9，生成逐行扫描图像数据 (逐行扫描信号)S10_l和隔行扫描图像数据S10_2。层次化电路10将构成上述生成的逐 行扫描图像数据S10_l的图片数据FR1 6…的各个输出到延迟电路11。并且，层次化电 路10将上述生成的隔行扫描图像数据S10_2输出到下位层编码电路12。下位层编码电路12对从层次化电路10输入的隔行扫描图像数据S10_2进行编码 而生成下位编码数据S12，并将其输出到多路复用电路15。另外，下位层编码电路12在上 述编码中生成下位预测图像数据L_PRE，并将其输出到变换电路13。变换电路13对从下位层编码电路12输入的下位预测图像数据L_PRE进行插值处 理，生成分辨率(扫描线数)与从延迟电路11输入到上位层编码电路14的逐行扫描图像 数据S10_l相同的下位预测图像数据L_PREb，并将其输出到上位层编码电路14。延迟电路11将构成从层次化电路10输入的逐行扫描图像数据(逐行扫描信号) S10_l的各图片数据例如延迟下位层编码电路12以及变换电路13中的处理时间，输出到上 位层编码电路14。上位层编码电路14使用从变换电路13输入的在下位层编码电路12中生成的下 位预测图像数据L_PREb，对逐行扫描图像数据S10_l进行编码而生成上位编码数据S14。多路复用电路15对从下位层编码电路12输入的下位编码数据S12和从上位层编 码电路14输入的上位编码数据S14进行多路复用，生成编码数据S2。<解码装置>图15是表示图1所示的解码装置3的结构例的图。解码装置3例如具有分离电路51、延迟电路52、下位层解码电路53、变换电路54 以及上位层解码电路55。[分离电路]
分离电路51输入由编码装置2生成的上述编码数据S2，将其分离为下位编码数据 S12和上位编码数据S14，将下位编码数据S12输出到下位层解码电路53，将上位编码数据 S14写入延迟电路52。[延迟电路]延迟电路52将从分离电路51输入的上位编码数据S14延迟下位层解码电路53 以及变换电路54中的处理时间而输出到上位层解码电路55。[下位层解码电路]图16是表示下位层解码电路53的结构例的图。下位层解码电路53例如具有蓄积缓冲器60、可逆解码电路61、逆量化电路62、逆 正交变换电路63、加法电路64、解块滤波器65、帧存储器66、画面重新排列缓冲器67、内预 测电路69、运动预测/补偿电路70。将从分离电路51输入的下位编码数据S12写入蓄积缓冲器60。可逆解码电路61在判断为下位编码数据S12内的处理对象的宏块MB被交错编码 的情况下，对写入其头部的运动向量进行解码并输出到运动预测/补偿电路70。可逆解码 电路61在判断为下位编码数据S12内的处理对象的宏块MB被内编码的情况下，对写入其 头部的内预测模式信息进行解码并输出到内预测电路69。可逆解码电路61对下位编码数 据S12进行解码并输出到逆量化电路62。可逆解码电路61对头部所包含的预测模式数据 PM进行解码，将解码结果例如输出到图15所示的变换电路54。逆量化电路62根据从可逆解码电路61输入的量化参数对由可逆解码电路61解 码了的图像数据(正交变换系数)进行逆量化，并输出到逆正交变换电路63。逆正交变换电路63对从逆量化电路62输入的图像数据(正交变换系数)实施 4 X 4的逆正交变换处理而生成差分图像数据，并将其输出到加法电路64。加法电路64将来自运动预测/补偿电路70或者内预测电路69的预测图像数据 PI和来自逆正交变换电路63的差分图像数据进行相加而生成图像数据，并将其输出到解 块滤波器65。解块滤波器65对从加法电路64输入的图像数据实施解块滤波处理，将处理后的 解码图像数据写入帧存储器66以及画面重新排列缓冲器67。存储在帧存储器66中的解码图像数据作为下位预测图像数据L_PRE1而被图15 所示的变换电路54读出。内预测电路69根据从可逆解码电路61输入的内预测模式和从帧存储器66读出 的解码图像数据而生成预测图像数据PI，并将其输出到加法电路64。运动预测/补偿电路70根据从帧存储器66读出的解码图像数据和从可逆解码电 路61输入的运动向量而生成预测图像数据PI，并将其输出到加法电路64。画面重新排列缓冲器67存储从解块滤波器65写入的解码图像数据。存储在画面 重新排列缓冲器67中的解码图像数据按照显示顺序作为下位解码图像数据S53而输出。[变换电路]参照图15说明变换电路54。变换电路54根据来自下位层解码电路53的预测模式数据PM对从下位层解码电 路53输入的下位预测图像数据L_PRE1进行插值处理，生成分辨率(扫描线数)与上位层
16解码电路55从延迟电路52读出的上位编码数据S14相同的下位预测图像数据L_PRElb，并 将其输出到上位层解码电路55。图17是表示变换电路54的结构例的图。变换电路54例如具有场内预测图像生成电路221和帧内预测图像生成电路222。场内预测图像生成电路221在预测模式数据PM表示层间/场内预测的情况下，对 下位预测图像数据L_PRE1实施参照图6 图8进行说明的插值处理，生成分辨率与作为逐 行扫描图像数据的上位编码数据S14相同的下位预测图像数据L_PRElb(FI)。帧内预测图像生成电路222在预测模式数据PM表示层间/帧内预测的情况下，对 下位预测图像数据L_PRE1实施参照图9 图12进行说明的插值处理，生成分辨率与作为 逐行扫描图像数据的上位编码数据S14相同的下位预测图像数据L_PRElb(FR)。变换电路54将上述生成的下位预测图像数据L_PRElb (FI)、(FR)输出到上位层解 码电路55。[上位层解码电路]图18是表示上位层解码电路55的结构例的图。上位层解码电路55例如具有蓄积缓冲器160、可逆解码电路161、逆量化电路162、 逆正交变换电路163、加法电路164、解块滤波器165、帧存储器166、画面重新排列缓冲器 167、内预测电路169、运动预测/补偿电路170以及下位层预测电路171。将从延迟电路52读出的上位编码数据S14写入蓄积缓冲器160中。可逆解码电路161对头数据所包含的预测模式数据PM进行解码。可逆解码电路161在预测模式数据PM表示上位编码数据S14内的处理对象的宏 块MB被交错编码的情况下，对写入其头部的运动向量进行解码并输出到运动预测/补偿电 路 170。可逆解码电路161在预测模式数据PM表示上位编码数据S14内的处理对象的宏 块MB被内编码的情况下，对写入其头部的内预测模式信息进行解码并输出到内预测电路 169。可逆解码电路161在预测模式数据PM表示层间/场内预测或者层间/帧内预测 的情况下，将该意思通知给下位层预测电路171。可逆解码电路161对上位编码数据S14进行解码并输出到逆量化电路162。可逆解码电路161将预测模式数据PM输出到运动预测/补偿电路170、内预测电 路169以及下位层预测电路171。逆量化电路162根据从可逆解码电路61输入的量化参数对由可逆解码电路161 解码的图像数据(正交变换系数)进行逆量化，并输出到逆正交变换电路163。逆正交变换电路163对从逆量化电路162输入的图像数据(正交变换系数)实施 4X4的逆正交变换处理而生成差分图像数据，并将其输出到加法电路164。加法电路164将来自运动预测/补偿电路170、内预测电路169或者下位层预测电 路171的预测图像数据PI和来自逆正交变换电路163的差分图像数据相加而生成图像数 据，并将其输出到解块滤波器165。解块滤波器165对从加法电路164输入的图像数据实施解块滤波处理，将处理后 的解码图像数据写入帧存储器166以及画面重新排列缓冲器167。
内预测电路169在通常的内预测被指定的情况下，根据从可逆解码电路161输入 的预测模式数据PM所表示的内预测模式和从帧存储器166读出的解码图像数据而生成预 测图像数据PI，并将其输出到加法电路164。运动预测/补偿电路170在预测模式数据PM表示交错预测的情况下，根据从帧存 储器166读出的解码图像数据和从可逆解码电路161输入的运动向量而生成预测图像数据 PI，并将其输出到加法电路164。下位层预测电路171在预测模式数据PM表示层间/场内预测或者层间/帧内预 测的情况下，将从变换电路54输入的下位预测图像数据L_PRElb(FI)、(FR)、或者对其实施 了规定处理的数据作为预测图像数据PI而输出到加法电路164。画面重新排列缓冲器167存储从解块滤波器165写入的解码图像数据。存储在画 面重新排列缓冲器167中的解码图像数据按照显示顺序作为上位解码图像数据S55而输
出o[解码装置的动作例]分离电路51输入由编码装置2生成的上述编码数据S2，将其分离为下位编码数据 S12和上位编码数据S14，将下位编码数据S12输出到下位层解码电路53，将上位编码数据 S14写入延迟电路52。延迟电路52将从分离电路51输入的上位编码数据S14延迟下位层解码电路53 以及变换电路54中的处理时间而输出到上位层解码电路55。下位层解码电路53对下位解码数据S12进行解码而生成下位解码图像数据S53， 并将其输出。另外，下位层解码电路53生成下位预测图像数据1^_ 1 1尔1)、(FR)，并将其 输出到变换电路54。在变换电路54中，下位预测图像数据L_PRE1被变换为(FI)、(FR)、逐行扫描分辨 率的下位预测图像数据1^_ 1 113尔1)、(FR)而输出到上位层解码电路55。上位层解码电路55根据下位预测图像数据L_PRElb(FI)、(FR)对上位编码数据 S14进行解码而生成上位解码图像数据S55，并将其输出。如上所述，根据本实施方式的编码/解码系统1，在编码装置2中进行分层编码的 情况下，能够在上位层中对逐行扫描图像数据S10_l进行编码，在下位层中对隔行扫描图 像数据S10_2进行编码。另外，根据编码/编码系统1，在解码装置3中，能够对在编码装置2中层次编码了 的逐行扫描图像数据S10_l和隔行扫描图像数据S10_2进行解码。本发明并不限于上述的实施方式。即，本领域技术人员在本发明的技术领域或者与其均等的范围内，也可以对上述 实施方式的结构要素进行各种变更、组合、子组合以及代替。例如，如图19所示，由CPU (Central Processing Unit 中央处理单元)等处理电 路353按照存储在存储器352中的程序PRG的记述，执行上述编码装置2或者解码装置3 的全部或者一部分功能。在这种情况下，通过接口 351输入编码对象或者解码对象的图像数据，并输出该
处理结果。在上述的实施方式中，将在宏块层中新定义的代码的一例表示在下述表1和表2。
[表 1] [表 2]
macrobIockJayer_m_scalaWe exte0Sion() {CDescriptorif( basejdjplusl ！二 0 &A adaptivejpredictiow_flag) {base_mode_flag2ae(v)li\ ！ base一mottejlag && HalfSpatResBaseFlag && ！ intra base mb( CurrMbAddr))base_mi>de_refinement_flag2ae(v>}if( ！ base_rnode_flag && ！ basejtu^k jefinement_flag) {mb_type2ae(v)]f( mbjype = = I一NxN && basejdjplusl 0)intrajbase—flag2ae(v)}if{ into base flag Sl& interlace base layer && progressive^ cuit layer && frame structure basejriock) {lower一tayer一iiitra—predieti 舰一niGile2as(v)}上述表1 和表 2 所示的“lower#layer#intra#prediction#mode”，是与预测模式一 起保存到编码数据中的标志数据。该标志数据例如在使用了图6 图8所示的上采样方法的情况下表示“0”，在使用 了图9 图12所示的上采样方法的情况下表示“1”。在该标志数据不存在的情况下，判断为表示“0”。
"ae(v) ”表示被指定的语法为上下文_自适应熵编码。“baSe#id#plUSl”是如下参数，S卩，该参数确定为了预测当前图片的运动向量、像 素数据以及差分数据而使用的基础图片数据。“adaptiveftpredictiorrfflag”表示可伸缩扩展中的宏块层内有无语法要素，在没 有的情况下表示“0”。在“baSe#m0de#flag”表示“ 1 ”的情况下，表示当前宏块的mb#type，在表示参照序 号的情况下，根据对应的基础宏块来表示运动向量。在“base#mode#flag”表示“0” 的情况下，在“base#mode#ref inement#f lag” 不是 “1”的情况下，不能估计“mb#type”。在“base#mode#f lag” 不存在的情况下，如下估计 “base#mode#f lag”。在“base#id#plusl” 表示 “0” 的情况下，估计为 “base#mode#flag” 的值是“0”。 否则估计为“baSe#m0de#f lag”的值是“ 1 ”。在“baSe#id#pluSl”大于“0”、基础层是当前层的1/2宽、1/2高的情况下， HalfSpatResBaseFlag被设定为“1”，除此之外的情况下被设定为“0”。“ intra#base#mb (CurrMbAddr) ”是如下函数在 CrarmbAddr 的基础宏块是 I 宏块 的情况下，返回‘‘ 1 ”，在除此之外的情况下返回“ 1 ”。在“base#mode#ref inement#f lag”表示“ 1，，的情况下，表示根据对应的基础宏块 来估计当前宏块的mb#type和参照序号。在“base#mode#ref inement#f lag”表示“ 1 ”的情 况下，确定在使用基础宏块的运动向量所得到的运动向量的预测值上利用1/4像素分辨率 而添加的运动向量。在“base#mode#refinement#flag” 表示 “0” 的情况下，不能估计 mb#type。“mb#type”表示宏块类型。“mb#type”的语义取决于片断类型。在“intra#base#flag”表示“1”的情况下，表示宏块类型I#BL。在“intra#base#flag”不存在的情况下，如下所示地估计“intra#base#flag”。在“base#mode#flag”是“l”、“mb#type” 是 I_NXN 的情况下，估计为 “ intra#base#flag"是“ 1 ”，在除此之外的情况下估计为是“0”。“I#NxN”表示宏块类型是内8X8、内4X4或者I_BL中的某一个。“I#BL”表示其预测值不是周围像素数据，而是从基础图片数据得到的内宏块。“interlaceftbaseftlayer”表示基础层的资源是隔行扫描形式。“progressiveftcurrtlayer”表示当前层的资源是逐行扫描形式。“frame#structure#base#blcok”表示以帧结构对基础块进行编码。以上说明了包含本发明的编码装置和解码装置的编码/解码系统的实施方式。说明本实施方式的编码/解码系统的结构和本发明结构之间的对应关系。编码装置2是本发明的编码装置的一例，在以图19所例示的程序PRG来记述编码 装置2的处理内容(功能)的情况下，该程序PRG是本发明程序的一例。这种程序通常容 纳在记录介质中或者通过通信路径进行处理而安装到计算机中进行动作。因而，本发明的 程序还包含这种处理方式以及动作方式。参照图2叙述的下位层编码电路12是本发明的第1编码单元以及第1编码部的 一例，变换电路13是上采样处理单元以及上采样处理部的一例，上位层编码电路14是第2编码单元以及第2编码部的一例。解码装置3是本发明的解码装置的一例，在以图19所例示的程序PRG来记述解码 装置3的处理内容(功能)的情况下，该程序PRG是本发明程序的一例。这种程序通常收 纳在记录介质中或者通过通信路径尽心处理而安装到计算机中进行动作。因而，本发明的 程序还包含这种处理方式以及动作方式。参照图15叙述的下位层编码电路53是本发明的第1解码单元以及第1解码部的 一例，变换电路54是上采样处理单元以及上采样处理部的一例，上位层解码电路55是第2 解码单元以及第2解码部的一例。
权利要求
一种解码装置，对上位编码数据和下位编码数据进行解码，所述上位编码数据是对逐行扫描图像数据进行编码而得到的数据，所述下位编码数据是对与上述逐行扫描图像数据对应的隔行扫描图像数据进行编码而得到的数据，该解码装置具备下位层解码电路，其对所述下位编码数据进行解码，以生成下位解码数据和预测图像数据；变换电路，其采用层间/场内预测模式对从所述下位层解码电路输入的预测图像数据进行插值处理，以生成分辨率与所述上位编码数据相同的预测图像数据；以及上位层解码电路，其根据从所述变换电路输入的预测图像数据对所述上位编码数据进行解码，以生成上位解码数据，其中，所述变换电路只使用分配了与所述上位层解码电路的解码对象的图片数据相同的时间戳的所述下位编码数据的图片数据进行插值处理，以生成分辨率与所述上位编码数据相同的预测图像数据。
2.根据权利要求1所述的解码装置，其中，在输入所述变换电路的预测图像数据是前场数据的情况下，所述变换电路对与所述上 位层解码电路的解码对象的宏块对应的预测图像数据内的基础块数据只使用其前场数据 来进行插值处理，以生成分辨率与所述上位编码数据相同的预测图像数据。
3.根据权利要求1所述的解码装置，其中，在输入所述变换电路的预测图像数据是后场数据的情况下，所述变换电路对与所述上 位层编码电路的编码对象的宏块对应的预测图像数据内的基础块数据只使用其后场数据 来进行插值处理，以生成分辨率与所述上位编码数据相同的预测图像数据。
4.一种解码装置，对上位编码数据和下位编码数据进行解码，所述上位编码数据是对 逐行扫描图像数据进行编码而得到的数据，所述下位编码数据是对与上述逐行扫描图像数 据对应的隔行扫描图像数据进行编码而得到的数据，该解码装置具备下位层解码电路，其对所述下位编码数据进行解码，以生成下位解码数据和预测图像 数据；变换电路，其采用层间/帧内预测模式对从所述下位层解码电路输入的预测图像数据 进行插值处理，以生成分辨率与所述上位编码数据相同的预测图像数据；以及上位层解码电路，其根据从所述变换电路输入的预测图像数据对所述上位编码数据进 行解码，以生成上位解码数据，其中，所述变换电路使用分配了与所述上位层解码电路的解码对象的图片数据相同的 时间戳的所述下位编码数据的图片数据以及与该下位编码数据的图片数据成对的图片数 据进行插值处理，以生成分辨率与所述上位编码数据相同的预测图像数据。
5.根据权利要求4所述的解码装置，其中，在输入所述变换电路的预测图像数据是前场数据的情况下，所述变换电路使用与所述 上位层解码电路的解码对象的宏块对应的预测图像数据内的基础块数据和该基础块数据 的补充块数据进行插值处理，以生成分辨率与所述上位编码数据相同的预测图像数据。
6.根据权利要求4所述的解码装置，其中，在输入所述变换电路的预测图像数据是后场数据的情况下，所述变换电路使用与所述 上位层解码电路的解码对象的宏块对应的预测图像数据内的基础块数据和该基础块数据的补充块数据进行插值处理，以生成分辨率与所述上位编码数据相同的预测图像数据。
7.一种解码方法，对上位编码数据和下位编码数据进行解码，所述上位编码数据是对 逐行扫描图像数据进行编码而得到的数据，所述下位编码数据是对与上述逐行扫描图像数 据对应的隔行扫描图像数据进行编码而得到的数据，该解码方法包括下位层解码步骤，用于对所述下位编码数据进行解码，以生成下位解码数据和预测图 像数据；变换步骤，用于通过采用层间/场内预测模式对在所述下位层解码步骤生成的预测图 像数据进行插值处理，生成分辨率与所述上位编码数据相同的预测图像数据；以及上位层解码步骤，用于根据在所述变换步骤生成的预测图像数据对所述上位编码数据 进行解码，以生成上位解码数据，其中，所述变换步骤只使用分配了与所述上位层解码步骤的解码对象的图片数据相同 的时间戳的所述下位编码数据的图片数据进行插值处理，以生成分辨率与所述上位编码数 据相同的预测图像数据。
8. 一种解码方法，对上位编码数据和下位编码数据进行解码，所述上位编码数据是对 逐行扫描图像数据进行编码而得到的数据，所述下位编码数据是对与上述逐行扫描图像数 据对应的隔行扫描图像数据进行编码而得到的数据，该解码方法包括下位层解码步骤，用于对所述下位编码数据进行解码，以生成下位解码数据和预测图 像数据；变换步骤，用于通过采用层间/帧内预测模式对在所述下位层解码步骤生成的预测图 像数据进行插值处理，生成分辨率与所述上位编码数据相同的预测图像数据；以及上位层解码步骤，用于根据在所述变换步骤生成的预测图像数据对所述上位编码数据 进行解码，以生成上位解码数据，其中，所述变换步骤使用分配了与所述上位层解码步骤的解码对象的图片数据相同的 时间戳的所述下位编码数据的图片数据以及与该下位编码数据的图片数据成对的图片数 据进行插值处理，以生成分辨率与所述上位编码数据相同的预测图像数据。
全文摘要
一种对逐行扫描图像数据和与该逐行扫描图像数据对应的隔行扫描图像数据进行编码的编码装置，具有第1编码部，其生成对构成隔行扫描图像数据的图片数据进行了编码的第1编码数据和对第1编码数据进行解码而重新构成的重新构成图像数据；上采样处理部，其对上述生成的上述重新构成图像数据进行上采样，生成分辨率与上述逐行扫描图像数据相同的图像数据；以及第2编码部，其将上述生成的上述图像数据作为预测图像数据，对构成上述逐行扫描图像数据的图片数据进行编码而生成第2编码数据。
文档编号H04N7/50GK101924939SQ201010257110
公开日2010年12月22日 申请日期2006年9月6日 优先权日2005年9月15日
发明者汪黎明, 矢崎阳一, 铃木辉彦 申请人:索尼株式会社