编码设备、编码方法、解码设备、解码方法和程序的制作方法

专利名称：编码设备、编码方法、解码设备、解码方法和程序的制作方法
技术领域：
本发明涉及一种用于对图像数据进行编码的编码设备、编 码方法和程序、以及用于对图像数据进行解码的解码设备、解 码方法和程序。
背景技术：
近年来，继对图像数据进行数字化处理，同时为了高效传 输和存储信息而利用图像信息特有的冗余性通过离散余弦变换
或其它正交变换和运动补偿对该数据进行压缩的MPEG(运动 图像专家组)之后，基于具有更高压缩比的H.264/AVC(高级视频 编码)和其它编码方案的编码设备和解码设备在广播站的信息
分发和 一 般家庭的信息接收中得到了普及。
此外，目前，正在进行基于H.264/AVC扩展可分级性的功 能的SVC(可分级视频编码)的标准化。将SVC的当前规范结合在 JSM(联合可分级视频模型)中。
在SVC编码设备中，通过图像分层(分层数据处理)电路将 输入图像分成两类，例如，上位层和下位层。此后，上位层编 码电路对上位层进行编码，并且下位层编码电路对下位层进行 编码。然后，多路复用和传输编码后的上位层和下位层。
还将下位层称为"基本层"，并且下位层是具有低图像质量 的层。当仅对下位层的比特流进行解码时，对具有相对低图像 质量的图像进行解码。然而，下位层包括如图像质量的更重要 的信息。
还将上位层称为"增强层"，并且上位层是用于增强图像质 量、并对具有高图像质量的图像进行解码的层。当除对下位层的比特流进行解码以外，还对上位层的比特流进行解码时，可 以对具有更高图像质量的图像进行解码。
在上述编码设备中，当上位层编码电路进行帧内编码时，
可以使用通过在下位层编码电路中进行编码、然后进行解码所
获得的解码后的图像作为预测图像。

发明内容
本发明要解决的问题
在这方面，上述进行分层编码的传统编码设备对作为上位 层的逐行图像数据进行编码，但是不能对隔行图像数据进行编码。
然而，还存在在上位层中对隔行图像数据进行处理的需求。 此外，在用于对在上述编码设备中分层编码的图像数据进
行解码的解码设备中，同样存在类似需求。
因此，当进行分层(分层数据)编码时，需要提供一种能够
处理这两类中的各类中的隔行图像数据的编码设备、编码方法
和程序。
此外，需要提供一种能够对通过上述的两类(层)编码的 任 一 隔行图像数据进行解码的解码设备、解码方法和程序。 解决问题的手段
本发明的实施例的编码设备是 一种编码设备，用于对从 构成运动图片图像的多个图片数据中的每个图片数据分离得到 的前场数据和后场数据进行分层编码，所述编码设备包括第 一编码单元，用于对从所述图片数据分离得到的所述前场数据 和所述后场数据两个场数据中的一个场数据进行编码；转换单 元，用于对通过所述第一编码单元对所述一个场数据进行编码 所生成的第一预测图像数据进行插值，并生成所述两个场数据中的另 一 个场数据的扫描位置的第二预测图像数据；以及第二 编码单元，用于基于由所述转换单元生成的所述第二预测图像 数据，对所述两个场数据中的所述另 一个场数据进行编码。
此外，本发明的实施例的编码设备是 一种编码设备，用 于对从构成运动图片图像的多个图片数据中的每个图片数据分 离得到的前场数据和后场数据进行分层编码，所述编码设备包 括第一编码部件，用于对从所述图片数据分离得到的所述前 场数据和所述后场数据两个场数据中的 一 个场数据进行编码； 转换部件，用于对通过所述第一编码部件对所述一个场数据进 行编码所生成的第 一预测图像数据进行插值，并生成所述两个 场数据中的另 一个场数据的扫描位置的第二预测图像数据；以 及第二编码部件，用于基于由所述转换部件生成的所述第二预
测图像数据，对所述两个场数据中的所述另 一个场数据进行编码。
本发明的实施例的编码方法是 一种编码方法，用于对从 构成运动图片图像的多个图片数据中的每个图片数据分离得到 的前场数据和后场数据进行分层编码，所述编码方法包括如下 步骤第一步骤，用于对从所述图片数据分离得到的所述前场 数据和所述后场数据两个场数据中的一个场数据进行编码；第 二步骤，用于对通过所述第一步骤对所述一个场数据进行编码 所生成的第 一预测图像数据进行插值，并生成所述两个场数据 中的另 一 个场数据的扫描位置的第二预测图像数据；以及第三 步骤，用于基于在所述第二步骤中生成的所述第二预测图像数 据，对所述两个场数据中的所述另 一个场数据进行编码。
本发明的实施例的程序是 一种由计算机执行的程序，用 于对从构成运动图片图像的多个图片数据中的每个图片数据分 离得到的前场数据和后场数据进行分层编码，所述程序使所述计算机执行如下例程第一例程，用于对从所述图片数据分离 得到的所述前场数据和所述后场数据两个场数据中的一个场数
据进行编码；第二例程，用于对通过所述第一例程对所述一个 场数据进行编码所生成的第一预测图像数据进行插值，并生成 所述两个场数据中的另 一 个场数据的扫描位置的第二预测图像 数据；以及第三例程，用于基于在所述第二例程中生成的所述 第二预测图像数据，对所述两个场数据中的所述另 一个场数据 进行编码。
本发明的实施例的解码设备是 一种解码设备，用于对通 过对从构成运动图片图像的多个图片数据中的每个图片数据分 离得到的两个场数据进行分层编码所获得的两个编码场数据进 行解码，所述解码设备包括第一解码单元，用于对所述两个 编码场数据中的一个编码场数据进行解码；转换单元，用于对 通过所述第一解码单元进行解码所生成的第一预测图像数据进 行插值，并生成所述两个编码场数据中的另 一 个编码场数据的 扫描位置的第二预测图像数据；以及第二解码单元，用于基于 由所述转换单元生成的所述第二预测图像数据，对所述两个编 码场数据中的所述另 一个编码场数据进行解码。
此外，本发明的实施例的解码设备是 一种解码设备，用 于对通过对从构成运动图片图像的多个图片数据中的每个图片 数据分离得到的两个场数据进行分层编码所获得的两个编码场 数据进行解码，所述解码设备包括第一解码部件，用于对所 述两个编码场数据中的一个编码场数据进行解码；转换部件， 用于对通过所述第 一解码部件进行解码所生成的第一预测图像 数据进行插值，并生成所述两个编码场数据中的另 一个编码场 数据的扫描位置的第二预测图像数据；以及第二解码部件，用 于基于由所述转换部件生成的所述第二预测图像数据，对所述两个编码场数据中的所述另 一个编码场数据进行解码。
本发明的实施例的解码方法是 一种解码方法，用于对通 过对从构成运动图片图像的多个图片数据中的每个图片数据分 离得到的两个场数据进行分层编码所获得的两个编码场数据进 行解码，所述解码方法包括如下步骤第一步骤，用于对所述 两个编码场数据中的一个编码场数据进行解码；第二步骤，用 于对通过在所述第 一 步骤中进行解码所生成的第 一 预测图像数 据进行插值，并生成所述两个编码场数据中的另 一个编码场数 据的扫描位置的第二预测图像数据；以及第三步骤，用于基于 在所述第二步骤中生成的所述第二预测图像数据，对所述两个 编码场数据中的所述另 一个编码场数据进行解码。
本发明的实施例的程序是 一种由计算机执行的程序，用 于对通过对从构成运动图片图像的多个图片数据中的每个图片 数据分离得到的两个场数据进行分层编码所获得的两个编码场 数据进行解码，所述程序使所述计算机执行如下例程第一例 程，用于对所述两个编码场数据中的 一 个编码场数据进行解码； 第二例程，用于对通过在所述第一例程中进行解码所生成的第 一预测图像数据进行插值，并生成所述两个编码场数据中的另 一个编码场数据的扫描位置的第二预测图像数据；以及第三例 程，用于基于在所述第二例程中生成的所述第二预测图像数据， 对所述两个编码场数据中的所述另 一个编码场数据进行解码。
本发明的效果
根据本发明，可以提供一种能够在进行分层编码时处理两 类中的各类中的隔行图像数据的编码设备、编码方法和程序。
此外，根据本发明，可以提供一种能够对上述两类中编码 的任一 隔行图像数据进行解码的解码设备、解码方法和程序。


图1是本发明的实施例的编码/解码处理系统的结构的图2是图l所示的编码设备的结构的图3是用于说明图2所示的分层电路的处理的图4是用于说明图2所示的分层电路的处理的图5是用于说明图2所示的分层电路的处理的图6是图2所示的下位层编码电路的结构的图7是用于说明图6所示的变换电路的处理的图8是图2所示的上位层编码电路的结构的图9是图l所示的解码设备的结构的图10是图9所示的下位层解码电路的结构的图U是图9所示的上位层解码电路的结构的图12是用于说明本发明的实施例的变形例的图。
附图标记的说明
1…编码/解码处理系统、2…编码设备、3…解码设备、10… 分层(分层数据处理)电路、11…延迟电路、12…下位层编码电路、 13…转换电路、14…上位层编码电路、15…多路复用电路、23， 123…图片重排电路、31, 131…处理电路、32， 132…正交变换电 路、33， 133…量化电路、34， 134…速率控制电路、35， 135…可 逆编码电路、36, 136…緩沖存储器、37， 137…逆量化电路、38， 138…逆正交变换电路、39，139…加法电路、40,140…去块滤波 器、41, 141…帧存储器、42, 142…帧内预测电路、43， 143…运 动预测/补偿电路、51…分离电路、52…延迟电路、53…下位层 解码电路、54…转换电路、55…上位层解码电路、56'重构电 路、60， 160…存储緩沖器、61， 161 '可逆解码电路、62,162 逆量化电路、63,163 '逆正交变换电路、64, 164…加法电路、 65， 165…去块滤波器、66, 166…帧存储器、67, 167…图片重排緩冲器、69, 169…帧内预测电路、70， 170 '运动预测/补偿电路。
具体实施例方式
下面说明本发明的实施例的编码/解码处理系统。
本发明的实施例基于时间/可分级性技术。
图l是本实施例的编码/解码处理系统l的概念图。
编码/解码处理系统1具有位于发送端的编码设备2和位于 接收端的解码设备3，通过传输媒介5连接它们。
本实施例的特征在于在编码设备2中，如图5等所示，运 动预测/补偿电路4 3基于参考图像数据R E F和待处理的图像数 据，计算加权参数，并且基于该参数，进行明确的加权预测。
在该加权预测中，基于根据该参数调整后的参考图像数据， 生成预测图像数据PI。
在编码/解码处理系统l中，发送端的编码设备2生成根据离 散余弦变换、卡南-洛伊夫变换(Karhunen-Loewe transform)或其 它正交变换和运动补偿所压缩的帧图像数据(比特流)，调制帧 图像数据，然后通过人造卫星广播波、有线TV网络、电话网络、 移动电话网络或其它传输媒介，发送该帧图像数据。
在接收端，解码设备3对所接收的图像信号进行解调，然后 通过上述调制和运动补偿时的正交变换的逆变换扩展该图像信 号，以生成使用的帧图像数据。
注意，上述传输媒介5可以是光盘、磁盘、半导体存储器或 其它存储介质。
在本实施例中，如图2所示，分层电路10将待编码的逐行 图像数据(逐行信号)S9分成隔行图像数据S10—1和S10一2。
下位层编码电路12对隔行图像数据S10—2进行编码，以生 成下位编码数据S12。转换电路13对由下位层编码电路12生成的下位预测图像数
据L—PRE进行插值，以生成具有与隔行图像数据S10—l —致的扫 描位置的下位预测图像数据L _ P R E b,并将该数据输出到上位层 编码电^各14。
上位层编码电路14基于下位预测图像数据L—P R E b,对隔行 图像数据S10—l进行编码，以生成上位编码数据S14。 编码设备
接着说明图l所示的编码设备2。
图2是图l所示的编码设备2的总体结构的图。
编码设备2具有例如分层(分层数据处理)电路10、延迟电路
11、下位层编码电路12、转换电路13、上位层编码电路14和多
路复用电^各15 。 分层电路
分层(分层数据处理)电路10接收作为输入的待编码的逐行 图像数据(逐行信号)，并将构成逐行图像数据S9的多个帧数据 (图片数据)中的每一个分成前场数据和后场数据。
例如，逐行图像数据S9为60帧/秒。
分层电路IO交替将如上分成的前场数据和后场数据输出到 延迟电路11和下位层编码电路12。即，如图4所示，分层电路IO 将构成逐行图像数据S 9的第 一 帧数据1F L分成前场数据1T和后 场数据1B,将前场数据1T写入延迟电路11,并将后场数据1B 输出到下位层编码电路12。
如图5所示，分层电路10将下 一 帧数据2FL分成前场数据2T 和后场数据2B,将前场数据2T输出到下位层编码电路12,并将 后场数据2B写入延迟电路11 。
在本实施例中，将从分层电路10写入延迟电路11的场数据 称为"隔行图像数据S10—1",并将从分层电路10输出到下位层编码电路1 2的场数据称为"隔行图像数据S 1 0—2"。
以与前场数据和后场数据各自相对应的方式，分层电路1 0
将示出场是否是前场的属性数据EisTop和示出该场的时间的属 性数据ETime写入延迟电路ll。
以与前场数据和后场数据各自相对应的方式，分层电路10 将示出场是否是前场的属性数据BisTop和示出该场的时间的属 性数据BTime输出到下位层编码电^各12 。
延迟电路
延迟电路11将从分层电路10输入的前场数据和后场数据作 为上位场数据U—FI输出到上位层编码电路14，同时将它们精确 延迟例如下位层编码电^各12和转换电^各13中的处理时间。
延迟电i 各11将上位场数据U—FI的属性数据EisTop和ETime 精确延迟例如下位层编码电路12和转换电^各13中的处理时间， 并且将它们输出到上位层编码电路14。
下位层编码电^各
下位层编码电^各12对从分层电^各10输入的前场数据和后场 数据进行编码。下位层编码电路12对具有作为 一 帧数据的从延 迟电路11和下位层编码电路12输入的场数据的隔行图像数据进 行编码。
上述隔行图像数据为例如30帧/秒。 图6是图2所示的下位层编码电路12的结构的图。 下位层编码电路12具有例如图片重排电路23、处理电路31、 正交变换电路32、量化电路33、速率控制电路34、可逆编码电 路35、緩冲存储器36、逆量化电路37、逆正交变换电路38、加 法电路39、去块滤波器40、帧存储器41、帧内预测电路42、运 动预测/补偿电路43、以及控制电路47。
控制电路4 7对下位层编码电路12中的以下处理进行控制。图片重排电路23根据包括图片类型I、 P和B的GOP(图片组) 结构，将从图2所示的分层电路10输入的隔行图像数据S10 一 2的 场数据重排成编码的序列，并且将该场数据输出到处理(加法/ 减法)电路31、帧内预测电路42和运动预测/补偿电路43。
处理电路31生成示出从图片重排电路23输入的待编码的场 数据或帧数据与从帧内预测电路42或运动预测/补偿电路43输 入的预测图像数据PI之间的差的图像数据，并且将该图像数据 输出到正交变换电路32。
正交变换电路3 2将离散余弦变换(D C T)、卡南-洛伊夫变换 或其它正交变换应用于从处理电路31输入的图像数据，以生成 示出变换系数(例如，DCT系数)的图像数据，并且将该图像数 据输出到量化电路33。
量化电路33基于从速率控制电路34输入的量化等级QS，对 从正交变换电路3 2输入的图像数据(量化前的变换系数)进行量 化，以生成示出量化后的变换系数的图像数据，并且将该图像 数据输出到可逆编码电路3 5和逆量化电路3 7 。
速率控制电路34基于从緩冲存储器36读出的图像数据，生 成例如量化等级QS,并且将量化等级QS输出到量化电路33。
可逆编码电路35将通过从量化电路33输入的图像数据的可 变长度编码所获得的图像数据存储在緩冲器36中。此时，可逆 编码电路35将从分层电路10输入的属性数据BisTop和BTime存 储在头数据等中。
将属性数据BisTop存储为例如比特流中的图片定时SEI处 的dpd弁output弁delay。此外，将属性数据BTime存储为SEI中的 pic弁struct。
可逆编码电^各35将从运动预测/补偿电^各43输入的运动矢 量MV或与其差运动矢量、参考图像数据的识别数据、以及从帧内预测电路42输入的帧内预测模式存储在头数据等中。
将存储在緩冲存储器36中的图像数据作为下位编码数据 S 12读出到图2所示的多路复用电路15 。
逆量化电路37将与量化电路33处的量化相对应的逆量化处 理应用于来自量化电路33的图像数据，生成通过该处理所获得 的数据，并且将该数据输出到逆正交变换电路38。
换应用于从逆量化电路37输入的数据，并且将由此生成的图像 数据输出到加法电路39。
加法电路39将从逆正交变换电路38输入(解码后的)的图像 数据和从帧内预测电路42或运动预测/补偿电路43输入的预测 图像数据PI相加，以生成参考(重构)图片数据，并且将该参考 图片数据输出到去块滤波器40。
去块滤波器40消除从加法电路39输入的参考图片数据的 块失真，并且将参考图片数据写入帧存储器41。
从帧存储器41读出写入帧存储器41的参考图片数据，作为 下位预测图像数据L—P RE ，并且将该数据输出到图2所示的转换 电路13。
帧内预测电路42确定使要进行帧内编码的宏块的残差最小 的帧内预测的模式和预测块的块大小。
帧内预测电路42使用4x4和16xl6像素作为块大小。
当选择帧内预测时，帧内预测电路42将根据帧内预测的预 测图像数据PI输出到处理电路31和加法电路39。
运动预测/补偿电路43基于编码之后被局部解码并存储在 帧存储器41中的参考图片数据REF，进行运动预测，并且确定 使残差最小的运动矢量和运动补偿的块大小。
运动予贞观'J/才卜4尝电3各434吏用16x16、 16x8、 8x16、 8x8、 8x4、4x8和4x4像素作为块大小。
当选择帧间预测时，运动预测/补偿电路43将根据帧间预测 的预测图像数据PI输出到处理电路3 1和加法电路39。
转换电路
接着说明图2所示的转换电路(预测图像数据插值电路)13 。 当满足下面的条件时，下面这些数据的扫描位置是不同的 上位层编码电3各14的乂人延迟电i 各11输入的上位场数据U—FI(从 延迟电路ll读出的隔行图像数据S10—1)和下位层编码电路12的 输出到转换电路13的下位预测图像数据L—P RE是相同时刻的场 数据，其中一个是前场数据，并且另一个是后场数据。
因此，转换电路13基于从延迟电路11输入的属性数据 EisTop和ETime 、以及从下位层编码电^各12输入的属性数据 BisTop和BTime，判断是否满足上述条件。当判断为满足该条
数据L一PRE进行插值，以生成具有上述一 致的扫描位置的下位 预测图像数据L—P R E b,并且将该数据输出到上位层编码电路 14。
例如，转换电路13生成通过图7所示的前场数据2 T在垂直 方向上的插值所获得的下位预测图像数据L—P RE a,从下位预测 图像数据L一PRE提取与在上位层编码电路14处待编码的图3所 示的后场数据2B的扫描位置相对应的行数据，以生成下位预测 图像数据L—P R E b ，并将该数据输出到上位层编码电路14 。
转换电路13将与从下位层编码电路12输入的下位预测图 像数据L—PRE相对应的属性数据BisTop和BTime输出到上位层 编码电^各14。
当上位层和下位层具有相同时刻，并且二者同样均为前场 (或后场)时(其中，BTime和ETime为相同时间，并且BisTop和t:isTop具有相同值)，转换电路13将从下位层编码电路12输入的 下位预测图像数据L—PRE原样作为下位预测图像数据L—PREb 输出到上位层编码电路14 。 上位层编码电^各
图8是图2所示的上位层编码电路14的结构的图。
上位层编码电路14具有例如图片重排电路123、处理电路 131、正交变换电^各132、量化电路133、速率控制电路134、可 逆编码电路135、緩冲存储器136、逆量化电路137、逆正交变换 电路138、加法电^各139、去块滤波器140、帧存储器141、帧内 预测电路142、运动预测/补偿电^各143、以及控制电^各147。
图片重排电路123根据由图片类型I、 P和B构成的GOP结 构，将从图2所示的延迟电路11读出的隔行图像数据S10—1的场 数据U—FI重排成编码的序列，并且将该场数据输出到处理电路 131、帧内预测电^各142和运动预测/补偿电^各143。
处理电路131生成示出从图片重排电路123输入的待编码的 场数据或帧数据与从帧内预测电路142、运动预测/补偿电路143 或下位层预测电路145输入的预测图像数据PI之间的差的图像 数据，并且将该图像数据输出到正交变换电路132。
正交变换电路132将离散余弦变换、卡南-洛伊夫变换或其 它正交变换应用于从处理电路131输入的图像数据，以生成示出 变换系数(例如，DCT系数)的图像数据，并将该图像数据输出 到量化电路133。
量化电路133基于从速率控制电路134输入的量化等级QS, 对从正交变换电路132输入的图像数据(量化处理前的变换系数) 进行量化，以生成示出量化后的变换系数的图像数据，并将该 图像数据输出到可逆编码电路135和逆量化电路137。
速率控制电路134基于从緩冲存储器136读出的图像数据，生成例如量化等级QS,并且将量化等级QS输出到量化电路133。
可逆编码电路135将通过从量化电路133输入的图像数据的 可变长度编码所获得的图像数据存储在緩沖器136中。
此时，可逆编码电路13 5将从分层电路10输入的属性数据 EisTop和ETime存储在头数据等中。
可逆编码电^各135将从运动预测/补偿电^各143输入的运动 矢量MV或其差运动矢量、参考图像数据的识别数据、以及从 帧内预测电路142输入的帧内预测模式存储在头数据等中。
将存储在緩沖存储器136中的图像数据作为上位编码数据 S14读出到图2所示的多路复用电路15。
逆量化电路137将与量化电路133处的量化相对应的逆量化 处理应用于来自量化电路133的图像数据，以生成通过该处理所 获得的数据，并且将该数据输出到逆正交变换电路13 8 。
逆正交变换电路138将正交变换电路132中的正交变换的逆 变换应用于从逆量化电路137输入的数据，并将由此生成的图像 数据输出到该加法电路13 9 。
加法电路139将从逆正交变换电路138输入(解码后)的图像 数据和从帧内预测电路142或运动预测/补偿电路143输入的预 测图像数据PI相加，以生成参考(重构)图片数据，并且将该参 考图片数据输出到去块滤波器140。
去块滤波器140消除从加法电路139输入的参考图片数据 的块失真，并且将参考图片数据写入帧存储器141。
帧内预测电路142确定使要进行帧内编码的宏块中的残差 最小的帧内预测的模式和预测块的块大小。
帧内预测电路142使用4x4和16xl6像素作为块大小。
当选择帧内预测时，帧内预测电路142将根据帧内预测的预 测图像数据PI输出到处理电路131和加法电路13 9 。运动预测/补偿电路143基于编码之后被局部解码并存储在
帧存储器141中的参考图片数据REF,进行运动预测，并且确定 使残差最小的运动矢量和运动补偿的块大小。
运动予贞观'J/^卜孑尝电^各143^f吏用16x16、 16x8、 8x16、 8x8、 8x4、 4x8和4x4像素作为块大小。
当选择帧间预测时，运动预测/补偿电路143将根据帧间预 测的预测图l象凄t据PI输出到处理电路13 1和加法电^各139。
下位层预测电路145基于从图2所示的转换电路13输入的 下位预测图像数据L—PREb，进行帧内预测，并且生成预测图像 数据PI。此时，下位层预测电路145基于从转换电路13输入的属 性数据BisTop和BTime，指定用于帧内预测的下位预测图像数 据I, PREb。
从由帧内预测电路142、运动预测/补偿电路143和下位层预 测电路145所生成的预测图像数据PI中，选择使与待编码的图像 数据的差最小的预测图像数据PI,并且将该预测图像数据PI输 出到处理电3各131 。
控制电路147对于上位层编码电路14进行总体控制。
多路复用电路
多路复用电路15对从下位层编码电^各12输入的下位编码数
路复用，以生成编码数据S2。 编码设备的操作的例子
接着说明图2所示的编码设备2的操作的例子。 分层(分层数据处理)电路10接收作为输入的待编码的逐行 图像数据(逐行信号)S9，并且将构成逐行图像数据S9的多个帧 数据中的每一个分成前场数据和后场数据。如图3所示，将以上 分成的前场数据和后场数据交替输出到延迟电路11和下位层编码电路12。由此，如图3所示，在将隔行图像数据S10—l写入延 迟电路11之后，将该隔行图像数据S10 — 1精确延迟下位层编码 电路12和转换电路13的处理时间。将结果输出到上位层编码电 路14。
将隔行图像数据S10 _ 2从分层电路10输出到下位层编码电 路12。
下位层编码电路12对隔行图像数据S10—2进行编码，并将 下位编码数据S12输出到多路复用电路15。
下位层编码电路12生成下位预测图像数据L一PRE。在转换 电路13处对其进行插值，因而其扫描位置与隔行图像数据 S10—1 —致，从而生成下位预测图像数据L—PREb。
上位层编码电路14基于下位预测图像数据L—PREb,对隔行 图像数据S10一1(场数据U—FI)进行帧内编码，以生成上位编码数 据S14。
多3各复用电路15对从下位层编码电^各12输入的下位编码 数据S12和从上位层编码电路14输入的上位编码数据S14进行 多路复用，以生成编码数据S2。
解码设备
图9是图l所示的解码设备3的结构的图。 解码设备3具有例如分离电路51、延迟电路52、下位层解码 电路53、转换电路54、上位层解码电路55和重构电路56。 解码设备3主要进行上述编码设备2的处理的逆处理。 分离电路
分离电路5 l接收作为输入的编码设备2所生成的上述编码 数据S2，将编码数据S2分离成下位编码数据S12和上位编码数 据S14，将下位编码数据S12输出到下位层解码电路53,并将上 位编码数据S14写入延迟电路52。延迟电路
延迟电路52将从分离电路51输入的上位编码数据S14精确 延迟下位层解码电路53和转换电路54中的处理时间，并且将上 位编码数据S14输出到上位层解码电路5 5 。
下位层解码电路
图10是图9所示的下位层解码电路53的结构的图。 下位层解码电路53具有例如存储緩冲器60、可逆解码电路
61、逆量化电^各62、逆正交变换电^各63、加法电^各64、去块滤
波器65、帧存储器66、图片重排緩沖器67、帧内预测电路69、
以及运动预测/补偿电3各70。
将从分离电路51输入的下位编码数据S12写入存储緩沖器
60中。
当判断为对下位编码数据S12中的待处理的宏块MB进行
分中的运动矢量进行解码，并将该运动矢量输出到运动预测/ 补偿电路70。
当判断为对下位编码数据S12中的待处理的宏块MB进行 帧内编码时，可逆解码电路61对写入下位编码数据S12的头部 分中的帧内预测模式信息进行解码，并将该信息输出到帧内预 测电路69。
可逆解码电路61对下位编码数据S12进行解码，并且将该 数据输出到逆量化电路62。可逆解码电路61还将包括在下位编 码数据S12的头数据中的属性数据BisTop和BTime写入帧存储 器66和图片重排緩冲器67,并且同时将属性数据BisTop和 BTime输出到图9所示的转换电路54 。
逆量化电路62基于从可逆解码电路61输入的量化参数QP， 对在可逆解码电路61处解码的图像数据(正交变换系数)进行逆量化，并将该图像数据输出到逆正交变换电路63。
逆正交变换电^各63将4x4的逆正交变换处理应用于从逆量 化电路62输入的图像数据(正交变换系数)，以生成差图像数据， 并且将该差图像数据输出到加法电路6 4 。
加法电^各64将来自运动预测/补偿电^各70或帧内预测电路 69的预测图像数据PI和来自逆正交变换电路63的差图像数据相 加，以生成图像数据，并将该图像数据输出到去块滤波器65。
去块滤波器65将去块滤波处理应用于从加法电路64输入 的图像数据，并将该处理之后的解码图像数据写入帧存储器66 和图片重排緩冲器67。
将存储在帧存储器6 6中的解码图像数据作为下位预测图 像数据L一PRE1读出到图9所示的转换电路54。
帧内预测电路69基于从可逆解码电路61输入的帧内预测 模式和从帧存储器66读出的解码图像数据，生成预测图像数据 PI，并且将预测图像数据PI输出到加法电路64。
运动预测/补偿电路70基于从帧存储器66读出的解码图像 数据和从可逆解码电路61输入的运动矢量，生成预测图像数据 PI,并且将预测图像数据PI输出到加法电路64 。
图片重排緩冲器67存储从去块滤波器65写入的解码图像 数据。
按照显示的序列将存储在图片重排緩沖器67中的解码图像 数据作为下位解码图像数据S53读出到图9所示的重构电路56。 转换电路
接着说明图9所示的转换电路54。
当满足以下条件时，下面这些数据的扫描位置是不同的 上位层解码电路55的从延迟电路52输入的上位编码场数据路53的输出到转换电路54的下位预测图像数据L—PRE1是相同 时刻的场数据，其中一个为前场数据，并且另一个为后场数据。 因此，转换电路54基于从延迟电路52输入的上位编码数据 S14中的属性数据EisTop和ETime和从下位层解码电路53输入 的属性数据BisTop和BTime，判断是否满足上述条件。当判断 为满足该条件时，转换电路54将插值处理应用于从下位层解码 电路53输入的下位预测图像数据I^PRE1 ，以生成下位预测图像 数据L一PREla。
转换电路54从下位预测图像数据L—PRE 1 a提取与在上位层 解码电路55处解码的上位编码场数据U—EFI的扫描位置相对应 的行数据，以生成下位预测图像数据L—PRElb,并且将该数据 输出到上位层解码电路55。
转换电路54将与从下位层解码电路53输入的下位预测图 像数据L—PRE 1相对应的属性数据BisTop和BTime输出到上位层 解码电路55。
当上位层和下位层具有相同时刻，并且两者同样均为前场 (或后场)时(其中，BTime和ETime为相同时间，并且BisTop和 EisTop具有相同值)，转换电路54将从下位层解码电路53输入的 下位预测图像数据L一PRE1原样作为下位预测图像数据 L—PRElb输出到上位层解码电路55。
上位层解码电路
图11是图9所示的上位层解码电路55的结构的图。 上位层解码电路55具有例如存储緩冲器160、可逆解码电路 161、逆量化电路162、逆正交变换电路163、加法电路164、去 块滤波器165、帧存储器166、图片重排电路167、帧内预测电路 169、运动预测/补偿电路170、以及下位层预测电路171。
将从延迟电路52读出的上位编码场数据U—EFI写入存储緩冲器160中。
当判断为对上位编码场数据U—EFI中的待处理的宏块MB
U—EFI的头部分中的运动矢量进行解码，并且将该运动矢量输 出到运动预测/补偿电路170。
当判断为对上位编码场数据U一EFI中的待处理的宏块MB 进行帧内编码时，可逆解码电^各161对写入上位编码场数据 U—EFI的头部分中的帧内预测模式信息进行解码，并将该信息 输出到帧内预测电^各169。
当基于头部分判断为上位编码场数据U—E FI是帧内预测的 下位层时，可逆解码电路161对写入上位编码场数据U—EFI的头 部分中的帧内预测模式信息进行解码，并将该信息输出到帧内 预测电路169。此外，可逆解码电路161对上位编码场数据U一EFI 进行解码，并且将该数据输出到逆量化电路162。此外，可逆解 码电路161将包括在上位编码场数据U—EFI的头数据中的属性 数据EisTop和ETime输出到转换电路54 、重构电路56和下位层预 测电^各171。
逆量化电路162基于从可逆解码电^各161输入的量化参数 QP,对在可逆解码电路161处解码的图像数据(正交变换系数) 进行逆量化，并且将该图像数据输出到逆正交变换电路16 3 。
逆正交变换电^各163将4x4的逆正交变换处理应用于从逆 量化电路162输入的图像数据(正交变换系数)，以生成差图像数 据，并且将该差图像数据输出到加法电路164。
加法电路164将来自运动预测/补偿电路170、帧内预测电路 169或下位层预测电路171的预测图像数据PI和来自逆正交变换 电路163的差图像数据相加，以生成图像数据，并且将该图像数 据输出到去块滤波器165。去块滤波器16 5将去块滤波处理应用于从加法电路16 4输 入的图像数据，并且将该处理之后的解码图像数据写入帧存储 器166和图片重排緩沖器167。
当指定普通帧内预测时，帧内预测电^各169基于乂人可逆解 码电路161输入的帧内预测模式和从帧存储器166读出的解码图 像数据，生成预测图像数据PI,并将该数据输出到加法电路164 。
当指定帧间预测时，运动预测/补偿电路17 0基于从帧存储 器166读出的解码图像数据和从可逆解码电路161输入的运动矢 量，生成预测图像数据PI,并将该数据输出到加法电路164。
当指定下位层帧内预测时，下位层预测电路171基于从可 逆解码电路161输入的帧内预测才莫式和从转换电路54输入的下 位预测图像数据L—PRElb，通过使用从帧存储器166读出的解码 图像数据，生成预测图像数据PI，并将该数据输出到加法电路 164。
此时，例如，下位层预测电^各171基于从可逆解码电路161 输入的属性It据EisTop和ETime 、以及从转换电^各54输入的属性 数据BisTop和BTime，选择并使用与从帧存储器164读出的解码 图像数据相对应的下位预测图像数据L一PRElb。
图片重排緩冲器167存储从去块滤波器165写入的解码图 像数据。
按照显示的序列将存储在图片重排緩沖器167中的解码图 像数据作为上位解码图像数据S55读出到图9所示的重构电路 56。
重构电路
重构电路56重构从上位层解码电路55输入的上位解码图像 数据S55和从下位层解码电路53输入的下位解码图像数据S53, 以生成逐行图像数据S56。解码设备的操作的例子
接着说明图9所示的解码设备的操作。
分离电路5 1接收作为输入的编码设备2所生成的上述编码
数据S2，将编码数据S2分离成下位编码数据S12和上位编码数 据S14,将下位编码数据S12输出到下位层解码单元53，并且将 上位编码数据S14写入延迟电路52。
延迟电路52将从分离电路51输入的上位编码数据S14精确 延迟下位层解码电路53和转换电路54中的处理时间，并且将该 数据输出到上位层解码电路5 5 。
下位层解码电路53对下位编码数据S12进行解码，生成下 位解码图像数据S53,并且将该数据输出到重构电路。此外， 下位层解码电路5 3生成下位预测图像数据L 一 P R E1,并且将该数 据输出到转换电路54。
转换电路54进行插值处理，以使得下位预测图像数据 L—PRE 1在扫描位置上与上位场图像数据U_EFI —致，并且生成 下位预测图像数据L—P RE 1 b 。
上位层解码电路55基于下位预测图像数据L—PRElb,对上 位场图像数据U—EFI进行帧内解码，以生成上位解码图像数据 S55，并将图像数据S55输出到重构电路56。
重构电路56重构从上位层解码电路55输入的上位解码图像 数据S55和从下位层解码电路53输入的下位解码图像数据S53, 以生成逐行图像数据S56。
如上所述，根据本发明的实施例的编码设备2，可以在图2 所示的下位层编码电路12和上位层编码电路14中的每一个中对 隔行图像数据进行编码。
此外，根据本发明的实施例的解码设备3，可以在图9所示 的下位层解码电路53和上位层解码电路55中的每一个中对隔行图像数据进行解码。
以这种方式，根据本实施例，可以在分层编码的每一类中 处理隔行图像数据。
此外，根据本实施例，当对分层编码的图像数据进行解码 时，可以在每一类中处理隔行图像数据。
本发明不局限于上述实施例。
也就是说，在本发明的技术范围或其等同范围内，本领域 技术人员可以对上述实施例做出各种修改、组合、子组合和改
变
例如，可以通过CPU(中央处理单元)或其它处理电^各253才艮 据存储在如图12所示的存储器252中的程序PRG的程序设计，执 行上述编码设备2或解码设备3的部分或全部功能。
在这种情况下，通过接口 251输入待编码或解码的图像数 据，并且输出编码或解码的处理结果。
作为参考，将给出对于本实施例的结构与本发明的结构之 间的关系。
编码设备2是本发明的第 一方面的编码单元或编码设备的 例子。当通过图12所示的程序PRG描述编码设备2的处理内容 (功能)时，该程序P R G是本发明的实施例的程序的例子。
图2所示的下位层编码设备12是第 一编码单元或第 一编码 部件的例子，转换电路13是转换单元或转换部件的例子，并且 上位层编码电路14是第二编码单元或第二编码部件的例子。
分层电路IO是本发明的分离单元或分离部件的例子。
解码设备3是本发明的实施例的解码设备的例子。当通过 程序PRG描述解码设备3的处理内容(功能)时，该程序PRG是本 发明的实施例的程序的例子。
图9所示的下位层解码电路5 3是本发明的实施例的第 一 解码单元或第 一 解码部件的例子，转换电路5 4是转换单元或转换
部件的例子，并且上位层解码电路55是第二解码单元或第二解
码部件的例子。
权利要求
1.一种编码设备，用于对从构成运动图片图像的多个图片数据中的每个图片数据分离得到的前场数据和后场数据进行分层编码，所述编码设备包括第一编码单元，用于对从所述图片数据分离得到的所述前场数据和所述后场数据两个场数据中的一个场数据进行编码；转换单元，用于对通过所述第一编码单元对所述一个场数据进行编码所生成的第一预测图像数据进行插值，并生成所述两个场数据中的另一个场数据的扫描位置的第二预测图像数据；以及第二编码单元，用于基于由所述转换单元生成的所述第二预测图像数据，对所述两个场数据中的所述另一个场数据进行编码。
2. 根据权利要求l所述的编码设备，其特征在于，作为所 述编码，所述第 一编码单元和所述第二编码单元进行帧内编码。
3. 根据权利要求l所述的编码设备，其特征在于，所述第 一编码单元在编码后对所述一个场数据进行解码，以生成重构 图像数据，并将所述重构图像数据作为所述第 一预测图像数据 输出到所述转换单元。
4. 根据权利要求l所述的编码设备，其特征在于，所述第 二编码单元在通过使用所述另 一个场数据的帧内预测所生成的 预测图像数据、通过运动预测/补偿所生成的预测图像数据、以 及通过使用所述第二预测图像数据的帧内预测所生成的预测图 像数据中，选择与所述另 一个场数据的差最小的预测图像数据， 并对所述另 一个场数据与预测图像数据之间的差进行编码。
5. 根据权利要求l所述的编码设备，其特征在于，还包括 分离单元，用于将所述多个图片数据中的每个图片数据分离成所述前场数据和所述后场数据。
6. 根据权利要求l所述的编码设备，其特征在于，所述分 离单元使所述第一编码单元对连续图片数据的一个前场数据进 行编码，并使所述第二编码单元对另 一个前场数据进行编码。
7. 根据权利要求6所述的编码设备，其特征在于，所述第一编码单元和所述第二编码单元中的每个单元对包括连续两个 图片数据的 一个前场数据和另 一个后场数据的帧数据进行编码。
8. 根据权利要求l所述的编码设备，其特征在于，还包括 多路复用部，用于对由所述第一编码单元编码后的场数据和由所述第二编码单元编码后的场数据进行多路复用。
9. 一种编码方法，用于对从构成运动图片图像的多个图片 数据中的每个图片数据分离得到的前场数据和后场数据进行分 层编码，所述编码方法包括如下步骤第一步骤，用于对从所述图片数据分离得到的所述前场数 据和所述后场数据两个场数据中的 一 个场数据进行编码；第二步骤，用于对通过所述第一步骤对所述一个场数据进 行编码所生成的第 一预测图像数据进行插值，并生成所述两个 场数据中的另 一 个场数据的扫描位置的第二预测图像数据；以 及第三步骤，用于基于在所述第二步骤中生成的所述第二预 测图像数据，对所述两个场数据中的所述另 一个场数据进行编码。
10. —种由计算机执行的程序，用于对从构成运动图片图 像的多个图片数据中的每个图片数据分离得到的前场数据和后 场数据进行分层编码，所述程序使所述计算机执行如下例程第一例程，用于对从所述图片数据分离得到的所述前场数 据和所述后场数据两个场数据中的 一 个场数据进行编码；第二例程，用于对通过所述第一例程对所述一个场数据进 行编码所生成的第一预测图像数据进行插值，并生成所述两个场数据中的另 一 个场数据的扫描位置的第二预测图像数据；以及第三例程，用于基于在所述第二例程中生成的所述第二预 测图像数据，对所述两个场数据中的所述另 一个场数据进行编码。
11. 一种解码设备，用于对通过对从构成运动图片图像的 多个图片数据中的每个图片数据分离得到的两个场数据进行分层编码所获得的两个编码场数据进行解码，所述解码设备包括 第一解码单元，用于对所述两个编码场数据中的一个编码场数据进行解码；转换单元，用于对通过所述第一解码单元进行解码所生成 的第 一预测图像数据进行插值，并生成所述两个编码场数据中 的另 一 个编码场数据的扫描位置的第二预测图像数据；以及第二解码单元，用于基于由所述转换单元生成的所述第二 预测图像数据，对所述两个编码场数据中的所述另 一 个编码场 数据进行解码。
12. 根据权利要求ll所述的解码设备，其特征在于，作为 所述解码，所述第 一解码单元和所述第二解码单元进行帧内解 码。
13. —种解码方法，用于对通过对从构成运动图片图像的 多个图片数据中的每个图片数据分离得到的两个场数据进行分 层编码所获得的两个编码场数据进行解码，所述解码方法包括 如下步骤第一步骤，用于对所述两个编码场数据中的一个编码场数 据进行解码；第二步骤，用于对通过在所述第一步骤中进行解码所生成 的第 一 预测图像数据进行插值，并生成所述两个编码场数据中的另 一 个编码场数据的扫描位置的第二预测图像数据；以及第三步骤，用于基于在所述第二步骤中生成的所述第二预 测图像数据，对所述两个编码场数据中的所述另一个编码场数 据进行解码。
14. 一种由计算机执行的程序，用于对通过对从构成运动 图片图像的多个图片数据中的每个图片数据分离得到的两个场 数据进行分层编码所获得的两个编码场数据进行解码，所述程 序使所述计算机执行如下例程第一例程，用于对所述两个编码场数据中的一个编码场数 据进行解码；第二例程，用于对通过在所述第一例程中进行解码所生成 的第 一预测图像数据进行插值，并生成所述两个编码场数据中 的另 一个编码场数据的扫描位置的第二预测图像数据；以及第三例程，用于基于在所述第二例程中生成的所述第二预 测图像数据，对所述两个编码场数据中的所述另 一 个编码场数 据进行解码。
15. —种编码设备，用于对从构成运动图片图像的多个图 片数据中的每个图片数据分离得到的前场数据和后场数据进行 分层编码，所述编码设备包括第一编码部件，用于对从所述图片数据分离得到的所述前场数据和所述后场数据两个场数据中的 一个场数据进行编码；转换部件，用于对通过所述第一编码部件对所述一个场数 据进行编码所生成的第 一预测图像数据进行插值，并生成所述 两个场数据中的另 一 个场数据的扫描位置的第二预测图像数 据；以及第二编码部件，用于基于由所述转换部件生成的所述第二 预测图像数据，对所述两个场数据中的所述另 一 个场数据进行编码。
16. 根据权利要求15所述的编码设备，其特征在于，还包括分离部件，用于将所述多个图片数据中的每个图片数据分 离成所述前场数据和所述后场数据。
17. 根据权利要求15所述的编码设备，其特征在于，还包括多路复用部件，用于对由所述第一编码部件编码后的场数 据和由所述第二编码部件编码后的场数据进行多路复用。
18. —种解码设备，用于对通过对从构成运动图片图像的 多个图片数据中的每个图片数据分离得到的两个场数据进行分 层编码所获得的两个编码场数据进行解码，所述解码设备包括第一解码部件，用于对所述两个编码场数据中的一个编码场数据进行解码；转换部件，用于对通过所述第一解码部件进行解码所生成 的第 一预测图像数据进行插值，并生成所述两个编码场数据中 的另 一个编码场数据的扫描位置的第二预测图像数据；以及第二解码部件，用于基于由所述转换部件生成的所述第二预测图像数据，对所述两个编码场数据中的所述另 一 个编码场 数据进行解码。
全文摘要
一种用于对由构成运动图像的多个图片数据中的每个图片数据分成的前场数据和后场数据进行分层编码的编码设备。该编码设备包括第一编码单元(12)，用于对由图片数据所分成的前场数据和后场数据之一进行编码，从而生成第一预测图像数据；转换单元(13)，用于对第一预测图像数据进行插值，从而生成与两个场数据中的另一个场数据的扫描位置相对应的第二预测图像数据；以及第二编码单元(14)，用于基于第二预测图像数据，对两个场数据中的另一个场数据进行编码。
文档编号H04N7/32GK101292535SQ20068003877
公开日2008年10月22日 申请日期2006年8月17日 优先权日2005年8月17日
发明者汪黎明, 矢崎阳一, 铃木辉彦 申请人:索尼株式会社