使用用于运动补偿预测的代替参考帧的视频编码的制作方法

专利名称：使用用于运动补偿预测的代替参考帧的视频编码的制作方法
技术领域：
本发明涉及一种图像解码设备和方法、图像编码设备和方 法、计算机程序、以及存储介质。
背景技术：
近年来，需要这样的编码技术其能在高压缩率下以高图
像质量对图像数据进行编码，以将运动图像信息处理为数字数 据并将其用于存储和传输。为了压缩图像信息，已经提出并普
及了MPEG等方法其通过利用图像信息特有的冗余性，通过 离散余弦变换(discrete cosine transformation)等正交变换 (orthogonal transformation)和运动子贞领'j /运动才卜j尝来对图 <象信息
进^亍压缩编码。
而且，近年来，H.264(也被称作MPEG4第IO部分AVC) 作为一种目的在于更高压缩率和更高图像质量的编码方法是可 用的。与MPEG2、 MPEG4等传统的编码方法相比较，这种11.264 在编码处理和解码处理中需要更多的运算量但是可以实现更高 的编码率(关于H.264标准的详细信息，参见ISO/IEC 14496-10(Mpeg-4第IO部分)。
这样的编码方法通过减少时间冗余信息来压缩信息大小。 可以通过参考图像圓片之间在时间上的过去和将来的信息而进 行对于各块的运动信息的检测和预测图像的生成、计算获得的 预测图像和当前的帧图像之间的差分值、然后对该差分值进行 编码，来减少时间冗余信息。
注意，"图片，，是表示一个画面的术语，其代表逐行扫描图 像(progressive image)中的帧图 <象以及隔4亍扫描图 <象(interlacedimage)中的帧图像或者场图像。
图IO示出了H.264中的图片的类型及其参考关系。参考图 10，符号I、 P和B分别表示图片的类型，即I(内部编码)图片、 P(前向预测编码)图片以及B(双向预测编码)图片。跟在符号后 的数字表示图片的编号。在这种情况下，越小的图片编号表示 在时间上越早回放的数据。例如，在图10中，P5图片将在B1图 片之后回放。P5图片通过箭头与B1图片联结。该箭头表示图片 间的参考关系。因此，P5图片参考B1图片，并且对于P5图片， 对P5和B1图片之间的差分进行编码。
在图10中，12和I17都是I图片。这种I图片被限制在各图片 内进行编码，并且不参考其它图片。如P5、 P8、 P11和P14图片 等P图片仅参考在时间上存在于感兴趣的图片之前的图片，并 对图片之间的差分进行编码。此外，B0、 Bl、 B3、 B4、 B6、 B7、 B9、 BIO、 B12、 B13、 B15和B16是B图片。每一个这样的 B图片与时间关系无关地参考两个图片，并对图片之间的差分 进行编码。注意，P和B图片可能包括不参考其它图片并在图片 内进行编码的块。
在H.264中，对于作为包含在各图片中的小区域的各块指定 参考目的地，各图片中这样的块可以参考不同图片中的块。图 ll示出了这种参考关系。参考图ll，作为P图片的P5图片包括 P5(a)块和P5(b)块。P5(a)块参考Bl图片中的Bl(a)块，而P5(b) 块参考I2图片中的12(b)块。
在H.264中，可以对作为比图片小的单位的各切片(slice)指 定I、 P和B。然而，为了简便起见，在一个图片包括相同的切 片类型(I， P, B)的假设下给出以下说明。
为了对使用图片间(inter-picture)差分而编码的数据进行解 码，必须已经对被参考的图片进行了解码。以下考虑这样的情
况即仅提取具有图ll所示参考关系的编码数据的I图片和P图 片以进行搜索回放。在对I2图片进行解码时，由于对I2图片进 行了内部编码，因而可以毫无问题地对其进行解码。接着，对 于P5图片，由于P5图片中的P5(b)块参考已被解码的I2图片的 12(b)块，因而可以对P5(b)块进行解码。然而，由于P5(a)块参 考仍未被解码的B1图片的Bl(a)块，因而不能对P5(a)块原样进 行解码。这样，在仅对I图片和P图片解码时，可以仅对P图片的 某些块和I图片进行解码。
同样，可以单独提取I图片并在回放时对其进行解码。然而，
即使当采用与MPEG2中相同的图片结构时，也是每例如1 5个图 片包括一个I图片。因此，在仅提取I图片的回放中，不能进行 低速(例如三倍速度)搜索。
即使在搜索以外的情况下，当从图像流的中间(例如B图片) 开始回放时，通常也不能对被参考的图片进行解码。在这种情 况下，必须通过将控制返回或者前进到作为参考的I图片(IDR 图片)来进行解码，并且难以立即对图l象进4亍解码和回放。

发明内容
考虑到上述问题做出了本发明，本发明的目的在于即使 当对图像进行解码时作为该图像的参考的图片未被解码时，也 将该图像作为近似图像进行解码和回放。
为了实现上述目的，根据本发明，提供一种对包括多个图 像图片的压缩编码图像数据进行解码的图像数据解码方法，其 特征在于包括选择步骤，用于当要对所述多个图像图片中的 一个图像图片进行解码时，以及当待解码的该图像图片所参考 的第一参考图片未被解码时，从已解码图片中选择第二参考图
片作为代替参考；以及解码步骤，用于参考作为所述第一参考
图片的代替的所述第二参考图片对所述待解码的图像图片进行解码。
根据下面结合附图所做的说明，本发明的其它特征和优点 将变得明显，在所有附图中，相同的附图标记表示相同或相似 的部分。


图l是示出根据本发明第 一实施例的图像解码设备的配置
的示例的才匡图2示出了根据本发明第 一实施例的图像序列的图片结构； 图3是根据本发明第一实施例的用于说明图片的代替参考 的图4是示出根据本发明第 一 实施例的运动补偿单元的处理 的流程的示例的流程图5是根据本发明第一实施例的用于说明当场景变化发生 时的图片的参考关系的图6是根据本发明第 一 实施例的用于说明单个图片中的多 个块参考不同图片的示例的图7是根据本发明第 一实施例的用于说明单个图片中的多 个块参考作为代替参考的一个图片的示例的图8是示出根据本发明第二实施例的编码设备的配置的示 例的框图9是示出根据本发明第二实施例的解码设备的示例的框
图10示出了根据本发明现有技术的图片的参考关系；以及 图ll示出了根据本发明现有技术的图片的参考关系。
具体实施例方式
以下将参考示出了本发明实施例的附图来更充分地说明本 发明。然而，可以以多种不同形式实施本发明，并且本发明不
应理解为仅限于此处^t是出的实施例；相反，所4是供的这些实施 例表明本公开是彻底的和完整的，并将向本领域技术人员充分
地传达本发明的范围。相同的附图标记在整个附图中表示相同 的元件。
第 一 实施例
图l是示出根据本实施例的对通过H.264编码方法压缩编码 的数据进行解码的图像解码设备的配置的示例的框图。参考图 1 , 附图标记100表示可变长度解码单元(variable-length decoding unit); 1 01表示逆量化单元(inverse quantization unit); 102表示逆正叉变换单元(inverse orthogonal transformation unit) ; 103表示力口 〉去器；104表示运云力才卜^尝单元(motion compensation unit); 以及105表示帧存储器。
下面将参考图l说明图像解码设备的操作。在接收到压缩编
码后的码序列时，可变长度解码单元10 0执行可变长度解码处理 以将输入的码序列解码为量化的正交变换系数(orthogonal transformation coefficient)和图 <象相关4言息，并且将其输出到逆 量化单元101。此时，由于图像相关信息包括运动向量数据，因 而将该运动向量数据输出到运动补偿单元104。逆量化单元101 基于存储在量化表(未示出)中的量化值，对输入的量化正交变 换系数进行逆量化，并将所获得的正交变换系数输出到逆正交 变换单元102。
逆正交变换单元102将逆正交变换应用于作为频率分量的 正交变换系数，以将它们转换为原始图像数据。当要从逆正交 变换单元102输出的图像数据是图片内(intra-picture)编码数据(即I图片数据)时，将该图像数据连接到端子(a)并向外部输出该 图像数据。此时，该图像数据也被存储在帧存储器105中。另一 方面，当该输出的图像数据是编码时参考其它图像数据的图像 数据(即P图片或者B图片)时，将该图像数据连接到端子(b)并由 加法器103将该图像数据与从运动补偿单元104输出的预测图像 相加，输出总和数据。此时，该总和数据也被存储在帧存储器 105中。运动补偿单元104通过利用从可变长度解码单元100输出 的运动向量数据，对存储在帧存储器105中的图像数据施加稍后 将^L明的处理，来生成预测图像。
下面将参考图2 ~ 4说明图l所示的图像解码设备中的运动 补偿单元104的操作的细节。图2示出了待解码图像数据的图片 序列的示例。在图2中，I、 P和B表示图片的类型，编号表示回 放时的时间顺序。
图3部分地示出了图2中从B0图片开始到P5图片为止的参 考关系。在图3中，P5(a)和P5(b)表示运动参考的单位块，实线 箭头表示编码时的参考。即，P5(a)块参考Bl(a)块，P5(b)块参 考12(b)块。这样，图像图片被分割成块。作为块的大小，可以 选择16xl6像素、16x8像素、8xl6像素以及8x8像素的其中之一， 在8x8像素的情况下，可以选择8x4像素、4x8像素和4x4像素的 其中之一作为更小的块。
下面将详细地说明将图2所示的码序列输入到图l所示的图 像解码设备的情况。在下面的说明中，将举例说明通过从具有 图2所示图片结构的图像数据中仅提取I和P图片来执行三倍速 搜索回放的情况。在下面所要说明的示例中，假设将本实施例 的图像解码设备应用于图像回放设备，并使用图像回放设备中 的n倍速回放功能来实现搜索回放。
当将I2图片的码序列输入到可变长度解码单元100时，如上
所述，由于I图片是图片内编码数据，因而从图l中的逆正交变
换单元102输出的数据被直接输出到外部。由于I2图片被P5图片 参考，因而其数据被输出并存储到帧存储器105中。
当通过可变长度解码单元100对P5图片的码序列进行解码 时，将其运动向量信息输出到运动补偿单元104,并且通过逆量 化单元1 01和逆正交变换单元10 2将其图^f象数据输出到加法器 103。
下面将参考图4的流程图说明对P5图片进行解码时运动补 偿单元104的实际操作。图4是示出运动补偿单元的处理的流程 的流程图。当要对包括在P5(b)块中的图像数据进行解码时，在 步骤S400中检查其参考图片是否已经被解码。在这种情况下， P5(b)块参考I2图片。如上所述，由于I2图片已经被解码，所以 判断为参考图片已经被解码(在步骤S400中为"是")，并且流 程进入步骤S401。在步骤S401中，基于存储在帧存储器105中 的I2图片和运动向量信息来进行运动补偿，以生成I2(b)块的图 像作为预测图像。将生成的预测图像输出到加法器103并通过加 法器103将该预测图像与解码后的图像信号相加，从而对P5(b) 块的图像信号进行解码。这样，完成了P5(b)块的解码处理。
在执行P5(a)块的解码处理时，同样地在步骤S400中检查其 参考图片是否已经被解码。如图3所示，P5(a)块参考Bl图片。 然而，在这种情况下，由于进行三倍速搜索回放，因而作为B 图片的B1图片未被解码。因此，判断为参考图片仍未被解码(在 步骤S400中为"否")。因此，流程进入步骤S402。在步骤S402 中，检测在时间上与参考图片最邻近的I图片或P图片。即，本 实施例使用检测到的邻近的I图片或P图片作为原本所参考的B 图片的代替图片。
更具体地，在图2和图3的示例中，检测在时间上与B1图片
最邻近的作为I图片或P图片的I2图片。该I2图片作为B1图片的
代替而被参考。在步骤S403中，执行运动向量信息的补偿处理。
下面将详细"i兌明该补偿处理。P5(a)块的运动向量信息是当 参考Bl(a)块时所产生的运动向量信息。因此，当将该运动向量 原样应用于I2图片时，例如当运动很大时，误差增大。因此， 必须根据显示时序来补偿运动向量。注意块之间在时间上的差 别，Bl图片与P5图片具有四个图片的差别，12图片与P5图片具 有三个图片的差别。因此，通过将Bl(a)块的运动向量乘以3/4， 可以生成12(a)块的补偿运动向量。
以这样的方式在步骤S403中补偿运动向量之后，流程进入 步骤S401。在步骤S401中，基于补偿后的运动向量和存储在帧 存储器105中的I2图片来执行运动补偿，从而生成对应于I2(a) 的块作为预测图像。将生成的预测图像输出到加法器103,并由 加法器103将该预测图像与解码后的图像信号相加，从而对原始 图像信号进行解码。
这样，即使当在图像解码时参考图片仍未被解码时，也代 替地参考在时间上与参考图片最邻近的已解码图片，从而对图 像进行解码。结果，可以得到搜索等的灵活回放。
注意，基于上面说明中的补偿运动向量来执行加法处理。 然而，当运动向量很大时，可能跳过加法器103的加法处理，而 原样输出预测图像。这是因为，当代替地参考邻近的图片时， 已经与原始参考的图像产生了误差，如果将解码信号与该包括 误差的图像相加，则可能进一步增大误差。
选择作为代替而参考的图片的其它方法
在上面的说明中，选择在时间上与原本所参考的图片最邻 近的I图片或P图片作为代替地参考的图片。然而，选择代替地 参考的图片的方法并不限于该方法，也可以使用其它方法。 即，当代替地参考的图片是P图片时，由于解码后的P图片 原本包括误差，因而代替的参考图片可不限于P图片，而是限 于与原本所参考的图片最邻近的I图片。根据本示例，可以防止
P图片的误差的传播。
作为另 一个示例，可以使用考虑到给予各图片的特征信息 来选择代替参考的方法。为了提取该特征信息，例如，可以使
用场景信息、照相才几信息等元数据(meta data)。注意，元数据 是与记录的图像数据相关联附加记录的附加数据的通称。
下面将说明使用特征信息来选择代替参考的方法。图5示出 了图像序列以及一些参考关系。在图5中，11 Bll表示图片， 而P10图片原本参考B5图片。而且，在P4图片和B5图片之间发 生了场景变化。
下面考虑使用该序列仅提取并回放I图片或P图片的情况。 在对P10图片进行解码时，通常必须已经对B5图片进行了解码。 然而，在I图片或P图片的搜索回放时，B5图片未被解码。因此 选择代替B5图片而被参考的图片。在这种情况下，如果选择在 时间上最邻近的I图片或P图片，则选择P4图片。
然而，在本示例中，由于在P4图片和B5图片之间发生了场 景变化，所以P4图片和B5图片之间的相关性4艮小。由于该原因， 当代替P5图片而参考P4图片进行解码时，解码图像的误差很有 可能变得非常大。因此，在图4的流程图的步骤S402中，从与 P10图片相关联的元数据中获取作为参考图片的B5图片的场景 信息。然后，选择与B5图片的场景属于相同场景的并与B5图片 最邻近的已经被解码的I图片或P图片。在这种情况下，选择P7 图片作为代替地参考的图片。
注意，表示发生场景变化等的参考图片的场景信息在例如 编码时 一皮记录为元It据。
在上面的说明中，从场景信息检测场景变化，并基于场景 变化选择代替参考。同样地，可以使用照相机信息。更具体地， 当存在在时间上最邻近并具有与原本所参考的图片的元数据中 包括的照相机信息相对应(或者 一 致)的照相机信息的I图片或P 图片时，可以选择该I图片等作为代替参考。
注意，作为特征信,1、的照相机信息包括例如摄影时的被摄
体的亮度、镜头的缩放倍率、闪光灯的发光状态、AF状态、所
拍图像的大小、白平衡控制状态、ND滤光器状态、摄影模式等。
注意，在对图像数据进行编码(即摄影)时，这种照相机信息被
记录为元凄t据。
运动向量补偿的另 一示例
在上面的说明中，基于原本所参考的图片以及代替地参考 的图片的回放时序来补偿运动向量。然而，运动向量补偿方法 并不仅限于这种特定的方法，还可以通过其它方法来实现补偿。
例如，可以使用下面将说明的方法。图6和图7示出了P5图 片中的4个相邻块的参考。参考图6， P5图片中的P5(a)块参考I2 图片。同样地，P5(b)块参考Bl图片，P5(c)块参考B0图片，B5(d) 块参考B3图片。
如上所述，由于除了 12图片之外的其它图片在回放I图片和 P图片时均未被解码，因而在这种状态下不能对P5(b)、 P5(c)以 及P5(d)块进行解码。因此，检测代替参考图片。在这种情况下， 将相邻的P5(a) ~ P5(d)块组合在一起并作为 一个大块来考虑。如 果在该大块中发现参考已解码图片的任何块，则该图片就被确 定为被整个大块代替地参考的图片。
在图6的情况下，在由P5(a) ~ P5(d)块形成的大块中，仅P5(a) 块参考已解码的I2图片。因此，12图片被确定为该大块的代替 参考。关于运动向量，将P5(a)块的运动向量代替地用作P5(b)
P5(d)块的运动向量。结果，如图7所示，这四个块代替地参考 12图片，并可以对这四个块的图像进行解码。
在本示例中，由P5(a) ~ P5(d)块形成的大块中仅P5(a)块参 考已解码图片。如果另 一个块参考I2图片以外的已解码图片， 则必须选择这两个图片的其中之一作为代替参考。选择代替参 考图片的方法没有特别的限制。例如，可以使用以下任何一种 方法选择在时间上与待解码的P5图片最邻近的图片作为代替 参考图片的方法；比P图片更优先地选择I图片作为参考的方法； 选择被大块中多于其它块的多个块参考的图片作为代替参考图 片的方法等。
在图6所示的情况下，由P5(a) ~ P5(d)块形成的大块中仅 P5(a)块参考I2图片。如果在一个大块中有多个参考I2图片的块， 则可以采用如下方法使用参考I2图片的块的运动向量的平均 值作为代替参考的运动向量。
如上所述，即使当通过仅对包括在码序列中的多个图片中 的一些图片进行解码而进行回放时，根据本实施例的图像解码 设备也可以仅使用已解码图片来对待解码的图片进行解码。
本实施例已经说明了三倍速搜索回放。在这种搜索回放中， 由于只需要识别场景的大致轮廓，因而和原始图像相比，只要 维持了特定的再现性，就可以达到其目的。因此，当使用在时 间上与原本所参考的图片最邻近的图片来对图片进行解码时， 即使当未进行不必要的解码处理时，也可以在达到上述目的的 同时维持再现性，从而有效地执行搜索回放。
此外，对于场景变化等增大误差的因素，可以使用场景信 息或者照相机信息来选择与参考图片在相同场景内的图片。这 样，即使当发生了场景变化时，解码时所产生的误差也可以维 持得较低。
第二实施例
在第 一实施例的说明中，在解码时确定了代替地参考的图 片之后执行解码处理。与此相反，在本实施例中，在编码时预 先确定代替地参考的图片的信息，并将其记录在码序列中。解 码时，根据该代替地参考的图片的信息来进行解码。下面将说 明该实施例。
首先参考图8说明根据本实施例的图像编码设备。图8是示 出根据本实施例的使用H.264进行图像压縮编码的图像编码设 备的基本配置的示例的框图。参考图8，附图标记800表示图片 重排列(rearrangement)单元；801表示图片内预测单元；802表 示正交变换单元；803表示量化单元；804表示编码单元；805 表示逆量化单元；806表示逆正交变换单元；807表示力。法器； 808表示环路滤波器(loop filter)处理单元；809表示帧存储器； 810表示运动预测单元；811表示运动补偿单元；8]2表示减法器。
下面将说明图8中所示的图像编码设备的操作。当将数字输 入图像信号输入到图片重排列单元800时，图片重排列单元800 以图像图片被编码的顺序来重排列图像图片。这是因为B图片 参考在时间上出现在该图片之后的图片，所以必须在对参考图 片编码之后再对B图片进行编码。
对于各块处理以编码顺序重排列的图像。在I图片或确定要 经过图片内预测的块的情况下，图片内预测单元801预测图片中 的像素，并将来自预测像素的差分数据输出到正交变换单元 802。如果输入的图像是B图片或P图片，并要进行图片间预测， 则将由图片间预测(稍后将说明)生成的预测图像与当前图像之 间的差分图像输出到正交变换单元8 0 2 。正交变换单元8 0 2进行 4x4(像素)整数变换以将图像转换成频率分量。量化单元803对 输入的频率分量的数据进行量化。将通过量化单元803量化的图
像数据输出到编码单元804以及对图像数据进行本地解码的逆 量化单元805。
另 一方面，逆量化单元805对通过量化单元803量化的图<象 数据进行逆量化，以解码频率分量，并且逆正交变换单元806 通过逆正交变换对预测误差图像(差分图像)进行解码。如果从 逆量化单元803输出的图像是P图片或B图片的图像，则加法器 807将差分图像与运动补偿图像相加，以对图片图像进行解码。 解码后的图像经过由环路滤波器(处理单元)808进行的去除块 失真的滤波处理，然后被存储在帧存储器809中。帧存储器809 可以存储任意数量的可用作参考图片的图片。
运动补偿单元810在图片间预测模式下在存储于帧存储器
809内的解码图像中搜索与输入图像的差分最小的参考图像，计 算到该参考图像的运动向量，并将该运动向量输出到编码单元
804。而且，将在时间上与被选择为参考图像的图片最邻近的I 图片或P图片的位置信息作为解码时的代替参考信息输出到编 码单元804。
运动补偿单元811进行由运动向量和参考方向信息表示的 算术运算，并输出运动补偿后的图像。减法器812计算输入图像 和运动补偿后的图像之间的差分，并将差分图像输出到正交变 换单元802。编码单元804通过对图像数据、运动向量信息和代 替参考信息进行可变长度编码或算术编码，生成码序列，并输
出所生成的码序列。
关于代替参考图片的选择，不仅可以采用选择与参考图像 邻近的I图片或P图片的方法，还可以采用在第一实施例中说明 的任何一种选4奪方法。
下面将参考图9说明对这样生成的码序列进行回放的解码 设备。图9是示出与图l相同的图像解码设备的配置的框图。除可
变长度解码单元900和运动补偿单元904以外的块与第 一 实施例 中由相同的附图标记表示的块相同，在此省略其i兌明。
下面将说明如下情况与第一实施例相同，通过仅回放输 入码序列的I图片和P图片，来进行搜索回;^文。
在接收到码序列时，可变长度解码单元900进行可变长度解 码处理，并将码序列解码为量化的正交变换系数和图像相关信 息。图像相关信息存储运动向量数据和代替参考信息。将运动 向量数据和代替参考信息输出到运动补偿单元904，而将量化的 正交变换系数数据输出到逆量化单元IOI。在逆量化单元IOI、 逆正交变换单元102和帧存储器中的处理与第 一 实施例中的处 理相同。
运动补偿单元904通过基于运动向量数据和存储在帧存储 器105中的本地解码图像进行运动补偿，来生成预测图像。当待 解码图片的参考图片未被解码时，确定代替参考图片。在确定 了代替参考后，补偿运动向量数据、生成代替预测图像和由加 法器1 0 3相加该图 <象的处理与第 一 实施例的处理相同，在此省略 其说明。
如上所述，根据本实施例，由于在编码时指定了代替参考 图片，因而不需要进行在解码时检测代替参考图片的处理，并 且可以进一 步减轻搜索回放时的处理负荷。
作为代替参考信息，不仅记录代替参考图片，而且到代替 参考图片的运动向量信息等也会被一起记录。运动向量信息既 可以通过补偿对于原本所参考的图片计算出的运动向量信息来 获得，也可以通过计算代替参考图片的新的运动向量信息来获得。
上述各实施例以H.264作为编码方法的示例进行了说明。然
而，编码方法并不局限于这种特定的方法，可以使用任何其它 的编码方法，只要它们使用图片间预测即可。 其它实施例
也可以通过向系统或者设备提供记录有可实现上述实施例 的功能的软件程序的程序代码的存储介质(或记录介质)，由系
统或设备的计算机(或CPU或MPU)读出并执行存储在存储介 质中的程序代码，来达到本发明的目的。
在这种情况下，从存储介质读出的程序代码本身实现了上 述实施例的功能，并且存储该程序代码的存储介质构成了本发明。
此外，例如软盘(floppy )、硬盘、光盘、磁光盘、CD-R()M、 CD-R、磁带、磁性和非易失型存储卡以及ROM等存储介质可 以用来提供该程序代码。
上述实施例的功能不仅可以通过由计算积d丸行所读出的程 序代码来实现，也可以通过由运行在计算才几上的才喿作系统 (Operating System, OS)基于程序代码的指令所执行的部分或全 部的实际处理操作来实现。
此外，上述实施例的功能还可以通过在将从存储介质读出 的程序代码写入插入计算机的功能扩展卡或连接到计算机的功 能扩展单元的存储器中之后，由功能扩展卡或者功能扩展单元 中配置的CPU等所执行的部分或全部的实际处理操作来实现。
当将本发明应用于上述存储介质时，该存储介质优选地存 储与实施例中说明的流程图对应的程序代码。同时，本发明不 限于上述实施例，在本发明的精神和范围内可以进行各种变化 和修改。因此，为了向公众告知本发明的范围而做出了所附的 权利要求书。
这样，我们相信从上面的说明中可以看出，本发明的操作
和配置是显而易见的。显然，可以适当地对所公开和说明的方 法、设备和系统进行特征化，并且可以在不脱离所附权利要求 书中所定义的本发明的范围的情况下，做出各种变化和修改。
由于在不脱离本发明的精神和范围的情况下可以做出本发 明许多明显大大不同的实施例，因而应该理解，除在所附权利 要求书中所定义的以外，本发明并不局限于其特定的实施例。
本申请主张于2005年5月27日提交的日本专利申请2005 -1.56197号的权益，其全部内容通过引用包含于此。
权利要求
1.一种对包括多个图像图片的压缩编码图像数据进行解码的图像数据解码方法，其特征在于，包括选择步骤，用于当要对所述多个图像图片中的一个图像图片进行解码时，以及当待解码的该图像图片所参考的第一参考图片未被解码时，从已解码图片中选择第二参考图片作为代替参考；以及解码步骤，用于参考作为所述第一参考图片的代替的所述第二参考图片对所述待解码的图像图片进行解码。
2. 根据权利要求l所述的图像数据解码方法，其特征在于， 所述多个图像图片包括不参考任何其它图像图片而压缩编码的 第一图像图片、参考一个不同的图片而压缩编码的第二图像图 片、以及参考两个不同的图像图片而压缩编码的第三图像图片， 以及当仅对所述多个图像图片中的所述第 一 图像图片和所述第 二图像图片进行解码时，进行所述解码步骤中的解码。
3. 根据权利要求l所述的图像数据解码方法，其特征在于， 多个图片包括I图片、P图片和B图片，以及当仅对所述多个图像图片中的I图片和P图片进行解码时， 进行所述解码步骤中的解码。
4. 根据权利要求l ~ 3中任一项所述的图像数据解码方法， 其特征在于，在所述选择步骤中，从所述已解码图片中选择在 时间上与所述第 一参考图片邻近的图片作为所述第二参考图 片。
5. 根据权利要求2所述的图像数据解码方法，其特征在于， 在所述选择步骤中，从所述已解码图片中选择在时间上与所述 第一参考图片邻近的所述第一图像图片作为所述第二参考图片。
6. 根据权利要求l ~ 5中任一项所述的图像数据解码方法，其特征在于，所述选择步骤包括特征信息获取步骤，该特征信 息获取步骤用于获取与所述图像图片相关联的特征信息，并且 基于与所述第一参考图片相关联的特征信息来选择所述第二参考图片。
7. 根据权利要求6所述的图像数据解码方法，其特征在于， 在所述选择步骤中，选择已解码的图像图片中的、具有与所述第 一参考图片相关联的特征信息对应的特征信息的图像图片作 为所述第二参考图片。
8. 根据权利要求l ~ 7中任一项所述的图像数据解码方法， 其特征在于，所述解码步骤包括补偿步骤，该补偿步骤用于对 为所述待解码的图像图片而给出的第一运动信息进行补偿，以 及通过利用补偿后的所述第 一运动信息和所述第二参考图片 对所述待解码的图像图片进行解码。
9. 根据权利要求8所述的图像数据解码方法，其特征在于， 在所述补偿步骤中，基于所述第一参考图片和所述第二参考图 片相对于所述待解码的图像图片的时间关系，对所述第 一 运动 信息进行补偿。
10. 根据权利要求l所述的图像数据解码方法，其特征在 于，在将所述图像图片分割为各自具有预定数量像素的块之后， 对所述图像图片进行压缩编码，并且各块可以参考不同的第一 参考图片，在所述选择步骤中为各块选择所述第二参考图片，以及 在所述解码步骤中对各块进行解码。
11.根据权利要求2所述的图像数据解码方法，其特征在 于，在将所述图像图片分割为各自具有预定数量像素的块之后，对所述图像图片进行压缩编码，并且各块可以参考不同的第一 参考图片，以及当所述待解码的图像图片中的第一个块是参考所述第一图 像图片和所述第二图像图片的其中之一而压缩编码的块，并且 参考所述第三图像图片对与所述第一个块相邻的第二个块进行 压缩编；马时，在所述选择步骤中，与所述第二个块相关联地选择由所述 第一个块参考的所述第一图像图片和所述第二图像图片的其中 之一作为所述第二参考图片。
12. 根据权利要求l ~ ll中任一项所述的图像数据解码方 法，其特征在于，在所述解码步骤中，输出使用所述第二参考 图片进行运动补偿的图像作为所述待解码的图像图片的解码图
13. 才艮据斥又利要求l、 2、 3、 8 ~ 10以及12中任一项所述的图像数据解码方法，其特征在于，所述待解码的图像图片包括 指定所述第二参考图片作为所述代替参考的信息，以及在所述选择步骤中，基于所述指定来选择所述第二参考信台、
14. 根据权利要求13所述的图像数据解码方法，其特征在 于，所述待解码的图像图片还包括与指定的所述第二参考图片 相关联给出的第二运动信息，以及在所述解码步骤中，通过利用所述第二运动信息和所述第 二参考图片来进行解码。
15. —种对包括多个图像图片的图像数据进行压缩编码的 图像编码方法，其特征在于，包括第一编码步骤，用于不参考任何其它图像图片对待编码的 图像图片进行压缩编码； 第二编码步骤，用于参考其它图像图片对待编码的图像图片进4亍压缩编码；以及选择步骤，用于当在所述第二编码步骤中参考的所述其它图像图片是参考另一个图像图片而压缩编码的第一图像图片 时，选择不参考任何其它图像图片而压缩编码的第二图像图片 和参考一个不同的图像图片而压缩编码的第三图像图片的其中之一作为代替参考图像图片，以及其中，将所述代替参考图像图片的信息附加到在所述第二 编码步骤中编码的所述图像图片的编码数据。
16. —种计算机程序，其特征在于，使计算机执行根据权 利要求l ~ 15中4壬一项所述的方法。
17. —种计算机可读存储介质，其特征在于，存储权利要 求16所述的计算机程序。
18. —种对包括多个图像图片的压缩编码图像数据进行解 码的图像解码设备，其特征在于，包括选择部件，用于当要对所述多个图像图片中的一个图像图 片进行解码时，以及当待解码的该图像图片所参考的第 一 参考 图片未被解码时，从已解码图片中选择第二参考图片作为代替 参考；以及解码部件，用于参考作为所述第一参考图片的代替的所述 第二参考图片对所述待解码的图像图片进行解码。
19. 一种对包括多个图像图片的图像数据进行压缩编码的 图像编码设备，其特征在于，包括第一编码部件，用于不参考任何其它图像图片而对待编码的图像图片进行压缩编码；第二编码部件，用于参考其它图像图片而对待编码的图像图片进行压缩编码；以及 选择部件，用于当由所述第二编码部件参考的所述其它图像图片是参考另 一个图像图片而压缩编码的第一图像图片时， 选择不参考任何其它图像图片而压缩编码的第二图像图片和参考一个不同的图像图片而压缩编码的第三图像图片的其中之一 作为代替参考图像图片，以及其中，将所述代替参考图像图片的信息附加到由所述第二 编码部件编码的所述图像图片的编码数据。
全文摘要
一种对包括多个图像图片的压缩编码图像数据进行解码的图像数据解码方法，包括选择步骤，用于当要对所述多个图像图片中的一个图像图片进行解码时，以及当待解码的图像图片所参考的第一参考图片未被解码时，从已解码图片中选择第二参考图片作为代替参考；以及解码步骤，用于参考作为所述第一参考图片的代替的所述第二参考图片而对所述待解码的图像图片进行解码。
文档编号H04N7/26GK101185339SQ20068001865
公开日2008年5月21日 申请日期2006年5月22日 优先权日2005年5月27日
发明者北岛光太郎 申请人:佳能株式会社