具有限制的参考帧获取的帧间预测方法以及相关的帧间预测装置与流程

本申请主张在2015年6月18日提出申请的美国临时专利申请第62/181,421号的权利，且上述美国专利申请以引用方式并入本文中。

技术领域

本发明与视频编码以及视频解码的帧间预测相关，具体来说，本发明是有关于限制帧获取的帧间预测的方法以及相关的帧间预测装置。

背景技术：

传统的视频编码标准通常采用基于区块的编码技术，来利用空间以及时间的冗余。举例来说，基本的途径是将当前帧划分为多个区块、在每一区块执行预测、产生每一区块的冗余、并且执行转换、量化、扫描以及熵编码来编码每一区块的冗余。此外，当前帧的一个重建帧在编码循环中被产生，以提供参考像素数据，用于编码后续帧。举例来说，逆扫描、逆量化以及逆转换可能在编码循环中使用，来恢复当前帧的每一区块的冗余。当选择帧间预测模式时，执行基于一个或者多个参考帧(即先前帧的重建帧)的帧间预测，来找到当前帧的每一区块的预测采样。当前帧的每一区块是通过从当前帧的每一区块的初始采样中减去当前帧的每一区块的预测采样来产生。此外，当前帧的重建帧的每一区块是通过将当前帧的每一区块的预测采样加上当前帧的每一区块的恢复的冗余来产生的。视频解码器用来执行视频编码器所执行的视频编码的逆操作。因此，视频解码器也执行帧间预测来找到待解码的当前帧的每一区块的预测采样。

依据H.264视频编码标准，在一个单独编码的比特流中的每一帧的分辨率不能改变。依据Google提出的VP8视频编码标准，在一个单独编码的比特流中的帧内帧(关键帧)的分辨率可以变化。依据Google提出的VP9视频编码标准，连续的帧内帧的分辨率可以变化。这个特征也称为分辨率参考帧(resolution reference frame，RRF)。在网页实时通信(Web Real-Time Communication，WebRTC)应用中，需要时间可伸缩性(scalability)以及空间可伸缩性来满足不同的网络带宽的需求。当时间可伸缩性被使能(enable)时，一个单独编码的比特流可提供具有相同分辨率但对应不同时间层次的多个帧。因此，当解码多个时间层次时，获得一个较高的帧率。当空间可伸缩性被使能时，一个单独编码的比特流可提供具有相同画面内容但对应不同分辨率的多个帧。因此，当解码一个具有较大的空间层次索引的空间层次时，获得一个较高的分辨率。然而，当时间可伸缩性与空间可伸缩性都被使能时，帧内预测的参考帧重建变得复杂，对于参考帧缓冲器来说，这将导致需要一个缓冲大量参考帧的缓冲器以及一个复杂的缓冲管理设计。

因此，需要一种创新性的参考帧重建，其适用于空间以及时间可伸缩性，并且能够放松对参考帧缓冲器的需求。

技术实现要素：

本发明的目的之一是提供一种帧间预测方法以及相关的帧内预测装置，其具有限制的参考帧获取。

本发明的一实施例提供了一种帧间预测方法。该帧间预测方法包含针对第一帧组合中的第一帧，执行参考帧获取，并且依据获得的至少一参考帧执行第一帧的帧间预测。其中该第一帧的帧间预测所使用的至少一个参考帧是故意地限制为包含至少一个第一参考帧，该第一参考帧是从该第一帧组合中的至少一第二帧的重建数据获得，该第一帧组合包含具有该第一帧的至少一第一帧、以及至少一第二帧，并且该第一帧组合中的多个帧具有相同的画面内容但是具有不同的分辨率。

本发明的另一实施例提供了一种帧间预测方法。该帧间预测方法包含针对第一帧组合中的第一帧，执行参考帧获取，并且依据获得的至少一参考帧执行第一帧的帧间预测。其中该第一帧组合包含多个帧，该多个帧具有相同的画面内容但具有不同的分辨率，其中该第一帧的帧间预测所使用的至少一参考帧被故意地限制为包含来自第二帧组合的至少一第二帧的重建数据的至少一第一参考帧，该第二帧组合包含多个帧，该多个帧具有相同的画面内容但具有不同的分辨率，该第一帧组合中的一个帧以及该第二帧组合中的一个帧具有相同的分辨率，并且该至少一第一参考帧包含一个参考帧，该参考帧的分辨率与该第一帧的分辨率不同。

本发明的另一实施例提供了一种帧间预测装置。该帧间预测装置包含参考帧获取电路与帧间预测电路。参考帧获取电路，用来针对第一帧组合中的第一帧执行参考帧获取，其中该第一帧的帧间预测所使用的至少一个参考帧是被该参考帧获取电路故意地限制为包含至少一个第一参考帧，该第一参考帧是从该第一帧组合中的至少一第二帧的重建数据获得，该第一帧组合包含具有该第一帧的至少一第一帧、以及至少一第二帧，并且该第一帧组合中的多个帧具有相同的画面内容但是具有不同的分辨率。该帧间预测电路依据该至少一参考帧执行该第一帧的帧间预测。

本发明的另一实施例提供了一种帧间预测装置。该帧间预测装置包含参考帧获取电路与帧间预测电路。参考帧获取电路，针对第一帧组合中的第一帧执行参考帧获取，该第一帧组合包含多个帧，该多个帧具有相同的画面内容但具有不同的分辨率，其中该第一帧的帧间预测所使用的至少一参考帧被该参考帧获取电路故意地限制为包含来自第二帧组合的至少一第二帧的重建数据的至少一第一参考帧，该第二帧组合包含多个帧，该多个帧具有相同的画面内容但具有不同的分辨率，该第一帧组合中的一个帧以及该第二帧组合中的一个帧具有相同的分辨率，并且该至少一第一参考帧包含一个参考帧，该参考帧的分辨率与该第一帧的分辨率不同。帧间预测电路依据该至少一参考帧执行该第一帧的帧间预测。

本发明的提供的帧间预测方法以及相关的帧内预测装置，其具有限制的参考帧获取，从而降低对参考帧缓冲器的要求。

附图说明

图1是依据本发明的实施例的帧间预测装置的示意图；

图2是依据本发明的实施例的第一参考帧结构的示意图；

图3是依据本发明的实施例的第二参考帧结构的示意图；

图4是依据本发明的实施例的第三参考帧结构的示意图；

图5是依据本发明的实施例的第四参考帧结构的示意图；

图6是依据本发明的实施例的第五参考帧结构的示意图；

图7是依据本发明的实施例的第六参考帧结构的示意图。

具体实施方式

整个说明书和权利要求书采用确定的术语来指代特定的部件。正如本领域的技术人员将理解的是，制造商可以使用不同的名称来指代某一部件。本文件无意于区分那些名称不同但功能相同的部件。在下面的说明书和权利要求书中，用开放式方式使用术语“包含”和“包括”，因此应当被解释为“包含，但是不限于……”。同样地，术语“耦合”既可以表示间接电气连接也可以表示直接电气连接。因此，如果一个设备与另一个设备耦合，其连接可以是通过直接电气连接或者是通过其他设备和连接件的间接电气连接。

本发明的主要内容是在参考帧获取(例如参考帧选择)时施加一个限制，其用来获得(例如选择)一个或者多个参考帧来进行在时间以及/或者空间扫描下编码/解码帧的帧间预测。由于参考帧的获取(例如参考帧的选择)被故意的限制，用来缓冲参考帧(例如先前编码的/解码的帧的重建数据)的参考帧缓冲器的数量可减少，以放松对实施时间以及/或者空间扫描的参考帧缓冲器的需求。此外，编码/解码不同的时间以及/空间层所需的存储器频宽的要求也降低。所提出的时间以及/或者空间扫描的参考帧重建的具体细节将在以下段落中详细说明。

图1是依据本发明的一实施例的帧间预测装置的示意图。在一个实施例中，帧间预测装置100可以是视频编码器的一部分。在另一个举例说明中，帧间预测装置100可以是视频解码器的一部分。如图1所示，帧间预测装置100包含参考帧获取电路102以及帧间预测电路104。当前帧被编码/解码时，参考帧获取电路102被操作以获得至少一个参考帧，储存在储存装置10中。储存装置10包含多个参考帧缓冲器BUF_REF₁-BUF_REF_N，每一个被安排来储存一个参考帧，其是一个重建帧(即先前帧的重建帧)。举例来说，储存装置10可通过使用一个记忆体装置(例如动态随机存储记忆体DRAM)来实现。需注意的是，参考帧缓冲器BUF_REF₁-BUF_REF_N依赖于时间以及/或者空间扫描所使用的参考帧结构。此外，所使用的参考帧结构说明了参考帧获取电路102所执行的限制的参考帧获取。因此，当前帧的帧间预测所使用的至少一个参考帧是被参考帧获取电路102有意地限制。在当前帧的帧间预测所使用的至少一个参考帧被参考帧获取电路102获得之后，帧间预测电路104依据至少一个参考帧来执行当前帧的帧间预测。多个示例性的参考帧结构将在以下段落中详细说明。

在本发明的一些实施例中，参考帧获取电路102所执行的参考帧获取包含参考帧选择，被安排来从储存装置10中的一个参考帧缓冲器中选择一个单独的参考帧，或者从储存装置10的多个参考帧缓冲器中选择多个参考帧。因此，在以下说明中，“参考帧获取”与“参考帧选择”是可以相互替换的，并且“获取”与“选择”也可以相互替换。

图2是依据本发明的实施例的第一参考帧结构的示意图。在这个实施例中，用于具有至少两个时间层的时间扫描以及具有至少两个空间层的空间扫描的一个参考帧结构被提出。仅仅用来举例说明，而并非作为本发明的限制，图2所示的参考帧结构用于三个时间层以及三个空间层。如图2所示，帧组合FG₀-FG₈中的每一个具有多个帧。帧组合FG₀、FG₄与FG₈对应相同的、具有时间层索引“0”的时间层。帧组合FG₂与FG₆对应具有时间层索引“1”的相同的时间层。帧组合FG₁、FG₃、FG₅与FG₇对应具有相同的时间层索引“2”的相同的时间层。此外，每一帧都通过一个2位数字的帧索引XY来索引，其中X是帧组合索引的指示，并且Y是空间层索引的指示。需注意的是，关于本申请所提出的示例性的参考帧结构中的每一个，相同帧组合中的帧具有相同的图像内容，但具有不同的空间层索引(或者不同的分辨率)，并且不同的帧组合中的帧具有不同的时间层索引或者相同的时间层索引。

以具有帧组合索引“0”的帧组合FG₀为例，帧I₀₀具有时间层索引“0”以及空间层索引“0”，并且包含具有第一分辨率的第一图像内容；帧I₀₁具有时间层索引“0”以及空间层索引“1”，并且包含具有大于第一分辨率的第二分辨率的第一图像内容；帧I₀₂具有时间层索引“0”与空间层索引“2”，并且包含具有大于第二分辨率的第三分辨率第一图像内容。以具有帧组合索引“1”的帧组合FG₁为例，帧P₁₀具有时间层索引“2”以及空间层索引“0”，并且包含具有第一分辨率的第二图像内容，其中第二图像内容可以与第一图像内容相同或者不同，这依据视频是否具有运动而定；帧P₁₁具有时间层索引“2”以及空间层索引“1”，并且包含具有大于第一分辨率的第二分辨率的第二图像内容；帧P₁₂具有时间层索引“2”以及空间层索引“2”，并且就包含具有大于第二分辨率的第三分辨率的第二图像内容。因此，在相同的帧组合FG₀中的帧I₀₀-I₀₂具有相同的第一图像内容但具有不同的分辨率，并且在相同的帧组合FG₁中的帧P₁₀-P₁₂具有相同的第二图像内容但具有不同的分辨率。在不同的帧组合FG₀与FG₁中的帧I₀₀以及P₁₀具有相同的分辨率但不同的时间层索引，在不同的帧组合FG₀与FG₁中的帧I₀₁与P₁₁具有相同的分辨率但具有不同的时间层索引，并且在不同的帧组合FG₀与FG₁的帧I₀₂与P₁₂具有相同的分辨率但不同的时间层索引。

考虑到第一种情况，在WebRTC应用中，一个时间层以及一个空间层被接收并且解码。如果时间层0以及空间层0被接收以及解码，帧I₀₀、P₄₀、P₈₀用来提供具有第一帧率以及第一分辨率的视频回放；如果时间层0以及空间层1被接收以及解码，帧I₀₁、P₄₁、P₈₁用来提供具有第一帧率以及第二分辨率的视频回放；并且如果时间层0与空间层2被接收以及解码，帧I₀₂、P₄₂、P₈₂用来提供具有第一帧率以及第三分辨率的视频回放。

考虑到第二种情况，在WebRTC应用中，两个时间层以及一个空间层被接收并且解码。如果时间层0、时间层1以及空间层0被接收以及解码，帧I₀₀、P₂₀、P₄₀、P₆₀、P₈₀用来提供具有第二帧率(比第一帧率高)以及第一分辨率的视频回放；如果时间层0、时间层1以及空间层1被接收以及解码，帧I₀₁、P₂₁、P₄₁、P₆₁、P₈₁用来提供具有第二帧率以及第二分辨率的视频回放；并且如果时间层0、时间层1与空间层2被接收以及解码，帧I₀₂、P₂₂、P₄₂、P₆₂、P₈₂用来提供具有第二帧率以及第三分辨率的视频回放。

考虑到第三种情况，在WebRTC应用中，三个时间层以及一个空间层被接收并且解码。如果时间层0、时间层1、时间层2以及空间层0被接收以及解码，帧I₀₀、P₁₀、P₂₀、P₃₀、P₄₀、P₅₀、P₆₀、P₇₀、P₈₀用来提供具有第三帧率(比第二帧率高)以及第一分辨率的视频回放；如果时间层0、时间层1、时间层2以及空间层1被接收以及解码，帧I₀₁、P₁₁、P₂₁、P₃₁、P₄₁、P₅₁、P₆₁、P₇₁、P₈₁用来提供具有第三帧率以及第二分辨率的视频回放；并且如果时间层0、时间层1、时间层2与空间层2被接收以及解码，帧I₀₂、P₁₂、P₂₂、P₃₂、P₄₂、P₅₂、P₆₂、P₇₂、P₈₂用来提供具有第三帧率以及第三分辨率的视频回放。

由于本发明关注于用于帧内预测的参考帧获取(例如参考帧选择)，时间以及空间扫描的进一步细节将不再详述。

如图2所示，相同的帧组合FG₀中的所有帧I₀₀、I₀₁、I₀₂是帧内帧。因此，帧I₀₀、I₀₁、I₀₂的编码/解码需要帧内预测而不需要帧间预测，因此并不需要参考来自先前帧的重建所获得的参考帧。然而，考虑到图2中所示的帧组合FG₁-FG₈中每一个，如图2所示，相同帧组合的所有帧是帧间帧。在这个例子中，帧组合FG₁-FG₈中的每一个帧间帧的编码/解码需要帧间预测，其限制在仅仅使用来自一个先前帧的重建所获得一个单独的参考帧。帧组合FG₁-FG₈中的每一个包含仅仅一个组合外帧(例如具有最小分辨率的帧)以及至少一个组合内帧(例如两个组合内帧，每一个具有大于组合外帧的分辨率的分辨率)。一个帧组合的组合外帧的帧间预测参考由不同的帧组合所提供的一个单独的参考帧，并且一个帧组合的每一个组合内帧参考由相同的帧组合所提供的一个单独的参考帧。

依据图2所示的参考帧结构，参考帧获取电路102针对一个帧组合中的组合外帧的帧间预测执行参考帧获取，并且进一步针对相同的帧组合中每一个组合内帧的帧间预测执行参考帧获取，其中组合外帧的帧间预测所使用的单独的参考帧是故意限制为从一个不同的帧组合中的一个帧的重建数据获得的组合外参考帧，并且每一组合内帧的帧间预测所使用的单独的参考帧是故意限制为从一个相同的帧组合中的一个帧的重建数据获得的组合内参考帧。

需注意的是所获得的组合外参考帧的时间层索引小于或者等于待编码/解码的组合外帧的时间层索引。举例来说，当待编码/解码的组合外帧具有时间层索引“2”，具有时间层索引“2”或者“1”或者“0”的组合外参考帧可获得；当待编码/解码的组合外帧具有时间层索引“1”，具有时间层索引“1”或者“0”的组合外参考帧可获得；当待编码/解码的组合外帧具有时间层索引“0”，具有时间层索引“0”的组合外参考帧可获得。

以图2中的帧组合FG₂为例，具有空间层索引“0”的帧P₂₀是一个组合外帧，并且具有空间层索引“1”的帧P₂₁以及具有空间层索引“2”的帧P₂₂是组合内帧。当帧P₂₀在编码/解码时，针对帧P₂₀，依据由一个比帧组合FG₂更早编码/解码的帧组合所提供的一个单独组合外参考帧，相同的分辨率帧间预测PRED_{INTER_SAME_RES}(其通过图2中的一个实线箭头标识)被执行。依据图2所示的所提出的参考帧结构，一个单独的组合外参考帧是由具有相同的或较小的时间层索引的最近的帧组合所提供。如图2所示，帧P₂₀的帧间预测所需的单独的组合外参考帧是从帧I₀₀的重建数据(即在具有较小的时间层索引的最近的帧组合中的先前编码/解码帧I₀₀的重建帧)获得，其中在帧组合FG₀中的帧I₀₀以及在帧组合FG₂中的帧P₂₀具有相同的空间层索引，并因此具有相同的分辨率。

当帧P₂₁在编码/解码时，针对帧P₂₁，依据由帧组合FG₂所提供的一个单独组合内参考帧，交叉分辨率帧间预测PRED_{INTER_CROSS_RES}(其通过图2中的一个断线箭头标识)被执行。举例来说，单独的组合内参考帧是从帧P₂₀的重建数据(即先前编码/解码帧P₂₀的重建帧)获得，其中在帧组合FG₂中的帧P₂₀与P₂₁具有不同的空间层索引，并因此具有不同的分辨率。

当帧P₂₂在编码/解码时，针对帧P₂₂，依据由帧组合FG₂所提供的一个单独组合内参考帧，交叉分辨率帧间预测PRED_{INTER_CROSS_RES}(其通过图2中的一个断线箭头标识)被执行。举例来说，单独的组合内参考帧是从帧P₂₁的重建数据(即先前编码/解码帧P₂₁的重建帧)获得，其中在相同帧组合FG₂中的帧P₂₁与P₂₂具有不同的空间层索引，并因此具有不同的分辨率。

在一个示例性设计中，组合外帧代表在该帧组合中具有最小分辨率的帧。在另一个示例性设计中，组合外帧的帧间预测参考一个具有与该组合外帧的分辨率相同的分辨率的帧的重建数据。然而，这仅仅用来举例说明，而并非用来限制本申请。

在一个示例性设计中，一个组合内帧(例如帧P₂₁/P₂₂)的交叉分辨率帧间预测PRED_{INTER_CROSS_RES}可在具有零运动向量的预测模型(即ZeroMV模式)下执行。在另一个示例性设计中，一个组合内帧(例如帧P₂₁/P₂₂)的交叉分辨率帧间预测PRED_{INTER_CROSS_RES}可使用分辨率参考帧(RRF)机制执行，如同VP9标准中所提供的。在另一个示例性设计中，一个组合内帧(例如帧P₂₁/P₂₂)的交叉分辨率帧间预测PRED_{INTER_CROSS_RES}可仅仅参考在相同的帧组合中的具有较小分辨率的帧的重建数据。然而，这仅仅用来举例说明，而并非用来限制本申请。

当使用如图2所示的参考帧结构时，为了在时间以及空间扫描下对所有的帧间帧执行编码/解码，储存装置10中需要实施的参考帧缓冲器的最小数量是3。举例来说，当帧P₂₀在编码/解码时，由于需要帧I₀₀的重建数据来编码/解码当前帧以及后续帧(例如P₄₀)，帧I₀₀的重建数据保存在第一参考帧缓冲器中；当帧P₂₁在编码/解码时，由于需要帧I₀₀的重建数据来编码/解码后续帧(例如P₄₀)，帧I₀₀的重建数据保存在第一参考帧缓冲器中，并且由于需要帧P₂₀的重建数据来编码/解码当前帧与后续帧(例如P₃₀)，帧P₂₀的重建数据保存在第二参考帧缓冲器中；当帧P₂₂在编码/解码时，由于需要帧I₀₀的重建数据来编码/解码后续帧(例如P₄₀)，帧I₀₀的重建数据保存在第一参考帧缓冲器中，并且由于需要帧P₂₀的重建数据来编码/解码后续帧(例如P₃₀)，帧P₂₀的重建数据保存在第二参考帧缓冲器中，并且由于需要帧P₂₁的重建数据来编码/解码当前帧，帧P₂₁的重建数据保存在第三参考帧缓冲器中。

然而，当在不同的应用(例如并行编码/解码)中使用图2所示的参考帧结构时，为了在时间以及空间扫描下对所有的帧间帧执行编码/解码，储存装置10中需要实施的参考帧缓冲器的最小数量可大于上述最小值。

关于如图2所提出的参考帧结构，相同帧组合的不同组合内帧的编码/解码使用不同的组合内参考帧来进行交叉分辨率帧间预测。此外，相同的帧组合的不同的组合内帧的编码/解码也可以使用相同的组合内参考帧来进行交叉分辨率帧间预测。以这样的方式，所需的参考帧缓冲器的数量可以进一步减少。

图3是依据本申请的一实施例的第二参考帧结构的示意图。在这个实施例中，进行具有至少两个时间层的时间扫描以及具有至少两个空间层的空间扫描的参考帧结构被提出。通过举例说明，而并非限制，图3所示的参考帧结构应用至三个时间层以及三个空间层。图3所示的参考帧结构与图2所示的参考帧结构帧间的主要不同在于相同的帧组合的不同的组合内帧使用相同的组合内参考帧来进行交叉分辨率帧间预测。

依据图3所示的参考帧结构，参考帧获取电路102针对一个帧组合中的第一组合内帧的帧间预测执行参考帧获取，并且更进一步针对相同的帧组合内的第二组合内帧的帧间预测执行参考帧获取，其中第一组合内帧的帧间预测所使用的一个单独的参考帧是故意被限制为从相同的帧组合的一个帧的重建数据获得的组合内参考帧，并且第二组合内帧的帧间预测所使用的一个单独的参考帧是故意被限制为从相同的帧组合的相同帧的重建数据获得的组合内参考帧。

以图3所示的帧组合FG₂为例，具有空间层索引“0”的帧P₂₀是一个组合外帧，并且具有空间层索引“1”的帧P₂₁以及具有空间层索引“2”的帧P₂₂是组合内帧。当帧P₂₀在编码/解码时，针对帧P₂₀，依据由一个比帧组合FG₂先前编码/解码的帧组合所提供的一个单独组合外参考帧，相同分辨率帧间预测PRED_{INTER_SAME_RES}(其通过图3中的一个实线箭头标识)被执行。依据图3所提出的参考帧结构，一个单独的组合外参考帧是由具有相同的或较小的时间层索引的最近的帧组合所提供。如图3所示，帧P₂₀的帧间预测所需的单独的组合外参考帧是从帧I₀₀的重建数据(即先前编码/解码帧I₀₀的在具有较小的时间层索引的最近的帧组合中的重建帧)获得，其中在帧组合FG₀中的帧I₀₀以及在帧组合FG₂中的帧P₂₀具有相同的空间层索引，并因此具有相同的分辨率。

当帧P₂₁在编码/解码时，针对帧P₂₁，依据由帧组合FG₂所提供的一个单独组合内参考帧，交叉分辨率帧间预测PRED_{INTER_CROSS_RES}(其通过图3中的一个断线箭头标识)被执行。举例来说，单独的组合内参考帧是从帧P₂₀的重建数据(即先前编码/解码帧P₂₀的重建帧)获得，其中在帧组合FG₂中的帧P₂₀与P₂₁具有不同的空间层索引，并因此具有不同的分辨率。

当帧P₂₂在编码/解码时，针对帧P₂₂，依据由帧组合FG₂所提供的一个单独组合内参考帧，交叉分辨率帧间预测PRED_{INTER_CROSS_RES}(其通过图3中的一个断线箭头标识)被执行。举例来说，单独的组合内参考帧是从帧P₂₀的重建数据(即先前编码/解码帧P₂₀的重建帧)获得，其中在相同帧组合FG₂中的帧P₂₀与P₂₂具有不同的空间层索引，并因此具有不同的分辨率。

当使用如图3所示的参考帧结构时，为了在时间以及空间扫描下对所有的帧间帧执行编码/解码，储存装置10中需要实施的参考帧缓冲器的最小数量是2。举例来说，当帧P₂₀在编码/解码时，由于需要帧I₀₀的重建数据来编码/解码当前帧以及后续帧(例如P₄₀)，帧I₀₀的重建数据保存在第一参考帧缓冲器中；当帧P₂₁在编码/解码时，由于需要帧I₀₀的重建数据来编码/解码后续帧(例如P₄₀)，帧I₀₀的重建数据保存在第一参考帧缓冲器中，并且由于需要帧P₂₀的重建数据来编码/解码当前帧与后续帧(例如P₂₂与P₃₀)，帧P₂₀的重建数据保存在第二参考帧缓冲器中；当帧P₂₂在编码/解码时，由于需要帧I₀₀的重建数据来编码/解码后续帧(例如P₄₀)，帧I₀₀的重建数据保存在第一参考帧缓冲器中，并且由于需要帧P₂₀的重建数据来编码/解码当前，帧P₂₀的重建数据保存在第二参考帧缓冲器中。

然而，当在不同的应用(例如并行编码/解码)中使用图3所示的参考帧结构时，为了在时间以及空间扫描下对所有的帧间帧执行编码/解码，储存装置10中需要实施的参考帧缓冲器的最小数量可大于上述最小值。

关于如图2-3所提出的参考帧结构，相同帧组合的不同组合内帧的编码/解码使用不同的组合内参考帧来进行交叉分辨率帧间预测。此外，一个帧组合中的至少一个帧的编码/解码使用一个组合外参考帧来进行交叉分辨率帧间预测。

图4是依据本发明的一实施例的第三参考帧结构的示意图。在这个实施例中，进行具有至少两个时间层的时间扫描以及具有至少两个空间层的空间扫描的参考帧结构被提出。通过举例说明，而并非限制，图4所示的参考帧结构应用至三个时间层以及三个空间层。图4所示的参考帧结构与图2-3所示的参考帧结构帧间的主要不同在于相同的帧组合的每一帧使用一个组合外参考帧来进行帧间预测。

依据图4所示的参考帧结构，参考帧获取电路102针对一个帧组合中的每一帧的帧间预测执行参考帧获取。第一帧组合内的第一帧的相同分辨率的帧间预测所使用的一个单独的参考帧是故意地被参考帧获取电路102限制为从第二帧组合的一个第二帧的重建数据获得的组合外参考帧，其中第一帧与所获得的第二帧具有相同的分辨率，并且所获得的第二帧的时间层索引小于或者等于待编码/解码的第一帧的时间层索引。举例来说，当待编码/解码的第一帧具有时间层索引“2”时，可获得具有时间层索引“2”或者“1”或者“0”的第二帧；当第一帧具有时间层索引“1”时，可获得具有时间层索引“1”或者“0”的第二帧；当第一帧具有时间层索引“0”时，可获得具有时间层索引“0”的第二帧。此外，第一帧组合的另一第一帧的交叉分辨率帧间预测所使用的一个单独的参考帧被参考帧获取电路102故意地限制为从第二帧组合的一个第二帧(例如由相同分辨率帧间预测参考的相同的第二帧)的重建数据获得的组合外参考帧，其中该另一第一帧与所获得的第二帧具有不同的分辨率，并且所获得第二帧的时间层索引小于或者等于该待编码/解码的另一第一帧的时间层索引。

以帧组合FG₂为例，具有空间层索引“0”的帧P₂₀是基于相同分辨率帧间预测编码/解码，并且具有空间层索引“1”的帧P₂₁以及具有空间层索引“2”的帧P₂₂是基于交叉分辨率帧间预测编码/解码。当帧P₂₀在编码/解码时，针对帧P₂₀，依据由一个比帧组合FG₂更早编码/解码的帧组合所提供的一个单独组合外参考帧，相同的分辨率帧间预测PRED_{INTER_SAME_RES}(其通过图4中的一个实线箭头标识)被执行。依据图4所提出的参考帧结构，一个单独的组合外参考帧是由具有相同的或较小的时间层索引的最近的帧组合所提供。如图4所示，单独的组合外参考帧是从帧I₀₀的重建数据(即在具有较小的时间层索引的最近的帧组合中的先前编码/解码帧I₀₀的重建帧)获得，其中在帧组合FG₀中的帧I₀₀以及在帧组合FG₂中的帧P₂₀具有相同的空间层索引，并因此具有相同的分辨率。

当帧P₂₁在编码/解码时，针对帧P₂₁，依据由比帧组合FG₂先编码/解码的一个帧组合所提供的一个单独组合外参考帧，交叉分辨率帧间预测PRED_{INTER_CROSS_RES}(其通过图4中的一个断线箭头标识)被执行。举例来说，单独的组合外参考帧是从帧I₀₀的重建数据(即在具有较小的时间层索引的最近的帧组合中的先前编码/解码帧I₀₀的重建帧)获得，其中在帧组合FG₀中的帧I₀₀与帧组合FG₂中的帧P₂₁具有不同的空间层索引，并因此具有不同的分辨率。

当帧P₂₂在编码/解码时，针对帧P₂₂，依据由比帧组合FG₂先编码/解码的一个帧组合所提供的一个单独组合外参考帧，交叉分辨率帧间预测PRED_{INTER_CROSS_RES}(其通过图4中的一个断线箭头标识)被执行。举例来说，单独的组合外参考帧是也从帧I₀₀的重建数据(即在具有较小的时间层索引的最近的帧组合中的先前编码/解码帧I₀₀的重建帧)获得，其中在帧组合FG₀中的帧I₀₀与帧组合FG₂中的帧P₂₂具有不同的空间层索引，并因此具有不同的分辨率。

在一个示例性设计中，一个帧(例如帧P₂₁/P₂₂)的交叉分辨率帧间预测PRED_{INTER_CROSS_RES}可使用分辨率参考帧(RRF)机制执行，如同VP9标准中所提供的。在另一个示例性设计中，一个帧(例如帧P₂₁/P₂₂)的交叉分辨率帧间预测PRED_{INTER_CROSS_RES}可要求该帧的分辨率大于交叉组合参考帧的分辨率。然而，这仅仅用来举例说明，而并非用来限制本申请。

当使用如图4所示的参考帧结构时，为了在时间以及空间扫描下对所有的帧间帧执行编码/解码，储存装置10中需要实施的参考帧缓冲器的最小数量是2。举例来说，当帧P₂₀在编码/解码时，由于需要帧I₀₀的重建数据来编码/解码当前帧以及后续帧(例如P₂₁、P₂₂、P₄₀、P₄₁与P₄₂)，帧I₀₀的重建数据保存在第一参考帧缓冲器中；当帧P₂₁在编码/解码时，由于需要帧I₀₀的重建数据来编码/解码后续帧(例如P₂₂、P₄₀、P₄₁与P₄₂)，帧I₀₀的重建数据保存在第一参考帧缓冲器中，并且由于需要帧P₂₀的重建数据来编码/解码当前帧与后续帧(例如P₃₀、P₃₁与P₃₂)，帧P₂₀的重建数据保存在第二参考帧缓冲器中；当帧P₂₂在编码/解码时，由于需要帧I₀₀的重建数据来编码/解码后续帧(例如P₄₀、P₄₁与P₄₂)，帧I₀₀的重建数据保存在第一参考帧缓冲器中，并且由于需要帧P₂₀的重建数据来编码/解码后续帧(例如P₃₀、P₃₁与P₃₂)，帧P₂₀的重建数据保存在第二参考帧缓冲器中。

然而，当在不同的应用(例如并行编码/解码)中使用图4所示的参考帧结构时，为了在时间以及空间扫描下对所有的帧间帧执行编码/解码，储存装置10中需要实施的参考帧缓冲器的最小数量可大于上述最小值。

关于如图4所提出的参考帧结构，一个帧组合的每一组合内帧的编码/解码使用仅仅一个单独的组合内参考帧来进行交叉分辨率帧间预测。此外，一个帧组合的至少一个组合内帧的编码/解码也可以使用多个组合内参考帧来进行交叉分辨率帧间预测。

图5是依据本发明的一实施例的第四参考帧结构的示意图。在这个实施例中，进行具有至少两个时间层的时间扫描以及具有至少两个空间层的空间扫描的参考帧结构被提出。通过举例说明，而并非限制，图5所示的参考帧结构应用至三个时间层以及三个空间层。图5所示的参考帧结构与图2所示的参考帧结构帧间的主要不同在于一个帧组合的每一组合内帧使用一个或者多个组合内参考帧来进行交叉分辨率帧间预测。

依据图5所示的参考帧结构，参考帧获取电路102针对一个帧组合中的一个组合外帧的帧间预测执行参考帧获取，并且进一步执行相同的帧组合的每一组合内帧的帧间预测的参考帧获取。其中，组合外帧的帧间预测所使用的一个单独的参考帧被故意限制为从一个不同的帧组合中的一个帧的重建数据获得的组合外参考帧，并且每一组合内帧的帧间预测所使用的至少一个参考帧是故意地限制为从相同的帧组合的至少一个帧的重建数据所获得的至少一个组合内参考帧。

需注意的是，所获得的组合外帧的时间层索引小于或者等于待编码/解码的组合外帧的时间层索引。举例来说，当组合外帧具有时间层索引“2”时，可获得具有时间层索引“2”或者“1”或者“0”的组合外参考帧；当组合外帧具有时间层索引“1”时，可获得具有时间层索引“1”或者“0”的组合外参考帧；当组合外帧具有时间层索引“0”时，可获得具有时间层索引“0”的组合外参考帧。

以图5中所示的帧组合FG₂为例，具有空间层索引“0”的帧P₂₀是组合外帧，并且具有空间层索引“1”的的帧P₂₁以及具有空间层索引“2”的帧P₂₂是组合内帧。当帧P₂₀在编码/解码时，针对帧P₂₀，依据由一个比帧组合FG₂更早编码/解码的帧组合所提供的一个单独组合外参考帧，相同的分辨率帧间预测PRED_{INTER_SAME_RES}(其通过图5中的一个实线箭头标识)被执行。依据图5所提出的参考帧结构，一个单独的组合外参考帧是由具有相同的或较小的时间层索引的最近的帧组合所提供。如图5所示，单独的组合外参考帧是从帧I₀₀的重建数据(即在具有较小的时间层索引的最近的帧组合中的先前编码/解码帧I₀₀的重建帧)获得，其中在帧组合FG₀中的帧I₀₀以及在帧组合FG₂中的帧P₂₀具有相同的空间层索引，并因此具有相同的分辨率。

当帧P₂₁在编码/解码时，针对帧P₂₁，依据由帧组合FG₂所提供的仅仅一个组合内参考帧，交叉分辨率帧间预测PRED_{INTER_CROSS_RES}(其通过图5中的一个断线箭头标识)被执行。举例来说，单独的组合内参考帧是从帧P₂₀的重建数据(即先前编码/解码帧P₂₀的重建帧)获得，其中在帧组合FG₂中的帧P₂₁与P₂₀具有不同的空间层索引，并因此具有不同的分辨率。

当帧P₂₂在编码/解码时，针对帧P₂₂，依据由帧组合FG₂所提供的多个组合内参考帧，交叉分辨率帧间预测PRED_{INTER_CROSS_RES}(其通过图5中的一个断线箭头标识)被执行。举例来说，一个组合内参考帧是从帧P₂₁的重建数据(即先前编码/解码帧P₂₁的重建帧)获得，另一个组合内参考帧是从帧P₂₀的重建数据(即先前编码/解码帧P₂₀的重建帧)获得，其中在帧组合FG₂中的帧P₂₀、P₂₁与P₂₀具有不同的空间层索引，并因此具有不同的分辨率。

当使用如图5所示的参考帧结构时，为了在时间以及空间扫描下对所有的帧间帧执行编码/解码，储存装置10中需要实施的参考帧缓冲器的最小数量是3。举例来说，当帧P₂₀在编码/解码时，由于需要帧I₀₀的重建数据来编码/解码当前帧以及后续帧(例如P₄₀)，帧I₀₀的重建数据保存在第一参考帧缓冲器中；当帧P₂₁在编码/解码时，由于需要帧I₀₀的重建数据来编码/解码后续帧(例如P₄₀)，帧I₀₀的重建数据保存在第一参考帧缓冲器中，并且由于需要帧P₂₀的重建数据来编码/解码当前帧与后续帧(例如P₃₀与P₂₂)，帧P₂₀的重建数据保存在第二参考帧缓冲器中；当帧P₂₂在编码/解码时，由于需要帧I₀₀的重建数据来编码/解码后续帧(例如P₄₀)，帧I₀₀的重建数据保存在第一参考帧缓冲器中，并且由于需要帧P₂₀的重建数据来编码/解码当前帧与后续帧(例如P₃₀)，帧P₂₀的重建数据保存在第二参考帧缓冲器中，并且由于需要帧P₂₁的重建数据来编码/解码当前帧，帧P₂₁的重建数据保存在第三参考帧缓冲器中。

然而，当在不同的应用(例如并行编码/解码)中使用图5所示的参考帧结构时，为了在时间以及空间扫描下对所有的帧间帧执行编码/解码，储存装置10中需要实施的参考帧缓冲器的最小数量可大于上述最小值。

关于如图5所提出的参考帧结构，一个帧组合的每一组合内帧的编码/解码使用仅仅一个单独的组合内参考帧来进行交叉分辨率帧间预测。此外，一个帧组合的至少一个组合内帧的编码/解码也可以使用仅仅一个组合内参考帧来进行交叉分辨率帧间预测以及可进一步使用一个单独的组合外参考帧来进行相同分辨率帧间预测。

图6是依据本发明的一实施例的第五参考帧结构的示意图。在这个实施例中，进行具有至少两个时间层的时间扫描以及具有至少两个空间层的空间扫描的参考帧结构被提出。通过举例说明，而并非限制，图6所示的参考帧结构应用至三个时间层以及三个空间层。图6所示的参考帧结构与图2所示的参考帧结构帧间的主要不同在于一个帧组合的至少一帧使用一个组合内帧以及一个组合外参考帧来进行分辨率帧间预测。

依据图6所示的参考帧结构，参考帧获取电路102针对一个帧组合中的每一帧的帧间预测执行参考帧获取。第一帧组合内的第一帧的帧间预测所使用的一个单独的参考帧是故意地被限制为从第二帧组合的一个具有相同分辨率的一个帧的重建数据获得的组合外参考帧，其中所获得的组合外参考帧的时间层索引小于或者等于待编码/解码的帧的时间层索引。举例来说，当待编码/解码的帧具有时间层索引“2”时，可获得具有时间层索引“2”或者“1”或者“0”的组合外参考帧；当待编码/解码的帧具有时间层索引“1”时，可获得具有时间层索引“1”或者“0”的组合外参考帧；当待编码/解码的帧具有时间层索引“0”时，可获得具有时间层索引“0”的组合外参考帧。此外，第一帧组合的另一第一帧的帧间预测所使用的多个参考帧被故意地限制为包含从第二帧组合的一个具有相同分辨率的一帧的重建数据获得的组合外参考帧、以及从相同的第一帧组合的一个具有不同分辨率的一帧的重建数据获得的组合内参考帧，其中所获得的组合外参考帧的时间层索引小于或者等于该待编码/解码的另一帧的时间层索引。举例来说，当待编码/解码的另一帧具有时间层索引“2”时，可获得具有时间层索引“2”或者“1”或者“0”的组合外参考帧；当另一帧具有时间层索引“1”时，可获得具有时间层索引“1”或者“0”的组合外参考帧；当另一帧具有时间层索引“0”时，可获得具有时间层索引“0”的组合外参考帧。

以图6所示的帧组合FG₂为例，具有空间层索引“0”的帧P₂₀是基于仅仅使用一个单独的参考帧的相同分辨率帧间预测进行编码/解码，并且具有空间层索引“1”的帧P₂₁以及具有空间层索引“2”的帧P₂₂中的每一个是基于仅仅使用一个单独的参考帧的相同分辨率帧间预测以及仅仅使用一个单独的参考帧的交叉分辨率帧间预测编码/解码。当帧P₂₀在编码/解码时，针对帧P₂₀，依据由一个比帧组合FG₂更早编码/解码的帧组合所提供的一个单独组合外参考帧，相同的分辨率帧间预测PRED_{INTER_SAME_RES}(其通过图6中的一个实线箭头标识)被执行。依据图6所提出的参考帧结构，一个单独的组合外参考帧是由具有相同的或较小的时间层索引的最近的帧组合所提供。如图6所示，单独的组合外参考帧是从帧I₀₀的重建数据(即在具有较小的时间层索引的最近的帧组合中的先前编码/解码帧I₀₀的重建帧)获得，其中在帧组合FG₀中的帧I₀₀以及在帧组合FG₂中的帧P₂₀具有相同的空间层索引，并因此具有相同的分辨率。

当帧P₂₁在编码/解码时，针对帧P₂₁，依据由帧组合FG₂所提供的一个单独组合内参考帧，交叉分辨率帧间预测PRED_{INTER_CROSS_RES}(其通过图6中的一个断线箭头标识)被执行，并且依据由比帧组合FG₂先编码/解码的一个帧组合所提供的一个单独组合外参考帧，相同分辨率帧间预测PRED_{INTER_SAME_RES}(其通过图6中的一个实线箭头标识)被执行。根据图6中所示的参考帧结构，一个单独的组合外参考帧是由具有相同的或较小的时间层索引的最近的帧组合所提供。如图6所示，单独的组合外参考帧是从帧I₀₁的重建数据(即在具有较小的时间层索引的最近的帧组合中的先前编码/解码帧I₀₁的重建帧)获得，其中在帧组合FG₀中的帧I₀₁以及在帧组合FG₂中的帧P₂₁具有相同的空间层索引，并因此具有相同的分辨率。此外，单独的组合外参考帧是从帧P₂₀的重建数据(即先前编码/解码帧P₂₀的重建帧)获得，其中在帧组合FG₂中的帧P₂₁与P₂₀具有不同的空间层索引，并因此具有不同的分辨率。

当帧P₂₂在编码/解码时，针对帧P₂₂，依据由帧组合FG₂所提供的一个单独组合内参考帧，交叉分辨率帧间预测PRED_{INTER_CROSS_RES}(其通过图6中的一个断线箭头标识)被执行，并且依据由比帧组合FG₂先编码/解码的一个帧组合所提供的一个单独组合外参考帧，相同分辨率帧间预测PRED_{INTER_SAME_RES}(其通过图6中的一个实线箭头标识)被执行。根据图6中所示的参考帧结构，一个单独的组合外参考帧是由具有相同的或较小的时间层索引的最近的帧组合所提供。如图6所示，单独的组合外参考帧是从帧I₀₂的重建数据(即在具有较小的时间层索引的最近的帧组合中的先前编码/解码帧I₀₂的重建帧)获得，其中在帧组合FG₀中的帧I₀₂以及在帧组合FG₂中的帧P₂₂具有相同的空间层索引，并因此具有相同的分辨率。此外，单独的组合内参考帧是从帧P₂₁的重建数据(即先前编码/解码帧P₂₁的重建帧)获得，其中在相同帧组合FG₂中的帧P₂₁与P₂₂具有不同的空间层索引，并因此具有不同的分辨率。

在一个示例性设计中，在一个帧组合中的具有最小分辨率的一个帧的帧间预测仅仅包含相同分辨率帧间预测。在另一个示例性设计中，在一个帧组合中的具有并非最小分辨率的一个帧的帧间预测可包含相同分辨率帧间预测以及交叉分辨率预测两者。然而，这仅仅用来举例说明，而并非用来限制本申请。

当使用如图6所示的参考帧结构时，为了在时间以及空间扫描下对所有的帧间帧执行编码/解码，储存装置10中需要实施的参考帧缓冲器的最小数量是6。举例来说，当帧P₂₀在编码/解码时，由于需要帧I₀₀的重建数据来编码/解码当前帧以及后续帧(例如P₄₀)，帧I₀₀的重建数据保存在第一参考帧缓冲器中，由于需要帧I₀₁的重建数据来编码/解码后续帧(例如P₂₁与P₄₁)，帧I₀₁的重建数据保存在第二参考帧缓冲器中，由于需要帧I₀₂的重建数据来编码/解码后续帧(例如P₂₂与P₄₂)，帧I₀₂的重建数据保存在第三参考帧缓冲器中。

当帧P₂₁在编码/解码时，由于需要帧I₀₀的重建数据来编码/解码后续帧(例如P₄₀)，帧I₀₀的重建数据保存在第一参考帧缓冲器中，帧I₀₀的重建数据保存在第一参考帧缓冲器中，由于需要帧I₀₁的重建数据来编码/解码当前帧与后续帧(例如P₄₁)，帧I₀₁的重建数据保存在第二参考帧缓冲器中，由于需要帧I₀₂的重建数据来编码/解码后续帧(例如P₂₂与P₄₂)，帧I₀₂的重建数据保存在第三参考帧缓冲器中，并且由于需要帧P₂₀的重建数据来编码/解码当前帧与后续帧(例如P₃₀)，帧P₂₀的重建数据保存在第四参考帧缓冲器中。

当帧P₂₂在编码/解码时，由于需要帧I₀₀的重建数据来编码/解码后续帧(例如P₄₀)，帧I₀₀的重建数据保存在第一参考帧缓冲器中，由于需要帧I₀₁的重建数据来编码/解码后续帧(例如P₄₁)，帧I₀₁的重建数据保存在第二参考帧缓冲器中，由于需要帧I₀₂的重建数据来编码/解码当前帧与后续帧(例如P₄₂)，帧I₀₂的重建数据保存在第三参考帧缓冲器中，由于需要帧P₂₀的重建数据来编码/解码后续帧(例如P₃₀)，帧P₂₀的重建数据保存在第四参考帧缓冲器中，并且由于需要帧P₂₁的重建数据来编码/解码当前帧与后续帧(例如P₃₁)，帧P₂₁的重建数据保存在第五参考帧缓冲器中。

当下一帧组合帧FG₃的帧P₃₀在编码/解码时，由于需要帧I₀₀的重建数据来编码/解码后续帧(例如P₄₀)，帧I₀₀的重建数据保存在第一参考帧缓冲器中，由于需要帧I₀₁的重建数据来编码/解码后续帧(例如P₄₁)，帧I₀₁的重建数据保存在第二参考帧缓冲器中，由于需要帧I₀₂的重建数据来编码/解码后续帧(例如P₄₂)，帧I₀₂的重建数据保存在第三参考帧缓冲器中，由于需要帧P₂₀的重建数据来编码/解码当前帧，帧P₂₀的重建数据保存在第四参考帧缓冲器中，由于需要帧P₂₁的重建数据来编码/解码后续帧(例如P₃₁)，帧P₂₁的重建数据保存在第五参考帧缓冲器中，并且由于需要帧P₂₂的重建数据来编码/解码后续帧(例如P₃₂)，帧P₂₂的重建数据保存在第六参考帧缓冲器中。

然而，当在不同的应用(例如并行编码/解码)中使用图6所示的参考帧结构时，为了在时间以及空间扫描下对所有的帧间帧执行编码/解码，储存装置10中需要实施的参考帧缓冲器的最小数量可大于上述最小值。

关于如图5所提出的参考帧结构，一个帧组合的至少一组合内帧的编码/解码使用多个组合内参考帧来进行交叉分辨率帧间预测。关于如图6所提出的参考帧结构，一个帧组合的至少一组合内帧的编码/解码使用一个单独的组合外参考帧来进行相同分辨率帧间预测。此外，一个帧组合的至少一个组合内帧的编码/解码也可以使用多个组合内参考帧来进行交叉分辨率帧间预测以及使用一个单独的组合外参考帧来进行相同分辨率帧间预测。

图7是依据本发明的一实施例的第六参考帧结构的示意图。图7中的所示的参考帧结构可通过将图5中所示的参考帧结构与图6中所示的参考帧结构相结合来获得。本领域技术人员在阅读了关于图5与图6的参考帧结构的相关段落之后，能够理解图7所示的参考帧结构的细节，关于图7所示的限制参考帧获取的进一步细节描述在此省略。

当使用如图7所示的参考帧结构时，为了在时间以及空间扫描下对所有的帧间帧执行编码/解码，储存装置10中需要实施的参考帧缓冲器的最小数量是6。举例来说，当帧P₂₀在编码/解码时，由于需要帧I₀₀的重建数据来编码/解码当前帧以及后续帧(例如P₄₀)，帧I₀₀的重建数据保存在第一参考帧缓冲器中，由于需要帧I₀₁的重建数据来编码/解码后续帧(例如P₂₁与P₄₁)，帧I₀₁的重建数据保存在第二参考帧缓冲器中，由于需要帧I₀₂的重建数据来编码/解码后续帧(例如P₂₂与P₄₂)，帧I₀₂的重建数据保存在第三参考帧缓冲器中。

当帧P₂₁在编码/解码时，由于需要帧I₀₀的重建数据来编码/解码后续帧(例如P₄₀)，帧I₀₀的重建数据保存在第一参考帧缓冲器中，帧I₀₀的重建数据保存在第一参考帧缓冲器中，由于需要帧I₀₁的重建数据来编码/解码当前帧与后续帧(例如P₄₁)，帧I₀₁的重建数据保存在第二参考帧缓冲器中，由于需要帧I₀₂的重建数据来编码/解码后续帧(例如P₂₂与P₄₂)，帧I₀₂的重建数据保存在第三参考帧缓冲器中，并且由于需要帧P₂₀的重建数据来编码/解码当前帧与后续帧(例如P₂₂与P₃₀)，帧P₂₀的重建数据保存在第四参考帧缓冲器中。

当帧P₂₂在编码/解码时，由于需要帧I₀₀的重建数据来编码/解码后续帧(例如P₄₀)，帧I₀₀的重建数据保存在第一参考帧缓冲器中，由于需要帧I₀₁的重建数据来编码/解码后续帧(例如P₄₁)，帧I₀₁的重建数据保存在第二参考帧缓冲器中，由于需要帧I₀₂的重建数据来编码/解码当前帧与后续帧(例如P₄₂)，帧I₀₂的重建数据保存在第三参考帧缓冲器中，由于需要帧P₂₀的重建数据来编码/解码当前帧与后续帧(例如P₃₀)，帧P₂₀的重建数据保存在第四参考帧缓冲器中，并且由于需要帧P₂₁的重建数据来编码/解码当前帧与后续帧(例如P₃₁)，帧P₂₁的重建数据保存在第五参考帧缓冲器中。

当下一帧组合帧FG₃的帧P₃₀在编码/解码时，由于需要帧I₀₀的重建数据来编码/解码后续帧(例如P₄₀)，帧I₀₀的重建数据保存在第一参考帧缓冲器中，由于需要帧I₀₁的重建数据来编码/解码后续帧(例如P₄₁)，帧I₀₁的重建数据保存在第二参考帧缓冲器中，由于需要帧I₀₂的重建数据来编码/解码后续帧(例如P₄₂)，帧I₀₂的重建数据保存在第三参考帧缓冲器中，由于需要帧P₂₀的重建数据来编码/解码当前帧，帧P₂₀的重建数据保存在第四参考帧缓冲器中，由于需要帧P₂₁的重建数据来编码/解码后续帧(例如P₃₁)，帧P₂₁的重建数据保存在第五参考帧缓冲器中，并且由于需要帧P₂₂的重建数据来编码/解码后续帧(例如P₃₂)，帧P₂₂的重建数据保存在第六参考帧缓冲器中。

然而，当在不同的应用(例如并行编码/解码)中使用图7所示的参考帧结构时，为了在时间以及空间扫描下对所有的帧间帧执行编码/解码，储存装置10中需要实施的参考帧缓冲器的最小数量可大于上述最小值。

需注意的是，在图2-7所示的每一示例性参考帧结构中，待编码/解码的帧的帧间预测的由限制的参考帧获取所取得的参考帧是仅仅用来进行举例说明，而并非限制。任何使用受限制的参考帧获取进行待编码/解码的帧的帧间预测的参考帧获取的设计视频编码/解码属于本申请的范围，其中该帧是编码/解码来形成具有时间以及/或者空间可伸缩性的视频比特流。

此外，在图2-7所示的示例性参考帧结构中的每一个中，每一帧组合中包含的多个帧的帧类型仅仅用来举例说明，而并非是本发明的限制。具体来说，在相同的帧组合中包含的多个帧的帧的类型是没有限制的。在其他的实施例中，相同的帧组合中包含的多个帧不需要具有相同的帧类型。以图2-7中的每一个图中的第一帧组合FG₀为例，其在一个示例性设计中仅仅包含帧内帧(例如I₀₀、I₀₁、I₀₂)，并且在另一个例子中其包含一个帧内帧(例如I₀₀)以及两个帧间帧(例如P₀₁、P₀₂)。

本发明通过上述实施例进行举例说明，本发明并非局限于上述举例说明。本发明应理解为涵盖本领域技术人员可了解的多种变型的实施方式与相似的安排。因此，本发明的权利要求书应该理解为涵盖本领域技术人员可了解的多种变型的实施方式与相似的安排的较广范围。