个方面能由经处理帧304、304'恢复。例如，该信息可包括一个或多个原始图像帧302的纵 横比和/或帧大小。附加地或可替代地，元数据328还可包括经处理帧304、304'之间的分 辨率比（可以以F1的经处理帧304和F2的经处理帧304'是不同的情况存储分辨率比）。 而且，关于图2的步骤204之前论述的帧复用参数也可被存储在元数据328中。
[0127] 应该理解，可存储在元数据区域328中的信息可被限制。结果，被编码并被存储为 复用帧中的元数据的信息，必须要经过精心挑选。例如，在一些实施例中，元数据328可只 存储表示帧类型（例如，2D或3D)的帧复用参数，而帧分量的大小、纵横比和边界信息可使 用图像边界检测算法由解码器预先限定或隐式派生。例如，这种边界检测算法可通过实施 贝叶斯后验估计优化定位两个图像分量之间的边界。
[0128] 应该理解，可对原始图像帧流中的图像帧重复实施根据图2的方法的用于产生复 用帧306的选定图像帧302的步骤。这可产生能最终提供给解码模块146进行解码和恢复 的复用图像帧流120。
[0129] 复用帧通常可与显示设备的现有基础设施兼容，因为复用帧的帧格式将与原始图 像帧的帧格式相同。复用帧通常还可受到压缩。结果，复用帧流可使用现有的有限带宽的 基础设施来处理。
[0130] 将复用帧解码为多个帧的图像帧
[0131] 参考图5,示出有示出根据本公开的至少一个实施例的在解码复用帧时执行的一 系列操作的流程图500。为了便于解释，同时将参考通常示出为300的、复用帧渐进转换成 多个输出帧的图6。为了更好说明在图5示出步骤的执行期间如何修改复用帧数据，图5示 出的一些操作与图6示出的（用带圈的数字表示）是对应的。图5的步骤可通过图1示出 的解码模块146来执行。
[0132] 在步骤502中，显示设备140上的解码模块146可接收包含多个处理帧和掩码数 据的复用帧。复用帧306可以是从解压缩模块144通过有限带宽的通信信道150传输的复 用图像帧流120的一部分，复用图像帧流120原本已被预处理设备102的编码模块106编 码。
[0133] 同时参考图6,该步骤在圈数字1中示出，并接收复用帧306。为便于说明，图6继 续解码先前在图2和3中讨论的场景的实例，以解码在图3中产生的复用帧306。在该示例 场景中，多个处理帧包括随后处理以产生一对输出帧的一对经处理帧。然而，应该理解，复 用帧可包括能被处理以产生任意数量的输出帧的任意数量的经处理帧。
[0134] 在步骤504中，可确定复用帧中的帧打包参数（图6中的带圈数字2)。正如上面 所论述的，帧打包参数可表示存在于复用帧中的帧类型。例如，帧打包参数可以表明，复用 帧可以是嵌套复用帧，使得编码成复用帧的至少一个帧是另一个复用帧。此外，在另一个实 例中，帧打包参数可以表明，复用帧包含多视点图像帧（例如，立体帧对）。帧复用参数可以 以元数据328的方式被解码并识别。根据本公开的一些实施例，帧复用参数还可由来自掩 码数据316或元数据328的不可见水印解码并识别。解码水印帧可通过识别在水印中编码 的信息所设计的特定过程来实现。例如，如果使用数学变换计算来编码水印信息，那么解码 水印帧的过程可涉及应用逆向的数学变换计算。在各种实施例中，解码的信息可包括与帧 打包参数有关的相关元数据或一些其他相关信息。
[0135] 在步骤506中，该方法涉及拆开复用帧306以确定在复用帧306内的多个处理帧 和掩码数据。在图6的示例场景中，这可涉及确定处理帧的一个或多个帧分量（图6中的 带圈数字3)。
[0136] 复用帧306还可包括元数据328 (以虚线轮廓示出的附加复用帧306)，该元数据 328规定了可以如何由多个处理帧产生多个输出帧。关于如何在编码过程期间将元数据 328存储在复用帧306中的以上论述，也可应用在该上下文中。也就是说，在解码过程期间， 解码模块146可被配置为根据如何将元数据328存储在复用帧306内来识别复用帧306中 的元数据328。例如，如果元数据328被存储为复用帧306的水印，则解码模块146可被配 置为识别在复用帧306的水印中的元数据328。
[0137] 为了在解包步骤期间识别每个帧分量（视情况，和/或处理帧）的位置，解码模块 146可参考存储在元数据328中的映射数据。如上面所论述的，映射数据可识别存储在复用 帧306中的经处理帧和/或帧分量的定位。例如，映射数据可确定预先限定布局，该预先限 定布局规定了在复用帧306内的一个或多个经处理帧和/或掩码数据的位置。当识别多个 经处理帧和掩码数据时，可使用预先限定的布局。还如上面所论述的，由于预先限定的布局 可以从多个不同的预先限定的布局中选择，所以解码模块可提供对不同的预先限定布局的 访问，预先限定可用于将图像帧编码成复用帧306。
[0138] 在另一个实例中，代替或附加地，参照预先限定布局来识别复用帧306中的经处 理帧和掩码数据，可根据复用帧的图像边界检测分析来确定复用帧内至少一个经处理帧和 /或掩码数据的位置。例如，这种算法中的一种通过进行贝叶斯后验估计，可最佳定位任何 两个图像分量之间的边界。
[0139] 在已经识别帧分量（或经处理帧）之后，可将在编码期间被旋转的复用帧中的任 何旋转帧分量恢复到其原始的方向。这可在步骤508 (以虚线轮廓示出）执行。在步骤508 中，该方法可包括旋转一个或多个旋转帧分量312、312'(图6中的圈数字4)。由于图5 中的步骤508是可选的，因为可能没有旋转在复用帧306中确定的帧分量312、312'(或 作为实例可以是经处理帧304、304')，所以其以虚线轮廓示出。在各种实施例中，元数据 328可包括指示相应图像数据的原始方向的数据，使得能够根据所包括方向执行步骤508。 附加或替代地，在图2的编码过程期间的旋转步骤212可被标准化和预先定义，使得在步骤 508的解码过程中的旋转步骤也可被标准化和预先定义。例如，编码模块106可被配置为总 是顺时针旋转图像帧或帧分量90°，使得在步骤508的旋转总是逆时针进行90°以在解码 期间恢复方向。
[0140] 在步骤510,可将一个或多个帧分量312组装在一起，以产生经处理帧304'(图 6中的带圈数字5)。该步骤也以虚线轮廓示出，因为它可能是，在各种实施例中，在编码过 程期间经处理帧304'可能没被分割，致使该步骤不必要。
[0141] 如上文关于编码过程的论述所指出的，在将经处理帧分割成帧分量312期间，帧 分量312、312'可提供保护区314、314'，其与用于同一处理帧304、304'的其他帧分量 312、312'的部分重叠。因此，在图6的示例场景中，保护区314可识别或预先定义F1的 旋转帧分量312(具有标记'F1B'）。同时，保护区314'可识别或预先定义F2的帧分量 312'(具有标记'F2B'）。在将用于处理帧304的帧分量312组装在一起时，可在保护区314 将帧分量312逐步混合在一起。针对用于处理帧304'的在保护区314'的帧分量3C， 也可重复该混合。正如应该理解的，提供保护区可允许无缝混合，以便改善处理帧的重建。
[0142] 为了由多个识别的处理帧304、304'产生多个输出帧，第一经处理帧（例如，F1的 经处理帧304)可首先被识别为基础帧，其将是第一输出帧。然后通过将掩码数据316应用 于第一输出帧，可产生后续的输出帧，然后根据掩码数据316中的相应的值，用后续处理图 像的区域（例如，F2的经处理帧304)覆盖第一输出帧。
[0143] 然而，在执行覆盖之前，由于重建的经处理帧304、304'的分辨率可以是不同的， 所以任何后续经处理帧的分辨率（例如，F2的处理帧304')可能会被修改，使得与基础第 一输出帧的分辨率相同。例如，在图6不出的不例场景中，F1的经处理帧304的分辨率可 高于F2的经处理帧304'的分辨率。因此，F2的经处理帧304'的分辨率可根据两帧之间 的分辨率比（例如，F2的经处理帧304'和F1的经处理帧304之间的比率）按比例缩小。 在各种实施例中，例如，可将该分辨率比存储在复用帧306的元数据328中。
[0144] 在步骤512中，根据掩码数据，通过将多个经处理帧中的一个帧与多个处理帧中 的另一个帧组合在一起可产生输出帧（图6中的带圈数字6)。在图6示出的示例情景中， 这可通过首先选择F1的经处理帧304作为基础输出帧来执行。然后可将掩码数据316应 用于F1的经处理帧304,以指示如何可以将F1的经处理帧304与F2的经处理帧30V组 合在一起，以产生对应于F2的输出帧。
[0145] 同时参考图7,示出有根据掩码数据由组合两个经处理帧产生输出帧的图解700。 示出的掩码数据316对应于图4示出的掩码数据316,因此，由12X8个数据网格组成，这表 明当产生对应于F2的输出帧时，F1的经处理帧304的相应区域必须用F2的经处理帧30V 的同一区域覆盖。这在图7中通过将掩码数据316直接覆盖在F1的经处理帧304的顶部 上示出。同时参考图4,可以看出，用F2的经处理帧304'的相应区域取代的区域404(即， 图4示出的掩码数据316的值为'1'的位置）以交叉阴影线示出。在应用掩码数据组合经 处理帧304、304'之前，还可调整掩码数据316的大小使其与F1的经处理帧304的大小一 致。
[0146] 在将掩码数据316应用于F1的经处理帧304之后，可以产生对应于F2的处理帧 304'的输出帧。仍然参考图7,下面示出的用掩码数据316覆盖的F1的处理帧304是对应 于F2的处理帧304'的结果输出帧F2。如图所示，结果输出帧F2由F1的经处理帧304产 生，通过掩码数据316确定的选定区域402已经用F2的处理帧304'的同一区域取代。由 于该具体实例的图像帧对示出了高尔夫球朝着洞方向运动，所以已经取代区域402 :(i)用 于用图像示出高尔夫球的区域表明球已不在那里了；和（ii)用于用区域示出没有出球的 区域表明，高尔夫球已移动到了那里。
[0147] 在步骤514, 一旦已经确定输出帧F1，就已经产生输出帧F2,可修改输出帧以恢复 原始图像帧的属性（图6中的带圈数字7)。正如上面所论述的，元数据528可存储图3示 出的原始图像帧302的各种属性。因此，当执行步骤514时，可以引用这些属性。例如，输 出帧602的修改可包括恢复原始图像帧302的纵横比，或恢复原始图像帧302的垂直或水 平分辨率。它还可包括将空的可视数据的返回行添加到解码处理图像帧的顶部和底部以恢 复原始图像帧的外观（例如，如果解码的处理图像帧仅是从原始图像帧裁剪的原始图像帧 的一部分，例如如上所述的）。正如应该理解的，空的可视数据可呈现为在输出帧的顶部和 底部部分中的黑条。
[0148] 在步骤516,可获得准备用于显示的输出帧（图6中的圈数字8)。一旦根据原始 图像属性已经恢复输出帧602,就可将输出帧602插入到可由图1的显示装置148显示的输 出帧流中。在各种实施例中，解码复用图像帧流120中的复用帧306,在将输出帧流提供给 显示设备之前，可直接通过解码模块146在显示设备140上实时执行。
[0149] 嵌套的复用帧
[0150] 尽管以上论述涉及直接编码图像帧成复用帧，然而在各种实施例中，它也可能是 编码另一复用帧成复用帧，以致产生嵌套的复用帧。
[0151] 参考图8,根据本公开的至少一个实施例，嵌套编码方法800是将复用帧306和第 三经处理帧802(对应于