图像帧复用方法及系统的制作方法
【技术领域】
[0001] 描述的实施例涉及图像处理过程，且尤其涉及将多个图像帧编码并解码为减小数 量的复用帧。
【背景技术】
[0002] 任何现有的图像数据传输或处理基础设施通常具有有限的数据带宽。该带宽通常 足以服务于为该基础设施被设计用于的功能（例如，以指定分辨率或质量提供视频）。然 而，一旦需要增强的或新的功能（例如，希望传输更高图像质量的视频），通常需要升级或 更换该基础设施。该升级或更换过程可涉及改变硬件、软件和/或部件之间的网络连接（特 别是如果对于新功能更高的数据带宽是必要的，而系统的算法和协议保持不变的情况下）。
[0003] 例如，数字电影视频通常以每秒24帧的帧速率（fps)提供，每一帧传统上以已知 为2K(2048X1080或2. 2兆像素），或4K(4096X2160或8. 8兆像素）的分辨率提供。为了 在电影院中以该帧速率和分辨率显示电影视频，电影院通常包含具有足够带宽的基础设施 以将电影视频传输到显示装置（例如，投影仪）。
[0004] 摄像机技术的最新发展已经允许以更高帧速率捕获数字电影视频（通常称HFR视 频）。例如，这些视频的帧速率可提供在指定空间分辨率的48fps、60fps或甚至120fps。针 对HFR视频，大大增加了要传输到显示装置的数据量。
[0005] 随着技术的发展，数字电影视频可能开始以高于2K和4K的图像空间分辨率提供。 即使在现有的帧速率，这些校高分辨率视频流也可能会增加传输到显示装置的数据量。
[0006] 而且，多视点视频流正得到普及（例如，提供三维（3D)观看体验的立体视频流）。 这些类型的视频流比正常的单视点（例如，二维（2D))视频流需要更高的传输带宽。
[0007] 电影院的现有基础设施可能无法提供足够的带宽，以将这些较新类型的视频流传 输到显示装置。升级现有的基础设施，特别是硬件、软件和/或系统连接带宽是代价高的或 不可取的。因此，需要可选地改善编码和解码图像流中的图像帧的现有方法或系统，以允许 在现有的有限带宽的基础设施上传输新类型视频流的图像帧。
【发明内容】
[0008] 在一个方面中，本发明的一些实施例提供了一种动态帧打包方法，该方法包括：
[0009] 识别多个图像帧；
[0010] 修改多个图像帧中的每一帧以产生多个对应的经处理帧；
[0011] 产生掩码数据（maskingdata)，该掩码数据指示如何可以由多个经处理帧中的一 个帧和多个经处理帧中的另一个帧产生输出帧，该输出帧对应于多个经处理帧中的另一个 帧；和
[0012] 组合多个经处理帧和掩码数据以形成复用帧。
[0013] 在另一个方面中，本发明的一些实施例提供了一种解码复用帧的方法，该方法包 括：
[0014] 接收复用帧，该复用帧包括：
[0015] 多个经处理的帧，和
[0016] 掩码数据；
[0017] 解包复用帧以识别多个经处理帧和掩码数据；和
[0018] 由多个经处理帧产生多个输出帧，其中该产生包括通过将多个经处理帧中的一个 帧与多个经处理帧中的另一个帧根据掩码数据组合在一起产生输出帧，并且其中该输出帧 对应于多个经处理帧中的另一个帧。
[0019] 在另一个方面中，本发明的一些实施例提供了一种传送复用帧的方法，该方法包 括：
[0020] 识别图像帧流；
[0021] 从图像帧流中选择多个图像帧；
[0022] 修改多个图像帧中的每一帧以产生多个对应的经处理帧；
[0023] 产生掩码数据，该掩码数据指示如何可以由多个经处理帧中的一个帧和多个经处 理帧中的另一个帧产生输出帧，该输出帧对应于多个经处理帧中的另一个帧；和
[0024] 组合多个经处理帧和掩码数据以形成复用帧；
[0025] 压缩复用帧以产生经压缩帧；和
[0026] 传输该经压缩帧。
[0027] 在另一个方面中，本发明的一些实施例提供了一种显示复用帧的方法，该方法包 括：
[0028] 接收经压缩帧；
[0029] 解压缩该经压缩帧以产生复用帧，其中该复用帧包括：
[0030] 多个经处理帧，和 [0031] 掩码数据；
[0032] 解包复用帧以识别多个经处理帧和掩码数据；和
[0033] 由多个经处理帧产生多个输出帧，其中该产生包括通过将多个经处理帧中的一个 帧与多个经处理帧中的另一个帧根据掩码数据组合在一起产生输出帧，并且其中该输出帧 对应于多个经处理帧中的另一个帧；和
[0034] 将多个输出帧传输到至少一个显示装置。
[0035] 在另一个方面中，本发明的一些实施例提供了一种用于传输复用帧的系统，该系 统包括：
[0036] 接收模块，其配置为接收多个图像帧；
[0037] 编码模块，其配置为：
[0038] 修改多个图像帧中的每一帧以产生多个对应的经处理帧；
[0039] 产生掩码数据，该掩码数据指示如何可以由多个经处理帧中的一个帧和多个经处 理帧中的另一个帧产生输出帧，该输出帧对应于多个经处理帧中的另一个帧；和
[0040] 组合多个经处理帧和掩码数据以形成复用帧；
[0041] 压缩模块，其配置为压缩复用帧以产生经压缩帧；和
[0042] 通信模块，其配置传输经压缩帧。
[0043] 在另一个方面中，本发明的一些实施例提供了一种用于解码用于显示的复用帧的 系统，该系统包括：
[0044] 解压缩模块，其配置为解压缩经压缩帧以恢复复用帧；和
[0045] 解码模块，其配置为：
[0046] 解包复用帧以识别多个经处理帧和掩码数据；和
[0047] 由多个经处理帧产生多个输出帧，其中该产生包括通过将多个经处理帧中的一个 帧与多个经处理帧中的另一个帧根据掩码数据组合在一起产生输出帧，其中该输出帧对应 于多个经处理帧中的另一个帧。
[0048] 在另一个方面中，本发明的一些实施例提供了一种产生嵌套复用帧的方法，该方 法包括：
[0049] 识别复用帧，该复用帧包括：对应于第一图像帧的第一经处理帧，和对应于第二图 像帧的第二经处理帧；
[0050] 识别第三图像帧；
[0051] 修改复用帧和第三图像帧，以分别产生对应的经处理复用帧和对应的第三经处理 帧；
[0052] 识别掩码数据，该掩码数据指示如何可以由第二经处理帧和第三经处理帧产生输 出帧，该输出帧对应于第三图像帧；和
[0053] 组合经处理复用帧、第三经处理帧和掩码数据，以形成嵌套复用帧。
[0054] 在另一个方面中，本发明的一些实施例提供了一种解码嵌套复用帧的方法，该方 法包括：
[0055] 接收嵌套复用帧，该嵌套复用帧包括：
[0056] 经处理复用帧，其包括第一经处理帧和第二经处理帧，
[0057] 第三经处理帧，和
[0058] 掩码数据；
[0059] 解包嵌套复用帧以识别经处理复用帧、第三经处理帧和掩码数据；
[0060] 解码经处理复用帧以识别第一经处理帧和第二经处理帧；和
[0061] 产生输出帧，其中该产生包括将第二经处理帧与第三经处理帧根据掩码数据组合 在一起，并且其中该输出帧对应于第三经处理帧。
【附图说明】
[0062] 现在将参考附图详细描述本发明的优选实施例，其中：
[0063] 图1是示出根据本公开的至少一个实施例的用于编码和解码复用图像帧的系统 的框图；
[0064]图2是示出根据本公开的至少一个实施例的、当将多个图像帧编码成复用帧时执 行的一系列动作的流程图；
[0065]图3是在本公开的至少一个实施例中的将图像帧渐进转换成复用帧的示例；
[0066] 图4是根据本公开的至少一个实施例的产生掩码数据的示例；
[0067] 图5是示出根据本公开的至少一个实施例的、当将解码复用帧时执行的一系列动 作的流程图；
[0068]图6是在本公开的至少一个实施例中的将复用帧转换成多个输出帧的示例；
[0069] 图7是根据本公开的至少一个实施例的通过根据掩码数据用两个经处理帧计算 而产生输出帧的示例；
[0070] 图8是根据本公开的至少一个实施例的将至少一个复用帧转换成嵌套复用帧的 示例；
[0071] 图9是根据本公开的至少一个实施例的将多视点图像帧流转换成复用图像帧流 的示例，其中将不同视点的图像帧编码在一起；
[0072] 图10是根据本公开的至少一个实施例的将多视点图像帧流转换成复用图像帧流 的示例，其中将相同视点的连续图像帧编码在一起；
[0073] 图11是根据本公开的至少一个实施例的将单视点图像帧流转换成复用图像帧流 的示例，其中将连续图像帧编码在一起的；和
[0074] 图12是根据本公开的实施例的打包的帧的另一实例布局的示例。
【具体实施方式】
[0075] 应该意识到，为了提供对本文所描述的实施例的深入理解，将阐述许多具体的细 节。然而，本领域的普通技术人员应该理解，在没有这些具体细节的情况下可以实施本文所 描述的实施例。在其他实例中，没有详细说明公知的方法、程序和部件，以免使本文所描述 的实施例模糊不清。此外，本描述和图不认为以任何方式限制本文所描述的实施例的范围， 而被认为是仅描述本文所描述的各种实施例的实现。
[0076] 具体地，本文所描述的实施例涉及图像处理领域，并提供了各种图来说明图像数 据的转换。应该理解，图不是按比例绘制的，提供图仅是为了说明目的。
[0077] 本文所描述的系统和方法的实施例可以在硬件或软件、或者两者的组合中实现。 然而，优选地，这些实施例在可编程计算机上执行的计算机程序中实现，每个可编程计算机 都包括至少一个处理器（例如，微处理器）、数据存储系统（包括易失性和非易性存储器和 /或存储元件）、至少一个输入装置和至少一个输出装置。例如且不是限制性的，可编程计 算机（例如，图1示出的各种装置）可以是服务器计算机、主机（mainframe)、计算集群、个 人电脑、笔记本电脑、智能手机装置和/或平板电脑。程序代码被应用于输入数据，以执行 本文所描述的功能并产生输出信息。输出信息以已知的方式被应用于一个或多个输出装 置。
[0078] 每个程序优选以高级过程式或面向对象编程和/或与计算机系统通信脚本语言 实现。然而，如果需要，程序可以以汇编或机器语言实现。在任何情况下，语言可以是编译 或解译的语言。每个这样计算机程序都优选存储在通用或专用可编程计算机可读的存储介 质或装置（例如，ROM或磁/光盘）上，用于在计算机读取存储介质或装置时配置和操作计 算机以执行本文所描述的程序。该主题系统也可被认为是被实现为利用计算机程序配置的 计算机可读存储介质，其中如此配置的存储介质使得计算机以特定和预定的方式操作以执 行本文所描述的功能。
[0079] 此外，所描述的实施例的系统、过程和方法能够被分布在包括计算机可读介质的 计算机程序产品中，其中计算机可读介质承载用于一个或多个处理器的计算机可用指令。 该介质可以以各种形式提供，包括一个或多个磁盘、光盘、磁带、芯片、有线传输、卫星传输、 因特网