分层音频编码和传输的制作方法
【专利说明】分层音频编码和传输
[0001] 相关申请交叉引用
[0002] 本申请要求2013年4月5日递交的、题为"LAYERED AUDIO CODING AND TRANSMISSION"美国临时申请No. 61/809, 251的优先权，其公开通过引用方式在此整体并 入。
【背景技术】
[0003] 通常来说，诸如服务器的计算设备可以存储大量音频数据。如果用户具有合适许 可并连接到服务器，则他们可以访问这些音频数据。在一些情形中，具有许可并连接到服务 器的用户可以下载音频数据以存储在本地计算设备上。下载完成后，用户可以发起下载于 本地计算设备的音频数据的回放。备选地，用户可以流传输音频数据，以实时地在本地计算 设备上播放音频数据（例如，音频数据仍处于下载过程中）。除了流传输，用户可以从包装 介质（例如，光盘，如DVD或蓝光盘）访问用于回放的音频数据。
【发明内容】
[0004] 本公开的一个方面提供生成分层音频的方法。所述方法包括访问第一音频帧和第 二音频帧。所述方法还包括将第一音频帧与第二音频帧相比较。所述方法还包括基于该比 较，识别第一音频帧的第一部分和第二音频帧的第二部分之间的相似性。所述方法还包括 用对与第一部分相对应的第一音频帧中的位置的引用来替换第二音频帧中的第二部分，以 创建修改的第二音频帧。所述方法还包括基于第一音频帧生成第一音频层。所述方法还包 括基于修改的第二音频帧生成第二音频层。所述方法还包括使第一音频层和第二音频层可 用于在网络上向客户端设备传输。第一音频层在网络上的传输可以需要第一带宽量，并且 第一音频层和第二音频层二者在网络上的传输可以需要比第一带宽量更大的第二带宽量， 从而如果第二带宽量对客户端设备可用，则使客户端设备能够一并接收和输出第一音频层 和第二音频层，与此同时如果第一带宽量对客户端设备可用，仍然使客户端设备能够获取 和输出第一音频层。
[0005] 上一段的方法可以具有以下特征的任何子组合：其中所述方法还包括识别第一音 频帧中的第三部分和第二音频帧中的第四部分之间的第二相似性，以及用对与第三部分相 对应的第一音频帧中的第二位置的第二引用来替换第二音频帧中的第四部分；其中所述方 法还包括识别第一音频帧中的第一部分和第二音频帧中的第三部分之间的第二相似性，以 及用对与第一部分相对应的第一音频帧中的位置的第二引用来替换第二音频帧中的第三 部分；其中第一音频层包括核心音频层，并且第二音频层包括对核心音频层进行补充的扩 展音频层；其中扩展音频层包括以下至少一个：对核心音频层的音频声道进行补充的附加 音频声道，比核心音频层的比特率更高的比特率，大于核心音频层中的比特个数的比特个 数，或者对核心音频层的音频内容进行补充的附加音频内容；以及其中所述方法还包括访 问第三音频帧，将第一音频帧和修改的第二音频帧与第三音频帧相比较，识别修改的第二 音频帧中的第三部分和第三音频帧中的第四部分之间的第二相似性，用对与第三部分相对 应的修改的第二音频帧中的位置的第二引用来替换第三音频帧中的第四部分，以创建修改 的第三音频帧，以及基于第三音频帧生成第三音频层。
[0006] 本公开的另一个方面提供一种用于生成分层音频的系统。所述系统包括音频帧比 较器，所述音频帧比较器包括硬件处理器。所述硬件处理器可以被配置为访问第一音频帧 和第二音频帧。所述硬件处理器还可以被配置为将第一音频帧与第二音频帧相比较。所 述硬件处理器还可以被配置为基于该比较，识别第一音频帧的第一部分和第二音频帧的第 二部分之间的相似性。所述硬件处理器还可以被配置为用对与第一音频帧的第一部分相对 应的第一音频帧中的位置的引用来替换第二音频帧中的第二部分，以创建修改的第二音频 帧。所述系统还包括层生成器，所述层生成器被配置为基于第一音频帧生成第一音频层以 及基于修改的第二音频帧生成第二音频层。
[0007] 上一段的系统可以具有以下特征的任何子组合：其中所述系统还包括被配置为在 网络上向客户端设备提供第一音频层和第二音频层的流传输模块；其中所述系统还包括被 配置为将第一音频层和第二音频层存储在计算机可读存储介质中的记录模块；其中所述音 频帧比较器还被配置为识别第一音频帧中的第三部分和第二音频帧中的第四部分之间的 第二相似性，以及用对与第一音频帧中的第三部分相对应的第一音频帧中的位置的引用来 替换第二音频帧中的第四部分；其中第二音频帧中的第二部分和第二音频帧中的第四部分 不连续；其中所述第二音频帧包括第一音频帧内所不包括的第五部分，并且修改的第二音 频帧中的所述引用和所述第二引用被所述第五部分相分隔；其中所述音频帧比较器还被配 置为识别第一音频帧中的第一部分和第二音频帧中的第三部分之间的第二相似性，以及用 对与第一部分相对应的第一音频帧中的位置的第二引用来替换第二音频帧中的第三部分； 其中第一音频层包括核心音频层，并且第二音频层包括对核心音频层进行补充的扩展音频 层；其中扩展音频层包括以下至少一个：对核心音频层的音频声道进行补充的附加音频声 道，比核心音频层的比特率更高的比特率，大于核心音频层中的比特个数的比特个数，或者 对核心音频层的音频内容进行补充的附加音频内容；其中所述音频帧比较器还被配置为基 于第一音频帧和修改的第二音频帧生成散列值；其中所述音频帧比较器还被配置为访问第 三音频帧，将第一音频帧和修改的第二音频帧与第三音频帧相比较，以及识别修改的第二 音频帧中的第三部分和第三音频帧中的第四部分之间的第二相似性；其中所述音频帧比较 器还被配置为，用对与第三部分相对应的修改的第二音频帧中的位置的引用来替换第三音 频帧中的第四部分，以创建修改的第三音频帧；其中所述层生成器还被配置为基于修改的 第三音频帧生成第三音频层；以及其中所述流传输模块还被配置为在网络上向客户端设备 提供第三音频层，其中第一音频层、第二音频层以及第三音频层在网络上的传输需要第三 带宽量。
[0008] 本公开的另一个方面提供一种非瞬态物理计算机存储器，包括存储在其上的可执 行指令，所述可执行指令在被硬件处理器执行时被配置为至少访问第一音频帧和第二音频 帧。所述可执行指令还被配置为至少将第一音频帧与第二音频帧相比较。所述可执行指令 还被配置为至少基于该比较识别第一音频帧的第一部分和第二音频帧的第二部分之间的 相似性。所述可执行指令还被配置为至少用对与第一部分相对应的第一音频帧中的位置的 引用来替换第二音频帧中的第二部分，以创建修改的第二音频帧。所述可执行指令还被配 置为至少基于第一音频帧生成第一音频层。所述可执行指令还被配置为至少基于修改的第 二音频帧生成第二音频层。
[0009] 上一段的非瞬态物理计算机存储器可以具有以下特征的任何子组合：其中所述可 执行指令还被配置为至少，识别第一音频帧中的第三部分和第二音频帧中的第四部分之间 的第二相似性，以及用对与第三部分相对应的第一音频帧中的第二位置的第二引用来替换 第二音频帧中的第四部分；其中所述可执行指令还被配置为至少，识别第一音频帧中的第 一部分和第二音频帧中的第三部分之间的第二相似性，以及用对与第一部分相对应的第一 音频帧中的位置的第二引用来替换第二音频帧中的第三部分；其中第一音频层包括核心音 频层，并且第二音频层包括对核心音频层进行补充的扩展音频层；其中扩展音频层包括以 下至少一个：对核心音频层的音频声道进行补充的附加音频声道，比核心音频层的比特率 更高的比特率，大于核心音频层中的比特个数的比特个数，或者对核心音频层的音频内容 进行补充的附加音频内容。
[0010] 本公开的另一个方面提供一种重建音频流的方法。所述方法包括在网络上访问服 务器，以获取第一音频层和第二音频层。所述方法还包括接收第一音频层和第二音频层，第 一和第二音频层中每一个都包括多个音频帧。第一音频层可以包括基层并且第二音频层可 以包括对基层的增强。所述方法还可以包括识别第二音频层的第一音频帧中的引用。所述 引用可以指示第一音频层的第二音频帧中的位置，所述引用是音频数据的替换。所述方法 还包括用与引用所指示的位置相对应的第一音频层的第二音频帧中的音频数据的第一部 分替换第二音频层的第一音频帧中的引用。所述方法还包括向解码器或扬声器输出第二音 频层，从而实现替代基层的、对要回放的基层的增强。
[0011] 上一段的方法可以具有以下特征的任何子组合：所述方法还包括在识别引用前， 从第一音频帧中提取散列值，以及将所述散列值与第一音频帧中的第二部分和第二音频帧 中的第三部分相比较；所述方法还包括如果第一音频帧中的第二部分和第二音频帧中的第 三部分与所述散列值不匹配，输出第一音频层；其中第一音频帧包括引用和不涉及另一个 音频帧的数据；以及所述方法还包括基于第二音频帧中的第一部分和第一音频帧中不涉及 另一个音频帧的数据，生成第三音频帧。
[0012] 本公开的另一个方面提供一种用于重建音频流的系统。所述系统包括包括硬件处 理器的层构建器，所述硬件处理器被配置为访问第一音频层和第二音频层。所述硬件处理 器还可以被配置为识别第二音频层的第一音频帧中的引用。所述引用可以指示第一音频层 的第二音频帧中的位置。所述硬件处理器还可以被配置为用与引用所指示的位置相对应的 第二音频层中的第一部分替换第一音频帧中的引用。所述硬件处理器还可以被配置为输出 第二音频层。
[0013] 上一段的系统可以具有以下特征的任何子组合：所述层构建器还被配置为在识别 引用前从第一音频帧中提取散列值，以及将所述散列值与第一音频帧中的第二部分和第二 音频帧中的第三部分相比较；所述层构建器还被配置为如果第一音频帧中的第二部分和第 二音频帧中的第三部分与所述散列值不匹配，输出第一音频层；所述系统还包括被配置为 在网络上访问服务器以获取第一音频层和第二音频层的网络通信设备，其中所述处理器还 被配置为从所述网络通信设备访问第一音频层和第二音频层；所述系统还包括被配置为读 取计算机可读存储介质的计算机可读存储介质读取器，其中所述计算机可读存储介质包括 第一音频层和第二音频层；所述处理器还被配置为经由计算机可读存储介质读取器从计算 机可读存储介质访问第一音频层和第二音频层；第一音频帧包括引用和不涉及另一个音频 帧的数据；所述层构建器还被配置为基于第二音频帧中的第一部分和第一音频帧中不涉及 另一个音频帧的数据，生成第三音频帧；所述层构建器还被配置为按照引用和第一音频帧 中不涉及另一个音频帧的数据在第一音频帧中出现的顺序，生成第三音频帧；所述系统还 包括被配置为对第三音频帧进行解码的解码器，其中所述解码器还被配置为向扬声器输出 已解码的第三音频帧。
[0014] 本公开的另一个方面提供一种非瞬态物理计算机存储器，包括存储在其上的可执 行程序指令，所述可执行程序指令在被硬件处理器执行时被配置为至少访问第一音频层和 第二音频层。所述可执行程序指令还被配置为至少识别第二音频层的第一音频帧中的引 用。所述引用指示第一音频层的第二音频帧中的位置。所述可执行程序指令还被配置为至 少用与引用所指示的位置相对应的第二音频层中的第一部分替换第一音频帧中的引用。所 述可执行程序指令还被配置为至少输出第二音频层。
[0015] 上一段的非瞬态物理计算机存储器可以具有以下特征的任何子组合：所述可执行 指令还被配置为至少，在识别引用前从第一音频帧中提取散列值，以及将所述散列值与第 一音频帧中的第二部分和第二音频帧中的第三部分相比较；所述可执行指令还被配置为至 少如果第一音频帧中的第二部分和第二音频帧中的第三部分与所述散列值不匹配，输出第 一音频层；所述可执行指令还被配置为至少在网络上访问服务器以获取第一音频层和第二 音频层；所述可执行指令还被配置为至少读取计算机可读存储介质，并且所述计算机可读 存储介质包括第一音频层和第二音频层。
[0016] 为概述本公开的目的，在此已描述本发明的某些方法、优点和新颖特征。应当理 解，根据本公开的发明的任何实施例，其不必实现全部这些优点。因此，本公开的发明可以 体现或执行为实现或优化本文所教导的一个优点或一组优点，而不必实现本文所教导或建 议的其他优点。
【附图说明】
[0017] 在全部附图中，重复使用附图标记以指示参照元件之间的对应关系。提供附图以 示出本文所描述的发明的实施例，而不对其范围进行限制。
[0018] 图1示出了音频分层环境的实施例。
[0019] 图2A示出了基层段和增强层段的示例性框图。
[0020] 图2B示出了基层段和备选增强层段的示例性框图。
[0021] 图3示出了图1的音频分层环境的工作流的示例性框图。
[0022] 图4示出了示例性增强层音频块。
[0023] 图5示出了分层音频块的示例性元数据结构。
[0024] 图6A-E示出了音频层编码处理的实施例。
[0025] 图7A-C示出了用命令替换相同数据的示例性特征。
[0026] 图8A-B示出了音频层解构处理的实施例。
[0027] 图9示出了用于生成分层音频的处理的实施例。
[0028] 图10示出了用于重构音频流的处理的实施例。
[0029] 图11示出了用于重构音频