音频编码器和解码器的制造方法
【专利说明】首频编码商和解码商
[0001] 相关申请的交叉引用
[0002]本申请要求在2013年4月5日提交的美国临时专利申请No.61/808, 701的优先 权，该申请的全部内容特此通过引用并入。
技术领域
[0003] 本文所公开的发明一般涉及视听媒体分发。特别地，它涉及适于接受多个音频帧 长度并因此适合形成处理帧同步视听媒体格式的媒体解码器的一部分的音频解码器。
【背景技术】
[0004]在当前可用的大多数商业应用中使用的音频和视频帧率（或帧频率）遵循单独建 立的工业标准以及用于在通信方之间传输音频和视频的协定格式，这些标准在记录和回放 软件产品、硬件组件两者中显示自己。音频帧率一般是特定于不同编码算法的，并且与诸如 44. 1和48kHz的音频采样频率相关联，这些采样频率在它们各自的地理区域中与视频帧率 29. 97fps (NTSC)和25fps (PAL)-样出名；另外的标准视频帧率包括23. 98、24和30fps或 者更一般的形式24、25、30fps和（24,25,30) X1000/1001fpS。尝试统一或协调音频帧率还 没有成功，尽管有从模拟到数字分发的转变，这意味着音频帧（例如，适合在网络上传输的 包（packet)或编码单元）一般不与整数数量的视频帧对应。
[0005] 作为时钟漂移的结果，或者当从不同的源接收数个流以用于服务器中的共同处 理、编辑或拼接时（这是在广播站中频繁遇到的情况），对于同步视听数据流的要求不断出 现。在图3所示的情况下，音频帧（流Sl中的A11、A12、…和流S2中的A21、A22、…）和 视频帧（流Sl中的V11、V12、…和流S2中的V21、V22、…）不匹配，通过复制或抛弃流中 的一个中的视频帧（在例如拼接流的尝试中）来改善流之间的视频对视频同步性的尝试一 般导致该流内的音频对视频异步性。一般地，即使对应的音频帧被删除或复制一异步性也 持续一至少在某种程度上。
[0006] 以更多的处理为代价，可通过在同步期间将音频暂时解码为与分成帧无关的低级 格式（例如以原始采样频率分辨的脉冲编码调制（PCM)或基带格式），创建更大的操纵空 间。然而，这样的解码使元数据到特定的音频段的精确锚定模糊，并且产生不能通过解码成 "完美"的中间格式来补救的信息损失。作为一个示例，动态范围控制（DRC) -般是模式相 关的和设备相关的，并且因此可仅在实际回放的时候被消耗；在整个音频包上管控DRC的 特性的数据结构难以在同步已发生之后如实地恢复。由此，这种类型的经过连续解码、同步 和编码阶段的保留（preserve)元数据的任务不是简单的任务，如果经受复杂性约束的话。
[0007] 关于被设计为携载双声道PCM信号并因此能够仅以编码形式处理多声道内容的 遗留基础设施，可能出现甚至更严重的困难。
[0008] 在给定帧中的数据精确地与记录和编码视听信号中的同一时间段对应的意义上， 帧同步地编码音频和视频数据必定更方便。这在视听流的逐帧操纵（即，流中的一个或多 个整个独立编码单元的复制或抛弃）下保留音频对视频同步性。在Dolby E?音频格式中 可用的帧长度匹配视频帧长度。在448kbps的典型比特率的情况下，该格式被设计主要用 于专业制作（其中像数字视频盒一样的硬媒介作为其优选的存储模态）的目的。
[0009] 存在作为帧同步视听格式（或格式族）的一部分、适合分发目的的替代性音频格 式以及适合与其一起使用的编码和解码设备的需要。
【附图说明】
[0010] 以下，将参照附图更详细地描述示例实施例，其中，
[0011] 图1示出根据示例实施例的音频处理系统的结构以及系统中的组件的内部工作；
[0012] 图2不出媒体分发系统；
[0013]图3示出根据现有技术的具有独立的帧长度的两个多媒体流，每个多媒体流包括 首频比特流和相关联的视频帧的流；
[0014] 图4示出根据示例实施例的具有协同（coordinate)的帧长度的两个多媒体流，每 个多媒体流包括音频比特流和相关联的视频帧的流；
[0015] 图5示出根据示例实施例的编码器系统的结构。
[0016] 所有的附图是示意性的，并且为了阐明本发明，一般仅示出必要的部分，而其它的 部分可被省略或者仅仅被建议。除非另外指示，否则，相似的附图标记在不同的附图中指的 是相似的部分。
【具体实施方式】
[0017] I.概要
[0018] 音频处理系统接受被分割成携载音频数据的帧的音频比特流。该音频数据可通过 采样声波并将由此获得的电子时间采样变换成谱系数来准备，该谱系数然后以适合传输或 存储的格式被量化和编码。该音频处理系统适于以单声道、立体声或多声道格式重构采样 的声波。在作为用于重构音频数据表示的声波的附加时间间隔的基础是充分的意义上，帧 中的音频数据可以是自含（self-contained)的；由于重叠变换等，重构可以需要或者可以 不需要前面的音频数据的知识。
[0019] 该音频处理系统至少包括前端组件、处理级和用于提供期望的目标采样频率下的 处理的音频信号的时域表示的采样率转换器。强调的是，目标采样频率是预定义的量，其可 由用户或系统设计者配置，而与传入的音频比特流的属性（例如，音频帧率）无关。作为一 种选择，目标采样频率可以是音频帧率的函数。作为另一种选择，目标采样频率可以是相对 于音频帧率非适应性的和/或恒定的。
[0020] 在前端组件中，去量化级从音频比特流接收若干个量化谱系数（其中，数量与一 个音频帧对应）、联合处理该系数以产生用于控制帧中的音频数据的逆量化的信息并执行 逆量化。在前端组件中的去量化级的下游，逆变换级取得输出一构成中间信号的第一频域 表示的谱系数一并且合成中间信号的时域表示。该前端组件然后从音频比特流接收并处理 相等数量的随后的量化谱系数（但是，可在数个变换上分布）并且继续处理这些系数。该 去量化级被配置为通过将音频数据解码成预定的量化水平（或重构水平、或重构点）来产 生谱系数。量化水平由编码器基于心理声学考虑（例如，以对于给定频率（或频带）的量 化噪声不超过掩蔽阈值（maskingthreshold)的方式）来选择。由于掩蔽阈值是频率相关 的，因此，从经济的观点看，优选使编码器选择相对于频率非均匀的量化水平。作为结果，量 化和去量化一般以心中特定的物理采样频率发生，在该特定的物理采样频率下，最佳输出 被产生。
[0021] 该音频处理系统中的处理级可适于执行频域中的处理。出于这种目的，处理级包 括用于提供中间信号的频域表示的初始分析滤波器组和后跟（followedby)用于将处理的 音频信号变换回时域的合成滤波器组的一个或多个处理组件。
[0022] 在示例实施例中，该音频处理系统被配置为接受具有至少两个不同的预定义音频 帧率中的任一个的音频比特流。这允许音频处理系统在音频比特流（该音频比特流在每个 视频帧与持续时间与一个或多个视频帧、优选一个或多个全视频帧的持续时间相等的、携 载音频数据的音频帧时间相关的意义上与视频帧的流相关联）上操作，使得两个或更多个 不同的视频帧率可以在音频处理系统中匹配，而不牺牲音频对视频同步性。如本文中所使 用的，视频帧的"持续时间"（以秒计算）可被理解为视频帧率的倒数。类似地，音频帧的持 续时间（以秒计算）可被定义为音频帧率的倒数。帧中的视频数据可源自在相关的音频数 据被采样的间隔的初始、中间或最终时刻处的采样；可替代地，视频数据在至少部分地与音 频采样间隔重叠的扩展间隔（例如，通过滚动帘（rolling-shutter)处理）上被采样。前 端组件具有可变的最大帧长度（其被测量为采样的数量），并且可在与所述预定义的音频 帧率对应的至少两个模式中操作。
[0023] 该音频处理系统实现了期望的帧率适应性，原因是它能够对于相对较低的音频 帧率选择相对较大的帧长度（或者，考虑可能的再分（subdivide)，为最大帧长度，参见以 下），反之亦然。在临界采样系统中，物理采样频率对应于音频帧的物理持续时间与其中包 含的谱系数的数量的比。去量化级和逆变换级不需要知晓帧中的系数的物理持续时间，只 要该系数属于相同的帧。由于得到的内部采样频率（以物理单位）的变化可保持在边界 内一或者甚至近似恒定一通过改变前端组件中的帧长度，在最终的采样率转换中使用的再 采样因子将接近1，并且内部采样频率的非恒定性一般将不导致音频的任何可感知的劣化。 换句话说，产生为在与目标采样频率轻微不同的采样频率下最佳的前端级的输出的轻微上 采样或下采样将在心理声学上不显著。并且，处理级中的分析和合成滤波器组不需要是可 适应的（例如，以响应音频处理系统所接收的音频比特流中的音频帧率的变化），但可具有 固定数量的频带。
[0024] 具有以上概述的特性的音频处理系统适于响应于前面提到的对于帧同步音频分 发格式的需要而处理音频格式。举例来说，传输立体声信号或其它双声道音频信号所需要 的比特率可小于200kpbs，诸如小于lOOkpbs。
[0025] 在示例实施例中，对于预定义的音频帧率中的两个或更多个使用其中前端组件可 操作的模式中的一个。例如，彼此相差最多5%的音频帧率（或者换句话说，与设计帧率相 差最多2. 5%的音频帧率）将不与物理采样频率的非常大的变化对应。因此，针对有效地使 所有的频带偏移多达例如5%的采样率转换，由前端组件产生的输出，可能源自编码器的策 略比特分配以适宜于特定的采样频率的谱系数将是鲁棒的。
[0026] 描述这一点的另一种方式是，前端组件、特别是去量化级在它应用比特流中的从 编码器侧接收的指令时，将适于产生对于特定的物理采样频率的最佳音频输出。